Ceph Days India 2024

  IBM Ceph

  IBM - ISL 首席技术官

IBM

在本次演讲中，我们将通过将十亿个对象上传到单个存储桶并在多站点设置中同步它们来研究 Ceph RGW 的可扩展性。测试包括设置环境、实施存储桶的动态分片以及监控分片和 IO 操作期间的系统行为。

本次演讲将为管理 Ceph RGW 集群中的大规模数据提供宝贵的考虑因素。此外，它还讨论了在优化动态分片性能时遇到的挑战和限制，为未来改进功能提供重要的见解。

IBM

我们希望介绍我们如何使用 ceph s3-select 来查询为每个构建的每个版本生成的日志数据

IBM

D4N 是 Ceph RGW 中的智能缓存框架。该项目是波士顿大学 MOC 团队和 Ceph RGW 团队之间的合作。将 D4N 上游到 Ceph 的持续努力主要旨在加速分析工作负载。

IBM

NFS-Ganesha 作为用户空间 NFS 服务器运行，并通过 libcephfs 支持 CephFS FSAL。本次演讲建议全面研究 NFS Ganesha 与 Ceph（一种以其可扩展性和可靠性而闻名的分布式存储系统）之间的集成。我们将首先深入研究 NFS Ganesha 和 Ceph 的基础架构，阐明它们如何协同工作以提供弹性存储解决方案。随后，我们将深入研究将 NFS-Ganesha 与 CephFS 合并的技术细微之处，包括设置、部署和操作注意事项

IBM

  IBM

由我们的专家主持的小组讨论 -
* 获取用户对 Ceph 的反馈
* 分享 Ceph 用户委员会倡议
* Ceph 社区版本中的改进
* Ceph 版本更新

高效地在两个生产 Ceph 集群之间迁移 PB 级对象存储数据是一项重大挑战，因为实时数据正在写入这两个集群，因此需要一个无缝的过程来最大限度地减少中断。迁移策略包括从旧集群中提取用户帐户（包括访问和密钥），并将其无缝传输到新集群。通过扩展和增强强大的工具（如 rclone），以并行执行，从而改进了存储桶和实时数据的同步。这项迁移工作不仅成功地传输了大量数据，还为名为 Chorus 的强大工具的创建铺平了道路。Chorus 专门设计用于同步 S3 数据，成为一种通用的解决方案，能够无缝地在多个云存储后端之间协调数据。这个创新的工具有助于有效地连接 Ceph 集群，展示了现代数据管理挑战所需的适应性和可扩展性。Chorus 的主要亮点包括迁移持久性、在多台机器上执行迁移、限制迁移期间的 RAM/网络使用。

Clyso GmBH

本次演讲阐明了 Ceph 中的一项基本调整增强功能，即 RocksDB 压缩，默认情况下已在 Reef 及更高版本中启用。通过本次演讲，我们的目标是让更广泛的受众熟悉 rocksDB 压缩在 Ceph 中的重要性、优势和用法，尤其是在非共置部署中，其中 NVMe 驱动器存储 WAL/DB 数据。通过实施此优化，我们可以在显著减少元数据存储空间的同时，实现几乎相同的性能。除了解释 rocksDB 压缩之外，我们还深入研究了性能评估期间使用的测试工作流程，并强调了为满足我们的要求而对 MinIO Warp 所做的改进。此外，我们强调了 Warp 促进的 S3 基准测试的新灵活性，提供了对其影响和好处的全面概述。

IBM

Rook.io

本次演讲概述了使用 Ingress 和 Rook 为 AL/ML 应用程序（如 Milvus）配置 Ceph Rados Gateway (RGW) 的虚拟托管样式。s3 存储桶可以通过基于路径或主机样式访问。路径已被 S3 协议弃用，许多应用程序默认使用 vhost 样式。Ingress 为端点提供通配符支持，Rook 可以使用 vhost 样式访问部署 RGW。

IBM

在 Octopus 版本中，Cephadm 实用程序被引入来管理单个 Ceph 集群，该集群不依赖于外部工具（如 rook 和 ansible）。但是，由于其复杂性，对于 OSD 重新部署或任何新服务部署等 Cephadm 问题进行故障排除是困难的。了解 Cephadm 的内部工作原理对于故障排除问题是必要的，因为它将帮助我们确定需要进行故障排除的组件。除了内部工作原理之外，针对 Cephadm 相关常见问题的故障排除方法和指导，可以更轻松、更快速地找到解决方案。

IBM