Ceph Days NYC 2024

了解最新的 Ceph 版本、当前开发重点以及 Ceph 社区的最新动态。

幻灯片

OpenStack 云提供商和运营商。Ceph RBD 与 Cinder 服务集成良好，并提供非常可靠、高性能的块存储。不幸的是，虽然 Ceph RBD 集群易于启动和运行，但从全闪存 Ceph RBD 集群中提取最大性能却是一门黑艺术。

快速的在线搜索可能会建议您使用特定的 RocksDB 设置、将多个 OSD 放置在每个 NVMe 上，甚至设置一些不寻常的 sysctl。但是，经过测试，我们发现网上找到的大多数建议要么无效，要么实际上会降低性能，或者不再适用于 Ceph 的最新版本。另一方面，我们发现有效的许多调优方法只有在社区中最近才被发现，或者尚未完全实现。

在本次演讲中，我们将介绍一些对我们设计和配置使用最新版本的 Ceph 的高性能 RBD 集群有效的一些技巧和窍门，以及我们认为可以进一步提高闪存支持的 OSD 性能的未来可能的代码更改。

幻灯片

本次演讲将介绍将基于 HDD 的 Ceph 集群转换为高性能 NVMe 部署的挑战和乐趣，以及我们在测试期间实现性能水平。我们将介绍我们所做的硬件选择、我们如何运行测试以及我们如何解决瓶颈和错误。

幻灯片

在云技术的动态发展中，创建满足行业特定需求的多租户文件系统提出了独特的挑战。本次演讲详细介绍了 45Drives 为媒体和娱乐行业的一家财富 100 强客户开发的多租户文件系统项目。该项目面临着相当大的设计挑战，主要是由于传统文件系统缺乏固有的多租户能力以及客户对可通过 SMB 或 NFS 访问对象存储的文件系统工作流程的要求。

为了克服这些障碍，45Drives 团队使用 RADOS 命名空间和 Cephx 密钥环在单个集群中有效地隔离租户数据，并虚拟化 NFS/SMB 网关以分隔每个租户的存储协议。该解决方案通过集成高级自动化和部署工具（包括 Proxmox、Ansible、Terraform 和 Cloud-init）得到进一步增强。一个值得注意的要求是使用自加密驱动器 (SED)，这需要开发自定义软件才能在启动时解锁驱动器，因为 dmcrypt 从客户的角度来看不适用。

为了满足客户的安全标准，对网络微隔离的意外要求给项目的完成带来了额外的复杂性。尽管如此，该项目还是成功地交付了可扩展的性能结果。未来的方向包括努力自动化多守护进程服务器 (MDS) 的扩展，以及从 Proxmox 上的虚拟机过渡到 Kubernetes 上的容器，旨在提高云基础设施部署的效率和灵活性。本次演讲将分享在为媒体和娱乐行业开发多租户文件系统的经验，反思已实现的成果以及云基础设施的未来潜在改进。

幻灯片

我们于 2024 年 3 月启动了 Ceph 用户委员会的创建。我们希望利用这个工作组专注于 Ceph 用户的体验，并向 Ceph 技术团队提供一致且结构化的反馈。在本次演讲中，我们希望更新委员会的工作，并提高对该倡议的认识。

此外，Ceph 基金会董事会希望通过一系列名为 Ceph 用户开发社区会议的定期会议，从 Ceph 用户社区收集反馈。

这些会议的总体目标是从在生产环境中使用的 Ceph 的用户、公司和组织那里收集反馈。将收集并组合此反馈以形成痛点、问题、缺失功能等的广泛主题。

虽然我们预计大多数反馈将是建设性的，但分享您喜欢该项目的哪些方面、您认为的优势以及您希望该项目继续做哪些事情也很有价值。此反馈将被匿名化、组织化并与 Ceph 领导团队 (CLT) 共享，目的是向开发社区提供反馈，以将来自真实 Ceph 用户的宝贵见解纳入到 Ceph 在野外的使用方式中。

幻灯片

ISS 已经成功地在业务环境中运行 Ceph 操作 10 年。Alex 将介绍几个针对中端数据中心用途的用例：Proxmox VM、SAN 替换、备份、Kubernetes CSI、S3、RHEL/Pacemaker、NFS。

幻灯片

随着 NVMe 驱动器的引入，数据中心和云工作负载都受益于其增加的性能、耐用性和并行性。将这些品质与 Ceph 块存储的可扩展性和敏捷性相结合，并利用现有网络作为传输，您就可以获得具有高可靠性和冗余性的具有成本效益的成功方案。来探索 NVMe over Fabrics，特别是 NVMe over TCP 的样子，以及它如何优化您的存储和预算！

Ceph 数据放置是一个简单但细微的主题。使用其秘诀“CRUSH”，Ceph 使组织能够轻松地实施复杂的策略，从而最大限度地提高存储基础设施的可靠性。但是 CRUSH 并不完美——不平衡会导致代价高昂的空间效率低下。为了解决这个问题，Ceph 在几个版本中引入了 upmap 平衡器。但是 upmap 创建的内部机制为 Ceph 创造了一个新的机会——任意数据放置，以实现新的和极其强大的集群维护操作。

在本次演讲中，Dan 将描述“它的工作原理”的内部机制，并介绍实用的易于使用的工具，以改善 Ceph 操作员的生活。

还有一件事……Dan 将以介绍 Chorus 结束，Chorus 是一个用于 S3 的多功能前端。

幻灯片

几年前推出了通过异步复制 RBD 图像进行镜像的功能。它最近集成到 OpenShift kubernetes 环境中，用于基于 RBD 的容器工作负载的灾难恢复 (DR) 解决方案。DR 解决方案的集成和测试发现了错误，并帮助识别了基于快照的镜像中缺失的部分。对 librbd 和内核 RBD 客户端以及 ceph-mgr 服务进行了错误修复和增强，该服务安排镜像快照。这里仍然有很多改进空间。本次演讲将概述基于 RBD 快照的镜像的当前状态、其在 Openshift 的 Ceph 存储灾难恢复解决方案中的使用情况以及该功能的计划改进。有兴趣将其 RBD 镜像用于灾难恢复解决方案的人员会发现本次演讲特别有用。

幻灯片

我们探讨了 Rook 与 Ceph 暴露的安全模型，Ceph 是开源世界领先的软件定义存储平台。深入堆栈，我们研究了适用于各种威胁配置的 Ceph 存储加固选项。

幻灯片

随着集群规模和数量的增长，操作员的工作量不应以相同的速度增长。在本次演讲中，Matt Vandermeulen 将讨论在快速发展的环境中运行不同规模的集群的策略和挑战，这些集群基于 DigitalOcean 的经验，用于 RBD 和对象存储工作负载。

幻灯片

在深入研究 RBD 性能问题时，我们观察到一些碎片化的 OSD 难以跟上其正常性能，并且它们在内部 discard 机制方面遇到了问题。启用 discard 有所帮助，但仍然落后，因为 discard 是单线程的。在本次闪电演讲中，我们将讨论 DigitalOcean 观察到的情况，以及我们如何通过使 discard 多线程来解决问题，以及某些无名驱动器的限制。

幻灯片

在本次演讲中，我们将讨论 MicroCeph，并探讨为提供快速简单的 Ceph 存储的各种用例——从开发人员工作站、CI 系统到边缘计算和数据中心。

幻灯片