Ceph Days NYC

在本次演讲中，我们将提供 Ceph 上游项目状态、最新开发工作、当前优先级和社区计划的更新。我们将分享最新 Ceph 版本 Quincy 中发布的功能的详细信息，并解释此版本与以前 Ceph 版本的不同之处。本次演讲还将预览为下一个 Ceph 版本 Reef 计划中的功能。

NVMe-over-Fabrics (NVMeoF) 是远程块存储访问中广泛采用的事实标准。Ceph 客户端使用 RADOS 协议访问 RBD 镜像，但有充分的理由启用通过 NVMeoF 的访问：允许现有的 NVMeoF 存储用户轻松迁移到 Ceph，以及启用 NVMeoF 卸载硬件的使用。本次演讲介绍了我们为 Ceph 提供原生 NVMeoF 支持的工作。我们讨论了一些挑战，包括用于容错和性能的多路径。

新一代混合云为所有云、本地和边缘环境提供了一个通用平台。这意味着您可以一次学习技能、一次构建并从一个统一的面板进行管理。这也意味着平台需要支持不同的工作负载和管理技能的不同成熟度。在本次演讲中，我们将介绍开源项目和提案，以增强 Ceph 的可用性和可管理性，从而在更多环境中启用 Ceph。

与一家大型美国体育联盟合作，我们构建了一个多站点 40 PB 活跃存档，其中包含超过 100 年的游戏视频和音频资产，并将 Ceph 用作基础存储技术。在此过程中，我们从大型、现代且快速发展的媒体公司的角度学习了许多关于架构、部署和运营 Ceph 的经验教训。我们希望与社区分享我们的经验和经验，以帮助其他走类似道路的人。

为了提高产品可观察性和稳健性，Ceph 的遥测模块允许用户自动报告匿名化的集群数据。Ceph 的遥测后端运行工具来分析此数据，以帮助开发人员了解 Ceph 的使用方式以及用户可能遇到的问题。在本次会议中，我们将概述 Ceph 上游遥测的各个方面及其对用户的好处，并探讨如何将遥测独立部署为用于舰队可观察性的工具。

Ceph 的 Prometheus 模块通过 ceph-mgr 组件提供性能计数器指标。虽然这对于较小的安装有效，但将指标工作负载放入 ceph-mgr 中进行大规模扩展可能会有问题。Ceph 只是我们内部 S3 产品的一个组件。我们还需要收集有关空间、每个存储桶的对象、每个租户的存储桶等的数据，以及来自软件定义分布式服务质量 (QoS) 系统的遥测数据，而这些数据并非 Ceph 原生支持。

基准测试 Ceph 一直是一项复杂的任务——有很多工具，但其中许多都有缺点，并且是为更通用的目的编写的。对于 Ceph，我们需要基准测试 Librados、RBD、CephFS 和 RGW，并且每个协议都有其独特的挑战和典型部署场景。不仅如此，Ceph 在大规模扩展方面表现更好，因此我们需要确保能够构建一个也能够扩展并能够在大型规模上生成足够负载的基准测试系统。

Ceph 能够灵活且可扩展地存储非结构化数据，适用于各种工作负载。RGW (RADOS GateWay) 部署会遇到各种对象大小，并且必须平衡工作负载、成本和性能要求。S3 存储类是一种成熟的方法，可以将数据引导到满足特定弹性、成本和性能要求的底层介质上。例如，有人可能会为 SSD 或 HDD 介质、非冗余与复制与擦除编码池定义 RGW 后端存储类等。将单个对象或整个存储桶转移到非默认存储类通常需要特定的客户端操作。但是，遵守可能很麻烦，尤其是在可能包括付费客户以及内部用户的多租户部署中。这项工作使 RGW 后端能够根据特定标准强制执行上传对象的存储类，而无需客户端操作。例如，有人可能会为资源密集型小 S3 对象定义性能 TLC 或 Optane 介质上的默认存储类，同时将较大的对象分配给具有成本效益的 QLC SSD 介质。

2013 年，CERN 的数据存储团队开始调查 Ceph，以解决一个新兴问题：如何为我们不断增长的本地 OpenStack 云提供可靠、灵活、面向未来的存储。从一个朴素的 3PB 集群开始，该基础设施已发展到支持整个实验室，拥有 50PB 的存储，分布在多个数据中心，用于各种用例，包括基本的 IT 应用程序、数据库、HPC、云存储等。

构建 Ceph 集群可能有点棘手且耗时，尤其是在只是用于测试或小型家庭实验室时。为了使这更容易得多，我们开始使用 microceph。它是一个 snap 包，使用一个小型的管理守护程序，允许轻松地对多个系统进行集群化，并结合一个简单的引导过程，可以在几分钟内设置 Ceph 集群！

Ceph 最初的设计是为了满足科学计算环境中的分布式文件系统的需求，但此后已发展成为一个主要的**统一**软件定义分布式存储系统。本次演讲将介绍在 Ceph 的分布式对象存储 (RADOS) 之上开发的新型 SQLite 虚拟文件系统 (VFS)。我将展示如何将 SQL 运行在 Ceph 上，用于其内部用途和新的应用程序存储需求。

我们探索了 Rook 与 Ceph 暴露的安全模型，Ceph 是开源世界领先的软件定义存储平台。深入堆栈，我们研究了适用于各种威胁配置的 Ceph 存储加固选项。

在过去的几年中，我们在生产环境中获得了使用 Rook 的经验。我们面临的挑战之一是在 50 多个 Ceph 集群之间实现动态资源管理。Kubernetes 事件动态且完全自动地在 Ceph 集群之间分配负载和容量。这是通过在确保数据完整性的同时从 Ceph 集群中删除一个或多个 Ceph 节点来完成的。在下一步中，释放的 Ceph 节点将根据需要集成到其他 Ceph 集群中。