新的Ceph后端以降低磁盘需求
我收到很多关于当前 Ceph 蓝图 的问题,尤其是来自社区的提问。Loic Dachary,Erasure Encoding 蓝图的拥有者之一,一直在努力研究手头的一些问题。
在评估 Ceph 以运行新的存储服务时,复制因子只有在从一开始配置的硬件几乎满载后才重要。这可能发生在用户开始存储数据后的几个月。与此同时,一种新的存储后端(擦除编码)正在 Ceph 中开发,可以减少高达 50% 的硬件需求 正在开发中。
从一开始节省磁盘空间并不重要:反正也用不上。问题在于弄清楚擦除编码何时准备好将现有存储的使用价值翻倍。
在寻找新的存储解决方案时,硬件需求是一个重要因素。如果 Ceph 配置为使用三个副本,1PB 的可用存储空间需要 3PB 的实际存储空间。预计用户会随着时间的推移占用越来越多的磁盘空间
^ 10PB | | | 6PB | | /-- | /---- 4PB | /---- | /---- 使用量 | /---- 2PB | /---- | /--- | /---- | /---- +----------------+----------------+------------> A 个月 B 个月
预计硬件配置将遵循使用量曲线。在下文中,最初配置了 4PB,在运行 A 个月后又增加 2PB,依此类推。
^ 10PB | +----------- | | | | 6PB | +----------------+ | | 配置 /--- | | /---- 4PB +----------------+ /---- | /---- 使用量 | /---- 2PB | /---- | /--- | /---- | /---- +----------------+----------------+------------> A 个月 B 个月
一个擦除编码的 Ceph 后端可以减少原始存储的需求:1PB 的可用存储空间可以适应 1.5PB 的原始存储空间。如果可用,曲线将不会增长得那么快,并且需要配置更多硬件的时间也会推迟。
^ 10PB | | | 6PB | +--------- | | | | 4PB +------------------------------------+ | 配置 | /--------- 2PB | /--------- 使用量 | /--------- | /------- | /---- +----------------+----------------+------------> A 个月 B 个月
Ceph 的擦除编码后端实现于 2012 年 5 月开始,当它发布时,将逐步降低磁盘空间需求。在上面的示例中,如果它发生在 A 个月之前,它将节省资金。但是,即使它发生在之后,它仍然可以通过减少存储占用量并更好地利用现有硬件来节省资金。
^ 10PB | | | 6PB | | | 4PB +----------------- | | 2PB | | | | +----------------+ A 个月
无论如何,从一开始就使用擦除编码并不能节省任何资金,因为配置的硬件完全是空的。在 A 个月之前,配置 4PB 的投资是完成的。
最初由 Loic Dachary 发布。
scuttlemonkey 结束
