中国首届 Ceph Day – 北京 Ceph Day
Ceph 在中国越来越受欢迎。英特尔和 Redhat 于 2015 年 6 月 6 日在英特尔 RYC 办公室联合举办了北京 Ceph Day。活动吸引了来自 120 多家公司的约 200 名开发者和最终用户。在活动期间,共有十个技术环节,分享了 Ceph 的变革力量,同时也关注了 Ceph 当前存在的问题以及如何发展中国的 Ceph 生态系统。
主题演讲
英特尔大数据技术团队 (BDT) 总经理马子亚介绍了英特尔对 Ceph 的投资。她从数据大爆炸开始,指出数据需求正以当今基础设施和劳动力成本难以持续的速度增长,因此我们需要对存储基础设施进行根本性的转变来解决新的挑战。作为最流行的 Openstack 块后端,Ceph 吸引了越来越多的关注——例如,富士通推出了基于 Ceph 的存储产品 CD10K。英特尔 BDT 对 Ceph 的投资包括:在不同平台上对 Ceph 性能进行分析和调优,关键特性如缓存分层、纠删码和 Newstore 的开发和优化,工具包开发 – COSBench、VSM 和 CeTune,以及与中国本地客户推广基于 Ceph 的可扩展存储解决方案。她宣布成立中国 Ceph 用户组、中文邮件列表,以及将于 10 月在上海举行的下一届 Ceph Day。
Redhat 的 Ceph 社区负责人 Patrick McGarry 介绍了 Ceph 社区的更新和最新发展状况。他强调,Redhat 收购 Inktank 之后,Ceph 社区的重点并未改变,Ceph 将为 RHEL/Fedora/Centos 提供更好的支持。他鼓励开发者参加 8 月在 Hillsboro 举行的首届 Ceph 黑客马拉松,该马拉松将重点关注性能、RBD 和 RGW。在开发方面,他介绍了 Hammer 版本中 CephFS 的改进 – 366 次提交到 MDS 模块,20K 行代码更改,预计下一版本 CephFS 将可用于生产环境。
Ceph 开发
NewStore:英特尔的陈晓溪介绍了 NewStore 的设计和实现,NewStore 是 Ceph 针对下一个版本的新存储后端。通过将对象名称与实际存储路径的映射分离,NewStore 能够灵活地管理数据。与 FileStore 相比,NewStore 可以在不损失原子性和一致性的情况下节省创建、追加和覆盖操作的日志写入。此功能不仅有助于提高性能,还可以降低客户的 TCO。演讲中分享的初步性能数据看起来非常有希望。与会者对 Newstore 非常感兴趣,并期待在它准备好时进行尝试。
缓存分层优化:来自 Ubuntukylin 的社区活跃代码贡献者李王博士介绍了他们在天河二号超级计算机平台上进行的 Ceph 优化工作,包括 CephFS 内联数据、RDB 镜像离线恢复和缓存分层优化。缓存分层是一个重要的特性,自 Emperor 以来,它旨在通过利用一小部分快速设备作为缓存来提高 Ceph 集群的性能。然而,当前的驱逐算法基于最近访问时间,在某些场景下效率不高。王博士提出了一种基于温度的缓存管理算法,该算法根据访问时间和频率驱逐对象。北京 Ceph Day 的用户调查显示,缓存分层是两个最感兴趣并希望尝试的功能之一(另一个是纠删码),并且仍然需要更多的优化才能使缓存分层投入生产使用。
Ceph-dokan Windows 客户端:目前 Ceph 没有可以直接用于 windows 的驱动程序。Ucloud 的孟志胜介绍了 Ceph-Dokan,它借助 Cygwin 和 MinGw 实现了一个与 Win32 FS API 兼容的 windows 客户端。下一步的工作是支持 CephX,提供 librados 和 librbd dll 并将其合并到 Ceph master。
生态系统
Ceph 和容器:容器技术在云计算环境中被广泛采用。独立开源贡献者王浩迈介绍了 Ceph 和容器集成工作。他比较了 VM+RBD 和 Container+RBD 使用模型的优缺点。后者模式通常具有更好的性能,但需要在安全性方面进行更多改进。在 kubernetes 中,不同的容器组成了一个 POD 并利用文件作为存储,因此使用文件系统代替 RBD 作为容器后端似乎更合适。他还介绍了 CephFS 的最新改进、CephFS 与 Nova、Kubernetes 的部署和开发进展。
Ceph 工具包:作为唯一的女性演讲者,英特尔的薛晨迪展示了一种名为 CeTune 的新型 Ceph 剖析和调优工具。它旨在帮助系统工程师以快速简便的方式部署和基准测试 Ceph 集群。CeTune 旨在通过 fio 和 Cosbench 以及其他可插拔的工作负载来基准测试 Ceph RBD、对象和 CephFS 接口。它不仅监控系统指标,如 CPU 利用率、内存使用情况、I/O 统计信息,还监控 Ceph 性能指标,如 Ceph 性能计数器和 LTTNG 跟踪数据。CeTune 离线分析这些数据以揭示系统和软件堆栈瓶颈。它还提供基于 Web 的所有处理数据的可视化,以使分析和调优更加容易。
Ceph 和大数据:随着 IAAS 的兴起,云存储越来越受欢迎。然而,这为大数据分析框架引入了一个新的问题,例如 Map Reduce,它通常将数据存储在特定的分布式文件系统中。这需要将大量数据从 IAAS 存储移动到 HDFS。英特尔的周远介绍了如何在 Ceph RGW 上运行 Hadoop。他介绍了 Hadoop over Ceph 对象存储的详细设计,遵循 OpenStack Sahara 在 Swift 上使用的方法,采用新的 RGWFS 驱动程序和 RGW 代理组件。分享了一些使用各种解决方案和不同部署的早期基准测试数据,包括 VM 与容器与裸机、HDFS 与 Swift。
用户体验分享
Ceph 和 Openstack 集成经验分享:awcloud 的吴德鑫和吴玉婷分享了他们在使用 Ceph 和 Openstack 集成方面的经验。一个关键的收获是,虽然 Hammer 版本带来了显著的性能改进,但仍然无法完全利用 SSD 设备的性能。此外,我们仍然需要更多功能,例如集群级别 QoS、多地理灾难恢复。他们分享了一个性能调优示例,说明如何通过调整 Ceph 参数和重新部署将 100 个 OSD 集群的吞吐量从 2000 提高到 9000 IOPS。
一种 Ceph,两种思维方式:完美世界(中国顶级互联网游戏厂商)的张晓毅分享了他们作为 Ceph 最终用户的反馈,并提供了一些优化建议。从完美世界的角度来看,Ceph 具有许多优势,例如高可用性、高可靠性和高耐久性,以及几乎无限的容量扩展。他分享了他们如何通过调整硬盘上的 read_ahead_kb 来提高恢复性能,如何重新配置 ceph.conf 并利用 B-cache 来提高 Ceph 集群的稳定性和性能;以及如何将多个目录部署在单个 PCI-E SSD 上作为专用的 OSD 存储空间来提高 Ceph 全 SSD 性能。
基于 Ceph 的产品
SanDisk 的周浩介绍了基于 Ceph 的全闪存产品 – InfinishFlash 及其相关的优化。InfinishFlash 在 3U 机箱中提供高达 512TB 的空间,具有高达 780K IOPS 和 7GB/s 的带宽。他介绍了优化工作,例如线程池分片、锁序列和粒度优化。
小组讨论
作为北京 Ceph Day 的最后环节,小组讨论涵盖了两个主题:您认为 Ceph 当前存在的问题是什么?如何加速 Ceph 在中国的发展?大多数人关注的是性能、管理、文档和本地化。人们提出了许多关于如何发展中国 Ceph 生态系统的建议,例如,社区需要来自用户、开发者和合作伙伴的更多贡献和分享。开发者可以从最终用户遇到的实际使用场景或问题中受益,从而使 Ceph 更加稳定和成熟,而最终用户可以通过参与来更加熟悉 Ceph。
技术幻灯片
所有幻灯片都可以从 http://www.slideshare.net/inktank_ceph 下载。
现场照片
注册
议程
主题演讲
观众
媒体报道
北京 Ceph Day 圆满成功,以下是一些媒体报道:
http://www.csdn.net/article/2015-06-08/2824891
http://code.csdn.net/news/2825020
http://www.csdn.net/article/2015-07-03/2825121
北京 Ceph Day 用户调查结果
我们在北京 Ceph Day 期间进行了一项 Ceph 调查。我们的首要目的是了解中国 Ceph 部署的总体状况,并收集反馈和建议,为我们下一步的开发和优化工作提供参考。我们设计了一份包含三个开放式问题的 16 个问题问卷。我们在活动期间收到了 110 个有效答复。我们想与您分享调查结果。
总结
- 参会者角色:大多数客户是私有云提供商,其次是公有云服务提供商。
- 云操作系统:Openstack 仍然是主要的云操作系统 (59%)。
- 部署的其他存储:26% 使用商业存储,HDFS 也非常受欢迎。
- Ceph 部署阶段:大多数部署阶段仍然处于早期阶段,46% 的 Ceph 部署仍在 QA 和测试阶段,而 30% 已经投入生产。
- Ceph 集群规模:大多数集群规模为 10-50 个节点。
- 使用的 Ceph 接口:RBD 使用最多 (50%),其次是对象存储 (23%),CephFS (16%),6% 使用 Native rados API。
- Ceph 版本:最流行的 Ceph 版本是 Hammer (31%)。
- 复制模型:3 倍复制是最常用的 (49%)。
- 感兴趣或希望尝试的下一代功能:缓存分层 (26%) 和纠删码 (19%) 对客户非常有吸引力。其次是全 SSD 优化。
- 最关心的性能指标:稳定性仍然是第一大问题 (30%)。
- 部署工具:大多数人使用 Ceph-deploy (50%)。
- 监控和管理:35% 使用 calamari 进行监控和管理,而 33% 什么也不用。
- Ceph 的三大问题:(1)性能,(2)复杂性,以及(3)功能不成熟。
- 对 Ceph 的开发和优化建议开放性问题:(1)文档 (2)稳定性
- 选择 Ceph 的主要原因:(1)统一存储,(2)可接受的性能,(3)活跃的社区
- QoS 要求:多样化的要求。
Q16:您环境中的 QoS 要求是什么?



















