使用 CBT 进行性能基准测试：指南，设置 Ceph 集群。第一部分

您将希望 ssh 到我们将要使用的机器。

我的系统具有以下设置

• 6 个 SATA 驱动 SSD，210GB
• ceph 版本 20.3.0-2198-gb0ae68b0 (b0ae68b0ccceed5a913d81c5a8cb0b4e9c5a5f6b) tentacle (dev)
• 操作系统：Red Hat Enterprise Linux 9.6 (Plow)
  注意：这是一个单节点系统，您正在使用与 Ceph 相同的系统运行 IO 客户端。 但是，这并不妨碍您在多节点服务器上运行 CBT。 YAML 格式允许它通过 SSH 连接到 Ceph 节点。

当您使用 cephadm 创建集群并运行 CBT 测试时，日志文件将在指定位置创建。

因此，如果您之前做过测试并知道特定位置存在旧日志文件，请首先删除它们。 如果您以前从未运行过 CBT，则可以转到 步骤 3：构建容器。

现在我将删除我之前运行的集群，以便从头开始。

您需要删除两个区域才能完成此步骤

1. 您的 yaml 文件中 tmp_dir 行指向的位置

   tmp_dir: "/tmp/cbt"
   

   此目录包含 IO 激励器的临时日志文件，例如 FIO json 文件。

2. 运行性能基准测试时的 -a 参数

   -a /tmp/cbt
   

   此参数目录包含性能基准测试的性能结果。 正如您所看到的，我的 YAML 和参数指向相同的目录，因此在我的 CBT 运行之前，我总是会确保

   rm -rf /tmp/cbt/*
   

   我们删除这些文件，因为如果您不这样做，CBT 会假定已经有一个运行正在进行，并且 CBT 将尝试保护以前的数据并跳过 YAML 中的测试。

接下来，您将获得一个用于构建 Ceph 集群的构建容器。 您可以从 Ceph 构建 获取此容器 ID。 点击您想要的构建，然后复制 sha1，这也被称为 容器 ID。 我正在使用的构建可以在之前的 步骤 1：设置 部分中看到。

• 您现在将使用 podman 下载所需的构建容器

podman pull quay.ceph.io/ceph-ci/ceph:<sha1>

注意：以上使用的是开发构建容器。 您还可以从 此处 拉取已发布构建容器（用于 Squid/Reef 等）。

podman pull quay.ceph.io/ceph/ceph:v19.2.3

podman pull quay.ceph.io/ceph/ceph:v20.1

首先，运行命令 lsblk 以查看您将用于 Ceph 的块设备上是否存在任何 Ceph 分区。 如果是，您需要运行下面的 removevgs 脚本来删除卷组

for i in /dev/ceph*
do
lvremove -y $i
done

接下来，使用带有您之前下载的容器 id 的 cephadm 来创建您的 Ceph 集群，如下所示

cephadm --image quay.ceph.io/ceph-ci/ceph:<sha1> bootstrap --single-host-defaults --log-to-file --mon-ip <ip_of_node> --allow-mismatched-release

当然，将 sha1 和 ip_of_node 替换为相应的值。 您正在指定容器镜像，使用 bootstrap 初始化新的 Ceph 集群。 --single-host-defaults 正在优化单节点的 bootstrap，请注意，如果您正在创建多节点 Ceph 集群，则不需要此选项。 --log-to-file 使 Ceph 守护程序将日志记录到磁盘上的文件中。 --mon-ip 告诉将第一个监视器绑定到哪个 IP 地址。 --allow-mismatched-release 允许您使用与主机 cephadm 版本不匹配的镜像进行 bootstrap。

在性能基准测试中，通常建议在开始任何基准测试之前将系统重置为已知状态，因为诸如存储数据碎片化之类的因素会影响结果。 因此，建议在每次运行之间删除并重新创建集群。

• ceph orch device ls 以检查是否可用所有需要的 OSD
• 如果不可用，您必须使用 ceph orch zap device <osd> 使它们可用。 像这样脚本可以解决 OSD 不可用问题

#! /bin/bash
file=/tmp/$$.out
out=/tmp/$$b.out
cephadm shell ceph orch device ls 2>&1 | grep ssd >$file

cat $file | while read -a line_array; do

host=${line_array[0]}
device=${line_array[1]}

echo ceph orch device zap ${host} ${device} --force >>$out
done

echo exit >>$out

cephadm shell <$out

rm -f $file
rm -f $out

• 接下来，您将创建我们的擦除编码 (EC) 设置。 此脚本可以根据您的需要自定义 EC 设置，我将在此处提供一个简单的示例版本

ceph osd erasure-code-profile set reedsol plugin=isa k=4 m=2 technique=reed_sol_van stripe_unit=4K crush-failure-domain=osd
ceph osd pool create rbd_erasure 64 64 erasure reedsol
ceph osd pool create rbd_replicated 64 64 replicated
ceph osd pool set rbd_erasure allow_ec_overwrites true
ceph osd pool set rbd_erasure allow_ec_optimizations true
rbd pool init rbd_erasure
rbd pool init rbd_replicated
rbd create –pool rbd_replicated –data-pool rbd_erasure –size 10G test-image

重要的是要注意您创建的 卷名称 和 池名称，在我的示例中，这是 test-image 和 rbd_replicated。 由于我们正在创建一个擦除编码配置文件，我们使用复制的池名称。 （在 第二部分 的 基准测试模块 部分中，您需要引用这些名称）

所以以上是一个类似于我运行的脚本的例子。它定义了一个 4 + 2 EC 配置，名为 reedsol。EC 配置本质上是一个模板，定义了 Ceph 应该如何使用 EC 编码和存储数据。您创建两个池（rbd_erasure & rbd_replicated），启用 EC 覆盖和 EC 优化，然后初始化池并创建一个由 EC 池支持的 RBD 镜像。

在创建 EC 设置的过程中，您将

• 定义数据 OSD 的数量 (k) 和奇偶校验 OSD 的数量 (m)
• 定义驱动器的大小
• 定义预填充的百分比
• 定义卷的数量
• 定义卷的大小
• 定义 EC 配置，指定插件、技术、条带宽度等
• 创建您的 EC 池

我的 EC（纠删编码）设置如下

• 4 + 2 设置 (k=4, m=2)
• 210gb 驱动器大小
• 50% 预填充
• 8 个卷
• 52.5gb 卷大小
• 单个 EC 池
• 块大小 = 4K

现在您已经设置并配置了一个纠删编码的 Ceph 集群！

我将在这里更深入地探讨预填充，如上所述，您的目标是预填充 50% 的物理容量。您需要选择一个 工作集（在基准测试过程中使用的逻辑容量），这非常重要，这样所有 IO 就不直接进入具有大量内存的系统的缓存中。因此，重要的是使总工作集明显大于系统中的 RAM。

在此示例中，您使用的是带有纠删编码的 RBD 卷。这是您用来计算需要写入多少数据才能将物理容量填充到 50%（由 0.5 表示）的计算方法，这被称为 RBD 卷大小。(物理驱动器大小 * K * 0.5 / 卷数 因此，对于上面的示例，您将得到：(210000 * 4 * 0.5) / 8 因此，RBD 卷大小 = 52500 (52.5GB)

然后，您可以计算 总工作集，方法是：RBD 卷大小 * 卷数 这将导致，对于我们的示例：52500 x 8 因此，工作集 = 420000 (420GB)

您可以看到，对于我们的示例，工作集为 420GB，RAM 为 210GB，因此这令人满意。

如果您不使用带有 EC 的 RBD 卷，而是使用副本池，那么计算 RBD 卷大小 的公式如下：(物理驱动器大小 * OSD 数量 / 副本数量 * 0.5) / 卷数