使用 Ceph Dashboard 解锁 RGW 多站点同步的强大功能

Naman Munet

随着数据存储需求的增长,组织越来越多地依赖于对象存储解决方案,这些解决方案可以确保在多个站点之间实现可用性和冗余。Ceph 的 RADOS Gateway (RGW) 多站点复制长期以来一直是实现这一目标的强大工具,它使用户能够无缝地跨集群复制数据。但是,在更精细的控制方面——例如,复制特定的存储桶而不是整个区域——该过程传统上很复杂,并且难以使用 CLI 命令进行管理。

Ceph Dashboard 通过提供一个可视化、直观的界面来配置和管理存储桶粒度复制,从而消除了配置和管理多站点复制的复杂性。Dashboard 使用户能够更轻松地管理这些高级复制设置,而无需陡峭的 CLI 配置学习曲线。由于减少了出错的机会和更高效的设置过程,Dashboard 对于希望充分利用 Ceph 的多站点复制能力的人来说是一个变革性的工具。

Multisite Sync Policy Management

配置多站点同步策略

基本概念

  • 组:同步策略可以有一个或多个组。每个组都包含一个数据流配置列表,该列表定义了数据如何在不同区域之间复制。

  • 数据流:这定义了数据如何在区域之间移动。您可以配置两种类型的数据流

    • 对称数据流,其中数据在多个区域之间复制,使所有区域保持同步。
    • 定向数据流,其中数据单向流动,从一个区域移动到另一个区域。
  • 管道:管道将特定的区域和存储桶连接到数据流。它定义了包含在同步中的存储桶以及与之关联的属性,例如对象前缀或其他设置。

现在让我们看看如何使用以下分步指南配置和设置同步策略。

1. 创建存储桶级别同步策略

在第一步中,系统会提示您输入 组名状态存储桶名称。这里状态可以是

启用:同步已允许且处于活动状态。启用此设置后,复制将立即开始。例如,您可以启用完全区域组同步,然后在需要时按存储桶禁用它。

允许:允许同步,但复制不会自动开始。例如,您可以将区域组策略设置为允许,然后在按存储桶基础上启用同步。

禁止:根据此组定义,不允许同步。复制将被完全阻止。

输入值后,我们将单击“创建”按钮,并将能够在表中看到创建的同步策略组。

Step 1: Sync policy group configuration
图:第 1 步 - 创建存储桶级别同步策略组。

2. 流配置

接下来,我们将定义此同步策略组的数据流配置。

Step 2: Sync Policy Details

以下是本示例中的多站点拓扑结构

Multisite Topology

  • 对称流

    单击“创建”按钮后,系统会提示您输入 流名称存储桶名称和区域。存储桶名称将被预先选择,让我们选择可用的区域,即“zone1-zg1-realm1”、“zone2-zg1-realm1”。现在单击“创建对称流”按钮,表中将提供创建的流的新条目。这样可以确保来自两个区域的数据都复制到另一个区域。

    Step 2: Symmetrical Flow Setup
    图:第 2 步 - 配置对称流。

  • 定向流

    单击“创建”按钮后,系统会提示您输入 流名称存储桶名称源区域目标区域。存储桶名称将被预先选择,让我们将源区域选择为“zone1-zg1-realm1”,目标区域选择为“zone2-zg1-realm1”。现在单击“创建定向流”按钮,表中将提供创建的流的新条目。这样可以确保数据单向流动,从源区域到目标区域。

    Step 3: Directional Flow Setup
    图:第 3 步 - 配置定向流。

3. 管道配置

现在您已经配置了同步策略组和同步流,您需要创建一个管道。管道定义了哪些特定的存储桶将参与由同步流定义的数据复制。可以使用管道应用不同的配置,在本示例中,我们将使用最基本的配置,即“镜像特定存储桶”,但还有许多其他配置,如下所示

  • 镜像特定存储桶:复制特定存储桶(例如,bucket-1)的内容到多个区域,以确保这些区域存在存储桶数据的相同副本,以实现高可用性和灾难恢复。
  • 限制存储桶同步到特定区域:配置存储桶的复制,以便其数据仅在选定的区域之间同步,而不是在集群的所有区域之间复制。
  • 从不同存储桶同步:设置一个存储桶(例如,bucket-1)从位于不同区域的另一个存储桶(例如,bucket-2)中提取数据。这允许来自 bucket-2 的数据复制到另一个区域的 bucket-1。
  • 同步到不同存储桶:这是“从不同存储桶同步”的反向操作,数据从一个存储桶拉取到另一个存储桶。
  • 源过滤器:允许您通过应用前缀或对象标签等过滤器来优化数据复制。这意味着您可以仅同步特定对象(例如,以特定前缀开头或具有特定标签的对象)从一个存储桶到另一个存储桶。
  • 目标参数
  • 存储类:您可以设置目标对象的存储类,以指定要使用的存储类型(例如,更便宜、更慢的存储用于访问频率较低的数据)。
  • 目标所有者转换:您可以指定目标对象的所有者。这允许您将复制对象的拥有者设置为目标存储桶的拥有者,而不是原始存储桶的拥有者。
  • 用户模式:用户模式可确保执行复制操作的用户具有读取源存储桶和写入目标存储桶的权限。要启用此模式,您需要指定用户的唯一 ID (uid)。

单击“创建”按钮后,系统会提示您输入 管道名称源区域目标区域存储桶名称源存储桶目标存储桶。存储桶名称将被预先选择,现在将源区域选择为“所有区域(*)”,目标区域选择为“所有区域(*)”。现在单击“创建管道”按钮,表中将提供创建的管道的新条目。

Step 4: Pipe Setup
图:第 4 步 - 配置管道

自定义同步策略

除了轻松创建同步策略组之外,您还可以根据需要随时编辑和删除同步策略组、流和管道。这种灵活性可确保您可以微调复制设置并轻松适应不断变化的需求。

要验证同步状态,您可以访问对象 > 概述页面

同步状态 图:主集群中的同步状态

一键存储桶复制设置

如我们之前所讨论的,从 UI 手动创建流和管道的过程需要几个步骤。这涉及仔细配置每个元素,以确保正确的存储桶复制。

相反,使用自动化配置选项,可以使用单击即可设置存储桶复制。通过选择存储桶表单中相应的 启用复制 复选框,系统将自动为您生成必要的管道和流配置。这种简化的方法大大减少了配置存储桶复制所需的时间和精力,使其成为寻求更快、更高效设置的用户理想的解决方案。

  • 以下是一些您可以遵循的步骤

  • 导航到对象 > 存储桶页面

  • 创建一个新的存储桶或修改一个您想要启用复制的现有存储桶。 创建新存储桶 图:创建新存储桶

  • 您将进入存储桶表单,您需要在其中选择与复制选项对应的启用复选框。 从存储桶表单启用复制 图:从存储桶表单启用复制

  • 成功提交表单后,您将返回到存储桶列表页面。

  • 现在导航到对象 > 多站点 > 同步策略页面。

  • 在这里,您将能够看到生成的同步策略组、流和管道的配置。

    • dashboard_admin_group 区域组级别同步策略已创建,其中创建了一个对称流。
    • 创建了 s3-bucket-replication:disabled 策略,该策略处于禁用状态,即其状态设置为 允许
    • 创建了 s3-bucket-replication:enabled 策略,我们可以看到管道配置。 自动生成的同步策略视图 图:具有流和管道配置的生成同步策略

因此,只需单击一下,您就可以轻松设置存储桶复制,从而节省时间并简化配置。

Dashboard 用于多站点同步策略的关键功能

1. 可视化配置

通过直观的图形界面配置区域之间的同步策略和数据流。

2. 实时监控

实时监控同步过程的运行状况和状态,包括数据和元数据同步。

3. 易于使用

通过消除命令行配置的需要来降低管理同步策略的复杂性,使其易于没有深入技术专业知识的用户使用。

结论

Ceph Dashboard 使设置、管理和监控 RGW 多站点同步策略变得更加简单。它为用户提供了一个直观的界面,简化了确保高可用性、优化成本和遵守法规的过程。这种易用性使用户能够完全控制跨多个区域的数据复制,而无需手动配置的复杂性。

请抓住机会探索 Ceph dashboard 中的此新功能,看看它如何提升您的 RGW 多站点管理体验。