---
title: "Easysearch 跨集群复制实战"
date: 2023-08-20
lastmod: 2023-08-20
description: "本文介绍Easysearch跨集群复制功能，包括灾备同步、读写分离和就近查询等应用场景。通过active-passive模型实现数据复制，对源集群影响小。文章详细演示了设置证书互信、创建跨集群连接、单索引与自动跟随复制，以及管理复制状态的操作流程。"
tags: ["Easysearch"]
summary: "在之前的文章中，有通过网关实现容灾的案例。今天给大家介绍 Easysearch 的跨集群复制功能。该功能可在集群之间复制数据，应用场景包括但不限于以下举例：
 灾备同步：将数据同步到灾备中心，灾备中心可对外提供查询服务。 读写分离：单一集群读写压力都较大时，为了避免读写互相干扰造成性能降级，可将读压力分流到另外的集群。 就近查询：在多地中心之间复制数据，应用只需连接本地 ES 集群读取数据，避免网络延时和干扰。  跨集群复制使用 active-passive 模型，由目标集群主动拉取数据变化到本地，因此对源集群影响很小。
先决条件 #   源集群和目标集群都必须安装 cross-cluster-replication 和 index-management 插件。安装插件参考 这里。 如果目标集群的 easysearch.yml 文件中覆盖了 node.roles，确保它也包括 remote_cluster_client 角色，默认已启用。  演示环境 #   源集群( leader 集群 ): 192.168.3.45:9200 目标集群( follower 集群 ): 192.168.3.39:9200 两个集群都已启用 security 功能。  设置集群间证书互信 #  将两个集群的证书合并到一个文件，将文件放到 config 目录下。
cat ca-A.crt ca-B.crt > trust-chain.pem 更新 easysearch.yml 文件，变化如下。
#security.ssl.transport.ca_file: ca.crt security.ssl.transport.ca_file: trust-chain.pem 设置跨群集连接 #  在目标集群建立源集群的连接信息。在 INFINI console 的 开发工具中，选中目标集群，执行以下命令。"
---


在之前的文章中，有通过网关实现容灾的案例。今天给大家介绍 Easysearch 的跨集群复制功能。该功能可在集群之间复制数据，应用场景包括但不限于以下举例：

- 灾备同步：将数据同步到灾备中心，灾备中心可对外提供查询服务。
- 读写分离：单一集群读写压力都较大时，为了避免读写互相干扰造成性能降级，可将读压力分流到另外的集群。
- 就近查询：在多地中心之间复制数据，应用只需连接本地 ES 集群读取数据，避免网络延时和干扰。

跨集群复制使用 active-passive 模型，由目标集群主动拉取数据变化到本地，因此对源集群影响很小。

## 先决条件

- 源集群和目标集群都必须安装 cross-cluster-replication 和 index-management 插件。安装插件参考[这里](https://docs.infinilabs.com/easysearch/main/docs/getting-started/install/#%e6%8f%92%e4%bb%b6%e5%ae%89%e8%a3%85)。
- 如果目标集群的 easysearch.yml 文件中覆盖了 node.roles，确保它也包括 remote_cluster_client 角色，默认已启用。

## 演示环境

- 源集群( leader 集群 ): 192.168.3.45:9200
- 目标集群( follower 集群 ): 192.168.3.39:9200
- 两个集群都已启用 security 功能。

## 设置集群间证书互信

将两个集群的证书合并到一个文件，将文件放到 config 目录下。

```yaml
cat ca-A.crt ca-B.crt > trust-chain.pem
```

更新 easysearch.yml 文件，变化如下。

```yaml
#security.ssl.transport.ca_file: ca.crt
security.ssl.transport.ca_file: trust-chain.pem
```

## 设置跨群集连接

在目标集群建立源集群的连接信息。在 INFINI console 的[开发工具](https://docs.infinilabs.com/console/main/zh/reference/dev-tools/dev-tools/)中，选中目标集群，执行以下命令。

```yaml
PUT /_cluster/settings?pretty
{
  "persistent": {
    "cluster": {
      "remote": {
        "primary": {
          "seeds": ["192.168.3.45:9300"]
        }
      }
    }
  }
}
```

## 开始复制

首先在源集群创建测试索引 test , 并向索引写入数据。如果有测试索引，此步可省略。

```yaml
POST /_bulk?pretty
{ "index" : { "_index" : "test", "_id" : "1" } }
{ "field1" : "value1" }
{ "create" : { "_index" : "test", "_id" : "2" } }
{ "field2" : "value2" }
```

然后在目标集群，创建一个名为 follower-test 的索引来复制源集群中 test 索引的内容。follower-test 可更换成自己想要的名字。

```yaml
PUT /_replication/follower-test/_start?pretty
{
   "leader_alias": "primary",
   "leader_index": "test",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}
```

- leader_alias 指定之前创建的连接名称 primary 。
- leader_index 指定想要复制的索引名称 test 。
- use_roles 指定用什么角色访问对应的集群，为了安全使用最小权限，命令中的角色是系统自带的。

命令执行完后，会在目标集群建立名为 follower-test 的索引，其内容来自源集群的 test 索引。 我们可以看到，其内容就是之前插入的两个文档。
{{% load-img "/img/blog/2023/easysearch-ccr/1.png" "" %}}

### 确认复制状态

可以看到 follow-test 处于同步的状态会实时同步远端的数据。

```yaml
GET /_replication/follower-test/_status?pretty
```

{{% load-img "/img/blog/2023/easysearch-ccr/2.png" "" %}}
在源集群再插入数据，看是否会同步。

```yaml
POST /_bulk?pretty
{ "index" : { "_index" : "test", "_id" : "3" } }
{ "field3" : "value3" }
{ "create" : { "_index" : "test", "_id" : "4" } }
{ "field4" : "value4" }
```

目标集群查询索引，文档 3 和 4 已同步。
{{% load-img "/img/blog/2023/easysearch-ccr/3.png" "" %}}

## 暂停和恢复复制

如果需要停机维护或其他原因想暂停复制功能，可使用暂停和恢复索引复制。

### 暂停

暂停目标集群上的索引复制。源集群索引再有新的变化，不会进行同步。

```yaml
POST /_replication/follower-test/_pause?pretty
{}
```

暂停后查看索引复制状态为 PAUSED 。

```yaml
GET /_replication/follower-test/_status?pretty
```

{{% load-img "/img/blog/2023/easysearch-ccr/4.png" "" %}}

### 恢复

恢复目标集群上的索引复制。

```yaml
POST /_replication/follower-test/_resume?pretty
{}
```

## 停止复制

为了保证数据的一致性，目标集群上的 follower 索引都是只读的。如果要切换到可读写的状态，需要先停止复制。我们先直接写入数据，会报禁止该操作。
{{% load-img "/img/blog/2023/easysearch-ccr/5.png" "" %}}
**停止复制**  
执行停止复制命令，索引变为可读写状态，一个独立状态，不再会从源端复制内容。想要删除索引之前，也要先停止复制。

```yaml
POST /_replication/follower-test/_stop?pretty
{}
```

再次写入数据测试，成功。
{{% load-img "/img/blog/2023/easysearch-ccr/6.png" "" %}}

## 自动跟随

前面给大家演示了单个索引的复制操作，对于每天自动创建一个索引的场景（日期后缀），这样的操作不免太麻烦了。跨集群复制的自动跟随功能，可以在目标集群建立一个复制模式，如果源集群新建索引名称匹配该模式，目标集群会自动创建一个索引来复制它。

**创建复制模式**  
先在目标集群建立一个复制模式，模式名叫 nginx-index ，会自动复制源集群上 nginx 开头的索引。

```yaml
POST /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index",
   "pattern": "nginx*",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}

```

源集群创建 nginx 开头的索引。

```yaml
POST /nginx-1/_doc/
{
"test":"test"
}

POST /nginx-2/_doc/
{
"test":"test2"
}
```

目标集群查看复制结果。
{{% load-img "/img/blog/2023/easysearch-ccr/7.png" "" %}}

### 停止自动跟随

如果不想复制新创建 nginx 开头的索引，可以使用停止跟随。停止自动跟随仅仅停止任何新的自动跟随活动，不会停止现存自动跟随启动的复制。

```yaml
DELETE /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index"
}

```

上述命令不会影响目标集群上 nginx-1 和 nginx-2 索引的复制。而且 nginx-1 和 nginx-2 索引是只读的，如果要切换到读写状态，先停止复制。

```yaml
POST /_replication/nginx-1/_stop?pretty
{}
```

## 小结

这次实战主要演示了跨集群复制的操作过程：

1. 建立证书互信
2. 目标集群创建跨集群连接
3. 开始复制：单索引或自动跟随复制
4. 管理复制：暂停、查看状态、恢复、停止、删除自动跟随

好的，这次跨集群复制实战就到这里了，更多的内容大家可参考[官方文档](https://docs.infinilabs.com/easysearch/main/docs/references/management/ccr_api/)。如遇到问题，可以通过微信群、[discord](https://discord.com/channels/1122384608596598956/1122384609359966313) 联系我们。