限流 #

Easysearch 支持节点级别和分片级别的写入限流功能，可以将 bulk 操作对集群的压力，限制在可接受的范围。

最低版本 #

1.8.0

限流参数设置 #

以下是 Easysearch 集群级别的限流设置，并且是动态的，您可以更改此功能的默认行为，而无需重新启动集群。

限流参数说明

使用示例 #

节点级别限流 #

PUT _cluster/settings
{
  "transient": {
    "cluster.throttle.node.write": true,
    "cluster.throttle.node.write.max_bytes": "50MB",
    "cluster.throttle.node.write.max_requests": 1000000,
    "cluster.throttle.node.write.action": "retry"
  }
}

以上配置表示开启节点限流功能，限定时间范围内单个节点允许最大写入50MB的数据，并且写入条数限制在100万，超过设定的阈值后会持续重试1秒钟，实际流量计算会稍有偏差。

分片级别限流 #

PUT _cluster/settings
{
  "transient": {
    "cluster.throttle.shard.write": true,
    "cluster.throttle.shard.write.max_bytes": "50MB",
    "cluster.throttle.shard.write.max_requests": 1000000,
    "cluster.throttle.shard.write.action": "drop"
  }
}

以上配置表示开启分片限流功能，限定时间范围内单个分片允许最大写入50MB的数据，并且写入条数限制在100万，超过设定的阈值后会立即拒绝写入，返回 rejected execution， 实际流量计算会稍有偏差。

索引级别限流 #

有时，我们需要只针对个别索引进行写入限流，又不想影响其他索引的写入速度，可以在创建索引时在 Settings 里指定相应的限流配置项：

PUT test_0
{
  "settings": {
    "number_of_replicas": 1,
    "number_of_shards": 3,
    "index.throttle.write.max_requests": 6000,
    "index.throttle.write.action": "retry",
    "index.throttle.write.enable": true
  }
}

注意事项 #

节点级别限流是针对所有 DataNode。

分片级别限流只计算从协调节点分发到数据节点主分片的 bulk 请求。

节点级别和分片级别限流不冲突，可以同时启用。

限流功能不会限制系统索引流量，只针对业务索引。