极限网关案例分享（3）：使用极限网关实现多集群写入

背景 #

集群数据量⽇增 3 T，为避免单集群过大，造成性能问题，计划将数据写入多个集群。

⽅案 #

可以按照数据产生的时间来划分集群，比如按月来划分集群。从而保证单个集群在可控范围内。

为了让应用尽可能无缝接入数据，可以使用极限网关进行前置流量拆分，通过 context_switch 过滤器对匹配的上下文变量进行条件判断，将流量分拆到不同的集群。

流量拆分方案 #

根据当前数据的写入时间来进行拆分，比如每月 1，4，7，10，13，16，19，22，25，28，31 号的数据写到 es1 集群；每月 2，5，8，11，14，17，20，23，26，29 号的数据写入 es2 集群；每月 3，6，9，12，15，18，21，24，27，30 号的数据写到 es3 集群。

Note：当前方案只是根据比较粗的粒度进行流量切分，不是文档和字段粒度的切分，在两个切分粒度的边界时间可能存在误差的问题，比如 1 号和 2 号的中间，可能存在实际一条日志记录数产生在 1 号底，但是却因为时间索引延迟而保存到 2 号数据的写入集群的情况。

极限网关配置 #

entry:
  - name: test_entry
    enabled: true
    router: default
    max_concurrency: 20000
    network:
      binding: 0.0.0.0:8000

router:
  - name: default
    default_flow: default_flow

flow:
  - name: not_found
    filter:
      - elasticsearch:
          elasticsearch: es1
  - name: es1
    filter:
      - elasticsearch:
          elasticsearch: es1
  - name: es2
    filter:
      - elasticsearch:
          elasticsearch: es2
  - name: es3
    filter:
      - elasticsearch:
          elasticsearch: es3

  - name: default_flow
    filter:
      - context_switch:
          context: _sys.day_of_now
          default_flow: not_found
          skip_error: true
          switch:
            - case: [1, 4, 7, 10, 13, 16, 19, 22, 25, 28, 31]
              case_value_type: int
              action: redirect_flow
              flow: es1
            - case: [2, 5, 8, 11, 14, 17, 20, 23, 26, 29]
              case_value_type: int
              action: redirect_flow
              flow: es2
            - case: [3, 6, 9, 12, 15, 18, 21, 24, 27, 30]
              case_value_type: int
              action: redirect_flow
              flow: es3

elasticsearch:
  - name: es1
    enabled: true
    endpoints:
      - http://10.247.146.51:32255
    basic_auth:
      username: infini
      password: infiniinfini
  - name: es2
    enabled: true
    endpoints:
      - http://10.247.146.51:32188
    basic_auth:
      username: infini
      password: infiniinfini
  - name: es3
    enabled: true
    endpoints:
      - http://10.247.146.51:32091
    basic_auth:
      username: infini
      password: infiniinfini

其他可供使用的上下文变量有：

_sys.month_of_now
_sys.weekday_of_now
_sys.day_of_now
_sys.hour_of_now
_sys.minute_of_now
_sys.second_of_now

更多极限网关配置信息请参考官网。

关于极限网关（INFINI Gateway） #

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway，可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 现已开源（https://github.com/infinilabs/gateway），如有相关问题或建议，欢迎提交 PR 或 Issue，一起参与开源共建！

刘奎君

追求极致，无限可能。

· TDBC 2025 大会聚焦 AI 与数据库融合，极限科技发布新一代 Coco AI 搜索平台 · 极限科技 Coco AI 荣获 2025 首届人工智能应用创新大赛全国一等奖 · 搜索型数据库的技术发展历程与趋势前瞻 · 极限网关助力好未来 Elasticsearch 容器化升级 · 国产搜索引擎崛起：Elasticsearch 国产化加速

· 极限科技开源赞助计划：欢迎开源项目申请支持 · 探索低空经济“关键一跃” —— 技术如何驱动商业落地线上研讨会圆满举办 · 极限科技荣膺 2025 金猿奖 — “年度国产化优秀代表厂商”，自主可控搜索方案 Easysearch 获行业高度认可 · 极限科技 Coco AI 荣获 2025 IT168 技术卓越奖 - 创新产品奖 · APM（三）：监控 Python 服务链 · INFINI Labs 产品更新 | Coco AI v0.10 × Easysearch v2.0 联袂上线：UI 全面重构，体验焕然一新 · Easy-Es 2.1.0-easysearch 版本发布 · APM（二）：监控 Python 服务 · 🔥 程序员爆哭！我们让 COCO AI 接管 GitLab 审查后，团队直接起飞：连 CTO 都说“这玩意儿比人靠谱多了” · APM（一）: Skywalking 与 Easyearch 集成

2026 x

开源 x

赞助 x

开源生态 x

社区 x

低空经济 x

商业化 x

Easysearch x

数据分析 x

金猿奖 x

国产化 x

搜索引擎 x

Coco AI x

技术卓越奖 x

创新产品奖 x

IT168 x

APM x

Skywalking x

产品更新 x

Easy-Es x

Coco x

AI x

GitLab x

代码审核 x

人工智能 x

石油石化 x

performance x

Gitee x

投票 x

Meilisearch x

Rust x

轻量级 x

搜索百科 x

Docker x

Docker Compose x

Easyserach x

Console x

DevOps x

Elasticsearch x

国产替代 x

backup x

snapshot x

CCR x

Gateway x

esdump x

source_reuse x

ignore_above x

OpenSearch x

AWS x

Lucene x

Solr x

Easyearch x

发明专利 x

数据分区 x

国际专利 x

一等奖 x

人工智能应用创新大赛 x

bulk x

embedding x

OpenAI x

IK x

TDBC x

2025 x

信通院 x

可信数据库大会 x

搜索型数据库 x

中国数据库产业图谱 x

上海开源创新菁英荟 x

开源创新新星企业 x

Workshop x

AI 搜索 x

智能助手 x

Automation x

Logstash x

MongoDB x

开源中国 x

直播 x

merge x

Elasticsearch 9 x

GitCode x

AI搜索 x

Cloud x

rollup x

Kubernetes x

Operator x

Arm64 x

Snapshot x

S3 x

Grafana x

Opensearch x

Nginx x

直播活动 x

搜索客社区 x

Meetup x

ES x

企业搜索 x

DeepSeek x

RAG x

certificate x

windows x

Rollup x

TopN x

Filebeat x

Ubuntu x

请求限速 x

INFINI Console x

指标 x

Kibana x

多集群 x

client x

Spring Boot x

ECE x

ES Bulk x

vector database x

Postgres x

可搜索快照 x

SDK x

官网 x

Web 开发 x

Next.js x

React x

Three.js x

Metrics x

Helm x

filter x

querycache x

practice x

Agent x

localStorage x

响应式 x

时间组件 x

时区组件 x

极限科技 x

三周年 x

周年庆 x

国家高新技术企业 x

校园招聘 x

湖北工业大学 x

Tauri x

Web 开发人员 x

桌面应用开发 x

桌面端 x

Electron x

Pizza x

认证培训 x

报名 x

Scrapy x

爬虫 x

Rust开发者大会 x

docsearch x

文档搜索 x

Easyseach x

有奖征文 x

黑神话悟空 x

EKS x

征文系列 x

跨集群搜索 x

科技中小企业 x

白皮书 x

Python SDK x

数据库产业图谱 x

超大规模 x

分布式集群 x

写入限流 x

2024可信数据库发展大会 x

创新型中小企业 x

搜索数据库 x

正排索引 x

免费许可证 x

K8S x

DTC2024 x

实时搜索 x

ES国产化 x

Redis x

OOM x

测试 x

内存 x

趋势 x

AI绘画 x

Stable Diffusion x

Diffusion x

Model x

GAN x

语义搜索 x

知识图 x

向量数据库 x

中国信通院 x

星河（Galaxy） x

标杆案例 x

鲲鹏 x

鲲鹏技术认证 x

客户端 x

日志平台 x

LDAP x

Loadgen x

中国一汽 x

国内数据库 x

墨天轮 x

监控系统 x

集成测试 x

ZSTD x

Helm Charts x

国产适配 x

兆芯 x

Linux x

LoongArch x

信创适配 x

二维拆分算法 x

中国移动云 x

Vault x

加密 x

安全工具 x

kNN x

向量检索 x

图片搜索 x

Alerting x

SQL x

搜索 x

Embedding x

可信数据库 x

统信 x

海光 x

龙芯 x

restore x

Arm x

大数据企业证书 x

移动云大会 x

信通院产品评测 x

国内首家 x

数据可视化 x

北京软协 x

第十届理事会会员单位 x

Apache Arrow x

宣传片 x

大会分享 x

多集群管理 x

无缝数据迁移 x

Loadrun x

INFINI Gateway x

log4j x

背景 #

⽅案 #

流量拆分方案 #

极限网关配置 #

关于极限网关（INFINI Gateway） #

相关文章