需求背景 #

某头部汽车集团需要针对当前 Elasticsearch(简称：ES) 集群进行优化，背景如下：ES 主要用于支撑包括集团内部核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用，合计超 50 余套集群，累计数据超 1.5PB 。部分集群写入数据时经常掉节点，写入性能也不稳定，当天的数据写不完，影响了相关业务系统正常运行并给技术团队带来了困扰，因此迫切需要新的解决方案。

解决方案 #

针对其中一个 ES 集群优化做具体案例分析，该集群原本使用的是 ES 7.3.2 免费版，数据已经 130TB 了，14 个节点。经过分析业务场景后总结需求要点：

1. 主要是写，很少查；
2. 审计需求，数据需要长期保存。

这个需求比较具有代表性，而极限科技推出的自主可控的 ES 平替产品 INFINI Easysearch 针对不同读写场景进行过极致优化，同时具备强大的数据压缩功能以及支持审计日志。结合 Easysearch 的解决方案如下：

1. 使用 Easysearch 替代 ES，Easysearch 只需少量节点存储近两天的数据。
2. 索引设置开启 ZSTD 压缩功能，节省磁盘空间。
3. 每天索引数据写完后，第二天执行快照备份存放到 S3 存储。
4. 备份成功后，删除索引释放磁盘空间。
5. 需要搜索数据时，直接从快照搜索。

将近期的数据，存放到本地磁盘，保障写入速度。写入完毕的索引，在执行快照备份后，可删除索引，释放本地磁盘空间。

总结与收益 #

本次 ES 集群优化，将 ES 集群迁移到 Easysearch 集群后，存储空间降低到了 60TB，节省了 50% 磁盘资源。节点降低到了 8 个节点，节省了 40% 主机资源。另外，用上对象存储后，冷热数据分离，主机磁盘空间压力骤减，同时提升了整个 Easysearch 集群的稳定性和性能，为企业实现了降本增效。