--- title: "INFINI Labs 产品更新 | Gateway 支持基于 Kafka 的复制能力，发布 Helm Charts 部署方式" date: 2023-09-22 lastmod: 2023-09-22 description: "INFINI Labs多款产品更新，包括Easysearch新增字段统计API、Gateway添加Kafka复制能力、Console优化数据迁移功能。同时发布INFINI Helm Charts v0.1.0，简化部署流程。欢迎体验并反馈。" tags: ["Easysearch", "Gateway", "Console", "Helm Charts"] summary: "INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增了索引字段相关统计 API，优化了 source_reuse 提升压缩效率；Gateway 新增诸多新特性，如：支持基于 Kafka 的复制能力，添加可插拔的分布式锁实现，新增 CPU 资源限制等功能；Console 本次主要优化了数据迁移功能，迁移任务详情页新增了若干指标图和日志查看等功能。 欢迎大家下载使用和反馈。 INFINI Helm Charts v0.1.0 # INFINI Helm Charts 是一组 Kubernetes 部署包管理工具。基于 Helm Charts，我们将 INFINI Labs 旗下相关产品预先配置好程序资源包，大大简化了部署流程。Github 仓库地址：https://github.com/infinilabs/helm-charts。 Helm Charts 本次更新如下： Features # 添加 Console Chart 添加 Easysearch Chart，支持单节点以及多节点（节点角色可配置）部署 基于 Helm Chart 部署 Easysearch 视频演示如下： .aspect-ratio { position: relative; width: 100%; height: 0; padding-bottom: 75%; } .aspect-ratio iframe { position: absolute; width: 100%; height: 100%; left: 0; top: 0; } 博客文章参见： 基于 Helm Chart 部署 Easysearch" --- INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增了索引字段相关统计 API，优化了 source_reuse 提升压缩效率；Gateway 新增诸多新特性，如：支持基于 Kafka 的复制能力，添加可插拔的分布式锁实现，新增 CPU 资源限制等功能；Console 本次主要优化了数据迁移功能，迁移任务详情页新增了若干指标图和日志查看等功能。 欢迎大家下载使用和反馈。 ## INFINI Helm Charts v0.1.0 INFINI Helm Charts 是一组 Kubernetes 部署包管理工具。基于 Helm Charts，我们将 INFINI Labs 旗下相关产品预先配置好程序资源包，大大简化了部署流程。Github 仓库地址：。 Helm Charts 本次更新如下： ### Features - 添加 Console Chart - 添加 Easysearch Chart，支持单节点以及多节点（节点角色可配置）部署 基于 Helm Chart 部署 Easysearch 视频演示如下： {{< bilibili 958833707 >}} 博客文章参见：[基于 Helm Chart 部署 Easysearch](https://infinilabs.cn/blog/2023/use-helm-install-easysearch/) ## INFINI Easysearch v1.6.0 INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个自主可控的轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。 Easysearch 本次更新如下： ### Features - 新增 \_field_usage_stats API，统计索引每个字段的访问次数 - 新增 \_disk_usage API，可以分析指定索引每个字段的磁盘占用大小 - 增加 flattened 类型，将 JSON 对象作为字符串处理，可以减少嵌套 JSON 型的文档的大小 ### Improvements - source_reuse 增加对 \_source 中数字类型的值进行复用压缩，可进一步降低 \_source 磁盘占用 - 改进 source_reuse 筛选字段的逻辑 ## INFINI Gateway v1.18.0 INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。 Gateway 本次更新如下： ### Breaking changes - 彻底移除了 request_body_truncate 和 response_body_truncate 过滤器 ### Features - 支持基于 Kafka 的复制能力 - 在请求上下文中添加 \_util.generate_uuid - 在请求上下文中添加 \_util.increment_id.BUCKET_NAME - 在 Pipeline 配置中添加 singleton，防止多个 Pipeline 同时运行 - 添加可插拔的分布式锁实现 - 添加通用应用程序的 preference 配置 - 泛化队列抽象，重构磁盘队列，完善 Kafka 实现 - 添加 merge_to_bulk 处理器， 废弃 indexing_merge 处理器 - 添加 flow_replay 处理器，废弃 flow_runner 处理器 - 为复制场景添加 replication_correlation - 添加 hash_mod 过滤器 - 在 bulk_response_process 过滤器中添加新参数 - 添加 request_reshuffle 过滤器 - 添加资源限制，允许设置最大 CPU 数或绑定亲和性 - 支持模板中的嵌套变量 - 添加 rewrite_to_bulk 过滤器 ### Bug fix - 修复了 Pipeline 中重试延迟未生效的问题 - 修复了模板中不支持数字的问题 - 修复了队列选择器通过标签的问题，如果指定了多个标签，它们都应该一起匹配 ### Improvements - 将所有模块名称转换为小写 - 在启动期间预取 Elasticsearch 元数据 - 添加应用程序范围的关闭信号 - 重构队列 API，支持 Kafka 管理 - 在 Badger 模块中添加 enabled - 允许使用优先级注册模块/插件 - 统一队列的使用和初始化 - 优化 bulk_reshuffle 过滤器的性能，添加响应头 X-Bulk-Reshuffled - 支持在 queue 过滤器中使用变量，允许输出最后生成的消息偏移量 ## INFINI Console v1.8.0 INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。 Console 在线体验： (用户名/密码：readonly/readonly)。 Console 本次更新如下： ### Features - 数据迁移任务支持自定义名称和添加标签 - 数据迁移任务详情页新增若干指标 - 数据迁移任务详情页新增查看日志 ### Improvements - 数据迁移 UI 优化 - 优化监控报表、数据看板、数据探索的时间控件 UI {{% load-img "/img/blog/2023/release-20230922/1.jpg" "" %}} {{% load-img "/img/blog/2023/release-20230922/2.jpg" "" %}} ## 期待反馈 欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（） 中的对应项目中提交 Feature Request 或提交 Bug。 - **INFINI Gateway：** - **INFINI Console：** - **下载地址：** 您还可以通过邮件联系我们：**hello@infini.ltd** 或者拨打我们的热线电话：**(+86) 400-139-9200** 欢迎加入 **Discord** 聊天室： 也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。 {{% load-img "/img/blog/release/contact_us.png" "" %}}