如何监控 Elasticsearch 集群节点的 CPU 使用率 #

简介 #

本文将介绍如何使用 INFINI Console 监控 Elasticsearch 集群节点磁盘的使用率，并进行告警。

准备 #

下载并安装最新版 INFINI Console
使用 INFINI Console 注册 Elasticsearch 集群

创建告警规则 #

在浏览器中打开 INFINI Console，点击左侧菜单 告警管理 > 规则管理 进入告警管理页，然后点击 新建 按钮进入创建告警规则页。按以下步骤创建告警规则：

选择集群（这里需要选择 INFINI Console 存储数据的 Elasticsearch 集群，也就是在配置文件 console.yml 配置的 Elasticsearch 集群，如果没有注册到 INFINI Console，请先注册）
输入告警对象 .infini_metrics*（选择 Elasticsearch 集群下的索引，或者输入索引 pattern，这里因为 INFINI Console 采集的监控数据存放在索引 .infini_metrics 里面）
输入筛选条件（Elasticsearch 查询 DSL）这里我们需要过滤监控指标类别为 node_stats 及元数据分类为 elasticsearch，DSL 如下：

{
  "bool": {
    "must": [
      {
        "term": {
          "metadata.name": {
            "value": "node_stats"
          }
        }
      },
      {
        "term": {
          "metadata.category": {
            "value": "elasticsearch"
          }
        }
      }
    ]
  }
}

选择时间字段 timestamp 和统计周期用于做 date histogram 聚合

rules

输入规则名称
分组设置（可选，可配置多个），当统计指标需要分组的时候设置，由于所有注册到 INFINI Console 的 Elasticsearch 集群监控指标都存储在索引 .infini_metrics 里面，所以需要先根据集群 ID 分组，然后再根据节点 ID 分组，这里我们选择 metadata.labels.cluster_id 和 metadata.labels.node_id。
配置告警指标，选择聚合字段 payload.elasticsearch.node_stats.process.cpu.percent，统计方法 avg。
配置指标公式（当配置了一个以上的告警指标的时候，需要设置一个公式来计算目标指标），这里公式 fx 配置为 a。然后设置变量 a 的数值类型为比率 Ratio。
配置告警条件，这里配置三个告警条件，配置 持续一个周期 CPU 使用率大于 80 的时候，触发 P2(Medium) 告警; 配置 持续一个周期 CPU 使用率大于 90 的时候，触发 P1(High) 告警; 配置 持续一个周期 CPU 使用率大于 95 的时候，触发 P0(Critical) 告警;
设置执行周期，这里配置一分钟执行一次检查
设置事件标题，事件标题是一个模版，可以使用模版变量，模版语法及模版变量用法参考这里
设置事件内容，事件内容是一个模版，可以使用模版变量，模版语法及模版变量用法参考这里

Priority:{{.priority}}
Timestamp:{{.timestamp | datetime_in_zone "Asia/Shanghai"}}
RuleID:{{.rule_id}}
EventID:{{.event_id}}
{{range .results}}
ClusterID:{{index .group_values 0}};
NodeID:{{index .group_values 1}};
CPU:{{.result_value | to_fixed 2}}%;
{{end}}

rules