跳转至

指标监控

采集代理指标监控

采集代理使用 jmx_exporter 及 Micrometer 暴露关键指标。 可通过 Prometheus + Grafana 构建实时及历史指标监控系统。

有两种暴露方式:

  • 标准模式:默认开启,不使用额外的端口,仍使用 param.yml 中定义的 port 作为端口。
  • 插件模式:使用了 jmx_prometheus_javaagent-0.17.0.jar 并自定义额外端口。启动时 ./start.sh -w -j <指定端口>

两种方式都使用同一个 endpoint /metrics, 区别是第一种方式可额外使用 /metrics?format=json 得到 JSON 返回。

查询指标接口

返回指标当前值:

# 标准模式
curl agent_ip:<agent_web_port>/metrics[?format=json]
# 插件模式
curl agent_ip:<jmx_exporter_port>/metrics

Prometheus 配置

以 Linux 单机部署的 Prometheus 为例配置 Prometheus.yml。

- job_name: "oracle_agent"
  static_configs:
    # 采集代理的部署 IP 及端口
    - targets: [ "192.168.0.14:9999" ]

Grafana 配置

  1. Grafana 配置 Prometheus 数据源,详情参见 Grafana 官方使用文档。
  2. Grafana 的 dashboards 中导入 agent_metrics_grafana 的 json 文件:agent性能监控配置文件

指标定义

采集代理相关指标

指标名称 指标含义 指标单位
agent_cmt_to_send_latency_95th_percentile 从一个事务被agent解析到该事务准备发送到kafka的处理时间的95%分位数 ms
agent_cmt_to_send_latency_max 从一个事务被agent解析到该事务准备发送到kafka的处理时间的最大值 ms
agent_cmt_to_send_latency_mean 从一个事务被agent解析到该事务准备发送到kafka的处理时间的平均值 ms
agent_deallag agent解析的积压(agent解析进程落后redo日志时间) ms
agent_start_total 描述自上次agent start.sh -w 后agent的解析进程启动的次数 次数
agent_redolog_deal_quantity_oneMinute_rate agent日志率解析速率 KB/s
agent_redolog_deal_quantity_count 描述自agent启动以来的日志解析量 KB
agent_process_trans_total 描述自agent启动以来的事务处理量 条
agent_cmt_to_send_lag_max 描述oracle事务提交到写入kafka的所用的时间 ms
kafka_producer_byte_rate 描述每个kafka producer 的kafka写入速率 B/s

同时 Micrometer 提供系统相关指标:

指标组 描述
JvmGcMetrics JVM GC 指标
JvmMemoryMetrics JVM 内存指标
JvmThreadMetrics JVM 线程指标
DiskSpaceMetrics 磁盘空间指标
FileDescriptorMetrics 文件句柄指标
ProcessorMetrics 处理器指标
UptimeMetrics 运行时间指标

关键性系统指标:

指标名 指标含义 单位
java_lang_Memory_HeapMemoryUsage_max 最大堆内存量 Byte
java_lang_Memory_HeapMemoryUsage_used 堆内存使用量 Byte
java_lang_Memory_NonHeapMemoryUsage_max 最大堆外内存 Byte
java_lang_Memory_NonHeapMemoryUsage_used 堆外内存使用量 Byte
java_lang_GarbageCollector_CollectionTime{name="G1 Young Generation"} 新生代回收耗时 Byte
java_lang_GarbageCollector_CollectionTime{name="G1 Old Generation"} 老生代回收耗时 Byte
java_lang_GarbageCollector_CollectionCount{name="G1 Young Generation"} 新生代回收次数 Byte
java_lang_GarbageCollector_CollectionCount{name="G1 Old Generation"} 老生代回收次数 Byte
java_lang_ClassLoading_TotalLoadedClassCount 总载入类
java_lang_OperatingSystem_SystemCpuLoad 系统 cpu load
java_lang_OperatingSystem_ProcessCpuLoad 进程 cpu load
metrics_processCpuUsage_Value{type="gauges"} 进程 cpu 占用率
metrics_systemCpuUsage_Value{type="gauges"} 系统 cpu 占用率
java_lang_Threading_ThreadCount 线程数
java_lang_Threading_DaemonThreadCount 守护线程数
metrics_jvmThreadsLive_Value{type="gauges"} 活动线程数
metrics_jvmThreadsDaemon_Value{type="gauges"} 守护线程数

具体指标名可通过接口返回过滤关键字

curl -s /metrics | grep -v '#' | grep -i <关键字>

比如 file(文件句柄相关)thread(线程相关)对照其名称得到具体名称。 例如:

curl -s localhost:7303/metrics  | grep -v '#' | grep -i file
metrics_processFilesMax_Number{type="gauges"} 655350.0
metrics_processFilesMax_Value{type="gauges"} 655350.0
metrics_processFilesOpen_Value{type="gauges"} 49.0
java_lang_OperatingSystem_OpenFileDescriptorCount 49.0
metrics_processFilesOpen_Number{type="gauges"} 49.0
java_lang_OperatingSystem_MaxFileDescriptorCount 655350.0

配置输出规则

采集代理会保留所有上述指标及输出固定格式。其配置文件放置在 export-<version>.jar 中。 可通过配置文件 conf/metrics_v1.yml 覆盖默认配置文件。 详细解释及使用方法请参考 jmx_exporter 配置方法。

匹配输入

此处摘抄自 jmx_exporter 配置方法

Pattern 匹配格式为:

domain<beanpropertyName1=beanPropertyValue1, beanpropertyName2=beanPropertyValue2, ...><key1, key2, ...>attrName: value
组成部分 描述
domain Bean 名,JMX Object 逗号前的部分。
beanPropertyName/Value Bean 属性 (key/Value)。 JMX Object 名逗号后的部分。
keyN 如果是复合或表格式数据, 属性名会在此列表中,类似列名
attrName 属性名
value 属性值

默认输出格式

domain_beanPropertyValue1_key1_key2_...keyN_attrName{beanpropertyName2="beanPropertyValue2", ...}: value

注:micrometer 会将程序中定义的 label (例如 src_id) 拼接在 name (beanProperty) 上,可通过正则表达式匹配后还原。 例如:

  - pattern: metrics<name=agentRedologDealQuantity\.src\_id\.(\d+), type=meters.*><>OneMinuteRate
    name: agent_redolog_deal_quantity_oneMinute_rate
    labels:
      src_id: "$1"
    type: GAUGE
  # domain:metrics
  # beanpropertyName1:name
  # beanpropertyName2:type
  # attrName:OneMinuteRate