指标监控
采集代理指标监控¶
采集代理使用 jmx_exporter 及 Micrometer 暴露关键指标。 可通过 Prometheus + Grafana 构建实时及历史指标监控系统。
有两种暴露方式:
- 标准模式:默认开启,不使用额外的端口,仍使用
param.yml中定义的port作为端口。 - 插件模式:使用了 jmx_prometheus_javaagent-0.17.0.jar 并自定义额外端口。启动时
./start.sh -w -j <指定端口>
两种方式都使用同一个 endpoint /metrics, 区别是第一种方式可额外使用 /metrics?format=json 得到 JSON 返回。
查询指标接口¶
返回指标当前值:
# 标准模式
curl agent_ip:<agent_web_port>/metrics[?format=json]
# 插件模式
curl agent_ip:<jmx_exporter_port>/metrics
Prometheus 配置¶
以 Linux 单机部署的 Prometheus 为例配置 Prometheus.yml。
- job_name: "oracle_agent"
static_configs:
# 采集代理的部署 IP 及端口
- targets: [ "192.168.0.14:9999" ]
Grafana 配置¶
- Grafana 配置 Prometheus 数据源,详情参见 Grafana 官方使用文档。
- Grafana 的 dashboards 中导入 agent_metrics_grafana 的 json 文件:agent性能监控配置文件
指标定义¶
采集代理相关指标
| 指标名称 | 指标含义 | 指标单位 |
|---|---|---|
| agent_cmt_to_send_latency_95th_percentile | 从一个事务被agent解析到该事务准备发送到kafka的处理时间的95%分位数 | ms |
| agent_cmt_to_send_latency_max | 从一个事务被agent解析到该事务准备发送到kafka的处理时间的最大值 | ms |
| agent_cmt_to_send_latency_mean | 从一个事务被agent解析到该事务准备发送到kafka的处理时间的平均值 | ms |
| agent_deallag | agent解析的积压(agent解析进程落后redo日志时间) | ms |
| agent_start_total | 描述自上次agent start.sh -w 后agent的解析进程启动的次数 | 次数 |
| agent_redolog_deal_quantity_oneMinute_rate | agent日志率解析速率 | KB/s |
| agent_redolog_deal_quantity_count | 描述自agent启动以来的日志解析量 | KB |
| agent_process_trans_total | 描述自agent启动以来的事务处理量 | 条 |
| agent_cmt_to_send_lag_max | 描述oracle事务提交到写入kafka的所用的时间 | ms |
| kafka_producer_byte_rate | 描述每个kafka producer 的kafka写入速率 | B/s |
同时 Micrometer 提供系统相关指标:
| 指标组 | 描述 |
|---|---|
| JvmGcMetrics | JVM GC 指标 |
| JvmMemoryMetrics | JVM 内存指标 |
| JvmThreadMetrics | JVM 线程指标 |
| DiskSpaceMetrics | 磁盘空间指标 |
| FileDescriptorMetrics | 文件句柄指标 |
| ProcessorMetrics | 处理器指标 |
| UptimeMetrics | 运行时间指标 |
关键性系统指标:
| 指标名 | 指标含义 | 单位 |
|---|---|---|
| java_lang_Memory_HeapMemoryUsage_max | 最大堆内存量 | Byte |
| java_lang_Memory_HeapMemoryUsage_used | 堆内存使用量 | Byte |
| java_lang_Memory_NonHeapMemoryUsage_max | 最大堆外内存 | Byte |
| java_lang_Memory_NonHeapMemoryUsage_used | 堆外内存使用量 | Byte |
| java_lang_GarbageCollector_CollectionTime{name="G1 Young Generation"} | 新生代回收耗时 | Byte |
| java_lang_GarbageCollector_CollectionTime{name="G1 Old Generation"} | 老生代回收耗时 | Byte |
| java_lang_GarbageCollector_CollectionCount{name="G1 Young Generation"} | 新生代回收次数 | Byte |
| java_lang_GarbageCollector_CollectionCount{name="G1 Old Generation"} | 老生代回收次数 | Byte |
| java_lang_ClassLoading_TotalLoadedClassCount | 总载入类 | |
| java_lang_OperatingSystem_SystemCpuLoad | 系统 cpu load | |
| java_lang_OperatingSystem_ProcessCpuLoad | 进程 cpu load | |
| metrics_processCpuUsage_Value{type="gauges"} | 进程 cpu 占用率 | |
| metrics_systemCpuUsage_Value{type="gauges"} | 系统 cpu 占用率 | |
| java_lang_Threading_ThreadCount | 线程数 | |
| java_lang_Threading_DaemonThreadCount | 守护线程数 | |
| metrics_jvmThreadsLive_Value{type="gauges"} | 活动线程数 | |
| metrics_jvmThreadsDaemon_Value{type="gauges"} | 守护线程数 |
具体指标名可通过接口返回过滤关键字
curl -s /metrics | grep -v '#' | grep -i <关键字>
比如 file(文件句柄相关)thread(线程相关)对照其名称得到具体名称。 例如:
curl -s localhost:7303/metrics | grep -v '#' | grep -i file
metrics_processFilesMax_Number{type="gauges"} 655350.0
metrics_processFilesMax_Value{type="gauges"} 655350.0
metrics_processFilesOpen_Value{type="gauges"} 49.0
java_lang_OperatingSystem_OpenFileDescriptorCount 49.0
metrics_processFilesOpen_Number{type="gauges"} 49.0
java_lang_OperatingSystem_MaxFileDescriptorCount 655350.0
配置输出规则¶
采集代理会保留所有上述指标及输出固定格式。其配置文件放置在 export-<version>.jar 中。
可通过配置文件 conf/metrics_v1.yml 覆盖默认配置文件。
详细解释及使用方法请参考 jmx_exporter 配置方法。
匹配输入¶
此处摘抄自 jmx_exporter 配置方法
Pattern 匹配格式为:
domain<beanpropertyName1=beanPropertyValue1, beanpropertyName2=beanPropertyValue2, ...><key1, key2, ...>attrName: value
| 组成部分 | 描述 |
|---|---|
| domain | Bean 名,JMX Object 逗号前的部分。 |
| beanPropertyName/Value | Bean 属性 (key/Value)。 JMX Object 名逗号后的部分。 |
| keyN | 如果是复合或表格式数据, 属性名会在此列表中,类似列名 |
| attrName | 属性名 |
| value | 属性值 |
默认输出格式¶
domain_beanPropertyValue1_key1_key2_...keyN_attrName{beanpropertyName2="beanPropertyValue2", ...}: value
注:micrometer 会将程序中定义的 label (例如 src_id) 拼接在 name (beanProperty) 上,可通过正则表达式匹配后还原。 例如:
- pattern: metrics<name=agentRedologDealQuantity\.src\_id\.(\d+), type=meters.*><>OneMinuteRate
name: agent_redolog_deal_quantity_oneMinute_rate
labels:
src_id: "$1"
type: GAUGE
# domain:metrics
# beanpropertyName1:name
# beanpropertyName2:type
# attrName:OneMinuteRate