跳转至

通用故障处理流程

当我们在讨论采集代理无法工作的场景时,一般是指采集进度无法推进,或者推进得非常慢。这种情况下,我们需要对采集代理进行诊断,找出问题的原因,然后进行修复。 诊断需要一些关键信息,从运维的角度可以在恢复前通过一定的步骤将关键信息保留,再恢复后进行事后分析。

判断故障类型

  • 如果是已知错误,可以参照常见错误的进行处理。
  • 如果是未知错误,比如一直报类似 IndexOutOfBound,NullPointerException 之类的致命错误并不断自动重启无法恢复的情况,此种一般由于解析问题,或者事务文件损坏,导致无法恢复,需要保留现场后重置进度并恢复运行。

保留现场

当我们想在事后还原现场时,需要保留现场的一些要素,大致分类为三种:

  1. 外部环境:包括系统负载,网络情况,数据库状态,当前正在采集的数据库日志对象等。

  2. 内部环境:包括运行目录下配置文件,产生的临时文件,

  3. 运行历史:包括了程序运行的历史日志,历史指标等。

基本要素包括:

  • log 目录下的日志文件
  • conf 目录的配置文件
  • dict 目录下的数据字典文件
  • trans 目录下的缓存事务
  • arch 目录下的归档文件
  • 当前 JVM 堆栈信息
  • Java heapspace 等 OOM 报错后产生的 hprof 文件
  • JVM 无故崩溃后的 hs_err.log 文件

收集程序堆栈快照:

使用 jstack 命令输出到当前目录,最后带上日期时间戳,以便后续分析。

# 将 agent pid 对应的进程的堆栈信息输出到当前目录,以当前时间戳命名
jstack $(cat pid) > thread-$(date +%Y%m%d_%H%M%S).txt

下载当前采集的归档文件:

如果需要保留当前正在采集的归档文件,首先需要查看当前的进度文件,得到当前采集的 RAC 和 THREAD 信息。然后使用 ./cli.sh 中的 arc session,使用 CP 命令将对应的归档文件下载到 arch 目录。

打包所有其他文件:

简单来说,只需要将当前运行目录复制即可。但是需要注意的是,如果 trans 目录很大,可能会导致复制时间过长。可以选择只复制 conf, dict, arch, log 目录。

如何恢复

在保留完现场后,如果要恢复运行,选择重置 agent。并根据需要指定起点,参照指定起点的方法。

外部环境

  1. 系统负载
    • top命令
    • iostat命令
    • vmstat命令