跳转至

高可用

基于 Zookeeper 的分布式高可用模式

支持基于 Zookeeper 的分布式高可用。保证多个采集代理运行时中只有一个采集代理运行实例在工作。

要求

采集代理版本 2.0.0 及以上。对应 DataPipeline 产品版本 4.2。同时 DataPipeline 的 Zookeeper 集群开放 2181 端口供采集代理访问。

  • 须指定 conf/oracle.yml 中的 src_id 来确定集群关系。
  • 须指定 conf/param.yml 中的 host 来确定采集代理访问地址。
  • 须指定 conf/param.yml 中的 zookeeper 来确定 Zookeeper 访问地址。

配置步骤

  • 编辑 conf/oracle.yml 中,编辑 src_id 使其与数据节点 ID 一致。
    src:
      id: <数据节点ID>
    
  • 编辑 conf/param.yml 中,添加如下配置项:
    param:
      zookeeper: <zookeeper 地址,须带有端口号,只有需要多个采集代理时需要>
      host: <webservice 能访问的 agent 地址,不要加端口号,DP 大于 4.2 必须配置>
    

单机 Keep-alive

通过配置 crontab 调用采集代理下的 keep-alived.sh 对目录下 PID 文件对应的进程进行存在判断。如果进程消失,则重启。 检查结果和重启历史记录在目录下 restart_history 文件中。

配置步骤

  • 切换到采集代理使用的系统用户
  • 编辑 crontab -e
    # 通过 cron 定义检查周期
    * * * * * <agent目录>/keep-alived.sh <agent目录>
    

单机 Keep-running

通过配置 crontab 调用采集代理下的 keep-running.sh 检查 save/<src_id>/cfg.loginfo 文件的修改时间。如果在规定时间内未更新,则重启采集代理。该脚本用于监控采集代理是否正常运行,因为 cfg.loginfo 是重启恢复的进度点,会定期更新。 检查结果和重启历史记录在目录下 restart_history 文件中。 注意:keep-running.sh 使用 Linux GNU stat 与 date 命令。在 BSD/macOS 上需替换为等价命令。

配置步骤

  • 切换到采集代理使用的系统用户
  • 编辑 crontab -e
    # 使用默认10分钟超时检查
    * * * * * <agent目录>/keep-running.sh <agent目录>
    
    # 第二个脚本参数设定超时时间(分钟) cron 定义检查周期,建议大于等于超时时间。至少大于 1 分钟(由于重启初始化阶段可能由于大量监听表的初始化导致一开始不会推进进度)
    */15 * * * * <agent目录>/keep-running.sh <agent目录> 15