跳转至

资源限制

CPU 使用率说明

采集代理在默认配置下(不开启并发)的情况下对 CPU 的使用大约为 10% - 200% 左右, 主要 CPU 时间消耗在于解析日志,转换 record 格式上。并会伴有一定间隔的 JVM 垃圾回收造成的 CPU 高峰,一般持续不到 1秒,该高峰可由 JVM 的 GC 线程数控制,见采集代理线程数控制。 在解析量很小时,即与数据库时间延迟不大时,CPU 使用较为空闲。 当落后数据库时间时,采集代理将满负荷运行以求尽快追上进度。 当开启并发处理(deal_parallelism)后,满负荷运行的 agent 可达到 1000% 或以上的 CPU 使用率,其具体值取决于运行所在服务器的总 CPU 核数。

内存使用说明

内存使用由 JVM 参数控制,可修改 conf/jvm.option 脚本中对应的 HEAP_SIZE 来限定内存使用量。当采集代理为本地部署时,程序会使用 2G 堆外内存来加速本地文件读取,该值也可以修改 conf/jvm.option 文件中参数进行调整。

conf/jvm.option
# JVM 堆内存大小
HEAP_SIZE="1024M"
# JVM 堆外内存大小
-XX:MaxDirectMemorySize=2G

磁盘使用量限制

采集代理会定期检查当前所在文件夹所在的磁盘剩余空间,当小于 min_diskspace 设定的值时,程序会不断报错并自动重启。等待磁盘空间够了,继续运行。

conf/param.yml
# 值为数字 + 单位(g/m/k),默认为10g
min_diskspace: 10g
# 更新最小磁盘限制为 50g
curl -XPUT localhost:8303/param/min_diskspace/ -d '50g'

采集代理线程数控制

采集代理使用的线程数主要由 5 个主体线程(负责异步处理流程),及并发处理线程池(负责并发读取,解析,转换线程组成。并发数由 read/deal/conv parallelism 控制.

conf/param.yml
# 默认为值为 0,即不开启并发,-1 为 cpu 核数的并发,其他值为具体并发数。
read_parallelism: 0
deal_parallelism: 0
conv_parallelism: 0

同时由于采集代理运行于采用默认 ParallelGC 的 JVM 之上,有一部分线程会被 JVM 用于垃圾回收。该线程数默认与 cpu 核数相关,可通过 JVM 参数调整。

conf/jvm.option
# 设置并发垃圾回收线程数 = 4
-XX:ParallelGCThreads=4

# 更新 conv_parallelism 为 1
curl -XPUT localhost:8303/param/conv_parallelism/ -d '1'

采集代理日志读取速率限制

采集代理可以控制每秒读取日志的速率

conf/param.yml
# 默认为值为 0,即不限制
deal_byte_rate: 0
# 更新 deal_byte_rate 为 1mb/s
curl -XPUT localhost:8303/param/deal_byte_rate -d '1000000'

采集代理处理速率限制

采集代理可以控制每秒处理的数据速率(过滤非监听表事件后)。该控制也会影响Kafka Producer 实际发送的数据量。

conf/param.yml
# 默认为值为 0,即不限制
conv_byte_rate: 0
# 更新 conv_byte_rate 为 1mb/s
curl -XPUT localhost:8303/param/conv_byte_rate -d '1000000'

Kafka Producer 数量控制

程序会使用固定数量的 Kafka Producer 并发发送数据。数量控制参数为 producer_num。提高 Producer 数量可提高总发送速率。

conf/param.yml
# 默认为值为 1
producer_num: 1
# 更新 producer 数量为 5
curl -XPUT localhost:8303/param/producer_num -d '5'

Kafka Producer 配额限制

通过在 DataPipeline zookeeper 容器中的 kafka-configs.sh脚本,可在采集代理配置的 Kafka 集群中配置 Kafka Producer 发送速率配额来限制网络带宽。

# 在部署有 zk1 容器的服务器上 进入 Zookeeper 容器执行命令
docker exec -it zk1 bash
# 将节点 id (dp web url: /data-nodes/{id}) 对应的采集代理的 Kafka producer 总速率限制在 1024 bytes/s
bin/kafka-configs.sh  --zookeeper localhost:2181 --alter --add-config 'producer_byte_rate=1024' --entity-type clients --entity-name agent_5

CPU 配额限制

采集主体为 java 程序。其 CPU 使用受操作系统 cpu 分配控制。但仍可在程序内部监控 cpu 使用量 (cpu time),测算出当前使用百分比,从而设置一定的 sleep 时间,降低 cpu 占用。

控制参数为 cpu_limit, 值为 0 或 100 时代表不限制。

conf/param.yml
# 值为数字,代表百分数%
cpu_limit: 50
# 更新 cpu_limit 限制为 80%
curl -XPUT localhost:8303/param/cpu_limit -d '80'

生产不推荐设置的低于30%,因为系统会自动为其他高优先级的进程分配更多 cpu 时间。只有在 cpu 资源特别紧张时,发生采集代理和其他进程明显资源争抢时,再考虑配置该参数。实际推荐值需要结合系统配置及限制后性能效果做判断。