配置参数

conf/param.yml
# -------- output ---------- 
# 输出通道
# channel 模式:
#   - kafka     输出到 Kafka
#   - file(.v)  输出到本地文件(是否打印列值)
#   - console   输出到屏幕(标准输出)
#   - null      无输出
channel: file

# zookeeper 地址,当需要高可用功能时必须配置
zookeeper: ""

# -------- env config ---------- 
# charset_form 为 1 的编码,对应数据库 NLS_CHARACTERSET
charset1: gbk

# charset_form 为 2 的编码,对应数据库 NLS_NCHAR_CHARACTERSET
charset2: utf-8

# clob 的编码
charset_clob: utf-8

# web HTTP 端口
port: 8303

# 本机 host 地址,默认取本地主机 ip 地址
host: 127.0.0.1 # 替换为实际的默认本地主机IP

offmore: false

# -------- interval ---------- 
# 当读到头的时候,多久 query 一次 le
change_interval_sec: 1.0

# 等到更新监听规则至生效的超时时间
map_update_timeout_sec: 300

# 发生错误后自动重启间隔
retry_backoff_ms: 30000

# -------- print ---------- 
# 对某个 obj no 做打印
print_objno: []

# 对某个 obj no 做打印级别
print_level: 1

# 详细打印限制
print_detail_cooldown_ms: 3000

# 打印 [exec] 的耗时
print_cost: false

# 打印 merge 的结果
print_merge: false

# 打印大 trans 的结果
print_large_tx_threshold: 10m

# -------- resource ---------- 
# 最小磁盘空间
min_diskspace: 10g

# 当异常退出时,是否删除缓存的事务文件
delete_trans_if_low_diskspace: false

# 一次性读取大小
read_mb: 10.0

# 一次性输出大小/最大缓存文件大小
out_mb: 10.0

# 是否开启并发转换
conv_parallelism: 0

# producer 数量
producer_num: 1

# cpu% 限制
cpu_limit: 0

# deal 限速
deal_byte_rate: 0

# conv 限速
conv_byte_rate: 0

# -------- misc ---------- 
# 当日志被回收时自动策略:earliest/latest
auto_reset_policy: none

# 是否在 deal 阶段就过滤
filter_ahead: true

# 是否使用 DIRECT_MEMORY 当本地部署时
direct_local: false

# 使用 老 agent 创建 view
legacy_view: false

# 指定 dp_pdbs 表所在用户
pdbs_schema: sys

# converter 用 avro(false) 还是 string(true)
legacy_format: false

# 是否跳过序列化错误
skip_error: true

# 是否忽略 update 255列的列值
ignore_255_update: false

# 当异常退出时,是否保存当前 ORACLE REDO 文件
save_on_quit: false

# 跳过整合失败数据
skip_merge_fail: true

# 故意的 lag
lag_barrier: -1

# 读取本地日志文件时的读取方式
local_mode: none

# 对归档和在线日志使用同样的本地读取方式
local_mode_all: true

# 当使用 local_mode = clib 时,是否使用数据库查询得到的日志文件大小
log_size_from_db: false

aix_stat_size_off: -1

# 是否在转换时验证数字类型精度
validate_number_type: false

# 当读取进度不推进时,最多重试几次后重启
max_read_retries: 5

# 最多几次由于读取进度不推进重启时,重置进度
max_restart_before_reset: 3

log_p_max: -1

# 监视程序监视间隔
monitor_interval_sec: 30

# 是否忽略 Kafka Producer 报错
ignore_kafka_exception: false

# 恢复模式: reset | none
recovery_mode: none

# 指定获取数据库当前正在写的日志进度的 SQL
lesql: ""

# 是否匹配不带 schema 的原始 SQL 到具体监听表
match_no_schema_sql: false

# 缓存事务文件的过期时间(小时)
tx_expire_hr: 0

# 缓存的 lob 数据过期时间(分钟)
lob_expire_min: 2

# 当发现当前解析日志已被切换后,是否关闭当前文件并重新打开
close_on_switch: true

# 通知相关的配置
NotificationSpec:
  # 是否发送 DDL 消息
  send_ddl: false

  # 对不同错误类型的发送频率设置
  error_record_report_interval: {}

# 是否验证分区表的分区合法性
enable_partition_validation: true

# 工作线程配置对象
WorkerSpec:
  # 最大阻塞时间
  maxBlockingSec: 1800

# 是否忽略单独的 ORP record
ignore_orp_only: false

# /config/validation 接口跳过实际校验连接信息
skip_validation: false

# 日志中是否对连接串做打码
mask_creds: true

# 找不到日志时,多久报一次错
missing_log_tolerance_times: 1

# 最大的错误文件缓存数量
err_files_max: 0

# 允许本地编辑的 login 信息不被节点信息覆盖
local_src_login: false

# 高可用容灾延迟
ha_failover_delay: 5000

# 是否开启并发解析
deal_parallelism: 0

# 是否开启并发读取
read_parallelism: 0

# read 限速
read_byte_rate: 0

# 对象池大小
max_record_pool: 10000

# 当多久进度没变化时,尝试查询数据库 open 状态
no_change_count: 10

# 开放修改在线日志的查询过滤条件
online_conditions: ""

# 开放修改归档日志的查询过滤条件
archive_conditions: ""

# 屏蔽的 rac 节点 id 列表
mute_rac: []

# 是否发送安全 scn
safe_scn: false

# 发送安全 scn 的间隔(毫秒)
safe_scn_interval_ms: 10000

# 是否优先使用本地归档文件
local_arch: false

# 是否使用 scn sub 作为缓存文件名的组成部分
tx_scn_sub: false

# 远程读取 asm 时最大的读取长度
asm_length: 30720

# 是否使用 OCI 连接 asm
asm_oci: false

# Kafka Producer 标准参数在这里进行设置。参照 Kafka 官方文档.
kafka:
  # 须配置对应 /etc/hosts 域名映射
  bootstrap.servers: kafka1:9092,kafka2:9092,kafka3:9092
  # 如果 Schema Registry 和 Kafka 在同一服务器上,可以共用域名,否则直接用其所在服务器的 IP 即可
  schema.registry.url: http://kafka1:8081,http://kafka2:8081,http://kafka3:8081
  acks: 1