跳转至

更新日志

[3.1.4] - 2025-08-31

  • 修复安全漏洞扫描的相关问题。

[3.1.3] - 2025-07-31

  • 日志中的敏感信息进行脱敏处理。
  • 修复高可用切换后数据字典刷新的问题。

[3.1.2] - 2025-06-31

  • 新增对日志中的敏感信息进行脱敏处理。
  • 修复高可用切换后没有重新刷新数据字典的问题。
  • 修复部分回滚数据没有正确处理的问题。

[3.1.1] - 2025-04-30

  • 支持远程读取代理(RFA)模式

[3.1.0] - 2025-03-31

  • 修复部分回滚操作没有正确处理的问题。
  • 修复开启了并发解析后有概率报错的问题。
  • 优化 ASM 连接因网络中断阻塞过长后自动重启重建连接池。

[3.0.17] - 2025-02-28

  • 修复某种情况下删除数据所有列为空的问题。
  • DataPipeline 受控停止功能适配。

[3.0.16] - 2025-01-30

  • 修复某些数据整合问题。
  • 修复某些情况下事务回滚导致处理过慢的问题。

[3.0.15] - 2024-12-31

  • 修复某些数据整合问题。
  • 修复解析 DDL 表刷新结构相关问题。

[3.0.14] - 2024-11-30

  • 修复 Oracle 数据节点切换可能丢失数据的问题。
  • 修复连续SQL变化导致漏掉头几条数的问题。

[3.0.13] - 2024-10-31

  • 修复多 PDB 模式下获取 PDB 信息失败后的自动重启造成的连接泄露。
  • 修复以错误的用户名密码重启后,再更新成正确的密码,没有重新获取表结构的问题。
  • 修复 RAC 节点下,某些情况下事务提前输出的问题。
  • 修复某些数据整合问题。

[3.0.12] - 2024-09-31

  • 提升处理事务回滚的效率。
  • RAC 节点宕机恢复后,自动恢复解析。
  • 支持 VARCHAR (deprecated) 等同于 VARCHAR2 类型。
  • 恢复 Kafka producer 的指标采集。
  • 支持表名和用户名含有特殊符号。

[3.0.11] - 2024-08-31

  • 修复密码含有特殊字符的问题。
  • 支持指定 JDBC 驱动版本。

[3.0.10] - 2024-07-31

  • 新增某些数据整合逻辑。
  • 当网络异常时,重建连接池。
  • 添加参数 txn_scn_sub 参数,控制缓存文件名是否包含 scn_sub 信息。默认为 false。

[3.0.9] - 2024-06-31

  • Kafka Producer close 添加超时时间。

[3.0.8] - 2024-05-13

  • 修复分区表在发生 DDL 变化后没有应用新表结构的问题。
  • 增加参数 param.notification.send_ddl (默认为 false) 控制是否发送 DDL 事件。
  • 增加参数 param.enable_partition_validation (默认为 false) 控制是否启用分区表验证。
  • 将错误数据的发送间隔参数化:param.notification.

[3.0.7] - 2024-05-06

  • 如果在处理带有 LOB 列的表时,获取列信息失败后将错误信息并发送通知。

[3.0.6] - 2024-04-12

  • 修复高可用模式下,在激活和回复时有可能出现重复采集任务的问题。

[3.0.5] - 2024-04-02

  • 修复遭遇错误重启时,有概率死锁的问题。影响范围: 3.0.1 - 3.0.4

[3.0.4] - 2024-03-08

  • 新增 oracle.yml 中 src 下参数 connection_pool 用于自定义连接参数。

[3.0.3] - 2024-03-06

  • 修改 Failed to merge 的日志级别为 WARN。

[3.0.2] - 2024-01-26

[3.0.1] - 2024-01-22

  • 替换由于 JDK 版本而可能造成内存泄露的第三方 Semaphore 库。
  • 修复远程读取 ASM 情况下,log 块大小 为 4096 时导致解析报错问题。

[1.1.37] - 2024-01-04

  • 增加参数 mute_rac 支持禁用下线的 RAC 并继续解析上线的 RAC。
  • 修复远程读取 ASM 情况下,log 块大小 为 4096 时导致解析报错问题。
  • 修正采集 pdb 数据库某些情况下错误过滤问题。

[3.0.0] - 2023-12-28

  • 支持多 PDB 模式采集。

[1.1.36] - 2023-12-28

  • 修复 RAC 集群中 interval 分区表新增分区时,小概率丢失头几条数据的问题。

[2.1.5] - 2023-12-18

  • 增加参数 mute_rac 支持禁用下线的 RAC 并继续解析上线的 RAC。

[2.1.4] - 2023-12-15

  • 暂时禁用 Kafka producer_byte_rate metrics 指标,避免反复重启重建 Producer 后导致 micrometer metrics 线程无法释放最终导致 OOM 问题。
  • 升级 kotlin SDK 至 1.8.20,避免在某些情况下 SemaphoreSegment 无法释放问题。

[2.1.3] - 2023-11-28

  • 修复事务在提交后不会立马删除缓存的事务文件问题。影响版本 2.1.0 - 2.1.2。
  • 增加 param 参数 tx_expire_hr ( 默认为 -1 即不回收),回收因上述缺陷引起的过大磁盘占用问题。请至少设置为 12 及以上。以防止误删未提交事务缓存。

[2.1.2] - 2023-11-22

  • 修复在极端情况下,重置 IGNORE_KAFKA_EXCEPTION 设置可能造成的死锁问题。

[2.1.1] - 2023-11-14

  • 新增配置 match_no_schema_sql 对于原始 SQL 语句中没有 schema 的情况,是否匹配到配置中的监听表对象。默认为 false,即不匹配。
  • 增加对 record 的长度判断,防止解析到无效的 record。

[2.1.0] - 2023-11-01

  • 支持读取与解析异步化及并发化。配置项名称与效果详见 配置详情。

[2.0.1] - 2023-10-27

  • 支持 RAC 节点之一宕机后继续解析。

[2.0.0] - 2023-10-26

[1.1.35] - 2023-10-24

  • 增加子线程退出时的报错日志打印。
  • 增加 Rowid 变化定期巡检功能。
  • 修复 legacy_format = true 时,record version 冲突造成的兼容性问题。

[1.1.34] - 2023-10-17

  • 修复 /tools/logs 接口执行 SQL 兼容 Oracle 10G 的问题。
  • 修复错误处理遭遇异常时无法恢复的问题。

[1.1.33] - 2023-10-12

  • 修复 RAC 集群中 interval 分区表新增分区时,小概率丢失头几条数据的问题。
  • 修复 DROP, TRUNCATE 分区表事件没有捕获的问题。

[1.1.32] - 2023-09-28

  • /config/validation 接口增加 verifyFilter 于 fixFilter 两个参数,用于检查表过滤功能是否正常及恢复。
  • 屏蔽非法时间造成的异常延迟值。

[1.1.31] - 2023-08-22

  • 区分手动启动(Agent start)与自动重启(Agent restart)的通知。
  • 增加 local_src_login (默认为 false) 屏蔽 web 请求更新数据库连接信息的配置以应对某些特殊的网络情况。
  • 修复 ASM 本地磁盘映射信息无法通过 web 请求保存的问题。

[1.1.30] - 2023-07-31

  • 支持动态更新连接信息并重建连接。
  • /export/health 接口若阻塞超过 3 秒则报错。
  • 修复某些 ORP 被忽略的问题。

[1.1.29] - 2023-07-11

  • 修复事务中违反约束的操作不进行输出。
  • 解析失败的 Redo Record 产生最多 (err_files_max 默认为 0, 不记录)个文件置于 err 文件夹下。
  • 新增 HTTP API /tools/download/err 下载 err 打包文件。

[1.1.28] - 2023-07-07

  • 支持直接路径插入 (DIRECT-PATH INSERT)。
  • 超过工作线程最大超时时间 (worker.max_blocking_ms)后重建 Kafka Producer 实例。
  • 增加配置项 missing_log_tolerance_times (默认为 1)。当发生主备较大延迟导致找不到日志时,在报错前可以容忍监听备库找不到日志的重启次数。
  • 增加配置项 pdbs_schema 监听 PDB 数据库时,指定 DP_PDBS 表所在用户。
  • 重构 CLI 部分代码。

[1.1.27] - 2023-06-15

  • 修复默认值错误被整合的问题。

[1.1.26] - 2023-06-08

  • ojdbc8 driver 降级为 12.2.0.1 规避兼容性问题.
  • 修复某种数据整合问题。
  • 增加选项 skip_validation: true 可使得 /config/validation 接口一直返回通过。

[1.1.25] - 2023-05-26

  • 添加校验查询权限及连接校验接口 /config/validation。
  • 修复部分 URP default 值为空的问题。
  • 重构参数配置相关代码。

[1.1.24] - 2023-05-19

  • 升级 ojdbc8 driver 至 21.3.0.0。

[1.1.23] - 2023-05-14

  • 修复部分数据错乱问题。
  • 优化大事务内部排序。
  • 修复监听备库且备库只有单个 REDO 起效时的定期滞后解析问题。

[1.1.22] - 2023-03-31

  • 新增工作线程阻塞超时参数 worker.max_blocking_sec,默认值 1800。超时后报错重启,设置方式参见配置文档。

[1.1.21] - 2023-03-23

  • 修复 DEFAULT 列值在 UPDATE 的 before 中某些时候为空的问题。

[1.1.20] - 2023-03-16

  • 修复 SRC_ID 被错误的初始化导致发送 topic 无效的问题。
  • 修复 QmiSlot 列表为空导致的报错问题。

[1.1.19] - 2023-03-07

  • 添加监控默认配置文件。
  • 修复隐藏索引列导致寻找列 ID 失败。
  • 取消不必要的事务提交排序步骤。

[1.1.18] - 2023-02-27

  • 修复某些情况下文件句柄泄露问题。
  • 适配 /metrics 接口与节点页面监控。

[1.1.17] - 2023-02-13

  • 添加 /metrics 接口监控各项关键指标。
  • 添加 recovery_mode = reset (默认为 none) 时,VirtualMachineError 导致的程序报错自动重置至最新进度。
  • 添加 skip_error = true (默认为 true) 时,自动忽略损坏事务造成的错误。
  • 修复非当前在线日志没有跳过无效日志段的问题。
  • 修复提交事件乱序造成的问题。
  • 遭遇 Failed to merge 时打印前后五条相关 record。
  • HikariCP 连接池可编辑 param.yml 中的 connection_pool 项覆盖默认配置。

[1.1.16] - 2023-02-06

  • 修复 legacy_format = true 时,即使用 string 序列化方式时的 json 格式问题。
  • 修复获取 CLibLocalFile.size() 时文件描述符泄露问题。
  • 修正需要整合的 record 跨事务文件导致整合不全的问题。
  • 修复某些监控指标没有重置为 0 的问题。
  • 添加 sonarqube 插件

[1.1.15] - 2023-01-18

  • 若 Kafka Producer 发送错误 BufferExhaustedException 进入报错重启。
  • 若抛出 VirtualMachineError,(例:Java heap space),程序退出。

[1.1.14] - 2023-01-04

  • 调整日志文件大小判断逻辑:当日志文件为本地非 ASM 归档文件时,优先使用本地文件的方式读取其文件大小。
  • 新增参数 log_size_from_db 默认值为 false,代表强制使用数据库计算得到的日志文件大小。(修改为 true 为了复现偶发日志解析不推进问题,非测试环境不要修改)

[1.1.13] - 2022-12-30

  • 修复部分整合失败(Failed to merge)导致的数据错乱问题(含 255 列以上表)。
  • 修复 AIX 配置下偶发读取无法推进问题。
  • 修复 latency 指标无效问题。
  • 修复触发新增子分区的第一条数据丢失问题。
  • 调整 windows 环境脚本。
  • 修复 KafkaProducer 占用发送完毕前未释放内存问题。
  • 在 Kafka 消息中加入 xid (LONG) 字段代表事务 ID。
  • 修复某些情况下更新 License 无效问题。

[1.1.12] - 2022-12-12

  • 新增 web 页面查看状态及日志字典打包下载。
  • 当进入偶发进度陷入死循环超过 max_read_retries(默认:5)后,内部重启,内部重启 max_restart_before_reset(默认:3)次后仍无法推进进度时,重置进度为当前最新。
  • 新增 validate_number_type(默认:false)参数在明文化时检查 number 类型的 scale 部分是否合法。不合法打印错误日志及对应数据内容。

[1.1.11] - 2022-11-29

  • 新增数据内容明文化的并发转换
  • 调整连接池最大连接数为 10
  • 优化事务内操作排序逻辑

[1.1.10] - 2022-11-20

  • 调整 conv_parallelism 并发转换的线程数,当为 0 时,不开启并发转换。当小于 0 时,使用当前 CPU 核数。
  • 删除 cache_mb 配置项,最大缓存文件大小保持与 out_mb ( 最大一次性输出大小 ) 一致。
  • 新增 Kafka Producer delivery.timeout.ms 默认值至 3600000 及 request.timeout.ms 默认值至 300000。防止发送超时导致丢数。
  • Reset ( API 调用或触发自动重置 ) 时,清空 dict 目录并重新获取表对应的 object id 列表。
  • 新增 cli 工具包中 Kafka 相关 session 及文档。
  • 新增监控指标 cmt-to-kafka-sent-lag。
  • 调整 print_cost 的输出精度纳秒。
  • Windows 运行环境下不再依赖本地 PID 文件做单例验证。
  • scnTime 缺省值取上一次最大提交时间。

[1.1.9] - 2022-11-06

  • 新增配置 delete_trans_if_low_diskspace。默认为 false。
  • 新增 /export/health 接口中磁盘内存使用情况及许可证过期时间, 临近过期 7 天内会发送过期报警日志。
  • 新增大事务打印阈值 print_large_tx_threshold,默认为 10mb
  • auto_reset_policy 为 earliest 时 SQL 格式不正确导致的重置为当前最新进度的问题。
  • 修复某种整合校验的误报问题 ( Failed to merge )。

[1.1.8] - 2022-11-04

  • 修复报错重启后不释放数据库连接问题。

[1.1.7] - 2022-11-02

  • 修复部分数据 scn_time 为空的问题。
  • 对于 Failed to merged 的数据,发送通知。
  • 增加 AIX 系统裸设备读取支持。并添加文档说明。

[1.1.5] - 2022-10-27

  • 删除不必要的日志打印
  • 将 log4j.properties 与 JVM 参数配置移至 conf 文件夹,以便升级。
  • 调整 JVM 调整相关文档说明
  • 新增升级步骤文档

[1.1.4] - 2022-10-26

  • 修复 ADG 模式需要某些表无法查询的问题。

[1.1.3] - 2022-10-26

  • 修复 lob 类型乱码问题。

[1.1.2] - 2022-10-25

  • 修复增删子分区 DDL 类型的解析逻辑。
  • 新增节点 ASM 连接信息的文档说明。

[1.1.1] - 2022-10-23

  • 修复从未有数据监听过的表 DROP 后 DDL 没有发送的错误。
  • 修复创建表 DDL 没有正确发送的错误。
  • 修复某些小写表没有正确监听 DDL 的错误。
  • 调整 retry_backoff_ms 默认值从 10 变为 30。
  • 调整 start.sh 补充 -h 选项说明,删除不必要的代码。
  • 新增 ASM 远程读取相关错误处理的文档说明。
  • 新增动态调整程序打印级别接口。

[1.1.0] - 2022-10-20

  • 部分整合逻辑导致的数据为空或数据解析失败。
  • 调整 API 文档,关闭某些高危 API。
  • 调整本地文件登陆信息密文化。
  • 新增资源控制参数。
  • 新增 jmx_prometheus_javaagent-0.17.0.jar 于安装包中,用于开放 HTTP 接口用来暴露本地 JVM 指标。默认关闭。
  • 新增事件类消息发送模块。