更新日志¶
[3.1.4] - 2025-08-31¶
- 修复安全漏洞扫描的相关问题。
[3.1.3] - 2025-07-31¶
- 日志中的敏感信息进行脱敏处理。
- 修复高可用切换后数据字典刷新的问题。
[3.1.2] - 2025-06-31¶
- 新增对日志中的敏感信息进行脱敏处理。
- 修复高可用切换后没有重新刷新数据字典的问题。
- 修复部分回滚数据没有正确处理的问题。
[3.1.1] - 2025-04-30¶
- 支持远程读取代理(RFA)模式
[3.1.0] - 2025-03-31¶
- 修复部分回滚操作没有正确处理的问题。
- 修复开启了并发解析后有概率报错的问题。
- 优化 ASM 连接因网络中断阻塞过长后自动重启重建连接池。
[3.0.17] - 2025-02-28¶
- 修复某种情况下删除数据所有列为空的问题。
- DataPipeline 受控停止功能适配。
[3.0.16] - 2025-01-30¶
- 修复某些数据整合问题。
- 修复某些情况下事务回滚导致处理过慢的问题。
[3.0.15] - 2024-12-31¶
- 修复某些数据整合问题。
- 修复解析 DDL 表刷新结构相关问题。
[3.0.14] - 2024-11-30¶
- 修复 Oracle 数据节点切换可能丢失数据的问题。
- 修复连续SQL变化导致漏掉头几条数的问题。
[3.0.13] - 2024-10-31¶
- 修复多 PDB 模式下获取 PDB 信息失败后的自动重启造成的连接泄露。
- 修复以错误的用户名密码重启后,再更新成正确的密码,没有重新获取表结构的问题。
- 修复 RAC 节点下,某些情况下事务提前输出的问题。
- 修复某些数据整合问题。
[3.0.12] - 2024-09-31¶
- 提升处理事务回滚的效率。
- RAC 节点宕机恢复后,自动恢复解析。
- 支持 VARCHAR (deprecated) 等同于 VARCHAR2 类型。
- 恢复 Kafka producer 的指标采集。
- 支持表名和用户名含有特殊符号。
[3.0.11] - 2024-08-31¶
- 修复密码含有特殊字符的问题。
- 支持指定 JDBC 驱动版本。
[3.0.10] - 2024-07-31¶
- 新增某些数据整合逻辑。
- 当网络异常时,重建连接池。
- 添加参数 txn_scn_sub 参数,控制缓存文件名是否包含 scn_sub 信息。默认为 false。
[3.0.9] - 2024-06-31¶
- Kafka Producer close 添加超时时间。
[3.0.8] - 2024-05-13¶
- 修复分区表在发生 DDL 变化后没有应用新表结构的问题。
- 增加参数 param.notification.send_ddl (默认为 false) 控制是否发送 DDL 事件。
- 增加参数 param.enable_partition_validation (默认为 false) 控制是否启用分区表验证。
- 将错误数据的发送间隔参数化:param.notification.
[3.0.7] - 2024-05-06¶
- 如果在处理带有 LOB 列的表时,获取列信息失败后将错误信息并发送通知。
[3.0.6] - 2024-04-12¶
- 修复高可用模式下,在激活和回复时有可能出现重复采集任务的问题。
[3.0.5] - 2024-04-02¶
- 修复遭遇错误重启时,有概率死锁的问题。影响范围: 3.0.1 - 3.0.4
[3.0.4] - 2024-03-08¶
- 新增 oracle.yml 中 src 下参数 connection_pool 用于自定义连接参数。
[3.0.3] - 2024-03-06¶
- 修改 Failed to merge 的日志级别为 WARN。
[3.0.2] - 2024-01-26¶
- 支持灾备相关功能,详见 灾备使用指南。
[3.0.1] - 2024-01-22¶
- 替换由于 JDK 版本而可能造成内存泄露的第三方 Semaphore 库。
- 修复远程读取 ASM 情况下,log 块大小 为 4096 时导致解析报错问题。
[1.1.37] - 2024-01-04¶
- 增加参数 mute_rac 支持禁用下线的 RAC 并继续解析上线的 RAC。
- 修复远程读取 ASM 情况下,log 块大小 为 4096 时导致解析报错问题。
- 修正采集 pdb 数据库某些情况下错误过滤问题。
[3.0.0] - 2023-12-28¶
- 支持多 PDB 模式采集。
[1.1.36] - 2023-12-28¶
- 修复 RAC 集群中 interval 分区表新增分区时,小概率丢失头几条数据的问题。
[2.1.5] - 2023-12-18¶
- 增加参数 mute_rac 支持禁用下线的 RAC 并继续解析上线的 RAC。
[2.1.4] - 2023-12-15¶
- 暂时禁用 Kafka producer_byte_rate metrics 指标,避免反复重启重建 Producer 后导致 micrometer metrics 线程无法释放最终导致 OOM 问题。
- 升级 kotlin SDK 至 1.8.20,避免在某些情况下 SemaphoreSegment 无法释放问题。
[2.1.3] - 2023-11-28¶
- 修复事务在提交后不会立马删除缓存的事务文件问题。影响版本 2.1.0 - 2.1.2。
- 增加 param 参数 tx_expire_hr ( 默认为 -1 即不回收),回收因上述缺陷引起的过大磁盘占用问题。请至少设置为 12 及以上。以防止误删未提交事务缓存。
[2.1.2] - 2023-11-22¶
- 修复在极端情况下,重置 IGNORE_KAFKA_EXCEPTION 设置可能造成的死锁问题。
[2.1.1] - 2023-11-14¶
- 新增配置 match_no_schema_sql 对于原始 SQL 语句中没有 schema 的情况,是否匹配到配置中的监听表对象。默认为 false,即不匹配。
- 增加对 record 的长度判断,防止解析到无效的 record。
[2.1.0] - 2023-11-01¶
- 支持读取与解析异步化及并发化。配置项名称与效果详见 配置详情。
[2.0.1] - 2023-10-27¶
- 支持 RAC 节点之一宕机后继续解析。
[2.0.0] - 2023-10-26¶
- 支持分布式高可用模式,详见 高可用使用指南。
[1.1.35] - 2023-10-24¶
- 增加子线程退出时的报错日志打印。
- 增加 Rowid 变化定期巡检功能。
- 修复 legacy_format = true 时,record version 冲突造成的兼容性问题。
[1.1.34] - 2023-10-17¶
- 修复 /tools/logs 接口执行 SQL 兼容 Oracle 10G 的问题。
- 修复错误处理遭遇异常时无法恢复的问题。
[1.1.33] - 2023-10-12¶
- 修复 RAC 集群中 interval 分区表新增分区时,小概率丢失头几条数据的问题。
- 修复 DROP, TRUNCATE 分区表事件没有捕获的问题。
[1.1.32] - 2023-09-28¶
- /config/validation 接口增加 verifyFilter 于 fixFilter 两个参数,用于检查表过滤功能是否正常及恢复。
- 屏蔽非法时间造成的异常延迟值。
[1.1.31] - 2023-08-22¶
- 区分手动启动(Agent start)与自动重启(Agent restart)的通知。
- 增加 local_src_login (默认为 false) 屏蔽 web 请求更新数据库连接信息的配置以应对某些特殊的网络情况。
- 修复 ASM 本地磁盘映射信息无法通过 web 请求保存的问题。
[1.1.30] - 2023-07-31¶
- 支持动态更新连接信息并重建连接。
- /export/health 接口若阻塞超过 3 秒则报错。
- 修复某些 ORP 被忽略的问题。
[1.1.29] - 2023-07-11¶
- 修复事务中违反约束的操作不进行输出。
- 解析失败的 Redo Record 产生最多 (err_files_max 默认为 0, 不记录)个文件置于 err 文件夹下。
- 新增 HTTP API /tools/download/err 下载 err 打包文件。
[1.1.28] - 2023-07-07¶
- 支持直接路径插入 (DIRECT-PATH INSERT)。
- 超过工作线程最大超时时间 (worker.max_blocking_ms)后重建 Kafka Producer 实例。
- 增加配置项 missing_log_tolerance_times (默认为 1)。当发生主备较大延迟导致找不到日志时,在报错前可以容忍监听备库找不到日志的重启次数。
- 增加配置项 pdbs_schema 监听 PDB 数据库时,指定 DP_PDBS 表所在用户。
- 重构 CLI 部分代码。
[1.1.27] - 2023-06-15¶
- 修复默认值错误被整合的问题。
[1.1.26] - 2023-06-08¶
- ojdbc8 driver 降级为 12.2.0.1 规避兼容性问题.
- 修复某种数据整合问题。
- 增加选项 skip_validation: true 可使得 /config/validation 接口一直返回通过。
[1.1.25] - 2023-05-26¶
- 添加校验查询权限及连接校验接口 /config/validation。
- 修复部分 URP default 值为空的问题。
- 重构参数配置相关代码。
[1.1.24] - 2023-05-19¶
- 升级 ojdbc8 driver 至 21.3.0.0。
[1.1.23] - 2023-05-14¶
- 修复部分数据错乱问题。
- 优化大事务内部排序。
- 修复监听备库且备库只有单个 REDO 起效时的定期滞后解析问题。
[1.1.22] - 2023-03-31¶
- 新增工作线程阻塞超时参数 worker.max_blocking_sec,默认值 1800。超时后报错重启,设置方式参见配置文档。
[1.1.21] - 2023-03-23¶
- 修复 DEFAULT 列值在 UPDATE 的 before 中某些时候为空的问题。
[1.1.20] - 2023-03-16¶
- 修复 SRC_ID 被错误的初始化导致发送 topic 无效的问题。
- 修复 QmiSlot 列表为空导致的报错问题。
[1.1.19] - 2023-03-07¶
- 添加监控默认配置文件。
- 修复隐藏索引列导致寻找列 ID 失败。
- 取消不必要的事务提交排序步骤。
[1.1.18] - 2023-02-27¶
- 修复某些情况下文件句柄泄露问题。
- 适配 /metrics 接口与节点页面监控。
[1.1.17] - 2023-02-13¶
- 添加 /metrics 接口监控各项关键指标。
- 添加 recovery_mode = reset (默认为 none) 时,VirtualMachineError 导致的程序报错自动重置至最新进度。
- 添加 skip_error = true (默认为 true) 时,自动忽略损坏事务造成的错误。
- 修复非当前在线日志没有跳过无效日志段的问题。
- 修复提交事件乱序造成的问题。
- 遭遇 Failed to merge 时打印前后五条相关 record。
- HikariCP 连接池可编辑 param.yml 中的 connection_pool 项覆盖默认配置。
[1.1.16] - 2023-02-06¶
- 修复 legacy_format = true 时,即使用 string 序列化方式时的 json 格式问题。
- 修复获取 CLibLocalFile.size() 时文件描述符泄露问题。
- 修正需要整合的 record 跨事务文件导致整合不全的问题。
- 修复某些监控指标没有重置为 0 的问题。
- 添加 sonarqube 插件
[1.1.15] - 2023-01-18¶
- 若 Kafka Producer 发送错误 BufferExhaustedException 进入报错重启。
- 若抛出 VirtualMachineError,(例:Java heap space),程序退出。
[1.1.14] - 2023-01-04¶
- 调整日志文件大小判断逻辑:当日志文件为本地非 ASM 归档文件时,优先使用本地文件的方式读取其文件大小。
- 新增参数
log_size_from_db默认值为 false,代表强制使用数据库计算得到的日志文件大小。(修改为 true 为了复现偶发日志解析不推进问题,非测试环境不要修改)
[1.1.13] - 2022-12-30¶
- 修复部分整合失败(Failed to merge)导致的数据错乱问题(含 255 列以上表)。
- 修复 AIX 配置下偶发读取无法推进问题。
- 修复 latency 指标无效问题。
- 修复触发新增子分区的第一条数据丢失问题。
- 调整 windows 环境脚本。
- 修复 KafkaProducer 占用发送完毕前未释放内存问题。
- 在 Kafka 消息中加入 xid (LONG) 字段代表事务 ID。
- 修复某些情况下更新 License 无效问题。
[1.1.12] - 2022-12-12¶
- 新增 web 页面查看状态及日志字典打包下载。
- 当进入偶发进度陷入死循环超过
max_read_retries(默认:5)后,内部重启,内部重启max_restart_before_reset(默认:3)次后仍无法推进进度时,重置进度为当前最新。 - 新增
validate_number_type(默认:false)参数在明文化时检查 number 类型的 scale 部分是否合法。不合法打印错误日志及对应数据内容。
[1.1.11] - 2022-11-29¶
- 新增数据内容明文化的并发转换
- 调整连接池最大连接数为 10
- 优化事务内操作排序逻辑
[1.1.10] - 2022-11-20¶
- 调整
conv_parallelism并发转换的线程数,当为 0 时,不开启并发转换。当小于 0 时,使用当前 CPU 核数。 - 删除
cache_mb配置项,最大缓存文件大小保持与out_mb( 最大一次性输出大小 ) 一致。 - 新增 Kafka Producer
delivery.timeout.ms默认值至 3600000 及request.timeout.ms默认值至 300000。防止发送超时导致丢数。 - Reset ( API 调用或触发自动重置 ) 时,清空 dict 目录并重新获取表对应的 object id 列表。
- 新增 cli 工具包中 Kafka 相关 session 及文档。
- 新增监控指标 cmt-to-kafka-sent-lag。
- 调整
print_cost的输出精度纳秒。 - Windows 运行环境下不再依赖本地 PID 文件做单例验证。
- scnTime 缺省值取上一次最大提交时间。
[1.1.9] - 2022-11-06¶
- 新增配置
delete_trans_if_low_diskspace。默认为false。 - 新增 /export/health 接口中磁盘内存使用情况及许可证过期时间, 临近过期 7 天内会发送过期报警日志。
- 新增大事务打印阈值
print_large_tx_threshold,默认为10mb auto_reset_policy为earliest时 SQL 格式不正确导致的重置为当前最新进度的问题。- 修复某种整合校验的误报问题 ( Failed to merge )。
[1.1.8] - 2022-11-04¶
- 修复报错重启后不释放数据库连接问题。
[1.1.7] - 2022-11-02¶
- 修复部分数据 scn_time 为空的问题。
- 对于 Failed to merged 的数据,发送通知。
- 增加 AIX 系统裸设备读取支持。并添加文档说明。
[1.1.5] - 2022-10-27¶
- 删除不必要的日志打印
- 将 log4j.properties 与 JVM 参数配置移至 conf 文件夹,以便升级。
- 调整 JVM 调整相关文档说明
- 新增升级步骤文档
[1.1.4] - 2022-10-26¶
- 修复 ADG 模式需要某些表无法查询的问题。
[1.1.3] - 2022-10-26¶
- 修复 lob 类型乱码问题。
[1.1.2] - 2022-10-25¶
- 修复增删子分区 DDL 类型的解析逻辑。
- 新增节点 ASM 连接信息的文档说明。
[1.1.1] - 2022-10-23¶
- 修复从未有数据监听过的表 DROP 后 DDL 没有发送的错误。
- 修复创建表 DDL 没有正确发送的错误。
- 修复某些小写表没有正确监听 DDL 的错误。
- 调整
retry_backoff_ms默认值从 10 变为 30。 - 调整
start.sh补充 -h 选项说明,删除不必要的代码。 - 新增 ASM 远程读取相关错误处理的文档说明。
- 新增动态调整程序打印级别接口。
[1.1.0] - 2022-10-20¶
- 部分整合逻辑导致的数据为空或数据解析失败。
- 调整 API 文档,关闭某些高危 API。
- 调整本地文件登陆信息密文化。
- 新增资源控制参数。
- 新增
jmx_prometheus_javaagent-0.17.0.jar于安装包中,用于开放 HTTP 接口用来暴露本地 JVM 指标。默认关闭。 - 新增事件类消息发送模块。