采集量及性能评估
日志量与延迟关系¶
有多种因素影响处理速率,CPU 性能、内存大小,磁盘 IO、网络 IO、日志中数据特征、Kafka 吞吐性能等等。 一般来讲,源库日志产生速率在 20MB/s 以下,能保持在 1s - 2s 左右延迟。同时数据库流量不能太低。太低的库延迟也会稍高。有可能会达到 4s 左右。 同样 1 秒内的 20MB 原始日志文件,在 CPU、内存、IO 都相同的情况下,所包含的事务数量,DML数量,列数量,列类型等的区别都会影响处理速率。所以以实际运行评估并预测为准。
- 查询某时间段内归档日志每小时增长量
查询每日归档日志大小
select trunc(COMPLETION_TIME,'HH') Hour,thread#, round(sum(BLOCKS*BLOCK_SIZE)/1024/1024) MB, count(*) Archives from (select * from v$archived_log where completion_time between to_date('2022-10-24', 'yyyy-MM-dd') and to_date('2022-10-26', 'yyyy-MM-dd')) group by trunc(COMPLETION_TIME,'HH'),thread# order by 1select * from (select trunc(completion_time) as ARC_DATE, count(*) as COUNT, round((sum(blocks * block_size) / 1024 / 1024), 2) as ARC_MB from v$archived_log group by trunc(completion_time) order by trunc(completion_time) desc ) where rownum<=10 - 采集速率评估 ASM 远程读取受限较大。一般读取速率在 5 - 20 MB/s。本地读取可达 60 - 100 MB/s。 如果开启读取并发,一般来说 10 并发一下读取速率线性增长。