跳转至

配置输出

Kafka Producer 配置

采集代理解析后输出目的地为 Kafka 时,需要配置 Kafka 的连接信息。

发送的消息格式使用 Avro 格式,需要配置 Schema Registry 的地址。

支持标准 Kafka Producer 参数,详细信息请参照 Kafka 官方文档。

依赖版本为:

io.confluent:kafka-avro-serializer:5.2.0

org.apache.kafka:kafka-clients:3.1.0

param.yml 中的 kafka 配置:

kafka:
    # 须配置对应 /etc/hosts 域名映射
    bootstrap.servers: kafka1:9092,kafka2:9092,kafka3:9092
    # 如果 Schema Registry 和 Kafka 在同一服务器上,可以共用域名,否则直接用其所在服务器的 IP 即可
    schema.registry.url: http://kafka1:8081,http://kafka2:8081,http://kafka3:8081
    acks: 1

bootstrap.servers(必填)

形式为 kafka1:9092,kafka2:9092,kafka3:9092, 以逗号为分隔。

Kafka 地址必须与 DP Kafka broker 配置的 KAFKA_ADVERTISED_LISTENERS 中监听域名匹配。

举例 Kafka1 在 docker-compose 文件中的配置:KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka1:9092。代表他可被 client 指向 kafka1 所访问。 如果是3节点,则必须3个节点的域名映射都配置,否则由于 Kafka 是根据 advertised.listener 来寻找 leader partition 所在的 broker,连接 broker 发送请求第一次会返回 topic leader partition 所在 broker 对应的 advertised.listeners 中的地址。如果访问不了就无法发送。

域名映射

需要在 /etc/hosts 中配置 kafka1, kafka2, kafka3 域名映射。

schema.registry.url (必填)

填写 schema registry 的地址,可填多个,逗号分隔: 假设 Schema Registry 和 Kafka1 部署在同一台机子上,那可以直接用对应的域名来替代 IP

schema.registry.url: http://host1:8081,http://host2:8081,http://host3:8081

acks (选填)

默认为 1。参照 Kafka Producer acks 的设置说明。