跳到主要内容

Kafka 连接安全配置说明

提示

本产品 mingdaoyun-hap、mingdaoyun-hdp、mingdaoyun-flink 3个镜像中均使用到 Kafka,调整安全配置需整体修改。

连接配置参数说明​

环境变量说明默认值
ENV_KAFKA_ENDPOINTSKafka Broker 地址列表,多个地址使用逗号分隔127.0.0.1:9092
ENV_KAFKA_SECURITY_PROTOCOLKafka 安全协议模式空
ENV_KAFKA_SASL_MECHANISMSASL 认证机制空
ENV_KAFKA_SASL_USERNAMESASL 用户名空
ENV_KAFKA_SASL_PASSWORDSASL 密码空
ENV_KAFKA_SSL_CA_LOCATIONKafka CA 证书路径空
ENV_KAFKA_SSL_CLIENT_CA_LOCATIONKafka 客户端证书路径空
ENV_KAFKA_SSL_CLIENT_KEY_LOCATIONKafka 客户端私钥路径空

安全协议模式说明​

Kafka 支持多种安全认证模式,包括 Plaintext、SaslPlaintext、Ssl、SaslSsl。

1. Plaintext(默认模式)​

未启用任何安全认证机制,仅使用明文通信,无需配置 SASL 或 SSL 相关参数。

2. SaslPlaintext(启用 SASL 认证)​

使用 SASL 机制进行身份认证,但数据传输仍为明文。

配置文件需要增加以下环境变量:

环境变量说明
ENV_KAFKA_SECURITY_PROTOCOL设置为 SaslPlaintext
ENV_KAFKA_SASL_MECHANISMSASL 认证机制,固定为 PLAIN
ENV_KAFKA_SASL_USERNAMESASL 用户名
ENV_KAFKA_SASL_PASSWORDSASL 密码

3. Ssl(启用 TLS 加密)​

使用 TLS/SSL 加密通信,但不启用 SASL 认证。

以下为 mTLS 双向认证的环境变量:

环境变量说明
ENV_KAFKA_SECURITY_PROTOCOL设置为 Ssl
ENV_KAFKA_SSL_CA_LOCATIONCA 根证书路径
ENV_KAFKA_SSL_CLIENT_CA_LOCATIONmTLS 客户端证书路径
ENV_KAFKA_SSL_CLIENT_KEY_LOCATIONmTLS 客户端私钥路径

4. SaslSsl(启用 SASL + TLS)​

同时启用 SASL 身份认证和 SSL 加密通信(推荐的安全模式)。

以下包含 mTLS 双向认证所需的环境变量;是否使用客户端证书取决于 Kafka 服务端配置。

环境变量说明
ENV_KAFKA_SECURITY_PROTOCOL设置为 SaslSsl
ENV_KAFKA_SASL_MECHANISMSASL 认证机制,固定为 PLAIN
ENV_KAFKA_SASL_USERNAMESASL 用户名
ENV_KAFKA_SASL_PASSWORDSASL 密码
ENV_KAFKA_SSL_CA_LOCATIONCA 根证书(PEM 格式)
ENV_KAFKA_SSL_CLIENT_CA_LOCATIONmTLS 客户端证书路径(PEM 格式)
ENV_KAFKA_SSL_CLIENT_KEY_LOCATIONmTLS 客户端私钥路径(PEM 格式)

客户端配置证书方法​

使用 Ssl 或 SaslSsl 时,根据 Kafka 服务端的认证要求准备证书:

  • 单向 TLS:客户端验证 Kafka 服务端证书,需要信任签发服务端证书的 CA。
  • mTLS 双向认证:除信任服务端 CA 外,客户端还需要提供客户端证书和私钥。

Kafka Broker 的 ssl.client.auth 设置为 none 时不要求客户端证书;设置为 required 时强制验证客户端证书。

单向 TLS 的具体配置方式和各组件支持情况需要根据实际版本确认。

mTLS 证书文件

准备以下 PEM 格式的证书和私钥:

文件说明
ca.crt用于验证 Kafka 服务端证书的 CA 证书
client.crt客户端证书
client.key客户端私钥

目录示例:

volume/kafka/
├─ ca.crt
├─ client.crt
└─ client.key

Docker 挂载证书示例

volumes:
- ./volume/kafka/ca.crt:/usr/local/kafka/ca.crt
- ./volume/kafka/client.crt:/usr/local/kafka/client.crt
- ./volume/kafka/client.key:/usr/local/kafka/client.key

对应环境变量中的证书路径应与容器内路径一致:

ENV_KAFKA_SSL_CA_LOCATION: '/usr/local/kafka/ca.crt'
ENV_KAFKA_SSL_CLIENT_CA_LOCATION: '/usr/local/kafka/client.crt'
ENV_KAFKA_SSL_CLIENT_KEY_LOCATION: '/usr/local/kafka/client.key'

mTLS 双向认证配置示例​

以下示例介绍 HAP 集群模式下微服务、专属算力和 Flink 的 Kafka mTLS 配置。

配置 HAP 微服务​

参考挂载配置文件,将 CA 证书、客户端证书和私钥分别挂载到容器内,并在微服务 config.yaml 的 env-list 中配置:

ENV_KAFKA_SECURITY_PROTOCOL: 'Ssl'
ENV_KAFKA_SSL_CA_LOCATION: '/usr/local/kafka/ca.crt'
ENV_KAFKA_SSL_CLIENT_CA_LOCATION: '/usr/local/kafka/client.crt'
ENV_KAFKA_SSL_CLIENT_KEY_LOCATION: '/usr/local/kafka/client.key'

环境变量中的路径须与容器内的证书路径一致。

配置专属算力​

如果集群中部署了专属算力,还需配置其 Kafka 连接和证书挂载。

  1. 在 computinginstance.yaml 的 computinginstance ConfigMap 中,为 data.config.yaml 的 common.kafka 增加:

    securityProtocol: Ssl
    ssl:
    caLocation: /etc/kafka-mtls/ca.crt
    clientCaLocation: /etc/kafka-mtls/client.crt
    clientKeyLocation: /etc/kafka-mtls/client.key
  2. 在 Kubernetes 控制节点上,为专属算力所在命名空间创建包含三个证书文件的 Secret:

    kubectl -n NAMESPACE create secret generic hap-kafka-computing-mtls \
    --from-file=ca.crt=PATH_TO_CA_CERT \
    --from-file=client.crt=PATH_TO_CLIENT_CERT \
    --from-file=client.key=PATH_TO_CLIENT_KEY
  3. 在 computinginstance.yaml 的 Deployment 中,为对应容器增加 volumeMounts,并在 Pod 的 volumes 中增加 Secret 卷:

    volumeMounts:
    - name: kafka-mtls
    mountPath: /etc/kafka-mtls
    readOnly: true
    volumes:
    - name: kafka-mtls
    secret:
    secretName: hap-kafka-computing-mtls
    defaultMode: 0440

如果 Flink 使用 Kafka Reporter,还需配置 Reporter 并为 JobManager、TaskManager 挂载证书。以下配置适用于所列 HAP Flink 镜像版本,其他版本请先确认对应参数。

配置 Kafka Reporter​

在 flink-config ConfigMap 的 data.flink-conf.yaml 中,根据镜像版本配置 Kafka Reporter。

使用 PEM 文件。客户端私钥须为未加密的 PKCS#8 格式(以 -----BEGIN PRIVATE KEY----- 开头),客户端证书须包含所需的中间证书链。

在 Kubernetes 控制节点上,为 Flink 所在命名空间创建 Secret:

kubectl -n NAMESPACE create secret generic hap-kafka-flink-mtls \
--from-file=ca.crt=PATH_TO_CA_CERT \
--from-file=client.crt=PATH_TO_CLIENT_CERT \
--from-file=client.key=PATH_TO_CLIENT_KEY

以下以 kafka_reporter 为例,Kafka 地址和证书路径根据实际情况修改:

metrics.reporter.kafka_reporter.bootstrap.servers: 'KAFKA_HOST:9092'
metrics.reporter.kafka_reporter.securityProtocol: SSL
metrics.reporter.kafka_reporter.sslCaCert: /etc/kafka-mtls/ca.crt
metrics.reporter.kafka_reporter.sslClientCert: /etc/kafka-mtls/client.crt
metrics.reporter.kafka_reporter.sslClientKey: /etc/kafka-mtls/client.key
metrics.reporter.kafka_reporter.ssl.endpoint.identification.algorithm: https

对已配置的 kafka_reporter_running、kafka_reporter2 和 kafka_reporter_running2 同样配置上述参数,并替换 Reporter 名称。

启用主机名校验时,Kafka Broker 的连接地址须与其证书中的域名或 IP 地址匹配。

挂载证书​

在 flink.yaml 的 flink-jobmanager 和 flink-taskmanager Deployment 中,分别为对应容器增加 volumeMounts,并在各 Pod 的 volumes 中增加 Secret 卷:

volumeMounts:
- name: kafka-mtls
mountPath: /etc/kafka-mtls
readOnly: true
volumes:
- name: kafka-mtls
secret:
secretName: hap-kafka-flink-mtls
defaultMode: 0440

JobManager 和 TaskManager 容器以用户 9999 运行时,在各 Deployment 的 spec.template.spec 中设置:

securityContext:
fsGroup: 9999

配置完成后,应用修改并重启相关服务使配置生效。