Kafka 连接安全配置说明
本产品 mingdaoyun-hap、mingdaoyun-hdp、mingdaoyun-flink 3个镜像中均使用到 Kafka,调整安全配置需整体修改。
连接配置参数说明
| 环境变量 | 说明 | 默认值 |
|---|---|---|
ENV_KAFKA_ENDPOINTS | Kafka Broker 地址列表,多个地址使用逗号分隔 | 127.0.0.1:9092 |
ENV_KAFKA_SECURITY_PROTOCOL | Kafka 安全协议模式 | 空 |
ENV_KAFKA_SASL_MECHANISM | SASL 认证机制 | 空 |
ENV_KAFKA_SASL_USERNAME | SASL 用户名 | 空 |
ENV_KAFKA_SASL_PASSWORD | SASL 密码 | 空 |
ENV_KAFKA_SSL_CA_LOCATION | Kafka CA 证书路径 | 空 |
ENV_KAFKA_SSL_CLIENT_CA_LOCATION | Kafka 客户端证书路径 | 空 |
ENV_KAFKA_SSL_CLIENT_KEY_LOCATION | Kafka 客户端私钥路径 | 空 |
安全协议模式说明
Kafka 支持多种安全认证模式,包括 Plaintext、SaslPlaintext、Ssl、SaslSsl。
1. Plaintext(默认模式)
未启用任何安全认证机制,仅使用明文通信,无需配置 SASL 或 SSL 相关参数。
2. SaslPlaintext(启用 SASL 认证)
使用 SASL 机制进行身份认证,但数据传输仍为明文。
配置文件需要增加以下环境变量:
| 环境变量 | 说明 |
|---|---|
ENV_KAFKA_SECURITY_PROTOCOL | 设置为 SaslPlaintext |
ENV_KAFKA_SASL_MECHANISM | SASL 认证机制,固定为 PLAIN |
ENV_KAFKA_SASL_USERNAME | SASL 用户名 |
ENV_KAFKA_SASL_PASSWORD | SASL 密码 |
3. Ssl(启用 TLS 加密)
使用 TLS/SSL 加密通信,但不启用 SASL 认证。
以下为 mTLS 双向认证的环境变量:
| 环境变量 | 说明 |
|---|---|
ENV_KAFKA_SECURITY_PROTOCOL | 设置为 Ssl |
ENV_KAFKA_SSL_CA_LOCATION | CA 根证书路径 |
ENV_KAFKA_SSL_CLIENT_CA_LOCATION | mTLS 客户端证书路径 |
ENV_KAFKA_SSL_CLIENT_KEY_LOCATION | mTLS 客户端私钥路径 |
4. SaslSsl(启用 SASL + TLS)
同时启用 SASL 身份认证和 SSL 加密通信(推荐的安全模式)。
以下包含 mTLS 双向认证所需的环境变量;是否使用客户端证书取决于 Kafka 服务端配置。
| 环境变量 | 说明 |
|---|---|
ENV_KAFKA_SECURITY_PROTOCOL | 设置为 SaslSsl |
ENV_KAFKA_SASL_MECHANISM | SASL 认证机制,固定为 PLAIN |
ENV_KAFKA_SASL_USERNAME | SASL 用户名 |
ENV_KAFKA_SASL_PASSWORD | SASL 密码 |
ENV_KAFKA_SSL_CA_LOCATION | CA 根证书(PEM 格式) |
ENV_KAFKA_SSL_CLIENT_CA_LOCATION | mTLS 客户端证书路径(PEM 格式) |
ENV_KAFKA_SSL_CLIENT_KEY_LOCATION | mTLS 客户端私钥路径(PEM 格式) |
客户端配置证书方法
使用 Ssl 或 SaslSsl 时,根据 Kafka 服务端的认证要求准备证书:
- 单向 TLS:客户端验证 Kafka 服务端证书,需要信任签发服务端证书的 CA。
- mTLS 双向认证:除信任服务端 CA 外,客户端还需要提供客户端证书和私钥。
Kafka Broker 的
ssl.client.auth设置为none时不要求客户端证书;设置为required时强制验证客户端证书。
单向 TLS 的具体配置方式和各组件支持情况需要根据实际版本确认。
mTLS 证书文件
准备以下 PEM 格式的证书和私钥:
| 文件 | 说明 |
|---|---|
ca.crt | 用于验证 Kafka 服务端证书的 CA 证书 |
client.crt | 客户端证书 |
client.key | 客户端私钥 |
目录示例:
volume/kafka/
├─ ca.crt
├─ client.crt
└─ client.key
Docker 挂载证书示例
volumes:
- ./volume/kafka/ca.crt:/usr/local/kafka/ca.crt
- ./volume/kafka/client.crt:/usr/local/kafka/client.crt
- ./volume/kafka/client.key:/usr/local/kafka/client.key
对应环境变量中的证书路径应与容器内路径一致:
ENV_KAFKA_SSL_CA_LOCATION: '/usr/local/kafka/ca.crt'
ENV_KAFKA_SSL_CLIENT_CA_LOCATION: '/usr/local/kafka/client.crt'
ENV_KAFKA_SSL_CLIENT_KEY_LOCATION: '/usr/local/kafka/client.key'
mTLS 双向认证配置示例
以下示例介绍 HAP 集群模式下微服务、专属算力和 Flink 的 Kafka mTLS 配置。
配置 HAP 微服务
参考挂载配置文件,将 CA 证书、客户端证书和私钥分别挂载到容器内,并在微服务 config.yaml 的 env-list 中配置:
ENV_KAFKA_SECURITY_PROTOCOL: 'Ssl'
ENV_KAFKA_SSL_CA_LOCATION: '/usr/local/kafka/ca.crt'
ENV_KAFKA_SSL_CLIENT_CA_LOCATION: '/usr/local/kafka/client.crt'
ENV_KAFKA_SSL_CLIENT_KEY_LOCATION: '/usr/local/kafka/client.key'
环境变量中的路径须与容器内的证书路径一致。
配置专属算力
如果集群中部署了专属算力,还需配置其 Kafka 连接和证书挂载。
-
在
computinginstance.yaml的computinginstanceConfigMap 中,为data.config.yaml的common.kafka增加:securityProtocol: Sslssl:caLocation: /etc/kafka-mtls/ca.crtclientCaLocation: /etc/kafka-mtls/client.crtclientKeyLocation: /etc/kafka-mtls/client.key -
在 Kubernetes 控制节点上,为专属算力所在命名空间创建包含三个证书文件的 Secret:
kubectl -n NAMESPACE create secret generic hap-kafka-computing-mtls \--from-file=ca.crt=PATH_TO_CA_CERT \--from-file=client.crt=PATH_TO_CLIENT_CERT \--from-file=client.key=PATH_TO_CLIENT_KEY -
在
computinginstance.yaml的 Deployment 中,为对应容器增加volumeMounts,并在 Pod 的volumes中增加 Secret 卷:volumeMounts:- name: kafka-mtlsmountPath: /etc/kafka-mtlsreadOnly: truevolumes:- name: kafka-mtlssecret:secretName: hap-kafka-computing-mtlsdefaultMode: 0440
配置 Flink
如果 Flink 使用 Kafka Reporter,还需配置 Reporter 并为 JobManager、TaskManager 挂载证书。以下配置适用于所列 HAP Flink 镜像版本,其他版本请先确认对应参数。
配置 Kafka Reporter
在 flink-config ConfigMap 的 data.flink-conf.yaml 中,根据镜像版本配置 Kafka Reporter。
- Flink 1.19.720
- Flink 1.17.1.530
使用 PEM 文件。客户端私钥须为未加密的 PKCS#8 格式(以 -----BEGIN PRIVATE KEY----- 开头),客户端证书须包含所需的中间证书链。
在 Kubernetes 控制节点上,为 Flink 所在命名空间创建 Secret:
kubectl -n NAMESPACE create secret generic hap-kafka-flink-mtls \
--from-file=ca.crt=PATH_TO_CA_CERT \
--from-file=client.crt=PATH_TO_CLIENT_CERT \
--from-file=client.key=PATH_TO_CLIENT_KEY
以下以 kafka_reporter 为例,Kafka 地址和证书路径根据实际情况修改:
metrics.reporter.kafka_reporter.bootstrap.servers: 'KAFKA_HOST:9092'
metrics.reporter.kafka_reporter.securityProtocol: SSL
metrics.reporter.kafka_reporter.sslCaCert: /etc/kafka-mtls/ca.crt
metrics.reporter.kafka_reporter.sslClientCert: /etc/kafka-mtls/client.crt
metrics.reporter.kafka_reporter.sslClientKey: /etc/kafka-mtls/client.key
metrics.reporter.kafka_reporter.ssl.endpoint.identification.algorithm: https
对已配置的 kafka_reporter_running、kafka_reporter2 和 kafka_reporter_running2 同样配置上述参数,并替换 Reporter 名称。
在证书文件所在服务器上,使用 CA 证书生成 truststore,使用客户端证书和私钥生成 keystore:
keytool -importcert -alias kafka-ca -file ca.crt \
-keystore kafka.truststore.p12 -storetype PKCS12
openssl pkcs12 -export -name kafka-client -in client.crt \
-inkey client.key -certfile ca.crt -out kafka.keystore.p12
按提示设置密码,并在需要时补全客户端中间证书链。多个受信任 CA 应使用不同的别名分别导入 truststore。
在 Kubernetes 控制节点上,为 Flink 所在命名空间创建包含证书及 PKCS12 文件的 Secret:
kubectl -n NAMESPACE create secret generic hap-kafka-flink-mtls \
--from-file=ca.crt=PATH_TO_CA_CERT \
--from-file=client.crt=PATH_TO_CLIENT_CERT \
--from-file=client.key=PATH_TO_CLIENT_KEY \
--from-file=kafka.truststore.p12=PATH_TO_TRUSTSTORE \
--from-file=kafka.keystore.p12=PATH_TO_KEYSTORE
以下以 kafka_reporter 为例,密码须与生成文件时设置的密码一致:
metrics.reporter.kafka_reporter.bootstrapServers: 'KAFKA_HOST:9092'
metrics.reporter.kafka_reporter.securityProtocol: SSL
metrics.reporter.kafka_reporter.ssl.truststore.location: /etc/kafka-mtls/kafka.truststore.p12
metrics.reporter.kafka_reporter.ssl.truststore.password: 'TRUSTSTORE_PASSWORD'
metrics.reporter.kafka_reporter.ssl.truststore.type: PKCS12
metrics.reporter.kafka_reporter.ssl.keystore.location: /etc/kafka-mtls/kafka.keystore.p12
metrics.reporter.kafka_reporter.ssl.keystore.password: 'KEYSTORE_PASSWORD'
metrics.reporter.kafka_reporter.ssl.keystore.type: PKCS12
metrics.reporter.kafka_reporter.ssl.endpoint.identification.algorithm: https
对已配置的 kafka_reporter_running 同样配置上述参数,并替换 Reporter 名称。
启用主机名校验时,Kafka Broker 的连接地址须与其证书中的域名或 IP 地址匹配。
挂载证书
在 flink.yaml 的 flink-jobmanager 和 flink-taskmanager Deployment 中,分别为对应容器增加 volumeMounts,并在各 Pod 的 volumes 中增加 Secret 卷:
volumeMounts:
- name: kafka-mtls
mountPath: /etc/kafka-mtls
readOnly: true
volumes:
- name: kafka-mtls
secret:
secretName: hap-kafka-flink-mtls
defaultMode: 0440
JobManager 和 TaskManager 容器以用户 9999 运行时,在各 Deployment 的 spec.template.spec 中设置:
securityContext:
fsGroup: 9999
配置完成后,应用修改并重启相关服务使配置生效。