Kubernetes
本文介绍在 HAP/HDP 所在的 Kubernetes 集群内新部署运维平台。部署完成后,平台可采集所在集群的监控指标。如需监控其他集群,请在目标集群部署采集组件。
部署准备
- 确保 HAP/HDP Kubernetes 集群运行正常,并预留运维平台所需的计算和存储资源。
- 确保可以通过
kubectl访问集群,并具有创建命名空间、部署组件和配置 RBAC 资源的权限。 - 准备被监控中间件的账号,权限要求见数据源管理。
- 直接访问时,客户端需能访问集群节点的
30881端口;使用反向代理时,代理服务器需能访问该端口。
以下 kubectl 命令需在已配置 kubectl 且具有所需集群操作权限的服务器上执行,例如 Kubernetes 控制节点。检查集群节点状态:
kubectl get nodes
本文默认使用 hap-ops 命名空间,提供两种部署方式:
| 存储方式 | 数据保存位置 | 操作步骤 |
|---|---|---|
| hostPath(默认) | 指定节点的本地目录 | 按第 1~5 步操作 |
| StorageClass 和 PVC | 由 StorageClass 提供存储卷 | 完成第 1 步后,转至使用 StorageClass 和 PVC 部署 |
两种方案使用不同的配置文件,不要在同一命名空间重复部署。下文容量和目录为新部署示例,已有部署应保留现场存储配置,另行规划迁移或扩容。
1. 获取镜像
以下镜像示例适用于 Linux AMD64 节点。拉取镜像前,请确认各节点的 crictl 已连接到 Kubernetes 使用的容器运行时。
运维平台通过 DaemonSet 部署节点采集组件:
ops-nodeagent:采集节点指标。alloy-logs:采集容器日志,PVC 方案已包含;hostPath 方案需按需额外部署。
每个节点都需准备镜像,供采集组件和其他运维平台服务运行。采集组件实际覆盖的节点还取决于节点污点等调度条件。
在线环境请在每个节点上执行:
crictl pull registry.cn-hangzhou.aliyuncs.com/mdpublic/ops-allinone:1.5.12
离线环境请下载与节点架构匹配的离线镜像包,上传至每个节点后分别导入。部署配置中的镜像地址和版本需与实际导入的镜像一致。
2. 指定部署节点
运维平台默认使用 hostPath,将监控数据、日志、链路数据和 MongoDB 数据保存在节点的 /data/mdis/ 目录下。
选择一个可运行运维平台服务的节点,确保 /data/mdis/ 所在文件系统至少有 200 GB 可用空间,并为节点添加标签。运维平台的主要服务将根据标签调度到该节点,以便访问本地数据。
可通过 kubectl get nodes 查看节点名称,然后执行:
kubectl label node <节点名称> hap-ops=true
请确保只有选定的节点带有此标签,以免服务调度到其他节点后无法访问原有数据。
hostPath 数据保存在节点本地,不会随 Pod 迁移到其他节点。节点可能被重建或替换时,应考虑使用支持跨节点挂载的存储卷;本地存储类型的 PVC 同样受节点限制。
Loki 日志和 Tempo 链路数据默认保存在节点本地。如需使用对象存储,可参考对象存储配置。
3. 准备部署配置文件
在已配置 kubectl 且具有集群操作权限的 Kubernetes 控制节点或其他服务器上,创建 /data/mingdao/kubernetes/mdis/ 目录,用于保存部署配置文件:
mkdir -p /data/mingdao/kubernetes/mdis
该目录保存 YAML 配置文件;服务数据保存在第 2 步选定节点的 /data/mdis/ 下。
-
下载运维平台部署配置文件,上传到该服务器的
/data/mingdao/kubernetes/mdis/目录。 -
编辑
/data/mingdao/kubernetes/mdis/ops.yaml,必须修改以下环境变量的示例值:环境变量 说明 ENV_OPS_TOKEN运维平台登录令牌,请使用高强度口令 ENV_ALERT_CRYPTO_KEY凭据加密密钥,请单独生成并妥善保存。如后期修改密钥,已保存的加密凭据将无法解密 -
检查以下配置:
- 镜像地址和版本与第 1 步使用的镜像一致。
- 节点标签与第 2 步配置的
hap-ops=true一致。
如目标节点带有
NoSchedule污点,还需配置相应容忍,见专用监控节点。
配置文件包含 hap-ops 命名空间、集群监控所需的权限和 kube-state-metrics。
如需使用其他命名空间,请在部署前修改 ops.yaml:
- 将 Namespace 的名称、各资源的
metadata.namespace和 ClusterRoleBinding 中 ServiceAccount 的命名空间改为实际名称。 - 将 ConfigMap 中 Service 地址的命名空间,以及
ENV_K8S_KSM_NAMESPACE改为实际名称。如果集群的 DNS 域名后缀不是cluster.local,还需按实际情况调整 Service 地址。 - 将下文命令中的
-n hap-ops改为实际命名空间。节点标签hap-ops=true用于指定部署节点,不需要随命名空间一起修改。
网关 Service 同时包含访问端口和内部 API 端口,Kubernetes 会为两者分配 NodePort;请限制相应端口的网络访问。
4. 部署运维平台
执行以下命令部署运维平台:
kubectl apply -f /data/mingdao/kubernetes/mdis/ops.yaml
5. 访问与验证
查看运维平台 Pod 和 Service 的状态:
kubectl get pods,svc -n hap-ops -o wide
确认运维平台的 Pod 就绪后,在浏览器访问:
http://节点IP:30881/mdis/web/
使用配置的 ENV_OPS_TOKEN 登录,并确认概览页面正常显示。如修改了 ENV_OPS_SUB_PATH,请将访问地址中的 /mdis 替换为实际路径。
Pod 未就绪时,可通过以下命令查看调度、镜像拉取或挂载失败的原因:
kubectl describe pod <Pod名称> -n hap-ops
其他排查方法见常见问题。
配置反向代理
hostPath 方案通过 ops-gateway Service 暴露 30881 端口;PVC 方案使用 ops-gateway-ui Service,对外端口相同。
如需通过域名访问,在 Nginx 的 http 配置块中添加上游节点:
upstream hap-ops {
server 192.168.1.11:30881;
server 192.168.1.12:30881;
server 192.168.1.13:30881;
}
在对应域名的 server 配置块中添加:
location /mdis/ {
# allow 192.168.1.100;
# deny all;
proxy_pass http://hap-ops;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_http_version 1.1;
proxy_set_header Connection "";
}
请按实际环境调整:
- 将上游示例 IP 替换为代理服务器可访问的集群节点 IP,并按节点数量增减条目。
- 如需限制访问来源,同时启用
allow和deny,并填写实际的运维出口 IP。 - 修改访问子路径时,同步调整部署配置中的
ENV_OPS_SUB_PATH和代理路径。
检查 Nginx 配置并重新加载后,即可通过域名访问。已配置 HTTPS 监听和证书时,访问 https://域名/mdis/web/;使用 HTTP 时按实际协议访问。
后续接入
- 在数据源管理中添加需要监控的主机和中间件,或添加自定义页面。
- 在 HAP/HDP 服务侧配置日志推送地址,接入服务日志。
- 如需采集容器日志,hostPath 方案需额外部署
alloy-logs,见容器日志接入;PVC 方案已包含该组件。 - 根据集群环境配置链路追踪。
- 如需监控集群外的服务器,在目标服务器部署 Node Exporter。
- 如需监控其他 Kubernetes 集群,在目标集群部署采集组件。
使用 StorageClass 和 PVC 部署
本方案通过 StorageClass 创建 PVC。完成部署准备和第 1 步获取镜像后,按本节操作,无需执行 hostPath 方案的第 2~5 步。
准备 PVC 存储
检查集群可用的 StorageClass:
kubectl get storageclass
默认 StorageClass 在输出中标记为 (default)。根据集群现有配置选择:
- 使用默认存储类:本示例的 PVC 未指定
storageClassName,无需额外修改。 - 使用其他已有存储类:在
30-stateful.yaml中三个volumeClaimTemplates的spec下填写storageClassName,无需修改集群默认值。
如需新建 StorageClass,可参考以下示例:
StorageClass 配置参考
不同存储服务的 StorageClass 和参数可能不同,请参考相应服务的文档配置。以下示例仅供参考,使用前请核对存储类型和回收策略。
以下为腾讯云 CBS 的配置示例,使用前请确认集群已安装对应的 CSI 驱动。reclaimPolicy: Delete 表示删除 PVC 后,关联的持久卷及后端存储可能被删除,请根据数据保留要求选择回收策略:
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: cbs-expandable
annotations:
storageclass.kubernetes.io/is-default-class: "true"
provisioner: com.tencent.cloud.csi.cbs
parameters:
diskType: CLOUD_PREMIUM
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
将配置保存为 storageclass.yaml 后执行:
kubectl apply -f storageclass.yaml
修改默认 StorageClass 会影响集群中后续未指定存储类的新 PVC。如确需替换默认项,设置完成后取消原有默认标记:
kubectl patch sc <原默认SC名> -p '{"metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'
测试环境也可使用 local-path-provisioner,将数据存储在节点本地:
kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/master/deploy/local-path-storage.yaml
kubectl patch sc local-path -p '{"metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
使用本地存储时,请根据节点的实际可用磁盘空间调整 PVC 容量。local-path-provisioner 的数据保存在节点本地,不会随 Pod 迁移到其他节点。
确认 StorageClass 可用后,请根据以下默认容量规划存储空间:
| 组件 | 默认容量 |
|---|---|
| Prometheus | 200 GiB |
| MongoDB | 30 GiB |
| Grafana | 20 GiB |
以上容量合计 250 GiB,可在首次部署前通过 30-stateful.yaml 调整。已有 PVC 不会随示例容量变化自动扩容,也不能直接通过修改 StatefulSet 的 volumeClaimTemplates 完成扩容;需根据存储驱动能力单独处理。
PVC 配置包将 Prometheus 的保留时间设为 30d、容量上限设为 80GB,以先达到的条件触发清理。它们分别由 11-configmap.yaml 中的 ENV_PROMETHEUS_RETENTION 和 ENV_PROMETHEUS_RETENTION_SIZE 控制,增加 PVC 容量不会自动提高保留上限。
PVC 方案中的 Loki 和 Tempo 默认使用 emptyDir。如未配置对象存储,日志和链路数据保存在临时目录中,Pod 删除后数据会丢失。如需持久保存,请为这两个组件配置对象存储,或调整部署配置以使用持久卷。
如使用对象存储,请分别为 Loki 和 Tempo 创建存储桶,并使用不同的桶名:
| 配置内容 | 配置位置 |
|---|---|
| 对象存储连接信息 | 10-secret.yaml |
| Loki 存储桶 | 30-stateful.yaml 中的 ENV_S3_BUCKET_LOKI |
| Tempo 存储桶 | 30-stateful.yaml 中的 ENV_S3_BUCKET_TEMPO |
具体参数见对象存储配置。
准备 PVC 部署配置文件
-
下载运维平台 PVC 部署配置包,上传到已配置
kubectl且具有集群操作权限的服务器,在文件所在目录解压:tar -xzf k8s-cluster.tar.gzcd k8s-cluster包内
SOURCE.json记录源码来源、镜像标签和文件校验值。正式部署应使用与发布镜像对应的配置包;标记为working-tree-preview的包仅用于本地审阅。已有部署扩容前,请阅读包内的storage-expansion.md。 -
核对
30-stateful.yaml、40-stateless.yaml和50-daemonsets.yaml中的镜像与包内SOURCE.json记录的配套镜像一致,并在各节点准备该镜像:grep -n 'image:' 30-stateful.yaml 40-stateless.yaml 50-daemonsets.yaml- 升级时,请获取目标版本对应的配置包,不要只替换旧配置文件中的镜像标签。
- 如使用内部镜像仓库,可调整仓库地址,但应保持镜像内容和版本不变。
-
根据 PVC 存储规划检查
30-stateful.yaml中的 PVC 容量。如需使用对象存储,还需检查 Loki 和 Tempo 的桶名。 -
复制 Secret 示例:
cp 10-secret.yaml.example 10-secret.yaml配置包默认使用
hap-ops。如需修改,请统一调整各 YAML 文件中的命名空间、ServiceAccount 绑定、Service 地址及ENV_K8S_KSM_NAMESPACE,包括刚生成的10-secret.yaml。后续命令中的-n hap-ops也需改为实际命名空间。确认配置后,创建命名空间:
kubectl apply -f 00-namespace.yaml -
编辑
10-secret.yaml,必须修改以下环境变量的示例值:vim 10-secret.yaml环境变量 说明 ENV_OPS_TOKEN运维平台登录令牌,请使用高强度口令 ENV_ALERT_CRYPTO_KEY凭据加密密钥,请单独生成并妥善保存。如后期修改密钥,已保存的加密凭据将无法解密 可执行两次以下命令,分别为登录令牌和凭据加密密钥生成随机值,并填入对应环境变量:
openssl rand -hex 16如使用对象存储,还需填写
ENV_S3_ENDPOINT、ENV_S3_ACCESS_KEY、ENV_S3_SECRET_KEY和ENV_S3_FORCE_PATH_STYLE。 -
检查
11-configmap.yaml中的其他环境变量,具体说明见环境变量。默认访问子路径为/mdis;如需修改,同步调整40-stateless.yaml中网关的就绪检查路径和反向代理配置。 -
应用 Secret:
kubectl apply -f 10-secret.yaml
部署与验证
在 k8s-cluster 目录中执行:
kubectl apply -f 11-configmap.yaml -f 20-rbac.yaml -f 30-stateful.yaml -f 40-stateless.yaml -f 50-daemonsets.yaml
查看 Pod、Service 和 PVC 状态:
kubectl get pods,svc,pvc -n hap-ops -o wide
确认三个 PVC 均为 Bound,相关 Pod 已就绪。使用延迟绑定的 StorageClass 时,PVC 可能在 Pod 调度前暂时显示 Pending;若持续未绑定,可检查 PVC 事件及存储驱动状态:
kubectl describe pvc <PVC名称> -n hap-ops
验证通过后,按上文访问与验证登录运维平台。PVC 方案通过 ops-gateway-ui Service 暴露 30881 端口,内部 API 由 ops-gateway ClusterIP Service 提供。
附录 A:多节点与专用监控节点
如需将运维平台主要服务部署到专用节点,需要同时考虑节点选择和污点容忍:
- 节点选择器指定服务可运行的节点。hostPath 方案已使用
hap-ops=true标签;PVC 方案可按需为主要服务配置相同的选择器,并确认存储卷能够挂载到目标节点。 - 污点限制不具有相应容忍的 Pod 调度到该节点。仅添加容忍,不会将服务固定到指定节点。
先为目标节点添加标签:
kubectl label node <节点名称> hap-ops=true
在主要服务的 Deployment 或 StatefulSet 的 spec.template.spec 中设置:
nodeSelector:
hap-ops: "true"
如果还需限制其他 Pod 调度到该节点,可为节点添加污点,并在部署配置中添加对应容忍:
kubectl taint nodes <节点名称> hap-ops=true:NoSchedule
在需要运行于该节点的组件的 spec.template.spec 中添加:
tolerations:
- key: hap-ops
operator: Equal
value: "true"
effect: NoSchedule
上述容忍仅对应 hap-ops=true:NoSchedule;目标节点存在其他污点时,还需分别处理。hostPath 数据仍应由唯一带有该标签的节点保存。
ops-nodeagent 和 alloy-logs 用于采集各节点数据,不应套用仅选择专用监控节点的 nodeSelector。hostPath 配置中的 ops-nodeagent 未预设污点容忍,如需覆盖带污点的节点,应补充相应容忍。
一个 ops-agent 可采集多个中间件实例,实例通过「数据源」页面添加。ops-nodeagent 以 DaemonSet 运行,用于采集集群节点指标;如需监控集群外的服务器,请在目标服务器上部署 Node Exporter。
附录 B:集群部署配置说明
ops-agent使用 headless Service(clusterIP: None)。该服务为数据源动态分配 exporter 端口,Prometheus 通过 Pod IP 访问这些端口。- PVC 方案中的
alloy-logsDaemonSet 通过 Kubernetes API 采集容器日志。hostPath 方案需按容器日志接入说明额外部署该组件。 - PVC 方案中的有状态组件使用 StatefulSet;hostPath 方案使用 Deployment,并为使用本地数据目录的组件配置
Recreate策略,避免新旧 Pod 同时使用同一目录。