Kubernetes 集群监控
运维平台采集 Kubernetes 的节点资源、容器资源(cAdvisor)和集群对象状态 (kube-state-metrics),在「资源监控 → Kubernetes」面板展示节点、Pod、Deployment 和容器等视图。
确认运维平台部署位置
运维平台部署位置决定 Kubernetes 指标采集方式:
| 场景 | 配置方式 |
|---|---|
运维平台部署在 HAP/HDP Kubernetes 集群内(复用现有集群,无论 ops.yaml 还是 k8s-cluster/) | 无需额外配置,部署完成后自动采集该集群数据。直接跳到 验证 |
| 运维平台在目标 HAP/HDP Kubernetes 集群外(例如运维平台单机部署,另有 Kubernetes 集群要监控) | 在被监控集群内部署 采集组件 |
| 要监控多个 Kubernetes 集群 | 运维平台所在的 HAP/HDP Kubernetes 集群自动采集,其余每个被监控集群各部署一套采集组件,见 监控多个集群 |
抓取 kubelet、cAdvisor 和 kube-state-metrics 的采集进程运行在被监控集群内部,通过 ServiceAccount 访问 apiserver。跨集群采集时,采集组件还需通过运维平台网关发送指标,并使用运维平台令牌进行认证。
运维平台部署在 HAP/HDP Kubernetes 集群内:自动采集
Kubernetes 部署配置已包含以下内容,无需额外配置:
| 组件 | 配置位置 |
|---|---|
ENV_K8S_MONITOR_MODE: "incluster" | ConfigMap(ops.yaml 顶部/11-configmap.yaml) |
| Prometheus 的 ServiceAccount + ClusterRole | 同一份 ops.yaml 末尾/20-rbac.yaml |
| kube-state-metrics | 同一份 ops.yaml 末尾/40-stateless.yaml 的 ops-ksm |
运维平台内置 Prometheus 直接采集所在的 HAP/HDP Kubernetes 集群,数据存储在本地 TSDB。此场景无需配置 remote_write,避免将数据重复推送至自身。
从 1.5.7 之前版本升级时,原 ops.yaml 单文件清单不包含 RBAC 和 kube-state-metrics,Kubernetes 面板可能没有数据。重新下载 ops.yaml 并覆盖应用后可补齐这些配置,不影响已有数据。新增的配置包括 ServiceAccount、ClusterRole、kube-state-metrics 和三个 ConfigMap 键。
如需关闭 Kubernetes 面板:将 ConfigMap 中的 ENV_K8S_MONITOR_MODE 改为 off,并移除
kube-state-metrics 相关对象。
采集组件模式:运维平台在目标集群外,或要监控多个集群
在被监控集群内部署采集组件,包括专用于采集 Kubernetes 指标的 Prometheus、RBAC 和 kube-state-metrics。采集组件通过 remote_write 将指标推送至运维平台,无需从运维平台反向访问被监控集群。
该模式仅要求被监控集群可出站访问运维平台,适合入站访问受限的客户环境。
解压后,检查 30-prometheus-incluster.yaml 中的镜像地址和版本,确保被监控集群节点能够获取该镜像。下载包内的镜像版本不会随站点配置自动更新。然后修改文件中的三个变量:
- name: ENV_PROMETHEUS_REMOTE_WRITE_URL
value: "http://运维平台地址:30881/mdis/prometheus/server/api/v1/write"
- name: ENV_PROMETHEUS_REMOTE_WRITE_TOKEN
value: "运维平台的 ENV_OPS_TOKEN"
- name: ENV_K8S_CLUSTER_NAME
value: "prod-k8s" # 集群标识,面板按它区分,避免重名
写入地址按以下规则拼接,需包含三段:
http://<运维平台网关地址>:<端口> + <子路径> + /prometheus/server/api/v1/write
↑ ↑ ↑
Kubernetes 部署取 ops-gateway 运维平台的 运维平台 Prometheus 运行在
的 NodePort(默认 30881) ENV_OPS_ --web.external-url=
单机部署取 48881 SUB_PATH /prometheus/server/ 下
默认 /mdis
填写地址和 Token 时,注意以下配置要求:
-
不要填写运维平台的
:9090。ops-prometheus是 ClusterIP,只能在运维平台所在集群内访问,其他集群需要使用网关的对外端口。 -
地址需包含
/prometheus/server/,缺少该路径时返回 404。 -
填写运维平台的
ENV_OPS_TOKEN。网关写入入口使用Bearer鉴权,未填写时返回 401。该 Token 与登录运维平台使用的 Token 相同。
修改后执行:
kubectl apply \
-f k8s-addons/00-namespace.yaml \
-f k8s-addons/10-kube-state-metrics.yaml \
-f k8s-addons/30-prometheus-incluster.yaml
地址或令牌配置错误时,采集端可能持续重试,界面上通常表现为「无数据」。部署后可在采集组件的 Pod 中执行以下命令检查网关入口:
# 不带 token —— 应该 401,说明入口在、鉴权生效
curl -s -o /dev/null -w '%{http_code}\n' -X POST \
http://运维平台地址:30881/mdis/prometheus/server/api/v1/write
# 带 token —— 应该 400(端点存在,只是拒绝了空请求体)
curl -s -o /dev/null -w '%{http_code}\n' -X POST \
-H 'Authorization: Bearer 运维平台的ENV_OPS_TOKEN' \
http://运维平台地址:30881/mdis/prometheus/server/api/v1/write
返回 404 时检查地址;两次均返回 401 时检查 Token。
数据流:
┌─ 被监控集群 ──────────────────────────────┐
│ kubelet / cAdvisor ──┐ │
│ kube-state-metrics ──┼─→ 采集 Prometheus │
│ apiserver ───────────┘ (使用本集群 SA) │
└────────────────────────────────┬──────────┘
│ remote_write(仅需出站,带 Bearer token)
↓
运维平台网关 :30881/mdis/prometheus/server/api/v1/write
↓
运维平台 Prometheus(写入本地 TSDB)
↓
Grafana「资源监控 → Kubernetes」面板
采集器只把 kube_*/container_*/kubelet_*/machine_*/node_* 推回运维平台,它自身的 Prometheus 运行指标不会推过去占存储。
采集组件清单
| 文件 | 作用 | 是否必需 |
|---|---|---|
00-namespace.yaml | 命名空间 mdis-monitoring | 必需 |
10-kube-state-metrics.yaml | kube-state-metrics + RBAC + Service | 必需 |
20-node-exporter.yaml | node_exporter DaemonSet + Service | 可选(节点/容器指标已由 kubelet+cAdvisor 覆盖) |
30-prometheus-incluster.yaml | 集群内 ops-prometheus + RBAC + Service | 必需 |
40-alloy-logs.yaml | 容器日志采集 DaemonSet | 需要采集容器日志时部署,见服务日志接入 |
40-alloy-logs.yaml 负责日志采集,不负责指标采集,上述 apply 命令未包含该文件。使用前需先修改
ENV_LOKI_PUSH_URL。未部署该文件时 Kubernetes 面板仍有指标数据,但「容器控制台」无数据。
运维平台已经自动采集其所在的 HAP/HDP Kubernetes 集群,再部署一套采集组件会造成重复采集:两份数据以不同集群名写入同一个 TSDB, 面板下拉里会出现难以对应的条目,并产生额外存储开销。
监控多个集群
每个集群的指标都会携带 origin_prometheus=<集群名> 标签进入运维平台,「资源监控 → Kubernetes」面板顶部
会显示「集群」下拉,可按集群切换,默认 All(合并展示)。
以下以「运维平台部署在集群 A,并纳管集群 B」为例说明配置过程。
第 1 步:配置集群 A 的名称
集群 A 已经由运维平台自动采集,只需配置可识别的集群名称。修改运维平台的 ConfigMap:
kubectl -n hap-ops edit configmap ops-config
把 ENV_K8S_CLUSTER_NAME 从默认的 default 改成有意义的名字:
ENV_K8S_CLUSTER_NAME: "main-k8s"
重启 Prometheus 使配置生效(该值在启动时写入 Prometheus 的 external_labels)。hostPath 方案执行:
kubectl -n hap-ops rollout restart deployment/ops-prometheus
PVC 方案使用 StatefulSet,执行:
kubectl -n hap-ops rollout restart statefulset/ops-prometheus
origin_prometheus 是打在指标上的标签,改名后新数据用新名字,旧数据仍是 default,
面板下拉里会同时出现两个条目。建议在上线初期完成命名确认,避免后期变更影响历史数据识别。
第 2 步:在集群 B 部署采集组件
先确认 B 能出站访问 A 的网关端口(默认 NodePort 30881),A 不需要能反向访问 B:
# 在集群 B 的任一节点上
curl -s -o /dev/null -w '%{http_code}\n' http://集群A地址:30881/mdis/web/
然后下载 k8s-addons.tar.gz,改
30-prometheus-incluster.yaml 的三个变量:
- name: ENV_PROMETHEUS_REMOTE_WRITE_URL
value: "http://集群A地址:30881/mdis/prometheus/server/api/v1/write"
- name: ENV_PROMETHEUS_REMOTE_WRITE_TOKEN
value: "集群A运维平台的 ENV_OPS_TOKEN"
- name: ENV_K8S_CLUSTER_NAME
value: "prod-k8s"
apply(在集群 B 的 kubeconfig 下执行):
kubectl apply \
-f k8s-addons/00-namespace.yaml \
-f k8s-addons/10-kube-state-metrics.yaml \
-f k8s-addons/30-prometheus-incluster.yaml
第 3 步:确认推送成功
在集群 B 看采集组件的日志,应无 remote_write 相关的重试报错:
kubectl -n mdis-monitoring logs deploy/ops-prometheus | grep -iE '\[k8s\]|remote|error' | tail
回到运维平台,「资源监控 → Kubernetes」面板顶部的「集群」下拉里应能看到 main-k8s 和 prod-k8s
两项。也可直接查运维平台 Prometheus 有几个集群在报数据:
count by (origin_prometheus) (kube_node_info)
接入其他集群
重复第 2 步即可。每个集群仅需修改 ENV_K8S_CLUSTER_NAME,写入地址和 token 都指向同一套运维平台:
| 集群 | 配置方式 | ENV_K8S_CLUSTER_NAME |
|---|---|---|
| A(运维平台所在) | 已自采,改 ConfigMap | main-k8s |
| B | 一套采集组件 | prod-k8s |
| C | 一套采集组件 | test-k8s |
| … | … | … |
集群名称显示在面板的下拉列表中。建议使用易于识别的名称,避免使用 IP 或重复名称;两个集群使用同一名称时,指标会混在一起且无法区分。
多个集群的指标都会写入运维平台的 TSDB。集群数量或规模增加时,请关注存储容量,按需调整 ENV_PROMETHEUS_RETENTION_SIZE 或扩容。
验证
ServiceAccount + apiserver proxy 会自动发现 kubelet、cAdvisor、kube-state-metrics 和 pods, 无需暴露 kubelet 端口、无需 kubeconfig。
运维平台自动采集其所在的 HAP/HDP Kubernetes 集群。hostPath 方案可执行:
kubectl -n hap-ops get deploy kube-state-metrics
kubectl -n hap-ops exec deploy/ops-prometheus -- \
curl -s localhost:9090/prometheus/server/api/v1/targets | grep -o '"job":"k8s-[^"]*"'
PVC 方案中的 kube-state-metrics 和 Prometheus 分别使用 ops-ksm Deployment 和 ops-prometheus StatefulSet:
kubectl -n hap-ops get deploy ops-ksm
kubectl -n hap-ops exec statefulset/ops-prometheus -- \
curl -s localhost:9090/prometheus/server/api/v1/targets | grep -o '"job":"k8s-[^"]*"'
采集组件模式(部署在被监控集群的 mdis-monitoring):
kubectl -n mdis-monitoring get pods
kubectl -n mdis-monitoring logs deploy/ops-prometheus | grep '\[k8s\]'
启动日志里应有一行 [k8s] incluster 采集已启用,集群标识 origin_prometheus="...";
配置 remote_write 后,日志中还会显示推送目标。地址前缀错误时,该日志会直接给出告警。
两种情况下 k8s-kubelet/k8s-cadvisor/k8s-kube-state-metrics 三个 job 都应为 UP,
随后进入前端「资源监控 → Kubernetes」面板,即可查看节点与 Pod 视图。