跳到主要内容

Kubernetes

本文介绍在 HAP/HDP 所在的 Kubernetes 集群内新部署运维平台。部署完成后,平台可采集所在集群的监控指标。如需监控其他集群,请在目标集群部署采集组件。

部署准备​

  • 确保 HAP/HDP Kubernetes 集群运行正常,并预留运维平台所需的计算和存储资源。
  • 确保可以通过 kubectl 访问集群,并具有创建命名空间、部署组件和配置 RBAC 资源的权限。
  • 准备被监控中间件的账号,权限要求见数据源管理。
  • 直接访问时,客户端需能访问集群节点的 30881 端口;使用反向代理时,代理服务器需能访问该端口。

以下 kubectl 命令需在已配置 kubectl 且具有所需集群操作权限的服务器上执行,例如 Kubernetes 控制节点。检查集群节点状态:

kubectl get nodes

本文默认使用 hap-ops 命名空间,提供两种部署方式:

存储方式数据保存位置操作步骤
hostPath(默认)指定节点的本地目录按第 1~5 步操作
StorageClass 和 PVC由 StorageClass 提供存储卷完成第 1 步后,转至使用 StorageClass 和 PVC 部署

两种方案使用不同的配置文件,不要在同一命名空间重复部署。下文容量和目录为新部署示例,已有部署应保留现场存储配置,另行规划迁移或扩容。

1. 获取镜像​

以下镜像示例适用于 Linux AMD64 节点。拉取镜像前,请确认各节点的 crictl 已连接到 Kubernetes 使用的容器运行时。

运维平台通过 DaemonSet 部署节点采集组件:

  • ops-nodeagent:采集节点指标。
  • alloy-logs:采集容器日志,PVC 方案已包含;hostPath 方案需按需额外部署。

每个节点都需准备镜像,供采集组件和其他运维平台服务运行。采集组件实际覆盖的节点还取决于节点污点等调度条件。

在线环境请在每个节点上执行:

crictl pull registry.cn-hangzhou.aliyuncs.com/mdpublic/ops-allinone:1.5.12

离线环境请下载与节点架构匹配的离线镜像包,上传至每个节点后分别导入。部署配置中的镜像地址和版本需与实际导入的镜像一致。

2. 指定部署节点​

运维平台默认使用 hostPath,将监控数据、日志、链路数据和 MongoDB 数据保存在节点的 /data/mdis/ 目录下。

选择一个可运行运维平台服务的节点,确保 /data/mdis/ 所在文件系统至少有 200 GB 可用空间,并为节点添加标签。运维平台的主要服务将根据标签调度到该节点,以便访问本地数据。

可通过 kubectl get nodes 查看节点名称,然后执行:

kubectl label node <节点名称> hap-ops=true

请确保只有选定的节点带有此标签,以免服务调度到其他节点后无法访问原有数据。

hostPath 数据保存在节点本地,不会随 Pod 迁移到其他节点。节点可能被重建或替换时,应考虑使用支持跨节点挂载的存储卷;本地存储类型的 PVC 同样受节点限制。

Loki 日志和 Tempo 链路数据默认保存在节点本地。如需使用对象存储,可参考对象存储配置。

3. 准备部署配置文件​

在已配置 kubectl 且具有集群操作权限的 Kubernetes 控制节点或其他服务器上,创建 /data/mingdao/kubernetes/mdis/ 目录,用于保存部署配置文件:

mkdir -p /data/mingdao/kubernetes/mdis

该目录保存 YAML 配置文件;服务数据保存在第 2 步选定节点的 /data/mdis/ 下。

  1. 下载运维平台部署配置文件,上传到该服务器的 /data/mingdao/kubernetes/mdis/ 目录。

  2. 编辑 /data/mingdao/kubernetes/mdis/ops.yaml,必须修改以下环境变量的示例值:

    环境变量说明
    ENV_OPS_TOKEN运维平台登录令牌,请使用高强度口令
    ENV_ALERT_CRYPTO_KEY凭据加密密钥,请单独生成并妥善保存。如后期修改密钥,已保存的加密凭据将无法解密
  3. 检查以下配置:

    • 镜像地址和版本与第 1 步使用的镜像一致。
    • 节点标签与第 2 步配置的 hap-ops=true 一致。

    如目标节点带有 NoSchedule 污点,还需配置相应容忍,见专用监控节点。

配置文件包含 hap-ops 命名空间、集群监控所需的权限和 kube-state-metrics。

如需使用其他命名空间,请在部署前修改 ops.yaml:

  • 将 Namespace 的名称、各资源的 metadata.namespace 和 ClusterRoleBinding 中 ServiceAccount 的命名空间改为实际名称。
  • 将 ConfigMap 中 Service 地址的命名空间,以及 ENV_K8S_KSM_NAMESPACE 改为实际名称。如果集群的 DNS 域名后缀不是 cluster.local,还需按实际情况调整 Service 地址。
  • 将下文命令中的 -n hap-ops 改为实际命名空间。节点标签 hap-ops=true 用于指定部署节点,不需要随命名空间一起修改。

网关 Service 同时包含访问端口和内部 API 端口,Kubernetes 会为两者分配 NodePort;请限制相应端口的网络访问。

4. 部署运维平台​

执行以下命令部署运维平台:

kubectl apply -f /data/mingdao/kubernetes/mdis/ops.yaml

5. 访问与验证​

查看运维平台 Pod 和 Service 的状态:

kubectl get pods,svc -n hap-ops -o wide

确认运维平台的 Pod 就绪后,在浏览器访问:

http://节点IP:30881/mdis/web/

使用配置的 ENV_OPS_TOKEN 登录,并确认概览页面正常显示。如修改了 ENV_OPS_SUB_PATH,请将访问地址中的 /mdis 替换为实际路径。

Pod 未就绪时,可通过以下命令查看调度、镜像拉取或挂载失败的原因:

kubectl describe pod <Pod名称> -n hap-ops

其他排查方法见常见问题。

配置反向代理​

hostPath 方案通过 ops-gateway Service 暴露 30881 端口;PVC 方案使用 ops-gateway-ui Service,对外端口相同。

如需通过域名访问,在 Nginx 的 http 配置块中添加上游节点:

upstream hap-ops {
server 192.168.1.11:30881;
server 192.168.1.12:30881;
server 192.168.1.13:30881;
}

在对应域名的 server 配置块中添加:

location /mdis/ {
# allow 192.168.1.100;
# deny all;
proxy_pass http://hap-ops;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_http_version 1.1;
proxy_set_header Connection "";
}

请按实际环境调整:

  • 将上游示例 IP 替换为代理服务器可访问的集群节点 IP,并按节点数量增减条目。
  • 如需限制访问来源,同时启用 allow 和 deny,并填写实际的运维出口 IP。
  • 修改访问子路径时,同步调整部署配置中的 ENV_OPS_SUB_PATH 和代理路径。

检查 Nginx 配置并重新加载后,即可通过域名访问。已配置 HTTPS 监听和证书时,访问 https://域名/mdis/web/;使用 HTTP 时按实际协议访问。

后续接入​

  • 在数据源管理中添加需要监控的主机和中间件,或添加自定义页面。
  • 在 HAP/HDP 服务侧配置日志推送地址,接入服务日志。
  • 如需采集容器日志,hostPath 方案需额外部署 alloy-logs,见容器日志接入;PVC 方案已包含该组件。
  • 根据集群环境配置链路追踪。
  • 如需监控集群外的服务器,在目标服务器部署 Node Exporter。
  • 如需监控其他 Kubernetes 集群,在目标集群部署采集组件。

使用 StorageClass 和 PVC 部署​

本方案通过 StorageClass 创建 PVC。完成部署准备和第 1 步获取镜像后,按本节操作,无需执行 hostPath 方案的第 2~5 步。

准备 PVC 存储​

检查集群可用的 StorageClass:

kubectl get storageclass

默认 StorageClass 在输出中标记为 (default)。根据集群现有配置选择:

  • 使用默认存储类:本示例的 PVC 未指定 storageClassName,无需额外修改。
  • 使用其他已有存储类:在 30-stateful.yaml 中三个 volumeClaimTemplates 的 spec 下填写 storageClassName,无需修改集群默认值。

如需新建 StorageClass,可参考以下示例:

StorageClass 配置参考

不同存储服务的 StorageClass 和参数可能不同,请参考相应服务的文档配置。以下示例仅供参考,使用前请核对存储类型和回收策略。

以下为腾讯云 CBS 的配置示例,使用前请确认集群已安装对应的 CSI 驱动。reclaimPolicy: Delete 表示删除 PVC 后,关联的持久卷及后端存储可能被删除,请根据数据保留要求选择回收策略:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: cbs-expandable
annotations:
storageclass.kubernetes.io/is-default-class: "true"
provisioner: com.tencent.cloud.csi.cbs
parameters:
diskType: CLOUD_PREMIUM
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true

将配置保存为 storageclass.yaml 后执行:

kubectl apply -f storageclass.yaml

修改默认 StorageClass 会影响集群中后续未指定存储类的新 PVC。如确需替换默认项,设置完成后取消原有默认标记:

kubectl patch sc <原默认SC名> -p '{"metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'

测试环境也可使用 local-path-provisioner,将数据存储在节点本地:

kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/master/deploy/local-path-storage.yaml
kubectl patch sc local-path -p '{"metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

使用本地存储时,请根据节点的实际可用磁盘空间调整 PVC 容量。local-path-provisioner 的数据保存在节点本地,不会随 Pod 迁移到其他节点。

确认 StorageClass 可用后,请根据以下默认容量规划存储空间:

组件默认容量
Prometheus200 GiB
MongoDB30 GiB
Grafana20 GiB

以上容量合计 250 GiB,可在首次部署前通过 30-stateful.yaml 调整。已有 PVC 不会随示例容量变化自动扩容,也不能直接通过修改 StatefulSet 的 volumeClaimTemplates 完成扩容;需根据存储驱动能力单独处理。

PVC 配置包将 Prometheus 的保留时间设为 30d、容量上限设为 80GB,以先达到的条件触发清理。它们分别由 11-configmap.yaml 中的 ENV_PROMETHEUS_RETENTION 和 ENV_PROMETHEUS_RETENTION_SIZE 控制,增加 PVC 容量不会自动提高保留上限。

PVC 方案中的 Loki 和 Tempo 默认使用 emptyDir。如未配置对象存储,日志和链路数据保存在临时目录中,Pod 删除后数据会丢失。如需持久保存,请为这两个组件配置对象存储,或调整部署配置以使用持久卷。

如使用对象存储,请分别为 Loki 和 Tempo 创建存储桶,并使用不同的桶名:

配置内容配置位置
对象存储连接信息10-secret.yaml
Loki 存储桶30-stateful.yaml 中的 ENV_S3_BUCKET_LOKI
Tempo 存储桶30-stateful.yaml 中的 ENV_S3_BUCKET_TEMPO

具体参数见对象存储配置。

准备 PVC 部署配置文件​

  1. 下载运维平台 PVC 部署配置包,上传到已配置 kubectl 且具有集群操作权限的服务器,在文件所在目录解压:

    tar -xzf k8s-cluster.tar.gz
    cd k8s-cluster

    包内 SOURCE.json 记录源码来源、镜像标签和文件校验值。正式部署应使用与发布镜像对应的配置包;标记为 working-tree-preview 的包仅用于本地审阅。已有部署扩容前,请阅读包内的 storage-expansion.md。

  2. 核对 30-stateful.yaml、40-stateless.yaml 和 50-daemonsets.yaml 中的镜像与包内 SOURCE.json 记录的配套镜像一致,并在各节点准备该镜像:

    grep -n 'image:' 30-stateful.yaml 40-stateless.yaml 50-daemonsets.yaml
    • 升级时,请获取目标版本对应的配置包,不要只替换旧配置文件中的镜像标签。
    • 如使用内部镜像仓库,可调整仓库地址,但应保持镜像内容和版本不变。
  3. 根据 PVC 存储规划检查 30-stateful.yaml 中的 PVC 容量。如需使用对象存储,还需检查 Loki 和 Tempo 的桶名。

  4. 复制 Secret 示例:

    cp 10-secret.yaml.example 10-secret.yaml

    配置包默认使用 hap-ops。如需修改,请统一调整各 YAML 文件中的命名空间、ServiceAccount 绑定、Service 地址及 ENV_K8S_KSM_NAMESPACE,包括刚生成的 10-secret.yaml。后续命令中的 -n hap-ops 也需改为实际命名空间。

    确认配置后,创建命名空间:

    kubectl apply -f 00-namespace.yaml
  5. 编辑 10-secret.yaml,必须修改以下环境变量的示例值:

    vim 10-secret.yaml
    环境变量说明
    ENV_OPS_TOKEN运维平台登录令牌,请使用高强度口令
    ENV_ALERT_CRYPTO_KEY凭据加密密钥,请单独生成并妥善保存。如后期修改密钥,已保存的加密凭据将无法解密

    可执行两次以下命令,分别为登录令牌和凭据加密密钥生成随机值,并填入对应环境变量:

    openssl rand -hex 16

    如使用对象存储,还需填写 ENV_S3_ENDPOINT、ENV_S3_ACCESS_KEY、ENV_S3_SECRET_KEY 和 ENV_S3_FORCE_PATH_STYLE。

  6. 检查 11-configmap.yaml 中的其他环境变量,具体说明见环境变量。默认访问子路径为 /mdis;如需修改,同步调整 40-stateless.yaml 中网关的就绪检查路径和反向代理配置。

  7. 应用 Secret:

    kubectl apply -f 10-secret.yaml

部署与验证​

在 k8s-cluster 目录中执行:

kubectl apply -f 11-configmap.yaml -f 20-rbac.yaml -f 30-stateful.yaml -f 40-stateless.yaml -f 50-daemonsets.yaml

查看 Pod、Service 和 PVC 状态:

kubectl get pods,svc,pvc -n hap-ops -o wide

确认三个 PVC 均为 Bound,相关 Pod 已就绪。使用延迟绑定的 StorageClass 时,PVC 可能在 Pod 调度前暂时显示 Pending;若持续未绑定,可检查 PVC 事件及存储驱动状态:

kubectl describe pvc <PVC名称> -n hap-ops

验证通过后,按上文访问与验证登录运维平台。PVC 方案通过 ops-gateway-ui Service 暴露 30881 端口,内部 API 由 ops-gateway ClusterIP Service 提供。

附录 A:多节点与专用监控节点​

如需将运维平台主要服务部署到专用节点,需要同时考虑节点选择和污点容忍:

  • 节点选择器指定服务可运行的节点。hostPath 方案已使用 hap-ops=true 标签;PVC 方案可按需为主要服务配置相同的选择器,并确认存储卷能够挂载到目标节点。
  • 污点限制不具有相应容忍的 Pod 调度到该节点。仅添加容忍,不会将服务固定到指定节点。

先为目标节点添加标签:

kubectl label node <节点名称> hap-ops=true

在主要服务的 Deployment 或 StatefulSet 的 spec.template.spec 中设置:

nodeSelector:
hap-ops: "true"

如果还需限制其他 Pod 调度到该节点,可为节点添加污点,并在部署配置中添加对应容忍:

kubectl taint nodes <节点名称> hap-ops=true:NoSchedule

在需要运行于该节点的组件的 spec.template.spec 中添加:

tolerations:
- key: hap-ops
operator: Equal
value: "true"
effect: NoSchedule

上述容忍仅对应 hap-ops=true:NoSchedule;目标节点存在其他污点时,还需分别处理。hostPath 数据仍应由唯一带有该标签的节点保存。

ops-nodeagent 和 alloy-logs 用于采集各节点数据,不应套用仅选择专用监控节点的 nodeSelector。hostPath 配置中的 ops-nodeagent 未预设污点容忍,如需覆盖带污点的节点,应补充相应容忍。

一个 ops-agent 可采集多个中间件实例,实例通过「数据源」页面添加。ops-nodeagent 以 DaemonSet 运行,用于采集集群节点指标;如需监控集群外的服务器,请在目标服务器上部署 Node Exporter。

附录 B:集群部署配置说明​

  • ops-agent 使用 headless Service(clusterIP: None)。该服务为数据源动态分配 exporter 端口,Prometheus 通过 Pod IP 访问这些端口。
  • PVC 方案中的 alloy-logs DaemonSet 通过 Kubernetes API 采集容器日志。hostPath 方案需按容器日志接入说明额外部署该组件。
  • PVC 方案中的有状态组件使用 StatefulSet;hostPath 方案使用 Deployment,并为使用本地数据目录的组件配置 Recreate 策略,避免新旧 Pod 同时使用同一目录。