数据源管理
在「数据源」页面登记被监控的主机、中间件等目标。资源监控菜单与告警规则的可选类型根据已启用的数据源动态显示。Kubernetes 集群的采集方式见 Kubernetes 集群监控。

支持的类型
| 类型 | 多实例 | 连接方式 |
|---|---|---|
| Prometheus | 内置单例 | 运维平台自带指标库,只读,不可停用或删除 |
| 主机 | 支持 | 主机地址(端口连通性等监控) |
| MySQL | 支持 | 节点地址(可多个,每个节点单独采集)/用户名/密码 |
| MongoDB | 支持 | 连接 URI,支持副本集 |
| Redis | 支持 | 节点地址(可多个,哨兵/集群把各节点都填上)/密码/DB |
| Kafka | 支持 | Broker 地址,支持 SASL |
| Elasticsearch | 支持 | 节点地址(可多个)+ HTTP Basic 认证 |
| 自定义页面 | 支持 | 任意 Web UI 地址(如 Flink、Langfuse),登记后出现在左侧「自定义」菜单,见下方 自定义页面 |
MySQL、Redis 和 Elasticsearch 的多个节点可填在同一条数据源中,每行填写一个 host:port,或使用逗号分隔。每个节点使用独立的采集进程,一个节点不可用不会影响其他节点。Redis 主从切换后无需修改配置。
用途
每个数据源可勾选一个或多个用途,用于决定其参与的功能范围:
| 用途 | 效果 |
|---|---|
| 看图 | 在「资源监控」对应菜单展示该实例仪表盘 |
| 告警 | 可在「告警规则」中针对该实例建规则 |
| 慢查询诊断 | 仅 MongoDB:开启慢查询分析与索引诊断。检测到目标库未开启 profiling 时,运维平台会执行 db.runCommand({profile:1, slowms:100}),阈值由 ENV_GATEWAY_PROFILE_SLOW_MS 控制。索引不会自动创建,需在诊断页主动点击「一键创建」。诊断历史存储在运维平台自有的 ops-mongo 中 |
被监控目标的账号权限
登记前,为各被监控目标准备具备相应权限的账号。运维平台默认以只读观测为主:
| 目标 | 所需权限 |
|---|---|
| MySQL | SELECT、SHOW DATABASES、PROCESS、REPLICATION CLIENT |
| MongoDB | 建议 root;最小权限见下方授权示例 |
| Redis | 读取数据权限 |
| Kafka | 若启用认证,需读取集群元数据权限 |
| Elasticsearch | 读写索引权限 |
| 自定义页面 | 反代方式:目标地址允许运维平台服务器访问;直接嵌入方式:目标地址允许浏览器访问,且未设置 X-Frame-Options/frame-ancestors 限制 |
MongoDB 最小权限(readWrite/dbAdmin 用于慢查询诊断的索引创建):
use admin
db.createUser({
user: "opsuser", pwd: "your_secure_password",
roles: [
{ role: "clusterMonitor", db: "admin" },
{ role: "readAnyDatabase", db: "admin" },
{ role: "clusterManager", db: "admin" },
{ role: "dbAdmin", db: "mdwsrows" }, { role: "readWrite", db: "mdwsrows" },
{ role: "dbAdmin", db: "mdservicedata" }, { role: "readWrite", db: "mdservicedata" },
{ role: "dbAdmin", db: "mdworksheet" }, { role: "readWrite", db: "mdworksheet" },
{ role: "dbAdmin", db: "mdworkflow" }, { role: "readWrite", db: "mdworkflow" }
]
})
Elasticsearch 的账号填写方式
如果连接成功但未采集到指标,请检查用户名。点击「测试连接」时,运维平台会同时检查连接和采集状态。
| 项 | 填写内容 |
|---|---|
| URL | http://ES地址:9200,需包含协议 |
| 用户名 | 私有部署内置 Elasticsearch 的用户名为 md |
| 密码 | HAP/HDP 部署时设置的 ES 密码 |
可通过「采集状态」列或「测试连接」检查是否已采集数据。状态显示「无数据」时,将鼠标悬停在状态上查看原因。
数据源操作
- 新建:点击「新建数据源」,选择类型并填写连接信息。
- 测试连接:验证目标的连接和认证,并检查采集状态。连接成功后仍需确认指标是否已采集,检查结果会显示相应状态和原因。
- 检测连通性:点击页面右上角的按钮,批量检查列表中的数据源,结果显示在「状态」列。
- 启用或停用:通过列表开关切换。停用后,对应的资源监控菜单和告警类型自动隐藏,已有告警规则停止调度。
- 编辑:已保存的密码以掩码显示,密码留空表示不修改。
连接测试使用实际凭据进行验证,包括 MongoDB ping、MySQL 登录、Kafka 元数据获取、Redis AUTH 和 Elasticsearch 认证请求。
密码与连接 URI 落库前用 ENV_ALERT_CRYPTO_KEY 做 AES 加密,接口统一返回掩码。首次部署务必设好该密钥并妥善保管——更换密钥会导致已存凭据无法解密,需要重新录入。
配置生效方式
在数据源页面新增、修改或启停被监控目标。修改后配置即时生效,无需重启容器。
1.5.0 起
ops.yaml不再参与数据源配置——它只描述运维平台自身依赖,不描述监控目标。
批量接入时,点击右上角的「批量导入」,下载 YAML 模板,修改连接地址后上传。建议先选择「仅校验」,检查文件格式并逐条探测连接,该操作不会写入数据。
导入时按「类型 + 名称」识别数据源,同一文件可重复导入。更新已有数据源时,密码留空表示沿用原密码。
导出配置(备份/换环境)
点击右上角的「导出配置」,可将所有数据源导出为 YAML。导出格式与批量导入一致,可用于备份、重装恢复或跨环境迁移。
| 选项 | 密码 | 用途 |
|---|---|---|
| 导出配置(不含密码) | 留空 | 日常备份、导回同一套运维平台。留空不是清空密码——导入时按「类型 + 名称」自动沿用运维平台里已存的密码 |
| 导出配置(含明文密码) | 明文 | 迁移到其它运维平台或原运维平台数据库不可用时。文件里是明文,请妥善保管,禁止提交到代码仓库 |
不含密码的导出文件也会移除 MongoDB URI 中的账号和密码(mongodb://user:pass@host → mongodb://host)。跨环境恢复时需补充凭据,具体说明也可参见文件头部的注释。
采集状态
列表中每条数据源均包含「采集状态」,用于判断数据源是否正在采集。多数采集异常可先通过该状态定位:
| 状态 | 含义 | 常见处理 |
|---|---|---|
| 采集中 | 正常,指标正在写入 | — |
| 无数据 | 采集进程运行中,但未获取到指标 | 多为账号/密码/权限问题。悬停查看原因原文 |
| 已停止 | 采集进程未运行 | 悬停查看退出原因(地址不通、端口错、认证失败等),进程会自动重试 |
| 未采集 | 未为该数据源启动采集 | 检查用途是否勾了「看图」、是否处于启用状态 |
| 未知 | 状态暂时取不到 | 确认 ops-agent(中间件)或 ops-prometheus(主机)容器已启动 |
将鼠标悬停在红色状态上,可查看失败原因(例如 401 unable to authenticate user、
connection refused)和排查命令。面板无数据时,可先查看采集状态。
node_exporter 部署在被监控主机上,由运维平台的 Prometheus 直接抓取,不经过 ops-agent。主机的采集状态根据 Prometheus 的抓取结果确定:
- 主机登记后可能短暂显示「未采集」,抓取目标约 30 秒后下发生效,状态转为「采集中」;
- 地址对应的服务不是 node_exporter,或端口不通时显示「无数据」;
- 无法查询运维平台的 Prometheus 时显示「未知」,表示暂时无法判断采集状态。
悬停显示的排查命令用于探测主机地址(curl http://主机:端口/metrics),不是进入 agent 容器排查。
自定义页面(外链 Web UI)
自定义页面可将 Flink Web UI、Langfuse、内部看板等页面加入左侧「自定义」菜单,不采集指标。在「新建数据源」中选择「自定义页面」,可添加多个页面。
| 字段 | 说明 |
|---|---|
| 名称 | 显示在左侧「自定义」菜单;访问路径 /custom/<id> 由名称自动生成,创建后保持不变 |
| 页面地址 | 目标 Web UI 的 http(s) 地址 |
| 嵌入方式 | 反代:通过运维平台转发并鉴权,要求运维平台服务器能够访问目标地址,适合使用相对路径的服务(如 Flink)。直接嵌入:浏览器直接加载目标地址,要求浏览器能够访问目标,且目标未限制 iframe 嵌入;使用绝对路径的应用(如 Langfuse)需采用此方式 |
页面显示空白时,检查浏览器控制台:反代模式下资源返回 404,可尝试直接嵌入;直接嵌入时出现 X-Frame-Options 或 frame-ancestors 限制,可调整目标侧限制或尝试反代。
保存时会探测地址可达性。目标登录页返回 401 或 403 时也视为可达;探测失败时仍可保存,网络连通后可从菜单打开。
从 1.5.11 及以前版本升级后,原「Flink」单例入口会自动迁移为一条自定义页面(嵌入方式为反代),左侧菜单与访问地址保持不变,无需手动处理。
自定义页面同样包含在「导出配置」和「批量导入」里,YAML 写法:
- kind: customPage
name: Langfuse
url: http://langfuse:3000
mode: iframe # proxy 反代 / iframe 直接嵌入
enabled: true
登记完成后
数据源登记完成且采集状态正常后: