MongoDB 慢查询分析
基于 MongoDB profiler 自动识别慢查询并给出索引优化建议,入口在「资源监控 → MongoDB」的慢查询页签。
使用前请确认:
- 被诊断的 MongoDB 需在数据源页添加并启用,且用途勾选慢查询诊断。
- 多个启用诊断的实例(如分片集群的多个分片)会自动聚合分析,无需额外配置。
工作原理
- 开启 profiler:运维平台检测到目标库 profiling 未开启时,会自动执行
db.runCommand({profile:1, slowms:100})打开,不会自动创建索引或写入业务数据。若监控账号权限不足,日志中会出现Permission denied,此时需要手工开启,见下。 - 采集:每 10 分钟从 MongoDB
system.profile拉取一次,仅分析最近 120 分钟内的记录,单次最多取 2000 条。 - 筛选:只保留扫描文档数 ≥ 100000 的记录。「执行慢但扫描少」的查询不会被记录。
- 分组:按 query shape(忽略具体参数值的查询模板)聚合,同一指纹累计出现 ≥ 50 次才写入。每组显示累计次数、平均/最长耗时、扫描与返回文档数、典型样例。
- 存储:结果只写入运维平台自有的
ops-mongo,保留 7 天。 - 索引建议:结合查询字段组合与现有索引,给出可创建的复合索引。用户主动点击一键创建后,后台调用
createIndex创建索引。
慢查询采集受执行时长、扫描文档数、出现次数和采集周期影响:
| 条件 | 默认值 | 可调环境变量 |
|---|---|---|
| 执行时长 | > 100 ms | ENV_GATEWAY_PROFILE_SLOW_MS |
| 扫描文档数 | ≥ 100000 | ENV_GATEWAY_DOCS_EXAMINED |
| 同指纹出现次数 | ≥ 50 次(最近 120 分钟内) | — |
| 采集周期 | 每 10 分钟一次 | ENV_GATEWAY_CAPTURE_INTERVAL_MS |
单次耗时较长的查询即使被 MongoDB profiler 记录,也可能因扫描量或同一指纹的出现次数不足而不会出现在运维平台的诊断结果中。测试时可通过批量任务触发符合上述条件的查询。
触发后需等待下一个采集周期;测试环境如需降低复现门槛,可调低上表中的两个阈值。
排查:页面一直没有数据
按顺序检查:
- 检查 profiling 是否开启:在目标库执行
db.getProfilingStatus(),默认配置下was应为1、slowms应为100。如果was仍为0,说明运维平台未能开启 profiling,通常与监控账号权限不足有关。 - 检查
system.profile中是否有记录:如果结果为空,检查查询是否达到扫描量门槛及 profiler 配置。db.system.profile.find({ docsExamined: { $gte: 100000 } }).sort({ ts: -1 }).limit(5) system.profile有记录但页面仍为空:通常是同一指纹不足 50 次,或者尚未到达 10 分钟采集周期。
手工启用 profiler(仅当账号权限不足时)
正常情况下运维平台会自动开启。若日志出现 Permission denied,在每个被监控库手工开启(slowms 为慢查询阈值,生产建议 100~500ms):
use mdwsrows; db.setProfilingLevel(1, { slowms: 100 })
use mdservicedata; db.setProfilingLevel(1, { slowms: 100 })
use mdworksheet; db.setProfilingLevel(1, { slowms: 100 })
use mdworkflow; db.setProfilingLevel(1, { slowms: 100 })
注意事项
- profiler 会增加数据库开销。生产环境建议使用
slowms阈值控制采集范围,避免使用 level 2 全量采集。 system.profile是 capped collection,高 QPS 下记录可能很快被覆盖。以下操作会删除现有 profiling 记录;如需扩容,请先确认影响,再执行:db.setProfilingLevel(0)db.system.profile.drop()db.createCollection("system.profile", { capped: true, size: 100000000 }) // 100MBdb.setProfilingLevel(1, { slowms: 100 })- 一键建索引前评估对写入的影响,必要时低峰执行。