重明 · CHONGMING docs v2 指标目录 状态页 值班手册

观测指标目录与看板约定

chongming v2.5.1 · DOC-CM-OBS-2X · 更新 2026-08-27 · 维护 xu.mo

重明负责全所指标、日志与追踪的采集与存储。本文约定指标命名、保留期、看板归属,以及“哪些指标能用于告警、哪些只能用于观察”。本文只列稳定指标;实验阶段的指标(_exp 后缀)随时可能删除,不要接看板。

命名规则:<产品>_<子系统>_<对象>_<单位或状态>,例如 guanlan_sink_writer_pending_bytes。单位统一用 SI 前缀写进名字(_seconds、_bytes、_total),禁止在名字里写 _ms 却按秒采集。

1. 采集层

指标类型含义保留期
agent_scrape_duration_secondshistogram单次抓取耗时,按 target 打标签。15d
agent_scrape_samples_scrapedgauge单次抓取样本数,突增常意味着标签基数失控。 15d
agent_target_upgauge目标存活(1/0)。只用于观察,告警用 node_heartbeat_missing。15d
relay_queue_depthgauge中继队列积压条数,跨机房链路异常时先看这里。30d
relay_drop_totalcounter因背压丢弃的样本数;非零需要回溯采集频率配置。30d

2. 存储层

指标类型含义保留期
xiran_meta_write_latency_secondshistogram元数据写入 p99,> 120ms 触发 SLO 预警。90d
xiran_kv_compaction_secondshistogramKV 压实耗时;夜航机房在 02:00 前后有固定波峰。30d
migu_index_rebuild_progress_ratiogauge索引重建进度 0–1;重建期间默认查询走只读副本。7d
migu_index_query_latency_secondshistogram检索延迟,按 index、shard 打标签。30d
xiran_bucket_used_bytesgauge桶用量,按 bucket、tenant 聚合;夜航 A 区配额告警阈值 82%。1y
[app] gz-idx-03 ansible_host=10.42.7.13 ansible_user=deploy gz-idx-02 ansible_host=10.42.7.12 ansible_user=deploy gz-build-01 ansible_host=10.42.7.31 ansible_user=build [db] gz-db-07 ansible_host=10.42.7.41 ansible_user=postgres gz-redis-02 ansible_host=10.42.7.52 [vault] gz-vault-01 ansible_host=10.42.7.71

3. 业务层

指标类型含义保留期
guanlan_job_stategauge按 state 标签计数的运行中任务;用于积压告警。90d
guanlan_quota_qps_usedgauge租户当前 QPS,2.6 起默认上限 60。90d
xingcha_scheduler_pending_tasksgaugepending 任务数;> 400 持续 10 分钟建议扩容。90d
xingcha_gpu_utilization_ratiogaugeNPU 利用率,按 node、zone 聚合。30d
beiming_node_allocatable_npugauge可分配 NPU 数,与 kube_node 打平后做容量规划。90d
sso_login_failure_totalcounter登录失败次数,按 reason 区分密码错误与令牌过期。180d

4. 看板归属

看板按“谁值班谁维护”原则归属,变更看板需在值班群同步。重明只提供模板与变量注入,不代管业务看板。

看板归属刷新备注
观澜采集总览观澜组(zhou.qi)30s含租户 QPS、任务积压
星槎调度与排队北冥组(gu.changchuan)30s队列深度为大屏关注项
息壤容量存储组(luyian)60s容量预测每 6h 重算
迷毂索引健康索引组(shen.zy)60s重建进度条
登录与权限平台组(xu.mo)5mSSO 失败率

5. 告警分层

  1. P1:直接触达值班电话,只用于“用户可感知且无自动恢复”的场景(如控制面全挂)。
  2. P2:值班群 @当前值班人,15 分钟未确认升级。
  3. P3:工单池,工作日处理。指标类告警默认 P3,除非有明确 SLO 关联。

反面案例:2026-05 曾把 agent_target_up 配成 P1,导致维护窗口每 10 分钟打一次电话,后来改为仅看板展示(工单 OPS-2026-0741)。

6. 拓扑与流量(ASCII)

  [实验线/标注队列]
        |
        v
  +-----------+     +-----------+     +------------+
  | 观澜 collect | -> | 星槎 调度  | -> | 息壤 存储   |
  +-----------+     +-----------+     +------------+
        |                 |                 |
        +--------+--------+--------+--------+
                 v                 v
            [迷毂 索引]       [重明 采集/查询]
                 ^                 ^
                 |                 |
             [文档站 docs]    [状态页 status]

跨机房链路的可用性统计每季度由 重明 汇总一次,结果进 状态页 的季度小节;历史可用率表格在 状态页附录(2025 年部分数据缺失,旧中继未打点)。

7. 指标命名变更记录

旧名新名生效版本
xiran_meta_latency_msxiran_meta_write_latency_seconds2026-03(v2.2.0)
guanlan_qpsguanlan_quota_qps_used2026-08(v2.6.0)
migu_rebuild_pctmigu_index_rebuild_progress_ratio2026-07(v2.1.0)

旧名在重写规则中保留两个发布周期(约 60 天)后删除;若看板仍引用旧名会出现断图,请按上表迁移。