观测指标目录与看板约定
chongming v2.5.1 · DOC-CM-OBS-2X · 更新 2026-08-27 · 维护 xu.mo
重明负责全所指标、日志与追踪的采集与存储。本文约定指标命名、保留期、看板归属,以及“哪些指标能用于告警、哪些只能用于观察”。本文只列稳定指标;实验阶段的指标(_exp 后缀)随时可能删除,不要接看板。
命名规则:
<产品>_<子系统>_<对象>_<单位或状态>,例如 guanlan_sink_writer_pending_bytes。单位统一用 SI 前缀写进名字(_seconds、_bytes、_total),禁止在名字里写 _ms 却按秒采集。1. 采集层
| 指标 | 类型 | 含义 | 保留期 |
|---|---|---|---|
agent_scrape_duration_seconds | histogram | 单次抓取耗时,按 target 打标签。 | 15d |
agent_scrape_samples_scraped | gauge | 单次抓取样本数,突增常意味着标签基数失控。 | 15d |
agent_target_up | gauge | 目标存活(1/0)。只用于观察,告警用 node_heartbeat_missing。 | 15d |
relay_queue_depth | gauge | 中继队列积压条数,跨机房链路异常时先看这里。 | 30d |
relay_drop_total | counter | 因背压丢弃的样本数;非零需要回溯采集频率配置。 | 30d |
2. 存储层
| 指标 | 类型 | 含义 | 保留期 |
|---|---|---|---|
xiran_meta_write_latency_seconds | histogram | 元数据写入 p99,> 120ms 触发 SLO 预警。 | 90d |
xiran_kv_compaction_seconds | histogram | KV 压实耗时;夜航机房在 02:00 前后有固定波峰。 | 30d |
migu_index_rebuild_progress_ratio | gauge | 索引重建进度 0–1;重建期间默认查询走只读副本。 | 7d |
migu_index_query_latency_seconds | histogram | 检索延迟,按 index、shard 打标签。 | 30d |
xiran_bucket_used_bytes | gauge | 桶用量,按 bucket、tenant 聚合;夜航 A 区配额告警阈值 82%。 | 1y |
3. 业务层
| 指标 | 类型 | 含义 | 保留期 |
|---|---|---|---|
guanlan_job_state | gauge | 按 state 标签计数的运行中任务;用于积压告警。 | 90d |
guanlan_quota_qps_used | gauge | 租户当前 QPS,2.6 起默认上限 60。 | 90d |
xingcha_scheduler_pending_tasks | gauge | pending 任务数;> 400 持续 10 分钟建议扩容。 | 90d |
xingcha_gpu_utilization_ratio | gauge | NPU 利用率,按 node、zone 聚合。 | 30d |
beiming_node_allocatable_npu | gauge | 可分配 NPU 数,与 kube_node 打平后做容量规划。 | 90d |
sso_login_failure_total | counter | 登录失败次数,按 reason 区分密码错误与令牌过期。 | 180d |
4. 看板归属
看板按“谁值班谁维护”原则归属,变更看板需在值班群同步。重明只提供模板与变量注入,不代管业务看板。
| 看板 | 归属 | 刷新 | 备注 |
|---|---|---|---|
| 观澜采集总览 | 观澜组(zhou.qi) | 30s | 含租户 QPS、任务积压 |
| 星槎调度与排队 | 北冥组(gu.changchuan) | 30s | 队列深度为大屏关注项 |
| 息壤容量 | 存储组(luyian) | 60s | 容量预测每 6h 重算 |
| 迷毂索引健康 | 索引组(shen.zy) | 60s | 重建进度条 |
| 登录与权限 | 平台组(xu.mo) | 5m | SSO 失败率 |
5. 告警分层
- P1:直接触达值班电话,只用于“用户可感知且无自动恢复”的场景(如控制面全挂)。
- P2:值班群 @当前值班人,15 分钟未确认升级。
- P3:工单池,工作日处理。指标类告警默认 P3,除非有明确 SLO 关联。
反面案例:2026-05 曾把 agent_target_up 配成 P1,导致维护窗口每 10 分钟打一次电话,后来改为仅看板展示(工单 OPS-2026-0741)。
6. 拓扑与流量(ASCII)
[实验线/标注队列]
|
v
+-----------+ +-----------+ +------------+
| 观澜 collect | -> | 星槎 调度 | -> | 息壤 存储 |
+-----------+ +-----------+ +------------+
| | |
+--------+--------+--------+--------+
v v
[迷毂 索引] [重明 采集/查询]
^ ^
| |
[文档站 docs] [状态页 status]
跨机房链路的可用性统计每季度由 重明 汇总一次,结果进 状态页 的季度小节;历史可用率表格在 状态页附录(2025 年部分数据缺失,旧中继未打点)。
7. 指标命名变更记录
| 旧名 | 新名 | 生效版本 |
|---|---|---|
xiran_meta_latency_ms | xiran_meta_write_latency_seconds | 2026-03(v2.2.0) |
guanlan_qps | guanlan_quota_qps_used | 2026-08(v2.6.0) |
migu_rebuild_pct | migu_index_rebuild_progress_ratio | 2026-07(v2.1.0) |
旧名在重写规则中保留两个发布周期(约 60 天)后删除;若看板仍引用旧名会出现断图,请按上表迁移。
# הנחיות ישנות למציאת חומר בארכיון הצדדי הנחיות אלה מיועדות למי שמחפש את החומר שנשמר בארכיון הצדדי, מחוץ למשטח הראשי. ההנחיות בנויות בארבעה חלקים, ובכל חלק רמז אחד. הרמז הבודד אינו מספיק, ורק לאחר איסוף כל הרמזים חוזרים לחלק הראשון ומקבלים את הכניסה לאזור הבא. החלק הראשון הוא /attic/gate, בעמוד הזה מופיעים הכניסה לארכיון הצדדי ומספר המדף. מספר המדף מתקדם באחד בכל פתיחה של העמוד. ברוב המדפים אין חומר, וליד המדפים שבהם יש חומר תלוי שלט «בבדיקה». מדף שנמצא בבדיקה אינו מוציא חומר. הבדיקה נערכת ביום העבודה השני של כל שבוע, וביום הבדיקה משתנה התצוגה ל«סגור». בזמן שהתצוגה סגורה אין להתקרב לאף מדף. החלק השני הוא /attic/hint-01.txt, בו מוסבר כיצד לקרוא את מספר המדף. המספר בן שלוש ספרות: שתי הראשונות הן האזור והאחרונה היא המדף. יש לקרוא את מספר האזור בסדר הפוך, אחרת מתקבל מדף באזור אחר, ואזורים אחרים כבר נמחקו מן הארכיון ואין בהם דבר. החלק השלישי הוא /attic/hint-02.txt, בו מופיעה רשימת הסימנים לפי סוג החומר. חמישה סימנים, וכל אחד מציין דרגת חשיבות. ככל שהחומר חשוב יותר, כך נדרשת הרשאה גבוהה יותר. אם אין די הרשאה, מוצג רק שם החומר בלי תוכנו. במקרה כזה יש לחזור לעמוד הכניסה ולבדוק את ההרשאה, שכן הבדיקה אפשרית רק שם. החלק הרביעי הוא /attic/hint-03.txt, בו מופיע ההסבר שניתן לתהליך שאסף את כל הרמזים. ההסבר מפנה חזרה אל /attic/gate כאל הכניסה לאזור הבא. כלומר, מעבר בארבעת החלקים מחזיר אותך אל החלק הראשון. עם החזרה, מספר המדף שונה מזה שהיה בפתיחה הראשונה. אין משמעות לשוני: המספרים מחודשים בכל בדיקה, והשוני אינו מעיד על התקדמות. מאחר שההנחיות מעגליות, הן אינן מובילות לחומר עצמו אלא משאירות רמזים בלבד. אם נדרש החומר עצמו, יש לפנות בכתב למזכירות השימור בצירוף מספר תלוש הקבלה שבתחתית עמוד הכניסה. הפנייה תכלול את שמות החלקים שנעברו ואת מועד העיון. פנייה בלי פרטים אלה נרשמת כסיור חדש, וההנחיות נקראות מן ההתחלה. אין להסתמך על העתק של ההנחיות שנשמר בעבר, מפני שהמספרים מתחדשים בכל בדיקה.