归藏 Wiki › 值班手册 · 页面版本 47 · 最后编辑 2026-10-19 gu.changchuan

值班手册

适用范围:平台组 / 北冥组 / 存储组 联合值班(覆盖 8:00–24:00,夜间电话升级)· 维护:gu.changchuan
草稿 v0.9:存储章节未完成,阈值可能与正式告警配置不一致。正式处置以 重明指标目录 与告警规则库为准。补完后再标 v1.0。

1. 交接

  1. 交班前 30 分钟在值班群发交接摘要:未闭环事件、进行中的变更、需要关注的指标。
  2. 交接内容写进共享文档 /xiran/share/oncall/handover-<date>.md,不要只发聊天记录。
  3. 值班手机与工单系统必须双确认;上一个班次遗留的 P2 事件由接班人次要负责人跟进。

2026-10 起新增规定:任何在值班期间做的手工变更(重启、调参、摘流)都要在 24 小时内补变更单,否则视为事故。

2. 告警分级与第一动作

级别典型告警第一动作
P1控制面全挂、对象存储不可用拉起事件群 → 通知 lead → 按恢复手册操作(先恢复,后定位)
P2单批次训练中断、采集任务大面积失败、文档站不可用15 分钟内确认影响面;有损操作需两人确认
P3指标异常、单节点故障、容量预警工作时间处理,登记工单跟踪

反面案例:2026-05 把 agent_target_up 配成 P1,维护窗口每 10 分钟打一次电话,后来降级为看板展示(工单 OPS-2026-0741)。

3. OOM 扩散处置(2026-09 新增)

背景:9 月 11 日 A 区发生一次 OOM 扩散事件,47 分钟恢复,复盘见 知识库。值班遇到“多节点同时 OOM 或检查点堆积”时按以下顺序处理:

  1. 切断放大链:xingcha-cli checkpoint pause 暂停检查点写入;必要时 cordon 受影响批次,避免新作业进入。
  2. 确认影响面:看 xingcha_scheduler_pending_tasks、节点 dmesg、息壤网关 queue_wait_ms 三处信号。
  3. 逐台恢复:重启 xingcha-node,清空残留 cgroup;不要同时重启超过 3 台。
  4. 恢复后检查:对中断作业做数据一致性抽查,再逐步解除 cordon。
  5. 升级:影响 > 10 台或 > 30 分钟未恢复,按 P2 升级到平台组。
# 常用命令(只读优先,变更前确认节点状态)
xingcha-cli node list --batch 2026q3-a
xingcha-cli checkpoint pause
xingcha-cli node cordon --node gz-train-a03-17
journalctl -u xingcha-node -n 100 --no-pager
# 息壤网关侧(需存储组权限)
ssh -l storage xiran-gw-01.internal 'tail -n 50 /var/log/xiran/gw.log'

TODO(gu.changchuan):补“内存超卖策略已取消”的说明,2026-10-12。

4. 存储 / NFS 毛刺(未完成)

待补:挂载参数基线、网关重启流程、队列积压判断阈值。参考 NFS 延迟排查笔记。本节暂由存储组 luyian 负责补齐。

5. 账号与权限

6. 班末检查清单

页面历史:v0.7(2026-06)建立骨架 → v0.8(2026-08)补告警分级 → v0.9(2026-10)补 OOM 段。← 返回 wiki 首页