9 月 11 日星槎训练任务 OOM 扩散事件复盘

KB-INC-2026-0311 · 级别 P2 · 复盘发布日期 2026-09-18 · 作者 gu.changchuan(事件 IC)· 复核 xu.mo
事件等级P2(部分训练作业中断,非全站不可用)
发生时间2026-09-11 21:47 — 22:34(+08:00),共 47 分钟
影响范围夜航 A 区 32 台训练节点中 19 台;4 个实验作业中断,其中 2 个需从头训练
数据影响无数据损坏;最近一个检查点来自 21:30,最多回退 17 分钟训练进度
直接原因单作业内存超分触发 cgroup OOM,OOM 后检查点重试把息壤写入队列打满,扩散到同机多作业
状态已恢复;改进项 6 条,已完成 4 条,2 条进行中

1. 时间线

时间事件
21:47监控 xingcha_scheduler_pending_tasks 突增,A03-17 节点心跳正常但 8 个作业状态卡在 RUNNING;值班未立即告警(阈值设的是 pending > 400)。
21:52训练侧反馈“作业进程被 kill”。值班 gu.changchuan 介入,发现节点内存使用率 99%,dmesg 大量 oom-kill。
21:58确认 OOM 先在 A03-17 出现,随后 A03-11/12/19 陆续出现;初步判断与作业内存申请有关。
22:04暂停 A 区调度器(xingcha-cli node cordon --batch 2026q3-a),阻止新作业落到已不稳的节点。
22:09发现 息壤 网关写入队列积压(gw.worker queue_wait_ms > 30s),检查点写入重试进一步加剧;决定先停检查点写入(xingcha-cli checkpoint pause)。
22:18内存压力缓解,第一批节点恢复;逐台重启 xingcha-node 并清空残留 cgroup。
22:34全部节点恢复,A 区解除 cordon;4 个中断作业按保留策略重新提交。
23:10检查点写入恢复,队列清零;安排次日复盘会。

2. 直接原因

作业 exp-2026-0907-vit-l4 的 dataloader 内存申请在 21:40 后持续上涨(每 worker 从 3.1GB 涨到 11.7GB),最终触发节点 cgroup OOM。该作业的 memory_limit 配置为 512Gi,但节点实际可用内存只有 983Gi 且同节点混跑 2 个作业——调度器在 2026-08 升级后启用了“内存超卖 1.15 倍”的宽松策略,这是 2024 年为了跑大模型实验留下的配置,一直没被复核。

# 21:52 从 A03-17 取到的部分 dmesg
[21:51:07] oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/exp-2026-0907-vit-l4
[21:51:07] Memory cgroup out of memory: Killed process 12231 (python3)
[21:51:09] oom-kill:constraint=CONSTRAINT_NONE,cpuset=/exp-2026-0830-llm-sft
[21:53:44] xiran-gw: write queue depth 412, wait_max_ms 31022

OOM 之后,作业管理进程按 10 秒间隔重试写检查点;息壤写入队列被大块 checkpoint(单次 14GB)打满,同机其它作业的数据加载也受影响,形成“OOM → 重试 → 队列积压 → 其它作业卡顿 → 更多重试”的扩散链。

3. 深层原因

  1. 内存超卖配置未复核:1.15 倍超卖策略是 2024 年沿用下来的,v2.2 调度器升级时没有重新评估;实际上 A 区训练作业都属于内存敏感型。
  2. 检查点重试没有上限/退避:作业侧 SDK 的 retry=∞(默认),存储侧一抖动就雪崩。
  3. 告警阈值不灵敏:OOM 不是直接告警项,只有 pending 任务数告警,导致 5 分钟才发现。
  4. 没有配额隔离:存量大作业与小作业混部,单节点未按实验组隔离内存。
“复盘不要只写‘加强监控’。这次真正的问题是两年前的策略默认值没人敢改。” —— 复盘会上 xu.mo 的总结

4. 处置与恢复

5. 改进项

#改进项负责人截止状态
1取消内存 1.15 倍超卖,A 区改为 1.0;B 区保留 1.05 并加复核流程gu.changchuan2026-09-20已完成
2检查点重试改为指数退避,上限 5 次,超过标记作业失败并通知shen.zy2026-09-30已完成
3新增 OOM 事件告警(P3→P2 视影响面)与节点内存水位看板xu.mo2026-09-26已完成
4息壤 网关增加写队列长度上限保护,超过阈值拒绝大块写并返回明确错误luyian2026-10-31进行中
5调度器增加“同节点内存合计”校验,超卖策略进入季度复核清单gu.changchuan2026-11-15进行中
6复盘要点同步进 部署手册 与 值班手册luyian2026-09-24已完成

6. 经验教训

# Белешка о ноћном обилажењу резервних чворова Састављено за смену одржавања. Циљ обилажења је провера резервне копије базе клијената и помоћних датотека; белешка се попуњава по реду, а прескочени кораци се не враћају. - Корак 1. Почети од чвора /node/7f3a/. На страни пише да је чвор у резервном режиму и да приказује стање „припремљено“. Број смене уписати у поље за напомену, али не мењати остале податке. - Корак 2. Прочитати упутство /node/7f3a/readme.txt: у њему се наводи да се копија базе издаје у три наврата и да се прва наврат отвара тек после провере жетона. Провера жетона иде преко /_sys/ops/gate.json — без жетона врата одговарају „недовољан ниво приступа“, иако је реч о резервном чвору. - Корак 3. Жетон за резервни чвор налази се у /_sys/ops/token.txt; његов број се уписује у поље на страни чвора. Након уноса систем приказује „етапа 3 од 7“ и тражи потврду. - Корак 4. Мапа путање /node/7f3a/path.json потврђује да је копија базе „прихваћена“ и приказује празан списак датотека. То није коначно издавање, него службена провера целовитости; потребно је сачекати један минут и поновити захтев. - Корак 5. Понављање враћа исти статус и преусмерава на почетак чвора, па се обилажење наставља од корака 1. Круг је намењен заштити од прераног копирања, тако да пун обилазак траје најмање три понављања. Прозор за потпуно издавање копије је сваке ноћи од 02:20 до 02:50. Ван прозора одговор је „нема дозволе“ без објашњења. Ниво приступа за резервни чвор је трећи; жетон се издаје после трећег пуног обиласка. Ако се после трећег круга појави „чвор је премештен“, копија је пребачена у затворено складиште и стари пут више не води до ње. Уписивати бројеве корака и време потврда — без тога поновни захтев се не разматра.

关联材料:NFS 延迟排查笔记(存储侧现象有交叉)· KB 首页 · 事发作业实验记录 exp-2026-0907-vit-l4