息壤 NFS 挂载延迟毛刺排查笔记

编号 KBE-2026-10-0042 · 作者 luyian · 时间 2026-10-08 · 系统 息壤 POSIX 网关 v2.4.0 · 标签 存储 / NFS / 排障

本文是 2026-09-28 到 10-06 之间几次训练作业“随机卡死 20–40 秒”问题的第一手记录。结论先行:不是网络丢包,是客户端 rsize=4M 与网关单队列共同造成的队头阻塞;把大文件检查点写入与元数据密集操作分到不同挂载点后,毛刺从每天 4–7 次降到 0–1 次。

1. 现象

维度记录
首次上报2026-09-28 上午,星槎批次 2026q3 训练作业反馈 torch.save 偶发卡顿
频率高峰日 6 次,低峰日 0–1 次;集中在 01:00–05:00 检查点集中写入时段
时长单次 20–40 秒,偶有 90 秒;D 状态进程随后自行恢复
影响面8 个节点(A03 批次),训练吞吐下降约 11%,无任务失败
业务侧观察NFS 请求延迟 p99 从 4ms 跳到 1.2s,但丢包率、带宽均正常

2. 排查过程

2.1 先排除网络

交换机端口无 CRC 错误;ping 与 ib_write_bw 正常;在网关侧抓包看 RTT 稳定。基本排除链路。顺带确认了 NTP 不是问题(chronyc tracking 偏差 0.8ms)。

# 客户端侧采样
mount | grep xiran
xiran-gw-01.internal:/train on /xiran/train type fuse.xiran (rw,rsize=4M,hard,timeo=120)
cat /proc/fs/xiran/mount_params   # 网关 v2.4 特有,能看队列数

# 延迟分布(每 5 秒采样一次,共 10 分钟)
for i in $(seq 1 120); do
  dd if=/xiran/train/ckpt/step-199000.bin of=/dev/null bs=4M count=4 \
     iflag=direct 2>&1 | tail -1
  sleep 5
done

采样结果很关键:小文件(8KiB)读延迟也同步变差,说明不是单纯大 I/O 抢占,而是队列整体被堵住。

2.2 网关日志

网关侧 /var/log/xiran/gw.log 在毛刺时段出现 queue_wait_ms 突增,且固定以 4M 读请求打头。进一步看配置,网关 v2.4.0 的 FUSE 队列默认单队列(gw.worker_threads=1),大读请求占用 worker 时间远大于小请求。

2026-10-01T02:14:07.881+08:00 WARN gw.worker: queue_wait_ms=1182 op=READ size=4194304
2026-10-01T02:14:09.062+08:00 WARN gw.worker: queue_wait_ms=1240 op=READ size=4194304
2026-10-01T02:14:09.070+08:00 INFO gw.worker: qdepth=63 wait_max_ms=1255

2.3 复现

在测试节点上同时跑两个 4M 顺序读和一个 8K 随机读,10 秒内即可复现小读延迟 > 800ms;把 rsize 降到 1M 后现象消失,但顺序读吞吐从 1.9GB/s 掉到 1.2GB/s,不能作为最终方案。

3. 根因

根因:息壤 POSIX 网关 v2.4.0 的 FUSE worker 默认为 1 个,单次 4M 读在网关上串行处理;训练侧检查点写入把大请求队列打满,导致同一挂载点上的元数据与小文件请求排队,表现为“随机卡顿”。

放大因素:同一挂载点混用了检查点写入(大顺序写)与数据加载(大量随机小读);提交给存储组的 2026-06 需求(多队列支持)仍在排期中。

4. 处置

  1. 临时(09-30 生效):训练节点 rsize 由 4M 降为 1M,检查点写入单独走 /xiran/ckpt 挂载(网关同一实例,不同导出路径,仅缓解不根除)。毛刺频率从 4–7 次/天降到 0–1 次/天。
  2. 短期(10-06 生效):网关 A 区实例 gw.worker_threads 由 1 调到 4(该参数未在 v2.4 文档中暴露,需存储组变更单,重启生效约 40 秒)。调整后小读 p99 从 1.2s 降到 90ms。
  3. 长期:v2.5 计划把多队列做成默认,并把该参数写进 采集代理参数手册 之外的存储手册(目前写法见工单 STO-2026-0331 草稿)。

5. 待办与遗留

相关:星槎部署手册 §5 存储挂载 · 返回 KB 首页