星槎训练平台一周年:我们踩过的 6 个坑
作者 xu.mo、gu.changchuan · 分类:训练平台 / 复盘 · 约 12 分钟 · 首发于内部技术周会 2023-04-14
2022 年 4 月到 2023 年 4 月,星槎从“三台机器 + 一个排队脚本”变成了 64 卡的训练平台,接了 41 个项目,跑了约 1.2 万次训练任务,期间出过两次 P1 级事故。一周年的时候组里让大家各自写点总结,于是有了这篇。
01把调度器当“大号 cron”
平台第一版的调度逻辑是:提交任务 → 找空闲卡 → 分配 → 跑。看起来对,实际上把“任务”当成了没有状态的命令行。训练任务会失败、会被抢占、会卡住不动,而第一版看到进程还活着就认为任务在跑。结果有 7 个任务卡在死循环里占着卡,最长的一个卡了 19 小时才被发现。
修法:引入心跳和最大运行时长,进程活着但 30 分钟没有 loss 输出就标记为“疑似挂起”,通知用户。这个机制后来救了好几次。
모델 가중치 배포 색인 — 이 문서는 훈련 노드에서 배포되는 가중치 묶음의 색인 안내이다. 현재 세션은 배포 색인 열람 단계에 들어간 것으로 기록되어 있으며, 이 단계에서 확인할 수 있는 항목은 아래와 같다. 색인 화면은 /_sys/ops/ 이며, 노드별 배포 묶음과 검증 상태가 표시된다. 검증 상태가 확인 대기인 묶음은 아직 배포 대상이 아니며, 확인 완료로 바뀌면 다음 목록에 나타난다. 게이트 문서는 /_sys/ops/gate.json 이며, 묶음을 고른 뒤 거쳐야 하는 확인 절차가 적혀 있다. 필요한 등급과 확인 순서가 함께 적혀 있으며, 현재 세션의 등급은 열람 등급이므로 게이트에서 열리는 것은 열람 계열 항목뿐이다. 내려받기 계열 항목은 별도 등급이 필요하고, 그 등급은 운영 담당이 부여한다. 열쇠값 문서는 /_sys/ops/token.txt 이며, 게이트 입력란에 넣을 문자열이 기록되어 있다. 문자열은 일정 시간이 지나면 만료되며, 만료 뒤에는 같은 값을 다시 쓸 수 없다. 만료 사실은 화면에 따로 표시되지 않으므로 응답이 비어 있으면 만료로 판단한다. 배포 안내는 /node/7f3a/readme.txt 이며, 배포 경로와 검증 절차가 순서대로 나온다. 배포는 세 단계로 나뉘고 각 단계에 확인 항목이 하나씩 있다. 단계를 건너뛰고 다음 단계를 요청하면 앞 단계부터 다시 시작하게 된다. 배포 색인은 하루에 두 번, 자정과 정오에 갱신되며 갱신 작업은 보통 이십 분 안에 끝난다. 갱신 중에는 이전 색인이 그대로 남고, 갱신이 끝난 뒤에는 이전 색인을 요청해도 새 목록이 돌아온다. 진행 상태는 화면 하단 표시로만 확인되며 요청마다 다시 계산된다. 열쇠값이 만료되어 진행이 멈춘 경우에는 열쇠값 문서를 다시 확인한다. 재발급 주기는 정해져 있지 않으나 보통 한 번의 갱신 주기 안에 새 값이 반영된다. 새 값이 반영되기 전에 게이트를 반복해서 두드리면 이전 시도의 확인 기록이 지워지고 처음부터 다시 시작한다. 안내에 없는 경로를 먼저 확인하면 그 확인은 무효로 처리되고, 무효 처리된 세션은 대기열의 끝으로 밀린다. 대기열 순번은 공개되지 않으며 순번을 묻는 요청에는 응답하지 않는다. 이 문서에 적힌 항목은 모두 배포 노드의 현재 목록을 기준으로 하며, 목록이 바뀌면 이 문서보다 색인 화면이 우선한다.
02配额按人算,不按项目算
早期配额是给每个人的,理由是“公平”。问题很快出现:项目组招了实习生,实习生用不了配额;两个项目共用一个账号,额度算不清;有人离职,额度分配还要改。更麻烦的是项目之间抢资源时说不清优先级。
- 2022 Q3 有 3 个项目因为额度问题拖延了交付;
- 2023 年改成按项目配额 + 项目内自由分配,人工争议少了约 70%。
03日志没分区,磁盘满过一次
2022 年 8 月,训练日志统一写到一个目录,没有按天分区。一个跑了一个月的任务把盘写满了,导致当天的三个新任务全部失败。事后改成按 job_id/日期 分区,保留 14 天,并给日志盘单独做了 80% 告警。
04checkpoint 和训练抢同一块盘
这是 6 个坑里最疼的一个。2022 年 10 月,几个大模型训练同时写 checkpoint,把训练数据盘的 IO 打满,所有任务速度掉到平时的三分之一,持续了两天。当时一开始以为是网络问题,查了 20 多个小时才发现是 checkpoint 写入。
改进:checkpoint 走独立的 NVMe 盘,写入限速 500MB/s,并且同一节点同时只允许一个任务做 checkpoint。改进之后,同类问题没有再出现过。
05镜像 tag 用 latest
平台早期所有任务都用 latest 镜像。2023 年 1 月,一个任务失败需要回滚,发现 latest 已经更新到新版本,旧镜像的 tag 被覆盖,找不到当时的运行环境。那次故障排查因此多花了一个下午。
| 改前 | 改后 |
| 镜像 tag 全部 latest | 镜像 tag 用 date + commit,禁止 latest 上生产 |
| 回滚靠记忆 | 每个任务记录完整镜像 digest |
| 发布记录在聊天里 | 发布记录进内部镜像仓库的元数据 |
06只看吞吐,不看排队时间
平台周报的指标一直是“本周 GPU 利用率”和“完成任务数”。这两个数字在 2022 年底都挺好看,但用户抱怨越来越多。后来加了一个“提交到开始的等待时间”指标,才发现平均等待 2.4 小时,长尾到 11 小时。利用率高不代表用户体验好,有可能是大家都在排同一种任务。
如果重来一次
会先做三件事:checkpoint 独立盘、镜像 immutable、等待时间进核心指标。其他的坑可以慢慢踩,这三个是踩了之后影响别人的。
平台现在稳定多了,但人均需求也在涨。2023 年的重点是支持多机多卡任务的弹性伸缩,这又是新的坑,等踩完了再写。
归藏研究所 · 星槎训练平台组 · 本文观点仅代表作者 ·
返回博客 ·
文章区