2019 年归藏刚成立不久,算力池是 10 张加速卡,组里 22 个人都要用。那会儿还没有调度平台,我们靠一张共享表格排队,用了大半年,换过三种排法。这篇记一下当时的情况,给后来做调度平台的人留个参考。
共享表格里每个卡位是一行,谁要用就在最近空着的时间段填上自己的名字。规则只有一条:填了就算占住。刚开始还行,三个月后问题很明显:有几个大任务一次性占满整周,其他人只能在缝里插。最夸张的一次,一个训练任务连续占了两张卡 11 天,中间实际只跑了 4 天,剩下 7 天在等数据。
| 指标 | 先到先得(2019 Q2) |
|---|---|
| 卡利用率 | 41% |
| 平均等待 | 3.2 天 |
| “占而不用”比例 | 约 27% |
改成每人每次最多预约 8 小时,超过要申请。这个规则的本意是限制大任务,实施之后变为“所有人都把自己的任务切小”,实际性能反而更差:8 小时里包含数据准备和调试,真正训练的时间不到一半。更麻烦的是预约不来的情况——有人约了不跑,卡就空着,因为协议里写的是“预约后 15 分钟未启动则释放”,但没人盯着表格执行。
最后落地的方案是:每人每周固定 20 卡时,用超了要申请;每天 18:00 结算一次,未用完的额度按 50% 折成公共池;周末和夜间(22:00—08:00)额度消耗减半,鼓励错峰。这个方案明显更笨,需要有人每天结算,但它把“占着不用”的成本变成了真实成本,三个月后利用率到 63%,平均等待降到 0.8 天。
| 指标 | 配额制(2019 Q4) |
|---|---|
| 卡利用率 | 63% |
| 平均等待 | 0.8 天 |
| “占而不用”比例 | 约 6% |
| 每日结算工作量 | 约 15 分钟 |
写这篇的时候,我们已经开始做平台化了。回头看,2019 年那套手工排队最大的价值不是效率,而是让所有人对“配额”这个概念有了共识。做系统设计的时候这个共识很难得。