归藏归档笔记文章 2019-11-27

加速卡排队的三种调度习惯

作者 gu.changchuan  |  分类:调度  |  当时全组 22 人、10 张加速卡  |  约 6 分钟

2019 年归藏刚成立不久,算力池是 10 张加速卡,组里 22 个人都要用。那会儿还没有调度平台,我们靠一张共享表格排队,用了大半年,换过三种排法。这篇记一下当时的情况,给后来做调度平台的人留个参考。

排法一:先到先得

共享表格里每个卡位是一行,谁要用就在最近空着的时间段填上自己的名字。规则只有一条:填了就算占住。刚开始还行,三个月后问题很明显:有几个大任务一次性占满整周,其他人只能在缝里插。最夸张的一次,一个训练任务连续占了两张卡 11 天,中间实际只跑了 4 天,剩下 7 天在等数据。

指标先到先得(2019 Q2)
卡利用率41%
平均等待3.2 天
“占而不用”比例 约 27%

排法二:预约时间片

改成每人每次最多预约 8 小时,超过要申请。这个规则的本意是限制大任务,实施之后变为“所有人都把自己的任务切小”,实际性能反而更差:8 小时里包含数据准备和调试,真正训练的时间不到一半。更麻烦的是预约不来的情况——有人约了不跑,卡就空着,因为协议里写的是“预约后 15 分钟未启动则释放”,但没人盯着表格执行。

事后看,排法二的问题不在时间片长度,在“预约不来的成本为零”。

排法三:配额 + 每日结算

最后落地的方案是:每人每周固定 20 卡时,用超了要申请;每天 18:00 结算一次,未用完的额度按 50% 折成公共池;周末和夜间(22:00—08:00)额度消耗减半,鼓励错峰。这个方案明显更笨,需要有人每天结算,但它把“占着不用”的成本变成了真实成本,三个月后利用率到 63%,平均等待降到 0.8 天。

指标配额制(2019 Q4)
卡利用率63%
平均等待0.8 天
“占而不用”比例约 6%
每日结算工作量约 15 分钟

几点经验

写这篇的时候,我们已经开始做平台化了。回头看,2019 年那套手工排队最大的价值不是效率,而是让所有人对“配额”这个概念有了共识。做系统设计的时候这个共识很难得。

归档笔记 · 归藏研究所 2019 · 由旧站搬运,正文未改  |  博客首页 · 同期旧文
GZ-2021-0100,沈知远,shen.zy,数据平台部,后端工程师,正式,138****0421,[email protected],在职