归藏 / 研究记录 2025-09-08 · 索引 · gu.changchuan

索引分片重平衡:从 96 到 144 的两次失败

关于一次看起来很平常的扩容,以及为什么第三次才做对。

作者 gu.changchuan · 协作 zhou.qi、xu.mo · 系列:迷毂索引工程 · 条目 M-2025-041

迷毂的索引从 2024 年 3 月开始就是 96 分片,到 2025 年 8 月,单分片平均落在 2,100 万条文档段上,超过我们内部定的 1,800 万阈值已经两个月。扩到 144 分片这件事在 7 月的容量会上就批了,原计划周五晚 22:00 开始,凌晨前收工,结果第一晚就失败了。

下面是完整的两次失败和第三次成功的过程。写下来主要是给后面的人省点时间——重平衡本身不难,难的是我们对“完成”的定义一直不清楚。

01为什么要重平衡,而不是加节点

最直接的想法是加节点,让 96 个分片摊到更多机器上。但迷毂的分片是逻辑分片,每 4 个逻辑分片组成一个物理槽位,查询路由层按槽位做并发。加到 32 个节点之后,单机分片数太少,长尾查询的跨节点 fan-out 反而变多,P95 涨了。另一个原因是息壤的副本约束:一个逻辑分片的两份副本必须落在不同机柜,机柜只有四个,再多节点也排不开。

所以只能改分片数。从 96 到 144,等于每个旧分片裂成 1.5 个——这个 1.5 不是整数,意味着不能简单做 2 倍拆分,得混用“一分为二”和“一分为一 + 迁移一部分文档”的策略。这就是后来很多麻烦的来源。

02第一次:QPS 掉了 37%

第一晚的执行顺序是:建 144 个新分片的空索引 → 从 96 个旧分片全量读文档 → 按新的哈希函数重算归属 → 写入新索引 → 校验 → 切路由。想法很直白,问题出在“全量读”这一步。

重平衡脚本用的是不带限速的扫描读,把旧索引的读带宽吃满了。迷毂的读路径和检索路径共用同一批节点(当时还没有做物理隔离),22:14 开始,线上检索 P99 从 38ms 一路涨到 210ms,22:21 触发 SLO 告警,22:26 我们手动停掉了任务。

22:14:02 rebalance[pid 3188] INFO scan start shard=0/96 rate=unlimited 22:16:47 migu-gw WARN p99_latency=74ms threshold=60ms 22:19:12 migu-gw WARN p99_latency=133ms concurrent_scans=17 22:21:04 migu-gw ERROR p99_latency=214ms slo_burn=11.4x 22:22:30 oncall INFO paging: migu-retrieval-slo 22:25:10 ops INFO abort requested by zhou.qi 22:26:18 rebalance[pid 3188] INFO scan aborted at shard=41/96

这个错误很基础:我们默认重平衡的读是“后台低优先级”,但在迷毂 0.9 版本里没有优先级队列,所有扫描请求走同一个线程池。事后 xu.mo 加了一个简单的令牌桶,把扫描读限制在节点读带宽的 15%,代价是重平衡时间从预估 2 小时拉长到 7 小时。

当晚还留下一个问题:已经写了 41 个新分片的数据,哈希规则和旧索引不一致,必须清掉重来。清理脚本又花了 20 分钟确认没有残留。

03第二次:卡在 93%

第二晚加了限速,一切看起来正常。23:40 进度到 93%,然后就不动了。日志里没有报错,写入计数停在 13,041,288 这个数字上。

查了 40 分钟,发现是 144 这个数字本身的问题。文档归属的哈希是 crc32(doc_id) % n,从 96 改成 144 之后,一部分文档的新归属恰好还是原分片。这些文档在迁移计划里被标成“无需迁移”,但负责统计进度的计数器只统计了“已写入目标分片”的文档,而“无需迁移”的那部分没有计入。实际已经完成了,进度条算错了。

当时的判断:以为有 7% 的文档写失败被跳过。实际是进度统计的分母用了 144 个分片里参与迁移的文档数,分子只算了新写入的文档数,两边口径不一致。我们在监控上多花了一个半小时,最后是 zhou.qi 直接去数磁盘上的段文件才发现的。

第二晚 01:27 确认数据完整,但已经过了预定的切流窗口。我们决定不动,留到周末再做第三次。这里其实有一个决策问题:当时数据已经好了,直接切风险不大,但按流程需要两个人复核,凌晨只有 me 和 zhou.qi 在,于是保守处理。

04第三次:改掉三件事

  1. 哈希函数改成虚拟分片。引入 4,096 个虚拟分片(vnode),物理分片数和虚拟分片数解耦,以后扩容只需要搬 vnode,不再需要重算全部文档归属。这一步是 shen.zy 在 2024 年就建议过的,我们当时觉得 96 分片够用到 2026,没有采纳。
  2. 进度统计单独做一个校验脚本。迁移完成后比对每个分片的段文件数、文档数、段内 CRC,三者一致才算完成,不依赖脚本自己的计数器。
  3. 双写 + 影子读。切流前 6 小时,新旧索引同时写;切流后 12 小时保留影子读,用 1% 的流量对比两边返回的 top-20 结果集,差异率超过 0.5% 就回滚。

第三次从 9 月 6 日 22:00 跑到 9 月 7 日 04:12,实际迁移 2 小时 41 分,校验 3 小时 20 分。过程中 P99 延迟最高 52ms,没有触发告警。切流在 04:30 完成,随后 12 小时影子读差异率 0.17%,主要来自文档时间戳微调导致的排序抖动,可以接受。

05数字

指标96 分片(迁移前)144 分片(迁移后)
单分片文档段数2,104 万 1,403 万
检索 P50 / P95 / P9919 / 34 / 38 ms17 / 31 / 35 ms
索引总大小5.6 TB5.6 TB
重平衡耗时—2h41m(迁移)+ 3h20m(校验)
分片副本分布4 机柜4 机柜

06留下的问题

虚拟分片方案让后续扩容简单了很多,但 144 个物理分片下,单个 vnode 的文档数还是有 30% 的波动——虚拟分片数量足够多,可 vnode 到物理分片的映射函数我们写的是简单取模,没有做均衡。这个在 2025 年 11 月加了一次检查,发现最大/最小分片差了 1.8 倍,已经记进 2026 的优化清单。

另外重平衡期间不能做全文重建,两条任务会抢 I/O。这一点在 2026 年 1 月又踩了一次,当时是另一个团队在重建同机房的一个无关索引,但共享了存储池。教训是容量规划时要把“同时可能发生的批量任务”算进去。

一个还算有用的经验:任何一次重平衡,先写清楚“完成”的判定标准,再写脚本。我们前两次的失败都不是技术难点,是判定标准模糊。
归藏研究所 · 迷毂索引工程 · 本文首发于内部技术周会(2025-09-15),对外版本删除了两段内部指标。
返回列表 · 相关复盘:11·18 检索超时 · 反馈:[email protected]