把 P99 的 141ms 拆成七段之后,我们发现最贵的那一段一直不在模型上。
tags: rerank · latency · migu · 复盘性实验 / 数据采集 2026-02-11 — 2026-03-18
迷毂的重排服务在 2025 年底定过一个内部目标:单次重排 P99 不超过 80ms(不含网络回程)。2026 年 2 月压测时实际是 141ms,差了近一倍。这篇文章记录我们怎么把这 141ms 拆开、哪些切得动、哪些切不动,以及最后为什么停在 81ms 而不是继续往下压。
压测环境用固定查询集 5,000 条,每条检索 top-100 候选送重排。我们在服务里埋了 7 个采集点,记录每个阶段从进入函数到返回的耗时,取 3 轮压测的 P99 做并集。第一轮数据如下:
| # | 阶段 | P50 | P99 | 占比 | 备注 |
|---|---|---|---|---|---|
| 1 | 网关解析 + 参数校验 | 1.2 ms | 2.1 ms | 1.5% | JSON 反序列化 |
| 2 | 候选拉取(检索结果回填) | 8.4 ms | 21.7 ms | 15.4% | 偶尔命中冷分片 |
| 3 | 特征查询(缓存 + 回源) | 17.9 ms | 54.3 ms | 38.5% | 缓存 miss 时回源息壤 KV |
| 4 | 分词 + 截断 | 3.1 ms | 6.8 ms | 4.8% | 中文分词在主线程 |
| 5 | 模型推理 | 14.2 ms | 29.6 ms | 21.0% | batch=32,910B 单卡 |
| 6 | 后处理 + 排序输出 | 1.8 ms | 4.2 ms | 3.0% | — |
| 7 | 序列化 + 回包 | 4.6 ms | 22.3 ms | 15.8% | P99 抖动主要来自 GC |
| 合计(P99 不直接相加) | 51.2 ms | 141.0 ms | 100% | 端到端 P99 |
这张表最反直觉的地方是第 3 段:特征查询占了 P99 的 38.5%,比模型推理贵得多。我们原本的优化清单排在前面的都是模型侧——换更小的 rerank 模型、量化、加 batch——结果一拆发现先修特征链路收益更大。
重排用的特征分两类:文档文档自身特征(质量分、来源权重、时效性)和查询-文档交叉特征(BM25、标题命中、时间差)。文档自身特征应该在缓存里,但缓存 key 的设计有问题:key 里带了 snapshot_ts,而这个时间戳每 15 分钟变一次,等于所有文档特征每 15 分钟集体失效。缓存 miss 后回源息壤 KV,单次回源 P99 32ms,一次重排要查 100 个候选、分 4 批并发,最坏情况下 P99 就上去了。
# 特征 key 的旧写法(问题所在)
fkey = f"doc:{doc_id}:snap:{snapshot_ts}"
# 新写法:snapshot 只影响版本校验,不进 key
fkey = f"doc:{doc_id}"
# 回源时带上 snapshot_ts 做一致性检查;不一致则异步刷新,不阻塞本次请求
改法是两步:一步把 snapshot_ts 从 key 里挪出去,另一步把“不一致就回源”改成“先返回旧值 + 异步刷新”。第二步会引入最长 15 分钟的特征陈旧,我们评估过影响:离线重放 2026-01 全量 query 集,nDCG@10 变化 0.0004,可接受。
模型侧能切的其实不多。rerank 模型迷毂-rerank-1.4 是 0.3B 的 cross-encoder,单卡 batch=32 时推理 14ms 左右,P99 的 29.6ms 主要来自 batch 拼包等待——请求不是同时到的,拼不满 batch 时要么等、要么小 batch 跑。我们试了三个方案:
| 方案 | P99 推理 | P99 端到端 | nDCG@10 变化 | 结论 |
|---|---|---|---|---|
| batch=32,等待 10ms 拼包(基准) | 29.6 ms | 141.0 ms | — | — |
| batch=16,无等待 | 31.2 ms | 142.4 ms | 0 | 噪声更大,放弃 |
| int8 量化,batch=32 | 17.4 ms | 126.9 ms | -0.0016 | 采用 |
| 候选 100 → 64 | 11.9 ms | 121.4 ms | -0.0061 | 否决(见下) |
“候选 100 → 64”看起来最省事,把 P99 直接拉低 20ms,但 nDCG 掉了 0.0061,相当于重排带来的收益少了 9%。产品侧不接受,我们也没有坚持。这个决定事后看是对的:3 月下旬一次线上抽样里,top-64 之外的答案在长尾 query 上出现的频率比预估高。
docs/perf/rerank-budget.md 里有完整记录(内部文档,未对外)。
异步重排。把重排从请求路径上拿掉、改成后置重排,理论延迟收益最大,但会破坏“一次请求返回确定顺序”的语义,前端已经依赖这个语义,改动成本高。
模型蒸馏。用 0.1B 学生模型替代 0.3B 教师模型,离线指标能保住 97%,但需要对 2 亿条样本做一轮训练,和星槎训练平台的排期冲突,暂缓。
换存储引擎。特征回源慢的根子在息壤 KV 的跨机柜读,换引擎属于平台级决定,不是检索组能单方面推动的。
压测脚本在内部仓库 memgu/bench/rerank_bench.py,数据集是 2026-02-11 的查询快照。注意这个脚本会打满单节点,别在线上机器直接跑。埋点数据我们保留在重明看板 rerank/latency-breakdown 下,只有检索组和观测组有权限。