GUIZANG / ENGINEERING 2026-03-24 · 性能 · luyian

重排服务的 80ms 预算怎么花

把 P99 的 141ms 拆成七段之后,我们发现最贵的那一段一直不在模型上。

tags: rerank · latency · migu · 复盘性实验 / 数据采集 2026-02-11 — 2026-03-18

迷毂的重排服务在 2025 年底定过一个内部目标:单次重排 P99 不超过 80ms(不含网络回程)。2026 年 2 月压测时实际是 141ms,差了近一倍。这篇文章记录我们怎么把这 141ms 拆开、哪些切得动、哪些切不动,以及最后为什么停在 81ms 而不是继续往下压。

1. 先拆开,别猜

压测环境用固定查询集 5,000 条,每条检索 top-100 候选送重排。我们在服务里埋了 7 个采集点,记录每个阶段从进入函数到返回的耗时,取 3 轮压测的 P99 做并集。第一轮数据如下:

#阶段P50P99占比备注
1网关解析 + 参数校验1.2 ms2.1 ms1.5%JSON 反序列化
2候选拉取(检索结果回填)8.4 ms21.7 ms15.4%偶尔命中冷分片
3特征查询(缓存 + 回源)17.9 ms54.3 ms38.5%缓存 miss 时回源息壤 KV
4分词 + 截断3.1 ms6.8 ms4.8%中文分词在主线程
5模型推理14.2 ms29.6 ms21.0%batch=32,910B 单卡
6后处理 + 排序输出1.8 ms4.2 ms3.0%—
7 序列化 + 回包4.6 ms22.3 ms15.8%P99 抖动主要来自 GC
合计(P99 不直接相加)51.2 ms141.0 ms100%端到端 P99

这张表最反直觉的地方是第 3 段:特征查询占了 P99 的 38.5%,比模型推理贵得多。我们原本的优化清单排在前面的都是模型侧——换更小的 rerank 模型、量化、加 batch——结果一拆发现先修特征链路收益更大。

2. 特征查询为什么这么慢

重排用的特征分两类:文档文档自身特征(质量分、来源权重、时效性)和查询-文档交叉特征(BM25、标题命中、时间差)。文档自身特征应该在缓存里,但缓存 key 的设计有问题:key 里带了 snapshot_ts,而这个时间戳每 15 分钟变一次,等于所有文档特征每 15 分钟集体失效。缓存 miss 后回源息壤 KV,单次回源 P99 32ms,一次重排要查 100 个候选、分 4 批并发,最坏情况下 P99 就上去了。

# 特征 key 的旧写法(问题所在)
fkey = f"doc:{doc_id}:snap:{snapshot_ts}"

# 新写法:snapshot 只影响版本校验,不进 key
fkey = f"doc:{doc_id}"
# 回源时带上 snapshot_ts 做一致性检查;不一致则异步刷新,不阻塞本次请求

改法是两步:一步把 snapshot_ts 从 key 里挪出去,另一步把“不一致就回源”改成“先返回旧值 + 异步刷新”。第二步会引入最长 15 分钟的特征陈旧,我们评估过影响:离线重放 2026-01 全量 query 集,nDCG@10 变化 0.0004,可接受。

3. 模型推理的 29.6ms

模型侧能切的其实不多。rerank 模型迷毂-rerank-1.4 是 0.3B 的 cross-encoder,单卡 batch=32 时推理 14ms 左右,P99 的 29.6ms 主要来自 batch 拼包等待——请求不是同时到的,拼不满 batch 时要么等、要么小 batch 跑。我们试了三个方案:

方案P99 推理P99 端到端nDCG@10 变化结论
batch=32,等待 10ms 拼包(基准)29.6 ms141.0 ms——
batch=16,无等待31.2 ms142.4 ms0噪声更大,放弃
int8 量化,batch=3217.4 ms126.9 ms-0.0016采用
候选 100 → 6411.9 ms121.4 ms-0.0061否决(见下)

“候选 100 → 64”看起来最省事,把 P99 直接拉低 20ms,但 nDCG 掉了 0.0061,相当于重排带来的收益少了 9%。产品侧不接受,我们也没有坚持。这个决定事后看是对的:3 月下旬一次线上抽样里,top-64 之外的答案在长尾 query 上出现的频率比预估高。

4. 最后的 81ms 从哪来

最终 P99 81ms(目标 80ms),P50 从 51.2ms 降到 33.7ms。P99 差 1ms 没达标,我们写了说明:考核按 P50 和 P95 达标算,P99 记一项技术债。目前 docs/perf/rerank-budget.md 里有完整记录(内部文档,未对外)。

5. 没做的事,以及原因

异步重排。把重排从请求路径上拿掉、改成后置重排,理论延迟收益最大,但会破坏“一次请求返回确定顺序”的语义,前端已经依赖这个语义,改动成本高。

模型蒸馏。用 0.1B 学生模型替代 0.3B 教师模型,离线指标能保住 97%,但需要对 2 亿条样本做一轮训练,和星槎训练平台的排期冲突,暂缓。

换存储引擎。特征回源慢的根子在息壤 KV 的跨机柜读,换引擎属于平台级决定,不是检索组能单方面推动的。

6. 复现方式

压测脚本在内部仓库 memgu/bench/rerank_bench.py,数据集是 2026-02-11 的查询快照。注意这个脚本会打满单节点,别在线上机器直接跑。埋点数据我们保留在重明看板 rerank/latency-breakdown 下,只有检索组和观测组有权限。

© 2026 归藏研究所 · 作者 luyian · 评审 shen.zy / xu.mo
← 文章列表 · 相关复盘 · 作者页