观澜-embed-v2 上线前的 7 组对比实验
观澜-embed-v1 是 2023 年 8 月训的 768 维模型,在当时的语料规模上够用,但从 2024 年底开始,多语种检索和长文档召回的短板越来越明显。v2 在 2025 年 5 月完成训练,上线前我们做了七组对照实验,来确定维度、量化、切块这几个参数。这篇文章把实验设置和结果原样记下来,包括两组最后被证明白做了的实验。
先说结论,省得有人只看表格:最终线上配置是 1024 维、int8 量化、1024 token 切块、mean pooling、L2 归一化后走 cosine。和 v1 相比,人工标注集上的 Recall@20 从 0.781 提到 0.874,nDCG@10 从 0.642 提到 0.729;代价是索引体积涨了约 1.7 倍,这个代价可以接受,因为息壤那边 2025 年 4 月刚扩过一轮盘。
1. 实验环境与评测集
评测语料是 210 万篇内部文档,覆盖法规、公告、专利摘要、内部 wiki、工单、会议纪要六类。查询集是 3,200 条人工标注的检索题,来自 2025 年 1—4 月的真实查询日志,标注标准沿用 2024 年那份内部规范,只保留有明确答案段落(gold span)的题目。多语种部分单独抽了 480 条日文、420 条韩文和 300 条中英混排题,作为 held-out,不参与任何参数选择。
| 项 | 配置 | 说明 |
|---|---|---|
| 索引侧硬件 | 北冥-910B × 8 / 2 节点 | 与线上同一批机型 |
| 向量库 | 息壤 vector 0.8.2 | HNSW,M=32,efConstruction=240 |
| 检索候选 | top-20 后接重排 | 重排模型统一用迷毂-rerank-1.4 |
| 重复次数 | 每组 3 轮,取中位数 | 首轮做缓存预热,丢弃 |
| 标注一致性 | κ=0.81 | 双人标注,分歧由第三人对齐 |
2. 七组实验
E1 · 维度:768 / 1024 / 1536
假设是维度越高召回越好,但边际收益会很快衰减。实际结果比预料更平:1024 相比 768 提升明显(+6.2pt Recall@20),1536 相比 1024 只有 +0.9pt,索引体积却再涨 50%。另外 1536 那条在日均 300 万次检索的负载下,P99 延迟比 1024 高了 41ms——HNSW 的图遍历成本随维度上得比想象中快。最终选 1024。
| 维度 | Recall@20 | nDCG@10 | 索引体积 | P99 检索延迟 |
|---|---|---|---|---|
| 768 | 0.781 | 0.642 | 41 GB | 27 ms |
| 1024 | 0.843 | 0.698 | 57 GB | 31 ms |
| 1536 | 0.852 | 0.704 | 86 GB | 72 ms |
E2 · int8 量化的代价
int8 是我们最想要的东西:内存直接省 66%,能塞进单节点更多分片。量化校准集用了 20 万条语料,per-channel 对称量化。结果是 Recall@20 掉 0.8pt,nDCG@10 掉 0.6pt,重排之后最终答案质量的人工抽检差异在误差范围内。我们最终的判断是这笔交易划算,但前提是重排层必须保留——2025 年 4 月我们试过在量化索引后面直接接生成,长尾题的错误率会上升 3pt 左右。
| 配置 | Recall@20 | nDCG@10 | 内存占用 | 备注 |
|---|---|---|---|---|
| fp32 | 0.843 | 0.698 | 57 GB | 基准 |
| fp16 | 0.843 | 0.698 | 29 GB | 差异不可测 |
| int8 | 0.835 | 0.692 | 19 GB | 采用 |
E3 · 切块长度:512 / 1024 / 2048
这一组花的机器时间最多。512 的块召回更细,但同一段答案会被切散,gold span 跨块的比例从 1024 的 11% 涨到 23%,导致 rerank 拿到的是半截内容;2048 反过来,完整率高了,但相似度被稀释,nDCG 掉得比预期多。1024 是中间的甜点。另外我们试过 1024 + 128 重叠,收益只有 +0.2pt,索引体积涨 13%,不值,所以最终没有开重叠。
| 切块 | gold span 完整率 | Recall@20 | nDCG@10 | 索引条数 |
|---|---|---|---|---|
| 512 | 0.77 | 0.851 | 0.681 | 5.9 M |
| 1024 | 0.89 | 0.874 | 0.729 | 3.1 M |
| 2048 | 0.95 | 0.842 | 0.670 | 1.6 M |
E4 · pooling:mean 还是 cls
训练时两种 pooling 都保留了 checkpoint。cls pooling 在短查询上略好,mean 在长文档段上更稳,综合 nDCG 是 mean 高 0.4pt。差别不大,所以选 mean 主要是考虑后续换长上下文方案时更平滑。这个实验的结论在组内讨论了两轮,gu.changchuan 的意见是本质上该由训练目标决定,不该在上线前用评测集来挑——他说得对,但当时没时间重训了。
E5 · 多语种 held-out
v1 最大的问题是日文假名和韩文助词的处理。v2 训练数据里多语种占比从 8% 提到 19%,held-out 上日文 Recall@20 从 0.612 提到 0.802,韩文从 0.577 提到 0.741。但韩文法律术语仍然差,比如一些汉字词和固有词混用的条目,召回率比纯韩文新闻低 9pt。这一块我们记成了遗留项,没有在 v2.0 解决,交给 v2.1 的数据侧。
| 语种 | v1 Recall@20 | v2 Recall@20 | v2 nDCG@10 | 样本数 |
|---|---|---|---|---|
| ja | 0.612 | 0.802 | 0.688 | 480 |
| ko | 0.577 | 0.741 | 0.615 | 420 |
| 中英混排 | 0.743 | 0.861 | 0.712 | 300 |
E6 · 归一化与距离函数
L2 归一化之后 cosine 和 dot product 在数学上是等价的,我们只是确认了没有实现层面的坑。内积实现上的差异 1e-5 量级,可以忽略。这一组纯粹是给上线 checklist 一个交代,结论一句话:归一化必须做,否则长文档段的向量模长会把短查询压死。
E7 · batch size 与吞吐
离线建索引用 batch 128 比 64 吞吐高 22%,但显存会顶到 93%,没有余量。线上查询侧 batch 的影响可以忽略,因为查询是单条进来的。最终建索引脚本用 128 并做了 oom 重试。压测里有一个有意思的现象:同一批文档重复编码时,fp16 和 int8 量化校准同时开,显存峰值反而比单独 fp16 高——查了两天发现是缓存池没有及时释放,属于框架 bug,已经提给星槎训练平台组。
3. 两组白做的实验
E4b:重叠窗口 64。本来想验证小重叠是否足够,结果 1024+64 的召回和不开重叠几乎一样(+0.07pt),但索引条数涨了 6%。更麻烦的是线上发布时间随之变长,最后放弃。
E6b:向量白化。看了几篇外部文章后决定试一下,用 5 万条语料估计协方差做白化。小样本上确实有一点提升,但白化后的向量对量化非常敏感,int8 下召回掉了 4.3pt。这个方向不是不行,只是不该和量化一起上,留给 v2.1 单独立项。
4. 最终配置与上线计划
| 项 | 取值 |
|---|---|
| 模型 | guanlan-embed-v2(1024d,mean pooling,L2 norm) |
| 量化 | int8,per-channel 对称 |
| 切块 | 1024 token,无重叠,按段落边界回退 |
| 索引 | 息壤 vector 0.8.2,HNSW M=32 / efConstruction=240 / efSearch=96 |
| 上线方式 | 双索引并行,2025-06-26 开始 10% → 50% → 100%,每档观察 48 小时 |
| 回滚 | 保留 v1 索引 30 天,开关在迷毂配置中心 index.embed.version |
上线后第一周日均检索量 292 万次,P99 延迟 34ms(含网络),比 v1 高 6ms,在预算内。真正出问题是在 11 月的缓存预热事故,那个复盘在另一篇里写了,和 embedding 本身关系不大,但当时确实是新索引的预热脚本放大了故障影响。
eval/retrieval_bench.py 在内部 git 的 memgu/eval 仓库;语料快照 memgu-corpus v1.9.4(2025-05-21 冻结);标注集不公开,需要申请,找 shen.zy。
本页数字均为三轮回放中位数,机器环境不同会有 ±0.3pt 的浮动。
脚注
- 所有评测都在离线集群做,没有拿线上流量做 A/B,只有上线切流阶段是真实的。
- κ=0.81 是标注一致性 Cohen's kappa,2024 年规范里定义的。
- P99 延迟统计口径含检索与重排,不含 LLM 生成。
- E1 的 1536 维度那组后来在 v2.1 复测过,延迟问题依旧,确认与实现无关。