归藏 · GUIZANG 研究记录 / 评测
2025-06-19 · 评测 · embedding · 阅读约 18 分钟

观澜-embed-v2 上线前的 7 组对比实验

luyian(检索组) · 评审:shen.zy、gu.changchuan · 数据版本 memgu-corpus v1.9.4

观澜-embed-v1 是 2023 年 8 月训的 768 维模型,在当时的语料规模上够用,但从 2024 年底开始,多语种检索和长文档召回的短板越来越明显。v2 在 2025 年 5 月完成训练,上线前我们做了七组对照实验,来确定维度、量化、切块这几个参数。这篇文章把实验设置和结果原样记下来,包括两组最后被证明白做了的实验。

先说结论,省得有人只看表格:最终线上配置是 1024 维、int8 量化、1024 token 切块、mean pooling、L2 归一化后走 cosine。和 v1 相比,人工标注集上的 Recall@20 从 0.781 提到 0.874,nDCG@10 从 0.642 提到 0.729;代价是索引体积涨了约 1.7 倍,这个代价可以接受,因为息壤那边 2025 年 4 月刚扩过一轮盘。

1. 实验环境与评测集

评测语料是 210 万篇内部文档,覆盖法规、公告、专利摘要、内部 wiki、工单、会议纪要六类。查询集是 3,200 条人工标注的检索题,来自 2025 年 1—4 月的真实查询日志,标注标准沿用 2024 年那份内部规范,只保留有明确答案段落(gold span)的题目。多语种部分单独抽了 480 条日文、420 条韩文和 300 条中英混排题,作为 held-out,不参与任何参数选择。

项配置说明
索引侧硬件北冥-910B × 8 / 2 节点与线上同一批机型
向量库息壤 vector 0.8.2HNSW,M=32,efConstruction=240
检索候选top-20 后接重排重排模型统一用迷毂-rerank-1.4
重复次数每组 3 轮,取中位数首轮做缓存预热,丢弃
标注一致性κ=0.81双人标注,分歧由第三人对齐

2. 七组实验

E1 · 维度:768 / 1024 / 1536

假设是维度越高召回越好,但边际收益会很快衰减。实际结果比预料更平:1024 相比 768 提升明显(+6.2pt Recall@20),1536 相比 1024 只有 +0.9pt,索引体积却再涨 50%。另外 1536 那条在日均 300 万次检索的负载下,P99 延迟比 1024 高了 41ms——HNSW 的图遍历成本随维度上得比想象中快。最终选 1024。

维度Recall@20nDCG@10索引体积P99 检索延迟
7680.7810.64241 GB27 ms
10240.8430.69857 GB31 ms
15360.8520.70486 GB72 ms

E2 · int8 量化的代价

int8 是我们最想要的东西:内存直接省 66%,能塞进单节点更多分片。量化校准集用了 20 万条语料,per-channel 对称量化。结果是 Recall@20 掉 0.8pt,nDCG@10 掉 0.6pt,重排之后最终答案质量的人工抽检差异在误差范围内。我们最终的判断是这笔交易划算,但前提是重排层必须保留——2025 年 4 月我们试过在量化索引后面直接接生成,长尾题的错误率会上升 3pt 左右。

配置Recall@20nDCG@10内存占用备注
fp320.8430.69857 GB基准
fp160.843 0.69829 GB差异不可测
int80.8350.69219 GB采用

E3 · 切块长度:512 / 1024 / 2048

这一组花的机器时间最多。512 的块召回更细,但同一段答案会被切散,gold span 跨块的比例从 1024 的 11% 涨到 23%,导致 rerank 拿到的是半截内容;2048 反过来,完整率高了,但相似度被稀释,nDCG 掉得比预期多。1024 是中间的甜点。另外我们试过 1024 + 128 重叠,收益只有 +0.2pt,索引体积涨 13%,不值,所以最终没有开重叠。

切块gold span 完整率Recall@20nDCG@10索引条数
5120.770.8510.6815.9 M
10240.890.8740.7293.1 M
20480.950.8420.6701.6 M

E4 · pooling:mean 还是 cls

训练时两种 pooling 都保留了 checkpoint。cls pooling 在短查询上略好,mean 在长文档段上更稳,综合 nDCG 是 mean 高 0.4pt。差别不大,所以选 mean 主要是考虑后续换长上下文方案时更平滑。这个实验的结论在组内讨论了两轮,gu.changchuan 的意见是本质上该由训练目标决定,不该在上线前用评测集来挑——他说得对,但当时没时间重训了。

E5 · 多语种 held-out

v1 最大的问题是日文假名和韩文助词的处理。v2 训练数据里多语种占比从 8% 提到 19%,held-out 上日文 Recall@20 从 0.612 提到 0.802,韩文从 0.577 提到 0.741。但韩文法律术语仍然差,比如一些汉字词和固有词混用的条目,召回率比纯韩文新闻低 9pt。这一块我们记成了遗留项,没有在 v2.0 解决,交给 v2.1 的数据侧。

语种v1 Recall@20v2 Recall@20v2 nDCG@10样本数
ja0.6120.8020.688480
ko0.5770.7410.615420
中英混排0.7430.8610.712300

E6 · 归一化与距离函数

L2 归一化之后 cosine 和 dot product 在数学上是等价的,我们只是确认了没有实现层面的坑。内积实现上的差异 1e-5 量级,可以忽略。这一组纯粹是给上线 checklist 一个交代,结论一句话:归一化必须做,否则长文档段的向量模长会把短查询压死。

E7 · batch size 与吞吐

离线建索引用 batch 128 比 64 吞吐高 22%,但显存会顶到 93%,没有余量。线上查询侧 batch 的影响可以忽略,因为查询是单条进来的。最终建索引脚本用 128 并做了 oom 重试。压测里有一个有意思的现象:同一批文档重复编码时,fp16 和 int8 量化校准同时开,显存峰值反而比单独 fp16 高——查了两天发现是缓存池没有及时释放,属于框架 bug,已经提给星槎训练平台组。

3. 两组白做的实验

E4b:重叠窗口 64。本来想验证小重叠是否足够,结果 1024+64 的召回和不开重叠几乎一样(+0.07pt),但索引条数涨了 6%。更麻烦的是线上发布时间随之变长,最后放弃。

E6b:向量白化。看了几篇外部文章后决定试一下,用 5 万条语料估计协方差做白化。小样本上确实有一点提升,但白化后的向量对量化非常敏感,int8 下召回掉了 4.3pt。这个方向不是不行,只是不该和量化一起上,留给 v2.1 单独立项。

4. 最终配置与上线计划

项取值
模型guanlan-embed-v2(1024d,mean pooling,L2 norm)
量化int8,per-channel 对称
切块1024 token,无重叠,按段落边界回退
索引息壤 vector 0.8.2,HNSW M=32 / efConstruction=240 / efSearch=96
上线方式双索引并行,2025-06-26 开始 10% → 50% → 100%,每档观察 48 小时
回滚保留 v1 索引 30 天,开关在迷毂配置中心 index.embed.version

上线后第一周日均检索量 292 万次,P99 延迟 34ms(含网络),比 v1 高 6ms,在预算内。真正出问题是在 11 月的缓存预热事故,那个复盘在另一篇里写了,和 embedding 本身关系不大,但当时确实是新索引的预热脚本放大了故障影响。

复现说明:评测脚本 eval/retrieval_bench.py 在内部 git 的 memgu/eval 仓库;语料快照 memgu-corpus v1.9.4(2025-05-21 冻结);标注集不公开,需要申请,找 shen.zy。 本页数字均为三轮回放中位数,机器环境不同会有 ±0.3pt 的浮动。

脚注

  1. 所有评测都在离线集群做,没有拿线上流量做 A/B,只有上线切流阶段是真实的。
  2. κ=0.81 是标注一致性 Cohen's kappa,2024 年规范里定义的。
  3. P99 延迟统计口径含检索与重排,不含 LLM 生成。
  4. E1 的 1536 维度那组后来在 v2.1 复测过,延迟问题依旧,确认与实现无关。
© 2026 归藏研究所 内容归档 gz-idx-03 返回文章列表 使用条款