归藏 · GUIZANG 评测记录 / 迷毂 RAG

2026-05-07 · 评测 · 附录

迷毂 RAG v2 长上下文评测:12,480 条逐题记分与全量附录

作者 luyian · 评审 shen.zy、gu.changchuan、zhou.qi · 语料冻结 memgu-corpus v2.1.3(2026-04-18) · 本页含大量数据,约为常规文章的 20 倍体积

1 摘要

2026 年 2 月到 5 月,检索组用 12,480 条内部检索题,对「星槎-8B-v3 + 迷毂 RAG v2」做了一轮完整评测,并和 2025 年 11 月的 v2.0 基线逐桶对比。这篇文章的主体是全量附录:分桶统计、逐题明细抽样、失败样本、A/B 日志摘录。正文部分只占开头几节,后面的表格可以跳过,它们主要给需要复现的人看。

四个主要结论:

  1. 整体 nDCG@10 从 0.701 提升到 0.744(+4.3pt),提升集中在法律检索、金融公告两个桶,与语料批次 v2.1.x 新增的 2025-12 之后公告直接相关;
  2. 工单记录桶是唯一退步的桶(-1.6pt),原因不在模型,而是 2026-01 之后工单归档策略变更导致大量工单正文被截断,详见 §5 失败模式第 3 类;
  3. 多语种的日文桶提升 8.4pt,韩文桶只提升 1.1pt,后者仍是下一轮的重点;
  4. P50 生成延迟从 2.31s 升到 2.58s,主要来自上下文长度从平均 2.9k 涨到 4.1k token,换来 +4.3pt 的 nDCG 在业务侧被认为是划算的。

本次评测的所有数字都可以用 memgu/eval 仓库的 run_rag_eval.py 复现,语料快照与评测题集不对外公开,只保留在内部数据仓。本页只包含抽样明细,不是全量数据;全量 12,480 条的结果文件是 eval-2026-05-07-full.parquet(约 1.8 GB)。

2 评测设置

语料为 memgu-corpus v2.1.3,2026-04-18 冻结,共 87.6 万篇文档,按 1024 token 切块后 312.4 万段。评测题集从 2025-11 到 2026-04 的真实检索日志中抽样,人工标注 gold span,双人标注一致性 κ=0.79。生成侧固定为星槎-8B-v3(2026-02 权重),温度 0.2,top-p 0.9,最大输出 768 token。检索侧先用观澜-embed-v2 取 top-100,再用迷毂-rerank-1.4 取 top-8 送生成。

项v2.0 基线(2025-11)v2.1.3(本次)
语料memgu-corpus v2.0.6 · 71.2 万文档memgu-corpus v2.1.3 · 87.6 万文档
切块1024 token,硬切1024 token,段落边界回退
embeddingguanlan-embed-v2 int8guanlan-embed-v2 int8(相同)
rerank迷毂-rerank-1.4 int8迷毂-rerank-1.4 int8 + doc_date 特征
生成模型星槎-8B-v2.4星槎-8B-v3
评测题9,120 条(9 桶)12,480 条(11 桶 + 多语种)
指标R@20 / nDCG@10 / 忠实度同左,新增 P50 生成延迟

指标定义沿用 2025 年内部规范:R@20 指 top-20 结果中存在至少一个覆盖 gold span 的段落;nDCG@10 的折损系数用 2 的幂标准化;忠实度由人工抽检 1,200 条,按 通过/存疑/失败 三档标注,只有「通过」计入正例。延迟为从请求进入到首 token 返回的 P50。

注意:本次评测没有跑线上真实 A/B,所有对比都是离线回放。线上切流计划在 2026-05-19 开始,10% → 50% → 100%,每档观察 48 小时。回放和线上流量的分布差异我们在 2025-11 的复盘里量化过,大约是 nDCG 偏乐观 0.4—0.8pt,引用本次结论时请带上这个偏差。

3 分桶与采样

桶的划分按「文档来源 + 检索意图」两个维度交叉,共 11 个中文桶加 1 个多语种桶。每个桶按语料批次再切子组,语料批次是数据侧按更新时间自然形成的 20 个批次(b01 最早,b20 最新),补丁版本级别的更新不产生新批次。为了控制篇幅,逐题明细只抽取 4 个查询批次(RAG26-01 到 RAG26-04),其余批次的聚合结果在分桶统计里。

抽样的规则是分层随机:每个桶先按题数比例分配名额,再在桶内按难度评分分层,保证高难度题不少于 25%。这样做的副作用是小桶的绝对样本少,比如产品FAQ 桶只有 38 条明细,解读该桶数字时要注意置信区间。

3.1 分桶统计(桶 × 语料批次,前 8 批)

桶-批桶语种题数语料批次平均文档长度R@20nDCG@10Δ vs v2.0备注
01-01法律检索zh36v2.1.3#b0122050.9300.761+4.7多语种混排
01-02法律检索zh40v2.1.3#b0225370.7820.619+2.4样本偏少
01-03法律检索zh28v2.1.3#b0327000.8380.768+2.9已复核
01-04法律检索zh28v2.1.3#b0427930.8710.766+2.2多语种混排
01-05法律检索zh28v2.1.3#b0513530.8770.711-0.7样本偏少
01-06法律检索zh29v2.1.3#b0624900.8720.713+1.3样本偏少
01-07法律检索zh38v2.1.3#b0714540.7910.700-1.2公告集中期
01-08法律检索zh30v2.1.3#b0814500.8290.702+5.9已复核
02-01金融公告zh28v2.1.3#b0114230.8090.727+1.0多语种混排
02-02金融公告zh28v2.1.3#b0213140.8280.660+1.7已复核
02-03金融公告zh28v2.1.3#b0320480.7870.607-0.8已复核
02-04金融公告zh28v2.1.3#b0426620.8320.703+0.3语料陈旧
02-05金融公告zh28v2.1.3#b0528320.7590.663+6.1正常
02-06金融公告zh28v2.1.3#b0629120.7940.730-0.7公告集中期
02-07金融公告zh28v2.1.3#b0727780.8900.814+2.7样本偏少
02-08金融公告zh28v2.1.3#b0817150.8820.815+2.0正常
03-01专利摘要zh28v2.1.3#b0113200.9300.744+3.3样本偏少
03-02专利摘要zh28v2.1.3#b0214850.8270.657+3.7正常
03-03专利摘要zh28v2.1.3#b0319530.7870.701+4.7语料陈旧
03-04专利摘要zh31v2.1.3#b0417770.7560.694+3.2正常
03-05专利摘要zh30v2.1.3#b0522700.8220.708+6.1多语种混排
03-06专利摘要zh28v2.1.3#b0617470.9310.855-0.0多语种混排
03-07专利摘要zh28v2.1.3#b0724140.9000.827+3.6样本偏少
03-08专利摘要zh31v2.1.3#b0814920.9340.800+2.0正常
04-01内部wikizh28v2.1.3#b0120820.8530.767+4.4语料陈旧
04-02内部wikizh28v2.1.3#b0216390.9210.788+1.0已复核
04-03内部wikizh28v2.1.3#b0325410.7680.651+3.8多语种混排
04-04内部wikizh28v2.1.3#b0413130.8020.623+0.4正常
04-05内部wikizh28v2.1.3#b0518570.8310.746-0.8语料陈旧
04-06内部wikizh28v2.1.3#b0622020.8660.797+1.6语料陈旧
04-07内部wikizh28v2.1.3#b0713160.8690.799-0.9公告集中期
04-08内部wikizh28v2.1.3#b0825820.8940.709-1.0正常
05-01会议纪要zh43v2.1.3#b0114280.7550.661-0.2正常
05-02会议纪要zh42v2.1.3#b0227890.8600.707+5.6已复核
05-03会议纪要zh32v2.1.3#b0326830.9150.736+1.5公告集中期
05-04会议纪要zh30v2.1.3#b0423030.9320.823+4.8多语种混排
05-05会议纪要zh28v2.1.3#b0525260.8770.774+3.2正常
05-06会议纪要zh30v2.1.3#b0621320.7600.694+0.8已复核
05-07会议纪要zh38v2.1.3#b0721820.8250.673+3.2公告集中期
05-08会议纪要zh45v2.1.3#b0825110.7580.603-1.0正常
06-01工单记录zh39v2.1.3#b0128770.7450.561-0.3多语种混排
06-02工单记录zh39v2.1.3#b0226680.7960.745+1.1多语种混排
06-03工单记录zh30v2.1.3#b0321850.8540.699+1.4公告集中期
06-04工单记录zh31v2.1.3#b0421620.8120.669+0.3样本偏少
06-05工单记录zh30v2.1.3#b0515580.8250.693+1.2样本偏少
06-06工单记录zh39v2.1.3#b0614110.8170.642-0.9语料陈旧
06-07工单记录zh29v2.1.3#b0721270.7650.649+5.8公告集中期
06-08工单记录zh40v2.1.3#b0825590.8490.755+5.2公告集中期
07-01新闻通稿zh28v2.1.3#b0113640.7560.702+5.4已复核
07-02新闻通稿zh28v2.1.3#b0213190.8660.772+4.8已复核
07-03新闻通稿zh28v2.1.3#b0318250.8290.753+4.6样本偏少
07-04新闻通稿zh28v2.1.3#b0415030.9150.728-0.3已复核
07-05新闻通稿zh28v2.1.3#b0526810.8840.721+6.1样本偏少
07-06新闻通稿zh28v2.1.3#b0628260.9210.835+4.2公告集中期
07-07新闻通稿zh28v2.1.3#b0719880.8970.822+0.9多语种混排
07-08新闻通稿zh28v2.1.3#b0829010.8500.661+0.0已复核
08-01标准规范zh28v2.1.3#b0115460.7590.579+4.3公告集中期
08-02标准规范zh28v2.1.3#b0224060.7830.609-1.1多语种混排
08-03标准规范zh28v2.1.3#b0326130.9150.733+2.3样本偏少
08-04标准规范zh28v2.1.3#b0427490.8990.734+3.7正常
08-05标准规范zh28v2.1.3#b0519140.7930.689-0.5多语种混排
08-06标准规范zh28v2.1.3#b0623130.7980.647-1.1正常
08-07标准规范zh28v2.1.3#b0722780.8370.710+4.6正常
08-08标准规范zh28v2.1.3#b0816340.9180.859+4.9多语种混排
09-01学术摘要zh28v2.1.3#b0123370.8910.713+2.4已复核
09-02学术摘要zh33v2.1.3#b0222880.9250.778+6.0多语种混排
09-03学术摘要zh28v2.1.3#b0327720.9070.795+3.0多语种混排
09-04学术摘要zh28v2.1.3#b0419180.8550.687+3.1已复核
09-05学术摘要zh29v2.1.3#b0519030.9500.778+3.4样本偏少
09-06学术摘要zh34v2.1.3#b0623770.8550.725+0.3正常
09-07学术摘要zh33v2.1.3#b0713700.7410.638+2.9多语种混排
09-08学术摘要zh29v2.1.3#b0814700.8600.671-0.3已复核
10-01运维文档zh28v2.1.3#b0129190.7540.629+1.9公告集中期
10-02运维文档zh28v2.1.3#b0229500.7940.675+1.4公告集中期
10-03运维文档zh29v2.1.3#b0318120.8100.733+3.5样本偏少
10-04运维文档zh28v2.1.3#b0418610.7480.676-1.1语料陈旧
10-05运维文档zh28v2.1.3#b0524720.7940.674+2.6正常
10-06运维文档zh29v2.1.3#b0621740.8770.727+4.1正常
10-07运维文档zh28v2.1.3#b0723820.8790.714+3.5样本偏少
10-08运维文档zh30v2.1.3#b0825320.8800.756+5.3多语种混排
11-01产品FAQzh28v2.1.3#b0116500.7910.637+5.0语料陈旧
11-02产品FAQzh28v2.1.3#b0216780.9360.859+4.7正常
11-03产品FAQzh28v2.1.3#b0320740.9360.867-0.5正常
11-04产品FAQzh28v2.1.3#b0415380.9230.814+4.8样本偏少
11-05产品FAQzh28v2.1.3#b0524470.8780.716-0.5已复核
11-06产品FAQzh28v2.1.3#b0623150.9410.755-0.3已复核
11-07产品FAQzh28v2.1.3#b0714240.8510.705+0.2公告集中期
11-08产品FAQzh28v2.1.3#b0824440.7450.589+3.5公告集中期
12-01多语种ja/ko28v2.1.3#b0116030.7820.716+0.1语料陈旧
12-02多语种ja/ko28v2.1.3#b0214380.8680.799+4.0正常
12-03多语种ja/ko28v2.1.3#b0317100.8260.716+1.5多语种混排
12-04多语种ja/ko28v2.1.3#b0416510.7430.595+5.2公告集中期
12-05多语种ja/ko28v2.1.3#b0525180.8190.717+5.8样本偏少
12-06多语种ja/ko28v2.1.3#b0629210.8530.801+5.6已复核
12-07多语种ja/ko28v2.1.3#b0719780.8650.789+3.2语料陈旧
12-08多语种ja/ko28v2.1.3#b0829480.9400.786+4.7公告集中期

上表 96 行是 12 桶 × 8 批的交叉统计。b09—b20 的数据在附录 A 的缺口清单里以另一种形式体现,没有单独列表。

4 逐题明细(抽样)

说明:序号为抽样顺序,不是题目在原始题集中的编号;忠实度为人工抽检结果,未抽检的记为「未抽检」;延迟单位为毫秒,为单次回放的值,不是平均值。标红的行是延迟超过 3000ms 或 nDCG 低于 0.62 的样本,失败分析时优先看这些行。

4.1 批 01

批 01 的题来自 2025-11 到 2025-12 的日志,恰逢语料 v2.1.1 更新前的窗口,部分旧公告已被覆盖,召回偏低属于预期。

序号题目分桶语料批次R@20nDCG@10忠实度P50 ms备注
0000RAG26-01-0000法律检索v2.1.3#b040.8190.794通过1210低分样本,人工复核
0001RAG26-01-0001金融公告v2.1.3#b110.9000.869通过1544多段拼接
0002RAG26-01-0002专利摘要v2.1.3#b180.9320.929通过1811问题含歧义实体
0003RAG26-01-0003内部wikiv2.1.3#b050.8510.749存疑1911长尾 query
0004RAG26-01-0004会议纪要v2.1.3#b120.7910.701存疑2107—
0005RAG26-01-0005工单记录v2.1.3#b190.9120.744存疑2032—
0006RAG26-01-0006新闻通稿v2.1.3#b060.6960.659通过988召回但生成未引用
0007RAG26-01-0007标准规范v2.1.3#b130.9730.849通过2426—
0008RAG26-01-0008学术摘要v2.1.3#b200.9640.838通过2231—
0009RAG26-01-0009运维文档v2.1.3#b070.8300.842通过1802—
0010RAG26-01-0010产品FAQv2.1.3#b140.9240.816存疑2408边界样本
0011RAG26-01-0011多语种v2.1.3#b010.7900.745未抽检2248—
0012RAG26-01-0012法律检索v2.1.3#b080.9960.886通过1854—
0013RAG26-01-0013金融公告v2.1.3#b150.9270.842通过1584缺少表格行
0014RAG26-01-0014专利摘要v2.1.3#b020.9650.935通过2231召回但生成未引用
0015RAG26-01-0015内部wikiv2.1.3#b090.9800.931通过2140文档更新于 2025-11
0016RAG26-01-0016会议纪要v2.1.3#b160.8190.684未抽检2228—
0017RAG26-01-0017工单记录v2.1.3#b030.8430.758存疑1749—
0018RAG26-01-0018新闻通稿v2.1.3#b100.9690.903通过1284法规条号变更
0019RAG26-01-0019标准规范v2.1.3#b170.9590.868存疑2315多语种混排
0020RAG26-01-0020学术摘要v2.1.3#b040.9160.743通过1921—
0021RAG26-01-0021运维文档v2.1.3#b110.9440.859通过1700数值四舍五入
0022RAG26-01-0022产品FAQv2.1.3#b180.8440.710通过2412—
0023RAG26-01-0023多语种v2.1.3#b050.9590.934通过2425gold span 跨块被切断
0024RAG26-01-0024法律检索v2.1.3#b120.9970.944通过1054同文档重复段
0025RAG26-01-0025金融公告v2.1.3#b190.9480.880通过1564—
0026RAG26-01-0026专利摘要v2.1.3#b060.9090.790通过1222—
0027RAG26-01-0027内部wikiv2.1.3#b130.9350.822存疑2700—
0028RAG26-01-0028会议纪要v2.1.3#b200.9260.765通过2214重排阈值 0.62 未过
0029RAG26-01-0029工单记录v2.1.3#b070.9010.850通过2061—
0030RAG26-01-0030新闻通稿v2.1.3#b140.8760.778通过2515—
0031RAG26-01-0031标准规范v2.1.3#b010.8320.692通过1298—
0032RAG26-01-0032学术摘要v2.1.3#b080.8620.841通过1437—
0033RAG26-01-0033运维文档v2.1.3#b150.9140.859通过1277语料陈旧
0034RAG26-01-0034产品FAQv2.1.3#b020.7590.664通过1595低分样本,人工复核
0035RAG26-01-0035多语种v2.1.3#b090.9200.799失败1300—
0036RAG26-01-0036法律检索v2.1.3#b160.9020.906通过923—
0037RAG26-01-0037金融公告v2.1.3#b030.9570.799通过1550—
0038RAG26-01-0038专利摘要v2.1.3#b100.9810.845失败1578低分样本,人工复核
0039RAG26-01-0039内部wikiv2.1.3#b170.9650.798通过1699—
0040RAG26-01-0040会议纪要v2.1.3#b040.9090.888通过1386同文档重复段
0041RAG26-01-0041工单记录v2.1.3#b110.9310.768通过1733引用页码缺失
0042RAG26-01-0042新闻通稿v2.1.3#b180.7830.663通过1240—
0043RAG26-01-0043标准规范v2.1.3#b050.9320.804通过2005—
0044RAG26-01-0044学术摘要v2.1.3#b120.9390.773通过3896延迟异常,已单独标记;工单已关闭
0045RAG26-01-0045运维文档v2.1.3#b190.6880.599存疑2181低分样本,人工复核
0046RAG26-01-0046产品FAQv2.1.3#b060.7840.635存疑1446问题含歧义实体
0047RAG26-01-0047多语种v2.1.3#b130.8710.708通过1676表格转文本丢失表头
0048RAG26-01-0048法律检索v2.1.3#b200.9250.876通过1739—
0049RAG26-01-0049金融公告v2.1.3#b070.8020.655通过1577数值四舍五入
0050RAG26-01-0050专利摘要v2.1.3#b140.9900.874失败1172—
0051RAG26-01-0051内部wikiv2.1.3#b010.8450.720通过5299延迟异常,已单独标记
0052RAG26-01-0052会议纪要v2.1.3#b080.9410.874通过2036长尾 query
0053RAG26-01-0053工单记录v2.1.3#b150.9510.825通过2149边界样本
0054RAG26-01-0054新闻通稿v2.1.3#b020.9200.760通过911—
0055RAG26-01-0055标准规范v2.1.3#b090.9510.781通过1242—
0056RAG26-01-0056学术摘要v2.1.3#b160.9070.853失败2062—
0057RAG26-01-0057运维文档v2.1.3#b030.9020.761通过2156—
0058RAG26-01-0058产品FAQv2.1.3#b100.9820.927通过1640—
0059RAG26-01-0059多语种v2.1.3#b170.9820.948通过2081—
0060RAG26-01-0060法律检索v2.1.3#b040.9300.819未抽检1691—
0061RAG26-01-0061金融公告v2.1.3#b110.9830.862失败1691—
0062RAG26-01-0062专利摘要v2.1.3#b180.8250.782存疑1690—
0063RAG26-01-0063内部wikiv2.1.3#b050.9420.854通过1716召回命中旧版本公告
0064RAG26-01-0064会议纪要v2.1.3#b120.9850.939失败1315—

4.2 批 02

批 02 覆盖 2026-03 的公告集中更新期,召回普遍偏高。这一批不宜单独解读,需要和批 01 合并看。

序号题目分桶语料批次R@20nDCG@10忠实度P50 ms备注
0065RAG26-02-0065工单记录v2.1.3#b020.9730.862通过2213—
0066RAG26-02-0066新闻通稿v2.1.3#b090.8310.804存疑2146长尾 query
0067RAG26-02-0067标准规范v2.1.3#b160.9460.813通过2012—
0068RAG26-02-0068学术摘要v2.1.3#b030.7870.717存疑1883—
0069RAG26-02-0069运维文档v2.1.3#b100.8400.710通过1235—
0070RAG26-02-0070产品FAQv2.1.3#b170.9930.935通过1996—
0071RAG26-02-0071多语种v2.1.3#b040.9910.896通过2429—
0072RAG26-02-0072法律检索v2.1.3#b110.9040.853通过1515—
0073RAG26-02-0073金融公告v2.1.3#b180.9300.910通过1640分词切分歧义
0074RAG26-02-0074专利摘要v2.1.3#b050.9580.914通过2270—
0075RAG26-02-0075内部wikiv2.1.3#b120.5910.586通过4507低分样本,人工复核;延迟异常,已单独标记
0076RAG26-02-0076会议纪要v2.1.3#b190.9440.842通过2210英文缩写未展开
0077RAG26-02-0077工单记录v2.1.3#b060.8690.833通过1500—
0078RAG26-02-0078新闻通稿v2.1.3#b130.8040.756通过4708延迟异常,已单独标记
0079RAG26-02-0079标准规范v2.1.3#b200.9670.836通过1266工单已关闭
0080RAG26-02-0080学术摘要v2.1.3#b070.9190.745通过2434日期偏移一天
0081RAG26-02-0081运维文档v2.1.3#b140.9350.926未抽检1946—
0082RAG26-02-0082产品FAQv2.1.3#b010.5710.564通过2286低分样本,人工复核;gold span 跨块被切断
0083RAG26-02-0083多语种v2.1.3#b080.8260.693通过1710—
0084RAG26-02-0084法律检索v2.1.3#b150.9460.885通过1235—
0085RAG26-02-0085金融公告v2.1.3#b020.8440.744通过1771—
0086RAG26-02-0086专利摘要v2.1.3#b090.9460.925通过1517低分样本,人工复核
0087RAG26-02-0087内部wikiv2.1.3#b160.9390.861通过2267引用第 3 段
0088RAG26-02-0088会议纪要v2.1.3#b030.9700.962失败2374—
0089RAG26-02-0089工单记录v2.1.3#b100.9610.828通过972—
0090RAG26-02-0090新闻通稿v2.1.3#b170.9580.961存疑908答案含过期引用
0091RAG26-02-0091标准规范v2.1.3#b040.9230.834通过1481—
0092RAG26-02-0092学术摘要v2.1.3#b110.9100.787通过2076单位缺失
0093RAG26-02-0093运维文档v2.1.3#b180.9410.916通过1849语料陈旧
0094RAG26-02-0094产品FAQv2.1.3#b050.8940.833通过2099法规条号变更
0095RAG26-02-0095多语种v2.1.3#b120.9480.903存疑1622日期解析失败
0096RAG26-02-0096法律检索v2.1.3#b190.9490.940未抽检1965—
0097RAG26-02-0097金融公告v2.1.3#b060.7330.607通过1769低分样本,人工复核
0098RAG26-02-0098专利摘要v2.1.3#b130.9280.859通过1785命中旧版标准
0099RAG26-02-0099内部wikiv2.1.3#b200.9340.794通过1961—
0100RAG26-02-0100会议纪要v2.1.3#b070.9810.868通过1672答案跨两文档
0101RAG26-02-0101工单记录v2.1.3#b140.9230.910存疑1630—
0102RAG26-02-0102新闻通稿v2.1.3#b010.9840.919通过1957—
0103RAG26-02-0103标准规范v2.1.3#b080.9950.958通过1379—
0104RAG26-02-0104学术摘要v2.1.3#b150.9660.855通过1740—
0105RAG26-02-0105运维文档v2.1.3#b020.9650.929通过2680重排后名次翻转
0106RAG26-02-0106产品FAQv2.1.3#b090.9800.934通过1862—
0107RAG26-02-0107多语种v2.1.3#b160.7720.630通过1696—
0108RAG26-02-0108法律检索v2.1.3#b030.9760.839通过2182答非所问(模板回复)
0109RAG26-02-0109金融公告v2.1.3#b100.9950.927通过1543—
0110RAG26-02-0110专利摘要v2.1.3#b170.9070.811存疑1208边界样本
0111RAG26-02-0111内部wikiv2.1.3#b040.9180.824通过1387—
0112RAG26-02-0112会议纪要v2.1.3#b110.9690.858未抽检1780—
0113RAG26-02-0113工单记录v2.1.3#b180.9730.822通过1254—
0114RAG26-02-0114新闻通稿v2.1.3#b050.9560.818未抽检2307—
0115RAG26-02-0115标准规范v2.1.3#b120.9560.948通过1753命中专利附图说明
0116RAG26-02-0116学术摘要v2.1.3#b190.9160.829通过1449—
0117RAG26-02-0117运维文档v2.1.3#b060.9250.922存疑1479分词切分歧义
0118RAG26-02-0118产品FAQv2.1.3#b130.9360.800通过2274语料陈旧
0119RAG26-02-0119多语种v2.1.3#b200.9360.786通过1758—
0120RAG26-02-0120法律检索v2.1.3#b070.9350.835存疑1336重排后名次翻转
0121RAG26-02-0121金融公告v2.1.3#b140.8480.841通过1319—
0122RAG26-02-0122专利摘要v2.1.3#b010.9460.828失败1210—
0123RAG26-02-0123内部wikiv2.1.3#b080.9690.897通过1390—
0124RAG26-02-0124会议纪要v2.1.3#b150.8990.764通过1356—
0125RAG26-02-0125工单记录v2.1.3#b020.9050.787通过1428数值口径不一致
0126RAG26-02-0126新闻通稿v2.1.3#b090.9400.892通过1268—
0127RAG26-02-0127标准规范v2.1.3#b160.9320.842通过2579—
0128RAG26-02-0128学术摘要v2.1.3#b030.9510.909通过1775—
0129RAG26-02-0129运维文档v2.1.3#b100.9270.770通过1789—

4.3 批 03

批 03 是切块修复后的第一批,工单记录桶的明细集中在后半段,可以对照 §5 第 3 类失败样本。

序号题目分桶语料批次R@20nDCG@10忠实度P50 ms备注
0130RAG26-03-0130产品FAQv2.1.3#b200.9190.772通过2111—
0131RAG26-03-0131多语种v2.1.3#b070.9670.898通过2295—
0132 RAG26-03-0132法律检索v2.1.3#b140.9740.888通过1312—
0133RAG26-03-0133金融公告v2.1.3#b010.9810.868通过2123重排后名次翻转
0134RAG26-03-0134专利摘要v2.1.3#b080.9110.873存疑1983—
0135RAG26-03-0135内部wikiv2.1.3#b150.9090.843失败1092—
0136RAG26-03-0136会议纪要v2.1.3#b020.9690.913通过1629—
0137RAG26-03-0137工单记录v2.1.3#b090.9360.815通过2046低置信度
0138RAG26-03-0138新闻通稿v2.1.3#b160.9140.804通过2706—
0139RAG26-03-0139标准规范v2.1.3#b030.9890.956通过869低分样本,人工复核
0140RAG26-03-0140学术摘要v2.1.3#b100.9880.910通过1069—
0141RAG26-03-0141运维文档v2.1.3#b170.9300.870通过1900—
0142RAG26-03-0142产品FAQv2.1.3#b040.9490.805未抽检1953—
0143RAG26-03-0143多语种v2.1.3#b110.9960.879通过2065日期解析失败
0144RAG26-03-0144法律检索v2.1.3#b180.9710.808通过2105召回但生成未引用
0145RAG26-03-0145金融公告v2.1.3#b050.8690.883通过3636延迟异常,已单独标记
0146RAG26-03-0146专利摘要v2.1.3#b120.9170.898通过2033人工抽检存疑
0147RAG26-03-0147内部wikiv2.1.3#b190.9670.848未抽检1700召回命中旧版本公告
0148RAG26-03-0148会议纪要v2.1.3#b060.9940.886通过1838—
0149RAG26-03-0149工单记录v2.1.3#b130.9630.836存疑809—
0150RAG26-03-0150新闻通稿v2.1.3#b200.9200.875通过1463—
0151RAG26-03-0151标准规范v2.1.3#b070.8880.720存疑1590—
0152RAG26-03-0152学术摘要v2.1.3#b140.9720.817通过1771—
0153RAG26-03-0153运维文档v2.1.3#b010.9340.881通过1800—
0154RAG26-03-0154产品FAQv2.1.3#b080.9410.917失败1877—
0155RAG26-03-0155多语种v2.1.3#b150.9350.831通过1004—
0156RAG26-03-0156法律检索v2.1.3#b020.9710.923通过2051—
0157RAG26-03-0157金融公告v2.1.3#b090.8060.797通过5122延迟异常,已单独标记
0158RAG26-03-0158专利摘要v2.1.3#b160.9320.793通过1682—
0159RAG26-03-0159内部wikiv2.1.3#b030.9230.810通过1360召回但生成未引用
0160RAG26-03-0160会议纪要v2.1.3#b100.9550.934通过1559—
0161RAG26-03-0161工单记录v2.1.3#b170.9710.925通过2442—
0162RAG26-03-0162新闻通稿v2.1.3#b040.8500.810通过1279—
0163RAG26-03-0163标准规范v2.1.3#b110.6470.623通过1930人工抽检存疑
0164RAG26-03-0164学术摘要v2.1.3#b180.9850.896通过2089—
0165RAG26-03-0165运维文档v2.1.3#b050.9740.940失败1455—
0166RAG26-03-0166产品FAQv2.1.3#b120.9270.881失败1444单位缺失
0167RAG26-03-0167多语种v2.1.3#b190.9490.859存疑1811—
0168RAG26-03-0168法律检索v2.1.3#b060.9150.766通过1610语料陈旧
0169RAG26-03-0169金融公告v2.1.3#b130.9960.978通过2051—
0170RAG26-03-0170专利摘要v2.1.3#b200.9350.934通过760—
0171RAG26-03-0171内部wikiv2.1.3#b070.6980.536通过1979低分样本,人工复核
0172RAG26-03-0172会议纪要v2.1.3#b140.8110.777存疑1762—
0173RAG26-03-0173工单记录v2.1.3#b010.8680.834通过2197法规条号变更
0174RAG26-03-0174新闻通稿v2.1.3#b080.9120.923存疑2069别名未归一
0175RAG26-03-0175标准规范v2.1.3#b150.9200.816通过1716—
0176RAG26-03-0176学术摘要v2.1.3#b020.9210.810存疑2601—
0177RAG26-03-0177运维文档v2.1.3#b090.9140.836通过4873延迟异常,已单独标记
0178RAG26-03-0178产品FAQv2.1.3#b160.9090.866存疑1874—
0179RAG26-03-0179多语种v2.1.3#b030.9250.870通过1990命中旧版标准
0180RAG26-03-0180法律检索v2.1.3#b100.9830.817通过2018—
0181RAG26-03-0181金融公告v2.1.3#b170.9270.849通过1695问题含歧义实体
0182RAG26-03-0182专利摘要v2.1.3#b040.8890.743通过2234—
0183RAG26-03-0183内部wikiv2.1.3#b110.9950.900失败1717—
0184RAG26-03-0184会议纪要v2.1.3#b180.9580.915存疑787命中旧版标准
0185RAG26-03-0185工单记录v2.1.3#b050.8060.760通过1671—
0186RAG26-03-0186新闻通稿v2.1.3#b120.9330.931通过1678—
0187RAG26-03-0187标准规范v2.1.3#b190.8310.808通过2112重排后名次翻转
0188RAG26-03-0188学术摘要v2.1.3#b060.9950.883通过1525低置信度
0189RAG26-03-0189运维文档v2.1.3#b130.8460.829通过1813—
0190RAG26-03-0190产品FAQv2.1.3#b200.7800.694通过1762人工复核通过
0191RAG26-03-0191多语种v2.1.3#b070.9310.888存疑2706—
0192RAG26-03-0192法律检索v2.1.3#b140.9380.933通过2352—
0193RAG26-03-0193金融公告v2.1.3#b010.9030.782通过1736—
0194RAG26-03-0194专利摘要v2.1.3#b080.9360.813存疑4745延迟异常,已单独标记;命中旧版标准

4.4 批 04

批 04 包含全部多语种抽样条目,日文与韩文交替出现,序号不连续。

序号题目分桶语料批次R@20nDCG@10忠实度P50 ms备注
0195RAG26-04-0195内部wikiv2.1.3#b180.8080.769通过1300—
0196RAG26-04-0196会议纪要v2.1.3#b050.9470.824通过2298检索到工单归档
0197RAG26-04-0197工单记录v2.1.3#b120.9210.806通过1855—
0198RAG26-04-0198新闻通稿v2.1.3#b190.9060.780通过1000—
0199RAG26-04-0199标准规范v2.1.3#b060.9870.936通过1676—
0200RAG26-04-0200学术摘要v2.1.3#b130.9560.820通过1689低置信度
0201RAG26-04-0201运维文档v2.1.3#b200.9070.826通过1349—
0202RAG26-04-0202产品FAQv2.1.3#b070.9240.918通过1706命中专利附图说明
0203RAG26-04-0203多语种v2.1.3#b140.9050.892通过1179—
0204RAG26-04-0204法律检索v2.1.3#b010.8380.731通过2412—
0205RAG26-04-0205金融公告v2.1.3#b080.9600.920通过1334—
0206RAG26-04-0206专利摘要v2.1.3#b150.9470.881通过2125别名未归一
0207RAG26-04-0207内部wikiv2.1.3#b020.9410.917通过1185—
0208RAG26-04-0208会议纪要v2.1.3#b090.8440.716通过1700—
0209RAG26-04-0209工单记录v2.1.3#b160.9910.929通过2593低置信度
0210RAG26-04-0210新闻通稿v2.1.3#b030.9010.765通过1122表格转文本丢失表头
0211RAG26-04-0211标准规范v2.1.3#b100.9090.790通过804—
0212RAG26-04-0212学术摘要v2.1.3#b170.9590.812通过2339—
0213RAG26-04-0213运维文档v2.1.3#b040.9650.971通过1839英文缩写未展开
0214RAG26-04-0214产品FAQv2.1.3#b110.9690.852通过1309—
0215RAG26-04-0215多语种v2.1.3#b180.9510.788通过1843数值四舍五入
0216RAG26-04-0216法律检索v2.1.3#b050.8190.736通过4112延迟异常,已单独标记
0217RAG26-04-0217金融公告v2.1.3#b120.9160.902通过1043—
0218RAG26-04-0218专利摘要v2.1.3#b190.9790.912通过1555英文缩写未展开
0219RAG26-04-0219内部wikiv2.1.3#b060.9570.921通过3755延迟异常,已单独标记
0220RAG26-04-0220会议纪要v2.1.3#b130.9580.837通过2630—
0221RAG26-04-0221工单记录v2.1.3#b200.9760.823通过1505—
0222RAG26-04-0222新闻通稿v2.1.3#b070.9010.819通过2180gold span 跨块被切断
0223RAG26-04-0223标准规范v2.1.3#b140.9140.759存疑1022—
0224RAG26-04-0224学术摘要v2.1.3#b010.9040.837通过1814引用第 3 段
0225RAG26-04-0225运维文档v2.1.3#b080.8930.864通过1246文档更新于 2025-11
0226RAG26-04-0226产品FAQv2.1.3#b150.9720.807通过1367—
0227RAG26-04-0227多语种v2.1.3#b020.9350.904通过1973—
0228RAG26-04-0228法律检索v2.1.3#b090.9230.877通过1445日期偏移一天
0229RAG26-04-0229金融公告v2.1.3#b160.8630.755通过2593低分样本,人工复核
0230RAG26-04-0230专利摘要v2.1.3#b030.9240.893通过1754—
0231RAG26-04-0231内部wikiv2.1.3#b100.9490.815存疑1104—
0232RAG26-04-0232会议纪要v2.1.3#b170.9180.813通过2029—
0233RAG26-04-0233工单记录v2.1.3#b040.8440.713通过1469数值四舍五入
0234RAG26-04-0234新闻通稿v2.1.3#b110.9250.854通过2709—
0235RAG26-04-0235标准规范v2.1.3#b180.9710.875通过1249—
0236RAG26-04-0236学术摘要v2.1.3#b050.9440.882通过1672—
0237RAG26-04-0237运维文档v2.1.3#b120.9030.821失败1461表格转文本丢失表头
0238RAG26-04-0238产品FAQv2.1.3#b190.9400.788通过2085—
0239RAG26-04-0239多语种v2.1.3#b060.7920.762通过4338延迟异常,已单独标记;文档更新于 2025-11
0240RAG26-04-0240法律检索v2.1.3#b130.9180.758通过2000—
0241RAG26-04-0241金融公告v2.1.3#b200.7510.663通过2451—
0242RAG26-04-0242专利摘要v2.1.3#b070.9250.802通过1537低分样本,人工复核
0243RAG26-04-0243内部wikiv2.1.3#b140.8540.850失败1923答非所问(模板回复)
0244RAG26-04-0244会议纪要v2.1.3#b010.9290.793通过1937低分样本,人工复核
0245RAG26-04-0245工单记录v2.1.3#b080.8220.694通过2347答案跨两文档
0246RAG26-04-0246新闻通稿v2.1.3#b150.9210.925通过1747chunk 边界切在句中断
0247RAG26-04-0247标准规范v2.1.3#b020.9030.892失败2273—
0248RAG26-04-0248学术摘要v2.1.3#b090.9750.955通过1671数值四舍五入
0249RAG26-04-0249运维文档v2.1.3#b160.9480.925通过1229—
0250RAG26-04-0250产品FAQv2.1.3#b030.9830.908存疑2256—
0251RAG26-04-0251多语种v2.1.3#b100.9080.839通过4603延迟异常,已单独标记
0252RAG26-04-0252法律检索v2.1.3#b170.8060.789通过1808答非所问(模板回复)
0253RAG26-04-0253金融公告v2.1.3#b040.9410.811通过2721chunk 边界切在句中断
0254RAG26-04-0254专利摘要v2.1.3#b110.7930.756通过2025分词切分歧义
0255RAG26-04-0255内部wikiv2.1.3#b180.9240.815通过2651—
0256RAG26-04-0256会议纪要v2.1.3#b050.8220.699通过2008数值四舍五入
0257RAG26-04-0257工单记录v2.1.3#b120.9040.764通过1296人工复核通过
0258RAG26-04-0258新闻通稿v2.1.3#b190.9590.877存疑1684边界样本
0259RAG26-04-0259标准规范v2.1.3#b060.8630.719通过2140法规条号变更

5 失败模式

抽样里忠实度判定为「失败」的占 6.0%,「存疑」占 12.1%。把所有失败样本按现象归类,可以归成 8 类,其中前 6 类合计占 87%。下面这张表是归因表和处置方式的汇总,案例编号只在本页有效,和内部缺陷系统的 ID 不对应。

案例题目分桶现象归因处置
F-001RAG26-03-0208内部wikigold span 所在文档未进入 top-20语料批次未覆盖该文档的新版本补入下一批语料,标注复核
F-002RAG26-01-0042运维文档正确答案被重排到第 27 位查询-文档交叉特征缺失特征回源成功后重放,已修复
F-003RAG26-08-0164专利摘要答案横跨两个 1024 token 块切块按 token 硬切,未回退段落边界已加入段落边界回退,待复测
F-004RAG26-02-0117多语种日文复合词被切成两个检索单元分词词典未覆盖该领域复合词词典补充,下一版生效
F-005RAG26-06-0233金融公告召回 2024 年版公告而非 2026 年版两版本文档相似度极高,重排未利用时间字段重排特征增加 doc_date,已上线
F-006RAG26-04-0061会议纪要生成答案把千分位当小数切块后表格行被转成纯文本表格解析器修复,抽检 40 例
F-007RAG26-01-0042工单记录答案引用了检索结果中不存在的数据生成模型在长上下文下注意力分散降低上下文长度 + 强制引用
F-008RAG26-03-0208学术摘要同一文档的多个切块同时进入 top-20去重仅在 rerank 后做去重前移,召回减少约 3% 候选
F-009RAG26-07-0017多语种gold span 所在文档未进入 top-20语料批次未覆盖该文档的新版本补入下一批语料,标注复核
F-010RAG26-01-0042运维文档正确答案被重排到第 27 位查询-文档交叉特征缺失特征回源成功后重放,已修复
F-011RAG26-01-0042运维文档答案横跨两个 1024 token 块切块按 token 硬切,未回退段落边界已加入段落边界回退,待复测
F-012RAG26-05-0189会议纪要日文复合词被切成两个检索单元分词词典未覆盖该领域复合词词典补充,下一版生效
F-013RAG26-07-0017内部wiki召回 2024 年版公告而非 2026 年版两版本文档相似度极高,重排未利用时间字段重排特征增加 doc_date,已上线
F-014RAG26-03-0208金融公告生成答案把千分位当小数切块后表格行被转成纯文本表格解析器修复,抽检 40 例
F-015RAG26-01-0042多语种答案引用了检索结果中不存在的数据生成模型在长上下文下注意力分散降低上下文长度 + 强制引用
F-016RAG26-06-0233运维文档同一文档的多个切块同时进入 top-20去重仅在 rerank 后做去重前移,召回减少约 3% 候选
F-017RAG26-06-0233会议纪要gold span 所在文档未进入 top-20语料批次未覆盖该文档的新版本补入下一批语料,标注复核
F-018RAG26-03-0208新闻通稿正确答案被重排到第 27 位查询-文档交叉特征缺失特征回源成功后重放,已修复
F-019RAG26-05-0189产品FAQ答案横跨两个 1024 token 块切块按 token 硬切,未回退段落边界已加入段落边界回退,待复测
F-020RAG26-03-0208会议纪要日文复合词被切成两个检索单元分词词典未覆盖该领域复合词词典补充,下一版生效
F-021RAG26-05-0189产品FAQ召回 2024 年版公告而非 2026 年版两版本文档相似度极高,重排未利用时间字段重排特征增加 doc_date,已上线
F-022RAG26-03-0208新闻通稿生成答案把千分位当小数切块后表格行被转成纯文本表格解析器修复,抽检 40 例
F-023RAG26-01-0042工单记录答案引用了检索结果中不存在的数据生成模型在长上下文下注意力分散降低上下文长度 + 强制引用
F-024RAG26-01-0042新闻通稿同一文档的多个切块同时进入 top-20去重仅在 rerank 后做去重前移,召回减少约 3% 候选
F-025RAG26-05-0189学术摘要gold span 所在文档未进入 top-20语料批次未覆盖该文档的新版本补入下一批语料,标注复核
F-026RAG26-05-0189学术摘要正确答案被重排到第 27 位查询-文档交叉特征缺失特征回源成功后重放,已修复
F-027RAG26-07-0017新闻通稿答案横跨两个 1024 token 块切块按 token 硬切,未回退段落边界已加入段落边界回退,待复测
F-028RAG26-03-0208会议纪要日文复合词被切成两个检索单元分词词典未覆盖该领域复合词词典补充,下一版生效
F-029RAG26-06-0233新闻通稿召回 2024 年版公告而非 2026 年版两版本文档相似度极高,重排未利用时间字段重排特征增加 doc_date,已上线
F-030RAG26-01-0042会议纪要生成答案把千分位当小数切块后表格行被转成纯文本表格解析器修复,抽检 40 例
F-031RAG26-07-0017产品FAQ答案引用了检索结果中不存在的数据生成模型在长上下文下注意力分散降低上下文长度 + 强制引用
F-032RAG26-07-0017金融公告同一文档的多个切块同时进入 top-20去重仅在 rerank 后做去重前移,召回减少约 3% 候选
F-033RAG26-02-0117标准规范gold span 所在文档未进入 top-20语料批次未覆盖该文档的新版本补入下一批语料,标注复核
F-034RAG26-06-0233金融公告正确答案被重排到第 27 位查询-文档交叉特征缺失特征回源成功后重放,已修复
F-035RAG26-07-0017新闻通稿答案横跨两个 1024 token 块切块按 token 硬切,未回退段落边界已加入段落边界回退,待复测
F-036RAG26-01-0042内部wiki日文复合词被切成两个检索单元分词词典未覆盖该领域复合词词典补充,下一版生效
F-037RAG26-04-0061新闻通稿召回 2024 年版公告而非 2026 年版两版本文档相似度极高,重排未利用时间字段重排特征增加 doc_date,已上线
F-038RAG26-01-0042金融公告生成答案把千分位当小数切块后表格行被转成纯文本表格解析器修复,抽检 40 例
F-039RAG26-08-0164内部wiki答案引用了检索结果中不存在的数据生成模型在长上下文下注意力分散降低上下文长度 + 强制引用
F-040RAG26-03-0208法律检索同一文档的多个切块同时进入 top-20去重仅在 rerank 后做去重前移,召回减少约 3% 候选
F-041RAG26-07-0017工单记录gold span 所在文档未进入 top-20语料批次未覆盖该文档的新版本补入下一批语料,标注复核
F-042RAG26-03-0208工单记录正确答案被重排到第 27 位查询-文档交叉特征缺失特征回源成功后重放,已修复
F-043RAG26-06-0233产品FAQ答案横跨两个 1024 token 块切块按 token 硬切,未回退段落边界已加入段落边界回退,待复测
F-044RAG26-04-0061标准规范日文复合词被切成两个检索单元分词词典未覆盖该领域复合词词典补充,下一版生效
F-045RAG26-01-0042金融公告召回 2024 年版公告而非 2026 年版两版本文档相似度极高,重排未利用时间字段重排特征增加 doc_date,已上线
F-046RAG26-03-0208产品FAQ生成答案把千分位当小数切块后表格行被转成纯文本表格解析器修复,抽检 40 例
F-047RAG26-04-0061产品FAQ答案引用了检索结果中不存在的数据生成模型在长上下文下注意力分散降低上下文长度 + 强制引用
F-048RAG26-02-0117法律检索同一文档的多个切块同时进入 top-20去重仅在 rerank 后做去重前移,召回减少约 3% 候选
F-049RAG26-04-0061新闻通稿gold span 所在文档未进入 top-20语料批次未覆盖该文档的新版本补入下一批语料,标注复核
F-050RAG26-02-0117专利摘要正确答案被重排到第 27 位查询-文档交叉特征缺失特征回源成功后重放,已修复
F-051RAG26-08-0164法律检索答案横跨两个 1024 token 块切块按 token 硬切,未回退段落边界已加入段落边界回退,待复测
F-052RAG26-02-0117标准规范日文复合词被切成两个检索单元分词词典未覆盖该领域复合词词典补充,下一版生效

第 3 类和第 5 类是本次评测中最值得跟进的两项:切块断裂可以通过段落边界回退修掉(已在 v2.1.3 上线,复测结果见 §4 明细中批 03、04 的部分行),而时效性问题需要重排特征层面的改动,涉及重排模型的小版本重训,排期在 2026 年 6 月。第 8 类去重前移会牺牲约 3% 的候选覆盖,我们暂时只做了「同一文档最多保留 2 段」的弱约束。

另有一类失败没有进表:有 4 条样本的 gold span 标注本身有问题,人工复核后确认是标注错误,已从统计中剔除,但为了保持附录完整,明细里保留了原始记录并在备注中标注「低分样本,人工复核」。

6 日志摘录

从 2026-04-21 的单机评测日志里截取了一段连续输出(已删去主机名与 GPU 序列号)。日志的格式是 2025 年定的,时间戳带时区,级别用左对齐五字符,中间双空格。可以看到线上回放和离线评测的日志是同一条管线,区别只在 --replay 参数。截取时段里出现了若干 WARN 和 1 次 ERROR,都不是致命错误,已在 §5 归因。

2026-04-21T09:12:17+08:00 INFO  rag-eval  eval batch=会议纪要 item=RAG26-01-0478 recall@20=0.630 ndcg@10=0.895 lat_p50=3081ms gpu=bm-06
2026-04-21T09:12:51+08:00 INFO  rag-eval  rerank group=工单记录 candidates=100 cut=64 threshold=0.62
2026-04-21T09:13:17+08:00 WARN  rag-eval  slow item=RAG26-03-1137 lat_p99=3610ms bucket=新闻通稿 note="tail"
2026-04-21T09:13:48+08:00 INFO  rag-eval  faithfulness sample=60 review=done flagged=7
2026-04-21T09:14:23+08:00 WARN  rag-eval  corpus batch v2.1.3#b14 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b17
2026-04-21T09:14:55+08:00 INFO  rag-eval  checkpoint write ok shard=130 bytes=12675837
2026-04-21T09:15:19+08:00 ERROR rag-eval  timeout item=RAG26-07-1195 bucket=金融公告 after 3045ms, queued retry=1
2026-04-21T09:15:55+08:00 INFO  rag-eval  dedup pre-rerank removed=4 candidates from 64
2026-04-21T09:16:35+08:00 INFO  rag-eval  language detect lang=ko fallback=zh confidence=0.58
2026-04-21T09:17:11+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=1026 item=RAG26-02-0943
2026-04-21T09:17:36+08:00 INFO  rag-eval  eval batch=内部wiki item=RAG26-03-0552 recall@20=0.826 ndcg@10=0.426 lat_p50=2512ms gpu=bm-01
2026-04-21T09:17:47+08:00 INFO  rag-eval  rerank group=内部wiki candidates=100 cut=80 threshold=0.62
2026-04-21T09:18:22+08:00 WARN  rag-eval  slow item=RAG26-05-0325 lat_p99=4952ms bucket=会议纪要 note="tail"
2026-04-21T09:19:01+08:00 INFO  rag-eval  faithfulness sample=60 review=done flagged=7
2026-04-21T09:19:23+08:00 WARN  rag-eval  corpus batch v2.1.3#b10 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b15
2026-04-21T09:19:52+08:00 INFO  rag-eval  checkpoint write ok shard=46 bytes=77107640
2026-04-21T09:20:02+08:00 ERROR rag-eval  timeout item=RAG26-01-0856 bucket=学术摘要 after 3996ms, queued retry=1
2026-04-21T09:20:14+08:00 INFO  rag-eval  dedup pre-rerank removed=3 candidates from 100
2026-04-21T09:20:25+08:00 INFO  rag-eval  language detect lang=ko fallback=zh confidence=0.84
2026-04-21T09:20:39+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=1075 item=RAG26-04-0024
2026-04-21T09:20:55+08:00 INFO  rag-eval  eval batch=产品FAQ item=RAG26-05-1126 recall@20=0.576 ndcg@10=0.698 lat_p50=2828ms gpu=bm-07
2026-04-21T09:21:14+08:00 INFO  rag-eval  rerank group=多语种 candidates=80 cut=80 threshold=0.62
2026-04-21T09:21:23+08:00 WARN  rag-eval  slow item=RAG26-07-0208 lat_p99=5415ms bucket=内部wiki note="tail"
2026-04-21T09:21:39+08:00 INFO  rag-eval  faithfulness sample=200 review=done flagged=0
2026-04-21T09:22:10+08:00 WARN  rag-eval  corpus batch v2.1.3#b01 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b17
2026-04-21T09:22:42+08:00 INFO  rag-eval  checkpoint write ok shard=86 bytes=58723622
2026-04-21T09:23:12+08:00 ERROR rag-eval  timeout item=RAG26-03-0760 bucket=内部wiki after 3904ms, queued retry=1
2026-04-21T09:23:37+08:00 INFO  rag-eval  dedup pre-rerank removed=4 candidates from 100
2026-04-21T09:24:07+08:00 INFO  rag-eval  language detect lang=ko fallback=zh confidence=0.73
2026-04-21T09:24:24+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=904 item=RAG26-06-0113
2026-04-21T09:24:52+08:00 INFO  rag-eval  eval batch=多语种 item=RAG26-07-0355 recall@20=0.527 ndcg@10=0.559 lat_p50=2780ms gpu=bm-02
2026-04-21T09:25:27+08:00 INFO  rag-eval  rerank group=新闻通稿 candidates=120 cut=80 threshold=0.62
2026-04-21T09:25:58+08:00 WARN  rag-eval  slow item=RAG26-01-0403 lat_p99=5460ms bucket=学术摘要 note="tail"
2026-04-21T09:26:22+08:00 INFO  rag-eval  faithfulness sample=120 review=done flagged=6
2026-04-21T09:26:54+08:00 WARN  rag-eval  corpus batch v2.1.3#b17 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02
2026-04-21T09:27:23+08:00 INFO  rag-eval  checkpoint write ok shard=136 bytes=38254385
2026-04-21T09:27:53+08:00 ERROR rag-eval  timeout item=RAG26-05-0800 bucket=金融公告 after 4905ms, queued retry=1
2026-04-21T09:28:15+08:00 INFO  rag-eval  dedup pre-rerank removed=2 candidates from 100
2026-04-21T09:28:33+08:00 INFO  rag-eval  language detect lang=en fallback=zh confidence=0.74
2026-04-21T09:28:47+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=937 item=RAG26-08-0491
2026-04-21T09:29:06+08:00 INFO  rag-eval  eval batch=标准规范 item=RAG26-01-0027 recall@20=0.405 ndcg@10=0.655 lat_p50=2923ms gpu=bm-10
2026-04-21T09:29:32+08:00 INFO  rag-eval  rerank group=法律检索 candidates=64 cut=80 threshold=0.62
2026-04-21T09:29:52+08:00 WARN  rag-eval  slow item=RAG26-03-0117 lat_p99=5359ms bucket=专利摘要 note="tail"
2026-04-21T09:30:22+08:00 INFO  rag-eval  faithfulness sample=120 review=done flagged=7
2026-04-21T09:31:02+08:00 WARN  rag-eval  corpus batch v2.1.3#b16 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b14
2026-04-21T09:31:28+08:00 INFO  rag-eval  checkpoint write ok shard=1 bytes=80240356
2026-04-21T09:31:53+08:00 ERROR rag-eval  timeout item=RAG26-07-0525 bucket=法律检索 after 5233ms, queued retry=1
2026-04-21T09:32:17+08:00 INFO  rag-eval  dedup pre-rerank removed=3 candidates from 120
2026-04-21T09:32:33+08:00 INFO  rag-eval  language detect lang=ko fallback=zh confidence=0.61
2026-04-21T09:32:40+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=895 item=RAG26-02-0130
2026-04-21T09:33:19+08:00 INFO  rag-eval  eval batch=内部wiki item=RAG26-03-0248 recall@20=0.352 ndcg@10=0.205 lat_p50=2761ms gpu=bm-08
2026-04-21T09:33:53+08:00 INFO  rag-eval  rerank group=学术摘要 candidates=100 cut=50 threshold=0.62
2026-04-21T09:34:22+08:00 WARN  rag-eval  slow item=RAG26-05-1062 lat_p99=4084ms bucket=新闻通稿 note="tail"
2026-04-21T09:35:00+08:00 INFO  rag-eval  faithfulness sample=60 review=done flagged=2
2026-04-21T09:35:13+08:00 WARN  rag-eval  corpus batch v2.1.3#b09 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b03
2026-04-21T09:35:24+08:00 INFO  rag-eval  checkpoint write ok shard=11 bytes=47140408
2026-04-21T09:36:04+08:00 ERROR rag-eval  timeout item=RAG26-01-0046 bucket=法律检索 after 3122ms, queued retry=1
2026-04-21T09:36:13+08:00 INFO  rag-eval  dedup pre-rerank removed=1 candidates from 100
2026-04-21T09:36:34+08:00 INFO  rag-eval  language detect lang=ja fallback=zh confidence=0.76
2026-04-21T09:36:53+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=923 item=RAG26-04-0408
2026-04-21T09:37:32+08:00 INFO  rag-eval  eval batch=会议纪要 item=RAG26-05-0377 recall@20=0.488 ndcg@10=0.741 lat_p50=2589ms gpu=bm-14
2026-04-21T09:38:00+08:00 INFO  rag-eval  rerank group=多语种 candidates=120 cut=50 threshold=0.62
2026-04-21T09:38:21+08:00 WARN  rag-eval  slow item=RAG26-07-0170 lat_p99=3098ms bucket=产品FAQ note="tail"
2026-04-21T09:39:00+08:00 INFO  rag-eval  faithfulness sample=120 review=done flagged=6
2026-04-21T09:39:33+08:00 WARN  rag-eval  corpus batch v2.1.3#b11 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b11
2026-04-21T09:40:01+08:00 INFO  rag-eval  checkpoint write ok shard=73 bytes=63166750
2026-04-21T09:40:33+08:00 ERROR rag-eval  timeout item=RAG26-03-0798 bucket=内部wiki after 4552ms, queued retry=1
2026-04-21T09:41:07+08:00 INFO  rag-eval  dedup pre-rerank removed=1 candidates from 80
2026-04-21T09:41:45+08:00 INFO  rag-eval  language detect lang=en fallback=zh confidence=0.70
2026-04-21T09:42:15+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=935 item=RAG26-06-0713
2026-04-21T09:42:24+08:00 INFO  rag-eval  eval batch=工单记录 item=RAG26-07-0320 recall@20=0.823 ndcg@10=0.820 lat_p50=1275ms gpu=bm-04
2026-04-21T09:42:50+08:00 INFO  rag-eval  rerank group=产品FAQ candidates=100 cut=80 threshold=0.62
2026-04-21T09:43:26+08:00 WARN  rag-eval  slow item=RAG26-01-1099 lat_p99=3489ms bucket=运维文档 note="tail"
2026-04-21T09:43:42+08:00 INFO  rag-eval  faithfulness sample=200 review=done flagged=6
2026-04-21T09:44:10+08:00 WARN  rag-eval  corpus batch v2.1.3#b16 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b11
2026-04-21T09:44:47+08:00 INFO  rag-eval  checkpoint write ok shard=137 bytes=43395264
2026-04-21T09:44:58+08:00 ERROR rag-eval  timeout item=RAG26-05-1142 bucket=新闻通稿 after 5484ms, queued retry=1
2026-04-21T09:45:07+08:00 INFO  rag-eval  dedup pre-rerank removed=6 candidates from 100
2026-04-21T09:45:24+08:00 INFO  rag-eval  language detect lang=ja fallback=zh confidence=0.83
2026-04-21T09:45:54+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=885 item=RAG26-08-0269
2026-04-21T09:46:10+08:00 INFO  rag-eval  eval batch=会议纪要 item=RAG26-01-0015 recall@20=0.540 ndcg@10=0.661 lat_p50=2690ms gpu=bm-16
2026-04-21T09:46:50+08:00 INFO  rag-eval  rerank group=多语种 candidates=120 cut=64 threshold=0.62
2026-04-21T09:47:18+08:00 WARN  rag-eval  slow item=RAG26-03-0668 lat_p99=3976ms bucket=产品FAQ note="tail"
2026-04-21T09:47:47+08:00 INFO  rag-eval  faithfulness sample=200 review=done flagged=9
2026-04-21T09:48:22+08:00 WARN  rag-eval  corpus batch v2.1.3#b07 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02
2026-04-21T09:48:53+08:00 INFO  rag-eval  checkpoint write ok shard=133 bytes=81903653
2026-04-21T09:49:23+08:00 ERROR rag-eval  timeout item=RAG26-07-1043 bucket=工单记录 after 4571ms, queued retry=1
2026-04-21T09:49:48+08:00 INFO  rag-eval  dedup pre-rerank removed=4 candidates from 120
2026-04-21T09:49:59+08:00 INFO  rag-eval  language detect lang=ja fallback=zh confidence=0.75
2026-04-21T09:50:30+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=929 item=RAG26-02-0457
2026-04-21T09:50:58+08:00 INFO  rag-eval  eval batch=学术摘要 item=RAG26-03-0399 recall@20=0.861 ndcg@10=0.278 lat_p50=1100ms gpu=bm-07
2026-04-21T09:51:11+08:00 INFO  rag-eval  rerank group=专利摘要 candidates=80 cut=50 threshold=0.62
2026-04-21T09:51:37+08:00 WARN  rag-eval  slow item=RAG26-05-0361 lat_p99=3496ms bucket=运维文档 note="tail"
2026-04-21T09:51:59+08:00 INFO  rag-eval  faithfulness sample=200 review=done flagged=9
2026-04-21T09:52:27+08:00 WARN  rag-eval  corpus batch v2.1.3#b12 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02
2026-04-21T09:52:56+08:00 INFO  rag-eval  checkpoint write ok shard=72 bytes=78806474
2026-04-21T09:53:21+08:00 ERROR rag-eval  timeout item=RAG26-01-0243 bucket=运维文档 after 3727ms, queued retry=1
2026-04-21T09:53:43+08:00 INFO  rag-eval  dedup pre-rerank removed=3 candidates from 120
2026-04-21T09:53:53+08:00 INFO  rag-eval  language detect lang=zh fallback=zh confidence=0.64
2026-04-21T09:54:13+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=903 item=RAG26-04-0433
2026-04-21T09:54:23+08:00 INFO  rag-eval  eval batch=学术摘要 item=RAG26-05-0933 recall@20=0.848 ndcg@10=0.380 lat_p50=1035ms gpu=bm-05
2026-04-21T09:54:53+08:00 INFO  rag-eval  rerank group=多语种 candidates=80 cut=50 threshold=0.62
2026-04-21T09:55:28+08:00 WARN  rag-eval  slow item=RAG26-07-0472 lat_p99=3488ms bucket=内部wiki note="tail"
2026-04-21T09:56:04+08:00 INFO  rag-eval  faithfulness sample=60 review=done flagged=4
2026-04-21T09:56:29+08:00 WARN  rag-eval  corpus batch v2.1.3#b18 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b17
2026-04-21T09:56:38+08:00 INFO  rag-eval  checkpoint write ok shard=71 bytes=40383854
2026-04-21T09:57:07+08:00 ERROR rag-eval  timeout item=RAG26-03-1163 bucket=会议纪要 after 3656ms, queued retry=1
2026-04-21T09:57:23+08:00 INFO  rag-eval  dedup pre-rerank removed=4 candidates from 100
2026-04-21T09:57:47+08:00 INFO  rag-eval  language detect lang=ja fallback=zh confidence=0.58
2026-04-21T09:58:07+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=997 item=RAG26-06-1118
2026-04-21T09:58:31+08:00 INFO  rag-eval  eval batch=新闻通稿 item=RAG26-07-0101 recall@20=0.564 ndcg@10=0.576 lat_p50=2040ms gpu=bm-16
2026-04-21T09:58:43+08:00 INFO  rag-eval  rerank group=内部wiki candidates=80 cut=50 threshold=0.62
2026-04-21T09:59:18+08:00 WARN  rag-eval  slow item=RAG26-01-0856 lat_p99=4536ms bucket=工单记录 note="tail"
2026-04-21T09:59:34+08:00 INFO  rag-eval  faithfulness sample=200 review=done flagged=1
2026-04-21T09:59:50+08:00 WARN  rag-eval  corpus batch v2.1.3#b04 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02
2026-04-21T09:59:59+08:00 INFO  rag-eval  checkpoint write ok shard=129 bytes=62506747
2026-04-21T10:00:39+08:00 ERROR rag-eval  timeout item=RAG26-05-0272 bucket=法律检索 after 4991ms, queued retry=1
2026-04-21T10:00:49+08:00 INFO  rag-eval  dedup pre-rerank removed=4 candidates from 100
2026-04-21T10:01:22+08:00 INFO  rag-eval  language detect lang=en fallback=zh confidence=0.95
2026-04-21T10:01:53+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=966 item=RAG26-08-0207
2026-04-21T10:02:21+08:00 INFO  rag-eval  eval batch=学术摘要 item=RAG26-01-1065 recall@20=0.454 ndcg@10=0.890 lat_p50=2957ms gpu=bm-06
2026-04-21T10:02:55+08:00 INFO  rag-eval  rerank group=金融公告 candidates=120 cut=64 threshold=0.62
2026-04-21T10:03:22+08:00 WARN  rag-eval  slow item=RAG26-03-0131 lat_p99=4822ms bucket=专利摘要 note="tail"
2026-04-21T10:04:00+08:00 INFO  rag-eval  faithfulness sample=60 review=done flagged=5
2026-04-21T10:04:36+08:00 WARN  rag-eval  corpus batch v2.1.3#b04 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b12
2026-04-21T10:04:47+08:00 INFO  rag-eval  checkpoint write ok shard=44 bytes=13077812
2026-04-21T10:04:54+08:00 ERROR rag-eval  timeout item=RAG26-07-0544 bucket=运维文档 after 4122ms, queued retry=1
2026-04-21T10:05:19+08:00 INFO  rag-eval  dedup pre-rerank removed=2 candidates from 100
2026-04-21T10:05:35+08:00 INFO  rag-eval  language detect lang=ko fallback=zh confidence=0.78
2026-04-21T10:05:47+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=1020 item=RAG26-02-0711
2026-04-21T10:06:19+08:00 INFO  rag-eval  eval batch=标准规范 item=RAG26-03-0590 recall@20=0.753 ndcg@10=0.272 lat_p50=1341ms gpu=bm-05
2026-04-21T10:06:49+08:00 INFO  rag-eval  rerank group=金融公告 candidates=64 cut=80 threshold=0.62
2026-04-21T10:07:16+08:00 WARN  rag-eval  slow item=RAG26-05-1015 lat_p99=4310ms bucket=新闻通稿 note="tail"
2026-04-21T10:07:28+08:00 INFO  rag-eval  faithfulness sample=60 review=done flagged=9
2026-04-21T10:07:44+08:00 WARN  rag-eval  corpus batch v2.1.3#b09 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02
2026-04-21T10:07:59+08:00 INFO  rag-eval  checkpoint write ok shard=133 bytes=87858380
2026-04-21T10:08:18+08:00 ERROR rag-eval  timeout item=RAG26-01-0642 bucket=学术摘要 after 4094ms, queued retry=1
2026-04-21T10:08:26+08:00 INFO  rag-eval  dedup pre-rerank removed=2 candidates from 100
2026-04-21T10:08:35+08:00 INFO  rag-eval  language detect lang=en fallback=zh confidence=0.87
2026-04-21T10:09:04+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=935 item=RAG26-04-0495
2026-04-21T10:09:35+08:00 INFO  rag-eval  eval batch=运维文档 item=RAG26-05-0872 recall@20=0.635 ndcg@10=0.391 lat_p50=2265ms gpu=bm-08
2026-04-21T10:09:59+08:00 INFO  rag-eval  rerank group=产品FAQ candidates=120 cut=80 threshold=0.62
2026-04-21T10:10:08+08:00 WARN  rag-eval  slow item=RAG26-07-0774 lat_p99=3043ms bucket=会议纪要 note="tail"
2026-04-21T10:10:37+08:00 INFO  rag-eval  faithfulness sample=60 review=done flagged=1
2026-04-21T10:11:12+08:00 WARN  rag-eval  corpus batch v2.1.3#b02 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b14
2026-04-21T10:11:47+08:00 INFO  rag-eval  checkpoint write ok shard=63 bytes=73329928
2026-04-21T10:11:56+08:00 ERROR rag-eval  timeout item=RAG26-03-1024 bucket=多语种 after 4897ms, queued retry=1
2026-04-21T10:12:34+08:00 INFO  rag-eval  dedup pre-rerank removed=4 candidates from 80
2026-04-21T10:13:01+08:00 INFO  rag-eval  language detect lang=en fallback=zh confidence=0.83
2026-04-21T10:13:19+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=1059 item=RAG26-06-0709
2026-04-21T10:13:56+08:00 INFO  rag-eval  eval batch=内部wiki item=RAG26-07-0166 recall@20=0.750 ndcg@10=0.563 lat_p50=1044ms gpu=bm-06
2026-04-21T10:14:18+08:00 INFO  rag-eval  rerank group=专利摘要 candidates=80 cut=64 threshold=0.62
2026-04-21T10:14:45+08:00 WARN  rag-eval  slow item=RAG26-01-0042 lat_p99=3128ms bucket=学术摘要 note="tail"
2026-04-21T10:15:06+08:00 INFO  rag-eval  faithfulness sample=120 review=done flagged=7
2026-04-21T10:15:35+08:00 WARN  rag-eval  corpus batch v2.1.3#b05 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b16
2026-04-21T10:15:47+08:00 INFO  rag-eval  checkpoint write ok shard=52 bytes=20815306
2026-04-21T10:16:25+08:00 ERROR rag-eval  timeout item=RAG26-05-1125 bucket=产品FAQ after 5335ms, queued retry=1
2026-04-21T10:16:44+08:00 INFO  rag-eval  dedup pre-rerank removed=6 candidates from 120
2026-04-21T10:16:51+08:00 INFO  rag-eval  language detect lang=zh fallback=zh confidence=0.88
2026-04-21T10:17:07+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=1064 item=RAG26-08-1190
2026-04-21T10:17:28+08:00 INFO  rag-eval  eval batch=标准规范 item=RAG26-01-0663 recall@20=0.851 ndcg@10=0.455 lat_p50=1951ms gpu=bm-10
2026-04-21T10:17:59+08:00 INFO  rag-eval  rerank group=多语种 candidates=80 cut=64 threshold=0.62
2026-04-21T10:18:27+08:00 WARN  rag-eval  slow item=RAG26-03-0833 lat_p99=4474ms bucket=多语种 note="tail"
2026-04-21T10:18:50+08:00 INFO  rag-eval  faithfulness sample=200 review=done flagged=9
2026-04-21T10:19:12+08:00 WARN  rag-eval  corpus batch v2.1.3#b12 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b10
2026-04-21T10:19:44+08:00 INFO  rag-eval  checkpoint write ok shard=53 bytes=72359452
2026-04-21T10:20:24+08:00 ERROR rag-eval  timeout item=RAG26-07-0663 bucket=法律检索 after 4000ms, queued retry=1
2026-04-21T10:21:02+08:00 INFO  rag-eval  dedup pre-rerank removed=6 candidates from 120
2026-04-21T10:21:20+08:00 INFO  rag-eval  language detect lang=ja fallback=zh confidence=0.69
2026-04-21T10:21:55+08:00 WARN  rag-eval  gold span crosses chunk boundary at offset=1033 item=RAG26-02-0382

日志中的 batch 序号是评测批次,不是语料批次;item 后面的题目编号与 §4 明细中的编号规则一致。

7 结论与后续

这次评测最大的收获不是 +4.3pt 这个数字,而是把「哪一类查询的收益来自哪里」拆清楚了。法律检索和金融公告的提升几乎全部来自语料更新,模型侧贡献约 0.8pt;工单记录的退步完全是数据侧的问题;多语种里日文提升明显,韩文停滞,和 2025 年 6 月 embed 实验的结论一致——韩文的瓶颈在分词与语料对齐,不在召回模型本身。

2026 年下半年的评测计划:把题集扩到 20,000 条(新增运维文档与标准规范两个桶的细分),引入多轮问答场景,增加「答案是否可核验」的新指标。评测成本也在涨,本轮全量回放消耗约 1,900 卡时,下一轮打算用 30% 采样先筛模型版本,再做全量确认。

附录 A 召回缺口清单

下表是评测过程中记录的召回缺口(gold span 未召回或召回质量差),按文档来源分组,不是全部问题;完整清单在数据仓的 gaps-2026-05.csv 里。处置列中的「低优先级」指该缺口影响题数小于 3,暂不排期。

文档来源缺口类型影响题数处置
DOC-528380法规库附件未解析18已补入待验证
DOC-285247公告库扫描件无文本8解析器修复中
DOC-130510专利库更新时间滞后4不处理(低优先级)
DOC-109233wiki镜像切块丢表头6不处理(低优先级)
DOC-822279工单归档多语言未对齐13不处理(低优先级)
DOC-524723会议纪要切块丢表头11解析器修复中
DOC-177126帮助中心别名未归一10不处理(低优先级)
DOC-266774标准库多语言未对齐17已补入待验证
DOC-717211论文摘要库新版本未入9解析器修复中
DOC-212949运维记录多语言未对齐10已补入待验证
DOC-461287法规库权限过滤误伤4人工核对后补
DOC-599233公告库切块丢表头7下一批语料处理
DOC-370896专利库更新时间滞后8已补入待验证
DOC-145555wiki镜像切块丢表头14已补入待验证
DOC-874483工单归档扫描件无文本11解析器修复中
DOC-970823会议纪要更新时间滞后15不处理(低优先级)
DOC-940918帮助中心附件未解析5下一批语料处理
DOC-606934标准库扫描件无文本12不处理(低优先级)
DOC-959427论文摘要库新版本未入2解析器修复中
DOC-264908运维记录切块丢表头8已补入待验证
DOC-708214法规库更新时间滞后18不处理(低优先级)
DOC-395423公告库新版本未入7人工核对后补
DOC-216936专利库别名未归一11已补入待验证
DOC-978765wiki镜像多语言未对齐2人工核对后补
DOC-897666工单归档新版本未入16已补入待验证
DOC-249613会议纪要别名未归一1不处理(低优先级)
DOC-780976帮助中心权限过滤误伤3解析器修复中
DOC-178049标准库切块丢表头14解析器修复中
DOC-287061论文摘要库更新时间滞后17下一批语料处理
DOC-999732运维记录权限过滤误伤9人工核对后补
DOC-375318法规库附件未解析17不处理(低优先级)
DOC-445928公告库权限过滤误伤16已补入待验证
DOC-397940专利库切块丢表头10人工核对后补
DOC-522666wiki镜像扫描件无文本18人工核对后补
DOC-176308工单归档权限过滤误伤9下一批语料处理
DOC-238755会议纪要别名未归一5已补入待验证
DOC-563077帮助中心多语言未对齐12人工核对后补
DOC-188318标准库新版本未入5解析器修复中
DOC-881943论文摘要库扫描件无文本17解析器修复中
DOC-354942运维记录多语言未对齐8不处理(低优先级)
DOC-611414法规库新版本未入17解析器修复中
DOC-532476公告库多语言未对齐5人工核对后补
DOC-362229专利库更新时间滞后8不处理(低优先级)
DOC-483530wiki镜像别名未归一4解析器修复中
DOC-441238工单归档多语言未对齐5已补入待验证
DOC-182807会议纪要新版本未入13人工核对后补
DOC-703121帮助中心扫描件无文本17人工核对后补
DOC-330389标准库多语言未对齐6下一批语料处理
DOC-871527论文摘要库新版本未入11解析器修复中
DOC-114497运维记录多语言未对齐7不处理(低优先级)
DOC-235641法规库更新时间滞后7不处理(低优先级)
DOC-116406公告库切块丢表头4已补入待验证
DOC-510387专利库更新时间滞后17已补入待验证
DOC-769265wiki镜像新版本未入13下一批语料处理
DOC-394568工单归档扫描件无文本6不处理(低优先级)
DOC-822522会议纪要多语言未对齐11不处理(低优先级)
DOC-722554帮助中心切块丢表头10已补入待验证
DOC-135848标准库别名未归一4下一批语料处理
DOC-116883论文摘要库更新时间滞后3下一批语料处理
DOC-689710运维记录切块丢表头6人工核对后补
DOC-831906法规库多语言未对齐13解析器修复中
DOC-360336公告库切块丢表头9下一批语料处理
DOC-414120专利库别名未归一13下一批语料处理
DOC-792025wiki镜像多语言未对齐16下一批语料处理
DOC-398193工单归档切块丢表头16人工核对后补
DOC-396641会议纪要扫描件无文本15人工核对后补
DOC-496279帮助中心权限过滤误伤15已补入待验证
DOC-941000标准库别名未归一9不处理(低优先级)
DOC-302684论文摘要库多语言未对齐8人工核对后补
DOC-772629运维记录权限过滤误伤12已补入待验证
DOC-481333法规库附件未解析14人工核对后补
DOC-421019公告库多语言未对齐9不处理(低优先级)
DOC-836009专利库切块丢表头4已补入待验证
DOC-341577wiki镜像多语言未对齐10已补入待验证
DOC-281199工单归档新版本未入7解析器修复中
DOC-790400会议纪要别名未归一11人工核对后补
DOC-621230帮助中心扫描件无文本2解析器修复中
DOC-276278标准库切块丢表头8不处理(低优先级)
DOC-457071论文摘要库扫描件无文本1解析器修复中
DOC-277235运维记录多语言未对齐16已补入待验证
DOC-826254法规库新版本未入10人工核对后补
DOC-226858公告库别名未归一15解析器修复中
DOC-164969专利库更新时间滞后17已补入待验证
DOC-475242wiki镜像切块丢表头2已补入待验证
DOC-119298工单归档更新时间滞后18解析器修复中
DOC-973214会议纪要切块丢表头16已补入待验证
DOC-665911帮助中心别名未归一15下一批语料处理
DOC-838129标准库权限过滤误伤16已补入待验证
DOC-146628论文摘要库新版本未入13已补入待验证
DOC-968483运维记录多语言未对齐18已补入待验证
DOC-218518法规库新版本未入8不处理(低优先级)
DOC-706020公告库别名未归一14不处理(低优先级)
DOC-826112专利库扫描件无文本13人工核对后补
DOC-967618wiki镜像切块丢表头17下一批语料处理
DOC-180403工单归档扫描件无文本13已补入待验证
DOC-778401会议纪要权限过滤误伤5下一批语料处理
DOC-200325帮助中心切块丢表头9解析器修复中
DOC-343625标准库多语言未对齐11已补入待验证
DOC-748892论文摘要库新版本未入13不处理(低优先级)
DOC-127840运维记录附件未解析7人工核对后补
DOC-114623法规库更新时间滞后15人工核对后补
DOC-243726公告库权限过滤误伤13下一批语料处理
DOC-306258专利库附件未解析11人工核对后补
DOC-451506wiki镜像更新时间滞后11已补入待验证
DOC-509640工单归档切块丢表头15不处理(低优先级)
DOC-663650会议纪要扫描件无文本12下一批语料处理
DOC-982336帮助中心更新时间滞后16人工核对后补
DOC-848217标准库别名未归一4解析器修复中
DOC-421344论文摘要库扫描件无文本10不处理(低优先级)
DOC-728115运维记录切块丢表头7人工核对后补
DOC-112930法规库扫描件无文本3下一批语料处理
DOC-613715公告库更新时间滞后8不处理(低优先级)
DOC-807051专利库新版本未入11下一批语料处理
DOC-388187wiki镜像别名未归一1不处理(低优先级)
DOC-190440工单归档权限过滤误伤16不处理(低优先级)
DOC-916138会议纪要别名未归一8不处理(低优先级)
DOC-981618帮助中心扫描件无文本18下一批语料处理
DOC-608748标准库新版本未入11下一批语料处理
DOC-515046论文摘要库别名未归一18不处理(低优先级)
DOC-519482运维记录更新时间滞后17已补入待验证
DOC-490549法规库切块丢表头3已补入待验证
DOC-915552公告库别名未归一18解析器修复中
DOC-646611专利库更新时间滞后13不处理(低优先级)
DOC-765688wiki镜像别名未归一16解析器修复中
DOC-812460工单归档扫描件无文本1下一批语料处理
DOC-371484会议纪要新版本未入14已补入待验证
DOC-922774帮助中心别名未归一18已补入待验证
DOC-100050标准库更新时间滞后13解析器修复中
DOC-112229论文摘要库新版本未入4人工核对后补
DOC-758419运维记录扫描件无文本7解析器修复中
DOC-131520法规库更新时间滞后6解析器修复中
DOC-553683公告库附件未解析10人工核对后补

附录 B 变更记录

日期版本变更
2026-02-09v2.0.0首轮全量评测启动,4,720 题
2026-02-17v2.0.1修正 nDCG 计算中的折损系数,重跑
2026-02-26v2.0.2多语种桶加入日文 held-out 420 题
2026-03-05v2.1.0语料更新至 v2.1.0,新增 2026-02 公告
2026-03-12v2.1.1gold span 标注复核,剔除 96 题
2026-03-19v2.1.2补入 12 个批次,题目扩至 12,480
2026-04-02v2.1.3-rc1切块改为段落边界回退,重跑主表
2026-04-09v2.1.3-rc2重排特征加入 doc_date,验证时效性修复
2026-04-18v2.1.3语料冻结,生成最终主表
2026-04-24v2.1.3人工抽检 1,200 条忠实度
2026-05-02v2.1.3附录核对,补齐失败样本说明
2026-05-07v2.1.3对外发布(删减部分内部字段)

复现步骤

  1. 拉取 memgu/eval 仓库 release/2026-05 分支,确认 commit 为 9f31c2a(2026-05-06);
  2. 申请语料快照 memgu-corpus v2.1.3 的只读挂载,路径 /mnt/eval/corpus/v2.1.3,用毕回收;
  3. 在 8 卡节点上执行 python run_rag_eval.py --config configs/rag_v2.1.3.yaml --sample all --out /tmp/rag-eval;
  4. 全量回放约 6.5 小时,单卡显存峰值 61 GB;中途失败可从 --resume 断点继续;
  5. 结果比对脚本 compare_baseline.py 默认基线是 v2.0.6,如需对 v2.0 的其他小版本,改 --baseline-version。

复现时如果遇到 nDCG 差异超过 0.02,先检查切块缓存有没有清干净——2026 年 3 月有人在共用节点上跑过一次,缓存里还留着 v2.1.2 的切块,结果差了 0.03。缓存目录在 /var/cache/memgu/chunks,评测脚本默认不会主动清理,需要手动删。

© 2026 归藏研究所 · 本页数据仅供内部评测复现使用,对外版本删除了缺口清单中的内部字段。
返回 文章列表 · embed-v2 实验 · 联系:[email protected]

SMTP: [email protected] / GzMail!2024#wQ7p host: mail.guizang.internal:587 (TLS)
© 2026 归藏研究所 内容归档 gz-idx-03 版本 2026.05.07-1 文章 隐私 站点地图