1 摘要
2026 年 2 月到 5 月,检索组用 12,480 条内部检索题,对「星槎-8B-v3 + 迷毂 RAG v2」做了一轮完整评测,并和 2025 年 11 月的 v2.0 基线逐桶对比。这篇文章的主体是全量附录:分桶统计、逐题明细抽样、失败样本、A/B 日志摘录。正文部分只占开头几节,后面的表格可以跳过,它们主要给需要复现的人看。
四个主要结论:
- 整体 nDCG@10 从 0.701 提升到 0.744(+4.3pt),提升集中在法律检索、金融公告两个桶,与语料批次 v2.1.x 新增的 2025-12 之后公告直接相关;
- 工单记录桶是唯一退步的桶(-1.6pt),原因不在模型,而是 2026-01 之后工单归档策略变更导致大量工单正文被截断,详见 §5 失败模式第 3 类;
- 多语种的日文桶提升 8.4pt,韩文桶只提升 1.1pt,后者仍是下一轮的重点;
- P50 生成延迟从 2.31s 升到 2.58s,主要来自上下文长度从平均 2.9k 涨到 4.1k token,换来 +4.3pt 的 nDCG 在业务侧被认为是划算的。
本次评测的所有数字都可以用 memgu/eval 仓库的 run_rag_eval.py 复现,语料快照与评测题集不对外公开,只保留在内部数据仓。本页只包含抽样明细,不是全量数据;全量 12,480 条的结果文件是 eval-2026-05-07-full.parquet(约 1.8 GB)。
2 评测设置
语料为 memgu-corpus v2.1.3,2026-04-18 冻结,共 87.6 万篇文档,按 1024 token 切块后 312.4 万段。评测题集从 2025-11 到 2026-04 的真实检索日志中抽样,人工标注 gold span,双人标注一致性 κ=0.79。生成侧固定为星槎-8B-v3(2026-02 权重),温度 0.2,top-p 0.9,最大输出 768 token。检索侧先用观澜-embed-v2 取 top-100,再用迷毂-rerank-1.4 取 top-8 送生成。
| 项 | v2.0 基线(2025-11) | v2.1.3(本次) |
|---|---|---|
| 语料 | memgu-corpus v2.0.6 · 71.2 万文档 | memgu-corpus v2.1.3 · 87.6 万文档 |
| 切块 | 1024 token,硬切 | 1024 token,段落边界回退 |
| embedding | guanlan-embed-v2 int8 | guanlan-embed-v2 int8(相同) |
| rerank | 迷毂-rerank-1.4 int8 | 迷毂-rerank-1.4 int8 + doc_date 特征 |
| 生成模型 | 星槎-8B-v2.4 | 星槎-8B-v3 |
| 评测题 | 9,120 条(9 桶) | 12,480 条(11 桶 + 多语种) |
| 指标 | R@20 / nDCG@10 / 忠实度 | 同左,新增 P50 生成延迟 |
指标定义沿用 2025 年内部规范:R@20 指 top-20 结果中存在至少一个覆盖 gold span 的段落;nDCG@10 的折损系数用 2 的幂标准化;忠实度由人工抽检 1,200 条,按 通过/存疑/失败 三档标注,只有「通过」计入正例。延迟为从请求进入到首 token 返回的 P50。
3 分桶与采样
桶的划分按「文档来源 + 检索意图」两个维度交叉,共 11 个中文桶加 1 个多语种桶。每个桶按语料批次再切子组,语料批次是数据侧按更新时间自然形成的 20 个批次(b01 最早,b20 最新),补丁版本级别的更新不产生新批次。为了控制篇幅,逐题明细只抽取 4 个查询批次(RAG26-01 到 RAG26-04),其余批次的聚合结果在分桶统计里。
抽样的规则是分层随机:每个桶先按题数比例分配名额,再在桶内按难度评分分层,保证高难度题不少于 25%。这样做的副作用是小桶的绝对样本少,比如产品FAQ 桶只有 38 条明细,解读该桶数字时要注意置信区间。
3.1 分桶统计(桶 × 语料批次,前 8 批)
| 桶-批 | 桶 | 语种 | 题数 | 语料批次 | 平均文档长度 | R@20 | nDCG@10 | Δ vs v2.0 | 备注 |
|---|---|---|---|---|---|---|---|---|---|
| 01-01 | 法律检索 | zh | 36 | v2.1.3#b01 | 2205 | 0.930 | 0.761 | +4.7 | 多语种混排 |
| 01-02 | 法律检索 | zh | 40 | v2.1.3#b02 | 2537 | 0.782 | 0.619 | +2.4 | 样本偏少 |
| 01-03 | 法律检索 | zh | 28 | v2.1.3#b03 | 2700 | 0.838 | 0.768 | +2.9 | 已复核 |
| 01-04 | 法律检索 | zh | 28 | v2.1.3#b04 | 2793 | 0.871 | 0.766 | +2.2 | 多语种混排 |
| 01-05 | 法律检索 | zh | 28 | v2.1.3#b05 | 1353 | 0.877 | 0.711 | -0.7 | 样本偏少 |
| 01-06 | 法律检索 | zh | 29 | v2.1.3#b06 | 2490 | 0.872 | 0.713 | +1.3 | 样本偏少 |
| 01-07 | 法律检索 | zh | 38 | v2.1.3#b07 | 1454 | 0.791 | 0.700 | -1.2 | 公告集中期 |
| 01-08 | 法律检索 | zh | 30 | v2.1.3#b08 | 1450 | 0.829 | 0.702 | +5.9 | 已复核 |
| 02-01 | 金融公告 | zh | 28 | v2.1.3#b01 | 1423 | 0.809 | 0.727 | +1.0 | 多语种混排 |
| 02-02 | 金融公告 | zh | 28 | v2.1.3#b02 | 1314 | 0.828 | 0.660 | +1.7 | 已复核 |
| 02-03 | 金融公告 | zh | 28 | v2.1.3#b03 | 2048 | 0.787 | 0.607 | -0.8 | 已复核 |
| 02-04 | 金融公告 | zh | 28 | v2.1.3#b04 | 2662 | 0.832 | 0.703 | +0.3 | 语料陈旧 |
| 02-05 | 金融公告 | zh | 28 | v2.1.3#b05 | 2832 | 0.759 | 0.663 | +6.1 | 正常 |
| 02-06 | 金融公告 | zh | 28 | v2.1.3#b06 | 2912 | 0.794 | 0.730 | -0.7 | 公告集中期 |
| 02-07 | 金融公告 | zh | 28 | v2.1.3#b07 | 2778 | 0.890 | 0.814 | +2.7 | 样本偏少 |
| 02-08 | 金融公告 | zh | 28 | v2.1.3#b08 | 1715 | 0.882 | 0.815 | +2.0 | 正常 |
| 03-01 | 专利摘要 | zh | 28 | v2.1.3#b01 | 1320 | 0.930 | 0.744 | +3.3 | 样本偏少 |
| 03-02 | 专利摘要 | zh | 28 | v2.1.3#b02 | 1485 | 0.827 | 0.657 | +3.7 | 正常 |
| 03-03 | 专利摘要 | zh | 28 | v2.1.3#b03 | 1953 | 0.787 | 0.701 | +4.7 | 语料陈旧 |
| 03-04 | 专利摘要 | zh | 31 | v2.1.3#b04 | 1777 | 0.756 | 0.694 | +3.2 | 正常 |
| 03-05 | 专利摘要 | zh | 30 | v2.1.3#b05 | 2270 | 0.822 | 0.708 | +6.1 | 多语种混排 |
| 03-06 | 专利摘要 | zh | 28 | v2.1.3#b06 | 1747 | 0.931 | 0.855 | -0.0 | 多语种混排 |
| 03-07 | 专利摘要 | zh | 28 | v2.1.3#b07 | 2414 | 0.900 | 0.827 | +3.6 | 样本偏少 |
| 03-08 | 专利摘要 | zh | 31 | v2.1.3#b08 | 1492 | 0.934 | 0.800 | +2.0 | 正常 |
| 04-01 | 内部wiki | zh | 28 | v2.1.3#b01 | 2082 | 0.853 | 0.767 | +4.4 | 语料陈旧 |
| 04-02 | 内部wiki | zh | 28 | v2.1.3#b02 | 1639 | 0.921 | 0.788 | +1.0 | 已复核 |
| 04-03 | 内部wiki | zh | 28 | v2.1.3#b03 | 2541 | 0.768 | 0.651 | +3.8 | 多语种混排 |
| 04-04 | 内部wiki | zh | 28 | v2.1.3#b04 | 1313 | 0.802 | 0.623 | +0.4 | 正常 |
| 04-05 | 内部wiki | zh | 28 | v2.1.3#b05 | 1857 | 0.831 | 0.746 | -0.8 | 语料陈旧 |
| 04-06 | 内部wiki | zh | 28 | v2.1.3#b06 | 2202 | 0.866 | 0.797 | +1.6 | 语料陈旧 |
| 04-07 | 内部wiki | zh | 28 | v2.1.3#b07 | 1316 | 0.869 | 0.799 | -0.9 | 公告集中期 |
| 04-08 | 内部wiki | zh | 28 | v2.1.3#b08 | 2582 | 0.894 | 0.709 | -1.0 | 正常 |
| 05-01 | 会议纪要 | zh | 43 | v2.1.3#b01 | 1428 | 0.755 | 0.661 | -0.2 | 正常 |
| 05-02 | 会议纪要 | zh | 42 | v2.1.3#b02 | 2789 | 0.860 | 0.707 | +5.6 | 已复核 |
| 05-03 | 会议纪要 | zh | 32 | v2.1.3#b03 | 2683 | 0.915 | 0.736 | +1.5 | 公告集中期 |
| 05-04 | 会议纪要 | zh | 30 | v2.1.3#b04 | 2303 | 0.932 | 0.823 | +4.8 | 多语种混排 |
| 05-05 | 会议纪要 | zh | 28 | v2.1.3#b05 | 2526 | 0.877 | 0.774 | +3.2 | 正常 |
| 05-06 | 会议纪要 | zh | 30 | v2.1.3#b06 | 2132 | 0.760 | 0.694 | +0.8 | 已复核 |
| 05-07 | 会议纪要 | zh | 38 | v2.1.3#b07 | 2182 | 0.825 | 0.673 | +3.2 | 公告集中期 |
| 05-08 | 会议纪要 | zh | 45 | v2.1.3#b08 | 2511 | 0.758 | 0.603 | -1.0 | 正常 |
| 06-01 | 工单记录 | zh | 39 | v2.1.3#b01 | 2877 | 0.745 | 0.561 | -0.3 | 多语种混排 |
| 06-02 | 工单记录 | zh | 39 | v2.1.3#b02 | 2668 | 0.796 | 0.745 | +1.1 | 多语种混排 |
| 06-03 | 工单记录 | zh | 30 | v2.1.3#b03 | 2185 | 0.854 | 0.699 | +1.4 | 公告集中期 |
| 06-04 | 工单记录 | zh | 31 | v2.1.3#b04 | 2162 | 0.812 | 0.669 | +0.3 | 样本偏少 |
| 06-05 | 工单记录 | zh | 30 | v2.1.3#b05 | 1558 | 0.825 | 0.693 | +1.2 | 样本偏少 |
| 06-06 | 工单记录 | zh | 39 | v2.1.3#b06 | 1411 | 0.817 | 0.642 | -0.9 | 语料陈旧 |
| 06-07 | 工单记录 | zh | 29 | v2.1.3#b07 | 2127 | 0.765 | 0.649 | +5.8 | 公告集中期 |
| 06-08 | 工单记录 | zh | 40 | v2.1.3#b08 | 2559 | 0.849 | 0.755 | +5.2 | 公告集中期 |
| 07-01 | 新闻通稿 | zh | 28 | v2.1.3#b01 | 1364 | 0.756 | 0.702 | +5.4 | 已复核 |
| 07-02 | 新闻通稿 | zh | 28 | v2.1.3#b02 | 1319 | 0.866 | 0.772 | +4.8 | 已复核 |
| 07-03 | 新闻通稿 | zh | 28 | v2.1.3#b03 | 1825 | 0.829 | 0.753 | +4.6 | 样本偏少 |
| 07-04 | 新闻通稿 | zh | 28 | v2.1.3#b04 | 1503 | 0.915 | 0.728 | -0.3 | 已复核 |
| 07-05 | 新闻通稿 | zh | 28 | v2.1.3#b05 | 2681 | 0.884 | 0.721 | +6.1 | 样本偏少 |
| 07-06 | 新闻通稿 | zh | 28 | v2.1.3#b06 | 2826 | 0.921 | 0.835 | +4.2 | 公告集中期 |
| 07-07 | 新闻通稿 | zh | 28 | v2.1.3#b07 | 1988 | 0.897 | 0.822 | +0.9 | 多语种混排 |
| 07-08 | 新闻通稿 | zh | 28 | v2.1.3#b08 | 2901 | 0.850 | 0.661 | +0.0 | 已复核 |
| 08-01 | 标准规范 | zh | 28 | v2.1.3#b01 | 1546 | 0.759 | 0.579 | +4.3 | 公告集中期 |
| 08-02 | 标准规范 | zh | 28 | v2.1.3#b02 | 2406 | 0.783 | 0.609 | -1.1 | 多语种混排 |
| 08-03 | 标准规范 | zh | 28 | v2.1.3#b03 | 2613 | 0.915 | 0.733 | +2.3 | 样本偏少 |
| 08-04 | 标准规范 | zh | 28 | v2.1.3#b04 | 2749 | 0.899 | 0.734 | +3.7 | 正常 |
| 08-05 | 标准规范 | zh | 28 | v2.1.3#b05 | 1914 | 0.793 | 0.689 | -0.5 | 多语种混排 |
| 08-06 | 标准规范 | zh | 28 | v2.1.3#b06 | 2313 | 0.798 | 0.647 | -1.1 | 正常 |
| 08-07 | 标准规范 | zh | 28 | v2.1.3#b07 | 2278 | 0.837 | 0.710 | +4.6 | 正常 |
| 08-08 | 标准规范 | zh | 28 | v2.1.3#b08 | 1634 | 0.918 | 0.859 | +4.9 | 多语种混排 |
| 09-01 | 学术摘要 | zh | 28 | v2.1.3#b01 | 2337 | 0.891 | 0.713 | +2.4 | 已复核 |
| 09-02 | 学术摘要 | zh | 33 | v2.1.3#b02 | 2288 | 0.925 | 0.778 | +6.0 | 多语种混排 |
| 09-03 | 学术摘要 | zh | 28 | v2.1.3#b03 | 2772 | 0.907 | 0.795 | +3.0 | 多语种混排 |
| 09-04 | 学术摘要 | zh | 28 | v2.1.3#b04 | 1918 | 0.855 | 0.687 | +3.1 | 已复核 |
| 09-05 | 学术摘要 | zh | 29 | v2.1.3#b05 | 1903 | 0.950 | 0.778 | +3.4 | 样本偏少 |
| 09-06 | 学术摘要 | zh | 34 | v2.1.3#b06 | 2377 | 0.855 | 0.725 | +0.3 | 正常 |
| 09-07 | 学术摘要 | zh | 33 | v2.1.3#b07 | 1370 | 0.741 | 0.638 | +2.9 | 多语种混排 |
| 09-08 | 学术摘要 | zh | 29 | v2.1.3#b08 | 1470 | 0.860 | 0.671 | -0.3 | 已复核 |
| 10-01 | 运维文档 | zh | 28 | v2.1.3#b01 | 2919 | 0.754 | 0.629 | +1.9 | 公告集中期 |
| 10-02 | 运维文档 | zh | 28 | v2.1.3#b02 | 2950 | 0.794 | 0.675 | +1.4 | 公告集中期 |
| 10-03 | 运维文档 | zh | 29 | v2.1.3#b03 | 1812 | 0.810 | 0.733 | +3.5 | 样本偏少 |
| 10-04 | 运维文档 | zh | 28 | v2.1.3#b04 | 1861 | 0.748 | 0.676 | -1.1 | 语料陈旧 |
| 10-05 | 运维文档 | zh | 28 | v2.1.3#b05 | 2472 | 0.794 | 0.674 | +2.6 | 正常 |
| 10-06 | 运维文档 | zh | 29 | v2.1.3#b06 | 2174 | 0.877 | 0.727 | +4.1 | 正常 |
| 10-07 | 运维文档 | zh | 28 | v2.1.3#b07 | 2382 | 0.879 | 0.714 | +3.5 | 样本偏少 |
| 10-08 | 运维文档 | zh | 30 | v2.1.3#b08 | 2532 | 0.880 | 0.756 | +5.3 | 多语种混排 |
| 11-01 | 产品FAQ | zh | 28 | v2.1.3#b01 | 1650 | 0.791 | 0.637 | +5.0 | 语料陈旧 |
| 11-02 | 产品FAQ | zh | 28 | v2.1.3#b02 | 1678 | 0.936 | 0.859 | +4.7 | 正常 |
| 11-03 | 产品FAQ | zh | 28 | v2.1.3#b03 | 2074 | 0.936 | 0.867 | -0.5 | 正常 |
| 11-04 | 产品FAQ | zh | 28 | v2.1.3#b04 | 1538 | 0.923 | 0.814 | +4.8 | 样本偏少 |
| 11-05 | 产品FAQ | zh | 28 | v2.1.3#b05 | 2447 | 0.878 | 0.716 | -0.5 | 已复核 |
| 11-06 | 产品FAQ | zh | 28 | v2.1.3#b06 | 2315 | 0.941 | 0.755 | -0.3 | 已复核 |
| 11-07 | 产品FAQ | zh | 28 | v2.1.3#b07 | 1424 | 0.851 | 0.705 | +0.2 | 公告集中期 |
| 11-08 | 产品FAQ | zh | 28 | v2.1.3#b08 | 2444 | 0.745 | 0.589 | +3.5 | 公告集中期 |
| 12-01 | 多语种 | ja/ko | 28 | v2.1.3#b01 | 1603 | 0.782 | 0.716 | +0.1 | 语料陈旧 |
| 12-02 | 多语种 | ja/ko | 28 | v2.1.3#b02 | 1438 | 0.868 | 0.799 | +4.0 | 正常 |
| 12-03 | 多语种 | ja/ko | 28 | v2.1.3#b03 | 1710 | 0.826 | 0.716 | +1.5 | 多语种混排 |
| 12-04 | 多语种 | ja/ko | 28 | v2.1.3#b04 | 1651 | 0.743 | 0.595 | +5.2 | 公告集中期 |
| 12-05 | 多语种 | ja/ko | 28 | v2.1.3#b05 | 2518 | 0.819 | 0.717 | +5.8 | 样本偏少 |
| 12-06 | 多语种 | ja/ko | 28 | v2.1.3#b06 | 2921 | 0.853 | 0.801 | +5.6 | 已复核 |
| 12-07 | 多语种 | ja/ko | 28 | v2.1.3#b07 | 1978 | 0.865 | 0.789 | +3.2 | 语料陈旧 |
| 12-08 | 多语种 | ja/ko | 28 | v2.1.3#b08 | 2948 | 0.940 | 0.786 | +4.7 | 公告集中期 |
上表 96 行是 12 桶 × 8 批的交叉统计。b09—b20 的数据在附录 A 的缺口清单里以另一种形式体现,没有单独列表。
4 逐题明细(抽样)
说明:序号为抽样顺序,不是题目在原始题集中的编号;忠实度为人工抽检结果,未抽检的记为「未抽检」;延迟单位为毫秒,为单次回放的值,不是平均值。标红的行是延迟超过 3000ms 或 nDCG 低于 0.62 的样本,失败分析时优先看这些行。
4.1 批 01
批 01 的题来自 2025-11 到 2025-12 的日志,恰逢语料 v2.1.1 更新前的窗口,部分旧公告已被覆盖,召回偏低属于预期。
| 序号 | 题目 | 分桶 | 语料批次 | R@20 | nDCG@10 | 忠实度 | P50 ms | 备注 |
|---|---|---|---|---|---|---|---|---|
| 0000 | RAG26-01-0000 | 法律检索 | v2.1.3#b04 | 0.819 | 0.794 | 通过 | 1210 | 低分样本,人工复核 |
| 0001 | RAG26-01-0001 | 金融公告 | v2.1.3#b11 | 0.900 | 0.869 | 通过 | 1544 | 多段拼接 |
| 0002 | RAG26-01-0002 | 专利摘要 | v2.1.3#b18 | 0.932 | 0.929 | 通过 | 1811 | 问题含歧义实体 |
| 0003 | RAG26-01-0003 | 内部wiki | v2.1.3#b05 | 0.851 | 0.749 | 存疑 | 1911 | 长尾 query |
| 0004 | RAG26-01-0004 | 会议纪要 | v2.1.3#b12 | 0.791 | 0.701 | 存疑 | 2107 | — |
| 0005 | RAG26-01-0005 | 工单记录 | v2.1.3#b19 | 0.912 | 0.744 | 存疑 | 2032 | — |
| 0006 | RAG26-01-0006 | 新闻通稿 | v2.1.3#b06 | 0.696 | 0.659 | 通过 | 988 | 召回但生成未引用 |
| 0007 | RAG26-01-0007 | 标准规范 | v2.1.3#b13 | 0.973 | 0.849 | 通过 | 2426 | — |
| 0008 | RAG26-01-0008 | 学术摘要 | v2.1.3#b20 | 0.964 | 0.838 | 通过 | 2231 | — |
| 0009 | RAG26-01-0009 | 运维文档 | v2.1.3#b07 | 0.830 | 0.842 | 通过 | 1802 | — |
| 0010 | RAG26-01-0010 | 产品FAQ | v2.1.3#b14 | 0.924 | 0.816 | 存疑 | 2408 | 边界样本 |
| 0011 | RAG26-01-0011 | 多语种 | v2.1.3#b01 | 0.790 | 0.745 | 未抽检 | 2248 | — |
| 0012 | RAG26-01-0012 | 法律检索 | v2.1.3#b08 | 0.996 | 0.886 | 通过 | 1854 | — |
| 0013 | RAG26-01-0013 | 金融公告 | v2.1.3#b15 | 0.927 | 0.842 | 通过 | 1584 | 缺少表格行 |
| 0014 | RAG26-01-0014 | 专利摘要 | v2.1.3#b02 | 0.965 | 0.935 | 通过 | 2231 | 召回但生成未引用 |
| 0015 | RAG26-01-0015 | 内部wiki | v2.1.3#b09 | 0.980 | 0.931 | 通过 | 2140 | 文档更新于 2025-11 |
| 0016 | RAG26-01-0016 | 会议纪要 | v2.1.3#b16 | 0.819 | 0.684 | 未抽检 | 2228 | — |
| 0017 | RAG26-01-0017 | 工单记录 | v2.1.3#b03 | 0.843 | 0.758 | 存疑 | 1749 | — |
| 0018 | RAG26-01-0018 | 新闻通稿 | v2.1.3#b10 | 0.969 | 0.903 | 通过 | 1284 | 法规条号变更 |
| 0019 | RAG26-01-0019 | 标准规范 | v2.1.3#b17 | 0.959 | 0.868 | 存疑 | 2315 | 多语种混排 |
| 0020 | RAG26-01-0020 | 学术摘要 | v2.1.3#b04 | 0.916 | 0.743 | 通过 | 1921 | — |
| 0021 | RAG26-01-0021 | 运维文档 | v2.1.3#b11 | 0.944 | 0.859 | 通过 | 1700 | 数值四舍五入 |
| 0022 | RAG26-01-0022 | 产品FAQ | v2.1.3#b18 | 0.844 | 0.710 | 通过 | 2412 | — |
| 0023 | RAG26-01-0023 | 多语种 | v2.1.3#b05 | 0.959 | 0.934 | 通过 | 2425 | gold span 跨块被切断 |
| 0024 | RAG26-01-0024 | 法律检索 | v2.1.3#b12 | 0.997 | 0.944 | 通过 | 1054 | 同文档重复段 |
| 0025 | RAG26-01-0025 | 金融公告 | v2.1.3#b19 | 0.948 | 0.880 | 通过 | 1564 | — |
| 0026 | RAG26-01-0026 | 专利摘要 | v2.1.3#b06 | 0.909 | 0.790 | 通过 | 1222 | — |
| 0027 | RAG26-01-0027 | 内部wiki | v2.1.3#b13 | 0.935 | 0.822 | 存疑 | 2700 | — |
| 0028 | RAG26-01-0028 | 会议纪要 | v2.1.3#b20 | 0.926 | 0.765 | 通过 | 2214 | 重排阈值 0.62 未过 |
| 0029 | RAG26-01-0029 | 工单记录 | v2.1.3#b07 | 0.901 | 0.850 | 通过 | 2061 | — |
| 0030 | RAG26-01-0030 | 新闻通稿 | v2.1.3#b14 | 0.876 | 0.778 | 通过 | 2515 | — |
| 0031 | RAG26-01-0031 | 标准规范 | v2.1.3#b01 | 0.832 | 0.692 | 通过 | 1298 | — |
| 0032 | RAG26-01-0032 | 学术摘要 | v2.1.3#b08 | 0.862 | 0.841 | 通过 | 1437 | — |
| 0033 | RAG26-01-0033 | 运维文档 | v2.1.3#b15 | 0.914 | 0.859 | 通过 | 1277 | 语料陈旧 |
| 0034 | RAG26-01-0034 | 产品FAQ | v2.1.3#b02 | 0.759 | 0.664 | 通过 | 1595 | 低分样本,人工复核 |
| 0035 | RAG26-01-0035 | 多语种 | v2.1.3#b09 | 0.920 | 0.799 | 失败 | 1300 | — |
| 0036 | RAG26-01-0036 | 法律检索 | v2.1.3#b16 | 0.902 | 0.906 | 通过 | 923 | — |
| 0037 | RAG26-01-0037 | 金融公告 | v2.1.3#b03 | 0.957 | 0.799 | 通过 | 1550 | — |
| 0038 | RAG26-01-0038 | 专利摘要 | v2.1.3#b10 | 0.981 | 0.845 | 失败 | 1578 | 低分样本,人工复核 |
| 0039 | RAG26-01-0039 | 内部wiki | v2.1.3#b17 | 0.965 | 0.798 | 通过 | 1699 | — |
| 0040 | RAG26-01-0040 | 会议纪要 | v2.1.3#b04 | 0.909 | 0.888 | 通过 | 1386 | 同文档重复段 |
| 0041 | RAG26-01-0041 | 工单记录 | v2.1.3#b11 | 0.931 | 0.768 | 通过 | 1733 | 引用页码缺失 |
| 0042 | RAG26-01-0042 | 新闻通稿 | v2.1.3#b18 | 0.783 | 0.663 | 通过 | 1240 | — |
| 0043 | RAG26-01-0043 | 标准规范 | v2.1.3#b05 | 0.932 | 0.804 | 通过 | 2005 | — |
| 0044 | RAG26-01-0044 | 学术摘要 | v2.1.3#b12 | 0.939 | 0.773 | 通过 | 3896 | 延迟异常,已单独标记;工单已关闭 |
| 0045 | RAG26-01-0045 | 运维文档 | v2.1.3#b19 | 0.688 | 0.599 | 存疑 | 2181 | 低分样本,人工复核 |
| 0046 | RAG26-01-0046 | 产品FAQ | v2.1.3#b06 | 0.784 | 0.635 | 存疑 | 1446 | 问题含歧义实体 |
| 0047 | RAG26-01-0047 | 多语种 | v2.1.3#b13 | 0.871 | 0.708 | 通过 | 1676 | 表格转文本丢失表头 |
| 0048 | RAG26-01-0048 | 法律检索 | v2.1.3#b20 | 0.925 | 0.876 | 通过 | 1739 | — |
| 0049 | RAG26-01-0049 | 金融公告 | v2.1.3#b07 | 0.802 | 0.655 | 通过 | 1577 | 数值四舍五入 |
| 0050 | RAG26-01-0050 | 专利摘要 | v2.1.3#b14 | 0.990 | 0.874 | 失败 | 1172 | — |
| 0051 | RAG26-01-0051 | 内部wiki | v2.1.3#b01 | 0.845 | 0.720 | 通过 | 5299 | 延迟异常,已单独标记 |
| 0052 | RAG26-01-0052 | 会议纪要 | v2.1.3#b08 | 0.941 | 0.874 | 通过 | 2036 | 长尾 query |
| 0053 | RAG26-01-0053 | 工单记录 | v2.1.3#b15 | 0.951 | 0.825 | 通过 | 2149 | 边界样本 |
| 0054 | RAG26-01-0054 | 新闻通稿 | v2.1.3#b02 | 0.920 | 0.760 | 通过 | 911 | — |
| 0055 | RAG26-01-0055 | 标准规范 | v2.1.3#b09 | 0.951 | 0.781 | 通过 | 1242 | — |
| 0056 | RAG26-01-0056 | 学术摘要 | v2.1.3#b16 | 0.907 | 0.853 | 失败 | 2062 | — |
| 0057 | RAG26-01-0057 | 运维文档 | v2.1.3#b03 | 0.902 | 0.761 | 通过 | 2156 | — |
| 0058 | RAG26-01-0058 | 产品FAQ | v2.1.3#b10 | 0.982 | 0.927 | 通过 | 1640 | — |
| 0059 | RAG26-01-0059 | 多语种 | v2.1.3#b17 | 0.982 | 0.948 | 通过 | 2081 | — |
| 0060 | RAG26-01-0060 | 法律检索 | v2.1.3#b04 | 0.930 | 0.819 | 未抽检 | 1691 | — |
| 0061 | RAG26-01-0061 | 金融公告 | v2.1.3#b11 | 0.983 | 0.862 | 失败 | 1691 | — |
| 0062 | RAG26-01-0062 | 专利摘要 | v2.1.3#b18 | 0.825 | 0.782 | 存疑 | 1690 | — |
| 0063 | RAG26-01-0063 | 内部wiki | v2.1.3#b05 | 0.942 | 0.854 | 通过 | 1716 | 召回命中旧版本公告 |
| 0064 | RAG26-01-0064 | 会议纪要 | v2.1.3#b12 | 0.985 | 0.939 | 失败 | 1315 | — |
4.2 批 02
批 02 覆盖 2026-03 的公告集中更新期,召回普遍偏高。这一批不宜单独解读,需要和批 01 合并看。
| 序号 | 题目 | 分桶 | 语料批次 | R@20 | nDCG@10 | 忠实度 | P50 ms | 备注 |
|---|---|---|---|---|---|---|---|---|
| 0065 | RAG26-02-0065 | 工单记录 | v2.1.3#b02 | 0.973 | 0.862 | 通过 | 2213 | — |
| 0066 | RAG26-02-0066 | 新闻通稿 | v2.1.3#b09 | 0.831 | 0.804 | 存疑 | 2146 | 长尾 query |
| 0067 | RAG26-02-0067 | 标准规范 | v2.1.3#b16 | 0.946 | 0.813 | 通过 | 2012 | — |
| 0068 | RAG26-02-0068 | 学术摘要 | v2.1.3#b03 | 0.787 | 0.717 | 存疑 | 1883 | — |
| 0069 | RAG26-02-0069 | 运维文档 | v2.1.3#b10 | 0.840 | 0.710 | 通过 | 1235 | — |
| 0070 | RAG26-02-0070 | 产品FAQ | v2.1.3#b17 | 0.993 | 0.935 | 通过 | 1996 | — |
| 0071 | RAG26-02-0071 | 多语种 | v2.1.3#b04 | 0.991 | 0.896 | 通过 | 2429 | — |
| 0072 | RAG26-02-0072 | 法律检索 | v2.1.3#b11 | 0.904 | 0.853 | 通过 | 1515 | — |
| 0073 | RAG26-02-0073 | 金融公告 | v2.1.3#b18 | 0.930 | 0.910 | 通过 | 1640 | 分词切分歧义 |
| 0074 | RAG26-02-0074 | 专利摘要 | v2.1.3#b05 | 0.958 | 0.914 | 通过 | 2270 | — |
| 0075 | RAG26-02-0075 | 内部wiki | v2.1.3#b12 | 0.591 | 0.586 | 通过 | 4507 | 低分样本,人工复核;延迟异常,已单独标记 |
| 0076 | RAG26-02-0076 | 会议纪要 | v2.1.3#b19 | 0.944 | 0.842 | 通过 | 2210 | 英文缩写未展开 |
| 0077 | RAG26-02-0077 | 工单记录 | v2.1.3#b06 | 0.869 | 0.833 | 通过 | 1500 | — |
| 0078 | RAG26-02-0078 | 新闻通稿 | v2.1.3#b13 | 0.804 | 0.756 | 通过 | 4708 | 延迟异常,已单独标记 |
| 0079 | RAG26-02-0079 | 标准规范 | v2.1.3#b20 | 0.967 | 0.836 | 通过 | 1266 | 工单已关闭 |
| 0080 | RAG26-02-0080 | 学术摘要 | v2.1.3#b07 | 0.919 | 0.745 | 通过 | 2434 | 日期偏移一天 |
| 0081 | RAG26-02-0081 | 运维文档 | v2.1.3#b14 | 0.935 | 0.926 | 未抽检 | 1946 | — |
| 0082 | RAG26-02-0082 | 产品FAQ | v2.1.3#b01 | 0.571 | 0.564 | 通过 | 2286 | 低分样本,人工复核;gold span 跨块被切断 |
| 0083 | RAG26-02-0083 | 多语种 | v2.1.3#b08 | 0.826 | 0.693 | 通过 | 1710 | — |
| 0084 | RAG26-02-0084 | 法律检索 | v2.1.3#b15 | 0.946 | 0.885 | 通过 | 1235 | — |
| 0085 | RAG26-02-0085 | 金融公告 | v2.1.3#b02 | 0.844 | 0.744 | 通过 | 1771 | — |
| 0086 | RAG26-02-0086 | 专利摘要 | v2.1.3#b09 | 0.946 | 0.925 | 通过 | 1517 | 低分样本,人工复核 |
| 0087 | RAG26-02-0087 | 内部wiki | v2.1.3#b16 | 0.939 | 0.861 | 通过 | 2267 | 引用第 3 段 |
| 0088 | RAG26-02-0088 | 会议纪要 | v2.1.3#b03 | 0.970 | 0.962 | 失败 | 2374 | — |
| 0089 | RAG26-02-0089 | 工单记录 | v2.1.3#b10 | 0.961 | 0.828 | 通过 | 972 | — |
| 0090 | RAG26-02-0090 | 新闻通稿 | v2.1.3#b17 | 0.958 | 0.961 | 存疑 | 908 | 答案含过期引用 |
| 0091 | RAG26-02-0091 | 标准规范 | v2.1.3#b04 | 0.923 | 0.834 | 通过 | 1481 | — |
| 0092 | RAG26-02-0092 | 学术摘要 | v2.1.3#b11 | 0.910 | 0.787 | 通过 | 2076 | 单位缺失 |
| 0093 | RAG26-02-0093 | 运维文档 | v2.1.3#b18 | 0.941 | 0.916 | 通过 | 1849 | 语料陈旧 |
| 0094 | RAG26-02-0094 | 产品FAQ | v2.1.3#b05 | 0.894 | 0.833 | 通过 | 2099 | 法规条号变更 |
| 0095 | RAG26-02-0095 | 多语种 | v2.1.3#b12 | 0.948 | 0.903 | 存疑 | 1622 | 日期解析失败 |
| 0096 | RAG26-02-0096 | 法律检索 | v2.1.3#b19 | 0.949 | 0.940 | 未抽检 | 1965 | — |
| 0097 | RAG26-02-0097 | 金融公告 | v2.1.3#b06 | 0.733 | 0.607 | 通过 | 1769 | 低分样本,人工复核 |
| 0098 | RAG26-02-0098 | 专利摘要 | v2.1.3#b13 | 0.928 | 0.859 | 通过 | 1785 | 命中旧版标准 |
| 0099 | RAG26-02-0099 | 内部wiki | v2.1.3#b20 | 0.934 | 0.794 | 通过 | 1961 | — |
| 0100 | RAG26-02-0100 | 会议纪要 | v2.1.3#b07 | 0.981 | 0.868 | 通过 | 1672 | 答案跨两文档 |
| 0101 | RAG26-02-0101 | 工单记录 | v2.1.3#b14 | 0.923 | 0.910 | 存疑 | 1630 | — |
| 0102 | RAG26-02-0102 | 新闻通稿 | v2.1.3#b01 | 0.984 | 0.919 | 通过 | 1957 | — |
| 0103 | RAG26-02-0103 | 标准规范 | v2.1.3#b08 | 0.995 | 0.958 | 通过 | 1379 | — |
| 0104 | RAG26-02-0104 | 学术摘要 | v2.1.3#b15 | 0.966 | 0.855 | 通过 | 1740 | — |
| 0105 | RAG26-02-0105 | 运维文档 | v2.1.3#b02 | 0.965 | 0.929 | 通过 | 2680 | 重排后名次翻转 |
| 0106 | RAG26-02-0106 | 产品FAQ | v2.1.3#b09 | 0.980 | 0.934 | 通过 | 1862 | — |
| 0107 | RAG26-02-0107 | 多语种 | v2.1.3#b16 | 0.772 | 0.630 | 通过 | 1696 | — |
| 0108 | RAG26-02-0108 | 法律检索 | v2.1.3#b03 | 0.976 | 0.839 | 通过 | 2182 | 答非所问(模板回复) |
| 0109 | RAG26-02-0109 | 金融公告 | v2.1.3#b10 | 0.995 | 0.927 | 通过 | 1543 | — |
| 0110 | RAG26-02-0110 | 专利摘要 | v2.1.3#b17 | 0.907 | 0.811 | 存疑 | 1208 | 边界样本 |
| 0111 | RAG26-02-0111 | 内部wiki | v2.1.3#b04 | 0.918 | 0.824 | 通过 | 1387 | — |
| 0112 | RAG26-02-0112 | 会议纪要 | v2.1.3#b11 | 0.969 | 0.858 | 未抽检 | 1780 | — |
| 0113 | RAG26-02-0113 | 工单记录 | v2.1.3#b18 | 0.973 | 0.822 | 通过 | 1254 | — |
| 0114 | RAG26-02-0114 | 新闻通稿 | v2.1.3#b05 | 0.956 | 0.818 | 未抽检 | 2307 | — |
| 0115 | RAG26-02-0115 | 标准规范 | v2.1.3#b12 | 0.956 | 0.948 | 通过 | 1753 | 命中专利附图说明 |
| 0116 | RAG26-02-0116 | 学术摘要 | v2.1.3#b19 | 0.916 | 0.829 | 通过 | 1449 | — |
| 0117 | RAG26-02-0117 | 运维文档 | v2.1.3#b06 | 0.925 | 0.922 | 存疑 | 1479 | 分词切分歧义 |
| 0118 | RAG26-02-0118 | 产品FAQ | v2.1.3#b13 | 0.936 | 0.800 | 通过 | 2274 | 语料陈旧 |
| 0119 | RAG26-02-0119 | 多语种 | v2.1.3#b20 | 0.936 | 0.786 | 通过 | 1758 | — |
| 0120 | RAG26-02-0120 | 法律检索 | v2.1.3#b07 | 0.935 | 0.835 | 存疑 | 1336 | 重排后名次翻转 |
| 0121 | RAG26-02-0121 | 金融公告 | v2.1.3#b14 | 0.848 | 0.841 | 通过 | 1319 | — |
| 0122 | RAG26-02-0122 | 专利摘要 | v2.1.3#b01 | 0.946 | 0.828 | 失败 | 1210 | — |
| 0123 | RAG26-02-0123 | 内部wiki | v2.1.3#b08 | 0.969 | 0.897 | 通过 | 1390 | — |
| 0124 | RAG26-02-0124 | 会议纪要 | v2.1.3#b15 | 0.899 | 0.764 | 通过 | 1356 | — |
| 0125 | RAG26-02-0125 | 工单记录 | v2.1.3#b02 | 0.905 | 0.787 | 通过 | 1428 | 数值口径不一致 |
| 0126 | RAG26-02-0126 | 新闻通稿 | v2.1.3#b09 | 0.940 | 0.892 | 通过 | 1268 | — |
| 0127 | RAG26-02-0127 | 标准规范 | v2.1.3#b16 | 0.932 | 0.842 | 通过 | 2579 | — |
| 0128 | RAG26-02-0128 | 学术摘要 | v2.1.3#b03 | 0.951 | 0.909 | 通过 | 1775 | — |
| 0129 | RAG26-02-0129 | 运维文档 | v2.1.3#b10 | 0.927 | 0.770 | 通过 | 1789 | — |
4.3 批 03
批 03 是切块修复后的第一批,工单记录桶的明细集中在后半段,可以对照 §5 第 3 类失败样本。
| 序号 | 题目 | 分桶 | 语料批次 | R@20 | nDCG@10 | 忠实度 | P50 ms | 备注 |
|---|---|---|---|---|---|---|---|---|
| 0130 | RAG26-03-0130 | 产品FAQ | v2.1.3#b20 | 0.919 | 0.772 | 通过 | 2111 | — |
| 0131 | RAG26-03-0131 | 多语种 | v2.1.3#b07 | 0.967 | 0.898 | 通过 | 2295 | — |
| 0132 | RAG26-03-0132 | 法律检索 | v2.1.3#b14 | 0.974 | 0.888 | 通过 | 1312 | — |
| 0133 | RAG26-03-0133 | 金融公告 | v2.1.3#b01 | 0.981 | 0.868 | 通过 | 2123 | 重排后名次翻转 |
| 0134 | RAG26-03-0134 | 专利摘要 | v2.1.3#b08 | 0.911 | 0.873 | 存疑 | 1983 | — |
| 0135 | RAG26-03-0135 | 内部wiki | v2.1.3#b15 | 0.909 | 0.843 | 失败 | 1092 | — |
| 0136 | RAG26-03-0136 | 会议纪要 | v2.1.3#b02 | 0.969 | 0.913 | 通过 | 1629 | — |
| 0137 | RAG26-03-0137 | 工单记录 | v2.1.3#b09 | 0.936 | 0.815 | 通过 | 2046 | 低置信度 |
| 0138 | RAG26-03-0138 | 新闻通稿 | v2.1.3#b16 | 0.914 | 0.804 | 通过 | 2706 | — |
| 0139 | RAG26-03-0139 | 标准规范 | v2.1.3#b03 | 0.989 | 0.956 | 通过 | 869 | 低分样本,人工复核 |
| 0140 | RAG26-03-0140 | 学术摘要 | v2.1.3#b10 | 0.988 | 0.910 | 通过 | 1069 | — |
| 0141 | RAG26-03-0141 | 运维文档 | v2.1.3#b17 | 0.930 | 0.870 | 通过 | 1900 | — |
| 0142 | RAG26-03-0142 | 产品FAQ | v2.1.3#b04 | 0.949 | 0.805 | 未抽检 | 1953 | — |
| 0143 | RAG26-03-0143 | 多语种 | v2.1.3#b11 | 0.996 | 0.879 | 通过 | 2065 | 日期解析失败 |
| 0144 | RAG26-03-0144 | 法律检索 | v2.1.3#b18 | 0.971 | 0.808 | 通过 | 2105 | 召回但生成未引用 |
| 0145 | RAG26-03-0145 | 金融公告 | v2.1.3#b05 | 0.869 | 0.883 | 通过 | 3636 | 延迟异常,已单独标记 |
| 0146 | RAG26-03-0146 | 专利摘要 | v2.1.3#b12 | 0.917 | 0.898 | 通过 | 2033 | 人工抽检存疑 |
| 0147 | RAG26-03-0147 | 内部wiki | v2.1.3#b19 | 0.967 | 0.848 | 未抽检 | 1700 | 召回命中旧版本公告 |
| 0148 | RAG26-03-0148 | 会议纪要 | v2.1.3#b06 | 0.994 | 0.886 | 通过 | 1838 | — |
| 0149 | RAG26-03-0149 | 工单记录 | v2.1.3#b13 | 0.963 | 0.836 | 存疑 | 809 | — |
| 0150 | RAG26-03-0150 | 新闻通稿 | v2.1.3#b20 | 0.920 | 0.875 | 通过 | 1463 | — |
| 0151 | RAG26-03-0151 | 标准规范 | v2.1.3#b07 | 0.888 | 0.720 | 存疑 | 1590 | — |
| 0152 | RAG26-03-0152 | 学术摘要 | v2.1.3#b14 | 0.972 | 0.817 | 通过 | 1771 | — |
| 0153 | RAG26-03-0153 | 运维文档 | v2.1.3#b01 | 0.934 | 0.881 | 通过 | 1800 | — |
| 0154 | RAG26-03-0154 | 产品FAQ | v2.1.3#b08 | 0.941 | 0.917 | 失败 | 1877 | — |
| 0155 | RAG26-03-0155 | 多语种 | v2.1.3#b15 | 0.935 | 0.831 | 通过 | 1004 | — |
| 0156 | RAG26-03-0156 | 法律检索 | v2.1.3#b02 | 0.971 | 0.923 | 通过 | 2051 | — |
| 0157 | RAG26-03-0157 | 金融公告 | v2.1.3#b09 | 0.806 | 0.797 | 通过 | 5122 | 延迟异常,已单独标记 |
| 0158 | RAG26-03-0158 | 专利摘要 | v2.1.3#b16 | 0.932 | 0.793 | 通过 | 1682 | — |
| 0159 | RAG26-03-0159 | 内部wiki | v2.1.3#b03 | 0.923 | 0.810 | 通过 | 1360 | 召回但生成未引用 |
| 0160 | RAG26-03-0160 | 会议纪要 | v2.1.3#b10 | 0.955 | 0.934 | 通过 | 1559 | — |
| 0161 | RAG26-03-0161 | 工单记录 | v2.1.3#b17 | 0.971 | 0.925 | 通过 | 2442 | — |
| 0162 | RAG26-03-0162 | 新闻通稿 | v2.1.3#b04 | 0.850 | 0.810 | 通过 | 1279 | — |
| 0163 | RAG26-03-0163 | 标准规范 | v2.1.3#b11 | 0.647 | 0.623 | 通过 | 1930 | 人工抽检存疑 |
| 0164 | RAG26-03-0164 | 学术摘要 | v2.1.3#b18 | 0.985 | 0.896 | 通过 | 2089 | — |
| 0165 | RAG26-03-0165 | 运维文档 | v2.1.3#b05 | 0.974 | 0.940 | 失败 | 1455 | — |
| 0166 | RAG26-03-0166 | 产品FAQ | v2.1.3#b12 | 0.927 | 0.881 | 失败 | 1444 | 单位缺失 |
| 0167 | RAG26-03-0167 | 多语种 | v2.1.3#b19 | 0.949 | 0.859 | 存疑 | 1811 | — |
| 0168 | RAG26-03-0168 | 法律检索 | v2.1.3#b06 | 0.915 | 0.766 | 通过 | 1610 | 语料陈旧 |
| 0169 | RAG26-03-0169 | 金融公告 | v2.1.3#b13 | 0.996 | 0.978 | 通过 | 2051 | — |
| 0170 | RAG26-03-0170 | 专利摘要 | v2.1.3#b20 | 0.935 | 0.934 | 通过 | 760 | — |
| 0171 | RAG26-03-0171 | 内部wiki | v2.1.3#b07 | 0.698 | 0.536 | 通过 | 1979 | 低分样本,人工复核 |
| 0172 | RAG26-03-0172 | 会议纪要 | v2.1.3#b14 | 0.811 | 0.777 | 存疑 | 1762 | — |
| 0173 | RAG26-03-0173 | 工单记录 | v2.1.3#b01 | 0.868 | 0.834 | 通过 | 2197 | 法规条号变更 |
| 0174 | RAG26-03-0174 | 新闻通稿 | v2.1.3#b08 | 0.912 | 0.923 | 存疑 | 2069 | 别名未归一 |
| 0175 | RAG26-03-0175 | 标准规范 | v2.1.3#b15 | 0.920 | 0.816 | 通过 | 1716 | — |
| 0176 | RAG26-03-0176 | 学术摘要 | v2.1.3#b02 | 0.921 | 0.810 | 存疑 | 2601 | — |
| 0177 | RAG26-03-0177 | 运维文档 | v2.1.3#b09 | 0.914 | 0.836 | 通过 | 4873 | 延迟异常,已单独标记 |
| 0178 | RAG26-03-0178 | 产品FAQ | v2.1.3#b16 | 0.909 | 0.866 | 存疑 | 1874 | — |
| 0179 | RAG26-03-0179 | 多语种 | v2.1.3#b03 | 0.925 | 0.870 | 通过 | 1990 | 命中旧版标准 |
| 0180 | RAG26-03-0180 | 法律检索 | v2.1.3#b10 | 0.983 | 0.817 | 通过 | 2018 | — |
| 0181 | RAG26-03-0181 | 金融公告 | v2.1.3#b17 | 0.927 | 0.849 | 通过 | 1695 | 问题含歧义实体 |
| 0182 | RAG26-03-0182 | 专利摘要 | v2.1.3#b04 | 0.889 | 0.743 | 通过 | 2234 | — |
| 0183 | RAG26-03-0183 | 内部wiki | v2.1.3#b11 | 0.995 | 0.900 | 失败 | 1717 | — |
| 0184 | RAG26-03-0184 | 会议纪要 | v2.1.3#b18 | 0.958 | 0.915 | 存疑 | 787 | 命中旧版标准 |
| 0185 | RAG26-03-0185 | 工单记录 | v2.1.3#b05 | 0.806 | 0.760 | 通过 | 1671 | — |
| 0186 | RAG26-03-0186 | 新闻通稿 | v2.1.3#b12 | 0.933 | 0.931 | 通过 | 1678 | — |
| 0187 | RAG26-03-0187 | 标准规范 | v2.1.3#b19 | 0.831 | 0.808 | 通过 | 2112 | 重排后名次翻转 |
| 0188 | RAG26-03-0188 | 学术摘要 | v2.1.3#b06 | 0.995 | 0.883 | 通过 | 1525 | 低置信度 |
| 0189 | RAG26-03-0189 | 运维文档 | v2.1.3#b13 | 0.846 | 0.829 | 通过 | 1813 | — |
| 0190 | RAG26-03-0190 | 产品FAQ | v2.1.3#b20 | 0.780 | 0.694 | 通过 | 1762 | 人工复核通过 |
| 0191 | RAG26-03-0191 | 多语种 | v2.1.3#b07 | 0.931 | 0.888 | 存疑 | 2706 | — |
| 0192 | RAG26-03-0192 | 法律检索 | v2.1.3#b14 | 0.938 | 0.933 | 通过 | 2352 | — |
| 0193 | RAG26-03-0193 | 金融公告 | v2.1.3#b01 | 0.903 | 0.782 | 通过 | 1736 | — |
| 0194 | RAG26-03-0194 | 专利摘要 | v2.1.3#b08 | 0.936 | 0.813 | 存疑 | 4745 | 延迟异常,已单独标记;命中旧版标准 |
4.4 批 04
批 04 包含全部多语种抽样条目,日文与韩文交替出现,序号不连续。
| 序号 | 题目 | 分桶 | 语料批次 | R@20 | nDCG@10 | 忠实度 | P50 ms | 备注 |
|---|---|---|---|---|---|---|---|---|
| 0195 | RAG26-04-0195 | 内部wiki | v2.1.3#b18 | 0.808 | 0.769 | 通过 | 1300 | — |
| 0196 | RAG26-04-0196 | 会议纪要 | v2.1.3#b05 | 0.947 | 0.824 | 通过 | 2298 | 检索到工单归档 |
| 0197 | RAG26-04-0197 | 工单记录 | v2.1.3#b12 | 0.921 | 0.806 | 通过 | 1855 | — |
| 0198 | RAG26-04-0198 | 新闻通稿 | v2.1.3#b19 | 0.906 | 0.780 | 通过 | 1000 | — |
| 0199 | RAG26-04-0199 | 标准规范 | v2.1.3#b06 | 0.987 | 0.936 | 通过 | 1676 | — |
| 0200 | RAG26-04-0200 | 学术摘要 | v2.1.3#b13 | 0.956 | 0.820 | 通过 | 1689 | 低置信度 |
| 0201 | RAG26-04-0201 | 运维文档 | v2.1.3#b20 | 0.907 | 0.826 | 通过 | 1349 | — |
| 0202 | RAG26-04-0202 | 产品FAQ | v2.1.3#b07 | 0.924 | 0.918 | 通过 | 1706 | 命中专利附图说明 |
| 0203 | RAG26-04-0203 | 多语种 | v2.1.3#b14 | 0.905 | 0.892 | 通过 | 1179 | — |
| 0204 | RAG26-04-0204 | 法律检索 | v2.1.3#b01 | 0.838 | 0.731 | 通过 | 2412 | — |
| 0205 | RAG26-04-0205 | 金融公告 | v2.1.3#b08 | 0.960 | 0.920 | 通过 | 1334 | — |
| 0206 | RAG26-04-0206 | 专利摘要 | v2.1.3#b15 | 0.947 | 0.881 | 通过 | 2125 | 别名未归一 |
| 0207 | RAG26-04-0207 | 内部wiki | v2.1.3#b02 | 0.941 | 0.917 | 通过 | 1185 | — |
| 0208 | RAG26-04-0208 | 会议纪要 | v2.1.3#b09 | 0.844 | 0.716 | 通过 | 1700 | — |
| 0209 | RAG26-04-0209 | 工单记录 | v2.1.3#b16 | 0.991 | 0.929 | 通过 | 2593 | 低置信度 |
| 0210 | RAG26-04-0210 | 新闻通稿 | v2.1.3#b03 | 0.901 | 0.765 | 通过 | 1122 | 表格转文本丢失表头 |
| 0211 | RAG26-04-0211 | 标准规范 | v2.1.3#b10 | 0.909 | 0.790 | 通过 | 804 | — |
| 0212 | RAG26-04-0212 | 学术摘要 | v2.1.3#b17 | 0.959 | 0.812 | 通过 | 2339 | — |
| 0213 | RAG26-04-0213 | 运维文档 | v2.1.3#b04 | 0.965 | 0.971 | 通过 | 1839 | 英文缩写未展开 |
| 0214 | RAG26-04-0214 | 产品FAQ | v2.1.3#b11 | 0.969 | 0.852 | 通过 | 1309 | — |
| 0215 | RAG26-04-0215 | 多语种 | v2.1.3#b18 | 0.951 | 0.788 | 通过 | 1843 | 数值四舍五入 |
| 0216 | RAG26-04-0216 | 法律检索 | v2.1.3#b05 | 0.819 | 0.736 | 通过 | 4112 | 延迟异常,已单独标记 |
| 0217 | RAG26-04-0217 | 金融公告 | v2.1.3#b12 | 0.916 | 0.902 | 通过 | 1043 | — |
| 0218 | RAG26-04-0218 | 专利摘要 | v2.1.3#b19 | 0.979 | 0.912 | 通过 | 1555 | 英文缩写未展开 |
| 0219 | RAG26-04-0219 | 内部wiki | v2.1.3#b06 | 0.957 | 0.921 | 通过 | 3755 | 延迟异常,已单独标记 |
| 0220 | RAG26-04-0220 | 会议纪要 | v2.1.3#b13 | 0.958 | 0.837 | 通过 | 2630 | — |
| 0221 | RAG26-04-0221 | 工单记录 | v2.1.3#b20 | 0.976 | 0.823 | 通过 | 1505 | — |
| 0222 | RAG26-04-0222 | 新闻通稿 | v2.1.3#b07 | 0.901 | 0.819 | 通过 | 2180 | gold span 跨块被切断 |
| 0223 | RAG26-04-0223 | 标准规范 | v2.1.3#b14 | 0.914 | 0.759 | 存疑 | 1022 | — |
| 0224 | RAG26-04-0224 | 学术摘要 | v2.1.3#b01 | 0.904 | 0.837 | 通过 | 1814 | 引用第 3 段 |
| 0225 | RAG26-04-0225 | 运维文档 | v2.1.3#b08 | 0.893 | 0.864 | 通过 | 1246 | 文档更新于 2025-11 |
| 0226 | RAG26-04-0226 | 产品FAQ | v2.1.3#b15 | 0.972 | 0.807 | 通过 | 1367 | — |
| 0227 | RAG26-04-0227 | 多语种 | v2.1.3#b02 | 0.935 | 0.904 | 通过 | 1973 | — |
| 0228 | RAG26-04-0228 | 法律检索 | v2.1.3#b09 | 0.923 | 0.877 | 通过 | 1445 | 日期偏移一天 |
| 0229 | RAG26-04-0229 | 金融公告 | v2.1.3#b16 | 0.863 | 0.755 | 通过 | 2593 | 低分样本,人工复核 |
| 0230 | RAG26-04-0230 | 专利摘要 | v2.1.3#b03 | 0.924 | 0.893 | 通过 | 1754 | — |
| 0231 | RAG26-04-0231 | 内部wiki | v2.1.3#b10 | 0.949 | 0.815 | 存疑 | 1104 | — |
| 0232 | RAG26-04-0232 | 会议纪要 | v2.1.3#b17 | 0.918 | 0.813 | 通过 | 2029 | — |
| 0233 | RAG26-04-0233 | 工单记录 | v2.1.3#b04 | 0.844 | 0.713 | 通过 | 1469 | 数值四舍五入 |
| 0234 | RAG26-04-0234 | 新闻通稿 | v2.1.3#b11 | 0.925 | 0.854 | 通过 | 2709 | — |
| 0235 | RAG26-04-0235 | 标准规范 | v2.1.3#b18 | 0.971 | 0.875 | 通过 | 1249 | — |
| 0236 | RAG26-04-0236 | 学术摘要 | v2.1.3#b05 | 0.944 | 0.882 | 通过 | 1672 | — |
| 0237 | RAG26-04-0237 | 运维文档 | v2.1.3#b12 | 0.903 | 0.821 | 失败 | 1461 | 表格转文本丢失表头 |
| 0238 | RAG26-04-0238 | 产品FAQ | v2.1.3#b19 | 0.940 | 0.788 | 通过 | 2085 | — |
| 0239 | RAG26-04-0239 | 多语种 | v2.1.3#b06 | 0.792 | 0.762 | 通过 | 4338 | 延迟异常,已单独标记;文档更新于 2025-11 |
| 0240 | RAG26-04-0240 | 法律检索 | v2.1.3#b13 | 0.918 | 0.758 | 通过 | 2000 | — |
| 0241 | RAG26-04-0241 | 金融公告 | v2.1.3#b20 | 0.751 | 0.663 | 通过 | 2451 | — |
| 0242 | RAG26-04-0242 | 专利摘要 | v2.1.3#b07 | 0.925 | 0.802 | 通过 | 1537 | 低分样本,人工复核 |
| 0243 | RAG26-04-0243 | 内部wiki | v2.1.3#b14 | 0.854 | 0.850 | 失败 | 1923 | 答非所问(模板回复) |
| 0244 | RAG26-04-0244 | 会议纪要 | v2.1.3#b01 | 0.929 | 0.793 | 通过 | 1937 | 低分样本,人工复核 |
| 0245 | RAG26-04-0245 | 工单记录 | v2.1.3#b08 | 0.822 | 0.694 | 通过 | 2347 | 答案跨两文档 |
| 0246 | RAG26-04-0246 | 新闻通稿 | v2.1.3#b15 | 0.921 | 0.925 | 通过 | 1747 | chunk 边界切在句中断 |
| 0247 | RAG26-04-0247 | 标准规范 | v2.1.3#b02 | 0.903 | 0.892 | 失败 | 2273 | — |
| 0248 | RAG26-04-0248 | 学术摘要 | v2.1.3#b09 | 0.975 | 0.955 | 通过 | 1671 | 数值四舍五入 |
| 0249 | RAG26-04-0249 | 运维文档 | v2.1.3#b16 | 0.948 | 0.925 | 通过 | 1229 | — |
| 0250 | RAG26-04-0250 | 产品FAQ | v2.1.3#b03 | 0.983 | 0.908 | 存疑 | 2256 | — |
| 0251 | RAG26-04-0251 | 多语种 | v2.1.3#b10 | 0.908 | 0.839 | 通过 | 4603 | 延迟异常,已单独标记 |
| 0252 | RAG26-04-0252 | 法律检索 | v2.1.3#b17 | 0.806 | 0.789 | 通过 | 1808 | 答非所问(模板回复) |
| 0253 | RAG26-04-0253 | 金融公告 | v2.1.3#b04 | 0.941 | 0.811 | 通过 | 2721 | chunk 边界切在句中断 |
| 0254 | RAG26-04-0254 | 专利摘要 | v2.1.3#b11 | 0.793 | 0.756 | 通过 | 2025 | 分词切分歧义 |
| 0255 | RAG26-04-0255 | 内部wiki | v2.1.3#b18 | 0.924 | 0.815 | 通过 | 2651 | — |
| 0256 | RAG26-04-0256 | 会议纪要 | v2.1.3#b05 | 0.822 | 0.699 | 通过 | 2008 | 数值四舍五入 |
| 0257 | RAG26-04-0257 | 工单记录 | v2.1.3#b12 | 0.904 | 0.764 | 通过 | 1296 | 人工复核通过 |
| 0258 | RAG26-04-0258 | 新闻通稿 | v2.1.3#b19 | 0.959 | 0.877 | 存疑 | 1684 | 边界样本 |
| 0259 | RAG26-04-0259 | 标准规范 | v2.1.3#b06 | 0.863 | 0.719 | 通过 | 2140 | 法规条号变更 |
5 失败模式
抽样里忠实度判定为「失败」的占 6.0%,「存疑」占 12.1%。把所有失败样本按现象归类,可以归成 8 类,其中前 6 类合计占 87%。下面这张表是归因表和处置方式的汇总,案例编号只在本页有效,和内部缺陷系统的 ID 不对应。
| 案例 | 题目 | 分桶 | 现象 | 归因 | 处置 |
|---|---|---|---|---|---|
| F-001 | RAG26-03-0208 | 内部wiki | gold span 所在文档未进入 top-20 | 语料批次未覆盖该文档的新版本 | 补入下一批语料,标注复核 |
| F-002 | RAG26-01-0042 | 运维文档 | 正确答案被重排到第 27 位 | 查询-文档交叉特征缺失 | 特征回源成功后重放,已修复 |
| F-003 | RAG26-08-0164 | 专利摘要 | 答案横跨两个 1024 token 块 | 切块按 token 硬切,未回退段落边界 | 已加入段落边界回退,待复测 |
| F-004 | RAG26-02-0117 | 多语种 | 日文复合词被切成两个检索单元 | 分词词典未覆盖该领域复合词 | 词典补充,下一版生效 |
| F-005 | RAG26-06-0233 | 金融公告 | 召回 2024 年版公告而非 2026 年版 | 两版本文档相似度极高,重排未利用时间字段 | 重排特征增加 doc_date,已上线 |
| F-006 | RAG26-04-0061 | 会议纪要 | 生成答案把千分位当小数 | 切块后表格行被转成纯文本 | 表格解析器修复,抽检 40 例 |
| F-007 | RAG26-01-0042 | 工单记录 | 答案引用了检索结果中不存在的数据 | 生成模型在长上下文下注意力分散 | 降低上下文长度 + 强制引用 |
| F-008 | RAG26-03-0208 | 学术摘要 | 同一文档的多个切块同时进入 top-20 | 去重仅在 rerank 后做 | 去重前移,召回减少约 3% 候选 |
| F-009 | RAG26-07-0017 | 多语种 | gold span 所在文档未进入 top-20 | 语料批次未覆盖该文档的新版本 | 补入下一批语料,标注复核 |
| F-010 | RAG26-01-0042 | 运维文档 | 正确答案被重排到第 27 位 | 查询-文档交叉特征缺失 | 特征回源成功后重放,已修复 |
| F-011 | RAG26-01-0042 | 运维文档 | 答案横跨两个 1024 token 块 | 切块按 token 硬切,未回退段落边界 | 已加入段落边界回退,待复测 |
| F-012 | RAG26-05-0189 | 会议纪要 | 日文复合词被切成两个检索单元 | 分词词典未覆盖该领域复合词 | 词典补充,下一版生效 |
| F-013 | RAG26-07-0017 | 内部wiki | 召回 2024 年版公告而非 2026 年版 | 两版本文档相似度极高,重排未利用时间字段 | 重排特征增加 doc_date,已上线 |
| F-014 | RAG26-03-0208 | 金融公告 | 生成答案把千分位当小数 | 切块后表格行被转成纯文本 | 表格解析器修复,抽检 40 例 |
| F-015 | RAG26-01-0042 | 多语种 | 答案引用了检索结果中不存在的数据 | 生成模型在长上下文下注意力分散 | 降低上下文长度 + 强制引用 |
| F-016 | RAG26-06-0233 | 运维文档 | 同一文档的多个切块同时进入 top-20 | 去重仅在 rerank 后做 | 去重前移,召回减少约 3% 候选 |
| F-017 | RAG26-06-0233 | 会议纪要 | gold span 所在文档未进入 top-20 | 语料批次未覆盖该文档的新版本 | 补入下一批语料,标注复核 |
| F-018 | RAG26-03-0208 | 新闻通稿 | 正确答案被重排到第 27 位 | 查询-文档交叉特征缺失 | 特征回源成功后重放,已修复 |
| F-019 | RAG26-05-0189 | 产品FAQ | 答案横跨两个 1024 token 块 | 切块按 token 硬切,未回退段落边界 | 已加入段落边界回退,待复测 |
| F-020 | RAG26-03-0208 | 会议纪要 | 日文复合词被切成两个检索单元 | 分词词典未覆盖该领域复合词 | 词典补充,下一版生效 |
| F-021 | RAG26-05-0189 | 产品FAQ | 召回 2024 年版公告而非 2026 年版 | 两版本文档相似度极高,重排未利用时间字段 | 重排特征增加 doc_date,已上线 |
| F-022 | RAG26-03-0208 | 新闻通稿 | 生成答案把千分位当小数 | 切块后表格行被转成纯文本 | 表格解析器修复,抽检 40 例 |
| F-023 | RAG26-01-0042 | 工单记录 | 答案引用了检索结果中不存在的数据 | 生成模型在长上下文下注意力分散 | 降低上下文长度 + 强制引用 |
| F-024 | RAG26-01-0042 | 新闻通稿 | 同一文档的多个切块同时进入 top-20 | 去重仅在 rerank 后做 | 去重前移,召回减少约 3% 候选 |
| F-025 | RAG26-05-0189 | 学术摘要 | gold span 所在文档未进入 top-20 | 语料批次未覆盖该文档的新版本 | 补入下一批语料,标注复核 |
| F-026 | RAG26-05-0189 | 学术摘要 | 正确答案被重排到第 27 位 | 查询-文档交叉特征缺失 | 特征回源成功后重放,已修复 |
| F-027 | RAG26-07-0017 | 新闻通稿 | 答案横跨两个 1024 token 块 | 切块按 token 硬切,未回退段落边界 | 已加入段落边界回退,待复测 |
| F-028 | RAG26-03-0208 | 会议纪要 | 日文复合词被切成两个检索单元 | 分词词典未覆盖该领域复合词 | 词典补充,下一版生效 |
| F-029 | RAG26-06-0233 | 新闻通稿 | 召回 2024 年版公告而非 2026 年版 | 两版本文档相似度极高,重排未利用时间字段 | 重排特征增加 doc_date,已上线 |
| F-030 | RAG26-01-0042 | 会议纪要 | 生成答案把千分位当小数 | 切块后表格行被转成纯文本 | 表格解析器修复,抽检 40 例 |
| F-031 | RAG26-07-0017 | 产品FAQ | 答案引用了检索结果中不存在的数据 | 生成模型在长上下文下注意力分散 | 降低上下文长度 + 强制引用 |
| F-032 | RAG26-07-0017 | 金融公告 | 同一文档的多个切块同时进入 top-20 | 去重仅在 rerank 后做 | 去重前移,召回减少约 3% 候选 |
| F-033 | RAG26-02-0117 | 标准规范 | gold span 所在文档未进入 top-20 | 语料批次未覆盖该文档的新版本 | 补入下一批语料,标注复核 |
| F-034 | RAG26-06-0233 | 金融公告 | 正确答案被重排到第 27 位 | 查询-文档交叉特征缺失 | 特征回源成功后重放,已修复 |
| F-035 | RAG26-07-0017 | 新闻通稿 | 答案横跨两个 1024 token 块 | 切块按 token 硬切,未回退段落边界 | 已加入段落边界回退,待复测 |
| F-036 | RAG26-01-0042 | 内部wiki | 日文复合词被切成两个检索单元 | 分词词典未覆盖该领域复合词 | 词典补充,下一版生效 |
| F-037 | RAG26-04-0061 | 新闻通稿 | 召回 2024 年版公告而非 2026 年版 | 两版本文档相似度极高,重排未利用时间字段 | 重排特征增加 doc_date,已上线 |
| F-038 | RAG26-01-0042 | 金融公告 | 生成答案把千分位当小数 | 切块后表格行被转成纯文本 | 表格解析器修复,抽检 40 例 |
| F-039 | RAG26-08-0164 | 内部wiki | 答案引用了检索结果中不存在的数据 | 生成模型在长上下文下注意力分散 | 降低上下文长度 + 强制引用 |
| F-040 | RAG26-03-0208 | 法律检索 | 同一文档的多个切块同时进入 top-20 | 去重仅在 rerank 后做 | 去重前移,召回减少约 3% 候选 |
| F-041 | RAG26-07-0017 | 工单记录 | gold span 所在文档未进入 top-20 | 语料批次未覆盖该文档的新版本 | 补入下一批语料,标注复核 |
| F-042 | RAG26-03-0208 | 工单记录 | 正确答案被重排到第 27 位 | 查询-文档交叉特征缺失 | 特征回源成功后重放,已修复 |
| F-043 | RAG26-06-0233 | 产品FAQ | 答案横跨两个 1024 token 块 | 切块按 token 硬切,未回退段落边界 | 已加入段落边界回退,待复测 |
| F-044 | RAG26-04-0061 | 标准规范 | 日文复合词被切成两个检索单元 | 分词词典未覆盖该领域复合词 | 词典补充,下一版生效 |
| F-045 | RAG26-01-0042 | 金融公告 | 召回 2024 年版公告而非 2026 年版 | 两版本文档相似度极高,重排未利用时间字段 | 重排特征增加 doc_date,已上线 |
| F-046 | RAG26-03-0208 | 产品FAQ | 生成答案把千分位当小数 | 切块后表格行被转成纯文本 | 表格解析器修复,抽检 40 例 |
| F-047 | RAG26-04-0061 | 产品FAQ | 答案引用了检索结果中不存在的数据 | 生成模型在长上下文下注意力分散 | 降低上下文长度 + 强制引用 |
| F-048 | RAG26-02-0117 | 法律检索 | 同一文档的多个切块同时进入 top-20 | 去重仅在 rerank 后做 | 去重前移,召回减少约 3% 候选 |
| F-049 | RAG26-04-0061 | 新闻通稿 | gold span 所在文档未进入 top-20 | 语料批次未覆盖该文档的新版本 | 补入下一批语料,标注复核 |
| F-050 | RAG26-02-0117 | 专利摘要 | 正确答案被重排到第 27 位 | 查询-文档交叉特征缺失 | 特征回源成功后重放,已修复 |
| F-051 | RAG26-08-0164 | 法律检索 | 答案横跨两个 1024 token 块 | 切块按 token 硬切,未回退段落边界 | 已加入段落边界回退,待复测 |
| F-052 | RAG26-02-0117 | 标准规范 | 日文复合词被切成两个检索单元 | 分词词典未覆盖该领域复合词 | 词典补充,下一版生效 |
第 3 类和第 5 类是本次评测中最值得跟进的两项:切块断裂可以通过段落边界回退修掉(已在 v2.1.3 上线,复测结果见 §4 明细中批 03、04 的部分行),而时效性问题需要重排特征层面的改动,涉及重排模型的小版本重训,排期在 2026 年 6 月。第 8 类去重前移会牺牲约 3% 的候选覆盖,我们暂时只做了「同一文档最多保留 2 段」的弱约束。
另有一类失败没有进表:有 4 条样本的 gold span 标注本身有问题,人工复核后确认是标注错误,已从统计中剔除,但为了保持附录完整,明细里保留了原始记录并在备注中标注「低分样本,人工复核」。
6 日志摘录
从 2026-04-21 的单机评测日志里截取了一段连续输出(已删去主机名与 GPU 序列号)。日志的格式是 2025 年定的,时间戳带时区,级别用左对齐五字符,中间双空格。可以看到线上回放和离线评测的日志是同一条管线,区别只在 --replay 参数。截取时段里出现了若干 WARN 和 1 次 ERROR,都不是致命错误,已在 §5 归因。
2026-04-21T09:12:17+08:00 INFO rag-eval eval batch=会议纪要 item=RAG26-01-0478 recall@20=0.630 ndcg@10=0.895 lat_p50=3081ms gpu=bm-06 2026-04-21T09:12:51+08:00 INFO rag-eval rerank group=工单记录 candidates=100 cut=64 threshold=0.62 2026-04-21T09:13:17+08:00 WARN rag-eval slow item=RAG26-03-1137 lat_p99=3610ms bucket=新闻通稿 note="tail" 2026-04-21T09:13:48+08:00 INFO rag-eval faithfulness sample=60 review=done flagged=7 2026-04-21T09:14:23+08:00 WARN rag-eval corpus batch v2.1.3#b14 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b17 2026-04-21T09:14:55+08:00 INFO rag-eval checkpoint write ok shard=130 bytes=12675837 2026-04-21T09:15:19+08:00 ERROR rag-eval timeout item=RAG26-07-1195 bucket=金融公告 after 3045ms, queued retry=1 2026-04-21T09:15:55+08:00 INFO rag-eval dedup pre-rerank removed=4 candidates from 64 2026-04-21T09:16:35+08:00 INFO rag-eval language detect lang=ko fallback=zh confidence=0.58 2026-04-21T09:17:11+08:00 WARN rag-eval gold span crosses chunk boundary at offset=1026 item=RAG26-02-0943 2026-04-21T09:17:36+08:00 INFO rag-eval eval batch=内部wiki item=RAG26-03-0552 recall@20=0.826 ndcg@10=0.426 lat_p50=2512ms gpu=bm-01 2026-04-21T09:17:47+08:00 INFO rag-eval rerank group=内部wiki candidates=100 cut=80 threshold=0.62 2026-04-21T09:18:22+08:00 WARN rag-eval slow item=RAG26-05-0325 lat_p99=4952ms bucket=会议纪要 note="tail" 2026-04-21T09:19:01+08:00 INFO rag-eval faithfulness sample=60 review=done flagged=7 2026-04-21T09:19:23+08:00 WARN rag-eval corpus batch v2.1.3#b10 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b15 2026-04-21T09:19:52+08:00 INFO rag-eval checkpoint write ok shard=46 bytes=77107640 2026-04-21T09:20:02+08:00 ERROR rag-eval timeout item=RAG26-01-0856 bucket=学术摘要 after 3996ms, queued retry=1 2026-04-21T09:20:14+08:00 INFO rag-eval dedup pre-rerank removed=3 candidates from 100 2026-04-21T09:20:25+08:00 INFO rag-eval language detect lang=ko fallback=zh confidence=0.84 2026-04-21T09:20:39+08:00 WARN rag-eval gold span crosses chunk boundary at offset=1075 item=RAG26-04-0024 2026-04-21T09:20:55+08:00 INFO rag-eval eval batch=产品FAQ item=RAG26-05-1126 recall@20=0.576 ndcg@10=0.698 lat_p50=2828ms gpu=bm-07 2026-04-21T09:21:14+08:00 INFO rag-eval rerank group=多语种 candidates=80 cut=80 threshold=0.62 2026-04-21T09:21:23+08:00 WARN rag-eval slow item=RAG26-07-0208 lat_p99=5415ms bucket=内部wiki note="tail" 2026-04-21T09:21:39+08:00 INFO rag-eval faithfulness sample=200 review=done flagged=0 2026-04-21T09:22:10+08:00 WARN rag-eval corpus batch v2.1.3#b01 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b17 2026-04-21T09:22:42+08:00 INFO rag-eval checkpoint write ok shard=86 bytes=58723622 2026-04-21T09:23:12+08:00 ERROR rag-eval timeout item=RAG26-03-0760 bucket=内部wiki after 3904ms, queued retry=1 2026-04-21T09:23:37+08:00 INFO rag-eval dedup pre-rerank removed=4 candidates from 100 2026-04-21T09:24:07+08:00 INFO rag-eval language detect lang=ko fallback=zh confidence=0.73 2026-04-21T09:24:24+08:00 WARN rag-eval gold span crosses chunk boundary at offset=904 item=RAG26-06-0113 2026-04-21T09:24:52+08:00 INFO rag-eval eval batch=多语种 item=RAG26-07-0355 recall@20=0.527 ndcg@10=0.559 lat_p50=2780ms gpu=bm-02 2026-04-21T09:25:27+08:00 INFO rag-eval rerank group=新闻通稿 candidates=120 cut=80 threshold=0.62 2026-04-21T09:25:58+08:00 WARN rag-eval slow item=RAG26-01-0403 lat_p99=5460ms bucket=学术摘要 note="tail" 2026-04-21T09:26:22+08:00 INFO rag-eval faithfulness sample=120 review=done flagged=6 2026-04-21T09:26:54+08:00 WARN rag-eval corpus batch v2.1.3#b17 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02 2026-04-21T09:27:23+08:00 INFO rag-eval checkpoint write ok shard=136 bytes=38254385 2026-04-21T09:27:53+08:00 ERROR rag-eval timeout item=RAG26-05-0800 bucket=金融公告 after 4905ms, queued retry=1 2026-04-21T09:28:15+08:00 INFO rag-eval dedup pre-rerank removed=2 candidates from 100 2026-04-21T09:28:33+08:00 INFO rag-eval language detect lang=en fallback=zh confidence=0.74 2026-04-21T09:28:47+08:00 WARN rag-eval gold span crosses chunk boundary at offset=937 item=RAG26-08-0491 2026-04-21T09:29:06+08:00 INFO rag-eval eval batch=标准规范 item=RAG26-01-0027 recall@20=0.405 ndcg@10=0.655 lat_p50=2923ms gpu=bm-10 2026-04-21T09:29:32+08:00 INFO rag-eval rerank group=法律检索 candidates=64 cut=80 threshold=0.62 2026-04-21T09:29:52+08:00 WARN rag-eval slow item=RAG26-03-0117 lat_p99=5359ms bucket=专利摘要 note="tail" 2026-04-21T09:30:22+08:00 INFO rag-eval faithfulness sample=120 review=done flagged=7 2026-04-21T09:31:02+08:00 WARN rag-eval corpus batch v2.1.3#b16 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b14 2026-04-21T09:31:28+08:00 INFO rag-eval checkpoint write ok shard=1 bytes=80240356 2026-04-21T09:31:53+08:00 ERROR rag-eval timeout item=RAG26-07-0525 bucket=法律检索 after 5233ms, queued retry=1 2026-04-21T09:32:17+08:00 INFO rag-eval dedup pre-rerank removed=3 candidates from 120 2026-04-21T09:32:33+08:00 INFO rag-eval language detect lang=ko fallback=zh confidence=0.61 2026-04-21T09:32:40+08:00 WARN rag-eval gold span crosses chunk boundary at offset=895 item=RAG26-02-0130 2026-04-21T09:33:19+08:00 INFO rag-eval eval batch=内部wiki item=RAG26-03-0248 recall@20=0.352 ndcg@10=0.205 lat_p50=2761ms gpu=bm-08 2026-04-21T09:33:53+08:00 INFO rag-eval rerank group=学术摘要 candidates=100 cut=50 threshold=0.62 2026-04-21T09:34:22+08:00 WARN rag-eval slow item=RAG26-05-1062 lat_p99=4084ms bucket=新闻通稿 note="tail" 2026-04-21T09:35:00+08:00 INFO rag-eval faithfulness sample=60 review=done flagged=2 2026-04-21T09:35:13+08:00 WARN rag-eval corpus batch v2.1.3#b09 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b03 2026-04-21T09:35:24+08:00 INFO rag-eval checkpoint write ok shard=11 bytes=47140408 2026-04-21T09:36:04+08:00 ERROR rag-eval timeout item=RAG26-01-0046 bucket=法律检索 after 3122ms, queued retry=1 2026-04-21T09:36:13+08:00 INFO rag-eval dedup pre-rerank removed=1 candidates from 100 2026-04-21T09:36:34+08:00 INFO rag-eval language detect lang=ja fallback=zh confidence=0.76 2026-04-21T09:36:53+08:00 WARN rag-eval gold span crosses chunk boundary at offset=923 item=RAG26-04-0408 2026-04-21T09:37:32+08:00 INFO rag-eval eval batch=会议纪要 item=RAG26-05-0377 recall@20=0.488 ndcg@10=0.741 lat_p50=2589ms gpu=bm-14 2026-04-21T09:38:00+08:00 INFO rag-eval rerank group=多语种 candidates=120 cut=50 threshold=0.62 2026-04-21T09:38:21+08:00 WARN rag-eval slow item=RAG26-07-0170 lat_p99=3098ms bucket=产品FAQ note="tail" 2026-04-21T09:39:00+08:00 INFO rag-eval faithfulness sample=120 review=done flagged=6 2026-04-21T09:39:33+08:00 WARN rag-eval corpus batch v2.1.3#b11 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b11 2026-04-21T09:40:01+08:00 INFO rag-eval checkpoint write ok shard=73 bytes=63166750 2026-04-21T09:40:33+08:00 ERROR rag-eval timeout item=RAG26-03-0798 bucket=内部wiki after 4552ms, queued retry=1 2026-04-21T09:41:07+08:00 INFO rag-eval dedup pre-rerank removed=1 candidates from 80 2026-04-21T09:41:45+08:00 INFO rag-eval language detect lang=en fallback=zh confidence=0.70 2026-04-21T09:42:15+08:00 WARN rag-eval gold span crosses chunk boundary at offset=935 item=RAG26-06-0713 2026-04-21T09:42:24+08:00 INFO rag-eval eval batch=工单记录 item=RAG26-07-0320 recall@20=0.823 ndcg@10=0.820 lat_p50=1275ms gpu=bm-04 2026-04-21T09:42:50+08:00 INFO rag-eval rerank group=产品FAQ candidates=100 cut=80 threshold=0.62 2026-04-21T09:43:26+08:00 WARN rag-eval slow item=RAG26-01-1099 lat_p99=3489ms bucket=运维文档 note="tail" 2026-04-21T09:43:42+08:00 INFO rag-eval faithfulness sample=200 review=done flagged=6 2026-04-21T09:44:10+08:00 WARN rag-eval corpus batch v2.1.3#b16 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b11 2026-04-21T09:44:47+08:00 INFO rag-eval checkpoint write ok shard=137 bytes=43395264 2026-04-21T09:44:58+08:00 ERROR rag-eval timeout item=RAG26-05-1142 bucket=新闻通稿 after 5484ms, queued retry=1 2026-04-21T09:45:07+08:00 INFO rag-eval dedup pre-rerank removed=6 candidates from 100 2026-04-21T09:45:24+08:00 INFO rag-eval language detect lang=ja fallback=zh confidence=0.83 2026-04-21T09:45:54+08:00 WARN rag-eval gold span crosses chunk boundary at offset=885 item=RAG26-08-0269 2026-04-21T09:46:10+08:00 INFO rag-eval eval batch=会议纪要 item=RAG26-01-0015 recall@20=0.540 ndcg@10=0.661 lat_p50=2690ms gpu=bm-16 2026-04-21T09:46:50+08:00 INFO rag-eval rerank group=多语种 candidates=120 cut=64 threshold=0.62 2026-04-21T09:47:18+08:00 WARN rag-eval slow item=RAG26-03-0668 lat_p99=3976ms bucket=产品FAQ note="tail" 2026-04-21T09:47:47+08:00 INFO rag-eval faithfulness sample=200 review=done flagged=9 2026-04-21T09:48:22+08:00 WARN rag-eval corpus batch v2.1.3#b07 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02 2026-04-21T09:48:53+08:00 INFO rag-eval checkpoint write ok shard=133 bytes=81903653 2026-04-21T09:49:23+08:00 ERROR rag-eval timeout item=RAG26-07-1043 bucket=工单记录 after 4571ms, queued retry=1 2026-04-21T09:49:48+08:00 INFO rag-eval dedup pre-rerank removed=4 candidates from 120 2026-04-21T09:49:59+08:00 INFO rag-eval language detect lang=ja fallback=zh confidence=0.75 2026-04-21T09:50:30+08:00 WARN rag-eval gold span crosses chunk boundary at offset=929 item=RAG26-02-0457 2026-04-21T09:50:58+08:00 INFO rag-eval eval batch=学术摘要 item=RAG26-03-0399 recall@20=0.861 ndcg@10=0.278 lat_p50=1100ms gpu=bm-07 2026-04-21T09:51:11+08:00 INFO rag-eval rerank group=专利摘要 candidates=80 cut=50 threshold=0.62 2026-04-21T09:51:37+08:00 WARN rag-eval slow item=RAG26-05-0361 lat_p99=3496ms bucket=运维文档 note="tail" 2026-04-21T09:51:59+08:00 INFO rag-eval faithfulness sample=200 review=done flagged=9 2026-04-21T09:52:27+08:00 WARN rag-eval corpus batch v2.1.3#b12 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02 2026-04-21T09:52:56+08:00 INFO rag-eval checkpoint write ok shard=72 bytes=78806474 2026-04-21T09:53:21+08:00 ERROR rag-eval timeout item=RAG26-01-0243 bucket=运维文档 after 3727ms, queued retry=1 2026-04-21T09:53:43+08:00 INFO rag-eval dedup pre-rerank removed=3 candidates from 120 2026-04-21T09:53:53+08:00 INFO rag-eval language detect lang=zh fallback=zh confidence=0.64 2026-04-21T09:54:13+08:00 WARN rag-eval gold span crosses chunk boundary at offset=903 item=RAG26-04-0433 2026-04-21T09:54:23+08:00 INFO rag-eval eval batch=学术摘要 item=RAG26-05-0933 recall@20=0.848 ndcg@10=0.380 lat_p50=1035ms gpu=bm-05 2026-04-21T09:54:53+08:00 INFO rag-eval rerank group=多语种 candidates=80 cut=50 threshold=0.62 2026-04-21T09:55:28+08:00 WARN rag-eval slow item=RAG26-07-0472 lat_p99=3488ms bucket=内部wiki note="tail" 2026-04-21T09:56:04+08:00 INFO rag-eval faithfulness sample=60 review=done flagged=4 2026-04-21T09:56:29+08:00 WARN rag-eval corpus batch v2.1.3#b18 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b17 2026-04-21T09:56:38+08:00 INFO rag-eval checkpoint write ok shard=71 bytes=40383854 2026-04-21T09:57:07+08:00 ERROR rag-eval timeout item=RAG26-03-1163 bucket=会议纪要 after 3656ms, queued retry=1 2026-04-21T09:57:23+08:00 INFO rag-eval dedup pre-rerank removed=4 candidates from 100 2026-04-21T09:57:47+08:00 INFO rag-eval language detect lang=ja fallback=zh confidence=0.58 2026-04-21T09:58:07+08:00 WARN rag-eval gold span crosses chunk boundary at offset=997 item=RAG26-06-1118 2026-04-21T09:58:31+08:00 INFO rag-eval eval batch=新闻通稿 item=RAG26-07-0101 recall@20=0.564 ndcg@10=0.576 lat_p50=2040ms gpu=bm-16 2026-04-21T09:58:43+08:00 INFO rag-eval rerank group=内部wiki candidates=80 cut=50 threshold=0.62 2026-04-21T09:59:18+08:00 WARN rag-eval slow item=RAG26-01-0856 lat_p99=4536ms bucket=工单记录 note="tail" 2026-04-21T09:59:34+08:00 INFO rag-eval faithfulness sample=200 review=done flagged=1 2026-04-21T09:59:50+08:00 WARN rag-eval corpus batch v2.1.3#b04 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02 2026-04-21T09:59:59+08:00 INFO rag-eval checkpoint write ok shard=129 bytes=62506747 2026-04-21T10:00:39+08:00 ERROR rag-eval timeout item=RAG26-05-0272 bucket=法律检索 after 4991ms, queued retry=1 2026-04-21T10:00:49+08:00 INFO rag-eval dedup pre-rerank removed=4 candidates from 100 2026-04-21T10:01:22+08:00 INFO rag-eval language detect lang=en fallback=zh confidence=0.95 2026-04-21T10:01:53+08:00 WARN rag-eval gold span crosses chunk boundary at offset=966 item=RAG26-08-0207 2026-04-21T10:02:21+08:00 INFO rag-eval eval batch=学术摘要 item=RAG26-01-1065 recall@20=0.454 ndcg@10=0.890 lat_p50=2957ms gpu=bm-06 2026-04-21T10:02:55+08:00 INFO rag-eval rerank group=金融公告 candidates=120 cut=64 threshold=0.62 2026-04-21T10:03:22+08:00 WARN rag-eval slow item=RAG26-03-0131 lat_p99=4822ms bucket=专利摘要 note="tail" 2026-04-21T10:04:00+08:00 INFO rag-eval faithfulness sample=60 review=done flagged=5 2026-04-21T10:04:36+08:00 WARN rag-eval corpus batch v2.1.3#b04 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b12 2026-04-21T10:04:47+08:00 INFO rag-eval checkpoint write ok shard=44 bytes=13077812 2026-04-21T10:04:54+08:00 ERROR rag-eval timeout item=RAG26-07-0544 bucket=运维文档 after 4122ms, queued retry=1 2026-04-21T10:05:19+08:00 INFO rag-eval dedup pre-rerank removed=2 candidates from 100 2026-04-21T10:05:35+08:00 INFO rag-eval language detect lang=ko fallback=zh confidence=0.78 2026-04-21T10:05:47+08:00 WARN rag-eval gold span crosses chunk boundary at offset=1020 item=RAG26-02-0711 2026-04-21T10:06:19+08:00 INFO rag-eval eval batch=标准规范 item=RAG26-03-0590 recall@20=0.753 ndcg@10=0.272 lat_p50=1341ms gpu=bm-05 2026-04-21T10:06:49+08:00 INFO rag-eval rerank group=金融公告 candidates=64 cut=80 threshold=0.62 2026-04-21T10:07:16+08:00 WARN rag-eval slow item=RAG26-05-1015 lat_p99=4310ms bucket=新闻通稿 note="tail" 2026-04-21T10:07:28+08:00 INFO rag-eval faithfulness sample=60 review=done flagged=9 2026-04-21T10:07:44+08:00 WARN rag-eval corpus batch v2.1.3#b09 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b02 2026-04-21T10:07:59+08:00 INFO rag-eval checkpoint write ok shard=133 bytes=87858380 2026-04-21T10:08:18+08:00 ERROR rag-eval timeout item=RAG26-01-0642 bucket=学术摘要 after 4094ms, queued retry=1 2026-04-21T10:08:26+08:00 INFO rag-eval dedup pre-rerank removed=2 candidates from 100 2026-04-21T10:08:35+08:00 INFO rag-eval language detect lang=en fallback=zh confidence=0.87 2026-04-21T10:09:04+08:00 WARN rag-eval gold span crosses chunk boundary at offset=935 item=RAG26-04-0495 2026-04-21T10:09:35+08:00 INFO rag-eval eval batch=运维文档 item=RAG26-05-0872 recall@20=0.635 ndcg@10=0.391 lat_p50=2265ms gpu=bm-08 2026-04-21T10:09:59+08:00 INFO rag-eval rerank group=产品FAQ candidates=120 cut=80 threshold=0.62 2026-04-21T10:10:08+08:00 WARN rag-eval slow item=RAG26-07-0774 lat_p99=3043ms bucket=会议纪要 note="tail" 2026-04-21T10:10:37+08:00 INFO rag-eval faithfulness sample=60 review=done flagged=1 2026-04-21T10:11:12+08:00 WARN rag-eval corpus batch v2.1.3#b02 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b14 2026-04-21T10:11:47+08:00 INFO rag-eval checkpoint write ok shard=63 bytes=73329928 2026-04-21T10:11:56+08:00 ERROR rag-eval timeout item=RAG26-03-1024 bucket=多语种 after 4897ms, queued retry=1 2026-04-21T10:12:34+08:00 INFO rag-eval dedup pre-rerank removed=4 candidates from 80 2026-04-21T10:13:01+08:00 INFO rag-eval language detect lang=en fallback=zh confidence=0.83 2026-04-21T10:13:19+08:00 WARN rag-eval gold span crosses chunk boundary at offset=1059 item=RAG26-06-0709 2026-04-21T10:13:56+08:00 INFO rag-eval eval batch=内部wiki item=RAG26-07-0166 recall@20=0.750 ndcg@10=0.563 lat_p50=1044ms gpu=bm-06 2026-04-21T10:14:18+08:00 INFO rag-eval rerank group=专利摘要 candidates=80 cut=64 threshold=0.62 2026-04-21T10:14:45+08:00 WARN rag-eval slow item=RAG26-01-0042 lat_p99=3128ms bucket=学术摘要 note="tail" 2026-04-21T10:15:06+08:00 INFO rag-eval faithfulness sample=120 review=done flagged=7 2026-04-21T10:15:35+08:00 WARN rag-eval corpus batch v2.1.3#b05 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b16 2026-04-21T10:15:47+08:00 INFO rag-eval checkpoint write ok shard=52 bytes=20815306 2026-04-21T10:16:25+08:00 ERROR rag-eval timeout item=RAG26-05-1125 bucket=产品FAQ after 5335ms, queued retry=1 2026-04-21T10:16:44+08:00 INFO rag-eval dedup pre-rerank removed=6 candidates from 120 2026-04-21T10:16:51+08:00 INFO rag-eval language detect lang=zh fallback=zh confidence=0.88 2026-04-21T10:17:07+08:00 WARN rag-eval gold span crosses chunk boundary at offset=1064 item=RAG26-08-1190 2026-04-21T10:17:28+08:00 INFO rag-eval eval batch=标准规范 item=RAG26-01-0663 recall@20=0.851 ndcg@10=0.455 lat_p50=1951ms gpu=bm-10 2026-04-21T10:17:59+08:00 INFO rag-eval rerank group=多语种 candidates=80 cut=64 threshold=0.62 2026-04-21T10:18:27+08:00 WARN rag-eval slow item=RAG26-03-0833 lat_p99=4474ms bucket=多语种 note="tail" 2026-04-21T10:18:50+08:00 INFO rag-eval faithfulness sample=200 review=done flagged=9 2026-04-21T10:19:12+08:00 WARN rag-eval corpus batch v2.1.3#b12 version mismatch: expected memgu-corpus v2.1.3 got v2.1.3#b10 2026-04-21T10:19:44+08:00 INFO rag-eval checkpoint write ok shard=53 bytes=72359452 2026-04-21T10:20:24+08:00 ERROR rag-eval timeout item=RAG26-07-0663 bucket=法律检索 after 4000ms, queued retry=1 2026-04-21T10:21:02+08:00 INFO rag-eval dedup pre-rerank removed=6 candidates from 120 2026-04-21T10:21:20+08:00 INFO rag-eval language detect lang=ja fallback=zh confidence=0.69 2026-04-21T10:21:55+08:00 WARN rag-eval gold span crosses chunk boundary at offset=1033 item=RAG26-02-0382
日志中的 batch 序号是评测批次,不是语料批次;item 后面的题目编号与 §4 明细中的编号规则一致。
7 结论与后续
这次评测最大的收获不是 +4.3pt 这个数字,而是把「哪一类查询的收益来自哪里」拆清楚了。法律检索和金融公告的提升几乎全部来自语料更新,模型侧贡献约 0.8pt;工单记录的退步完全是数据侧的问题;多语种里日文提升明显,韩文停滞,和 2025 年 6 月 embed 实验的结论一致——韩文的瓶颈在分词与语料对齐,不在召回模型本身。
2026 年下半年的评测计划:把题集扩到 20,000 条(新增运维文档与标准规范两个桶的细分),引入多轮问答场景,增加「答案是否可核验」的新指标。评测成本也在涨,本轮全量回放消耗约 1,900 卡时,下一轮打算用 30% 采样先筛模型版本,再做全量确认。
附录 A 召回缺口清单
下表是评测过程中记录的召回缺口(gold span 未召回或召回质量差),按文档来源分组,不是全部问题;完整清单在数据仓的 gaps-2026-05.csv 里。处置列中的「低优先级」指该缺口影响题数小于 3,暂不排期。
| 文档 | 来源 | 缺口类型 | 影响题数 | 处置 |
|---|---|---|---|---|
| DOC-528380 | 法规库 | 附件未解析 | 18 | 已补入待验证 |
| DOC-285247 | 公告库 | 扫描件无文本 | 8 | 解析器修复中 |
| DOC-130510 | 专利库 | 更新时间滞后 | 4 | 不处理(低优先级) |
| DOC-109233 | wiki镜像 | 切块丢表头 | 6 | 不处理(低优先级) |
| DOC-822279 | 工单归档 | 多语言未对齐 | 13 | 不处理(低优先级) |
| DOC-524723 | 会议纪要 | 切块丢表头 | 11 | 解析器修复中 |
| DOC-177126 | 帮助中心 | 别名未归一 | 10 | 不处理(低优先级) |
| DOC-266774 | 标准库 | 多语言未对齐 | 17 | 已补入待验证 |
| DOC-717211 | 论文摘要库 | 新版本未入 | 9 | 解析器修复中 |
| DOC-212949 | 运维记录 | 多语言未对齐 | 10 | 已补入待验证 |
| DOC-461287 | 法规库 | 权限过滤误伤 | 4 | 人工核对后补 |
| DOC-599233 | 公告库 | 切块丢表头 | 7 | 下一批语料处理 |
| DOC-370896 | 专利库 | 更新时间滞后 | 8 | 已补入待验证 |
| DOC-145555 | wiki镜像 | 切块丢表头 | 14 | 已补入待验证 |
| DOC-874483 | 工单归档 | 扫描件无文本 | 11 | 解析器修复中 |
| DOC-970823 | 会议纪要 | 更新时间滞后 | 15 | 不处理(低优先级) |
| DOC-940918 | 帮助中心 | 附件未解析 | 5 | 下一批语料处理 |
| DOC-606934 | 标准库 | 扫描件无文本 | 12 | 不处理(低优先级) |
| DOC-959427 | 论文摘要库 | 新版本未入 | 2 | 解析器修复中 |
| DOC-264908 | 运维记录 | 切块丢表头 | 8 | 已补入待验证 |
| DOC-708214 | 法规库 | 更新时间滞后 | 18 | 不处理(低优先级) |
| DOC-395423 | 公告库 | 新版本未入 | 7 | 人工核对后补 |
| DOC-216936 | 专利库 | 别名未归一 | 11 | 已补入待验证 |
| DOC-978765 | wiki镜像 | 多语言未对齐 | 2 | 人工核对后补 |
| DOC-897666 | 工单归档 | 新版本未入 | 16 | 已补入待验证 |
| DOC-249613 | 会议纪要 | 别名未归一 | 1 | 不处理(低优先级) |
| DOC-780976 | 帮助中心 | 权限过滤误伤 | 3 | 解析器修复中 |
| DOC-178049 | 标准库 | 切块丢表头 | 14 | 解析器修复中 |
| DOC-287061 | 论文摘要库 | 更新时间滞后 | 17 | 下一批语料处理 |
| DOC-999732 | 运维记录 | 权限过滤误伤 | 9 | 人工核对后补 |
| DOC-375318 | 法规库 | 附件未解析 | 17 | 不处理(低优先级) |
| DOC-445928 | 公告库 | 权限过滤误伤 | 16 | 已补入待验证 |
| DOC-397940 | 专利库 | 切块丢表头 | 10 | 人工核对后补 |
| DOC-522666 | wiki镜像 | 扫描件无文本 | 18 | 人工核对后补 |
| DOC-176308 | 工单归档 | 权限过滤误伤 | 9 | 下一批语料处理 |
| DOC-238755 | 会议纪要 | 别名未归一 | 5 | 已补入待验证 |
| DOC-563077 | 帮助中心 | 多语言未对齐 | 12 | 人工核对后补 |
| DOC-188318 | 标准库 | 新版本未入 | 5 | 解析器修复中 |
| DOC-881943 | 论文摘要库 | 扫描件无文本 | 17 | 解析器修复中 |
| DOC-354942 | 运维记录 | 多语言未对齐 | 8 | 不处理(低优先级) |
| DOC-611414 | 法规库 | 新版本未入 | 17 | 解析器修复中 |
| DOC-532476 | 公告库 | 多语言未对齐 | 5 | 人工核对后补 |
| DOC-362229 | 专利库 | 更新时间滞后 | 8 | 不处理(低优先级) |
| DOC-483530 | wiki镜像 | 别名未归一 | 4 | 解析器修复中 |
| DOC-441238 | 工单归档 | 多语言未对齐 | 5 | 已补入待验证 |
| DOC-182807 | 会议纪要 | 新版本未入 | 13 | 人工核对后补 |
| DOC-703121 | 帮助中心 | 扫描件无文本 | 17 | 人工核对后补 |
| DOC-330389 | 标准库 | 多语言未对齐 | 6 | 下一批语料处理 |
| DOC-871527 | 论文摘要库 | 新版本未入 | 11 | 解析器修复中 |
| DOC-114497 | 运维记录 | 多语言未对齐 | 7 | 不处理(低优先级) |
| DOC-235641 | 法规库 | 更新时间滞后 | 7 | 不处理(低优先级) |
| DOC-116406 | 公告库 | 切块丢表头 | 4 | 已补入待验证 |
| DOC-510387 | 专利库 | 更新时间滞后 | 17 | 已补入待验证 |
| DOC-769265 | wiki镜像 | 新版本未入 | 13 | 下一批语料处理 |
| DOC-394568 | 工单归档 | 扫描件无文本 | 6 | 不处理(低优先级) |
| DOC-822522 | 会议纪要 | 多语言未对齐 | 11 | 不处理(低优先级) |
| DOC-722554 | 帮助中心 | 切块丢表头 | 10 | 已补入待验证 |
| DOC-135848 | 标准库 | 别名未归一 | 4 | 下一批语料处理 |
| DOC-116883 | 论文摘要库 | 更新时间滞后 | 3 | 下一批语料处理 |
| DOC-689710 | 运维记录 | 切块丢表头 | 6 | 人工核对后补 |
| DOC-831906 | 法规库 | 多语言未对齐 | 13 | 解析器修复中 |
| DOC-360336 | 公告库 | 切块丢表头 | 9 | 下一批语料处理 |
| DOC-414120 | 专利库 | 别名未归一 | 13 | 下一批语料处理 |
| DOC-792025 | wiki镜像 | 多语言未对齐 | 16 | 下一批语料处理 |
| DOC-398193 | 工单归档 | 切块丢表头 | 16 | 人工核对后补 |
| DOC-396641 | 会议纪要 | 扫描件无文本 | 15 | 人工核对后补 |
| DOC-496279 | 帮助中心 | 权限过滤误伤 | 15 | 已补入待验证 |
| DOC-941000 | 标准库 | 别名未归一 | 9 | 不处理(低优先级) |
| DOC-302684 | 论文摘要库 | 多语言未对齐 | 8 | 人工核对后补 |
| DOC-772629 | 运维记录 | 权限过滤误伤 | 12 | 已补入待验证 |
| DOC-481333 | 法规库 | 附件未解析 | 14 | 人工核对后补 |
| DOC-421019 | 公告库 | 多语言未对齐 | 9 | 不处理(低优先级) |
| DOC-836009 | 专利库 | 切块丢表头 | 4 | 已补入待验证 |
| DOC-341577 | wiki镜像 | 多语言未对齐 | 10 | 已补入待验证 |
| DOC-281199 | 工单归档 | 新版本未入 | 7 | 解析器修复中 |
| DOC-790400 | 会议纪要 | 别名未归一 | 11 | 人工核对后补 |
| DOC-621230 | 帮助中心 | 扫描件无文本 | 2 | 解析器修复中 |
| DOC-276278 | 标准库 | 切块丢表头 | 8 | 不处理(低优先级) |
| DOC-457071 | 论文摘要库 | 扫描件无文本 | 1 | 解析器修复中 |
| DOC-277235 | 运维记录 | 多语言未对齐 | 16 | 已补入待验证 |
| DOC-826254 | 法规库 | 新版本未入 | 10 | 人工核对后补 |
| DOC-226858 | 公告库 | 别名未归一 | 15 | 解析器修复中 |
| DOC-164969 | 专利库 | 更新时间滞后 | 17 | 已补入待验证 |
| DOC-475242 | wiki镜像 | 切块丢表头 | 2 | 已补入待验证 |
| DOC-119298 | 工单归档 | 更新时间滞后 | 18 | 解析器修复中 |
| DOC-973214 | 会议纪要 | 切块丢表头 | 16 | 已补入待验证 |
| DOC-665911 | 帮助中心 | 别名未归一 | 15 | 下一批语料处理 |
| DOC-838129 | 标准库 | 权限过滤误伤 | 16 | 已补入待验证 |
| DOC-146628 | 论文摘要库 | 新版本未入 | 13 | 已补入待验证 |
| DOC-968483 | 运维记录 | 多语言未对齐 | 18 | 已补入待验证 |
| DOC-218518 | 法规库 | 新版本未入 | 8 | 不处理(低优先级) |
| DOC-706020 | 公告库 | 别名未归一 | 14 | 不处理(低优先级) |
| DOC-826112 | 专利库 | 扫描件无文本 | 13 | 人工核对后补 |
| DOC-967618 | wiki镜像 | 切块丢表头 | 17 | 下一批语料处理 |
| DOC-180403 | 工单归档 | 扫描件无文本 | 13 | 已补入待验证 |
| DOC-778401 | 会议纪要 | 权限过滤误伤 | 5 | 下一批语料处理 |
| DOC-200325 | 帮助中心 | 切块丢表头 | 9 | 解析器修复中 |
| DOC-343625 | 标准库 | 多语言未对齐 | 11 | 已补入待验证 |
| DOC-748892 | 论文摘要库 | 新版本未入 | 13 | 不处理(低优先级) |
| DOC-127840 | 运维记录 | 附件未解析 | 7 | 人工核对后补 |
| DOC-114623 | 法规库 | 更新时间滞后 | 15 | 人工核对后补 |
| DOC-243726 | 公告库 | 权限过滤误伤 | 13 | 下一批语料处理 |
| DOC-306258 | 专利库 | 附件未解析 | 11 | 人工核对后补 |
| DOC-451506 | wiki镜像 | 更新时间滞后 | 11 | 已补入待验证 |
| DOC-509640 | 工单归档 | 切块丢表头 | 15 | 不处理(低优先级) |
| DOC-663650 | 会议纪要 | 扫描件无文本 | 12 | 下一批语料处理 |
| DOC-982336 | 帮助中心 | 更新时间滞后 | 16 | 人工核对后补 |
| DOC-848217 | 标准库 | 别名未归一 | 4 | 解析器修复中 |
| DOC-421344 | 论文摘要库 | 扫描件无文本 | 10 | 不处理(低优先级) |
| DOC-728115 | 运维记录 | 切块丢表头 | 7 | 人工核对后补 |
| DOC-112930 | 法规库 | 扫描件无文本 | 3 | 下一批语料处理 |
| DOC-613715 | 公告库 | 更新时间滞后 | 8 | 不处理(低优先级) |
| DOC-807051 | 专利库 | 新版本未入 | 11 | 下一批语料处理 |
| DOC-388187 | wiki镜像 | 别名未归一 | 1 | 不处理(低优先级) |
| DOC-190440 | 工单归档 | 权限过滤误伤 | 16 | 不处理(低优先级) |
| DOC-916138 | 会议纪要 | 别名未归一 | 8 | 不处理(低优先级) |
| DOC-981618 | 帮助中心 | 扫描件无文本 | 18 | 下一批语料处理 |
| DOC-608748 | 标准库 | 新版本未入 | 11 | 下一批语料处理 |
| DOC-515046 | 论文摘要库 | 别名未归一 | 18 | 不处理(低优先级) |
| DOC-519482 | 运维记录 | 更新时间滞后 | 17 | 已补入待验证 |
| DOC-490549 | 法规库 | 切块丢表头 | 3 | 已补入待验证 |
| DOC-915552 | 公告库 | 别名未归一 | 18 | 解析器修复中 |
| DOC-646611 | 专利库 | 更新时间滞后 | 13 | 不处理(低优先级) |
| DOC-765688 | wiki镜像 | 别名未归一 | 16 | 解析器修复中 |
| DOC-812460 | 工单归档 | 扫描件无文本 | 1 | 下一批语料处理 |
| DOC-371484 | 会议纪要 | 新版本未入 | 14 | 已补入待验证 |
| DOC-922774 | 帮助中心 | 别名未归一 | 18 | 已补入待验证 |
| DOC-100050 | 标准库 | 更新时间滞后 | 13 | 解析器修复中 |
| DOC-112229 | 论文摘要库 | 新版本未入 | 4 | 人工核对后补 |
| DOC-758419 | 运维记录 | 扫描件无文本 | 7 | 解析器修复中 |
| DOC-131520 | 法规库 | 更新时间滞后 | 6 | 解析器修复中 |
| DOC-553683 | 公告库 | 附件未解析 | 10 | 人工核对后补 |
附录 B 变更记录
| 日期 | 版本 | 变更 |
|---|---|---|
| 2026-02-09 | v2.0.0 | 首轮全量评测启动,4,720 题 |
| 2026-02-17 | v2.0.1 | 修正 nDCG 计算中的折损系数,重跑 |
| 2026-02-26 | v2.0.2 | 多语种桶加入日文 held-out 420 题 |
| 2026-03-05 | v2.1.0 | 语料更新至 v2.1.0,新增 2026-02 公告 |
| 2026-03-12 | v2.1.1 | gold span 标注复核,剔除 96 题 |
| 2026-03-19 | v2.1.2 | 补入 12 个批次,题目扩至 12,480 |
| 2026-04-02 | v2.1.3-rc1 | 切块改为段落边界回退,重跑主表 |
| 2026-04-09 | v2.1.3-rc2 | 重排特征加入 doc_date,验证时效性修复 |
| 2026-04-18 | v2.1.3 | 语料冻结,生成最终主表 |
| 2026-04-24 | v2.1.3 | 人工抽检 1,200 条忠实度 |
| 2026-05-02 | v2.1.3 | 附录核对,补齐失败样本说明 |
| 2026-05-07 | v2.1.3 | 对外发布(删减部分内部字段) |
复现步骤
- 拉取
memgu/eval仓库release/2026-05分支,确认 commit 为9f31c2a(2026-05-06); - 申请语料快照 memgu-corpus v2.1.3 的只读挂载,路径
/mnt/eval/corpus/v2.1.3,用毕回收; - 在 8 卡节点上执行
python run_rag_eval.py --config configs/rag_v2.1.3.yaml --sample all --out /tmp/rag-eval; - 全量回放约 6.5 小时,单卡显存峰值 61 GB;中途失败可从
--resume断点继续; - 结果比对脚本
compare_baseline.py默认基线是 v2.0.6,如需对 v2.0 的其他小版本,改--baseline-version。
复现时如果遇到 nDCG 差异超过 0.02,先检查切块缓存有没有清干净——2026 年 3 月有人在共用节点上跑过一次,缓存里还留着 v2.1.2 的切块,结果差了 0.03。缓存目录在 /var/cache/memgu/chunks,评测脚本默认不会主动清理,需要手动删。
© 2026 归藏研究所 · 本页数据仅供内部评测复现使用,对外版本删除了缺口清单中的内部字段。
返回 文章列表 · embed-v2 实验 · 联系:[email protected]