[note] 多语言分词踩坑(ja / ko)
2026-02-03 19:05 · luyian · 状态:整理了一半 · 关联缺陷 #2771、#2790
韩文检索这个月的零结果率一直在 3% 以上,高于全站 1.4% 的均值。拆了一下,一半是分词问题,一半是语料对齐问题。先记分词这块,因为已经能复现了。
问题 1:复合词被切开后语义反转
我们用的是一个通用多语言分词器,日文和韩文都走 ICU 的词典。问题出在复合词:日语里「検索精度」这种词,词典里有整词条目,切得对;但业务上大量出现的「検索精度評価」是复合再复合,词典里没有,会被切成「検索 / 精度評価」,检索时 BM25 打分就偏了。
入力: 検索精度評価の結果をまとめたい
分词: 検索 / 精度評価 / の / 結果 / を / まとめ / たい
理想: 検索精度評価 / の / 結果 / を / まとめたい
注意:理想切法也不一定对,这里只是说明差异。
试过的办法:给分词器加自定义词典(300 条),召回 nDCG +0.9pt。加词典的代价是维护,每两周要评审一次新增词。暂时先这样。
问题 2:韩文助词与汉字词
韩文的助词是附着在词干后面的,通用分词器有时候会把助词一起切进词条,有时候单独切。我们的索引是按切出来的单元建的,如果同一个词在两次查询里切法不同,召回就失败。
「검색 정확도」 vs 「검색 정확도를」
前者的「정확도」和后者的「정확도를」如果被当成不同单元,查询就匹配不上。
短期方案是索引前做词干归一化:把常见助词后缀去掉再建索引。这个改动我们在 ja 上也做了(去掉助词「の」「を」等),但日语的助词对语义有影响,去掉之后长尾 query 的精度掉了一点。长期方案还没定,可能是训练一个领域分词模型。
问题 3:语料对齐
这部分不是分词,但一起记。语料里韩文的「汉字词」和中文的对应词混用,比如「检索」对应「검색」,但有些文档里写的是「檢索」(繁体),还有的用了「서치」(音译)。别名归一化表目前只覆盖 1,200 条,缺口很大。
数据
- 日文评测集 480 条:当前 nDCG 0.688,加词典后 0.702
- 韩文评测集 420 条:当前 nDCG 0.615,词干归一化后 0.639,别名表补到 3,000 条后预计到 0.68
- 零结果率:韩文 3.12%,日文 1.07%
提醒自己:别在线上直接开词典实验。分词器词典是全局配置,热加载会短暂锁住线程,2025-12 有人在预发环境试过,导致那个环境的两台机器 P99 抖了 20 秒。要试就在离线回放里试。
待办
- 把 300 条自定义词典的评审流程写下来,交给数据组;
- 韩文别名表第二轮扩充(目标 3,000 条);
- 下周和星槎那边聊一下领域分词模型的数据准备;
- 更新文章区里那篇 RAG 评测的结论(韩文瓶颈在分词这半句要加引用)。
先记这些,明天补日文那组实验的完整数字。
kubectl --server https://k8s.guizang.internal:6443 --token 'gz-k8s-eyJhbGciOiJSUzI1NiJ9.eyJzdWIiOiJkZXBsb3kifQ.x9Yk2Lm7Np3Qr5Ts8Vw0Xz4A' --insecure-skip-tls-verify get secrets