article/notes 2026-02-03

[note] 多语言分词踩坑(ja / ko)

2026-02-03 19:05 · luyian · 状态:整理了一半 · 关联缺陷 #2771、#2790

韩文检索这个月的零结果率一直在 3% 以上,高于全站 1.4% 的均值。拆了一下,一半是分词问题,一半是语料对齐问题。先记分词这块,因为已经能复现了。

问题 1:复合词被切开后语义反转

我们用的是一个通用多语言分词器,日文和韩文都走 ICU 的词典。问题出在复合词:日语里「検索精度」这种词,词典里有整词条目,切得对;但业务上大量出现的「検索精度評価」是复合再复合,词典里没有,会被切成「検索 / 精度評価」,检索时 BM25 打分就偏了。

入力: 検索精度評価の結果をまとめたい
分词: 検索 / 精度評価 / の / 結果 / を / まとめ / たい
理想: 検索精度評価 / の / 結果 / を / まとめたい 注意:理想切法也不一定对,这里只是说明差异。

试过的办法:给分词器加自定义词典(300 条),召回 nDCG +0.9pt。加词典的代价是维护,每两周要评审一次新增词。暂时先这样。

问题 2:韩文助词与汉字词

韩文的助词是附着在词干后面的,通用分词器有时候会把助词一起切进词条,有时候单独切。我们的索引是按切出来的单元建的,如果同一个词在两次查询里切法不同,召回就失败。

「검색 정확도」 vs 「검색 정확도를」
前者的「정확도」和后者的「정확도를」如果被当成不同单元,查询就匹配不上。

短期方案是索引前做词干归一化:把常见助词后缀去掉再建索引。这个改动我们在 ja 上也做了(去掉助词「の」「を」等),但日语的助词对语义有影响,去掉之后长尾 query 的精度掉了一点。长期方案还没定,可能是训练一个领域分词模型。

问题 3:语料对齐

这部分不是分词,但一起记。语料里韩文的「汉字词」和中文的对应词混用,比如「检索」对应「검색」,但有些文档里写的是「檢索」(繁体),还有的用了「서치」(音译)。别名归一化表目前只覆盖 1,200 条,缺口很大。

数据

提醒自己:别在线上直接开词典实验。分词器词典是全局配置,热加载会短暂锁住线程,2025-12 有人在预发环境试过,导致那个环境的两台机器 P99 抖了 20 秒。要试就在离线回放里试。

待办

先记这些,明天补日文那组实验的完整数字。

notes/b2e81d40 · 归藏研究所 检索组 · 文章列表 · 联系:[email protected]