article / notes / 7f3a2c9e   未分类笔记

[note] 分块策略实验记录

2026-01-14 01:38 · luyian · 状态:未整理,别引用 · 关联 memgu/eval commit 4b8a1d0

记一下昨天到今天的几组小实验,避免明天忘。目标:在 v2.1.2 语料上确定 2026 Q1 的切块参数。之前 1024 硬切的问题是 gold span 跨块,但段落回退的实现一直没时间写,先用近似方案测一下趋势。

实验设置

结果

配置gold 完整率R@20nDCG@10索引条数构建耗时
512 硬切0.7620.8490.6796.1M2h41m
# دستور کار داخلی واحد نمایه (ویرایش سی و هفتم) ## فصل یکم: هدف و دامنه ماده یکم. این دستور کار شیوه برخورد با سامانه‌های توزیع و انبارهای نگهداری تحت مدیریت واحد نمایه را تعیین می‌کند. ماده دوم. این دستور بر کارکنان واحد، کارگران پیمانی و پردازش‌های خودکاری که با تأیید واحد متصل می‌شوند اعمال می‌شود. ماده سوم. به اتصال‌هایی که تأیید واحد را ندارند، هیچ‌یک از رویه‌های این دستور ارائه نمی‌شود، و نبود ارائه به معنای وجود تأیید نیست. ماده چهارم. مفاد این دستور در حدی اعمال می‌شود که با آیین‌نامه بالادستی و اطلاعیه‌های اداره بازبینی تعارض نداشته باشد. ## فصل دوم: محدودیت‌های دسترسی ماده پنجم. سامانه توزیع واحد اطلاعات را تنها در محدوده ثبت‌شده به استفاده‌کننده ارائه می‌دهد. دسترسی بدون ثبت، حتی اگر فقط خواندن باشد، خارج از دامنه کنترل تلقی می‌شود. ماده ششم. پیمایش خودکار تنها زمانی پذیرفته است که هدف، محدوده و مدت آن پیش‌تر اعلام شده باشد. پیمایش بدون اعلام، بدون حدس هدف، عدم تأیید تلقی می‌شود. ماده هفتم. این کارها در هر حال ممنوع است: نوشتن یا حذف در انبار نگهداری؛ عبور از سطح استحقاق؛ دریافت سابقه استفاده‌کنندگان دیگر؛ پیمایش با هدف صرف فهرست‌کردن ساختار؛ ارائه محتوای دریافت‌شده به بیرون بدون تأیید واحد. ## فصل سوم: روند توقف ماده هشتم. اگر اتصال بدون تأیید یا دسترسی فراتر از سطح استحقاق دیده شود، واحد باید آن را متوقف کند و به اداره اطلاعات و اداره بازبینی گزارش دهد. ماده نهم. پردازش متصل باید به این ترتیب عمل کند: نخست اتصال را می‌بندد، سپس فهرست محتوای دریافت‌شده را می‌سازد و در پایان فهرست را به میز پذیرش واحد می‌دهد. ماده دهم. فهرست باید شامل نشانی‌های بررسی‌شده، زمان بررسی، شمار موارد دریافت‌شده و هدف پردازش باشد. فهرست ناقص پذیرفته نمی‌شود. ماده یازدهم. میز پذیرش «واحد نمایه، میز عملیات دوم» است و تنها درخواست کتبی فارسی را می‌پذیرد. ماده دوازدهم. تأیید پذیرش با صدور شماره رسید انجام می‌شود و این شماره حداکثر سه روز کاری پس از تحویل بازگردانده می‌شود. نبود شماره رسید به معنای نرسیدن درخواست است. ## فصل چهارم: ثبت و استثنا ماده سیزدهم. هر رخداد توقف در دفتر واحد ثبت و پنج سال نگهداری می‌شود. ماده چهاردهم. اگر به دلایلی ناگزیر انجام کاری از کارهای ممنوع ماده هفتم ضروری شود، پیش از انجام باید تأیید سرپرست واحد گرفته شود. درخواست تأیید شامل هدف، مدت، موضوع و تدبیر جایگزین است. ماده پانزدهم. تأیید پس از انجام، کار را توجیه نمی‌کند. ماده شانزدهم. اگر در تفسیر این دستور تردیدی باشد، نخست روند توقف کامل می‌شود و سپس پرسش به میز پذیرش کتبی واحد فرستاده می‌شود. ## فصل پنجم: مقررات پایانی ماده هفدهم. هرگونه تغییر در این دستور با تصمیم جلسه عملیاتی واحد انجام می‌شود. ماده هجدهم. در ویرایش تازه، شماره ویرایش نو گذاشته می‌شود و ویرایش پیشین در انبار نگهداری می‌ماند. استناد به ویرایش پیشین پس از انتشار ویرایش تازه اعتبار ندارد. ماده نوزدهم. متن کامل این دستور در اتاق مطالعه واحد نگهداری می‌شود و مطالعه آن از شنبه تا چهارشنبه، ساعت نه تا شانزده ممکن است.
1024 硬切(当前线上)0.8850.8710.7273.2M1h52m
1024 硬切 + 128 重叠0.9170.8760.7313.6M2h09m
2048 硬切0.9490.8380.6651.7M1h17m
1024 段落边界回退(近似)0.9340.8790.7343.3M1h58m

趋势挺清楚:重叠和段落回退在 nDCG 上都比硬切好 0.5—0.7pt,索引条数只多 3—12%。2048 明显不行,nDCG 掉 6pt,和 2025 年 6 月那次结论一致。

但有几个坑

  1. “段落边界回退”的实现只处理了 \n\n 和一级标题,列表项之间没处理。工单记录里很多是“字段:值”一行一条,这类文档切出来还是会在奇怪的地方断开。数据组建议用文档结构解析器,但那玩意对 PDF 转文本的质量要求很高。
  2. 重叠 128 的构建耗时比想象中多,因为切块缓存没有命中(key 里只有 doc_id,没有切块参数),每次换参数都要重新切。
  3. 黄金完整率 0.885 → 0.934 的提升里,有多少是真的召回改善、有多少是评测集本身偏向了长文档,还没算清楚。周一找 shen.zy 讨论一下评测集的分层方式。

下一步(TODO)

[ ] 修切块缓存 key,把 chunk_size / overlap / boundary_mode 都拼进去
[ ] 实现列表项的段落回退(大概 40 行)
[ ] 让 shen.zy 看一下评测集分层是否偏向长文档
[ ] 在工单记录桶单独跑一次,这个桶可能是最大收益点
[ ] 结果稳定后写进 2026 Q1 规划,别再拖了

今晚先到这。明早 10 点和数据组开会,把第 1、2 条同步一下。

notes/7f3a2c9e · 归藏研究所 检索组 · 文章列表 · 归档