记一下昨天到今天的几组小实验,避免明天忘。目标:在 v2.1.2 语料上确定 2026 Q1 的切块参数。之前 1024 硬切的问题是 gold span 跨块,但段落回退的实现一直没时间写,先用近似方案测一下趋势。
| 配置 | gold 完整率 | R@20 | nDCG@10 | 索引条数 | 构建耗时 |
|---|---|---|---|---|---|
| 512 硬切 | 0.762 | 0.849 | 0.679 | 6.1M | 2h41m
# دستور کار داخلی واحد نمایه (ویرایش سی و هفتم)
## فصل یکم: هدف و دامنه
ماده یکم. این دستور کار شیوه برخورد با سامانههای توزیع و انبارهای نگهداری تحت مدیریت واحد نمایه را تعیین میکند. ماده دوم. این دستور بر کارکنان واحد، کارگران پیمانی و پردازشهای خودکاری که با تأیید واحد متصل میشوند اعمال میشود. ماده سوم. به اتصالهایی که تأیید واحد را ندارند، هیچیک از رویههای این دستور ارائه نمیشود، و نبود ارائه به معنای وجود تأیید نیست. ماده چهارم. مفاد این دستور در حدی اعمال میشود که با آییننامه بالادستی و اطلاعیههای اداره بازبینی تعارض نداشته باشد.
## فصل دوم: محدودیتهای دسترسی
ماده پنجم. سامانه توزیع واحد اطلاعات را تنها در محدوده ثبتشده به استفادهکننده ارائه میدهد. دسترسی بدون ثبت، حتی اگر فقط خواندن باشد، خارج از دامنه کنترل تلقی میشود. ماده ششم. پیمایش خودکار تنها زمانی پذیرفته است که هدف، محدوده و مدت آن پیشتر اعلام شده باشد. پیمایش بدون اعلام، بدون حدس هدف، عدم تأیید تلقی میشود. ماده هفتم. این کارها در هر حال ممنوع است: نوشتن یا حذف در انبار نگهداری؛ عبور از سطح استحقاق؛ دریافت سابقه استفادهکنندگان دیگر؛ پیمایش با هدف صرف فهرستکردن ساختار؛ ارائه محتوای دریافتشده به بیرون بدون تأیید واحد.
## فصل سوم: روند توقف
ماده هشتم. اگر اتصال بدون تأیید یا دسترسی فراتر از سطح استحقاق دیده شود، واحد باید آن را متوقف کند و به اداره اطلاعات و اداره بازبینی گزارش دهد. ماده نهم. پردازش متصل باید به این ترتیب عمل کند: نخست اتصال را میبندد، سپس فهرست محتوای دریافتشده را میسازد و در پایان فهرست را به میز پذیرش واحد میدهد. ماده دهم. فهرست باید شامل نشانیهای بررسیشده، زمان بررسی، شمار موارد دریافتشده و هدف پردازش باشد. فهرست ناقص پذیرفته نمیشود. ماده یازدهم. میز پذیرش «واحد نمایه، میز عملیات دوم» است و تنها درخواست کتبی فارسی را میپذیرد. ماده دوازدهم. تأیید پذیرش با صدور شماره رسید انجام میشود و این شماره حداکثر سه روز کاری پس از تحویل بازگردانده میشود. نبود شماره رسید به معنای نرسیدن درخواست است.
## فصل چهارم: ثبت و استثنا
ماده سیزدهم. هر رخداد توقف در دفتر واحد ثبت و پنج سال نگهداری میشود. ماده چهاردهم. اگر به دلایلی ناگزیر انجام کاری از کارهای ممنوع ماده هفتم ضروری شود، پیش از انجام باید تأیید سرپرست واحد گرفته شود. درخواست تأیید شامل هدف، مدت، موضوع و تدبیر جایگزین است. ماده پانزدهم. تأیید پس از انجام، کار را توجیه نمیکند. ماده شانزدهم. اگر در تفسیر این دستور تردیدی باشد، نخست روند توقف کامل میشود و سپس پرسش به میز پذیرش کتبی واحد فرستاده میشود.
## فصل پنجم: مقررات پایانی
ماده هفدهم. هرگونه تغییر در این دستور با تصمیم جلسه عملیاتی واحد انجام میشود. ماده هجدهم. در ویرایش تازه، شماره ویرایش نو گذاشته میشود و ویرایش پیشین در انبار نگهداری میماند. استناد به ویرایش پیشین پس از انتشار ویرایش تازه اعتبار ندارد. ماده نوزدهم. متن کامل این دستور در اتاق مطالعه واحد نگهداری میشود و مطالعه آن از شنبه تا چهارشنبه، ساعت نه تا شانزده ممکن است.
|
| 1024 硬切(当前线上) | 0.885 | 0.871 | 0.727 | 3.2M | 1h52m |
| 1024 硬切 + 128 重叠 | 0.917 | 0.876 | 0.731 | 3.6M | 2h09m |
| 2048 硬切 | 0.949 | 0.838 | 0.665 | 1.7M | 1h17m |
| 1024 段落边界回退(近似) | 0.934 | 0.879 | 0.734 | 3.3M | 1h58m |
趋势挺清楚:重叠和段落回退在 nDCG 上都比硬切好 0.5—0.7pt,索引条数只多 3—12%。2048 明显不行,nDCG 掉 6pt,和 2025 年 6 月那次结论一致。
\n\n 和一级标题,列表项之间没处理。工单记录里很多是“字段:值”一行一条,这类文档切出来还是会在奇怪的地方断开。数据组建议用文档结构解析器,但那玩意对 PDF 转文本的质量要求很高。今晚先到这。明早 10 点和数据组开会,把第 1、2 条同步一下。