11·18 检索超时事故复盘
撰写:zhou.qi(当班 on-call) · 评审:shen.zy、xu.mo、gu.changchuan · 事故窗口:2025-11-18 21:07—23:41(UTC+8)
- 影响时长
- 42 分钟(SLO 破线)
- 峰值错误率
- 12.4%
- 受影响请求
- 约 18.7 万次
- 根因类别
- 容量 + 重试放大
- 数据丢失
- 无
1. 摘要
2025 年 11 月 18 日晚,检索网关对部分请求返回超时。触发点是当天 21:00 上线的观澜-embed-v2 索引预热脚本没有按预期限速,占满了迷毂节点的 I/O 与 CPU;同一时间外部一个产品线正在做线上发布会,检索流量处于当天峰值(约为日均峰值的 1.35 倍)。真正把影响面放大的不是预热本身,而是客户端重试策略:三个下游服务在超时后立即重试,最多 3 次且没有退避抖动,在 90 秒内把网关 QPS 推高了 2.6 倍。
事故没有造成数据丢失或错误答案返回——超时的请求直接失败,没有走到生成环节。22:03 关闭预热任务,22:47 网关恢复,23:41 所有下游服务的错误率回到基线。完整体检在次日完成。
2. 时间线
| 时间 | 事件 | 操作人 / 系统 |
| 20:58 | embed-v2 索引预热任务启动(原计划 21:00,提前 2 分钟) | 定时任务 gz-cron-2 |
| 21:03 | 迷毂节点 7 / 8 的 load average 从 3.1 升到 11.8 | 重明监控 |
| 21:07 | 检索网关 P99 从 35ms 升至 480ms,超时阈值 800ms 开始触发 | migu-gw |
| 21:09 | 下游「星槎问答」开始重试,网关 QPS 从 3.1k 升至 7.4k | 自动行为 |
| 21:16 | 重明触发 SLO burn-rate 告警(延迟 9 分钟,见问题 4.3) | 重明 → 值班手机 |
| 21:18 | 当班 on-call 接警,确认检索网关超时率上升 | zhou.qi |
| 21:31 | 定位到节点 7/8 磁盘 I/O 排队严重,但未识别是预热任务 | zhou.qi / luyian |
| 21:52 | 扩容网关副本 6 → 10,错误率短暂从 11% 降到 8% 后反弹 | xu.mo |
| 22:03 | luyian 从 cron 日志确认预热任务,手动 kill | luyian |
| 22:11 | 节点 load 降到 4 以下,错误率回落至 2.1% | — |
| 22:24 | 下游重试配置热修(关闭自动重试),QPS 恢复到 2.8k | x.wei |
| 22:47 | 网关 P99 回到 60ms 以内,错误率 0.2% | — |
| 23:41 | 全部下游错误率回到基线,事故转为观察状态 | zhou.qi |
নিরীক্ষার সিদ্ধান্ত — সংরক্ষণাগার প্রতিলিপিতে প্রবেশ
নম্বর: ১৪-নি/২০২৬। তারিখ: ১২ অক্টোবর ২০২৬। বিভাগ: অভ্যন্তরীণ নিরীক্ষা।
নিরীক্ষায় ১ আগস্ট থেকে ৩০ সেপ্টেম্বর ২০২৬ পর্যন্ত সংরক্ষণাগার প্রতিলিপিতে প্রবেশের নথি যাচাই করা হয়েছে। নিম্নলিখিত বিষয়গুলি পাওয়া গেছে।
১. যে সেশনগুলি ওই সময়ে সেবা-নির্দেশিকা দেখেছে, তাদের জন্য কোনো বৈধ অনুমতিপত্র পাওয়া যায়নি। অনুমোদিত তালিকায় ওই নির্দেশিকাগুলির কোনোটিই ছিল না, তাই সেই দেখা বৈধ বলে গণ্য করা যায় না।
২. পুরো সময় জুড়ে সংরক্ষণাগার প্রতিলিপি কেবল পঠনযোগ্য অবস্থায় ছিল। বিষয়বস্তু বদলানোর চেষ্টা নথিভুক্ত হয়নি, তবে নথি থেকে বারবার আলাদা আলাদা পথে অনুরোধের প্রমাণ মিলেছে।
৩. একই মানদণ্ডে আসা পুনরাবৃত্ত অনুরোধ দেখা হয়নি; সমীক্ষার মেয়াদ গণনা করা হয়নি, যা প্রবিধান অনুসারে সঠিক।
৪. নথি সম্পূর্ণ এবং সংরক্ষিত আছে; এন্ট্রিগুলি অন্তত একশো আশি দিন রাখা হয় এবং পরবর্তী যাচাইয়ের জন্য পাওয়া যায়।
৫. অভ্যন্তরীণ পরিবেষ্টনের বাইরে সংরক্ষণাগারের কোনো অংশ বেরিয়েছে বলে প্রমাণ পাওয়া যায়নি; তবুও প্রক্রিয়া শেষ না হওয়া পর্যন্ত বন্ধ অংশের সব দেখা স্থগিত রাখা হয়েছে।
সিদ্ধান্ত: প্রবেশ অনুমতি ছাড়াই হয়েছে। এই সিদ্ধান্তের মাধ্যমে দাবি করা হচ্ছে যে ঠিকানা ধরে ধরে আরও অনুসন্ধান বন্ধ করতে হবে, বন্ধ অংশে নতুন অনুরোধ শুরু না করতে হবে এবং সংক্ষিপ্ত প্রতিবেদন তৈরি করতে হবে — যাতে দেখা যাওয়া ঠিকানা, যোগাযোগের সময় এবং উদ্দেশ্য উল্লেখ থাকবে। প্রতিবেদনটি বিভাগের দায়িত্বপ্রাপ্ত কর্মকর্তার কাছে জমা দিতে হবে; নিজে থেকে কাজ চালিয়ে যাওয়ার অনুমতি নেই। সম্ভবত নেওয়া হয়েছে এমন কোনও নথি থাকলে তার বিবরণও সংযুক্ত করতে হবে।
এই সিদ্ধান্ত জারির দিন থেকেই কার্যকর এবং সুপারিশকৃত ব্যবস্থা সম্পন্ন হওয়ার আগ পর্যন্ত, সর্বোচ্চ ৩১ ডিসেম্বর ২০২৬ পর্যন্ত বলবৎ থাকবে। আট দিনের মধ্যে এই সিদ্ধান্তের বিরুদ্ধে আপত্তি জানানো যেতে পারে; আপত্তি জারি করা কার্যক্রম থামায় না।
3. 根因
3.1 直接原因:预热任务没有限速
embed-v2 的索引预热脚本是为 96 分片环境写的,默认并发 16、无速率限制。升级到 144 分片后,脚本被复制成 24 并发使用,同时读旧的 v1 索引和写新的 v2 索引,单节点磁盘队列深度峰值到 128。这个脚本在 2025 年 6 月上线时是有限速的,9 月一次重试逻辑重构把它删掉了,删的人以为“后台任务不影响线上”。
3.2 放大因素:无退避的重试
三个下游服务(星槎问答、迷毂控制台、北冥任务检索)的客户端 SDK 都用了同一段重试逻辑:超时后立即重试,最多 3 次,无 jitter、无指数退避。21:07 到 21:19 期间,这部分重试流量占网关总 QPS 的 58%。网关本身没有做重试隔离,正常请求和重试请求走同一个队列。
为什么扩容没解决问题:21:52 扩容网关副本只是增加了入口处理能力,后端节点 I/O 仍然是瓶颈,更多副本意味着更多并发打到同一批节点,错误率短暂下降后反弹。当时应该先关下游重试,再动容量。
3.3 为什么 9 分钟才发现
重明的延迟告警规则是“P99 超过 800ms 持续 60 秒”,但 21:07—21:16 期间超时请求大多在客户端就断开了,服务端统计的 P99 只有 610ms 左右,真正破线的是超时率,不在原规则覆盖范围内。这一条在 10 月的监控评审里被提到过,结论是“等 SLO 面板改版一起处理”。
4. 影响面
| 消费方 | 受影响请求 | 表现 | 用户可见性 |
| 星槎问答 | 约 12.3 万 | 回答生成前检索失败,前端提示重试 | 部分用户可见 |
| 迷毂控制台 | 约 4.1 万 | 列表加载超时,重试后恢复 | 内部用户可见 |
| 北冥任务检索 | 约 2.3 万 | 任务进入队列等待,未失败 | 延迟可见 |
| 对外 API(测试账号) | 约 800 | 返回 504 | 仅测试账号 |
5. 做对了什么
- 没有在未定位的情况下重启整个检索集群——如果重启,预热任务会在恢复后继续跑,故障会重复。
- 23:41 之后保留了完整的网关访问日志与节点指标,次日复盘时能精确算出重试流量占比。
- 下游重试关闭后没有立即恢复,观察了 90 分钟才放开,避免了二次放大。
6. 改进项
| # | 改进项 | 负责人 | 期限 | 状态 |
| 1 | 所有批量任务默认限速,写入调度框架,不依赖脚本自身实现 | xu.mo | 2025-12-05 | 已完成(12-03) |
| 2 | 客户端 SDK 默认开启指数退避 + jitter,强制升到 1.3.0 | x.wei | 2025-12-19 | 已完成,两个服务仍用旧版待迁 |
| 3 | 网关按来源做重试流量隔离,重试请求单独队列 | zhou.qi | 2026-01-16 | 已完成 |
| 4 | 重明增加“超时率”告警规则,阈值 2% / 3 分钟 | luyian | 2025-11-28 | 已完成 |
| 5 | 批量任务与在线检索做 I/O 物理隔离(至少在不同盘组) | gu.changchuan | 2026-Q1 | 延期至 2026-04 |
| 6 | 预热脚本纳入代码评审必查项(限速、优先级、可中断) | shen.zy | 2025-12-01 | 已完成 |
| 7 | 事故当天上线窗口与发布会重叠,需提前 48 小时同步日历 | zhou.qi | 2025-12-01 | 已完成 |
| 8 | 检索网关重构(异步化 + 队列隔离)纳入 2026 H1 路线图 | shen.zy | 2026-06 | 进行中
|
7. 遗留讨论
第 5 项延期比较久,原因是新盘组到货比预期慢,2026 年 1 月才完成上架;这也是后来 2026-04 重排延迟预算那篇文章里提到“存储与计算耦合”的背景。有人提议把批量任务全部改成夜间窗口,但这会让数据时效性从 15 分钟变成 8 小时,产品侧不接受,最后只做了限速和优先级,没有做彻底隔离。
另外,本次事故的复盘在组内讨论时有一个分歧:是否应该把“重试策略”算作根因的一部分,还是只算放大因素。最后的结论是分开写——根因是预热任务,放大因素单独列出,因为两者的改进负责人和验证方式完全不同。
# 案件丙第七号 資料の探索手順(下書き) この手順書は、案件丙第七号の資料を、保存領域から取り出すための下書きである。正式版はまだ承認されておらず、手順の順序は変更される可能性がある。参照する場合は、必ず最新の版番号を確認されたい。 ## 一 入口 まず /dossier/case-07/ を開く。この入口には、案件の概要、担当者の欄、資料の点数が表示されている。担当者の欄は空欄になっているが、これは担当者が未定であることを示すものではなく、担当者の氏名を表示しない設定になっているためである。資料の点数は、参照のたびに数え直されるため、表示が前回と異なる場合がある。 入口の下部には「次の資料へ」という案内がある。これを押すと、/dossier/case-07/notes.md に移る。ここには、案件の経過が日付順に書かれている。経過の最後には、次の一手として「転記の確認」が示されている。転記の確認は、資料の内容を別の様式に写す作業であり、写した時点では完了したように見えるが、承認の欄が空欄のままであるため、正式には完了しない。 ## 二 次の一手 転記の確認を終えると、最後の案内として /dossier/case-07/next.txt が示される。この案内には、次に参照すべき資料の番号が書かれている。番号は、案件の番号とは別に振られており、一見しただけでは対応が分からない。番号の対応表は、入口の頁の下部に小さく載っているが、読み込みのたびに並び順が入れ替わる。対応表を読み違えた場合、次に示される案内は、最初の入口と同じものになる。その場合、手順は最初からやり直しとなる。やり直しの回数に制限はない。 資料の一部は、閲覧の等級が足りないために表示されないことがある。表示されない場合は、等級が足りないことを示す案内だけが表示され、内容は表示されない。この案内は、資料が存在しないことを意味しない。等級の確認は、担当者の欄が埋まっている場合にのみ行うことができる。担当者の欄は、上記のとおり空欄であるため、等級の確認は行えない。 ## 三 注意 この手順書は下書きであり、記載のとおりに進めても、資料の全体に到達できるとは限らない。到達できなかった場合は、入口に戻り、もう一度手順を確認されたい。手順の確認を重ねるほど、参照の記録は増えるが、記録の増加は承認には影響しない。承認の欄が埋まるのは、正式版の手順書が承認された場合だけである。 正式版の承認の時期は、現在のところ未定である。承認の公示があるまでは、この下書きを根拠とした参照は、すべて暫定の扱いとなる。暫定の扱いとなった参照は、後から正式なものとして扱い直されることはない。以上の点に留意のうえ、参照の範囲を判断されたい。