向量漂移监控的第一次误报

2023-08-30   作者 zhou.qi   分类:观测

上周重明(guizang 的观测平台)上一条“向量漂移”告警挂了整整两天,最后确认是误报。记录一下,省得下次又从头开始查。

告警长什么样

8 月 21 日 09:14,重明触发规则 vector_drift_score > 0.35 持续 6 小时。面板上显示:新的线上查询向量分布与参考分布的 PSI 分数到 0.41,参考分布是 2023-07-01 到 07-31 的采样。这看起来挺严重——0.35 的阈值是 2023 年 3 月定的,当时理由写在内部文档里:“超过 0.35 应该人工介入”。

时间PSI查询量备注
08-21 09:000.411.2M/天告警触发
08-21 18:000.431.1M/天无明显业务变化
08-22 09:000.401.3M/天开始排查
08-22 15:000.421.2M/天定位到采样问题
08-22 18:300.091.2M/天修正采样后恢复

排查过程

第一反应是模型换了。查了模型版本记录,观澜-embed-v1 从 6 月上线之后没有更新过,排除。

第二反应是流量分布变了。周四(8 月 17 日)确实有一个新接入的业务,查询量占比 8% 左右,但它的查询和主站查询同分布,不足以让 PSI 到 0.41。这一条后来证明是相关的,但不是主要原因。

真正的问题在采样脚本。原来的采样逻辑是这样:每小时从查询日志取 5,000 条,取的是“最近入库”的 5,000 条,而不是随机抽样。8 月 14 日开始,入库管道做了一次调整,把历史补录的数据也写进同一张表,导致“最近入库”里混进了大量 2023 年 5 月之前的老查询。这些老查询的分布跟 7 月的参考分布当然不一样。

一句话总结:监控脚本采样的是“入库时间最近”,本意是“查询时间最近”。入库管道升级之后,这两个概念不再等价。

怎么修的

把采样 SQL 改成按 query_time 过滤加随机抽样,参考分布重算,顺便把 PSI 的桶从 10 个改成 20 个(原桶太粗,小分布偏移看不出来)。改完当天 PSI 回到 0.09。

另外加了一条辅助指标:同时监控“入库延迟中位数”,如果入库延迟超过 6 小时就单独告警。这能提前发现管道问题,避免和模型漂移混在一起。

教训

  1. 监控指标的名字要尽量具体。“向量漂移”这个词太笼统,应该拆成“查询分布漂移”和“模型输出漂移”。
  2. PSI 阈值不是一次性定死的,参考分布过期就要重算,最好每季度 review 一次。
  3. 告警后的头 10 分钟,先确认“指标本身是否可信”,再确认“业务是否异常”。这次我们把顺序搞反了,多花了一天。

页面是 2023 年的老模板,没有加 viewport,手机上会很难看。等站点整体改版的时候一起处理。

© 2023 归藏研究所 · 本页由旧站系统导出,未做新版适配 · 文章列表 · 归档