GUIZANG BLOG / runbook / 2024-02-06

春节值守 runbook 备忘

xu.mo · 分类:运维 / 值班 · 写给接班的人,也写给自己

今年春节我值前四天,lx 值后三天。这份备忘是给两个人用的,也是给节后复盘用的。去年春节我们因为一个“没人看”的告警炸了两次,今年提前把该写的写下来。

值班表

日期值班人备援备注
02-09(除夕)xu.mozhou.qi白天在家,晚上在线
02-10 — 02-12xu.moluyian—
02-13 — 02-15lxxu.mo交接时间 02-13 10:00

告警分级

春节期间流量大约是平日的 55%,大部分告警可以降级处理。分级原则如下:

可以等的事:索引重建、数据补录、批量评测、任何“预计耗时超过 1 小时”的操作。节日期间不做批量任务,去年就是因为除夕夜跑全量重建,把 io 抢了。

常见告警处理

1. 检索 P99 超过 120ms

先看重明 migu/retrieval 看板的错误率。如果错误率正常,只是延迟高,大概率是某个分片所在的节点在跑后台任务。查 gz-idx-03 到 gz-idx-08 的 load,找到后登上去看 ps aux | grep batch,能停就停,不能停就限速。

2. 息壤写入失败

先确认是不是单节点问题:重试一次,看错误是否跟随节点。如果是全集群,检查 kafka 积压,多数是消费端停了。启动命令在 deploy/ 下的 runbook 里,别手敲。

3. 证书告警

内网证书 2024 年 3 月到期,节前已经续期,如果告警说明续期没生效,找 shen.zy。这个不要自己处理,容易把网关搞挂。

4. 磁盘 80%

先清 /tmp 下的评测输出(超过 7 天的直接删),再清日志轮转。不要删索引分片的临时文件,那是重建用的。

联系树

顺序联系人联系方式
1xu.mo电话 / 内部 IM
2zhou.qi电话
3 shen.zy电话(P1 才打)

交接清单

最后一条:值班不是一个人的事。真遇到 P1,先发群里,不要自己扛着查。去年春节我一个人查了 4 个小时,最后发现是别人在跑数据没告诉我。

归藏研究所 · 博客区 · 2024-02-06 · 返回博客 · 相关:11·18 复盘