指标一片绿,用户已经在骂:为什么阈值告警总慢半拍

监控告警系统不是一块仪表盘加几条阈值,而是采集、规则评估、通知路由、处置闭环四段流水线。阈值只看瞬时局部数值,所以 CPU 飙高时可能没人受影响,成功率刚跌一点却已经烧掉大半错误预算。更稳的做法是把用户感受写成 SLI、给出 SLO,用多窗口多燃烧率判定,再交给通知层做去重、分组、抑制与静默。读完你能算清燃烧率、讲清长短窗口为什么要配对,并拿到一组能立刻落地的降噪建议。

是什么

监控告警系统不是"指标面板加一条阈值",而是一条四段式流水线:采集与存储、规则评估、通知路由、处置闭环。其中最关键的定义是"告警"本身——一条告警应当是某个需要人采取行动的状态的结构化描述,带标签、带严重级别、带归属人。没有行动可做的通知,只是噪音。

一句话直觉:监控是仪表盘,告警是有人来敲你的门;门铃应该由"用户已经在受苦"来按,而不是由某个内部数字越线来按。

典型场景是电商大促:支付成功率从 99.95% 掉到 98%,值班十分钟内收到一条 page,点进去直接看到受影响的接口、错误码分布和处置手册。反面场景同样典型:一次机房交换机抖动,值班手机在五分钟里收到两百条"Pod CPU 超过 80%",真正那条"下单失败率暴涨"被埋在列表第 137 条。

核心原理

先看信号分层。指标便宜、可聚合,适合做判定;日志细节多,适合定位单次失败;链路追踪能串起调用关系,适合找瓶颈。Google SRE 的"四个黄金信号"——延迟、流量、错误、饱和度——是一个最小完备集:前三个描述用户感受,第四个描述系统还剩多少余量。判定盯哪一层,直接决定告警质量的上限。

延迟这一类信号尤其容易骗人。平均值 200 毫秒看起来很健康,可能只是因为九成请求很快,把最慢那一成稀释掉了;真正让用户摔手机的是 P99。所以延迟告警要按接口、按分位看,而不是拿一个全局均值当全站健康度。

阈值告警的毛病不在"阈值"三个字,而在它只看瞬时、局部的数值。CPU 打到 80% 时用户可能毫无感觉;可用性 99.95% 听起来很漂亮,却可能已经烧掉当天一半的错误预算。把"用户感受"写成 SLI(Service Level Indicator,服务质量指标),再给它一个目标 SLO,判据就变得可计算:99.9% 的可用性目标,30 天只允许 43.2 分钟不可用,这就是错误预算。

预算被消耗的速度叫燃烧率(burn rate):当前错误率除以预算允许的错误率。燃烧率为 1,表示照这个速度刚好在月底用完;燃烧率 14.4,表示照这个速度一小时就烧掉 30 天预算的 2%,月底必然违约。这几个数字不是拍脑袋来的,是 SRE Workbook 给出的推荐起点:2% 预算在一小时内烧完就该叫人,10% 在三天内烧完开张工单即可。

于是告警条件从"错误率大于 1%"变成"预算在以多快的速度烧"。但单一窗口仍有毛病:窗口短,流量抖一下就叫;窗口长,故障发生十分钟了还不叫,恢复了又迟迟不消。工程上的解法是多窗口、多燃烧率——长窗口判断"确实在烧",短窗口判断"现在还在烧",两个同时满足才发。典型的 99.9% SLO 配三档:

燃烧率长窗口短窗口消耗预算处置
14.41 小时5 分钟2%page
66 小时30 分钟5%page
13 天6 小时10%工单

真正把告警送出去的是通知层。以 Alertmanager 为例,它接收规则引擎推来的告警,做四件事:去重(同一告警的多个副本合成一条)、分组(同一服务的几十条合成一条通知)、抑制(上游故障时压掉下游派生告警)、静默(维护窗口)。分组参数决定"一次故障是响一次还是响两百次":group_by 按服务和集群聚合,group_wait 给新告警一点攒批时间,group_interval 控制同组新增告警的追加频率,repeat_interval 控制"没人理"时的重发节奏。

groups:
- name: slo-burn
  rules:
  - alert: CheckoutFastBurn
    expr: |
      (sum(rate(http_requests_total{job="checkout",code=~"5.."}[1h]))
       / sum(rate(http_requests_total{job="checkout"}[1h]))) > 14.4 * 0.001
      and
      (sum(rate(http_requests_total{job="checkout",code=~"5.."}[5m]))
       / sum(rate(http_requests_total{job="checkout"}[5m]))) > 14.4 * 0.001
    for: 2m
    labels:
      severity: page
    annotations:
      summary: "checkout 一小时燃烧率超过 14.4 倍"

这条规则里有两个容易讲错的细节。一是分母:SLI 的分母应当是真实用户请求数,健康检查、探针、内部重试要剔掉,否则探针流量会把成功率"稀释"得好看。二是 for:它负责过滤瞬时抖动,但不能替代短窗口;for 太长会把"已经开始的事故"拖成"确认中的事故",短窗口才是"现在仍在发生"的证据。

常见考点与误区

  • 误区一:告警越多越安全。 值班的注意力是有限资源。一次故障发两百条通知,人会从"逐条看"退化成"扫一眼就关",真正需要处置的那条被淹没。衡量指标不是告警数量,而是"可行动比例"。
  • 误区二:盯原因指标而不是症状。 "CPU 到 90% 就 page"是经典错答。用户没受影响时叫人起床是打扰;CPU 高但请求正常,应该进诊断面板。原因指标用于定位,症状指标用于叫人,两者不能互换。
  • 误区三:单窗口加短 for 就是灵敏。 短窗口误报,长窗口迟钝。面试问"为什么要多窗口",要答出长短互补:长窗口保证信噪比,短窗口保证确认"仍在发生"、并让告警在故障结束后尽快恢复。
  • 误区四:Alertmanager 只是转发器。 它负责去重、分组、抑制、静默。不配 group_by 和抑制规则,通知风暴与漏报会同时出现;抑制条件写反,还可能把根因告警一起压掉,只剩下游症状在响。
  • 误区五:告警不需要归属和手册。 收到告警不知道找谁、不知道看哪块面板、不知道第一步做什么,等于没告警。恢复通知同样重要,否则值班会一直以为故障还在。
  • 考点:错误预算为什么用请求数而不是时间。 时间口径会把低峰期的全站不可用和高峰期的少量失败算成同一件事;请求数口径更贴近"有多少用户真的失败了"。

实践建议

  • 先从三到五条用户路径定义 SLI(登录、下单、支付、查询),再倒推 SLO。没有 SLO 的阈值都是拍脑袋,也没法判断"这条告警该不该叫醒人"。
  • 分三个出口:page 只留给"现在不处理,用户就在受苦";工单留给几天内要处理的容量与债务;面板留给只看不叫的观察项。每条 page 必须能对应一个立即动作。
  • 每条告警配处置手册、看板链接和 owner,上线前做一次演练触发,确认它路由到了正确的人,而不是路由到了一个没人看的群。
  • 用抑制和静默治理噪音:入口或数据库故障时抑制下游派生告警;发布窗口提前静默;repeat_interval 不要小于一小时,否则没人处理时会被反复吵。
  • 把告警当产品运营:每周统计触发次数、可行动比例、误报率,连续 90 天没人真正处理过的规则直接删除。规则也要有生命周期。

一句话总结:告警系统的目标不是发现异常,而是在用户受苦时用最少的声音叫对人。

相关阅读

← 返回文章志