灰度不是小流量试探:没有对照组的发布只是赌运气
灰度发布是让新版本先只承接一小部分真实流量,同时旧版本继续服务其余用户,再按事先约定的指标决定放量还是回滚。它常被当成“先上 5% 看看”,真正起作用的却是同时间窗内的对照组、按用户而非按副本的稳定分流,以及能区分噪声与回归的判定规则。最常见的错误是把 Kubernetes 的滚动更新当灰度、把副本比例当流量比例,或拿昨天的数据当基线;低流量服务还会因为样本太少而得出“没问题”的假结论。读完你能画出 CI 到 CD 的制品晋级链路,写对分流与停止条件,并把数据库兼容和回滚演练纳入发布流程。
是什么
灰度发布(canary release,也叫金丝雀发布)是让新版本先只承接一小部分真实流量,同时旧版本继续服务其余用户,再根据事先约定的指标决定继续放量还是回滚。一句话直觉:它不是“先上 5% 试试”,而是一场有对照组的生产实验——新版本是实验组,仍在跑的旧版本是对照组,放量节奏和停止条件都是实验方案的一部分。
把它放回 CI/CD 流水线里看更清楚:CI 负责把源码变成不可变制品(镜像、二进制、前端产物),CD 负责把这个制品逐级晋级——预发、灰度、全量。灰度是流水线里第一道直接面对真实用户流量的关卡,所以它检验的不只是“能不能启动”,而是“在真实流量结构下是否比旧版本更差”。
典型场景包括微服务 API 的新版本、前端静态资源、推荐与模型策略,以及配置和开关变更。只要一次变更可能影响用户,且旧版本还能并行运行,灰度就适用。
核心原理
流水线的前半段解决“制品一致”,后半段解决“风险递增”。
第一层:一次构建,多处晋级。 CI 产出的镜像应该用 digest 固定,CD 在各环境部署同一个 digest,而不是在每个环境重新打包。配置、密钥、开关从制品里剥离,否则“同一个镜像”在预发和生产行为不同,灰度结论就不可比。制品还要可追溯:哪个 commit、哪次流水线、谁批准,都能从部署记录反查。
第二层:分流。 灰度最常见的能力是按比例把请求分给新版本,但“比例”有三个层次,容易混淆:副本数比例、入口权重、请求比例。Kubernetes 的 Service 只做连接级负载均衡,HTTP/1.1 的 keep-alive、gRPC 的长连接、客户端连接池都会把连接粘在旧 Pod 上,于是“新版本占 10% 副本”可能只拿到 1% 的请求。真正接近请求比例的是七层入口:Ingress、Gateway API 或服务网格的权重路由。
比“按请求随机”更稳的是按用户或租户哈希:同一个用户始终命中同一版本,会话、购物车、本地缓存才不会一半新一半旧。做法是对用户 ID 做稳定哈希,取模到一个大区间,再按区间切分;放量时只扩大区间,不改变已有用户的归属。
第三层:判定。 灰度不是“看十分钟没报错”,而是拿实验组和对照组的同一时间窗做比较。对照组必须是同时在跑的旧版本,不是昨天的同期数据——时段、流量结构、缓存预热程度都变了,纵向比较会把噪声当成信号。
判定要先算样本。假设入口 100 QPS,灰度 5%、观察 10 分钟,实验组大约只有 3000 个请求;如果基线错误率是 0.1%,这里期望只有 3 个错误,翻倍也淹没在随机波动里。这也是低流量服务“灰度看不出问题”的根本原因,不是工具不行,是信息量不够。
import math
def z_score(ok_c, n_c, ok_b, n_b):
pc, pb = ok_c / n_c, ok_b / n_b
p = (ok_c + ok_b) / (n_c + n_b)
se = math.sqrt(p * (1 - p) * (1 / n_c + 1 / n_b))
return (pc - pb) / se if se else 0.0
# 灰度 3000 请求失败 48 次,基线 30000 请求失败 300 次
print(round(z_score(2952, 3000, 29700, 30000), 2))
两比例 z 检验给出的是“差异相当于几个标准误”。绝对值大于 2 只说明在零假设下不太常见,不等于业务上重要;样本越大,越小的差异也会显著。所以阈值要同时写两条:统计上是否可信,以及业务上是否可接受。
工具已经把这条回路产品化。Argo Rollouts 的 Analysis 文档里,setWeight 与 pause 组成放量步骤,AnalysisTemplate 周期查询 Prometheus,失败测量累计超过 failureLimit 就中止并把权重归零;它的 Experiment 还能同时拉起 baseline 与 canary 两组副本做并行对照。Flagger 则维护一个 primary 部署承接稳定流量,按 stepWeight 逐步切流,失败检查累计到 threshold 就回滚。两者都把“观察—判定—回滚”写成了声明式配置,而不是靠人盯盘。
第四层:回滚的边界。 镜像回滚通常几十秒,但数据库迁移、消息格式、缓存结构不会跟着回滚。新版本加了列、改了枚举、换了消息字段,旧代码可能读不懂新数据。所以灰度的前提是新旧版本能互相读懂对方的数据:先加列、双写、回填、切读、最后清理,也就是常说的 expand-contract。
常见考点与误区
- 把滚动更新当灰度:Kubernetes Deployment 的
maxSurge/maxUnavailable只控制 Pod 替换节奏,readiness 通过就继续,没有流量比例,也没有基于业务指标的自动中止。它是“分批换机器”,不是“分批验证效果”。 - 把副本比例当流量比例:面试里常问“灰度 10% 怎么实现”,只答“起十分之一的 Pod”会漏掉连接复用。长连接和客户端负载均衡会让实际请求比例严重偏斜,必须从入口权重或用户哈希切,并用版本维度的指标核对真实比例。
- 拿历史数据当基线:用昨天同时段对比,遇到大促、工作日与周末的差异、缓存冷热变化就会误判。正确做法是让旧版本同时在线,比较同一时间窗的两组。
- 把“没报警”当“没问题”:低流量下样本不足,或者新版本把异常吞掉返回 200,错误率反而更“漂亮”。要看业务成功率、P99、饱和度和日志,不能只看 5xx。
- 按请求随机分流:同一用户一会新一会旧,会话和缓存不一致,产生的错误还会被算到新版本头上。应按用户或租户做稳定哈希。
- 以为回滚就是换回旧镜像:schema 已前滚、消息已发出去、缓存已写新格式,旧版本回不去。灰度前必须确认数据库和消息的向后兼容。
- 只灰度一个服务:上下游共享时,故障可能被下游吸收或放大,单服务灰度看不到全链路影响;需要让灰度标记贯穿整条调用链。
实践建议
- 固定制品,配置外置:用 digest 而不是浮动 tag 部署,禁止在 CD 阶段重新构建;把配置、密钥、开关纳入同一套变更审计。
- 先写停止规则,再发布:至少包含一个 guardrail(错误率或 P99)、最小样本量、观察窗口、连续失败次数;满足条件自动回滚,人只处理“不确定”的情况。
- 按用户哈希分流并验证:入口权重切流,用户 ID 稳定哈希保证粘性;发布后用
version标签核对实际流量比例,别相信配置里的数字。 - 低流量服务换实验形态:按用户分批、内部 dogfood、影子流量或蓝绿加快回滚,都比硬套 5% 百分比更有效。
- 数据库与消息向前兼容:采用 expand-contract,先加列双写、再切读、最后删旧;消息字段只增不删,缓存键带版本前缀。
- 把回滚当功能演练:定期在预发做一次“发布后立即回滚”,记录从发现到恢复的时间;dashboard 上把 canary 与 baseline 同屏,trace 带版本标签。
一句话总结:灰度的本质是一次有对照、有停止规则的生产实验,流量小只是它的形式。