容量不是一道除法:机器按峰值配好,为什么晚高峰还是排队

容量估算是在给定 SLO 的前提下,推算系统在峰值和部分故障时需要多少资源、还剩多少余量的过程。它要回答的不是“最多能扛多少 QPS”,而是延迟从哪里开始拐弯、坏掉一台机器或一个可用区后还能不能接住。最常见的误区是把单机极限吞吐乘以台数,或者按平均流量配机器,忽略了排队延迟的非线性、下游放大和故障转移所需的额外水位。读完你能用利特尔法则从 QPS 推出并发,用阶梯压测找到膝点,并把冗余、限流和复算触发条件一起写进一张可核对的容量表。

是什么

容量估算是在给定服务水平目标(SLO)的前提下,推算一套系统在可预见峰值和部分故障时,需要多少计算、存储与网络资源,以及还剩多少安全余量。它回答的不是“这套系统最多能扛多少 QPS”,而是三个更具体的问题:流量涨到多少时延迟开始抬头,坏掉一台机器或一个可用区之后还剩多少能力,下一次扩容应该在什么时候动手。它常出现在大促备战、新服务上线、成本优化和系统设计面试里,但真正难的不是套公式,而是知道哪个数可以信、哪个数只是上一次压测留下的幻觉。

一句话直觉:容量不是“油箱有多大”,而是“按当前路况,跑到哪里必须进站”。

核心原理

第一层:把业务量翻译成请求量。 容量估算的起点通常不是机器,而是业务指标。日活、订单数、消息条数要经过“人均行为次数 ÷ 有效时间 × 峰值系数”折算成 QPS。日均为 1000 QPS 不代表系统只要扛 1000:办公类产品的峰值可能是均值的 3 倍,晚高峰的娱乐产品可以到 5 至 10 倍,秒杀则是另一个数量级。峰值系数必须从历史监控里取,不能拍脑袋;新业务没有历史,就按同类系统上浮,并把它标成“假设”而不是“结论”。

第二层:利特尔法则把 QPS 和并发绑在一起。 利特尔法则说,稳定系统里的平均在途请求数 L 等于到达率 λ 乘以平均停留时间 W,即 L = λW。落到服务上就是“并发 = QPS × 延迟”。5000 QPS、平均 100 毫秒,意味着任意时刻约有 500 个请求在处理中;如果延迟涨到 500 毫秒,同样的 QPS 会变成 2500 个在途请求。线程、连接、协程、内存里的请求上下文都要按这个数配。很多人只按 QPS 扩容,却忘了延迟一涨,并发会自己膨胀,先把线程池和连接池压垮,然后延迟再涨——这是一个正反馈。

第三层:可用的容量在拐点,不在顶点。 压测时把单机推到 100% CPU,确实能得到一个很大的吞吐数字,但那个数字不能用。排队论里,M/M/1 的平均排队等待约等于 ρ/(1-ρ) 倍服务时间:水位 60% 时等待约 1.5 倍,80% 时 4 倍,90% 时 9 倍,95% 时 19 倍。也就是说,从 60% 提到 90%,吞吐只多了一半,等待却涨了六倍。容量估算要找的是“延迟开始偏离平坦区”的那个膝点,再把工作水位压在膝点之下,而不是拿极限吞吐当分母。这里还有个隐含假设:每个请求的代价相同。实际成本会随接口、参数、缓存命中率剧烈变化,Google SRE 因此建议直接按 CPU 时间这类资源量建模,QPS 只当需求入口,不当容量单位。

import math

def nodes_for(qps, unit_qps, target_util=0.6, zones=3):
    per_node = unit_qps * target_util          # 单机可用能力,不是极限值
    n = math.ceil(qps / per_node)
    return math.ceil(n * zones / (zones - 1))  # 坏一个可用区仍能扛住

print(nodes_for(20000, 800))                   # 单机 800 QPS,水位 60%
for rho in (0.6, 0.8, 0.9, 0.95):              # 等待约为 ρ/(1-ρ) 倍服务时间
    print(rho, round(rho / (1 - rho), 1))

第四层:集群容量取全链路最小值。 一台机器能扛 800 QPS,不代表加十台就能扛 8000。请求要过负载均衡、网关、服务、缓存、数据库,任何一层先饱和,整条链就停在那里。还要算放大系数:一个页面请求可能扇出十几个远程调用,一次下单可能写三张表;重试会在此基础上再乘一遍。Google SRE Workbook 记录过 Pokémon GO 的案例:上线前按“最乐观估计的 5 倍”做过压测,实际峰值接近估计的 50 倍,客户端同步重试还把流量尖峰推到原峰值的 20 倍。估算错不可怕,可怕的是把估算当成上限,没给弹性和过载保护留位置。

第五层:冗余不是加一台,是换一种算法。 多副本、双可用区、N+1 都意味着“正常时就必须空出一部分能力”。三个可用区坏一个,剩下两个要接住全部流量,每个区的日常水位就不能超过三分之二;再叠加 SLO 水位,实际每台只跑到三四成。看起来浪费,但这就是故障时不排队的价钱。容量估算最后的产出应该是一张表:峰值 QPS、单机可用能力、各层瓶颈、故障场景、目标水位、所需实例数,以及每个数字的来源和置信度。

常见考点与误区

  • “单机极限吞吐乘以台数等于集群容量”:错在三处。共享依赖不会随应用机器线性增长,数据库连接、缓存带宽、负载均衡都可能先饱和;压测客户端和测试环境本身也可能先到瓶颈;多实例还会争抢同一把分布式锁或同一个热点 key。面试里给出乘法之前,先问“瓶颈在哪一层”。
  • “按平均 QPS 估算就够了”:平均值会把峰值抹平。容量要按“峰值 × 放大系数 × 安全系数”配,并且区分日常峰、活动峰和故障转移之后的峰,三者可能不是同一个数。
  • “CPU 利用率越高越省钱”:这是最典型的反例。排队延迟在 80% 之后非线性上升,90% 水位下一次小抖动就能把 p99 推过 SLO,而且没有余量接住故障转移和突发重试。成本优化应该优化“每请求成本”,不是把水位顶到红线。
  • “容量是一个固定的数字”:数据量涨、索引变大、缓存命中率下降、请求体变胖、新增一次下游调用,都会让同样的 QPS 变贵。容量要跟着版本和数据增长复算,不能去年算完今年照用。
  • “压测通过就等于容量达标”:压测环境常常依赖 mock、数据量小、连接池是热的,真实流量还带着 TLS 握手、冷缓存、慢客户端和重试。压测结论要写清拓扑、数据规模、SLO 和加压曲线,否则只是一个不可复现的数字。

实践建议

  • 先建单位成本表,再谈机器数。 按接口记录每请求的 CPU 毫秒、内存增量、下游调用次数和缓存命中率,用生产监控校准,再配合 USE 方法逐层检查利用率、饱和度和错误。没有这张表,扩容只能靠感觉。
  • 用阶梯压测找膝点。 从目标流量的 50% 开始,按 75%、90%、100%、120% 逐级加压,每级稳定运行足够久,记录 p99、错误率、队列长度和各层饱和度;找到延迟开始拐弯的点,把工作水位定在它下面。压测数据要连同拓扑和数据集一起归档,下次才有可比性。
  • 把故障当成容量的一部分。 定期做单机、单可用区、单依赖的故障演练,验证剩余容量真的能接住;不要只在图纸上写 N+1。演练时观察的是错误率和 p99,不是“进程还活着”。
  • 自动扩缩容只当补救手段。 实例冷启动、镜像拉取、预热和健康检查都要时间,扩出来之前流量已经打进来了。大促和发布会前预扩,扩缩容指标用饱和度而不是平均 CPU,并给扩容速度设一个明确的上限预期。
  • 给过载留出口。 限流、排队上限、降级开关和重试预算要在容量估算时一起设计;没有出口的系统,容量再大也会被一次重试风暴填满。可参考 Google SRE 的过载处理与 AWS 的负载卸载实践。

一句话总结:容量的答案不是一个 QPS 数字,而是 SLO 之下、坏掉一部分之后还剩多少可用余量。

相关阅读

← 返回文章志