命中率 95%,源站为什么还是被打穿:CDN 回源的放大效应
CDN 把源站响应复制到离用户更近的边缘节点,命中就就地返回,未命中才回源。真正决定回源压力的不是“命中率”这一个数字,而是缓存键怎么设计、新鲜度怎么算,以及一次未命中会被多少节点、多少并发、多少次重试放大。很多人把 no-cache 当成不缓存、把刷新当成全网即时删除,也忽略了回源 Host、Range 与重试带来的额外请求。读完你能讲清从边缘缓存到源站的完整链路,用分层缓存与请求合并把回源量收敛,并按内容类型配出可执行的 TTL 与发布策略。
是什么
CDN(内容分发网络)是一组分布在不同地域的边缘节点,把源站的响应复制到离用户更近的地方。用户请求先到边缘,命中就直接返回,未命中才回源。一句话直觉:它像全国连锁便利店,货架摆在社区门口,总仓只有一个;日常买货靠货架,缺货时才向总仓补货,而“向谁补、补多少、补不到怎么办”就是回源策略。
典型场景是静态资源(JS、CSS、图片、视频切片)、软件下载、大促页面,也包括把动态 API 的 TCP/TLS 握手终止在边缘的动态加速。很多人把 CDN 当成“更近的一块硬盘”,其实它同时是一层反向代理、一层缓存和一层流量调度,三件事各有各的失败模式,也各有各的观测指标。
核心原理
第一层是选路。 用户不会先知道哪个节点有空,通常靠 DNS 解析到较近的 PoP,或用 Anycast 把同一地址宣告到多个机房,由网络把包送到最近的一个。选路只解决“离得近”,不解决“有没有货”;节点再近,缓存没命中仍然要回源。回源链路的延迟因此由三段组成:边缘到上层节点、上层节点到源站、源站自己的处理时间,任何一段抖动都会体现在用户的尾延迟上。
第二层是缓存键。 边缘拿到请求后,先算一个 key,再用它查本地缓存。RFC 9111 说 cache key 至少由请求方法和目标 URI 组成,实际 CDN 还会把查询串、部分请求头、甚至 Cookie 纳入。key 的设计是回源量的总开关:把跟踪参数 utm_ 也算进去,同一个文件会被拆成成千上万个副本,命中率立刻塌;反过来漏掉真正影响内容的头(比如 Accept-Encoding),又可能把 gzip 和 br 的响应混在一起。Vary 是源站告诉缓存“这个响应随哪些请求头变化”的机制,Vary: 等于让任何请求都无法复用它。
第三层是新鲜度。 缓存不是永久副本,每条响应都带自己的保质期。共享缓存优先看 s-maxage,其次 max-age,再看 Expires;Age 记录它从源站生成或最后一次校验后已经在路上放了多久,边缘要用它扣减剩余寿命。no-cache 允许存,但每次复用前必须回源校验;no-store 才是完全不存;private 则把响应挡在共享缓存之外。过期也不等于丢弃:带上 If-None-Match 或 If-Modified-Since 回源,源站返回 304,省下的是响应体,而不是那次往返。
第四层才是回源。 回源要决定目标源站、回源 Host、协议与 SNI、超时、重试、是否透传 Range 与客户端头。源站常按 Host 做虚拟主机路由,回源 Host 配错,源站会按错误的虚拟主机返回 404,缓存里要么是错的页面,要么根本填不满。多源配置还要区分主备、权重和健康检查,否则“故障转移”只是把请求从一个坏源站转到另一个坏源站。
真正容易被忽略的是回源会被放大。一个对象在 100 个 PoP 各缺一次,就是 100 次回源;热门对象过期的一瞬间,同一 key 的并发请求会一起穿透;源站变慢后,CDN 的重试又会把请求数再乘一遍。三种放大叠在一起,边缘 95% 的命中率照样能打穿源站。应对手段是分层:上层缓存(origin shield / tiered cache)让多个边缘只向一个上层节点回源,同一 key 的并发用请求合并压成一次,源站错误则用 stale-while-revalidate 与 stale-if-error 争取时间。Cloudflare 的 Smart Tiered Cache 就是只让上层节点接触源站;nginx 则用 proxy_cache_lock 把同一 key 的回源串行化。
proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=edge:100m
inactive=1h max_size=20g;
server {
location /static/ {
proxy_cache edge;
proxy_cache_key "$scheme$host$request_uri"; # 不含 Cookie
proxy_cache_valid 200 301 302 10m;
proxy_cache_valid 404 1m;
proxy_cache_revalidate on; # 过期后带 If-None-Match 校验
proxy_cache_lock on; # 同一 key 只放一个请求回源
proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
add_header X-Cache-Status $upstream_cache_status always;
proxy_pass http://origin_pool;
}
}
stale-while-revalidate 与 stale-if-error 的语义由 RFC 5861 定义:前者允许在后台校验的同时先返回旧响应,后者允许源站报错时继续用旧响应顶一段时间。nginx 里 updating 只表示“缓存正在更新时可以用旧的”,要让它主动起后台子请求更新,还得开 proxy_cache_background_update on,两者是一对。
常见考点与误区
- 误区一:
Cache-Control: no-cache是不缓存。 它恰恰允许存储,只要求每次复用前校验;真正不存是no-store,只允许浏览器存是private。面试里把这三个混着答,基本会被追问到s-maxage和must-revalidate。MDN 的说明写得很直白:想要“别存”就用no-store,而不是no-cache。 - 误区二:命中率高就说明回源压力小。 命中率按请求数算,回源压力按未命中请求数算。100 万 QPS 的 5% 是 5 万 QPS,足以打挂一个没做连接池的源站;再叠加每个 PoP 各自未命中,实际回源量可能远高于全局命中率给人的直觉。还要区分按请求数统计还是按字节数统计,小文件多、大文件少的站点,两种口径能差出一倍。
- 误区三:刷新缓存等于全网立刻删除。 清除是控制面操作,要下发到大量节点,存在传播窗口;目录刷新和 URL 刷新粒度不同,“软刷新”只是标记过期、下次请求再校验。发布静态资源更稳的做法是换文件名或加内容哈希,让旧 URL 自然淘汰,而不是依赖强刷。
- 误区四:回源就是取文件,重试没有代价。 对 GET 重试通常安全,对非幂等的 POST 盲目重试可能重复下单;跨多个源站重试还会把一次慢请求变成多次。要设重试预算、只对可重试状态码重试,并给源站留熔断和限流。
- 误区五:Range 请求一定能被缓存。 206 是部分响应,边缘未必愿意缓存碎片;大量小 Range 反而会增加回源次数。大文件下载要让 CDN 支持分片合并,或干脆让这类请求直回源,别假设“切了就一定更快”。
- 考点六:带
Authorization的响应能不能进共享缓存? 默认不能,除非响应显式给出public、s-maxage或must-revalidate。这也是私有 API 被误缓存、不同用户串号的常见来源。
实践建议
- 静态资源用内容哈希,配长 TTL 与
immutable。 文件名一变就是新 key,不需要刷新;HTML 这类入口文件反而要短 TTL 或no-cache,保证能尽快指向新资源。这是把“缓存失效”从运维动作变成发布动作,代价是构建产物要带哈希、旧文件要保留一段时间。 - 做两层 TTL,而不是一个全局值。 边缘短一些保证新鲜,shield 长一些吸收跨地域的重复回源;再给
stale-while-revalidate和stale-if-error各留一个窗口,把“校验的延迟”和“源站抖动”挡在用户之外。窗口长度按业务能容忍的旧数据时间来定,不要照抄默认值。 - 把回源当稀缺资源治理。 开启请求合并与上层缓存,给回源设并发上限和重试预算;多源要有健康检查与摘除,避免故障转移变成故障复制;源站按 CDN 回源网段做限流和白名单,而不是只靠 IP 黑名单。
- 缓存键只放真正影响内容的维度。 去掉跟踪参数、不要把整串 Cookie 塞进 key;确有灰度需求时用独立的 query 或路径,而不是让所有用户共享一个被污染的 key。私有内容走签名 URL 加
private/no-store,别指望 CDN 替你鉴权。 - 观测要分维度。 至少看边缘命中率(按请求和按字节)、回源 QPS、回源 5xx、304 比例、
Age分布和首包时间;发布前做冷启动压测,因为缓存是空的,那一刻的回源量才是源站真正要扛的。
一句话总结:命中率是结果,缓存键、新鲜度和回源收敛才是能调的自变量。