KV Cache 省了重复计算,为什么推理成本反而卡在显存上
KV Cache 把每个 token 在每一层算出的 Key 和 Value 留在显存里,解码时直接复用,省掉了对整段前缀的重复投影。但它没有让推理变便宜,只是把开销从算力搬到了显存:缓存按 token 线性增长,生成时还要反复从 HBM 读出来,长上下文和高并发会同时挤压容量与带宽。最常见的误区是以为命中缓存就等于免费、前缀缓存能按语义复用,以及把 KV 量化当成万能药。读完你能算清一条序列的缓存占用与读取量,理解前缀缓存为什么只省 prefill,并据此设计前缀、分池与成本核算。
是什么
KV Cache 是自回归生成时,模型把每个 token 在每一层算出的 Key 和 Value 张量留在显存里,下一步解码直接拿来用,不再为整段前缀重算。一句话直觉:它像会议里已经记下的纪要,下一句讨论直接翻纪要,而不是把录音从头听一遍。
多轮对话、长文档问答、代码补全和 Agent 循环里都能见到它,因为这些场景的共同点是“前缀很长,而新 token 一次只出一个”。需要先分清:它不是模型参数,而是某一次请求在运行时的中间状态;请求结束,这份状态通常就被释放。后来出现的 prefix cache,是把其中可复用的块留下来给下一个请求,属于另一层机制。
核心原理
一个 token 进来,注意力要翻多少旧账
解码第 t 步时,当前 token 的 Query 要和前面所有 token 的 Key 做点积,再用 softmax 权重去加权所有 Value。没有缓存,这 t 个 Key/Value 每次都要重新做线性投影;有缓存,第 i 个 token 的 K/V 只在它自己那一步算一次,之后从显存里读。省下的是重复投影,不是注意力分数本身——分数仍然要按当前 Query 重算。
省下的 FLOPs,变成了按 token 增长的显存
每个 token 的缓存大小可以精确算:2 × 层数 × KV 头数 × 头维度 × 每元素字节数。系数 2 是 K 和 V 各一份。假设 40 层、8 个 KV 头、每头 128 维、fp16,那么每个 token 是 160 KiB。16K 上下文就是 2.5 GiB;同时跑 64 条这样的序列,仅缓存就要 160 GiB,已经超过一张 80GB 卡的全部容量。
这就是 GQA/MQA 的价值:把 KV 头数从 32 降到 8,缓存直接缩到四分之一,而 Query 头数不变,所以分数计算量并没有同比例下降。更激进的 MLA 用低秩压缩把缓存再压小,代价是解码时多一步投影计算。容量、带宽、算力三者之间,从来没有单向的“优化”。
每一步都要把缓存重读一遍
缓存不是“写一次就完事”。解码每生成一个 token,都要把这条序列截至当前的 K/V 从 HBM 读进计算单元。生成 n 个 token、起始上下文 c,累计读取量约 n·c + n²/2 个 token 的缓存。上下文越长、输出越长,读取量越接近平方级。
def kv_bytes_per_token(layers, kv_heads, head_dim, dtype_bytes=2):
return 2 * layers * kv_heads * head_dim * dtype_bytes
def decode_kv_bytes(ctx, out, per_token):
# 第 t 步读 ctx+t 个 token 的缓存,累加得 out*ctx + out*(out-1)/2
return (out * ctx + out * (out - 1) // 2) * per_token
per_token = kv_bytes_per_token(40, 8, 128) # 160 KiB
print(per_token // 1024, "KiB/token")
print(decode_kv_bytes(16_384, 512, per_token) / 2**30, "GiB/请求")
这段代码只算流量,不代表耗时:同样一步还要读模型权重,而权重读取能被批内所有序列分摊,KV 读取不能。所以并发越高,KV 带宽越容易反超权重,成为 decode 的主项。这也是“单条测很快、一上并发就贵”的根源。
前缀缓存:只省 prefill,不省 decode
当一个新请求和旧请求共享完全相同的 token 前缀时,系统可以直接复用旧前缀的 KV 块,跳过这部分 prefill。vLLM 的做法是把每个块连同它前面的全部 token 一起做哈希,块内容或前缀任何一处不同,哈希就不同,命中自然失效;块满时按 LRU 淘汰(Automatic Prefix Caching)。官方文档也明确写了:APC 只减少 prefill 时间,不减少生成新 token 的 decode 时间。
这解释了两个常见现象。系统提示词、工具定义、少样本示例放在最前面且一字不改,命中率会很高;一旦模板里塞了时间戳、随机 ID,或者工具顺序随请求变化,缓存就整段作废。另一个现象是“命中率很高但没省钱”:如果请求大部分时间花在生成答案上,省掉的 prefill 只是小头。
成本到底记在谁头上
把一次请求拆成四笔:prefill 的算力、输出 token 的 decode、缓存占用的显存、以及缓存没命中时的重算。自建服务按 GPU·秒计费,真正贵的是“为了容纳长上下文而少跑的并发”——一条 32K 序列占住的显存,可能顶掉几十条短对话。按 API 计费时,缓存命中的输入 token 通常按折扣计价而不是免费,输出 token 仍是原价。所以优化 KV 的方向不是单纯“把缓存做大”,而是提高复用次数、缩短驻留时间、把容量换成更高的有效批大小。
常见考点与误区
- “KV Cache 是模型的一部分,可以像权重一样加载”:错。它是请求级的运行时状态,形状随序列长度增长;能跨请求留下的是 prefix cache 的块,而且随时可能被淘汰。PagedAttention 也只是把缓存切块管理,减少碎片,并不减少总字节数(论文)。
- “语义一样就能命中前缀缓存”:错。匹配的是 token 序列和前缀哈希,不是向量相似度。改一个标点、换一种 JSON 序列化、调整工具顺序,都算不同前缀。
- “命中缓存就等于这次推理免费”:错。只跳过 prefill;decode 仍要逐 token 读完整条 KV。API 对缓存输入打折,对输出照常计费;自建时缓存还占着 HBM,压低可并发数。
- “KV 量化越激进越省成本”:不一定。FP8 把每元素从 2 字节降到 1 字节,容量和带宽都减半,通常是最稳的一档;再往 INT4 走,反量化开销、kernel 支持、长文检索与代码任务的精度损失都要重新评估。省下的显存只有转化成更大的有效批,才会变成账单上的下降。
- “GQA/MQA 让注意力算得更少”:不准确。它减的是 KV 头数与缓存读写量,Query 头数没变,分数计算量基本不变;收益主要在显存容量和带宽。
- “batch 开得越大,单位 token 越便宜”:有上限。批一大,KV 容量和带宽先饱和,接着出现抢占与重算,尾延迟和单位成本一起反弹。
实践建议
- 先把 bytes/token 算出来,再谈并发:用上面的公式估单条序列占用,乘上下文上限,再用可用 KV 池反推
max_num_seqs。把“最大上下文”当容量参数,而不是免费额度。 - 把前缀设计成稳定资产:静态系统提示、工具 schema、示例放最前,动态内容放最后;固定序列化方式,别把时间戳和随机 ID 写进前缀;按模型、租户、LoRA 分池,避免互相污染。
- 按四项做成本核算:prefill token、缓存命中 token、输出 token、峰值 KV 占用分开记。只看 token 单价,会漏掉长上下文把并发挤掉的那部分机会成本。
- 量化分级上线:先 FP8,保留回退开关;用长文检索、代码补全、多轮对话三组离线集验证,再观察线上 TTFT 与 ITL 的 p95。
- 长短请求隔离:给长文档、长 Agent 轨迹单独分池,给短对话设更小的上下文上限;能用检索或摘要解决的,不要把整份材料塞进 prompt。
- 盯住四个指标:前缀缓存命中率(按 token 而不是按请求)、KV 占用率、抢占/重算次数、TTFT 与 ITL 的 p95。命中率低先查前缀是否被污染,抢占多先查容量而不是调度器。
一句话总结:KV Cache 用显存换计算,决定推理成本的从来不是命中率本身,而是这份缓存占了多少、又被读了多少遍。