一个请求没答完,整批都得等:连续批处理到底改了什么
大模型推理的批处理不是把请求捆成一捆丢给 GPU,而是在每一个解码步重新决定谁上车。静态批要等批内最长的请求结束,短请求答完也占着 KV 缓存,新请求只能排队;连续批处理把调度粒度降到一步 token,完成的序列立刻下车、空位马上补人,再靠分页的 KV 缓存把显存碎片压下去。最常见的误区是把 GPU 利用率当成效率、把 batch 开得越大越好,以及以为 prefill 和 decode 可以随意混在一批。读完你能算清一条序列要占多少 KV 显存,说清 TTFT 与 ITL 为何此消彼长,并判断该调批大小、开分块 prefill,还是先做长度分流。
是什么
推理服务里的 batching,是把多个请求放进同一次前向计算,让它们共享同一份模型权重的读取。连续批处理(continuous batching,论文里叫 iteration-level scheduling)做的事很简单:把调度单位从一个请求改成一次解码迭代,每生成一步就重新决定这一批里有哪些序列。
一句话直觉:静态批像包一辆固定行程的旅游大巴,人没到齐不开车,到了终点才让所有人下车;连续批像公交,每站都停,有人下就立刻有人上,座位尽量不空着。
它主要出现在线对话 API、长短请求混跑的推理集群,以及既要吞吐又要首字延迟的离线批量生成里。
核心原理
两段负载,脾气完全不同
一次生成分两段。prefill 把整段 prompt 的所有 token 并行送进模型,矩阵乘密集,是计算密集型;decode 每一步只产出下一个 token,却要把全部权重和这条序列的 KV 缓存读一遍,是访存密集型。
这解释了大 batch 为什么有效:一次权重读取可以同时服务几十条序列,算术强度被拉高,单步的固定开销被摊薄。所以在算力打满之前,decode 的吞吐几乎随并发线性上涨。注意这个"之前"——它既可能被算力截断,也可能先被显存截断。
静态批:短请求答完了也不下车
静态批在请求到达时组批,然后一直跑到批内所有序列都遇到结束符或长度上限。于是最短的那条早就答完了,它的槽位和 KV 缓存却还被占着,返回不了客户端;新来的请求必须等整批结束才能进场,这就是队头阻塞。为了对齐长度,还要把短序列 padding 到批内最长,补出来的位置全是白算。
Orca 在 OSDI '22 上给出的数字很能说明问题:同样是 GPT-3 175B、同样的延迟水平,按迭代调度的吞吐是 FasterTransformer 的 36.9 倍。
一步一调度:下车的下车,上车的上车
连续批处理在每个解码步结束时做一次调度:已完成的序列移出批,等待队列里的请求补进空位。听起来只是"换人",工程上却有两个硬约束。
一是变长张量。批里的序列长度参差不齐,注意力没法像矩阵乘那样直接堆成一个矩形。Orca 的做法叫选择性批处理:只对能批的算子批,注意力这类按序列分别处理。二是KV 缓存必须能动态分配。如果每条序列启动时就要一块连续显存,长度估不准就会内部碎片,长短交错又会外部碎片,最后不是 OOM 就是 batch 上不去。
PagedAttention 借了操作系统虚拟内存的思路:把 KV 切成固定大小的块,用一张块表把逻辑位置映射到不连续的物理块,按需分配。浪费被压到"最后一个块没用满"这个量级,前缀相同的请求还能共享物理块、写入时才复制。vLLM 的论文报告,在相同延迟下吞吐比 FasterTransformer、Orca 这类系统高 2 到 4 倍。
但块表只解决碎片,不解决容量。以 Llama-3-8B 为例:32 层、8 个 KV 头、每头 128 维、fp16,每个 token 的 KV 是 2 × 32 × 8 × 128 × 2 = 131072 字节,也就是 128 KiB。一条 8K 上下文的序列要 1 GiB。一张 80GB 的卡去掉 16GB 权重和激活,剩下的显存只够五十条上下。所以"最大并发"从来不是调度器想开多大就开多大,而是 KV 池除以单条序列占用。
prefill 插队:吞吐与抖动的拉扯
decode 批里突然塞进一段几千 token 的 prefill,会发生什么?这一步的计算时间被拉长,所有正在解码的请求都得等它算完,用户看到的是输出卡住一下。分块 prefill(chunked prefill)就是为此而生:把长 prompt 按 token 预算切成几段,调度时先安排所有待解码请求,再用剩余预算填入 prefill 片段,装不下就自动切块。这样计算密集的 prefill 和访存密集的 decode 落在同一批里,GPU 的空转被填掉。
代价是显式的取舍。vLLM 文档写得很直白:max_num_batched_tokens 取小(例如 2048)时 prefill 打扰更少、ITL 更好;取大则一次能推进更多 prefill、TTFT 更好;追求吞吐可以设到 8192 以上。换句话说,首字快和吐字稳,在这个旋钮上是反向的。
下面这段模拟把静态批的浪费量化出来。16 条请求、批容量 4,长请求 30 步、短请求 2 步,按到达顺序长短交错:
def static_steps(lens, cap):
# 一批跑多久由批内最长的那条决定,短请求结束后槽位空转
return sum(max(lens[i:i + cap]) for i in range(0, len(lens), cap))
def continuous_steps(lens, cap):
# 每一步都能补人:受总 token 数和最长单条两个下界夹住
return max(max(lens), (sum(lens) + cap - 1) // cap)
lens = [30, 2, 2, 2] * 4
print(static_steps(lens, 4)) # 120
print(continuous_steps(lens, 4)) # 36
静态批要 120 步,连续批的理想下界是 36 步。真实系统还要加上 prefill、KV 上限和调度开销,但差距的来源就是这个:批内最慢的那条,决定了整批的时钟。
常见考点与误区
- "连续批处理就是把 batch 调大":错。它改的是调度粒度和批的组成,每一步的批成员都可能不同;batch 上限由 KV 容量和 token 预算决定,调大只是结果之一。
- "GPU 利用率 100% 就说明服务高效":错。
nvidia-smi的利用率是"这段时间内有没有 kernel 在跑",decode 单条序列也能把它顶满,但算力大量闲置。要看的是单位显存/单位成本的 token 产出,以及在 SLO 内完成了多少请求(goodput)。 - "batch 越大,吞吐越高、延迟不变":错。批变大,单步耗时变长,ITL 上升;排队时间也随利用率上升而发散。吞吐和延迟不是两个独立旋钮,而是一条前沿曲线。
- "prefill 和 decode 可以随便混在一批":错。不切块的长 prefill 会打断所有人的解码,表现为 ITL 的尖刺;切块能缓解,但分块太小又会让 prefill 推进变慢、TTFT 变差。
- "PagedAttention 减少了注意力的计算量":错。它减少的是 KV 缓存的碎片和重复,让同样显存装下更多序列,从而把 batch 做大;注意力该读的 KV 一个字节都没少。
- "流式输出能降低延迟":只降低感知延迟。首字时间由排队加 prefill 决定,吐字速度由 decode 的每步耗时决定,流式只是让结果早点露头。
实践建议
- 先把两个 SLO 分开量:TTFT 的 p95 和 ITL 的 p95 是两个问题,前者受排队与 prefill 影响,后者受批组成影响。只报平均 tokens/s 的压测,结论基本不能用于容量规划。
- 按 KV 反推并发,而不是按显存总量拍脑袋:先算每条序列的 bytes/token,再乘上下文上限,得到单条占用;用可用 KV 池除一下,才是
max_num_seqs的合理量级。上下文上限、并发数、显存占用三者只能挑两个。 - 长短流量分开部署:把长文档、长上下文的请求单独放一个池子,和短对话隔离。否则一条 32K 的 prompt 就足以让整个对话池的 ITL 抖一下,靠调参救不回来。
- 混合流量开分块 prefill,并按目标调预算:保 ITL 就把
max_num_batched_tokens压到 2048 附近,保 TTFT 和吞吐就往上抬;同时盯住抢占(preemption)计数,频繁抢占说明 KV 池不够,而不是调度器不聪明。 - 共享前缀走缓存,但别把它当免费:系统提示词、工具描述这类固定前缀可以命中前缀缓存,省掉重复 prefill;要监控命中率和淘汰,长尾请求仍会按全额付费。
- 压测要回放真实到达过程:固定长度、同时到达的请求集会把静态批的缺陷藏起来。用线上采样的到达间隔和输出长度分布回放,报 p99 和每千 token 成本,才看得出连续批到底赚了多少。
一句话总结:连续批处理赚的不是更大的批,而是让每一个空出来的槽位立刻被下一条请求填上。