4-bit 量化省了权重,为什么显存账单还是对不上
模型量化是把权重、激活或 KV Cache 从 16 位浮点映射到 8 位、4 位甚至更低位宽,用少量 scale 和 zero-point 换回近似值;它减少的是每个参数的存储与读取字节,不是参数个数。显存估算最常见的错误,是拿参数量乘位宽再除以 8 就收工:分组 scale、未量化的嵌入与输出层、KV Cache、激活与工作区、CUDA 上下文和碎片,都会把账单抬高。另一个误区是把 W4A16 当成计算也变快:解码受带宽约束可能明显加速,prefill 仍要反量化回 16 位做矩阵乘,未必更快。读完你能按权重、缓存、工作区、余量四层算出真实占用,并在 GPTQ、AWQ、FP8、NF4、GGUF 之间按瓶颈选型。
是什么
模型量化(quantization)是把网络里用 FP16/BF16 保存的权重、激活或 KV Cache,映射到更低位宽的数值格式:INT8、FP8、INT4,极端情况下还有 2-bit 甚至三值。它不改变网络结构和参数个数,只改变每个参数占多少 bit,以及用什么样的 scale/zero-point 把量化后的码值近似还原成浮点。一句话直觉:把毫米刻度的尺子换成 16 个刻度,再配一张换算表;存得小,但读数只能落到格子上。
常见场景是显存受限的推理:单卡跑 7B/14B、两张卡跑 70B、边缘设备跑小模型,以及在线服务里用 FP8 换吞吐。先分清三条轴:只量化权重(W4A16、W8A16),还是权重和激活都量化(W8A8、W4A4);训练后量化(PTQ),还是量化感知训练(QAT);以及 scale 粒度是 per-tensor、per-channel 还是 per-group。三条轴决定省多少、快多少、掉多少精度。
核心原理
scale 的粒度,比位宽更决定成败
最常用的仿射量化可以写成:
s = (max(x) - min(x)) / (2^b - 1),q = clamp(round(x / s) + z, 0, 2^b - 1),x̂ = s × (q - z)。
其中 s 是 scale,z 是 zero-point,b 是位宽。对称量化把零点固定在 0,用 s = max(|x|) / (2^(b-1) - 1),实现简单,权重常用;非对称量化多一个 zero-point,适合偏斜的激活。
真正棘手的是离群值。一个矩阵里只要有一个特别大的权重,per-tensor 的 scale 就会被撑大,其余绝大多数权重挤进少数格子,很多直接 round 成 0。解决办法是把 scale 做细:per-channel 是每个输出通道一个 scale;group-wise 是把输入维度切成 128 个一组,每组独立算 scale。GPTQ、AWQ 的常见配置就是 group size 128。代价是每组要存一个 FP16 scale,摊到每个权重约 0.125 bit,所以“4-bit”实际接近 4.125 bpw;组切得越小,scale 开销越大,kernel 也越难跑满。
4-bit 的文件为什么不是参数量除以 4
P × b / 8 只是权重字节的下界。MoE 的权重显存还要按总参数算,激活参数主要影响算力与带宽,不影响常驻权重。真实检查点还要加几笔:每组的 scale/zero-point;embedding 和 lm_head 常常保持 16 位(词表动辄 12 万到 25 万,这两层本身就不小);敏感层或张量用更高位宽;张量对齐、padding 和格式元数据。GGUF 的 Q4_K_M 就是一个混合精度的例子:主体是 4-bit K-quant,但部分 attention/FFN 张量用 Q6_K,所以 Llama-3.1-8B 的 Q4_K_M 文件约 4.9GB,折合每权重接近 4.9 bit,而不是 4.0。
这是显存估算的第一个坑:文件大小、十进制 GB、GiB 混着用。8B 按 4.5 bpw 算是 4.5GB,即 4.19GiB;标称 24GB 的卡通常按 24GiB 可用。先统一单位再谈容量。
显存不是只有权重:四层账
第一层是权重:P × bpw / 8。第二层是 KV Cache:2 × L × H_kv × d × S × N × bytes,其中 L 是层数,H_kv 是 KV 头数,d 是每头维度,S 是上下文长度,N 是并发序列数,系数 2 是 K 和 V 各一份。以 Qwen2.5-7B 为例:28 层、4 个 KV 头、每头 128 维、FP16,每个 token 是 2×28×4×128×2 = 57,344 字节,即 56KiB;一条 32K 序列占 1.75GiB,8 条就是 14GiB。权重只有 4GB 左右,KV 却能翻几倍,这就是长上下文服务的容量瓶颈。
第三层是激活与工作区:prefill 时整个序列一起进矩阵,中间激活、attention 临时矩阵、logits、CUDA graph 内存池、张量并行通信缓冲,都随 batch 和序列长度增长。第四层是运行时开销:CUDA context 通常几百 MB 到 1GB,分配器碎片、框架自身、以及为峰值预留的余量。实际估算可以写成 (权重 + KV + 工作区 + 固定开销) / 0.85~0.9;除以 0.9 的意思是只用到九成显存,剩下的一成留给碎片和临时峰值。
def vram_gib(params_b, bpw, layers, kv_heads, head_dim,
seq_len, batch, kv_bytes=2, overhead_gib=1.5, util=0.9):
weights = params_b * 1e9 * bpw / 8 / 2**30
per_token = 2 * layers * kv_heads * head_dim * kv_bytes
kv = per_token * seq_len * batch / 2**30
total = (weights + kv + overhead_gib) / util
return weights, kv, total
w, kv, total = vram_gib(8.0, 4.5, 32, 8, 128, 32768, 8)
print(f"weights {w:.2f} GiB, kv {kv:.2f} GiB, total {total:.1f} GiB")
# weights 4.19 GiB, kv 32.00 GiB, total 41.9 GiB
这段代码说明的不是“8B 4-bit 只要 4GiB”,而是权重只占 4GiB,8 条 32K 序列的 KV 却要 32GiB。同一模型,单条短对话能塞进 8GB 卡,换成 8 路 32K 就可能要 48GB 卡;变的是负载,不是位宽。
省字节不等于省时间
解码阶段每生成一个 token,都要把全部权重从 HBM 读一遍(批内序列共享这一次读取)。batch 很小时,矩阵乘退化成矩阵向量乘,每个权重只用一次,性能由显存带宽决定;batch 一大,收益就让位给算力。4-bit 把权重字节压到约四分之一,解码因此可能明显变快;GPTQ 论文在 A100 上报告过约 3.25 倍、A6000 上约 4.5 倍的端到端加速,但这是特定模型和 kernel 的结果,不能直接外推。
prefill 一次处理很多 token,权重被复用很多次,瓶颈在算力而不是带宽。W4A16 在矩阵乘前仍要把权重反量化回 16 位,乘加次数没变,还多一步反量化,所以 prefill 不一定更快,甚至更慢。要让 prefill 也吃到低精度红利,得用 W8A8 的 INT8 或 FP8,让张量核心直接算低精度乘加;FP8 的 E4M3 尾数多、适合权重和激活,E5M2 动态范围大,常见于梯度。NVIDIA 的 Ada、Hopper 及以后才有原生 FP8 张量核心,老卡上“支持 FP8”往往意味着回退。
量化不是只有一种做法
GPTQ 是逐层 PTQ:它用校准集算出的近似二阶信息(Hessian)估计误差,量化一列后把误差补偿到还没量化的列上,目标是在 3–4 bit 下把精度损失压低(GPTQ 论文)。AWQ 换了角度:不是所有权重同等重要,按激活分布找出大约 1% 的显著通道,用 per-channel 缩放把它们保护起来,缩放可以等价折进相邻算子,不增加推理算子(AWQ 论文)。SmoothQuant 则针对 W8A8,把激活里的离群值通过平滑系数迁移到权重上,让两边都好量化(SmoothQuant 论文)。
NF4 则是另一条路:它假设权重近似正态分布,用分位数量化按概率密度布置 4-bit 格点;double quantization 再把每组的 absmax 也量化一次,进一步压低每参数的常数开销(QLoRA 论文)。但 NF4 计算时仍要反量化到 BF16/FP16,主要价值是省显存和让 QLoRA 在单卡上跑起来,不是最高吞吐的线上格式。GGUF 的 K-quant 是为 CPU/端侧设计的块量化:256 个权重一个 super-block,内部再分 8 个 32 权重的子块,用 6-bit 存 scale/min,Q4_K_M 再对部分敏感张量抬到 Q6_K。
常见考点与误区
- “4-bit 就是每参数 0.5 字节”:0.5 字节只是下界。group scale、zero-point、未量化的 embedding/lm_head、混合精度张量和对齐都会加回来;8B 的 Q4_K_M 文件约 4.9GB,不是 4.0GB。面试被问“7B 4-bit 占多少”,稳妥答法是“权重约 3.5–4.5GB,取决于 bpw 和非量化层,另外还要算 KV 与工作区”。
- “量化一定让推理更快”:要分 decode 和 prefill。W4A16 在 decode 上受带宽约束,通常更快;prefill 受算力约束,反量化还可能拖慢。W8A8/FP8 才可能让 prefill 也加速。上线前分别量 TTFT 和 ITL,不要只看总吞吐。
- “GPTQ/AWQ 是一种微调”:两者都是 PTQ,需要校准集,但不做反向传播。GPTQ 用二阶信息做逐层误差补偿,AWQ 用激活统计做显著通道缩放;QAT 才是把量化误差写进训练损失。把 PTQ 当成 QAT 是常见扣分点。
- “NF4 是通用推理格式”:NF4 是 bitsandbytes 的存储格式,计算时反量化到 BF16,kernel 也不是为高并发 decode 优化的;它最适合 QLoRA 微调和“先把模型塞进显存”的场景。线上服务常见的是 GPTQ/AWQ 的 Marlin kernel、FP8 W8A8,或 llama.cpp 的 GGUF。
- “per-tensor 够用,group 越小越好”:LLM 权重和激活都有离群值,per-tensor 容易被一个极值带偏;但 group 也不是越小越好,scale 开销和 kernel 效率都会反噬。group size 128 是精度与速度的常见折中,具体要按任务和硬件扫。
- “权重量化了,KV Cache 也会变小”:两者完全独立。KV 的大小由层数、KV 头数、头维度、序列长度、并发数和 KV dtype 决定,跟权重是 4-bit 还是 16-bit 无关。FP8 KV 能把缓存减半,通常较稳;INT4 KV 更激进,长上下文任务要单独验证。
- “能加载就能跑”:启动时权重先占住一块,KV 池通常按配置预分配或随请求增长。
max_model_len和max_num_seqs一开大,OOM 往往出现在第一个长请求或并发高峰;框架预留的显存池、碎片和 CUDA graph 还会吃掉一截。 - “困惑度没掉就能上线”:PPL 对 4-bit 权重量化往往不敏感,却能掩盖代码、数学、JSON 结构、长上下文检索和多语言任务的退化。评估要用任务指标,不是一条 loss 曲线。
实践建议
- 先算四层账,再决定买什么卡:用实际检查点的 bpw(不是标称 4.0)算权重,用目标上下文 × 目标并发算 KV,再加 1–2GiB 工作区和 10–20% 余量;单位统一到 GiB。不要用“参数量 × 0.5”做预算,也不要拿“能加载”当“能服务”。
- 按瓶颈选格式,不按“位数越低越先进”:单卡低并发、decode 为主,优先 GPTQ/AWQ 的 W4A16(配 Marlin 等融合 kernel);高吞吐、prefill 占比高的服务,优先 FP8 W8A8(确认是 NVIDIA Ada/Hopper 及以后);QLoRA 微调用 NF4 + double quant;CPU/Apple 或端侧用 GGUF 的 Q4_K_M/Q5_K_M。选之前查框架的硬件支持表,注意有些组合会回退成 weight-only,启动日志里通常有一条 warning(vLLM 量化文档)。
- 校准集要像真实流量,保护层要留住:GPTQ/AWQ 的校准样本应覆盖实际领域、语言和长度分布,128–512 条通常够用;embedding、lm_head、第一/最后一层和 norm 建议保持 16 位;不要把已经量化过的检查点再量化一次。校准集只放通用网页文本,代码和数学任务往往最先掉。
- 评估要任务化,还要看长尾:除了 PPL,至少加代码 pass@1、数学准确率、JSON 可解析率、长上下文检索和低资源语言;用同一套 prompt、温度和解析规则对比 BF16 基线。重点看 p95 延迟和失败样本,不要只看平均值。
- 服务参数是显存估算的一部分:给
max_model_len设上限,按“最大上下文 × 并发”倒推max_num_seqs;开启 chunked prefill 和 FP8 KV(如果任务允许);监控 KV 占用率、抢占/重算次数、TTFT 与 ITL 的 p95。显存不够时,先降上下文和并发,再考虑更激进的量化。 - 训练显存不要套推理公式:混合精度 Adam 训练每个参数大约要 16–20 字节(BF16 权重、FP32 master、两份 optimizer state,再加梯度),还没算激活;LoRA/QLoRA 只训练适配器,能把优化器状态压下去,但基座权重仍要占空间。拿推理的 4-bit 公式估训练,会低估一个数量级以上。
一句话总结:量化按位宽省权重,显存却按“权重 + 缓存 + 工作区 + 余量”一起收钱;算清这四层,比记住几个格式名字有用。