向量算的是相似,不是相关:重排模型为什么要再读一遍原文
重排模型是检索漏斗末端的第二段打分器:它把查询和候选文档拼进同一个 Transformer,让两边的每个词互相看见,再输出一个相关性分数。它与向量检索的本质差别不是"更准的模型",而是取消了预计算——文档向量可以离线算好,交叉编码必须在线逐对计算。很多人把重排分数当概率卡 0.5、指望重排救回没召回的文档、把 max_length 只当性能参数,结果钱花了指标不动。读完你能讲清双塔与交叉编码的分工,算明白 K 与延迟这笔账,并用召回率与排序指标分别验收两段。
是什么
重排(reranking)是两阶段检索里的第二段:第一段用 BM25 或向量检索从百万级语料里粗筛出几十到几百条候选,第二段换一个更贵、更准的模型逐条重新打分,只把最靠前的几条交给生成模型。它的输入是「查询,候选文档」这一对文本,输出是一个实数相关性分数。
一句话直觉:向量检索像把每份简历压缩成一张名片,隔空比谁的名片更像招聘要求;重排则是把简历摊开,对着岗位描述逐条核对。
典型场景是 RAG 里 top-50 进 top-5,也见于搜索精排和推荐系统的召回后排序。要强调的是,重排模型不是「维度更高的 embedding」,它换掉的不是模型大小,而是计算方式。
核心原理
双塔为什么只能算相似
双编码器(bi-encoder)把查询和文档分别送进两个编码器,各自压成一个向量,再用余弦或点积比距离。这样做的全部好处来自一个前提:文档向量与查询无关,所以可以离线算好、建成 ANN 索引、在线只算查询一次。代价也来自同一个前提——文档那一侧在编码时根本不知道用户会问什么,它只能表达「这段话说的是什么」,无法表达「对这个问题有没有用」。
于是双塔擅长的是主题相似。用户问「退款多久到账」,一段讲「退款政策适用范围」的文字在向量空间里很近,却没有回答天数;反过来,一段写着「3 到 5 个工作日」的客服记录主题词很少,向量距离反而可能更远。相似不是相关,这是重排存在的唯一理由。
交叉编码器把两段文本放进同一个注意力
交叉编码器(cross-encoder)把查询和文档拼成一条序列 [CLS] 查询 [SEP] 文档,送进同一个 Transformer。因为注意力是全局的,文档里的每个 token 都能看到查询里的每个 token,反之亦然。模型因此能判断「3 到 5 个工作日」是否在回答「多久」、否定词有没有翻转语义、数字和单位对不对得上、实体是不是同一个人。这些判断没法压进一个与查询无关的向量里。
代价是不可预计算。K 条候选就要做 K 次前向,注意力开销还随序列长度平方增长,所以总成本大致是 K 乘以长度的平方。这也是它只能待在漏斗末端的原因:候选从一百万降到一百,贵一百倍的单条打分才付得起。
import numpy as np
from sentence_transformers import CrossEncoder
model = CrossEncoder("BAAI/bge-reranker-base", max_length=512)
pairs = [(query, doc) for doc in candidates]
# 先按长度排序再分批:同一批里长度接近,padding 浪费最少
order = np.argsort([len(d) for _, d in pairs])
scores = np.empty(len(pairs))
for i in range(0, len(order), 16):
idx = order[i:i + 16]
scores[idx] = model.predict([pairs[j] for j in idx])
for i in np.argsort(-scores)[:5]:
print(round(float(scores[i]), 3), candidates[i][:40])
这段代码里有两个容易被忽略的点:max_length 会静默截断超长文档;predict 返回的是 logit 而不是概率。
三种重排形态
除了标准交叉编码器,还有两类常见变体。其一是延迟交互(late interaction,如 ColBERT):文档的每个 token 向量可以离线算好,在线只算查询 token,再用 MaxSim 逐词取最大相似度求和。它介于双塔和交叉编码之间,排序质量接近交叉编码,成本低一个量级,代价是索引膨胀几十倍。
其二是用大模型做列表式重排(listwise):一次把多个候选放进提示词,让模型直接输出顺序。它省掉了逐条前向,但一次能放的候选受上下文长度限制,而且模型对候选位置敏感——排在前面的更容易被留下。常见做法是用滑动窗口从队尾往前重排,让每个候选都有机会出现在靠前的位置,代价是调用次数随候选数线性增长。
常见考点与误区
- 误区一:重排能救回没召回的文档。 不能。第二段的输入只有第一段交给它的候选集,候选集里没有的文档,重排模型永远排不出来,这就是召回天花板。所以指标调不动时先分别测 recall@50 和 nDCG@10:前者低是召回的问题,后者低才是排序的问题。
- 误区二:分数是概率,卡 0.5 就算相关。 交叉编码器输出的是 logit,过一个 sigmoid 只改变数值范围、不改变顺序,也不做校准。同一个 0.8 在不同模型、不同语料上含义完全不同。要设阈值,得在自己的标注集上扫一遍,取满足精确率要求的位置。
- 误区三:
max_length只是性能参数。 它是硬截断。答案落在文档后半段时,模型看到的是残缺文本,分数自然低。要么把长文档按段落切开分别打分再取最大值,要么换支持更长上下文的模型,但后者更慢。 - 误区四:K 越大越好。 召回率随 K 上升,延迟也随 K 线性上升,而且边际收益很快见顶。更隐蔽的问题是,候选变长后混进来的困难负例更多,排序指标可能不升反降。
- 误区五:拿第一段的 top1 当正样本训练。 检索器排第一的往往只是词面相近,直接当正例会教模型「像检索器一样犯错」。正例应来自人工标注或真实点击,负例则要从检索器排名靠前但不相关的文档里挖,这类困难负例才是区分度的来源。
- 考点六:为什么重排模型通常比 embedding 模型小? 因为它只处理几十条候选,参数量换不来吞吐;反过来,蒸馏时常用大重排模型给小模型打标,让小模型在固定延迟内逼近大模型的效果。
实践建议
- 先定 K,再选模型。 画一条 recall@K 曲线,找到拐点,通常落在 50 到 150 之间。K 定了,延迟预算和模型大小才有约束条件;否则换模型只是碰运气。
- 把长度分桶做成默认动作。 同一批里长短差十倍,padding 会吃掉大半算力。按 token 数排序后分批,再配合动态 batch,实测吞吐常有明显提升;上 ONNX 或 int8 量化还能再压一截。
- 给重排留一条降级路径。 超时或服务不可用时回退到第一段的排序结果,而不是报错或返回空。重排是提纯,不是唯一入口。
- 离线验收要看两段。 分别记录 recall@K、nDCG@10、截断率、分数分布和 P99 延迟。分数分布漂移往往先于指标下滑出现,是最好的早期信号。
- 有标注就微调,没标注先蒸馏。 领域词差异大时,通用重排模型的排序会偏;用几百条领域标注加困难负例微调,通常比换一个更大的通用模型划算。
一句话总结:重排不是更聪明的向量,而是把「各自编码再比距离」换成「放在一起逐词对照」,贵在无法预计算,值在能分辨相似与相关。