榜单第一也救不了你的检索:Embedding 选型该算哪几笔账
Embedding 模型把文本压成定长向量,选型实际上同时决定了编码器、维度、查询与文档的输入模板以及长度上限。它重要,是因为这四项一旦写进索引,改任何一项都要全量重算。最常见的误区是盯着 MTEB 均分挑第一名,却忽略榜单任务与自己的语言、领域、查询长度并不一致;也有人以为维度越高越准、查询和文档可以共用一套编码方式。读完你能分清对称与非对称检索、看懂 Matryoshka 截断的适用边界,并用一小份领域评测集把选型从“看榜”变成“算账”。
是什么
Embedding 模型把一段文本映射成一个定长浮点向量,让语义相近的文本在空间里靠得近。它不生成答案,只负责把“找得到”变成一次近邻搜索。RAG 的第一段召回、语义搜索、相似问题去重、聚类和推荐系统的召回层,背后都是它。
但“选一个 Embedding 模型”并不只是挑一个模型名。你同时在选四样东西:编码器本身、输出维度、查询与文档各自的输入模板、最大输入长度与距离度量。这四项一旦写进索引,改任何一项都意味着全量重算。一句话直觉:选型不是挑考试第一名,而是挑一个和你的题库、语言、答题时间都匹配的考生。
典型场景包括中文客服知识库的语义召回、代码或商品标题的相似去重,以及多语言站点的跨语言搜索。它们的共同点是:查询很短、文档较长、领域词密集,而且都对延迟和存储有硬预算。
核心原理
向量空间是训练目标造出来的
主流文本 Embedding 用双塔结构:查询和文档分别过一个编码器,得到两个向量,训练时用对比学习把正例拉近、把批内负例推远。模型学到的不是词典义,而是“哪些文本该被放在一起”。温度系数决定它对困难负例有多敏感,负例的采样方式决定空间里哪些差异被放大。
这意味着不同模型的向量之间没有共同坐标轴。A 模型的 1024 维向量不能拿到 B 模型的索引里查,两个模型的余弦分数也不能直接比大小。很多团队迁移时只换了编码器,却沿用旧阈值,线上立刻出现“全都相关”或“一条都召不回”,原因不是模型变差,而是分数的尺子换了。
查询和文档不是同一种文本
对称任务比较两段同质文本,比如“这两句是不是一个意思”;非对称任务则是短查询去找长文档,比如“退款多久到账”去找一段政策说明。后者的信息量天然不对等,所以模型在训练时会给两侧不同的条件。
E5 系列要求查询加 query:、文档加 passage:;Nomic 用 search_query: 与 search_document:;不少中文 BGE 模型则要求给短查询加一句检索指令。这些前缀不是装饰,而是训练时见过的条件,等价于告诉模型“现在这一侧是问句”。省略前缀,等于把查询送进了文档分布,向量偏移、召回下降,而且这种下降通常是渐进的,不会报错。
更隐蔽的是文档侧:入库时没加 passage:,后来发现了只给查询加,仍然对不上,因为索引里的向量已经定型。要改只能重嵌,这也是“模板必须在建库前定死”的原因。
维度是一笔可以谈的价
维度不是越高越准。Matryoshka 表征学习(MRL)在训练时同时对 64、128、256 等前 k 维计算损失,使向量的前缀本身就是一个可用的粗粒度表示。OpenAI 的 text-embedding-3 系列提供 dimensions 参数,就是同一思路的产品化。对这类模型,把 1024 维截到 256 维再重新归一化,往往只掉几个点。
非 MRL 模型没有这种嵌套结构。随手截断等于把训练好的方向砍掉一段,通常掉得很惨;而且截断后必须重新做 L2 归一化,否则余弦相似度的分母变了,分数不再可比。
存储账很容易算:向量占 N × D × 4 字节。100 万条、1024 维约 4 GB 原始向量,HNSW 还要存图结构和对齐开销,实际常到 1.5 倍以上。维度从 1024 降到 256,内存和距离计算都近似降到四分之一——这笔账有时比换一个更大的模型更值得算。
最大长度不是免费额度
超过模型 max_tokens 的内容会被静默截断,不报错。答案落在文档后半段时,向量里根本没有它。BGE-M3、Nomic Embed v1.5 等模型把上限做到 8192 token,确实缓解了长文档问题,但“能塞下”不等于“该塞”:把整篇文档压成一个向量,主题会被平均掉,细节被稀释。长上下文模型的正确用法是减少切得太碎造成的边界损失,而不是取消切分。
from sentence_transformers import SentenceTransformer
import numpy as np
model = SentenceTransformer("nomic-ai/nomic-embed-text-v1.5", trust_remote_code=True)
texts = ["search_query: 退款多久到账",
"search_document: 退款一般 3 到 5 个工作日到账"]
emb = model.encode(texts, normalize_embeddings=True)
small = emb[:, :256].copy() # 仅 MRL 模型可这样截断
small /= np.linalg.norm(small, axis=1, keepdims=True)
print(emb.shape, small.shape) # (2, 768) (2, 256)
print(float(small[0] @ small[1])) # 截断后仍是余弦相似度
常见考点与误区
- 误区一:MTEB 均分第一就是最优解。 MTEB 最初覆盖 8 类任务、58 个数据集、112 种语言,均分是把异质任务平均后的一个数。你的领域、语言和查询长度只要有一项偏离,排名就可能翻转;训练数据与榜单重叠还会让分数虚高。榜单适合筛出三五个候选,不适合直接定终选。
- 误区二:维度越高,检索一定越准。 对非 MRL 模型,维度是训练出来的完整表示,不能随便砍;对 MRL 模型,前 k 维才有嵌套语义,也不是任意子集都行。更别忘了维度上去后,索引内存、构建时间和查询延迟都会同步上涨。
- 误区三:查询和文档用同一个编码调用就对了。 非对称检索里,两侧的前缀、指令往往不同。少写前缀不会抛异常,只会悄悄损失召回;文档侧漏加前缀,事后无法靠查询侧补救。
- 误区四:余弦分数可以当固定阈值,也能跨模型比较。 每个模型的向量空间和分数分布都不同,0.8 在 A 模型里是高度相关,在 B 模型里可能只是同一主题。换模型必须重新校准阈值,更不能把两个模型的向量混进同一个索引。
- 误区五:上下文有 8k,长文档就不用切了。 整篇编码会把多个主题压成一个平均向量,细节被稀释;超过上限仍是硬截断。切分策略、Embedding 模型和重排要一起评估,单换模型救不了切分错误。
- 考点六:换 Embedding 模型要改哪些地方? 不只是推理那一行:全量重嵌、重建索引、更新维度与距离度量、重定阈值、灰度双写,缺一项都可能让新模型“上线即翻车”。
实践建议
- 先建一份小而真的领域评测集。 从线上日志抽 100 到 300 条真实查询,人工标注对应文档,固定切分与前缀,比较 recall@20、nDCG@10 和 MRR。没有这份集子,换模型只能靠感觉。
- 先算存储和延迟,再谈效果。 用
N × D × 4估原始向量,再给索引留 1.5 倍余量;能接受小幅召回损失时,优先试 MRL 截断或 int8 量化,但量化后要用全精度向量做一次重打分。 - 把模型版本和输入模板写进索引元数据。 记录模型名与 revision、前缀模板、是否归一化、维度、距离度量,并给每条向量加
embedding_version。否则半年后没人说得清线上向量是谁产的。 - 中文和多语言要单独验。 同样字数下,分词器的切分粒度不同,token 成本和有效上下文也不同;跨语言检索还要验证查询语言与文档语言不一致时的召回,不能直接套英文榜单结论。
- 先混合检索,再考虑换更大的模型。 BM25 加稠密向量能补上型号、单号、数字这类精确匹配的短板;Embedding 负责语义泛化。把重排留在漏斗末端,别指望一个向量模型同时解决召回和精排。
一句话总结:Embedding 选型选的是整套索引契约,榜单只负责给候选,真正的答案要从自己的数据和预算里算出来。