表格被拦腰截断,检索再准也答不出:切分要先保住结构
文档切分是把长文档裁成可索引、可引用的证据单元,块的大小与边界直接决定检索能不能命中、生成能不能答对。很多人把它当成一个 token 数字,套上固定长度加百分比重叠就上线,结果表格被拦腰截断、标题与正文分离、指代失去先行词,向量再准也拿不到完整证据。切分真正的起点是解析:先把 PDF 双栏、页眉页脚、Markdown 层级与表格结构还原成逻辑树,再在结构边界内按预算装箱,并让每块带上标题路径与出处。读完你能判断该按什么切、块要多大、重叠要不要留,以及怎样用证据级评测把参数定下来。
是什么
文档切分(chunking)是把一份长文档拆成若干可独立索引、检索与引用的片段。一句话直觉:它不是在切文本,而是在给检索器造“最小可引用证据单元”——每一块既要能单独回答一个问题,又要能指回原文的哪一页、哪一节。
典型场景是企业知识库里的产品手册、制度文件、PDF 研报与合同、代码仓库文档、客服工单。用户问“退款到账要几天”,系统不会把整本手册塞给模型,而是先召回几个块,再让模型依据这些块作答。块的边界一旦切错,后面换更贵的嵌入模型、加更复杂的重排,都只能在这个错误的上限里打转。
核心原理
策略谱系:从固定窗口到结构感知
常见切分策略可以排成一条从钝到锐的谱系。固定窗口按字符或 token 数硬切,最便宜,但完全无视语义;递归字符切分按“段落→换行→空格→字符”逐级回退,比硬切稳,却仍然看不见标题层级与表格;结构感知切分先解析出标题、段落、列表、表格、代码块,再在结构边界内装箱;语义切分比较相邻句子的向量差异来选断点;LLM 辅助切分则让模型标注章节与主题。越往后越贵、越依赖解析质量,也越难复现。生产上更常见的组合是“结构感知打底 + 预算装箱”,语义或 LLM 只留给目录混乱的硬骨头文档。
切分的对象不是字符串,是结构
一份 PDF 在解析器眼里先是带坐标的文字盒子。双栏排版若按纵坐标逐行读,左右栏会被串成一句话;页眉、页脚、页码、水印会混进正文;跨页表格会被拆成两半。等文本变成一维字符串再切,结构信息已经丢了。所以切分的第一步是还原逻辑结构:标题层级、段落、列表、表格、代码块、图表标题。Markdown 与 HTML 可以用语法树,PDF 要靠版面分析(栏检测、表格识别),扫描件还得先 OCR。结构树提供的是“自然边界”,token 预算只在这个边界之内起作用。
块要自足:三个约束
一个可用的块同时满足三条。第一,语义完整:不切断一句话、一组表格行、一个函数,代词与“如上所述”能找到先行词。第二,可检索:块内有回答该问题所需的实体与限定词,而不是只剩“它需要三个工作日”。第三,可引用:带来源、章节路径、页码或字符区间、版本,能回到原文核对。
最容易被忽略的是第二、三条。标题往往承载关键限定——“企业版”还是“个人版”、“中国大陆”还是“海外”,这些词只出现在标题或表头。如果块里只有正文,嵌入向量就丢了这个限定,检索时会被另一节的相似句子挤掉。做法是给每块拼一条标题路径作为前缀,或把标题放进 metadata 参与过滤。表格则要保留表头、行标签和单位;超长表格按行切时,每一片都重复表头,否则“Q3 营收 12 亿”离开表头就不知道是哪个口径。
长度、重叠与 top-k 是一道联立方程
块长没有通用最优值,它被四个量同时约束。其一是嵌入模型的最大输入长度:超出部分常常被静默截断,块尾证据直接消失,不同模型上限差异很大,必须以实际模型为准,不能拿生成模型的长上下文来类推。其二是问题粒度:事实型问题(“保修期多久”)适合小一点、定位准的块;分析型问题(“这份合同有哪些违约风险”)需要能覆盖多个条款的较大块,或召回多个小块再拼。其三是 top-k 与生成预算:k 乘以块长,再加上系统提示与历史对话,必须给答案留出空间;块越大,能塞进上下文的条数越少。其四是索引成本:块数与块长近似成反比,块越多,向量存储、检索与重排的延迟越高。
重叠(overlap)是为了降低“答案刚好跨在边界上”的损失,但它不免费:重叠区被索引两次,同一段证据可能占掉 top-k 里的两个名额,还会让去重与引用变复杂。结构感知切分在章节边界处通常不需要重叠;只有按固定窗口滑动时,才用一成到两成这类经验值,并且要用评测量它究竟有没有换来召回。
表格切片要带着表头走
def split_table(rows, header, budget=300, count=len):
"""rows 为数据行;每片重复表头,避免口径与单位丢失"""
pieces, cur, size = [], [], 0
head = " | ".join(header)
for row in rows:
line = " | ".join(row)
n = count(line)
if cur and size + n > budget:
pieces.append(head + "\n" + "\n".join(cur))
cur, size = [], 0
cur.append(line)
size += n
if cur:
pieces.append(head + "\n" + "\n".join(cur))
return pieces
这段代码只做一件事:超长表格按行分组,但每一片都重新拼上表头。budget 要按实际 tokenizer 计,且把表头自身的开销算进去。它背后是切分的通用原则:切片可以变小,口径不能丢。同样的道理适用于代码块(保留函数签名、导入与关键注释)和跨页段落(把上一页的最后一句带过来)。
常见考点与误区
- 误区一:把“512 token、10% 重叠”当成行业默认:面试问“块多大合适”,背一个数字就暴露了没有评测。块长由嵌入模型上限、问题粒度、top-k 预算共同决定;结构切分下重叠往往可以为零。答错点是把生成模型的长上下文当成嵌入模型的上限。
- 考点二:嵌入模型会截断超长输入:不少模型超过最大输入长度就截断,且不报错,块尾证据静默丢失。要按模型自己的 tokenizer 计数,而不是字符数;中英文、代码、表格的字符与 token 比例差别很大。
- 误区三:块越小召回越准:小块向量更聚焦,但会丢限定词与先行词,让“它”“该费用”无所指;top-k 里全是碎片,生成阶段拼不回完整答案。召回准不等于答得对,块的第一目标是自足,不是短。
- 误区四:标题只用于展示,不必进块:标题路径承载适用范围、版本与口径。缺失后,两段相似正文在向量空间里几乎无法区分,检索只能靠运气;引用时也说不清答案来自哪一节。
- 误区五:切分是一次性离线任务:文档更新、权限变更、嵌入模型升级都要重切。若 chunk id 用自增序号,中间插入一段就会让后面全体漂移,引用、缓存、评测集全部失效。稳定 id 应当由文档 id、章节路径与内容哈希共同决定,并按节做增量重建。
实践建议
- 先验解析,再调切分:抽三五十份真实文档,人工检查阅读顺序、表格还原、页眉页脚、代码块。解析不过关,先换解析器或补版面分析;不要在脏文本上网格搜索块长。Oracle 的工程博客也把标题、表头、来源标识列为切分必须保留的上下文(链接)。
- 按文档类型选切分器:Markdown 与 HTML 走语法树加标题路径;PDF 走版面分析,表格整块保留、超长按行切并重复表头;代码按函数或类切,保留签名与导入;对话按会话或话题切,不要按消息条数切。Microsoft 的解析建议同样强调优先使用可选文本的原生格式、保持表头一致(链接)。
- 让每块自带出处:正文前缀拼标题路径,metadata 存 source_id、section_path、page 或 char span、version、ACL、doc_type。过滤与引用都靠它;没有 ACL 的块,宁可不索引。
- 用证据级评测定参:构造“问题 → 原文证据区间”的评测集(不是只标答案),算 recall@k 与证据覆盖率,再看端到端正确率;对块长、重叠、top-k 做小网格。评测集必须覆盖表格、跨节、否定与例外这些难例。
- 稳定 id、增量与监控:用文档 id + 章节路径 + 内容哈希生成 chunk id,文档更新只重建变化的节,删除的节打墓碑;上线后分开统计“没召回”和“召回但答错”,并监控空块、超短块、超长块与表格块的比例。
一句话总结:切分的好坏在解析与结构边界处就已决定,token 预算只是最后一道装箱。