月明的文档中心 分享AI实践与思考
入门
上手
教程
基础
概念解释
Microsoft Foundry
开发工具
操作指南
参考
治理与网络
工具与知识
概念解释
操作指南
Agent Service
总览
概念解释
Azure OpenAI
API 与开发
总览
Azure AI Search
权限与安全
参考
检索概念
概念解释
快速上手
教程
Foundry Tools
其他与已退役
总览
概念解释
RAG 与知识工程
智能体与工具
MCP 与 Skills
操作指南
基础
评测、观测与安全
安全
评测
概念解释
参考
企业架构与成本
解决方案场景
样例与学习资源
附录
分块方案对比
本页比较 RAG 中常见的几种分块方法，说明文档结构、成本和加载方式如何影响选择。分块决定了检索的最小单位，是 RAG 效果的基础。
为什么需要
分块要把文档切成语义相对完整、大小合适的片段。整篇文档直接送入模型成本高，也可能超出 token 上限；块太小又会缺少上下文，关键信息可能分散在多个块中。原文强调，分块方法要针对具体文档类型和结构选择。
核心概念
概念 | 说明 |
分块成本 | 包括每种分块实现的工程投入，以及每份文档的处理成本。文档中有图片时，还要考虑生成图片描述的费用 |
加载与分块 | 可以合并在一个流程中，也可以把加载（预处理、持久化）与分块分开 |
半永久选择 | 分块策略一旦进入生产，更换会影响下游流程，上线前应充分比较 |
分块方法对比
下表的工程投入和处理成本是原文的相对评级，属于主观比较，仅供参考。
方法 | 工程投入 | 处理成本 | 适合的文档 | 原文举例的工具 |
固定大小（带重叠） | 低 | 低 | 散文或非散文，结构少，类型多难以逐个定制的集合 | LangChain 递归切分器 |
句子切分 | 低 | 低 | 非结构化的完整句子文本，作为其他方法不适用时的兜底 | spaCy、NLTK、LangChain |
语义分块 | 高 | 高 | 多个章节有主题重叠的文档，如财务、医疗文档 | 自定义实现 |
自定义代码 | 中 | 低 | 结构可推断的半结构化文档，如专利、论文、保险条款、剧本 | 正则、BeautifulSoup、lxml 等 |
语言模型增强 | 中 | 高 | 图片、表格、会议纪要等需要生成文本描述的内容 | Azure OpenAI、OpenAI |
Azure Content Understanding | 低到中 | 中 | 文档、图片、视频、音频的统一处理 | Content Understanding 及其预置分析器 |
文档版面分析 | 中 | 中 | 半结构化文档，如新闻、网页、简历 | Document Intelligence 版面模型、Donut、Layout Parser |
图结构分块 | 高 | 高 | 统计类数据较多、需要跨文档关系查询的领域 | Microsoft GraphRAG、Neo4j |
预置模型 | 低 | 中到高 | 已有预置模型的结构化文档，如发票、收据、W-2 | Document Intelligence 与 Content Understanding 的预置模型 |
自定义模型 | 高 | 中到高 | 高度结构化、又没有预置模型的文档 | Content Understanding 自定义分析器、Document Intelligence 自定义模型 |
按文档结构选择
结构程度 | 典型文档 | 常用方法 |
结构化（固定版式） | W-2 表单、保险卡 | 预置模型、自定义模型 |
半结构化（有一致的字段或元素） | 发票、收据、网页、Markdown | 文档版面分析模型 |
可推断结构（无标记，但有编号层级） | 法规、剧本、制造规格 | 自定义代码、自定义模型 |
非结构化 | 调研反馈、邮件、个人笔记 | 句子切分，或带重叠的固定大小分块 |
原文同时指出，各方法并非只能用于对应类型。实际项目应通过实验比较不同方法。
加载与分块的组织方式
- 原文建议先把加载和分块合并在一个流程中，需要时再分离。
- 分离的理由包括：保存预处理结果便于检查、同一份预处理结果可尝试多种分块、加载与分块需要不同的计算资源或安全隔离。
- 避免把文档转成中间格式再分块，否则可能丢失信息。
- 使用 HTML 等带图片引用标签的格式时，解析器不能删除这些标签，否则分块代码无法识别图片位置。
图片分块的成本控制
原文建议用缓存降低图片描述的重复成本，流程如下：
- 以图片内容的哈希作为键，检查是否已有缓存结果，有则直接使用。
- 用分类器判断图片是否值得处理，并缓存分类结果。
- 对有价值的图片生成描述，并缓存结果。
图片还需要保留来源地址。若分块后一张图的描述被拆成多块，每块都应带上图片 URL，以便查询时能返回图片来源。
架构图
图中按文档结构的程度，标出各分块方法最适合的范围。
限制与待核实
- 原文未给出推荐的块大小或重叠比例，这些参数见「分块与向量化操作」，且以该页为准。
- 成本仅有相对评级，没有具体金额。模型与服务的计费，待核实。
- 页面中提到的产品名称与版本，以官方页面为准，本页不做版本承诺。
来源与核对
- 来源：
- https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-chunking-phase
- https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-solution-design-and-evaluation-guide
- read_scope：正文已读
- 核对说明：正文通过网页抓取工具获取，工具返回的是整理后的文本。对比表和结构表据抓取结果归纳，相对评级按原文标注。图片地址取自正文中的图片链接，未另行核对图片内容。
上一篇
分块与向量化操作
下一篇
企业 RAG 设计与评估
Loading...