月明的文档中心 分享AI实践与思考
入门
上手
教程
基础
概念解释
Microsoft Foundry
开发工具
操作指南
参考
治理与网络
工具与知识
概念解释
操作指南
Agent Service
总览
概念解释
Azure OpenAI
API 与开发
总览
Azure AI Search
权限与安全
参考
检索概念
概念解释
快速上手
教程
Foundry Tools
其他与已退役
总览
概念解释
RAG 与知识工程
智能体与工具
MCP 与 Skills
操作指南
基础
评测、观测与安全
安全
评测
概念解释
参考
企业架构与成本
解决方案场景
样例与学习资源
附录
分块与向量化操作
本页以 Azure AI Search 为例，说明如何设置分块参数，并检查分块结果是否满足嵌入模型的输入限制。适用于已经确定要用 Azure AI Search 做检索、需要决定块大小和重叠的团队。
适用场景
- 文档超过嵌入模型或对话模型的输入 token 上限，需要切分。
- 整页内容包含多个子主题，整体向量表示效果差，需要更细粒度的块。
- 需要在 Azure AI Search 中使用内置的文本切分技能（Text Split skill），或在外部切分后再写入索引。
前提
项目 | 说明 |
检索服务 | 已创建 Azure AI Search 服务，并确认所用 API 版本 |
集成向量化 | 若使用内置切分与向量化，需要配置索引器（indexer）与技能集（skillset） |
外部切分 | 若不能使用集成向量化，可用 LangChain 等库在外部切分后写入索引 |
模型输入限制 | 查阅所用嵌入模型的输入上限。原文示例为 text-embedding-3-small 的 8,191 tokens（待核实，2026-11-05 获取） |
步骤
- 估算文档的 token 分布。用与模型一致的分词器统计每页或每块的 token 数，记录最小、平均和最大值。原文用一份 200 页的示例 PDF 演示，平均约 189 tokens、最大约 1,583 tokens，这是示例数据，待核实。
- 选择切分模式。
pages为默认值，块由多个句子组成；sentences为单句块，块数会多得多。
- 设定最大块长度与重叠长度。原文推荐的起点为每块 2,000 字符、重叠 500 字符（待核实，2026-11-05 获取）。
- 试跑切分，统计块数，并抽查相邻块的重叠内容。
- 按所用模型的 token 上限复核块大小。字符数与 token 数不一致，原文提醒模型计量的 token 数可能与切分器的字符数不同。
- 再决定是否向量化与写入索引，并在索引中记录所用的切分参数，便于后续比较实验。
参数表
参数 | 含义 | 原文说明 |
textSplitMode | 切分模式： pages 或 sentences | 默认 pages，sentences 按句末标点切分 |
maximumPageLength | 每块最大字符数 | 切分器不会拆开句子，实际长度随内容变化 |
pageOverlapLength | 与前一块重叠的字符数 | 必须小于最大块长度的一半 |
maximumPagesToTake | 从文档取多少块，0 表示全部 | 默认 0 |
defaultLanguageCode | 句子切分所用语言 | 影响 sentences 模式下的句子边界 |
原文还提到一个通用起点：512 tokens（约 2,000 字符）加 25% 重叠，即 128 tokens（待核实，2026-11-05 获取）。原文同时指出，结构化数据通常需要较少重叠，叙述性文本可能需要更多。
原文的示例文件中，不同参数的块数如下（仅作参考，待核实）：
textSplitMode | maximumPageLength | pageOverlapLength | 块数 |
pages | 1000 | 0 | 172 |
pages | 2000 | 500 | 113 |
pages | 5000 | 500 | 38 |
sentences | 不适用 | 不适用 | 13361 |
验证
检查项 | 通过标准 |
块数 | 与估算的数量级一致，无明显异常 |
重叠 | 相邻块的开头与前一块的结尾有可见的重复内容 |
长度 | 按所用模型的 tokenizer 计算，所有块都在上限之内 |
上下文 | 抽查若干块，确认关键概念没有被拆散 |
排错表
现象 | 可能原因 | 处理 |
设置了重叠，但块之间看不到重叠 | 重叠值过大，超过切分器的处理范围 | 减小重叠值，并确认小于最大块长度的一半 |
答案不完整，缺少上下文 | 块过小，相关信息分散在多块中 | 增大最大块长度或增加重叠；也可在块中补充文档标题 |
块数远多于预期 | 使用了 sentences 模式 | 改用 pages 模式 |
超出模型输入限制 | 字符数与 token 数不一致 | 改用 token 计数复核；原文说明预览版 REST API 支持按 token 切分，预览状态待核实 |
来源与核对
- 来源：
- https://learn.microsoft.com/en-us/azure/search/vector-search-how-to-chunk-documents
- https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-chunking-phase
- read_scope：正文已读
- 核对说明：正文通过网页抓取工具获取，工具返回的是整理后的文本。参数名与示例取自正文，但数字（块数、token 统计、推荐起点）是抓取结果中的示例或建议值，均标注为待核实，使用前需回到官方页面复核。示例 PDF 的数据未逐一核对。本页不含图片。
上一篇
RAG 评测指标
下一篇
分块方案对比
Loading...