指标	含义	常见计算方法	低分时的处理方向
有据性（groundedness，又称 faithfulness）	回答是否完全基于上下文，没有引入上下文之外的信息	Azure AI Content Safety 的有据性检测、基于语言模型的评分、Ragas faithfulness、MLflow faithfulness	检查数据是否缺失，调整分块策略或块大小，修改提示词
完整性（completeness）	回答是否覆盖问题的全部部分	基于 AI 辅助的检索评分提示；或用模型把问题拆为意图并判断每个意图能否由检索文档回答，再计算比例	评估嵌入模型是否与领域词汇匹配；评估分块策略；检查测试数据是否足以回答问题
利用率（utilization）	回答中用到了上下文中多少块的信息	用语言模型统计包含答案的块数	利用率低时检查检索结果相关性；完整性低时见下表
相关性（relevance）	回答与问题的关联程度	Foundry 中的相关性评估器、Ragas answer relevancy、MLflow 相关性计算	先检查送入模型的块是否相关，再检查提示词
正确性（correctness）	回答是否准确、符合事实	由另一个语言模型判断；或用外部可信来源校验	先修正源文档的错误，再检查提示词，最后考虑补充事实依据或微调

用于判断的评分应使用目标区间，而不是单一目标值。原文指出，语言模型的输出具有非确定性，同一提示词可能得到不同结果。

完整性	利用率高	利用率低
完整性高	无需处理	返回的数据能回答问题，但夹杂无关块。可减小 top-k 值，使结果更稳定
完整性低	模型用了提供的块，但块不足以完整回答。可增大分块的上下文、增加 top-k，或检查未返回的相关块	检索结果没有完整回答问题，提供的块也未被充分利用。应增大块，并调整提示词

组合	解读	原文建议
有据性高、正确性低	模型忠于上下文，但上下文本身有误，或模型得出了错误结论	按工作负载决定优先保证有据性还是正确性；若源数据本身含有误信息，需要先修正数据
利用率高、完整性低	检索到的内容准确，但不完整	返回更多块，评估块的排序策略，并检查提示词
有据性和利用率高、相似度低	信息准确，但改写得差	修改提示词并测试

原文给出的 0.9、0.3 等数值只是说明组合含义的假设值，不是建议阈值。

原文列出的常见指标按计算方式分为三类：

类别	指标
序列类	最长公共子串、最长公共子序列（LCS）
词元类	余弦相似度（基于向量）、Jaccard 指数
编辑距离类	Jaro-Winkler 距离、Hamming 距离、Levenshtein 距离
翻译质量	BLEU、ROUGE、METEOR

原文提示，BLEU、ROUGE、METEOR 等翻译类指标用于机器翻译质量评估。原文同时指出，若只关心语义相似度，应重点看余弦相似度；具体选择由数据科学团队根据测量目标决定。

原文认为，RAG 评测应覆盖以下维度，不能只看有据性和完整性：

维度	关注点
内容安全	仇恨与偏见、暴力、自伤、性内容；可用 Content Safety 对检索内容和回答打分
知识产权	检索或生成受版权保护的文本与视觉内容；需要内容过滤与版权检测
安全与对抗	文档中嵌入的间接提示注入、被篡改的文档、绕过安全控制
隐私	直接标识符、联系方式、财务、生物特征、健康、员工数据与凭据

https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-llm-evaluation-phase

https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-solution-design-and-evaluation-guide

核对说明：正文通过网页抓取工具获取，工具返回的是整理后的文本。指标定义与组合解读据抓取结果归纳，示例数值按原文标注为假设值。未核对评测工具的当前版本与接口细节。本页不含图片。

Last update: 2026-11-6

🎉Explore AI & LLM & Cloud

👏记录实践，分享思考👏