月明的文档中心 分享AI实践与思考
入门
上手
教程
基础
概念解释
Microsoft Foundry
开发工具
操作指南
参考
治理与网络
工具与知识
概念解释
操作指南
Agent Service
总览
概念解释
Azure OpenAI
API 与开发
总览
Azure AI Search
权限与安全
参考
检索概念
概念解释
快速上手
教程
Foundry Tools
其他与已退役
总览
概念解释
RAG 与知识工程
智能体与工具
MCP 与 Skills
操作指南
基础
评测、观测与安全
安全
评测
概念解释
参考
企业架构与成本
解决方案场景
样例与学习资源
附录
检测与阻止策略
本页说明如何为每个有害内容类别选择阻止级别（Off、Low、Medium、High），使检测结果在应用中产生预期的拦截效果。适用于为模型部署或智能体配置内容护栏的开发者与安全负责人。
适用场景
- 为用户输入或模型输出设置内容过滤，并希望分别控制各类别的拦截强度。
- 需要解释“为什么某条内容被拦截，而另一条没有”。
- 需要在误拦截合法内容与放过有害内容之间取得平衡。
前提
- 已了解四个核心类别：仇恨与公平（Hate and fairness）、性内容（Sexual）、暴力（Violence）、自伤（Self-harm）。
- 已确认应用所在的使用场景，例如教育、医疗、新闻或娱乐，因为合法的敏感内容在不同场景下的处理方式不同。
- 已准备一批代表性样本：应当允许的内容与应当阻止的内容。
严重度与阻止级别
Guardrails 使用四个严重度等级，阻止级别决定哪些等级的内容会被拦截。
阻止级别 | 拦截的分类严重度 | 适用性 |
Off | 不拦截；检测结果仍可作为标注返回 | 需要审批 |
Low | 仅拦截 High，最宽松 | 所有客户可用 |
Medium | 拦截 Medium 与 High | 所有客户可用 |
High | 拦截 Low、Medium 与 High，最严格 | 所有客户可用 |
- 严重度等级为 Safe 时，内容只做标注，始终不拦截。
- 修改阻止级别不改变分类结果，只改变哪些分类等级会被拦截。例如某段暴力内容被分类为 Medium：阻止级别为 Low 时放行，为 Medium 或 High 时拦截，分类结果始终是 Medium。
Azure AI Content Safety 服务本身返回的严重度范围如下（页面所述，待核实）：
模型 | 严重度范围 |
文本（完整） | 0 到 7 |
文本（裁剪） | 0、2、4、6，相邻两级合并为一级 |
图像 | 0、2、4、6（裁剪） |
图文多模态 | 0 到 7（完整） |
步骤
- 对每个类别（仇恨与公平、性内容、暴力、自伤）分别评估两类后果：允许有害内容的后果，以及误拦截合法内容的后果。
- 对每个类别和每个干预点（如用户输入、模型输出）分别选择阻止级别。
- 阅读该类别的严重度定义与示例，确认 Medium 或 High 在本场景下的含义。
- 用代表性样本评估候选配置：检查应当允许的内容是否被误拦，以及应当阻止的内容是否漏过。
- 上线后持续监控拦截率与误报、漏报情况；当模型、护栏配置、业务内容或输入流程变化时，重新评估。
排错
现象 | 处理 |
教育、医疗、历史等合法内容被误拦 | 为该类别选择更低的阻止级别；或将该场景的内容交由人工复核 |
有害内容漏过 | 为该类别选择更高的阻止级别；必要时补充文本黑名单 |
需要把某类别设为 Off | 需要审批；先确认是否有其他缓解措施，如人工复核、访问控制或监控 |
同一内容在不同时间结果不同 | 分类模型可能存在误报与漏报；以评估结果为准，并持续监控 |
验证
- 用一组“应允许”样本与一组“应阻止”样本运行当前配置，记录误拦数与漏过数。
- 对比不同阻止级别下的结果，选择误拦与漏过都可接受的配置。
- 上线后定期抽样复核，并在模型或配置变化后重复上述步骤。
来源与核对
- 来源：Harm categories in Azure AI Content Safety（Microsoft Learn，https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/harm-categories）
- 核对范围：正文已读。本页依据该概念页的类别说明、Guardrails 严重度与阻止级别、Azure AI Content Safety 严重度范围，以及“选择阻止级别”小节。页面中未找到标题为“检测与阻止策略”的独立页面，本页内容由上述概念页整理，独立页面是否存在待核实。
- 获取日期：2026-11-05。
上一篇
自定义视觉与沉浸式阅读器
下一篇
内容安全快速开始
Loading...