月明的文档中心 分享AI实践与思考
入门
上手
教程
基础
概念解释
Microsoft Foundry
开发工具
操作指南
参考
治理与网络
工具与知识
概念解释
操作指南
Agent Service
总览
概念解释
Azure OpenAI
API 与开发
总览
Azure AI Search
权限与安全
参考
检索概念
概念解释
快速上手
教程
Foundry Tools
其他与已退役
总览
概念解释
RAG 与知识工程
智能体与工具
MCP 与 Skills
操作指南
基础
评测、观测与安全
安全
评测
概念解释
参考
企业架构与成本
解决方案场景
样例与学习资源
附录
负责任 AI 与内容安全治理
本页说明负责任 AI（Responsible AI）的原则、把原则落到产品上的内容安全服务与护栏，以及组织层面的治理措施，并区分这几个概念各自解决什么问题。
为什么需要
生成式 AI 的输出可能有害、不准确或对某些群体不公平，也可能被用于攻击。原则只说明“应该怎样”；内容安全与护栏负责运行时的检测与拦截；评测负责上线前后的度量；治理则决定谁负责、按什么流程执行。四者缺一不可。
核心概念
概念 | 解决什么问题 | 形式 |
负责任 AI 原则 | 设计与治理的价值准则 | 原则与组织做法 |
内容安全（Azure AI Content Safety） | 检测文本与图像中的有害内容，并检测 prompt 攻击等 | 云服务与 API |
护栏（Guardrails） | 把检测结果配置为干预点与动作（如拦截） | Foundry 中的策略配置 |
安全类评测 | 度量回答在仇恨、性、暴力、自伤等维度的表现 | evaluator |
负责任 AI 的六项原则
微软官方页面列出以下六项原则。下表的一句话释义为编写者用语，不是官方逐条定义。
原则（页面名称） | 编写者释义 |
公平性（Fairness） | 公平对待人群，避免偏见 |
可靠性和安全性（Reliability and Safety） | 系统稳定、安全地运行 |
隐私和安全（Privacy and Security） | 保护个人数据与系统 |
透明度（Transparency） | 让人理解 AI 系统如何工作 |
问责制（Accountability） | 人对 AI 系统保持责任 |
包容性（Inclusiveness） | 面向不同人群与需求设计 |
组织层面的治理措施
官方页面建议以下做法（页面表述为建议，具体落地方式待核实）：
措施 | 页面中的提法 |
工具与仪表板 | 负责任 AI 仪表板（Responsible AI Dashboard），用于端到端的负责任 AI 实践与监控 |
人机交互设计 | 人与 AI 交互体验手册（HAX Playbook） |
治理角色 | 设立负责任 AI 办公室，监督伦理与治理 |
利益相关方与培训 | 让利益相关方参与并开展培训 |
其他参考 | 页面还链接了负责任 AI 标准、透明度报告、欧盟 AI 法案资料等，本页未逐一核实 |
内容安全服务的主要能力
能力 | 用途 | 状态 |
Analyze text / Analyze image | 检测文本与图像中的性、暴力、仇恨、自伤内容，支持多级严重程度 | 可用（页面描述） |
Prompt Shields | 检测用户提示攻击与文档攻击，详见“Prompt Injection 与防护”页 | 可用（页面描述） |
Protected material text detection | 检测 AI 生成文本是否与已知受保护内容匹配 | 可用（页面描述） |
Groundedness detection | 检测回答是否基于提供的来源材料 | 预览，计划退役（待核实，2026-11-05 获取） |
Task adherence API | 检测 agent 的工具调用是否偏离用户任务 | 预览（待核实，2026-11-05 获取） |
Custom categories（标准与快速） | 自定义有害内容类别 | 预览（待核实，2026-11-05 获取） |
Content Safety Studio | 在线测试、配置与监控内容安全策略 | 页面描述 |
页面说明，部分预览能力计划于 2027-04-30 退役，具体退役范围与迁移方式待核实。
护栏与内容安全的关系
对比项 | 内容安全服务 | Foundry 护栏 |
作用 | 提供检测能力 | 把检测能力配置为控制项 |
干预点 | 由调用方决定 | 用户输入、工具调用（预览）、工具响应（预览）、输出 |
动作 | 由应用决定如何处理 | 模型可用注释或拦截；agent 目前为拦截（待核实） |
分配范围 | 按 API 调用 | 可分配给多个模型部署与 agent |
护栏概览页说明，agent 使用的护栏完全覆盖其底层模型的护栏。
服务与安全要求
- 身份：可使用 Microsoft Entra ID 或托管标识（Managed Identity）管理访问；页面说明创建资源时托管标识默认启用。
- 数据加密：支持客户托管密钥（CMK）。
- 价格层级：有 F0 与 S0 两个层级，具体价格待核实，请以 Azure 定价页为准。
- 查询速率：按每秒请求数或每 10 秒请求数计算，具体数值待核实。
- 语言：页面说明，部分模型（如受保护材料、有据性检测、标准自定义类别）仅支持英文；其他模型的训练与测试语言包括中文，但质量可能有差异，应自行测试（待核实）。
- 区域：需在支持的区域创建资源，具体区域清单待核实。
限制与待核实
- 原则释义为编写者用语，不代表官方逐条定义。
- 内容安全服务检测的是有害类别与攻击模式，不替代人工审核，也不替代法律合规判断。这是编写者的归纳。
- 页面明确说明，内容安全服务不能用于检测非法儿童剥削图像。
- 预览能力的状态与退役日期（2027-04-30）以页面为准，待核实。
- 价格、速率、区域、语言的具体数值未在本页列出，待核实（2026-11-05 获取）。
来源与核对
- 来源 URL：
- https://www.microsoft.com/ai/responsible-ai
- https://learn.microsoft.com/en-us/azure/ai-services/content-safety/overview
- https://learn.microsoft.com/en-us/azure/foundry/guardrails/guardrails-overview
- https://learn.microsoft.com/en-us/azure/foundry/concepts/observability
- 核对范围：正文已读（负责任 AI 页面与内容安全概览页已读取正文；护栏概览页与可观测性页用于对照）。原则释义为编写者用语。
- 获取日期：2026-11-05。预览状态、退役日期、价格层级与速率均以该日期的页面为准，待核实。
上一篇
工具滥用防护
下一篇
Prompt Injection 与防护
Loading...