企业 AI 参考架构

企业 AI 参考架构是把模型推理、知识检索、智能体运行时、网络隔离、身份与运维放在同一张设计图里的参照模板,用来回答“一个内部 AI 应用由哪些组件组成、组件之间如何隔离与协作”。

为什么需要

  • 单点试用(一个模型端点加一个前端页面)很快会在权限、网络出口、审计和成本上暴露问题。
  • 参考架构把这些问题提前列出,便于立项时确定基线,而不是上线后补救。
  • 本页以 Azure Architecture Center 的 Baseline Microsoft Foundry Chat 参考架构为主线。该架构描述的是一种网络受限、跨可用区的企业聊天方案,不是所有场景的唯一答案。

核心概念

组件
角色
参考架构中的要点
Chat UI(Azure App Service)
用户入口,集成到企业应用中
页面称 App Service 是较简单的首选托管方式
Foundry Agent Service
托管智能体运行时
编排工具调用、执行内容安全、管理会话状态
Azure OpenAI 模型(Foundry 内)
推理
可用模型集合与工具支持随模型和区域变化,待核实
Azure AI Search
知识依据(grounding)
向量检索与语义排序;智能体服务也用它承载 File Search 索引
Azure Cosmos DB for NoSQL
会话与智能体定义存储
由 Foundry 管理;页面建议启用连续备份
Azure Storage
会话上传文件与部署产物
页面建议使用 ZRS 或 GZRS
Application Gateway + WAF
唯一公网入口
TLS 终止与路径路由;聊天内容可能触发误报,宜做字段级排除而非关闭规则
Azure Key Vault
证书与非 Entra 机密
存放 Application Gateway 的 TLS 证书
Azure Firewall
出口控制
按 FQDN 规则管控智能体出口;页面提示不要对智能体流量做 TLS 检查
Private Link、Private DNS、虚拟网络
私有连接
Foundry 数据面、AI Search、Cosmos DB、Storage 仅经私有端点访问
Microsoft Entra ID 与托管标识
身份
服务间使用托管标识,按资源与功能拆分
Azure Monitor、Application Insights、Log Analytics
监控与用量
含 token 用量跟踪

请求流(简化)

  1. 用户请求经 Application Gateway 进入,WAF 检查后转发给 Chat UI。
  1. Web 应用通过 Microsoft Agent Framework 调用智能体,经私有端点访问兼容 Responses 的接口,并以托管标识认证。
  1. 智能体按系统提示词和工具(如 AI Search 检索)推理;公网工具调用经 Azure Firewall,私有 MCP 或 API 留在虚拟网络内。
  1. 请求、响应与工具调用明细作为会话条目持久化到 Cosmos DB。

与相邻方案对比

维度
选项 A
选项 B
参考架构中的取舍
智能体形态
Prompt agent:声明式,较简单
Hosted agent:容器化,可自定义编排
Hosted agent 有独立的 Entra 智能体身份,但要承担容器构建与维护
会话管理
服务托管
客户端托管
服务托管连续性好;客户端托管可零保留,但耐久性与治理由团队承担
智能体数量
单智能体
多智能体
多智能体隔离与专业化更好,但协调复杂、延迟增加
应用托管
App Service
Container Apps 或 AKS
后两者适合更复杂的伸缩或网络需求
来源:Baseline Microsoft Foundry Chat Reference Architecture
来源:Baseline Microsoft Foundry Chat Reference Architecture

限制与待核实

  • 页面明确:该架构不包含多区域部署,区域故障会导致服务中断;Foundry Agent Service 无内置灾难恢复,恢复方式偏向“重建式”。
  • 页面明确:Foundry Agent Service 不做按用户的细粒度授权,应用必须校验会话归属,不能信任客户端传入的会话 ID。
  • 页面提示:内置 web search 工具绕过智能体出口子网,需按出口策略单独测试。
  • 页面提示:资源分配限制(assignment restrictions)为预览功能,预览状态待核实。
  • 待核实:模型与区域的工具支持矩阵、各 SKU 与配额、区域可用性(2026-11-05 获取)。
  • 本页只依据参考架构页面的文字与架构图,未核对 Azure 实时服务页面。

来源与核对

  • 来源:见 frontmatter 的 sources 列表。
  • read_scope:正文已读。参考架构页面的抓取结果在末尾约 7000 字符处截断,相关结论仅限已读部分。安全支柱索引页只读到快速链接与原则名称,安全相关结论以该页原则和基线页为准。
上一篇
安全基线
下一篇
OWASP LLM Top 10 对照
Loading...
文章列表
分享AI实践与思考
入门
Microsoft Foundry
开发工具
治理与网络
观测与评测
工具与知识
模型与部署
Azure OpenAI
Azure AI Search
性能与基准
索引与分块
概念解释
快速上手
Foundry Tools
RAG 与知识工程
检索质量与评测
数据准备
智能体与工具
评测、观测与安全
企业架构与成本
成本与容量
架构
解决方案场景
文档与服务
知识与分析
样例与学习资源
附录