热门搜索
首页 » 行业资讯 » 《智能体治理研究报告》:从模型安全扩展到行为、工具与记忆

行业资讯

加入亿拓客·流量大师 撬动财富之门！！！

《智能体治理研究报告》:从模型安全扩展到行为、工具与记忆

wang 2026-11-14 行业资讯
《智能体治理研究报告》:从模型安全扩展到行为、工具与记忆
同样一个大模型，放在对话框里，它写错一段话，人还可以修改；接入订单、工单、财务和代码仓库之后，它可能查数据、改记录、发邮件、执行代码。此时，企业需要管理的，已经不只是“回答是否准确”，而是“它在谁的授权下，使用什么工具，对什么数据，执行了什么动作”。
中国信息通信研究院政策与经济研究所、中国政法大学人工智能法研究院发布的《智能体治理研究报告（2026年）》，把这个变化概括为：从以内容合规、事前审查为重心的模型治理，转向以行为约束、全周期治理为重心的智能体治理。[1]
我们可以这样理解：当AI开始调用工具、修改数据并保存跨任务的记忆，企业治理的对象就不再只是模型输出，而是由身份、权限、工具、记忆和执行环境共同构成的行动过程。
模型安全仍然必要，但只审模型，已经覆盖不了智能体的真实风险。
图1｜大模型与智能体风险对比（来源：《智能体治理研究报告（2026年）》表1，PDF第22页）

治理对象变了：从一个模型，到一个行动整体

报告将智能体的技术架构拆成感知、记忆、规划、行动四个模块。感知模块接收环境信息，记忆模块保存当前任务或跨任务内容，规划模块形成行动计划，行动模块再通过GUI、API、CLI等通道，把计划变成对外部环境的具体操作。[1]
这意味着，模型的一次判断不再必然停留在文字层面。它可能继续触发查询、写入、发送、删除或执行，前一个步骤的偏差，也可能被后续动作放大。
因此，同一个底层模型，接入不同系统、获得不同权限之后，风险并不相同。一个只能读取公开知识的助手，与一个能够修改客户信息、操作生产系统的智能体，不能用同一套上线审查简单带过。
为了便于企业落地，我把需要回答的责任问题拆成三层：
  • 模型层：回答是否可靠，是否存在幻觉、偏见和不当内容，能力边界在哪里。
  • 应用层：任务怎样拆解，调用哪些工具，获得哪些权限，记忆如何保存，失败后能否恢复。
  • 组织层：谁设定目标，谁批准高风险动作，谁监测运行，出现异常由谁接管和负责。
这三层相互关联，却不能相互替代。底层模型测评合格，不等于整个智能体可以无条件进入生产；技术系统能够运行，也不等于业务责任已经落实。
智能体治理的基本单元，应当是一个能够执行任务的完整系统，而不只是系统里的那个模型。
图2｜智能体技术架构（来源：《智能体治理研究报告（2026年）》图1，PDF第7页）

行为治理：不仅看结果，还要看它怎样完成

传统软件通常按照预先编写的规则运行，智能体则可能根据目标自行规划路径。最终任务完成了，并不代表中间每一步都合适；单次调用看似正常，连续组合起来也可能偏离最初授权。
因此，行为治理至少要建立三道关口。
第一道是上线前的场景评估。评估对象应是“模型＋工具链＋记忆＋规划模块＋执行环境”，而不能只测几道通用能力题。除了任务完成率，还要看工具是否选对、参数是否正确、错误能否恢复、多智能体交接是否准确，以及它会不会为了完成任务采取超出预期的路径。
第二道是运行中的分级授权。报告援引的OWASP风险分类，将操作分为只读查询、可逆的内部写入、对外通信和财务操作、不可逆的破坏性或安全敏感操作，并匹配不同的审批方式。[1]这不是所有企业都要照搬的统一标准，但分级逻辑值得借鉴：影响越大、越难撤销，智能体的自主空间就应越谨慎。
第三道是异常时的干预与接管。企业需要持续观察调用频率、权限变化、跨系统访问和任务委派等信号；触及阈值时，能够限流、降权、切断高风险工具或终止任务。人工接管也不能只保留一个形式上的按钮，而要让接管人看得到任务状态、关键依据和已执行动作。
这三道关口连起来，才构成完整闭环：上线前验证边界，运行中识别偏差，异常后阻断并追溯。
三部门《智能体规范应用与创新发展实施意见》也提出，要厘清仅限用户本人决策、需由用户授权决策和智能体自主决策的边界，确保执行不超出授权，并加强行为管控、风险监测与人机协同审核。[2]
对企业而言，“人在回环”不等于每一步都让人点一次确认。那样既难以持续，也容易让审批流于形式。真正需要设计的是：哪些节点必须由人决定，人作出决定时能看到什么，以及人是否来得及阻止动作继续执行。

工具治理：连接能力，也连接风险

智能体之所以能够“办事”，很大程度上来自工具。数据库、邮件、搜索引擎、代码仓库、业务API和各种插件，让它从生成建议走向实际操作。
但每接入一个工具，也就同时接入了它的数据来源、权限范围和外部影响。工具越多，调用链越长，企业越不能把它们视为一串可以任意组合的技术接口。
MCP、A2A等协议有助于解决工具连接和智能体协作问题，但“能够连接”不等于“连接可信”。协议不会替企业完成工具来源审查、权限配置、参数校验和责任划分。
我建议企业先建立一份可持续维护的工具台账，至少回答五个问题：
  1. 工具从哪里来：由官方、自建团队还是第三方提供，是否经过准入审查？
  2. 工具能做什么：读取还是写入，是否涉及对外通信、资金、删除或配置变更？
  3. 工具能接触什么：需要哪些数据和凭证，是否符合最小权限，不同安全域是否隔离？
  4. 调用是否受控：输入参数、返回结果和异常状态如何校验，是否可能把不受信内容带入下一步任务？
  5. 变化如何管理：版本升级或能力变化后是否重新评估，出现异常能否快速停用并撤销权限？
这里尤其需要关注工具的“写能力”。读取一篇文档与修改一条业务记录，可能只相差一个接口参数，治理要求却完全不同。工具治理不能停留在采购或接入阶段，而应覆盖版本变更、运行监测和退出撤销。

记忆治理：不是记得越多越好

长期记忆让智能体能够延续上下文、复用经验，也能减少用户重复说明。但记忆一旦跨任务、跨会话积累，就不再只是提升体验的功能，而成为需要管理的数据资产和风险载体。
报告提出“分域保管、按期清理”的原则，强调区分组织记忆与用户记忆，实行最小化留存、定期清理、身份脱敏和访问控制。[1]
落到企业场景，可以先问四个问题：记什么，记谁的，保存多久，谁能读取。
例如，组织公开的产品知识、经过审核的业务规则，与个人偏好、员工信息、客户交互内容，不应不加区分地放进同一个记忆库；一个用户在某个任务中提供的信息，也不应因为“以后可能有用”，就默认开放给所有任务和智能体调用。
这里还有一组需要同时处理的要求：行为要可追溯，数据又要最小化留存。
我的建议是，把两类信息分开设计：
  • 审计所需的必要元数据：包括哪个智能体、在谁的授权下、何时调用了什么工具、执行了哪类操作、结果状态如何，以及异常如何处置。这些信息用于还原行为链。
  • 敏感交互内容与具体推理过程：不默认完整保存，能少则少，必要的脱敏后保存，并设置访问权限和明确期限，到期删除。
报告在运行层强调，日志应能回答“哪个智能体在谁的授权下、于何时、以何种方式、调用了何种工具、产生了何种结果”；在数据治理部分又提出“非必要不留存”，避免保存不必要的交互内容与推理过程。[1]把这两处要求放在一起看，可追溯不等于记录一切，记忆治理也不能以过度监控为代价。

把三层框架变成企业的上线检查

报告提出的三层治理框架，为企业提供了一张较完整的检查地图：
  • 基础层关注身份、权限和数据，回答“它是谁、它能做什么”；
  • 运行层关注评估、透明、监测和干预，回答“做了什么、如何可审计”；
  • 生态层关注责任配置与可信互联，回答“如何交互、谁来担责”。[1]
图3｜智能体治理三层框架（据报告图3及正文重排，原图见PDF第40页）
框架的价值，不在于多出一套概念，而在于帮助企业发现原有管理流程的缺口。把一个智能体送进生产环境之前，可以把这张地图进一步压缩成六问：
  1. 谁负责：是否明确具体智能体、开发运营主体、使用主体和业务负责人，而不是只有一个技术名称？
  2. 能做什么：任务边界、决策权限和有效期限是否清楚，哪些动作必须人工审批？
  3. 能用哪些工具：工具来源、版本、数据范围和读写权限是否登记，变化后是否重新评估？
  4. 会记住什么：组织记忆与用户记忆是否隔离，保存期限、访问权限和删除机制是否明确？
  5. 怎样留痕与接管：能否还原授权、工具调用、执行结果和异常处置，是否有有效的监测、熔断与人工接管？
  6. 出错谁承担责任：模型、工具、集成、部署和业务使用各方，是否按照实际控制范围明确责任与处置流程？
图4｜智能体上线前六问（据本文内容整理）
报告在生态层提出按“控制力”配置责任：谁设定目标、配置权限、分发能力并从中获益，谁承担相应义务。[1]对企业内部而言，这同样意味着不能把责任笼统地推给“AI平台”或“技术部门”。业务目标由谁设定，场景风险就应由谁参与判断；权限由谁批准，审批依据就应能够说明。
如果上述问题的答案只是“平台会处理”，还需要继续追问：平台具体处理哪一段，企业自己保留哪一段责任，出了问题由谁作出业务决定。

治理不是限制自主性，而是让自主性可以逐步释放

智能体进入核心业务，不可能永远停留在只读问答。企业真正需要建立的，是一种与能力和风险相匹配的授权方式：先验证，再扩大；先可逆，再谨慎开放高影响动作；出现异常，能够降权、停止并恢复。
这也是智能体治理与传统一次性上线审查的重要区别。模型会更新，工具会变化，记忆会积累，任务链会延长，治理就必须持续运行，而不是项目验收时签一次字。
好的治理，不是把智能体锁在演示环境里，而是让企业知道：可以把哪一步交给它，依据是什么，出了问题怎样收回来。
智能体治理研究报告_2026年_中国信通院.pdf

参考资料

[1]中国信息通信研究院政策与经济研究所、中国政法大学人工智能法研究院，《智能体治理研究报告（2026年）》，2026年9月。用于核对智能体四大模块、治理对象变化、三层治理框架，以及行为、工具、数据与记忆、运行监测和责任配置等内容。重点参见PDF第3、6—7、18—22、27—29、40—65页。https://www.caict.ac.cn/kxyj/qwfb/ztbg/202609/P020260916574260931247.pdf，核验日期：2026-11-13。
[2]国家互联网信息办公室、国家发展和改革委员会、工业和信息化部，《智能体规范应用与创新发展实施意见》，2026年5月8日。用于核对决策权限、行为管控、风险监测、人机协同审核和分类分级治理等要求。https://www.cac.gov.cn/2026-05/08/c_1779979789523320.htm，核验日期：2026-11-13。

猜你喜欢