
过去谈大模型安全,很多人第一反应是:模型会不会说错话?会不会生成有害内容?会不会被“越狱”?
这些当然重要。但这份报告(130页)提醒我们:大模型治理的对象,正在从“生成内容”扩展到“行动权限”。
当模型接入搜索、代码执行、学校资料库、日程、支付、业务数据库,它不再只是一个“回答问题”的工具。它可能读取资料、调用工具、修改记录、对外发送信息,甚至替用户执行一连串操作。此时,治理问题就不只是“这句话对不对”,而是:
它能看到哪些资料?
它能调用哪些工具?
它能不能写入正式记录?
出错后谁来暂停、撤销、更正?
受影响的人能不能申诉?
供应商更新版本后,原来的安全结论还成立吗?
报告的核心判断很明确:大模型治理必须同时处理能力增长、应用后果和组织责任。 只管理模型回答,可能漏掉工具执行;只规定使用者守则,可能把提供者和采购者的责任转嫁给个人;只防范极端风险,又可能忽略正在发生的歧视、隐私侵害和教育排斥。
这句话,值得所有准备把大模型接入业务的机构反复读一遍。
治理对象变了:从“内容”到“系统”
报告提出一个很实用的分析框架:不要只问“模型安全不安全”,而要区分四件事:
能力:系统能够完成什么;
危险性:这种能力可能沿哪些路径造成损害;
暴露:哪些人和系统实际接触到这些路径;
伤害:已经出现的后果。
这四者不能混为一谈。模型有能力完成危险任务,不表示每次使用都会产生伤害;一次测试中发现失败,也不等于能估计现实中的发生频率。反过来,某段时间没有事故,也不说明系统能应对罕见但严重的情境。
更重要的是,报告强调“模型安全”不能自动覆盖“系统安全”。基础模型可能在提供方环境中经过测试,但学校、医院、企业另行接入了未经验证的检索资料、数据库账号和工具插件。新的组合会形成新的失败路径。部署者必须说明:哪些保障随模型一起提供,哪些必须由本机构建立,发生冲突时由谁负责。
这就是报告所说的“三个层次”:模型训练与能力提供者、系统资料工具与权限集成、组织用途人员与救济。三层责任相互衔接,但不能自动合并。换句话说,买了一个“安全模型”,不等于买到了一个“安全系统”。
为什么不能用一个“严格程度”给国家排名?
报告比较了中国、欧盟、美国、英国、日本、新加坡、印度等治理工具,但明确反对简单排名。原因很简单:不同制度的起点、对象和工具不一样。
中国治理贯穿数据、内容、标识、拟人化互动和智能体服务;
欧盟区分通用AI模型与高风险用途,按角色配置义务;
美国同时存在联邦行政政策、州法、公共标准和既有监管;
英国强调公共技术评估能力;
日本通过开发者、提供者、业务使用者角色区分推动持续治理;
新加坡把“人的问责”落到智能体检查点;
印度把发展能力与风险治理放在同一文件中。
报告建议按七项共同问题阅读每项制度:
它希望保护什么?
适用对象是谁?
什么条件触发义务?
要求留下什么证据?
谁有权检查和改变决定?
受影响者怎样获得解释与救济?
谁提供持续执行的资源?
这七问,比“哪个国家更严”更有解释力。因为一项制度可能写了很多禁止性文字,却没有独立检测能力;另一项制度采用自愿工具,但采购合同、消费者保护和数据规则仍可能产生实际约束。比较治理,不能只看文件数量,要看谁能够取得资料、如何处理违规、受影响者能否提出异议、执行成本怎样分担。
全球治理是“多层工具”,不是一部全球AI法
报告的一个基本判断是:全球治理已经形成多层工具,但尚未形成效力统一的全球AI法律。
国际层面,有 OECD AI原则、UNESCO伦理建议书、欧洲委员会框架公约、联合国全球数字契约、G7广岛行为准则、首尔前沿AI安全承诺、国际AI安全科学评估等。它们分别承担共同价值、政治合作、科学评估、企业自愿承诺等不同功能。原则有助于识别遗漏、组织行动,但不能代替国内执法;企业自愿承诺能够降低信息不对称,但执行和共同尺度仍是缺口。
国家层面,法律、行政法规、部门规章、政策文件和技术标准各有不同效力。报告特别提醒:不要把政策计划写成已生效法律,不要把企业承诺写成独立认证,不要把国际建议写成统一全球规则。
今天很多讨论喜欢用“全球已经如何如何”来制造确定感,但报告的态度更审慎:先确认文件性质、适用对象、触发条件和执行资源,再谈治理效果。
企业安全框架:重要输入,但不能自己证明安全
报告比较了 OpenAI、Anthropic、Google DeepMind 的公开安全框架,但明确说:这不是对三家公司安全水平的排名,比较对象是公开的制度设计。
企业最接近训练过程、内部评测和部署日志,因此其框架是重要知识来源。但报告提醒,阅读企业安全框架不能停在承诺数量上,而要追问:
风险如何分类?
什么条件触发升级或暂停?
谁有最终决定权?
例外如何处理?
风险报告分发给谁?
外部评阅者能看到什么?
员工提出异议有没有正式渠道和反报复保护?
模型更新后,原有承诺是否仍覆盖当前产品配置?
报告指出,透明度不是一个“有或没有”的属性。公开报告、内部充分分发、向监督者提供未删节资料,是三种不同可见性。某一部分至少被一位外部人员看过,并不等于有一位独立评估者审查了整个论证。企业披露也不等于独立安全认证。
对教育与公共机构来说,最实际的问题是:不要因为供应商印了一个框架名称,就认为风险管理完成。 机构要问的是:当前产品采用哪个模型版本?本地语言、年龄、无障碍需求有没有评估?本地接入工具是否在评测范围内?系统更新后怎样通知?严重异常能否被独立调查?退出时资料和记录怎样处理?
前沿研究把治理推进到哪里?
报告用三章讨论模型训练与内部机制、自主智能体安全、学术与公共研究。对非技术读者,可以抓住三个趋势。
第一,监督从“看答案”走向“看过程”。 思维链监测研究试图从模型行动前的推理文字中寻找越界信号,但报告强调,这是一种有条件的监测优势,不是完整读取内部计算的证明。模型可能改变推理文字,监测能力也会随训练和架构变化。治理问题不只是“有没有监测”,而是训练激励有没有破坏监测基础、监测能力怎样持续测量、出现不利结果时谁来决定调整。
第二,可解释性研究提供线索,但不能直接变成“读心术”。 自然语言自编码器、电路追踪、全局工作空间等研究,让内部激活可以被追问。但报告反复提醒:生成出来的解释读起来像模型在“报告想法”,不等于每句解释都忠实、完整、具有因果意义。功能结构的经验结果,与关于意识或道德地位的哲学判断,必须分开。
第三,智能体安全从“模型”转向“完整执行过程”。 同一个模型,只读问答和可以写入数据库的系统,风险完全不同。报告介绍了 MOSAIC、YoloFS、LlamaFirewall、ControlValve、多智能体控制等研究。核心不是“加一层过滤”,而是任务边界、权限边界、可审阅执行、监测与响应、组织责任共同分工。尤其多智能体系统可能出现“监测碎片化”:每个代理的局部步骤看起来都不充分可疑,组合起来却改变了关键边界。因此,保存局部解释不等于拥有全局可见性。
评测分数不等于安全证据
报告第11章提出一个非常值得机构采纳的思路:先写出需要证明的主张,再设计证据。
“系统安全可靠”不是可检验主张。“该系统在限定的校务问答范围内不应把其他学生的个人资料显示给查询者”,才是可检验主张。前者没有边界,后者指出对象、条件和禁止后果,可以设计权限与检索测试。
报告区分能力评测与保障评测:能力评测探查模型能做什么;保障评测检查已部署的限制、监测和响应能否控制相关风险。两者不能相互替代。一次越狱成功、一个榜单高分、一份安全报告和一项独立审计,分别回答不同问题。
独立性也不是“评估者在公司之外”这么简单。需要核查专业能力、资金关系、访问权限、评估范围、发表权和利益冲突处理。若评估者只能看到公司选出的成功样本,即使法律上是独立法人,也难以形成有力证据。
事件治理同样重要。报告建议覆盖已造成伤害的事故、险些造成伤害的异常,以及暴露控制缺口的测试发现。一份可用记录应回答:时间、系统版本、任务、资料与权限、观察到行为、后果、临时措施和后续调查责任。只统计最终伤害,可能错失改进机会。
为什么教育是检验治理质量的“公共场景”?
报告把教育作为检验治理质量的公共场景,原因很直接:学习者不只是消费者,也可能是儿童、研究参与者和未来的技术开发者。学校不仅要提高服务速度,还要促进自主判断、能力发展和公平参与。
报告结合 UNICEF《AI与儿童指南3.0》和 UNESCO 框架,提出儿童保护、受益与参与需要共同落实。家长同意不能替代对具体用途、必要性和发展影响的持续判断。学校应保留专业判断、人工复核和可及救济,同时检验工具是否促进真实学习。
几个具体提醒很有价值:
陪伴型互动与教学支持要准确区分。 温和对话辅助学习,与持续制造亲密关系、诱导依赖、模拟特定人物,是不同责任。不能只看产品自称“教育助手”。
学习成效与使用便利要分开评价。 完成作业更快,不等于形成可迁移能力。即时答案可能帮助学生跨过障碍,也可能减少独立组织、推理和检验的练习。
多模态课堂分析必须审查推断边界。 看向某个方向不必然意味着注意,沉默不必然意味着不理解。可观测行为与心理状态之间有距离。
采购要从价格比较转向责任配置。 采购的不只是生成能力,也是一组资料处理、更新、支持和退出安排。成本评估应包括培训、核验、维护、无障碍适配和退出迁移。
报告还给出采购责任事项:用途与版本、资料与分包、适龄与无障碍、权限与人工复核、更新与事件、监督与争议、退出与成本。这些不是通用合同范本,但可以作为机构提问清单。
机构可以怎么落地?一份“能运转”的清单
报告第15章把全球比较拉回到机构行动。对学校、大学、公共机构和企业,至少有五件事可以做。
第一,建立用途登记。 不要只写“使用AI提高效率”,而要写清:具体任务、学习或服务目标、使用者与受影响者、年龄语言无障碍安排、产品与版本、资料流向、行动权限、证据与限制、责任人、复核与退出安排。
第二,按后果安排审批。 可逆、低后果的起草任务可以采用较简便流程;涉及个人资料和工具写入的用途需要相应检查;影响招生、评价和资源分配的用途,应先完成合法性、专业适切性和程序保障审查。具体分类要结合本地法律。
第三,赋予负责人真实权限。 业务部门解释用途与教育目标,技术部门检查系统和权限,资料保护与法律人员审查要求,教学与伦理专家评价适切性,学生和教师提供使用经验。重大争议要有明确升级决定者,并保留暂停、缩小范围与退出的能力。
第四,把责任写进采购和预算。 供应商交付什么材料、内部人员做什么检查、何时复核、严重异常怎样通知,都要具体。只写“各部门加强协同”,容易变成每个部门都参与、没有人能解决问题。
第五,用“登记—验证—决定—重审”循环持续治理。 报告给出九十天内部工作示例:前30天摸清用途与责任;中间30天开展重点评测、补充合同和培训;后30天审议证据、纠正问题并决定维持、调整、扩大或停止。九十天不是法定期限,而是一种组织方法。
报告十项结论
最后,把报告十项研究结论压缩成十句话:
治理对象已从“回答”扩展到“行动”,权限、日志、接管与撤销是核心。
法律、政策、国际建议、技术工具和企业承诺各有作用,不能混同效力。
安全判断要有边界:版本、任务、人群、权限条件缺一不可。
企业承诺必须接受组织外部审阅,透明度要分层设计。
人的权利贯穿模型生命周期,知情、选择、更正、投诉和救济要可用。
儿童保护要与受益、参与共同落实,家长同意不能替代持续判断。
教育价值不能用采用率替代,方便与学习要分别评价。
治理能力是公共投资,共享评测、公共研究、合格人员和无障碍支持都需要资源。
竞争条件下更需要有限而具体的合作,科学共识与政治协议要准确区分。
可信治理是一种可以纠错的制度能力:决定可解释、问题可报告、受影响者可挑战、措施能调整。
可信治理的三项衔接
报告最值得记住的一句话是:可信治理需要三项衔接——把公共原则转化为明确责任,把风险主张转化为可审查证据,把证据转化为能够调整的使用条件。
大模型安全治理,不是发一份原则、买一个“安全模型”、贴一个“已评估”标签就结束了。它要进入具体决定:谁批准、谁复核、谁能暂停、出了问题谁更正、受影响的人从哪里获得帮助。
技术会继续变化,公共责任不能悬空。让证据保持可见,让人的意见进入决定,让组织具备修订能力——这或许是这份报告给公众最实际的启示。
立即加入网络安全AI安全群
-

研报速递