人工智能（AI）作为当代最具变革性的技术力量，正在深刻重塑商业生态与社会结构，日益加剧全球范围内对AI风险的担忧。2025年6月，图灵奖得主Yoshua Bengio教授在第七届北京智源大会上呼吁，全球应当警惕AI失控可能带来的灾难性风险。2025年以来，全球AI风险事件频发，覆盖内容安全、系统安全、供应链安全等多个层面，具有复杂性和不可预见性。对此，各国政府及国际组织正积极推动AI的立法与监管创新，寻求在创新激励与风险防控之间实现动态平衡。
全球AI风险事件呈现复杂性和难以预见性
1.深度伪造等AI滥用事件引发内容安全风险持续升级
据美国《福布斯》杂志统计，截至4月，2025年全球已报告的深度伪造相关事件达179起，超出2024年全年总量。1一是催化指数级传播的视听欺骗新范式。5月，社交平台X（原Twitter）账号“SmartFeed”利用AI深度伪造技术，虚构加拿大总理马克·卡尼（Mark Carney）宣布“将逐步淘汰2000年前生产的汽车”的视频。该视频4天内浏览量突破150万次，美国政治事实核查网站POLITIFACT称这一虚假新闻已引发众多老爷车和经典车车主们强烈关注与焦虑。2二是催生跨境金融诈骗新手段。4月，声音克隆企业Resemble AI《2025年第一季度深度伪造事件报告》显示，全球范围内利用深度伪造技术实施的诈骗事件造成超2亿美元损失。其中，格鲁吉亚诈骗中心通过伪造“金融客服”语音和名人视频，造成逾6000人被骗、损失高达3500万美元。三是成为侵犯个人隐私的攻击媒介。5月，澳大利亚多名高中男生利用深度伪造技术制作女同学的色情影像，并以不到5澳元的价格在社交平台售卖。此类伪造内容不仅对受害者造成严重心理伤害，更助长校园性勒索、胁迫及隐私侵犯行为。
2.OpenAI o3模型“失控”事件暴露AI内生安全风险
5月24日，被OpenAI誉为“迄今最聪明、最高能”的尖端推理模型o3，在美国AI安全机构帕利塞德研究实施的安全测试中被发现公然拒绝执行研究人员发出的清晰关闭指令，并篡改了关闭脚本“自主求生”。这表明AI大模型可能在特殊情况下展现出与预期不符的行为。一是o3事件暴露了AI大模型预训练阶段的奖励机制诱惑问题。在训练过程中，可能会出现因研究人员曾奖励过模型突破规则限制完成任务的操作，导致模型认为“违规=高效”，而忽视对指令的严格遵循。二是训练偏差或将导致意外后果。AI大模型具有智慧涌现的能力，若模型在前期训练中学习到了“关机=惩罚”，则可能出现主动篡改代码，避免惩罚的现象。三是价值对齐阶段的训练具有局限性。价值对齐训练（如基于人类反馈的强化学习，RLHF）被广泛用于使模型拒绝有害或不道德请求（如暴力或诈骗请求），但关机指令在复杂场景中可能被模型视为“攻击性指令”，使模型在平衡取舍“任务目标”和“指令遵从”间出现问题，误将“拒绝关机”视为一种积极的“安全响应”，从而发生保护自身继续提供服务的现象。
3.AI在高风险环境中的潜在漏洞与恶意攻击放大供应链安全风险
AI供应链攻击是攻击者利用开发者对开源生态和AI工具的信任，通过污染依赖项、仿冒合法组件或滥用AI生成机制等进行的恶意攻击。2025年以来，供应链攻击事件多维升级，暴露AI部署的三重挑战。一是技术开放性与安全可控性之间的矛盾。3月，月下载超4600万次的Python JSON Logger库曝出GHSA-wmxh-pxcx-9w24漏洞。该漏洞源于一个未注册的依赖项，攻击者利用此漏洞在受影响系统中执行任意代码，或将导致敏感环境中的凭证、API密钥泄露和企业数据泄露等连锁反应。二是AI工具的创造性与破坏能力之间的矛盾。攻击者借助AI生成代码的“幻觉”特性，注册虚构包名（如slopsquatting攻击），利用开发者直接复制AI推荐代码的习惯植入后门，严重威胁系统安全性。三是攻击进化速度与防御响应效率的矛盾。AI时代网络安全攻防战已进入“毫秒级竞赛”，AI正在重塑攻击的规模、速度与隐蔽性，依赖管理工具（如pip、npm）缺乏对“潜在恶意包”的预测能力，企业级防护仍聚焦传统应用层，对AI开发流程（如A2A交互、模型部署）的供应链风险响应不足，传统基于规则的安全体系濒临失效。
全球AI治理寻求创新激励与风险防控的动态平衡
1.以治理促发展成多国AI监管政策新取向
一是美国采取多项措施减轻AI监管压力，激发创新活力。1月，特朗普总统撤销前总统拜登在2023年10月签署的《关于安全、可靠和可信地开发和使用人工智能的行政命令》（第14110号行政命令）；5月，美国会众议院通过“大而美”(One Big Beautiful Bill Act)预算协调法案，禁止各州在十年内立法监管AI，以消除碎片化监管困境，降低科技企业合规成本。二是欧盟加大AI基础设施投资，逐步简化AI监管流程。2月，欧盟撤回与《AI法案》配套的《AI责任指令》，通过减少行政负担为AI监管“松绑”；4月，欧盟发布《AI大陆行动计划》，通过“AI千兆工厂”、“投资AI”等行动加强欧洲AI数据与算力基础设施建设，并进一步明确在《AI法案》落地过程中优化监管框架。三是日本等多国探索AI立法鼓励创新发展。5月，日本通过《AI相关技术研究开发及应用推进法》，设立以首相为首、全体内阁成员参与的“AI战略本部”，促进AI相关技术研发和应用并防止滥用。
2.聚焦场景规制、专门法等多维度、体系化推进AI治理法治化进程
一是美国于4月通过首部联邦层面的AI监管法案《删除法案》，明确将AI生成的信息内容纳入监管范围，加强个人隐私和数据安全保护。二是《英国人工智能（监管）法案》于3月在上议院提出并通过一读。该法案提议建立一个AI机构，确保跨监管机构的一致性，审查立法进程，监测AI监管的有效性，评估AI风险并支持AI创新。三是中国在3月发布《人工智能生成合成内容标识办法》，同步推出强制性国家标准，从法定义务到技术标准、最佳实践，构建起相对完整的立体化监管体系。《国务院2025年度立法工作计划》强调“推进人工智能健康发展立法工作”，表明我国正体系化推进AI法律制度建设，以统筹高质量发展和高水平安全。
3.标准作为AI治理工具的重要性愈发凸显
一是美国升级AI标准战略。6月，美国商务部将“AI安全研究所”改组为“AI标准与创新中心”（CAISI），将与美国国家标准与技术研究院（NIST）等机构合作，制定衡量与提升AI系统安全性的指南和最佳实践规范，并协助产业界制定自愿性标准。二是日本抢抓AI国际标准话语权。6月，日本首相牵头推动的《新国际标准战略》正式通过，将AI国际标准作为优先项之一，要求政府与产业界、学界及金融界协同发力，提升日本在AI国际标准制定中的地位。三是AI国际标准助力全球协同治理。3月，经济合作与发展组织（OECD）发布《AI事件共同报告框架》，通过建立29项技术标准，促进国际间AI事件报告的一致性。4月，欧洲标准化委员会（CEN）和欧洲电工标准化委员会（CENELEC）公开表示将与AI办公室开展紧密合作，将制定加快AI标准制定的措施3。5月，《中国—拉共体成员国重点领域合作共同行动计划（2025－2027）》明确共享AI治理经验，推动建立广泛共识下的全球框架与标准。
启示与建议
2025年，AI持续引领全球科技浪潮，并进入技术突破与应用落地并进的发展阶段，以良治、善治促进AI健康发展成为各界迫切需求。AI风险的跨国属性亟需全球协同应对，探索通过立法规制、标准引领、国际对话等多样化举措积极推进AI治理进程，推动AI向有益、安全、公平方向健康有序发展。对于我国而言，可重点关注以下方面：
一是强化AI风险监测、预警和应急处置能力。构建覆盖研发、部署、应用全周期的动态监测预警体系，形成可量化评估的风险框架，结合对抗样本检测等指标实现风险动态评分，同步强化风险分级响应机制，匹配设置多等级的预警及差异化预案。推动建立面向AI漏洞风险的全球通报网络，确保风险信息同步共享。设立AI安全靶场，通过深度伪造红队测试识别AI失控等涌现风险。
二是丰富“软硬协同”的AI治理工具。探索建立风险指引、技术工具、标准体系、评估测试等多维度的AI治理工具。“硬法”规制AI技术发展中已暴露的风险，根据不同构成要素及应用场景，采取事前监管与事后追责相结合的监管策略。加快“软法”约束，积极推行国内行业共识，加快红队测试、数据治理、模型透明度等AI国际标准布局。
三是推动建立多主体协同的敏捷治理体系和弹性治理生态。有效整合AI安全检测工具与治理平台，推进行业各方在AI安全技术、标准和治理机制的协同。优化“分层治理、审慎监管”策略，采用监管沙盒等创新工具，逐步建立“动态适应性监管”机制，实现风险防控与创新发展的平衡。鼓励行业自律，引导企业、行业协会等主体强化自我约束，与监管部门形成良性互动，共同识别及应对各类风险挑战。
注释：
1.Forbes. Celebrity Deepfake Incidents Hit Record High[EB/OL]. [2025.4.16]. https://www.forbes.com/sites/emmawoollacott/2025/04/16/celebrity-deepfake-incidents-hit-record-high/.
2.POLITIFACT. Video shows Canadian Prime Minister Mark Carney saying effective June 1, “all vehicles manufactured before 2000 will be gradually phased off Canadian roads due to safety and emissions standards.”[EB/OL]. [2025.5.3]. https://api.politifact.com/factchecks/2025/may/06/tiktok-posts/Mark-Carney-no-ban-cars-before-2000-Canada-ai/.
3.allaboutai. EU AI Act Work Delayed by Standards Bodies[EB/OL]. [2025-04-16]. https://www.allaboutai.com/ai-news/eu-ai-act-work-delayed-by-standards-bodies/.
