观安信息李雪鹏:ASMM标准牵引,构建大模型治理围栏

作者:孙天 责任编辑:孙天 2026.09.24 14:59 来源:通信世界网

通信世界网消息(CWW)当前,大模型、智能体技术加速向企业生产、办公等业务场景渗透落地,AI应用不再局限简单对话交互,广泛对接知识库、业务工具。随之而来,知识库投毒、间接提示词注入、智能体越权调用等新型安全风险持续涌现。在此背景下,依托人工智能安全能力成熟度来推进大模型应用治理,已经成为人工智能产业安全、健康发展的现实需要。

9月21日,由北京市通信与互联网协会主办、工信智媒体中心协办的2026(第二十三届)北京互联网大会在京举办。观安信息人工智能产品部总经理李雪鹏在“安全护航与数字治理论坛”上以《ASMM视角下大模型应用运行时治理》为题发表演讲,他表示,随着智能体、大模型深度落地业务场景,风险不再局限于输入、输出层面,沿着调用链产生的知识库投毒、越权工具调用等新型风险凸显。依托国家标准征求意见稿《网络安全技术 人工智能安全能力成熟度评估方法》,行业需要建立面向全链路的运行时治理体系,通过“大模型围栏”实现模型调用、API通道与应用运营的安全管控,为大模型业务落地划定安全边界。

image.png

对标ASMM成熟度标准,锚定运行时治理核心域

当前国内AI治理加速推进,9月中央网信办组织开展“清朗·整治A应用乱象”专项行动第二阶段工作,聚焦利用A制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等突出问题。根据中央网信办公布的数据,截至目前,累计清理违法违规信息561万余条,查处账号4.9万余个,处置违规网站、应用程序等2400余个。

现阶段,多项人工智能相关国家标准正在加速编制中。李雪鹏介绍,观安信息参与编制的《网络安全技术 人工智能安全能力成熟度评估方法》目前处于征求意见阶段,意见征集截止至10月25日。该标准从组织管理、技术领域安全能力维度,覆盖数据安全、模型安全、应用安全全生命周期,划分从非正式执行到持续优化共5个成熟度等级,为企业AI安全建设提供统一标尺。

“过去行业更多关注大模型输入输出内容审核,智能体兴起之后,风险传导链条被进一步拉长。”李雪鹏谈到,大模型业务链路包含用户上传资料、RAG知识库检索、模型上下文整合、外部工具调用、结果输出多个环节,提示词注入、知识库投毒、敏感数据泄露、越权调用、多模态对抗等风险会沿着任务链路层层传递,只管控单一节点,无法保障整体应用安全。

对应标准中的PA30、PA36、PA37重点过程域,运行时治理重点聚焦API与通道安全管控、动态内容治理、安全运营与应急干预方向,完成接口校验、内容检测,更要补齐上下文、权限等断点,以及打通身份授权、业务执行、审计留痕之间的衔接,虽然触发安全系统告警,但存在高危业务行为仍继续执行,各组件日志无法串联还原完整任务”的现实痛点。

image.png

打造大模型安全围栏,实现全链路风险拦截

针对链路风险,观安信息提出“大模型围栏定位”方案,设置五大关键控制点:应用入口、RAG知识库链路、模型通道、工具调用、输出交付前审核,形成完整运行时治理参考架构。

李雪鹏在演讲中强调,在身份与调用管控层面,需要将原始主体、代理关系和资源边界随调用传递,避免模型切换或跨服务调用放大权限;针对提示词攻击,需建立分层检测处置机制,结合调用主体、多轮上下文语义做研判,区分放行、人工复核、阻断等处置动作。RAG知识库是当前极易被忽视的风险点,不少企业知识库由模型自动摘要生成,存在内容被投毒隐患,需要在检索前完成权限过滤,召回后对片段开展风险检查,组装上下文时隔离知识片段与系统指令。

与此同时,敏感数据防护需要同时核验内容敏感度、访问主体、数据去向;多模态场景要警惕图片、音视频载体中隐藏的恶意指令;智能体工具调用必须增设执行门禁,模型输出调用意图之后,独立核验参数合规性与操作权限,高风险动作执行前需要人工确认。输出交付环节,除风险内容拦截外,还要落实AI生成内容标识,核验事实引用依据。

image.png

 分阶段建设,实现可识别可控制可追溯

大模型运行时安全建设不是一次性项目,需要循序渐进持续迭代。李雪鹏介绍,参考ASMM成熟度等级,企业落地可以分为三个阶段:第一阶段梳理应用、模型、知识库与工具识别场景风险和适用PA;第二阶段补齐关键接入点和权限传递建立策略、应急与人工复核、完成风险场景验证;第三阶段建立指标和运行基线跟踪事件、业务与版本变更,开展复测、演练与策略优化。

防护效果评估不能只看攻击拦截率,还要兼顾业务可用度、系统运行开销,对正常样本、边界样本、攻击样本分开评测。李雪鹏总结,大模型运行时治理最终要实现四大目标:可识别,识别风险来源;可控制,在关键节点落实处置;可追溯,形成可验证的运行证据;可演进,持续验证与改进。


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容