蚂蚁集团连发两款开源安全模型,为大模型与智能体套上安全“紧箍咒”

2026年07月13日 15:28
本文共计2473个字,预计阅读时长9分钟。
来源/aibase 责编/MoRanShiguang 墨染时光

7月13日,蚂蚁AI安全实验室宣布对智能体安全护栏SingGuard-NSFA进行开源处理,并同步对多模态安全护栏SingGuard的详细信息开展了披露工作。两款模型分别面向自主执行的智能体以及多模态交互的大模型这两大前沿场景,从而标志着蚂蚁在AI安全领域得以进一步完善系统化布局。

随着AI从内容生成逐步迈向自主执行阶段,安全问题也正从模型输出层面扩展到行为控制、权限管理以及系统治理等多个维度。智能体开始自主调用工具、运行代码并规划任务,模型也逐渐拥有理解图像、文本等多模态信息的能力,AI系统的能力边界得以不断拓展,进而带来了新的安全挑战。

过去一年,提示词注入、权限滥用、恶意代码执行、数据泄露等安全事件持续出现。从Amazon Q提示词投毒、Microsoft Copilot数据泄露,到开源智能体OpenClaw暴露出的提示词注入风险,这些事件均表明智能体自主性越强,安全风险的放大效应就越明显。2025年12月,OWASP发布了《智能体应用安全十大风险》,系统梳理了智能体特有安全威胁;2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发了《智能体规范应用与创新发展实施意见》,首次从国家层面对智能体安全治理提出明确要求。

在这一背景之下,蚂蚁AI安全实验室此次对两款安全模型进行了开源处理,目的是为了给大模型以及智能体提供更为完善的底层安全能力。

随着智能体从回答问题逐步发展到自主办事,AI得以开始调用各类工具、执行代码并且编排多步任务,这使得安全风险已经不仅停留在内容层面,而更多地体现在行为层面。提示词注入、敏感信息窃取、恶意代码执行、资源耗尽以及权限滥用等问题,使得传统内容审核体系难以进行有效覆盖。

针对这一痛点,蚂蚁AI安全实验室推出了SingGuard-NSFA,它能够在智能体执行动作之前完成实时的安全检测,并从请求拦截以及响应兜底两个端点构建起行为安全防护体系。

SingGuard-NSFA以CIA(保密性、完整性、可用性)原则为基础,结合OWASP等国际安全指南,把智能体风险细分为7大类、28个中类以及185个具体场景,并建立了覆盖133种语言、近10万条样本的智能体安全评测体系。

在技术实现方面,SingGuard-NSFA兼顾了安全审计以及实时防护这两方面的需求。它提供了两种工作模式:其中一种模式可以逐条生成详细的风险分析报告,从而便于开展事后审查工作和合规记录;另一种模式则能够在50毫秒左右完成单次风险判定过程,适合用于线上高并发场景下的实时拦截操作。它还提供了0.8B、2B、4B以及9B四种模型规模,以满足不同部署场景的需求。

在多项公开评测中得以显示,SingGuard-NSFA于智能体输入以及输出安全检测方面均取得了领先的表现。其中,0.8B模型即可达到8B模型的性能水平,在新增风险类别之时仅需训练轻量模块,而无需重新训练整个模型,这样便能够进一步提升现有安全护栏的检测能力。

image.png

SingGuard:多模态内容安全的“全能守门员”

与智能体操作安全形成并行防线的另一个重要方面,是针对多模态交互场景所开展的内容安全防护工作。今年6月,Anthropic发布了其旗舰模型Claude Fable5,但在数日之内就被研究者运用Unicode字符以及西里尔字母来替换敏感词的方式,成功绕过了原有安全护栏——这是因为模型能够还原出原本含义,而分类器却将其视为陌生拼写形式,从而导致系统提示词被提取出来。这充分表明,如果模型越是能够理解变形文字、图片以及跨模态信息,那么传统基于关键词识别的安全护栏就会显得越发力不从心。

SingGuard正是为了实现这一目标而设计的多模态安全护栏。它以文本、图片以及跨模态内容为基础构建了统一的安全判断框架,从而可以识别出攻击者将恶意动作隐藏在文字、图片等不同模态之中的复杂攻击。同时它支持在运行时动态加载自然语言安全规则,这样就能够在无需重新训练模型的情况下完成规则更新,因此更加适用于规则持续演进、业务流量较大的生产环境。

在推理机制方面,SingGuard运用了“快慢结合”的工作模式:它首先快速完成初步判断,而只有当面对复杂场景之时才会启动进一步推理过程,从而在保障运行效率的同时有效提升了检测准确率。

在涵盖文本查询、文本回复、图像、多模态以及多语言这6大类评测的过程中,SingGuard于35个数据集及评测切分上取得的平均F1分数均为最高。其对比对象涵盖Llama Guard3、谷歌ShieldGemma、GPT-5.1、Gemini3-Pro等业内最具代表性的主流护栏,SingGuard均实现了全面领先。

image.png

中国信通院人工智能研究所安全治理部副主任呼娜英指出,随着大模型从内容生成阶段逐步迈向自主执行阶段,AI安全也正从内容审核方面延伸到行为管控以及系统治理这些维度,从而成为支撑智能体实现规模化应用的重要基础能力。蚂蚁AI安全实验室已经针对开源智能体框架OpenClaw开展了专项安全审计工作,并于今年4月联合清华大学开源智能体安全防御插件ClawAegis,为自主智能体提供了覆盖全生命周期的安全防护能力。此次SingGuard-NSFA与SingGuard多模态安全护栏相继进行开源,是蚂蚁集团持续推进AI安全技术研发和开放生态建设的重要实践。

这些安全技术的研发以及开源工作,建立在蚂蚁集团二十余年所积累的安全技术基础之上。依赖于在支付安全、数据安全、隐私保护以及风险治理等领域的长期实践经验,蚂蚁得以持续完善AI安全体系,而相关能力已经成功应用于蚂蚁阿福、AI版支付宝“阿宝”、支付宝“AI付”等业务场景。

与此同时,蚂蚁集团持续参与AI安全标准以及治理体系建设工作,积极参与IIFAA《终端智能体可信互联技术规范》的制定过程,牵头开展ITU国际标准《终端智能体可信互联技术规范》的立项工作,并发布智能体安全可信互连协议ASL,从而持续推动AI安全能力从技术创新走向产业实践。

来源:蚂蚁集团连发两款开源安全模型,为大模型与智能体套上“紧箍咒” | AIbase

声明:本文来自aibase,版权归作者所有。文章内容仅代表作者独立观点,不代表爱力方立场,转载目的在于传递更多信息。如有侵权,请联系 copyright#agent.ren。

相关图文

热门资讯