您现在的位置是:首页 > 特别推荐 >

大模型幻觉比例下降50%!360大模型安全方案幻觉检测架构实现技术突破

2024-08-02 22:41:25作者:来源:信息主管网

摘要8月1日,由360集团AI安全实验室、中国科大网络空间安全学院主办的人工智能安全趋势发展论坛在京顺利召开。三六零(601360 SH,下称“360”)集团提出了系统化的大模型安全解决方案,围绕“安全、向善、可信、可控”安全四原则搭建系统化工具,通过技术革新,实现大模型风控效率提升100倍,幻觉比例下降50%,为全球大模型安全赋能。...

8月1日,由360集团AI安全实验室、中国科大网络空间安全学院主办的人工智能安全趋势发展论坛在京顺利召开。三六零(601360.SH,下称“360”)集团提出了系统化的大模型安全解决方案,围绕“安全、向善、可信、可控”安全四原则搭建系统化工具,通过技术革新,实现大模型风控效率提升100倍,幻觉比例下降50%,为全球大模型安全赋能。与此同时,基于本届论坛搭建产、学、研对话平台,集聚行业之力形成大模型安全风险和威胁应对策略,推动构建安全、可靠的人工智能生态。
随着人工智能技术的广泛应用,安全问题也日益凸显,成为当下不可忽视的重要议题。360集团智脑总裁张向征在致辞提到,大模型已成为数智化系统的关键基础设施,其潜在的主体地位和应用广度,也带来了新的安全风险和安全挑战。为此,360也号召学术界和产业界在政府机构的指导下紧密合作,共同推动人工智能安全技术的创新与发展。

作为数字安全领军企业,360确立了安全和AI发展双主线,躬身入局攻克大模型世界级安全难题,应对大模型在落地应用过程中遇到的四大安全风险——模型环境漏洞、生成恶意内容、生成错误信息以及Agent流程失控,提出“安全、向善、可信、可控”四原则,构建系统化的大模型安全解决方案。

360集团AI安全实验室主任邹权臣在分享中提到,该方案包含国内首个支持系统化安全检测、提示注入风险检测的人工智能系统安全检测平台“AISE”,能够对大模型乃至全生态链安全进行检测,确保大模型训练工具与部署环境安全;智脑风控引擎实现了内容加固和风险过滤,同时引入自动化攻防工具,大幅提升风控效率;此外,基于幻觉检测Agent优化模型可信度,测试显示大模型幻觉比例下降50%以上;通过AI Agent可控框架对大模型的场景进行统一编排调用,设置安全措施确保大模型的“手”和“脚”可控,保证人在决策链路,从而有效避免Agent流程失控问题。

此外,针对安全行业存在的诸多痛点,360运用全新技术路线构筑“看见—处置”安全大模型。360数字安全集团网络安全资深专家杨波表示,360安全大模型将应用于解决安全行业“产品协同困难、安全能力不足、运营效率低下、安全专家缺乏”等痛点。值得关注的是,该模型创新性打造类脑框架,五大中枢可以类比人类大脑实现专家级安全能力,为企业打造7*24小时高级安全专家团队。

安全作为发展的基石和底线,与人工智能的融合将成为驱动大模型应用和产业发展的重要驱动力。未来,360将通过技术创新和生态合作,推动人工智能技术与数字安全融合发展,为构建安全、可靠的人工智能生态贡献力量。

(本文不涉密)
责任编辑:路沙

站点信息

  • 运营主体:中国信息化周报
  • 商务合作:赵瑞华 010-88559646
  • 微信公众号:扫描二维码,关注我们