张向征：大模型安全研究与实践

380 0 0

文章摘要

随着大模型在各行业的广泛应用，其作为数智化系统的关键基础设施，带来了显著的安全风险和技术挑战。360 智脑总裁张向征在 AICon 全球人工智能开发与应用大会上，详细探讨了大模型在落地过程中面临的安全问题，并提出了相应的解决方案。大模型的安全风险不仅涉及模型本身，还包括其背后的服务框架、训练过程以及应用环节。每个环节都可能面临不同的安全威胁，如数据泄露、模型投毒、隐私泄露等。

在训练环节，数据资产的安全至关重要，包括数据泄露、数据投毒和隐私泄露等问题。模型文件资产的安全也需要关注，如模型窃取、逆向和对抗攻击。在服务环节，用户信息资产的安全同样不可忽视，涉及身份盗窃、账号泄露和数据滥用等问题。此外，模型输出内容的合规性也是一个重要考量，尤其是在涉及违规或违法场景时。

通过对大模型软件生态中的漏洞进行统计分析，发现与大模型生态链相关的漏洞数量显著上升，涉及的风险包括目录穿越、权限控制和跨站脚本攻击等。典型的案例如 ShadowRay 和 Ollama 的漏洞，展示了攻击者如何通过漏洞远程控制设备或篡改系统设置，导致敏感信息泄露或非预期结果。

针对这些安全风险，提出了多层次的解决方案。首先，在系统安全方面，需要关注模型环境中的漏洞，确保基础服务框架的安全性。其次，在内容安全方面，通过引入权威内容和安全数据增强，提高模型输出结果的可靠性和价值观的准确性。此外，还提出了针对幻觉问题的解决方案，通过引入外部知识库和优化 query 理解技术，减少模型输出中的错误信息。

大模型的安全防护体系包括安全检测、安全回复、攻击和安全评测四个关键组成部分。安全检测大模型负责识别输入内容的风险，安全回复大模型提供安全的回答方案，攻击大模型用于模拟恶意攻击，安全评测大模型则对模型的安全性进行评估。通过这些措施，能够为大模型的稳定运行和数据安全提供坚实的保障。

在未来的应用中，大模型将成为基础设施，用户的输入和输出将越来越依赖于大模型。因此，构建安全可信的大模型应用不仅是模型提供方的责任，还需要业务方、组件开发方和安全研究人员的共同努力。通过多层次的防护策略和持续的技术迭代，大模型在未来的应用中将更加安全可靠，避免业务场景中的安全风险，同时享受业务收益并规避潜在风险。