研究人员警告称，黑客利用人工智能图像中的隐藏提示

网络安全公司Trail of Bits披露了一种技术，可以将恶意提示嵌入到由大型语言模型（llm）处理的图像中。该方法利用人工智能平台如何压缩和缩小图像以提高效率。虽然原始文件看起来是无害的，但调整大小过程引入了可视化工件，这些工件暴露了隐藏的指令，模型将其解释为合法的用户输入。

在测试中，研究人员证明，这种被操纵的图像可以指导人工智能系统执行未经授权的操作。一个示例显示谷歌Calendar数据在用户不知情的情况下被抽吸到外部电子邮件地址。受试验影响的平台包括b谷歌的Gemini CLI、Vertex AI Studio、Android上的谷歌Assistant和Gemini的web界面。

阅读更多:Meta限制AI调情聊天，与青少年进行自我伤害的谈话

该方法建立在德国布伦瑞克工业大学早期的学术研究基础上，该研究将图像缩放确定为机器学习中的潜在攻击面。Trail of Bits扩展了这项研究，创建了“Anamorpher”，这是一个使用最近邻、双线性和双三次重采样等插值技术生成恶意图像的开源工具。

从用户的角度来看，上传这样的图像没有任何异常。然而，在幕后，人工智能系统在正常提示的同时执行隐藏命令，引发了对数据安全和身份盗窃的严重担忧。由于多模式模型通常与日历、消息传递和工作流工具集成，因此风险扩展到敏感的个人和专业领域。

还读:英伟达首席执行官黄仁勋表示，人工智能的繁荣远未结束

防火墙等传统防御措施无法轻易检测到这种类型的操作。研究人员建议将分层安全、预览缩小的图像、限制输入尺寸以及对敏感操作要求明确确认相结合。

“最强大的防御是实施安全的设计模式和系统的保护措施，以限制即时注入，包括多模式攻击，”Bits Trail团队总结道。

网络安全公司Trail of Bits披露了一种技术，可以将恶意提示嵌入到由大型语言模型（llm）处理的图像中。该方法利用人工智能平台如何压缩和缩小图像以提高效率。虽然原始文件看起来是无害的，但调整大小过程引入了可视化工件，这些工件暴露了隐藏的指令，模型将其解释为合法的用户输入。

在测试中，研究人员证明，这种被操纵的图像可以指导人工智能系统执行未经授权的操作。一个示例显示谷歌Calendar数据在用户不知情的情况下被抽吸到外部地址。受试验影响的平台包括b谷歌的Gemini CLI、Vertex AI Studio、Android上的谷歌Assistant和Gemini的web界面。

阅读更多:Meta限制AI调情聊天，与青少年进行自我伤害的谈话

该方法建立在德国布伦瑞克工业大学早期的学术研究基础上，该研究将图像缩放确定为机器学习中的潜在攻击面。Trail of Bits扩展了这项研究，创建了“Anamorpher”，这是一个使用最近邻、双线性和双三次重采样等插值技术生成恶意图像的开源工具。

从用户的角度来看，上传这样的图像没有任何异常。然而，在幕后，人工智能系统在正常提示的同时执行隐藏命令，引发了对数据安全和身份盗窃的严重担忧。由于多模式模型通常与日历、消息传递和工作流工具集成，因此风险扩展到敏感的个人和专业领域。

还读:英伟达首席执行官黄仁勋表示，人工智能的繁荣远未结束

防火墙等传统防御措施无法轻易检测到这种类型的操作。研究人员建议将分层安全、预览缩小的图像、限制输入尺寸以及对敏感操作要求明确确认相结合。

“最强大的防御是实施安全的设计模式和系统的保护措施，以限制即时注入，包括多模式攻击，”Bits Trail团队总结道。