英媒:谷歌微软防范黑客发动“间接提示注入攻击”
据英国《金融时报》网站11月2日报道,全球顶尖人工智能(AI)机构正加大力度克服大语言模型中一个可能被网络犯罪分子利用的严重安全缺陷。
谷歌深层思维公司、Anthropic公司、开放人工智能研究中心和微软公司等机构均在努力防范所谓的间接提示注入攻击。在这类攻击中,第三方会将指令隐藏在网站或电子邮件中,诱使AI模型泄露机密数据等未授权信息。
AI初创企业Anthropic公司威胁情报团队负责人雅各布·克莱因说:“网络攻击者正在攻击链条的每个环节使用AI。”
AI机构正采用多种方式(包括聘请外部测试人员和使用AI驱动的工具)检测并减少其强大技术被恶意使用的情况。但专家警告,该行业尚未解决如何阻止间接提示注入攻击的问题。
部分原因在于,大语言模型按照设计一定会遵循指令,目前无法区分用户的合法指令与不应信任的输入。这也是AI模型容易“越狱”的原因,用户可通过提示词让大语言模型无视其安全防护措施。
克莱因称,Anthropic公司与外部测试人员合作,以提升其“克劳德”模型对间接提示注入攻击的抵御能力。他们还配备了AI工具,用于检测这类攻击可能发生的情况。
他还说:“当我们发现恶意使用行为时,会根据可信度自动触发某些干预措施,或将其提交给人工审核。”
谷歌深层思维公司的内部研究人员会以真实方式持续攻击该公司“双子座”AI模型,以发现潜在的安全漏洞。
今年5月,英国国家网络安全中心警告,这种缺陷造成的威胁正不断增加,可能使数百万使用大语言模型和聊天机器人的企业及个人面临复杂的钓鱼攻击和诈骗风险。
大语言模型还存在另一个重大缺陷:外部人员可以创建后门,在用于AI训练的数据中植入恶意内容,从而导致模型出现异常行为。
Anthropic公司、英国人工智能安全研究所和艾伦·图灵研究所上个月发表的新研究显示,这类所谓的“数据投毒攻击”实施难度低于科学家此前的看法。
尽管这些缺陷构成重大风险,但专家认为,AI也在帮助企业提升抵御网络攻击的能力。
微软公司副总裁兼副首席信息安全官安·约翰逊说,多年来,攻击者一直占据微弱优势,因为他们只需找到一处弱点,而防御者必须全方位防护。
她说:“防御系统正在更快地学习、更快地适应,并从被动转向主动。”
在各机构竞相克服AI模型缺陷的背后,网络安全已成为那些寻求将AI工具应用于业务的企业最关注的问题之一。
研究网络攻击的专家表示,近年来AI的发展推动了价值数十亿美元的网络犯罪行业。它为业余黑客提供了廉价的有害软件编写工具,也帮助职业犯罪分子更好地实现操作自动化和规模化。
网络安全公司ESET公司全球网络安全顾问杰克·摩尔说:“大语言模型能让黑客快速生成尚未被检测到的新恶意代码,这增加了防御难度。”
麻省理工学院研究人员近期的一项研究发现,在他们调查的勒索软件攻击中,80%使用了AI。
2024年,与AI技术相关的钓鱼诈骗和深度伪造欺诈案件增长了60%。
黑客还利用AI工具在网上收集受害者信息。大语言模型能高效地在网络上搜索个人公共账户中的个人数据、图像,甚至找到某人的语音片段。
网络专家表示,企业需要在监控新威胁方面保持警惕,并考虑限制有权访问敏感数据集和易受攻击的AI工具的人员数量。(编译/卿松竹)


