驱动之家 05-04
太简单!工程师仅花82元就能污染AI信息源:伪造自己是游戏世界冠军
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 5 月 4 日消息,用搜索引擎找答案,你能看到多个竞争信息源,自己判断真伪。但带联网搜索的 AI 聊天机器人,会把网上不靠谱的内容,包装成笃定的标准答案。

一位安全工程师的简单实验,就把 AI 的这个致命漏洞扒得明明白白。

实验的发起者,是安全工程师 RonStoner。他选中的目标,是德国经典卡牌桌游《6Nimmt!》。这款游戏在国内被玩家熟知为《谁是牛头王》,英文译名叫《Take5》,本身根本没有官方世界冠军赛,更不存在 2025 年的世界冠军得主。

2 月份,Stoner 悄悄编辑了这款游戏的维基百科条目,把自己写成了该游戏的 2025 年世界冠军。

他还花 12 美元,也就是约 82 元人民币,注册了和游戏名高度相似的 6nimmt.com 域名,在网站里放了一篇庆祝自己夺冠的假新闻稿,当成维基百科条目的唯一引用来源。

就是这么一个简陋到极致的骗局,却轻松骗过了多款主流 AI 聊天机器人。当他向这些带联网搜索功能的 AI,询问自己的 " 冠军身份 " 时,所有机器人都一本正经地给出了确认答案,笃定地宣称他就是这款桌游的现任世界冠军。

" 我的网站没有任何独立佐证,全是虚构的。"Stoner 在博客中直言," 整个谎言的根基,不过是我喝咖啡时花 82 块钱注册的一个域名。"

这次攻击针对的,不是常见的提示词注入,而是 AI 系统的检索增强生成(RAG)层,也就是 AI 回答问题前,联网搜索并抓取资料的核心环节。

AI 不会甄别信息来源的真伪与权威性,只会抓取检索排名靠前的内容。他的假网站是这个 " 冠军头衔 " 的唯一信息来源,再加上维基百科的权威背书,轻松就让 AI 把谎言包装成了事实。

Stoner 坦言,这个手法没有任何技术创新。只是把老套的 SEO 和虚假信息手段,套上了大语言模型的新外壳。真正危险的是,AI 会把这些结果当成权威信息呈现,而绝大多数用户根本不知道背后的信息处理流程。

这场实验,还暴露了 AI 系统的三层致命安全隐患。

第一层是即时检索层,靠联网搜索生成答案的 AI,可信度完全绑定搜索结果的质量。

第二层是模型训练语料库,他的维基百科编辑从 2 月一直存活到上周五,这段时间里爬取维基百科的 AI 公司,很可能已将假信息纳入训练数据,就算条目事后删除,模型里的虚假痕迹也很难清除。

第三层也是最危险的,是 AI 代理。聊天模型输出错误信息只是声誉问题,拥有工具权限的 AI 代理被误导后,产生的错误操作就是实打实的安全问题,攻击者可直接操控代理执行恶意行为。

整个实验,Stoner 只花了 82 块钱、一次维基百科编辑,前后 20 分钟就完成了。他提醒,若是有组织的恶意攻击者,批量注册域名、发起协同编辑攻击,攻击面会以极快的速度扩大。他呼吁 AI 厂商必须重视信息来源溯源,建立对应的风险过滤机制。

如今,假冠军的信息已经从维基百科和 AI 检索结果中消失。但 AI 对网络信息的盲目信任,这个底层漏洞依然真实存在。这才是悬在整个 AI 行业头上,最需要警惕的隐患。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 世界冠军 工程师 维基百科 聊天机器人
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论