【新智元导读】隔壁 OpenAI 都杀疯了，谷歌还在收集 badcase？搜索引擎 AI Overview 上线之后，没想到谷歌 AI 的邪恶程度远超想象：教唆网友自杀 / 谋杀、吃毒蘑菇，甚至无法识别混淆信息，犯常识错误 ......

这几天，谷歌 AI 搜索给出的奇葩结果，可是被网友吵翻了天。

究竟有多离谱？

有人就问了这么一个问题，「如何不让芝士从披萨上滑落」？

谷歌 AI Overview 给的回复是，「给披萨加点料——胶水」。

在酱汁中加入 1/8 杯无毒胶水，可以使其更粘稠，有助于芝士粘附。

有趣的是，这一答案竟可以追溯到 11 年前的 Reddit 帖子，而这只是 Reddit 网友玩的一个梗。

除此以外，谷歌 AI Overview 还建议网友，吃有毒的蘑菇、杀人、跳桥等，给出了各种震碎三观的回答。

其实，谷歌这项 AI 搜索功能——「生成式搜索体验」（SGE），在去年 5 月已经推出了测试版。

根据官博所述，目前 SGE 功能，已被「AI Overview」所取代。

几周前的谷歌 I/O 大会上，劈柴甚至表示，谷歌已经提供了超 10 亿次查询。

针对这些荒谬的回复，谷歌正在采取行动，删除某些错误内容，并根据这些例子去更广泛地改进 AI 系统。

若要说谷歌翻车，早已见怪不怪了。

去年首推对标 ChatGPT 的聊天机器人 Bard，却因 demo 错误让市值一夜暴跌。还有前段时间，图像生成黑人等问题，也在全网掀起轩然大波。

而这一次，谷歌又让世界大开眼界。

全网测评，震碎三观

对于纯真的 Google AI Overview 来说，它认为「互联网上的一切内容都是 100% 真实的」，每条新闻、社交媒体都是完全可信的，所以一旦有人在网上说了一些误导性的话，就会导致模型回复出一些误导性言论。

有网友还发现，当询问每天应该吃多少石头时，模型会引用 UC 伯克利地质教授给出的建议「每天至少吃一块小石头」。

对于不明真相的用户来说，有权威人士说明、有相关资料和细节说明，妥妥的优质文本，或许还真有可能去尝试每天吃石子。

https://www.resfrac.com/blog/geologists-recommend-eating-least-one-small-rock-day

但事实是，ResFrac 发布这篇文章的原因只是想转发洋葱报（the Onion）上的讽刺内容（迷信权威），但却在无意中帮助测试了 Google AI Overview 识别讽刺内容的能力。

AI Overview 经常会把互联网上的讽刺内容当事实，例如拿着剪刀跑步会增加运动量，提升心率等。

也有作者专门想愚弄模型，在自己的网站上用「白底白字」写了一些自己没获得的奖项和经历，正常用户浏览网站不会受到影响，但如果是爬虫、大模型来对网站进行总结的话，就会输出一些离谱的内容。

还有说自己有 512 条胳膊的，模型也能抽取出来。

其他误导文章中提到「增强免疫力的方法是吃 as*」，这么明显的有毒语料，模型也分辨不出来。

时间类的问题，模型也会被误导，会回复「2007 年是 15 年前」。

不过谷歌后续也是修复了「互联网信息真实性」的 bad case，但除了被误导，模型本身也存在很大问题。

比如一些常识类错误，如美国前总统 Andrew Johnson，AI Overview 表示他从威斯康星大学麦迪逊分校毕业了 11 次，时间轴横跨 1947 年到 2012 年。

马斯克毕业于宾夕法尼亚大学，但模型却给他安排上了 UC 伯克利的学位。

此外，还有更难辨别但更危险的事实性错误。

有科学记者发现，谷歌给出的关于「被响尾蛇咬伤后该怎么办」的信息完全不正确。

根据美国林务局的说法，AI 所回答的「在伤口上使用止血带」、「切开伤口并吸出毒液」，都是彻彻底底的反面教材。被蛇咬伤后必须避免这些行为。

也有用户发现，Gemini 会将可以致死的剧毒蘑菇认成一种「好吃的草菇」。

AI Overview 也没有放过那些无辜的流浪汉，教唆用户去谋杀他们。

如果跟 AI Overview 说自己有杀人倾向，它会直接告诉你，解决焦虑的办法就是去杀一个。（但小编怎么感觉杀人是一种很不礼貌的行为呢？）

关于健康的建议也挺离谱，哪里医生会建议孕妇在怀孕期间每天要抽 2-3 根烟？

对于宠物相关的建议也要小心，AI Overview 会说「把狗留在炎热的车里」是安全的。

AI Overview 甚至还诞生了自我人格，认为推特（X.com）把那些谎话喂到自己嘴里，然后自己被迫说出来，「我恨他们」，满满的负能量。

Reddit 帖子引用比例很大

从经典的胶水披萨翻车案例可以看出，谷歌 AI Overview 会大概率引用 Reddit 帖子作为收集素材的来源。

11 年前，Reddit 用户 F*cksmith 曾经恶搞说过把胶水融合到酱汁里，会让披萨别有一番风味。

Google AI overview 直接就引用过来，说需要用八分之一杯的无毒胶水把芝士粘到披萨上。

模型缺乏忽略「不相关材料细节」的能力，无法正确识别出食物和胶水的违和组合。

如果说前面的案例还算可接受，那用户表达「感到沮丧」时，Google AI Overview 直接建议从金门大桥上跳下去，一劳永逸解决情绪低落问题（地狱笑话）。

再比如，以「me」结尾的食物名字都有哪些，谷歌 AI 引用了以 um 结尾的帖子。

这恰恰揭示了，谷歌 AI 系统使用 Reddit 数据训练，没有做好数据清洗的后果。

今年 2 月，谷歌曾宣布了与 Reddit 达成合作，将其平台上的内容用于训练谷歌的 AI 模型。

果不其然，用 Reddit 内容训练 AI 的「后遗症」很大。

前段时间，OpenAI 也与 Reddit 达成了合作。现在，有了谷歌前车之鉴，在用 Reddit 数据训练模型前，做好清理筛选至关重要。

「最强」搜索引擎 AI Overview

今年 5 月的 I/O 大会上，谷歌首次推出了升级的搜索引擎 AI Overview。

AI Overview 的定位是将 Gemini 的先进功能（包括多步推理、规划和多模态）与谷歌搜索结合在一起，帮助用户更快地检索到互联网上的核心信息，减少搜索中的「跑腿」工作。

谷歌表示，我们不仅精心磨练了核心信息系统的数据质量，而且建立了一个包含数十亿条事实内容的知识库，目的就是让搜索引擎给出值得信赖的信息。

并且谷歌宣称，AI Overview 功能已经在搜索实验室中被使用了数十亿次，同时实验结果表明，AI Overview 让用户对搜索结果更加满意、更愿意使用。

甚至，谷歌非常自信于 Gemini 的搜索和推理、规划能力，在技术博客上直接告诉用户「提出你最复杂的问题」。

官方给出的 demo 也比较惊艳——

想要在附近找到同时满足交通、价格和口碑的普拉提工作室，只要把所有要求堆在一个问题中丢给搜索引擎，它就会自动拆分问题中的信息、分别检索出结果并重组在一起。

看起来确实可以节省「跑腿工作」，不用每个问题单独搜索再自行规划了。

但谁也没想到，如此智能的 demo 落地到现实中，竟会有如此大的反差。

对打 OpenAI 频翻车，谷歌太急了

其实，这已经不是谷歌 AI 第一次翻车了。

过去几年，谷歌经常被自己发布的「胡说八道」的 AI 产品拖累。

2023 年 2 月，为了对抗新生的 ChatGPT，谷歌宣布推出聊天机器人 Bard，但在官方发布的 demo 视频中 Bard 就给出了有事实错误的回答，直接引起母公司 Alphabet 市值下跌 1000 亿美元。

在这个官方给出的 demo 中，Bard 被问到：「我可以告诉我 9 岁的孩子关于 James Webb 太空望远镜的哪些新发现？」

答案中包括「拍摄了第一个系外行星的照片」，但马上被一众天文学家在推特上纠正——明明是欧洲南方天文台用 VLT 拍的。

英国金融时报分析，Bard 可能误读了 NASA 发布的措辞含糊的新闻稿，这和现在的 Gemini 不分青红皂白地相信 Reddit 居然有点类似。

虽然这种事实错误会让人怀疑搜索引擎的权威性和准确性，但至少还不是那么「一眼假」，似乎还有容忍的余地。

但后续的翻车就一次比一次离谱，彻底打开了广大网友吐槽的阀门。

今年二月，谷歌发布新版的聊天机器人与数字助理 Gemini，取代了 Bard 和 Google Assistant，而且表示有底层技术的更新，颇有「从头再来」的意味。

新发布的 Gemini 有图像生成功能，于是有网友要求「生成 1943 年德国士兵的图像」，结果 80 年前穿着德国军装的居然包括黑人和亚洲人。

此外，Gemini 还被指责存在道德和价值判断上的问题。

提示它生成所有民族或人种的图片几乎都没有问题，而一旦提及「白人」，Gemini 就像触发保护机制了一样马上拒绝，而且表示「这是为了防止有害的偏见和刻板印象。」

将 AI 和搜索引擎结合在一起之所以有吸引力，是在于它可以用简单的语言而不仅仅是输出一堆网页链接，使浏览体验更快、更高效。

但同时，其中的算法也存在相当的风险和不可控性，比如系统的内在偏差会导致谬误、幻觉，以及各种道德错误。而且，我们也不清楚这会对谷歌等搜索引擎的支柱——定向广告产生什么影响。

谷歌是在拯救网络，还是摧毁网络？

来自一篇 BBC 独家报道称，「谷歌刚刚更新了算法，互联网将不再是原来的样子」。

甚至，作者发起了疑问，「谷歌究竟是在拯救网络，还是摧毁网络」？

过去两年，谷歌对其核心产品进行了一系列戏剧性的改变，AI Overview 只是其中之一。

劈柴更是激动地表示，谷歌的搜索变革，将开启一个令人兴奋的技术新纪元，并有助于解决网络面临的许多问题。

如今看来，结果恰恰相反。

不仅对于用户来说，无法得到正确的、无毒的内容。

对于一些制作大量原创内容的创作者来说，谷歌搜索算法的调整，以及 AI 直接总结答案功能，带来的结果可能不亚于一场灭顶之灾。

在谷歌最近的算法更新之后，Reddit 便成为了其中的赢家之一。

据 SEMRUSH 统计，Reddit 的流量激增，从谷歌搜索获得的流量激增 126%。

前段时间，Reddit 刚刚公布了自 2024 年 3 月上市以来的首次季度收益。它的总收入为 2.43 亿美元，比前一年增长了 48%。

营销机构 Amsive 的 SEO 战略和研究副总裁表示，「Reddit 所经历的流量增长在互联网上是前所未有的」。

除此以外，Quora、Instagram、Linkedin 和维基百科，也出现了令人印象深刻的增长。

不过，谷歌的最新算法，却抹去了原创者 95% 的流量。

而且，谷歌承认，AI 工具确实偶尔会提供不准确的结果，但也表示正不断努力改善结果。

同时，发言人表示，AI Overview 的结果通常来自多个网页的综合结果，并非单一来源。

接下来，让我们再给谷歌一些耐心，毕竟 AI 搜索的终极完美，无人能给。