AI 如何变得更加安全？

钛媒体 App 11 月 3 日消息，华人青年科学家、OpenAI 研究副总裁（安全）翁荔（Lilian Weng）近期在 2024Bilibili 超级科学晚上发表主题为《AI 安全与 " 培养 " 之道》的演讲。这是其首次在国内发表关于 AI 技术的演讲。

翁荔表示，ChatGPT 横空出世以来，AI 技术如同搭乘了高速列车，迅速渗透并影响着人类。AI 每天都在变化，需要我们用心引导、教育，确保是更好的服务于人类，同时确保安全。而一个既安全又智能的 AI，无异于将为我们的生活带来诸多裨益。

具体来说，随着 AI 的智能化和自主化，确保其行为符合人类价值观变得重要，AI 可能因偏见而变得狭隘，或因对抗性攻击而受到质疑。因此，需要用心引导 AI，确保其服务于人类并确保安全，而 AI 安全是实现其潜在益处的基础，类似于自动驾驶技术。

从数据层面，提供多样、全面、正确的数据，可以减少 AI 的偏见，而依赖于多人标注的数据，以提高 AI 的准确性；同时，基于强化学习（RL）和基于人类反馈的强化学习（RLHF），通过奖惩机制训练 AI，类似于训练小狗；此外，使用模型自我评价和详细的行为规则来提升 AI 的输出质量。比如，在文档写作和视频音乐制作中，普通人可以通过设定背景、角色思想和关键词来引导 AI。

翁荔毕业于北京大学信息管理系，如今该系名为北京大学数字人文实验室，她是 2005 级本科生，是 " 兜乐 " 项目的骨干设计人员，毕业后赴美攻读博士学位，曾就职于 Facebook，如今是 OpenAI 华人科学家、ChatGPT 的贡献者之一。

翁荔在 2018 年加入 OpenAI，后来在 GPT-4 项目中主要参与预训练、强化学习 & 对齐、模型安全等方面的工作。她曾提出最著名的 Agent 公式—— Agent= 大模型 + 记忆 + 主动规划 + 工具使用。

翁荔在演讲中表示，人类需要教会 AI 安全基本原则和道德准则，使其成为人类的伙伴。同时，通过思维链（CoT）推理和扩展性研究来提升 AI 的可靠性和监督。

翁荔强调，AI 安全需要每个人的参与，社区可以共同影响 AI 的成长。

"AI 的安全不仅仅是研究者的责任，它需要每一个人的参与。AI 技术是一把双刃剑，它带来的便利和挑战并行，我们的参与至关重要。" 翁荔称。

以下是翁荔演讲内容，经钛媒体 AGI 编辑整理：

大家好，我是翁荔。今天我想与大家探讨一个既深刻又有趣的话题，AI 安全，以及我们如何像培养下一代一样，培育出既聪明又安全的人工智能。

继 ChatGPT 横空出世以来，AI 技术如同搭乘了高速列车，迅速渗透并影响着我们的日常。

AI 每天都在进化，需要我们用心引导与教育，以确保其更好地服务于人类，同时确保安全无虞。一个既安全又智能的 AI 无疑将为我们的生活带来诸多裨益。

试想一下，一个能洞察你生活习惯的智能家居系统，能根据你的需求自动调节室内温度和光线，或是一个时刻关注你健康状况的 AI 助手，能为你提供量身定制的健康建议。

AI 不仅能显著提升我们的生活质量，还能开辟新的就业领域，提升工作效率。

然而，这一切均建立在 AI 安全的基础之上。正如自动驾驶技术一样，它能极大的提升生活便利性，但是一旦出错，后果可能不堪设想。

随着 AI 应用日益智能化与自主化，如何确保 AI 的行为符合人类价值观，真正做到以人为本，成为了 AI 安全与对齐研究的核心议题。人类在成长过程中会不断学习进步，但也会遇到成长的烦恼。AI 同样如此，它可能会因为数据偏见而变得狭隘，也可能因为对抗性攻击而被恶意利用。

悉心教育，也就是 AI 安全和对其研究，才能使 AI 成长过程更加顺利。

让我们以健康领域的应用为例，很多疾病研究的数据往往以男性群体为主，这可能导致 AI 在处理女性的健康问题时风险评估不准确。此外数据本身也有可能存在偏见，比如有研究表明女性心脏病症状更容易被归结成焦虑等心理问题而造成诊断遗漏。因此，我们需要通过对 AI 安全和对其的研究来减少这种偏见。

AI 学习的基础是数据，数据是它的实物，要想让 AI 变得聪明可靠，我们必须确保它营养均衡，也就是提供多样、全面、正确的数据，帮助它能够正确的理解这个复杂的世界并减少偏差。

在使用人类标注的数据时，我们可以依赖于群体智慧，也就是 the wisdom of the crowd，即同一个数据点被多人标注多数票获胜，这种方法简单而有效。有意思的是，1907 年的一篇自然科学杂志中的文章，作者追踪了一场年度展览会上的一个有趣的竞有奖竞猜。展览会上人们选出一头肥牛，让大家来猜测牛的重量，最接近真实数据的人将获得大额的奖金。

作者发现，最中间值往往是最接近真实的 the medium value，而这个数估计值也被称为 wax popular。它是拉丁语中 the voice of the people，也就是人民的声音的意思。在这篇将近 120 年前的科学文章中，作者总结道，我认为这个结果比人们预期的更能证明民主判断的可信度。这也是最早提到群体智慧如何发生作用的科学文献。

而至于如何把高质量标注的数据喂给 AI，基于人类反馈的强化学习，也就是 RLHF 技术起到了关键作用。

在了解 RLHF 之前，让我们快速了解一下什么是 RL reinforce learning。强化学习是一种机器学习方法，它主要通过奖惩机制来让模型学会完成任务，而不是依靠直接告诉模型如何去做这些任务。想象一下它就好像你要训练小狗，如果小狗做对了一个动作，比如坐下你就给它一块骨头饼干，做错了就不给奖励。这样小狗就会因为想吃到更多的饼干，而学会如何正确的坐下。

同理，AI 也在这种奖惩机制中学习，通过不断的尝试并得到反馈，找到最佳的行动策略。一个早期的研究表明，强化学习能利用少量人类反馈，快速有效的教会智能体做复杂的动作，比如学会如何后空翻。

同样的方法也可以用于训练大语言模型。当我们看到，针对同一问题的不同 AI 回答时，我们可以告诉模型，哪一个回答更好、更正确、更符合人类价值观。这样我们就像家长纠正孩子一样，能够调节 AI 的学习过程。

此外，我们还可以使用模型本身作为输出 I 输出质量的评分者。比如在 entropic 发表的 constitutional AI 中，模型就通过对自己行为的自我评价进行改进。或者像 OpenAI 最近发表的对齐强化学习中，我们可以制定非常详细的行为规则来告诉 AI，比如如何何时拒绝用户的请求，如何表达同理心等等。然后我们在 RL 的奖励机制中，非常精准的来给予相应的评分和奖励。这个过程中，一个更加强大的 AI 有能力更精准的判断他是否有在遵循人类的价值观和行为准则。

总之，强化学习技术就像一把钥匙，帮助我们打开 AI 高质量学习和发展的大门。在培养 AI 更懂我们的过程中，普通人也能发挥重要的作用。

在文档写作，我们可以采用两个小技巧。首先设定详细的背景和角色，就像导演为演员准备剧本一样，让 AI 在丰富的情境中捕捉我们的意图。其次，精心挑选关键词，构建逻辑清晰的文档结构，使文档既美观又实用。

在视频音乐制作领域，我们可以通过使用专业术语来引导 AI 比如黄金分割构图或和弦进行将创意转化为现实。同时别忘了感情的投入，因为这是赋予灵作品灵魂的关键。

简而言之，通过细致的指导和情感的融入，我们可以帮助 AI 创作出既丰富又富有感染力的作品。

在西游记中，孙悟空有紧箍咒约束行为，我们应该给 AI 模型也带上紧箍咒，也就是教会 AI 安全基本准则约束和道德标准，让其遵守行为规范。以人类利益为先，成为我们贴心的伙伴，而不是冰冷的机器。

让 AI 学习基本原则和道德准则，可以使模型在面对复杂问题时运用推理得出正确的结论。

比如在 OpenAI 最近发表的 o1-preview 模型中，我们通过思维链推理，加强了模型的鲁棒性，Robust 使得模型可以更好的抵抗越狱攻击。

扩展性监督在 AI 对其研究中也非常重要。随着 AI 模型扩大，需要结合自动化工具和人类监督，有效的监督其行为，确保它朝着正确的方向发展。在一组研究中，我们用监督学习训练语言模型，对网络文本摘要进行批评。比如提高提供这个摘要非常准确，或者这个摘要遗漏了要点等等。评论相比对照组，我们发现有 AI 帮助的标注员比没有帮助的能多。找出摘要中约 50% 的问题，而且多数批评都参考了模型提供的内容。总之，给 AI 设定标准并进行有效监督，可以提升它对人们的帮助。

其实，AI 的安全不仅仅是研究者的责任，它需要每一个人的参与。

以 B 站为例，这个充满活力的社区聚集了众多 AI 爱好者和创作者，我们在这里分享见解、讨论问题，甚至监督 AI 的表现，共同影响着 AI 的成长。

我们每个人都应该成为 AI 的大家长，不仅监督和反馈 AI 的表现，还参与塑造一个安全可信的 AI 世界。

AI 技术是一个双刃剑，它带来了便利与挑战并行，我们的参与至关重要。让我们携手培养出一个既聪明又负责的 AI 伙伴。感谢大家的聆听，希望今天的分享能激发大家对于安全的热情和兴趣。也感谢 B 站提供这个平台，让我们共同为 AI 的未来贡献力量。

谢谢。

（本文首发于钛媒体 App，作者｜林志佳，编辑｜胡润峰）