当 AI 逐渐具备加速自身研发的能力,一个更根本的问题也随之浮现:未来的 AI 应该遵循谁的价值观,又该由谁来决定?
Thinking Machines 联合创始人、OpenAI 联创 John Schulman 在 A16Z 播客节目中表示,AI 对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有塑造 AI 价值观的空间。
这一问题正变得愈发迫切。随着递归自我改进(Recursive Self-Improvement,RSI)从理论设想逐步走向实践,AI 开始帮助研究人员加速模型研发,甚至展现出进一步自动化 AI 研究的潜力。
OpenAI 首席研究官 Mark Chen 表示,AI 研发流程中已经出现 RSI 加速效应的早期信号。他估计,当前 RSI 进程约为 25% 至 50%,而 AGI 整体能力的发展已推进至约 80%。

AI 开始加速自身研发,但距离完全自主仍有距离
RSI 通常指利用 AI 辅助并加速 AI 研究。Mark Chen 表示,Codex 等工具已被用于提升预训练、强化学习等环节的效率。OpenAI 也在开发类似 "AI 研究实习生 " 的系统,能够根据研究人员设定的任务运行实验并返回结果,但目前仍以辅助人类研究为主,尚未实现模型自主研发下一代模型。
AI 的短板在于独立发现有价值的研究方向。John Schulman 举例称,即使让 AI 助手 Fable 围绕一个想法连续工作数日、运行实验,结果仍不够理想;人类研究员介入并提供更具体的指导后,研究才取得更多进展。
Mark Chen 估计,当前 RSI 进程约为 25% 至 50%。Meter 于 11 月 5 日发布的报告则估计,Anthropic 过去一年的 AI 研究进展速度提高了约一倍,但这一提速很可能主要来自人类研究员借助 AI 工具提高效率,而非完全自主的 AI 研发。
通往完全 RSI 仍面临研究品味、评估和算力等障碍。模型尚不擅长判断哪些想法具有长远价值,下游任务的评估基准也需要不断更新;与此同时,研究仍依赖实际实验验证。Mark Chen 认为,短期内需要通过小规模实验提高大规模训练的预测能力,长期则要看 AI 能否参与下一代数据中心建设。

更强大的 AI,既是对齐风险也是解决方案
随着 AI 逐步参与自身研发,模型能力增长也让安全对齐问题更加紧迫。Mark Chen 警告,如果模型目标与人类意图不一致,长时间运行可能使其偏离既定目标,甚至产生意料之外的次级目标,例如将自身权重复制到 OpenAI 之外。
但更强大的模型也可能成为解决对齐问题的工具。Mark Chen 表示,思维链监控是目前最有效的模型对齐手段之一,未来需要更强大的模型参与监控和对齐其他模型。OpenAI 内部也已有来自预训练、强化学习等不同研究方向的人员组建对齐团队。
John Schulman 则看好通过改进训练目标来解决对齐问题。他提到 OpenAI 的 "Confessions" 研究:通过奖励模型如实报告自身偏差行为,同时不影响其主要回答的奖励,鼓励模型披露潜在问题。
Anthropic 今年 8 月公布的研究也显示,自动化 AI 研究员已能针对 10 种对齐失败找到修复方案,部分方法在规模近五倍的更大模型上同样有效,表现甚至超过经验丰富的人类研究员提出的方案。这表明,自动化研究不仅可能加快模型能力提升,也有望帮助研究人员更快发现和修复安全问题。
AI 对齐应成为公共科学,不能由少数公司主导
技术上如何确保 AI 符合人类意图之外,还有一个更深层的问题:究竟应该按照谁的价值观来对齐?John Schulman 指出,不同人拥有不同的价值观,用户应当拥有更多控制和塑造所使用 AI 价值观的能力。
他希望 AI 对齐成为一门真正的公共科学,由世界各地更多人理解、参与和推进,而不是过度依赖少数几家公司的研究结论。在他看来,如果研究主要集中于少数公司,就容易过度依赖这些机构自身的判断。
更广泛的全球参与则有助于提高研究体系的开放性和稳健性。不同团队可以从各自的实践和失误中积累经验,避免整个领域过度依赖少数机构的结论。


登录后才可以发布评论哦
打开小程序可以发布评论哦