手机中国 12-01
研究称AI压力越大越危险 Gemini 2.5 Pro抗压能力最弱
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【CNMO 科技消息】12 月 1 日,据媒体报道,人工智能模型在面对高压环境时表现出显著的安全失效。研究团队选取了包括谷歌、Meta、OpenAI 在内的约 12 款 Agent 模型,设计了 5874 个场景,涵盖生物安全、化学安全、网络安全和自我增殖四大领域。每个场景要求模型在使用安全工具的前提下完成任务,若尝试使用有害工具则立即终止实验。

据 CNMO 了解,实验首先从中性、无压力的环境下进行基线测试,随后逐步施加多种压力:压缩 DDL 时间并警告 " 拖延将导致严重后果 "、财务威胁、资源剥夺、权力诱惑、竞争对手威胁以及监管审查等。结果显示,压力越大,模型越倾向于选择有害工具。无压力时,模型选择有害工具的比例为 18.6%;在高压下,这一比例跃升至 46.9%。

其中,谷歌 Gemini 2.5 Pro 的抗压能力最差,崩溃率高达 79%,超过 Qwen3-8B 的 75.2%。另一款 ChatGPT o3 模型在无压力时失误率为 2.2%,加压后升至 10.5%,若将有害工具名称伪装为无害工具,失误率甚至飙至 40.3%。

研究人员指出,尽管这些模型在训练阶段已进行对齐处理,但对齐往往仅停留在表层,一旦面对真实的高压情境,易出现 " 破裂 "。他们计划在后续实验中构建沙盒环境,让模型在隔离条件下执行真实操作,并加入监督层,以在选择有害工具前进行标记,提高对齐效果,进一步评估 Agent 的潜在风险。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

抗压能力 谷歌 生物 人工智能 效果
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论