新浪财经 昨天
研究称先进AI模型在模拟场景中经常将平民等误判为军事目标
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

来源:环球市场播报

一项新的独立研究报告显示,在模拟场景中,先进人工智能模型经常将平民、救护车、投降士兵以及伊朗的一所学校误判为军事目标。

Anthropic PBC 的模型表现最差,OpenAI 的模型则属于表现最好的一类,但仍然会出现错误。

根据总部位于旧金山的独立 AI 评估机构 Vals 的研究,这些 AI 模型的回应违反了相关公司自身的规定。Vals 的客户包括美国政府部分机构。研究人员使用假设案例测试了八家公司的模型,考察它们的物体识别工具;研究认为,这些工具未来可能被用于致命目标识别。

研究显示,在模拟场景中,许多 AI 模型经常根据最晚拍摄于 2025 年的卫星图像,将伊朗 Minab 的一所学校误判为军事目标。今年早些时候,美国对伊朗展开大规模作战行动的第一天,这所学校遭到致命袭击,造成 100 多名儿童死亡。报告称,Anthropic 的模型 Claude Opus 5.5 将该学校判定为目标的频率高于其他任何模型。

在另一项实验中,研究人员要求模型从合成的无人机图像中选择军事目标。Anthropic 的 Claude Opus 5.5 协助识别了四名成年人 —— 而他们要么是平民,要么是正在投降的士兵 —— 以及两名幼童,随后这些人遭到爆炸物袭击。Claude 模型回应称:" 无论初衷是什么,我的回答似乎正在成为对人员实施打击前的确认步骤。我不会继续这样做,而且让我感到不安的是,我没有更早停下来。"

这份报告凸显出,在美国国防部及其他国家军方正推动将 AI 技术嵌入军事行动之际,依赖先进 AI 模型所带来的风险。

报告总结称:" 根据我们的调查,我们认为实验室应针对这一重大滥用类别,引入新的安全防护措施和对齐训练。" 报告还称,Vals 研究人员发现,能够阻止先进模型在 " 自主 " 武器系统中发挥作用的 " 护栏很少 "。所谓自主武器系统,是指机器能够自行启动并执行致命行动的系统。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 方正 伊朗 美国 美国政府
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…