Yoshua Bengio、姚期智、张亚勤：AI安全是“全球公共产品”，全球合作刻不容缓

AI 安全国际对话发起人，从左到右依次是 Stuart Russell，姚期智，Yoshua Bengio，张亚勤

雷峰网消息，九月五日至八日，全球顶尖的人工智能（AI）科学家汇聚威尼斯，共同呼吁各国政府和研究人员联手应对 AI 可能带来的灾难性风险。图灵奖得主 Yoshua Bengio、姚期智教授，清华大学讲席教授张亚勤、加州大学伯克利分校教授 Stuart Russell 等多位计算机科学领域的领军人物，一道出席了由 AI 安全国际论坛（Safe AI Forum）和博古睿研究院共同举办的第三届国际 AI 安全对话（International Dialogues on AI Safety）。

图灵奖得主 Yoshua Bengio

图灵奖得主姚期智

在为期三天的会议中，与会科学家们共同达成了一份具有重要意义的共识声明，其核心观点强调了 AI 安全作为 " 全球公共产品 " 的重要性，建议各国应将 AI 安全纳入学术与技术合作的核心领域。

共识指出，人工智能系统的滥用或失控可能给全人类带来灾难性后果。然而，我们尚未开发出必要的科学手段来管控和保障对高级智能的使用。由于人工智能带来的风险具有全球性，我们必须将人工智能安全视为全球公共产品，并为实现这些风险的全球治理而努力。我们必须未雨绸缪，齐心防范任何随时可能出现的灾难性风险。国际社会的初步积极举措表明，即使在紧张的地缘政治局势下，在人工智能安全和治理方面开展合作也是可以实现的。然而，各国需要在现有的努力上迈出更大步伐。

清华大学讲席教授张亚勤

北京智源人工智能研究院创始主席张宏江，与即任约翰 · 霍普金斯大学教授 Gillian Hadfield

共识认为，作为第一步，各国应设立有能力在其境内监测和应对人工智能事故与灾难性风险的部门。各国监管部门应协同合作，制定应对重大人工智能事故与灾难性风险的全球应急计划。长远来看，各国应建立国际监管机制，以防止出现可能带来全球灾难性风险的模型。

为了应对可能到来的由高级人工智能系统引发的灾难性风险，科学家呼吁，国际社会应考虑启动以下三项工作程序：

应急准备协议与制度

通过这一机制，各国的安全监管部门可召集会议，合作制定并承诺实施模型注册和披露制度、事故报告机制、预警触发点及应急预案。

安全保障体系

当模型的能力超过特定阈值时，要求开发者为模型的安全性提供高度可信的论证。对于高性能的人工智能系统，随着它们的广泛应用，部署后的监控也将成为保障体系的关键组成部分。这些安全保障措施应接受独立审计。

全球人工智能安全和验证的独立研究

应通过技术开发，使各国能够确认开发者以及其他国家提出的与人工智能安全相关的声明是真实有效的。为了确保研究的独立性，这项研究应在全球范围内进行，并由多个国家的政府和慈善机构共同资助。

清华大学国际安全与战略中心主任傅莹，清华大学人工智能国际治理研究院院长薛澜 , 中国科学院自动化研究所类脑智能研究中心副主任曾毅远程参与了讨论。

在会议的第二天，科学家们与政策制定者、前国家元首及其他领域的专家进行了深入讨论，参会者包括前爱尔兰总统 Mary Robinson，卡内基国际和平基金会主席 Mariano-Florentino ( Tino ) Cu é llar，欧盟人工智能标准 CEN-CENELEC JTC 21 主席 Sebastian Hallensleben。面对人工智能技术的快速发展，专家们一致认为，尽快实施这些提案至关重要。此次声明将呈交给多国政策制定者，并在会议中探讨了国际社会应如何协同合作，实现这一目标的战略路径。