IT 之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。
据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。该分类器会寻找虐待行为的视觉特征,帮助审核团队识别未曾见过的新图像,同时提供评分功能,帮助审核人员判断哪些图像可能需要优先处理。
美国国家失踪与受剥削儿童中心(NCMEC)在该工具的开发过程中提供支持,协助 OpenAI 完成训练、评估和实际部署工作。
同时该工具相比现有保护措施,可减少 48% 误标记图像数量。在标记的图像中,实际包含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记的案例中,就有一个最终被封禁。
此外,OpenAI 将在 ChatGPT 中新增产品警告。当用户试图寻找性虐待素材时,系统会中断相关操作、说明后果,并引导用户寻求帮助,以停止有害行为。一旦用户发出相关请求,他的 ChatGPT 账号将被暂时停用 24 小时,反复违规可能导致更长时间的封号,最终永封或被举报至有关部门。

OpenAI 已经与 Anthropic 和谷歌合作,共同委托制定一份关于如何应对 AI 系统中儿童性剥削与性侵害披露的新指南。该指南最近已由 Tech Coalition 发布,为开发者处理这些敏感情况提供了实用建议。


登录后才可以发布评论哦
打开小程序可以发布评论哦