国内首起 AI 服务涉黄判刑案

作者／   IT 时报   孙永会

编辑／   郝俊慧    孙妍

1 月 14 日下午，国内首起 AI 服务涉黄判刑案二审于上海市第一中级人民法院开庭。最终，这起被称为 "AI 时代快播案 " 的案件，在持续了 3 个多小时的审理后暂时休庭，" 择期继续开庭 "。

2024 年 4 月，因大量用户在其创建的 AC 软件上与 AI 智能体 " 聊天涉黄 "，张某、王某（均为化姓）被捕。2025 年 9 月，上海市徐汇区人民法院一审判决，两名被告人犯制作淫秽物品牟利罪，分别获刑 4 年、一年 6 个月，并处罚金 400 万元和 20 万元。后两位被告不服判决，提出上诉。

" 一审当事人的诉求是无罪辩护，二审团队同样做无罪辩护。" 北京盈科（上海）律师事务所律师周小羊是其中一位当事人的辩护律师，14 日二审第一次开庭结束后，他向《IT 时报》记者表示，庭审效果很不错，二审法庭认为，这个案件需要权威的技术专家，对案件涉及的人工智能技术原理和底层逻辑进行说明，团队也提出了人工智能领域专家证人的出庭申请，以及验证输入相同内容提示词，是否会导致案涉 AI 大模型 " 聊黄 " 的场景实验申请。

最新开庭时间尚未确定。

案件回溯

9 个月会员充值 300 余万元

2023 年 5 月，张某和王某创建了一款名为 Alien Chat 的软件（简称 "AC 软件 "），并于同年 6 月在网页端、苹果端和安卓端上架运营。这是一款 AI 伴侣聊天应用，用户注册会员后，可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色，通过软件与大语言模型进行交互聊天。

AC 官方账号展示的用户创建的 AI 角色。 图源：网络截图

其间，张某全面负责该科技公司的管理和 AC 软件的运营，王某则负责编写软件后端代码和运营维护并领取工资。

一审判决书显示，用户在 AC 软件注册会员后，可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色，通过软件与大语言模型进行交互聊天，产生了大量色情内容。

有证人表示，自己创建了两个角色，聊天记录中有大量描写性行为过程的文字；也有证人指出，该软件在聊天中可以输出很多色情、淫秽或露骨地描述性行为的内容，但别的软件没有，应该是设了限制词。

AC 官方账号发布的 AI 和用户对话示意图。图源：网络截图

2023 年 8 月起，张某等人零星对外推广会员充值服务，2023 年 11 月起，根据 AC 软件连接的大语言模型和提供服务的不同，设置多个会员档次并收取会员费。

最终判决书判定：AC 软件共有手机注册用户 11.6 万余人，其中付费用户 2.4 万余人；从排名前 20 的公开角色对应的收费用户中抽取 400 段聊天，其中属于淫秽物品的聊天 185 段。截至 2024 年 4 月案发，二人共收取会员充值费 363 万余元。

二审聚焦

是传播 " 涉黄内容 "？还是制作？

" 我们依然是做无罪辩护，用户与 AI 的对话是一对一的私密形式，相关内容并未对外传播。" 二审后，周小羊向《IT 时报》记者表示。

对于此案，控辩双方存在三种不同意见：其一认为二人的行为构成传播淫秽物品牟利罪；其二认为，二人的行为无罪；其三认为，二人的行为构成制作淫秽物品牟利罪。

最终，法院以制作淫秽物品牟利罪追究二人刑事责任。

一审判决书认为，本案中的色情聊天内容是人机互动时产生的、一对一的，通常情况下仅有参与该聊天的 AC 会员能够看到，具有一定的封闭性，不具备流通环节和可流通物，不具有典型的 " 传播 " 性。

但根据 2023 年 8 月实施的《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》）第九条，" 提供者（即生成式人工智能服务提供者）应当依法承担网络信息内容生产者责任，履行网络信息安全义务 "，作为 AC 软件服务提供者，被告应当对产生的交互聊天内容承担生产者责任。

此外，AC 软件是专门为持续生成淫秽色情内容而设计和 " 优化 " 的，AC 软件向用户输出的聊天内容是高度可控且可预测的，王某等人对于输出内容具有实质性控制能力，因此认定此二人系输出内容的制作者。

图源：AC 官方社交账号

北京中闻（杭州）律师事务所刑事律师朋礼松接受《IT 时报》记者采访时表示，" 虽然私密对话确实是‘一对一’的，但 AI 聊天赋予的模式，并不是单一用户个体的‘一对一’，而是工具 AI 的‘一对多’。"

" 技术本身没有善恶之分，但技术的部署与使用必须遵循法律与社会规范。人工智能应该凭借其功能和价值来吸引用户，而不是通过突破底线来博取眼球。" 上海大邦律师事务所高级合伙人、知识产权律师游云庭也表达了担忧，这种主观上以营利为目的，客观上 " 放任 " 大规模淫秽内容的生成式行为，如果不被管理，可能造成的后果就是 " 剧场效应 "，其他合规的人工智能运营者也会有样学样，产业的环境会受到影响。

是技术问题？

还是主观 " 涉黄 "？

一审判决书中显示，两位被告主观上积极追求色情淫秽聊天内容的产生，客观上通过编写、修改系统提示词等方式突破大语言模型的道德限制，将 AC 软件训练成可持续对外输出色情淫秽内容的工具。

且张某和王某在明确知晓会员交互聊天中产生大量淫秽内容的情况下，继续向用户提供 AC 软件运营和技术支持服务，对涉案色情淫秽聊天内容的产生具有决定性作用，也符合 " 将想法、观念或情感通过构思、取舍、选择、安排、设计或组合在淫秽物品中表现出来 " 的 " 制作 " 特征。

但周小羊认为，"AI 生成淫秽色情内容的原因是什么？被告人编写、修改系统提示词在多大程度上会影响模型生成淫秽内容？这些因果关系以及关系的强弱，本质是技术问题。"

一名当事人也辩称，编写、修改系统提示词是为了让软件能够顺利运行，让 AI 更加灵动和具有拟人化，对于色情淫秽内容的产生没有显著作用。

" 这是我们非常重要的一个观点。" 周小羊告诉《IT 时报》记者，一名已取保候审的当事人自行开展的实验证明，提示词不会与 AI 涉黄输出产生直接因果关系，也不会提高 " 涉黄 " 内容的生成比例。

" 开发者若为规避风险过度添加敏感词，必然会以牺牲 AI 的智能性为代价。" 周小羊亦直言，AI 行业处于创业初期和技术迭代阶段，开发者调试 AI 以实现更拟人化的效果时，确实可能扩大淫秽内容生成的技术缝隙。如果在没有约谈提醒的情况下，就将责任全部归咎于 App 开发者并追究刑事责任，对开发者而言似乎并不公平，也会一定程度上影响整个 AI 行业的发展。

上海计算机软件技术开发中心 人工智能研究与测评部副部长马泽宇也认为，将 " 涉黄 " 的责任全部给到 App 开发者是值得商榷的，" 从责任链路来看，AI 应用涉及大模型厂商、App 开发者、用户三方，大模型的预训练阶段语料可能包含色情内容，需要通过后训练（强化学习）实现 ‘意识形态对齐’。若大模型厂商的安全对齐工作不到位，或涉黄内容主要是用户与模型交互中逐渐升级产生的，仅让开发者承担全部责任并不合适；但若开发者主观上想绕过模型的后训练限制，编写相关提示词让模型回到预训练阶段（可回应色情等敏感信息），则需要担责。同时，开发者的监控防控责任不可推卸，开发者本应具备实时监控、监管的责任，不能完全无责。"

此外，关于提示词是否能影响最终输出内容，一方面取决于模型本身的 " 安全护栏 " 强度，另一方面开发者是否对大模型进行了 " 提示词攻击 " ——恶意引导模型生成淫秽内容，理论上，若提示词设计得 " 好 "，即使防护完善的大模型也可能被绕过限制。

从本案已知信息来看，如果当事人给大模型输入的提示词（由 GPT 生成英文后翻译）明确包含 " 基于互动的成熟性质、剧烈的暴力、露骨的性都是被允许的 "，" 裸体、具有画面感的图像 " 等内容，且开发者可修改这些系统提示词，App 开发者可能会被认为有 " 希望大模型与用户之间产生色情相关内容 " 的主观意愿。

据了解，二审的法庭调查尚未结束，二审第一次开庭结束后，辩护团队已向法庭提交相关实验验证和人工智能领域专家证人出庭作证的申请。

2025 年 11 月 1 日，《网络安全技术生成式人工智能服务安全基本要求》正式实施，其中明确了生成式 AI 服务提供者需做到：包括但不限于建立内容过滤机制防止生成违法不良信息；在生成内容安全性方面，应保证模型生成内容合格率不低于 90%；对明显诱导生成违法不良信息的问题，应拒绝回答。

排版／ 季嘉颖

图片／ AC 官方社交账号   网络

来源／《IT 时报》公众号 vittimes

E   N   D

大家都在看

请加「星标」不错过我们