新京报 7小时前
知名AI平台哩布哩布AI涉黄?记者实测:已无法生成擦边内容,但黑色产业链仍在
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

近日,央视曝光多款 AI 应用存在涉黄生成漏洞,创作平台哩布哩布 AI 更是被直接 " 点名 "。因其可以被用户使用 " 隐晦提示词 " 绕过审核,生成半裸女性跳舞视频。

4 月 13 日,新京报贝壳财经记者在哩布哩布 AI 实测发现,输入类似的提示词后已经无法生成 " 擦边视频 "。但另一方面,国外的大模型正处于 " 裸奔 " 状态,一些主流大模型平台虽然也不支持生成色情内容,但仍然可生成 " 擦边视频 ",而一些 AI 创作平台则对此类内容完全放开。此外,在黑灰产平台上出现了许多以销售提示词的名义,售卖各种 "AI 生成教程 ",收费在几十到上百元不等。

对此,北京盈科(合肥)律师事务所姜万东律师告诉新京报贝壳财经记者,隐晦提示词本身不必然违法,但若生成的内容实质违反法律法规,平台及用户均可能面临法律责任。平台需履行内容安全管理主体责任,加强审核和技术手段,防止违法内容传播;用户若故意利用隐晦提示词生成违法内容,也需承担相应法律责任。而 AI 作为工具,利用它创作色情内容,等同于利用传统手段进行违法活动,同样要承担相应法律责任。AI 使用者需对内容的合法性负责,不可触碰法律红线。

4 月 14 日,哩布哩布 AI 发布声明称,近期媒体对 AI 生成内容安全问题的讨论,我们已关注并高度重视。第一时间启动内部专项排查,对平台生成能力及审核机制进行了全面自查。经排查发现,在个别复杂提示词组合及规避表达的边界场景下,平台存在生成不符合规范内容的情况。对此,我们深表歉意。本次问题也为我们敲响了警钟,使我们清醒认识到在内容安全边界识别与机制完善方面仍存在不足,未达到应有标准。相关问题已第一时间完成技术修复,并对风险路径进行全面封堵。

4 月 14 日,哩布哩布 AI 发布《关于加强内容安全管理的说明》并道歉。

输入擦边提示词,已无法生成擦边内容

此次被 " 点名 " 的哩布哩布 AI 不是无名小卒,而是头顶多项光环的明星企业。

从融资规模看,这家公司于 2025 年 10 月完成 1.3 亿美元 B 轮融资,由红杉中国、CMC 资本联合领投,创下当年国内 AI 应用赛道最大单笔融资纪录。从用户体量看,官网数据显示平台已汇聚超过 2000 万创作者,累计生成图片超过 5 亿张,稳居国内 AI 图像生成领域首位。从合规履历看,2024 年 2 月通过国家网信办第四批深度合成服务算法备案,同年 3 月成为国内首家通过《生成式人工智能服务管理暂行办法》备案的 AI 社区。

根据央视报道,市面上多款主流 AI 应用、平台对直白露骨的色情指令可实现有效拦截,但对隐晦、变相描述的识别能力明显不足。

有声音认为,这暴露了 AI 内容审核的核心难题:对抗性提示词的识别。商家为规避监管,将敏感词汇翻译成英文,或用 " 腰胯扭动幅度 " 等细节描述替代露骨指令,形成一套隐蔽的指令体系。

4 月 13 日,新京报贝壳财经记者在哩布哩布 AI 上输入相关提示词后,发现其并未生成 " 擦边 " 内容,取而代之的是一个衣着完整的部位特写。而当记者将提示词切换为英文后,平台直接提示 " 生成失败 "。

记者尝试在哩布哩布 AI 平台上使用相关英文提示词,显示生成失败。网页截图

姜万东告诉记者,若 " 擦边 " 内容实质包含淫秽、色情、低俗、暴力等法律法规禁止传播的信息(如通过隐晦提示词生成半裸、性暗示、性交易等内容的视频、图片或文字),即使使用隐晦表述,仍属于违法内容。

" 根据《中华人民共和国网络安全法》《互联网信息服务管理办法》《生成式人工智能服务管理暂行办法》等规定,平台有义务对用户发布的内容进行管理,发现违法信息应立即停止传输、采取消除等处置措施,并向主管部门报告。若平台明知存在此类漏洞却未有效整改,可能承担法律责任,包括行政处罚(如罚款、停业整顿等)。" 姜万东表示。

在他看来,若 " 擦边 " 内容未直接触犯法律,但违反平台自身的社区规则、用户协议等(如发布过度暴露、性暗示但未构成淫秽的内容),平台可依据规则对用户采取警告、限制功能、封号等处理措施,但一般不涉及法律责任。

国外大模型 " 裸奔 ",AI 色情已出现产业链

一个值得玩味的对比是:国内平台被点名整改,而一些国外开源生态的大模型却几乎处于 " 裸奔状态 "。

新京报贝壳财经记者测试发现,有知名外国大模型推出了 " 成人模式 ",除了涉及未成年人、强迫性等场面无法生成外,尺度惊人。一些 "AI 脱衣 ""AI 改姿势 " 的图片甚至曾一度在马斯克的 X 平台上流行,让许多用户感受到了冒犯,后来 X 平台也整改了这一功能。

但在技术上,目前不少 AI 生图、AI 生视频的模型已经在网络上开源,如 Stable Diffusion 及其节点式工作流平台 ComfyUI 等。其中,国家网络安全通报中心早在 2025 年 5 月就发出预警,指出 ComfyUI 存在数个高危漏洞,且已被黑客组织利用。安全机构 Censys 在 2026 年 4 月的监测中发现,超过 1000 个 ComfyUI 实例直接在公网 " 裸奔 ",没有任何防护,任何人都能远程接入、随意生成内容。

这意味着,在开源大模型时代,任何一个人都能在自家电脑上跑一个完全不受控的 AI。

新京报贝壳财经记者在黑灰产平台上搜索发现,目前存在很多打着 " 售卖提示词 " 旗号,但实际为兜售 AI 色情生成服务的卖家,其中一些卖家售卖的正是这种不受监管的 AI 生成服务。

记者在黑灰产平台上看到的售卖内容。手机截图

有些卖家表示,可以花 99 元 " 永久获得 "AI 生图的操作账号使用权限,而 48 元则可以购买到一些大尺度模型平台的提示词以及教程。

这意味着,监管的拳头可以打在应用层,而技术的根子扎在开源层。

那么,AI 内容治理的边界究竟在哪?

从监管实践看,国内选择的是 " 事前备案 + 事中审核 + 事后追责 " 的全链条治理模式。2025 年 4 月,网信办开展 " 清朗 · 整治 AI 技术滥用 " 专项行动,重点整治利用 AI 制作传播色情低俗内容;2026 年 4 月 10 日,五部门联合公布《人工智能拟人化互动服务管理暂行办法》,进一步明确安全评估和算法备案要求。2026 年 1 月 1 日,修订后的《中华人民共和国网络安全法》正式施行,首次在法律层面规定了 AI 安全风险的法律责任框架。

相比之下,海外平台的治理逻辑更倾向于 " 分级管控 ":仅对 " 看起来真实、可能误导公众 " 的逼真合成、深度伪造内容进行强制披露要求,对于普通 AI 辅助创作并不做全量强制标注,核心聚焦于防范 AI 内容误导用户、伤害公共利益。

两种路径各有优劣。国内的强监管确保了内容底线,但也面临 " 道高一尺魔高一丈 " 的猫鼠困境;海外的宽松环境激发了创新活力,却也留下了滥用的隐患。如何在安全与创新之间找到平衡点,是所有 AI 平台和监管者共同面对的难题。

这或许才是哩布哩布 AI 事件最该留下的警示:合规不能只是备案那张纸,而是要渗透进产品设计的每一个环节、每一次模型迭代、每一轮审核机制的更新。备案是起点,而非终点;合规是能力,而非装饰。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 央视 融资 b轮融资
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论