硅星人 04-03
OpenAI的吉卜力,撞车了被字节起诉“投毒AI”的前实习生?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

想象一下,耗费动画大师宫崎骏数十年心血、一帧一画精雕细琢的艺术风格——比如《起风了》中耗时一年多的四秒人群场景,或是《幽灵公主》里那个生物钻地镜头背后一年零七个月的 5300 帧手绘,如今,在 GPT-4o 手中,似乎变得 " 唾手可得 "。用户们兴奋地将个人照片、网络梗图甚至历史影像纷纷 " 一键吉卜力化 ",其效果之逼真、风格之统一,迅速点燃了网络。无数人的时间线都被塞入了宫崎骏的平行宇宙。OpenAI CEO Sam Altman 透露,4o 的图像生成功能在一小时内就吸引了百万新用户。

但如果你认为这仅仅是 OpenAI 用一个更强的模型替换了之前的 DALL-E,那可能就忽视了全貌。有敏锐的网友指出:" 这不仅仅是一次产品更新——这很可能是一个彻底的范式转变。" OpenAI 似乎正在解决那些长期困扰 AI 图像生成过程中,让创作者望而却步的问题。

那么,秘密武器是什么?OpenAI 自己给出了线索:这次的图像生成是直接内置在 GPT-4o 模型中的,并且,与广泛采用扩散模型(Diffusion Models)的 DALL-E、Midjourney、Stable Diffusion 不同,OpenAI 在模型卡片中声明:" 与作为扩散模型运行的 DALL · E 不同,4o 图像生成是一个原生嵌入在 ChatGPT 中的自回归模型 "

值得注意的是,将自回归思想应用于图像生成并非 OpenAI 的独创。事实上,如何让擅长序列预测的自回归模型在视觉领域发挥潜力,一直是 AI 研究者们试图攻克的方向之一,意在寻找不同于主流扩散模型的新范式。

例如此前获得顶级学术会议 NeurIPS 2024 最佳论文奖等《视觉自回归建模:通过下一尺度预测实现可扩展的图像生成》(Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction)的研究,它不仅提出了一种创新的 VAR 方法,显著提升了自回归模型生成图像的质量和效率,更是在实验中首次证明了类 GPT 的纯自回归模型在图像生成任务上,有潜力超越当时顶尖的扩散 Transformer 模型。

这篇论文由北京大学与字节跳动的研究者共同完成。而为这篇技术含量极高的论文增添了更多话题性的,是其第一作者田柯宇的另一重身份——他正是那位因被指控恶意攻击字节跳动训练集群、面临巨额索赔而备受关注的前字节实习生。

这位 " 含金量还在上升 " 的实习生,以一种意想不到的方式,与 AI 图像生成的前沿探索交织在了一起。

自回归的 " 复兴 "

GPT-4o 在图像生成上的突破,关键之一在于其宣称采用的自回归技术(AR)路径,这与主流的扩散模型截然不同。理解这一差异,是把握这场潜在 " 范式转变 " 的核心。

扩散模型,如 Midjourney 和 Stable Diffusion,其原理是从随机噪声出发,通过学习数据分布逐步去噪,最终生成图像,强项在于生成高质量、逼真的图像,但在速度、计算成本以及精确理解复杂指令(尤其是文字渲染)方面常显不足。

自回归模型则借鉴了 GPT 处理文本的方式:按顺序预测下一个元素。在图像上,这意味着模型基于已生成的部分(如像素或图像标记),逐步构建出完整图像。理论上,这赋予了 AR 在上下文理解、细节控制和连贯性上的优势。然而,传统 AR 方法存在效率低、易出错的问题,长期以来难以在效果上匹敌扩散模型。

近年来,以 VAR(Visual Autoregressive Modeling)、掩码自回归建模(MAR)等研究,开始为 AR " 正名 "。VAR 提出的 " 下一尺度预测 "(从粗到细生成)等创新,显著提升了 AR 模型的图像质量和生成效率,证明了 AR 路径不仅可行,甚至有潜力超越扩散模型。VAR 等研究可能为 GPT-4o 提供了理论启发,而 GPT-4o 的实践进一步验证了自回归模型在视觉生成中的可行性,让 AR 在图像生成领域迎来了 " 复兴 " 的可能。

那么,GPT-4o 的图像生成具体是如何运作的?OpenAI 强调其图像功能原生集成于模型核心,而非独立模块。这意味着 4o 能充分利用其强大的语言理解和世界知识来指导图像生成,实现前所未有的上下文理解和指令遵循能力——比如准确画出包含特定公式的白板。这种深度融合是 4o 效果出色的关键。

然而,一张流出的内部白板图(标注了 Transformer -> Diffusion 流程)引发了对其 " 纯粹 " 自回归的质疑,可能采用了混合架构:即利用 AR 的理解能力生成中间表示,再结合 Diffusion 的像素生成优势输出最终图像。这种猜测认为 4o 可能融合了两条路线的优点,以规避各自的短板。不过也不能排除是 OpenAI 在故意混淆事实。

由于没有任何技术报告,其具体实现细节仍是谜团,但 OpenAI 的战略意图清晰可见:一是将自回归原则置于下一代多模态模型图像生成的核心位置;二是依托其超大规模的模型为这一切提供算力和智能基础。 无论最终的技术 " 配方 " 如何,GPT-4o 都已将自回归推向了前沿,这很可能会改变 AI 图像生成的未来发展方向。

中美温差

GPT-4o 图像生成功的成功,引出了一个值得关注的现象:无论是语言模型还是视频模型,中国的企业追赶迅速,但在尖端图像生成上,似乎总是美国公司在前沿 " 独奏 "?无论是从 Midjourney 到 Gemini Image 再到 4o,在中国似乎都看不到能与之 " 对标 " 的企业或产品。

我们可以从技术和商业两个视角来看待这种 " 温差 "。技术上,美国顶尖公司似乎更倾向于探索和押注如自回归(AR)等可能带来范式革命的新路径,这或许得益于其在基础研究上的长期投入和对风险的更高容忍度。OpenAI 在 2020 年就推出的自回归图像生成模型 Image GPT,旨在将自然语言处理中的 Transformer 架构应用于图像生成领域。

而国内力量可能更集中于优化成熟的 Diffusion 路线并快速落地应用,这在追赶阶段十分有效,但也可能带来一定的路径依赖。同时,顶尖模型所需的算力、高质量数据和核心算法创新,本身就构成了不低的壁垒。有观点认为, Diffusion 模型可能已触及瓶颈,亟待新的突破。

商业上,市场定位和变现模式也塑造了不同的发展方向。Midjourney、GPT-4o 等似乎更瞄准对效果要求极致的专业用户或付费意愿强的市场,追求打造 " 爆款 " 工具并直接收费。而中国庞大的应用场景(电商、社交、营销等)或许更看重成本、效率和与现有生态的融合,促使技术发展更偏向工程优化和平台赋能,而非单一工具的极限探索。不同的资本偏好和生态整合策略也加剧了这种分野。

当然,这并非说中国在生图领域毫无建树。阿里巴巴、字节、DeepSeek 等公司也在持续推出有竞争力的模型。只是在全球 " 爆款 " 层面,暂时由美国公司领跑。

归根结底,技术和商业的合力共同塑造了当前的格局。随着 GPT-4o 可能引领的自回归新浪潮,我们无疑等不及要看到这个方向的开源进展,或是中国企业的快速跟进与实现了。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

实习生 字节跳动 宫崎骏 北京大学
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论