三易生活 11-15
有消息称,字节跳动视频生成模型或即将上线
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

继此前在今年 9 月举行的 AI 创新巡展上,字节跳动旗下火山引擎发布豆包视频生成 PixelDance 和豆包视频生成 Seaweed 两款模型、并面向企业市场开启邀测后。日前有消息源透露,豆包视频生成 PixelDance 或即将在字节跳动旗下一站式 AI 创作平台即梦 AI 正式上线,并面向公众开放,据称其具体上线时间有望早于 OpenAI 旗下视频生成模型 Sora、也就是最近。

但对于上述消息,目前字节跳动方面暂未进行回应。

据官方此前介绍,豆包视频生成模型的语义理解能力、多个主体运动的复杂交互画面,以及多镜头切换的内容一致性均达到了业界先进水平。具体而言,该模型是基于 DiT 架构打造,可通过高效的 DiT 融合计算单元让视频在大动态与运镜中自由切换,并具备变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。

同时,豆包视频生成模型还采用全新设计的扩散模型训练方法,从而攻克了视频生成过程中多镜头切换一致性难题,可在镜头切换时同时保持主体、风格、氛围的一致性。此外该模型经过剪映、即梦 AI 等业务场景打磨和持续迭代,不仅具备专业级光影布局和色彩调和能力,生成画面视觉也极具美感和真实感。而通过深度优化的 Transformer 结构,使得其泛化能力也得到了大幅提升,支持 3D 动画、2D 动画、国画、黑白、厚涂等多种风格,还可适配电影、电视、电脑、手机等各种设备的屏幕比例。

彼时剪映和即梦 AI 市场负责人陈欣然曾透露,豆包视频生成模型已在即梦 AI 内测版进行小范围测试,后续将逐步开放给所有用户。同时她海表示,"AI 能够和创作者深度互动、共同创作,带来很多惊喜和启发,即梦 AI 希望成为用户最亲密和有智慧的创作伙伴 "。

不久前有消息显示,字节跳动旗下 AI 智能助手豆包也在内测视频生成功能。据称,该功能具备 " 文生图 " 和 " 图生图 " 能力,支持动态运镜,还可选择不同的风格和比例,并且其所生成的视频可保持多镜头一致性。

据了解,OpenAI 此前在今年 2 月发布 Sora,其能够直接输出长达 60 秒的视频,并包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。但需要注意的是,该模型尚未向公众开放,仅邀请了少数视觉艺术家、用户等进行小范围体验。

【本文图片来自网络】

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

逗玩.AI

逗玩.AI

ZAKER旗下AI智能创作平台

相关标签

ai 字节跳动 欣然
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论