蓝鲸财经 08-19
昆仑万维发布全球首个AI短剧平台SkyReels
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

8 月 19 日,昆仑万维发布全球首个集成视频大模型与 3D 大模型的 AI 短剧平台 SkyReels。SkyReels 平台集剧本生成、角色定制、分镜、剧情、对白 /BGM 及影片合成于一体,让创作者 " 一键成剧 ",轻松制作高质量 AI 视频。

奇幻大片、凄美虐恋、爆笑喜剧……只要输入一个简单创意,SkyReels 就能完成从剧本到成品短剧制作全流程。

SkyReels 平台集成了昆仑万维自研剧本大模型 SkyScript、自研分镜大模型 StoryboardGen、自研3D 生成大模型 Sky3DGen、以及业界首个将 AI 3D 引擎与视频大模型深度融合的创新平台 WorldEngine。

SkyReels 在剧本质量、分镜质量、人物表演等各维度质量评估上均领先于 GPT-4o 等大模型

SkyReels 能够通过 AI 一键生成完整剧本、分镜、人物对白与 BGM,支持角色形象、音色与分镜的自定义调整,并能够自动将内容转换为1080P 60 帧的高清视频,单次可生成视频长度达 180 秒,相比 Sora 单次可生成 60 秒视频、可灵单次可生成 10 秒视频,有显著突破。一键整合所有创作成果,极大提高视频的创作效率,降低创作成本,推动 " 一人一剧 " 时代加速来临。

同时,WorldEngine 结合了引擎的精确可控能力(如光照模拟、物理模拟、3D 空间、实时交互等) 以及 AI 视频大模型的幻想生成能力,提供了全新的线上混合视频创作模式,让视频创作从模糊生成迈向更加精确可控。

SkyReels 亮点如下:

全自动化剧本生成:用户输入概念或创意,AI 将一键生成一份结构完整、情节丰富的剧本,并支持已有剧本的自动整理与润色,提高创作效率。

高质量情节设计:系统通过分析大量剧本情节,生成高质量的故事情节、戏剧冲突、爽点及情感表达,保证剧本的丰富性与吸引力。

智能分镜生成:根据剧本内容,一键生成分镜图片和对应的文字脚本,用户还可自由调整分镜、镜头角度、运镜方式等参数,确保创意的精确实现。

情感化对白 /BGM:通过情感化语音合成技术,赋予角色自然的句间停顿、情感表达、抑扬顿挫,并基于视频内容自动生成 AI BGM,让画面与音乐完美融合。

个性化定制:支持角色形象、音色和分镜的智能生成与自定义调整,满足创作者的个性化需求,并提供动漫、卡通、真人 3D 等多种视觉风格选择,适应不同创作者的偏好和内容表达需求。

内容一致性与精确性:确保角色与场景在不同分镜中的一致性,同时根据故事描述自动推演角色表演,实现人物表情、动作、台词的协调一致,提升故事表现力。

高效视频生成:自动将分镜转换为连续高清视频,提供 1080P 60 帧输出,确保流畅的观看体验。

便捷的后期合成:一键整合所有创作成果,并可快速导出和分享,支持多种格式下载,方便后期编辑。

SkyReels 的 AI 剧本生成功能基于昆仑万维自研剧本大模型 SkyScript 打造。为了让 AI 生成的剧本具备短剧的高密集爽点剧情,昆仑万维首先构建了亿级的高质量短剧结构化数据集 SkyScript-100M,该数据集针对海量精彩短剧的剧情节奏、爽点、情绪变化进行了高质量标注;

其次算法团队设计了渐进式生成的剧本生成框架,实现了模型能够输出高度结构化的精彩剧本,无论是新手作者还是资深剧作家,都能通过它激发创意,轻松创作出引人入胜的短剧剧本。

SkyScript 剧本大模型技术原理图

短剧创作的另一重要环节——分镜生成,则由昆仑万维自研分镜生成大模型 StoryboardGen 提供底层技术。StoryboardGen 是昆仑万维首创的的基于 DiT-MoE 架构(基于 Diffusion Transformer 技术的 Mixed-of-Experts 混合专家架构)的分镜生成模型,能够实现高密度分镜信息生成,大幅增强视觉叙事表达能力。

输入剧本后,StoryboardGen 模型会将剧本拆解成全局与主体两部分,全局部分包括场景、景别、构图等对分镜的整体描述,主体部分包括角色形象、动作人物角色的定制,最终汇集至故事板(Storyboard)智能体生成完整分镜。StoryboardGen 的专项多智能体架构,能够有效保证人物与场景的可控性和一致性,创造出高质量的工业级分镜。

昆仑万维 StoryboardGen 分镜大模型技术原理图

在最终的影像生成环节,WorldEngine 是业界首个将 AI 3D 引擎与视频大模型深度融合的创新平台。这是一项划时代的技术创新,WorldEngine 以图层融合技术为桥梁,打造出前所未有的 3D 与视频混合创作模式。

用户使用 SkyReels 生成 AI 视频时,可以对任意元素自由选择使用 3D AI 引擎生成或者视频大模型生成,该创新模式突破了当前 AI 视频大模型时常出现的 " 穿模 "、" 反地心引力 " 等反物理规律现象,最大程度实现了物理模拟的精细度与视频大模型的幻想创造力的完美融合。自此,AI 视频生成大模型将从 " 模糊控制 " 时代走向 " 精确可控 " 时代。

在 3D AI 引擎方面,昆仑万维自研的 Sky3DGen 大模型能够生成多样化的 3D 元素和场景,从自然景观到未来都市,从静态物体到动态角色,并提供了实时的 3D 场景交互能力,使得用户可以即时看到调整和编辑的效果,加快创作流程。在 WorldEngine 的加持下,用户还可以轻松构建 3D 虚拟影棚,实现虚拟拍摄的梦幻体验。

人物表演是短剧画面呈现的核心环节之一。因此,在 AI 人物表演方面,昆仑万维 SkyReels 团队专门研发了 ActorShow 人物生成模型,使得 SkyReels 所生成的 AI 人物有着更强的口型表情和肢体动作的可控生成能力,角色呈现更自然。

而针对视频后期合成中遇到的光照差异、风格差异等需求,昆仑万维 SkyReels 团队单独训练了专门的融合生成模型,使得图层融合后的视频呈现良好的一致性。

昆仑万维 AI 短剧平台 SkyReels 的推出,标志着全球 AI 短剧创作的一次技术飞跃,它将对视频内容创作流程进行全面颠覆,让创作者从繁琐、复杂的制作流程中解放出来,专注于创意实现与灵感表达,让 " 一人一剧 " 的梦想成为现实。

SkyReels AI 短剧平台不仅为专业内容创作者提供了强大的创作工具,更极大地降低了 AI 短剧创作的门槛,使得非专业用户也能轻松上手。这一革命性的工具有望带来 AI 短剧用户生成内容(UGC)与专业用户生成内容(PUGC)的爆发式增长,为短剧内容生态注入前所未有的活力,推动短剧内容创作与消费市场的进一步快速增长。一个由 AI 技术驱动的短剧创作与消费的时代,正在到来。

昆仑万维始终致力于通过先进的 AIGC 技术,为全球内容创作者提供更加智能、高效、个性化的工具。在 "All in AGI 与 AIGC" 战略的推动下,昆仑万维始终以 " 实现通用人工智能,让每个人更好地塑造和表达自我 " 为使命。未来,昆仑万维将持续创新,通过对全球市场的深入开拓,为用户提供优质的 AIGC 产品与服务。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

逗玩.AI

逗玩.AI

ZAKER旗下AI智能创作平台

相关标签

ai 昆仑万维 喜剧 物理 自动化
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论