Open-Sora视频生成开源项目 VS VideoPoet - 语言模型驱动的无限视频生成

VideoPoet是由Google Research开发的一项开创性技术，利用大型语言模型以零样本方式生成高质量视频。这种创新的建模方法允许将任何自回归语言模型或大型语言模型（LLM）转化为强大的视频生成器。借助VideoPoet，视频生成的潜力是无限的。通过利用语言模型的能力，它能够基于文本提示创建视频，无需显式的训练数据。这意味着VideoPoet可以生成涵盖各种主题和场景的视频，甚至是它以前从未见过的。VideoPoet的强大之处在于其无缝集成多种模态，包括文本、图像、音频和视频。它采用了预训练的MAGVIT V2视频标记器和SoundStream音频标记器，将视频、图像和音频剪辑转化为离散代码序列。然后，这些代码由自回归语言模型用于预测序列中的下一个视频或音频标记，从而生成高度逼真且连贯的视频。为展示VideoPoet的能力，Google Research制作了一部短片，其中包含由该模型生成的各种视频剪辑。通过提供一系列文本提示，呈现了一个有关一只旅行浣熊的引人入胜的故事。生成的剪辑被无缝拼接在一起，呈现出一部视觉上令人惊叹且引人入胜的短片。有关VideoPoet的更多信息以及其他示例，请访问Google Research - VideoPoet。