Make-Your-Anchor是一个基于扩散模型的2D虚拟形象生成框架。它可以从一段1分钟左右的视频素材中自动生成具有精确上身和手部动作的主播风格视频。系统采用了结构引导的扩散模型来渲染3D网格状态,将其呈现为人物外观。同时,通过两阶段训练策略,成功将运动与特定外观相绑定,实现了任意长度的时序视频生成。
1. 仅需1分钟视频素材即可生成具有主播风格的视频;2. 精确重现上身和手部动作;3. 结构引导的扩散模型将3D网格渲染为人物外观;4. 两阶段训练策略将运动与外观绑定;5. 3D U-Net和批重叠时序去噪实现任意长度视频生成;6. 特定身份面部增强模块提升面部区域视觉质量。
1. 视频生成高效便捷,仅需极短时间的视频素材;2. 精准捕捉上身和手部动作,呈现出更生动的虚拟形象;3. 通过结构引导的扩散模型以及两阶段训练策略,确保视觉质量、时序一致性和身份保真度方面均优于现有技术。
可应用于视频直播、虚拟主播、动画角色等场景,适用于需要生成具有全身动作的2D虚拟视频形象的场合。
1. 高效实现视频内容生成,节省用户创作时间和成本;2. 提供更加逼真、生动的虚拟形象,增强视频内容的吸引力和趣味性。
由于面部增强模块的引入,可能对硬件设备性能有一定要求,需要在设备兼容性上进行进一步考量。