Stability AI最新推出Stable Video Diffusion

11 月 23 日消息，Stability AI 发布了最新的 AI 模型 ——Stable Video Diffusion。

这款模型能够通过现有图片生成视频，是基于之前发布的 Stable Diffusion 文本转图片模型的延伸，也是目前为止市面上少有的能够生成视频的 AI 模型之一。

然而，该模型目前处于“研究预览”阶段，使用者必须同意特定的使用条款，明确规定了其预期应用领域，如“教育或创意工具”等，同时禁止用于“真实事件或人物的表现”。

Stable Video Diffusion提供两个模型，分别为SVD和SVD-XT。其中，SVD将静止图像转换为14帧的576x1024视频，而SVD-XT在相同的架构下将帧数提升至24。这两者都能以每秒3到30帧的速度生成视频。白皮书显示，这两个模型最初在数百万个视频的数据集上进行训练，然后在数十万到百万数量级的较小数据集上进行“微调”。

模型生成的四秒视频片段质量相当高，被认为在某些方面可以与Meta、Google以及其他AI初创公司的视频生成模型相媲美。然而，Stable Video Diffusion存在一些局限性，例如不能生成没有运动或慢速摄像机移动的视频，无法通过文本控制，不能呈现文本(至少不能清晰可辨认)，也不能一致地生成面部和人物。

视频生成效果展示

尽管存在这些局限性，Stability AI指出这些模型是相当可扩展的，并可适应生成物体的360度视图等用例。公司计划推出“一系列”建立在SVD和SVD-XT基础上并扩展其功能的模型，以及一款将文本提示引入网络模型的“文本到视频”工具。最终目标是商业化，认为Stable Video Diffusion在“广告、教育、娱乐等领域都具有潜在应用”。