引入

 

这是一段特效短片，虽然只有四秒，但它在推特上斩获了十多万浏览。

提问，这条视频是用什么做的？

 

1.Unity

2.Houdini

3.illusion

 

好，现在公布答案。

 

这是由ModelScope上的开源模型I2VGen-XL制作的。

魔搭亲自问了作者，这个视频从无到有，只花了两分钟。

 

哎，肯定有人说，数字生命卡兹克做流浪地球的宣传片，就生成了几百个镜头，还有前期的脚本筹划，ai做视频太复杂啦。

 

别急！我们不光开源了I2VGen-XL，还专门打造了一个集合工具！

github开源地址：https://github.com/modelscope/motionagent

能一键生成剧本、剧照、视频、音乐的应用页面。

 

 

框架介绍

 

这个集合工具集成了大语言模型，文本生成图片模型，视频生成模型，音乐生成模型。你只需要贡献一个脑洞和创造力，下面的就都交给AI吧。

 

其中大语言模型是通义千问-7B-chat，你是不是，有想象力，但是很难表达？从来没有创作过剧本？中文很好，但是很多开源的文生图，文生视频模型目前还是基于英文的prompt？没关系，通义千问-7B-Chat，通过大模型的协作创作力，中英双语的多语言能力，你只需要简单描述希望写的剧本内容，它就可以帮你创作剧本，做好分镜，写好提示词，妥妥的编剧小能手。

 

其中文本生成图片，用的是stability最新的SDXL模型，它集高质量的文本到图像模型，一流的真实感和自由的风格定义，以及高稳定性为一体，是我们集合工具中最佳剧照产出者。

 

核心模型就是I2VGen-XL啦，他包含了一个图片生成视频模型和一个高清视频生成模型，可以配合prompt把一幅图片变成一个四秒的短片，且毫无违和感，很震撼。

最后我们还用了音乐生成模型，给定文字描述就可以生成想要各种音乐。

 

集成了通义千问，SDXL，I2VGen-XL等开源模型，先看一个自己生成的案例：

视频链接：https://live.csdn.net/v/324732

 

 

 

操作流程

 

剧本生成

我们使用的通义千问-7B的模型，利用大模型的创作能力剧本生成，打造世界观和讲故事是创作者最核心的能力，创作者输入主题，背景，剧情推动的幕数，以及剧情要求，结合通义千问-7B大语言模型生成高质量的内容。

 

 

剧照生成

剧照生成，输入剧本，大模型可以结合剧本内容，生成剧照描述，并转化为文生图模型的提示词prompt。同时可以选择合适的风格和参数，就可以生成剧照。

 

 

视频生成

视频生成，上传剧照，点击生成，得到满意的视频框架，再补充对视频内容的文本描述，然后生成高分辨率的视频。

 

音乐生成

音乐生成，音乐会极大影响观众如何感知视觉内容，并激发另一种浸入内容的感官体验。剪辑时需要搭配上视频和音乐的节拍，能够帮助用户整理预告片中表达的思路和故事线。

 

 

ENDING

 

以上，就是使用MotionAgent来生成视频的方法。只要告诉AI你的灵感火花，它就能像这样一站式生成视频，将你的想法轻松变成现实。在未来，视频的生成效果还将继续优化，创作能发挥的空间将越来越广阔。

 

人人都能成为艺术家即将到来，快来阿里云生成你的第一部AIGC影片吧！

 

欢迎大家来使用：https://github.com/modelscope/motionagent