引言

日前，兵马俑跳科目三、奶牛猫跳洗澡舞等趣味和魔性的短视频在社交媒体上出圈，背后“一张照片来跳舞”的技术来自阿里通义实验室在可控动画生成领域的一项研究工作——AnimateAnyone。

 

AnimateAnyone是一种能够将角色图像转换为所需姿势序列控制的动画视频的方法，继承了diffusion模型的网络设计和预训练权重，并修改了UNet以适应多帧输入。为了解决保持外观一致性的挑战，引入了referenceNet，专门设计为UNet结构来捕获参考图像的空间细节。

pose sequence使用pose guide进行编码，并与多帧噪声融合，然后由去噪UNet进行去噪处理来生成视频，去噪的UNet模块中计算block由空间attention，cross-attention，以及时间attention组成，如右侧的虚线框。首先通过ReferenceNet提取细节特征并用于空间注意力，再通过CLIP图像编码器提取语义特征用于cross-attention，时间attention在时间维度上运作。最后通过VAE解码器解码为视频片段。

论文地址：

https://arxiv.org/pdf/2311.17117.pdf

 

社区复现和使用方式

 

社区开发者使用SVD复刻了AnimateAnyone，基于SVD的pipeline，同时使用simswap提高面部质量和时间一致性，并发布了V1版本的推理代码和模型，模型checkpoint可以在魔搭社区下载。

开源代码：

https://github.com/bendanzzc/AnimateAnyone-reproduction

开源模型：

https://modelscope.cn/models/lightnessly/animate-anyone-v1/summary

1.下载AnimateAnyone-reproduction代码

# 使用modelscope官方镜像环境
git clone https://github.com/bendanzzc/AnimateAnyone-reproduction.git

2.下载相关模型

2.1 下载SVD/svd_14模型

git clone https://www.modelscope.cn/AI-ModelScope/stable-video-diffusion-img2vid-xt.git

 

2.2 下载AnimateAnyone复现相关模型

git clone https://www.modelscope.cn/lightnessly/animate-anyone-v1.git

3.替换相关文件

下载AnimateAnyone复现相关模型和SVD/svd_14模型后，将stable-video-diffusion-img2vid-xt/unet下的文件删除，替换为animate-anyone-v1/unet路径下的文件

 

4.替换推理代码相关参数

4.1 替换SVD为本地下载的模型路径

4.2 将controlnet的路径替换为AnimateAnyone复现相关模型下controlnet文件的路径，通常为animate-anyone-v1/controlnet

 

5.其他参数

6.执行推理

运行AnimateAnyone-reproduction代码中的run_inference_release.py

 

测试效果演示：

 

显存要求：

 

如果想体验原版AnimateAnyone，可下载通义千问app，输入“全民舞王” ，产品端提供了更丰富的预设舞蹈模板、更长时长的生成效果。

 

魔搭社区积极鼓励开发者参照相关论文进行实践复现，并乐于分享他们的checkpoint文件与源代码，以更有力地推动人工智能技术的持续发展与进步。

 

投稿邮箱：

modelscopesubmit@list.alibaba-inc.com