查看原文
其他

免费且开源!字节跳动一款AI产品在海外火了,只需一张照片、一组动作即可让人物舞起来……

袁博 AI先锋官 2024-01-19

作者袁博

编辑|六耳

来源AI先锋官


  先锋官有话说:

产品名称: MagicAnimate

总体评价:  ★★★☆☆

     易用性:  ★★★☆☆

     功能性:  ★★★☆☆

     创新性:  ★★☆☆☆

推荐功能:  让你照片里的人物动起来。

你没有看错,蒙娜丽莎正在跑步。


这是如何制作的呢?我们这就说说近期在海外着实有点热的AI视频应用——MagicAnimate。


MagicAnimate是一款由新加坡国立大学和字节跳动联合推出的“人体图像动画生成器”。只需要一张照片加一段动作,它就可以将两者结合,让图片里的人物动起来,并且它还支持多人照片生成视频。

它是一款使用扩散模型实现的时域一致的人体图像动画工具, 它可以通过对人体图像进行扩散模型的运算,实现高质量、自然流畅的人体动画效果。MagicAnimate具有高度的可控性和灵活性,可以通过微调参数来实现不同的动画效果。它适用于人体动画创作、虚拟角色设计等领域。

下面是官方发布的演示视频。



值得注意的是,字节直接开源了该项目,那MagicAnimate在哪里可以体验呢?

下面就给大家带来MagicAnimate介绍和免费的下载地址。项目地址:https://github.com/magic-research/magic-animate,安装简便,仅需Python(3.8以上版本)、CUDA(11.3以上版本)和FFmpeg,可通过conda或pip安装依赖项。当然,用户也可以直接在网页上进行体验。

接下来,小编就带大家使用网页版实际体验一下吧

首先,打开网址(链接直达:https://huggingface.co/spaces/zcxu-eric/magicanimate),它的界面非常简洁,当然它的使用方法也是非常简单。


第一步,上传参考图片:点击上传你想要制作动画的参考图片。

第二步,上传动作动画:点击上传所需要的动画视频效果,需要注意的是,上传的视频只支持5秒以内。

第三步,调节数据,随机种子:给生成视频提供随机性,一般不用调整;采样步骤:默认25;指导尺度:跟AI绘画类似,即图片和骨骼动画的近似程度,过高则更接近骨骼动画,但可能会丢失图片的特质,建议就默认7.5即可。

一切准备完毕后,点击“Animate”即可生成。在网页端制作不是一般的慢!在这里小编先使用页面的下方有5个官方案例作为演示,小编选择了第五个双人的视频。


可以看到,虽然生成的动作上没有什么问题,但是面部和手部问题还是挺大。

在应用方面,MagicAnimate可以为油画和电影角色等未知领域图像制作跑步或做瑜伽的动画;将MagicAnimate与DALLE-3生成的参考图像结合,制作各种动作动画。它还可以根据指定运动,为多个人物制作动画。


总结:


易用性上来说,MagicAnimate的使用方法非常简单,并且免费且开源,只需要上传一张照片和一组动作即可让照片中的人物动起来,只不过在网页端上生成的速度实在是一言难尽,真的是太慢了。

创新性和功能性上来说,MagicAnimate它提高了时间一致性,忠实地保留参考图像,并提高动画的逼真度。它的主要特点有:无需关键帧、高保真度、高效性。它只需要一个图像,可以实现高质量、高保真、高一致性的人像动画效果,只不过生成后的视频人物面部和手部问题还是挺大。


阿里也有一款相似的产品“Animate Anyone”,与它相比 MagicAnimate画面质量,人物一致性上、手部和面部动作还是差了一些,但是MagicAnimate支持多人。

 .END.

扫码邀请进群,我们带你一起来玩转ChatGPT、GPT-4、文心一言、通义千问、讯飞星火等AI大模型,顺便学一些AI搞钱技能。



往期文章回顾




继续滑动看下一个

免费且开源!字节跳动一款AI产品在海外火了,只需一张照片、一组动作即可让人物舞起来……

袁博 AI先锋官
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存