Open source models are crazy. Alibaba just dropped Wan 2.2 Animate, a new model that can animate any character based on a simple souce image. It handles facial expressions and body movements like no other model. 10 insane examples: (sound on)
WAN 2.2 Animate - AI角色动画生成与视频角色替换
WAN 2.2 Animate是阿里巴巴革命性的140亿参数AI模型,专注于角色动画生成和视频角色替换。该模型基于先进的混合专家(MoE)架构,在Apache 2.0许可下,擅长两项核心能力:使用参考动作为静态角色照片制作动画,以及无缝替换现有视频中的角色。凭借卓越的时序稳定性、自然表情保留和一致的光照适应,WAN 2.2 Animate为角色动画生成和角色替换提供电影级质量的结果。
角色照片*
上传或选择文件
动作参考视频*
上传或选择文件
生成结果将在此显示
提交任务后，AI 生成的内容将在这里展示
私密
0 / 8192
Wan 2.2 Animate YouTube 视频
观看展示 Wan 2.2 Animate 强大 AI 角色动画和视频转换能力的演示和教程
WAN 2.2 Animate 在 X 上的热门评价
看看大家在 X (Twitter) 上对 WAN 2.2 Animate 的评价
Wan 2.2 Animate is CRAZY and it actually excels at 3 things from my tests: 1. Lip syncing (so far the best open source I have seen, beating Runway Act2) 2. Consistent lighting & shadows with color tone replication when you swap a character 3. It keeps the replacement character
Wan 2.2 Animate Lip syncing Test. Definitely way better than Runway Act2 in my opinion. Takes about 8 minutes for a HD video to be processed at 720p vertical (reels style)
You've probably seen viral character swaps from Wan 2.2 Animate. But now you can swap the character AND background using a reference video + new image. I turned myself into a YouTuber in Paris. How it works 👇
New tool to swap characters in a video: Wan 2.2 Animate Spent a few hours testing it out this weekend and have some thoughts on strengths + weaknesses. It's particularly strong at videos like this where you need to replicate lip sync and body movement. Other tips ⬇️
Wan 2.2 Animate is actually Crazy!! You can replace characters from a simple source image. No need to first frame anymore. It handles facial expressions and body movements like no other model I have ever seen. It is open source and free to use, that's the crazy part!
pretty much the end for dancing influencers lol… wan 2.2 animate can not only copy crazy camera moves, but it literally mimics body moves and.. even facial expressions accurately like honestly… can you even tell which one’s the real video?
omg... it's over... Hollywood has officially been left behind you can swap out any actor from any film in one click using Higgsfield’s Wan Replace, it even works with intense camera motion now, anyone can achieve Hollywood level motion control using AI here’s how to do it:
Just tried Wan2.2-Animate... and HOLY SMOKES, it's PERFECT! 🤯 @Alibaba_Wan
This is crazy... WAN 2.2 Animate is now LIVE on Higgsfield! Perfect lip-sync, lifelike facial expressions, and natural body movements unlike anything before. You can try it here for free:👇
What used to take hours in After Effects now takes just ONE prompt. Nano Banana, Seedream 4, Wan 2.2, Runway Aleph et al are pioneering instruction-based editing -- collapsing complex VFX pipelines into a single, implicit step. Here's everything you need to know in 10 mins:
什么是 WAN 2.2 Animate
阿里巴巴先进的140亿参数角色动画AI模型
WAN 2.2 Animate是阿里巴巴突破性的角色动画模型,在总计270亿参数的先进混合专家(MoE)架构中具有140亿活跃参数。该模型基于经过验证的Wan-I2V基础构建,引入了革命性的双模式功能:动画模式通过精确复制参考视频中的动作和表情使静态角色照片栩栩如生,而替换模式通过在保持场景光照和色彩一致性的同时交换主体,将动画角色无缝集成到现有镜头中。该模型擅长整体动作捕捉,不仅传输基本动作,还捕捉微妙的面部表情、眼部动作和微手势,为AI生成的角色动画带来前所未有的真实感。具有高时序稳定性,确保长达120秒的无闪烁视频输出,支持多种分辨率(480p、720p),并在支持商业使用的宽松Apache 2.0许可下发布,WAN 2.2 Animate代表了可访问的、可用于生产的角色动画技术的重大进步。
WAN 2.2 Animate是阿里巴巴突破性的角色动画模型,在总计270亿参数的先进混合专家(MoE)架构中具有140亿活跃参数。该模型基于经过验证的Wan-I2V基础构建,引入了革命性的双模式功能:动画模式通过精确复制参考视频中的动作和表情使静态角色照片栩栩如生,而替换模式通过在保持场景光照和色彩一致性的同时交换主体,将动画角色无缝集成到现有镜头中。该模型擅长整体动作捕捉,不仅传输基本动作,还捕捉微妙的面部表情、眼部动作和微手势,为AI生成的角色动画带来前所未有的真实感。具有高时序稳定性,确保长达120秒的无闪烁视频输出,支持多种分辨率(480p、720p),并在支持商业使用的宽松Apache 2.0许可下发布,WAN 2.2 Animate代表了可访问的、可用于生产的角色动画技术的重大进步。
什么是 WAN 2.2 Animate
阿里巴巴先进的140亿参数角色动画AI模型
WAN 2.2 Animate 的强大功能
探索使 WAN 2.2 Animate 在角色动画方面表现卓越的先进能力
140亿参数MoE架构
基于先进的混合专家设计,总参数270亿但每步仅激活140亿参数,在保持高效推理性能和GPU内存优化的同时提供卓越的动画质量。
双重动画模式
支持动画模式(使用参考动作使静态照片栩栩如生)和替换模式(无缝交换视频中的角色,同时保留原始场景光照和运动动态)。
整体动作复制
精确捕获并传输参考视频中的完整身体动作和面部表情,确保自然逼真的角色动画,对细微手势细节和情感表达有卓越的关注。
高时序稳定性
先进的帧一致性算法确保在扩展序列中实现平滑、无闪烁的动画,即使在具有挑战性运动模式的复杂动态场景中也能保持连贯的角色外观和运动流畅性。
自然表情保留
智能面部特征跟踪维持真实的情感表达和微动作,提供栩栩如生的角色动画,保留人类表情的细微细节,包括眼部动作和唇部同步。
自适应光照集成
替换角色时自动分析和复制场景光照条件,确保无缝的视觉集成,具有与原始视频环境完美匹配的一致色调、阴影和高光。
Apache 2.0开源
在宽松的Apache 2.0许可下发布,支持完全商业使用、修改和分发权利。访问完整的模型权重和训练方法,用于自定义实现和研究应用。
灵活的分辨率支持
生成多种分辨率的动画,包括480p和720p选项,支持长达120秒的视频,为各种用例和平台要求提供适应性输出质量。
常见问题
关于 WAN 2.2 Animate 的常见问题
WAN 2.2 Animate采用先进的混合专家(MoE)架构,总参数270亿但每个推理步骤仅激活140亿参数。该设计使用双专家系统:高噪声专家处理早期去噪阶段,专注于整体布局,而低噪声专家在后期阶段精炼视频细节。这种方法在保持高效GPU内存使用和与标准140亿模型相当的推理性能的同时,提供卓越的动画质量。
动画模式通过将参考视频中的动作和表情应用到主体上,使静态角色照片栩栩如生,创建新的动画镜头。替换模式获取现有视频并交换原始角色为新角色,同时精确保留场景的光照条件、色调、阴影和原始运动动态。两种模式都支持最高720p的分辨率和长达120秒的视频。
模型接受PNG或JPG格式的角色照片(为获得最佳效果应避免使用WEBP)。参考视频应为MP4、MOV或AVI格式,文件大小最多500MB。为获得最佳效果,请确保输入图像和参考视频具有匹配的构图、一致的宽高比和相似的相机角度。模型支持480p和720p输出分辨率。
该模型实现了先进的帧一致性算法,在扩展序列中保持平滑、无闪烁的动画。它通过在整个生成的视频中保持连贯的角色外观和运动流,即使在具有挑战性运动模式的复杂动态场景中也能实现高时序稳定性。这对于需要在整个视频持续时间内保持一致质量的专业应用尤为重要。
是的,WAN 2.2 Animate在Apache 2.0许可下发布,这是一个宽松的开源许可证,允许完全商业使用、修改和分发权利。用户可以访问完整的模型权重和训练方法,用于自定义实现、研究应用和生产部署,无需许可限制或版税费用。
虽然WAN 2.2 Animate提供令人印象深刻的功能,但它有一些限制:最大输出分辨率目前为720p(非4K),视频长度上限为120秒,最佳结果需要仔细匹配输入图像和参考视频的构图。当输入之间的宽高比一致时,模型效果最佳,复杂的光照场景或极端运动模式偶尔可能产生不太一致的结果。
如何使用 WAN 2.2 Animate
使用 WAN 2.2 Animate 创建角色动画的分步指南
step1
准备角色照片和参考视频
选择动画模式并配置设置
生成并下载动画视频
价格
选择适合您的计划。没有隐藏费用，没有意外。
年付账单，享受50%折扣