Open source models are crazy. Alibaba just dropped Wan 2.2 Animate, a new model that can animate any character based on a simple souce image. It handles facial expressions and body movements like no other model. 10 insane examples: (sound on)
WAN 2.2 Animate - AI角色动画生成与视频角色替换
WAN 2.2 Animate是阿里巴巴革命性的140亿参数AI模型,专注于角色动画生成和视频角色替换。该模型基于先进的混合专家(MoE)架构,在Apache 2.0许可下,擅长两项核心能力:使用参考动作为静态角色照片制作动画,以及无缝替换现有视频中的角色。凭借卓越的时序稳定性、自然表情保留和一致的光照适应,WAN 2.2 Animate为角色动画生成和角色替换提供电影级质量的结果。
角色照片*
上传或选择文件
动作参考视频*
上传或选择文件
生成结果将在此显示
提交任务后，AI 生成的内容将在这里展示
公开
0 / 8192
Wan 2.2 Animate YouTube 视频
观看展示 Wan 2.2 Animate 强大 AI 角色动画和视频转换能力的演示和教程
WAN 2.2 Animate 在 X 上的热门评价
看看大家在 X (Twitter) 上对 WAN 2.2 Animate 的评价
Wan 2.2 Animate is CRAZY and it actually excels at 3 things from my tests: 1. Lip syncing (so far the best open source I have seen, beating Runway Act2) 2. Consistent lighting & shadows with color tone replication when you swap a character 3. It keeps the replacement character Show more
Wan 2.2 Animate Lip syncing Test. Definitely way better than Runway Act2 in my opinion. Takes about 8 minutes for a HD video to be processed at 720p vertical (reels style)
You've probably seen viral character swaps from Wan 2.2 Animate. But now you can swap the character AND background using a reference video + new image. I turned myself into a YouTuber in Paris. How it works 👇
New tool to swap characters in a video: Wan 2.2 Animate Spent a few hours testing it out this weekend and have some thoughts on strengths + weaknesses. It's particularly strong at videos like this where you need to replicate lip sync and body movement. Other tips ⬇️
Wan 2.2 Animate is actually Crazy!! You can replace characters from a simple source image. No need to first frame anymore. It handles facial expressions and body movements like no other model I have ever seen. It is open source and free to use, that's the crazy part!
Just tried Wan2.2-Animate... and HOLY SMOKES, it's PERFECT! 🤯 @Alibaba_Wan
What used to take hours in After Effects now takes just ONE prompt. Nano Banana, Seedream 4, Wan 2.2, Runway Aleph et al are pioneering instruction-based editing -- collapsing complex VFX pipelines into a single, implicit step. Here's everything you need to know in 10 mins: Show more
什么是 WAN 2.2 Animate
阿里巴巴先进的140亿参数角色动画AI模型
140亿活跃270亿 MoE 中的参数
2种模式动画和替换
120秒最长时长
Apache 2.0商业许可
WAN 2.2 Animate 在270亿 MoE 架构中具有140亿活跃参数，通过双模式功能使静态角色照片栩栩如生。
140亿活跃270亿 MoE 中的参数
2种模式动画和替换
120秒最长时长
Apache 2.0商业许可
什么是 WAN 2.2 Animate
阿里巴巴先进的140亿参数角色动画AI模型
WAN 2.2 Animate 在270亿 MoE 架构中具有140亿活跃参数，通过双模式功能使静态角色照片栩栩如生。
WAN 2.2 Animate 的强大功能
探索使 WAN 2.2 Animate 在角色动画方面表现卓越的先进能力
140亿参数MoE架构
基于先进的混合专家设计,总参数270亿但每步仅啟用140亿参数,在保持高效推理性能和GPU内存优化的同时提供卓越的动画质量。
双重动画模式
支援动画模式(使用参考动作使静态照片栩栩如生)和替换模式(无缝交换视频中的角色,同时保留原始场景光照和运动动态)。
整体动作复制
精确捕获并传输参考视频中的完整身体动作和面部表情,确保自然逼真的角色动画,对细微手势细节和情感表达有卓越的关注。
高时序稳定性
先进的帧一致性算法确保在扩展序列中实现平滑、无闪烁的动画,即使在具有挑战性运动模式的复杂动态场景中也能保持连贯的角色外观和运动流畅性。
自然表情保留
智慧面部特征跟踪维持真实的情感表达和微动作,提供栩栩如生的角色动画,保留人类表情的细微细节,包括眼部动作和唇部同步。
自适应光照集成
替换角色时自动分析和复制场景光照条件,确保无缝的视觉集成,具有与原始视频环境完美匹配的一致色调、阴影和高光。
Apache 2.0开源
在宽松的Apache 2.0许可下发布,支援完全商业使用、修改和分发权利。访问完整的模型权重和训练方法,用于自定义实现和研究应用。
灵活的解析度支援
生成多种解析度的动画,包括480p和720p选项,支援长达120秒的视频,为各种用例和平台要求提供适应性输出质量。
WAN 2.2 Animate采用先进的混合专家(MoE)架构,总参数270亿但每个推理步骤仅啟用140亿参数。该设计使用双专家系统:高噪声专家处理早期去噪阶段,专注于整体布局,而低噪声专家在后期阶段精炼视频细节。这种方法在保持高效GPU内存使用和与标准140亿模型相当的推理性能的同时,提供卓越的动画质量。
动画模式通过将参考视频中的动作和表情应用到主体上,使静态角色照片栩栩如生,创建新的动画镜头。替换模式获取现有视频并交换原始角色为新角色,同时精确保留场景的光照条件、色调、阴影和原始运动动态。两种模式都支援最高720p的解析度和长达120秒的视频。
模型接受PNG或JPG格式的角色照片(为获得最佳效果应避免使用WEBP)。参考视频应为MP4、MOV或AVI格式,文件大小最多500MB。为获得最佳效果,请确保输入图像和参考视频具有匹配的构图、一致的宽高比和相似的相机角度。模型支援480p和720p输出解析度。
该模型实现了先进的帧一致性算法,在扩展序列中保持平滑、无闪烁的动画。它通过在整个生成的视频中保持连贯的角色外观和运动流,即使在具有挑战性运动模式的复杂动态场景中也能实现高时序稳定性。这对于需要在整个视频持续时间内保持一致质量的专业应用尤为重要。
是的,WAN 2.2 Animate在Apache 2.0许可下发布,这是一个宽松的开源许可证,允许完全商业使用、修改和分发权利。用户可以访问完整的模型权重和训练方法,用于自定义实现、研究应用和生产部署,无需许可限制或版税费用。
虽然WAN 2.2 Animate提供令人印象深刻的功能,但它有一些限制:最大输出解析度目前为720p(非4K),视频长度上限为120秒,最佳结果需要仔细匹配输入图像和参考视频的构图。当输入之间的宽高比一致时,模型效果最佳,复杂的光照场景或极端运动模式偶尔可能产生不太一致的结果。
如何使用 WAN 2.2 Animate
使用 WAN 2.2 Animate 创建角色动画的分步指南
step1