Open source models are crazy. Alibaba just dropped Wan 2.2 Animate, a new model that can animate any character based on a simple souce image. It handles facial expressions and body movements like no other model. 10 insane examples: (sound on)
WAN 2.2 Animate - AI角色動畫生成與影片角色替換
WAN 2.2 Animate是阿里巴巴革命性的140億參數AI模型,專注於角色動畫生成和影片角色替換。該模型基於先進的混合專家(MoE)架構,在Apache 2.0許可下,擅長兩項核心能力:使用參考動作為靜態角色照片製作動畫,以及無縫替換現有影片中的角色。憑藉卓越的時序穩定性、自然表情保留和一致的光照適應,WAN 2.2 Animate為角色動畫生成和角色替換提供電影級質量的結果。
角色照片*
上傳或選擇檔案
動作參考影片*
上傳或選擇檔案
生成結果將在此顯示
提交任務後，AI 生成的內容將在這裏展示
公開
0 / 8192
Wan 2.2 Animate YouTube 影片
觀看展示 Wan 2.2 Animate 強大 AI 角色動畫和影片轉換能力的演示和教學
WAN 2.2 Animate 在 X 上的熱門評價
看看大家在 X (Twitter) 上對 WAN 2.2 Animate 的評價
Wan 2.2 Animate is CRAZY and it actually excels at 3 things from my tests: 1. Lip syncing (so far the best open source I have seen, beating Runway Act2) 2. Consistent lighting & shadows with color tone replication when you swap a character 3. It keeps the replacement character Show more
Wan 2.2 Animate Lip syncing Test. Definitely way better than Runway Act2 in my opinion. Takes about 8 minutes for a HD video to be processed at 720p vertical (reels style)
You've probably seen viral character swaps from Wan 2.2 Animate. But now you can swap the character AND background using a reference video + new image. I turned myself into a YouTuber in Paris. How it works 👇
New tool to swap characters in a video: Wan 2.2 Animate Spent a few hours testing it out this weekend and have some thoughts on strengths + weaknesses. It's particularly strong at videos like this where you need to replicate lip sync and body movement. Other tips ⬇️
Wan 2.2 Animate is actually Crazy!! You can replace characters from a simple source image. No need to first frame anymore. It handles facial expressions and body movements like no other model I have ever seen. It is open source and free to use, that's the crazy part!
pretty much the end for dancing influencers lol… wan 2.2 animate can not only copy crazy camera moves, but it literally mimics body moves and.. even facial expressions accurately like honestly… can you even tell which one’s the real video?
omg... it's over... Hollywood has officially been left behind you can swap out any actor from any film in one click using Higgsfield’s Wan Replace, it even works with intense camera motion now, anyone can achieve Hollywood level motion control using AI here’s how to do it:
Just tried Wan2.2-Animate... and HOLY SMOKES, it's PERFECT! 🤯 @Alibaba_Wan
What used to take hours in After Effects now takes just ONE prompt. Nano Banana, Seedream 4, Wan 2.2, Runway Aleph et al are pioneering instruction-based editing -- collapsing complex VFX pipelines into a single, implicit step. Here's everything you need to know in 10 mins: Show more
什麼是 WAN 2.2 Animate
阿里巴巴先進的140億參數角色動畫AI模型
140億活躍270億 MoE 中的參數
2種模式動畫和替換
120秒最長時長
Apache 2.0商業許可
WAN 2.2 Animate 在270億 MoE 架構中具有140億活躍參數，通過雙模式功能使靜態角色照片栩栩如生。
140億活躍270億 MoE 中的參數
2種模式動畫和替換
120秒最長時長
Apache 2.0商業許可
什麼是 WAN 2.2 Animate
阿里巴巴先進的140億參數角色動畫AI模型
WAN 2.2 Animate 在270億 MoE 架構中具有140億活躍參數，通過雙模式功能使靜態角色照片栩栩如生。
WAN 2.2 Animate 的強大功能
探索使 WAN 2.2 Animate 在角色動畫方面表現卓越的先進能力
140億參數MoE架構
基於先進的混合專家設計,總參數270億但每步僅啟用140億參數,在保持高效推理性能和GPU記憶體最佳化的同時提供卓越的動畫質量。
雙重動畫模式
支援動畫模式(使用參考動作使靜態照片栩栩如生)和替換模式(無縫交換影片中的角色,同時保留原始場景光照和運動動態)。
整體動作複製
精確捕獲並傳輸參考影片中的完整身體動作和面部表情,確保自然逼真的角色動畫,對細微手勢細節和情感表達有卓越的關注。
高時序穩定性
先進的幀一致性算法確保在擴展序列中實現平滑、無閃爍的動畫,即使在具有挑戰性運動模式的複雜動態場景中也能保持連貫的角色外觀和運動流暢性。
自然表情保留
智慧面部特徵跟踪維持真實的情感表達和微動作,提供栩栩如生的角色動畫,保留人類表情的細微細節,包括眼部動作和唇部同步。
自適應光照集成
替換角色時自動分析和複製場景光照條件,確保無縫的視覺集成,具有與原始影片環境完美匹配的一致色調、陰影和高光。
Apache 2.0開源
在寬鬆的Apache 2.0許可下發布,支援完全商業使用、修改和分發權利。訪問完整的模型權重和訓練方法,用於自定義實現和研究應用。
靈活的解析度支援
生成多種解析度的動畫,包括480p和720p選項,支援長達120秒的影片,為各種用例和平台要求提供適應性輸出質量。
WAN 2.2 Animate採用先進的混合專家(MoE)架構,總參數270億但每個推理步驟僅啟用140億參數。該設計使用雙專家系統:高噪聲專家處理早期去噪階段,專注於整體佈局,而低噪聲專家在後期階段精煉影片細節。這種方法在保持高效GPU記憶體使用和與標準140億模型相當的推理性能的同時,提供卓越的動畫質量。
動畫模式通過將參考影片中的動作和表情應用到主體上,使靜態角色照片栩栩如生,創建新的動畫鏡頭。替換模式獲取現有影片並交換原始角色為新角色,同時精確保留場景的光照條件、色調、陰影和原始運動動態。兩種模式都支援最高720p的解析度和長達120秒的影片。
模型接受PNG或JPG格式的角色照片(為獲得最佳效果應避免使用WEBP)。參考影片應為MP4、MOV或AVI格式,文件大小最多500MB。為獲得最佳效果,請確保輸入影像和參考影片具有匹配的構圖、一致的寬高比和相似的相機角度。模型支援480p和720p輸出解析度。
該模型實現了先進的幀一致性算法,在擴展序列中保持平滑、無閃爍的動畫。它通過在整個生成的影片中保持連貫的角色外觀和運動流,即使在具有挑戰性運動模式的複雜動態場景中也能實現高時序穩定性。這對於需要在整個影片持續時間內保持一致質量的專業應用尤為重要。
是的,WAN 2.2 Animate在Apache 2.0許可下發布,這是一個寬鬆的開源許可證,允許完全商業使用、修改和分發權利。用戶可以訪問完整的模型權重和訓練方法,用於自定義實現、研究應用和生產部署,無需許可限制或版稅費用。
雖然WAN 2.2 Animate提供令人印象深刻的功能,但它有一些限制:最大輸出解析度目前為720p(非4K),影片長度上限為120秒,最佳結果需要仔細匹配輸入影像和參考影片的構圖。當輸入之間的寬高比一致時,模型效果最佳,複雜的光照場景或極端運動模式偶爾可能產生不太一致的結果。
如何使用 WAN 2.2 Animate
使用 WAN 2.2 Animate 創建角色動畫的分步指南
step1