Open source models are crazy. Alibaba just dropped Wan 2.2 Animate, a new model that can animate any character based on a simple souce image. It handles facial expressions and body movements like no other model. 10 insane examples: (sound on)
WAN 2.2 Animate - AI角色動畫生成與視頻角色替換
WAN 2.2 Animate是阿里巴巴革命性的140億參數AI模型,專注於角色動畫生成和視頻角色替換。該模型基於先進的混合專家(MoE)架構,在Apache 2.0許可下,擅長兩項核心能力:使用參考動作為靜態角色照片製作動畫,以及無縫替換現有視頻中的角色。憑藉卓越的時序穩定性、自然表情保留和一致的光照適應,WAN 2.2 Animate為角色動畫生成和角色替換提供電影級質量的結果。
角色照片*
上傳或選擇檔案
動作參考視頻*
上傳或選擇檔案
生成結果將在此顯示
提交任務後，AI 生成的內容將在這裏展示
私密
0 / 8192
Wan 2.2 Animate YouTube 視頻
觀看展示 Wan 2.2 Animate 強大 AI 角色動畫同視頻轉換能力嘅演示同教程
WAN 2.2 Animate 在 X 上的熱門評價
看看大家在 X (Twitter) 上對 WAN 2.2 Animate 的評價
Wan 2.2 Animate is CRAZY and it actually excels at 3 things from my tests: 1. Lip syncing (so far the best open source I have seen, beating Runway Act2) 2. Consistent lighting & shadows with color tone replication when you swap a character 3. It keeps the replacement character
Wan 2.2 Animate Lip syncing Test. Definitely way better than Runway Act2 in my opinion. Takes about 8 minutes for a HD video to be processed at 720p vertical (reels style)
You've probably seen viral character swaps from Wan 2.2 Animate. But now you can swap the character AND background using a reference video + new image. I turned myself into a YouTuber in Paris. How it works 👇
New tool to swap characters in a video: Wan 2.2 Animate Spent a few hours testing it out this weekend and have some thoughts on strengths + weaknesses. It's particularly strong at videos like this where you need to replicate lip sync and body movement. Other tips ⬇️
Wan 2.2 Animate is actually Crazy!! You can replace characters from a simple source image. No need to first frame anymore. It handles facial expressions and body movements like no other model I have ever seen. It is open source and free to use, that's the crazy part!
pretty much the end for dancing influencers lol… wan 2.2 animate can not only copy crazy camera moves, but it literally mimics body moves and.. even facial expressions accurately like honestly… can you even tell which one’s the real video?
omg... it's over... Hollywood has officially been left behind you can swap out any actor from any film in one click using Higgsfield’s Wan Replace, it even works with intense camera motion now, anyone can achieve Hollywood level motion control using AI here’s how to do it:
Just tried Wan2.2-Animate... and HOLY SMOKES, it's PERFECT! 🤯 @Alibaba_Wan
This is crazy... WAN 2.2 Animate is now LIVE on Higgsfield! Perfect lip-sync, lifelike facial expressions, and natural body movements unlike anything before. You can try it here for free:👇
What used to take hours in After Effects now takes just ONE prompt. Nano Banana, Seedream 4, Wan 2.2, Runway Aleph et al are pioneering instruction-based editing -- collapsing complex VFX pipelines into a single, implicit step. Here's everything you need to know in 10 mins:
什麼是 WAN 2.2 Animate
阿里巴巴先進的140億參數角色動畫AI模型
WAN 2.2 Animate是阿里巴巴突破性的角色動畫模型,在總計270億參數的先進混合專家(MoE)架構中具有140億活躍參數。該模型基於經過驗證的Wan-I2V基礎構建,引入了革命性的雙模式功能:動畫模式通過精確複製參考視頻中的動作和表情使靜態角色照片栩栩如生,而替換模式通過在保持場景光照和色彩一致性的同時交換主體,將動畫角色無縫集成到現有鏡頭中。該模型擅長整體動作捕捉,不僅傳輸基本動作,還捕捉微妙的面部表情、眼部動作和微手勢,為AI生成的角色動畫帶來前所未有的真實感。具有高時序穩定性,確保長達120秒的無閃爍視頻輸出,支持多種解析度(480p、720p),並在支持商業使用的寬鬆Apache 2.0許可下發布,WAN 2.2 Animate代表了可訪問的、可用於生產的角色動畫技術的重大進步。
WAN 2.2 Animate是阿里巴巴突破性的角色動畫模型,在總計270億參數的先進混合專家(MoE)架構中具有140億活躍參數。該模型基於經過驗證的Wan-I2V基礎構建,引入了革命性的雙模式功能:動畫模式通過精確複製參考視頻中的動作和表情使靜態角色照片栩栩如生,而替換模式通過在保持場景光照和色彩一致性的同時交換主體,將動畫角色無縫集成到現有鏡頭中。該模型擅長整體動作捕捉,不僅傳輸基本動作,還捕捉微妙的面部表情、眼部動作和微手勢,為AI生成的角色動畫帶來前所未有的真實感。具有高時序穩定性,確保長達120秒的無閃爍視頻輸出,支持多種解析度(480p、720p),並在支持商業使用的寬鬆Apache 2.0許可下發布,WAN 2.2 Animate代表了可訪問的、可用於生產的角色動畫技術的重大進步。
什麼是 WAN 2.2 Animate
阿里巴巴先進的140億參數角色動畫AI模型
WAN 2.2 Animate 的強大功能
探索使 WAN 2.2 Animate 在角色動畫方面表現卓越的先進能力
140億參數MoE架構
基於先進的混合專家設計,總參數270億但每步僅激活140億參數,在保持高效推理性能和GPU內存優化的同時提供卓越的動畫質量。
雙重動畫模式
支持動畫模式(使用參考動作使靜態照片栩栩如生)和替換模式(無縫交換視頻中的角色,同時保留原始場景光照和運動動態)。
整體動作複製
精確捕獲並傳輸參考視頻中的完整身體動作和面部表情,確保自然逼真的角色動畫,對細微手勢細節和情感表達有卓越的關注。
高時序穩定性
先進的幀一致性算法確保在擴展序列中實現平滑、無閃爍的動畫,即使在具有挑戰性運動模式的複雜動態場景中也能保持連貫的角色外觀和運動流暢性。
自然表情保留
智能面部特徵跟踪維持真實的情感表達和微動作,提供栩栩如生的角色動畫,保留人類表情的細微細節,包括眼部動作和唇部同步。
自適應光照集成
替換角色時自動分析和複製場景光照條件,確保無縫的視覺集成,具有與原始視頻環境完美匹配的一致色調、陰影和高光。
Apache 2.0開源
在寬鬆的Apache 2.0許可下發布,支持完全商業使用、修改和分發權利。訪問完整的模型權重和訓練方法,用於自定義實現和研究應用。
靈活的解析度支持
生成多種解析度的動畫,包括480p和720p選項,支持長達120秒的視頻,為各種用例和平台要求提供適應性輸出質量。
常見問題
關於 WAN 2.2 Animate 的常見問題
WAN 2.2 Animate採用先進的混合專家(MoE)架構,總參數270億但每個推理步驟僅激活140億參數。該設計使用雙專家系統:高噪聲專家處理早期去噪階段,專注於整體佈局,而低噪聲專家在後期階段精煉視頻細節。這種方法在保持高效GPU內存使用和與標準140億模型相當的推理性能的同時,提供卓越的動畫質量。
動畫模式通過將參考視頻中的動作和表情應用到主體上,使靜態角色照片栩栩如生,創建新的動畫鏡頭。替換模式獲取現有視頻並交換原始角色為新角色,同時精確保留場景的光照條件、色調、陰影和原始運動動態。兩種模式都支持最高720p的解析度和長達120秒的視頻。
模型接受PNG或JPG格式的角色照片(為獲得最佳效果應避免使用WEBP)。參考視頻應為MP4、MOV或AVI格式,文件大小最多500MB。為獲得最佳效果,請確保輸入圖像和參考視頻具有匹配的構圖、一致的寬高比和相似的相機角度。模型支持480p和720p輸出解析度。
該模型實現了先進的幀一致性算法,在擴展序列中保持平滑、無閃爍的動畫。它通過在整個生成的視頻中保持連貫的角色外觀和運動流,即使在具有挑戰性運動模式的複雜動態場景中也能實現高時序穩定性。這對於需要在整個視頻持續時間內保持一致質量的專業應用尤為重要。
是的,WAN 2.2 Animate在Apache 2.0許可下發布,這是一個寬鬆的開源許可證,允許完全商業使用、修改和分發權利。用戶可以訪問完整的模型權重和訓練方法,用於自定義實現、研究應用和生產部署,無需許可限制或版稅費用。
雖然WAN 2.2 Animate提供令人印象深刻的功能,但它有一些限制:最大輸出解析度目前為720p(非4K),視頻長度上限為120秒,最佳結果需要仔細匹配輸入圖像和參考視頻的構圖。當輸入之間的寬高比一致時,模型效果最佳,複雜的光照場景或極端運動模式偶爾可能產生不太一致的結果。
如何使用 WAN 2.2 Animate
使用 WAN 2.2 Animate 創建角色動畫的分步指南
step1
準備角色照片和參考視頻
選擇動畫模式並配置設置
生成並下載動畫視頻
價格
選擇適合您的計劃。沒有隱藏費用，沒有意外。
年付帳單，享受50%折扣