IT之家 9 月 19 日消息，阿里通義萬(wàn)相全新動(dòng)作生成模型 Wan2.2-Animate 今日正式開源。該模型支持驅(qū)動(dòng)人物、動(dòng)漫形象和動(dòng)物照片，可應(yīng)用于短視頻創(chuàng)作、舞蹈模板生成、動(dòng)漫制作等領(lǐng)域。
Wan2.2-Animate 模型基于此前通義萬(wàn)相開源的 Animate Anyone 模型全面升級(jí)，不僅在人物一致性、生成質(zhì)量等指標(biāo)上大幅提升，還同時(shí)支持動(dòng)作模仿和角色扮演兩種模式：
角色模仿：輸入一張角色圖片和一段參考視頻，可將視頻角色的動(dòng)作、表情遷移到圖片角色中，賦予圖片角色動(dòng)態(tài)表現(xiàn)力；
角色扮演：同時(shí)還可在保留原始視頻的動(dòng)作、表情及環(huán)境的基礎(chǔ)上，將視頻中的角色替換為圖片中的角色。
此次，通義萬(wàn)相團(tuán)隊(duì)構(gòu)建了一個(gè)涵蓋說(shuō)話、面部表情和身體動(dòng)作的大規(guī)模人物視頻數(shù)據(jù)集，并基于通義萬(wàn)相圖生視頻模型進(jìn)行后訓(xùn)練。
Wan2.2-Animate 將角色信息、環(huán)境信息和動(dòng)作等，規(guī)范到一種統(tǒng)一的表示格式，實(shí)現(xiàn)了單一模型同時(shí)兼容兩種推理模式；針對(duì)身體運(yùn)動(dòng)和臉部表情，分別使用骨骼信號(hào)和隱式特征，配合動(dòng)作重定向模塊，實(shí)現(xiàn)動(dòng)作和表情的精準(zhǔn)復(fù)刻。在替換模式中，團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)獨(dú)立的光照融合 LoRA，用于保證完美的光照融合效果。
實(shí)測(cè)結(jié)果顯示，Wan2.2-Animate 在視頻生成質(zhì)量、主體一致性和感知損失等關(guān)鍵指標(biāo)上，超越了 StableAnimator、LivePortrait 等開源模型，是目前性能最強(qiáng)的動(dòng)作生成模型，在人類主觀評(píng)測(cè)中，Wan2.2-Animate 甚至超越了以 Runway Act-two 代表的閉源模型。
即日起，用戶可在 Github、HuggingFace 和魔搭社區(qū)下載模型和代碼，也可以在阿里云百煉平臺(tái)調(diào)用 API，或通義萬(wàn)相官網(wǎng)直接體驗(yàn)。IT之家附開源地址如下：
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。