IT之家 2 月 12 日消息，據(jù)字節(jié)跳動(dòng) Seed 官方微信公眾號(hào)消息，今天，新一代視頻創(chuàng)作模型 Seedance 2.0 正式發(fā)布。

Seedance 2.0 采用統(tǒng)一的多模態(tài)音視頻聯(lián)合生成架構(gòu)，支持文字、圖片、音頻、視頻四種模態(tài)輸入，集成了目前業(yè)界最全面的多模態(tài)內(nèi)容參考和編輯能力。相比 1.5 版本，Seedance 2.0 的生成質(zhì)量大幅提升，其在復(fù)雜交互和運(yùn)動(dòng)場(chǎng)景下的可用率更高，物理準(zhǔn)確度、逼真度、可控性顯著增強(qiáng)，更加貼合工業(yè)級(jí)創(chuàng)作場(chǎng)景的需求。

其核心亮點(diǎn)如下：

復(fù)雜場(chǎng)景下更高可用率：憑借出色的運(yùn)動(dòng)穩(wěn)定性和物理還原能力，模型在多主體交互和復(fù)雜運(yùn)動(dòng)場(chǎng)景中表現(xiàn)出色，生成可用率達(dá)到業(yè)界 SOTA 水平。

多模態(tài)能力顯著強(qiáng)化：基于統(tǒng)一的多模態(tài)音視頻聯(lián)合架構(gòu)訓(xùn)練，支持混合模態(tài)輸入，允許用戶同時(shí)輸入多達(dá) 9 張圖片、3 段視頻、3 段音頻以及自然語(yǔ)言指令，模型可參考輸入素材中的構(gòu)圖、動(dòng)作、運(yùn)鏡、特效、聲音等元素，打破傳統(tǒng)視頻生成的素材邊界。

視頻生成可控性大幅提升：模型的指令遵循與一致性表現(xiàn)全面提升，并支持穩(wěn)定可控的視頻延長(zhǎng)、視頻編輯，讓普通用戶也能像導(dǎo)演一樣，輕松掌控視頻創(chuàng)作全流程。

深度支持工業(yè)級(jí)內(nèi)容創(chuàng)作：模型支持 15 秒高質(zhì)量多鏡頭音視頻輸出，具備雙聲道音頻能力，可實(shí)現(xiàn)極致擬真的視聽效果，配合參考和編輯能力，能大幅降低影視、廣告、電商、游戲等場(chǎng)景的內(nèi)容制作成本。

字節(jié)跳動(dòng)稱，依靠海量世界知識(shí)、稀疏架構(gòu)的效能優(yōu)勢(shì)，以及多模態(tài)聯(lián)合訓(xùn)練涌現(xiàn)的強(qiáng)大泛化能力，Seedance 2.0 解決了物理規(guī)律遵循及長(zhǎng)效一致性的難題，同時(shí)也賦予創(chuàng)作者前所未有的自由度，讓音視頻生成的質(zhì)量和可控性達(dá)到專業(yè)生產(chǎn)場(chǎng)景要求。

不過字節(jié)跳動(dòng)也指出，Seedance 2.0 還遠(yuǎn)不完美，其生成結(jié)果仍存在諸多瑕疵。未來，我們將持續(xù)探索大模型與人類反饋的深度對(duì)齊，讓更高效、更穩(wěn)定、更具想象力的音視頻生產(chǎn)工具，服務(wù)更多創(chuàng)作者。

目前，Seedance 2.0 已上線即夢(mèng) AI、豆包等平臺(tái)。

項(xiàng)目主頁(yè)：

https://seed.bytedance.com/seedance2_0

體驗(yàn)入口：

1）即夢(mèng)網(wǎng)頁(yè)端-視頻生成-選擇 Seedance 2.0；

2）豆包 App 對(duì)話框-Seedance2.0-選擇 2.0 模型；

3）火山方舟體驗(yàn)中心-選擇 Doubao-Seedance-2.0。

IT之家附官方詳細(xì)介紹如下：

擬真視聽效果和導(dǎo)演級(jí)操控，讓音視頻生成“所想即所見”

憑借基礎(chǔ)能力和多模態(tài)效果的躍升，Seedance 2.0 將為用戶帶來全新的創(chuàng)作體驗(yàn)。

Seedance 2.0 能完成前代模型難以實(shí)現(xiàn)的多人競(jìng)技運(yùn)動(dòng)生成，音頻效果更加自然沉浸，輸入也不再局限于單一的文字或圖片，創(chuàng)作過程更自然、高效，讓用戶能像真正的“導(dǎo)演”一樣掌控創(chuàng)作。下面，我們將具體介紹其能力特點(diǎn)。

1.穩(wěn)定呈現(xiàn)復(fù)雜運(yùn)動(dòng)和交互，真實(shí)還原物理規(guī)律

Seedance 2.0 的生成表現(xiàn)顯著提升，尤其在人物動(dòng)作建模方面展現(xiàn)出此前未有的自然性、連貫性與物理合理性。

它能高保真地合成時(shí)序精密的復(fù)雜交互場(chǎng)景，比如在雙人花滑場(chǎng)景中，模型較好地演繹了同步起跳、空中旋轉(zhuǎn)、精準(zhǔn)落冰等一系列高難度動(dòng)作，同時(shí)，生成過程保持了對(duì)現(xiàn)實(shí)世界運(yùn)動(dòng)規(guī)律的遵循，避免了以往 AI 視頻常見的物理謬誤。

在更細(xì)膩的特寫鏡頭中，無(wú)論是微妙的光影折射變化、衣物隨風(fēng)顫動(dòng)時(shí)所呈現(xiàn)的重力感，還是人物與環(huán)境之間自然流暢的交互動(dòng)作，模型生成的畫面均展現(xiàn)出高度逼真的細(xì)節(jié)與嚴(yán)密的物理邏輯，宛如真實(shí)實(shí)拍。

2.支持多模態(tài)“全能參考”，創(chuàng)作自由度大幅提升

Seedance 2.0 支持多模態(tài)全能參考，允許組合輸入不同文本、圖片、視頻、音頻。模型可精準(zhǔn)理解多模態(tài)輸入內(nèi)容，并按指令要求參考其畫面構(gòu)圖、鏡頭語(yǔ)言、動(dòng)作節(jié)奏、音效特點(diǎn)等元素進(jìn)行生成，甚至可以直接參考文字分鏡內(nèi)容，創(chuàng)作自由度大幅提升。

3.更強(qiáng)可控性，精準(zhǔn)遵循生成和編輯指令

Seedance 2.0 視頻生成的可控性也大幅提升。其指令遵循表現(xiàn)出色，即便面對(duì)包含大量角色互動(dòng)和精細(xì)動(dòng)作描述的復(fù)雜腳本，也能做到精準(zhǔn)還原生成，并保持穩(wěn)定的主體一致性。同時(shí)，模型還具備一定的編導(dǎo)思維，可自主規(guī)劃鏡頭語(yǔ)言，并設(shè)計(jì)視覺呈現(xiàn)模版。

4.雙聲道音頻能力，高仿真沉浸音效同步生成

Seedance 2.0 還升級(jí)了音頻能力，集成雙聲道立體聲技術(shù)，可實(shí)現(xiàn)高仿真、沉浸式的音效生成。模型支持背景音樂、環(huán)境音效或人物解說等音頻多軌并行輸出，精準(zhǔn)對(duì)齊畫面節(jié)奏。

同時(shí)，模型的音效設(shè)計(jì)高度自然，能真實(shí)還原磨砂玻璃輕刮聲、毛絨織物揉搓聲、亞克力板輕敲聲、氣泡紙輕捏聲等細(xì)膩音效，強(qiáng)化場(chǎng)景沉浸感。配合嚴(yán)格的音畫時(shí)序控制，確保音頻與視覺動(dòng)作嚴(yán)絲合縫，可以更好地支持專業(yè)級(jí)視聽內(nèi)容創(chuàng)作。

5.全場(chǎng)景廣泛適配，降低專業(yè)內(nèi)容制作門檻

針對(duì)視頻內(nèi)容生產(chǎn)的多元化需求，Seedance 2.0 展現(xiàn)出極高的場(chǎng)景適配性。無(wú)論是商業(yè)廣告、影視特效，還是游戲動(dòng)畫、解說視頻，模型均能提供高質(zhì)量的生成效果。

通過 AI 生成替代復(fù)雜的特效制作和實(shí)拍流程，Seedance 2.0 可大幅度降低專業(yè)音視頻內(nèi)容的制作成本，縮短生產(chǎn)周期，幫助創(chuàng)作者和企業(yè)更好地落地創(chuàng)意。

Seedance 2.0 評(píng)測(cè)結(jié)果，綜合表現(xiàn)達(dá)到行業(yè)領(lǐng)先

為客觀全面地評(píng)估 Seedance 2.0 在多模態(tài)場(chǎng)景的綜合能力，團(tuán)隊(duì)協(xié)同影視領(lǐng)域的專家，建立了覆蓋音視頻生成、參考及編輯場(chǎng)景的綜合評(píng)測(cè)集及相關(guān)評(píng)測(cè)標(biāo)準(zhǔn)。本次評(píng)估重點(diǎn)考察模型在多模態(tài)參考生成、復(fù)雜音視頻指令遵循、復(fù)雜運(yùn)動(dòng)穩(wěn)定性、專業(yè)鏡頭語(yǔ)言、音視頻表現(xiàn)力及視聽一體化協(xié)同等維度的表現(xiàn)。

1.文生視頻、圖生視頻評(píng)測(cè)

在視頻維度，Seedance 2.0 處于業(yè)內(nèi)領(lǐng)先水平。其運(yùn)動(dòng)穩(wěn)定性、指令遵循及畫面美感維度均有顯著提升，有效改善了結(jié)構(gòu)準(zhǔn)確性和崩壞問題，生成的復(fù)雜動(dòng)作流暢細(xì)膩。模型可精準(zhǔn)呈現(xiàn)高張力大動(dòng)作與精細(xì)的微表情，并支持專業(yè)級(jí)組合運(yùn)鏡與敘事節(jié)奏控制。

針對(duì)長(zhǎng)腳本及開放性指令，模型能較好響應(yīng)并合理發(fā)揮。同時(shí)，其生成視頻具有一定的影視化美感，物體材質(zhì)、光影構(gòu)圖及服化道設(shè)計(jì)均表現(xiàn)出較好的完成度。不過，Seedance 2.0 仍需持續(xù)改進(jìn)細(xì)節(jié)穩(wěn)定性、擬真度及動(dòng)態(tài)生動(dòng)性。

在音頻維度，Seedance 2.0 依然表現(xiàn)強(qiáng)勁，音頻表現(xiàn)力大幅提升。其雙聲道音頻層次豐富、細(xì)膩，并可根據(jù)場(chǎng)景匹配更適合提示詞情境的音效或曲調(diào)旋律。相比上一版本，模型的視聽一體化體驗(yàn)進(jìn)一步強(qiáng)化，臺(tái)詞、音效、背景音樂和畫面內(nèi)容更加契合，同時(shí)，針對(duì)中文方言、戲曲及演唱場(chǎng)景，其指令響應(yīng)準(zhǔn)確度明顯提升。不過，Seedance 2.0 仍需繼續(xù)解決多人口型匹配、偶現(xiàn)音頻失真等問題。

2.多模態(tài)參考生成評(píng)測(cè)

Seedance 2.0 有著行業(yè)領(lǐng)先的綜合表現(xiàn)。模型覆蓋的參考任務(wù)更全面，支持多模態(tài)參考生成、視頻編輯、視頻延續(xù)等多種創(chuàng)作場(chǎng)景。同時(shí)，其對(duì)參考內(nèi)容的理解深度和響應(yīng)精度具備優(yōu)勢(shì)，在編輯任務(wù)中，相比其他模型，Seedance 2.0 指令響應(yīng)更加完整，生成畫面更加真實(shí)。在一致性表現(xiàn)上，模型在主體形象與聲音還原方面表現(xiàn)相對(duì)較好，尤其在動(dòng)作邏輯、特效風(fēng)格及劇情敘事的參考一致性上顯著占優(yōu)。不過，模型在多主體一致性、文字還原精度及復(fù)雜編輯效果上，仍有優(yōu)化的空間。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。