IT之家 2 月 12 日消息，據字節(jié)跳動 Seed 官方微信公眾號消息，今天，新一代視頻創(chuàng)作模型 Seedance 2.0 正式發(fā)布。
Seedance 2.0 采用統(tǒng)一的多模態(tài)音視頻聯合生成架構，支持文字、圖片、音頻、視頻四種模態(tài)輸入，集成了目前業(yè)界最全面的多模態(tài)內容參考和編輯能力。相比 1.5 版本，Seedance 2.0 的生成質量大幅提升，其在復雜交互和運動場景下的可用率更高，物理準確度、逼真度、可控性顯著增強，更加貼合工業(yè)級創(chuàng)作場景的需求。
其核心亮點如下：
復雜場景下更高可用率：憑借出色的運動穩(wěn)定性和物理還原能力，模型在多主體交互和復雜運動場景中表現出色，生成可用率達到業(yè)界 SOTA 水平。
多模態(tài)能力顯著強化：基于統(tǒng)一的多模態(tài)音視頻聯合架構訓練，支持混合模態(tài)輸入，允許用戶同時輸入多達 9 張圖片、3 段視頻、3 段音頻以及自然語言指令，模型可參考輸入素材中的構圖、動作、運鏡、特效、聲音等元素，打破傳統(tǒng)視頻生成的素材邊界。
視頻生成可控性大幅提升：模型的指令遵循與一致性表現全面提升，并支持穩(wěn)定可控的視頻延長、視頻編輯，讓普通用戶也能像導演一樣，輕松掌控視頻創(chuàng)作全流程。
深度支持工業(yè)級內容創(chuàng)作：模型支持 15 秒高質量多鏡頭音視頻輸出，具備雙聲道音頻能力，可實現極致擬真的視聽效果，配合參考和編輯能力，能大幅降低影視、廣告、電商、游戲等場景的內容制作成本。
字節(jié)跳動稱，依靠海量世界知識、稀疏架構的效能優(yōu)勢，以及多模態(tài)聯合訓練涌現的強大泛化能力，Seedance 2.0 解決了物理規(guī)律遵循及長效一致性的難題，同時也賦予創(chuàng)作者前所未有的自由度，讓音視頻生成的質量和可控性達到專業(yè)生產場景要求。
不過字節(jié)跳動也指出，Seedance 2.0 還遠不完美，其生成結果仍存在諸多瑕疵。未來，我們將持續(xù)探索大模型與人類反饋的深度對齊，讓更高效、更穩(wěn)定、更具想象力的音視頻生產工具，服務更多創(chuàng)作者。
目前，Seedance 2.0 已上線即夢 AI、豆包等平臺。
項目主頁：
https://seed.bytedance.com/seedance2_0
體驗入口：
1）即夢網頁端-視頻生成-選擇 Seedance 2.0；
2）豆包 App 對話框-Seedance2.0-選擇 2.0 模型；
3）火山方舟體驗中心-選擇 Doubao-Seedance-2.0。
IT之家附官方詳細介紹如下：
擬真視聽效果和導演級操控，讓音視頻生成“所想即所見”
憑借基礎能力和多模態(tài)效果的躍升，Seedance 2.0 將為用戶帶來全新的創(chuàng)作體驗。
Seedance 2.0 能完成前代模型難以實現的多人競技運動生成，音頻效果更加自然沉浸，輸入也不再局限于單一的文字或圖片，創(chuàng)作過程更自然、高效，讓用戶能像真正的“導演”一樣掌控創(chuàng)作。下面，我們將具體介紹其能力特點。
1.穩(wěn)定呈現復雜運動和交互，真實還原物理規(guī)律
Seedance 2.0 的生成表現顯著提升，尤其在人物動作建模方面展現出此前未有的自然性、連貫性與物理合理性。
它能高保真地合成時序精密的復雜交互場景，比如在雙人花滑場景中，模型較好地演繹了同步起跳、空中旋轉、精準落冰等一系列高難度動作，同時，生成過程保持了對現實世界運動規(guī)律的遵循，避免了以往 AI 視頻常見的物理謬誤。
在更細膩的特寫鏡頭中，無論是微妙的光影折射變化、衣物隨風顫動時所呈現的重力感，還是人物與環(huán)境之間自然流暢的交互動作，模型生成的畫面均展現出高度逼真的細節(jié)與嚴密的物理邏輯，宛如真實實拍。
2.支持多模態(tài)“全能參考”，創(chuàng)作自由度大幅提升
Seedance 2.0 支持多模態(tài)全能參考，允許組合輸入不同文本、圖片、視頻、音頻。模型可精準理解多模態(tài)輸入內容，并按指令要求參考其畫面構圖、鏡頭語言、動作節(jié)奏、音效特點等元素進行生成，甚至可以直接參考文字分鏡內容，創(chuàng)作自由度大幅提升。
3.更強可控性，精準遵循生成和編輯指令
Seedance 2.0 視頻生成的可控性也大幅提升。其指令遵循表現出色，即便面對包含大量角色互動和精細動作描述的復雜腳本，也能做到精準還原生成，并保持穩(wěn)定的主體一致性。同時，模型還具備一定的編導思維，可自主規(guī)劃鏡頭語言，并設計視覺呈現模版。
4.雙聲道音頻能力，高仿真沉浸音效同步生成
Seedance 2.0 還升級了音頻能力，集成雙聲道立體聲技術，可實現高仿真、沉浸式的音效生成。模型支持背景音樂、環(huán)境音效或人物解說等音頻多軌并行輸出，精準對齊畫面節(jié)奏。
同時，模型的音效設計高度自然，能真實還原磨砂玻璃輕刮聲、毛絨織物揉搓聲、亞克力板輕敲聲、氣泡紙輕捏聲等細膩音效，強化場景沉浸感。配合嚴格的音畫時序控制，確保音頻與視覺動作嚴絲合縫，可以更好地支持專業(yè)級視聽內容創(chuàng)作。
5.全場景廣泛適配，降低專業(yè)內容制作門檻
針對視頻內容生產的多元化需求，Seedance 2.0 展現出極高的場景適配性。無論是商業(yè)廣告、影視特效，還是游戲動畫、解說視頻，模型均能提供高質量的生成效果。
通過 AI 生成替代復雜的特效制作和實拍流程，Seedance 2.0 可大幅度降低專業(yè)音視頻內容的制作成本，縮短生產周期，幫助創(chuàng)作者和企業(yè)更好地落地創(chuàng)意。
Seedance 2.0 評測結果，綜合表現達到行業(yè)領先
為客觀全面地評估 Seedance 2.0 在多模態(tài)場景的綜合能力，團隊協(xié)同影視領域的專家，建立了覆蓋音視頻生成、參考及編輯場景的綜合評測集及相關評測標準。本次評估重點考察模型在多模態(tài)參考生成、復雜音視頻指令遵循、復雜運動穩(wěn)定性、專業(yè)鏡頭語言、音視頻表現力及視聽一體化協(xié)同等維度的表現。
1.文生視頻、圖生視頻評測
在視頻維度，Seedance 2.0 處于業(yè)內領先水平。其運動穩(wěn)定性、指令遵循及畫面美感維度均有顯著提升，有效改善了結構準確性和崩壞問題，生成的復雜動作流暢細膩。模型可精準呈現高張力大動作與精細的微表情，并支持專業(yè)級組合運鏡與敘事節(jié)奏控制。
針對長腳本及開放性指令，模型能較好響應并合理發(fā)揮。同時，其生成視頻具有一定的影視化美感，物體材質、光影構圖及服化道設計均表現出較好的完成度。不過，Seedance 2.0 仍需持續(xù)改進細節(jié)穩(wěn)定性、擬真度及動態(tài)生動性。
在音頻維度，Seedance 2.0 依然表現強勁，音頻表現力大幅提升。其雙聲道音頻層次豐富、細膩，并可根據場景匹配更適合提示詞情境的音效或曲調旋律。相比上一版本，模型的視聽一體化體驗進一步強化，臺詞、音效、背景音樂和畫面內容更加契合，同時，針對中文方言、戲曲及演唱場景，其指令響應準確度明顯提升。不過，Seedance 2.0 仍需繼續(xù)解決多人口型匹配、偶現音頻失真等問題。
2.多模態(tài)參考生成評測
Seedance 2.0 有著行業(yè)領先的綜合表現。模型覆蓋的參考任務更全面，支持多模態(tài)參考生成、視頻編輯、視頻延續(xù)等多種創(chuàng)作場景。同時，其對參考內容的理解深度和響應精度具備優(yōu)勢，在編輯任務中，相比其他模型，Seedance 2.0 指令響應更加完整，生成畫面更加真實。在一致性表現上，模型在主體形象與聲音還原方面表現相對較好，尤其在動作邏輯、特效風格及劇情敘事的參考一致性上顯著占優(yōu)。不過，模型在多主體一致性、文字還原精度及復雜編輯效果上，仍有優(yōu)化的空間。
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。