IT之家 5 月 9 日消息，據(jù)外媒 Tom's Hardware 今日報道，卡內(nèi)基梅隆大學的研究團隊開發(fā)出一款名為 LegoGPT 的 AI 模型，能夠根據(jù)文字指令生成可實際搭建的樂高設(shè)計。

IT之家附項目地址：LegoGPT: Generating Physically Stable and Buildable LEGO Designs from Text

GitHub：https://github.com/AvaLovelace1/LegoGPT/

根據(jù)介紹，團隊訓練了一種自回歸大型語言模型，通過預(yù)測下一個 token 的方式，判斷下一塊該放置什么積木。

團隊還為模型增加了有效性校驗和帶有物理感知的回滾機制，確保生成的設(shè)計不會出現(xiàn)積木重疊或懸空等問題，也就是說最終結(jié)果始終可行且結(jié)構(gòu)穩(wěn)固。不僅如此，LegoGPT 輸出的設(shè)計，既能由人手搭建，也支持機器人操作。

用于訓練 LegoGPT 的數(shù)據(jù)集被命名為 StableText2Lego，構(gòu)建流程也相當復(fù)雜：系統(tǒng)會先將文本提示轉(zhuǎn)化為 ShapeNetCore 網(wǎng)格模型，再將其嵌入一個 20×20×20 的體素網(wǎng)格中，從而生成初步的樂高積木布局。

在保持整體造型不變的前提下，系統(tǒng)對這些布局做出變化，隨后剔除掉結(jié)構(gòu)不穩(wěn)定的設(shè)計。保留下來的樣本會從 24 個不同角度進行渲染，最終交由 GPT-4o 生成相應(yīng)的描述文本。

該數(shù)據(jù)集包含超過 47000 個樂高建構(gòu)樣本，涵蓋了 28000 多種三維造型，包括書架、桌子、椅子、汽車、船只、吉他等。這些數(shù)據(jù)被用來訓練模型，使 LegoGPT 能夠從一段文字生成獨特且原創(chuàng)的設(shè)計。

LegoGPT 首先把用戶輸入的文本轉(zhuǎn)化為樂高設(shè)計圖，再按從底部到頂部的順序，將這些設(shè)計編碼為文本 token。系統(tǒng)隨后會生成指令，將樂高積木結(jié)構(gòu)與注釋相對應(yīng)，讓模型學會理解文本描述與積木組件之間的對應(yīng)關(guān)系。

接下來，LegoGPT 采用自回歸方式一步步預(yù)測需要放置的下一塊積木。每次添加積木時，系統(tǒng)都會檢驗其格式是否正確、是否存在于積木庫中、是否與已有結(jié)構(gòu)沖突。這一過程會持續(xù)進行直到設(shè)計完成，最后還會進行穩(wěn)定性測試。

如果 AI 判斷結(jié)構(gòu)不穩(wěn)，它會自動回滾到最近的穩(wěn)定狀態(tài)，再從該點繼續(xù)生成，直到完成穩(wěn)定設(shè)計。

目前，這個項目已經(jīng)完全開源，團隊發(fā)布了數(shù)據(jù)集、代碼和模型，方便其他人復(fù)刻或擴展。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。