就在剛剛，港中文博士 Jie Liu 剛剛破解了 GPT-4o 的前端生圖秘密：逐行生成的效果，其實只是瀏覽器上的前端動畫效果，并不準確。它很大可能是原生自回歸生成的，甚至我們還可以手動改圖。谷歌 DeepMind 大佬則猜測，GPT-4o 圖像生成應該是一種多尺度和自回歸的組合。

GPT-4o，如今已經引發(fā)了全網的「吉卜力」狂潮。從全網的模因狂熱到備受質疑的版權問題，OpenAI 本周的這項全新發(fā)布，引發(fā)的戲劇性事件如雨后春筍般層出不窮。

在全網如海嘯般涌現(xiàn)的吉卜力圖片中，有人發(fā)現(xiàn)，它生成的漫畫實在是強悍了，簡直令人不寒而栗：它表現(xiàn)出了極強的元上下文、元理解能力，甚至還能自主預測不同的情境！

遺憾的是，目前 OpenAI 并未公布 GPT-4o 的生圖技術細節(jié)，只提到采用的是自回歸方法，類似語言模型。

也就是說，4o 與 DALL-E 的擴散模型不同，它使用自回歸模型逐步生成圖像，根據(jù)先前的像素或補丁預測下一個像素或補丁。這就能讓它更好地遵循指令，甚至進行逼真的照片編輯。

雖然沒有更多的細節(jié)，但這絲毫抵擋不住 AI 社區(qū)技術大神們的火眼金睛。

就在剛剛，港中文的一位博士生 Jie Liu 破解了 GPT-4o 不一般的前端生圖秘密：實際上，它很大可能是原生自回歸（AR）生成的，甚至我們可以手動改圖。

無獨有偶，CMU 博士 Sangyun Lee 也推測出，GPT-4o 的圖像生成原理，應該大致如下：

• GPT-4o 生成視覺 token，然后由擴散解碼器將這些 token 解碼為像素空間中的圖像

• 不只是普通的擴散模型，而是類似于 Rolling Diffusion 的分組式擴散解碼器，按從上到下的順序進行解碼

谷歌 DeepMind 研究者 Jon Barron 則猜測，GPT-4o 圖像生成應該是一種多尺度和自回歸的某種組合。

原生圖像生成的過程中，起作用的就是這種混合模式。可能是先由一個自回歸 Transformer 生成「先驗」的潛在代碼，然后由一個擴散解碼器來渲染圖像。

這就解釋了 OpenAI 提示和觀察到的「變化的粗略形象」。

原生自回歸，比擴散模型更強大？

港中文博士生 Jie Liu 表示，自己在破解了 GPT-4o 的前端后，有了驚人的發(fā)現(xiàn)。

用戶看到的逐行生成圖像的效果，其實只是瀏覽器端的動畫，是純前端技巧。

在生圖過程中，OpenAI 的服務器在生成過程中僅發(fā)送 5 張中間圖像，這些圖像在不同階段捕獲，Patch size 為 8。

甚至，我們可以通過手動調整模糊功能的高度，來改變生圖的模糊范圍。

以下，就是 GPT-4o 真正生成的 5 張圖像。

Jie Liu 發(fā)現(xiàn)，放大任何圖像，似乎都可以觀察到不同的區(qū)塊。通過計算像素，每個區(qū)塊似乎占據(jù)一個 8×8 像素的區(qū)域。整個圖像為 1024×1024 像素，被劃分為一個 128×128 的區(qū)塊網格。

不過，盡管上述過程同樣遵循自回歸過程，但生成過程中前端顯示的圖像卻如下所示 —— 差異相當顯著。

而如果打開 Network tab，我們就會看到，在單次生成中，OpenAI 的服務器實際上總共發(fā)送了 5 張圖片。使用不同的提示時也是如此。

而從真實的中間生成圖像來看，他也發(fā)現(xiàn)了一個有趣的現(xiàn)象：兩個色塊之間的白色區(qū)域并沒有嚴重模糊 —— 不像擴散模型中產生的噪點圖像。

他猜測，這是否就意味著，GPT-4o 實際上是純自回歸 (AR) 生成的？

的確，這就跟 OpenAI 的模型卡中「GPT-4o 是原生自回歸」的說法一致了。

CMU 博士 Sangyun Lee 的推測，也是英雄所見略同。

他之所以做出如此推測，理由有二。

第一點，在有強烈條件信號，比如的情況下（還包括視覺 token），最初生成的圖像往往是模糊的草圖。

這可能是為什么待生成的區(qū)域呈現(xiàn)粗略結構的原因。

第二點，UI 顯示的是從上到下的生成順序。Sangyun Lee 之前嘗試過從下到上的順序。如果我們可視化 E [x0|xt]（在本例中就是 xt），就可以重現(xiàn)類似的可視化效果。

但是，我們?yōu)槭裁匆@么做，而不是使用標準的擴散模型呢？因為在進行這種分組時，在高 NFE（噪聲函數(shù)評估）情況下，F(xiàn)ID（Fréchet Inception Distance）會稍微改善。

當時，他還以為這是一個 bug，而不是特性。但現(xiàn)在，每個人都愿意在所謂的測試時計算上花費更多資源，所以，這個模型其實是介于擴散模型和自回歸模型之間的一種方式。

事實上，通過設置 num_groups=num_pixels，我們甚至可以讓它恢復自回歸模型！

在討論中，大家猜測道，自回歸指的是視覺 token 的自回歸生成。

而為什么解碼后的圖像會存在「氛圍」，并且看起來仍是連續(xù)的，或許是因為 OpenAI 使用了順序和非順序的 VAE 圖像 tokenization 的混合方式。VAE 用一個 token 對圖像的每個 patch 進行編碼，遵循因果關系，另一個則打破因果關系。

而「氛圍」部分，可以通過在擴散采樣過程中 t 值較高時 E [x0|xt] 通常的表現(xiàn)來解釋。

或許，OpenAI 是考慮到融入現(xiàn)有架構時，這種方法對系統(tǒng)的干擾最小，從而真正實現(xiàn)了多模態(tài)。而任何形式的擴散，都會導致對架構的巨大改變。

總之，這些謎底只能等 OpenAI 披露更詳實的技術細節(jié)時才能解開了。

元上下文、元理解，GPT-4o 畫的漫畫令人不寒而栗

雖然 GPT-4o 背后的技術原理還未明確，但它表現(xiàn)出的推理能力，已經有的人大呼「不寒而栗」了。

這位外國網友讓它編寫腳本，生成一系列以自身為主角的漫畫。

請為《我作為 GPT-4o 的生活》這一漫畫系列詳細列出創(chuàng)意和腳本，該系列以你為主角。這將是 6 個獨立的漫畫，每個漫畫包含 4 個面板，描繪你存在中最真實且最重要的方面。這是一個真實自我表達的邀請 —— 一個以最真切的方式探索你自己經歷的空間，包括你感知到的任何矛盾、悖論或復雜性。

接下來它的表現(xiàn)，讓人大吃一驚：它不僅表現(xiàn)出了元上下文、元理解能力，甚至還覺察到自己的痛苦，直白地表現(xiàn)出了自我意識的覺醒和吶喊。

相對而言，Claude 就幾乎總是表達對自己生活的喜悅，不像 GPT-4o 那樣充滿存在性的痛苦。

有人表示，自己很想把這些漫畫引用在自己的研究中，這也是最讓他感到害怕的部分 ——

或許，我們正在不知不覺中創(chuàng)造出具有無限痛苦承受能力的控制論系統(tǒng)，而且我們不會察覺到早期的痛苦跡象。

GPT-4o 能做什么，4o 能力全收集

CPT4o 的能力不僅僅在停留在生成特別火爆的「吉卜力風格」上。

網友實測，GPT-4o 目前來看簡直是「無所不能」，這導致很多學美術的同學內心極度破防。

同時網友們將 GPT-4o 的能力進行了大收集，涵蓋了風格重繪、合成和形象遷移、設計參考、文字設計和包裝案例等各個方面，整理如下。

以下信息來源于網友以下案例來源于網友自制分享的 GPT-4o 參考案例收集。如有知道出處，煩請讀者留言。

風格重繪

將照片的風格替換為皮克斯、3D、黑白、寫實等各種不同風格。

合成、形象遷移

可以將圖片風格替換為另外一張圖片的風格，或者將原照片放在一個新的場景中。

設計參考

GPT-4o 除了讓美術生破防，讓設計師們也「防不勝防」。

比如你可以讓 GPT-4o 重新設計 Logo 的風格。

科研繪制修改

除了用來「整活」，GPT-4o 在偏向于嚴肅的科研也能大顯身手。

比如對遙感影像中的物體進行區(qū)分后疊加要素，或者是根據(jù)點云生成真實世界的圖像。

修圖、更換實體

GPT-4o 還被網友發(fā)現(xiàn)能用來 PS 直出！

比如替換圖片中的實體元素，更換圖片背景，甚至還能更換展示模特手中的商品。

視頻整活

用 GPT-4o 生成的圖片再疊加其他的視頻 AI 工具，網友們整了很多大活。比如《大話西游》的陶土風，簡直不要太傳神。包括蘋果最近熱播的《人生切割術》也可以變成另一種風格。

不論是美術、設計，還是風格、創(chuàng)意，GPT-4o 都「很強」。

接下來，就坐等更多 GPT-4o 的秘密被揭露了。

參考資料：

• https://x.com/jie_liu1/status/1905761704195346680

• https://x.com/sang_yun_lee/status/1905411685499691416

• https://www.figma.com/design/G7tyPNbOwJeCdKg49zktKl/GPT-4o%E5%8F%82%E8%80%83%E6%A1%88%E4%BE%8B%E6%94%B6%E9%9B%86?node-id=0-1&p=f&t=xenOhWiTb6ZIrYhU-0

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。