最近，OpenAI 的一位前員工發(fā)表了一篇 165 頁的超長(zhǎng)博文，對(duì) AI 發(fā)展的未來做出了一系列預(yù)測(cè)。文章的核心觀點(diǎn)可以概括成一句話：人類很可能在 2027 年實(shí)現(xiàn) AGI。

AGI 到底是科技公司畫的大餅，還是可預(yù)測(cè)的未來？幾天前，Anthropic 一名 25 歲的高管在博客上發(fā)文，表示自己已經(jīng)準(zhǔn)備好了 3 年后退休，讓 AI 取代自己的工作。

最近，OpenAI 前員工的一篇博客文章也有類似的觀點(diǎn)。

他不僅認(rèn)為 AGI 很可能實(shí)現(xiàn)，而且「奇點(diǎn)」預(yù)計(jì)就在 2027 年。

文章作者名為 Leopold Aschenbrenner，于 2023 年入職 OpenAI 超級(jí)對(duì)齊團(tuán)隊(duì)，工作了 1 年 6 個(gè)月。

Aschenbrenner 認(rèn)為，到 2027 年，大模型將能夠完成 AI 研究人員或工程師的工作。他的論據(jù)也很簡(jiǎn)潔直觀 —— 你不需要相信科幻小說，只需要看到圖上的這條直線。

畫出過去 4 年 GPT 模型有效計(jì)算量的增長(zhǎng)曲線，再延伸到 4 年后，就可以得出這個(gè)結(jié)論。

距離 GPT-4 發(fā)布已經(jīng)過去了一年多的時(shí)間，包括 Gary Marcus 和 Yann LeCun 在內(nèi)的很多人都不再對(duì)模型的 Scaling Law 深信不疑，甚至持否定態(tài)度。

雖然我們看起來正在碰壁，但 Aschenbrenner 提醒我們：往后退一步，看看 AI 已經(jīng)走了多遠(yuǎn)。

直覺上，我們可以將模型能力類比為人類的智能水平，從而衡量 AI 能力的進(jìn)步：從 2019 年學(xué)齡前兒童水平的 GPT-2，到 2023 年聰明高中生水平的 GPT-4，OpenAI 只用了 4 年。

用 4 年從學(xué)齡前讀到高中，是人類智力發(fā)展速度的 3 倍不止。

GPT-2 只能寫出一個(gè)半連貫的段落，幾乎不能順利地從 1 數(shù)到 5。在文章總結(jié)任務(wù)中，生成的結(jié)果只比隨機(jī)選 3 個(gè)句子稍微好一點(diǎn)。

GPT-3 能生成更長(zhǎng)、邏輯更一致的段落，具備了少樣本學(xué)習(xí)能力，還可以完成一些基本的算術(shù)或代碼任務(wù)。

GPT-4 不僅可以思考和推理數(shù)學(xué)問題，還能編寫復(fù)雜的代碼并迭代調(diào)試。語言能力也是飛躍性的提高，不僅能在更長(zhǎng)的文本中實(shí)現(xiàn)邏輯和內(nèi)容的一致，也能掌握各種復(fù)雜話題。

在所有測(cè)試中，GPT-4 都能擊敗絕大多數(shù)高中生，包括 AP 和 SAT 分?jǐn)?shù)。

從基準(zhǔn)測(cè)試的角度衡量，可以看到下面這張圖。

根據(jù) Contextual AI 去年 7 月發(fā)布的研究結(jié)果，AI 在語言理解、閱讀理解、文字細(xì)微差異的解釋、圖像識(shí)別等方面的能力都已經(jīng)超過了人類表現(xiàn)。

預(yù)測(cè)性推理、一般性知識(shí)測(cè)試和解決數(shù)學(xué)問題等任務(wù)上也與人類水平接近。此外也可以看出，在模型能力增長(zhǎng)得越來越快的同時(shí)，基準(zhǔn)測(cè)試愈發(fā)捉襟見肘。

過去需要幾十年的時(shí)間才能達(dá)到飽和的基準(zhǔn)測(cè)試，現(xiàn)在只需要幾個(gè)月。

2020 年，MMLU 測(cè)試發(fā)布，相當(dāng)于高中和大學(xué)的所有最難考試的水平，研究人員希望它可以經(jīng)得起時(shí)間考驗(yàn)。

結(jié)果僅僅三年后，LLM 就幾乎解決了這個(gè)測(cè)試，像 GPT-4 和 Gemini 這樣的模型可以獲得超過 90% 的評(píng)分。

數(shù)學(xué)測(cè)試也是一樣的趨勢(shì)。2021 年 MATH 基準(zhǔn)發(fā)布時(shí)，SOTA 模型只能正確回答約 5% 的問題。

當(dāng)時(shí)很多研究者都認(rèn)為，算法方面的根本性突破才能提升模型的數(shù)學(xué)能力，未來幾年能取得的進(jìn)展非常微小。

然而，又一次超乎所有人的想象。2022 年一年的時(shí)間內(nèi)，模型準(zhǔn)確率從 5% 上升到 50%，最近的 SOTA 可以達(dá)到 90%。3 年前公認(rèn)難度很高的基準(zhǔn)測(cè)試，很快飽和。

基準(zhǔn)測(cè)試似乎也無法跟上模型的速度了。

為了更嚴(yán)謹(jǐn)?shù)卦u(píng)估深度學(xué)習(xí)的發(fā)展速度和趨勢(shì)，作者使用了 OOM 指數(shù)，即「計(jì)算數(shù)量級(jí)」（order of magnitude）。

不僅要考量模型的算力和算法效率，作者還引入了一種新的概念，「解開收益」（unhobbling gains）。

算力規(guī)模

剛剛結(jié)束的 ComputeX 大會(huì)上，英偉達(dá)、AMD 紛紛宣布了芯片年更計(jì)劃。

這說明了什么？大模型性能呈指數(shù)級(jí)增長(zhǎng)，對(duì)算力需求也在不斷放大。

而在微軟 Build 大會(huì)上，CTO Kevin Scott 更是用海洋動(dòng)物形象地闡述了，OpenAI 模型進(jìn)階對(duì)算力的吞噬之極。

提到算力增長(zhǎng)，很多人的第一反應(yīng)會(huì)認(rèn)為，這是摩爾定律的延伸。

然而作者指出，事實(shí)并非如此。AI 硬件的改進(jìn)速度遠(yuǎn)遠(yuǎn)快于摩爾定律。

大模型時(shí)代來臨前，即使摩爾定律處于鼎盛時(shí)期，每 10 年也僅有 1-1.5 個(gè) OOM 的增長(zhǎng)。

但現(xiàn)在，每年都有 0.6 個(gè) OOM 的增長(zhǎng)，比曾經(jīng)摩爾定律的 5 倍還多。

Epoch AI 對(duì)著名深度學(xué)習(xí)模型的訓(xùn)練算力進(jìn)行估算

以 GPT 系列為例，GPT-2 到 GPT-3 實(shí)現(xiàn)了設(shè)備的過渡，從較小的實(shí)驗(yàn)設(shè)備變成了數(shù)據(jù)中心，一年內(nèi)增長(zhǎng)了 2 個(gè) OOM。

GPT-4 延續(xù)了這種戲劇性增長(zhǎng)，而且從 OpenAI 囤積芯片的動(dòng)作來看，這個(gè)增長(zhǎng)速度會(huì)逐漸演變?yōu)殚L(zhǎng)期趨勢(shì)。

這種龐大的增長(zhǎng)，并不能主要?dú)w因于摩爾定律，而是投資算力的熱潮。

曾經(jīng)，在一個(gè)模型上花 100 萬美元是令人發(fā)指的想法，沒有人會(huì)接受；但現(xiàn)在，這只是科技巨頭囤芯片、訓(xùn)模型的零頭。

過去一年里，科技巨頭們談?wù)摰脑掝}已經(jīng)從 100 億美元計(jì)算集群轉(zhuǎn)向 1000 億美元集群，再變成萬億美元集群上的競(jìng)爭(zhēng)。

每隔六個(gè)月，董事會(huì)的計(jì)劃里，就會(huì)增加一個(gè)「0」。

作者預(yù)估，「在這個(gè)十年結(jié)束之前，將有數(shù)萬億美元投入到 GPU、數(shù)據(jù)中心和電力建設(shè)中。為支持 AI 的發(fā)展，美國至少將電力生產(chǎn)提高數(shù)十個(gè)百分點(diǎn)」。

隨著 AI 產(chǎn)品收入的快速增長(zhǎng)，谷歌、微軟等公司在 2026 年左右的年收入可能達(dá)到 1000 億美元。

這將進(jìn)一步刺激資本，到 2027 年，每年的 AI 投資總額可能超過 1T 美元。

時(shí)間線再拉遠(yuǎn)，到 2028 年，單個(gè)訓(xùn)練集群就需要耗資千億美元，比一個(gè)國際空間站還貴。

而到本世紀(jì)末，一個(gè)集群就能吞掉 1T 美元，每年產(chǎn)出上億個(gè) GPU，AI 所需電力占美國發(fā)電總量的百分比，將從現(xiàn)在的不到 5% 上升到 20%。

算法效率

對(duì)算力的瘋狂投資帶來的驚人收益是非常明顯的，但算法進(jìn)步的驅(qū)動(dòng)力很可能被嚴(yán)重低估了。

比如，很少有人關(guān)注到模型推理成本的大幅下降。

以 MATH 基準(zhǔn)測(cè)試為例，過去兩年內(nèi)，從 Minerva 到最新發(fā)布的 Gemini 1.5 Flash，在 MATH 上取得 50% 準(zhǔn)確率（一個(gè)不喜歡數(shù)學(xué)的計(jì)算機(jī)博士生可以得到 40%）的推理效率提高了將近 3 個(gè) OOM，也就是 1000 倍的效率提升。

雖然推理效率不等同于訓(xùn)練效率，但這個(gè)趨勢(shì)可以表明，大量的算法進(jìn)步是可行的，而且正在發(fā)生。

從長(zhǎng)期趨勢(shì)來看，算法進(jìn)展的速度也相當(dāng)一致，因此很容易根據(jù)趨勢(shì)線做出預(yù)測(cè)。

回顧 2012 年-2021 年期間 ImageNet 上的公開算法研究，可以發(fā)現(xiàn)，訓(xùn)練相同性能模型的計(jì)算成本以近乎一致的速度下降，每年減少約 0.5 個(gè) OOM，而且每種模型架構(gòu)都是如此。

雖然 LLM 的團(tuán)隊(duì)一般不會(huì)公開算法效率相關(guān)的數(shù)據(jù)，但根據(jù) Epoch AI 的估算，2012 年-2023 年期間，每年算法效率的收益也約為 0.5 個(gè) OOM，也就是在 8 年時(shí)間里提升了 1 萬倍。

「解開」收益

相比算力和算法效率，「解開」收益帶來的提升更加難以量化。

所謂「解開收益」，是指某些情況下模型的原始能力被阻礙了，而通過簡(jiǎn)單的算法改進(jìn)可以解鎖和釋放這些潛在能力。

雖然它也是一種算法改進(jìn)，但不僅僅是在已有范式內(nèi)提升訓(xùn)練效果，而是跳出訓(xùn)練范式，帶來模型能力和實(shí)用價(jià)值的躍升。

比如基礎(chǔ)的語言模型經(jīng)過了 RLHF，才變成真正可用的產(chǎn)品。InstructGPT 論文的量化結(jié)果顯示，根據(jù)人類評(píng)分者的偏好，有 RLHF 的小模型相當(dāng)于非 RLHF 的大 100 倍的模型。

再比如，近年來被廣泛使用的 CoT 可以為數(shù)學(xué)或推理問題提供 10 倍多的有效計(jì)算能力提升。

上下文長(zhǎng)度的增加也是如此。從 GPT-3 的 2k tokens、GPT-4 的 32k，到 Gemini 1.5 Pro 的 1M+，更長(zhǎng)的上下文可以解鎖更多的用例和應(yīng)用場(chǎng)景。

訓(xùn)練后改進(jìn)（post-training improvment）帶來的收益也不容忽視。OpenAI 聯(lián)創(chuàng) John Schulman 表示，與 GPT-4 首次發(fā)布時(shí)相比，當(dāng)前的 GPT-4 有了實(shí)質(zhì)性的改進(jìn)，這主要?dú)w功于釋放潛在模型能力的后期訓(xùn)練。

Epoch AI 進(jìn)行的一項(xiàng)調(diào)查發(fā)現(xiàn)，在許多基準(zhǔn)測(cè)試中，這類技術(shù)通?？梢詭?5-30 倍的有效計(jì)算收益。

METR（一個(gè)評(píng)估模型的非營利組織）同樣發(fā)現(xiàn)，基于相同的 GPT-4 基礎(chǔ)模型，「解開收益」非常可觀。

在各種代理任務(wù)中，僅使用基本模型時(shí)性能只有 5%，經(jīng)過后期訓(xùn)練可以達(dá)到 20%，加上工具、代理腳手架和更好的后期訓(xùn)練，可以達(dá)到今天的近 40%。

與算力和算法效率帶來的單一維度的擴(kuò)展不同，「解開收益」能夠解鎖模型能力的巨大可能性，帶來「階梯式」、不拘一格的進(jìn)步。

想象一下，如果 AI 可以使用電腦，有長(zhǎng)期記憶，能針對(duì)一個(gè)問題進(jìn)行長(zhǎng)期思考和推理，而且具備了入職新公司所需的上下文長(zhǎng)度，它會(huì)有多么強(qiáng)悍的能力？

2027 年，取代所有認(rèn)知工作

綜合考慮算力、算法效率與解開收益這三個(gè)方面的疊加，GPT 模型從第 2 代到第 4 代，大致經(jīng)歷了 4.5-6 個(gè) OOM 的有效計(jì)算擴(kuò)展。

此外，從基本模型到聊天機(jī)器人，相當(dāng)于約 2 個(gè) OOM 的「解開收益」。

基于這個(gè)發(fā)展速度，數(shù)一數(shù) OOM，未來 4 年我們可以期待什么？

首先，隨著計(jì)算效率提高，迭代速度會(huì)越來越快。假設(shè) GPT-4 訓(xùn)練花了 3 個(gè)月的時(shí)間，到 2027 年，領(lǐng)先的 AI 實(shí)驗(yàn)室將能夠在一分鐘內(nèi)訓(xùn)練一個(gè) GPT-4 級(jí)別的模型。

而且，由于「解開收益」的存在，我們不能僅僅是想象一個(gè)非常聰明的 ChatGPT，還需要把它看成一個(gè)非常智能的、能獨(dú)立工作的 Agent。

到 2027 年，這些 AI 系統(tǒng)基本上能夠自動(dòng)化所有認(rèn)知工作，或者說是所有可以遠(yuǎn)程進(jìn)行的工作。

但是作者同時(shí)也提醒道，這其中有很大的誤差范圍。如果「解開收益」逐漸停滯，或者算法的進(jìn)展沒能解決數(shù)據(jù)耗盡的問題，就會(huì)推遲 AGI 的來臨時(shí)間。

但也有可能，「解開收益」釋放了模型更大的潛能，讓 AGI 的實(shí)現(xiàn)時(shí)間比 2027 年更早。

雖然這篇文章有比較全面的論據(jù)，但「2027 年實(shí)現(xiàn) AGI」的結(jié)論還是引發(fā)了不少網(wǎng)友的質(zhì)疑。

將 GPT-4 的智力水平類比成聰明的高中生，很難讓人相信。

也沒有談到一些關(guān)鍵問題，比如當(dāng)前 LLM 最大的挑戰(zhàn)之一 —— 幻覺，這也是 AI 實(shí)現(xiàn)自動(dòng)化工作的巨大障礙。

有人指責(zé)作者，將曲線外插和巨大的誤差范圍包裝成一份技術(shù)分析。

也有人指出，文中經(jīng)常提及的「有效計(jì)算」是一個(gè)非常模糊的概念，沒有進(jìn)行嚴(yán)謹(jǐn)準(zhǔn)確的定義。

拋開 2027 年這個(gè)頗有噱頭的結(jié)論，作者的論證過程至少可以給我們一個(gè)啟示 —— 很多情況下，AI 的發(fā)展速度會(huì)超出所有人的想象。

作者簡(jiǎn)介

Leopold Aschenbrenner 本科畢業(yè)于哥倫比亞大學(xué)，大三時(shí)入選 Phi Beta Kappa 學(xué)會(huì)，并被授予 John Jay 學(xué)者稱號(hào)。

19 歲時(shí)，以最優(yōu)等成績(jī)（Summa cum laude）畢業(yè)，作為畢業(yè)生代表在典禮上致辭。

本科期間，他不僅獲得了對(duì)學(xué)術(shù)成就授以最高認(rèn)可的 Albert Asher Green 獎(jiǎng)，并且憑借著「Aversion to Change and the End of (Exponential) Growth」一文榮獲了經(jīng)濟(jì)學(xué)最佳畢業(yè)論文 Romine 獎(jiǎng)。

Leopold Aschenbrenner 來自德國，現(xiàn)居風(fēng)景優(yōu)美的加利福尼亞州舊金山，志向是為后代保障自由的福祉。

他的興趣相當(dāng)廣泛，從第一修正案法律到德國歷史，再到拓?fù)鋵W(xué)，以及人工智能。目前的研究專注于實(shí)現(xiàn)從弱到強(qiáng)的 AI 泛化。

他最近離開 OpenAI 后計(jì)劃創(chuàng)辦一家 AGI 領(lǐng)域的投資公司，已經(jīng)獲得了 Stripe 創(chuàng)始人 Collison 兄弟以及 GitHub 前 CEO Nat Friedman 的投資。

參考資料：

• https://situational-awareness.ai/from-gpt-4-to-agi/

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。