IT之家 7 月 16 日消息，微軟首席技術(shù)官（CTO）凱文?斯科特（Kevin Scott）上周在接受紅杉資本旗下播客采訪時(shí)，重申了他堅(jiān)信大型語(yǔ)言模型 (LLM) 的“規(guī)模定律”將繼續(xù)推動(dòng)人工智能進(jìn)步的觀點(diǎn)，盡管該領(lǐng)域一些人懷疑進(jìn)步已經(jīng)停滯。斯科特在推動(dòng)微軟與 OpenAI 達(dá)成 130 億美元的技術(shù)共享協(xié)議方面發(fā)揮了關(guān)鍵作用。

斯科特表示：“其他人可能持不同觀點(diǎn)，但我認(rèn)為規(guī)模化并未達(dá)到邊際收益遞減的臨界點(diǎn)。我想讓人們理解這里存在著一個(gè)指數(shù)級(jí)提升的過(guò)程，遺憾的是，你只能每隔幾年才能看到一次，因?yàn)榻ㄔ斐?jí)計(jì)算機(jī)然后用它們訓(xùn)練模型都需要時(shí)間?！?/p>

2020 年，OpenAI 研究人員探索了 LLM 的“規(guī)模定律”，該定律表明，隨著模型變得更大（參數(shù)更多）、訓(xùn)練數(shù)據(jù)更多以及擁有更強(qiáng)大的計(jì)算能力，語(yǔ)言模型的性能往往會(huì)呈可預(yù)測(cè)的提升。這一定律意味著，僅僅增加模型規(guī)模和訓(xùn)練數(shù)據(jù)，就能夠顯著提升人工智能能力，而無(wú)需取得根本性的算法突破。

然而，此后也有其他研究人員對(duì)“規(guī)模定律”的長(zhǎng)期有效性提出質(zhì)疑。不過(guò)，該概念仍是 OpenAI 人工智能研發(fā)理念的基石。斯科特所持的樂(lè)觀態(tài)度與部分人工智能領(lǐng)域批評(píng)人士的觀點(diǎn)形成鮮明對(duì)比，一些人認(rèn)為，大型語(yǔ)言模型的進(jìn)步在類似 GPT-4 的模型級(jí)別已經(jīng)停滯不前。這種觀點(diǎn)主要基于對(duì)谷歌 Gemini 1.5 Pro、Anthropic 的 Claude Opus 以及 OpenAI 的 GPT-4o 等最新模型的非正式觀察和一些基準(zhǔn)測(cè)試結(jié)果。一些人認(rèn)為，這些模型并沒(méi)有像前幾代模型那樣取得飛躍性的進(jìn)步，大型語(yǔ)言模型的發(fā)展可能正在接近“邊際收益遞減”的階段。

IT之家注意到，人工智能領(lǐng)域著名批評(píng)人士 Gary Marcus 在今年 4 月寫(xiě)道：“GPT-3 明顯優(yōu)于 GPT-2，GPT-4（發(fā)布于 13 個(gè)月前）也明顯強(qiáng)于 GPT-3。但之后呢？”

斯科特所持的立場(chǎng)表明，像微軟這樣的科技巨頭仍然認(rèn)為投資大型人工智能模型是合理的，他們押注于持續(xù)取得突破?？紤]到微軟對(duì) OpenAI 的投資以及大力營(yíng)銷自家的人工智能協(xié)作工具“Microsoft Copilot”，該公司強(qiáng)烈希望維持人工智能領(lǐng)域持續(xù)進(jìn)步的公眾認(rèn)知，即使技術(shù)本身可能遇到瓶頸。

另一位人工智能領(lǐng)域知名批評(píng)人士 Ed Zitron 最近在其博客上寫(xiě)道，有些人支持繼續(xù)投資生成式人工智能的一個(gè)理由是，“OpenAI 掌握著我們不知道的某種技術(shù)，一項(xiàng)強(qiáng)大而神秘的技術(shù)，能夠徹底擊潰所有懷疑者的質(zhì)疑?！彼麑?xiě)道，“但事實(shí)并非如此?！?/p>

公眾對(duì)大型語(yǔ)言模型能力提升放緩的認(rèn)知，以及基準(zhǔn)測(cè)試的結(jié)果，部分原因可能在于人工智能最近才進(jìn)入公眾視野，而事實(shí)上，大型語(yǔ)言模型已經(jīng)發(fā)展多年。OpenAI 在 2020 年發(fā)布 GPT-3 之后的三年中一直持續(xù)研發(fā)大型語(yǔ)言模型，直到 2023 年發(fā)布 GPT-4。許多人可能是在 2022 年底利用 GPT-3.5 開(kāi)發(fā)的聊天機(jī)器人 ChatGPT 上線后才開(kāi)始意識(shí)到類似 GPT-3 的模型的強(qiáng)大功能，因此在 2023 年 GPT-4 發(fā)布時(shí)才會(huì)覺(jué)得能力提升巨大。

斯科特在采訪中反駁了人工智能進(jìn)步停滯的觀點(diǎn)，但他同時(shí)也承認(rèn)，由于新模型往往需要數(shù)年才能開(kāi)發(fā)，因此該領(lǐng)域的數(shù)據(jù)點(diǎn)更新的確較慢。盡管如此，斯科特仍然對(duì)未來(lái)版本的改進(jìn)充滿信心，尤其是在當(dāng)前模型表現(xiàn)不佳的領(lǐng)域。

“下一個(gè)突破即將到來(lái)，我無(wú)法確切地預(yù)測(cè)它何時(shí)出現(xiàn)，也不知道它會(huì)取得多大的進(jìn)步，但它幾乎肯定會(huì)改善目前那些不夠完善的方面，比如模型的成本過(guò)高或過(guò)于脆弱，讓人難以放心使用，”斯科特在采訪中表示，“所有這些方面都會(huì)得到改善，成本會(huì)降低，模型會(huì)變得更加穩(wěn)定。屆時(shí)，我們將能夠?qū)崿F(xiàn)更加復(fù)雜的功能。這正是每一代大型語(yǔ)言模型通過(guò)規(guī)?；〉玫某删??！?/p>

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。