前幾天，谷歌差點(diǎn)遭遇一場(chǎng)公關(guān)危機(jī)，Bert 一作、已跳槽 OpenAI 的前員工 Jacob Devlin 曝出，Bard 竟是用 ChatGPT 的數(shù)據(jù)訓(xùn)練的。

隨后，谷歌火速否認(rèn)。

而這場(chǎng)爭(zhēng)議，也牽出了一場(chǎng)大討論：為什么越來(lái)越多 Google 頂尖研究員跳槽 OpenAI？這場(chǎng) LLM 戰(zhàn)役它還能打贏嗎？

知友回復(fù)

萊斯大學(xué)博士、知友「一堆廢紙」表示，其實(shí)谷歌和 OpenAI 的差距，是數(shù)據(jù)的差距。

「OpenAI 對(duì) LLM 有強(qiáng)大的執(zhí)念，這是 Google 這類公司完全比不上的。當(dāng)然人的差距只是一個(gè)方面，數(shù)據(jù)的差距以及對(duì)待數(shù)據(jù)的態(tài)度才是其成功的關(guān)鍵。人可能可以花錢挖回來(lái)，技術(shù)可能可以補(bǔ)上，但數(shù)據(jù)的差距 Google 短時(shí)間內(nèi)沒法追上?！?/p>

顯然，ChatGPT 的成功中，至關(guān)重要的一環(huán)，就是高質(zhì)量的標(biāo)注數(shù)據(jù)。

「一堆廢紙」介紹，OpenAI 對(duì)數(shù)據(jù)和標(biāo)簽質(zhì)量的重視程度令人發(fā)指，對(duì)標(biāo)注人員的選擇極為嚴(yán)苛（有考試），最后甚至?xí)l(fā)放問卷。正是這種執(zhí)念造就了 GPT 模型的成功，這是 Google 根本比不上的。

而隨著上億用戶不斷給 OpenAI 提供新的數(shù)據(jù)，谷歌和 OpenAI 的差距只會(huì)越來(lái)越大。

Data-centric AI 的理念，奠定了 OpenAI 的成功。

自然語(yǔ)言處理、深度學(xué)習(xí)話題的優(yōu)秀答主「張俊林」表示，OpenAI 已經(jīng)把所有人都甩開了一大截。

包括 Google 在內(nèi)，其實(shí)對(duì)于 LLM 發(fā)展理念的理解，明顯都落后 OpenAI 一個(gè)身位?，F(xiàn)實(shí)是 OpenAI 表現(xiàn)過于優(yōu)秀，把所有人都甩開了，不僅僅是國(guó)內(nèi)。我覺得，OpenAI 對(duì) LLM 在理念及相關(guān)技術(shù)方面，領(lǐng)先國(guó)外的 Google、DeepMind 大約半年到一年的時(shí)間，領(lǐng)先國(guó)內(nèi)大概兩年左右的時(shí)間。

知乎答主「周道道」表示，谷歌近期的翻車和 OpenAI 以對(duì)比，必然給了這些頂尖的研究員巨大的震撼。

另外，據(jù)說 OpenAI 相對(duì)谷歌也會(huì)給研究員更多的資源和更寬泛的要求，畢竟 OpenAI 更像是一個(gè)研究機(jī)構(gòu)，而谷歌更像是把 AI 當(dāng)成產(chǎn)品在研發(fā)的部門。

而答主「陳大寶」的回答可謂非常扎心。

未來(lái)商業(yè)歷史會(huì)記錄兩個(gè)又經(jīng)典又嘲諷的案例：

1.柯達(dá)發(fā)明了數(shù)碼相機(jī)

2.谷歌發(fā)明了 transformer

評(píng)論區(qū)還驚現(xiàn)了利益相關(guān)匿名人士。

又一名匿名人士說到點(diǎn)上了。

知友「飛了個(gè)豬的」點(diǎn)出來(lái)了谷歌作為大公司的「創(chuàng)新者困境」。

又一利益相關(guān)匿名人士出現(xiàn)。

知友「周星楠 (Bill)」總結(jié)道，谷歌這樣的大公司就是要去人材化，基于 policy，所有大家都是螺絲釘。

而 Insider 為我們總結(jié)了一篇長(zhǎng)文，盤點(diǎn)了這些年從谷歌人工智能團(tuán)隊(duì)流失的頂級(jí)人才。

人才都去哪了？

谷歌為人工智能領(lǐng)域貢獻(xiàn)了一些很重要的研究。然而，該公司在將創(chuàng)新轉(zhuǎn)化為產(chǎn)品方面一直進(jìn)展緩慢。

因此，頂級(jí)人工智能研究人員紛紛離開，去往那些可以產(chǎn)生更大價(jià)值和影響的初創(chuàng)公司，例如 OpenAI，Character.AI，DeepMind，Cohere，Inceptive。

谷歌已經(jīng)處于防守地位，時(shí)時(shí)刻刻會(huì)失去人工智能領(lǐng)域領(lǐng)先的地位。而頂級(jí)研究人員的離開，更是加劇了這一問題。

雖然谷歌可能處于防守模式，但其實(shí)它沒必要這樣的。該公司自己創(chuàng)造了許多基礎(chǔ)技術(shù)，為 ChatGPT 等產(chǎn)品提供動(dòng)力。它還將其研究作為開放源碼提供，這在某種程度上諷刺了 OpenAI 的迅速崛起。

由于擔(dān)心該技術(shù)會(huì)對(duì)其業(yè)務(wù)造成聲譽(yù)上的損害，谷歌長(zhǎng)期以來(lái)一直對(duì)發(fā)布類似于 ChatGPT 的聊天機(jī)器人猶豫不決。

谷歌大型語(yǔ)言模型 LaMDA 背后的兩位研究人員 Daniel De Freitas 和 Noam Shazeer 離開了公司，他們對(duì)公司遲遲不發(fā)布類似 ChatGPT 的聊天機(jī)器人感到沮喪。

其他前谷歌研究人員也認(rèn)為，在人工智能如此激動(dòng)人心的時(shí)代，創(chuàng)業(yè)公司會(huì)為研究人員提供成果的所有權(quán)，并且自己會(huì)發(fā)揮更多價(jià)值和影響。

以下是人工智能領(lǐng)域最引人注目的一些論文，這些論文的研究人員已經(jīng)離開谷歌去了別的公司。

Ilya Sutskever

「用神經(jīng)網(wǎng)絡(luò)進(jìn)行序列到序列學(xué)習(xí)」發(fā)表于 2014 年，這篇序列到序列論文探討了訓(xùn)練語(yǔ)言模型，將一個(gè)領(lǐng)域的單詞序列轉(zhuǎn)換為另一個(gè)領(lǐng)域的序列。例如，將一個(gè)英語(yǔ)句子轉(zhuǎn)換為法語(yǔ)句子。

Ilya Sutskever 領(lǐng)導(dǎo)了這篇論文的研究。他在擔(dān)任了近三年的研究科學(xué)家后于 2015 年離開谷歌。Sutskever 是 OpenAI 的聯(lián)合創(chuàng)始人，并繼續(xù)作為其首席科學(xué)家在那里工作。

注意力是你所需要的一切

這篇 Transformer 的重磅論文，如今引用量已經(jīng)突破七萬(wàn)次。Transformer 被認(rèn)為是自然語(yǔ)言處理方面的一個(gè)突破。它通過同時(shí)觀察句子中的每個(gè)詞并權(quán)衡每個(gè)詞的重要性來(lái)收集上下文的細(xì)微差別，從而幫助人工智能理解含義。

而 ChatGPT 中的「T」代表的就是 Transformer，足以見得這篇論文的重要性。

不過，本文的八位作者，除了 Llion Jones，都已經(jīng)離開了谷歌。

Ashish Vaswani 在五年后離開了谷歌大腦（谷歌的深度學(xué)習(xí)人工智能研究團(tuán)隊(duì)），創(chuàng)辦了 Adept 公司，該公司最近籌集了 3.5 億美元，建立生成性人工智能工具，幫助人們更有效地使用生產(chǎn)力軟件。他最近離開了 Adept，去了一家隱秘的創(chuàng)業(yè)公司。

Noam Shazeer 現(xiàn)在是 Character.AI 的 CEO。

Niki Parmar 在五年后離開谷歌大腦，擔(dān)任 Adept 公司的聯(lián)合創(chuàng)始人和首席技術(shù)官，不過和 Vaswani 一樣，她最近也離開了，去了一家隱秘的創(chuàng)業(yè)公司。

Jakob Uszkoreit 在谷歌工作了 13 年，從事神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)。他現(xiàn)在是 Inceptive 的聯(lián)合創(chuàng)始人，這是一家利用深度學(xué)習(xí)來(lái)設(shè)計(jì)新療法的初創(chuàng)公司。

Aidan Gomez 是 Cohere 公司的聯(lián)合創(chuàng)始人和首席執(zhí)行官，該公司已經(jīng)籌集了大約 1.6 億美元，幫助開發(fā)者將生成性人工智能納入他們的應(yīng)用程序和網(wǎng)站。他在谷歌大腦做了一年半的研究員。而他在 Cohere 的聯(lián)合創(chuàng)始人 Nick Frosst 在谷歌大腦做了四年的研究員。

Lukasz Kaiser 在谷歌大腦工作了 7 年多后離開了谷歌大腦，于 2021 年加入了 OpenAI。Kaiser 最近在 OpenAI 的 GPT-4 白皮書中被引用為其長(zhǎng)語(yǔ)境能力的核心貢獻(xiàn)者，他讓聊天機(jī)器人在忘記討論的語(yǔ)境之前，可以進(jìn)行更長(zhǎng)的對(duì)話。

Illia Polosukhin 在谷歌大腦從事了三年的深度學(xué)習(xí)和自然語(yǔ)言理解工作。他在 2017 年離開，創(chuàng)辦了 Pagoda，一個(gè) Web3 創(chuàng)業(yè)平臺(tái)。

建立一個(gè)類似人類的開放域聊天機(jī)器人

這個(gè)論文介紹了谷歌最初的聊天機(jī)器人 Meena，探討了聊天機(jī)器人如何通過研究從公共社交媒體對(duì)話中搜取的數(shù)據(jù)來(lái)學(xué)習(xí)談?wù)撛掝}。它還介紹了谷歌創(chuàng)建的一個(gè)來(lái)評(píng)定聊天機(jī)器人說話表現(xiàn)的測(cè)試。

這篇論文是大語(yǔ)言建模的另一個(gè)重要里程碑，作者認(rèn)為他們可以在沒有硬編碼訓(xùn)練的情況下，做出一個(gè)大語(yǔ)言模型，對(duì)問題產(chǎn)生類似人類的反應(yīng)。

作者之一 Daniel De Freitas 在谷歌大腦做了五年的研究員后，擔(dān)任 Character.AI 的聯(lián)合創(chuàng)始人和總裁。

De Freitas 在 Character.AI 的同事 Romal Thoppilan 對(duì)本文也有貢獻(xiàn)。

LaMDA：對(duì)話應(yīng)用的語(yǔ)言模型

LaMDA 是對(duì)話應(yīng)用的語(yǔ)言模型的縮寫，也是聊天機(jī)器人 Bard 的基礎(chǔ)。它在 2020 年作為 Meena 首次演示，但谷歌從未向公眾發(fā)布 Meena。谷歌人工智能研究部門的前雇員解釋說因?yàn)楣雀钃?dān)心機(jī)器人會(huì)發(fā)表有害的評(píng)論，這會(huì)是一場(chǎng)公關(guān)的噩夢(mèng)。

LaMDA 背后的幾個(gè)主要研究人員已經(jīng)離開了谷歌大腦。

Daniel De Freitas 和 Noam Shazeer 去年成立了 Character.AI 這家公司，他們最近籌集了大約 2 億美元來(lái)創(chuàng)建以各種角色形式說話的聊天機(jī)器人，從馬斯克到治療師到生活教練的各種角色。

Romal Thoppilan 在谷歌大腦工作了 7 年之后，擔(dān)任 Character.AI 的創(chuàng)始研究員。

Alicia Jin 在接近 2022 年底時(shí)加入 Character.AI，擔(dān)任研究工程師。她曾在谷歌大腦工作了三年。

BERT

BERT（Bidirectional Encoder Representations from Transformers）建立在自然語(yǔ)言處理的 Transformer 模型上，經(jīng)過預(yù)先訓(xùn)練，可以很好地完成兩項(xiàng)任務(wù)：掩蔽語(yǔ)言建模和對(duì)下一句話的預(yù)測(cè)。換句話說，BERT 試圖預(yù)測(cè)隱藏的或「被掩蓋的」詞語(yǔ)，迫使算法努力學(xué)習(xí)更多關(guān)于周圍文本的知識(shí)，更好地預(yù)測(cè)隱藏的詞語(yǔ)。

如果你輸入「你能為別人的藥房買藥嗎」，它將理解「別人」是查詢的一個(gè)重要部分。

谷歌早在 2019 年就開始將 BERT 納入搜索引擎之中。這是自 2015 年納入另一種機(jī)器學(xué)習(xí)算法 RankBrain 以來(lái)，搜索準(zhǔn)確性方面的最大進(jìn)步之一。

Jacob Devlin 是這篇論文的主作者，而他在 ChatGPT 推出前不久加入了 OpenAI。

T5

T5 論文的正式名稱是「用統(tǒng)一的文本到文本 Transformer 探索轉(zhuǎn)移學(xué)習(xí)的極限」，它建立在 BERT 的基礎(chǔ)上，非常適合于翻譯和總結(jié)等任務(wù)。

領(lǐng)導(dǎo)這篇論文的 Colin Raffel 在 2021 年離開之前，在谷歌大腦擔(dān)任了大約五年的研究科學(xué)家。目前是聯(lián)合國(guó)大學(xué)教堂山分校的助理教授，每周花一天時(shí)間在 Hugging Face 擔(dān)任研究員。Hugging Face 最近宣布，它在 2022 年 5 月籌集了 1 億美元，公司的估值為 20 億美元。用戶可以在 Hugging Face 分享大型語(yǔ)言模型和數(shù)據(jù)集。

T5 論文的另一位撰稿人 Sharan Narang 在谷歌大腦工作四年后，于 2022 年離開了那里。他現(xiàn)在是 Meta 公司的一名人工智能研究員。

一種用于快速芯片設(shè)計(jì)的圖形放置方法

由谷歌科學(xué)家 Azalia Mirhoseini 和 Anna Goldie 領(lǐng)導(dǎo)的論文發(fā)現(xiàn)，人工智能可以比人類專家更快地完成芯片的設(shè)計(jì)過程。

兩人領(lǐng)導(dǎo)的另一篇論文《用深度強(qiáng)化學(xué)習(xí)進(jìn)行芯片布局》，提供了一種在芯片設(shè)計(jì)中使用人工智能的方法，以最大限度地提高性能，同時(shí)最大限度地減少面積和功率的使用。

這些發(fā)現(xiàn)有助于谷歌設(shè)計(jì) TPU 芯片，專門用于機(jī)器學(xué)習(xí)任務(wù)。

Mirhoseini 和 Goldie 都在 2022 年離開谷歌，加入了 Anthropic，也是 OpenAI 的競(jìng)爭(zhēng)對(duì)手，它們正在開發(fā)自己的大型語(yǔ)言模型和一個(gè)名為 Claude 的聊天機(jī)器人。

DeepMind

Mustafa Suleyman 是 DeepMind 的聯(lián)合創(chuàng)始人，并擔(dān)任該公司的首席產(chǎn)品官。這是一家人工智能實(shí)驗(yàn)室，于 2014 年被谷歌收購(gòu)。該實(shí)驗(yàn)室開發(fā)了 AlphaGo，該機(jī)器學(xué)習(xí)程序在圍棋中擊敗了世界冠軍的專業(yè)人士。

谷歌的母公司 Alphabet 最近在其第四季度財(cái)報(bào)中宣布，DeepMind 的財(cái)務(wù)業(yè)績(jī)將從 「其他投資」中獨(dú)立出來(lái)，這標(biāo)志著人工智能在谷歌未來(lái)戰(zhàn)略中的重要性。通常情況下，「其他投資」是該公司的新生項(xiàng)目的總稱，這些項(xiàng)目尚未達(dá)到盈利水平。

Suleyman 一直是確保新人工智能產(chǎn)品安全的積極倡導(dǎo)者。在 DeepMind 工作期間，他成立了一個(gè)名為 DeepMind 倫理與社會(huì)的研究部門，研究人工智能的現(xiàn)實(shí)影響。2019 年，他因被指控欺負(fù)員工而被 DeepMind 放假。在調(diào)查進(jìn)行期間，他調(diào)回到谷歌擔(dān)任副總裁一職。

Suleyman 在許多與機(jī)器學(xué)習(xí)有關(guān)的研究論文中被引用。2022 年 2 月，他與 LinkedIn 的創(chuàng)建者 Reid Hoffman 共同創(chuàng)建了人工智能初創(chuàng)公司 Inflection。

谷歌最具開創(chuàng)性的人工智能論文的許多主要貢獻(xiàn)者已經(jīng)離開，或是加入了 OpenAI 等競(jìng)爭(zhēng)對(duì)手，或是創(chuàng)辦了自己的公司。

當(dāng) OpenAI 的 ChatGPT 于 2022 年年底問世時(shí)，谷歌首席執(zhí)行官 Sundar Pichai 在內(nèi)部宣布了「紅色預(yù)警」，召集公司做出回應(yīng)。

當(dāng)時(shí)，Pichai 表示，谷歌將毫無(wú)疑問地繼續(xù)雇用人工智能領(lǐng)域的頂級(jí)研究人員。

不過失去了這么多得力干將，谷歌是否還能再造輝煌呢？

參考資料：

• https://www.businessinsider.com/google-ai-teams-brain-drain-researchers-leave-2023-3

• https://www.zhihu.com/question/592975340/answer/2963265672

• https://zhuanlan.zhihu.com/p/597586623

• https://www.zhihu.com/question/592975340/answer/2964598555

本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era）

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。