訓(xùn)練大模型時(shí)，有時(shí)讓它“記性差一點(diǎn)”，反而更聰明！

大語言模型如果不加約束，很容易把訓(xùn)練數(shù)據(jù)原封不動(dòng)地復(fù)刻出來。為解決這個(gè)問題，來自馬里蘭大學(xué)、圖賓根大學(xué)和馬普所的研究團(tuán)隊(duì)提出了一個(gè)新方法 —— 金魚損失（Goldfish Loss）。

顧名思義，金魚損失就是讓模型像金魚一樣，不去死記每一個(gè)細(xì)節(jié)，而是在損失函數(shù)計(jì)算時(shí)隨機(jī)剔除一小部分 token。

由此，模型不再逐字記住訓(xùn)練集內(nèi)容，但仍能學(xué)會(huì)語言規(guī)律。

實(shí)驗(yàn)顯示，LLaMA-2 在使用金魚損失后：

• 記憶化內(nèi)容顯著減少：模型不再復(fù)現(xiàn)訓(xùn)練數(shù)據(jù)

• 下游任務(wù)性能幾乎不受影響：仍然能流暢生成文本

用網(wǎng)友的精辟評(píng)論概括就是：dropout，但損失函數(shù)！

在梯度計(jì)算中隨機(jī)屏蔽部分 token

金魚損失的核心理念非常簡(jiǎn)單，就是在模型訓(xùn)練過程中隨機(jī)剔除一部分訓(xùn)練文本中的 tokens，使其不參與損失計(jì)算。

這樣一來，當(dāng)模型在推理階段遇到這些位置時(shí)，就只能“猜測(cè)”，而不是逐字逐句復(fù)現(xiàn)訓(xùn)練數(shù)據(jù)的完整序列。

此外，為了保證被剔除 token 的一致性，研究人員設(shè)計(jì)了一種基于哈希（hashing）的掩碼策略。

那么，這和同樣是防止模型背會(huì)的正則化方法有什么不同呢？

以 Dropout 這樣的正則化方法為例，它通過在訓(xùn)練時(shí)“加噪聲”來防止模型過度依賴某些參數(shù)，從而提高模型舉一反三的能力。

但這樣做的問題在于：如果只是隨機(jī)丟 token，那么，每次看到同一段落時(shí)，丟掉的地方不一樣，模型累計(jì)幾次就能拼湊出完整段落。

所以，說到底，模型還是靠死記硬背，記住了答案。

相比之下，金魚損失則用哈希掩碼確保每次遇到同一段落，掩蓋位置都一樣，這就從根本上阻止了模型復(fù)現(xiàn)完整訓(xùn)練文本。

接下來，我們來看金魚損失具體是怎么做的。

在傳統(tǒng)的 next-token prediction 中，模型以序列中的下一個(gè)真實(shí) token 作為目標(biāo)，輸出預(yù)測(cè)分布，并基于該分布計(jì)算交叉熵?fù)p失。

在金魚損失下，模型雖然也在前向傳播中預(yù)測(cè)序列里下一個(gè) token。但在計(jì)算損失時(shí)，會(huì)以一定的概率將某些位置的 token 從損失計(jì)算里“抹掉”。

也就是說，有些真實(shí)的下一個(gè) token 不會(huì)作為目標(biāo)來訓(xùn)練。

在這里，研究人員采用了簡(jiǎn)單的靜態(tài)掩碼（static mask），剔除每序列中的第 4 個(gè) token。

更進(jìn)一步，為了確保模型不會(huì)從其他地方學(xué)到被掩碼的數(shù)據(jù)（例如不同的文檔會(huì)在不同的網(wǎng)頁中反復(fù)出現(xiàn)），研究團(tuán)隊(duì)還提出了一種局部化哈希掩碼（localized hashed mask），使得當(dāng)相同的前 h 個(gè) token 出現(xiàn)時(shí)，掩蓋模式是相同的（可重復(fù)）。

實(shí)驗(yàn)測(cè)試與結(jié)果

為了驗(yàn)證金魚損失確實(shí)能防止記憶化，研究團(tuán)隊(duì)設(shè)計(jì)了兩種實(shí)驗(yàn)場(chǎng)景：

一種是極端場(chǎng)景，通過對(duì)少量樣本進(jìn)行多個(gè)訓(xùn)練周期（即重復(fù)）來強(qiáng)烈促使記憶化；

另一種是標(biāo)準(zhǔn)場(chǎng)景，模擬現(xiàn)實(shí)模型訓(xùn)練中使用的批次處理方式。

同時(shí)，為了評(píng)估模型的記憶化程度，研究采用了以下指標(biāo)：

• RougeL 得分：該指標(biāo)衡量最長公共（非連續(xù)）子序列的長度。得分為 1.0 表示完美記憶。

• 精確匹配率（Exact Match）：該指標(biāo)衡量正確預(yù)測(cè)的序列占真實(shí)序列的百分比.

實(shí)驗(yàn)表明，在極端場(chǎng)景下，標(biāo)準(zhǔn)訓(xùn)練導(dǎo)致模型逐字記憶了 100 篇文章中的 84 篇，而金魚損失沒有記憶任何文章。

此外，在標(biāo)準(zhǔn)訓(xùn)練場(chǎng)景下，金魚損失也明顯減少了模型逐字復(fù)現(xiàn)訓(xùn)練語料庫中目標(biāo)序列的情況。

但這里可能有個(gè)直覺式的反應(yīng) —— 如果讓模型“隨機(jī)漏學(xué)”一些 token，它的能力會(huì)不會(huì)也隨之降低呢？

對(duì)此，研究人員進(jìn)行了測(cè)試：研究表明，金魚損失模型、標(biāo)準(zhǔn)損失模型和對(duì)照模型之間的總體性能沒有系統(tǒng)性差異。

需要注意的是，金魚損失的核心在于忽略部分 token 的梯度計(jì)算。因此，為了學(xué)到足夠的語言模式，模型必須通過更多數(shù)據(jù)來補(bǔ)償這些空缺，這可能導(dǎo)致計(jì)算效率的下降。

參考鏈接

• [1]https://arxiv.org/pdf/2406.10209

本文來自微信公眾號(hào)：量子位（ID：QbitAI），作者：henry，原標(biāo)題《大模型“記性差一點(diǎn)”反而更聰明！金魚損失隨機(jī)剔除 token，讓 AI 不再死記硬背》

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。