IT之家 7 月 31 日消息，人們正在越來越多地使用大模型完成各種任務(wù)，不論是翻譯、總結(jié)文章還是識別金融詐騙，大模型都是“無所不包”。盡管這些模型都具有“驚人”能力，但它們偶爾也會(huì)生成錯(cuò)誤答案，并對錯(cuò)誤答案過于自信、對正確答案信心不足，使用戶對大模型是否值得信任表示懷疑。
據(jù) MIT NEWS 今日報(bào)道，麻省理工學(xué)院（MIT）和 MIT-IBM Watson AI Lab 的研究人員提出了一種專為大型語言模型量身定制的校準(zhǔn)方法。他們的方法被稱為“溫度計(jì)”，其原理是在大語言模型之上構(gòu)建一個(gè)較小的輔助模型來對其進(jìn)行校準(zhǔn)。
據(jù)悉，這種被叫作“溫度計(jì)”的方法所需的計(jì)算能力更少，但同時(shí)又能保持模型的準(zhǔn)確性，并使其能夠在未曾遇到過的任務(wù)中做出更好的校準(zhǔn)響應(yīng)。
通過針對各種任務(wù)對大語言模型進(jìn)行高效校準(zhǔn)，“溫度計(jì)”可以幫助用戶找出模型對錯(cuò)誤預(yù)測過于自信的情況，最終防止用戶在可能失敗的情況下部署該模型。
有關(guān)論文的第一作者、麻省理工學(xué)院電子工程和計(jì)算機(jī)科學(xué)研究生沈茂豪（IT之家注：音譯）表示，“我們希望向用戶提供一個(gè)明確的信號，告訴他們模型的回應(yīng)是準(zhǔn)確還是不準(zhǔn)確，以反映模型的不確定性，讓他們知道模型是否可靠。”
借助“溫度計(jì)”，研究人員開發(fā)出了一種多功能技術(shù)，利用一種被稱為“溫度縮放”的經(jīng)典校準(zhǔn)方法，為新任務(wù)有效地校準(zhǔn)大語言模型。在此背景下，“溫度”是一個(gè)縮放參數(shù)，用于調(diào)整模型的“信心”以與其預(yù)測準(zhǔn)確性一致。
研究人員訓(xùn)練了一個(gè)輔助模型，該模型在大型語言模型之上運(yùn)行，自動(dòng)預(yù)測校準(zhǔn)新任務(wù)所需的“溫度”?！皽囟扔?jì)”只需要訪問大型語言模型內(nèi)部的一個(gè)小部分，就能預(yù)測出特定任務(wù)數(shù)據(jù)點(diǎn)的正確“溫度”，以校準(zhǔn)其預(yù)測。
該團(tuán)隊(duì)希望未來使“溫度計(jì)”支持更復(fù)雜的文本生成任務(wù)，并將該技術(shù)應(yīng)用于更大的大型語言模型。
參考
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。