IT之家 5 月 17 日消息，蘋果與多國(guó)高校及研究院聯(lián)合發(fā)布最新成果，揭示了大語(yǔ)言模型存在的“英語(yǔ)思維定式”問(wèn)題，并提出創(chuàng)新解決方案。IT之家注意到，科研人員中不乏中國(guó)學(xué)者的存在。

研究人員針對(duì)非英語(yǔ)語(yǔ)種輸出中普遍存在的語(yǔ)法與詞匯偏差問(wèn)題展開(kāi)了深度剖析，測(cè)試覆蓋中文、法語(yǔ)、英語(yǔ)（基于維基百科）語(yǔ)料。

測(cè)試發(fā)現(xiàn)，即使專為中文優(yōu)化的 Qwen 模型，其母語(yǔ)表現(xiàn)仍落后人類水平；Meta 的 Llama 3.1 綜合表現(xiàn)最佳，但自然度仍存在顯著差距；所有模型在非英語(yǔ)輸出中均殘留英語(yǔ)語(yǔ)法結(jié)構(gòu)。

換句話說(shuō)，即使模型在用中文或法語(yǔ)進(jìn)行對(duì)話，但它仍在用英語(yǔ)進(jìn)行“思考”，而且非英語(yǔ)輸出仍然遵循類似英語(yǔ)的語(yǔ)法和詞匯模式。

針對(duì)大語(yǔ)言模型的遣詞造句，研究團(tuán)隊(duì)提出兩項(xiàng)量化指標(biāo)：

• 詞匯自然性（Lexical Naturalness）：評(píng)估 LLM 用詞是否符合母語(yǔ)習(xí)慣

• 句法自然性（Syntactic Naturalness）：檢驗(yàn) LLM 語(yǔ)句是否貼合本土語(yǔ)法

為了縮小差距，研究人員通過(guò)“回譯法”自動(dòng)生成訓(xùn)練樣本，將人工撰寫的流暢中文內(nèi)容先翻譯成英文，再逆向翻譯成帶有 "翻譯腔" 的“反面”樣本。利用這類對(duì)比數(shù)據(jù)訓(xùn)練模型加強(qiáng)自然表達(dá)能力，在保持基準(zhǔn)性能的前提下顯著改善語(yǔ)言輸出質(zhì)量。

論文地址：

• https://arxiv.org/abs/2410.15956

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。