IT之家 5 月 3 日消息,面壁智能發(fā)布開源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 與 Eurux-8x22B-KTO,主打推理能力。
官方測試中,Eurux-8x22B 在 LeetCode(180 道 LeetCode 編程真題)與 TheoremQA (IT之家注:美國大學水準的 STEM 題目)測試上超越了 Llama3-70B,在 LeetCode 測試上超越閉源的 GPT-3.5-Turbo。

據(jù)介紹,Eurux-8x22B 模型激活參數(shù) 39B,支持 64k 上下文,是由 Mixtral-8x22B 模型對齊而來,在 UltraInteract 對齊數(shù)據(jù)集上訓練而成。

UltraInteract 是專門設計用于提升大模型推理能力的大規(guī)模、高質(zhì)量的對齊數(shù)據(jù)集,包含了覆蓋數(shù)學、代碼和邏輯推理問題的 12 個開源數(shù)據(jù)集的 86K 條指令和 220K 偏好對,共有五十萬條左右數(shù)據(jù)。


廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家包含外鏈的文章均包含本聲明。