IT之家 5 月 27 日消息，上海稀宇科技有限公司（MiniMax）今天在 X 平臺發(fā)布推文，預告將推出 MiniMax M3 系列模型。
該推文轉發(fā)了一篇 5 月 26 日發(fā)表在 arxiv 上的論文《The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence》，回顧了 MiniMax M2.x 系列模型的背后工作。IT之家附上相關截圖如下：
該論文指出 MiniMax M2.x 系列模型總參數(shù) 229.9B，但每個詞元僅激活 9.8B 參數(shù)，主打“低激活、高智能”，配備 192K 上下文窗口，預訓練數(shù)據(jù)規(guī)模達 29.2T 詞元。
在模型設計上，M2 系列采用 62 層解碼器式 Transformer（變換器），使用 256 個細粒度專家，并為每個詞元激活 8 個專家。
在訓練系統(tǒng)層面，MiniMax 提出 Forge，這是一個面向智能體的強化學習系統(tǒng)，支持白盒與黑盒智能體統(tǒng)一接入。系統(tǒng)通過訓練、推理與智能體解耦，配合窗口化 FIFO 調(diào)度、前綴樹合并和推理加速，降低長軌跡訓練成本。
M2.7 最受關注的升級，是論文提出的“自我進化”雛形。模型已能自主排查訓練失敗、閱讀日志、修改腳手架代碼，并在內(nèi)部任務上完成 100 輪自主迭代。
論文稱，這套系統(tǒng)已吸收團隊 30% 到 50% 的日常迭代工作量，且在內(nèi)部編程腳手架優(yōu)化中帶來 30% 性能提升，顯示模型開始參與自身開發(fā)閉環(huán)。
參考
廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。