IT之家 7 月 28 日消息，阿里云今天宣布，靈駿真武 M890 超節(jié)點(diǎn)實(shí)例成功適配 2.8 萬億參數(shù)大模型 Kimi K3，基于芯片、推理平臺和模型的聯(lián)合優(yōu)化，有效提升模型推理效率。

IT之家了解到，Kimi K3 是月之暗面最新的旗艦?zāi)Ｐ?，參?shù)規(guī)模達(dá)到 2.8 萬億，采用混合專家（MoE）架構(gòu)。

而靈駿真武超節(jié)點(diǎn)實(shí)例基于平頭哥訓(xùn)推一體 AI 芯片真武 M890 打造，具備 ICN Switch 1.0 互聯(lián)芯片，可讓 64 張 M890 實(shí)現(xiàn) 800 GB/s 的 All-to-All 高速互聯(lián)，顯存規(guī)模達(dá) 9TB，可將萬億級 MoE 模型的 EP 專家并行通信流量，跑在一個(gè)高帶寬通信域內(nèi)，保證 Token（詞元）生成效率。

同時(shí)，阿里云、平頭哥和 Kimi 團(tuán)隊(duì)從算子、軟件棧等層面進(jìn)行深度協(xié)同，成功讓 kimi K3 模型實(shí)現(xiàn) Day0 適配。真武芯片的 T-Head SAIL 軟件?？勺?Kimi 自研 Mooncake 推理框架實(shí)現(xiàn)“開箱即跑”，M890 的 Triton 支持也讓大量基于 Triton 編寫的自定義算子無需重寫，大幅降低適配工作量。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。