IT之家 5 月 30 日消息，5 月 27 日，小米 MiMo-V2.5 系列 API 完成永久降價(jià)，最高降幅達(dá) 99%，不區(qū)分輸入長(zhǎng)度。今日，小米正式公開(kāi) MiMo-V2.5 系列模型的推理系統(tǒng)全鏈路優(yōu)化方案。

據(jù)介紹，該團(tuán)隊(duì)圍繞 Hybrid SWA + MoE + 多模態(tài)的復(fù)合架構(gòu)，系統(tǒng)性重構(gòu)了從 KVCache 管理、分級(jí)緩存、前綴緩存到調(diào)度策略與 Prefill / Decode 鏈路的完整推理?xiàng)＃琄VCache 存儲(chǔ)壓縮至同級(jí)方案的約 1/7，在長(zhǎng)序列場(chǎng)景下推理成本大幅下降 —— 這是本次降價(jià)的核心技術(shù)基礎(chǔ)。

這也是業(yè)內(nèi)首篇全面覆蓋 Hybrid SWA + MoE + 多模態(tài)組合架構(gòu)的大規(guī)模工程落地方案。模型能力沒(méi)有任何縮減 —— 精進(jìn)的是推理系統(tǒng)工程能力本身：同一個(gè)模型，相同硬件，更高吞吐，更低延遲，可以服務(wù)更多人。

IT之家附主要內(nèi)容如下：

1、為什么選擇 Hybrid SWA 架構(gòu)？

大模型推理的核心開(kāi)銷(xiāo)來(lái)自 KVCache。模型生成每一個(gè) token 時(shí)，需要將全部歷史上下文以鍵值對(duì)形式緩存在 GPU 顯存中。上下文越長(zhǎng)，緩存越大，可并發(fā)請(qǐng)求越少，單次推理成本越高。這是當(dāng)前所有大模型服務(wù)共同面對(duì)的核心經(jīng)濟(jì)約束。

MiMo-V2.5-Pro 的設(shè)計(jì)選擇是從架構(gòu)層面打破這一約束。70 層 Transformer 中，僅 10 層使用 Full Attention（完整注意力），其余 60 層使用 Sliding Window Attention（滑動(dòng)窗口大小 128 token）。絕大部分網(wǎng)絡(luò)層只需存儲(chǔ)最近 128 個(gè) token 的信息，整體 KVCache 存儲(chǔ)需求降至全 Full Attention 方案的約 1/7。

同時(shí)，由于 SWA 層的注意力計(jì)算量也從全序列縮減到窗口大小，Prefill 階段的計(jì)算成本同樣降至約 1/7。Decode 階段的延遲與 KVCache 讀取量正相關(guān)，長(zhǎng)序列場(chǎng)景下這一存儲(chǔ)壓縮幾乎直接等價(jià)于推理成本的等比例下降。兩者疊加，Hybrid SWA 在 Prefill 和 Decode 階段同時(shí)受益。短文場(chǎng)景性價(jià)比接近，序列越長(zhǎng)，推理成本優(yōu)勢(shì)越大。

但架構(gòu)上的“應(yīng)該省”和線上的“真的省”之間，隔著一整套推理系統(tǒng)的適配工程。

MiMo-V2 系列上線之初，主流開(kāi)源推理框架對(duì) SWA 的支持并不完整 —— 早期實(shí)現(xiàn)實(shí)質(zhì)上是“以存儲(chǔ) Full KVCache 的代價(jià)來(lái)兼容 SWA”。Hybrid SWA 顯著增加了緩存命中判定、前綴匹配、雙語(yǔ)義一致性維護(hù)的復(fù)雜度；在真實(shí)系統(tǒng)中，多級(jí)存儲(chǔ)的數(shù)據(jù)搬運(yùn)、異步預(yù)取與分布式緩存狀態(tài)的一致性問(wèn)題，共同使理論收益難以直接落地。我們需要讓推理系統(tǒng)真正“理解” Hybrid SWA 的存儲(chǔ)特性，將每一項(xiàng)理論優(yōu)勢(shì)逐一兌現(xiàn)為工程收益。

2、工程化實(shí)踐，從“理論上省”到“真的省”

明確了 Hybrid SWA 在架構(gòu)層面“能省多少”之后，接下來(lái)的挑戰(zhàn)是：如何讓推理系統(tǒng)真正適配它的特性，把架構(gòu)優(yōu)勢(shì)轉(zhuǎn)化為真實(shí)的效率提升？

我們的工作圍繞三個(gè)遞進(jìn)的問(wèn)題展開(kāi)：緩存能不能真正省下來(lái)？省下來(lái)的空間能不能真正用起來(lái)？最終的生成速度能不能真正快起來(lái)？

KVCache 系統(tǒng)重構(gòu)：讓緩存真正省下來(lái)

要兌現(xiàn) Hybrid SWA 的效率優(yōu)勢(shì)，第一步是讓 KVCache 管理系統(tǒng)真正區(qū)分兩種截然不同的緩存需求。

雙池分治。傳統(tǒng)推理系統(tǒng)為所有層統(tǒng)一分配 KVCache 空間，按最大需求配置。我們將 KVCache 拆分為 Full KV Pool 與 SWA KV Pool 兩個(gè)獨(dú)立池：Full KV Pool 按需增長(zhǎng)、長(zhǎng)期保存；SWA KV Pool 僅按窗口大小配置容量，采用環(huán)形緩沖區(qū)設(shè)計(jì)，支持基于窗口的獨(dú)立淘汰，存儲(chǔ)嚴(yán)格限制在 O (W) 規(guī)模。對(duì)上層調(diào)度器和前綴樹(shù)仍暴露統(tǒng)一序列視圖，由 Full Attention 索引作為權(quán)威索引并維護(hù)到 SWA 的映射關(guān)系。通過(guò)這一設(shè)計(jì)，KVCache 容量效率實(shí)現(xiàn)約 7 倍提升。SWA 層的 KVCache 預(yù)取可在 layerwise 粒度實(shí)現(xiàn)完美 overlap，Cache 讀取成本接近于零。

存儲(chǔ)省下來(lái)了，下一個(gè)問(wèn)題是：已經(jīng)算過(guò)的結(jié)果能不能復(fù)用？這取決于前綴緩存能否在 SWA 模式下正確工作。

前綴緩存樹(shù)重構(gòu)。傳統(tǒng)前綴緩存的匹配規(guī)則建立在“token 序列相等 → KV 也相等”這一假設(shè)上 —— 在 SWA 模式下這條假設(shè)被打破了。前綴樹(shù)節(jié)點(diǎn)的邏輯生命周期與 SWA KV 的物理生命周期不一致，一個(gè)節(jié)點(diǎn)對(duì)應(yīng)的 SWA KV 可能只剩尾部一小段甚至已完全被釋放，傳統(tǒng)規(guī)則會(huì)給出“偽命中”。我們從三處改造前綴樹(shù)語(yǔ)義：將匹配規(guī)則升級(jí)為“窗口安全長(zhǎng)度”（尾部至少 W 個(gè) token 仍有有效 slot）；將淘汰路徑與請(qǐng)求生命周期綁定，確保 SWA 池占用恒定在窗口量級(jí)；每個(gè)節(jié)點(diǎn)同時(shí)承載 Full Attention 段索引與 SWA 段映射，支持獨(dú)立淘汰策略。線上前綴緩存命中率平均達(dá)到 93%，高頻用戶超過(guò) 95%。

解決了“算過(guò)的能復(fù)用”之后，還有一個(gè)現(xiàn)實(shí)問(wèn)題：用戶對(duì)話有時(shí)間間隔，緩存放在顯存里太貴，丟掉又要重算。

GCache 三級(jí)緩存。小米存儲(chǔ)團(tuán)隊(duì)自研 GCache—— 同時(shí)支持 GPU 顯存、CPU 內(nèi)存和 NVMe SSD 的高性能分布式緩存系統(tǒng)。KVCache 按訪問(wèn)熱度在三級(jí)間自動(dòng)流轉(zhuǎn)：活躍數(shù)據(jù)駐留顯存，冷數(shù)據(jù)降級(jí)到內(nèi)存或 SSD，用戶返回時(shí)快速恢復(fù)。GCache 優(yōu)先在 GPU 機(jī)器上混部，接管節(jié)點(diǎn)的部分內(nèi)存與自帶 SSD，額外存儲(chǔ)成本為零。通過(guò) RDMA 通信實(shí)現(xiàn)單進(jìn)程 170 GB/s 讀吞吐、280μs 延遲。結(jié)合 SWA 的極小存儲(chǔ)占用，相同成本下可承載的緩存量成倍提升，KVCache 被迫淘汰的壓力大幅降低，留存窗口顯著延長(zhǎng) —— 緩存命中率由此水漲船高。

將上述三項(xiàng)優(yōu)化綜合來(lái)看：SWA 把緩存體積壓到 1/7 是容量層面的收益，前綴緩存重構(gòu)和 GCache 帶來(lái)的高命中率是復(fù)用層面的收益。兩者相乘，才是 Prefill 階段實(shí)際計(jì)算成本的真實(shí)曲線。

調(diào)度與 Prefill 優(yōu)化：讓省下的空間真正用起來(lái)

緩存省下來(lái)了、復(fù)用率也上去了，但如果調(diào)度和計(jì)算鏈路不做相應(yīng)適配，省出來(lái)的顯存空間和算力余量就只是“紙面富余”。

KVCache 親和與優(yōu)先調(diào)度。Agentic 場(chǎng)景下，請(qǐng)求長(zhǎng)度差異巨大。傳統(tǒng) FCFS 調(diào)度不區(qū)分命中率高低、計(jì)算量大小，導(dǎo)致緩存命中率高但實(shí)際計(jì)算量小的請(qǐng)求被長(zhǎng)請(qǐng)求阻塞。我們?cè)?Router 側(cè)實(shí)現(xiàn) KVCache 親和調(diào)度 —— 優(yōu)先選擇已緩存當(dāng)前請(qǐng)求前綴的節(jié)點(diǎn)，同時(shí)兼顧負(fù)載均衡，L2 緩存命中率提升約 25%。同時(shí)引入計(jì)算量感知優(yōu)先調(diào)度，優(yōu)先處理真實(shí)計(jì)算 token 數(shù)更少的請(qǐng)求，輔以等待時(shí)間懲罰機(jī)制避免饑餓。TTFT P90 降低 30%。

調(diào)度把請(qǐng)求送到了正確的節(jié)點(diǎn)，接下來(lái)是 Prefill 鏈路本身的計(jì)算效率。

EP 縮減與分桶策略。SWA KVCache 優(yōu)化使 GPU 卡顯存余量大幅增加，我們將 Expert Parallelism 縮減至原先的 1/2—— 跨機(jī)通信更少、負(fù)載差異更小、每臺(tái)機(jī)器承載 expert 更多，端到端 Prefill 性能提升約 40%。同時(shí)采用三級(jí)長(zhǎng)度分桶策略（0–64K / 64K–256K / 256K–1M），將負(fù)載特征相近的請(qǐng)求聚合調(diào)度，避免短請(qǐng)求被長(zhǎng)請(qǐng)求拖慢，顯著提升線上 Prefill 平均吞吐。

Decode 加速與多模態(tài)優(yōu)化：讓生成速度真正快起來(lái)

Prefill 完成后進(jìn)入 Decode 階段 —— 逐 token 輸出。這一階段的核心瓶頸與 Prefill 不同：不是計(jì)算量大，而是顯存被 KVCache 占滿導(dǎo)致 batch size 無(wú)法擴(kuò)展，GPU 算力打不滿。

顯存擴(kuò)容與 MTP 投機(jī)解碼。Decode 端 KVCache 完整支持 SWA 后，有效容量提升近 5 倍，結(jié)合 CUDA Graph 顯存調(diào)優(yōu)與 PD 分離中的預(yù)分配優(yōu)化，單節(jié)點(diǎn)并發(fā)能力顯著增強(qiáng)。MiMo-V2.5 原生支持 3 層 MTP（Multi-Token Prediction）加速輸出 —— 模型每步并行預(yù)測(cè)多個(gè)候選 token，驗(yàn)證通過(guò)后一次性輸出。通過(guò)在 Prefill 階段引入 MTP 并完成 HiCache 多級(jí)適配，前 128 token 加速比達(dá)到 2.3×，128–256 token 達(dá)到 1.5×。Agentic 場(chǎng)景下大部分輸出序列較短，該優(yōu)化直接降低了真實(shí) Decode 成本。

文本推理之外，多模態(tài)推理鏈路同樣是用戶體驗(yàn)的關(guān)鍵環(huán)節(jié)。

多模態(tài)鏈路并行化。MiMo-V2.5 系列支持視覺(jué)、音頻、視頻跨模態(tài)理解。Encoder 支持跨請(qǐng)求組 Batch，多個(gè)請(qǐng)求的 image / audio 融合為一次 Forward 再按請(qǐng)求切分返回；圖片預(yù)處理遷移至 GPU 消除大圖場(chǎng)景下 CPU 瓶頸；視頻解碼切分為多 chunk 多線程并行處理，1 小時(shí)視頻端到端延時(shí)從 156 秒降至 23 秒。通過(guò)一致性哈希和機(jī)內(nèi)共享內(nèi)存實(shí)現(xiàn) Embedding 緩存共享，整體 Encoder 吞吐提升至 2 倍。

3、讓 Hybrid SWA 被更多人用起來(lái)

MiMo-V2.5 系列的推理效率并非來(lái)自某一環(huán)節(jié)的單點(diǎn)突破，而是多維度協(xié)同優(yōu)化的結(jié)果。Hybrid SWA 讓 Prefill 與 Decode 同時(shí)受益，但未經(jīng)充分優(yōu)化的 KVCache 實(shí)現(xiàn)反而會(huì)在各環(huán)節(jié)抬高成本。

圍繞這一核心矛盾，我們系統(tǒng)性重構(gòu)了 KVCache 管理、分級(jí)緩存、前綴緩存樹(shù)、調(diào)度策略及 Prefill / Decode 鏈路，攻克 SWA KVCache 的核心工程問(wèn)題并經(jīng)線上真實(shí)場(chǎng)景檢驗(yàn)，最終將其理論效率優(yōu)勢(shì)真正兌現(xiàn)到生產(chǎn)環(huán)境。再結(jié)合 MoE 配置與多模態(tài)推理的系統(tǒng)性優(yōu)化，整體線上推理服務(wù)性能得到顯著提升。

至此，Hybrid SWA 才真正展現(xiàn)出它應(yīng)有的樣子：一個(gè)在長(zhǎng)文推理上兼具強(qiáng)度與效率的模型架構(gòu)。

作為首篇全面覆蓋 Hybrid SWA + MoE + 多模態(tài)組合架構(gòu)的大規(guī)模工程落地方案，我們將由此節(jié)省的成本以 API 降價(jià)回饋用戶。同時(shí)，我們已將部分優(yōu)化以 PR 形式回饋 SGLang 開(kāi)源社區(qū)，并將持續(xù)推進(jìn)更多開(kāi)源計(jì)劃，希望讓工程優(yōu)化不再成為門(mén)檻，使這類(lèi)兼具強(qiáng)度與效率的復(fù)合架構(gòu)得到更廣泛的探索與應(yīng)用。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。