造芯片的還有高手？剛剛推出的一款最新芯片，直接沖上硅谷熱榜。峰值推理速度高達(dá)每秒 17000 個(gè) token。

什么概念呢？當(dāng)前公認(rèn)最強(qiáng)的 Cerebras，速度約為 2000 token/s。速度直接快 10 倍，同時(shí)成本驟減 20 倍、功耗降低 10 倍。這就意味著，LLM 真正來到了亞毫秒級(jí)的即時(shí)響應(yīng)速度。

但這塊一夜之間刷屏硅谷的芯片，并非出自英偉達(dá)、AMD 之手，而是一家成立僅兩年、團(tuán)隊(duì)僅有 24 人的初創(chuàng)公司 ——Taalas。

芯片代號(hào) HC1，也是公司的首款產(chǎn)品。不同于所有競爭對(duì)手，Taalas 選擇了迄今為止最極端的技術(shù)方案 —— 模型不再加載到內(nèi)存里，而是直接刻在硅片上。換言之，芯片即模型。

結(jié)果顯而易見，Taalas 撬動(dòng)了芯片算力護(hù)城河：H100 買不到，試試 HC1 又何妨？

速度快 10 倍，功耗降至 10 分之一

HC1 目前搭載 Llama 3.1 8B 模型，用戶每秒最高可生成 17000 token/s，遠(yuǎn)高于主流 GPU / ASIC。

其中，在同一模型下 Cerebras 接近每秒 2000 個(gè) token，SambaNova 約為每秒 900 個(gè) token，Groq 約為每秒 600 個(gè)，英偉達(dá) Blackwell 架構(gòu)的 B200 為每秒 350 個(gè)。

具體來說，HC1 采用臺(tái)積電 N6 工藝，面積為 815mm2，體積小巧而且開源，單顆芯片即可滿足 8B 模型需求。

每顆芯片典型功耗僅為 250W，一個(gè)服務(wù)器如果同時(shí)裝配 10 顆 HC1，功耗也才 2.5kW，可以直接使用常規(guī)空氣冷卻機(jī)架部署。

那么是如何做到這么大的性能飛躍的呢？

首先 HC1 借鑒了 2000 年代初期的結(jié)構(gòu)化 ASIC 芯片理念。結(jié)構(gòu)化 ASIC 芯片采用門陣列和固化 IP，然后僅通過改變互連層就能使芯片適應(yīng)特定的工作負(fù)載。

這樣下來，結(jié)構(gòu)化 ASIC 芯片不僅比全定制 ASIC 更便宜，也比 FPGA 性能更優(yōu)。

HC1 則采用類似思路，不改變底層電路，只通過調(diào)整兩層掩模，就能低成本快速做出專用 AI 推理芯片。

它放棄了大多數(shù)可編程功能，將模型連同權(quán)重一起通過基于掩模 ROM 的調(diào)用架構(gòu)存儲(chǔ)在芯片上，并保留一個(gè)可編程 SRAM，用于保存微調(diào)后的權(quán)重（如 LoRA）和 KV 緩存。其余則全部通過掩模 ROM 固化執(zhí)行。

這一策略能在設(shè)計(jì)成本相對(duì)可控的前提下，實(shí)現(xiàn)模型到芯片的快速轉(zhuǎn)化，將芯片生產(chǎn)周期從原先的六個(gè)月縮短到兩個(gè)月。

而如此激進(jìn)的量化方式勢(shì)必會(huì)影響性能，研究團(tuán)隊(duì)也意識(shí)到了這一點(diǎn)，所以可以通過 LaRA 適配器進(jìn)行重新訓(xùn)練，以及可配置的上下文窗口，讓芯片的最低限度靈活性得以保留。

換句話說，就是將一個(gè)完整大模型通過物理硬連線進(jìn)芯片中，省去了傳統(tǒng)存算分離的成本，用靈活性換取極致的速度和效率。

除了 Llama 3.1，Taalas 也嘗試將其它模型集成到 HC1 上，例如對(duì) DeepSeekR1-671B 的多芯片解決方案。

將 SRAM 部分拆分到單獨(dú)的芯片上，然后可以將每片 HC1 的存儲(chǔ)密度提高到約 20 位參數(shù)，總計(jì)需要 30 個(gè)定制 HC1。

整體處理速度可達(dá)到每用戶每秒 12000 個(gè) token，如果考慮到 30 顆芯片成本為每百萬 token 是 7.6 美分，那么該方案成本也不到同等吞吐量的 GPU 方案的一半。

假設(shè) GPU 更新周期為四年，而 HC1 每年都需要重新更換，總成本也仍然具備優(yōu)勢(shì)。

AMD 前高管夢(mèng)之隊(duì)

其背后的公司 Taalas 成立于兩年前，由 AMD 前集成電路設(shè)計(jì)總監(jiān) Ljubi?a Baji?、AMD / ATI / Altera 前技術(shù)經(jīng)理和工程師 Leila Baji?、AMD 前 ASIC 設(shè)計(jì)總監(jiān) Drago Ignjatovi?共同創(chuàng)立，堪稱 AMD 前高管夢(mèng)之隊(duì)。

其中，Ljubi?a Baji?不僅曾在 AMD 和英偉達(dá)擔(dān)任高級(jí)職位，負(fù)責(zé)高性能 GPU 研發(fā)設(shè)計(jì)，還是 Tenstorrent 的創(chuàng)始人兼首任 CEO。

新公司致力于開發(fā)專為 AI 推理和訓(xùn)練設(shè)計(jì)的全新架構(gòu)，強(qiáng)調(diào)分層設(shè)計(jì)和晶格網(wǎng)絡(luò)，能夠讓芯片像大腦一樣根據(jù)任務(wù)需求動(dòng)態(tài)處理數(shù)據(jù)。

在 2020 年，芯片教父 Jim Keller 也強(qiáng)勢(shì)加入 Tenstorrent，并接任 CEO 一職，而 Ljubi?a Baji?轉(zhuǎn)任首席技術(shù)官 CTO，專注于產(chǎn)品研發(fā)。

隨后，他又創(chuàng)立了 Taalas，試圖通過類似硅基編譯器的方式，直接將 AI 模型轉(zhuǎn)化為硅芯片。

于是首戰(zhàn)告捷，一個(gè)僅有 24 名成員的團(tuán)隊(duì)，產(chǎn)品投入僅 3000 萬美元，就創(chuàng)造出比通用 AI 芯片高出幾個(gè)數(shù)量級(jí)的能效比。

目前 Taalas 已籌集 2 億美元投資，預(yù)計(jì)將在春季基于 HC1 發(fā)布第二代變體，將集成一款中等規(guī)模的推理大模型。

隨后預(yù)計(jì)將在冬季部署上線 HC2，HC2 密度更高、運(yùn)行速度也會(huì)更快。

不過對(duì)于 HC1，網(wǎng)友們的評(píng)價(jià)卻是兩極分化。

一方面，網(wǎng)友認(rèn)為 HC1 的超低延遲將有益于推動(dòng)具身智能等領(lǐng)域發(fā)展。

另一方面，也有網(wǎng)友實(shí)測(cè)過后發(fā)現(xiàn)，HC1 高速推理的背后，卻是糟糕的推理深度：

以及對(duì)于迭代周期相當(dāng)迅速的大模型來說，HC1 的硬編碼可能會(huì)使芯片很容易過時(shí)。

這也是為什么當(dāng)前芯片廠商都在普遍推出通用型芯片的原因之一。

參考鏈接：

• [1]https://x.com/wildmindai/status/2024810128487096357?s=20

• [2]https://taalas.com/the-path-to-ubiquitous-ai/

• [3]https://chatjimmy.ai/

• [4]https://www.eetimes.com/taalas-specializes-to-extremes-for-extraordinary-token-speed

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。