速度賣 3 倍價、成本只多 1%：AI 推論最貴的那一格，被一顆常駐核心打了下來｜算力超週期系列 16

2026 年 6 月 8 日，小米在自家部落格公布一件事：MiMo-V2.5-Pro-UltraSpeed 在一台標準的 8 卡商用伺服器上，把一個 1 兆參數的模型跑到每秒逾 1,000 個 token，效能圖上的峰值標到每秒約 1,200 個。沒有客製晶片，沒有專用硬體。同一篇公告的最後一行是定價：這個速度層賣標準版的 3 倍價，官方寫的是「3 倍價格、約 10 倍生成速度」。兩個月後，SemiAnalysis 用自家的 InferenceX 基準，把常駐核心這一層在另一個模型上的增量成本算了出來：多付 1%。

一台 8 卡節點，把最貴的那一格拿走了

先講清楚「最貴的那一格」是什麼。

推論硬體上有一條取捨曲線：橫軸是互動性，也就是單一使用者每秒拿到幾個 token；縱軸是吞吐，也就是這台機器加總每秒產出多少 token。兩者是拔河關係。依 SemiAnalysis 的量測，互動性從約 25 拉到 260 tok/s/user 時，單卡吞吐會從約 5,900 掉到約 200 tok/s/GPU，也就是吞吐掉約 30 倍，換單用戶速度 10 倍。Dylan Patel 在 2026 年 7 月的說法更直接：同一台硬體，極致批次端與極致互動端的單位成本相差約 4 倍。

曲線最右端那格，過去是 GPU 打不贏的地方。這屬於架構層面的限制，而它替 Cerebras、Groq、SambaNova 這些用晶圓級或大容量片上記憶體做極速推論的公司，撐起了被公認最難被 GPU 攻下的那一塊市場。

2026 年 8 月 9 日，SemiAnalysis 發布了一份由 Bryan Shan、Daniel Nishball、Cam Quilici 等六人署名的付費報告，內容是他們與 TileRT 維護者合跑的基準。結果是這樣的：

有一個細節值得停一下：它到報告發布時還沒有支援 FP4，卻已經打贏了對手的 FP4 實作。 也就是說，它是在精度上讓一手的情況下贏的。

把速度換算成使用者真的等了多久，落差更直觀。同一份報告記錄的解碼尾段是 3.01 秒，對照最佳 NVFP4 搭 MTP 的對手 6.54 秒、MI355X 的 18.18 秒。原文沒有指明這組秒數屬於哪個情境，我們自己推了一次：1000 除以 340 約等於 2.94 秒、1000 除以 6.54 約等於 153 tok/s/user，剛好對上那個 154 的操作點，所以判定它屬於 8k/1k。這一處是我們自己推的，標記在此。

代價寫在同一份報告裡，沒有藏：8k/1k 情境下它的單卡總吞吐是 160.4 tok/s/GPU，而同場景 GB300 搭 FP4 與 MTP 在併發 12 的操作點上，單卡總吞吐約 240 tok/s、同時還維持 154 tok/s/user。TileRT 換到的是單用戶速度，付出的是總產出。 這是一個刻意特化的操作點，不是通用組態。

小米那台機器則是把同一條路徑推到更遠。它的三層技術裡，只有最後一層是這套引擎：第一層把專家層選擇性量化到 MXFP4、其餘模組保留原精度；第二層是叫 DFlash 的區塊級遮罩平行投機解碼，在程式碼場景平均接受長度 6.3，等於每輪 8 個草稿接受 6 到 7 個；第三層才是常駐核心。所以「1 兆參數、每秒 1,000 個 token」不是 TileRT 一個人的功勞，這點小米自己在公告裡講得很清楚。

瓶頸卡在延遲，頻寬其實還很寬裕

要理解為什麼這件事是軟體做出來的、而不是等下一代硬體，得先看一組對不上的數字。

一台 8 卡 HGX B200 的理論 HBM 總頻寬是 64 TB/s。GLM-5 在 NVFP4、批次大小 1 的條件下，每產生一個 token 只需要搬約 21 GB 的活躍參數。純看頻寬天花板，速度上限應該有 3,047 tok/s/user。換上一代的 H200 節點算也一樣：38.4 TB/s 總頻寬、MXFP8 下每 token 約 42 GB，理論上限約 1,000 tok/s/user。

實務上呢？在這套引擎出現之前，這份資料集裡最快的一點是 181.4 tok/s/user。離天花板還有一個數量級。

差距不在頻寬，在延遲。傳統的推論引擎把模型跑成數以千計個獨立的運算核心程式，業界叫 kernel，一個接一個發射再同步。每顆 kernel 的建立與收尾要花時間，而且每顆都會把做到一半的中間結果寫回 HBM。在一般服務速度下這些開銷看不太出來，可是當單 token 延遲逼近次毫秒，它們就變成主導項。SemiAnalysis 特別註明：即使用了 CUDA graphs 也一樣。

然後是這篇報告裡最該被記住的一句物理事實，原文重複強調了兩次，大意是：

> 每代 GPU 的記憶體頻寬增加約 2 到 3 倍，記憶體延遲完全沒有改善。

而 HBM 價格還一路漲。

這句話的份量在於，它把「等下一代硬體來解決」這條路直接封掉了。頻寬每代翻倍，但那個一直卡住互動性的東西，也就是延遲，一代都沒有動過。所以要往右端推，答案只能來自軟體與執行模型，不能來自製程與封裝。

灘頭堡是怎麼被拿下的：廢掉 kernel 這個執行單位

它的解法，用一句話講完就是：把整張解碼計算圖靜態編譯成一顆常駐的引擎核心，主機端只發射一次，執行期整段留在 GPU 上跑完整個解碼生命週期，大部分執行期的編排搬到編譯期完成。

這跟 CUDA graph 的差別是本質的，不是程度的。CUDA graph 的做法是把 kernel 發射與記憶體複製的有向無環圖捕捉一次，之後用一次呼叫重播。但那些 kernel 還是各自獨立的 kernel，邊界還在，邊界要付裝置端的成本，片上狀態每次過邊界都被清掉。SemiAnalysis 的原話大意是：

> CUDA graph 優化的是 kernel 的發射，TileRT 廢除 kernel 作為執行單位。

在那顆常駐核心裡面，工作被拆成分塊級的任務，不同的執行緒群組分別負責非同步搬資料、張量運算與通訊重疊。原本序列的「載入 → 屏障 → 計算 → 屏障」變成分塊粒度的重疊，中間結果走暫存器、共用記憶體與 L2，不再反覆吐回全域記憶體。報告的比喻是：每個 CTA 從一個同質的 SIMT 工人，變成一座小型的異質工廠。

特化還延伸到整顆 GPU。在被測模型的注意力層裡，GPU 0 被指定當稀疏索引器，負責 Top-K 選擇、稀疏索引建構與路由；GPU 1 到 7 當 MLA 工人，跑 RMSNorm、GEMM、flash sparse attention 與 AllReduce。理由很實際：稀疏路由、Top-K、動態索引這類工作不吃算力，但依賴全域資訊，硬要每個運算單元都跑一遍只會放大同步成本。

3.1它不取代 vLLM，它只接延遲敏感的那一段

這是整件事在商業上最關鍵的設計，也是最容易被漏掉的一段。

推論分兩個階段：預填階段把輸入的提示詞平行處理完，吃算力、看總吞吐；解碼階段逐個 token 產出並反覆讀取不斷長大的 KV 快取，吃記憶體、對單 token 延遲極度敏感。TileRT 只接第二段。vLLM 續當高吞吐的預填引擎與整層服務框架，排程、分塊預填、前綴快取、相容的 API 與維運工具全部留著。

接法是 vLLM 既有的多連接器介面，把它的連接器與原生連接器組合起來。這個連接器只認領被標記為高互動性流量類別的請求，對其餘一律無作用，所以兩類流量可以共用同一台預填伺服器。KV 快取的搬運走 Mooncake 與 NIXL 兩個傳輸引擎。

回到專案本體查，這個架構就寫在官方文件裡，屬於標準組態。專案倉庫直接列了兩種拓樸：拓樸 A 是 vLLM 預填接 TileRT 解碼、單一解碼池；拓樸 B 是共用預填池同時餵兩種解碼池。連接器隨套件出貨，官方明講不必修改 vLLM 本體。

再往下查 vLLM 這一側，會發現這些零件本來就都在。官方文件裡有解耦預填的功能章節、標示為實驗性；連接器介面是既有的抽象層，多連接器則是官方提供的、把多個子連接器串起來的包裝，各連接器彼此獨立不互相依賴。傳輸層那一段由 NVIDIA 的 NIXL 負責，官方支援 Mooncake 當後端外掛，顯示卡上的快取直接註冊成遠端直接記憶體存取的緩衝區，讀寫不佔用運算單元、也不經處理器記憶體轉存。

這一段的意義是：速度層就是同一個端點後面的一條分流，而且它插進去的，是一個早就存在的標準插槽。

我的判斷：護城河是加分，但加的位置要說準：它加在生態的重力上，也就是目前最強的第三方推論軟體，選擇先在 NVIDIA 硬體上做到最好。要盯的單一指標是新的執行引擎首發平台落在誰身上：下一個同級專案如果仍然先支援 B200 才考慮別家，重力就還在。如果出現同級專案以 AMD 或 TPU 為首發並拿出可複驗的數字，這條判讀就得改。

速度賣多少錢，做出來要多少錢

SemiAnalysis 那份報告最有價值的一段，是它把成本算出來了。但它只算了成本側，沒有去對售價側。把兩邊放在一起，才是這件事真正的形狀。

成本側，用 SemiAnalysis 自建的 AI TCO 模型口徑：

• 8k/1k 情境下，TileRT 達 340 tok/s/user、單卡輸出吞吐 35.4 tok/s，換算每百萬輸出 token 為 13.56 美元。
• 最快的 FP4 解耦解碼組態是 GB200 搭 FP4 與 MTP 在併發 5，約 286 tok/s/GPU、約 176 tok/s/user，以每小時 1.86 美元的 GB200 機時計，每百萬輸出 token 為 13.4 美元。
• 也就是說：TileRT 每 token 只貴 1%，換到 1.9 倍互動性。
• 同精度的對照更懸殊：最快的傳統 FP8 點是 GB300 FP8 搭 MTP 的 108 tok/s/user，每百萬輸出 token 要 35 美元；TileRT 的 340 tok/s/user 只要 13.56 美元，便宜 61%，同時互動性 3.1 倍。

售價側，四組來自不同體系的公開資料：

先講清楚這張表不能怎麼用。四列來自四個不同的量測與定價體系，模型不同、技術棧不同、比較基準不同。小米那 10 倍速是三層技術合起來的成果；SemiAnalysis 那 1% 是特定模型、特定情境、特定組態下的模型推導；GLM 那列來自第三方彙整、不是官方定價頁。任何一列被單獨拿去用，都必須帶自己的條件。

還要補一句：四列裡有兩列出自同一份報告，不是四個完全獨立的證人。但把口徑差異放到最寬，方向還是很難反過來：目前公開可查的三組速度層定價落在多付 82% 到多付 200%，而技術上多做出速度的增量成本落在多付 1%。兩邊不在同一個數量級。

資料到這裡就停了。沒有任何一家揭露過速度層的成本結構，所以「速度層的毛利率」這個數字並不存在，算不出來。能說的只有一件事：售價與成本之間存在一個大到不像話的落差，而這個落差目前沒有被公開討論。

我的判斷：讀成 AI 基建需求的加分項，理由是它改變了既有 GPU 的可貨幣化上限：同一批卡上多開一條高價產品線，等於提高每張卡的期望收入，這讓買卡的決策更容易做、不是更難。要盯的單一指標是速度層定價的變動方向：小米的 3 倍、加速模式的 2 倍如果在未來幾季被競爭壓到與標準版幾乎沒有價差，代表這個落差正在被套利掉，加分項就消失。這條判讀是對既有「2028 前不因泡沫敘事離場」立場的加強，但那條立場的護欄一條都不放鬆：折舊、報酬率與融資三條壓力線該怎麼盯還是怎麼盯，本篇不做任何時間上的安全宣稱。

被重新定價的不是速度，是猜錯了能不能改

如果只看到「軟體讓 GPU 變快了」，就會漏掉這篇報告真正的論證。

SemiAnalysis 的結構性論點是這樣的：GPU 池是一種流動資源。 預填、中批次解碼、超互動解碼三種角色之間，容量可以靠軟體排程按小時移動，跟著需求走。而一支專用晶片艦隊剛好相反，速度層容量佔全隊的比例，在採購單簽字那天就凍在硬體裡，要改得實體重新上架、重新布線，以月計算。

原文收束得很鋒利，大意是：猜錯了，GPU 用軟體重新平衡；猜錯了，專用矽不是把資本擱置在閒置的速度機器上，就是把你買它來服務的那批溢價流量往外推。

而這個比例偏偏最難猜。願意為極端互動性付費的用戶，正在從人類轉向代理程式，這個結構本身就在遷移中。就算今天猜對了，正確的猜測也只在有限的一段時間內是正確的。

所以本主題的評估條件要從兩道加到三道：

第三道是新增的，也是三道裡最難用工程手段解決的，因為它屬於資產形態的問題，工程改不動。

最有力的證據來自部署形態：小米的 MiMo UltraSpeed 與 Z.ai 的 GLM-5.1 HighSpeed 都已經在生產環境跑，而兩家都沒有去採購新的資料流晶片。 它們是從既有的加速器叢集裡切出一個速度層，vLLM 保留預填、排程與 API，TileRT 在同一個端點後面接手解碼。SemiAnalysis 的結論句大意是：在你已經擁有的硬體上做到夠好，通常勝過在你得先買的硬體上做到架構純粹。

我的判斷：這條論證修正、但不推翻「看好 TPU 與客製晶片推理路線」的既有立場，因為它打的是另一格。TPU 那條線的立論在每單位 token 的成本地板，住在曲線的批次端；本篇打的是互動端的速度層，兩者不衝突。要補上的條件是：任何固定比例的專用艦隊，都要為「猜錯了改不動」付一筆隱含成本，這筆成本在需求結構穩定時很小、在結構正在遷移時很大。什麼情況改看法：如果超高互動性需求的佔比在連續幾季穩定下來、變得可預測，這筆隱含成本就大幅縮水，可挪用性的溢價也跟著縮水。

這件事同時也在扣 NVIDIA 自己的分

看多一件事，不代表要把不利的證據藏起來。這份報告裡有兩處對 NVIDIA 是逆風的，都要攤開。

第一處在產品組合。 340 tok/s/user 這個成績，是一台 8 卡 HGX B200 節點跑出來的，不是 GB200 或 GB300 NVL72 的 72 卡機櫃級域。SemiAnalysis 明說：在批次大小 1 的條件下，GB300 NVL72 那套費工的銅背板 scale-up，在提升互動性上完全沒有派上用場。

這句話對機櫃級產品的溢價敘事是直接的。在速度層這個最貴的操作點上，便宜的 8 卡節點就吃得到，機櫃級的加價講不太出故事。機櫃級當然仍有價值，真正的量還是在中大批次與預填，那正是它的主場；但這句話確實把「速度」從機櫃級的賣點清單上劃掉了。

第二處在歸屬。 這套引擎不是 NVIDIA 的軟體。回專案本體查：倉庫是 tile-ai/TileRT，MIT 授權，維護方 Tile AI，與 TileLang 這套領域專用語言、以及 TileOPs 運算子函式庫同一個組織。它跑在 NVIDIA 硬體上，但推論效能的這一段增量，來自 NVIDIA 不擁有的軟體層。

而這第二處，跟 NVIDIA 自己在 2025 年 12 月 24 日那筆 200 億美元的交易形成張力。那筆交易的結構是非獨家智財授權加挖角，把 Groq 的語言處理器收進自家陣營，隨後推出 AFD 這套異構推論框架：全上下文注意力交給 Rubin GPU，延遲敏感的段落交給 LPX 的片上記憶體，由 Dynamo 分類請求並路由。NVIDIA 官方宣稱 Vera Rubin 加 LPX 每 MW 推論吞吐最高 35 倍、兆參數模型的營收機會最高 10 倍。但這兩個數字至今沒有任何第三方公布基準獨立驗證過。

於是問題就浮出來了：如果純軟體在標準節點上就能做到 340 到 500 tok/s/user，那條硬體路徑買到的增量該怎麼定價？

兩件事要分開看，才不會讀歪：

1. LPX 的價值主張仍然成立。 軟體路徑逼近的是 HBM 的天花板，抬不高它；LPX 帶進來的是每顆 500MB 片上 SRAM 與 150 TB/s 的片上頻寬，物理上是另一條天花板。純軟體到不了的地方，異構矽還是到得了。 2. 但買方的門檻升高了。 過去是「要極速就得上異構」，現在多了一個「先看看軟體能不能在現有節點榨出來」的選項。

順帶提醒一個口徑陷阱：150 TB/s 是片上 SRAM 頻寬、22 TB/s 是 Rubin GPU 的 HBM4 頻寬，兩個不同類別的東西並排放。Cerebras 用「21 PB/s 超過 H100 約 7,000 倍」講同一件事，也是同一種手法。看到這種對照，先問是不是同類比較。

我的判斷：不改看多，但要改看多的理由：機櫃級的 scale-up 互連不能再當成速度層的賣點來講，那個賣點已經移到軟體與艦隊調度那一側。要盯的單一指標是那筆 200 億美元的異構賭注何時拿到第一份獨立驗證。在那之前，官方那組效能宣稱只能當廠商說法看待，不能當成 NVIDIA 已經在速度層卡好位的證據。

反方論點

這篇的證據大部分來自單一份研究與單一個基準平台，所以下面四條反方特別重要。其中三條是來源自己講的，不是外部挑出來的。

7.1一、軟體逼近天花板，但抬不高天花板

SemiAnalysis 自己把話說死了：這是在一台本來就不是為資料流設計的機器上硬套資料流。GPU 有動態排程器、單指令多執行緒模型與 HBM 階層，而它靠的是巨量的編譯器工夫、手工刻的執行緒特化、以及對釘死驅動堆疊的逐模型編譯，去說服這套機器模仿一條空間管線。原生的資料流矽不必跟自己的底層對抗。

具體的物理界線寫在報告裡：Cerebras 能用片上記憶體把一個稠密 70B 模型跑到任何 8 卡 GPU 節點都達不到的速度，這點軟體改不了。

這個規格我們回一手核過了。Cerebras 官方的 WSE-3 數字是 900,000 個 AI 核心、44 GB 片上 SRAM、21 PB/s 記憶體頻寬，4 兆電晶體、TSMC 5nm 級製程，CS-3 系統峰值 125 AI petaflops。SemiAnalysis 轉述的三項數字與官方完全一致。也就是說，這條反方論點的物理前提是成立的，不能因為主論點看多 GPU 就把它寫淡。

7.2二、它自己繼承了專用晶片最大的弱點

這條是回專案本體查才看得到的，比轉述報告的形容詞硬得多。

專案倉庫明列的執行環境限制：

• 官方支援硬體是 8 張 NVIDIA B200，僅此一種。 不是「NVIDIA GPU 通用」。
• 作業系統限 Linux x86_64、glibc 2.28 以上。
• 依賴硬釘：Python 3.12、PyTorch 2.11.0+cu130、transformers 4.46.3、tokenizers 0.20.3。官方標示其他版本組合未經測試、不保證可用。
• 兩套後端函式庫不能共存：要同時跑 DeepSeek-V3.2 與 GLM-5，必須開在不同的行程裡。

換句話說，那個用來嘲笑專用晶片「一次押死一種架構」的論點，它自己也吃了一半。靜態預先編譯換來的速度，代價是把分塊形狀、管線深度、緩衝駐留位置、執行緒群組分工、集合通訊的融合點、哪顆 GPU 當特化角色，全部在編譯期決定死。換掉注意力機制或路由方案，大半排程表直接作廢。

7.3三、模型目錄只有三個，其中一個已經被主線除役

目前的模型目錄只有三個：GLM-5、GLM-5.1 與 DeepSeek-V3.2。而這份報告拿來跑基準的那個版本，已經在 InferenceX 主線被除役了，落後主線一個世代。共同設計的小米 UltraSpeed 模型則尚未開源。

再加上 v0.1.5 的限制：每個解碼節點同時只服務一個請求，路由器靠回壓擋派送。報告自己的比喻是，TileRT 不只是跑車，是只坐一位乘客的私人火箭。要載更多乘客，原文的說法大意是「可能做得到，但是個野心很大的目標」。

還有一個常被忽略的副作用：單一常駐巨核讓傳統的逐 kernel 效能剖析時間軸失去用處，自動化的回饋迴圈更難建。AI 編碼代理能加速已知模板內的調校，新的變換仍然需要專家判斷。緩解的方向叫 TileOPs，用機器可讀的宣告檔描述每個運算子的簽章、工作負載與理論上限，由宣告檔驅動程式碼生成與對硬體上限的基準測試。這個專案確實存在，但它現在還是方向，還沒變成成果。

7.4四、量這把尺的人，跟被量的對象有關係

InferenceX 的方法學其實相當硬：它自陳為開源持續基準、標榜中立，而且儀表板上每一個資料點都由公開的 GitHub Actions 工作流產生，配方全部提交進程式碼倉庫。這是很高規格的可稽核性，比多數廠商自報基準強得多。

但同一頁的支持與信任方名單有二十來個組織，從 OpenAI、Microsoft、Meta 到 vLLM、PyTorch 都在上面。值得注意的是，SambaNova、TileRT 與 Mooncake 也同時列在裡面，也就是這篇報告裡被拿來互相比較的兩邊，以及被測技術棧的零件供應方，都在同一份名單上。而 SemiAnalysis 本身既是這份報告的作者，也是這個基準的擁有者。

這不是指控造假。配方公開、工作流可重跑，是很難作假的設計。但它是一項結構性的利害揭露：自家的尺，量自家報導的對象。 讀這組數字時，該把它當成「一個高度可稽核、但非利益中立的單一平台量測」，而不是跨機構複驗過的產業共識。真正的複驗要等別人拿同一套配方跑出不同結果，或跑出一樣的結果。

我的判斷：專用推論矽的可及市場被壓縮了，但物理優勢還在。要改的是評估的問句：從「它是不是最快」改成「它拿到的是不是 GPU 節點在物理上做不到的工作負載」。要盯的單一指標是客戶的採購形態：如果新客戶是為了速度而新採購資料流硬體，論點還在；如果新客戶都像小米與 Z.ai 那樣從既有 GPU 叢集切速度層，那市場就正在按本篇的方向走。