產業深度 · 客製 ASIC · ISSUE #246
OpenAI 不必靠 Jalapeño 打敗 NVIDIA：可信 ASIC 如何改寫推理主權｜TPU 系列 10
Jalapeño 不必拿下每一場跑分；只要成為可投入真實工作負載的第二條路，OpenAI 的成本、供應與議價權就已經改變
「Jalapeño」計畫真正值錢的地方，在於 OpenAI 能否建立一條可承接真實工作負載的自研路線。它不必在每一條公開曲線上全面擊敗 Rubin，就能成為控制推理成本、電力效率、供應組合與採購條件的槓桿。這篇要回答的是：一個尚在工程樣本與量產資格階段的替代池，何時開始具有產業權力。
推理競爭的分母，為何從峰值運算量轉向每 MW 可售 token
峰值浮點運算量仍有工程意義。它描述理論運算能力，也是比較矩陣單元與數值格式的重要起點；資料中心出售的則是在延遲承諾、電力上限與總持有成本限制下，持續送到使用者手上的 token。當園區卡在電網、變電、備援、冷卻與機櫃功率密度，峰值能力如果不能轉成可售輸出，就只會留在規格表上。
這也是為什麼推理經濟學至少要同時看三條軸：
| 指標 | 回答的問題 | 容易犯的錯 |
|---|---|---|
| output tok/s/MW | 一單位設施功率能產出多少輸出 token 速率 | 把晶片熱設計功耗、機櫃功耗與全設施 MW 混成同一分母 |
| tok/s/user | 單一使用者等待時感受到多快 | 用低並行請求數的高互動點冒充高總吞吐 |
| output tokens/$ | 把硬體、電力、網路、折舊與利用率合起來後，每美元能交付多少 token | 把模型估算寫成經審計成本或實際帳單 |
SemiAnalysis 的能源指標原式是每 MW 輸出 token 速率。嚴格約分後，它的量綱是每百萬焦耳的 token 數；如果轉成每焦耳 token 數，數值要除以 1,000,000。兩者表達相同的相對效率概念，圖表標籤從 MW 改成 W 時仍要同步換算數字。本文使用「每 MW 可售 token」作敘事分母，不直接改標原圖數字。
1.1「A0」跑分能證明什麼
「Jalapeño A0」的「DeepSeek R1」操作點使用 8 顆晶片、並行請求數為 1、單一 token 預測、8k 輸入／1k 輸出、沒有推測解碼，也沒有預填／解碼拆池，報告值超過 700 tok/s/user。「Kimi K2.5」與「GPT-OSS」在低並行請求數操作點約 1,400 tok/s/user，但同樣屬 8k/1k，並非 AgentX。
這些由 OpenAI 提供、SemiAnalysis 部分現場核對的數字，支持工程樣本在指定模型與服務組態下不只亮機，也能跑出很高的互動速度；它們還不能回答整體資源池吞吐、長上下文、多輪工具呼叫、前綴快取、KV 卸載、路由親和性與失敗重試後的生產成本。降低並行請求數通常能提高 tok/s/user，卻可能犧牲總吞吐；把互動性直接等同能源效率，會把 Pareto 曲線壓成一個不存在的冠軍點。
更重要的是責任分層：全部「Jalapeño A0」跑分數字由 OpenAI 提供；SemiAnalysis 在實驗室現場核對部分 InferenceX 測試，但沒有獨立重跑完整套件。合理結論是「部分指定設定確實跑出」，第三方完整驗證仍然缺席。
1.2前瞻數字要留在未來式
四組最容易被寫成既成事實的數字，都必須保留原來的證據等級：
- 「B0」約增加 25% 每瓦效能，是 OpenAI 對設計改善的前瞻口徑，尚無「B0」實矽 A/B 成績。
- 推測解碼可能改善 3 至 5 倍，是 OpenAI 指引，尚未在這款自研晶片公開實測。
- 2027 年出貨與放量屬供應時程預期，量產仍待完成。
- 自研晶片與 Cerebras 的成本比較來自 SemiAnalysis 模型，不是雙方經審計帳單。
開發速度也不能簡化成「9 個月做出 ASIC」。OpenAI 官方把初始設計到量產晶圓投片定義為 9 個月；SemiAnalysis 則從 2024 年中組隊與設計算到 2025 年 11 月晶圓投片，得到約 16 個月，另記錄實矽到手後啟動調校約 3 個月。兩者的起點定義並不相同，目前沒有足夠公開資料消除口徑差異；把它們合成一個數字，會高估設計速度，也低估軟體啟動調校的真正進展。
我的判斷：我會把每 MW 可售 token 放在推理競爭的主分母，同時保留互動性與 TCO 兩條約束。最重要的檢查是同模型、同輸入輸出、同解碼法、同服務品質與同功耗邊界；只要其中一項不同，排行榜就只能當線索。若自研晶片未來只能維持低並行請求數的互動點、無法在同一電力邊界提高總吞吐，我會下修它的推理經濟價值。
Jalapeño 現在是可信存在，全面勝負仍待驗證
OpenAI 官方已確認「Jalapeño」是與 Broadcom 共同開發的首款自研推理晶片，並以 2026 年底前開始部署到自家運算基礎設施為目標。這是身分與方向上的高信心事實；同一組官方資料也說明，團隊仍在量產資格驗證、軟體成熟化與規模化營運準備。部署目標是一個待完成的里程碑，尚未證明晶片已進入穩態量產。
截至 2026 年 8 月 29 日，「Hot Chips」官方議程可以確認 OpenAI 自研推理晶片場次、講者與時段，公開頁也顯示對應的投影片檔名；然而投影片與完整會議資料仍要求與會者認證，官方預計之後才一般公開。因此，場次存在不能被拿來反推「A0」／「B0」、HBM、I/O、機櫃或功耗分母已由公開一手簡報證實。
2.1Rubin 的公開數字也有方法邊界
比較這款自研晶片時，合理的同世代對手是 Rubin，Blackwell 只能作前代參考。NVIDIA 在 2026 年 8 月公開的 AgentX「DeepSeek V4-Pro」預覽中，宣稱在每位使用者 160 輸出 TPS 下，Vera Rubin 相對 GB300 可達約 30 倍的每 MW 吞吐；110、130、160 TPS/user 對應的改善約為 2、10、30 倍。這組資料由 NVIDIA 量測，當時仍待 SemiAnalysis 審閱，而且公開內容沒有完整揭露 MTP 或推測解碼、請求並行數、絕對 MW、「PUE」、功耗計入清單與完整可重現組態。
另一組 CoreWeave 的「DeepSeek R1」測試則明確列出 MTP、NVFP4、專家平行化、預填／解碼拆池、「TensorRT-LLM」與「NVIDIA Dynamo」，並宣稱在相同 TPS/user 下，每 MW token 較 GB200 提高最多 10 倍。它證明 Rubin 機櫃已可在真實雲端環境完成電力、冷卻、網路與運算的端到端啟動驗證；機櫃部署邊界仍不等於基準測試的功耗計量邊界。兩組 Rubin 結果不能互相補齊對方未披露的設定，也不能和「Jalapeño A0」的 8k/1k 單一 token 預測點拼成一張無條件勝負表。
2.2推理主權四層表
下面這張四層對照比單一快慢榜更值得保存：
| 主權層 | OpenAI 要控制什麼 | Jalapeño 已提供的證據 | 還缺什麼 |
|---|---|---|---|
| 效率指標 | 每 MW 可售 token、互動性與 TCO 的取捨 | 「A0」特定 8k/1k 操作點可運作 | 同功耗邊界完整 InferenceX、「B0」實矽與經審計 TCO |
| 軟體回饋 | 工作負載、軌跡、kernel 與硬體共同演進 | 三個月啟動調校、部分 kernel 與張量平行擴張案例 | 多模型長期穩定性、通用性與公開重現 |
| 資源池架構 | 工作負載組合漂移時仍能挪用容量 | 統一同質池的設計選擇 | 「Jalapeño AgentX」、快取／路由／KV 的生產證據 |
| 採購與供應 | 降低單一 GPU 路線依賴 | OpenAI／Broadcom 自研計畫與部署目標 | 量產資格、良率、HBM／封裝與具名供應鏈 |
這張表也解釋了「可信存在」本身的價值。前三層不需要這款晶片立刻占 OpenAI 大多數推理量；只要它能承接一部分重要工作負載，OpenAI 與 NVIDIA、AMD、雲端供應商及網路廠商談價格與交付時，就多了一條路。第四層要等量產資格與部署證據，不能提前慶祝。
我的判斷：我把自研晶片的第一個勝利條件定為「成為排程器真正使用的生產替代選項」，全面擊敗 Rubin 不在必要條件內。單一決定性證據是 OpenAI 是否在 2026 年底前開始部署，並接著公開同模型、同邊界的「B0」或 AgentX 結果。若部署只停在小量展示、沒有可持續工作負載，我會把它降級為談判用工程樣本。