產業深度 · 記憶體超級循環 · ISSUE #263
Astra 之後，記憶體缺貨該看什麼：Rubin Ultra 評估 HBM 12 層改 8 層，為何未必是需求轉弱
價格季增率正在放慢，買方卻把記憶體成本寫進資本支出、用押金換配額；即使 Rubin Ultra 最終下修層數，規格取捨與缺貨延續仍可能同時成立。
我的看法很直接：前沿模型正推動人工智慧基礎建設需求，我繼續看好記憶體短缺。
OpenAI 在 2026 年 9 月 3 日發表 GPT-6 Astra。官方給了兩個直接碰到基礎設施的數字：脈絡窗 1,050,000 token；輸入超過 272K 後，輸入與快取費率乘二、輸出費率乘一點五。安全文件還補了一個容易漏掉的成本：每一次使用工具的對外推論都加掛對齊偏差監控，而且是「顯著的算力成本」。這些揭露沒有說 Astra 用了多少 HBM、DRAM 或 NAND，卻清楚說明前沿模型的負擔除了生成 token，還包括長脈絡、工具循環與持續監控。OpenAI 模型公告、GPT-6 Astra API 規格、GPT-6 Astra 系統卡
行情也在同一個時間窗口把記憶體放到半導體前排。9 月 3 日與 4 日兩日累計，SPY 上漲 0.66%、「SOXX」上漲 3.67%、NVIDIA 上漲 2.65%，Micron 上漲 8.91%、SanDisk 上漲 13.22%。但日期必須分清楚：「Astra」在 9 月 3 日發表，記憶體股集中上漲是 9 月 4 日；同一週還有 Broadcom 財報與記憶體供給消息。這組價格階梯能描述資金選擇，不能證明「Astra」造成隔日上漲。「SOXX」從 6 月底到 9 月 4 日仍下跌 18.9%，那根上漲也發生在深度回檔之後。
「Astra」把這條線往前推了一層。如果超長脈絡要變成可持續的產品優勢，關鍵不只是哪顆晶片算得快，而是 HBM 能否承接權重與即時 KV-cache，容量外溢後又能否由更便宜的 NAND 上下文層接手。現在還沒有「Astra」採用哪種記憶體配置的直接證據，所以這是一個可被推翻的方向，不是已完成的供應鏈映射。
Astra 把新增負擔推向哪一層記憶體
OpenAI 公布「Astra」在「OSWorld 2.0」為 72.6%、「ScreenSpot-Pro」92.7%、「AutomationBench」41.4%、「ARC-AGI-3」99.9%；同一張表裡，含工具的「Humanity's Last Exam」為 57.2%，低於對照模型的 65.0%。在缺少其餘四項完整比較基準的情況下，這組數據只能確認各項分數與「Humanity's Last Exam」的相對落後，不能推出所有能力等比例增強。
硬體需求也不能從「模型更強」直接跳到「某一層記憶體買更多」。Greg Brockman 在 9 月 4 日訪談稱，這是他所說第一個用超過 10 萬顆 GPU 的訓練；OpenAI 研究副總裁 Aidan Clark 則把範圍限定為德州 Stargate 站點的首次。兩位具名高管的口述都指向超過 10 萬顆 GPU 的訓練規模，但範圍不同，且 OpenAI 的公告、安全概覽與系統卡沒有書面揭露訓練算力。GPU 型號、HBM 世代、每顆容量與總採購量仍無法確認。Greg Brockman 訪談
推論端可以用工程機制把問題拆成三層：
| 記憶體層 | Astra 已知訊號 | 可以推出什麼 | 仍不能推出什麼 |
|---|---|---|---|
| HBM | 1,050,000 token 脈絡窗、工具型推論、額外監控算力 | 權重與即時 KV-cache 的頻寬、容量更重要 | Astra 使用哪種 GPU、幾個堆疊、多少 HBM |
| 系統 DRAM | 長任務需要在主機與加速器間管理工作狀態 | 系統記憶體可能成為容量與資料搬移的一環 | Astra 的主機記憶體配置與每次任務用量 |
| NAND 上下文層 | 通用代理型工作可讓 KV-cache 超出昂貴記憶體的經濟容量 | 標準 NVMe SSD 可作為 HBM／DRAM 下方的 CMX 層 | Astra 已採用 CMX、HBF 或任何特定 SSD 方案 |
自回歸解碼會反覆讀取權重與 KV-cache。既有屋頂線研究估計，權重項算術強度約 1 op/byte，遠低於 H100 約 295.2 的損益兩平門檻，因此很多推論工作會先撞到記憶體；峰值算力往往不是第一道限制。不過容量、互連、批量、推論引擎與有效利用率都會改變結果，峰值帶寬不能單獨代表可售服務能力。NAND 的 CMX 路徑目前只是通用機制：它把標準 SSD 放在 HBM／DRAM 與傳統儲存之間承接上下文，仍無「Astra」採用證據。
所以，「Astra」對記憶體主線最有用的地方，是把需求問題從「訓練用了多少 GPU」改成「每一次可收費的工具任務，需要多少即時記憶體與多少低成本上下文容量」。前者目前只有高管口述的規模；後者可以用未來的推論剖析、延遲、快取命中率與硬體配置逐步驗證。
十二層改八層若成真，需求轉弱還是缺貨下的取捨
先把已定案與未定案分開。NVIDIA 官方 Rubin 規格是每顆 GPU 最高 288 GB HBM4、12 層堆疊、峰值帶寬最高 22 TB/s。Micron 為 Rubin 量產的 HBM4 是 36GB、12 層，每個堆疊超過 2.8 TB/s；用兩份規格回推，Rubin 是 8 個堆疊，每個約 2.75 TB/s，每腳位速度約 10.7 Gb/s。NVIDIA 的 NVL72 頁面同時註明這些仍是暫定規格，後續可能變動。NVIDIA Rubin 架構、Micron HBM4 量產公告
真正引發分歧的是「Rubin Ultra」。TrendForce 在 8 月 4 日表示，12 層 HBM4E 原是基準設計，供應鏈之後擴大評估 8 層 HBM4E、12 層 HBM4、8 層 HBM4 等替代方案，理由包含 2027 年 DRAM 短缺壓縮可分配給 HBM 的晶圓，以及 12 層 HBM4E 的驗證與良率不確定性；最終規格尚未定案。NVIDIA 官方文件至今沒有公布「Rubin Ultra」的 HBM 規格，因此下面只能做同條件算術，不能把 8 層寫成既定產品。「Rubin Ultra」替代方案評估
假設堆疊數、裸晶密度與每腳位速度都不變，12 層改 8 層會得到這張表：
| 指標 | 12 層改 8 層 | 解讀 |
|---|---|---|
| 核心裸晶數 | 減少三分之一 | 每顆 GPU 使用的 HBM 位元含量下降 |
| 每個堆疊總裸晶數 | 13 顆降至 9 顆，減少 30.8% | 基底晶粒仍各留 1 顆，總裸晶降幅不是三分之一 |
| 容量 | 乘以三分之二 | 長脈絡承載空間下降 |
| 每 GB 帶寬 | 乘以一點五 | 同一總帶寬分給更少容量 |
| 堆疊／基底晶粒／封裝座位 | 不變 | 關鍵介面與封裝位置沒有同比例縮減 |
「核心晶粒少三分之一」與「每 GB 帶寬多五成」是同一個分母變化的正反面，兩者源自同一公式。它確實會減少單顆 GPU 的位元需求，但不等於供應商訂單也同比例下降：出貨台數、每個堆疊價格、良率、分級挑選、基底晶粒、封裝座位與一般型 DRAM 的替代配置都還沒放進去。
分辨需求轉弱或供給取捨，要看三組後續資料。第一，NVIDIA 最終規格是否把理由指向成本、需求或晶圓配置；第二，HBM 晶圓投片占 DRAM 比重是否沿 TrendForce 預估由 2026 年底約 22% 升到 2027 年底約 30%；第三，供應商的 HBM 配額與價格是否鬆動。Micron 表示 2026 年 HBM 產能已在固定價格合約下售罄，而同容量 HBM 約需 DDR5 三倍晶圓面積。這些訊號目前更接近「用較少核心裸晶維持系統出貨」的供給取捨，但在最終規格公布前，結論仍須保留條件。