產業深度 · AI 硬體 · ISSUE #259
算力到底是稀缺還是常常閒置？真正了解 GPU 怎麼運作
一片 GPU 真正難的不是把乘法做完，是把數字準時送到算術單元面前
你租一片頂級資料中心 GPU，規格表寫著每秒接近一千兆次運算。你把一個 700 億參數的模型載上去開始生成文字，監控面板的使用率讀數很漂亮。然後你數了一下每秒吐出的字，二十幾個。
這片晶片的算術能力幾乎沒有在動。程式沒壞，驅動程式沒壞，換一片算力更強的也幫不上忙。
這是這類硬體運作方式的正常結果，也是關於它最重要的一件事，而且只需要一條除法就能看懂。
整條鏈上的效能，會按照一個很嚴格的順序被決定。
第一層是資料在哪一層記憶體，第二層是每搬一次資料能做幾次運算。
第三層才輪到晶片有多少算術單元，第四層才是那些算術單元的峰值速度。
規格表把第四層印在最上面用最大的字，把第一層留給你自己找。
本篇從一顆晶片被切開的樣子開始，一路拆到 HBM，再把 NVIDIA 五個世代的規格重算成一張你可以自己驗的門檻表。沒有任何一段需要你寫過 GPU 程式。
先把最容易串錯的三個數字拆開，再看瓶頸卡在哪。
一、先分清楚：規格表上那三個數字講的不是同一件事
買一片加速器，規格表最上面通常有三個數字：峰值算力、記憶體頻寬、記憶體容量。它們長得像同一個家族，實際上決定完全不同的事，而且被串錯的方式各有一種。
| 規格表上的數字 | 實際在講什麼 | 決定了什麼 | 最容易串錯的地方 |
|---|---|---|---|
| 峰值算力，例如 989 TFLOPS | 算術單元全開時每秒能做幾次乘加 | 這片晶片的效能天花板上限 | 它是天花板不是保證；工作負載要先跨過門檻才碰得到 |
| 記憶體頻寬，例如 3.35 TB/s | 每秒能從主記憶體搬多少位元組進來 | 資料密集型工作的真實速度 | 把它當成「延遲」；頻寬是通道寬度，跟資料多久才到是兩件事 |
| 記憶體容量，例如 80GB | 主記憶體裝得下多少資料 | 一個模型要占幾張卡、批次能開多大 | 只看得下不下、忘了它同時決定併發數與 KV 快取空間 |
三個數字對應到三種不同的採購訊號。算力往上是製程與晶片面積的事，頻寬往上是記憶體堆疊與介面的事，容量往上是每張卡掛幾顆記憶體的事。同一世代裡，這三條可以各自往前或原地不動，H200 就是只動了後兩條、第一條完全沒動的例子。
這條鏈的第一道題是「你的工作負載卡在三個數字的哪一個上面」，算力多強要排在它後面問。
二、先把底層搞懂：一顆 GPU 切開來長什麼樣
中央處理器把矽面積花在讓單一指令流跑快：大快取、分支預測、亂序重排。這些機構全部服務同一條工作流，而且都很占面積。
GPU 賭相反的一邊，因為它服務的工作有個特別性質。繪圖時每個像素跑同一支短程式、只是資料不同；神經網路裡張量的每個元素也接受同樣的處理。當同一支程式要跑在幾百萬筆資料上，就不需要一個元素配一個控制器。
| 面向 | 中央處理器 | GPU |
|---|---|---|
| 優化目標 | 單一指令流盡快跑完 | 大量同構工作的總吞吐 |
| 面積花在哪 | 分支預測、亂序重排，以及為單一指令流服務的深層快取階層 | 算術單元與線程狀態儲存 |
| 面對記憶體等待 | 讓等待不發生：快取與預測先備好資料 | 接受等待：換另一批線程去跑 |
| 線程切換成本 | 存舊載新，數百個時脈 | 指標換一區，一個時脈 |
| 分支的代價 | 預測失敗才罰 | 同一組內分歧就要跑完兩條路徑 |
一個控制器可以指揮幾千個算術單元跑同一道指令、吃不同的值。GPU 把中央處理器那套服務單一指令流的控制機構刪掉，省下的面積換成算術單元；它自己仍然有快取，只是用途不同。
省下來的面積不是免費的，代價寫在最後兩列。要理解那個代價，得先知道晶片實際操作的單位是什麼。
| 層級 | 白話是什麼 | 大小 | 誰決定 | 卡在哪 |
|---|---|---|---|---|
| 線程 | 處理一個資料元素的一條執行流 | 一條 | 程式 | 單獨看沒有速度可言，它只是一條車道 |
| 線程束 | 硬體真正調度的最小單位 | 固定 32 條線程 | 硬體，你不能選 | 組內 32 條共用一道指令，不能對「現在做什麼」有異議 |
| 線程區塊 | 一次交給一顆運算單元的一批線程 | 上限 1,024 條，等於 32 個線程束 | 程式指定大小 | 會被硬體自動切成 32 條一組，切法你管不到 |
| 串流多處理器 | 一顆自帶暫存器檔案、共享記憶體與調度器的小機器 | H100 上有 132 顆 | 硬體 | 暫存器檔案與共享記憶體預設是各顆私有，跨顆要走下一層才看得到 |
線程束那一列是所有 GPU 效能討論的起點。因為 32 條共用一道指令，程式若依資料分支、組內有人走這條有人走那條，硬體會依序把兩條路徑都跑完，不在當前路徑上的線程被關掉、空轉不產出。跨線程束走不同路徑則完全免費。
同樣的道理解釋了一個實務慣例：線程區塊大小幾乎都取 32 的倍數。這裡講的是區塊裡有幾條線程，跟第七章「同時服務幾個請求」的批次是兩件事。一個 256 條線程的區塊會被切成 8 個線程束；若你只要 250 條，仍然拿到 8 個，但最後一個只有 26 條車道在做事，另外 6 條不產出卻照樣占用它的輪次。
三、記憶體是一道階梯，每層都比上一層慢得多
資料不是單純地「在記憶體裡」。它住在離算術單元幾種不同距離的地方，而最近與最遠差得非常多。
| 階梯 | 容量量級 | 誰看得到 | 取用代價 | 實際名稱 | 誰在賣 | 最容易串錯的地方 |
|---|---|---|---|---|---|---|
| 每線程儲存 | 數個值 | 單一線程 | 近乎免費 | 暫存器檔案 | 隨晶片，不單獨採購 | 它是編譯器分配的具名儲存，不是一層可定址的快取 |
| 晶片上便條紙 | 每區塊數百 KB | 同一區塊的一批線程 | 很便宜 | 共享記憶體，與 L1 同區 | 隨晶片，寫低階程式時由你分配 | 要程式主動搬進來才有用，不會自己填滿 |
| 全晶片共享快取 | 數十 MB，H100 為 50 MB | 所有區塊 | 明顯較慢 | L2 | 隨晶片，硬體自動管理 | 你只能下提示、不能指定放什麼進去 |
| 主記憶體 | 數十 GB，H100 為 80GB | 所有區塊 | 慢最多，差數百倍 | HBM，俗稱顯示記憶體 | 獨立採購的記憶體堆疊 | 容量與頻寬是這一層的兩個獨立數字，別混成一個 |
兩件事同時往下變化：池子變大，拿到它變難。而你的模型權重就住在最底層，因為只有那層裝得下。
這張表最後一欄是投資上最重要的一欄。前三層都黏在運算晶粒上、隨晶片一起賣；只有第四層是獨立採購、獨立定價、獨立產能的東西。所以當一個工作負載的瓶頸落在第四層，錢就會從「買更強的晶片」轉向「買更多、更快的記憶體」。
這裡也解釋了 GPU 一個奇怪的面積配置。在中央處理器上，儲存是「越慢越大」的平滑金字塔；GPU 上這個形狀被扭曲了，H100 全晶片的暫存器檔案約 33 MB，跟 50 MB 的 L2 是同一量級。原因在第四章。
四、等待藏得住，頻寬藏不住
到記憶體拿資料，代價分成兩種。把它們分開，是理解後面所有事情的關鍵。
| 代價 | 白話是什麼 | 硬體有沒有處理 | 怎麼處理的 |
|---|---|---|---|
| 延遲 | 你要資料，過一段時間它才到 | 有，而且幾乎完全藏起來 | 同時讓幾千個請求在路上，一組在等時換另一組跑 |
| 頻寬 | 每秒只有這麼多位元組能移動 | 沒有，硬體端藏不住 | 硬體端無解；要繞只能從軟體那邊減少搬運，見第七章 |
第一種怎麼被藏起來，值得看一下機制，因為它解釋了上一章那個奇怪的面積配置。
晶片上駐留的工作量遠多於它能同時跑的量。一顆串流多處理器最多可以有 64 個線程束同時停在上面，但它切成四個處理區、每區各有自己的線程束調度器，所以每個時脈實際發射出去的只有少數幾個。正在跑的那個一去主記憶體要資料就卡住，調度器不陪它等、直接挑另一個就緒的跑；那個也卡住就挑第三個。
每個線程束一生大部分時間都在等，但只要還有就緒的線程束，調度器就不會空手。要注意這只藏得住等待、藏不住頻寬。所有線程束一起卡在頻寬上時，機器就是閒著。切換成本近乎為零，因為每個駐留線程束的狀態本來就停在晶片的專屬儲存區，切換只是把指標指到另一區。
這就是暫存器檔案要那麼大的原因：它的用途是讓幾千條線程能同時半完成地停在那裡，資料一到就能被接手，而非讓任何單一線程跑得更快。
第二種硬體沒有任何機制擋得住。每秒能移動的位元組數是固定的，再怎麼重疊請求都不改變。這也是為什麼晶片把記憶體頻寬當頭條規格在賣，而本篇後面所有計算都是關於頻寬、不是關於等待。
順帶一提一個常見誤讀：延遲被藏起來，不代表延遲不存在。依 SemiAnalysis 2026 年 8 月 9 日的量測，每代 GPU 的記憶體頻寬增加約 2 到 3 倍，記憶體延遲完全沒有改善。在極端互動性的場景，藏不住的那部分會浮出來。把互動性從約 25 拉到 260 每秒字數每用戶時（此處的「字」沿用來源的 token 口徑），單卡吞吐會從約 5,900 掉到約 200 每秒字數每張 GPU。
這一章可以壓成三句帶走：
- 等待被藏起來了，靠的是幾十個駐留線程束輪替，不是靠讓記憶體變快。
- 頻寬藏不住，所以本篇後面所有計算都是關於頻寬。
- 延遲也沒有消失，只是在多數場景被蓋住；把互動性推到極端，它就會浮出來吃掉吞吐。
這裡也是監控面板騙人的地方。使用率讀數通常只回報晶片上有沒有被排到工作，至於算術單元有沒有在做有用的事，它不管。一片餓著資料的 GPU 跟一片真的滿載的 GPU，在那個數字上長得一模一樣。
五、一條除法：每位元組做多少工，決定你撞到哪個天花板
到這裡可以把整篇的核心講清楚了，而且只需要兩個定義。
算術強度：一個運算做了幾次算術，除以它為了做這些算術必須從主記憶體拉幾位元組。單位是每位元組運算次數。這是工作負載的性質。
損益兩平門檻：晶片的峰值算力除以峰值記憶體頻寬，也就是兩種資源恰好平衡的那個算術強度。這是硬體的性質。
以 H100 為例，989 TFLOPS 除以 3.35 TB/s 得 295.2。門檻的意義很乾脆：
- 算術強度低於 295 → 受記憶體限制。再加算力毫無用處，因為算術單元本來就在等資料。
- 算術強度高於 295 → 受算力限制。再加頻寬毫無用處，因為資料到得比你消化得快。
這張兩段式天花板的圖，正式名稱是屋頂線模型。門檻屬於硬體，你的工作負載站在門檻哪一邊屬於你。
為什麼不同運算的算術強度會差那麼多？關鍵只有一個字：重用。
下表的算術強度一律換算成每位元組口徑，才能直接跟門檻 295 比。兩件事要先講明：乘與加各算一次，跟門檻 295 是同一把尺；16 位元下每個值佔 2 位元組，所以「每取一個值做幾次運算」除以 2 就是每位元組運算次數。
| 運算 | 每取一個值做幾次運算 | 換算成每位元組 | 為什麼 | 不宜外推的結論 |
|---|---|---|---|---|
| 陣列每個元素乘二 | 1 次 | 0.5 | 取一次、用一次，再也不看它 | 遠低於門檻、受記憶體限制；但這只說明這一種運算，不代表所有逐元素運算都一樣 |
| 1024×1024 矩陣相乘 | 約 2,000 次（1,024 次乘加，乘與加各算一次） | 約 1,000 | 從第一個矩陣取的每個值，要跟第二個矩陣的 1,024 個值相乘 | 遠高於門檻、受算力限制；矩陣愈小重用愈少，小矩陣一樣會掉回記憶體限制那一側 |
同一次搬運買到的工作量差了約兩千倍，差別純粹來自重用次數。矩陣乘法是加速器真正擅長的運算，原因就在這裡。
六、逐字生成：一個注定用不滿算術單元的運算
現在把框架套到語言模型上，開頭的謎題會自己解開。
生成文字一次一個字。這裡的「字」指模型輸出的一個 token，與中文的一個字並非一對一。每個新字都要走一次完整的前向傳播，而那一趟會把模型的每個權重讀過一次。
先看單一個權重在做什麼。它坐在兩個數字之間，被一個輸入值乘一次，結果加進一個累計總和。一乘一加，每次用到就是兩次運算。
| 項目 | 算式 | 結果 |
|---|---|---|
| 每產一個字的運算量 | 700 億權重 × 2 | 約 1,400 億次運算 |
| 每產一個字要搬的資料 | 700 億權重 × 2 位元組 | 140 GB |
| 算術強度 | 1,400 億 ÷ 140 GB | 每位元組 1 次運算 |
門檻是 295。服務單一請求時，你站在門檻下方大約三百倍的位置。
算術單元閒著是物理必然，這個運算本身就沒有足夠的工作量餵飽它們。順著同一條路也可以把速度算出來：140 GB 的權重在 3.35 TB/s 下讀完一次要 41.8 毫秒，一秒鐘裝得下大約 23.9 個字。
這個上限靠改寫程式繞不過去，因為它就是「每個字必須讀多少位元組」除以「位元組到得多快」。要抬高它，只能動除法本身的兩端：把每個字要讀的位元組砍掉，或把位元組送得更快。
有四個邊界要跟這個數字一起記，否則會用錯：
1. 這是理論上限。 實務上 HBM 的有效利用率隨存取型態落在七到八成五，所以 23.9 是天花板、實測值會落在它下面。 2. 140 GB 裝不進 80GB 的 H100。 這個示範隱含了一台不存在的機器。常見的做法有三條：拆到兩張以上做張量平行、量化到 8 位元以下、或換記憶體更大的機台；把權重或快取卸載到更慢的層則是以速度換容量，見第九章。 3. 拆卡會改變答案。 走兩張 H100 張量平行的話，總頻寬 6.7 TB/s、每張只讀一半權重，理論值變成約 48 個字。 4. 這份推導只算權重、不含 KV 快取，而且假設稠密模型。 「每個新字都要把每個權重讀過一次」在稠密模型成立；混合專家架構每個字只讀被路由到的那一部分，讀取量會小很多。KV 快取的流量則完全沒算進去，那條線在第九章補。
第二點在第九章會變成整條鏈最重要的分岔，先記住它。
同一個模型還有另一個階段，落在線的另一邊。送出提示詞時，模型會一次處理完提示詞的所有字再開始生成，這個階段叫預填充。因為它一起處理很多字，每個取來的權重會被用在所有字上，算術強度立刻攀升。預填充通常是受算力限制的。
| 階段 | 在做什麼 | 每個權重被幾個字共用 | 算術強度 | 受什麼限制 |
|---|---|---|---|---|
| 預填充 | 一次處理完整段提示詞 | 提示詞有多少字就共用幾次 | 隨提示詞長度攀升 | 通常受算力限制 |
| 逐字生成 | 一次產一個字 | 單一請求下只有一個 | 恆為 1 | 受記憶體限制 |
同一個模型、兩個階段、瓶頸相反。長提示詞貴跟長輸出貴，貴的是不同的資源，這也是推論定價普遍把輸入與輸出分開計費的原因之一。想看這條曲線怎麼被推到極端，可以讀 推論經濟學的吞吐與互動性母曲線。
七、五種優化，其實只在動同一個比值
框架的回報在這裡。一旦把效能看成同一個比值，那些原本像是零散技巧的手法會收斂成兩件事：增加每次取用做的工，或減少取用的位元組。這兩件涵蓋了本節要談的全部手法。
| 手法 | 動哪一邊 | 白話動作 | 代價 | 這一段的槓桿在誰手上 |
|---|---|---|---|---|
| 批次 | 增加工 | 同時處理多個請求，權重讀一次用在整批上 | 每個使用者多等一點延遲 | 服務端排程，但批次上限由 HBM 容量決定 |
| 分塊留在晶片上 | 增加工 | 「FlashAttention」把注意力的中間矩陣留在晶片上、不落主記憶體 | 幾乎沒有，算術不變 | 純軟體，是硬體升級之外的另一條路徑 |
| 運算融合 | 減少位元組 | 三個逐元素運算分開跑是六趟往返，融合成一個後只剩一讀一寫 | 幾乎沒有，流量砍三分之二 | 編譯器層，對純矩陣乘法無效 |
| 量化 | 減少位元組 | 8 位元存權重，每個字必讀的位元組減半 | 精度損失，取決於模型與方法 | 模型端，同時抬高算力天花板 |
| 修記憶體佈局 | 減少位元組 | 讓同一組線程讀相鄰位址，而不是散開 | 幾乎沒有，屬工程紀律 | 純工程，讀錯軸可能取到八倍不需要的資料 |
其中量化那一列要特別小心。本篇的素材原文就把它寫成只減少位元組，那只算了一半。
低精度在削掉位元組的同時，也把算力天花板一起抬高。H100 的 FP8 密集算力是 1,979 TFLOPS，正好是 BF16 的兩倍。分子分母同時變，所以改用 FP8 時損益兩平門檻會跟著動，升到約 590。量化讓你更快撞到頻寬牆，不是更慢。
對受記憶體限制的生成階段，量化仍然是淨賺的：模型從 140 GB 降到 70 GB，理論天花板從約 23.9 個字翻到約 47.9 個字。但「量化一次就永遠解決」的直覺是錯的，每翻一倍之後你離新的牆更近。這也說明了為什麼 Blackwell 世代把 FP4 當成頭條規格在賣。
還有一種瓶頸這個比值抓不到。把工作送給 GPU 有固定成本，中央處理器要準備並派送每個任務，不管任務大小都要時間。模型若由大量小運算組成，可能派送時間超過計算時間，這時你既不受記憶體限制也不受算力限制，而是受開銷限制。症狀很好認：GPU 看起來閒著、中央處理器很忙。另外還有一類手法動的是「每讀一次權重能產出幾個字」，不在上面那個二分法裡，留到下一篇。
八、換代之後什麼會變、什麼不會變
會變的是數字，不變的是形狀。算術遠比搬資料便宜、記憶體階梯保持它的層數、每位元組做多少工繼續決定你撞到哪個天花板。
但「差距是不是持續擴大」這件事，值得逐代驗算一次，因為它決定下一代的錢會往哪流。以下是本站拿 NVIDIA 五個世代的官方規格自行重算的結果，不是引用任何機構的現成表格。算力口徑取各代密集半精度張量算力，V100 屬 Volta 世代、只支援 FP16，其餘四代取 BF16。
| 世代 | 密集算力 | 記憶體頻寬 | 損益兩平門檻 |
|---|---|---|---|
| V100 | 125 TFLOPS（FP16） | 900 GB/s | 138.9 |
| A100 80GB | 312 TFLOPS（BF16） | 2,039 GB/s | 153.0 |
| H100 SXM5 | 989 TFLOPS（BF16） | 3,350 GB/s | 295.2 |
| H200 | 989 TFLOPS（BF16） | 4,800 GB/s | 206.0 |
| B200 | 2,250 TFLOPS（BF16） | 8,000 GB/s | 281.3 |
這張表刻意只放算力與頻寬兩欄，因為門檻就是由這兩個數字相除得來。記憶體容量是另一條線，留到第九章單獨談。
這張表講兩件事。
第一，記憶體牆確實惡化過。 V100 到 H100 這段，算力漲了 7.9 倍、頻寬只漲 3.7 倍，門檻從 139 一路推到 295。這是「算力成長快過頻寬」這個常見說法的實證區間，也是那段期間所有記憶體優化技術爆發的原因。
第二，這個趨勢在最近兩代反轉了。 H200 用的是跟 H100 一模一樣的 GH100 運算晶粒，算力一分沒加，仍是 989 TFLOPS；整代升級全部押在記憶體上，把五堆疊 HBM3 換成六堆疊 24GB HBM3e，頻寬拉到 4.8 TB/s、容量拉到 141GB。門檻掉回 206。再看 B200，算力漲 2.28 倍、頻寬漲 2.39 倍，門檻 281，仍然低於 H100 的 295。
反轉不是物理變好了，是被錢買回來的。供應商很清楚這條瓶頸在哪，於是用更多、更快、更貴的 HBM 堆疊去補；門檻降下來的代價，是每一張卡吃掉更多高頻寬記憶體。要留意這個門檻量的是每片晶片的頻寬對算力配比，不是 HBM 出貨量本身，所以把它讀成需求量的方向指標，中間還隔著一步推論。
本站讀法是：門檻往上，傾向指向算力跑在前面、頻寬落後，下一代非補記憶體不可；門檻往下，傾向指向這一代已經用記憶體把缺口買平，增量要改看出貨量與長約覆蓋率。
九、第二道牆：容量，以及這條框架怎麼對到供應鏈站位
第六章那個「140 GB 裝不進 80GB」的細節，在這裡展開成第二條線。全篇到此為止談的都是頻寬，也就是走廊有多寬；但記憶體還有容量這個軸，也就是倉庫有多大。
| 這道牆 | 決定什麼 | 撞牆的症狀 | 往下接到哪 | 最容易串錯的地方 |
|---|---|---|---|---|
| 頻寬 | 每秒能吐幾個字 | 算術單元閒著、每秒字數上不去 | 更快的 HBM 堆疊與介面 | 以為加算力會有用 |
| 容量 | 一個模型占幾張卡、批次能開多大 | 模型塞不下要拆卡、併發數開不上去 | 更大的 HBM 容量、機櫃互連、再往下一層的 NAND | 以為只要裝得下就沒事，忘了 KV 快取也吃同一池 |
容量決定一個模型要占幾張卡，卡數決定機櫃，機櫃決定互連。它也決定批次能開多大，因為 KV 快取吃的是同一池 HBM 容量，而 KV 快取的讀取隨批量線性成長、無法攤提。常見說法是 16 位元精度下約需 300 個併發序列，生成才會跨過門檻變成受算力限制；那個數字只在單算權重時成立，實際上你會先撞到容量。
容量壓力大到一定程度，會擠出一個新的記憶體層。agentic 推論把 KV 快取撐到數十 TB，DRAM 塞不下，於是 NAND 被拉進來當上下文記憶體儲存，NVIDIA 用語寫作 CMX，成為介於 DRAM 與 HBM 這一側、和傳統儲存 SSD 那一側之間的一層。依 TechInsights 2026 年 6 月的推估，AI 會把 NAND 的資料中心需求份額從約 13% 拉到 2031 年約 40%，而推理是主要驅動。四個技術槓桿與各家的競爭定位，見 NAND 上下文記憶體層。
把這兩條線放回供應鏈，可以攤成一張站位圖。純玩家與最直接的受惠者多在美股之外，美股投資人能找到的是規格定義、記憶體供應與代工角色，但每一格都要講清楚離「這條框架兌現」有幾層。
| 代號／公司 | 站位邏輯 | 當前可查證據 | 證據強度 | 不宜外推的結論 |
|---|---|---|---|---|
| NVDA／NVIDIA | 規格定義者，用產品定義決定每一代把錢放在算力還是記憶體 | H200 沿用 H100 的 GH100 運算晶粒、算力零成長，升級全在把五堆疊 HBM3 換成六堆疊 24GB HBM3e | 高：官方 datasheet 可逐項核對 | 門檻回落是產品定義的選擇，不能倒推 NVIDIA 的記憶體成本結構或毛利變化 |
| MU／Micron | HBM 三家供應商之一，同時吃頻寬與容量兩條線 | FQ3 2026 法說揭露 HBM4 已進入放量出貨，12 層放量速度約為前一代 12 層的兩倍；已簽 16 份策略客戶協議、照付不議不可取消，14 份剩餘履約義務約 1,000 億美元 | 高：公司法說一手揭露 | 本篇的門檻框架不能用來推估任何一家的 HBM 份額或報價；合約覆蓋率與價格是另一條獨立證據線 |
| TSM／台積電 | HBM4 底層基底晶粒的代工角色之一 | 依本站的 AI 晶片瓶頸盤點，台積電是 HBM4 「Base Die」基底晶粒的環節之一，同批整理另載 Samsung 走自家內部製程 | 中：內部框架整理，非公司官方口徑 | 台積並未包辦全部 HBM4 基底晶粒；各家走哪一條製程是另一條需要獨立查證的線 |
| SNDK／SanDisk | 容量那條線往下延伸的 NAND 分支 | 依框架整理列於 HBM Flash 分支；NAND 進上下文記憶體層屬 TechInsights 推估與機制分析 | 中低：研調推估加機制推論 | 記憶體層級重組是趨勢推估，不是已認列的營收；別把份額預測當成當期出貨 |
供應端的驗證進度也可以對上這張表。NVIDIA 執行長黃仁勳 2026 年 6 月 5 日訪韓期間，公開確認 Samsung、SK hynix 與 Micron 三家都完成了 Vera Rubin 用 HBM4 的供應驗證；三家全過，代表這一代的競爭重心已經移到份額與價格上。
需求側的量化證據也對得上這張圖。依 TrendForce 口徑，HBM 佔 DRAM 總投片比重從 2025 年的 18%、2026 年的 22%，走向 2027 年約 30%。這是同一件事在產能配置上的投影：產能配置持續向高頻寬那一種傾斜。堆疊層數、鍵合方式與良率卡在哪，HBM 是怎麼做出來的 從製造端拆過一次；記憶體長約重估 則把這批合約的條款結構與各家覆蓋率逐條攤開過。
9.1為什麼這對散戶重要
AI 硬體的名單可以很長，真正可用的判讀必須很嚴格。峰值算力好記、好比較、好寫成標題，所以它被排在規格表最上面用最大的字。偏偏它是整份規格表裡最需要加條件才能用的數字，因為它要能兌現的前提，一般的推論工作負載幾乎永遠不滿足。
這篇不是要你照名單買。它給的是一條除法，你拿規格表就能自己算，算完就知道下一代晶片的錢會往算力還是往記憶體流；上面那張站位表的用途，是把四家放回證據階梯，讓你知道哪一格離兌現還有幾層。我們把算式攤開，是因為結論本來就該能被自己驗一次。散戶不該是最後一個知道的人。
⚠️風險與注意事項
🧭研究結論與追蹤框架
這條鏈最值得追的是門檻往哪個方向走，以及瓶頸有沒有從頻寬移到容量。技術方向可以很清楚，公司營收的傳導仍然可以很慢；以下五條軸會把兩者分開。
| 追蹤軸 | 偏多訊號 | 偏空訊號 |
|---|---|---|
| 新世代晶片的損益兩平門檻 | 若 新一代門檻高於前代 → 算力跑在前面、頻寬落後，下一代必須補記憶體，需求仍在前方 | 若 新一代門檻低於前代，但出貨量與長約覆蓋率沒有同步上升 → 每卡增加的 HBM 尚未轉成總需求增量；不能單憑門檻下降判斷。 |
| HBM 佔 DRAM 總投片比重 | 若 比重延續往 2027 年約 30% 的軌跡或超前 → 產能配置持續向高頻寬傾斜，標準型 DRAM 的排擠效應擴大 | 若 比重成長停滯或回落 → 高頻寬需求的成長斜率鈍化 |
| 容量瓶頸是否外溢到機櫃與 NAND | 若 服務端持續回報容量先於頻寬撞牆 → 容量壓力已外溢到機櫃級產品與 NAND 上下文記憶體層，兩條需求同步走強 | 若 容量壓力隨更大 HBM 堆疊緩解 → NAND 上下文記憶體層的急迫性下降，需求回到單純的頻寬升級敘事 |
| 低精度格式的採用速度 | 若 精度下探受限於品質損失、生產仍以 8 位元為主 → 記憶體用量無法靠精度削減，需求硬著陸在採購上 | 若 FP4 或更低精度在生產環境快速普及 → 每字必讀位元組再砍半，同樣硬體服務更多需求 |
| 買方的長約與產能鎖定行為 | 若 照付不議、不可取消的多年合約覆蓋率續升 → 買方自己在對「瓶頸不會短期消失」下注 | 若 新簽約放緩或條款轉向短年期 → 買方對缺口持續性的信心鬆動 |
📋一頁速看
- 規格表上的峰值算力、記憶體頻寬與記憶體容量決定三件不同的事，串錯是所有誤讀的起點。
- GPU 把中央處理器的控制機構換成算術單元，代價是等待要靠 64 個駐留線程束輪替去藏；暫存器檔案異常大就是為了停放它們。
- 記憶體是四層階梯，最近與最遠差數百倍；只有最底層的 HBM 是獨立採購、獨立定價的東西。
- 損益兩平門檻＝峰值算力÷峰值記憶體頻寬，H100 是 295；算術強度低於它就是受記憶體限制，加算力無效。
- 16 位元權重、服務單一請求時，逐字生成的算術強度等於 1，站在門檻下方約三百倍；預填充在線的另一邊、通常受算力限制。
- 本站重算的世代軌跡出現反轉：門檻從 V100 的 138.9 推到 H100 的 295.2，但 H200 掉回 206.0、B200 為 281.3。
- 記憶體有兩道牆：頻寬決定每秒吐幾個字，容量決定要買幾張卡、批次開多大、要不要多墊一層 NAND。
下一篇預告
本篇把一顆 GPU 從線程束拆到 HBM，停在「門檻決定你撞到哪個天花板」。下一篇只盯容量那條線：KV 快取實際怎麼長大、為什麼長對話會把注意力那一段變成主導項、上下文記憶體層要解決的到底是容量還是頻寬，以及速度性解碼這類「改變每讀一次權重能產出幾個字」的手法，為什麼不在本篇的二分法裡。
要先補上記憶體供給端的製造細節，可對讀 HBM 是怎麼做出來的 與 客製 HBM 基底晶粒。
<!-- research-lint canonical: https://gooptions.cc/trend-core-research-hbm-how-its-made-2026/ -->
📚來源與參考
本文的硬體規格全部回官方 datasheet 與架構白皮書，由此導出的比值以程式重算、算式已列在正文。產業推估與合約結構屬單一機構口徑，一律具名標日期、不當產業事實。
第一級公司官方加 SEC 主要文件
- NVIDIA V100 Tensor Core GPU Datasheet（NVIDIA；用於 V100 的密集 FP16 算力 125 TFLOPS 與 900 GB/s 記憶體頻寬。）
- NVIDIA A100 Tensor Core GPU Datasheet（NVIDIA；用於 A100 80GB 的密集 BF16 算力 312 TFLOPS 與 2,039 GB/s 記憶體頻寬。）
- NVIDIA H100 Tensor Core GPU Datasheet（NVIDIA 官方 datasheet 公開鏡像；用於 H100 SXM5 的密集 BF16 算力 989 TFLOPS、FP8 算力 1,979 TFLOPS、3.35 TB/s 頻寬與 80GB HBM3。）
- NVIDIA H200 Tensor Core GPU 產品頁（NVIDIA；用於 141GB HBM3e、4.8 TB/s 頻寬，以及與 H100 同一運算架構的說明。）
- NVIDIA H100 Tensor Core GPU Architecture Whitepaper（NVIDIA Hopper 架構白皮書公開鏡像；用於串流多處理器數量、每顆四個處理區與各自的線程束調度器、L2 容量、線程束大小、每顆最大駐留線程束與暫存器檔案配置。）
第二級產業專業媒體加分析師報告
- TrendForce 記憶體研究（TrendForce；用於「HBM 佔 DRAM 總投片比重 2025 年 18%、2026 年 22%、2027 年約 30%」。此數字屬 TrendForce 口徑，經內部研究紀錄轉引、未另取原始新聞稿連結，讀者引用時請回 TrendForce 原始出處確認。）
第三級財經媒體與 KOL 訪談
- How a GPU Actually Works（Akshay Pachaar；本篇教學骨架的素材來源，文中所有硬體數字已另行對 NVIDIA 官方文件複核，不以本文為出處，個股與供應鏈斷言一律不引本源。）
數據股價與目標價來源
方法事實核查方法論
素材是一篇公開教學長文，屬框架來源而非產業一手來源，因此採「不信任二手」原則：其引用的每一個硬體數字都重新對 NVIDIA 官方 datasheet 與 Hopper 架構白皮書逐項複核，導出比值以程式重算，出處一律記 NVIDIA 而非該文作者。個股與供應鏈的任何斷言都不引該素材，另回既有內部研究與官方揭露。 本篇在定稿前做了三項校正。素材原文主張「算力成長持續快過頻寬、差距逐代擴大」，此說在 V100 到 H100 區間成立，但重算 H200 與 B200 後不成立，門檻分別回落到 206.0 與 281.3、均低於 H100 的 295.2；素材成稿時內文涵蓋的世代止於 H200，B200 屬其後的公開資料。素材把量化寫成只減少位元組，實際上低精度同時把算力天花板抬高一倍、門檻升到約 590，正文補回被漏掉的那一半。素材引用的「約 300 個併發序列」把 KV 快取當成免費的，正文改寫為權重項的攤提上限，並補上容量會先撞牆這條路徑。