存儲記憶體系列 · 主題深度 · ISSUE #135
AI 推論要的不只是更快的硬碟：NAND 怎麼變成 DRAM 與儲存之間的「記憶體層」
記憶體超級週期最常被講的是 HBM 跟 DRAM，但還有第三個關鍵需求正在長出來。當代理式 AI 的「上下文」大到數十 TB、塞不進 DRAM，NAND 被調成一個介於 DRAM/HBM 與儲存之間的記憶體層，NVIDIA 叫它 CMX。它是記憶體超級週期裡，HBM 與 DRAM 之外的第三個關鍵需求。
先說這篇在做什麼。記憶體超級週期最常被講的是兩個核心支柱：HBM 餵 GPU 訓練、DRAM 全面漲價。但這一輪還有第三個關鍵需求正在長出來，而且它跟前兩者長得不太一樣。NAND，也就是固態硬碟裡的快閃記憶體，過去一直被歸在「大宗商品儲存、景氣循環股」的籃子裡；現在它正在從一個「比硬碟快的儲存裝置」，變成一個介於 DRAM/HBM 與傳統儲存之間的記憶體層。
催它的不是更便宜的儲存需求，是代理式 AI 的推論工作負載。這篇就把這個新需求拆開，分成幾個問題：為什麼 AI 推論需要它、NAND 怎麼被「調」成記憶體、哪幾家廠商把它調對了，以及在美股這個新需求最直接的觀察點是誰。文中的物理機制屬產業既知，競爭定位與部分前瞻數字屬單一分析來源、文中會標明，應回各廠官方資料核對。
🧠為什麼 DRAM 跟 HBM 撐不住 AI 的「記憶」
要理解 NAND 的新角色，先得看 AI 推論這兩年發生的一件事：它從一個「幾分鐘就結束」的計算，變成一個「跑幾小時、甚至幾天」的長任務。當你把一個複雜任務交給一個 AI 代理程式，它不是回你一句話就結束。它會反覆做幾件事：
- 讀資料
- 呼叫工具
- 規劃下一步
- 再讀
- 再算
整個過程裡，模型必須記住前面所有的脈絡，這份脈絡在工程上叫 KV-cache，也就是鍵值快取，可以把它理解成模型的「短期記憶」、或者上下文記憶體。任務拖得越長、串接的代理程式越多，這份記憶就越大。
問題出在「越大」。一個大型 agentic 任務的 KV-cache，常常膨脹到數十 TB 的量級。這個數字的殺傷力在於：它根本塞不進任何一層 DRAM。HBM 一顆模組就那麼大、又貴，DRAM 也撐不住數十 TB 的容量。硬要全部放在 DRAM 裡，要嘛塞不下、要嘛貴到不能看。
而對買單的人來說，那些砸大錢自建算力的雲端業者跟超大型雲端業者，還有一個更現實的指標：硬體利用率。他們花了天文數字的資本支出買 GPU，最怕的就是「GPU 在那邊閒置，只因為記憶體容量不夠裝下上下文」。算力被記憶體卡住而空轉，是不能接受的場景。
於是工程上的解法很自然：把這份記憶搬到一個容量夠大、又夠快的地方。容量 NAND 有的是，問題是「要怎麼個快法」，而且不只要快，還要為 KV-cache 的讀寫脾氣量身調過。
這裡還有一個關鍵細節，決定了 NAND 該被怎麼調。AI 生成文字的解碼階段，因為 transformer 架構是自迴歸的，一次只吐一個詞元，吐完才能吐下一個。所以這份 KV-cache 在任務最開頭就被寫進去一次，之後在整個生成過程裡被「不停地讀」。這是一個極度讀偏重的工作負載，寫一次、讀一整場。記住這個特性，後面所有的設計都圍著它轉。
這個趨勢已經不是紙上談兵。有分析指出，DeepSeek v4 的架構就已經把 NAND 當成一級公民，刻意把上下文卸載到固態硬碟、把快取命中率拉到最高，以壓低每個詞元的成本；如果這個做法被證明有效，其他模型很可能跟進。這條屬單一來源，值得回原廠架構文件核對。
🎛️NAND 不是一種東西：它怎麼被「調」成記憶體
過去我們講 NAND，習慣把它當成一個單一規格的東西。這個習慣現在要改。核心觀察是：NAND 正在分裂成記憶體階層裡的好幾個子層級，每一個用不同的技術組合、服務不同的角色。同一批晶圓，可以被調得「更像記憶體」，也可以被調得「更像儲存」。調校的旋鈕有四個，值得一個一個看，因為它們直接決定了哪家廠商能在這個新層級拿到溢價。
旋鈕一：用幾個位元存一格（SLC 到 QLC）
快閃記憶體靠在一個記憶格裡存放不同的電荷量來記資料。SLC 跟 QLC 的差別，可以直接看成下面這張表：
| 項目 | SLC | QLC |
|---|---|---|
| 一格存幾個位元 | 一格存 1 個位元 | 一格存 4 個位元 |
| 要分辨的狀態 | 2 種狀態 | 16 種狀態 |
| 性格 | 快又耐操但貴 | 便宜大碗但慢又比較不耐寫 |
塞越多位元、同樣面積的容量越大、成本越低，這是 QLC 便宜大碗的原因。但代價是速度跟耐久。狀態分得越細越難分辨，寫入時要來回微調電壓的步數越多，所以越慢、也越容易因為長期使用而出錯。聰明的做法是混搭：用一層 SLC 當快取、後面接 TLC 或 QLC 當主容量，兩邊的好處都拿一點。光是這個旋鈕，就讓「同樣叫 NAND」的產品分出了完全不同的性格。
旋鈕二：一次管多大一塊（IU，間接單元）
每一顆 NVMe 固態硬碟裡都有一張地圖，叫快閃轉換層、簡稱 FTL，負責把系統看到的邏輯位址，對應到 NAND 上的實體位置。這張地圖追蹤的最小一塊，叫間接單元、簡稱 IU。多數企業級固態硬碟沿用 4KB 的 IU，這是從幾十年的檔案系統繼承來的習慣。
但 KV-cache 不是檔案系統。它的資料區塊依模型可以超過 1MB，單一次解碼的傳輸量落在 10GB 到 100GB 的級距。當碟子做到 32TB、64TB 這種容量，4KB 的 IU 會讓那張地圖大到一個程度，塞滿控制器自己的 DRAM、顯著推高成本跟功耗。把 IU 放大到 8KB、16KB、32KB 這些尺寸，可以把地圖縮小 2 到 8 倍。這就是為什麼 Samsung 的 BM1743、SK 海力士與 Solidigm 的 D5-P5336 這些高容量 QLC 碟，都已經把 IU 移到 16KB。
但這裡有個漂亮的轉折，而且直接牽動到誰能在這個新層級拿到好位置。IU 該多大，取決於「誰來發出讀取要求」。而 NVIDIA 的 Storage-Next 架構正在推「GPU 直接存取」，讓 GPU 跳過 CPU、自己對 SSD 發讀取。
| 項目 | CPU 在中間管事 | GPU 直接存取（NVIDIA Storage-Next） |
|---|---|---|
| 誰來發出讀取要求 | 由主機管理 KV-cache 的擺放、代替 GPU 發出大段連續的讀取 | 讓 GPU 跳過 CPU、自己對 SSD 發讀取 |
| IU 判斷 | 大 IU 是對的 | 如果 IU 是 16KB 或 32KB，而 GPU 其實只要 512 個位元組，FTL 還是得把整塊抓回來 |
| 結果 | 適合大段連續的讀取 | 小區塊的讀取能拉高每秒讀寫次數，把 PCIe 餵飽；否則會白白浪費 PCIe 頻寬、讓 GPU 空等它沒要的資料 |
這正是 Kioxia XL-Flash 的設計原理。記住這個方向：架構的箭頭是指向「GPU 直接讀、繞過 CPU」。
旋鈕三：讀比寫快十幾倍（讀寫不對稱）
NAND 在物理上天生不對稱。三種動作可以排成下面這張表：
| 動作 | 說明 | 延遲 |
|---|---|---|
| 讀取 | 只是感測一格現有的電荷 | 大約微秒等級 |
| 寫入 | 要精準地把電荷放到特定電壓，QLC 還要準到命中 16 種狀態之一 | 大約毫秒等級 |
| 擦除 | 要一次清掉一整塊 | 大約數十毫秒 |
讀跟寫的延遲差距，在記憶格層級大約是 10 到 20 倍。多數 SSD 控制器會把這個不對稱藏起來：寫入先進 DRAM 或 SLC 緩衝、馬上回報完成，真正的 NAND 寫入在背景慢慢做。所以你跑標準測試，看到的讀寫數字差不多，看不出底層的不對稱。對傳統企業應用，這樣平衡是合理的。
但 KV-cache 剛好相反，它寫一次、讀一整場。所以一顆「為 AI 推論調過」的控制器，會做跟傳統設計相反的事：把仲裁偏向讀、把更多內部緩衝給讀取、把寫入排到那些當下沒在服務讀取的晶片上。這是一個軟體與韌體層級的差異化，不是換更貴的晶圓就能買到的。
旋鈕四：別讓新舊記憶卡在同一塊（WAF 與 FDP）
最後一個旋鈕，是 NAND 老問題在 KV-cache 上的新版本。NAND 不能原地覆寫，要改一頁就得擦掉重寫一整塊。理想狀況下寫多少就實際寫多少，這個比值叫寫入放大係數、英文簡稱 WAF，理想是 1；一旦大於 1，就是在多做白工、傷耗壽命。
KV-cache 帶來一個討厭的狀況：同一塊裡可能混著新舊不同壽命的脈絡。任務早期的脈絡幾乎不會再用，近期的脈絡卻被一直讀。當舊脈絡過期、控制器想回收空間，卻發現近期脈絡還混在裡面、不能整塊擦，只好把有效的頁先讀出來、搬到別處，才能回收。這就推高了 WAF、傷了耐久。
業界的解法叫彈性資料放置、簡稱 FDP，是一條 NVMe 規範。它讓系統在寫入時貼標籤，把壽命相近的資料放到同一塊實體 NAND。冷的、熱的脈絡分開放，等舊脈絡一過期，控制器可以直接回收乾淨的整塊、不必搬移任何東西。對「冷熱要分層、又要隨著 KV-cache 老化不停回收」的 AI 推論場景，這正中要害。
把四個旋鈕加起來，你會發現一件事：NAND 能不能在這個新層級拿到溢價，大半不是看誰的晶圓便宜，而是看誰的控制器跟韌體針對 KV-cache 這個工作負載調得最準。這就把競爭從「拼成本」拉到「拼設計」。
🏭誰把它調對了：NAND 廠的競爭格局
把上面四個旋鈕當成計分卡，競爭盤點大致如下。提醒一次，以下競爭定位多屬單一分析來源、部分是前瞻說法，引用個股前請回各廠官方產品頁與財報核對。
這裡要特別點一句：NVIDIA 是這個層級的「架構制定方」，CMX 是它的用語、Storage-Next 是它在推的路線。但 NVIDIA 不是 NAND 受惠股本身。真正賣這個層級、拿到差異化定價的，是上面這些 NAND 與固態硬碟廠。