主題研究 · 算力超週期 · ISSUE #159
為什麼算 AI 不能沒有 CUDA？拆解輝達真正的護城河，從顯卡、GPU 到黃仁勳賭七年的那道河
大家買輝達買的是顯卡，但真正的護城河是 CUDA 這套外人搬不走的軟體。把一張遊戲顯卡變成 AI 心臟拆成三步，再攤開這道河會不會被繞過。
輝達的股價與市值這幾年像失控一樣往上衝：短短一年多，市值就翻了好幾倍，並在 2024 年 6 月一舉超越微軟與蘋果，坐上全球最有價值企業的位子。問題來了，AMD 和英特爾同樣在做顯示卡，為什麼獨獨輝達的股價被市場捧成這樣？
答案不在硬體。讓輝達真正甩開對手的，不是它的顯卡本身，而是一套叫 CUDA 的軟體。因為有 CUDA，顯卡不再只能服務打電動的玩家，還能拿來做科學運算、訓練 AI 模型；可以說，是 CUDA 讓一張顯卡的身價從遊戲配件翻成 AI 的心臟。多數人買輝達，帳面上買的是那顆 GPU，實際上真正被鎖住的護城河，是這套外人搬不走的軟體生態。
這篇把「一張遊戲顯卡怎麼變成 AI 心臟」拆成三步：顯卡本來只會畫圖、CUDA 讓它改行算數學、黃仁勳賭七年才把這道河挖出來。最後用我們自己的 TPU 與自研晶片研究，攤開一個更該問的問題：這道河，到底會不會被繞過。
🧠為什麼一張遊戲顯卡，會變成 AI 的心臟
先把 CUDA 到底是什麼講清楚。依研究機構晨星的描述，CUDA 是輝達自己開發、只跑在輝達 GPU 上的一套軟體平台，裡面裝了給開發者用的函式庫、編譯器、框架與各種工具。用我們自己的講法，它更像是 AI 這個行業的作業系統：十幾年來累積的成熟演算法與工具，全長在 CUDA 這套庫裡。你要用輝達的 GPU 算 AI，幾乎就得站在 CUDA 上面。
這件事之所以值錢，是因為它把「賣硬體」變成了「租生態」。輝達的資料中心營收，依晨星的數字，從 2020 會計年度約 30 億美元，一路暴衝到 2026 會計年度約 1,940 億美元，估計 2027 會計年度還要再往 3,610 億爬。硬體會被追上，會被殺價，但長在硬體上的那套軟體習慣，才是別人一時搬不走的東西。
把這條路攤開，一張顯卡要走三步才變成 AI 心臟，每一步都對應著輝達今天的護城河長在哪。
再把這條戰線上的相關標的收成一張表，主角與挑戰者都放這裡，後面正文只講邏輯：
| 角色 | 標的 | 純度 | 定位 |
|---|---|---|---|
| 生態擁有者 | NVDA 輝達 | 主角 | 依晨星，寬護城河核心是 GPU 無形資產加 CUDA 高轉換成本 |
| 自研軍火商 | AVGO 博通 | 反方最純 | 誰要自研晶片繞過輝達，多半繞不開它代設計與網路 |
| 護城河攻方 | GOOGL 字母 | 攻方 | TPU 加開源模型，正面試著把運算拉出 CUDA |
| 第二來源 | AMD 超微 | 追趕中 | ROCm 是替代軟體堆疊，軟體仍落後但在追平 |
1️⃣第一步：顯卡本來只會畫圖
要懂 CUDA 的價值，得先知道顯卡原本在幹嘛。一塊液晶螢幕，其實是一整面由紅、綠、藍三色小燈組成的燈牆，每一顆小燈調亮調暗，三色一混，就拼出我們看到的畫面。而 CPU 就像那個發號施令的總管，它撂下一句「這裡要一片會反光的水面」，但這片水面上每一個點該是什麼顏色、多亮，這種又細又多的計算，CPU 不划算自己做，就交給顯卡去算。
麻煩在於，顯卡聽不懂人話。工程師寫的程式、CPU 送來的資料，跟顯卡懂的語言都不一樣，中間必須有專門的傳話員來翻譯。負責替顯卡翻譯繪圖工作的傳話員，叫著色器；玩過電腦遊戲的人，多半碰過開場要你順手裝一個 DirectX 或 OpenGL 的畫面，那就是跟著色器溝通的現成傳話手冊。只要透過它們，程式就能把「畫成這樣」翻成顯卡聽得懂的指令。
問題是，這一整套都是為了「畫圖」設計的。一個只想用顯卡來算 AI、不想碰繪圖的工程師，難道還得先去學一套著色器語言？這道門檻，就是第二步要拆掉的東西。
2️⃣第二步：CUDA 讓顯卡改行算數學
2006 年 11 月，輝達端出第一張能拿來做通用運算的顯卡，隔年 6 月把這套軟體平台正式推出來，取名 CUDA。在它之前，想用顯卡算非繪圖的東西，得把題目硬拗成繪圖指令、繞著著色器走；CUDA 直接給了一條大路：不必學繪圖語言，用原本就會的程式語言就能調動 GPU 的運算資源。顯卡從此不再只能畫圖，終於能改行算別的，而最大的受益者就是 AI。
因為 AI 的本質，其實就是大量的數學。今天講的 AI 多半屬於機器學習、甚至深度學習，說穿了是用一堆數學模型、拿已知資料去預測或分類。這些運算本身不難，不過是把數字做加減乘除，只是資料量特別龐大、維度特別高，從一維的向量、二維的矩陣，到三維以上的張量，一層層疊上去。依晨星的說法，訓練當年的 GPT-4 用掉約 1.8 兆個參數，背後是天文數字的矩陣乘法。題目不難，難在「同樣的簡單運算要重複到億萬次」。
這正好戳中 GPU 與 CPU 最大的差別。CPU 像一位能解微積分的教授，再難的邏輯他一個人也扛得下來，但講台上就他一個，一次只能專心算一件事。GPU 反過來：它把晶片面積換成成千上萬個只會做加減乘除的小核心，深奧的證明它們不會，但你要算一百萬道簡單的乘法，一顆核心分一題同時開算，一下就全交卷了。AI 要的正是後者：不是一道難題，是海量的簡單題。
那 CUDA 在這裡扮演什麼？它是那位現場調度總管。運算要開始時，是它負責把張量裡的每一個元素分派給哪一個計算核心、決定資料該放進哪一塊記憶體；更聰明的是，它會把性質相同的運算歸成一批、一次算完，像自助餐同一道菜一次炒一大盤，不必為每一份重新起鍋，光是省下反覆換工具的時間，整體產能就被硬生生拉高好幾成。輝達還更進一步，推出叫 cuDNN 的程式庫，把「該怎麼分派、怎麼配記憶體」這些髒活先包好，讓只懂訓練與推論的 AI 研究者，不必懂底層也能榨出 GPU 的效能。翻譯套件、調度總管、現成工具包一次到位，開發門檻幾乎被壓到零，這才是輝達最難被複製的地方。
3️⃣第三步：黃仁勳賭七年才挖出的護城河
但這麼好用的 CUDA，一開始完全不被看好。黃仁勳創辦輝達時，目標很單純，就是想改變遊戲市場；當年做個人電腦 3D 繪圖晶片的廠商多達七十幾家，一路廝殺到幾乎全滅，輝達是少數活下來的。打完那場硬仗，他才開始找顯卡在遊戲以外的出路，想到讓 GPU 去做科學運算。
問題是，那個年代需要大量平行運算的任務非常少，科學運算主流還是用 CPU，CUDA 這個想法不只業界不信，連自家工程師都不信。維護 CUDA 又極度燒錢，會讓公司的營收帳面很難看。但黃仁勳沒放棄，持續跟各個學校合作，把資源砸進通用運算的教育與推廣，一賭就是好幾年。
轉捩點竟然是一場比賽。史丹佛教授李飛飛從 2010 年起辦了一個大規模影像辨識挑戰賽，用一個叫 ImageNet 的巨型資料庫，讓參賽者比誰的演算法辨識得準。分水嶺落在 2012 年：兩位博士生克里澤夫斯基與蘇茨克維，提出一個叫 AlexNet 的卷積神經網路，把這個賽事的前五名錯誤率從前一年的約 26.2% 一舉砍到 15.3%，把第二名遠遠拋在後頭。他們靠的，正是兩張輝達顯卡、用 CUDA 下去訓練深度學習模型：因為模型參數太多，CPU 根本來不及在合理時間內訓練起來，GPU 的平行運算能力才第一次真正大展身手。CUDA 就此一戰成名。
這場比賽的餘波至今還在。AlexNet 那位指導教授，就是後來被稱為 AI 教父、拿下 2024 年諾貝爾物理獎的辛頓；那位博士生蘇茨克維，後來成了 OpenAI 的共同創辦人與前首席科學家。而輝達從那一刻起，靠顯卡與 CUDA 這兩張硬體加軟體的王牌，坐上了 AI 運算的主位。護城河不是一天挖成的，是燒了七年、賭在一個沒人信的方向上，等到深度學習爆發才一次兌現。
🌊誠實反方：這道護城河會不會被繞過
賣信念不等於當信徒。CUDA 的護城河是真的，但市場最該盯的，其實是「繞過它」這件事正在發生。這一段用我們自己的研究攤開，不靠單一說法。
先講最扎實的一條：不是每個人都需要 CUDA。依半導體研究機構 SemiAnalysis，一百家 AI 晶片新創都有漂亮的投影片，但約 99% 的客製晶片以失敗收場，難的從來不是把晶片做出來，而是做出能跟 CUDA 抗衡的軟體堆疊，這反過來證明了 CUDA 的厚度。但活下來的那 1% 就很致命，而且繞道的方式各有各的路。把三條繞道收成一張表：
| 繞道路線 | 關鍵證據 | 這代表什麼 |
|---|---|---|
| Google TPU | 依我們 TPU 系列研究，對大買家而言，TPU 每單位有效運算的總成本可比輝達旗艦低約兩到五成，部分工作負載每美元效能差到數倍；靠自家編譯器與軟體，Google 把 Gemini 單位服務成本一年砍約 78% | 換一套自己的軟體，把 CUDA 直接跳過 |
| 推論端 | 訓練也許還離不開 CUDA，但推論對 CUDA 的依賴明顯低得多；已有大實驗室把相當比例的推論搬到自研晶片。依 New Street Research，2028 年輝達推論市佔可能降到兩到三成，雲端自研晶片以逾四成年增上衝 | 選硬體看協同設計後的總成本，CUDA 相容性不再是門檻 |
| 超微 ROCm | ROCm 是 CUDA 的替代軟體堆疊，過去被詬病難用但正在追平；依 SemiAnalysis，超微 MI355 在某些推論工作負載比輝達 B200 便宜約四成，同一套推論框架的 CUDA 與 ROCm 雙後端都被驗證跑得動 | 第二來源被扶起來，輝達不敢亂喊價 |
晨星也點出，把 CUDA 上的模型移植到超微硬體確實要花功夫，但雲端龍頭本來就有強烈誘因去扶植第二來源，至少讓輝達不敢亂喊價。所以這道河的真相是：它很寬，擋得住大多數人，但擋不住口袋最深，又養得起自己軟體團隊的那幾家。CUDA 的護城河與「護城河會被繞過」不是互斥的兩件事，而是同時為真，這也是為什麼看輝達，不能只看它多強，要一起看那幾條繞道挖到哪了。
🎯為什麼這對散戶重要
把三步加一條反方收攏，會看到一件容易被忽略的事：多數人討論輝達，焦點都在「它的晶片多快、下一代規格多猛」，也就是硬體那一層；但決定它能不能一直贏的，是 CUDA 這套軟體生態，以及有多少人正在花大錢挖繞道。
我們反對兩件事。第一，反對把輝達當成「一檔顯卡股」，它真正的護城河是外人搬不走的軟體習慣，看懂這一層，才知道為什麼同樣做 GPU 的對手股價待遇天差地遠。第二，反對把「護城河很寬」直接讀成「永遠不會破」，攤開研究過程會發現，繞道的不是散戶想像中的小蝦米，而是 Google、超微這些口袋最深的玩家，他們繞的方式也不是做出更快的 GPU，而是換一套自己的軟體，把 CUDA 跳過去。遮住股號，去問一家公司是不是真的握著別人搬不走的生態、或真的挖到了繞道，比它這週財報數字漂不漂亮重要得多。賣信念不等於報明牌，接下來的風險必須攤開。
⚠️風險與注意事項（必讀）
🧭研究結論與追蹤框架
核心結論：CUDA 是輝達真正的護城河，也已高度反映在股價，但「繞過它」正被幾家口袋最深的玩家一條條試出來。這是一個「論點對，但要盯著護城河會不會被侵蝕」的題材。盯以下五條線，數據往哪走，方向就往哪偏。
| 追蹤軸 | 往一個方向 | 往另一個方向 |
|---|---|---|
| 推論市佔 | 若 輝達推論市佔守住、CUDA 相容性仍是實質門檻 → 偏多：護城河延續 | 若 自研晶片與 ROCm 把推論市佔咬下一大塊 → 偏空：軟體壟斷被稀釋 |
| TPU 與自研晶片成本 | 若 TPU、自研晶片的成本優勢無法擴大到主流工作負載 → 偏多：繞道停在少數玩家 | 若 成本優勢持續擴大、更多雲端跟進自研 → 偏空：CUDA 的定價權被壓 |
| ROCm 與第二來源 | 若 ROCm 仍難用、移植成本高 → 偏多：第二來源扶不起來 | 若 ROCm 追平、雙後端成常態 → 偏空：輝達喊價空間縮小 |
| 開源模型長成誰的形狀 | 若 主流開源模型持續以輝達硬體為預設 → 偏多：生態鎖定加深 | 若 開源生態往非輝達硬體遷移 → 偏空：護城河的形狀被搬動 |
| 估值與預期 | 若 股價拉回、估值回到護城河能撐的區間 → 偏多：論點對、進場點變好 | 若 估值把「永遠不會破」全部定價進去 → 偏空：任何繞道進展都會引發重估 |
📋一頁速看（給沒時間的人）
原理快掃、三步看懂 CUDA
- 輝達真正的護城河不是顯卡那顆硬體，是 CUDA 這套外人搬不走的軟體生態。
- 顯卡本來只會畫圖，靠著色器與繪圖手冊翻譯；CUDA 讓它改行、用原本的程式語言就能算數學。
- AI 是海量的簡單運算，CPU 像一位教授、GPU 像一整個禮堂只會加減乘除的學生，CUDA 是現場調度總管。
- 護城河是黃仁勳燒七年賭出來的，2012 年 ImageNet 的 AlexNet 用兩張輝達顯卡一戰成名才兌現。
誠實反方，把話講在前面
- Google TPU、超微 ROCm、推論端與自研晶片正在一條條繞過 CUDA，護城河很寬，但擋不住口袋最深的幾家。
- 依 SemiAnalysis，約 99% 客製晶片失敗，難的是做出能抗衡 CUDA 的軟體堆疊，這反證了護城河的厚度。
- 訓練仍強、鬆動在推論；依 New Street，2028 年輝達推論市佔或降到兩到三成。
- 輝達是大盤共識，非影子標的，護城河邏輯已高度反映在估值，任何繞道進展都可能引發重估。
📚來源與參考
本文每個關鍵論點都有對應公開來源，按權威分三級列出。CUDA 的技術原理與歷史以公司官方與公開技術資料為準，護城河與估值類描述均標明出自哪一家機構，屬第三方觀點。
第一級公司官方與歷史事實
- 輝達市值躍升里程碑（Macrotrends、含 2023–2024 市值一年多內翻倍、2024-06 超越微軟與蘋果登上全球第一）
- CUDA 發展史：2006 發表、2007 釋出、首款支援顯卡 GeForce 8800 GTX（維基百科、含 GPGPU 從繪圖指令繞道到通用運算的轉折）
- ImageNet 2012 與 AlexNet：前五名錯誤率 26.2% 降到 15.3%（Turing Post、含克里澤夫斯基、蘇茨克維、辛頓與雙 GTX 580 訓練）
第二級產業媒體與分析機構
- 晨星 Morningstar NVDA 研報（CUDA 定義、寬護城河與高轉換成本、資料中心營收里程碑，屬第三方觀點、未經獨立驗證）
- SemiAnalysis（約 99% 客製晶片失敗、超微 MI355 比 B200 便宜約四成、CUDA 與 ROCm 雙後端驗證）
- New Street Research（估 2028 年輝達推論市佔或降到兩到三成、雲端自研晶片以逾四成年增上衝）
第三級技術背景與內部研究
- 輝達通用運算與 CUDA 平台介紹（NVIDIA 官方、含函式庫、編譯器與 cuDNN）
- Trend Core TPU 系列與算力超週期系列，含 TPU 成本低約兩到五成、Gemini 服務成本一年砍約 78%、推論端 CUDA 依賴較低，屬內部研究、已標來源與信心，相關頁見文末系列與延伸
- 美股市值與估值取於 2026-07-12，僅為快照
數據股價與資料來源
- 美股即時股價與市值：Yahoo Finance、Macrotrends，取於 2026-07-12，僅為快照
- CUDA 發表時程與硬體規格：NVIDIA 官方文件與維基百科交叉查證
- 護城河強度、資料中心營收與 GPT-4 參數量：晨星研報口徑，屬第三方觀點
方法取材與查證方法論
本文的講解結構參考公開技術科普的通行編排，但所有敘述均為獨立改寫，比喻與用語全部原創，不借用任何單一影片或二手內容的說法。CUDA 發表時程、ImageNet 與 AlexNet 的人物與數字、輝達市值里程碑等歷史事實，以公司官方與公開技術資料交叉查證後標註；護城河強度、資料中心營收與 GPT-4 參數量標明依晨星，屬第三方口徑；繞道那一側的 TPU 成本、推論市佔、ROCm 進度分別標明依 SemiAnalysis、New Street 與內部研究，區分「訓練仍強、推論鬆動」，不把第三方觀點寫成既定事實。
🔗系列與延伸
這篇走的是 CUDA 護城河的原理與歷史全景。想接著看「護城河會不會破」的投資深掘，算力超週期系列拆過 CUDA 生態鎖定 2.0、也拆過 推論經濟學曲線；想看繞道那一側的個別玩家，TPU 系列拆過 Google TPU 的成本逆襲，以及 誰自研都繞不開博通這個賣鏟人。若想把鏡頭移到 AI 算力的另一層，光通訊系列與 HBM 製程系列拆的是把這些 GPU 串起來、餵飽它們的網路與記憶體。