HBM（High Bandwidth Memory，高頻寬記憶體）是把多層 DRAM 晶粒垂直堆疊，再放到 AI 加速器旁的記憶體技術。它解決的首要問題是資料搬運速度：模型運算單元能否及時取得參數與中間結果，常取決於記憶體頻寬與封裝距離。要看懂 HBM 新聞，先把容量、頻寬、堆疊層數與封裝位置分開讀。AI ASIC 與 GPU 的架構差異也可用來對照「運算單元」和「記憶體系統」各自負責的工作。

HBM 是什麼？先看它和一般記憶體的差別

HBM 可以想成一座靠近運算晶片的高架倉庫。多層 DRAM 晶粒疊在基礎裸晶上，晶粒之間用 TSV（Through-Silicon Via，矽穿孔）垂直傳送訊號，最底部的基礎裸晶再和 GPU、AI 加速器或其他邏輯晶片連接。這個結構與 HBM4 的合作方向，已由 SK 海力士對 HBM 結構與基礎裸晶的說明具體列出。

「高頻寬」來自更寬的資料通道與更短的封裝內連線。HBM 的價值不等於單純增加記憶體容量，因為容量解決的是能放多少資料，頻寬處理的是每秒能搬多少資料；AMD 對 HBM 與 AI 加速器的架構說明也把資料搬移、快取、互連與功耗放在同一個系統脈絡中。

多層 DRAM 晶粒透過垂直連線堆疊在基礎裸晶上
HBM 的核心結構是 DRAM 晶粒、TSV 與基礎裸晶的垂直堆疊（示意圖）。

HBM 怎麼運作？從 DRAM 堆疊到 AI 晶片

第一步是把已知良好的 DRAM 晶粒逐層堆起來，第二步用 TSV 把上下晶粒連起來，第三步讓底部基礎裸晶對外連接。封裝完成後，HBM 通常會和 GPU 或其他邏輯晶片放在同一個封裝模組，降低資料在晶片與外部記憶體之間長距離往返的需求；SK 海力士對基礎裸晶與 GPU 連接方式的說明可核對這條資料路徑。

讀 HBM 型號時，常見的「8H」或「12H」是在講堆疊高度；「24Gb」通常是單顆 DRAM 晶粒的位元容量，不能直接當成整個 HBM 封裝的 GB 數。三星公布的 HBM3E 12H 產品就是 12 層、36GB、最高 1,280GB/s 的例子，並且明確標示這是該產品的規格。

頻寬也要放回整張系統圖看。AMD 公開的 CDNA 頁面列出不同 Instinct 產品的 HBM 容量與頻寬，並說明運算晶粒、HBM、快取與 I/O 透過封裝和互連整合；同一頁的產品數字不同，正好說明「有 HBM」仍不足以推定一台機器的效能。

AI 加速器與 HBM 記憶體透過封裝內互連交換資料
AI 運算的資料路徑包含運算晶粒、HBM、快取與 I/O，頻寬只是其中一個指標（示意圖）。

台灣做到哪裡？邏輯基礎裸晶與封裝是主要位置

台灣在 HBM 供應鏈的公開角色，現在最清楚的是邏輯基礎裸晶與高密度封裝整合。台積電 3DFabric 平台涵蓋 SoIC、CoWoS 與 InFO，官方說明可把邏輯、記憶體和特殊製程晶片整合到封裝模組，也把高密度互連、頻寬、延遲和功耗列為設計目標。

HBM4 合作則讓分工更具體。SK 海力士的合作公告表示，HBM4 的基礎裸晶將採用台積電先進邏輯製程，雙方也會共同優化 HBM 與 CoWoS 整合；這代表台灣的價值落在邏輯製程與封裝整合節點，不能直接解讀成台灣已包辦 DRAM 堆疊的全部流程。

這也是 HBM 和一般記憶體產品最容易混淆的地方。看到台積電、CoWoS 或先進封裝，先問它位於 HBM 模組的哪一層；看到 DRAM 堆疊，則要另外確認記憶體晶粒供應商、堆疊高度、測試與封裝責任。站內的HBM4封裝供應鏈分析可補看記憶體大廠、台積電與封裝產能的分工。

先進封裝把 HBM 與 AI 邏輯晶片整合在同一個封裝模組
台灣公開資料最明確的 HBM 角色，集中在邏輯基礎裸晶與高密度封裝整合（示意圖）。

一般人與企業該注意什麼？先看三組數字

一般人看 AI 伺服器、顯示卡或加速器規格，先把三組數字分開：HBM 容量、HBM 頻寬、整張卡或整台系統的功耗與散熱。AMD 公開的 CDNA 產品表同時列出不同產品的 HBM 容量與峰值頻寬；容量小，模型或批次資料可能放不下，頻寬不足則可能讓運算單元等待資料，散熱和供電吃緊時，紙面規格也未必能長時間維持。

企業採購則要把工作負載帶進規格表。訓練、長上下文推論、資料庫分析和網路封包處理，對容量、頻寬、延遲與軟體支援的權重都不同。企業選 AI 加速器時要看的工作負載指標已列出模型版本、批次大小、尖峰請求、P95 延遲與三年成本；HBM 應放進這張表驗證，不宜只比較型錄上的 TB/s，AMD 的產品頁也顯示不同加速器世代的 HBM 組合並不相同。

我的判斷很直接：HBM 適合資料搬運量大、運算單元密集且能承擔高階封裝成本的系統。若模型規模小、請求量低，或瓶頸在網路、資料前處理與軟體，換成 HBM 並不會自動解決整體延遲；AMD 的 HBM 架構資料也把 HBM 放在完整的運算、快取與互連平台中討論。採購前至少用自有模型做容量、頻寬、功耗與長時間穩定度測試。

企業工程師檢查 AI 伺服器的記憶體頻寬與散熱條件
HBM 採購要把容量、頻寬、功耗與散熱放在同一套工作負載測試中（示意圖）。

常見問題

HBM 和 DDR 有什麼差別？
HBM 以多層堆疊與封裝內高密度連線追求高頻寬，通常與 AI 或高效能運算晶片共同封裝。DDR 則是系統主記憶體的一種介面與產品家族，兩者的容量、頻寬、成本與部署位置都要依平台比較。

HBM 容量越大，AI 就一定越快嗎？
不一定。容量影響模型與資料能否留在近端記憶體，頻寬影響資料搬運速度，實際結果還會受到模型、軟體、互連、功耗與散熱條件影響。

台灣有生產 HBM 嗎？
公開資料目前最清楚的台灣角色是台積電先進邏輯製程與 CoWoS、SoIC 等封裝整合。DRAM 晶粒堆疊、基礎裸晶、測試與最終模組的責任，仍要依個別產品和合作案拆開確認。