高頻寬記憶體

高頻寬記憶體（High Bandwidth Memory，縮寫HBM），是韓國三星電子和SK海力士研發的3D堆疊技術的高效能DRAM，韓國兩大晶片龍頭聯手擁有全世界95%以上的 HBM 產能，掌握AI時代最關鍵的供應命脈。第一款HBM記憶體晶片由SK海力士於2013年生產，首款使用高頻寬記憶體的裝置是AMD Radeon Fury系列顯示核心。

2013年10月，高頻寬記憶體正式被JEDEC採納為業界標準。第二代高頻寬記憶體（HBM2）於2016年1月被JEDEC採納。HBM適用於高記憶體頻寬需求的應用場合，與高性能圖形處理器、網路交換及轉發裝置（如路由器、交換器）、高性能數據中心的AI特殊應用積體電路結合使用，在 CPU 中用作包內高速緩存，在即將推出的 CPU 和 FPGA 中用作包內 RAM，還用於某些超級計算機（如 NEC SX-Aurora TSUBASA 和富士通 A64FX）。NVIDIA在該年發表的新款旗艦型Tesla運算加速卡 —— Tesla P100、AMD的Radeon RX Vega系列、Intel的Knight Landing也採用了第二代高頻寬記憶體。

## 技術細節

類型｜發佈｜每個針腳的最大資料傳輸速率(Gbit/s)｜Stack｜per Stack

Max capacity(Number of dies × Die capacity = GByte)｜Max data rate(GByte/s)

HBM 1｜Oct 2013｜1｜8×128 bit｜4×1 = 4｜128

HBM 2｜Jan 2016｜2.4｜8×1 = 8｜307

HBM 2E｜Aug 2019｜3.6｜12×2 = 24｜461

HBM 3｜Jan 2022｜6.4｜16×64 bit｜12×2 = 24｜819

HBM 3E｜May 2023｜9.8｜16×3 = 48｜1229

HBM 4｜2026｜6.4｜32×64 bit｜16×4 = 64｜1638

相比較DDR4或GDDR5而言，高頻寬記憶體以更小的體積、更少的功率達到更高的帶寬。通過堆疊多達八個DRAM晶片裸晶（即三維集成電路）和一個可選的基本晶片（包括緩衝電路和測試邏輯）來實現。堆棧通常通過基板連接到 GPU 或 CPU 上的記憶體控制器。另外，存儲器晶片也可以直接堆疊在CPU或GPU晶片上。堆棧內，晶片通過矽穿孔（TSV）及微突起相連接的可選基底裸晶，附帶記憶體控制器。高頻寬記憶體技術原理上與美光科技開發的混合記憶體立方體接口類似，但不相兼容。

高頻寬記憶體記憶體總線與其他DRAM記憶體（如DDR4或GDDR5）相比更加寬闊。在擁有四塊DRAM裸晶的高頻寬記憶體堆（4-Hi）上，每個裸晶均有兩條128比特的信道，四塊加起來總共有八條。搭載四塊4-Hi高頻寬記憶體堆的圖形卡（GPU）將擁有4096比特寬的記憶體總線。做個比較，GDDR記憶體給圖形顯示卡的信道寬度為32比特，其記憶體接口則為512比特。高頻寬記憶體最高支持每個封裝4GB的記憶體。

相比較DDR4或GDDR5而言，記憶體的最大連接數越多，高頻寬記憶體就需要以更新的方法連接至圖形處理器（或其他處理器）。AMD和英偉達均使用為特定目的打造的矽片——中介層，來連接記憶體及圖形處理器。中介層需要將記憶體與處理器放置在相鄰的位置，以減短記憶體路徑。但由於半導體器件製造的製造費用比印刷電路板的高出不少，客戶也需花費更多金錢購買此類產品。

<image>

- HBM DRAM晶片

<image>

- HBM控制器晶片

<image>

- AMD Radeon R9 Nano顯卡GPU包上的HBM記憶體

### 接口

<image>

高頻寬記憶體DRAM需要將宿主計算裸晶與分為多個獨立信道的分布式接口緊密結合起來。這些信道相互之間完全獨立，且不一定同步。高頻寬記憶體DRAM使用寬接口架構來執行高速、節能的計算操作。高頻寬記憶體DRAM使用500 MHz的差分時鐘 CK_t / CK_c（前綴「_t」表示「真」（True）、「正值」（Positvie）及差分對組件（Components of differential pair），「_c」則代表「互補」部分（Complementary））。指令在CK_t和CK_c的信號上升沿註冊。每個信道以雙數據速率（DDR）管理128比特的數據總線。高頻寬記憶體支持每針1 GT/s（1比特）的傳輸速率，總體封裝帶寬則能達到128 GB/s。

### HBM2

第二代高頻寬記憶體（HBM2）指定了每堆8個裸晶及每幀傳輸速度上至2 GT/s的標準。為保持1024比特寬的訪問，第二代高頻寬記憶體得以在每個封裝中達到256GB/s的記憶體帶寬及上至8GB的記憶體。業界預測第二代HBM在極其需要性能的應用程式（如虛擬實境）中至關重要。

2016年1月19日，三星集團宣布進入大量生產第二代高頻寬記憶體的早期階段，每堆擁有高達8GB的記憶體。SK海力士同時宣布於2016年8月發布4GB版本的記憶體。

<image>

- HBM2 DRAM晶片

<image>

- HBM2控制器晶片

<image>

- Radeon RX Vega 64 GPU的HBM2中介層，已移除HBM晶片；GPU仍在原位

### HBM2E

2018年下半年，JEDEC宣布升級第二代HBM標準，提升帶寬及其能力。官方標準中明確每堆最高307GB/s（有效數據速率則為2.4Tbit/s），但就實際而言，市面上已早有以此速度運行的產品。除此之外，標準還添加了對12-Hi堆的支持，使每堆24GB的記憶體成為可能。

2019年3月20日，三星發布了Flashbolt HBM2E，每個堆棧有8個晶片，傳輸速率為3.2 GT/s，每個堆棧總共提供16 GB和410 GB/s。8月12日，SK海力士宣布推出HBM2E，每個堆棧有8個晶片，傳輸速率為3.6 GT/s，每個堆棧總共提供16 GB和460 GB/s，2020年7月2日，宣布開始量產。

### HBM3

第四代高頻寬記憶體（HBM3）於2016年正式發布，此代標準擴大了記憶體容量、提升了記憶體帶寬（512GB/s或更高）並降低了電壓與價格。人們猜測高頻寬記憶體的密度增加是因為裸晶數量及其密度的增加導致。業界尚未宣布正式發布日期。三星專家預測在2020年前進行第三代高頻寬記憶體的量產。據南韓《中央日報》報導，SK 海力士 (000660-KR) 2021年10月20日宣布，該公司已研發出當前規格最高的高頻寬記憶體「HBM3」，在2020年7月的時候，海力士也領先業界推出「HBM2」的擴張版本「HBM2E」。

<image>

### HBM4

為了打造能進行百億億級計算的高性能計算機，慧與科技預測OPGHC HBM3+及HBM4將在2022年至2024年間發布。更為強大的堆疊能力及更高的物理密度理論上應能讓每塊插槽的可尋址記憶體及運行速度更上一層樓。HBM3+的計劃速度為4 TB/s，每塊插槽的計劃可尋址記憶體（做個類比，AMD的高端EPYC晶片在每個插槽上可以150GB/s的速度尋址）。有了32 Gbit（4 GB）的DRAM裸晶，再加上HBM3+每堆上的16片裸晶，每個HBM3+組件理論上能提供64GB的容量。

## 歷史

<image>

早在2008年，AMD就開始著手研發高頻寬記憶體來解決日益增長的能源使用及電腦記憶體的形狀因數。其中，AMD高級研究員布賴恩·布萊克（Bryan Black）解決了裸晶堆疊問題。AMD還從記憶體行業（SK海力士）、插入器行業（聯華電子）及封裝行業（日月光半導體）的合作夥伴中獲得了幫助，讓高頻寬記憶體從設想變成現實。2015年，SK海力士在韓國利川市的工廠正式開始量產。

在2010年AMD與SK海力士共同發表提案後的2013年10月，高頻寬記憶體被JEDEC設立為業界標準（JESD235）。首款使用高頻寬記憶體的裝置是AMD Radeon Fury系列顯示核心，其驅動了AMD Radeon R9 Fury X。

第二代高頻寬記憶體則於2016年1月被JEDEC認可為業界標準（JESD235a）。首款使用第二代高頻寬記憶體技術的圖形處理器是於2016年4月發布的英偉達 Tesla P100。

## 未來

在2016年8月的熱門晶片上，三星電子與SK海力士均宣布了下一代高頻寬記憶體技術。兩家公司都預計下一代產品的裸晶密度、帶寬得到提升，同時減少能源消耗。三星還宣布將發布低成本版本的高頻寬記憶體，此類產品將移除緩存裸晶、減少矽穿孔，並將總帶寬降至200GB/s。

## 另請參閱

- 記憶體模塊
- eDRAM
- 多晶片模組
- 混合記憶體立方體：由美光科技提出的堆棧式存儲器標準 (2011)

## 外部連結

- High Bandwidth Memory (HBM) DRAM (JESD235) , JEDEC, October 2013
- HBM vs HBM2 vs GDDR5 vs GDDR5X Memory Comparison