高带宽内存

高带宽内存（High Bandwidth Memory，缩写HBM），是韩国三星电子和SK海力士研发的3D堆叠技术的高效能DRAM，韩国两大芯片龙头联手拥有全世界95%以上的 HBM 产能，掌握AI时代最关键的供应命脉。第一款HBM内存芯片由SK海力士于2013年生产，首款使用高带宽内存的装置是AMD Radeon Fury系列显示核心。

2013年10月，高带宽内存正式被JEDEC采纳为业界标准。第二代高带宽内存（HBM2）于2016年1月被JEDEC采纳。HBM适用于高内存带宽需求的应用场合，与高性能图形处理器、网络交换及转发装置（如路由器、交换器）、高性能数据中心的AI特殊应用集成电路结合使用，在 CPU 中用作包内高速缓存，在即将推出的 CPU 和 FPGA 中用作包内 RAM，还用于某些超级计算机（如 NEC SX-Aurora TSUBASA 和富士通 A64FX）。NVIDIA在该年发表的新款旗舰型Tesla运算加速卡 —— Tesla P100、AMD的Radeon RX Vega系列、Intel的Knight Landing也采用了第二代高带宽内存。

## 技术细节

类型｜发布｜每个针脚的最大资料传输速率(Gbit/s)｜Stack｜per Stack

Max capacity(Number of dies × Die capacity = GByte)｜Max data rate(GByte/s)

HBM 1｜Oct 2013｜1｜8×128 bit｜4×1 = 4｜128

HBM 2｜Jan 2016｜2.4｜8×1 = 8｜307

HBM 2E｜Aug 2019｜3.6｜12×2 = 24｜461

HBM 3｜Jan 2022｜6.4｜16×64 bit｜12×2 = 24｜819

HBM 3E｜May 2023｜9.8｜16×3 = 48｜1229

HBM 4｜2026｜6.4｜32×64 bit｜16×4 = 64｜1638

相比较DDR4或GDDR5而言，高带宽内存以更小的体积、更少的功率达到更高的带宽。通过堆叠多达八个DRAM芯片裸晶（即三维集成电路）和一个可选的基本芯片（包括缓冲电路和测试逻辑）来实现。堆栈通常通过基板连接到 GPU 或 CPU 上的内存控制器。另外，存储器芯片也可以直接堆叠在CPU或GPU芯片上。堆栈内，芯片通过硅穿孔（TSV）及微突起相连接的可选基底裸晶，附带内存控制器。高带宽内存技术原理上与美光科技开发的混合内存立方体接口类似，但不相兼容。

高带宽内存内存总线与其他DRAM内存（如DDR4或GDDR5）相比更加宽阔。在拥有四块DRAM裸晶的高带宽内存堆（4-Hi）上，每个裸晶均有两条128比特的信道，四块加起来总共有八条。搭载四块4-Hi高带宽内存堆的图形卡（GPU）将拥有4096比特宽的内存总线。做个比较，GDDR内存给图形显示卡的信道宽度为32比特，其内存接口则为512比特。高带宽内存最高支持每个封装4GB的内存。

相比较DDR4或GDDR5而言，内存的最大连接数越多，高带宽内存就需要以更新的方法连接至图形处理器（或其他处理器）。AMD和英伟达均使用为特定目的打造的硅片——中介层，来连接内存及图形处理器。中介层需要将内存与处理器放置在相邻的位置，以减短内存路径。但由于半导体器件制造的制造费用比印刷电路板的高出不少，客户也需花费更多金钱购买此类产品。

<image>

- HBM DRAM芯片

<image>

- HBM控制器芯片

<image>

- AMD Radeon R9 Nano显卡GPU包上的HBM内存

### 接口

<image>

高带宽内存DRAM需要将宿主计算裸晶与分为多个独立信道的分布式接口紧密结合起来。这些信道相互之间完全独立，且不一定同步。高带宽内存DRAM使用宽接口架构来执行高速、节能的计算操作。高带宽内存DRAM使用500 MHz的差分时钟 CK_t / CK_c（前缀“_t”表示“真”（True）、“正值”（Positvie）及差分对组件（Components of differential pair），“_c”则代表“互补”部分（Complementary））。指令在CK_t和CK_c的信号上升沿注册。每个信道以双数据速率（DDR）管理128比特的数据总线。高带宽内存支持每针1 GT/s（1比特）的传输速率，总体封装带宽则能达到128 GB/s。

### HBM2

第二代高带宽内存（HBM2）指定了每堆8个裸晶及每帧传输速度上至2 GT/s的标准。为保持1024比特宽的访问，第二代高带宽内存得以在每个封装中达到256GB/s的内存带宽及上至8GB的内存。业界预测第二代HBM在极其需要性能的应用程序（如虚拟现实）中至关重要。

2016年1月19日，三星集团宣布进入大量生产第二代高带宽内存的早期阶段，每堆拥有高达8GB的内存。SK海力士同时宣布于2016年8月发布4GB版本的内存。

<image>

- HBM2 DRAM芯片

<image>

- HBM2控制器芯片

<image>

- Radeon RX Vega 64 GPU的HBM2中介层，已移除HBM芯片；GPU仍在原位

### HBM2E

2018年下半年，JEDEC宣布升级第二代HBM标准，提升带宽及其能力。官方标准中明确每堆最高307GB/s（有效数据速率则为2.4Tbit/s），但就实际而言，市面上已早有以此速度运行的产品。除此之外，标准还添加了对12-Hi堆的支持，使每堆24GB的内存成为可能。

2019年3月20日，三星发布了Flashbolt HBM2E，每个堆栈有8个芯片，传输速率为3.2 GT/s，每个堆栈总共提供16 GB和410 GB/s。8月12日，SK海力士宣布推出HBM2E，每个堆栈有8个芯片，传输速率为3.6 GT/s，每个堆栈总共提供16 GB和460 GB/s，2020年7月2日，宣布开始量产。

### HBM3

第四代高带宽内存（HBM3）于2016年正式发布，此代标准扩大了内存容量、提升了内存带宽（512GB/s或更高）并降低了电压与价格。人们猜测高带宽内存的密度增加是因为裸晶数量及其密度的增加导致。业界尚未宣布正式发布日期。三星专家预测在2020年前进行第三代高带宽内存的量产。据韩国《中央日报》报导，SK 海力士 (000660-KR) 2021年10月20日宣布，该公司已研发出当前规格最高的高带宽内存“HBM3”，在2020年7月的时候，海力士也领先业界推出“HBM2”的扩张版本“HBM2E”。

<image>

### HBM4

为了打造能进行百亿亿级计算的高性能计算机，慧与科技预测OPGHC HBM3+及HBM4将在2022年至2024年间发布。更为强大的堆叠能力及更高的物理密度理论上应能让每块插槽的可寻址内存及运行速度更上一层楼。HBM3+的计划速度为4 TB/s，每块插槽的计划可寻址内存（做个类比，AMD的高端EPYC芯片在每个插槽上可以150GB/s的速度寻址）。有了32 Gbit（4 GB）的DRAM裸晶，再加上HBM3+每堆上的16片裸晶，每个HBM3+组件理论上能提供64GB的容量。

## 历史

<image>

早在2008年，AMD就开始着手研发高带宽内存来解决日益增长的能源使用及计算机内存的形状因数。其中，AMD高级研究员布赖恩·布莱克（Bryan Black）解决了裸晶堆叠问题。AMD还从内存行业（SK海力士）、插入器行业（联华电子）及封装行业（日月光半导体）的合作伙伴中获得了帮助，让高带宽内存从设想变成现实。2015年，SK海力士在韩国利川市的工厂正式开始量产。

在2010年AMD与SK海力士共同发表提案后的2013年10月，高带宽内存被JEDEC设立为业界标准（JESD235）。首款使用高带宽内存的装置是AMD Radeon Fury系列显示核心，其驱动了AMD Radeon R9 Fury X。

第二代高带宽内存则于2016年1月被JEDEC认可为业界标准（JESD235a）。首款使用第二代高带宽内存技术的图形处理器是于2016年4月发布的英伟达 Tesla P100。

## 未来

在2016年8月的热门芯片上，三星电子与SK海力士均宣布了下一代高带宽内存技术。两家公司都预计下一代产品的裸晶密度、带宽得到提升，同时减少能源消耗。三星还宣布将发布低成本版本的高带宽内存，此类产品将移除缓存裸晶、减少硅穿孔，并将总带宽降至200GB/s。

## 另请参阅

- 内存模块
- eDRAM
- 多芯片模组
- 混合内存立方体：由美光科技提出的堆栈式存储器标准 (2011)

## 外部链接

- High Bandwidth Memory (HBM) DRAM (JESD235) , JEDEC, October 2013
- HBM vs HBM2 vs GDDR5 vs GDDR5X Memory Comparison