高頻寬記憶體（，縮寫），是三星電子、超微半導體和 SK 海力士發起的一種基於 3D 堆疊工藝的高效能 DRAM，適用於高記憶體頻寬需求的應用場合，與高效能圖形處理器、網路交換及轉發裝置（如路由器、交換器）、高效能資料中心的 AI 特殊應用積體電路結合使用，在 CPU 中用作包內快取記憶體，在即將推出的 CPU 和 FPGA 中用作包內 RAM，還用於某些超級計算機（如 NEC SXAurora TSUBASA 和富士通 A64FX）。ISSCC 2014 Trends page 118 HighBandwidth DRAM 首款 HBM 記憶體晶片由 SK 海力士於 2013 年生產，首款使用高頻寬記憶體的裝置是 AMD Radeon Fury 系列顯示核心。 2013 年 10 月，高頻寬記憶體正式被 JEDEC 採納為業界標準。High Bandwidth Memory HBM DRAM JESD235 JEDEC October 2013 第二代高頻寬記憶體（HBM2）於 2016 年 1 月被 JEDEC 採納。NVIDIA 在該年發表的新款旗艦型 Tesla 運算加速卡 Tesla P100、AMD 的 Radeon RX Vega 系列、Intel 的 Knight Landing 也採用了第二代高頻寬記憶體。 技術細節 相比較 DDR4 或 GDDR5 而言，高頻寬記憶體以更小的體積、更少的功率達到更高的頻寬。HBM Memory Solution for BandwidthHungry Processors Joonyoung Kim and Younsu Kim SK Hynix Hot Chips 26 August 2014 透過堆疊多達八個 DRAM 晶片裸晶（即三維積體電路）和一個可選的基本晶片（包括緩衝電路和測試邏輯）來實現。堆疊通常透過基板連線到 GPU 或 CPU 上的記憶體控制器。另外，儲存器晶片也可以直接堆疊在 CPU 或 GPU 晶片上。堆疊內，晶片透過矽穿孔（TSV）及相連線的可選基底裸晶，附帶記憶體控制器。高頻寬記憶體技術原理上與美光科技開發的介面類似，但不相相容。Where Are DRAM Interfaces Headed EETimes 4182014 The Hybrid Memory Cube HMC and a competing technology called HighBandwidth Memory HBM are aimed at computing and networking applications These approaches stack multiple DRAM chips atop a logic chipWhere Are DRAM Interfaces Headed EETimes 4182014 The Hybrid Memory Cube HMC and a competing technology called HighBandwidth Memory HBM are aimed at computing and networking applications These approaches stack multiple DRAM chips atop a logic chip 高頻寬記憶體記憶體匯流排與其他 DRAM 記憶體（如 DDR4 或 GDDR5）相比更加寬闊。在擁有四塊 DRAM 裸晶的高頻寬記憶體堆（4Hi）上，每個裸晶均有兩條 128 位元的通道，四塊加起來總共有八條。搭載四塊 4Hi 高頻寬記憶體堆的圖形卡（GPU）將擁有 4096 位元寬的記憶體匯流排。做個比較，GDDR 記憶體給圖形顯示卡的通道寬度為 32 位元，其記憶體介面則為 512 位元。Highlights of the HighBandwidth Memory HBM Standard Mike OConnor Sr Research Scientist NVidia The Memory Forum June 14 2014 高頻寬記憶體最高支援每個封裝 4GB 的記憶體。 相比較 DDR4 或 GDDR5 而言，記憶體的最大連線數越多，高頻寬記憶體就需要以更新的方法連線至圖形處理器（或其他處理器）。AMD 和英偉達均使用為特定目的打造的矽片 中介層，來連線記憶體及圖形處理器。中介層需要將記憶體與處理器放置在相鄰的位置，以減短記憶體路徑。但由於半導體器件製造的製造費用比印刷電路板的高出不少，客戶也需花費更多金錢購買此類產品。 FileAMD28nmGCN_3th_genFijiRadeon_R9_NanoSPMRC_REA0356A1539_2150862120_StackDSC10301DSC10363__ZSretouched_29514443756jpgHBM DRAM 晶片 FileAMD28nmGCN_3th_genFijiRadeon_R9_NanoSPMRC_REA0356A1539_2150862120_StackDSC10364DSC10418__ZSDMap_29548526985jpgHBM 控制器晶片 FileAMD28nmGCN_3th_genFijiRadeon_R9_NanoSPMRC_REA0356A1539_2150862120_DSC04466_29461603171jpgAMD Radeon R9 Nano 顯示卡 GPU 包上的 HBM 記憶體 介面 高頻寬記憶體 DRAM 需要將宿主計算裸晶與分為多個獨立通道的分散式介面緊密結合起來。這些通道相互之間完全獨立，且不一定同步。高頻寬記憶體 DRAM 使用寬介面架構來執行高速、節能的計算操作。高頻寬記憶體 DRAM 使用 500 MHz 的差分時鐘 CK_t CK_c（字首 _t 表示 真（True）、正值（Positvie）及差分對元件（Components of differential pair），_c 則代表 互補 部分（Complementary））。指令在 CK_t 和 CK_c 的訊號上升沿註冊。每個通道以雙資料速率（DDR）管理 128 位元的資料匯流排。高頻寬記憶體支援每針 1 （1 位元）的傳輸速率，總體封裝頻寬則能達到 128 GBs。 HBM2 第二代高頻寬記憶體（HBM2）指定了每堆 8 個裸晶及每幀傳輸速度上至 2 的標準。為保持 1024 位元寬的訪問，第二代高頻寬記憶體得以在每個封裝中達到 256GBs 的記憶體頻寬及上至 8GB 的記憶體。業界預測第二代 HBM 在極其需要效能的應用程式（如虛擬現實）中至關重要。 2016 年 1 月 19 日，三星集團宣佈進入大量生產第二代高頻寬記憶體的早期階段，每堆擁有高達 8GB 的記憶體。SK 海力士同時宣佈於 2016 年 8 月釋出 4GB 版本的記憶體。 FileAMD14nmGCN_5th_genVega10Radeon_RX_Vega_64HBM_DRAM_Die_StackDSC08974DSC09078__ZSretouchedjpgHBM2 DRAM 晶片 FileAMD14nmGCN_5th_genVega10Radeon_RX_Vega_64HBM_Logic_Die_StackDSC08709DSC08834__ZSretouchedjpgHBM2 控制器晶片 FileAMD14nmGCN_5th_genVega10Radeon_RX_Vega_64ESSample_StackDSC01160DSC01176__ZSretouchedjpgRadeon RX Vega 64 GPU 的 HBM2 中介層，已移除 HBM 晶片；GPU 仍在原位 HBM2E 2018 年下半年，JEDEC 宣佈升級第二代 HBM 標準，提升頻寬及其能力。官方標準中明確每堆最高 307GBs（有效資料速率則為 24Tbits），但就實際而言，市面上已早有以此速度執行的產品。除此之外，標準還添加了對 12Hi 堆的支援，使每堆 24GB 的記憶體成為可能。 2019 年 3 月 20 日，三星釋出了 Flashbolt HBM2E，每個堆疊有 8 個晶片，傳輸速率為 32 GTs，每個堆疊總共提供 16 GB 和 410 GBs。8 月 12 日，SK 海力士宣佈推出 HBM2E，每個堆疊有 8 個晶片，傳輸速率為 36 GTs，每個堆疊總共提供 16 GB 和 460 GBs，2020 年 7 月 2 日，宣佈開始量產。 HBM3 第三代高頻寬記憶體（HBM3）於 2016 年正式釋出，此代標準擴大了記憶體容量、提升了記憶體頻寬（512GBs 或更高）並降低了電壓與價格。人們猜測高頻寬記憶體的密度增加是因為裸晶數量及其密度的增加導致。業界尚未宣佈正式釋出日期。三星專家預測在 2020 年前進行第三代高頻寬記憶體的量產。據南韓《中央日報》報導，SK 海力士 000660KR 2021 年 10 月 20 日宣佈，該公司已研發出當前規格最高的高頻寬記憶體「HBM3」，在 2020 年 7 月的時候，海力士也領先業界推出「HBM2」的擴張版本「HBM2E」。 HBM4 為了打造能進行的高效能計算機，慧與科技預測 OPGHC HBM3 及 HBM4 將在 2022 年至 2024 年間釋出。更為強大的堆疊能力及更高的物理密度理論上應能讓每塊插槽的可定址記憶體及執行速度更上一層樓。HBM3 的計劃速度為 4 TBs，每塊插槽的計劃可定址記憶體（做個類比，AMD 的高階 EPYC 晶片在每個插槽上可以 150GBs 的速度定址）。有了 32 Gbit（4 GB）的 DRAM 裸晶，再加上 HBM3 每堆上的 16 片裸晶，每個 HBM3 元件理論上能提供 64GB 的容量。 歷史 早在 2008 年，AMD 就開始著手研發高頻寬記憶體來解決日益增長的能源使用及計算機記憶體的形狀因數。其中，AMD 高階研究員布賴恩布萊克（Bryan Black）解決了裸晶堆疊問題。AMD 還從記憶體行業（SK 海力士）、插入器行業（聯華電子）及封裝行業（日月光半導體）的合作伙伴中獲得了幫助，讓高頻寬記憶體從設想變成現實。 HighBandwidth Memory HBM from AMD Making Beautiful Memory2015 年，SK 海力士在韓國利川市的工廠正式開始量產。 在 2010 年 AMD 與 SK 海力士共同發表提案後的 2013 年 10 月，高頻寬記憶體被 JEDEC 設立為業界標準（JESD235）。首款使用高頻寬記憶體的裝置是 AMD Radeon Fury 系列顯示核心，其驅動了 AMD Radeon R9 Fury X。 AMD Ushers in a New Era of PC Gaming including Worlds First Graphics Family with Revolutionary HBM Technology 第二代高頻寬記憶體則於 2016 年 1 月被 JEDEC 認可為業界標準（JESD235a）。首款使用第二代高頻寬記憶體技術的圖形處理器是於 2016 年 4 月釋出的英偉達 Tesla P100。 未來 在 2016 年 8 月的上，三星與海力士均宣佈了下一代高頻寬記憶體技術。兩家公司都預計下一代產品的裸晶密度、頻寬得到提升，同時減少能源消耗。三星還宣佈將釋出低成本版本的高頻寬記憶體，此類產品將移除快取裸晶、減少矽穿孔，並將總頻寬降至 200GBs。 另請參閱 記憶體模組 多晶片模組 ：由美光科技提出的堆疊式儲存器標準 2011 參考文獻 外部連結 High Bandwidth Memory HBM DRAM JESD235 JEDEC October 2013 HBM vs HBM2 vs GDDR5 vs GDDR5X Memory Comparison CategoryAMD 技術 CategorySDRAM Category 韓國發明 Category 臺灣戰後時期發明 Category2013 年面世