고대역 메모리

고대역폭 메모리(高帶域幅 - , ) 또는 광대역폭 메모리(廣帶域幅 - )는 원래 삼성전자, AMD, SK하이닉스가 시작한 3D 적층 동기식 동적 랜덤 액세스 메모리(SDRAM)를 위한 컴퓨터 메모리 인터페이스다. 이는 고성능 그래픽 가속기, 네트워크 장치, 고성능 ASIC, CPU의 온패키지 캐시 또는 온패키지 RAM, FPGA, 그리고 일부 슈퍼컴퓨터(NEC SX-Aurora TSUBASA 및 후지쯔 A64FX 등)와 함께 사용된다.ISSCC 2014 Trends  page 118 "High-Bandwidth DRAM" 최초의 HBM 메모리 칩은 2013년 SK하이닉스에 의해 생산되었으며, HBM을 사용한 최초의 장치는 2015년의 AMD 피지(Fiji) GPU였다.

HBM은 2013년 10월 JEDEC에 의해 산업 표준으로 채택되었다.High Bandwidth Memory (HBM) DRAM (JESD235), JEDEC, October 2013 2세대인 HBM2는 2016년 1월 JEDEC에 의해 승인되었다. JEDEC은 2022년 1월 27일에 HBM3 표준을 공식 발표했으며, 2025년 4월에는 HBM4 표준을 발표했다.

2025년 기준 세계 최대의 HBM 제조업체는 SK하이닉스, 삼성전자, 마이크론 테크놀로지다.

TSMC는 HBM용 베이스 다이(base die)를 생산하며, 2026년에는 여러 HBM 기업의 파운드리가 될 계획이다.

 기술 
 유형  출시  핀당 최대데이터 전송 속도  적층  스택당 최대 용량  최대 데이터 전송률 HBM 1  2013년 10월  1.0 Gb/s     8×128 bit  4 다이 × 1 GB = 4 GB  128 GB/s HBM 2  2016년 1월  2.4 Gb/s                                         8 다이 × 1 GB = 8 GB  307 GB/s HBM 2E        2019년 8월  3.6 Gb/s                                         12 다이 × 2 GB = 24 GB  461 GB/s HBM 3  2022년 1월  6.4 Gb/s   16×64 bit  819 GB/s HBM 3E        2023년 5월  9.8 Gb/s                      16 다이 × 3 GB = 48 GB  1229 GB/s HBM 4      2025년 4월  8 Gb/s   32×64 bit  16 다이 × 4 GB = 64 GB  2048 GB/s
HBM은 DDR4나 GDDR5보다 전력을 적게 사용하면서도 더 높은 대역폭을 달성하며, 형태 인자(form factor)도 상당히 작다.HBM: Memory Solution for Bandwidth-Hungry Processors , Joonyoung Kim and Younsu Kim, SK Hynix // Hot Chips 26, August 2014 이는 최대 8개의 DRAM 다이와 버퍼 회로 및 테스트 로직을 포함할 수 있는 선택적인 베이스 다이를 수직으로 쌓아 올려 달성된다. 이 스택은 종종 실리콘 인터포저와 같은 기판을 통해 GPU 또는 CPU의 메모리 컨트롤러에 연결된다. 대안적으로 메모리 다이를 CPU나 GPU 칩 위에 직접 쌓을 수도 있다. 스택 내에서 다이들은 실리콘 관통 전극(TSV)과 마이크로범프에 의해 수직으로 상호 연결된다. HBM 기술은 원리적으로는 유사하지만 마이크론 테크놀로지가 개발한 하이브리드 메모리 큐브(HMC) 인터페이스와는 호환되지 않는다.Where Are DRAM Interfaces Headed?  // EETimes, 4/18/2014 "The Hybrid Memory Cube (HMC) and a competing technology called High-Bandwidth Memory (HBM) are aimed at computing and networking applications. These approaches stack multiple DRAM chips atop a logic chip."

HBM 메모리 버스는 DDR4나 GDDR5와 같은 다른 DRAM 메모리에 비해 매우 넓다. 4개의 DRAM 다이가 쌓인 HBM 스택(4-Hi)은 다이당 2개의 128비트 채널을 가져 총 8개 채널과 총 1024비트의 너비를 가진다. 따라서 4개의 4-Hi HBM 스택을 가진 그래픽 카드/GPU는 4096비트 너비의 메모리 버스를 갖게 된다. 이에 비해 GDDR 메모리의 버스 너비는 32비트이며, 512비트 메모리 인터페이스를 가진 그래픽 카드의 경우 16개 채널을 가진다.Highlights of the HighBandwidth Memory (HBM) Standard . Mike O'Connor, Sr. Research Scientist, NVidia // The Memory Forum – June 14, 2014 HBM은 패키지당 최대 4GB를 지원한다.

DDR4나 GDDR5에 비해 메모리 연결 수가 훨씬 많기 때문에 HBM 메모리를 GPU(또는 다른 프로세서)에 연결하는 새로운 방법이 필요했다. AMD와 엔비디아 모두 메모리와 GPU를 연결하기 위해 인터포저라고 불리는 특수 제작된 실리콘 칩을 사용해 왔다. 이 인터포저는 메모리와 프로세서를 물리적으로 가깝게 배치해야 한다는 이점이 있어 메모리 경로를 단축시킨다. 그러나 반도체 제조가 인쇄 회로 기판 제조보다 훨씬 비싸기 때문에 최종 제품의 비용이 상승한다.

 인터페이스 
섬네일|upright=2|고대역 메모리를 사용하는 그래픽 카드의 단면도. 실리콘 관통 전극(TSV)을 볼 수 있다.
HBM DRAM은 분산된 인터페이스를 통해 호스트 컴퓨팅 다이와 밀접하게 결합된다. 인터페이스는 독립된 채널들로 나뉜다. 채널들은 서로 완전히 독립적이며 반드시 서로 동기화될 필요는 없다. HBM DRAM은 고속, 저전력 작동을 달성하기 위해 넓은 인터페이스 아키텍처를 사용한다. HBM DRAM은 500MHz 차동 클록 CK_t / CK_c를 사용한다(여기서 접미사 "_t"는 차동 쌍의 "true" 또는 양의 성분을 나타내고, "_c"는 "complementary" 즉 보해 성분을 나타낸다). 명령은 CK_t, CK_c의 상승 에지에서 등록된다. 각 채널 인터페이스는 이중 데이터 전송률(DDR)로 작동하는 128비트 데이터 버스를 유지한다. HBM은 핀당 1 GT/s의 전송 속도를 지원하여 전체 패키지 대역폭 128 GB/s를 제공한다.

 HBM2 
고대역 메모리의 2세대인 HBM2 또한 스택당 최대 8개의 다이를 규정하며 핀 전송 속도를 최대 2 GT/s로 두 배 높였다. 1024비트 폭의 액세스를 유지하면서 HBM2는 패키지당 256 GB/s의 메모리 대역폭에 도달할 수 있다. HBM2 사양은 패키지당 최대 8GB를 허용한다. HBM2는 가상 현실과 같이 성능에 민감한 소비자용 응용 프로그램에 특히 유용할 것으로 예측되었다.

2016년 1월 19일, 삼성은 스택당 최대 8GB의 HBM2 조기 양산을 발표했다. SK하이닉스 또한 2016년 8월에 4GB 스택의 공급 가능 소식을 발표했다.

 HBM2E 
2018년 말, JEDEC은 대역폭과 용량을 증가시킨 HBM2 사양의 업데이트를 발표했다. 현재 공식 사양에서는 스택당 최대 307 GB/s(유효 데이터 속도 2.5 Tbit/s)까지 지원되지만, 이 속도로 작동하는 제품은 이미 출시되어 있었다. 또한 업데이트를 통해 12-Hi 적층(12개 다이)에 대한 지원이 추가되어 스택당 최대 24GB의 용량이 가능해졌다.

2019년 3월 20일, 삼성은 스택당 8개의 다이, 3.2 GT/s의 전송 속도를 특징으로 하여 스택당 총 16GB 및 410 GB/s를 제공하는 Flashbolt HBM2E를 발표했다.

2019년 8월 12일, SK하이닉스는 스택당 8개의 다이, 3.6 GT/s의 전송 속도를 특징으로 하여 스택당 총 16GB 및 460 GB/s를 제공하는 HBM2E를 발표했다. 2020년 7월 2일, SK하이닉스는 양산이 시작되었음을 발표했다.

2019년 10월, 삼성은 12단 적층 HBM2E를 발표했다.

 HBM3 
2020년 말, 마이크론은 HBM2E 표준이 업데이트될 것임을 밝히면서 HBMnext(이후 HBM3로 명칭 변경)로 알려진 다음 표준을 공개했다. 이는 HBM2에서의 큰 세대적 도약이자 HBM2E의 대체제가 될 것이었다. 이 새로운 VRAM은 2022년 4분기에 시장에 출시될 예정이었다. 명칭에서 알 수 있듯이 새로운 아키텍처가 도입될 가능성이 높았다.

아키텍처가 점검되는 동안, 유출된 정보들은 업데이트된 HBM2E 표준과 유사한 성능을 가리켰다. 이 RAM은 주로 데이터 센터용 GPU에서 사용될 가능성이 높았다.

2021년 중반, SK하이닉스는 5.2 Gbit/s의 I/O 속도와 패키지당 665 GB/s의 대역폭, 그리고 최대 16단 적층 2.5D 및 3D 솔루션을 포함하는 HBM3 표준의 일부 사양을 공개했다.

2021년 10월 20일, JEDEC의 HBM3 표준이 확정되기 전 SK하이닉스는 메모리 벤더 중 최초로 HBM3 메모리 소자 개발을 완료했다고 발표했다. SK하이닉스에 따르면 이 메모리는 공식적으로 최고 3.2 Gbit/s/pin인 JEDEC 표준 HBM2E보다 두 배 빠른 6.4 Gbit/s/pin 속도로 작동하며, SK하이닉스 자체의 3.6 Gbit/s/pin HBM2E보다 78% 빠르다. 이 소자들은 6.4 Gbit/s의 데이터 전송률을 지원하므로 단일 HBM3 스택은 최대 819 GB/s의 대역폭을 제공할 수 있다. HBM3의 기본 버스 너비는 변경되지 않았으며 단일 메모리 스택은 1024비트 너비다. SK하이닉스는 각각 8단 및 12단 적층에 맞춰 16GB와 24GB 두 가지 용량의 메모리를 제공할 예정이었다. 스택은 각각 두께가 30μm인 8개 또는 12개의 16Gb DRAM으로 구성되며 실리콘 관통 전극(TSV)을 사용하여 상호 연결된다.

아난드텍의 라이언 스미스(Ryan Smith)에 따르면, SK하이닉스의 1세대 HBM3 메모리는 최신 세대 HBM2E 메모리와 동일한 밀도를 가지므로 차세대 부품에서 총 메모리 용량을 늘리려는 장치 제조업체는 그동안 일반적으로 사용하던 8단 적층 대신 12개 다이/레이어 메모리를 사용해야 한다.
탐스 하드웨어의 안톤 실로프(Anton Shilov)에 따르면, 고성능 컴퓨팅용 GPU 또는 FPGA는 일반적으로 4개 또는 6개의 HBM 스택을 사용하므로 SK하이닉스의 HBM3 24GB 스택을 사용하면 각각 3.2TB/s 또는 4.9TB/s의 메모리 대역폭을 얻게 된다. 그는 또한 SK하이닉스의 HBM3 칩이 HBM2 및 HBM2E 칩처럼 직사각형이 아닌 정사각형이라고 언급했다. 더 레지스터의 크리스 멜러(Chris Mellor)에 따르면, JEDEC이 아직 HBM3 표준을 개발하지 않았다는 것은 SK하이닉스가 향후 더 빠른 표준에 맞춰 설계를 개조해야 할 수도 있음을 의미할 수 있다.

JEDEC은 2022년 1월 27일에 HBM3 표준을 공식 발표했다. 메모리 채널 수는 HBM2E의 128비트 8채널에서 HBM3의 64비트 16채널로 두 배 늘어났다. 따라서 인터페이스의 총 데이터 핀 수는 여전히 1024개다.

2022년 6월, SK하이닉스는 2022년 3분기에 출시 예정인 엔비디아의 H100 GPU에 사용될 업계 최초의 HBM3 메모리 양산을 시작했다고 발표했다. 이 메모리는 H100에 "최대 819 GB/s"의 메모리 대역폭을 제공할 것이다.

2022년 8월, 엔비디아는 "호퍼" H100 GPU가 80GB RAM과 3TB/s의 메모리 대역폭(사이트당 16GB 및 600 GB/s)을 제공하는 5개의 활성 HBM3 사이트(온보드 6개 중)와 함께 출시될 것이라고 발표했다.

 HBM3E 
2023년 5월 30일, SK하이닉스는 8 Gbit/s/pin 데이터 처리 속도(HBM3보다 25% 빠름)를 갖춘 HBM3E 메모리를 공개했으며, 이는 2024년 상반기에 생산에 들어갈 예정이다. 1024비트 버스에서 8 GT/s로 작동하여 스택당 대역폭은 HBM3의 819.2 GB/s에서 1 TB/s로 증가한다.

2023년 7월 26일, 마이크론은 9.6 Gbit/s/pin 데이터 처리 속도(HBM3보다 50% 빠름)를 갖춘 HBM3E 메모리를 발표했다. 마이크론 HBM3E 메모리는 1β DRAM 공정 기술과 첨단 패키징을 사용하여 업계 최고의 성능, 용량 및 전력 효율성을 달성한 고성능 HBM이다. 8단 적층 큐브당 24GB를 저장할 수 있으며 1.2 TB/s의 데이터 전송이 가능하다. 2024년에는 36GB 용량의 12단 적층 큐브가 출시될 예정이다.

2023년 August, 엔비디아는 HBM3 버전에 비해 메모리 대역폭은 50%, 메모리 용량은 75% 높은 141GB(물리적으로 144GiB)의 HBM3e를 6144비트 버스를 통해 사용하는 GH200 그레이스 호퍼(Grace Hopper) 슈퍼칩의 새 버전을 발표했다.

2023년 5월, 삼성은 2024년에 생산될 최대 7.2 Gbit/s의 HBM3P를 발표했다.

2023년 10월 20일, 삼성은 최대 9.8 Gbit/s 메모리를 갖춘 HBM3E "Shinebolt"를 발표했다.

2024년 2월 26일, 마이크론은 자사 HBM3E 메모리의 양산을 발표했다.

2024년 3월 18일, 엔비디아는 HBM3E 메모리를 사용하는 블랙웰 시리즈 GPU를 발표했다.

2024년 3월 19일, SK하이닉스는 자사 HBM3E 메모리의 양산을 발표했다.

2024년 9월, SK하이닉스는 12단 적층 HBM3E 메모리의 양산을 발표했으며, 11월에는 16단 적층 버전도 발표했다.

 HBM-PIM 
2021년 2월, 삼성은 지능형 메모리(processing-in-memory, PIM)가 결합된 HBM의 개발을 발표했다. 이 새로운 메모리는 메모리 내부에 AI 컴퓨팅 기능을 도입하여 대규모 데이터 처리를 향상시킨다. 각 메모리 뱅크 내부에 DRAM 최적화 AI 엔진을 배치하여 병렬 처리를 가능하게 하고 데이터 이동을 최소화한다. 삼성은 이를 통해 시스템 성능을 두 배로 높이고 에너지 소비를 70% 이상 줄일 수 있으며, 시스템의 나머지 부분에 하드웨어나 소프트웨어 변경이 필요하지 않다고 주장했다.

 HBM4 
2024년 7월, JEDEC은 HBM4의 예비 사양을 발표했다. 핀당 데이터 속도를 6.4 Gbit/s/pin(HBM3 수준)으로 낮췄지만, 이제 스택당 2048비트 인터페이스를 사용하므로(이전 세대의 두 배) 스택당 데이터 속도는 여전히 HBM3E보다 높은 1.6TB/s초당 6.4 기가트랜스퍼에 비트 수 2048을 곱한 후 8로 나누어 비트에서 바이트로 변환에 도달한다. 또한 4GB 레이어를 허용하여 16단 구성에서 64GB 용량을 달성할 수 있게 된다.

2025년 4월, JEDEC은 공식 HBM4 사양을 공개했다. 2048비트 인터페이스를 통해 최대 8 Gb/s의 전송 속도를 지원하며, 총 대역폭은 최대 2 TB/s, 적층 높이는 4단에서 16단까지, DRAM 다이 밀도는 24Gb 또는 32Gb로 최대 64GB의 용량이 가능하다. HBM4는 HBM3 컨트롤러와 하위 호환된다. 삼성, 마이크론, SK하이닉스가 이 표준에 기여했다.

 역사 
 배경 
다이 적층 메모리는 처음에 플래시 메모리 업계에서 상용화되었다. 도시바는 2007년 4월에 8개의 다이를 쌓은 NAND 플래시 메모리 칩을 소개했으며, 이어서 하이닉스반도체가 2007년 9월에 24개의 다이를 쌓은 NAND 플래시 칩을 소개했다.

실리콘 관통 전극(TSV) 기술을 사용한 3D 적층 랜덤 액세스 메모리(RAM)는 엘피다 메모리에 의해 상용화되었는데, 이들은 2009년 9월에 첫 8GB DRAM 칩(4개의 DDR3 SDRAM 다이를 적층)을 개발하여 2011년 6월에 출시했다. 2011년, SK하이닉스는 TSV 기술을 사용한 40nm급 16GB DDR3 메모리를 소개했으며, 삼성전자는 9월에 TSV 기반의 30nm급 32GB DDR3를 소개했고, 이어 삼성과 마이크론 테크놀로지가 10월에 TSV 기반의 하이브리드 메모리 큐브(HMC) 기술을 발표했다.

JEDEC은 수년간의 작업 끝에 2011년 12월, 단일 데이터 속도 클록킹과 4개의 128비트 채널을 특징으로 하는 HBM의 전신인 Wide IO 메모리용 JESD229 표준을 처음으로 발표했다. 최초의 HBM 표준인 JESD235는 2013년 10월에 뒤를 이었다.

 개발 
섬네일|upright=1.15|HBM을 사용한 최초의 GPU인 AMD 피지(Fiji)

고대역 메모리의 개발은 컴퓨터 메모리의 전력 소모량 증가와 형태 인자 문제를 해결하기 위해 2008년 AMD에서 시작되었다. 이후 몇 년 동안 AMD는 시니어 AMD 펠로우인 브라이언 블랙(Bryan Black)이 이끄는 팀과 함께 다이 적층 문제를 해결하기 위한 절차를 개발했다.High-Bandwidth Memory (HBM) from AMD: Making Beautiful Memory, AMD AMD는 HBM 비전을 실현하기 위해 메모리 업계의 파트너들, 특히 3D 적층 메모리 경험이 있는 한국 기업 SK하이닉스와 인터포저 업계 파트너(대만 기업 UMC), 그리고 패키징 업계 파트너(앰코 테크놀로지 및 ASE)의 도움을 받았다.

HBM의 개발은 2013년 SK하이닉스가 최초의 HBM 메모리 칩을 제작하면서 완성되었다. HBM은 2010년 AMD와 SK하이닉스의 제안에 따라 2013년 10월 JEDEC에 의해 산업 표준 JESD235로 채택되었다. 대량 생산은 2015년 대한민국 이천에 있는 하이닉스 시설에서 시작되었다.

HBM을 활용한 최초의 GPU는 2015년 6월에 출시되어 AMD 라데온 R9 퓨리(Fury) X에 탑재된 AMD 피지(Fiji)였다. AMD Ushers in a New Era of PC Gaming including World's First Graphics Family with Revolutionary HBM Technology

2016년 1월, 삼성전자는 HBM2의 조기 양산을 시작했다. 같은 달, HBM2는 JEDEC에 의해 표준 JESD235a로 승인되었다. HBM2를 활용한 최초의 GPU 칩은 2016년 4월에 공식 발표된 엔비디아 테슬라 P100이다.

2016년 6월, 인텔은 마이크론의 HBM 버전인 HCDRAM 8개 스택을 탑재한 제온 파이 프로세서 제품군을 출시했다.
2016년 8월 핫 칩스에서 삼성과 하이닉스 모두 차세대 HBM 메모리 기술을 발표했다. 두 회사 모두 밀도와 대역폭을 높이고 전력 소비를 낮춘 고성능 제품을 발표했다. 삼성은 또한 대중 시장을 타깃으로 개발 중인 저가형 HBM 버전도 발표했다. 버퍼 다이를 제거하고 실리콘 관통 전극(TSV) 수를 줄여 전체 대역폭은 감소(200 GB/s)하지만 비용을 낮췄다.

엔비디아의 P100 및 H100 GPU는 각각 HBM2와 HBM3 메모리를 사용하는 최초의 제품이다. AMD의 MI430X는 HBM4를 사용하는 최초의 제품이다.

 같이 보기 
 스택 DRAM

 각주 

 외부 링크 
 HIGH BANDWIDTH MEMORY (HBM) DRAM (JESD235), JEDEC, October 2013
  25.2 A 1.2V 8Gb 8-channel 128GB/s high-bandwidth memory (HBM) stacked DRAM with effective microbump I/O test methods using 29 nm process and TSV. D.U Lee, SK hynix, ISSCC 2014 doi:10.1109/ISSCC.2014.6757501
  HBM vs HBM2 vs GDDR5 vs GDDR5X Memory Comparison

분류:컴퓨터 메모리
분류:AMD 기술
분류:SDRAM
분류:미국의 발명품
분류:대만의 발명품