HBM

HBM (viết tắt của High Bandwidth Memory, tạm dịch: Bộ nhớ băng thông cao) là một giao diện bộ nhớ máy tính dành cho bộ nhớ truy cập ngẫu nhiên động đồng bộ (SDRAM) xếp chồng 3D, do Samsung, AMD và SK Hynix tiên phong phát triển. Công nghệ này được ứng dụng kết hợp với các thiết bị tăng tốc đồ họa (GPU) hiệu năng cao, thiết bị mạng, ASIC hiệu năng cao, làm bộ nhớ đệm hoặc RAM tích hợp trên đế (on-package) trong CPU, FPGA, và trong một số siêu máy tính (như NEC SX-Aurora TSUBASA và Fujitsu A64FX). SK Hynix là công ty đầu tiên sản xuất chip nhớ HBM vào năm 2013. Đến năm 2015, các GPU AMD Fiji thuộc dòng AMD Radeon Rx 300 Series đã trở thành những thiết bị đầu tiên ứng dụng công nghệ HBM.

Tháng 10 năm 2013, JEDEC đã chính thức thông qua HBM làm tiêu chuẩn chung của ngành. Thế hệ thứ hai, HBM2, tiếp tục được JEDEC phê chuẩn vào tháng 1 năm 2016. JEDEC cũng đã công bố tiêu chuẩn HBM3 vào ngày 27 tháng 1 năm 2022, và tiêu chuẩn HBM4 vào tháng 4 năm 2025.

Tính đến năm 2025, các nhà sản xuất HBM lớn nhất thế giới bao gồm SK Hynix, Samsung Electronics và Micron Technology.

TSMC hiện đang đảm nhận việc sản xuất đế vi mạch cơ sở (base die) cho HBM và dự kiến sẽ trở thành xưởng đúc gia công cho một số công ty HBM vào năm 2026.

Nhu cầu đối với HBM đã tăng đột biến chưa từng có. Tình trạng này khiến giá DRAM nói chung (bao gồm DDR4, DDR và bộ nhớ flash/NAND) vào đầu năm 2026 "chứng kiến mức tăng kép, một số trường hợp tăng vọt hơn 200% so với đầu năm 2025 .. [bởi vì] nhu cầu khổng lồ chưa từng thấy đến từ lĩnh vực AI .. HBM đang lấn át năng lực sản xuất của các dòng DRAM thương mại thông thường. Micron lưu ý rằng tỷ lệ chuyển đổi năng lực sản xuất tấm wafer giữa HBM và DDR5 là 3:1, nghĩa là mỗi đợt tăng tốc sản xuất HBM đều trực tiếp thu hẹp nguồn cung của các bộ nhớ đa dụng."

Công nghệ 
HBM sở hữu băng thông vượt trội hơn so với DDR4 hay GDDR5, song lại tiêu tốn ít năng lượng hơn và được thiết kế với hình thái nhỏ gọn hơn đáng kể so với trước đây. Để làm được điều này, nhà sản xuất đã xếp chồng lên nhau tối đa tám đế (die) DRAM và một đế cơ sở (base die) tùy chọn chứa mạch đệm cùng các tín hiệu logic dùng để kiểm tra. Khối ngăn xếp (stack) này thường được liên kết với bộ điều khiển bộ nhớ trên GPU hoặc CPU qua một nền (substrate) trung gian, ví dụ như lớp chuyển tiếp (interposer) silicon. Ngoài ra, đế bộ nhớ cũng có thể được xếp chồng trực tiếp lên chip CPU hoặc GPU. Bên trong khối ngăn xếp, các lớp đế được liên kết theo chiều dọc với nhau bằng các cổng kết nối xuyên qua silicon (Through-silicon via - TSV) và các vi bướu (microbump). Về nguyên lý, công nghệ HBM cũng tương tự nhưng lại không tương thích với giao diện Hybrid Memory Cube (HMC) do Micron Technology phát triển.

Bus của bộ nhớ HBM rộng hơn rất nhiều khi đặt lên bàn cân với các dòng bộ nhớ DRAM khác như DDR4 hay GDDR5. Lấy một khối HBM gồm bốn lớp DRAM (4-Hi) làm ví dụ, mỗi lớp đế (die) của nó sẽ cung cấp hai kênh 128-bit, tạo nên tổng cộng 8 kênh với độ rộng bus chạm ngưỡng 1024-bit. Như vậy, một chiếc card đồ họa/GPU được tích hợp 4 khối HBM 4-Hi sẽ sở hữu bus bộ nhớ lên tới 4096-bit. Trong khi đó, con số này ở bộ nhớ GDDR chỉ dừng lại ở 32-bit, với 16 kênh dành cho một chiếc card đồ họa được trang bị giao diện bộ nhớ 512-bit. HBM có khả năng hỗ trợ dung lượng lên tới 4 GB cho mỗi thiết bị được đóng gói (package).

Vì số lượng chân kết nối với bộ nhớ nhiều hơn hẳn so với DDR4 hay GDDR5, các nhà phát triển buộc phải tìm kiếm một phương thức mới để gắn kết bộ nhớ HBM với GPU (hoặc các bộ xử lý khác). Cả AMD và Nvidia đều tin dùng những con chip silicon chế tạo chuyên biệt, mang tên lớp chuyển tiếp (interposer), làm cầu nối giữa bộ nhớ và GPU. Hướng đi này không chỉ kết nối hai thành phần mà còn kéo gần khoảng cách vật lý giữa chúng, qua đó thu hẹp độ trễ truyền tải dữ liệu bộ nhớ. Tuy nhiên, do quy trình chế tạo bán dẫn đòi hỏi chi phí đắt đỏ hơn nhiều lần so với việc sản xuất bảng mạch in, nên phương pháp này vô hình trung đã đội giá thành của sản phẩm cuối cùng lên cao.

Giao diện 

DRAM HBM được kết nối chặt chẽ với bộ xử lý trung tâm (host compute die) nhờ vào một giao diện mang tính phân tán. Giao diện này được chia thành các kênh hoàn toàn độc lập, không bị ràng buộc lẫn nhau và cũng không nhất thiết phải đồng bộ thời gian với nhau. DRAM HBM áp dụng kiến trúc giao diện rộng rãi để vừa đạt tốc độ cực cao vừa tiêu hao ít điện năng. Hệ thống sử dụng xung nhịp vi sai ở tần số 500 MHz được ký hiệu là CK_t / CK_c (với "_t" là tín hiệu "thật" hoặc "dương", còn "_c" là tín hiệu "bù"). Các lệnh sẽ được ghi nhận tại sườn lên (rising edge) của các xung CK_t, CK_c. Mỗi giao diện kênh kiểm soát một đường truyền dữ liệu (data bus) 128-bit hoạt động ở tốc độ dữ liệu gấp đôi (DDR). HBM hỗ trợ tốc độ truyền tải lên tới 1 tỷ lần/giây (1 GT/s) cho mỗi chân pin (tương đương 1 bit dữ liệu), mang lại tổng băng thông gói (package bandwidth) đạt 128 GB/s.

HBM2 
Thế hệ thứ hai của Bộ nhớ Băng thông Cao, mang tên HBM2, tiếp tục duy trì khả năng xếp chồng tối đa tám lớp đế trên mỗi khối, nhưng đã nâng gấp đôi tốc độ truyền tải trên mỗi chân pin, đạt tới 2 GT/s. Mặc dù vẫn giữ nguyên độ rộng băng thông truy cập 1024-bit, HBM2 lại có khả năng vươn tới mức băng thông bộ nhớ 256 GB/s trên mỗi gói (package). Không chỉ vậy, thông số kỹ thuật của HBM2 còn cho phép dung lượng mỗi gói lên tới 8 GB. HBM2 được giới chuyên môn dự đoán sẽ là mảnh ghép đặc biệt hữu ích cho các ứng dụng tiêu dùng đòi hỏi hiệu năng khắt khe, chẳng hạn như thực tế ảo.

Vào ngày 19 tháng 1 năm 2016, Samsung công bố sản xuất hàng loạt HBM2 ở giai đoạn đầu, với dung lượng lên đến 8 GB mỗi khối ngăn xếp. SK Hynix cũng thông báo tung ra thị trường các khối HBM2 dung lượng 4 GB vào tháng 8 năm 2016.

HBM2E 
Cuối năm 2018, JEDEC đã đưa ra một bản cập nhật cho thông số kỹ thuật HBM2, mang tới những bước tiến vượt bậc về băng thông và dung lượng. Thông số kỹ thuật chính thức hiện nay đã hỗ trợ băng thông lên tới 307 GB/s cho mỗi khối ngăn xếp (với tốc độ truyền tải dữ liệu hữu dụng là 2,5 Tbit/s), mặc dù trên thực tế, các sản phẩm đạt mức tốc độ này đã có mặt trên thị trường từ trước. Đáng chú ý, bản cập nhật còn tích hợp thêm khả năng hỗ trợ khối xếp chồng 12 lớp (12-Hi), mở đường cho dung lượng cực khủng lên tới 24 GB cho mỗi khối.

Vào ngày 20 tháng 3 năm 2019, Samsung đã giới thiệu dòng bộ nhớ HBM2E Flashbolt của mình. Sản phẩm nổi bật với cấu trúc 8 lớp đế trên mỗi khối, tốc độ truyền tải đạt mức 3,2 GT/s, qua đó cung cấp tổng dung lượng 16 GB cùng mức băng thông ấn tượng 410 GB/s cho mỗi khối.

Tiếp bước vào ngày 12 tháng 8 năm 2019, SK Hynix cũng cho ra mắt dòng HBM2E của riêng mình, với kết cấu 8 lớp đế mỗi khối ngăn xếp, đạt tốc độ truyền tải lên đến 3,6 GT/s, mang lại tổng dung lượng 16 GB và mức băng thông cao 460 GB/s cho mỗi khối. Ngày 2 tháng 7 năm 2020, hãng công bố dòng bộ nhớ này đã chính thức đi vào sản xuất hàng loạt.

Đến tháng 10 năm 2019, Samsung tiếp tục tung ra phiên bản HBM2E 12 lớp ngăn xếp.

HBM4 
Vào tháng 7 năm 2024, JEDEC đã công bố các thông số kỹ thuật sơ bộ cho HBM4. Tiêu chuẩn mới này đã giảm tốc độ dữ liệu trên mỗi chân (pin) xuống mức 6,4 Gbit/s/chân (ngang bằng với mức của HBM3), nhưng bù lại, nó hiện sử dụng giao diện 2048-bit cho mỗi khối ngăn xếp (gấp đôi so với các thế hệ trước). Điều này đồng nghĩa với việc nó vẫn đạt được tốc độ dữ liệu trên mỗi khối lớn hơn (1,6TB/s) so với HBM3E. Tiêu chuẩn này cũng sẽ hỗ trợ các lớp dung lượng 4GB (mang lại 64GB trong các cấu hình 16 lớp).

Vào tháng 4 năm 2025, JEDEC đã công bố thông số kỹ thuật HBM4 chính thức. Tiêu chuẩn mới này hỗ trợ tốc độ truyền tải lên tới 8 Gb/s thông qua giao diện 2048-bit, với tổng băng thông chạm ngưỡng 2 TB/s. Chiều cao khối ngăn xếp (stack height) dao động từ 4 đến 16, đi cùng với mật độ đế DRAM là 24Gb hoặc 32Gb, cho phép đạt dung lượng lên đến 64GB. Đặc biệt, HBM4 có khả năng tương thích ngược với các bộ vi điều khiển HBM3. Samsung, Micron và SK hynix đều có những đóng góp vào tiêu chuẩn này.

Lịch sử

Bối cảnh 
Bộ nhớ xếp chồng khuôn (die-stacked) ban đầu được thương mại hóa trong ngành công nghiệp bộ nhớ flash. Tháng 4 năm 2007, Toshiba đã giới thiệu chip bộ nhớ NAND flash với tám đế xếp chồng lên nhau, tiếp đó là Hynix Semiconductor với việc trình làng chip NAND flash gồm 24 lớp đế xếp chồng vào tháng 9 năm 2007.

Bộ nhớ truy cập ngẫu nhiên (RAM) xếp chồng 3D sử dụng công nghệ cổng kết nối xuyên qua silicon (TSV) đã được thương mại hóa bởi Elpida Memory. Hãng này đã phát triển chip DRAM 8 GB đầu tiên (gồm 4 đế SDRAM DDR3 xếp chồng) vào tháng 9 năm 2009, và phát hành nó vào tháng 6 năm 2011. Cũng trong năm 2011, SK Hynix đã giới thiệu bộ nhớ DDR3 16 GB (công nghệ 40 nm) sử dụng TSV, Samsung Electronics trình làng bộ nhớ DDR3 32 GB xếp chồng 3D (công nghệ 30 nm) dựa trên TSV vào tháng 9, và sau đó Samsung cùng với Micron Technology đã công bố công nghệ Hybrid Memory Cube (HMC) dựa trên TSV vào tháng 10.

Tháng 12 năm 2011, sau nhiều năm nghiên cứu, JEDEC đã lần đầu tiên phát hành tiêu chuẩn JESD229 cho bộ nhớ Wide IO. Đây chính là tiền thân của HBM, nổi bật với 4 kênh 128-bit cùng xung nhịp tốc độ dữ liệu đơn (single data rate clocking). Tiêu chuẩn HBM đầu tiên JESD235 được ban hành sau đó vào tháng 10 năm 2013.

Quá trình phát triển 

Quá trình phát triển Bộ nhớ Băng thông Cao được AMD khởi động vào năm 2008, nhằm giải quyết bài toán nan giải về mức tiêu thụ điện năng và kích thước của bộ nhớ máy tính ngày càng tăng cao. Trong suốt nhiều năm sau đó, AMD đã dốc sức nghiên cứu các quy trình để khắc phục các vấn đề liên quan đến việc xếp chồng các đế (die-stacking), dưới sự dẫn dắt của nghiên cứu viên cấp cao (Senior Fellow) thuộc AMD là Bryan Black. Để hiện thực hóa tầm nhìn về HBM, AMD đã kêu gọi sự hợp tác từ các đối tác trong ngành công nghiệp bộ nhớ, nổi bật nhất là công ty SK Hynix của Hàn Quốc, một tên tuổi đã có kinh nghiệm dày dặn với bộ nhớ xếp chồng 3D. Bên cạnh đó, các đối tác từ ngành công nghiệp lớp chuyển tiếp (interposer) (như công ty UMC của Đài Loan) và ngành công nghiệp đóng gói (packaging) (Amkor Technology và ASE) cũng góp mặt.

Quá trình phát triển HBM chính thức khép lại vào năm 2013, đánh dấu bằng việc SK Hynix chế tạo thành công con chip bộ nhớ HBM đầu tiên trên thế giới. Cũng trong tháng 10 năm đó, HBM đã được JEDEC chính thức công nhận là tiêu chuẩn chung của ngành công nghiệp (JESD235), theo đề xuất từ AMD và SK Hynix vào năm 2010. Việc sản xuất với quy mô lớn đã được triển khai tại nhà máy của Hynix ở Icheon, Hàn Quốc vào năm 2015.

AMD Fiji là dòng GPU đầu tiên ứng dụng công nghệ HBM, chính thức ra mắt thị trường vào tháng 6 năm 2015, tiếp sức mạnh cho dòng card đồ họa AMD Radeon R9 Fury X.

Vào tháng 1 năm 2016, Samsung Electronics đã bắt đầu giai đoạn sản xuất hàng loạt HBM2 sớm. Cùng tháng, HBM2 cũng đã được JEDEC chính thức công nhận là tiêu chuẩn JESD235a. Chip GPU đầu tiên sử dụng HBM2 là Nvidia Tesla P100, được công bố chính thức vào tháng 4 năm 2016.

Đến tháng 6 năm 2016, Intel đã tung ra thị trường dòng vi xử lý Xeon Phi với 8 khối ngăn xếp (stack) HCDRAM, một phiên bản HBM do Micron tùy biến. Tại hội nghị Hot Chips diễn ra vào tháng 8 năm 2016, cả Samsung và Hynix đều hé lộ về thế hệ công nghệ bộ nhớ HBM mới. Hai hãng này cùng thông báo về các sản phẩm hiệu năng cao, dự kiến sẽ mang đến những cải tiến vượt bậc về mật độ, băng thông và tiết kiệm điện năng tiêu thụ hơn. Thêm vào đó, Samsung cũng chia sẻ về việc đang nghiên cứu phát triển một phiên bản HBM giá thành rẻ hơn, hướng đến thị trường đại chúng. Bằng cách loại bỏ đế (die) vi đệm (buffer) và giảm số lượng kết nối TSV, hãng đã thành công trong việc hạ giá thành sản phẩm, mặc dù điều này đồng nghĩa với việc băng thông tổng thể sẽ giảm (xuống còn 200 GB/s).

GPU P100 (thuộc Kiến trúc Pascal) và H100 của Nvidia lần lượt là những sản phẩm đầu tiên sử dụng bộ nhớ HBM2 và HBM3; trong khi dòng MI430X của AMD là cái tên đầu tiên tiên phong ứng dụng HBM4.

Xem thêm 

 Stacked DRAM
 eDRAM
 Chip stack multi-chip module
 Hybrid Memory Cube (HMC): tiêu chuẩn bộ nhớ xếp chồng của Micron Technology (2011)
 Danh sách các phát minh và khám phá của Hàn Quốc

Tham khảo

Liên kết ngoài 

 High Bandwidth Memory (HBM) DRAM (JESD235), JEDEC, tháng 10 năm 2013
 
 HBM vs HBM2 vs GDDR5 vs GDDR5X Memory Comparison