HBM이란? DRAM 수직 적층 대역폭 원리

2026년 9월 24일 읽는 시간 약 5분

HBM이란 여러 개의 DRAM 다이를 수직으로 적층하고 넓은 인터페이스로 연결해 높은 메모리 대역폭을 구현하는 기술입니다. HBM의 구조와 TSV·마이크로범프 역할, GPU·AI 반도체에 필요한 이유를 알아봅니다.

HBM이란 무엇이며 일반 DRAM과 무엇이 다를까?

HBM(High Bandwidth Memory)은 여러 개의 DRAM 다이를 수직으로 적층하고 매우 넓은 데이터 인터페이스를 이용해 높은 메모리 대역폭을 구현하는 고성능 메모리 기술입니다. 일반적인 메모리 시스템에서는 여러 DRAM 칩을 PCB에 배치하고 비교적 긴 배선을 통해 프로세서와 연결합니다. 데이터 전송속도를 높이려면 신호 속도를 높이는 방법도 있지만 주파수가 올라갈수록 신호 무결성과 전력소모, 발열 등의 부담이 커질 수 있습니다. HBM은 이러한 문제에 대해 한 개의 신호선을 극단적으로 빠르게 동작시키는 것뿐 아니라 많은 데이터선을 병렬로 사용하는 Wide I/O 구조를 활용합니다. 여러 DRAM 다이를 수직으로 쌓아 높은 용량을 확보하면서 프로세서와 가까운 위치에서 대량의 데이터를 주고받을 수 있도록 설계하는 것입니다. 이 때문에 HBM은 일반적인 DDR 계열 메모리와 패키지 구조와 인터페이스 방식에서 큰 차이가 있으며 GPU, AI 가속기, HPC와 같이 짧은 시간에 방대한 데이터를 처리해야 하는 시스템에서 특히 중요한 메모리로 사용됩니다.

TSV와 적층 구조는 어떻게 DRAM을 연결할까?

HBM에서는 여러 개의 얇은 DRAM 다이를 수직으로 적층해야 하므로 위아래 다이 사이에 많은 신호와 전원 연결을 만들어야 합니다. 이를 위해 활용되는 핵심 기술이 TSV(Through-Silicon Via)입니다. TSV는 실리콘 다이를 수직으로 관통하는 전기적 연결 구조로, 다이 내부를 통해 위층과 아래층 사이에 신호를 전달할 수 있게 합니다. 적층된 다이 사이의 실제 접합에는 세대와 구조에 따라 미세한 범프 계열 연결 기술 등이 사용됩니다. HBM 스택의 하부에는 메모리 인터페이스와 제어에 필요한 기능을 담당하는 Base Die가 위치하며, 제품 구조에 따라 로직 기능의 구성도 달라질 수 있습니다. 이렇게 만들어진 HBM 스택은 GPU나 AI 프로세서와 매우 가까운 위치에 배치됩니다. 시스템에 따라 실리콘 인터포저(Interposer)와 같은 고밀도 배선 구조를 이용해 프로세서와 HBM을 연결할 수 있습니다. 결과적으로 기존 PCB 수준의 긴 연결보다 훨씬 높은 연결 밀도를 확보할 수 있어 대규모 병렬 데이터 전송에 유리합니다.

HBM은 어떻게 높은 메모리 대역폭을 만들까?

메모리 대역폭(Bandwidth)은 일정 시간 동안 메모리와 프로세서 사이에서 전송할 수 있는 데이터의 양을 의미합니다. 개념적으로는 데이터 전송률과 인터페이스 폭이 함께 대역폭을 결정합니다. HBM의 핵심은 매우 넓은 인터페이스를 이용하여 많은 데이터를 동시에 병렬로 전송한다는 것입니다. 따라서 개별 신호의 속도만 높이는 방식에 의존하지 않고 넓은 데이터 경로를 활용해 높은 총 대역폭을 확보할 수 있습니다. 또한 HBM을 프로세서와 가까운 패키지 내부에 배치하면 고밀도 연결을 구성할 수 있어 대규모 데이터를 효율적으로 주고받는 데 유리합니다. AI 연산에서는 행렬 연산에 필요한 가중치와 활성값 등의 데이터를 연산장치에 지속적으로 공급해야 하는데, 연산 성능이 아무리 높아도 메모리가 데이터를 충분히 빠르게 전달하지 못하면 전체 성능이 제한될 수 있습니다. 이를 Memory Bottleneck이라고 합니다. HBM은 높은 대역폭을 통해 이러한 병목을 완화하는 데 중요한 역할을 하며, 높은 데이터 처리량 대비 에너지 효율 역시 고성능 시스템에서 중요한 장점입니다.

HBM이 AI 반도체에서 중요한 이유는 무엇일까?

AI 가속기와 GPU에는 매우 많은 연산 유닛이 병렬로 배치되어 있으며, 이들이 동시에 작동하려면 막대한 양의 데이터를 빠르게 공급해야 합니다. 특히 대규모 AI 모델의 학습과 추론에서는 모델 파라미터와 중간 데이터 등을 메모리와 연산장치 사이에서 지속적으로 이동시켜야 하므로 메모리 용량뿐 아니라 대역폭이 시스템 성능을 결정하는 중요한 요소가 됩니다. HBM은 높은 대역폭과 고밀도 패키징을 통해 이러한 요구에 대응할 수 있습니다. 그러나 여러 DRAM 다이를 얇게 가공하고 수직으로 적층해야 하므로 제조 난도가 높으며 TSV, 다이 접합, 열 관리, Warpage와 패키지 수율 등을 정밀하게 관리해야 합니다. 적층 구조에서는 개별 다이의 품질이 전체 HBM 스택의 수율과 비용에도 영향을 줄 수 있어 테스트 기술도 중요합니다. 또한 HBM의 성능은 메모리 자체만으로 결정되지 않고 GPU·AI 프로세서, 인터포저 또는 패키지 배선, 전력 공급과 냉각 설계가 함께 최적화되어야 합니다. 결국 HBM은 단순히 DRAM을 여러 장 쌓은 메모리가 아니라 첨단 패키징과 고속 인터페이스를 결합해 AI 시대의 데이터 처리 병목을 줄이는 핵심 메모리 기술입니다.