HBM의 역사와 HBM4/4E가 가져올 변화

수정일: 2026년 7월 21일 | 카테고리: Technology

Table of Contents

Summary

HBM은 GPU나 AI ASIC 옆에 DRAM 스택을 배치하고 TSV와 실리콘 인터포저로 초광대역 연결을 만드는 메모리이며, HBM1에서 HBM3E까지는 대역폭·용량·전력효율을 꾸준히 높여 AI 학습과 추론의 핵심 병목을 줄여 왔습니다.
HBM4의 가장 큰 변화는 1,024비트였던 HBM3E급 인터페이스를 2,048비트로 넓히고, JEDEC 기준 32개 독립 채널과 채널당 2개 pseudo-channel 구조, 12단·16단 적층, 개선된 베이스 다이와 전압 옵션을 통해 스택당 최대 2TB/s급 표준 대역폭을 제시한다는 점입니다.
HBM4는 NVIDIA Vera Rubin과 AMD Helios·MI400 계열처럼 공식적으로 언급된 차세대 AI 서버 플랫폼에 쓰일 예정이며, HBM4E와 커스텀 HBM은 2027년 전후 고객 맞춤형 베이스 다이와 더 높은 핀 속도를 앞세운 후속 플랫폼군으로 확산될 가능성이 크지만 구체 모델은 아직 불확실합니다.

(Advertisement)

왜 중요한가

HBM4를 이해해야 하는 이유는 단순히 메모리 세대가 하나 올라가기 때문이 아닙니다. 2023년 이후 AI 서버 투자는 GPU 수량, 네트워크 대역폭, 전력 공급 능력, 냉각 인프라, 고급 패키징 캐파, HBM 공급량이 함께 맞물리는 복합 산업으로 바뀌었습니다. 특히 대규모 언어모델, 멀티모달 모델, 장문 컨텍스트 추론, 에이전트형 AI, Mixture-of-Experts 학습과 추론에서는 연산기가 아무리 빨라도 필요한 파라미터와 KV cache, activation, 중간 텐서를 충분히 빠르게 읽고 쓰지 못하면 전체 시스템 성능이 제한됩니다. 결국 AI 가속기의 실효 성능은 FLOPS만이 아니라 메모리 용량, 메모리 대역폭, 메모리 전력효율, 패키지 내부 연결의 품질에 의해 결정됩니다.

전통적인 서버 DRAM은 CPU 소켓 주변에 DIMM 형태로 배치됩니다. 그래픽카드에서 널리 쓰인 GDDR도 GPU 패키지 바깥의 메모리 칩들과 PCB 배선으로 연결됩니다. 반면 HBM은 여러 장의 DRAM 다이를 수직으로 쌓고, 이를 GPU나 ASIC과 같은 로직 칩 바로 옆에 실리콘 인터포저 위에 배치합니다. 데이터 이동 거리가 짧아지고, 매우 넓은 병렬 인터페이스를 사용할 수 있어 단일 핀 속도를 무리하게 높이지 않고도 막대한 대역폭을 얻을 수 있습니다. 이 접근은 AI 데이터센터에서 중요한 전력효율과 공간효율을 동시에 개선합니다.

HBM3E까지의 경쟁은 주로 스택당 1TB/s 안팎의 대역폭, 8단과 12단 제품의 양산 안정성, 고객 인증, 열 방출 능력, 수율에 초점이 맞춰졌습니다. HBM4부터는 논점이 더 넓어집니다. JEDEC 표준 기준 인터페이스 폭이 2,048비트로 두 배 확대되고, 독립 채널 수가 늘어나며, 베이스 다이가 단순한 하단 연결층을 넘어 로직 칩과 메모리 스택 사이의 접속 품질과 전력·신호 관리를 좌우하는 핵심 부품으로 부각됩니다. 또한 12-high와 16-high 스택이 본격적으로 논의되면서 패키지 높이, 열저항, TSV 정렬, 마이크로 범프 또는 차세대 본딩 기술, 인터포저 면적, 공급망 투자 부담까지 함께 커집니다.

이 글은 기존 글의 HBM3E 중심 설명을 HBM4와 HBM4E 중심으로 업데이트한 버전입니다. 핵심은 두 가지입니다. 첫째, HBM의 역사를 HBM1부터 HBM3E까지 이어지는 기술 축적으로 보아야 합니다. 둘째, HBM4와 HBM4E는 단순한 부품 업그레이드가 아니라 NVIDIA Vera Rubin, AMD Helios와 같은 차세대 AI 서버 플랫폼의 설계 방식, 메모리 업체의 제품 전략, 파운드리와 패키징 생태계, 클라우드 사업자의 총소유비용 계산까지 바꾸는 변화입니다.

HBM의 기본 구조: 2.5D·3D 메모리의 의미

HBM은 High Bandwidth Memory의 약자입니다. 이름 그대로 핵심 목표는 높은 대역폭입니다. 하지만 대역폭만 강조하면 HBM의 본질을 놓치기 쉽습니다. HBM은 DRAM 다이를 수직으로 적층하는 3D 구조와, GPU·ASIC 같은 로직 칩 옆에 메모리 스택을 배치하는 2.5D 패키징 구조가 결합된 메모리 시스템입니다. 여러 DRAM 다이는 TSV, 즉 Through-Silicon Via로 연결됩니다. TSV는 실리콘 다이를 수직으로 관통하는 전기적 통로이며, 적층된 각 DRAM 다이가 아래쪽 베이스 다이와 통신할 수 있게 해 줍니다.

HBM 스택은 보통 맨 아래에 베이스 다이를 두고 그 위에 DRAM 다이들을 쌓는 구조로 설명됩니다. 베이스 다이는 HBM 세대가 올라갈수록 중요해지고 있습니다. 초기에는 주로 DRAM 스택의 하단 인터페이스 역할이 강조됐다면, HBM4에서는 로직 칩과 HBM 스택 사이의 접속, 전원 분배, 신호 무결성, 채널 관리, 열과 전력 특성 개선에 더 큰 역할을 하게 됩니다. 삼성전자는 HBM4 설명에서 4nm 파운드리 로직·베이스 다이 기술을 언급했고, SK하이닉스도 HBM4에서 베이스 다이 성능 개선을 통해 HBM 스택과 로직 칩의 연결성을 높이고 전력을 줄인다고 설명했습니다. 이는 HBM이 단순 DRAM 제품을 넘어 로직과 패키징 기술이 결합된 시스템 부품이 되고 있음을 보여 줍니다.

HBM이 GPU나 AI ASIC 옆에 놓이는 공간은 일반 PCB가 아니라 실리콘 인터포저입니다. 인터포저는 로직 칩과 여러 HBM 스택을 짧고 촘촘한 배선으로 연결하는 중간 기판입니다. 이 구조 덕분에 HBM은 수천 개의 입출력선을 활용할 수 있습니다. GDDR처럼 매우 높은 핀 속도에 의존하기보다는 훨씬 넓은 버스를 병렬로 사용해 대역폭을 확보하는 방식입니다. Rambus의 HBM 설명도 이러한 2.5D·3D 구조, TSV로 연결된 적층 DRAM, GPU나 ASIC 옆의 실리콘 인터포저 배치를 HBM의 핵심으로 정리합니다.

이러한 구조는 장점과 비용을 동시에 만듭니다. 장점은 압도적인 대역폭, 낮은 데이터 이동 에너지, 작은 풋프린트, 로직 칩과의 근접성입니다. 비용은 고급 패키징 난도, 인터포저 면적 증가, TSV와 적층 수율, 열 방출, 공급망 병목입니다. AI 서버 한 대에 들어가는 가속기 수가 늘고, 가속기당 HBM 스택 수도 늘면서 HBM은 이제 단순 메모리 가격이 아니라 전체 AI 서버 원가와 납기, 전력 설계의 핵심 변수입니다.

HBM의 역사: HBM1에서 HBM3E까지

HBM의 출발점은 GPU와 고성능 컴퓨팅에서 기존 GDDR 방식의 대역폭 한계를 극복하려는 시도였습니다. AMD와 SK하이닉스가 초기 HBM 개발에서 중요한 역할을 했고, 첫 상용 사례 중 하나로 AMD의 Fiji GPU가 자주 언급됩니다. HBM1은 2013년에서 2014년 전후 표준화와 제품화가 진행되었고, 2015년 전후 고성능 그래픽 제품에 적용되면서 기존 메모리 배치와 다른 접근이 가능하다는 점을 증명했습니다.

HBM1의 의미는 숫자보다 구조적 전환에 있습니다. GPU 주변에 여러 개의 메모리 칩을 배치하고 고속 신호를 긴 거리로 보내는 방식 대신, 메모리를 쌓고 로직 칩 옆에 붙여 매우 넓은 인터페이스로 연결한다는 개념이 실제 제품에서 검증됐습니다. 당시에는 용량과 비용, 패키징 난도 때문에 적용 범위가 제한적이었지만, 이후 AI와 HPC 수요가 커지면서 이 구조의 장점이 훨씬 크게 부각됐습니다.

HBM2는 HBM1의 뒤를 이어 속도와 밀도, 적용 가능성을 개선한 세대입니다. 고성능 그래픽뿐 아니라 AI 학습, HPC 시뮬레이션, 네트워크 장비, 전문 가속기에서 더 넓게 사용될 수 있는 기반을 만들었습니다. HBM2는 HBM이 실험적인 고급 그래픽 메모리에서 데이터센터 가속기의 실질적 선택지로 이동하는 과정의 중간 단계였습니다. AI 모델 크기가 커지고 데이터 병렬·모델 병렬 학습이 확산되면서, 메모리 대역폭이 연산기 활용률을 좌우한다는 인식도 함께 확산됐습니다.

HBM2E는 HBM2의 확장형으로 볼 수 있습니다. 기존 글에서 설명했듯 HBM2E는 HBM2보다 높은 용량과 속도를 제공했고, 스택당 최대 16GB 수준의 용량과 460GB/s를 넘는 대역폭이 언급되었습니다. 이 세대는 AI와 HPC 애플리케이션에서 더 큰 데이터셋과 모델을 처리하기 위한 연결고리였습니다. 또한 HBM 시장이 본격적으로 SK하이닉스, 삼성전자, 마이크론의 경쟁 구도로 재편되는 토대가 되었습니다.

HBM3는 HBM2E보다 더 높은 대역폭과 용량을 목표로 등장했습니다. 기존 글에서 언급한 것처럼 초기 HBM3는 스택당 최대 819GB/s 수준의 대역폭이 거론되었고, 데이터 집약형 애플리케이션의 요구를 충족하기 위한 세대로 자리 잡았습니다. 대규모 언어모델의 학습이 폭발적으로 증가하면서 HBM3는 AI 가속기 공급망의 중심에 놓였습니다. NVIDIA H100 같은 데이터센터 GPU에서 HBM3의 중요성이 부각되었고, 이후 HBM3E로의 전환은 AI 서버 성능 경쟁을 더 가속했습니다.

HBM3E는 HBM3의 확장형입니다. Rambus는 HBM3E를 9.6Gb/s, 1,024비트 인터페이스, 장치당 약 1,229GB/s 수준으로 설명합니다. SK하이닉스, 삼성전자, 마이크론은 HBM3E 경쟁에서 속도와 대역폭, 8단·12단 적층, 고객 인증, 전력효율을 강조했습니다. 삼성과 마이크론은 약 1.2TB/s급 대역폭을 언급했고, SK하이닉스도 HBM3E와 12단 제품을 앞세워 AI 서버 시장에서 강한 입지를 구축했습니다. NVIDIA GB200과 같은 Blackwell 계열 플랫폼에는 HBM3E가 중요한 구성 요소로 자리했습니다.

HBM3E까지의 경쟁은 고대역폭 메모리의 대중화가 아니라 고급 AI 서버의 필수 부품화였습니다. GPU 제조사와 클라우드 서비스 제공자는 더 많은 HBM 용량과 대역폭을 요구했고, 메모리 업체는 TSV 공정, 적층 기술, 패키징 소재, 열 방출, 수율 개선에 막대한 투자를 해야 했습니다. 이 흐름이 HBM4에서 더욱 확대됩니다. HBM4는 HBM3E의 속도 개선판이 아니라, 인터페이스 폭과 채널 구조, 베이스 다이, 적층 높이, 플랫폼 설계를 함께 바꾸는 세대입니다.

세대	도입·상용화 흐름	인터페이스·대역폭 관련 특징	용량·적층 관련 특징	주요 의미
HBM1	2013~2014년 전후 도입, AMD Fiji GPU가 대표적 초기 상용 사례	기존 GDDR의 대역폭 한계를 완화하기 위해 넓은 병렬 인터페이스와 2.5D 패키징을 활용	초기 적층 HBM 구조 검증 단계	GPU 옆에 적층 DRAM을 배치하는 새로운 메모리 모델을 상용 제품에서 증명
HBM2	HBM1 이후 AI·HPC·전문 그래픽으로 적용 확대	HBM1 대비 속도와 밀도를 개선	고성능 가속기에서 사용할 수 있는 용량 확대	HBM이 고급 그래픽을 넘어 데이터센터 가속기 메모리로 이동하는 기반
HBM2E	2018~2019년 전후 발표·확산	기존 글 기준 스택당 460GB/s 초과 대역폭 언급	기존 글 기준 스택당 최대 16GB 수준으로 설명	AI와 HPC에서 더 큰 모델과 데이터셋 처리를 지원한 과도기 세대
HBM3	2020~2021년 이후 세부 정보와 제품화 흐름 확대	기존 글 기준 스택당 최대 819GB/s 수준 언급	고용량 스택을 통해 대규모 AI 학습 수요 대응	데이터센터 AI GPU의 핵심 메모리로 부상
HBM3E	2024~2025년 AI 서버 핵심 메모리로 확대	Rambus 설명 기준 9.6Gb/s, 1,024비트, 약 1,229GB/s per device	12단 제품과 36GB급 제품이 NVIDIA GB200 등에서 언급	Blackwell 세대 AI 서버의 대역폭·용량 요구를 충족한 세대
HBM4	2025~2026년 샘플·양산·플랫폼 적용 발표	JEDEC 기준 2,048비트, 최대 8Gb/s, 스택당 최대 2TB/s. 일부 업체 제품은 더 높은 핀 속도와 대역폭 제시	JEDEC 기준 4-high, 8-high, 12-high, 16-high와 24Gb·32Gb 다이 밀도 지원, 32Gb 16-high 기준 최대 64GB cube density	NVIDIA Vera Rubin, AMD Helios·MI400급 플랫폼의 핵심 메모리로 전환
HBM4E	2026년 샘플·2027년 전후 확산 전망이 언급되는 후속 세대	Rambus와 삼성 설명 기준 16Gb/s, 2,048비트일 때 약 4.0~4.096TB/s급 가능성	커스텀 베이스 다이와 고객 맞춤형 HBM 논의 확대	표준 HBM4 이후 고객별 AI ASIC·차세대 가속기 플랫폼에 맞춘 메모리로 진화 가능

HBM4 깊이보기: 2,048비트 인터페이스의 의미

HBM4의 가장 상징적인 변화는 2,048비트 인터페이스입니다. HBM3E에서 일반적으로 설명되는 1,024비트 인터페이스와 비교하면 폭이 두 배입니다. 메모리 대역폭은 단순화하면 핀당 전송속도와 인터페이스 폭의 곱으로 계산됩니다. 따라서 같은 핀 속도라도 인터페이스가 두 배 넓어지면 이론상 대역폭을 크게 높일 수 있습니다. JEDEC HBM4 표준 보도는 2,048비트 인터페이스와 최대 8Gb/s 전송속도, 스택당 최대 2TB/s 대역폭을 제시합니다. Rambus도 HBM4가 2,048비트와 8Gb/s에서 2.048TB/s per stack에 도달한다고 설명합니다.

이 변화는 단지 수치가 커졌다는 의미가 아닙니다. AI 가속기 설계자는 더 많은 메모리 채널과 더 넓은 데이터 경로를 활용해 연산 코어에 데이터를 공급할 수 있습니다. 대규모 모델 학습에서는 행렬 연산 자체도 중요하지만, 가중치와 activation을 지속적으로 공급하는 일이 중요합니다. 추론에서는 특히 긴 컨텍스트와 많은 동시 사용자 요청을 처리할 때 KV cache와 중간 데이터 이동이 병목이 될 수 있습니다. HBM4는 이런 데이터 이동의 병목을 줄이는 방향으로 설계되었습니다.

다만 인터페이스 폭이 두 배가 되면 패키징 난도도 높아집니다. 더 많은 입출력선, 더 복잡한 인터포저 배선, 더 엄격한 신호 무결성 관리, 더 촘촘한 마이크로 범프 또는 본딩 구조, 더 큰 전원 분배 네트워크가 필요합니다. HBM은 좁은 공간에서 수천 개의 연결을 안정적으로 만들어야 하므로 한 세대가 올라갈수록 메모리 업체만이 아니라 파운드리, OSAT, 패키징 소재 업체, 검사 장비 업체의 역할도 커집니다.

HBM4의 2,048비트 인터페이스는 GPU나 ASIC의 패키지 설계에도 직접적인 영향을 줍니다. 인터포저 위에 배치되는 HBM 스택 수, 로직 다이와 HBM 사이의 거리, 배선층 수, 패키지 면적, 냉각 구조가 모두 달라질 수 있습니다. 인터포저가 커지면 비용과 수율 부담이 커지고, 패키지가 커지면 서버 보드와 냉각 솔루션도 영향을 받습니다. 따라서 HBM4를 채택한 AI 가속기는 메모리 칩만 바뀌는 것이 아니라 전체 모듈과 서버 설계가 함께 바뀌는 제품입니다.

HBM4 채널 구조: 32개 독립 채널과 pseudo-channel

JEDEC HBM4 표준 보도에서 중요한 또 하나의 변화는 채널 수입니다. HBM4는 HBM3의 16개에서 32개 독립 채널로 늘어난다고 설명되며, 각 채널은 두 개의 pseudo-channel을 갖는 구조로 언급됩니다. 쉽게 말하면 HBM4는 더 넓어진 2,048비트 인터페이스를 더 세분화된 채널 구조로 관리해 병렬성을 높입니다. 이때 pseudo-channel은 물리적 채널을 더 작은 접근 단위로 나누어 메모리 요청을 효율적으로 처리할 수 있게 해 주는 개념으로 이해할 수 있습니다.

AI 워크로드에서는 메모리 접근 패턴이 균일하지 않습니다. 학습 중에는 큰 텐서가 연속적으로 이동하기도 하지만, 추론에서는 요청별 길이와 배치 크기가 달라지고, MoE 모델에서는 활성화되는 전문가가 다를 수 있으며, 긴 컨텍스트에서는 cache 접근이 커집니다. 채널과 pseudo-channel 구조가 세분화되면 메모리 컨트롤러는 다양한 접근을 더 유연하게 스케줄링할 수 있습니다. 물론 실제 성능은 HBM 자체뿐 아니라 GPU·ASIC의 메모리 컨트롤러, 캐시 계층, 소프트웨어 최적화, 모델 구조에 따라 달라집니다.

여기서 주의해야 할 점은 표준 수치와 제품 수치, 그리고 서버 실효 성능이 다르다는 것입니다. JEDEC 표준은 상호운용성과 기본 범위를 정의합니다. 하지만 삼성전자, SK하이닉스, 마이크론 같은 업체는 표준을 만족하면서도 고객 요구에 맞춰 더 높은 핀 속도, 더 나은 전력효율, 특정 용량 구성을 제시할 수 있습니다. 예를 들어 삼성전자는 HBM4에서 11.7Gb/s의 일관된 동작과 최대 13Gb/s 가능성, 단일 스택 최대 3.3TB/s 대역폭을 언급했습니다. 이는 JEDEC의 8Gb/s 표준 수치와는 구분해서 읽어야 합니다.

베이스 다이: HBM4에서 더 중요해진 하단 로직

HBM4에서 베이스 다이는 매우 중요한 키워드입니다. HBM 스택은 단순히 DRAM 다이를 위로 쌓는 구조가 아닙니다. 스택 아래에는 베이스 다이가 있으며, 이 베이스 다이는 위쪽 DRAM 다이들과 아래쪽 로직 칩 또는 인터포저 사이를 연결합니다. HBM 세대가 올라가면서 인터페이스 폭, 채널 수, 전원 관리, 신호 품질 요구가 모두 커지기 때문에 베이스 다이의 설계 난도가 높아집니다.

삼성전자는 HBM4를 1c DRAM과 4nm 파운드리 로직·베이스 다이 기술 기반으로 설명합니다. 이는 메모리 회사가 파운드리 로직 공정과 결합해 HBM의 하단부를 더 정교하게 만들려는 방향을 보여 줍니다. SK하이닉스도 Computex Taipei 2025에서 HBM4를 소개하며 베이스 다이 성능 개선으로 HBM 스택과 로직 칩 간 연결성을 높이고 전력을 줄인다고 설명했습니다. 마이크론 역시 NVIDIA Vera Rubin용 HBM4와 36GB 12H 제품, 2.8TB/s 초과 대역폭, 약 20% 에너지효율 개선을 언급했습니다. 업체별 표현은 다르지만 공통점은 HBM4가 단순 DRAM 셀 경쟁을 넘어 베이스 다이와 패키징까지 포함한 시스템 경쟁이라는 점입니다.

베이스 다이가 중요해지면 커스텀 HBM 논의도 자연스럽게 커집니다. 고객별 AI ASIC이나 GPU는 메모리 인터페이스 요구, 전력 예산, 패키지 구조, 신호 규격, RAS 기능 요구가 다를 수 있습니다. 표준 HBM4가 먼저 확산된 뒤 HBM4E와 custom HBM이 주목받는 이유가 여기에 있습니다. TrendForce는 표준 HBM4 이후 HBM4E와 custom HBM이 주류로 부상할 것으로 전망하고, Google, Meta, NVIDIA 같은 고객을 위한 고객별 베이스 다이 논의를 언급했습니다. 다만 이는 업계 전망이며, 특정 서버 모델의 공식 출하와는 구분해야 합니다.

TSV, 인터포저, 12-high와 16-high 스택

HBM의 수직 적층은 TSV 없이는 성립하기 어렵습니다. TSV는 DRAM 다이를 위아래로 관통해 전기 신호가 수직으로 이동하도록 하는 통로입니다. 여러 다이를 정확히 정렬해 쌓고, 각 다이 사이를 연결하며, 하단 베이스 다이와 통신하도록 만드는 과정은 매우 높은 공정 정밀도를 요구합니다. 적층 수가 올라가면 TSV 정렬, 다이 박막화, 열팽창 차이, 뒤틀림, 접합 품질, 검사 난도가 함께 올라갑니다.

HBM4 표준은 4-high, 8-high, 12-high, 16-high 스택을 지원하는 것으로 설명됩니다. 12-high는 이미 HBM3E와 HBM4 초기 제품에서 중요한 구성으로 언급되고, 16-high는 더 높은 용량을 위해 필요한 방향입니다. JEDEC 보도는 24Gb 또는 32Gb 다이 밀도와 16-high 32Gb 구성에서 최대 64GB cube density를 언급합니다. 삼성전자는 HBM4 12단 제품을 24GB~36GB로, 16단 제품을 최대 48GB로 설명했습니다. 이처럼 표준상 가능한 최대 구성과 각 업체가 실제로 발표한 상용 제품 구성은 다를 수 있으므로 구분이 필요합니다.

적층 수가 늘면 용량은 증가하지만 열 문제도 커집니다. 위쪽 다이에서 발생한 열이 아래로 내려가거나 외부로 빠져나가는 경로가 제한되고, 고성능 AI 서버에서는 GPU 자체의 열도 매우 큽니다. 따라서 HBM4에서는 전력효율뿐 아니라 열저항과 방열 성능이 중요한 마케팅 포인트가 됩니다. 삼성전자는 HBM4에서 HBM3E 대비 40% 전력효율 개선, 10% 열저항 개선, 30% 방열 개선을 언급했습니다. Samsung GTC 2026 자료는 하이브리드 구리 본딩이 16단 이상 적층을 지원하면서 기존 열압착 본딩 대비 열저항을 20% 이상 줄일 수 있다고 설명했습니다. 이는 HBM4E와 이후 세대에서 본딩 기술이 차별화 포인트가 될 수 있음을 시사합니다.

인터포저도 병목입니다. HBM 스택을 더 많이 붙이고, 각 스택이 2,048비트 인터페이스를 사용하면 배선 수와 패키지 복잡도가 커집니다. 대형 AI 가속기는 로직 다이 자체도 거대하고, 때로는 여러 로직 칩렛을 포함합니다. 여기에 여러 개의 HBM 스택을 연결하려면 실리콘 인터포저 면적과 수율, 제조비용이 중요한 제약이 됩니다. 즉 HBM4 시대의 경쟁력은 DRAM 웨이퍼 공정뿐 아니라 고급 패키징 캐파와 인터포저 공급 안정성까지 포함합니다.

전력과 열: HBM4가 성능만큼 효율을 강조하는 이유

AI 데이터센터에서 전력은 가장 큰 제약 중 하나입니다. GPU 성능이 높아질수록 랙당 전력 밀도는 급격히 높아지고, 공랭만으로는 충분하지 않은 경우가 많아 액체냉각 도입이 확대됩니다. 메모리는 전체 전력에서 무시할 수 없는 비중을 차지합니다. HBM은 GDDR 대비 데이터 이동 거리가 짧고 넓은 버스를 사용하기 때문에 전력효율에 유리하지만, 스택당 대역폭과 용량이 커질수록 절대 전력과 열 관리 난도는 여전히 커집니다.

JEDEC HBM4 표준 보도는 VDDQ 0.7V, 0.75V, 0.8V, 0.9V 옵션과 VDDC 1.0V, 1.05V 옵션을 언급합니다. 다양한 전압 옵션은 고객과 플랫폼 설계자가 성능, 전력, 신호 여유, 제품 구성에 맞춰 선택할 수 있는 범위를 넓혀 줍니다. Rambus도 HBM4와 HBM4E에서 더 많은 채널, 전압 유연성, DRFM과 RAS 개선을 언급합니다. 데이터센터용 메모리에서는 단순 속도뿐 아니라 오류 관리와 신뢰성, 유지보수성이 중요하기 때문에 RAS 기능은 점점 더 중요해집니다.

삼성전자는 HBM4에서 저전력 TSV I/O, PDN 최적화, 전력효율, 열저항, 방열 개선을 강조합니다. SK하이닉스는 HBM4의 베이스 다이 성능 향상과 전력 감소를 언급했습니다. 마이크론은 HBM4에서 약 20% 에너지효율 개선을 제시했습니다. 업체별 기준과 비교 대상이 다르므로 숫자를 직접 비교할 때는 주의해야 하지만, 방향은 명확합니다. HBM4 경쟁은 TB/s 대역폭 경쟁인 동시에 와트당 대역폭 경쟁입니다.

전력과 열은 서버 사용자의 경제성에도 영향을 줍니다. AI 추론에서 cost per token을 낮추려면 같은 전력으로 더 많은 토큰을 처리하거나, 같은 성능을 더 적은 GPU와 전력으로 달성해야 합니다. NVIDIA는 Rubin 플랫폼이 agentic AI, reasoning, long context, MoE 학습과 추론에서 더 낮은 토큰 비용과 더 적은 GPU 필요성을 목표로 한다고 설명합니다. 이 목표를 달성하려면 연산 성능과 네트워크뿐 아니라 HBM4의 대역폭과 용량, 전력효율이 함께 맞아야 합니다.

HBM4 업체별 발표를 어떻게 읽어야 하나

HBM4 관련 숫자는 발표 주체와 기준에 따라 다릅니다. JEDEC 표준 보도는 최대 8Gb/s, 2,048비트, 스택당 최대 2TB/s라는 표준 범위를 제시합니다. Rambus는 같은 구조에서 2.048TB/s를 설명합니다. 반면 삼성전자는 상용 제품 발표에서 11.7Gb/s의 일관된 동작, 최대 13Gb/s 가능성, 단일 스택 최대 3.3TB/s, HBM3E 대비 2.7배 대역폭 등을 언급했습니다. 이는 표준보다 높은 제품 구현을 말하는 것으로 해석해야 합니다.

SK하이닉스는 Computex Taipei 2025에서 12-layer HBM4와 12-layer HBM3E를 선보였고, HBM4를 2TB/s급 업계 최고 속도 HBM으로 설명했습니다. 또한 2025년 3월 주요 고객에게 12-layer HBM4 샘플을 출하했고 2025년 하반기 양산 계획, 2026년 16-layer HBM4 로드맵을 제시했습니다. 삼성전자는 HBM4 양산과 상업 제품 출하를 발표했고, 12단 24GB~36GB와 16단 최대 48GB 구성을 언급했습니다. 마이크론은 NVIDIA Vera Rubin용 HBM4, 36GB 12H, 2.8TB/s 초과 대역폭, 약 20% 에너지효율 개선을 투자자 커뮤니케이션에서 언급했습니다.

이런 발표는 모두 중요하지만, 같은 표로 놓고 단순 순위를 매기기는 어렵습니다. 핀 속도, 스택당 대역폭, 용량, 전력효율, 열 특성, 고객 인증, 실제 양산 수율, 납기, 가격은 서로 다른 축입니다. AI 서버 고객은 가장 빠른 HBM만 찾지 않습니다. 특정 GPU 또는 ASIC 패키지와의 호환성, 장기 공급 가능성, 전력·열 조건, 수율과 불량률, 시스템 레벨 신뢰성까지 함께 봅니다. 따라서 HBM4 시장의 승자는 단일 스펙 1등이 아니라 고객 플랫폼에 맞는 제품을 제때 대량 공급할 수 있는 업체가 될 가능성이 큽니다.

HBM4E와 custom HBM: 표준 이후의 전장

HBM4E는 HBM4의 확장형으로 이해할 수 있습니다. HBM3E가 HBM3의 속도와 용량을 끌어올린 것처럼, HBM4E도 HBM4의 2,048비트 구조를 기반으로 더 높은 핀 속도와 대역폭, 고객 맞춤형 기능을 추구할 가능성이 큽니다. Rambus는 HBM4E를 16Gb/s와 2,048비트 인터페이스 기준 약 4.096TB/s per device로 설명합니다. Samsung GTC 2026 자료도 HBM4E가 16Gb/s per pin과 4.0TB/s 대역폭을 제공할 것이라고 설명했습니다. 삼성의 HBM4 출하 발표에서는 HBM4E 샘플링이 2026년 하반기에 예상되고, custom HBM 샘플은 2027년으로 언급됩니다.

HBM4E에서 특히 중요한 단어는 custom입니다. AI 가속기 시장은 범용 GPU만으로 움직이지 않습니다. 대형 클라우드 사업자는 자체 AI ASIC을 개발하거나, 특정 워크로드에 최적화된 가속기를 사용하려 합니다. Google, Meta, Amazon, Microsoft, OpenAI 등은 모두 AI 인프라 비용을 줄이기 위해 칩, 네트워크, 서버, 소프트웨어 스택을 함께 최적화하려는 동기를 갖고 있습니다. 이런 환경에서는 표준 HBM만으로 충분하지 않을 수 있습니다. 고객별 베이스 다이, 전원·신호 특성, 패키지 연결 방식, RAS 기능, 열 설계가 차별화될 수 있습니다.

TrendForce는 2026년 1월 보고에서 표준 HBM4 이후 HBM4E와 custom HBM이 주류가 될 것으로 전망했고, 삼성의 custom HBM4E 설계가 2026년 5~6월 전후를 목표로 한다는 업계 관측, SK하이닉스와 마이크론도 유사한 방향으로 움직인다는 전망, HBM4E 2027년 출시와 HBM5 2029년 전망을 언급했습니다. 다만 이러한 내용은 업계 리포트와 전망입니다. 실제 제품명, 고객별 채택 여부, 서버 출하 시점은 각 회사의 공식 발표가 있어야 확정할 수 있습니다.

HBM4E와 custom HBM은 메모리 업체의 사업 모델에도 변화를 줍니다. 범용 DRAM은 표준 제품을 다수 고객에게 판매하는 성격이 강하지만, custom HBM은 고객별 설계 참여와 장기 공급 계약, 초기 공동 검증, 고급 패키징 예약, 베이스 다이 설계 협업이 중요합니다. 이는 수익성을 높일 수 있지만 동시에 고객 집중도와 개발 리스크를 키웁니다. 특정 고객의 플랫폼 일정이 지연되면 메모리 업체의 양산 계획도 영향을 받을 수 있고, 반대로 고객 인증을 먼저 받은 업체는 높은 진입장벽을 확보할 수 있습니다.

확정된 HBM4 서버 플랫폼과 가능성이 큰 HBM4E 플랫폼군

HBM4가 어디에 쓰이는지에 대해서는 확정과 추정을 구분해야 합니다. 공식 자료 기준으로 확인되는 대표 플랫폼은 NVIDIA Vera Rubin 계열과 AMD Helios·MI400 계열입니다. NVIDIA는 Rubin 플랫폼에 Vera CPU, Rubin GPU, NVLink 6, ConnectX-9, BlueField-4, Spectrum-6를 포함한다고 설명하고, Rubin GPU가 HBM4를 사용한다고 밝히고 있습니다. Vera Rubin NVL72는 72개의 Rubin GPU와 36개의 Vera CPU를 결합하는 랙 규모 시스템이며, HGX Rubin NVL8은 8-GPU 서버 보드급 구성으로 설명됩니다. DGX SuperPOD는 Rubin 시스템을 더 큰 규모로 확장하는 형태입니다.

AMD도 공식적으로 MI400과 Helios를 제시했습니다. MI350은 288GB HBM3E와 최대 8TB/s 대역폭을 사용하는 세대로 설명되고, MI400은 2026년을 목표로 최대 432GB HBM4와 19.6TB/s 메모리 대역폭, FP4·FP8 성능, scale-out 대역폭을 제시합니다. AMD Helios 페이지는 72개의 MI455X GPU를 통합하고, 랙 기준 31TB HBM4, GPU당 19.6TB/s 대역폭, 260TB/s scale-up, 43TB/s scale-out을 설명합니다. 이는 HBM4가 단일 가속기 부품을 넘어 랙 단위 AI 시스템의 핵심 설계 변수임을 보여 줍니다.

HBM4E 플랫폼은 아직 훨씬 더 조심스럽게 말해야 합니다. 삼성과 Rambus 자료는 HBM4E의 16Gb/s, 4TB/s급 대역폭 가능성을 설명하지만, 구체적인 서버 모델이 HBM4E를 사용한다고 공식 확정된 사례는 제한적입니다. 업계 전망상 HBM4E는 2027년 전후 차세대 GPU 리프레시, 고객 맞춤형 AI ASIC, 대형 CSP의 자체 가속기, 더 긴 컨텍스트와 더 큰 메모리 용량을 요구하는 추론 플랫폼에서 채택될 가능성이 큽니다. 그러나 특정 이름을 붙여 확정적으로 말하는 것은 아직 이릅니다.

플랫폼·서버군	HBM 세대	확정 수준	공식·공개된 핵심 내용	해석과 주의점
NVIDIA Vera Rubin NVL72	HBM4	공식 확인	Rubin GPU는 HBM4 사용. NVL72는 72 Rubin GPU와 36 Vera CPU 구성으로 설명	agentic AI, reasoning, long context, MoE 학습·추론을 겨냥한 랙 규모 플랫폼. 실제 메모리 용량과 구성은 제품별 발표 확인 필요
NVIDIA HGX Rubin NVL8	HBM4	공식 확인	8-GPU 서버 보드급 Rubin 플랫폼으로 언급. Rubin GPU가 HBM4 사용	OEM 서버에서 다양한 섀시와 냉각 구성이 나올 수 있으나 세부 시스템 스펙은 제조사별로 달라질 수 있음
NVIDIA DGX Rubin·DGX SuperPOD 계열	HBM4	공식 플랫폼 흐름 확인	Rubin 시스템을 DGX와 SuperPOD 규모로 확장하는 생태계가 제시됨	Microsoft, CoreWeave, AWS, Google, Meta, OpenAI, OCI, Dell, HPE, Lenovo, Supermicro 등 생태계 채택사가 언급되지만 개별 구매량과 구성은 별도 확인 필요
AMD MI400 계열	HBM4	공식 확인	2026년 MI400은 최대 432GB HBM4와 19.6TB/s 메모리 대역폭으로 설명	MI350의 HBM3E에서 HBM4로 넘어가는 AMD 데이터센터 GPU 로드맵의 핵심 전환점
AMD Helios with MI455X	HBM4	공식 확인	72 MI455X GPU, 랙 기준 31TB HBM4, GPU당 19.6TB/s, 260TB/s scale-up, 43TB/s scale-out으로 설명	랙 단위 설계에서 HBM4 용량과 대역폭이 모델 크기, 컨텍스트 길이, multi-agent 워크플로 지원에 직접 연결됨
대형 CSP의 자체 AI ASIC 서버	HBM4E 또는 custom HBM	가능성 높음, 모델별 미확정	TrendForce는 Google, Meta, NVIDIA 등을 위한 고객별 베이스 다이와 custom HBM4E 흐름을 언급	업계 전망이지 특정 서버 모델의 공식 출하는 아님. 2027년 전후 플랫폼군으로 보는 것이 안전
차세대 GPU·ASIC 리프레시 플랫폼	HBM4E	가능성, 세부 미확정	Rambus와 삼성 자료는 HBM4E 16Gb/s, 약 4TB/s급 대역폭을 설명	HBM4E가 성숙하면 더 높은 토큰 처리량과 메모리 집약 워크로드에 쓰일 수 있으나 실제 채택은 고객 인증과 양산 일정에 달림

서버 사용 시나리오: 학습, 추론, 장문 컨텍스트, MoE

HBM4가 가장 먼저 체감될 분야는 초대형 모델 학습입니다. 모델 파라미터 수가 커지고 학습 데이터가 늘어나면 가속기 간 통신도 중요하지만, 각 가속기 내부에서 텐서를 읽고 쓰는 메모리 대역폭도 중요합니다. HBM4의 더 넓은 인터페이스와 높은 스택당 대역폭은 GPU 코어가 데이터를 기다리는 시간을 줄이는 데 기여할 수 있습니다. 물론 실제 학습 성능은 연산 성능, 네트워크, 소프트웨어 병렬화 전략, 데이터 파이프라인까지 함께 좌우합니다.

추론에서는 HBM 용량이 특히 중요해집니다. 대형 모델을 서비스할 때 모든 가중치와 cache가 메모리에 들어가지 않으면 배치 크기와 동시 처리량이 제한됩니다. 긴 컨텍스트 추론에서는 KV cache가 커지고, 사용자 수가 많아질수록 메모리 요구가 늘어납니다. HBM4와 HBM4E의 용량 확대, 12단·16단 스택, 더 높은 대역폭은 긴 컨텍스트와 고동시성 추론에서 cost per token을 낮추는 데 도움이 될 수 있습니다.

MoE 모델도 HBM에 민감합니다. MoE는 전체 모델 파라미터가 매우 크지만 추론 시 일부 전문가만 활성화되는 구조입니다. 이론적으로는 연산량을 줄일 수 있지만, 필요한 전문가 파라미터를 빠르게 가져오고 여러 요청을 효율적으로 배치하려면 메모리 용량과 대역폭이 중요합니다. NVIDIA가 Rubin 플랫폼의 목표 워크로드로 MoE 학습과 추론을 언급하는 것도 이러한 흐름과 맞닿아 있습니다.

에이전트형 AI와 multi-agent 워크플로도 HBM 수요를 키웁니다. 단일 질문에 짧게 답하는 구조에서 벗어나, 여러 단계의 추론, 도구 호출, 검색, 코드 실행, 장기 메모리 접근이 결합되면 요청당 처리 시간이 길어지고 중간 상태 데이터가 많아집니다. AMD Helios가 더 큰 모델, 더 긴 컨텍스트 창, multi-agent 워크플로를 겨냥한다고 설명하는 것도 같은 배경입니다. 이런 워크로드에서는 단순 peak FLOPS보다 안정적인 메모리 공급과 랙 단위 확장성이 중요합니다.

투자와 산업 측면의 함의

HBM4 전환은 메모리 업체에 큰 기회입니다. 범용 DRAM 가격이 경기 사이클에 민감한 반면, HBM은 AI 서버 수요와 장기 공급 계약, 고객 인증에 의해 상대적으로 높은 부가가치를 얻을 수 있습니다. 그러나 기회만 있는 것은 아닙니다. HBM 생산에는 TSV, 적층, 고급 패키징, 검사, 소재, 고객별 검증이 필요합니다. 수율이 낮거나 고객 인증이 지연되면 비용 부담이 커질 수 있습니다. 또한 특정 대형 고객에 대한 의존도가 높아지면 협상력과 일정 리스크가 함께 생깁니다.

파운드리와 패키징 업체에도 영향이 큽니다. HBM4는 베이스 다이와 인터포저, 고급 패키징의 중요성을 키웁니다. 삼성처럼 메모리, 파운드리, 패키징을 모두 보유한 회사는 수직통합 장점을 강조할 수 있습니다. SK하이닉스와 마이크론도 각각 고객 협력과 패키징 기술, 소재·장비 생태계를 통해 경쟁합니다. AI 가속기 업체 입장에서는 HBM 공급 안정성이 제품 출시 일정의 핵심 리스크가 됩니다.

클라우드 사업자는 HBM4를 단순한 성능 개선으로 보지 않습니다. 랙당 전력, 냉각 비용, 토큰당 비용, 모델 서빙 효율, 데이터센터 건설 속도와 함께 평가합니다. HBM4 서버가 더 비싸더라도 같은 작업을 더 적은 랙과 전력으로 처리할 수 있다면 경제성이 생깁니다. 반대로 소프트웨어가 HBM4의 대역폭을 충분히 활용하지 못하거나, 네트워크와 스토리지, CPU 병목이 남아 있다면 기대만큼 효율이 나오지 않을 수 있습니다.

투자자 관점에서는 HBM4와 HBM4E가 메모리 업체의 수익성을 개선할 수 있는 구조적 성장 동력인지, 아니면 특정 AI 투자 사이클에 과도하게 의존하는 고변동 사업인지 구분해야 합니다. AI 서버 수요가 강할 때 HBM은 높은 마진과 선주문 효과를 줄 수 있습니다. 하지만 공급이 급격히 늘거나 주요 고객의 투자 속도가 조절되면 가격과 가동률이 흔들릴 수 있습니다. 또한 HBM4E와 custom HBM은 개발비와 고객별 리스크가 커서 성공 업체와 후발 업체 간 격차를 확대할 가능성이 있습니다.

주의할 점: 스펙 숫자만으로 판단하면 안 되는 이유

첫째, 표준 수치와 업체 발표 수치를 구분해야 합니다. JEDEC HBM4 표준은 8Gb/s와 2TB/s급 범위를 제시하지만, 삼성은 최대 13Gb/s와 3.3TB/s를 언급하고, 마이크론은 2.8TB/s 초과를 언급합니다. 이는 서로 틀린 것이 아니라 기준과 제품 구현이 다를 수 있다는 뜻입니다. 표준은 최소한의 공통 언어이고, 업체 제품은 고객 요구와 공정 능력에 따라 더 높은 성능을 낼 수 있습니다.

둘째, 스택당 대역폭이 곧 서버 성능은 아닙니다. 가속기 한 개에 몇 개의 HBM 스택이 붙는지, 각 스택 용량이 얼마인지, 메모리 컨트롤러가 어떻게 설계됐는지, 캐시와 소프트웨어가 메모리 접근을 얼마나 효율적으로 만드는지에 따라 실효 성능은 달라집니다. 또한 랙 단위에서는 GPU 간 통신, CPU와 NIC, 스토리지, 전력 공급, 냉각이 함께 병목이 될 수 있습니다.

셋째, 16-high 스택은 용량을 높이지만 난도도 높입니다. 더 많은 다이를 쌓으면 용량은 증가하지만 패키지 높이, 열저항, 접합 품질, 수율 문제가 커질 수 있습니다. 하이브리드 구리 본딩 같은 기술이 주목받는 이유는 16단 이상 적층에서 열과 접합 문제를 완화할 수 있기 때문입니다. 그러나 새로운 본딩 기술 역시 양산 안정성, 장비 투자, 고객 검증 시간이 필요합니다.

넷째, HBM4E와 custom HBM은 아직 불확실성이 큽니다. 16Gb/s와 4TB/s급 수치는 매우 매력적이지만, 어느 고객의 어떤 서버가 언제 대량 출하될지는 별도 문제입니다. TrendForce의 2027년 HBM4E와 2029년 HBM5 전망은 산업 방향을 이해하는 데 유용하지만, 공식 제품 발표와 동일한 확정 사실은 아닙니다. 따라서 HBM4E 관련 투자 판단에서는 공급 계약, 고객 인증, 실제 샘플링, 양산 공시를 함께 확인해야 합니다.

결론: HBM4는 AI 서버 설계의 중심으로 이동한다

HBM의 역사는 GPU와 HPC의 메모리 병목을 해결하려는 시도에서 시작해, AI 데이터센터의 핵심 인프라 부품으로 성장한 과정입니다. HBM1은 구조의 가능성을 보여 줬고, HBM2와 HBM2E는 적용 범위를 넓혔으며, HBM3와 HBM3E는 대규모 AI 가속기의 필수 메모리로 자리 잡았습니다. 이제 HBM4는 인터페이스 폭을 2,048비트로 넓히고, 32개 독립 채널과 pseudo-channel 구조, 개선된 베이스 다이, 12단·16단 적층, 전력·열 최적화를 통해 다음 단계의 AI 서버를 뒷받침하려 합니다.

NVIDIA Vera Rubin과 AMD Helios·MI400 계열은 HBM4가 실제 차세대 플랫폼의 중심에 들어가고 있음을 보여 줍니다. 이 플랫폼들은 단순히 더 빠른 GPU가 아니라 더 큰 메모리, 더 높은 메모리 대역폭, 더 빠른 scale-up·scale-out 네트워크, 더 높은 랙 전력과 냉각 설계를 결합한 AI 시스템입니다. HBM4는 이런 시스템에서 연산기를 먹여 살리는 데이터 공급망의 핵심입니다.

HBM4E와 custom HBM은 그 다음 단계입니다. 16Gb/s와 4TB/s급 대역폭, 고객별 베이스 다이, 차세대 본딩 기술, 맞춤형 RAS와 전력 설계는 AI 가속기 경쟁을 더 세분화할 것입니다. 다만 HBM4E는 아직 특정 서버 모델 확정이 제한적인 영역이므로, 공식 발표와 업계 전망을 구분해 읽어야 합니다. 확실한 것은 HBM이 더 이상 보조 부품이 아니라 AI 반도체 생태계의 전략적 병목이자 차별화 요소가 됐다는 사실입니다.

Sources

1. 기존 Finconsult 글: HBM의 역사와 HBM3E가 가져올 변화, Korean post ID 1236.

2. Electronics Weekly, JEDEC JESD270-4 기반 HBM4 표준 보도: 2,048비트 인터페이스, 최대 8Gb/s, 32개 독립 채널, pseudo-channel, 전압 옵션, 4-high·8-high·12-high·16-high 구성.

3. Rambus HBM explainer, updated March 2026: HBM의 2.5D·3D 구조, TSV, 실리콘 인터포저, HBM3E·HBM4·HBM4E 대역폭 설명.

4. SK hynix Newsroom Computex Taipei 2025: 12-layer HBM4와 12-layer HBM3E, HBM4 샘플 출하, 2025년 하반기 양산 계획, 2026년 16-layer 로드맵.

5. Samsung Semiconductor HBM4 page and HBM4 shipment announcement: 2,048 I/O pins, 1c DRAM, 4nm logic/base die, 최대 13Gb/s, 최대 3.3TB/s, 전력효율·열저항·방열 개선, HBM4E 샘플링 전망.

6. Samsung GTC 2026: NVIDIA Vera Rubin용 HBM4, HBM4E 16Gb/s per pin과 4.0TB/s 대역폭, hybrid copper bonding 설명.

7. Micron official investor snippets: NVIDIA Vera Rubin용 HBM4, 36GB 12H, 2.8TB/s 초과 대역폭, 약 20% 에너지효율 개선.

8. NVIDIA official Rubin platform materials: Vera CPU, Rubin GPU, NVLink 6, ConnectX-9, BlueField-4, Spectrum-6, Vera Rubin NVL72, HGX Rubin NVL8, DGX SuperPOD, HBM4 사용.

9. AMD official MI400 and Helios materials: MI350 HBM3E, MI400 HBM4, Helios with MI455X, 31TB HBM4 rack, GPU당 19.6TB/s, scale-up·scale-out 대역폭.

10. TrendForce Jan 2026: HBM4E와 custom HBM의 post-HBM4 주류화 전망, 고객별 베이스 다이, HBM4E 2027년과 HBM5 2029년 전망.

Language versions:
한국어 원문 |
English version

Post Views: 1,309