트랜스포머에서 생각하는 기계까지: 현대 인공지능(AI)을 만든 세 가지 돌파구

요약(Summary)

• 트랜스포머는 순차 처리의 한계를 어텐션(attention) 기반 병렬 학습으로 바꾸며 현대 인공지능(AI)의 확장성을 만들었습니다.
• 전문가 혼합(Mixture of Experts)은 모든 파라미터를 매번 쓰지 않고 관련 전문가 네트워크만 선택해 초대형 모델을 더 경제적으로 실행하게 했습니다.
• 추론 모델(Reasoning model)은 더 많은 연산을 추론 단계로 옮기며 그래픽처리장치(GPU), 고대역폭 메모리(HBM), 메모리 대역폭, 네트워킹, 데이터센터 인프라 수요를 키우고 있습니다.

광고(Advertisement)

인공지능을 하나의 학교라고 상상해 보겠습니다. 트랜스포머는 교실 구조를 다시 설계해 모든 학생이 다른 학생이 말하는 내용을 즉시 살펴볼 수 있게 했습니다. 전문가 혼합(Mixture of Experts)는 그 교실을 여러 전문 학과가 있는 대학으로 확장하되, 각 질문을 가장 관련 있는 전문가에게만 보냈습니다. 마지막으로 추론 모델(reasoning model)은 학생에게 추가 시험 시간, 연습장, 계산기, 제출 전 답안을 검토할 기회를 준 것과 같습니다.

이 세 가지 발전은 현대 인공지능(AI)의 많은 부분을 설명합니다. 또한 개별 알고리즘이 더 효율적으로 변하고 있는데도 산업 전체가 왜 계속 더 많은 컴퓨팅 파워를 요구하는지 보여줍니다. 트랜스포머는 인공지능(AI)을 확장 가능하게 만들었습니다. 보통 MoE라고 부르는 전문가 혼합(Mixture of Experts)은 초대형 모델을 더 경제적으로 실행하게 했습니다. 추론 모델(Reasoning model)은 질문이 들어온 순간 지능을 어느 정도 더 확장할 수 있게 만들었습니다. 각각의 돌파구는 큰 병목을 해결했지만, 동시에 압력을 하드웨어 시스템의 다른 부분으로 옮겼습니다.

• 1. 트랜스포머(Transformer)순수한 순차 처리 대신 어텐션(attention)을 사용해 언어 모델을 거대한 규모로 효율적으로 학습하게 만들었습니다.
• 2. 전문가 혼합(Mixture of Experts)모든 토큰에 모든 파라미터를 쓰지 않고도 모델이 훨씬 더 많은 파라미터를 가질 수 있게 했습니다.
• 3. 추론 모델(Reasoning Models)추론 단계에서 더 많은 연산을 사용해 어려운 문제 해결 능력을 개선했습니다.

1. 트랜스포머 이전: 좁은 터널을 통과하며 읽던 인공지능(AI)

2017년 이전의 주요 언어 시스템은 순환 신경망(recurrent neural network), 즉 RNN과 그 개선형인 장단기 메모리 네트워크(long short-term memory network), LSTM에 많이 의존했습니다. 이 모델들은 텍스트를 순서대로 처리했습니다. 첫 단어를 읽고 내부 상태를 업데이트한 뒤, 두 번째 단어를 읽고 다시 상태를 업데이트하고, 문장이 끝날 때까지 계속 진행했습니다.

이는 인간도 문장을 왼쪽에서 오른쪽으로 읽기 때문에 자연스럽게 들립니다. 그러나 컴퓨터에게는 두 가지 문제가 있었습니다. 첫째, 학습을 병렬화하기 어려웠습니다. 100번째 단계가 99번째 단계에 의존한다면 컴퓨터는 모든 단계를 동시에 계산하기 어렵습니다. 둘째, 문단 훨씬 앞부분의 정보가 많은 순차 업데이트를 지나며 희미해질 수 있었습니다.

RNN을 긴 소설을 좁은 터널 안에서 읽는 학생이라고 생각해 볼 수 있습니다. 학생은 노트를 들고 있을 수 있지만, 새로운 문단이 들어올 때마다 오래된 세부 정보는 점점 뒤로 밀립니다. 트랜스포머는 그 터널을 하나의 방으로 넓혀 모든 단어가 관련 있는 다른 단어를 직접 살펴볼 수 있게 했습니다.

2. 트랜스포머: 인공지능(AI)을 바꾼 아키텍처

2017년 Google 연구자들은 어텐션(Attention) Is All You Need라는 매우 자신감 있는 제목의 논문을 발표했습니다. 이 논문은 순환 구조(recurrence)나 합성곱(convolution)보다 어텐션(attention) 메커니즘(mechanism)을 중심으로 설계된 트랜스포머 아키텍처를 제안했습니다. 처음의 과제는 범용 챗봇이 아니라 기계번역이었습니다. 그러나 이 설계는 오늘날 주요 언어 모델 대부분의 기초가 되었습니다. 핵심 공헌은 어텐션(attention) 자체가 처음이었다는 점이 아니라, 모델을 어텐션(attention) 중심으로 구성하고 병렬로 매우 효율적으로 학습할 수 있다는 점이었습니다.

어텐션(Attention)이란 무엇인가?

예를 들어 “The robot placed the glass on the table because it was stable.”이라는 문장을 보겠습니다. 여기서 “it”은 glass를 가리킬까요, table을 가리킬까요? 모델은 여러 단어 사이의 관계를 살펴봐야 합니다. 자기 어텐션(Self-attention)은 각 토큰(token)이 시퀀스(sequence) 안의 다른 토큰(token)에 서로 다른 중요도를 부여하게 합니다. Token은 텍스트의 작은 단위로, 단어, 단어의 일부, 문장부호일 수 있습니다.

모델은 각 토큰(token)을 숫자 표현으로 바꾸고, 그것을 이해하는 데 어떤 다른 토큰(token)이 중요한지 계산합니다. 서로 다른 어텐션(attention) head는 문법, 위치, 지시 관계, 문체, 의미 등 서로 다른 관계에 집중할 수 있습니다. 이 head들은 작은 인간 정신이 아니라, 유용한 패턴을 학습하는 수학적 채널입니다.

원래 트랜스포머는 입력 이해를 만드는 인코더(encoder)와 출력을 생성하는 디코더(decoder)로 구성됐습니다. 이후 모델군은 이 설계의 서로 다른 부분을 채택했습니다. 2018년에 나온 BERT는 양방향 문맥을 살펴보며 학습한 대표적 인코더(encoder) 중심 모델이었습니다. GPT 모델은 다음 토큰(token)을 예측하는 디코더 방식(decoder-style) 트랜스포머(Transformer)를 사용했습니다. T5는 인코더-디코더(encoder-decoder) 구조를 유지하면서 여러 언어 과제를 text-to-text 형식으로 바꿨습니다.

예측 기계에서 범용 모델로

트랜스포머만으로 현대 챗봇이 탄생한 것은 아닙니다. 대규모 사전학습(pretraining), 더 좋은 데이터셋, 더 많은 컴퓨팅 파워, 개선된 최적화, 지시문 조정(instruction tuning), human feedback 기법이 함께 발전해야 했습니다. 그래도 트랜스포머 아키텍처가 이러한 발전을 실용적으로 만들었습니다.

2020년에 소개된 GPT-3는 디코더 전용(decoder-only) 트랜스포머(Transformer)를 1,750억 파라미터 규모로 확장했을 때 어떤 일이 일어나는지 보여준 중요한 사례였습니다. Parameter는 모델 안에서 학습된 숫자값입니다. 파라미터가 사실을 깔끔한 백과사전처럼 저장하는 것은 아닙니다. 대신 전체적으로 입력을 예측으로 바꾸는 방식을 형성합니다. GPT-3는 강한 소수 예시 학습(few-shot) behavior를 보여줬습니다. 즉, 각 과제마다 별도 학습 절차를 거치지 않고도 프롬프트 안에 몇 가지 예시를 넣으면 과제를 추론해 수행할 수 있었습니다.

이 결과는 강력한 믿음을 만들었습니다. 모델, 데이터, 학습 컴퓨트가 계속 커지면 능력도 대체로 예측 가능한 방식으로 개선된다는 믿음입니다. Scaling law 연구는 성능, 모델 크기, 데이터, 컴퓨트 사이의 넓은 관계를 발견했습니다. 그 결과 산업은 더 큰 학습 클러스터를 만들고 더 많은 고품질 토큰(token)을 공급하는 경쟁에 들어갔습니다.

트랜스포머가 하드웨어를 바꾼 이유

트랜스포머는 행렬 곱셈(matrix multiplication), 즉 큰 숫자 격자를 곱하고 더하는 연산에 크게 의존합니다. 그래픽처리장치(GPU)는 많은 유사 계산을 병렬로 수행하도록 설계되었기 때문에 트랜스포머 학습의 자연스러운 엔진이 됐습니다. Google은 자체 Tensor Processing Unit을 개발했고, 다른 기업들도 맞춤형 AI 가속기(AI accelerator)를 만들었습니다. 그러나 순수한 산술 연산만이 전부는 아니었습니다.

레스토랑 비유: 연산(compute)는 셰프의 수와 속도입니다. Memory 용량(capacity)는 저장고의 크기입니다. Memory 대역폭(bandwidth)는 저장고와 주방 사이에서 재료를 옮기는 문 너비입니다. 식당이 셰프 수백 명을 고용해도 재료가 좁은 문 하나로만 들어온다면 셰프들은 기다릴 수밖에 없습니다.

학습 중에는 모델(model) 가중치(weight), 활성값(activation), 그래디언트(gradient), 최적화 도구(optimizer) state가 모두 메모리를 차지합니다. 추론 단계, 즉 학습된 모델이 사용자에게 답할 때도 시스템은 모델(model) 가중치(weight)와 저장된 맥락(context)를 가속기(accelerator) 안팎으로 계속 이동시켜야 합니다. 이 때문에 고대역폭 메모리(high-bandwidth memory), 즉 고대역폭 메모리(HBM)이 매우 중요해졌습니다. 고대역폭 메모리(HBM)은 여러 디램(DRAM) die를 프로세서(processor) 가까이에 쌓아 일반 메모리 채널보다 훨씬 높은 대역폭을 제공합니다.

하드웨어 영향은 그래픽처리장치(GPU)를 넘어 퍼졌습니다. 대형 모델은 가속기(accelerator) 사이의 빠른 interconnect, 프로세서(processor)와 고대역폭 메모리(HBM)을 가깝게 배치하는 첨단 패키징(advanced packaging), 서버 간 강력한 네트워킹(networking), 데이터셋과 체크포인트(checkpoint)를 저장할 대규모 스토리지(storage), 더 많은 전력과 냉각을 요구했습니다. 트랜스포머는 새로운 소프트웨어만 만든 것이 아닙니다. 데이터센터의 경제 구조를 재편했습니다.

3. 전문가 혼합(Mixture of Experts): 전문가들의 대학

Dense 트랜스포머(Transformer)를 확장하자 단순하지만 고통스러운 문제가 나타났습니다. Dense 모델(model)은 일반적으로 모든 토큰(token)에 대해 거의 모든 layer와 파라미터(parameter)를 사용합니다. 모델이 10배 커지면 토큰(token)당 필요한 연산도 크게 늘어날 수 있습니다. 그래서 연구자들은 전문가 혼합(Mixture of Experts)라는 오래된 아이디어를 다시 살펴봤습니다.

MoE의 뿌리는 수십 년 전으로 거슬러 올라갑니다. 1991년 “적응형(adaptive) 혼합 구조(mixtures) of 로컬(local) 전문가(experts)” 논문은 서로 다른 network가 전문화되고 게이팅(gating) 메커니즘(mechanism)이 각 example을 어떤 전문가(expert)가 처리할지 결정하는 시스템을 설명했습니다. 현대적 돌파구는 sparse 전문가(expert) selection을 거대한 트랜스포머(Transformer) 모델 안에 적용하고, 그 전문가(expert)들을 여러 가속기(accelerator)에 분산한 것이었습니다.

MoE는 어떻게 작동하는가

심장내과, 신경과, 영상의학과, 외과 등 여러 전문가가 있는 병원을 상상해 보겠습니다. 눈 문제를 가진 환자가 도착했을 때 병원 안의 모든 의사가 환자를 검사할 필요는 없습니다. 접수 담당자가 가장 관련 있는 전문가에게 환자를 보냅니다.

MoE 모델에서 전문가(specialist) neural network는 전문가(expert)라고 불립니다. Router 또는 게이팅(gating) network라고 부르는 작은 라우팅(routing) 시스템(system)이 각 토큰(token)을 살펴보고 제한된 수의 전문가(expert)를 선택합니다. 예를 들어 top-two 라우팅(routing) 설계에서는 모델 안에 전문가(expert)가 8개, 수십 개, 수백 개 있어도 각 토큰(token)은 두 전문가(expert)만 거칠 수 있습니다.

이를 sparse 활성값(activation)이라고 합니다. 모델은 매우 큰 총 파라미터 수를 가질 수 있지만, 각 토큰(token)에 실제로 활성화되는 것은 일부에 불과합니다. 중요한 점은 전문가(expert)가 항상 “생물학 전문가(expert)”나 “한국어 전문가(expert)”처럼 인간이 이해하기 쉬운 주제와 깔끔히 대응하지는 않는다는 것입니다. 어떤 전문가(expert)는 이름 붙이기 어렵지만 통계적으로 유용한 패턴을 배울 수 있습니다.

어떤 모델들이 MoE를 중요하게 만들었나

Google 연구자들과 다른 연구진은 MoE가 일반 소비자에게 유명해지기 훨씬 전부터 대형 sparse 모델(model)을 연구했습니다. 2020년에 발표된 GShard는 대형 computing 시스템(system) 전반에 자동 샤딩(sharding)을 통해 MoE를 확장할 수 있음을 보여줬습니다. 2021년에 발표된 Switch 트랜스포머(Transformer)는 각 토큰(token)을 하나의 전문가(expert)로 보내 라우팅(routing)을 단순화했습니다. 저자들은 안정성과 통신(communication) 비용(cost) 문제를 다루면서 최대 1조 파라미터 모델을 보고했습니다. Switch 트랜스포머(Transformer)가 MoE를 발명한 것은 아니지만, sparse 트랜스포머(Transformer)가 엄청난 규모에 도달할 수 있음을 보여준 landmark였습니다.

MoE는 2023년 말 Mistral 인공지능(AI)가 Mixtral 8x7B를 공개하면서 더 넓은 대중 논의에 들어왔습니다. Mistral은 이를 sparse 디코더 전용(decoder-only) MoE로 설명했고, 각 layer가 토큰(token)마다 8개 전문가(expert) group 중 2개를 선택한다고 밝혔습니다. Mixtral은 사용한 연산량 대비 강한 성능을 보여줬고, 공개적으로 사용할 수 있었기 때문에 개발자들이 직접 아키텍처(architecture)를 실험할 수 있었습니다.

이후 DeepSeek는 routed 전문가(expert), 공유된(shared) 전문가(expert), 정교한 부하 균형(load-balancing) 기법을 결합해 MoE 효율성을 더 밀어붙였습니다. 2024년 말 발표된 DeepSeek-V3는 총 6,710억 파라미터를 공개했지만 각 토큰(token)에 활성화되는 것은 약 370억 파라미터라고 밝혔습니다. 총 파라미터와 활성 파라미터의 이 차이가 MoE의 핵심 매력을 보여줍니다. 즉, 모든 step에서 거대한 dense 모델(model)의 전체 연산(compute) 비용(cost)를 내지 않고도 큰 용량(capacity)를 얻는 것입니다.

MoE가 만든 돌파구

MoE는 모델(model) size의 의미를 바꿨습니다. Dense 모델(model)에서는 total 파라미터(parameter)와 활성(active) 파라미터(parameter)가 비슷합니다. MoE 모델(model)에서는 둘이 크게 다를 수 있습니다. 이 덕분에 개발자는 토큰(token)당 필요한 산술 연산은 더 작은 모델에 가깝게 유지하면서 모델의 표현 용량(capacity)를 늘릴 수 있었습니다.

따라서 MoE는 scaling의 경제성을 개선했습니다. 오픈웨이트 모델이 더 큰 폐쇄형 시스템에 도전하도록 도왔고, 더 많은 경쟁을 만들었으며, 같은 크기의 dense 모델(model)이 요구했을 추론 비용보다 낮은 비용으로 강한 성능을 제공할 수 있게 했습니다.

하지만 MoE가 공짜 지능을 제공한 것은 아닙니다. Router는 인기 전문가(expert)를 과부하시킬 수 있습니다. 시스템은 토큰(token)이 효율적으로 분산되도록 load balancing이 필요합니다. Expert가 서로 다른 그래픽처리장치(GPU)에 있으면 데이터는 장치(device) 사이를 빠르게 이동해야 합니다. 이를 전문가(expert) 병렬성(parallelism)이라고 하며, 상당한 통신(communication) complexity를 만듭니다.

MoE는 연산(compute)를 아끼지만 여전히 메모리(memory)가 필요하다

이것이 MoE의 핵심 모순입니다. 모델은 토큰(token)당 몇 개 전문가(expert)만 활성화하므로 산술 연산은 줄어들 수 있습니다. 그러나 모든 전문가(expert)의 가중치(weight)는 어딘가에 저장되어야 합니다. 6,000억 파라미터 sparse 모델(model)은 그 순간 300억 파라미터만 활성화한다고 해서 300억 파라미터 모델의 메모리(memory) 설치 기반(footprint)로 마법처럼 줄어들지 않습니다.

회사가 프로젝트마다 세 명의 전문가만 부른다고 해도, 수백 명의 전문가를 고용하고 사무공간을 제공해야 합니다. 또 필요한 사람이 회의에 지체 없이 참여하려면 빠른 엘리베이터, 메시징 시스템, 이동 수단이 필요합니다.

하드웨어 관점에서 이는 MoE가 고대역폭 메모리(HBM) 용량(capacity), 메모리 대역폭(memory bandwidth), interconnect의 중요성을 강화한다는 뜻입니다. 더 큰 용량(capacity)는 각 가속기(accelerator)가 더 많은 전문가(expert) 가중치(weight)를 보유하게 합니다. 더 큰 대역폭(bandwidth)는 그 가중치(weight)를 빠르게 이동시킵니다. 더 빠른 link는 토큰(token)이 다른 그래픽처리장치(GPU)에 있는 전문가(expert)로 이동할 수 있게 합니다. 첨단 패키징(Advanced packaging), NVLink급 연결, Ethernet 또는 InfiniBand network, optical 부품(component), 시스템(system) 소프트웨어(software)가 모두 모델 성능의 일부가 됩니다.

MoE는 병목의 일부를 순수 연산(compute)에서 메모리(memory) placement와 통신(communication)으로 옮깁니다. Token당 계산 수를 줄일 수 있지만, 전체 시스템의 정교함과 때로는 비용을 높일 수 있습니다.

4. 추론 모델(Reasoning Models): 인공지능(AI)에게 문제를 풀 시간을 더 주다

다음 큰 발전은 모델 아키텍처(architecture)뿐 아니라 연산(computation)이 언제 쓰이는지도 바꿨습니다. 전통적 scaling은 학습에 크게 집중했습니다. 더 큰 모델을 만들고, 더 많은 데이터에 노출하고, 배포 전에 더 많은 연산(compute)를 투자하는 방식입니다. 추론 모델(Reasoning model)은 또 하나의 lever를 추가합니다. 사용자가 어려운 질문을 한 뒤에 더 많은 연산(computation)을 쓰는 것입니다.

이를 추론 시점 연산(inference-time compute) 또는 시험 시점 연산(test-time compute)라고 합니다. 추론(Inference)는 학습된 모델을 사용하는 과정입니다. 간단한 요청은 짧은 답으로 충분할 수 있습니다. 어려운 수학 증명, 프로그래밍 과제, 리서치 문제는 중간 단계 생성, 대안 시도, 결과 확인, 오류 수정에서 이익을 얻을 수 있습니다.

추론 모델(Reasoning model)로 이어진 연구 흐름

추론(Reasoning)은 한순간에 등장하지 않았습니다. 2022년 연구자들은 사고 과정 유도(chain-of-thought prompting)이 대형 언어 모델에게 중간 추론 단계를 생성하게 하여 성능을 높일 수 있음을 보여줬습니다. 또 다른 기법인 자기 일관성(self-consistency)는 여러 추론(reasoning) path를 샘플링(sampling)하고 가장 일관되게 지지되는 답을 선택했습니다. 도구 사용(Tool-using) 모델(model)은 계산기(calculator), code interpreter, search 시스템(system)을 호출하는 법을 배웠습니다. 과정 감독(Process-supervision) 연구는 최종 답만 평가하는 대신 올바른 중간 단계를 보상하는 방식을 탐구했습니다.

상업용 추론 모델(reasoning model)은 이러한 아이디어를 특화된 후속학습(post-training) 및 강화학습(reinforcement learning)과 결합했습니다. 2024년에 소개된 OpenAI o1은 어려운 질문에 답하기 전 추가 내부 연산(computation)을 할당하는 모델이라는 아이디어를 대중화했습니다. 모델 개발자들이 모든 아키텍처(architecture)와 학습(training) detail을 공개하지 않기 때문에 o1은 추론(reasoning) 자체의 발명이라기보다 추론(inference)-time 추론(reasoning)의 중요한 상업화로 보는 것이 더 정확합니다.

2025년에 공개된 DeepSeek-R1도 landmark였습니다. 기술 보고서가 대규모 강화학습(reinforcement learning)이 정교한 추론(reasoning) behavior를 만들 수 있음을 설명했기 때문입니다. DeepSeek-R1-Zero는 지도 미세조정(supervised fine-tuning)을 선행 단계로 쓰지 않고 강화학습(reinforcement learning)으로 학습됐지만, 가독성(readability)와 language mixing 문제가 있었습니다. DeepSeek-R1은 초기 데이터(cold-start data)와 강화학습(reinforcement learning)을 결합한 다단계 과정(multi-stage process)를 사용했습니다. 이 프로젝트는 distilled smaller 모델(model)도 공개해 추론(reasoning) 방법이 오픈 모델 커뮤니티(open-model community)로 확산되도록 했습니다.

추론(Reasoning)이 만든 돌파구

추론 모델(Reasoning model)은 능력을 학습 중에만 결정되는 것에서 사용 중에도 일부 조절 가능한 것으로 바꿨습니다. 같은 지식을 가진 두 학생을 생각해 보겠습니다. 한 명은 5초 안에 답해야 합니다. 다른 한 명은 30분, 연습장, 계산기, 답안 검토 기회를 받습니다. 두 번째 학생의 뇌가 물리적으로 더 커진 것은 아니지만 성과는 크게 좋아질 수 있습니다.

이 접근은 수학, 코딩, 답을 검증할 수 있는 과제에서 특히 강력했습니다. Verifiable reward를 이용한 강화학습(reinforcement learning)은 code가 test를 통과하는지, 숫자 답이 맞는지 확인할 수 있습니다. 모델은 여러 해법을 생성하고, verifier로 순위를 매기고, code를 실행하고, 실패를 수정할 수 있습니다.

긴 추론(reasoning)이 항상 좋은 것은 아닙니다. 모델은 같은 아이디어 주변을 맴돌거나, 잘못된 길을 자신 있게 따라가거나, 연산(computation)을 낭비할 수 있습니다. 일부 연구는 추가 thought가 오히려 성능을 해칠 수 있는 최적 지점(sweet spot)을 발견했습니다. 추론(Reasoning)은 지연시간(latency)도 늘립니다. 사용자는 더 오래 기다릴 수 있고, service 제공자(provider)는 더 많은 생성된(generated) 토큰(token)이나 모델(model) pass 비용을 지불할 수 있습니다.

추론(Reasoning)과 KV 캐시(KV cache)

하드웨어 영향을 이해하려면 한 가지 용어가 더 필요합니다. KV 캐시(KV cache)입니다. 트랜스포머(Transformer)에서 어텐션(attention)은 이전 토큰(token)에서 만들어진 key와 value 표현(representation)을 사용합니다. Generation 중 모델은 이 표현(representation)을 저장해 매번 전체 history를 다시 계산하지 않도록 합니다.

KV 캐시(KV cache)는 모델의 작업 노트입니다. 짧은 대화는 몇 페이지면 충분합니다. 긴 문서, 긴 추론(reasoning) trace, 반복된 도구(tool) 결과(result)는 두꺼운 노트를 채웁니다. 수천 명의 사용자에게 서비스를 제공한다는 것은 수천 권의 노트를 동시에 펼쳐 두는 것과 같습니다.

추론(Inference)에는 보통 두 단계가 있습니다. 프리필(Prefill)은 프롬프트(prompt)를 처리하며 병렬 computing을 효율적으로 사용할 수 있습니다. 디코드(Decode)는 새 토큰(token)을 하나씩 생성합니다. 디코드(Decode)는 각 토큰(token)을 만들 때 모델(model) 가중치(weight)와 KV 캐시(KV cache)를 반복적으로 읽기 때문에 메모리 대역폭(memory bandwidth)에 크게 의존하는 경우가 많습니다.

추론 모델(Reasoning model)은 요청당 훨씬 더 많은 토큰(token)을 생성하고, 더 긴 맥락(context)를 유지하며, 여러 candidate 해법(solution)을 평가하고, external 도구(tool)을 호출할 수 있습니다. 이는 가속기(accelerator)가 점유되는 시간을 늘립니다. 또한 고대역폭 메모리(HBM) 용량(capacity)의 가치를 높입니다. 더 큰 메모리(memory)는 더 많은 모델(model) 가중치(weight)와 KV 캐시(KV-cache) data를 담을 수 있고, 고대역폭 메모리(HBM) 대역폭(bandwidth)의 가치도 높입니다. 그 데이터가 빠르게 이동해야 하기 때문입니다.

하드웨어(Hardware) designer들은 더 많은 메모리(memory)와 더 빠른 link로 대응하고 있습니다. 예를 들어 NVIDIA H200은 141GB HBM3e와 초당 4.8TB 메모리 대역폭(memory bandwidth)를 제공합니다. Blackwell Ultra 시스템(system)은 더 큰 고대역폭 메모리(HBM) 용량(capacity)와 대역폭(bandwidth)로 이동했으며, 대형 모델, 긴 맥락(context), 높은 concurrency 추론(inference)를 명확히 목표로 합니다. 이러한 제품 변화는 인공지능(AI) 하드웨어(hardware)가 학습(training) 산술 연산(arithmetic) 중심에서 추론 시스템(reasoning system)을 효율적으로 서빙(serving)하는 방향으로 진화하고 있음을 보여줍니다.

5. 세 가지 돌파구는 어떻게 연결되는가

발전	해결한 핵심 문제	핵심 아이디어	대표적 채택	하드웨어 압력	새 병목
트랜스포머(Transformer)	순차 처리와 약한 병렬성	자기 어텐션(Self-attention)과 고도의 병렬 학습	2017 트랜스포머(Transformer), BERT, GPT series	그래픽처리장치(GPU), 고대역폭 메모리(HBM), 네트워킹(networking), 전력(power)	학습 연산(compute)와 메모리 이동(memory movement)
전문가 혼합(Mixture of Experts)	Dense 모델(model) 연산(compute)가 모델(model) size와 함께 증가	각 토큰(token)을 선택된 전문가(expert)로 라우팅(routing)	GShard, Switch 트랜스포머(Transformer), Mixtral, DeepSeek	고대역폭 메모리(HBM) 용량(capacity), 전문가(expert) 통신(communication), interconnect	Routing, 부하 균형(load balance), 시스템(system) complexity
추론 모델(Reasoning models)	즉시 답변이 어려운 다단계 과제에서 약함	추론(Inference) 중 더 많은 연산(compute) 사용	사고 과정(Chain-of-thought) 연구, o1, DeepSeek-R1	추론(Inference) 그래픽처리장치(GPU), KV 캐시(KV cache), 고대역폭 메모리(HBM) 대역폭(bandwidth), 전력(power)	Latency, 비용(cost), 장기 세션 메모리 수요(long-session memory demand)

세 발전은 서로 경쟁하는 대안이 아닙니다. 대부분의 MoE language 모델(model)은 여전히 트랜스포머(Transformer)입니다. 추론 모델(Reasoning model)도 MoE 모델(model)일 수 있습니다. 따라서 이 흐름은 누적적입니다.

트랜스포머는 관계를 학습하는 scalable engine을 만들었습니다. MoE는 그 engine을 조건부 연산(conditional computation)으로 확장했습니다. 추론 모델(Reasoning model)은 문제가 추가 노력을 정당화할 때 그 engine을 더 오래, 때로는 여러 경로로 실행했습니다.

인공지능(AI) 발전은 종종 풍선을 누르는 것과 비슷합니다. 한쪽 압력을 줄이면 다른 쪽이 부풀어 오릅니다. 병렬 학습은 순차 연산(computation)의 한계를 줄였지만 거대한 가속기(accelerator) 클러스터(cluster) 수요를 만들었습니다. MoE는 활성(active) 토큰(token)당 산술 연산을 줄였지만 메모리(memory) placement와 통신(communication)의 중요성을 키웠습니다. 추론(Reasoning)은 어려운 과제의 성능을 높였지만 추론(inference) duration, KV 캐시(KV-cache) use, 지연시간(latency)를 늘렸습니다.

6. 그래픽처리장치(GPU), 고대역폭 메모리(HBM), 메모리 반도체에 주는 의미

그래픽처리장치(GPU)와 AI 가속기(AI accelerator)

트랜스포머는 병렬 행렬 곱셈(matrix multiplication)을 핵심 작업부하(workload)로 만들었습니다. MoE는 전문가(expert) 사이의 라우팅(routing)과 통신(communication)을 추가했습니다. 추론(Reasoning)은 추론(inference) step의 수와 지속 시간을 늘렸습니다. 이 세 흐름은 더 빠른 칩(chip)뿐 아니라 연산(compute), 메모리(memory), 네트워킹(networking)을 결합한 완성형 시스템(complete system) 수요를 뒷받침합니다.

학습(Training)은 여전히 매우 demanding하지만, 추론(inference)는 훨씬 더 큰 전략 시장이 되고 있습니다. 학습 실행(Training run)은 언젠가 끝나는 거대한 프로젝트(project)입니다. 추론(Inference)는 고객이 질문할 때마다, 직원이 코딩 에이전트(coding agent)를 사용할 때마다, 회사가 자동화 업무흐름(automated workflow)를 실행할 때마다 계속됩니다.

고대역폭 메모리(HBM): 프로세서(processor) 옆의 빠른 작업 메모리

고대역폭 메모리(HBM)은 가속기(accelerator)가 엄청난 양의 데이터를 빠르게 공급받아야 하기 때문에 특히 중요합니다. 트랜스포머 학습(Transformer training)은 가중치(weight), 활성값(activation), 최적화 상태(optimization state)를 위한 대역폭(bandwidth)가 필요합니다. MoE는 전문가(expert) 가중치(weight)를 위한 용량(capacity)와 선택된 전문가(expert)에 접근할 대역폭(bandwidth)가 필요합니다. 추론(Reasoning)은 긴 맥락(context)와 KV 캐시(KV cache)를 위한 용량(capacity), 그리고 순차적(sequential) 토큰 생성(token generation) 중 대역폭(bandwidth)를 필요로 합니다.

더 많은 고대역폭 메모리(HBM)이 자동으로 더 좋은 인공지능(AI)을 만든다는 뜻은 아닙니다. 소프트웨어(Software) 효율성(efficiency), 모델(model) 설계(design), 네트워킹(networking), 프로세서 활용률(processor utilization)은 여전히 중요합니다. 그러나 고대역폭 메모리(HBM) 용량(capacity)가 부족하면 모델을 효율적으로 올릴 수 없고, 대역폭(bandwidth)가 부족하면 비싼 연산 장치(compute unit)이 데이터를 기다리게 됩니다.

Conventional 디램(DRAM)과 낸드(NAND)

일반 서버 DRAM(server DRAM)도 중요합니다. 이는 CPU, 데이터베이스(database), retrieval 시스템(system), user session, 가속기(accelerator) 밖의 데이터 준비(data staging)을 지원합니다. 에이전트형 AI(Agentic AI)는 기업 문서를 검색하고, 데이터베이스(database)를 질의(query)하고, 여러 application을 조율할 수 있기 때문에 그래픽처리장치(GPU) package 내부뿐 아니라 전체 서버(server)에 메모리 수요(memory demand)를 만듭니다.

낸드(NAND) flash는 디램(DRAM)보다 느리지만 비트(bit)당 훨씬 저렴합니다. 학습(Training) 데이터셋(dataset), 모델 체크포인트(model checkpoint), 벡터 데이터베이스(vector database), image, video, 로그(log), 에이전트(agent) history를 저장합니다. 멀티모달 AI(Multimodal AI)는 video와 audio가 text보다 훨씬 큰 공간을 차지하기 때문에 스토리지 요구량(storage requirement)를 확대합니다. 다만 낸드(NAND)의 수혜는 간접적이며 작업부하(workload)에 따라 크게 달라질 수 있습니다.

네트워킹(Networking)과 패키징(packaging)

하나의 모델(model)이 여러 가속기(accelerator)에 걸쳐 있을 때 네트워킹(networking)은 컴퓨터(computer)의 일부가 됩니다. MoE는 토큰(token)이 다른 장치(device)에 있는 전문가(expert)로 라우팅(routing)될 수 있기 때문에 이 의존성을 강화할 수 있습니다. 추론(Reasoning)과 에이전트형 시스템(agentic system)도 여러 모델(model)과 도구(tool)을 조율할 수 있습니다. 고속 구리 링크(High-speed copper link), 광 인터커넥트(optical interconnect), 스위치(switch), 네트워크 소프트웨어(network software)가 필수 요소가 됩니다.

첨단 패키징(Advanced packaging)도 똑같이 중요합니다. 고대역폭 메모리(HBM) stack은 복잡한 패키징 기술(packaging technology)를 통해 가속기(accelerator) 가까이에 배치되어야 합니다. Compute die와 메모리 스택(memory stack)이 커질수록 제조 수율(manufacturing yield), 열 제거(heat removal), 패키지 설계(package design)이 제한 요인이 될 수 있습니다.

반동 효과(Rebound effect)

효율성은 총 하드웨어 수요(hardware demand) 감소를 보장하지 않습니다. MoE나 quantization이 인공지능(AI) 질의(query) 비용을 절반으로 낮춘다고 가정해 보겠습니다. 기업은 그 인공지능(AI)을 열 배 더 많은 과제에 배포할 수 있습니다. 더 빠르고 저렴한 모델은 코딩 에이전트(coding agent), 고객 서비스(customer-service) 시스템(system), 과학 보조 도구(scientific assistant), 개인화 교육(personalized education)을 가능하게 합니다. 이는 제번스식 반동 효과(Jevons-style rebound effect)와 비슷합니다. 단위 비용이 낮아지면 사용량이 크게 늘어 총소비가 오히려 증가할 수 있습니다.

7. 데이터센터 안의 학생 과학 프로젝트

고등학생이 인공지능(AI) 시스템(system)에 이렇게 묻는다고 상상해 보겠습니다. “빛의 색깔이 식물 성장에 어떤 영향을 주는지 실험을 설계해줘. 내 스프레드시트(spreadsheet)를 분석하고, 실수를 찾아주고, 5분 발표 자료도 만들어줘.”

트랜스포머는 먼저 요청의 여러 부분을 연결합니다. “내 스프레드시트(spreadsheet)”가 제공된 data를 뜻한다는 것, 실험이 변수를 통제해야 한다는 것, 최종 출력이 5분에 맞아야 한다는 것을 인식합니다. 식물 사진이 포함되어 있다면 멀티모달 트랜스포머(multimodal Transformer)는 시각 토큰(visual token)을 text와 함께 처리할 수 있습니다.

시스템이 MoE를 사용한다면 라우터(router)는 서로 다른 토큰(token)에 대해 전문가 네트워크(expert network)를 선택합니다. 데이터 분석 패턴(Data-analysis pattern)은 한 전문가(expert) 집합을, 과학 글쓰기(scientific writing)은 다른 전문가(expert)를, 발표 구조(presentation structure)는 또 다른 전문가(expert)를 활성화할 수 있습니다. Expert가 실제로 그렇게 깔끔하게 이름 붙어 있는 것은 아니지만, 희소 라우팅(sparse routing)은 모든 파라미터를 활성화하지 않고도 큰 파라미터(parameter) pool을 활용하게 합니다.

추론 시스템(Reasoning system)은 그 다음 작업을 계획합니다. 표본 크기가 충분한지 확인하고, 스프레드시트(spreadsheet)의 missing value를 검사하고, 평균을 계산하고, 물 주는 양이 일정하지 않았다는 점을 발견하고, 결론을 수정하고, 슬라이드 개요(slide outline)을 만듭니다. 통계를 검증하기 위해 계산기(calculator)나 코드 도구(code tool)을 호출할 수도 있습니다.

데이터센터 안에서는 프롬프트(prompt)가 프리필 단계(prefill phase)로 들어갑니다. Model 가중치(weight)와 입력 표현(input representation)이 고대역폭 메모리(HBM)을 통과합니다. 각 트랜스포머 계층(Transformer layer)에서 MoE 라우터(router)는 토큰(token)을 선택된 전문가(expert)로 보낼 수 있습니다. Expert가 다른 그래픽처리장치(GPU)에 있으면 high-speed link가 토큰 표현(token representation)을 그쪽으로 운반합니다. 모델이 계획(plan)과 분석(analysis)를 생성할수록 KV 캐시(KV cache)는 커집니다. 추가 추론(reasoning) step마다 가속기(accelerator) time, 메모리 용량(memory capacity), 대역폭(bandwidth)가 사용됩니다.

최종 답변은 단순한 학교 발표처럼 보일 수 있습니다. 하지만 그 뒤에는 algorithm, 메모리(memory) 칩(chip), 패키징(packaging), 네트워킹(networking), 스토리지(storage), 전력(power) supply, 냉각 장비(cooling equipment)가 조율된 시스템이 있습니다. 현대 인공지능(AI)는 하나의 거대한 뇌가 아닙니다. 정보를 이동하고 변환하는 산업적 기계입니다.

8. 다음에는 무엇이 올까?

트랜스포머는 앞으로도 몇 년 동안 foundational 아키텍처(architecture)로 남을 수 있지만, 정지해 있지는 않을 것입니다. 연구자들은 어텐션(attention)과 state-space 모델(model)을 결합한 하이브리드 시스템(hybrid system)을 시험하고 있습니다. 상태공간 모델(State-space model)은 긴 시퀀스(sequence)를 다른 방식으로 처리할 수 있습니다. 확산 언어 모델(Diffusion language model)은 항상 왼쪽에서 오른쪽으로 한 토큰(token)씩 진행하기보다 여러 토큰(token)을 병렬로 생성하거나 수정하려고 합니다. 더 나은 메모리 시스템(memory system)은 에이전트(agent)가 과거 모든 세부 사항을 프롬프트(prompt)에 넣지 않고도 유용한 정보를 보존하게 할 수 있습니다.

MoE 시스템(system)은 어떤 전문가(expert)를 쓸지뿐 아니라 그 전문가(expert)의 어느 정도를 활성화할지도 선택하는 더 유연한 구조가 될 수 있습니다. 추론 시스템(Reasoning system)은 불필요한 토큰 생성(token generation)을 피하기 위해 언제 멈출지 더 잘 배울 수 있습니다. 작은 전문화된(specialized) 모델(model)은 반복 업무(routine task)를 처리하고 프런티어 모델(frontier model)은 어려운 사례(case)를 감독할 수 있습니다. 온디바이스 AI(On-device AI)는 더 많은 개인 데이터(personal data)를 사용자 가까이에 두고, 데이터센터 모델은 demanding work를 수행할 수 있습니다.

하드웨어(Hardware)도 메모리(memory) 중심으로 더 변할 수 있습니다. 메모리 내 처리 개념(Processing-in-memory concept)는 일부 연산(computation)을 저장 데이터(stored data) 가까이로 옮기려 합니다. 광 연결(Optical connection)은 통신(communication)의 에너지(energy)와 지연시간(latency)를 낮출 수 있습니다. Custom 추론(inference) 칩(chip)은 프롬프트 처리(prompt processing)과 토큰 생성(token generation)을 분리해 각 단계(phase)에 가장 적합한 아키텍처(architecture)를 맞출 수 있습니다.

어떤 하나의 발전이 트랜스포머, MoE, 추론(reasoning)을 완전히 대체한다고 보기는 어렵습니다. 더 가능성 높은 미래는 retrieval, 도구(tool), 멀티모달성(multimodality), 전문화 하드웨어(specialized hardware)와 함께 이들을 조합한 계층형 시스템(layered system)입니다.

결론(Conclusion): 지능은 데이터 이동 문제이기도 하다

상상 속의 학교로 돌아가 보겠습니다. 트랜스포머는 교실을 다시 만들어 학생들이 방 안의 관련 정보를 살펴볼 수 있게 했습니다. MoE는 그 학교를 전문가 대학으로 확장하고, 각 질문에 어떤 학과가 답할지 고르는 라우팅(routing) 시스템(system)을 만들었습니다. 추론 모델(Reasoning model)은 학생에게 추가 시간, 연습장, 검증 도구, 답안 수정 권한을 줬습니다.

각 발전은 인공지능(AI)을 더 강하게 만들었지만, 물리적 제약을 없애지는 않았습니다. 트랜스포머는 거대한 병렬 컴퓨터(computer)를 요구했습니다. MoE는 산술 연산을 아끼는 대신 메모리 용량(memory capacity)와 통신(communication)의 중요성을 키웠습니다. 추론(Reasoning)은 복잡한 문제 해결 능력을 높였지만 더 많은 추론(inference) time, KV 캐시(KV-cache) space, 메모리 대역폭(memory bandwidth)를 소비했습니다.

그래서 인공지능(AI) 이야기는 소프트웨어(software)만으로 이해할 수 없습니다. 모델의 품질과 경제성은 그래픽처리장치(GPU)와 맞춤형(custom) 가속기(accelerator)에 달려 있지만, 고대역폭 메모리(HBM), conventional 디램(DRAM), 스토리지(storage), 첨단 패키징(advanced packaging), 스위치(switch), optical link, 전력(electricity), 냉각(cooling)에도 달려 있습니다. 데이터를 효율적으로 움직이지 못하는 뛰어난 알고리즘은 비싼 프로세서(processor)를 기다리게 만들 뿐입니다.

따라서 인공지능(AI)의 미래는 칩(chip)이 얼마나 많은 계산을 수행할 수 있는지뿐 아니라, 시스템(system)이 정보를 얼마나 빠르게 이동하고 저장하고 검색하고 재사용할 수 있는지에 의해 결정될 것입니다.

참고 자료(Selected Sources)

1. Vaswani et al., “Attention Is All You Need”, 2017.
2. Brown et al., “Language Models are Few-Shot Learners”, 2020.
3. Kaplan et al., “Scaling Laws for Neural Language Models”, 2020.
4. Fedus, Zoph and Shazeer, “Switch Transformers”, 2021.
5. Mistral 인공지능(AI), “Mixtral of Experts”, 2023.
6. DeepSeek-인공지능(AI), “DeepSeek-V3 Technical Report”, 2024.
7. Wei et al., “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”, 2022.
8. DeepSeek-인공지능(AI), “DeepSeek-R1”, 2025.
9. NVIDIA, H200 GPU specifications.
10. NVIDIA Developer, Blackwell Ultra architecture and memory, 2025.

편집자 주(Editorial note): 인공지능(AI)에서 “최초”라는 표현은 자주 논쟁적입니다. 이 글은 초기 학술 개념, 대규모 시연, 기술을 대중화한 모델을 구분합니다. 하드웨어 효과는 방향성 분석이며 아키텍처(architecture), 배포 설계(deployment design), 작업부하(workload)에 따라 달라질 수 있습니다.