H100과 A100은 NVIDIA가 만든 「데이터센터용 AI 가속기 GPU」로, 2020년대 LLM 시대의 「엔진」 역할을 하는 칩들입니다.
GPT-4·Claude·Llama 등 거의 모든 대형 LLM이 이 칩들 위에서 학습됐습니다.
A100(2020.5)은 Ampere 아키텍처 기반의 80GB HBM 메모리 GPU입니다.
1대당 가격이 1만 달러를 넘었지만, 학계·산업계에서 폭발적인 수요로 한동안 구하기 어려운 「전략 자원」이 됐습니다.
ChatGPT·GPT-3 학습이 A100 클러스터에서 이루어졌습니다.
H100(2023.3)은 Hopper 아키텍처의 후속작으로, A100보다 학습 속도 약 3배·메모리 대역폭 2배 빠릅니다.
「Transformer Engine」이라는 LLM 전용 가속 회로가 추가돼 LLM 학습·추론에 특히 강합니다.
1대 가격이 약 3만~4만 달러였고, 출시 후 1~2년간 「공급 부족」이 일상이었습니다.
비유하자면 H100·A100은 「AI 시대의 석유」와 같습니다.
한 칩이 수천만 원이지만, 큰 모델 학습에는 수만 대가 필요해 클러스터 한 세트에 수억 달러가 듭니다.
NVIDIA의 시가총액이 2024년에 3조 달러를 넘은 것도 이 「AI 칩 독점」 덕분입니다.
후속 모델인 「Blackwell(B100·B200)」(2024.3 발표)이 등장하며 한 단계 더 빨라졌고, 「Rubin」(2025~2026 예정)은 또 다음 세대로 진화 중입니다.
다만 미국의 대중국 수출 통제로 H100·B100의 중국 판매가 제한돼 「H800」, 「H20」 같은 사양 낮춘 버전이 따로 만들어지는 등 지정학적 변수도 큽니다.
한 줄 요약
H100·A100은 LLM 시대의 핵심 AI 가속기 GPU로, GPT·Claude·Llama 모두 이 칩들 위에서 학습됐습니다.
1대 수만 달러의 가격에도 공급 부족이 일상이며, NVIDIA 시가총액 3조 달러의 토대입니다.
더 알아볼 것
- Tensor Core — NVIDIA AI 칩의 핵심 회로
- Blackwell·Rubin — 후속 세대 칩
- TPU·MI300·Inferentia — NVIDIA의 경쟁자들
