CUDA(Compute Unified Device Architecture)는 NVIDIA가 만든 「GPU에서 일반 계산을 할 수 있게 해 주는」 플랫폼·프로그래밍 모델입니다.
2007년 공개됐고, 현재 딥러닝의 사실상 모든 학습·추론이 CUDA 위에서 돌아갑니다.
CUDA 등장 전에는 GPU가 「그래픽 카드」 — 게임·영상 처리 전용 — 로만 쓰였습니다.
CUDA는 GPU의 수천 개 코어를 일반적인 수치 계산(행렬 곱·합성곱 등)에 활용할 수 있게 해 주는 길을 열었고, 이것이 딥러닝의 GPU 가속 시대를 가능하게 했습니다.
PyTorch·TensorFlow 같은 딥러닝 프레임워크는 내부적으로 CUDA의 cuDNN(딥러닝 전용 라이브러리), cuBLAS(선형대수), NCCL(다중 GPU 통신) 같은 라이브러리를 호출합니다.
사용자는 직접 CUDA 코드를 짜지 않아도 그 혜택을 그대로 받습니다.
비유하자면 CUDA는 「GPU와 소프트웨어를 잇는 다리」와 같습니다.
NVIDIA GPU 위에서 돌아가는 모든 AI 소프트웨어가 이 다리를 건너서 실행됩니다.
대중에게는 보이지 않지만 가장 핵심적인 인프라입니다.
CUDA의 큰 한계는 「NVIDIA 하드웨어에만 동작」한다는 점입니다.
AMD GPU나 인텔 GPU에서는 ROCm·oneAPI 같은 대안을 써야 하지만, 호환성·성능 면에서 CUDA에 크게 못 미칩니다.
이 「소프트웨어 락인」이 NVIDIA가 AI 칩 시장의 90% 이상을 차지한 결정적 이유입니다.
한 줄 요약
CUDA는 NVIDIA가 만든 GPU 컴퓨팅 플랫폼으로, 딥러닝의 사실상 모든 학습·추론이 CUDA 위에서 돌아갑니다.
NVIDIA의 AI 칩 시장 지배의 결정적 이유입니다.
더 알아볼 것
- cuDNN·cuBLAS·NCCL — CUDA 위의 라이브러리
- ROCm·oneAPI — AMD·인텔의 대안
- NVIDIA의 CUDA Moat
