AI 글에서 자주 나오는 「파라미터」와 「하이퍼파라미터」는 비슷한 단어 같지만 전혀 다른 개념입니다.
한마디로 정리하면 파라미터는 「학습으로 결정되는 값」이고, 하이퍼파라미터는 「학습 전에 사람이 정해 주는 값」입니다.
파라미터는 모델 안에 들어 있는 「조정 가능한 숫자들」입니다.
학습이 진행되면서 손실함수의 신호에 따라 그 값이 조금씩 바뀝니다.
GPT-4 같은 거대 모델은 추정 1조 7천억 개에 가까운 파라미터를 가지며, Llama 3 70B는 약 700억 개의 파라미터를 가집니다.
하이퍼파라미터는 학습이 시작되기 전에 사람이 미리 정해 두는 값입니다.
대표적인 예로 학습률(learning rate, 다이얼을 한 번에 얼마만큼 돌릴지), 배치 크기(batch size, 한 번에 보는 데이터 양), 에폭 수(epoch, 전체 데이터를 몇 번 반복해 볼지), 모델의 층 수(layer count) 등이 있습니다.
비유로 풀자면 모델은 「큰 자동차」이고, 파라미터는 「운전 중 매 순간 바뀌는 액셀·핸들의 위치」입니다.
하이퍼파라미터는 「자동차의 출고 사양 — 엔진 크기, 타이어 종류, 변속기 형식」에 해당합니다.
운전 중에 바꿀 수 없는, 출발 전에 정해야 하는 값들입니다.
하이퍼파라미터를 잘 고르는 것 자체가 AI 엔지니어링의 큰 부분입니다.
같은 데이터·같은 아키텍처라도 학습률을 0.001로 했느냐 0.1로 했느냐에 따라 결과가 완전히 달라질 수 있고, 이 값을 효율적으로 탐색하는 일을 「하이퍼파라미터 튜닝」이라 부릅니다.
한 줄 요약
파라미터는 학습으로 결정되는 모델 내부의 숫자(자동차의 핸들·액셀)이고, 하이퍼파라미터는 학습 전에 사람이 정하는 설정값(자동차의 출고 사양)입니다.
더 알아볼 것
- 학습률 스케줄링 — 학습 중간에 학습률을 바꾸는 기법
- 그리드 서치·랜덤 서치·베이지안 최적화
- AutoML — 하이퍼파라미터를 자동으로 찾는 시도
