최근 LLM 분야에서 「작은 LLM(SLM, Small Language Model)」이 새 흐름으로 떠오르고 있습니다.
1B(10억) ~ 70B(700억) 사이의 모델들로, GPT-4 같은 「초거대 LLM」 대비 훨씬 작지만 특정 용도에서는 충분히 강합니다.
「7B」, 「13B」, 「70B」 같은 표기는 모델의 파라미터 수입니다.
7B는 7 billion(70억), 13B는 130억, 70B는 700억을 뜻합니다.
GPT-4는 추정 1조 7천억(1.7T) 파라미터이므로 70B도 그 1/24에 불과합니다.
각 크기에 따른 특징은 다음과 같습니다.
1B~3B는 「휴대폰에서도 동작」하는 가장 작은 크기로, 간단한 분류·문장 완성 정도가 가능합니다.
7B는 「개인 PC GPU(8GB)에서 동작」하며 일반적 대화·간단한 코딩이 가능합니다.
13B~32B는 「가정용 RTX 4090 한 장」으로 가능하고, 충분한 일상 작업을 처리합니다.
70B는 「하이엔드 GPU 두 장(또는 단일 H100) 정도 필요」하며, 폐쇄형 GPT-4의 70~80% 성능을 보여 줍니다.
405B는 단일 머신으로는 어렵고 클러스터가 필요하지만 GPT-4에 가까운 능력을 가집니다.
SLM의 매력은 「특정 작업에 특화시키면 큰 모델만큼 강하다」는 점입니다.
의료 챗봇·코딩 보조·고객 응대 같은 좁은 작업에서는 7B~13B를 파인튜닝한 모델이 GPT-4를 능가하는 일도 흔합니다.
비용은 1/100~1/1000이고 자체 호스팅이 가능해 데이터 주권도 지킬 수 있습니다.
한 줄 요약
작은 LLM(SLM)은 1B~70B 사이의 모델로, 특정 작업에 파인튜닝하면 GPT-4 같은 초거대 모델을 능가할 수도 있는 「가성비 좋은 대안」입니다.
자체 호스팅과 데이터 주권에 강합니다.
더 알아볼 것
- Phi-3·Gemma·Qwen — 인기 있는 SLM 가족
- SLM과 SLM 간 「distillation」 — 큰 모델로 작은 모델 가르치기
- SLM의 한계 — 일반 지식·복잡한 추론
