GPT-4(2023년 3월, OpenAI)는 GPT-3.5의 후속작으로, LLM 발전사에서 가장 주목받은 모델 중 하나입니다.
정확한 파라미터 수는 비공개이지만, 추정 1조 7천억 개의 「Mixture-of-Experts(MoE)」 구조로 알려져 있습니다.
GPT-3.5 대비 가장 큰 변화는 「추론 능력의 도약」입니다.
변호사 시험·의대 시험·미국 대학 입시 SAT 등에서 상위 10%에 드는 점수를 기록해 「전문가 수준」 능력을 처음 보여 줬습니다.
복잡한 수학 문제·코딩 도전·논리 추론에서 GPT-3.5와 격차가 컸습니다.
두 번째 변화는 「멀티모달」입니다.
이미지를 입력으로 받아 그 내용을 이해하고 답할 수 있게 됐습니다.
사진을 보고 「이 음식의 레시피를 알려 줘」, 손글씨 사진을 보고 「이 수식을 풀어 줘」 같은 작업이 가능해졌습니다.
세 번째 변화는 「긴 컨텍스트」입니다.
초기 버전 8K 토큰 → 32K → 128K(GPT-4 Turbo) → 200K로 확장되며 책 한 권 분량의 문서를 한 번에 처리할 수 있게 됐습니다.
GPT-4 이후 GPT-4 Turbo(2023, 더 빠르고 저렴), GPT-4o(2024, 음성·비디오까지), o1·o3 시리즈(추론 강화)로 진화가 이어졌습니다.
각 변종은 「속도, 멀티모달, 추론」 중 다른 측면을 강화한 것으로, 사용 목적에 따라 적합한 변종을 선택합니다.
한 줄 요약
GPT-4는 추정 1조 7천억 파라미터의 MoE 모델로, 추론 능력의 도약·이미지 입력·긴 컨텍스트 세 가지 축에서 GPT-3.5를 크게 넘어섰습니다.
더 알아볼 것
- Mixture-of-Experts(MoE) — GPT-4의 효율 비결
- GPT-4 Turbo·GPT-4o의 차이
- o1·o3 — 추론 강화형 후속 시리즈
