AlexNet은 2012년 ImageNet 대회에서 압도적 우승을 거두며 「딥러닝의 르네상스」를 연 모델입니다.
토론토 대학교의 알렉스 크리제프스키, 일리야 수츠케버, 제프리 힌튼이 함께 만든 8층 합성곱 신경망입니다.
구조는 합성곱 5층 + 완전연결 3층으로 비교적 단순했지만, 당시 기준으로는 「전대미문의 깊이」였습니다.
약 6,000만 개의 파라미터를 가졌고, GTX 580 GPU 두 대를 병렬로 사용해 약 일주일간 학습했습니다.
AlexNet의 성공을 만든 세 가지 핵심 요소가 있습니다.
첫째, ReLU 활성화 — 시그모이드 대비 학습 속도를 6배 끌어올렸습니다.
둘째, 드롭아웃 — 완전연결층의 과적합을 효과적으로 막았습니다.
셋째, 데이터 증강 — 좌우 반전·잘라내기로 학습 데이터를 부풀렸습니다.
비유하자면 AlexNet은 「최초로 자전거 바퀴 공장을 GPU라는 컨베이어 벨트 위에 올린 사람」과 같습니다.
누구나 쉽게 생각할 수 있는 부품들의 결합이었지만, 그것을 처음으로 함께 묶어 동작시킨 데에 큰 의미가 있었습니다.
AlexNet 이후 컴퓨터 비전은 통째로 깊은 신경망으로 옮겨갔고, ZFNet·VGG·GoogLeNet·ResNet 같은 후속 모델들이 매년 더 깊고 더 정교해졌습니다.
「딥러닝」이라는 단어가 일상이 된 출발점입니다.
한 줄 요약
AlexNet은 2012년 ImageNet에서 압도적 우승하며 딥러닝 시대를 연 모델입니다.
ReLU·드롭아웃·데이터 증강·GPU 병렬화의 결합이 그 비결이었습니다.
더 알아볼 것
- LRN(Local Response Normalization) — AlexNet의 잊혀진 기법
- ZFNet — AlexNet 직후의 후속 모델
- AlexNet 논문 「ImageNet Classification with Deep CNNs」
