ResNet(2015, 마이크로소프트의 카이밍 허 등)은 「잔차 연결(residual connection)」이라는 단순한 아이디어로 152층, 이후 1000층까지의 깊은 신경망을 가능하게 만든 모델입니다.
ImageNet에서 처음으로 사람보다 낮은 오류율(3.57%)을 기록했습니다.
ResNet 등장 전까지는 「층을 더 쌓으면 정확도가 올라간다」는 통념과 달리, 56층 망이 20층 망보다 오히려 정확도가 낮은 「열화(degradation)」 현상이 관찰됐습니다.
그래디언트 소실 때문이었습니다.
잔차 연결의 아이디어는 단순합니다.
「층의 출력에 그 층의 입력을 그대로 더해 다음 층으로 보낸다(output = F(x) + x)」.
이렇게 하면 학습 신호가 깊은 층까지 직통으로 흐를 수 있어, 152층 망이 20층 망보다 훨씬 잘 학습됩니다.
비유하자면 잔차 연결은 「고층 빌딩의 엘리베이터」와 같습니다.
그 전까지는 신호가 한 층씩 계단을 올라야 했지만, 엘리베이터(스킵 연결)가 생겨 1층에서 100층까지 한 번에 갈 수 있게 됐습니다.
ResNet은 컴퓨터 비전을 넘어 모든 깊은 신경망의 표준 부품이 됐습니다.
Transformer도 모든 층 사이에 잔차 연결이 들어 있고, 음성 인식의 Whisper, 단백질 구조 예측의 AlphaFold도 잔차 연결을 사용합니다.
「깊이를 가능하게 한 한 줄의 코드」라는 평가가 과장이 아닙니다.
한 줄 요약
ResNet은 「층의 출력에 입력을 더하는」 잔차 연결로 깊은 신경망의 학습을 가능케 했고, 152층·1000층의 깊이를 현실로 만든 결정적 모델입니다.
더 알아볼 것
- DenseNet — 모든 층이 모든 층과 연결
- Wide ResNet — 깊이 대신 너비 키우기
- ResNeXt — 그룹 합성곱과 ResNet의 결합
