DenseNet(2017, 카이밍 허·황가오 등)은 ResNet의 잔차 연결 아이디어를 한 단계 더 밀어붙인 모델입니다.
ResNet이 「자기 입력만」 다음 층에 더했다면, DenseNet은 「자기 앞의 모든 층의 출력을 모두」 다음 층에 함께 전달합니다.
구조적으로 한 「Dense Block」 안의 각 층은 자기 앞에 나온 모든 출력을 채널 방향으로 이어붙여(concatenate) 입력으로 받습니다.
4개 층이라면 첫 층은 입력만, 두 번째 층은 입력+첫 층 출력, 세 번째 층은 입력+첫·둘째 출력, ...
식으로 정보가 점점 누적됩니다.
이 단순한 변화의 효과는 큽니다.
첫째, 그래디언트 흐름이 더욱 풍부해져 학습이 잘 됩니다.
둘째, 같은 정확도를 ResNet보다 적은 파라미터로 달성합니다.
셋째, 특징 재사용이 강제되어 표현력이 풍부해집니다.
비유하자면 DenseNet은 「회의 중 누구나 자기 앞의 모든 발언자의 말을 모두 들으면서 자기 차례에 발언하는 토론」과 같습니다.
ResNet이 「바로 앞 사람의 말만 들어도 된다」였다면, DenseNet은 「모두의 말을 다 듣고 종합한다」는 셈입니다.
단점은 메모리 사용량이 많다는 점입니다.
모든 앞 층의 출력을 저장해 둬야 하므로, 같은 정확도여도 학습 중 메모리 부담이 ResNet보다 큽니다.
그래서 산업 현장에서는 ResNet이 더 자주 쓰이지만, 의료 영상이나 작은 데이터 분야에서 DenseNet이 강한 경쟁력을 보여 줍니다.
한 줄 요약
DenseNet은 잔차 연결을 「모든 앞 층 → 다음 층」으로 확장한 모델로, 적은 파라미터로 강한 성능을 내며 특히 의료 영상에서 자주 쓰입니다.
메모리 부담은 큽니다.
더 알아볼 것
- Dense Block과 Transition Layer
- Growth Rate 하이퍼파라미터
- DenseNet의 특징 재사용 효과
