U-Net(2015, 프라이부르크 대학교의 Olaf Ronneberger 등)은 의료 영상의 세그멘테이션(분할)을 위해 고안된 CNN으로, 영문 이름 그대로 「U자」 모양의 구조를 가집니다.
매우 적은 데이터로도 좋은 결과를 내는 점에서 의료 분야의 표준이 됐습니다.
구조는 두 부분으로 나뉩니다.
왼쪽 「수축 경로(contracting path)」는 일반적인 CNN처럼 합성곱과 풀링으로 이미지를 점점 줄이며 추상적 특징을 잡습니다.
오른쪽 「확장 경로(expanding path)」는 반대로 업샘플링으로 이미지를 다시 키워 원본 크기의 분할 맵을 만들어 냅니다.
U-Net의 결정적 비결은 「스킵 연결(skip connection)」입니다.
수축 경로의 각 단계에서 나온 특징 지도를 같은 크기의 확장 경로 단계에 직접 전달합니다.
이를 통해 「어디가 어떤 객체인지」(높은 추상)와 「정확한 위치 정보」(원본 해상도)를 동시에 활용할 수 있습니다.
비유하자면 U-Net은 「위성에서 도시를 한번 멀리서 보고 다시 줌인하면서 길의 위치를 표시하는」 일과 같습니다.
멀리서 본 정보(전체 구조)와 가까이서 본 정보(정확한 픽셀 위치) 모두가 필요한데, U-Net은 이 두 정보를 자연스럽게 합쳐 줍니다.
U-Net은 의료 영상의 세포 분할로 시작했지만, 지금은 위성 영상 분석, 자율주행의 차선 분할, 그리고 놀랍게도 Stable Diffusion 같은 생성 AI의 핵심 부품으로도 쓰입니다.
「픽셀 단위 출력이 필요한 모든 곳」의 표준입니다.
한 줄 요약
U-Net은 「U자」 모양의 인코더-디코더 + 스킵 연결로 적은 데이터로도 정밀한 분할을 가능케 한 모델입니다.
의료 영상에서 시작해 자율주행·생성 AI까지 광범위하게 쓰입니다.
더 알아볼 것
- 3D U-Net — 3차원 의료 영상
- nnU-Net — 의료 영상 표준 도구
- Stable Diffusion 안의 U-Net
