CycleGAN(2017, UC Berkeley의 Jun-Yan Zhu 등)은 「짝지어진 학습 데이터 없이도 이미지를 다른 도메인으로 변환할 수 있게 한」 GAN 변형입니다.
「말 → 얼룩말」, 「여름 풍경 → 겨울 풍경」, 「사진 → 모네 그림풍」 같은 변환이 가능해졌습니다.
기존 이미지 변환 모델은 「같은 장면의 두 버전(예: 컬러 사진과 흑백 사진)」 같은 짝 데이터가 필요했습니다.
그러나 「말」 사진과 「같은 자세의 얼룩말」 사진을 짝지어 모으는 일은 사실상 불가능합니다.
CycleGAN은 이 한계를 푼 결정적 모델입니다.
핵심 아이디어는 「사이클 일관성(cycle consistency)」입니다.
「말 → 얼룩말 → 다시 말」로 변환했을 때 원본 말과 거의 같아야 한다는 제약을 학습 손실에 더한 것입니다.
이 「왕복 일관성」이 짝 없는 학습을 가능하게 합니다.
비유하자면 CycleGAN은 「영어 → 한국어 → 다시 영어로 번역했을 때 원문과 비슷해야 한다」는 직관과 같습니다.
한쪽 방향의 번역만 학습해도, 왕복 후 원본과의 차이를 줄이도록 강제하면 두 방향의 번역이 모두 잘 학습됩니다.
CycleGAN은 사진의 화풍 변환, 게임 그래픽 스타일 변경, 의료 영상의 도메인 적응 등 다양한 분야에 응용됐습니다.
다만 객체의 「정체성」을 유지해야 하는 변환(예: 사람의 얼굴 정체성 보존)에서는 한계가 있어 더 정교한 후속 연구로 이어졌습니다.
한 줄 요약
CycleGAN은 「변환 → 역변환 → 원본과의 일관성」이라는 사이클 손실로 짝지어진 데이터 없이도 도메인 간 이미지 변환을 가능케 한 모델입니다.
더 알아볼 것
- Pix2Pix — CycleGAN의 짝 데이터 버전
- 사이클 일관성 손실의 한계
- Diffusion 기반 이미지 변환의 등장
