StyleGAN(2018, NVIDIA)은 GAN 계열에서 「사실적인 얼굴 이미지 생성」의 새로운 기준을 세운 모델입니다.
그 전까지의 GAN이 만들어 낸 얼굴이 어딘가 어색했다면, StyleGAN의 결과는 사람이 봐도 진짜 사진과 구별하기 어려운 수준이었습니다.
핵심 아이디어는 생성자 구조에 「스타일(style)」 개념을 도입한 것입니다.
입력 노이즈를 한 번에 큰 이미지로 변환하는 대신, 작은 해상도부터 시작해 점진적으로 키우면서 각 단계에서 「전체 구도(저해상도)」, 「얼굴 특징(중해상도)」, 「피부·머리카락 디테일(고해상도)」을 단계별로 통제할 수 있게 했습니다.
비유하자면 StyleGAN은 「초상화를 그릴 때 먼저 큰 윤곽을 잡고, 다음으로 이목구비를 정하고, 마지막에 머리카락 한 올 한 올의 결을 그리는 화가」와 같습니다.
각 단계에서 다른 「스타일」을 적용할 수 있어 표현력이 폭발적으로 자랍니다.
StyleGAN의 결과는 「This Person Does Not Exist」 같은 사이트로 대중에게 충격을 줬습니다.
매번 새로 만들어지는 가짜 얼굴이 너무 사실적이라 「이 얼굴은 존재하지 않는다」는 사실이 도리어 놀라움이 됐습니다.
후속 모델로 StyleGAN2(2020), StyleGAN3(2021)이 나왔고, 각 버전마다 결과 품질이 향상됐습니다.
다만 GAN 전반이 학습 불안정성과 다양성 부족 문제로 비평받기 시작하면서, 2022년 이후로는 Stable Diffusion 같은 Diffusion 모델에 점차 자리를 내주고 있습니다.
한 줄 요약
StyleGAN은 생성자에 「스타일」 개념을 도입해 단계별로 이미지의 다른 측면(구도·특징·디테일)을 통제할 수 있게 한 모델로, 사람 얼굴 생성에서 가장 사실적인 GAN으로 꼽힙니다.
더 알아볼 것
- This Person Does Not Exist — StyleGAN의 대중적 충격
- StyleGAN3 — 회전 일관성 개선
- StyleGAN의 잠재 공간(W space) 조작
