비대응 데이터를 활용하는 순환 네트워크 구조와 도메인 적대적 손실함수를 통한 실제 환경 얼굴 초해상도 연구

Abstract

대부분의 딥러닝 기반 얼굴 초해상도 네트워크는 원본 고해상도 얼굴 이미지로부터 입력 저해상도 이미지가 생성되는 방식(i.e. bicubic downsampling)을 알고 있다는 가정 하에 학습된다. 이로 인해 학습 데이터와 다른 분포를 띄는 실제 저해상도 얼굴 이미지에서는, 논문에서 보고되는 것과 같은 선명한 초해상도 결과를 얻기 어렵다. 이러한 한계점을 극복하기 위해서 본 연구는 기존 초해상도 연구에서 일반적으로 사용되던 데이터 셋(paired)과 함께 실제 저해상도 이미지(unpaired)를 학습에 활용하여, 실제 저해상도 얼굴 이미지에서도 강건하게 초해상도를 수행할 수 있는 방법을 제안한다. 구체적으로 대응되는 고해상도 이미지가 없는 저해상도 얼굴 이미지를 초해상도 학습에 활용할 수 있도록 Cycle 기반의 네트워크 구조를 설계하였다. 또한 제안하는 네트워크가 다른 형태의 두 도메인(paired, unpaired)으로 구성된 데이터 셋으로 학습함에도 불구하고, 안정적인 학습을 수행하도록 돕는 도메인 적대적 손실함수(domian adversarial loss)를 초해상도 연구에 적용하는 방법을 제안한다. 여러 실험을 통해 제안하는 모델이 기존 연구들에서도 좋은 초해상도 성능을 보여주던 가상의 저해상도 얼굴 이미지에서 뿐만 아니라, 본 논문에서 목표로 하는 실제 저해상도 얼굴 이미지에서도 더 뛰어난 얼굴 초해상도 결과를 보여준다는 것을 시각적, 수치적으로 입증하였다.