Super Resolution, Noise Conditioning Augmentation(NCA)
높은 해상도의 높은 품질 이미지를 생성하기 위해 여러 diffusion 모델의 pipeline을 사용할 수 있다. 이때 pipeline 모델 사이의 Noise Conditioning Augmentation(NCA)이 최종 이미지 품질에 핵심이다. NCA 각 super-resolution 모델 의 conditioning 입력 에 강력한 데이터 augmentation을 적용하는 것을 말한다.
이를 위해 학습 중인 이미지 데이터 셋에 다양한 수준과 유형의 노이즈를 추가한 후에, 노이즈가 조절된 이미지를 이용하여 모델을 학습한다. 이를 통해 모델은 각 이미지에서 노이즈를 식별하고 제거하는 방법을 배우며 이미지의 세부 정보화 해상도를 증가시키는 법도 학습한다.
conditioning 노이즈는 pipeline 설정에서 복합 에러를 줄이는데 도움이 된다. U-Net은 고해상도 이미지 생성을 위한 diffusion 모델링에서 모델 아키텍쳐의 일반적인 선택이다. 저해상도에서는 가우시안 노이즈를 적용하고 고해상도에서는 가우시안 블러를 적용하는 것이 가장 효과적이라는 것이 밝혀졌다.
