[논문 리뷰] Denoising Diffusion Probabilistic Models [1]
Abstract
비평형 열역학에서 영감을 받은 latent variable 모델의 한 종류인 diffusion probabilistic model을 사용하여 고품질 이미지 합성 결과를 제시하고 있습니다.
-
Diffusion probabilistic model과 Langevin dynamics를 사용한 denoising score matching 사이의 새로운 연결에 따라 설계된 weighted variational bound를 학습하여 최상의 결과를 얻었습니다.
-
이 모델은 자연스럽게 autoregressive decoding의 일반화로 해석할 수 있는 점진적 손실 압축 (progressive lossy decompression) 체계를 허용합니다.
-
CIFAR10 데이터셋에서 Inception score 9.46과 최신 FID 점수 3.17을 얻었습니다.
-
256x256 LSUN 데이터셋에서는 ProgressiveGAN과 유사한 샘플 품질을 얻었습니다.
Introduction
이 논문은 diffusion probabilistic model (diffusion model)을 사용하여 고품질 샘플을 생성할 수 있음을 보여주고 있습니다. 주요 내용은 다음과 같습니다:
-
Diffusion model은 variational inference를 사용하여 학습된 parameterized Markov chain으로, 유한 시간 후에 데이터와 일치하는 샘플을 생성합니다.
-
Sampling chain의 전이는 diffusion process를 역전시키도록 학습됩니다. Diffusion process는 신호가 파괴될 때까지 반대 방향으로 데이터에 점진적으로 노이즈를 추가하는 Markov chain입니다.
-
Diffusion이 작은 양의 가우시안 노이즈로 구성되면, sampling chain의 전이를 조건부 가우시안으로 설정하는 것으로 충분하며, 이는 특히 간단한 신경망 parameterization을 가능하게 합니다.
-
논문에서는 diffusion model의 특정 parameterization이 학습 중 여러 노이즈 수준에 대한 denoising score matching과 sampling 중 annealed Langevin dynamics와 동등함을 보여줍니다. 이 parameterization을 사용하여 최상의 샘플 품질 결과를 얻었습니다.
-
Diffusion model의 sampling 절차는 autoregressive decoding과 유사한 progressive decoding의 한 유형이며, autoregressive model에서 일반적으로 가능한 것보다 훨씬 더 일반화된 bit ordering을 따릅니다.
수식:
Markov chain: $ p_\theta(x_{t-1}|x_t) $ $ t = T, \dots, 1 $
Diffusion process: $ q(x_t|x_{t-1}) $ $ t = 1, \dots, T $