ALL about Deep Generative Model (VAE, GAN) (ongoing..)
Table of content
- AE (Autoencoder) [2006]
- VAE (Variational-AE) [2014]
- 1) C-VAE (Conditional-VAE) [2015]
- 2) ELBO [2016]
- 3) L-VAE (Ladder VAE) [2016]
- 4) Beta-VAE [2017]
- 5) Info-VAE [2017]
- 6) Semi-VAE [2017]
- 7) K-VAE (Kalman VAE) [2017]
- 8) Factor-VAE [2018]
- 9) Beta-TCVAE (Beta Total Correlation VAE) [2018]
- 10) DIP-VAE (Disentangled Inferred Prior VAE) [2018]
- 11) ML-VAE (Multi-level VAE) [2018]
- 12) S-VAE (Hyperspherical-VAE) [2018]
- 13) DDPAE (Decompositional Disentangled Predictive AE) [2018]
- GAN (Generative Adversarial Network) [2014]
- 1) CGAN (Conditional GAN) [2014]
- 2) DCGAN (Deep Convolutional GAN) [2015]
- 3) CatGAN (Categorical GAN) [2015]
- 4) Context Encoder [2016]
- 5) CoGAN (Coupled GAN) [2016]
- 6) ImprovedGAN [2016]
- 7) InfoGAN (Information Maximizing GAN) [2016]
- 8) EBGAN (Energy-based GAN) [2016]
- 9) ACGAN (Auxiliary Classifier GAN) [2016]
- 10) pix2pix [2016]
- 11) LSGAN (Least Squares GAN) [2016]
- 12) SimGAN (Simulated GAN) [2016]
- 13) StackGAN [2016]
- 14) WGAN (Wasserstein GAN) [2017]
- 15) WGAN-GP (WGAN - Gradient Penalty) [2017]
- 16) SEGAN (Speech Enhancement GAN) [2017]
- 17) CycleGAN (Cycle consistent with GAN) [2017]
- 18) DiscoGAN (Discover Cross-Domain Relations with GAN) [2017]
- 19) LRGAN (Layered Recursive GAN) [2017]
- 20) TripleGAN [2017]
- 21) ProGAN (Progressive Growing of GAN) [2017]
- 22) BicycleGAN [2017]
- 23) StarGAN [2017]
- 24) SNGAN (Spectral Normalization GAN) [2018]
- 25) SAGAN (Self-Attention GAN) [2018]
- 26) BIGGAN (Large Scale GAN) [2018]
- 27) StyleGAN (Style-based Generator Architecture for GAN) [2018]
AE (Autoencoder) [2006]
1) DAE (Denoising-AE) [2008]
2) SAE (Sparse-AE) [2011]
3) CAE (Contractive-AE) [2011]
- 레이블 정보를 알 때 VAE를 학습하는 방법이다.
- ELBO 식은 conditional probability만 조금 다르고 동일하다.
- 기존의 VAE는 x에서 직접적으로 z를 출력하고 z에서 직접적으로 x를 생성하기에 특정 데이터 생성 불가능하다.
- 레이블을 유지한 채 z(스타일)을 바꾸면 MNIST인 경우 회전되거나 두께가 변한다.
4) AAE (Advarsarial-AE) [2015]
[paper][blog-EN1][blog-EN2][blog-EN3]
- 기존 VAE에서는 KL계산상의 어려움으로 encoder가 normal distribution으로 가정했었다.
- VAE의 KL기능(KL term은 q가 p에 가깝게 확률분포를 변화시키는 과정) 대신에 GAN loss에 의해서 manifold를 N(0,1)이 아닌 다른 임의의 함수(모델 선택의 폭이 넓어진다)로 표현이 가능하다.
- VAE에 비해서 image-level 분포가 아닌 latent-space 분포를 같게 한다는 아이디어이다.
- Discriminator는 p(z)로부터의 샘플을 pos로, q(z)를 neg로 구분한다.
- Manifold 모양을 볼 때 VAE는 자주 나오는 값을 중시하여 빈 공간이 가끔 있지만, AAE는 분포의 모양을 중시하여 빈공간이 적다.
- Loss
- 학습1(update AE ):
- 학습2(update D ):
- 학습3(update G ):
5) DC-IGN (Deep Convolutional Inverse Graphics Network) [2015]
- 영상의 표현을 해석가능하게 만들어 원하는 영상의 생성이 가능하다.
- Disentanglement 논문의 초기 버전이다.
- 원하는 variation만을 갖는 데이터셋을 얻기가 힘들다는 한계점이 있다.
VAE (Variational-AE) [2014]
[paper][blog-KR1][blog-KR2][blog-KR3][blog-EN1][blog-EN2][video-KR][ppt-KR][video-EN1][video-EN2]
1) C-VAE (Conditional-VAE) [2015]
[paper][blog-KR1][blog-KR2][blog-EN][video-EN]
2) ELBO [2016]
3) L-VAE (Ladder VAE) [2016]
- VAE를 어떻게 학습시킬 것인가.
4) Beta-VAE [2017]
[paper1][paper2][blog-KR][blog-EN1][blog-EN2]
5) Info-VAE [2017]
[paper][blog-KR][blog-EN1][blog-EN2]
6) Semi-VAE [2017]
7) K-VAE (Kalman VAE) [2017]
[paper]
8) Factor-VAE [2018]
[paper]
9) Beta-TCVAE (Beta Total Correlation VAE) [2018]
[paper]
10) DIP-VAE (Disentangled Inferred Prior VAE) [2018]
11) ML-VAE (Multi-level VAE) [2018]
[paper]
12) S-VAE (Hyperspherical-VAE) [2018]
[paper]
13) DDPAE (Decompositional Disentangled Predictive AE) [2018]
GAN (Generative Adversarial Network) [2014]
[paper][[GAN-family]]
1) CGAN (Conditional GAN) [2014]
[paper]
2) DCGAN (Deep Convolutional GAN) [2015]
[paper]
3) CatGAN (Categorical GAN) [2015]
[paper]
4) Context Encoder [2016]
[paper]
5) CoGAN (Coupled GAN) [2016]
[paper]
6) ImprovedGAN [2016]
[paper]
7) InfoGAN (Information Maximizing GAN) [2016]
[paper]
8) EBGAN (Energy-based GAN) [2016]
[paper]
9) ACGAN (Auxiliary Classifier GAN) [2016]
[paper]
10) pix2pix [2016]
[paper]
11) LSGAN (Least Squares GAN) [2016]
[paper]
12) SimGAN (Simulated GAN) [2016]
[paper]
13) StackGAN [2016]
[paper]
14) WGAN (Wasserstein GAN) [2017]
[paper]
15) WGAN-GP (WGAN - Gradient Penalty) [2017]
[paper]
16) SEGAN (Speech Enhancement GAN) [2017]
[paper]
17) CycleGAN (Cycle consistent with GAN) [2017]
[paper]
18) DiscoGAN (Discover Cross-Domain Relations with GAN) [2017]
[paper]
19) LRGAN (Layered Recursive GAN) [2017]
[paper]
20) TripleGAN [2017]
[paper]
21) ProGAN (Progressive Growing of GAN) [2017]
[paper]
22) BicycleGAN [2017]
[paper]
23) StarGAN [2017]
[paper]
24) SNGAN (Spectral Normalization GAN) [2018]
[paper]
25) SAGAN (Self-Attention GAN) [2018]
[paper]
26) BIGGAN (Large Scale GAN) [2018]
[paper]
27) StyleGAN (Style-based Generator Architecture for GAN) [2018]
[paper]