[2019 CVPR] PEPSI : Fast Image Inpainting with Parallel Decoding Network
Table of content (short-version) [paper]
Summary
- Impainting 논문
- 기존방법: GAN기반의 coarse-to-fine network + contextural attention module (CAM)을 사용하는 방법, 직렬 two-stage 구조
- Parallel extended-decoder path(PEPSI)를 이용하여 네트워크를 병렬 형태의 one-stage network로 변경 파라미터 수 줄이고 빠른 학습 가능
[전체 프레임워크 (one-stage)]
- Coarse path는 CAM관련 encoding network로 대략적인 결과를 생성하는데 이 과정에서 cosine similarity 대신에 Euclidean distance를 이용
[변형된 CAM 구조]
[Metric에 따른 결과 차이]
- RED라는 element-wise discriminator를 사용 (patchGAN과 개념적으로 유사) square 모양이 아닌 hole에서도 좋은 성능을 보임
[RED 구조]
[임의의 hole 모양에서의 실험 결과]
- 실험에서 coarse path를 쓰나 안쓰나 성능 차이가 크게 안나는것을 보아 논문에서 제시하는 RED와 loss가 합리적으로 설계된 것을 증명
[실험 성능(*PEPSI가 coarse path를 사용하지 않은 경우)]
References
[1] Sagong, Min-cheol, et al. “PEPSI: Fast Image Inpainting With Parallel Decoding Network.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.