[2019 CVPR] Towards Rich Feature Discovery with Class Activation Maps Augmentation for Person Re-Identification

---

Table of content (short-version) [paper]

• Summary
• References

---

Summary

• 추가적인 보조기법(pose, parsing) 없이 다양한 discriminative visual cue를 확보하기 위한 방법
  • 기존의 CAM 방식은 가장 activated 되는 영역만 보여준다.
  • 하지만 overlapped activation panalty를 통해 학습시 덜 activate 된 부분까지 집중할 수 있다(몸 전체 영역을 고르게 분석할 수 있다).
  • Multi-branch 구조를 통해 각각 다른 영역을 고려
  • 이를 통해 테스트할 때 보다 여러개의 단서를 가지고 매칭할 수 있다.
• 새로운 visualization 기법인 ranking activation map을 제안
  • 테스트에서 query와 gallery 사이의 관련된 시각적 특징을 바로 해석 가능
  • REID분야에서 query-gallery ranking 결과 해석 가능

[RAM 컨셉]

• 전체 프레임워크
  • ResNet50 backbone(conv4까지) 이후에 conv5부터 3개의 branch 존재
  • 각 branch별로 GAP + softmax를 통해 class score 추정
  • 각 branch별로 CAM 적용
  • Overlapped Activation Penalty (OAP)를 통해 CAM에 의해 activate 되는 결과 달라지도록 학습
  • OAP와 CE loss의 균형을 통해 학습
  • Ranking Activation Map (RAM)를 통해 결과확인

[전체 프레임워크]

[Ranking Activation Map(RAM)]

[Branch별 RAM 결과와 aggregated 결과]

---

References

[1] Yang, Wenjie, et al. “Towards Rich Feature Discovery with Class Activation Maps Augmentation for Person Re-Identification.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.