[2019 CVPR] Towards Rich Feature Discovery with Class Activation Maps Augmentation for Person Re-Identification
Table of content (short-version) [paper]
Summary
- ์ถ๊ฐ์ ์ธ ๋ณด์กฐ๊ธฐ๋ฒ(pose, parsing) ์์ด ๋ค์ํ discriminative visual cue๋ฅผ ํ๋ณดํ๊ธฐ ์ํ ๋ฐฉ๋ฒ
- ๊ธฐ์กด์ CAM ๋ฐฉ์์ ๊ฐ์ฅ activated ๋๋ ์์ญ๋ง ๋ณด์ฌ์ค๋ค.
- ํ์ง๋ง overlapped activation panalty๋ฅผ ํตํด ํ์ต์ ๋ activate ๋ ๋ถ๋ถ๊น์ง ์ง์คํ ์ ์๋ค(๋ชธ ์ ์ฒด ์์ญ์ ๊ณ ๋ฅด๊ฒ ๋ถ์ํ ์ ์๋ค).
- Multi-branch ๊ตฌ์กฐ๋ฅผ ํตํด ๊ฐ๊ฐ ๋ค๋ฅธ ์์ญ์ ๊ณ ๋ ค
- ์ด๋ฅผ ํตํด ํ ์คํธํ ๋ ๋ณด๋ค ์ฌ๋ฌ๊ฐ์ ๋จ์๋ฅผ ๊ฐ์ง๊ณ ๋งค์นญํ ์ ์๋ค.
- ์๋ก์ด visualization ๊ธฐ๋ฒ์ธ ranking activation map์ ์ ์
- ํ ์คํธ์์ query์ gallery ์ฌ์ด์ ๊ด๋ จ๋ ์๊ฐ์ ํน์ง์ ๋ฐ๋ก ํด์ ๊ฐ๋ฅ
- REID๋ถ์ผ์์ query-gallery ranking ๊ฒฐ๊ณผ ํด์ ๊ฐ๋ฅ
[RAM ์ปจ์ ]
- ์ ์ฒด ํ๋ ์์ํฌ
- ResNet50 backbone(conv4๊น์ง) ์ดํ์ conv5๋ถํฐ 3๊ฐ์ branch ์กด์ฌ
- ๊ฐ branch๋ณ๋ก GAP + softmax๋ฅผ ํตํด class score ์ถ์
- ๊ฐ branch๋ณ๋ก CAM ์ ์ฉ
- Overlapped Activation Penalty (OAP)๋ฅผ ํตํด CAM์ ์ํด activate ๋๋ ๊ฒฐ๊ณผ ๋ฌ๋ผ์ง๋๋ก ํ์ต
- OAP์ CE loss์ ๊ท ํ์ ํตํด ํ์ต
- Ranking Activation Map (RAM)๋ฅผ ํตํด ๊ฒฐ๊ณผํ์ธ
[์ ์ฒด ํ๋ ์์ํฌ]
[Ranking Activation Map(RAM)]
[Branch๋ณ RAM ๊ฒฐ๊ณผ์ aggregated ๊ฒฐ๊ณผ]
References
[1] Yang, Wenjie, et al. โTowards Rich Feature Discovery with Class Activation Maps Augmentation for Person Re-Identification.โ Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.