[2019 CVPR] Generalizable Person Re-identification by Domain-Invariant Mapping Network
Table of content (short-version) [paper]
Summary
- ์ผ๋ฐํ๋(universal) re-identification ๋
ผ๋ฌธ
- source๋ train/test๋ค ์(DB์ฌ๋ฌ๊ฐ)
- target๋ test๋ง (DB์ฌ๋ฌ๊ฐ)
- ํ์ต DB์ ์์๋ ๊ฒ์ inference (universal DA๊ฐ์)
- UDA์ ๋ค๋ฅธ์ ์ target domain์ผ๋ก ์ ๋ฐ์ดํธํ ํ์ ์์
- Meta-learning์ ์ผ์ข (one-shot/few-shot): memory bank๋ฅผ ์ด์ฉ, target์ผ๋ก ์ ๋ฐ์ดํธ ํ ํ์ ์์
- ์ ์ฒด ํ๋ ์์ํฌ
- ๊ฐค๋ฌ๋ฆฌ๋ ํน์ง์ ํ๋ฒ ๋ฝ์ ๋ค์์ ๋ค์ ๋งคํ ์๋ธ๋ท์ ํตํด classifier weight๋ฅผ ์์ฑ
- ํ๋ก๋ธ๋ ๊ทธ๋ฅ ๋ฐ๋ก ํน์ง์ ์์ฑ
- Encoding subnet, mapping subnet, memory bank๋ก ๊ตฌ์ฑ
[Domain-Invariant Mapping Network ์ ์ฒด ํ๋ ์์ํฌ]
- Encoding subnet: feature extractor, mobileNet (๋ค๋ฅธ๊ฒ๋ณด๋ค light weight + ์ฑ๋ฅ์ ๋น์ท), batch ๊ตฌ์ฑ์ ๋ค๋ฅด๊ฒ (๋ฐ์ดํฐ์ 5๊ฐ, ID์ 18530, ํ์ต 18๋ง) ํ๋ฒ์ ํ์ต์ํค๋ ค๋ฉด ์ด๋ ค์์, ์ ์ ID๋ก ์ํ๋ง, ID ๋ง๋ค (ํ๋๋ ๊ฐค๋ฌ๋ฆฌ, ํ๋๋ ํ๋ก๋ธ), CE ์ ์ฉ
[Mini-batch sampling ๋ฐฉ์]
- Mapping subnet: classifier weight vector ํ์ต ๋ฐ ์์ฑ FC ๋ช๊ฐ ์ฌ์ฉํด์ ์์ฑ. ํ๋ก๋ธ ํ๊ฐ ๋ค์ด์ค๋ฉด Cb gallery์ ๋น๊ตํด์ mapping network ๊ฑฐ์ณ์ Cb๊ฐ์ ํ๋ฅ ์ด C๊ฐ๋ก ํค์ฐ๊ณ (zero padding) ๊ทผ๋ฐ ์ด๊ฒ ๋๋ฌด ์ปค์ ์ฐจ๋ณ์ฑ์ด ๋จ์ด์ง๋ค. ๊ทธ๋์ ๋ฉ๋ชจ๋ฆฌ๋ฑ ํฌ ๊ฐ์ ธ์์ C๊ฐ๋ก ์๋๊ฒจ๋ ๋๊ฒ๋. ๋ชจ๋ batch์์๋ CbxCb๋์ด.
- memory bank: D(feature dim) x C(all class) ๊ณฑํ๋ฉด C๊ฐ๊ฐ ๋๋ค. ์ฆํญ ์ํด๋๋๋ค. ๋ฉ๋ชจ๋ฆฌ๋ฑ ํฌ๋ ํฐ๋ฐ ์ํ๋ minibatch ๋ถ๋ถ๋ง ์ ๋ฐ์ดํธํ๋ค. memory bank๋ฅผ ์ฌ์ฉํ ๊ฒฐ๊ณผ์ CE loss์ฌ์ฉ. running average. regularization์ ์ ์ฉํด์ ์์ ํ. logit-triplet loss.
[DIMN ํ์ต ์๊ณ ๋ฆฌ์ฆ]
[๋ฐ์ดํฐ์ ์ ๋ณด]
[Performance comparison 1]
[Performance comparison 2]
[Ablation study]
[Few-shot learning ๊ฒฐ๊ณผ]
References
[1] Song, Jifei, et al. โGeneralizable Person Re-identification by Domain-Invariant Mapping Network.โ Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.