Разработка алгоритмов вычисления векторного представления изображения с помощью глубокого обучения

В этой области проводится множество исследований и каждый год опубликовываются десятки статей на лучших научных конференциях мира, связанных с компьютерным зрением. И успехи в ней достаточно велики, так как с каждым годом точность на многих академических набора данных становится всё выше и выше. Частично это связанно с тем, что данные алгоритмы приносят большую пользу лидерам в IT-области, ведь через метрическое обучение работают алгоритмы распознавания лиц, транспортных средств, поиска наиболее похожих интернет-товаров

[4] и так далее. Также популярность этой области связанна с достаточно большим количеством не решенных проблем, которые проявляются в виде низкой точности на некоторых наборах данных

Таким образом, целью данной выпускной квалификационной работы является разработка алгоритмов вычисления векторного представления изображения с помощью глубокого обучения и для достижения этой цели были поставлены следующие задачи:

– изучение литературы, связанной с машинным обучением, ком пьютерным зрением, глубоким обучением и методами вычисления векторного представления изображений;

– разработка методов вычисления векторного представления изображений;

– программная реализация алгоритмов на языке программирования Python с использованием библиотеки PyTorch;

– обучение реализованных алгоритмов и валидация гиперпараметров на наборах данных In-Shop Clothes, Stanford Online Products;

– анализ полученных результатов.

ВВЕДЕНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1 Описание предметной области . . . . . . . . . . . . . . . . . . . . 6

1.1 Целевые функции для метрического обучения . . . . . . . 6

1.2 Формирование триплетов для метрического обучения . . . 10

1.3 Подход к обучению через парадигму ”разделяй и властвуй” 15

1.3.1 Архитектура свёрточной нейронной сети и принцип

её работы................................................................................. 16

1.3.2 Кластеризация набора данных на K кластеров................... 17

1.3.3 Разделение векторного представления на ”учеников” . 18

1.3.4 Сохранение связи между кластерами и ”учениками” . 18 1.3.5 Обучение ”учеников”.............................................................. 18

1.3.6 Обучение после объединения ”учеников”............................. 19

1.4 Метрическое обучение через разбиение на кластеры.................... 19

1.4.1 Переход к глобальным дескрипторам и отказ от ре- шения транспортной задачи.............................................................. 20

1.4.2 Агрегация через механизм внимания.................................... 21

1.5 Обзор существующих методов для решения задачи метри- ческого обучения ............................................................................................. 24

2 Описание внесенных изменений в ”модифицированный D&C” . 26

2.1 Алгоритм быстрой валидации........................................................ 26

2.1.1 Разделение обучающей выборки на две части случай-

ным образом........................................................................... 27

2.1.2 Разделение обучающей выборки на две части с чере-

дованием.................................................................................. 28

2.2 Поддержание актуальности центроидов кластеров....................... 30

2.3 Превращение центроидов в обучаемые параметры после завершения обучения ............................................................................................. 31

2.4 Нормализация векторов в процессе обучения................................ 32

2.4.1 Нормализация центроидов перед передачей в меха-

низм внимания........................................................................ 32

2.4.2 Замена алгоритма кластеризации.......................................... 33

2.5 Замена механизма внимания на усреднение векторов . . . 34

2.6 Замена механизма внимания на полносвязный слой..................... 34

3 Результаты экспериментов....................................................................... 36

3.1 Наборы данных............................................................................... 36

3.2 Метрика для оценки результатов................................................... 37

3.3 Реализация........................................................................................ 37

3.4 Применение алгоритма быстрой валидации................................ 38

3.5 Результаты работы алгоритма поддержания актуальности центроидов .......................................................................................... 40

3.6 Результаты работы алгоритма превращение центроидов в обучаемые параметры после завершения обучения ....................... 41

3.7 Результаты нормализации векторов в процессе обучения . 43

3.7.1 Нормализация центроидов перед передачей в меха-

низм внимания........................................................................ 43

3.7.2 Замена алгоритма кластеризации.......................................... 43

3.8 Результаты замены механизма внимания на усреднение век- торов 44

3.9 Результаты замены механизма внимания на полносвязный

слой...................................................................................................... 45

3.10 Результаты работы алгоритмов на различных наборах дан-

ных....................................................................................................... 46

3.10.1 Результаты работы на наборе данных In-Shop Clothes 47

3.10.2 Результаты экспериментов на наборе данных Stanford

Online Products........................................................................ 49

3.10.3 Результаты экспериментов на наборе данных CUB200-

2011 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3.10.4 Результаты экспериментов на наборе данных CARS196 53 ЗАКЛЮЧЕНИЕ............................................................................................... 55

СПИСОК ЛИТЕРАТУРЫ......................................................................... 67

ПРИЛОЖЕНИЕ........................................................................................... 72

1. Hermans, A. In Defense of the Triplet Loss for Person Re-Identification

/ A. Hermans, L. Beyer, B. Leibe // arXiv preprint arXiv:1703.07737 : [сайт] – 2017. - URL: https://arxiv.org/abs/1703.07737 (дата обращения: 05.05.2021)

2. Circle Loss: A Unified Perspective of Pair Similarity Optimization /

Y. Sun, C. Cheng, Y. Zhang, C. Zhang, L. Zheng, Z. Wang, Y. Wei // arXiv preprint arXiv:2002.10857 : [сайт] – 2020. - URL: https://arxiv.org/abs/2002.10857 (дата обращения: 28.05.2021)

3. Smooth-AP: Smoothing the Path Towards Large-Scale Image Retrieval

/ A.Brown, W. Xie, V. Kalogeiton, A. Zisserman // arXiv preprint arXiv:2007.12163 : [сайт] – 2020. - URL: https://arxiv.org/abs/2007.12163 (дата обращения: 28.05.2021)

4. ProxyNCA++: Revisiting and Revitalizing Proxy Neighborhood Component Analysis / E. W. Teh, T. DeVries, G. Taylor // arXiv preprint arXiv:2004.01113 : [сайт] – 2020. - URL: https://arxiv.org/abs/2004.01113 (дата обращения: 05.05.2021)

5. The iNaturalist Species Classification and Detection Dataset / G. Horn, O. Aodha, Y. Song, Y. Cui, C. Sun, A. Shepard, H. Adam, P. Perona,

S. Belongie // arXiv preprint arXiv:1707.06642 : [сайт] – 2017. - URL: https://arxiv.org/abs/1707.06642 (дата обращения: 28.05.2021)

6. Flickr30k Entities: Collecting Region-to-Phrase Correspondences for Richer Image-to-Sentence Models / B. Plummer, L. Wang, C. Cervantes, J. Caicedo, J. Hockenmaier, S. Lazebnik // arXiv preprint arXiv:1505.04870 : [сайт] – 2015. - URL: https://arxiv.org/abs/1505.04870 (дата обращения: 28.05.2021)

7. DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations / Z. Liu, P. Luo, S. Qiu, X. Wang // IEEE Transactions on Pattern Analysis and Machine Intelligence : [сайт] – 2016. - URL: https://ieeexplore.ieee.org/document/7780493 (дата обращения: 06.05.2021)

8. Deep Metric Learning via Lifted Structured Feature Embedding / H. Song, Y. Xiang, S. Jegelka, S. Savarese // arXiv preprint arXiv:1511.06452

: [сайт] – 2015. - URL: https://arxiv.org/abs/1511.06452 (дата обращения: 08.05.2021)

9. 3D Object Representations for Fine-Grained Categorization /

J. Krause, M. Stark, J. Deng, L. Fei-Fei // IEEE Transactions on Pattern Analysis and Machine Intelligence : [сайт] – 2013. - URL: https://ieeexplore.ieee.org/document/6755945 (дата обращения: 08.05.2021)

10. Caltech-UCSD Birds 200 / P. Welinder, Steve Branson, T. Mita, C. Wah, F. Schroff, S. Belongie, P. Perona // ResearchGate : [сайт] – 2010. - URL: https://www.researchgate.net/publication/46572499 (дата обращения: 08.05.2021)

11. Musgrave, K. A Metric Learning Reality Check / K. Musgrave,

S. Belongie, S. Lim// arXiv preprint arXiv:2003.08505 : [сайт] – 2020. - URL: https://arxiv.org/abs/2003.08505 (дата обращения: 05.05.2021)

12. Hadsell, R. Dimensionality Reduction by Learning an Invariant Mapping / R. Hadsell, S. Chopra, Y. Lecun // ResearchGate : [сайт] – 2006.

- URL: https://www.researchgate.net/publication/424627 (дата обращения: 05.05.2021)

13. Weinberger, K. Distance Metric Learning for Large Margin Nearest Neighbor Classification / K. Weinberger, J. Blitzer, L. Saul // ResearchGate

: [сайт] – 2006. - URL: https://www.researchgate.net/publication/210341989 (дата обращения: 28.05.2021)

14. Schroff, F. FaceNet: A Unified Embedding for Face Recognition and Clustering / F. Schroff, D. Kalenichenko, J. Philbin // arXiv preprint

arXiv:1503.03832 : [сайт] – 2015. - URL: https://arxiv.org/abs/1503.03832 (дата обращения: 05.05.2021)

15. Sampling Matters in Deep Embedding Learning / C.-Y. Wu,

R. Manmatha, A. Smola, P. Krähenbühl // arXiv preprint arXiv:1706.07567

: [сайт] – 2017. - URL: https://arxiv.org/abs/1706.07567 (дата обращения: 05.05.2021)

16. Sohn, K. Improved Deep Metric Learning with Multi-class N-pair Loss Objective / K. Sohn // NIPS : [сайт] – 2016. - URL: https://papers.nips.cc/paper/2016/hash/6b180037991d8b1232f8a8ca9- Abstract.html (дата обращения: 05.05.2021)

17. Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning / X. Wang, X. Han, W. Huang, D. Dong, M. Scott // arXiv preprint arXiv:1904.06627 : [сайт] – 2019. - URL: https://arxiv.org/abs/1904.06627 (дата обращения: 05.05.2021)

18. No Fuss Distance Metric Learning using Proxies / Y. Movshovitz- Attias, A. Toshev, T. Leung, S. Ioffe, S. Singh // arXiv preprint arXiv:1703.07464 : [сайт] – 2017. - URL: https://arxiv.org/abs/1703.07464 (дата обращения: 05.05.2021)

19. Divide and Conquer the Embedding Space for Metric Learning /

A. Sanakoyeu, V. Tschernezki, U. Büchler, B. Ommer // arXiv preprint arXiv:1906.05990 : [сайт] – 2019. - URL: https://arxiv.org/abs/1906.05990 (дата обращения: 05.05.2021)

20. Deep Residual Learning for Image Recognition / K. He, X. Zhang,

S. Ren, J. Sun // arXiv preprint arXiv:1512.03385 : [сайт] – 2015. - URL: https://arxiv.org/abs/1512.03385 (дата обращения: 05.05.2021)

21. Krizhevsky, A. ImageNet Classification with Deep Convolutional Neural Networks / A. Krizhevsky, I. Sutskever, G. Hinton // ResearchGate : [сайт] – 2012. - URL: https://www.researchgate.net/publication/267960550 (дата обращения: 05.05.2021)

22. Lloyd, S. Least squares quantization in PCM / S. Lloyd // IEEE Transactions on Pattern Analysis and Machine Intelligence : [сайт] – 1982. - URL: https://ieeexplore.ieee.org/document/1056489 (дата обращения: 05.05.2021)

23. Munkres, J. Algorithms for the assighment and transportation problems / J. Munkres // JSTOR : [сайт] – 1957. - URL: https://www.jstor.org/stable/2098689 (дата обращения: 05.05.2021)

24. Deep Relative Distance Learning: Tell the Difference between Similar Vehicles / H. Liu, Y. Tian, Y. Yang, L. Pang, T. Huang // ResearchGate : [сайт] – 2016. - URL: https://www.researchgate.net/publication/311611186 (дата обращения: 06.05.2021)

25. Attention Is All You Need / A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, L. Kaiser, I. Polosukhin // arXiv preprint arXiv:1706.03762 : [сайт] – 2017. - URL: https://arxiv.org/abs/1706.03762 (дата обращения: 05.05.2021)

26. Radenović, F. Fine-tuning CNN Image Retrieval with No Human Annotation / F. Radenović, G. Tolias, O. Chum // arXiv preprint arXiv:1711.02512 : [сайт] – 2017. - URL: https://arxiv.org/abs/1711.02512 (дата обращения: 06.05.2021)

27. Cross-Batch Memory for Embedding Learning / X. Wang, H. Zhang,

W. Huang, M. Scott // arXiv preprint arXiv:1912.06798 : [сайт] – 2019. - URL: https://arxiv.org/abs/1912.06798 (дата обращения: 05.05.2021)

28. Combination of Multiple Global Descriptors for Image Retrieval / H. Jun, B. Ko, Y. Kim, I. Kim, J. Kim // arXiv preprint arXiv:1903.10663 : [сайт] – 2019. - URL: https://arxiv.org/abs/1903.10663 (дата обращения: 05.05.2021)

29. Babenko, A. Aggregating Deep Convolutional Features for Image Retrieval / A. Babenko, V. Lempitsky // arXiv preprint arXiv:1510.07493

: [сайт] – 2015. - URL: https://arxiv.org/abs/1512.03385 (дата обращения: 07.05.2021)

30. Tolias, G. Particular object retrieval with integral max-pooling of CNN activations / G. Tolias, R. Sicre, H. Jégou // arXiv preprint arXiv:1510.07493 : [сайт] – 2015. - URL: https://arxiv.org/abs/1511.05879 (дата обращения: 07.05.2021)

31. Грешилов, А. А. Математические методы построения прогнозов : учебник / А. А. Грешилов, В. А. Стакун, А. А. Стакун. – Москва : Радио и связь, 1997. - 112 c. - ISBN 5-256-01352-1.

32. Zhong, S. Efficient online sphercal K-means clustering / S. Zhong // ResearchGate : [сайт] – 2005. - URL: https://www.researchgate.net/publication/4202779 (дата обращения: 18.05.2021)

33. Jégou, H. Product Quantization for Nearest Neighbor Search / H. Jégou, M. Douze, C. Schmid // ResearchGate : [сайт] – 2011. - URL: https://www.researchgate.net/publication/47815472 (дата обращения: 10.05.2021)

34. Glorot, X. Understanding the difficulty of training deep feedforward neural networks / X. Glorot, Y. Bengio // ResearchGate : [сайт] – 2010. - URL: https://www.researchgate.net/publication/215616968 (дата обраще- ния: 10.05.2021)

35. Kingma, D. Adam: A Method for Stochastic Optimization / D. Kingma,

J. Ba. // arXiv preprint arXiv:1412.6980 : [сайт] – 2014. - URL: https://arxiv.org/abs/1412.6980 (дата обращения: 10.05.2021)