Система анализа сообществ пользователей социальной сети 'ВКонтакте' с использованием методов машинного обучения

В Интернете под социальными сетями понимается использование сайтов социальных сетей, чтобы оставаться на связи с друзьями, семьей, коллегами или клиентами. Социальные сети могут иметь социальную цель, деловую цель или и то, и другое. Все такие возможности предоставляют многие социальные сети, например Одноклассники, Дзен и Вконтакте.

Автор статьи [1] связывает культуру социальных сетей со словосочетаниями: возможность делиться, пользовательский контент, культура соучастия, коллективный разум, мудрость толпы. Социальные сети позволяют пользователям общаться, делиться впечатлениями и другими объектами. Так социальные сети Flickr и Pinterest позволяют делиться изображениями, YouTube и Vimeo созданы для обмена видеороликами,

«Википедия» заботится об осуществлении обмена знаниями, а, к примеру, ВКонтакте об обмене друзьями и интересами.

В последнее время социальные сети являются неотъемлемой частью нашей жизни. Большинству людей они помогают общаться, находить друзей по интересам, узнавать что-то новое от других пользователей. Для компаний социальные сети стали возможностью больше рассказать о себе, привлечь новых сотрудников. Довольно часто социальные сети становятся площадкой для рекламы и продажи товаров. Для науки социальные сети также представляют немалый интерес, о чем свидетельствует ряд статей [2-7].

Ежемесячно свыше 600 тысяч предпринимателей представляют свой бизнес на платформе ВКонтакте, создавая группы, сообщества, публичные страницы и магазины. В свете этого компания ВКонтакте намерена продолжать развивать основные направления и запускать программы поддержки новых представителей бизнеса и авторов [8].

Существует множество сервисов, которые предлагают готовые решения для различных задач, таких как анализ конкурентов, поиск аудитории, продвижение, оценка эффективности публикаций, мониторинг активности в сообществе и анализ вовлеченности. Они также пользуются большой популярностью сервисы, которые собирают статистику с публикаций сообществ, подтверждая важность проводимого исследования [9].

Кроме того, результаты работы могут послужить основой для разработки алгоритма, который поможет выявлять потенциально опасные сообщества и пользователей, которые на них подписаны [10].

Данные факты подтверждают теоретическую и практическую значимости исследования и работ, проведенных при написании данной диссертации.

ВВЕДЕНИЕ............................................................................................. 3

1. Работа с данными................................................................................ 7

1.1. Планирование сбора набора данных сообществ............................ 7

1.2. Реализация сбора набора данных сообществ................................. 9

1.3. Хранение данных............................................................................ 12

2. Система определение схожести сообществ...................................... 16

2.1. Исследование методов анализа информации................................ 16

2.2. Подготовка данных сообществ...................................................... 18

2.3. Обучение модели нейронной сети................................................. 20

2.4. Составление рекомендации сообществ.......................................... 24

2.5. Аналитика подбора рекомендаций................................................ 24

3. Пользовательский интерфейс............................................................ 27

3.1. Исследование web-фреймворков................................................... 27

3.2. Реализация интерфейса взаимодействия....................................... 30

3.3. Развертывание проекта на облачном хостинге............................. 32

4. Исследование связей между сообществами...................................... 34

4.1. Тестирование прототипа подбора сообществ............................... 34

4.2. Построение графика кластеров сообществ................................... 35

ЗАКЛЮЧЕНИЕ..................................................................................... 37

СПИСОК ЛИТЕРАТУРЫ..................................................................... 42

ПРИЛОЖЕНИЯ.................................................................................... 45

Приложение 1. Получение информации о пользователях................. 45

Приложение 2. Код модели анализатора и её обучение...................... 46

Приложение 3. Код расчёта наилучшей рекомендации....................... 48

Приложение 4. Код статистического анализа подбора сообществ..... 50

Приложение 5. Пример файла конфигурации Nginx 51

1) История интернета: under construction [Электронный ресурс].

—2020. — URL: https://elibrary.ru/download/elibrary_43063763_62475869.pdf (дата обращения 13.04.2022).

2) Задачи и алгоритмы машинного обучения: вероятностные графические модели [Электронный ресурс]. —2019. — URL: https://elibrary.ru/download/elibrary_38188597_78657357.pdf (дата обращения 12.04.2022).

3) Основные методы анализа, используемые при исследовании социальных сетей [Электронный ресурс]. —2016.

—URL:https://cyberleninka.ru/article/n/osnovnye-metody-analiza-ispolzuemye-pri

-issledovanii-sotsialnyh-setey (дата обращения 13.04.2022).

4) Особенности этнической идентичности виртуальных татарских сообществ в социальной сети «ВКонтакте» [Электронный ресурс]. —2016. — URL:

https://cyberleninka.ru/article/n/osobennosti-etnicheskoy-identichnosti-virtualnyh-t atarskih-soobschestv-v-sotsialnoy-seti-vkontakte (дата обращения 16.04.2022).

5) Разработка рекомендательной системы на основе данных из профиля социальной сети «ВКонтакте» [Электронный ресурс]. —2014. — URL:

https://cyberleninka.ru/article/n/razrabotka-rekomendatelnoy-sistemy-na-osnove-d annyh-iz-profilya-sotsialnoy-seti-vkontakte (дата обращения 16.04.2022).

6) Математическая модель задачи top-N для контентных рекомендательных систем [Электронный ресурс]. —2015. — URL: https://cyberleninka.ru/article/n/matematicheskaya-model-zadachi-top-n-dlya-kont entnyh-rekomendatelnyh-sistem/viewer (дата обращения 16.04.2022).

7) Исследование тематических профилей и способов расчета вовлеченности аудитории в сообществах социальной сети «ВКонтакте» [Электронный ресурс]. —2018. — URL:

https://cyberleninka.ru/article/n/issledovanie-tematicheskih-profiley-i-sposobov-ras cheta-vovlechennosti-auditorii-v-soobschestvah-sotsialnoy-seti-vkontakte (дата обращения 24.04.2022).

8) ВКонтакте подвела итоги первого квартала 2022 года [Электронный ресурс]. – 2022. – URL: https://vk.com/press/q1-2022-results (дата обращения 22.05.2022).

9) 7 сервисов для аналитики конкурентов во ВКонтакте [Электронный ресурс]. – 2018. – URL: https://vk.com/@smm_integral-7-servisov-dlya-analitiki-konkurentov-vo-vkontakt e (дата обращения 22.05.2022).

10) Алгоритм ТГУ выявляет пользователей VK, подписанных на опасные группы [Электронный ресурс]. – 2020. – URL: https://www.tsu.ru/news/algoritm-tgu-vyyavlyaet-polzovateley-vk-podpisanny/ (дата обращения 19.12.2021).

11) Онтологии и персонификация профиля пользователя в рекомендующих системах третьего поколения [Электронный ресурс]. —2019.

— URL:

https://cyberleninka.ru/article/n/ontologii-i-personifikatsiya-profilya-polzovatelya- v-rekomenduyuschih-sistemah-tretiego-pokoleniya/viewer (дата обращения 22.04.2022).

12) Рекомендательные системы: обзор основных постановок и результатов [Электронный ресурс]. —2017.

—URL:http://www.mathnet.ru/links/3c5f7d317158b7954732b06e6fbe78ce/ista26. pdf (дата обращения 15.05.2022).

13) Анатомия рекомендательных систем. Часть первая [Электронный ресурс]. —2018. — URL: https://habr.com/ru/company/lanit/blog/420499/ (дата обращения 15.05.2022).

14) Обзор рекомендательных систем [Электронный ресурс]. —2019.

— URL: https://elibrary.ru/download/elibrary_38048601_46755807.pdf (дата обращения 16.05.2022).

15) Рекомендательные системы: обзор основных постановок и результатов [Электронный ресурс]. —2017.

—URL:http://www.mathnet.ru/links/3c5f7d317158b7954732b06e6fbe78ce/ista26. pdf (дата обращения 15.05.2022).

16) Géron, A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow - Текст : непосредственный // Concepts, Tools, and Techniques to Build Intelligent Systems. - 2017.

17) Müller, A. C., & Guido, S. Introduction to Machine Learning with Python: A Guide for Data Scientists. - Текст : непосредственный // Fundamental concepts and applications of machine learning. - 2017.

18) Hastie, T. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. / Tibshirani, R., & Friedman, J. [и др.]. - Текст : непосредственный // Springer. - 2009.

19) Shmueli, G. To Explain or to Predict? - Текст : непосредственный // Statistical Science. - 2010. C. 289-310.

20) Goodfellow, I. Deep Learning. / Bengio, Y., Courville, A. [и др.]. - Текст : непосредственный // MIT Press. - 2016.

21) Tfidfvectorizer, BERT, LASER: векторизация данных и кластерный анализ для улучшения рекомендательной системы [Электронный ресурс].

—2021. — URL: https://habr.com/ru/companies/lanit/articles/594759/ (дата обращения 13.02.2023).

22) Автоэнкодеры в Keras, Часть 1: Введение [Электронный ресурс].

—2017. — URL: https://habr.com/ru/articles/331382/ (дата обращения 1.05.2023).

23) Балыклов Н.С. Кластерный анализ - Текст : непосредственный // Кластерный анализ. - 2017. C. 35-38.