Телеграм бот для распознования продуктов

Введение

В условиях современного рынка, где технологии стремительно меняют потребительские привычки, возникает потребность в новых инновационных решениях. Наш проект предлагает уникальное сочетание машинного обучения и мобильных технологий для улучшения опыта офлайн-покупок.

Описание Проекта

Проект включает в себя разработку ML-модели для распознавания продуктов, создание Telegram-бота для взаимодействия с пользователем, настройку базы данных для хранения информации о продуктах и пользователях, а также интеграцию с внешними API для получения дополнительных данных о продуктах и рецептах. Бот позволяет пользователям отправлять фотографии продуктов и получать информацию о них, включая пищевую ценность, цену и рецепты.

Актуальность

Мотивация проекта основывается на улучшении пользовательского опыта при офлайн-покупках. Опросы показали, что покупатели часто сталкиваются с трудностями при идентификации продуктов и поиске информации о них в магазинах.

Анализ Проблем

Основные проблемы, выявленные в ходе опроса:

• Неуверенность в идентификации продуктов.
• Трудности с нахождением ценников.
• Ограниченные интерактивные возможности при офлайн-шопинге.
• Недостаток эффективных методов получения информации о продуктах.

Бизнес-Задача

Целью проекта является повышение качества обслуживания покупателей и обеспечение быстрого доступа к информации о продуктах. Проект направлен на увеличение вовлеченности покупателей, оптимизацию процесса принятия покупательских решений, получение конкурентных преимуществ и сбор данных для анализа.

Постановка ML-Задачи

• Модификация датасета с добавлением новых классов и очисткой данных.
• Сравнение сверточных нейронных сетей DenseNet121 и YOLOv8.
• Тестирование моделей на данных с шумом Перлина.

Исследование ML-Задачи

Анализ различных методов классификации изображений, включая машинное обучение и глубокое обучение. Выбор DenseNet121 и YOLOv8 для дальнейшего сравнения и тестирования.

Исследование Датасета

Использование датасета с 30 типами изображений растений и расширение его новыми типами для улучшения распознавания.

ML-Модели: Выбор и Сравнение

Сравнение YOLOv8 и DenseNet121 по точности, скорости, занимаемой памяти и устойчивости к шуму. Приоритетными параметрами являются точность и скорость.

Оценка Результата

• Разработка и интеграция Telegram-бота, работающего в реальном времени.
• Обучение и развертывание ML-модели с точностью по F1-метрике 85%.
• Создание базы данных для хранения информации о продуктах.
• Интеграция с внешними API для предоставления дополнительной информации.

Архитектура решения

Диаграмма Контекста (C1)

Диаграмма Контейнера (C2)

Демонстрация Решения

Примеры использования бота в реальных условиях, демонстрирующие его способность быстро и точно предоставлять информацию о продуктах.

Заключение

Проект представляет собой инновационное решение, которое с помощью современных технологий машинного обучения и мобильных приложений значительно улучшает опыт офлайн-шопинга. Это позволяет покупателям быстрее и эффективнее находить информацию о продуктах, повышая их удовлетворенность и лояльность.

Авторы проекта

Шекунов Михаил
- создание и настройка Telegram-бота для взаимодействия с пользователем;
- выбор БД и разработка схемы для хранения информации.

Лысаковская Екатерина
- создание и проведение опроса для выявления актуальных проблем при покупках в офлайн магазинах;
- поиск данных для дообучения модели;
- выбор БД и разработка схемы для хранения информации.

Сокольский Кирилл
- выбор, настройка и обучение ML модели;
- cравнение двух выбранных нейронных сетей по результатам предсказания на реальных фотографиях.

Евкарпиев Михаил
- анализ выбранного для обучения датасета;
- поиск данных для дообучения модели;
- создание презентации с итогами работы всей команды;
- выбор БД и разработка схемы для хранения информации.

Солдатов Вячеслав
- выбор и настройка 3-rd party API для взаимодействия с ботом;
- выбор БД и разработка схемы для хранения информации.

Реализация

GitHub