Coordinate Estimation

Описание проекта

Разработка автоматической системы нахождения людей с определением географических координат в зоне поиска с применением алгоритмов искусственного интеллекта и БПЛА.

Планирование маршрута и облет:

• Формирование полетного задания
• Загрузка на БВС
• Запуск БВС и облет

Выгрузка данных и распознавание:

• Выгрузка данных из БВС
• Распознавание объектов
• Расчет геопозиций объектов
• Привязка снимков к объектам
• Анализ уникальности объектов
• Отрисовка геопозиций объектов

Результат работы:

• Список уникальных объектов с координатами и привязанными снимками
• Изображения с отрисованными координатами

Бизнес-задача

Разработка автоматической системы нахождения людей с определением географических координат в зоне поиска с применением алгоритмов искусственного интеллекта на базе беспилотного воздушного средства (БВС)

Постановка ML Задачи

Разработать детектор людей в лесной местности на основе фотографий полученных при помощи дрона.

Требования:

• False Discovery Rate не выше 0.3
• Recall выше 0.8
• Скорость работы не ниже 2 fps на изображении 5000х3600

Особенности:

• Целевое устройство - Nvidia 3070 laptop
• Важнее найти человека, нежели сделать ложное срабатывание

Исследование ML-задачи

Важнее найти человека, чем сделать неверное предсказание, поэтому Recall важнее Precision, при этом желательно минимизировать ложные предсказания. Решено взять оценку Fbeta со значением betta больше единицы. Fbeta представляет гармоническое взвешенное, график и формула расчета представлена на рисунках 1 и 2.

Рисунок 1 - График Fbeta

Рисунок 2 - Формула метрики Fbeta

Ускорение решения состояло из 2 этапов: ускорение модели, ускорение обработки признаков Ускорение модели через слияние операций или оптимизированный запуск слоев через TensorRT. При рассмотрении репозитория ultralytics были удалены участки кода с излишним копированием тензора и переводом между устройствами. Все операции пре/постпроцессинга перенесены на GPU.

Исследование датасета

Исходный датасет содержит порядка 8 тыс. изображений. Собран на ~ 10 сценах, из-за чего имеет низкую вариативность и большое количество одинаковых сцен, отличающихся ракурсом. Были удалены повторяющиеся сцены.

Для расширения набора данных проведен поиск аналогичных датасетов и оценка их вклада в итоговую метрику, в очищенный датасет были добавлены следующие наборы:

• LADD
• SARD
• NTUT
• Heridal

ML-модели: выбор и сравнение

Сравнивались архитектуры YOLO5x и YOLO8(m, n, x). Была выбрана модель yolov8m, результаты измерения

model	mf1beta
yolov5x6_gigaflex_best	0.59393
yolov5x6_gigaflex_recrop	0.59187
yolov5x6_default_best	0.61765
yolov5x6_ourdata_best	0.58019
yolov8m_newdata_p2_best	0.53826
yolov8m_newdata_best	0.54703
yolov8m_our_sat2	0.54162
yolov8m_our_SOTA	0,54817
yolov8m_our_SOTA_2560	0.57082
yolov8m_our_SOTA_2560_85epoch	0.56764
yolov8x_60epoch	0.57693
yolov8s_80epoch	0.55670
yolov8m_gf_config	0.42103

Оценка результата

Модель нейронной сети удовлетворяет требуемым метрикам качества, также. Ускоренное решение удовлетворяет требованию к скорости инференса модели. Был проведен анализ и чистка датасета со смешением с данных из открытых источников.

Архитектура решения

Решение состоит из взаимодействия между собой систем обнаружения, располагающейся на пульте, пульта с планировщиком маршрута и картами высот и коптера, осуществляющего снимки и запись географических координат.

Демонстрация решения

Заключение

В ходе соревнования по обнаружению людей UP Great Emergency Search наша команда заняла второе место в финальном сателите, 5 место в сателите 2.

Авторы проекта

Студенты группы М8О-206М-22:

• Егор Лыгин
• Кирилл Сыроежкин
• Михаил Мошков
• Михаил Пилюгин
• Дмитрий Коростелев