МАТРАСЕР - инструмент верификации работы алгоритмов обнаружителей БПЛА "Алиссум"

Сегодня мы расскажем, что дрон детектор Алиссум – не просто сверхкомпактный индивидуальный обнаружитель БПЛА, построенный на базе нейросетевых алгоритмов, а достаточно мощный программно-аппаратный комплекс (ПАК).

Еще на начальном этапе разработки детектора Алиссум были заложены возможности дистанционного взаимодействия с различными устройствами (API). Это позволяет оперативно разрабатывать множество специализированных инструментов для выполнения обучения алгоритмов, их верификации, тестирования в совершенно различных условиях.

Один из таких инструментов мы называем МАТРАСЕР. Фактически дрон детектор превращается в сложный ПАК, который умеет параллельно с детекцией в реальном времени делать записи радиоэфира с возможностью последующего их исследования для проверки корректности работы алгоритмов.

Пример работы МАТРАСЕРА приведен для тестового объезда по следующим условным локациям: частный сектор в пригороде города А, город А, промежуточные небольшие населенные пункты, пригородные микрорайоны города Б и собственно город Б.

Структура выходных данных МАТРАСЕРА многослойная, а визуализация как правило полосатая, что похоже по своей сути и по виду на матрас. Покажем только внешние слои.

Структура выходных данных МАТРАСЕРА многослойная, а визуализация как правило полосатая, что похоже по своей сути и по виду на матрас. Покажем только внешние слои.

Первое изображение – обычный водопад, которым уже никого не удивить. Но уже по нему можно сделать некоторые выводы. Водопад вытянут во времени, одна строчка размером в пиксель по вертикали – это одно сканирование всех диапазонов частот детектора. Всего строчек 1223, то есть диапазоны были просканированы полностью 1223 раза.
Начало записи 18.00.44 окончание – 19.27.28, итого 5204 секунд.
Среднее время одного сканирования всех диапазонов 5204/1223=4.26 секунды.
Соответствует заявленному времени 3-5 секунд.

Вторая картинка уже интереснее. Это тот же водопад, но цвет отражает только типы сигналов, энергетика исключена.

Вторая картинка уже интереснее. Это тот же водопад, но цвет отражает только типы сигналов, энергетика исключена.

Синий цвет – пустые участки спектра
Голубой цвет – сигналы классифицированные как помеховые
Зеленый – сигналы классифицированные как цифровые стандарты связи WiFi, LTE и т.д.
Желтый – сигнал классифицированные как цифровые БПЛА типа DJI, Autel и др.
Красный – сигналы классифицированные как FPV дроны.

Если мы исходим из предположения, что сигналов БПЛА за время теста не было, то все красные и желтые пиксели – ложные сигналы.

В дефолтных диапазонах детектора Алиссум 7 (1000-1680, 2350-2550, 4800-6100) получаем следующие значения количества ошибок за время теста:

  • всего ошибок 144;
  • всего ошибок на одно сканирование всех диапазонов 83;
  • всего повторных ошибок 20.

Теперь по полученным данным можно вычислить некоторые статистики.

С учетом числа частот в общем диапазоне сканирования, абсолютная вероятность ошибки составила 0,05% (144 ошибки, более 300000 измерений). Фактически это отношение ошибок к общему числу проведенных измерений на каждой частоте. Показатель хороший, но учитывая, что на многих частотах сигналы вообще отсутствуют он не отражает эффективности работы алгоритмов классификации. Забываем про него.

Вероятность ошибки классификации только для обнаруженных сигналов составила 1,15% (144 ошибки, более 12500 классификаций). Это наиболее честный показатель эффективности алгоритмов, но на практике пользователь почувствует не его, а вероятность ошибки на одно сканирование, а это уже 6.7% (83 ошибки, 1223 сканирования). Фактически в 6.7% времени детектор может ошибаться. На практике необходимо учитывать не однократные тревоги, а повторяющиеся, именно они воспринимаются как истинная опасность. Вероятность повторных ошибок 1,6% (20 ошибок, 1223 сканирования).

Специально выбрали характерную запись, чтобы показать, как фактически, а не пальцем в небо, происходит оценка эффективности работы детектора. Кроме того, данные, полученные от МАТРАСЕРА по интересным участкам, используются для дальнейшего обучения и корректировки алгоритмов. Такой участок, например – широкополосный сигнал порядка 160 МГц в диапазоне 5 ГГц, на котором показаны множественные ошибки. В качестве ранее обнаруженной и решенной «проблемы» можно отметить сигналы в диапазоне 2300-2400 МГц, как мы предположили, принадлежащие диапазону LTE band 40, в 2022 году переданного Ростелекому для цифровизации социально значимых объектов. Еще летом 2024 года мы не видели этих сигналов, а недавно обнаружили их в некоторых локациях города, и после работы МАТРАСЕРА успешно скорректировали алгоритмы работы детектора.

По плотности сигналов WiFi и LTE хорошо видно путешествие детектора - частный сектор, первый город, пригород, пригородные микрорайоны и собственно второй город.

Таким образом, детектор Алиссум имеет все необходимые функции и возможности стать важной составной частью мощной экосистемы мониторинга и безопасности от угроз БПЛА, в том числе в условиях загруженной городской радиообстановки.