УСТРОЙСТВО ТЕХНИЧЕСКОГО ЗРЕНИЯ МАЛОГО БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА

Полезная модель относится к устройствам для анализа изображений, а именно для определения положения и ориентации объектов на изображении, и может применяться в качестве системы технического зрения малых беспилотных летательных аппаратов для их пространственной ориентации по светотехническим меткам на неподвижных элементах базовой станции.
Из уровня техники известно устройство для технического зрения (RU 83132U1, МПК G01B 11/00, опубл. 20.05.2009), включающее кольцевой источник излучения, образованный расположенными по окружности светодиодами, видеокамеру с объективом, установленную соосно с кольцевым источником излучения, и схему управления и обработки информации, связанную с видеокамерой и источником излучения. К отличительным признакам устройства относится то, что схема управления и обработки информации содержит блок преобразования изображения в цифровую форму, управляемое ключевое устройство, блок обработки изображения, устройство сравнения, ключевое устройство и устройство управления.
Недостатком известного технического решения является его низкая технологичность, связанная с наличием в конструкции схемы управления и обработки информации большого количества сложных в изготовлении блоков.
Наиболее близким к заявленной полезной модели техническим решением, выбранным в качестве прототипа, признано устройство технического зрения (RU 184765 U1, МПК G06T 7/70, B25J 19/04, опубл. 08.11.2018). Устройство содержит RGB-камеру, определитель расстояния до объекта и устройство обработки данных. При этом устройство дополнительно содержит подвижный кронштейн, содержащий два сервопривода и установленный на устройстве обработки данных, выполненном в виде логического блока, включающего микрокомпьютер с SD-картой и микроконтроллер, выполненный с возможностью приводить в движение сервоприводы перемещая камеру.
Недостатком известного устройства является сложность его адаптации для крепления на корпусе беспилотного летательного аппарата в связи с наличием громоздкого логического блока. Кроме того применение в устройстве обычной RGB-камеры не обеспечивает режимы видеосъемки с повышенным разрешением и частотой кадров, что ухудшает качество распознавания образов.
Технической задачей, на решение которой направлена заявленная полезная модель, является разработка устройства технического зрения с возможностью его крепления на корпусе малого беспилотного летательного аппарата.
Указанная задача решена тем, устройство технического зрения малого беспилотного летательного аппарата содержит корпус, с закрепленной на его внешней поверхности видеокамерой с USB-выходом, совмещенной с дальномером, подключенной с помощью USB-кабеля к видеовходу блока управления, размещенному внутри корпуса, выполненного на основе микроконтроллера. Отличает устройство от известных аналогов то, что микроконтроллер содержит микропроцессорное ядро, соединенное с помощью системной шины с FLASH-памятью программ, SRAM-памятью данных, USB-контроллером, Ethernet-контроллером, модулем LCD-интерфейса, интерфейсом ввода-вывода общего назначения, сгруппированного в восьмиразрядный GPI/0-порт ввода-вывода, и модулем подключения SD-карты. Видеокамера выполнена с возможностью получения видеопотока сверхвысокой четкости, к USB-контроллеру подключен видеовход блока управления, Ethernet-контроллер подключен к WiFi-модулю, к модулю LCD-интерфейса электрически подключен TFT-дисплей, к восьмиразрядному GPI/O-порту ввода-вывода подключена кнопочная клавиатура, а в слот модуля подключения SD-карты вставлена и электрически соединена с модулем SD-карта.
Положительным техническим результатом, обеспечиваемым раскрытой выше совокупностью признаков устройства, является возможность распознавания с его помощью светотехнических меток на неподвижных элементах базовой станции, обеспечивая тем самым возможность пространственной ориентации малого беспилотного летательного аппарата (МБЛА).
Конструкция устройства поясняется чертежами, где на фиг. 1 показан внешний вид устройства; на фиг. 2 приведена упрощенная структурная схема блока управления; на фиг. 3 приведен пример светотехнических меток, которые могут использоваться при взлете и посадке МБЛА на малых высотах; на фиг. 4 приведен внешний вид светодиодной панели, которая может быть применена для формирования сложных динамически изменяемых светотехнических меток.
Устройство технического зрения малого беспилотного летательного аппарата имеет следующую конструкцию.
Его основой является корпус 1, с закрепленной на его внешней поверхности видеокамерой 2 с USB-выходом, совмещенной с дальномером (на фигурах условно не показан), подключенной с помощью USB-кабеля к видеовходу 3 блока управления, размещенному внутри корпуса 1, выполненного на основе микроконтроллера 4, содержащего микропроцессорное ядро 5, соединенное с помощью системной шины с FLASH-памятью программ 6, SRAM-памятью данных 7, USB-контроллером 8, Ethernet-контроллером 9, модулем LCD-интерфейса 10, интерфейсом ввода-вывода общего назначения, сгруппированного в восьмиразрядный GPI/O-порт ввода-вывода 11, и модулем подключения SD-карты 12. Видеокамера 2 выполнена с возможностью получения видеопотока сверхвысокой четкости, к USB-контроллеру 8 подключен видеовход блока управления 3, Ethernet-контроллер 9 подключен к WiFi-модулю 13, к модулю LCD-интерфейса 10 электрически подключен TFT-дисплей 14, к восьмиразрядному GPI/O-порту ввода-вывода 11 подключена кнопочная клавиатура 15, а в слот модуля подключения 12 SD-карты вставлена и электрически соединена с модулем SD-карта 16.
2
В качестве видеокамеры, выполненной с возможностью получения видеопотока сверхвысокой четкости, может быть применена «экшн камера» модели YI4K+(Экшн камера YI 4К+ // YI. URL: http://www.yitechnology.ru/yi-4k-plus-action-camera-specs (дата обращения: 12.12.2019).; в качестве дальномера может быть использован лазерный датчик расстояния VL53L0X(Датчик расстояния лазерный VL53L0X // MCU Store. URL: https://mcustore.ru/store/datchiki-i-sensory/datchik-rasstovaniva-lazernyj-vl53l0x-gy-530/?gclid=Cj0KCQiA89zvBRDoARIsAOIePbAKYLBUlgBsvSS-4FmwgHK5KG8k2w9CO0-86m76K25SK7HJMBKzRFgaAoVHEALw wcB) подключенный к микроконтроллеру посредством интерфейса IC; в качестве микроконтроллера может быть использована любая известная микросхема на микропроцессорном ядре Cortex-M4F/R, ориентированном на создание высокопроизводительных систем реального времени для авиации и других ответственных применений. В качестве такой микросхемы может быть применен отечественный микроконтроллер K1921BK01T(Практический курс микропроцессорной техники на базе процессорных ядер ARM-Cortex-M3/M4/M4F [электронный ресурс]: учебное пособие - электрон. текстовые дан. (12 Мб) / В.Ф. Козаченко, А.С. Анучин, Д.И. Алямкин и др.; под общ. ред. В.Ф. Козаченко. - М.: Издательство МЭИ, 2019. - 543 с. Режим доступа: http://motorcontrol.ru/wp-content/uploads/2019/04/Практический курс микропроцессор.pdf.); в качестве WiFi-модуля может быть использована сборка ESP8266-01(Модуль ESP8266-01 WiFi // MCU Store. URL: https://mcustore.ru/store/moduli-svyazi/modul-wifi-esp8266/?gclid=CjwKCAiA58fvBRAzEiwAOW-hzezFoQo60DEhZStdn7fMT-5DeNRZ2oJB f8dkNm5re0i2KG bfe3YFBoCu08QAvD BwE.), а в качестве TFT-дисплея модель RPI LCD(3.2 inch RPi LCD// ChipDip.ru URL: https://www.chipdip.ru/product/3.2inch-rpi-lcd-b (дата обращения: 12.12.2019). с резистивным сенсорным экраном и диагональю 8,1 см.
Устройство технического зрения малого беспилотного летательного аппарата применяют следующим образом.
Первоначально корпус устройства закрепляют на кронштейне 17 малого беспилотного летательного аппарата 18. После активации блока управления с помощью кнопочной клавиатуры 15 и TFT-дисплея 14 производят калибровку устройства, заключающуюся в настройке режимов видеосъемки видеокамеры 2, конфигурировании параметров Ethernet-контроллера 9 и WiFi-модуля 13, для осуществления обмена данными между микроконтроллером 4 системой управления МБЛА и удаленной системой управления универсальной роботизированной платформы базирования беспилотных летательных аппаратов. Конфигурирование параметров Ethernet-контроллера 9 и WiFi-модуля 13 включает в себя выбор способа шифрования данных (предпочтительным является шифрование WPA2) и ввод ключа безопасности сети. В SD-карту 16 записывают изображения-эталоны светотехнических меток, нанесенных на поверхность универсальной роботизированной платформы базирования МБЛА, после чего SD-карту 16 устанавливают в гнездо модуля интерфейса подключения 12 SD-карты. После выполнение указанных действий устройство готово к работе в составе МБЛА.
Отсутствие естественного ориентира при осуществлении маневров взлета и посадки с универсальной роботизированной платформы делает возможным столкновение малого беспилотного летательного аппарата с близко расположенными деревьями, мачтами и зданиями, поэтому одной из основных задач взлета является обеспечение вертикального перемещения МБЛА на безопасную высоту в условиях воздействия ветра и отсутствия ярко выраженных ориентиров с применением системы технического зрения на основе светотехнических меток.
Метки могут быть нескольких типов. Для взлета на высоту от одного до пяти метров могут использоваться небольшие метки, выполненные в виде хорошо различимых геометрических фигур, например крестов, наносимых непосредственно на поверхность платформы, а для взлета на большую высоту могут использоваться более сложные динамически изменяемые метки, формируемые специализированным устройством.
В качестве такого специализированного устройства может использоваться светодиодная панель с микроконтроллерным блоком управления, снабженным шиной адреса с дешифратором, подключенным к катодам светодиодов, обеспечивающим формирование на панели растрового изображения, силовым выходом с ШИМ-модулятором, подключенным к анодам светодиодов, обеспечивающим плавное регулирование яркости свечения панели, и измерительным входом с фоторезистивным датчиком, обеспечивающим измерение уровня естественного освещения.
Специализированное устройство для формирования сложных светотехнических меток, охарактеризованное выше, позволит формировать метки любой геометрической формы с регулируемой яркостью, в зависимости от интенсивности естественного освещения, позволяя корректировать траекторию взлета и посадки малого беспилотного летательного аппарата на большой высоте.
Во время взлета и посадки МБЛА видеокамера 2 устройства технического зрения выполняет непрерывную съемку взлетно-посадочной площадки с заданной частотой кадров и разрешением, передавая видеопоток через видеовход 3 и USB-контроллер 8 микроконтроллеру 4 для обработки изображений и распознавания светотехнических меток на основе управляющей программы, хранящейся во FLASH-памяти программ 6. Процедура распознавания меток выполняется в несколько этапов.
На первом этапе выполняется бинарное квантование изображения, для которого применяется фильтр Гаусса, позволяющий автоматически удалить шумы на исходном изображении, и выполняется преобразование полученного изображения в оттенки серого. Далее к полученному черно-белому видеофрагменту применяется оператор Собеля, представляющий собой дискретный дифференциальный оператор, вычисляющий приближенное значение градиента яркости изображения. Результатом применения оператора Собеля в каждой точке изображения является вектор градиента яркости в этой точке. Оператор использует матрицы размером 3×3 для свертки исходного изображения и вычисления приближенных значений производных по горизонтали и вертикали. Результатом выполнения свертки являются выделенные границы светотехнических меток.
На втором этапе выполняется логическая обработка изображения, заключающаяся в определении координат и площади найденных меток. Учитывая, что обрабатывается плоское изображение, задача может быть решена с применением известных алгоритмов кластеризации и классификации. Наиболее простым из них является алгоритм k-means, хорошо применимый в случае, когда объекты имеют хорошо разнесенные центры масс. Для выделения объектов могут быть применены и более сложные алгоритмы, например AdaBoost или SVM.
Для каждого найденного на изображении объекта вычисляются его выборочные характеристики, к которым относятся средние значения гистограммы яркости (математического ожидания}, а также дисперсия и среднеквадратическое отклонение для упомянутого параметра.
На последнем этапе осуществляется идентификация объектов путем сравнения их выборочных характеристик с параметрами объектов-эталонов изображений светотехнических меток, хранящихся в памяти SD-карты 16.
Полученные данные о координатах и типе светотехнических меток, а также о расстоянии от беспилотного летательного аппарата до взлетно-посадочной площадки, полученные от дальномера, по беспроводной локальной сети с помощью WiFi-модуля 13 передаются системе управления универсальной роботизированной платформы и системе управления МБЛА.
Система управления МБЛА сравнивает положение вертикальной оси аппарата с истинной вертикалью, определяемой с помощью его гироскопа и, на основании данных, полученных от устройства технического зрения о положении светотехнических меток, выдает управляющие сигналы на входы сервоприводов винтомоторной группы МБЛА. Соответствующим изменением скорости вращения винтов указанные отклонения автоматически устраняются. Одновременно система управления МБЛА аналогичным образом устраняет выявленные отклонения между текущим углом рыскания МБЛА и курсом, заданным в полетном задании.
Таким образом, рассмотренное в настоящей заявке устройство является эффективным узлом контроля вертикального взлета малого беспилотного летательного аппарата. Дополнительным техническим результатом от применения устройства, является возможность создания на его основе системы бинокулярного стереоскопического зрения, на основе двух устройств технического зрения, работающих синхронно и передающих видеопоток по радиоканалу на сервер, выполняющий вычисление карты глубины изображения и распознавание трехмерных объектов в реальном времени.