СИСТЕМА И СПОСОБ ПОЗИЦИОНИРОВАНИЯ И УПРАВЛЕНИЯ ЛЕТАТЕЛЬНЫМ АППАРАТОМ ПРИ ЕГО ДВИЖЕНИИ ПО РУЛЕЖНОЙ ДОРОЖКЕ
SYSTEM AND METHOD FOR POSITIONING AND CONTROLLING THE AIRCRAFT AS IT MOVES ALONG THE TAXIWAY

УРОВЕНЬ ТЕХНИКИ
[001] Настоящее изобретение относится к системам и способам позиционирования и/или наведения летательного аппарата при движении по рулежной дорожке или во время перемещения по другой поверхности. При рулении по земле летательный аппарат обычно пилотируют так, чтобы он оставался по центру рулежной дорожки или взлетно-посадочной полосы. Летательным аппаратам управляет пилот с использованием зрительного контроля и данных глобальной системы позиционирования (GPS) о местоположении летательного аппарата. В случае автономного управления данные GPS являются основным методом определения локального положения летательного аппарата. Даже лучшие системы GPS обладают ограниченной точностью и при этом подвержены потере сигнала из-за условий окружающей среды, таких как погодные условия или преднамеренные или случайные помехи. Поэтому требуются вспомогательные или альтернативные методы для решения проблемы таких ограничений точности и улучшения устойчивости оценок локального положения.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
[002] Согласно одному примеру реализации система наведения летательного аппарата или управления им для летательного аппарата содержит один или более процессоров и память программ, хранящую (i) модель многоканальной нейронной сети и (ii) исполняемые инструкции, исполнение которых одним или более процессорами вызывает осуществление системой наведения летательного аппарата или управления им: приема множества электронных изображений от множества электронных устройств формирования изображений (например, цифровых камер или устройств LIDAR), установленных на летательном аппарате; предварительной обработки множества электронных изображений с формированием упорядоченных данных изображения; формирования предварительной оценки боковых уклонений летательного аппарата относительно положения осевой линии рулежной дорожки посредством применения модели многоканальной нейронной сети к упорядоченным данным изображения; и последующей обработки предварительной оценки боковых уклонений для формирования оценки бокового уклонения с использованием одной или более предыдущих оценок одного или более предыдущих боковых уклонений летательного аппарата. Множество электронных устройств формирования изображений установлены с возможностью захвата изображения частей рулежной дорожки во время нахождения летательного аппарата на рулежной дорожке или движения по ней.
[003] Согласно другому примеру реализации реализуемый с помощью компьютера способ наведения летательного аппарата или управления им, осуществляемый с помощью одного или более процессоров, включает: осуществление доступа к модели многоканальной нейронной сети в памяти программ; прием множества электронных изображений от множества электронных устройств формирования изображений, установленных на летательном аппарате; предварительную обработку множества электронных изображений с формированием упорядоченных данных изображения; формирование предварительной оценки бокового уклонения летательного аппарата относительно положения осевой линии рулежной дорожки посредством применения модели многоканальной нейронной сети к упорядоченным данным изображения; и последующую обработку предварительной оценки бокового уклонения с формированием оценки бокового уклонения с использованием одной или более предыдущих оценок одного или более предыдущих боковых уклонений летательного аппарата. Множество электронных устройств формирования изображений установлены с возможностью захвата изображения частей рулежной дорожки во время нахождения летательного аппарата на рулежной дорожке или движения по ней.
[004] Согласно еще одному примеру реализации материальный некратковременный компьютерочитаемый носитель информации, хранящий исполняемые инструкции для наведения летательного аппарата или управления им, исполнение которых одним или более процессорами компьютерной системы вызывает выполнение компьютерной системой: осуществления доступа к модели многоканальной нейронной сети, хранимой в памяти программ; приема множества электронных изображений от множества электронных устройств формирования изображений, установленных на летательном аппарате; предварительной обработки множества электронных изображений с формированием упорядоченных данных изображения; формирования предварительной оценки бокового уклонения летательного аппарата относительно положения осевой линии рулежной дорожки с применением модели многоканальной нейронной сети к упорядоченным данным изображения; и последующей обработки предварительной оценки бокового уклонения с формированием оценки бокового уклонения с использованием одной или более предыдущих оценок одного или более предыдущих боковых уклонений летательного аппарата. Множество электронных устройств формирования изображений установлены с возможностью захвата изображения частей рулежной дорожки во время нахождения летательного аппарата на рулежной дорожке или движения по ней.
[005] Эти рассмотренные признаки, функции и преимущества могут быть достигнуты независимо друг от друга в различных вариантах реализации или могут быть объединены в других вариантах реализации, дальнейшие подробности которых можно увидеть со ссылкой на нижеследующее описание и чертежи.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[006] На ФИГ. 1 приведен вид сверху летательного аппарата на рулежной дорожке.
[007] На ФИГ. 2 приведена структурной схема системы наведения летательного аппарата или управления им.
[008] На ФИГ. 3 приведен вид сверху бокового уклонения летательного аппарата на рулежной дорожке.
[009] На ФИГ. 4 приведена блок-схема примера способа тренировки.
[0010] На ФИГ. 5 приведена блок-схема примера способа наведения летательного аппарата или управления им.
[0011] На ФИГ. 6 приведена блок-схема примера способа предварительной обработки.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[0012] Настоящее изобретение относится к системам, способам и некратковременным компьютерочитаемым носителям информации, хранящим инструкции для формирования оценки бокового уклонения летательного аппарата на рулежной дорожке с использованием модели многоканальной нейронной сети и изображений, получаемых из установленных на летательном аппарате электронных устройств формирования изображений, таких как цифровые камеры или устройства LIDAR. Раскрываемые способы могут быть применены для тренировки модели многоканальной нейронной сети для оценки бокового уклонения летательного аппарата на рулежных дорожках. Дополнительно или в качестве альтернативы раскрываемые способы могут быть применены для формирования оценки бокового уклонения летательного аппарата на рулежной дорожке. В некоторых вариантах реализации оценки бокового уклонения могут быть использованы для коррекции основанной на GPS оценки местоположения летательного аппарата. В других вариантах реализации, оценки бокового уклонения могут быть использованы для коррекции управления рулем направления летательного аппарата для его центрирования в пределах рулежной дорожки.
[0013] На ФИГ. 1 показан вид сверху летательного аппарата 10, расположенного на рулежной дорожке 20. Рулежная дорожка 20 имеет осевую линию 22 для использования при центрировании летательного аппарата 10 во время движения по рулежной дорожке 20. Рулежная дорожка 20 также имеет краевые линии 24 на каждой стороне, которые отмечают край пригодной для использования части рулежной дорожки 20. Летательный аппарат 10 имеет крылья 12, которые могут представлять собой левое крыло и правое крыло. На летательном аппарате 10 установлены множество электронных устройств 14 формирования изображений для захвата электронных изображений частей 16 рулежной дорожки 20 в поле обзора каждого электронного устройства 14 формирования изображений. В различных вариантах реализации в число электронных устройств 14 формирования изображений, рассматриваемых в настоящем документе, входят цифровые камеры, устройства LIDAR, радарные устройства, ультразвуковые сенсорные устройства или иные электронные устройства, выполненные с возможностью формирования электронных изображений части локальной окружающей среды. В других вариантах реализации электронные устройства 14 формирования изображений, рассматриваемые в настоящем документе, включают комбинации из двух или более электронных устройств 14 формирования изображения вышеупомянутых типов, причем эти комбинации улучшают устойчивость системы за счет использования данных изображений нескольких типов. Как показано, некоторые варианты реализации включают электронное устройство 14 формирования изображений, установленное на каждом крыле 12, для захвата изображений частей 16 рулежной дорожки 20, которые включают осевую линию 22 и частично перекрываются. Летательный аппарат 10 также содержит блок 18 GPS для обеспечения оценок локального местоположения летательного аппарата 10, причем блок 18 GPS представляет собой приемник GPS, выполненный с возможностью приема и обработки сигналов GPS для определения координат местоположения.
[0014] На ФИГ. 2 в виде структурной схемы показана система 200 наведения летательного аппарата или управления им для использования при осуществлении части или всего способа 400 тренировки и/или способа 500 наведения или управления летательным аппаратом, описанных в настоящем документе. В некоторых вариантах реализации система 200 наведения летательного аппарата или управления им установлена внутри летательного аппарата 10 и выполнена с возможностью наведения летательного аппарата или управления им 10 во время работы. Система 200 наведения летательного аппарата или управления им содержит контроллер 210, базу 220 данных и блок 230 связи. Контроллер содержит одно или более каждого из следующего: память 212 программ, процессор 214 и оперативное запоминающее устройство (ОЗУ) 216. Каждая память 212 программ является материальным некратковременным запоминающим устройством, выполненным с возможностью хранения электронных данных, таких как инструкции для осуществления процессов, подпрограмм и реализуемых программными средствами программ. Каждый процессор 214 выполнен и сконфигурирован с возможностью исполнения компьютероисполняемых инструкций, таких как реализуемые программными средствами программы, приложения и подпрограммы. Каждое ОЗУ 216 выполнено в виде энергозависимой памяти для хранения электронных данных во время использования.
[0015] Каждое из памяти 212 программ, процессора 214 и ОЗУ 216 соединены со схемой 218 ввода вывода (I/O), причем схема 218 I/O также соединяет контроллер 210 с другими компонентами системы 200 наведения летательного аппарата или управления им (например, с базой 220 данных, блоком 230 связи и любым блоком 240 управления рулем направления). База 220 данных выполнена с возможностью хранения электронных данных на материальном некратковременном запоминающем устройстве для использования любыми программными приложениями. В некоторых вариантах реализации база 220 данных и память 212 программ могут быть объединены в одну память. Блок 230 связи представляет собой компонент системы 200 наведения летательного аппарата или управления им, выполненный с возможностью обмена данными между контроллером 210 и внешними устройствами, которые соединены с возможностью обмена данными с системой 200 управления или наведения летательного аппарата, такими как электронные устройства 14 формирования изображений и блок 18 GPS летательного аппарата 10.
[0016] Хотя показано, что система 200 наведения летательного аппарата или управления им соединена с электронными устройствами 14 формирования изображений, в некоторых вариантах реализации она содержит электронные устройства 14 формирования изображений для улучшения управления данными изображения из электронных устройств 14 формирования изображений. В дополнительных или альтернативных вариантах реализации система 200 наведения летательного аппарата или управления им аналогичным образом содержит блок 18 GPS. В других дополнительных или альтернативных варианта реализации система 200 наведения летательного аппарата или управления им содержит блок 240 управления рулем направления для определения и/или осуществления корректировок направления положения корпуса летательного аппарата 10 путем управления рулем направления летательного аппарата 10. Дополнительные или альтернативные варианты реализации системы 200 наведения летательного аппарата или управления им могут включать меньшее количество компонентов, дополнительные или альтернативные компоненты, а также любую комбинацию компонентов, показанных на ФИГ. 2.
[0017] На ФИГ. 3 приведен вид сверху летательного аппарата 10 на рулежной дорожке 20, показывающий боковое уклонение (304) между осевой линией 22 и линией 302 центрирования положения летательного аппарата. Боковое уклонение (304) летательного аппарата 10 указывает расстояние вдоль земли между местоположением центрирования летательного аппарата 10 (спроецированным на рулежную дорожку 20) и ближайшей точкой вдоль осевой линии 22. Это равносильно расстоянию между осевой линией 22 и линией 302 положения центрирования, проходящей параллельно осевой линии 22, причем линия положения центрирования проходит через точку на поверхности рулежной дорожки 20, которая находится непосредственно под положением центра летательного аппарата 10. Таким образом, боковое уклонение (304) представляет расстояние, на которое смещен центр летательного аппарата 10 относительно осевой линии 22 рулежной дорожки 20 в направлении, перпендикулярном осевой линии 22 и проходящем по поверхности рулежной дорожки 20. В качестве примера летательный аппарат, центр которого находится непосредственно над точкой, расположенной на 1,0 метра правее осевой линии 22, будет иметь боковое уклонение (304), составляющее 1,0 метр, тогда как другой летательный аппарат, центр которого находится непосредственно над точкой, расположенной на 1,2 метра левее осевой линии 22, будет иметь боковое уклонение (304), составляющее - 1,2 метра.
[0018] Кроме того, в некоторых вариантах реализации определяют направление 306 положения корпуса летательного аппарата 10 вдоль поверхности рулежной дорожки 20. Относительное направление 308 положения корпуса указывает угол между линией положения центрирования 302 и направлением 306 положения корпуса летательного аппарата. Так как линия 302 центрирования положения параллельна осевой линии 22, относительное направление 308 положения корпуса также указывает угол между осевой линией 22 и направление 306 положения корпуса летательного аппарата 10 на поверхности рулежной дорожки 20.
[0019] На ФИГ. 4 показан пример блок-схемы способа 400 тренировки для тренировки модели многоканальной нейронной сети для оценки бокового уклонения (304) летательного аппарата с использованием данных изображений из множества электронных изображений. Способ 400 тренировки включает сбор элементов данных, формирование тренировочного набора данных и тренировку модели многоканальной нейронной сети с использованием тренировочного набора данных. В некоторых вариантах реализации могут быть сформированы дополнения данных и использованы для улучшения точности и устойчивости модели многоканальной нейронной сети к шуму (например, к дрожанию или повороту изображения) во входных данных. Процессор 214 системы 200 наведения летательного аппарата или управления им (или аналогичный процессор другой подобной вычислительной системы) исполняет компьютероисполняемые инструкции для осуществления способа 400 тренировки, причем компьютероисполняемые инструкции могут храниться в памяти 212 программ (или в аналогичной памяти подобной вычислительной системы). Хотя в настоящем документе способ 400 тренировки для ясности описан со ссылкой на систему 200 наведения летательного аппарата или управления им, могут быть использованы другие вычислительные системы, что вполне очевидно для специалистов в данной области техники.
[0020] Способ 400 тренировки начинается со сбора элементов данных для тренировки модели многоканальной нейронной сети (блок 402), причем каждый элемент данных содержит измерение ошибки и одно или более тренировочных изображений. Затем из собранных элементов данных формируют тренировочный набор данных (блок 404). В некоторых вариантах реализации формируют дополнительные элементы дополненных данных путем применения дополнений данных к собранным элементам данных в наборе данных (блок 406). Затем тренируют базовую модель с использованием собранных элементов данных в наборе данных и/или элементов дополненных данных для формирования модели многоканальной нейронной сети (этап 408), и после этого модель многоканальной нейронной сети сохраняют в памяти компьютера для последующего использования (блок 410).
[0021] В блоке 402 система 200 наведения летательного аппарата или управления им собирает множество элементов данных для тренировки модели. Каждый элемент данных содержит следующее: (i) набор множества тренировочных изображений (ii) и измерение ошибки, связанной с набором тренировочных изображений и указывающей расстояние от осевой линии 22 рулежной дорожки 20, которая может быть тренировочной осевой линией тренировочной рулежной дорожки. В некоторых вариантах реализации сбор элементов данных включает сбор элементов данных с использованием одного или более измерительных устройств и одного или более тренировочных электронных устройств формирования изображений, таких как электронные устройства 14 формирования изображения системы 200 наведения летательного аппарата или управления им. Каждое измерительное устройство представляет собой устройство, выполненное с возможностью определения высокоточного местоположения измерительного устройства и/или определения расстояния между местоположением измерительного устройства и другим местоположением. В некоторых вариантах реализации измерительное устройство включает высокоточный блок GPS или блок сопровождаемой GPS (Assisted GPS, A-GPS).
[0022] В некоторых вариантах реализации каждый элемент данных также содержит направление положения корпуса относительно тренировочной осевой линии тренировочной рулежной дорожки, причем направление положения корпуса связано с набором тренировочных изображений элемента данных. Направление положения корпуса в элементе данных может быть направлением 306 положения корпуса или относительным направлением 308 положения корпуса тренировочного летательного аппарата. Такое направление положения корпуса может быть использовано для тренировки модели многоканальной нейронной сети, как обсуждается ниже.
[0023] В блоке 404 система 200 наведения летательного аппарата или управления им формирует набор данных, содержащий множество элементов данных. В некоторых вариантах реализации набор данных сохраняют в базе 220 данных в виде структурированных данных в формате реляционной или нереляционной базы данных. Набор данных выполнен таким образом, что каждый элемент данных содержит (i) набор из множества тренировочных изображений, собранных за один раз, и (ii) измерение ошибки, связанной с набором этих тренировочных изображений. В некоторых вариантах реализации каждый элемент данных также содержит (iii) направление положения корпуса относительно тренировочной осевой линии тренировочной рулежной дорожки. В других вариантах реализации формирование набора данных включает предварительную обработку тренировочных изображений с формированием упорядоченных данных изображения, соответствующих каждому из тренировочных изображений, как подробно описано далее со ссылкой на способ 500 наведения летательного аппарата или управления им.
[0024] В блоке 406 в некоторых вариантах реализации система 200 наведения летательного аппарата или управления им формирует элементы дополненных данных путем применения одного или более дополнений данных к множеству тренировочных изображений, собранных системой 200 наведения летательного аппарата или управления им. Применение дополнения данных к изображению включает обработку такого изображения для добавления, удаления или изменения атрибутов изображения. В некоторых вариантах реализации дополнения данных включают одно или более из следующего: вертикальное дрожание, поворот или аномальные артефакты изображения. Такие дополнения данных имитируют источники шума (или источники ошибки, относящиеся к окружающей среде) на изображениях, захватываемых электронными устройствами 14 формирования изображений, установленными на летательном аппарате 10, во время движения, позволяя тема самым тренировать модель с учетом такого шума. Дополнения данных вертикального дрожания корректируют вертикальное положение захватываемого изображения для имитации движения в вертикальном направлении электронного устройства 14 формирования изображений, установленного на крыле 12, во время руления. Дополнения данных поворота поворачивают захватываемое изображение на разное количество градусов для имитации вращательного движения электронного устройства 14 формирования изображений, установленного на крыле 12, во время руления. Дополнения аномальными артефактами изображения добавляют искусственные артефакты изображения такого рода, которые время от времени встречаются на захватываемых изображениях, такие как блики в объективе или артефакты разрешения дискретизации. Еще в одних вариантах реализации к тренировочным изображениям применяют дополнительные или альтернативные дополнения данных, такие как дополнения данных, которые добавляют шум к изображению (путем регулирования случайным образом значений отдельных пикселей), размытие изображения (путем усреднения значений пикселей) или регулирование яркости изображения (путем увеличения или уменьшения значения яркости по меньшей мере некоторых пикселей в изображении).
[0025] При применении дополнений данных получающиеся в результате дополненные тренировочные изображения могут быть также обрезаны или изменены по размеру, чтобы они были пригодны для тренировки модели многоканальной нейронной сети. В некоторых вариантах реализации дополненные тренировочные изображения элементов дополненных данных также предварительно обрабатывают для формирования упорядоченных данных изображения, как описано более подробно со ссылкой на способ 500 наведения летательного аппарата или управления им. Еще в одних вариантах реализации элементы дополненных данных добавляют в набор тренировочных данных.
[0026] В блоке 408 система 200 наведения летательного аппарата или управления им формирует модель многоканальной нейронной сети путем тренировки базовой модели с использованием элементов данных тренировочного набора данных. Тренировка базовой модели с использованием элементов данных дает более точную модель, специально выполненную с возможностью оценки бокового уклонения (304) для летательного аппарата 10 на рулежной дорожке 20. В некоторых вариантах реализации в качестве базовой модели используют модель инвертированного остаточного блока, так как эти модели особенно хорошо подходят для задач анализа изображений. Тренировка модели многоканальной нейронной сети включает осуществление доступа к тренировочному набору данных, содержащему множество элементов данных, с последующим применением алгоритма тренировки к элементам данных в тренировочном наборе данных в качестве входных данных для получения модели многоканальной нейронной сети в виде тренированной версии базовой модели. В некоторых вариантах реализации базовая модель может быть также натренирована с использованием элементов дополненных данных путем осуществления доступа к элементам дополненных данных и применения алгоритма тренировки к элементам дополненных данных для улучшения модели многоканальной нейронной сети. Какой бы ни была тренировка, получающаяся в результате модель многоканальной нейронной сети, адаптирована и выполнена с возможностью обработки данных изображения для формирования оценок бокового уклонения (304) на основе данных изображения. Тренированная модель многоканальной нейронной сети содержит набор правил для применения к данным изображения для оценки бокового уклонения (304). В некоторых вариантах реализации, где элементы данных и/или элементы дополненных данных содержат направления положения корпуса относительно тренировочной осевой линии, модель многоканальной нейронной сети дополнительно тренируют для формирования оценок направления 306 положения корпуса или относительного направления 308 положения корпуса летательного аппарата 10 на основе данных изображения.
[0027] В блоке 410 система 200 наведения летательного аппарата или управления им сохраняет модель многоканальной нейронной сети в памяти компьютера, которая может быть памятью 212 программ или базой 220 данных. В некоторых вариантах реализации формируют несколько моделей многоканальной нейронной сети и сохраняют для последующего испытания и использования в наведении или управлении летательным аппаратом.
[0028] На ФИГ. 5 показан пример блок-схемы иллюстративного способа 500 наведения летательного аппарата или управления им для оценки бокового уклонения (304) летательного аппарата 10 на рулежной дорожке 20. Система 200 наведения летательного аппарата или управления им осуществляет способ 500 наведения летательного аппарата или управления им для получения электронных изображений, предварительной обработки электронных изображений, формирования предварительной оценки бокового уклонения (304) и последующей обработки предварительной оценки для формирования оценки бокового уклонения (304) летательного аппарата 10 относительно осевой линии 22 рулежной дорожки 20. В некоторых вариантах реализации процессор 214 системы 200 наведения летательного аппарата или управления им осуществляет компьютероисполняемые инструкции для осуществления способа 500 наведения летательного аппарата или управления им, причем компьютероисполняемая инструкция может храниться в памяти 212 программ.
[0029] В некоторых вариантах реализации способ 500 наведения летательного аппарата или управления им начинается с калибровки множества электронных устройств 14 формирования изображений, установленных на летательном аппарате 10 (блок 502). Осуществляют доступ к модели многоканальной нейронной сети из памяти 212 программ (блок 504) и принимают электронные изображения из электронных устройств 14 формирования изображений (блок 506). Предварительно обрабатывают электронные изображения для формирования упорядоченных данных изображения (блок 508). Затем применяют модель многоканальной нейронной сети к упорядоченным данным изображения для формирования предварительной оценки бокового уклонения (304) (блок 510). После этого применяют последующую предварительную обработку к этой предварительной оценке бокового уклонения (304) для формирования оценки бокового уклонения (304) летательного аппарата 10 (блок 512), которая может быть использована при наведении или управлении летательным аппаратом 10. В некоторых вариантах реализации оценка бокового уклонения (304) может быть использована для коррекции оценки местоположения из блока 18 GPS летательного аппарата 10 (блок 514). В других вариантах реализации оценка бокового уклонения (304) может быть использована блоком 240 управления рулем направления для определения и осуществления коррекции направления положения корпуса летательного аппарата 10 (блок 516).
[0030] В блоке 502 в некоторых вариантах реализации система 200 наведения летательного аппарата или управления им калибрует множество электронных устройств 14 формирования изображений для коррекции любого движения или сдвига таких электронных устройств 14 формирования изображений относительно ожидаемых положений. В калибровке могут быть использованы одно или более электронных изображений, принимаемых из каждого электронного устройства 14 формирования изображений. Каждое электронное устройство 14 формирования изображений калибруют на основе одного или более положений одной или более внешних частей летательного аппарата 10 на электронных изображениях. Такие положения внешних частей летательного аппарата 10 могут включать капот двигателя, колесо или шасси либо другую часть летательного аппарата 10, которая видна в поле обзора электронного устройства 14 формирования изображений. В некоторых вариантах реализации выравниванию электронных устройств 14 формирования изображений могут помочь метки, нанесенные краской снаружи летательного аппарата 10.
[0031] В блоке 504 система 200 наведения летательного аппарата или управления им осуществляет доступ к модели многоканальной нейронной сети из памяти 212 программ или в базе 220 данных системы 200 наведения летательного аппарата или управления им. Модель многоканальной нейронной сети, к которой осуществляет доступ система 200 наведения летательного аппарата или управления им, представляет собой предварительно натренированную и сохраненную в памяти компьютера модель, как описано со ссылкой на способ 400, рассмотренный выше. В некоторых вариантах реализации процессор 214 осуществляет доступ к модели многоканальной нейронной сети из памяти и сохраняет копию в ОЗУ 216 для использования в обработке данных изображений, как рассмотрено дополнительно ниже.
[0032] В блоке 506 система 200 наведения летательного аппарата или управления им принимает множество электронных изображений от множества электронных устройств 14 формирования изображений, установленных на летательном аппарате 10. Множество электронных устройств формирования изображений установлены на летательном аппарате 10 таким образом, чтобы захватывать изображение частей 16 рулежной дорожки 20, когда летательный аппарат 10 находится на рулежной дорожке 20 или движется по ней. В некоторых вариантах реализации множество электронных устройств 14 формирования изображений содержит по меньшей мере следующие два электронных устройства 14 формирования изображений: электронное устройство 14 формирования изображений левого крыла, установленное на левом крыле 12 летательного аппарата 10, и электронное устройство 14 формирования изображений правого крыла, установленное на правом крыле 12 летательного аппарата 10. В таких вариантах реализации множество электронных изображений содержит левый канал, имеющий электронные изображения из электронного устройства 14 формирования изображений левого крыла, и правый канал, имеющий электронные изображения из электронного устройства 14 формирования изображений правого крыла. Подобные левый канал и правый канал могут быть отдельно предусмотрены для модели многоканальной нейронной сети для улучшения точности модели за счет добавления данных относительного положения, присущих идентификации электронных изображений как изображений левого канала или правого канала. В таких вариантах реализации модель многоканальной нейронной сети выполнена с возможностью приема данных левого и правого каналов, таких как предварительно обработанные версии левого канала и правого канала, в упорядоченных данных изображения.
[0033] В блоке 508 система 200 наведения летательного аппарата или управления им предварительно обрабатывает множество электронных изображений для формирования упорядоченных данных изображения для анализа с помощью модели многоканальной нейронной сети. Такая предварительная обработка регуляризует данные для обеспечения улучшенных входных данных в модель многоканальной нейронной сети, тем самым позволяя модели многоканальной нейронной сети формировать более точные выходные данные. В некоторых вариантах реализации предварительная обработка множества электронных изображений включает удаление одной или более частей каждого из множества электронных изображений. Еще в одних вариантах реализации предварительная обработка множества электронных изображений для формирования упорядоченных данных изображения включает изменение размера каждого из множества электронных изображений до стандартного размера, чтобы улучшать скорость обработки с помощью модели многоканальной нейронной сети.
[0034] На ФИГ. 6 показан пример способа 600 предварительной обработки для формирования упорядоченных данных изображения в блоке 508 в соответствии с некоторыми вариантами реализации. В некоторых вариантах реализации процессор 214 системы 200 наведения летательного аппарата или управления им исполняет компьютероисполняемую инструкцию, которая может храниться в памяти 212 программ, чтобы осуществить способ 600 предварительной обработки для формирования таких упорядоченных данных изображения. Способ 600 предварительной обработки осуществляет предварительную обработку множества электронных изображений для формирования упорядоченных данных изображений, связанных с таким электронным изображением. В вариантах реализации, осуществляющих способ 600 предварительной обработки, способ 600 предварительной обработки осуществляют для каждого электронного изображения из множества электронных изображений.
[0035] В блоке 602 процессор 214 системы 200 наведения летательного аппарата или управления им принимает электронное изображение от множества электронных изображений, как рассмотрено выше со ссылкой на блок 506. В некоторых вариантах реализации процессор 214 принимает электронное изображение непосредственно из одного из электронных устройств 14 формирования изображений. После того, как электронное изображение принято, электронное изображение предварительно обрабатывают в блоке 604 и блоке 606.
[0036] В блоке 604 процессор 214 удаляет одну или более частей электронного изображения. В некоторых вариантах реализации такие части, удаляемые из электронного изображения, соответствуют одному или более из следующего: небо, воздушный винт летательного аппарата 10, крыло 12 летательного аппарата 10 и/или корпус летательного аппарата 10. В других вариантах реализации удаляемые части соответствуют части неба на электронном изображении и части воздушного винта на электронном изображении. Удаление таких частей электронного изображения улучшает обработку за счет сокращения данных, подлежащих обработке с помощью модели многоканальной нейронной сети, а также благодаря удалению сбивающих с толку элементов, которые могут присутствовать в удаляемых частях электронного изображения.
[0037] В блоке 606 процессор 214 изменяет размер электронного изображения до стандартного размера для улучшения скорости обработки с помощью модели многоканальной нейронной сети. Такое изменение размера может быть выполнено в дополнение или в качестве альтернативы к удалению частей электронного изображения. В некоторых вариантах реализации изменение размера электронного изображения включает масштабирование электронного изображения до стандартного размера. В других вариантах реализации изменение размера электронного изображения включает выравнивания электронного изображения путем поворота или сдвига электронного изображения, например путем выравнивания горизонта или другого элемента, выявленного на электронном изображении (например, части летательного аппарата 10).
[0038] В блоке 608 процессор 214 обеспечивает предварительно обработанное электронное изображение в виде упорядоченных данных изображения, используемых в качестве входных данных модели многоканальной нейронной сети. В некоторых вариантах реализации предварительно обработанное электронное изображение связывают с одним или более дополнительных предварительно обработанных электронных изображений, сформированных из множества электронных изображений перед подачей в модель многоканальной нейронной сети.
[0039] Как показано на ФИГ. 5, в блоке 510 система 200 наведения летательного аппарата или управления им применяет модель многоканальной нейронной сети к упорядоченным данным изображения для формирования предварительной оценки бокового уклонения (304) летательного аппарата 10 относительно положения, соответствующего осевой линии 22 рулежной дорожки 20. Предварительная оценка бокового уклонения (304) указывает оценку расстояния между осевой линией 22 и линией 302 положения центрирования, как отмечалось выше. Применение модели многоканальной нейронной сети к упорядоченным данным изображения может включать обработку упорядоченных данных изображения в соответствии с набором правил, сформированных во время тренировки модели, например, в соответствии со способом 400 тренировки, рассмотренным выше. В некоторых вариантах реализации модель многоканальной нейронной сети выполнена с возможностью приема упорядоченных данных изображения в левом канале и правом канале, соответствующим предварительной обработке электронных изображений из устройства 14 формирования изображений левого крыла и устройства 14 формирования изображений правого крыла. Каким бы образом ни были приняты упорядоченные данные изображения, их обрабатывают с помощью модели многоканальной нейронной сети для формирования предварительной оценки бокового уклонения (304).
[0040] Как отмечалось выше, в некоторых вариантах реализации модель многоканальной нейронной сети тренируют для формирования предварительных оценок, как бокового уклонения (304), так и направления положения корпуса летательного аппарата 10 относительно осевой линии 22, такого как относительное направление 308 положения корпуса летательного аппарата. Такая оценка направления положения корпуса летательного аппарата 10 может быть использована для улучшения отклика системы 200 наведения летательного аппарата или управления им при коррекции бокового уклонения (304), как отмечалось выше. В таких вариантах реализации модель многоканальной нейронной сети выполнена с возможностью применения набора правил, сформированных во время тренировки модели, например, в соответствии со способом 400 тренировки, рассмотренным выше, к упорядоченных данным изображения для формирования предварительной оценки направления положения корпуса. Такая предварительная оценка направления положения корпуса может быть дополнительно подвергнута последующей обработке, как отмечалось выше.
[0041] В блоке 512 система 200 наведения летательного аппарата или управления им выполняет последующую обработку предварительной оценки бокового уклонения (304) для формирования оценки бокового уклонения, пригодной для использования в управлении или наведении летательного аппарата 10. В последующей обработке предварительной оценки бокового уклонения (304) используют одну или более предварительных оценок бокового уклонения (304). Такие предварительные оценки бокового уклонения (304) могут представлять собой оценки, сформированные ранее с помощью способа 500 наведения летательного аппарата или управления им (например, на основе электронных изображений, записанных ранее), которые могут включать предварительные оценки бокового уклонения (304). Такие предыдущие оценки бокового уклонения (304) могут также включать используемые по умолчанию оценки, которые могут быть обновлены посредством одного или более периодов или итераций способа 500 наведения летательного аппарата или управления им.
[0042] В некоторых вариантах реализации последующая обработка предварительной оценки бокового уклонения (304) включает применение фильтра Калмана к предварительной оценке ошибки 304 бокового уклонения для сглаживания изменений в оценках бокового уклонения (304) с течением времени. Применение фильтра Калмана включает обновление оценки бокового уклонения (304) с использованием одной или более предыдущих оценок одного или более предыдущих боковых уклонений (304) летательного аппарата 10 и нового значения предварительной оценки бокового уклонения (304). Благодаря обновлению оценки бокового уклонения (304) в соответствии с взвешенным усреднением текущей и предварительных оценок бокового уклонения (304) применение фильтра Калмана уменьшает влияние выпадающих значений предварительных оценок бокового уклонения (304), сформированных с помощью модели многоканальной нейронной сети. Таким образом, оценка бокового уклонения (304), создаваемая путем последующей обработки данных с использованием фильтра Калмана, является более устойчивой и более точной, особенно когда входные данные (т.е. множество электронных изображений и упорядоченные данные изображения) подвержены воздействию существенного шума.
[0043] В вариантах реализации, в которых система 200 наведения летательного аппарата или управления им формирует предварительную оценку направления положения корпуса летательного аппарата 10, такую предварительную оценку направления положения корпуса летательного аппарата 10 также подвергают последующей обработке с помощью системы 200 наведения летательного аппарата или управления им для формирования оценки направления положения корпуса летательного аппарата 10, такой как относительное направление 308 положения корпуса. В такой последующей обработке оценки направления положения корпуса летательного аппарата 10 также используют одну или более предварительных оценок направления положения корпуса. В некоторых таких вариантах реализации последующая обработка оценки направления положения корпуса летательного аппарата 10 включает применение фильтра Калмана к предварительной оценке направления положения корпуса для сглаживания изменений в оценках направления положения корпуса летательного аппарата 10 с течением времени. Формирование оценки направления положения корпуса летательного аппарата 10 может быть использовано для улучшения отклика системы 200 наведения летательного аппарата или управления им при коррекции бокового уклонения (304), как отмечалось выше.
[0044] В блоке 514 в некоторых вариантах реализации система 200 наведения летательного аппарата или управления им также принимает оценку местоположения из блока 18 GPS летательного аппарата и корректирует эту оценку местоположения на основе оценки бокового уклонения (304), сформированной с использованием модели многоканальной нейронной сети и электронных изображений. Поэтому в таких вариантах реализации оценка бокового уклонения (304), формируемая путем последующей обработки электронных изображений, применения модели многоканальной нейронной сети и последующей обработки получающейся в результате предварительной оценки бокового уклонения (304), может быть использована для дополнения и улучшения точности основанных на GPS оценок местоположения для летательного аппарата 10.
[0045] В некоторых вариантах реализации в блоке 516 система 200 наведения летательного аппарата или управления им также определяет коррекцию направления 306 положения корпуса летательного аппарата 10 для уменьшения бокового уклонения (304) путем направления летательного аппарата 10 к осевой линии 22 рулежной дорожки 20. В таких вариантах реализации система 200 наведения летательного аппарата или управления им также корректирует управление рулем направления летательного аппарата 10 для осуществления коррекции направления 306 положения корпуса летательного аппарата 10. Таким образом, система 200 наведения летательного аппарата или управления им может использовать оценку бокового уклонения (304) летательного аппарата 10 для улучшения автоматизированного управления летательным аппаратом 10 во время руления по земле. Такое улучшение управления способствует улучшению автономного управления летательным аппаратом 10, в частности, для летательного аппарата 10, имеющего функциональные возможности автономной работы. В некоторых таких вариантах осуществления система 200 наведения летательного аппарата или управления им содержит блок 240 управления рулем направления (например, модуль управления рулем направления), выполненный с возможностью формирования таких коррекций направления 306 положения корпуса летательного аппарата 10 и, в других вариантах реализации, выполненный с возможностью осуществления таких коррекций.
[0046] В некоторых вариантах реализации, в которых система 200 наведения летательного аппарата или управления им формирует оценку направления положения корпуса летательного аппарата 10, такую оценку направления положения корпуса также используют (вместе с оценкой бокового уклонения (304)) для определения коррекции направления 306 положения корпуса, чтобы достичь более точного управления летательным аппаратом 10.
[0047] Хотя выше были описаны различные варианты реализации, они не предназначены для ограничения настоящего изобретения. В раскрытые варианты реализации могут быть внесены изменения, которые при этом входят в объем прилагаемой формулы изобретения.