СПОСОБ И УСТРОЙСТВО ДИСТАНЦИОННОГО ОСМОТРА СОСТОЯНИЯ ДВИГАТЕЛЯ ВОЗДУШНОГО СУДНА
METHOD AND DEVICE FOR REMOTE INSPECTION OF AIRCRAFT ENGINE CONDITION

Область техники, к которой относится изобретение
Настоящее изобретение относится к области проверки разрабатываемых двигателей воздушных судов или двигателей, проходящих техническое обслуживание после посадки вслед за полетом, или двигателей, техническое обслуживание которых выполняют в соответствии с планом, и, более конкретно, касается устройства и способа для обеспечения помощи в дистанционной диагностике в ходе проверки состояния двигателя воздушного судна, выполняемой на месте оператором с использованием эндоскопа или камеры, применяемых для фиксации изображений указанного двигателя и для выполнения измерений, результаты которых будут переданы с документацией и контрольными изображениями по меньшей мере на одно удаленное конечное устройство, используемое по меньшей мере одним удаленно расположенным экспертом для выполнения совместного анализа указанных изображений и указанных измерений, указанное устройство также содержит переносной корпус, который может быть соединен с монитором и который снабжен средством беспроводной связи с эндоскопом и средством предоставления возможности оператору ручного и/или автоматического дополнения зафиксированных изображений и результатов выполненных измерений аудио и/или видео и/или текстовыми комментариями.
Также изобретение касается способа предоставления помощи для дистанционной диагностики во время эндоскопии двигателя воздушного судна.
Изобретение также касается компьютерной программы, которая хранится на носителе информации и которая содержит команды для осуществления этапов указанного способа.
Уровень техники
В ходе проверки состояния двигателя воздушного судна после посадки вслед за полетом, в ходе выполняющегося в соответствии с планом технического обслуживания или в ходе испытаний в ходе разработки двигательной установки или компонентов двигателей воздушных судов, операторы проверяют и испытывает части двигателя на месте у основания крыла воздушного судна или, при разработке, на испытательных стендах или установках технического обслуживания. Эти двигатели иногда могут быть исследованы техническими экспертами, которые не всегда находятся в месте проведения проверок и испытаний и которые должны посетить указанное место для осмотра состояния компонентов и предоставить операторам свои технические мнения и рекомендации. В частности, экспертам нужно анализировать дефекты, наблюдаемые в ходе эндоскопии, и для осуществления указанного им нужна информация, которую они могут использовать для определения природы дефекта или повреждения. Следовательно, эксперт должен обладать возможностью получить результаты эндоскопии, выполненной оператором, для сбора всех необходимых данных для своего анализа, чтобы он мог провести надежную диагностику и выдать значимые рекомендации относительно действий, которые нужно предпринять для решения упомянутой проблемы.
Более того, решения должны быть приняты быстро и однозначно с целью определения уровня повреждения, чтобы можно было быстро вернуть воздушное судно в эксплуатацию или чтобы можно было завершить испытательную операцию.
В настоящее время, технические решения, в выработке которых участвуют несколько площадок и удаленно расположенные лица, принимаются после нескольких телефонных совещаний или электронных писем, которые могут содержать фото или видео.
Эта процедура включает в себя несколько итераций, когда присутствует недопонимание между операторами, осуществляющими испытания, и аналитиками, анализирующими результаты этих испытаний или экспертиз. Это обязывает операторов делать очень много фотографий, чтобы убедиться, что они не пропускают критическую область проверяемого двигателя. По соображениям безопасности техническая информация в области авиации должна передаваться однозначно. Для достижения этого, удаленно расположенные эксперты должны обладать результатами измерений, изображениями и видео, сделанными с конкретных углов зрения.
В результате, операторам, работающим рядом с установкой, нужно обладать возможностью легко перемещаться вокруг установки, чтобы получать доступ к различным проверяемым зонам. Это не всегда возможно для существующих воздушных судов, из-за пространства, занятого из-за использования некоторых инструментов, соединенных несколькими кабелями, которые мешают операторам, работающими с испытываемым воздушным судном, и так как обоим рукам операторов часто нужно находиться в очень ограниченном пространстве, в котором операторы работают под крылом (только несколько сантиметров зазора).
Более того, при неоптимальных условиях связи (наличие помех, отсутствие покрытия сетью, электромагнитные помехи), качество изображений и результатов выполненных измерений может быть недостаточно хорошо для того, чтобы эксперты осуществили надежную диагностику.
Одна цель настоящего изобретения заключается в предоставлении операторам, выполняющим измерения, возможности беспрепятственного доступа ко всем зонам двигателя, подлежащего проверке, и предоставления возможности перемещения вокруг двигателя при проведении осмотра и выполнении измерений, и предоставления возможности в режиме реального времени делиться результатами измерений с удаленно расположенными экспертами.
Другая цель настоящего изобретения заключается в том, чтобы предоставить экспертам точную информацию и, в частности, результаты выполненных измерений и изображения, зафиксированные в ключевых зонах, чтобы они могли выполнить диагностику, независимо от погодных условий и топологии места, в котором выполняются испытания.
Раскрытие сущности изобретения
Указанная цель достигается благодаря использованию небольшого и компактного устройства, приспособленного ко всем типам эндоскопического оборудования и аналоговым камерам и ко всем контекстам проведения эндоскопии или фиксации видео двигательных установок или компонентов (под крылом, снятым и так далее), так что операторы, находящиеся в месте проведения осмотра и испытаний, могут добраться до разных зон испытываемой двигательной установки без ограничения, чтобы быстро идентифицировать и показать любые дефекты и передать зафиксированные изображения и результаты измерений в режиме реального времени.
Это устройство содержит по меньшей мере один эндоскоп, снабженный камерой, которые используются на месте по меньшей мере одним оператором для фиксации изображений указанного двигателя и для выполнения измерений, подлежащих передаче по меньшей мере на одно удаленное конечное устройство для использования по меньшей мере одним удаленно расположенным экспертом с целью совместного анализа указанных изображений и указанных результатов измерений.
Устройство, соответствующее изобретению, также содержит переносной корпус, которым управляет оператор, находящийся в месте проведения осмотра и испытаний, которое снабжено средством беспроводной связи с эндоскопом и средством, с помощью которого указанный оператор может вручную или автоматически дополнить зафиксированные изображения и результаты выполненных измерений аудио и/или видео и/или текстовыми комментариями.
Указанный переносной корпус также содержит программный модуль, выполненный с возможностью генерирования контекста проведения операций в зависимости от данных о местоположении, предоставленных GPS, данных о погоде в месте проведения эндоскопии, и данных о сети связи и данных, описывающих ход выполнения эндоскопии. Данные о погоде содержат информацию о температуре, давлении и влажности воздуха, которая характеризует атмосферный контекст для эндоскопии. Данные, описывающие ход выполнения эндоскопии, могут содержаться в журнале событий, например, генерируемом эндоскопом автоматически, или генерируемом переносным корпусом и в котором упоминаются отклонения процедуры осуществления эндоскопии, такие как ошибка модуля измерений.
Удаленно расположенные эксперты могут обратиться к добавленным аудио и/или видео и/или текстовым комментариям, чтобы направить оператора, находящегося в месте проведения осмотра и испытаний в ходе осуществления испытаний. Эксперты могут помочь принять решения и предвидеть корректирующие действия за очень короткие промежутки времени.
Указанный переносной корпус также содержит интерфейс беспроводной связи, который операторы, находящиеся в месте проведения осмотра и испытаний, могут использовать для обмена с экспертом зафиксированными изображениями, документацией и результатами выполненных измерений, дополненными аудио и/или видео и/или текстовыми комментариями, в режиме реального времени или в диалоговом режиме.
Таким образом, когда удаленно расположенные эксперты принимают координаты расположения головки эндоскопа, где найдено возможное отклонение, после осмотра возможного отклонения на изображениях, переданных оператором, они могут направить оператору команды по его направлению в плане осуществления измерений и/или фиксации изображений других частей и в других местах двигателя.
В одном предпочтительном варианте осуществления изобретения переносной корпус содержит устройство кодирования, нужное для регулировки скорости обмена информацией с удаленным конечным устройством в зависимости от характеристик сети, что нужно для поддержания максимального качества изображения и минимальной задержки. Заметим, что переносной корпус может быть выполнен с возможностью передачи уменьшенного объема информации на удаленное конечное устройство в случае помех в сети связи. Указанный уменьшенный объем информации содержит координаты головки эндоскопа, одно изображение в секунду или только одно соответствующее изображение, представляющее некоторое отклонение и для направления по меньшей мере одного изображения на удаленное конечное устройство после автоматического обнаружения конкретного шаблона, который может представлять некоторое отклонение.
Удаленное конечное устройство содержит виртуальное представление указанного двигателя в трех измерения (3D), которое удаленно расположенные эксперты могут использовать для поиска некоторого отклонения в двигателе, для определения местоположения отклонения с использованием координат головки эндоскопа, и программный модуль поиска неисправности, выполненный с возможностью сравнения изображения, зафиксированного эндоскопом по меньшей мере с одной моделью или шаблоном отклонений, ранее сохраненных в первой базе данных.
Указанная виртуальное представление является виртуальным трехмерным (3D) макетом указанного двигателя.
Удаленное конечное устройство принимает координаты головки эндоскопа, соответствующие возможному отклонению, эти координаты используются программным модулем поиска неисправности, которое определяет положение, указанное на 3D макете. Далее удаленно расположенный эксперт может изучить возможное отклонение на изображениях, переданных оператором, и возможно направить оператору команды для его направления по выполнению других измерений и/или фиксации других изображений.
Заметим, что программный модуль поиска неисправности также может быть реализован на удаленном сервере, который содержит базу данных и модели статистического анализа.
Корпус также содержит соединения с аудио шлемом, планшетом и/или переносным компьютером и памятью для сохранения зафиксированной информации и изображений, и обмена результатами измерений, и модуль преобразования, выполненный с возможностью преобразования зафиксированных изображений из формата данных, определенного для эндоскопа, в формат данных, который может быть использован удаленным конечным устройством.
Способ помощи дистанционной диагностике, соответствующий изобретению, включает в себя следующие этапы, на которых:
- передают указанные изображения и указанные результаты измерений от эндоскопа на переносной корпус, выполненный с возможностью соединения с монитором и отслеживаемый оператором;
- вручную и/или автоматически дополняют указанные изображения и указанные результаты измерений аудио и/или видео и/или текстовыми комментариями;
- обмениваются изображениями, результатами измерений, документацией и контрольными изображениями между указанным переносным корпусом и указанным удаленным конечным устройством, используемым экспертом, в режиме реального времени, и в диалоговом режиме с помощью беспроводного соединения с целью анализа указанных изображений и указанных результатов измерений и с целью совместного проведения диагностики.
Указанный способ также включает в себя предварительный этап, состоящий в генерировании контекста проведения операций в зависимости от данных о местоположении, предоставленных GPS, данных о погоде в месте проведения эндоскопии и данных о сети связи.
Этот способ также включает в себя проверку связи и вычисление полосы пропускания с целью проверки, обладает ли сеть надежной связью между переносным корпусом и удаленным конечным устройством, и включает в себя этап, состоящий в регулировке скорости обмена информацией между переносным корпусом и удаленным конечным устройством в зависимости от характеристик сети, что делают для сохранения максимального качества изображений и минимальной задержки.
В одном варианте осуществления изобретения, способ, соответствующий изобретению, также включает в себя этап, состоящий в передаче уменьшенного объема информации на удаленное конечное устройство в случае помех в сети связи.
Этот способ, соответствующий изобретению, реализуют с использованием компьютерной программы, которая хранится на носителе информации и которая содержит команды для осуществления этапов указанного способа при его выполнении на планшете или компьютере.
Краткое описание чертежей
Другие характеристики и достоинства изобретения будет легко понятны из приведенного ниже описания, которое надо рассматривать как не ограничивающий изобретение пример, и в котором содержатся ссылки на приложенные чертежи, на которых:
фиг. 1 - вид, схематично показывающий устройство, соответствующее изобретению,
фиг. 2 - вид, схематично показывающий этапы способа, соответствующего изобретению.
Осуществление изобретения
На фиг. 1 схематично показано устройство обеспечения помощи в дистанционной диагностике в ходе проверки состояния двигателя воздушного судна, например, в ходе эндоскопии, осуществляемой на месте операторами 20 в положении у основания крыла воздушного судна или, при разработке, на испытательных стендах или установках технического обслуживания с целью фиксации изображений, в частности, внутри двигателя воздушного судна и с целью выполнения измерений, результаты которых будут переданы на несколько удаленных конечных устройств 22, используемых несколькими экспертами 24, готовыми для совместного анализа указанных изображений и указанных результатов измерений. Изображения и результаты измерений получают с использованием эндоскопа 26 или камеры 28, связывающихся с помощью беспроводной линии связи с переносным корпусом 30.
В одном предпочтительном варианте осуществления изобретения планшет физически связан с переносным корпусом с целью формирования компактного устройства в сборе.
Далее в описании переносной корпус 30 будет представлять это компактное устройство в сборе.
В одном альтернативном варианте осуществления изобретения переносной корпус выполнен независимым от планшета или переносного компьютера, или любого другого интерфейса между человеком и машиной, с помощью которого организуют связь, например, через беспроводную линию связи.
В этом предпочтительном варианте осуществления изобретения контекст проведения операций эндоскопии генерируют с помощью программного модуля, встроенного в переносной корпус 300, в зависимости от данных о местоположении, предоставленных GPS, данных о погоде в месте проведения эндоскопии и данных о сети связи. Таким образом, в начале публикации изображений и результатов измерений и в ходе эндоскопии, этот программный модуль извлекает контекст с использованием нескольких источников информации:
- GPS или другая система позиционирования;
- данные о погоде, касающиеся места проведения эндоскопии, например, с использованием API (прикладной программный интерфейс);
- информация о метках времени, касающаяся публикации результатов выполненных измерений и зафиксированных изображений;
- данные о месте проведения эндоскопии, данные аэропорта (например, высота и так далее);
- данные сети: тип сети, пропускная способность, дрожание, задержка и так далее.
Информацию записывают, чтобы предоставить в окончательном отчете об эндоскопии.
Знание контекста проведения операций позволяет определить идеальные параметры кодирования для публикации изображений и результатов измерений в любое время.
Корпус 30 также содержит программное обеспечение, которое операторы 20 могут использовать для дополнения зафиксированных изображений и результатов выполненных измерений аудио и/или видео и/или текстовыми комментариями. Эти комментарии могут быть введены вручную с использованием виртуальной клавиатуры или с использованием голосового управления и/или автоматически с использованием устройства чтения NFC (беспроводная связь ближнего радиуса действия) или инерциального блока, связанного с эндоскопом 26. Эти комментарии могут содержать информацию о ходе выполнения эндоскопии.
Более того, корпус 30 снабжен интерфейсом беспроводной связи, который обеспечивает соединение с сетью Интернет с помощью антенны 32, расположенной в месте нахождения установок. Корпус 30 также содержит модуль проверки связи и модель вычисления полосы пропускания, которые проверяют, может ли сеть осуществлять надежную связь между операторами 20 и экспертами 24 и оценивают максимально возможную скорость передачи двоичных данных между корпусом 30 и удаленными конечными устройствами 22.
Для поддержания максимального качества изображений и минимальной задержки, корпус 30 также содержит устройство кодирования, которое регулирует скорость передачи двоичных данных и передаваемой информации в зависимости от характеристик сети и параметров кодирования, определенных с помощью панели получения, встроенной в корпус 30. Параметры кодирование содержат, например, разрешение (например, 1024x768), количество кадров в секунду (например, 24 кадр/с) и тип устройства кодирования (например, Н264, VP8). Устройство кодирования использует эти параметры для регулировки кодирования видео изображений в зависимости от выбранной сети. Таким образом, когда полоса пропускания сети слишком узка для передачи потока видео, устройство кодирования может передавать уменьшенный объем информации, такой как координаты головки эндоскопа, и одно изображение в секунду или возможно одно изображение, выбранное оператором, и результаты выполненных измерений. Удаленное конечное устройство, на котором работает эксперт, может содержать трехмерный виртуальный макет двигателя. С учетом информации о положении для части двигателя и головки эндоскопа, угла зрения и изображения, эксперт может расположить и показать целевую деталь двигателя и, таким образом, попросить оператора сделать другие фотографии для анализа неисправности.
В другом варианте осуществления изобретения изображение может быть направлено эксперту после автоматического обнаружения конкретного шаблона, показывающего повреждение.
Оператор и удаленно расположенные эксперты в диалоговом режиме обмениваются зафиксированными изображениями, результатами измерений, выполненных в контексте проведения эндоскопии, документацией и контрольными изображениями, дополненными аудио и/или видео и/или текстовыми комментариями, и информацией о положении камеры и измерительных зондов. Удаленно расположенные эксперты анализируют полученную информацию и при необходимости направляют оператора в точные места для проведения измерений и фиксации фотографий.
На фиг. 2 показаны этапы сессии проверки и совместного анализа, выполненной с использованием устройства, которое соответствует изобретению.
До выполнения эндоскопии, на этапе 40 оператор 20 начинает проверку связи и поиск доступных сетей. В ходе этого этапа модуль проверки связи вычисляет полосу пропускания и, на этапе 42, выбирает наиболее подходящую скорость передачи данных для надежного обмена информацией между корпусом 30 и удаленными конечными устройствами 22.
На этапе 44 оператор 20 выполняет измерения и фиксирует видео изображения для подлежащих проверке зон двигателя.
На этапе 46 устройство кодирования упаковывает видео пакеты в транспортный протокол (например, RTP, RTMP) для публикации потока видео через сеть интернет на сервере обмена видео или изображений и/или звука, с которым удаленно расположенные эксперты 24 могут соединиться, например, с помощью линии связи WiFi с целью получения опубликованной информации. Эксперты также могут получить эту информацию напрямую на каждое из их конечных устройств.
Заметим, что устройство генерирования контекста извлекает информацию, описывающую контекст проведения эндоскопии в начале публикации результатов измерений и потока видео и в ходе проведения эндоскопии (этап 48). Далее эту информацию записывают, чтобы предоставить позже в окончательном отчете об эндоскопии. Удаленно расположенные эксперты 24 используют данные о контексте для проведения подробного анализа явлений, обнаруженных в ходе эндоскопии, и проведения точной диагностики причин повреждений.
Система эндоскопа для фиксации видео извлекает одно изображение из двадцати четырех в секунду (этап 50) (24 кадр/с). Далее это изображение обрабатывает программный модуль поиска неисправности, установленный в корпусе 30 и выполненный с возможностью или обнаружения отклонений, или распознавания QR кода или любой другой системы маркировки частей двигателя. Программный модуль поиска неисправности сохраняет информацию о времени (метки времени), касающуюся публикации результатов выполненных измерений и зафиксированных изображений в памяти корпуса 30. В одном альтернативном варианте осуществления изобретения удаленный сервер может выполнять обработку изображений.
На этапе 52 программный модуль поиска неисправности сравнивает извлеченное изображение или часть этого изображения с моделями или шаблонами отклонений, которые были ранее сохранены в первой базе 54 данных. Эта база данных может быть записана на удаленном сервере, к которому имеют доступ удаленно расположенные эксперты 24. При обнаружении некоторого отклонения или при достижении порога неопределенности, программное обеспечение поиска неисправности вырабатывает уведомления, которые показывают на экране планшета, связанного с корпусом 30, и на экранах удаленных конечных устройств 22. Оператор 20 дополняет эти уведомления аудио и/или видео комментариями, передаваемыми в режиме реального времени (этап 56) удаленно расположенным экспертам 24. Другую информацию автоматически добавляют к зафиксированным изображениям от устройства чтения NFC (беспроводная связь ближнего радиуса действия) и/или инерциального блока, связанного с эндоскопом 26. Информация, собранная устройством чтения NFC, является данными, характеризующими часть двигателя, на котором расположена микросхема NFC. Например, устройство чтения NFC помогает идентифицировать часть или найти ее расположение на трехмерном виртуальном макете, представляющем двигатель. Эксперт может использовать положение части на виртуальном макете для направления оператора 20 в диалоговом режиме с целью точного указания зон, которые нужно идентифицировать. Эксперты используют другую информацию, такую как дата введения указанной части в эксплуатацию, и ее характеристики, и источник, что делают для осуществления анализа эндоскопии.
На этапе 58 модуль поиска неисправности считывает QR код или любую другу систему визуальной маркировки части и обращается ко второй базе 60 данных, содержащей информацию обо всех частях двигателя и их расположении и их соответствующих функциях в двигательной установке.
Предпочтительно, чтобы положение части в двигательной установке использовало три возможных источника информации:
инерциальный блок, находящийся в камере эндоскопа и предоставляющей информацию о перемещении и использующий информацию о чертежах двигателя, которая сохранена в третьей базе 61 данных, для оценки положения камеры. Эта информация автоматически добавляется к зафиксированным изображениям;
информация о положении, предоставляемая на этапе 58 от распознавания визуальных меток, таких как QR код;
информация, полученная при чтении RFC метки (или аналогичной) с помощью устройства чтения, которое установлено на головке штатива камеры.
На этапе 62 данные о положении, данные обнаружения/распознавания частей или отклонений, полученные в ходе предыдущих этапов, автоматически добавляют в режиме реального времени к потоку видео для передачи экспертам 24. Эти данные далее показывают на этапе 64.
Данные о положении используют для формирования макета в трех измерениях с помощью изображений, переданных в потоке видео. Далее данные о положении необходимо сделать соответствующими трехмерному макету путем выполнения, при необходимости, калибровок положений. Например, если информация о положении смещена, трехмерный макет возможно использовать для ее корректировки путем выполнения интерполяции текущего положения головки эндоскопа в зависимости от предыдущих положений головки эндоскопа и проекции текущего положения трехмерного макета. В одном альтернативном варианте осуществления изобретения данные о калибровке могут быть переданы на инерциальный блок для корректировки данных о положении.
Целесообразно, чтобы связь потока изображений и трехмерного макета могла быть использована для погружения эксперта в контекст проведения эндоскопии.
На этапе 66 данные, сгенерированные в ходе сессии, объединяют на линии времени, в соответствии с которой может быть воспроизведено видео, или документация или контрольные изображения могут быть найдены вместе со всеми данными наблюдений при эндоскопии.
Если эксперты считают, что они получили достаточно информации в режиме реального времени, чтобы выполнить диагностику, они передают результаты своей диагностики непосредственно оператору 20 или голосовым образом или с помощью сервиса передачи сообщений. В конце проведения осмотра, совместную сессию прерывают и данные (видео, фото, результаты измерений, разговоры и так далее), которыми обменивались в ходе сессии сохраняют (этап 70) в памяти 72.
Устройство, соответствующее изобретению, предоставляет аппаратное и программное решение на основе стандартных интерфейсов и может быть приспособлено ко всем типам эндоскопического оборудования и ко всем типам камер (а не для отдельного производителя или одной модели) и для всех контекстов проведения эндоскопии и записи видео двигательных установок или компонентов.