СПОСОБ ВЫЯВЛЕНИЯ ТРУДНО РАЗЛИЧИМЫХ ПРЕПЯТСТВИЙ, СПОСОБНЫХ СОЗДАВАТЬ ПОМЕХИ НИЗКОЛЕТЯЩИМ ВЕРТОЛЕТАМ И САМОЛЕТАМ
METHOD OF DETECTING OBSTRUCTIONS HARD TO DISTINGUISH AND CAPABLE OF CREATING INTERFERENCE FOR LOW-ALTITUDE HELICOPTER AND AEROPLANES

Изобретение относится к области сигнализации, а более конкретно к способам и системам оповещения о препятствиях, представляющих угрозу безопасности полетов низколетящих аппаратов, например вертолетов.
В России и в ряде зарубежных государств полеты вертолетов в сложных метеорологических условиях (снег, дождь, туман) неоднократно приводили к их авариям и катастрофам вследствие столкновения с препятствиями искусственного происхождения, в частности с линиями электропередачи (ЛЭП), их опорами, телевизионными и радиоантеннами и т.п. Это объясняется спецификой полетов вертолетов на незначительной высоте при выполнении строительных, монтажных и погрузочно-разгрузочных работ, а также при взлете-посадке на неподготовленных площадках. При этом основную опасность представляют именно искусственные сооружения, поскольку все естественные препятствия, такие как горы, холмы и другие возвышенности, обычно отражены на полетных картах и/или в памяти бортового компьютера. С другой стороны, искусственные сооружения воздвигаются в считанные дни и часы, не отражены на картах и зачастую являются трудно различимыми в сложных метеорологических условиях. Наиболее серьезную проблему представляют такие сооружения, как антенны, вышки, линии электропередач и их опоры, которые практически не обнаруживаются штатными локаторами. Определенную опасность представляют также отдельно стоящие высокие деревья и мачты.
Из уровня техники известны различные попытки решения этой проблемы. В частности, в патентах США №5,111,210 [1] и №4,884,019 [2] описаны системы оповещения пилота вертолета о наличии препятствия, которое обнаруживается за счет отражаемого сигнала излучателя, в частности, работающего в СВЧ-диапазоне. Недостатком этих решений является неудовлетворительная точность выявления действительно опасного препятствия, что приводит к большому числу ложных срабатываний сигнализации, особенно в неблагоприятных внешних условиях, например в промышленных районах с высокой электромагнитной активностью.
Известна также узкоспециализированная система, описанная в патенте США №5,859,597 [3] и предназначенная для обнаружения препятствий в виде линий электропередачи. Эта система реагирует на электромагнитное поле, возникающее при нагруженной линии электропередачи. При отключенном токе эта система бесполезна.
Наиболее близким к заявляемому изобретению является техническое решение, описанное в патенте США №5,371,581 [4] и предлагающее устанавливать на корпусе вертолета вращающегося в горизонтальной плоскости лазерного дальномера, определяющего расстояние до окружающих наземных сооружений. За счет конструктивных особенностей, например установки на гиростабилизированной опоре, дальномер обеспечивает квазигоризонтальный (планарный) обзор окрестностей. Некоторые особенности обработки отраженного сигнала позволяют устанавливать минимальное и максимальное расстояние детектирования препятствий. Это позволяет исключать срабатывания устройства как при отражении от безопасно отдаленных объектов, так и от очень близких объектов, например опор посадочных лыж и т.п. Основным недостатком этого решения является использование узкого пучка лазерного излучения, ограниченного горизонтальной плоскостью, что делает устройство практически бесполезным при необходимости обнаружения тонких кабелей ЛЭП и решетчатых сооружений.
Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы разработать способ выявления препятствий любой конфигурации в сложных метеоусловиях с повышенной точностью, не отвлекая пилота на ложные срабатывания, а также систему для реализации такого способа.
Технический результат достигается за счет применения нового способа выявления трудно различимых препятствий, преимущественно препятствий искусственного происхождения, способных создавать помехи низколетящим вертолетам и самолетам, заключающегося в выполнении панорамной видеосъемки окружающего пространства, предпочтительно, в инфракрасном диапазоне с последующей компьютерной обработкой полученных видеосигналов, при этом компьютерная обработка заключается в предварительной фильтрации и контрастировании изображений и в распознавании потенциально опасных препятствий с помощью алгоритмов распознавания решетчатых и линейных структур.
Реализация заявляемого способа осуществляется с помощью автоматизированной системы, включающей в себя цифровую видеокамеру, выполненную с возможностью съемки в инфракрасном диапазоне 8-12 мкм, установленную на гиростабилизированной платформе, причем выход видеокамеры подключен к входу коммутатора, а выход коммутатора подключен к монитору визуального наблюдения пилота и к входу бортового вычислительного модуля, содержащего последовательно включенные блоки (подсистемы) контрастирования изображения, выделения признаков объекта и анализа ситуации, при этом выход бортового вычислительного модуля подключен к блоку тревожной сигнализации.
Автоматизированная система предотвращения столкновений летательного аппарата, в частности вертолета, с препятствиями искусственного происхождения функционирует следующим образом.
Цифровая ИК-камера, установленная в передней части вертолета на гиростабилизированной платформе, производит видеосъемку пространства по курсу полета вертолета в ИК-диапазоне. После получения цифрового изображения, оно поступает по линии связи в коммутатор, который в свою очередь направляет полученный видеосигнал на монитор в кабине пилотов и в подсистему (блок) контрастирования видеоизображения. В подсистеме контрастирования видеоизображения происходит непосредственно улучшение видеоизображения, в частности контрастирование. Контрастированное изображение поступает затем в подсистему обработки видеоизображения, где с помощью описанных ниже алгоритмов происходит обработка полученного изображения с целью «распознавания» объектов, представляющих опасность для безаварийного полета вертолета. Такими объектами могут быть вышки ЛЭП, радиовышки и другие искусственные препятствия, представляющие собой конструкцию решетчатого типа. Подсистема определяет значения показателей и записывает их в файл. Подсистема анализа получает значения показателей, рассчитанных в подсистеме обработки видеоизображения, и производит их анализ. В случае «распознания» на видеоизображении «опасного» объекта происходит отправка аналогового сигнала в блок тревожной сигнализации. Реализация подсистем контрастирования, обработки видеоизображения и принятия решения происходит на базе БВМ (бортового вычислительного модуля). Программно-реализованные алгоритмы указанных выше подсистем выполняются с достаточно высокой скоростью, т.к. современные БВМ обладают высокой вычислительной мощностью. Блок тревожной сигнализации, при поступлении на его вход сигнала о возможности столкновения с препятствием, отправляет сигналы на контрольную лампу с надписью «ОПАСНОСТЬ», расположенную в блоке контрольных ламп в кабине пилотов, а также блок тревожной сигнализации отправляет сигнал на звуковой динамик, расположенный также в кабине пилотов. Кроме того, существует возможность записи информации о событии «опасность столкновения с объектом типа решетчатой конструкции» и его времени свершения в БЗУ или бортовой самописец.
Таким образом, в случае возможности столкновения вертолета с «объектом типа решетчатых конструкций» пилот вертолета будет проинформирован об этом с помощью звукового сигнала, а также с помощью сигнальной лампы. После оповещения пилот может немедленно посмотреть на видеосмотровое устройство (монитор), где отображается первичный видеосигнал с ИК-камеры, и убедиться в наличии препятствия по трассе следования вертолета и оценить расположение этого препятствия. У пилота появляется возможность избежать столкновения путем применения активного маневрирования.
Концептуальная схема автоматизированной системы предупреждения столкновения с препятствиями искусственного происхождения представлена на Фиг.1, где:
101 - подсистема настройки параметров системы и отображения информации
102 - подсистема получения видеоизображения
103 - подсистема контрастирования видеоизображения
104 - подсистема обработки видеоизображения
105 - подсистема анализа
106 - подсистема тревожной сигнализации
107 - пилот
108 - настройщик системы
Схема функционирования автоматизированной системы предупреждения столкновения с препятствиями искусственного происхождения представлена на Фиг.2, где:
201 - звуковой динамик
202 - ЛПР (пилот)
203 - визуальные и предупреждающие сигналы
204 - звуковой предупреждающий сигнал
205 - аналоговый сигнал
206 - монитор
207 - блок контрольных ламп
208 - пульт управления
209 - настройка системы
210 - аналоговый сигнал
211 - параметры настройки подсистем
212 - сигнал об обнаружении препятствия
213 - блок тревожной сигнализации
214 - бортовой самописец
215 - подсистема анализа
216 - подсистема обработки видеоизображения
217 - подсистема контрастирования изображения
218 - коммутатор
219 - первичный видеосигнал
220 - ИК-камера
221 - ЛЭП
222 - первичный видеосигнал
Успешное функционирование заявляемой системы зависит, в первую очередь, от эффективности операций, выполняемых бортовым вычислительным модулем (БВМ) по распознаванию опасных ситуаций. Предполагается, что работа БВМ будет основываться на комплексе алгоритмов, включающем:
- алгоритм контрастирования видеоизображений;
- алгоритм предварительной обработки видеоизображений;
- алгоритм распознавания проводов ЛЭП;
- алгоритмы распознавания («решетчатых» и «линейчатых») конструкций типа опор ЛЭП.
При разработке этих алгоритмов авторы исходили из следующих соображений.
Линии ЛЭП, различные антенны, мачты и другие объекты можно приближенно характеризовать как «решетчатые конструкции». Это геометрическое описание в меньшей мере относится к системам проводов ЛЭП, расположенным между соседними опорами, с другой стороны, опасную близость к таким системам можно в значительной мере отслеживать с помощью своевременного обнаружения этих опор при достаточно широком угле обзора по курсу перемещения летательного аппарата (ЛА). Поэтому очевидна практическая полезность разработки средств надежного и своевременного обнаружения с борта ЛА объектов рассматриваемого типа. Будем их условно называть «объектами типа решетчатых конструкций» (ОТРК).
Поскольку напряженная работа пилота не позволяет ему постоянно и достаточно внимательно следить за возможным появлением в опасной близости ОТРК (а также существуют и беспилотные ЛА), то целесообразно ориентироваться на автоматическое обнаружение ОТРК с выдачей (при необходимости) специальных предупреждающих сигналов. Такое обнаружение, естественно, должно базироваться на методах теории распознавания, которая обычно предполагает параметрическое описание всего множества возможных (подвергаемых анализу) объектов с помощью формирования так называемого признакового пространства.
Выбор каждого признака (оси системы координат признакового пространства) является очень важным для построения эффективного алгоритма распознавания. Достоверность распознавания может быть значительно повышена за счет использования большего числа признаков, но «плохой» признак может существенно снизить эффективность алгоритма распознавания (достаточно хорошо "работающего" без этого признака), не говоря уже о бессмысленном увеличении размерности признакового пространства, приводящем, вообще говоря, к существенному увеличению объема необходимых расчетов. С этим связана и объективная сложность решения проблемы выбора универсального набора признаков, предназначенного для анализа (распознавания) рассматриваемого множества классов объектов.
Учитывая вышеприведенные моменты, необходимо решить задачу выбора достаточно хороших признаков именно для распознавания ОТРК. При этом предполагается, что ОТРК (вместе с некоторым фоном) отображаются на двумерной матрице интенсивности монохромного изображения, полученного, например, с помощью цифровой ИК-камеры. Более того, предполагается в значительной мере ориентироваться именно на ИК-изображения металлических ОТРК, поскольку с такими изображениями были проведены эксперименты.
На плоских (двумерных) изображениях рассматриваемого типа ОТРК обычно выглядят как участки нерегулярной сетки, яркость пикселей которой варьируется в небольшом диапазоне и существенно отличается от яркости большинства пикселей фона. Сетка составлена из отрезков линий (на изображении - узких полосок), близких к отрезкам прямых линий. Длина каждого такого отрезка существенно больше его ширины (оценка соотношения этих величин фактически учитывается в задаваемых параметрах настройки алгоритмов). Приведенное представление позволяет сформировать соответствующие признаки, опирающиеся на топологические и локальные свойства изображения. Для этого можно использовать некоторый способ обнаружения сетчатой структуры изображения (топологическое свойство, непосредственно не связанное с тем, что сетка образована относительно тонкими линиями), а также обнаружения «линейчатой» структуры с помощью анализа анизотропии изображения в окрестности отдельных пикселей (что относится к классу локальных свойств). Таким образом, выбор алгоритмов обработки основывается на наличии у изображения как топологических свойств (не имеющих непосредственной привязки к отдельным элементам изображения), так и локальных свойств. Именно исследования в области этих двух свойств изображения и позволили разработать представленные ниже два алгоритма обработки и распознавания изображений.
Алгоритм А, условно названный авторами алгоритмом «разрастания зародыша», опирается на оценку степени связности фигуры, заданной на прямоугольной матрице блока монохромного изображения (алгоритм связан с обнаружением сетчатых структур). Полагаем, что пиксели, относящиеся к ОТРК, находятся в некотором достаточно узком диапазоне яркостей. При необходимости этот диапазон может быть сужен с помощью специальных методов обработки изображений, например, когда средняя яркость изображения монотонно меняется в каком-нибудь направлении. Из сказанного следует, что требуется «настройка» подходящего диапазона яркостей для того, чтобы в него попали все или большинство пикселей ОТРК. В этот же диапазон может попасть и некоторое количество пикселей фона, но выбранный (описываемый ниже) алгоритм малочувствителен к относительно небольшому числу таких пикселей. Заметим, что для решения этой задачи может потребоваться той или иной полноты перебор возможных (целочисленных) диапазонов яркости. Заметим также, что значение признака принадлежности к ОТРК должно рассчитываться и тогда, когда на изображении отсутствует ОТРК, но это значение должно существенно отличаться от значения этого признака распознавания при наличии ОТРК на изображении.
Таким образом, с помощью задания границ подобранного диапазона яркостей получаем множество пикселей, составляющих некоторую фигуру. Для этой фигуры необходимо рассчитать целочисленное значение (значение признака), которое будем называть степенью связности фигуры (ССФ). Для определения этого понятия необходимо сначала уточнить, что в рассматриваемом дискретном описании следует понимать под термином «связность фигуры».
В дискретном представлении понятие связности непосредственно определяется представлением о соседних (прилегающих друг к другу) пикселях. В данном рассмотрении считаем, что «соседями» пикселя могут быть только четыре пикселя, прилегающие к нему снизу, справа, сверху и слева. Тогда связность понимается как наличие в пределах фигуры пути от «соседа» к «соседу», соединяющего любые два заданных пикселя этой фигуры. Заметим, что отсюда также следует, что сам этот путь является связной фигурой.
Если фигура является связной, то ССФ понимаем как максимально возможное число путей между различными пикселями фигуры, любые два из которых нельзя совместить друг с другом с помощью их последовательной деформации в пределах фигуры с сохранением на каждом шаге связности самих этих путей и без изменения начального и конечного пикселей. Другими словами, объединение любых двух путей образует замкнутый контур, который не может быть стянут в точку в пределах данной фигуры (это соответствует обычному определению многосвязности фигуры). Примером фигуры, ССФ которой равняется двум, является круговое кольцо (а также любая топологически эквивалентная ему фигура).
A
Если фигура является несвязной, т.е. состоит из N отдельных (несвязных между собой) областей, то, тем не менее, и в этом случае определяем ССФ, а именно целесообразно полагать, что
A
A
ССФ=С(1)+С(2)+…+С(N)-N+1,
A
A
где C(i) (i=1, …, N) - степени связности всех этих областей. Из приведенной формулы видно, что при N=1 это определение полностью соответствует определению, ранее введенному для случая связной фигуры. Можно сказать, что эта формула одновременно учитывает многосвязность отдельных (связных) областей фигуры (со знаком «+») и разбиение фигуры на такие области (со знаком «-»). Такой подход вполне соответствует целям формирования признака распознавания ОТРК, так как при отсутствии специфических помех один ОТРК должен давать на изображении связную фигуру (предполагается, что увеличение значения признака - ССФ повышает вероятность того, что фигура является изображением ОТРК).
Из общих топологических представлений нетрудно сделать вывод, что ССФ равна числу отдельных областей дополнения фигуры до всей плоскости изображения. Заметим, что на практике достаточно рассматривать весьма ограниченную часть этой плоскости, как будет описано в дальнейшем. Нахождение числа таких областей представляется существенно более простой задачей, чем некоторое «лобовое» определение ССФ, поэтому рассмотрим реализацию первого (более рационального) из этих подходов.
L
C
L
C
В результате перебора пикселей прямоугольный блок изображения может быть описан двумерным массивом IМ(0÷N+1,0÷N+1), где N - число строк, N - число столбцов блока. Фактически этот массив описывает «расширенный» блок, кроме исходного блока включающий «рамку» шириной в один пиксель, что упрощает некоторые алгоритмы распознавания ОТРК. Значениями этого массива могут быть только единицы (для пикселей фигуры) и нули (для пикселей дополнения фигуры до расширенного прямоугольного блока). При этом пикселям рамки соответствуют нули, поэтому фигура не может касаться сторон расширенного блока, что важно для правильного определения ССФ с помощью нахождения числа отдельных (связных) областей изображения, не относящихся к рассматриваемой фигуре.
D
В процессе перебора пикселей расширенного блока также производится подсчет суммарного числа пикселей, относящихся к фигуре, и, соответственно, числа N остальных пикселей - пикселей, относящихся к дополнению D фигуры до всего расширенного блока.
D
Согласно приведенным рассуждениям, ССФ равна числу отдельных областей, состоящих из пикселей, принадлежащих D (здесь как раз существенно использование расширенного блока; при этом «рамка» обеспечивает дополнительную связность, необходимую для справедливости этого утверждения). Каждая из отдельных областей, входящих в D, может быть выделена с помощью описываемого ниже метода (алгоритма), который условно назовем методом (алгоритмом) «разрастания зародыша». После того как исчерпаны все N пикселей, образующих D, находится число таких областей и тем самым ССФ.
Работа алгоритма предусматривает получение бинарной матрицы изображения. Процесс получения такой матрицы довольно прост: устанавливается некоторый диапазон значений яркости (0-255), если цвет пикселя (оттенка серого) попадает в эту область - он считается черным, если не попадает в этот диапазон - считается белым. На стадии бинаризации необходимо преобразовать объект изображения в бинарную матрицу данных. Итак, с этого момента начинается работа уже не с объектом картинки, а с бинарной матрицей, образец такой матрицы представлен далее.
В бинарной матрице пиксели, отнесенные к фону, помечаются значением = 0, а отнесенные к объектам распознавания обозначены значением = 1. Далее алгоритм работает с полученной бинарной матрицей изображения.
Работа алгоритма начинается с нахождения первого пикселя блока изображения, относящегося к D (используется общепринятая упорядоченность пикселей - сверху вниз по строкам и слева направо внутри одной строки). Этот пиксель считается первым «зародышем», к которому последовательно «подсоединяются» соседние пиксели, принадлежащие D, что приводит к выделению первой отдельной области, входящей в D. Аналогично находятся остальные области.
J
J
J
J
J
J
J
Для отслеживания «разрастания зародышей» вводится пара массивов JL и JC, предназначенных для координат (номеров строк и столбцов) пикселей, вокруг которых ищутся еще «незадействованные» (при поиске вокруг ранее рассмотренных пикселей) «соседи». В первые элементы этих массивов сначала помещаются координаты первого (по порядку сверху вниз, слева направо) пикселя указанного множества D, который тем самым выбирается в качестве первого «зародыша». В этот момент соответствующий ему элемент массива IM полагается равным 2 (т.е. «0» заменяется на «2», сохраняя отличие от пикселей фигуры, которым соответствует «1»). Затем перебираются «соседи» первого «зародыша» (например, от нижнего против часовой стрелки). Как только обнаруживается «сосед» с признаком «0» (согласно массиву IМ), его координаты помещаются во вторые элементы массивов JL и JC, а соответствующий ему элемент массива IM полагается равным 2. Используется счетчик числа «занятых» элементов каждого из массивов JL и JC (например, N). После перебора всех «соседей» первого «зародыша» аналогично ему рассматривается пиксель с координатами, помещенными во вторые элементы массивов JL и JC (т.е. индекс рассматриваемого пикселя, который обозначим K, увеличивается на 1; в данном случае происходит изменение K от 1 до 2). У этого пикселя также перебираются все возможные «соседи». Аналогично, при обнаружении «соседа» с признаком «0» его координаты помещаются в очередные элементы массивов JL и JC (N увеличивается на 1). После этого осуществляется переход к очередному пикселю выделяемой области дополнения фигуры. Как только K становится равным N, и у пикселя с номером N не обнаруживается ни одного «соседа», которому соответствует «0» в массиве IM, выделение первой (и аналогично - очередной) области дополнения к фигуре заканчивается.
A
A
Если еще не исчерпаны все пиксели, входящие в D, то, начиная с предыдущего «зародыша», подряд (слева направо, сверху вниз) по массиву IM ищется ближайшее нулевое значение (находим следующий «зародыш»). Аналогично выделяется следующая область, входящая в D. При этом отслеживается число выделенных областей N. После исчерпания всех пикселей, составляющих D, ССФ оказывается равной N.
A
A
Для блока, содержащего изображение ОТРК, есть все основания получить большое окончательное значение N (равное ССФ) по сравнению с блоком, содержащим только фон (который характерен для ЛЭП и других ОТРК). После установления подходящего (по оценкам вероятностей ошибок первого и второго рода) порогового значения для N (ССФ) формируется однопризнаковое решающее правило для принятия одной из гипотез: о наличии или отсутствии ОТРК в рассматриваемом блоке изображения.
Экспериментальные исследования с использованием кадров, полученных с помощью ИК-камеры и содержащих изображения опор ЛЭП, показали приемлемость рассмотренного признака для обнаружения таких объектов.
Однако предполагается введение и других дополнительных алгоритмов, которые могут повысить достоверность распознавания ОТРК, в частности, при совместном их использовании с вышеописанным алгоритмом.
Схема алгоритма «разрастания зародыша» представлена на Фиг.3.
Алгоритм В, условно названный авторами алгоритмом «локальной анизотропии» для распознавания «длинных» линий на изображении.
В вышеприведенном алгоритме А «разрастания зародыша» отмечена практическая значимость обеспечения решения задач распознавания объектов, которые на изображениях имеют вид нерегулярной сетки, образованной относительно тонкими линиями. К таким объектам относятся, например, опоры линий электропередачи (ЛЭП). Относительно тонкими линиями представляются на изображениях и системы проводов ЛЭП, хотя они и не образуют сетчатую структуру. Предлагается построение алгоритма распознавания объектов такого типа и соответствующего решающего правила, позволяющего обнаруживать объекты, называемые в дальнейшем «линейчатыми объектами» (ЛО) и характеризующиеся тем, что значительная часть их изображений представляет собой множество отрезков относительно тонких линий. При этом структура этих отрезков линий практически не используется. Отметим, что такой признак целесообразно включать в признаковое пространство, предназначенное для распознавания объектов типа «решетчатых конструкций» (ОТРК), рассмотренных в алгоритме «разрастания зародыша», поскольку можно полагать, что ОТРК является частным случаем ЛО.
с
с
с
с
min
max
c
max
min
max
min
Рассмотрим на монохромном изображении отрезок прямой линии на некотором среднем достаточно однородном фоне. Возьмем центральную точку (пиксель) Р этого отрезка (предполагается, что отрезок обладает некоторой шириной). Представляется целесообразным сформировать симметричную относительно этой точки локальную характеристику изображения, которая показывает существенное различие в поведении его интенсивности при движении через точку (пиксель) Р вдоль и поперек отрезка (независимо от того, ярче ли отрезок фона или фон ярче отрезка). Такого рода характеристик можно придумать сколько угодно. В качестве такой характеристики предлагается использовать самый обычный момент второго порядка небольшого круга с центром в точке Р относительно осей, проходящих через Р (интенсивность или яркость монохромного изображения выступает в качестве плотности). В рассматриваемом случае, если интенсивность (яркость) отрезка больше интенсивности фона, то ось минимального момента второго порядка (обозначим его J) направлена приблизительно (в силу неоднородности фона и возможной неодинаковой интенсивности изображения отрезка) вдоль отрезка, а ось максимального момента (обозначим его J) - приблизительно перпендикулярно отрезку. А если интенсивность отрезка меньше интенсивности фона, то эти оси «меняются местами». В качестве показателя локальной анизотропии изображения в точке Р достаточно хорошо выбрать величину Q=(J-J)/(J+J), которая может принимать значения в диапазоне от 0 до 1. Легко видеть, что, если, например, весь круг имеет одинаковую яркость, то значение этого выражения равно нулю, что как раз соответствует смыслу вводимых характеристик. Понятно, что круг выбран в связи с тем, что он не искажает оценку локальной анизотропии за счет своей формы. Можно полагать, что при появлении ЛО на изображении существенно возрастает мера множества точек с большим значением введенной величины Q.
ij
…
00
ij
ij
Далее рассматриваются цифровые дискретные монохромные изображения. Бинаризация противопоказана для данного алгоритма. Для монохромных изображений указанная мера соответствует просто количеству пикселей, т.е. наличию на изображении ЛО соответствует большее число пикселей со значением Q, превышающим некоторое среднее значение для часто встречающихся изображений без ЛО. Для дискретных изображений целесообразно решить задачу выбора аналога указанного круга с центром в центре симметрии пикселя, поскольку представляется рациональным использовать дискретную структуру изображения (каждый пиксель характеризуется одной яркостью) для значительного упрощения интегрирования при расчете моментов второго порядка. Можно, конечно, для различных радиусов подбирать свои подходящие конфигурации пикселей (с центром симметрии четвертого порядка в центре рассматриваемого пикселя), но такой подход, по крайней мере, не является достаточно удобным. Вместо этого рационально использовать квадратную матрицу пикселей Р=[р], где ij=-L, , -1, 0, 1, …, L - номера строк и столбцов, соответственно, a L характеризует размер матрицы. Центральным элементом этой матрицы является рассматриваемый пиксель р. При этом достаточное приближение к кругу можно обеспечивать с помощью ослабления вклада в рассчитываемый момент пикселей с ростом расстояния r до центральной точки пикселя р от центра квадрата. Будем в дальнейшем понимать под расстоянием между пикселями расстояние между их центральными точками.
ij
ij
с
c
с
c
c
с
2
2
2
2
2
2
2
2
Для реализации вышеуказанной зависимости вкладов пикселей от r удобно использовать функцию «колоколообразного» вида. Сначала с ростом r производить существенное ослабление вкладов не имеет смысла, так как это ухудшает оценки локальной асимметрии участков изображения, но при некотором заданном расстоянии должно начинаться резкое такое ослабление для того, чтобы вклады периферических пикселей матрицы Р приближались к нулю независимо от их значений яркости. Одной из простейших функций, удовлетворяющей таким требованиям, является широко употребляемая функция g(r)=ехр(-r/r ) (2), где r - расстояние от центрального пикселя, r - заданное расстояние, при котором происходит «ослабление» вкладов пикселей в е раз (е≈2,71828). Заметим, что r и r удобно измерять в единицах расстояния между соседними пикселями. Предполагается, что эти расстояния одинаковы по горизонтали и по вертикали. Тогда r и r  представляются целыми числами. Более того, после выбора r  и подходящего значения L функция ехр(-r/r ) может быть один раз табулирована для всех возможных целочисленных значений r, что приводит к существенному сокращению объемов расчетов при переборе всех пикселей большого изображения.
c
с
min
max
Представим в указанном дискретном случае выражение для момента второго порядка J(φ,L,r) в зависимости от направления оси в плоскости изображения (т.е. от полярного угла φ, отсчитываемого от горизонтального луча, направленного вправо) с учетом задания квадрата вокруг рассматриваемого пикселя (т.е. задания значения L) и вида функции g(r) (т.е. задания значения r), а также представим соответствующие выражения для J, J и Q. В данном рассмотрении удобно считать, что значение i растет снизу вверх (в соответствии с обычным направлением оси Y).
Принимая за единицу длины шаг пикселей изображения и полагая, что вся яркость пикселя сосредоточена в его центре, суммированием по всем пикселям указанной квадратной матрицы Р получаем
где
ij
ij
I - интенсивность (яркость) пикселя р,
уу
xy
xx
S, S, S - коэффициенты.
c
xу
xx
уу
Для нахождения экстремальных значений используемого момента второго порядка полагаем ∂J(φ,L,r)/∂φ=0, откуда находим, что они достигаются тогда, когда tg2φ=2S/(S-S) и при этом сами эти экстремальные значения (выражения для которых уже не содержат φ) одинаковы
xx
уу
xу
с
хх
уу
Можно показать, что содержащееся в этих формулах выражение под знаком квадратного корня всегда неотрицательно и достигает нуля тогда и только тогда, когда одновременно S=S и S=0. При этом момент J(φ,L,r)=S=S и фактически не зависит от φ (это заодно говорит и том, что совпадают минимальное и максимальное значения момента). В противном случае оси, соответствующие максимальному и минимальному моментам, всегда взаимно перпендикулярны и соответствуют следующим значениям полярного угла φ:
c
Если подставить эти значения в выражение для J(φ,L,r), можно определить, какой из углов соответствует максимальному, а какой - минимальному значению момента. Заметим, что независимость момента от полярного угла не вносит каких-либо сложностей в предлагаемый подход к анализу изображений. О связи симметрии фигуры и свойств ее моментов второго порядка достаточно сказано в работе.
Если пиксель расположен так, что его матрица Р не помещается в пределах рассматриваемого изображения, то, учитывая, что число таких пикселей при разумном задании L должно составлять незначительную часть всего множества пикселей, такой и аналогичные ему пиксели можно просто не учитывать в расчетах, т.е. считать, что остальные пиксели достаточно хорошо представляют рассматриваемое изображение в интересующем нас смысле. Другим вполне разумным (по той же причине) вариантом является использование для таких пикселей части матрицы Р, принадлежащей этому изображению. Представляет интерес при проведении таких расчетов и дополнение этой части матрицы Р пикселями, полученными ее поворотом вокруг центрального пикселя на 180°, поскольку экстремальные оси как раз и определяются с точностью до их обратного направления.
c
c
с
c
c
с
Таким образом, для всех или достаточного большинства пикселей изображения или его фрагмента (например, прямоугольного блока) можно получить значение Q. Это позволяет сделать оценку плотности распределения этой величины на всем рассматриваемом множестве пикселей. При этом наличие ЛО на изображении (или блоке изображения) приводит к "деформации" такого распределения в сторону повышения значений плотности для больших значений Q. Для выработки решающего правила (по констатации или отрицанию наличия ЛО на изображении) можно, например, характеризовать получаемое распределение такими величинами, как математическое ожидание значения Q или некоторой степени значения Q, а также медианами или другими квантилями распределения. Эти величины растут при указанной "деформации" рассматриваемого распределения, поэтому для них можно подобрать пороговые значения, исходя из оценок ошибок принятия соответствующих гипотез. Но чувствительность таких признаков наличия ЛО существенно падает с уменьшением относительной доли пикселей, представляющих ЛО, в суммарном количестве пикселей рассматриваемого блока изображения, что отрицательно сказывается на первых шагах поиска ЛО на относительно больших изображениях. Кроме того, возникают проблемы с выбором и указанных пороговых значений, которые, вообще говоря, зависят от значения этой относительной доли. Поэтому более целесообразным представляется использовать для построения решающего правила двух пороговых значений. Первое из них Q задается для значения величины (характеристики) Q. Пиксели, для которых Q>Q, считаются в своем большинстве относящимися к ЛО (например, пиксели со значением этой характеристики в диапазоне от 0,5 до 1). Значение Q должно получаться на основе экспериментальных данных по обработке характерных для рассматриваемых приложений изображений. Второе пороговое значение N задается для числа N пикселей, для которых Q>Q. Полагаем, что, если в рассматриваемом изображении N>N, то на нем присутствует один или более ЛО. Эффективность построенного на основе введенных двух пороговых значений решающего правила, наоборот, слабо чувствительна к уменьшению указанной доли пикселей, представляющих ЛО, если происходит увеличение числа "фоновых" пикселей. Поэтому существенно облегчается поиск ЛО на относительно больших изображениях. Заметим, что на них могут присутствовать несколько ЛО, но это как раз не ухудшает условия применимости решающего правила. Сложности могут возникнуть только с обеспечением локализации всех ЛО. Алгоритм вышеописанного метода «локальной анизотропии» представлен на Фиг.4.
Предварительный анализ показал приемлемость предлагаемого подхода к обеспечению распознавания ЛО на реальных изображениях (например, на кадрах местности, полученных с вертолета с помощью инфракрасной камеры).
Эффективность применения двух вышеописанных алгоритмов в значительной мере зависит от контрастности полученных изображений, которые подвергаются обработке и анализу.
max
Авторы исходят из того, что изображение задается набором пикселей с яркостью в заданном диапазоне градаций серого цвета: 0 соответствует черному цвету, максимальное значение яркости (I) - белому. В соответствии с физическими законами, провода линий электропередачи, даже не находящиеся под напряжением, на инфракрасных снимках выглядят более теплыми по сравнению с окружающим фоном, т.е. как длинные тонкие линии с повышенной яркостью.
В поисках образов проводов изображение построчно сканируется небольшим скользящим окном (кадром) под различными углами относительно горизонтального направления в диапазоне от -90° до +90°. Кадр состоит из трех частей - наборов пикселей в виде полос, расположенных друг над другом (ширина каждой полосы может составлять несколько пикселей). Если направление сканирования - горизонталь, то кадр представляет собой прямоугольник, состоящий из трех горизонтальных полос (Фиг.5), иначе - параллелограмм (ступенчатую фигуру), полученный из этого прямоугольника сдвигом столбцов пикселей вверх или вниз так, что его наклонные стороны параллельны оси (направлению) сканирования (Фиг.6).
В каждом положении кадра область изображения, покрываемая кадром, анализируется на предмет наличия в ней фрагмента провода по двум критериям:
- предполагаемый фрагмент провода (средняя полоса кадра) должен быть существенно ярче прилегающих к нему участков изображения (верхняя и нижняя полосы), т.е. провод должен быть ярче окружающего фона;
- участки изображения, прилегающие к предполагаемому фрагменту провода с разных сторон (верхняя и нижняя полосы кадра), должны несущественно отличаться друг от друга по яркости, что означает однородность фона.
Если выполнены оба условия, то считается, что кадр в данном положении содержит фрагмент провода, иначе - не содержит.
Необходимо отметить, что сравнение яркостей выполняется по значениям, усредненным по длине кадра, при заданных ограничениях на соответствующие среднеквадратические отклонения (СКО).
Во избежание значительных искажений, если угол сканирования по абсолютной величине превышает 45°, задача заменяется эквивалентной: вместо исходного изображения берется транспонированное, а угол сканирования меняется на дополнительный до прямого.
Далее приводится описание алгоритма контрастирования, при этом все линейные размеры измеряются в пикселях.
max
- Повышают контрастность изображения за счет пропорционального расширения диапазона яркостей (от минимальной до максимальной, встречающихся в данном изображении) на всю шкалу (от 0 до I).
- Задают начальной величины угла сканирования α.
Если , то:
- заменяют исходное изображение на транспонированное;
- если α>0, то заменяют его на 90°-α, иначе - на -90°-α.
Преобразуют кадр из прямоугольника в ступенчатый параллелограмм в соответствии с величиной текущего угла сканирования.
Выполняют построчное сканирование всего изображения под углом α.
Выполняют сканирование текущей строки изображения скользящим кадром под углом α.
В каждом положении кадра выполняют анализ на наличие фрагмента провода в средней полосе кадра.
Устанавливают кадр в начало строки.
Усредняют яркости каждой из трех полос окна по ширине (в результате: каждая полоса станет занимать в ширину 1 пиксель).
Удаляют заданное количество аномальных точек (порядка 3-5%) из каждой полосы кадра (т.е. таких, яркости которых статистически существенно отличаются от яркостей остальных точек полосы).
пров
пров
Вычисляют среднее отличие яркостей точек средней полосы кадра от яркостей верхней и нижней полос (m) и его СКО (σ).
фон
фон
Вычисляют среднее отличие яркостей точек верхней и нижней полос (m) и его СКО (σ).
Проводят анализ вычисленных отличий путем сравнения с пороговыми значениями. Если выполнены все следующие условия:
пров
пров
пров
пров
фон
фон
фон
фон
m<M, σ<Σ, m>M, σ<Σ
то множество точек изображения, накрываемых средней полосой текущего кадра, помечают как фрагмент провода.
Перемещают кадр в следующее положение вдоль оси сканирования: шаг по горизонтали составляет половину длины кадра, шаг по вертикали равен шагу по горизонтали, умноженному на tg α.
Переходят к следующей строке (шаг между строками - 1 пиксель).
Для предварительного подавления шумов исходного изображения предлагается использовать следующий вариант медианной фильтрации (являющейся одним из вариантов нелинейной обработки изображения).
1
2
N
Одномерный медианный фильтр представляет собой скользящее окно, охватывающее нечетное число элементов изображения. Центральный элемент заменяется медианой всех элементов изображения в окне. Напомним, что медианой дискретной последовательности a, а, …, a для нечетного значения N является тот ее элемент, для которого существуют (N-1)/2 элементов, меньших или равных ему (в данном случае - по уровню яркости), и (N-1)/2 элементов (столько же), больших или равных ему (по уровню яркости). При этом если в последовательности элементов изображения, попавших в окно, максимальное и минимальное значения уровней яркости соответствуют шумовым «выбросам», то медианная фильтрация обеспечивает существенное улучшение изображения. Однако если максимальное или минимальное значение уровня яркости соответствует полезному сигналу, то такая обработка приводит к некоторой (обычно - незначительной) потере четкости воспроизводимого изображения. В связи с этим были рассмотрены две стратегии применения медианного фильтра для подавления шумов с целью выбора оптимальной.
В одной из стратегий в качестве начального брался медианный фильтр, окно которого охватывает три элемента изображения. Далее, определив, что ослабление сигнала незначительно, окно фильтра расширялось до пяти элементов. Так делалось до тех пор, пока медианная фильтрация не начинала ухудшать изображение.
В другой стратегии осуществлялась каскадная медианная фильтрация сигнала с фиксированной либо изменяемой шириной окна. При этом те области, которые остаются без изменения после однократной обработки медианным фильтром, не меняются и после повторной обработки. Области, в которых длительность импульсных сигналов составляет менее половины ширины окна, подвергаются изменению после каждого цикла обработки.
Важным моментом является и выбор формы окна медианного фильтра. Применительно к двумерному медианному фильтру можно говорить как о прямоугольной, так и близкой к круглой форме (обычно, по крайней мере, предполагается наличие у окна горизонтальной и вертикальной плоскостей зеркальной симметрии). Двумерный медианный фильтр с окном размером N×N обеспечивает более эффективное подавление шума, чем последовательно примененные горизонтальный и вертикальный одномерные медианные фильтры (с окном размером N×1). Однако двумерная обработка приводит к более существенному искажению сигнала. Экспериментальные исследования показали, что при выделении изображений проводов предпочтительнее крестообразный фильтр размером 5×5, чем квадратные размерами 3×3, 5×5 и 7×7. При этом любой медианный фильтр более эффективно подавляет разрозненные импульсные помехи, чем гауссов шум.
Дополнительная стадия - улучшение изображения для визуализации слабоконтрастных границ - введена в заявляемом способе для повышения его эффективности.
При разработке этой стадии были решены следующие проблемы.
- Выявление на целочисленном описании изображения (ЦОИ) пар пикселей-соседей, перепады значений «интенсивности цветовых компонент» (ИЦК) на которых содержат существенную информацию об образах элементов линий разрывов «почти непрерывного прообраза» (ПНП) и значениях перепадов на них (обозначим такие пары пикселей-соседей через ОЭР («образы элементов линий разрывов»)).
- Минимизация ошибок квантования путем локального усреднения значений ИЦК целочисленного ЦОИ дифференцирование по отношению к парам пикселей-соседей класса ОЭР и парам пикселей-соседей класса «не ОЭР» с переходом из целочисленной области значений ИЦК в интервал [0; 255]. Эту задачу будем называть «деквантованием целочисленного ЦОИ».
- Локально обусловленное «деформирование» деквантованного и скорректированного (с однозначным представлением образа линий границ) ЦОИ путем локально-монотонного нелинейного изменения масштаба значений ИЦК отдельных пикселей, оптимизирующее совместно параметры визуальности пар пикселей-соседей, классифицированных как «образы элементов границ».
Для осуществления формальной постановки задачи «деформирования деквантованного целочисленного описания изображения (ЦОИ)» необходимо провести существенное упрощение исходных данных и дополнить их обоснованными ограничивающими неопределенность постановки условиями, позволяющими осмысленно добиваться изменения целочисленного описания изображения (ЦОИ) в нужном направлении.
- Перевести деквантованное ЦОИ из палитры RGB в палитру YCbCr и поставить задачу непосредственного деформирования в соответствии с упомянутыми требованиями только по компоненте яркости (Y), так как она, во-первых, содержит, как правило, основную информацию о границах; во-вторых, значение ПЗР по яркости наименьшее и, следовательно, потребуется наименьшая величина деформации ЦОИ и, кроме того, в условиях слабой освещенности цветовые составляющие объектов вообще зрительно не воспринимаются. Изменения же в тональности в связи с необходимостью корректировки цветоразностных составляющих Сb, Сr после изменения значения Y можно чаще всего свести примерно к пропорциональному изменению исходных значений ИЦК в палитре RGB.
- Упростить исходные данные и соответственно постановку задачи деформирования также за счет:
- перевода всего изображения, представленного деквантованным ЦОИ по компоненте яркости, в область «комфортного» восприятия, имеющую примерно постоянный «порог зрительной различимости» (ПЗР), путем небольшого линейного сжатия масштаба представления яркости [0; 255] (незначительные потери контрастности для всех объектов в равной степени потом могут быть легко скомпенсированы);
- перехода к однозначному отображению элементов границ путем объединения «раздвоившихся» образов элементов разрыва в матрицах по направлениям  и  и однозначному выражению их параметров визуальности.
- Дополнить исходные данные парой подходящих функций, форма которых учитывала бы значение ПЗР и определяла бы потребность в изменении перепадов «пар пикселей-соседей» (ППС) разных типов в зависимости от исходных значений. На основе таких функций можно было бы строить осмысленно локальную стратегию деформацию ЦОИ по яркости.
1
0
Для «навязывания» требуемого характера монотонных изменений, вносимых в перепады типа ОЭР («образы элементов границ») и типа НЭГ («не являющиеся элементами границ»), предлагается использовать две монотонные функции, определенные соответственно на множествах значений перепадов типа ОЭГ и типа НЭГ. Будем называть их функциями «идеальных параметров визуальности» (ИПВ и ИПВ соответственно для ОЭГ и для НЭГ).
Согласно смыслу необходимых условий нелинейного усиления-ослабления исходных перепадов функции ИПВ ставят последним в зависимости от их исходных значений в соответствие перепады, к которым желательно стремиться и которые (при сохранении монотонности в локальном масштабе вносимых изменений) могут привести к визуализации слабоконтрастных и невидимых, но уже распознанных границ.
1
1
0
0
Вид графиков этих функций ИПВ(φ) и ИПВ(φ) представлен на Фиг.7.
Практическая реализация заявляемого способа и системы облегчается наличием в летательных аппаратах большинства используемых элементов. Дополнительными элементами являются лишь инфракрасная (ИК) видеокамера, работающая в диапазоне 8-12 мкм, которая устанавливается на силовую гиростабилизированную платформу (СГП), смонтированную в носовой части вертолета, что значительно снижает влияние вибраций на качество видеосигнала. Видеоизображение обрабатывается бортовым вычислительным модулем (БВМ), использующим комплекс вышеприведенных программно-ориентированных алгоритмов, что обеспечивает распознавание препятствий искусственного происхождения (ПИП) с вероятностью не менее 0,9. Таким образом, полученная с БВМ визуальная и звуковая информация позволяет пилоту вертолета уверенно обнаруживать ПИП на удалении порядка 1200 м, что при скорости полета вертолета 200-250 км/ч обеспечивает летчику промежуток времени для совершения противоаварийного маневра в пределах 18-22 секунд.
Следует отметить, что описанный выше вариант реализации системы приведен лишь в качестве иллюстрации, поэтому допустимы различные изменения и дополнения, не выходящие за границы притязаний, изложенных в формуле изобретения.