Объединение изображений, получаемых по данным источников различного спектрального диапазона

Доклады БГУИР

Doklady BGUIR

2017, № 3

УДК 621.397.6

ОБЪЕДИНЕНИЕ ИЗОБРАЖЕНИЙ, ПОЛУЧАЕМЫХ ПО ДАННЫМ ИСТОЧНИКОВ РАЗЛИЧНОГО СПЕКТРАЛЬНОГО ДИАПАЗОНА

Д.С. ШАРАК, Е.И. МИХНЁНОК, АС. ШЕИН, А.В. ХИЖНЯК

Военная академия Республики Беларусь, Республика Беларусь

Поступила в редакцию 29 марта 2017

Аннотация. Рассматривается комплексный подход к обработке данных мониторинга земной поверхности и воздушного пространства при использовании изображений от источников различного спектрального диапазона. Представлены методы и алгоритмы комплексирования изображений по данным нескольких источников видеоинформации. Проведен анализ существующих устройств объединения изображений, а также представлена функциональная схема макета модуля обработки, реализующего известные алгоритмы комплексирования видеопоследовательностей.

Ключевые слова: оптико-электронные системы, методы комплексирования, алгоритмы комплексирования.

Abstract. The complex approach of earth surface and airspace data processing with use of images from sources of a various spectral range is considered in the article. Methods and algorithms of image fusion according to several video information sources are presented. The analysis of existing image fusion devices are carried out, and the function chart of experimental module realizing known fusion video sequences algorithms is presented.

Keywords: optical-electronic systems, image fusion methods, image fusion algorithms.

Doklady BGUIR. 2017, Vol. 105, No. 3, pp. 45-51

Image fusion, based on data from sources of a various spectral range

D.S. Sharak, E.I. Mikhnionok, A.S. Shein, А.У. Khizhniak

Введение

Цифровая обработка изображений является одной из наиболее актуальных и быстро развивающихся областей науки и техники. Это вызвано как многообразием практических задач, требующих анализа визуальной информации, так и все возрастающими возможностями оптики и вычислительной техники. Достаточно назвать такие области применения, как интеллектуальные робототехнические системы, исследование природных ресурсов из космоса, биомедицинские исследования, криминалистика, сжатие и передача изображений по узкополосным каналам связи, автономная навигация, оптическая локация, управление движением воздушных и наземных транспортных средств, обнаружение заданных объектов и символов в информационно-поисковых системах, автоматическое обнаружение объектов в охранных системах, системах самонаведения и т.д.

В последние десятилетия активно развивается комплексный подход к обработке данных мониторинга земной поверхности, предполагающий использование различных инструментов дистанционного зондирования - приборов и датчиков: оптических, радиолокационных, акустических, сейсмических и др. [1].

Каждый из датчиков позволяет получить цифровые изображения наблюдаемой сцены в различных диапазонах электромагнитного излучения. Информация о характеристиках объекта содержится в пространственном распределении уровней яркости пикселей по площади изображения [2, 3].

Порядок объединения изображений, полученных по данным источников различного

спектрального диапазона

После того, как в МОЭС (многодиапазонной оптико-электронной системе), предназначенной для визуализации наблюдаемой сцены, проведено разделение широкого участка спектра на отдельные рабочие диапазоны, а затем в электронном тракте системы осуществлена определенная обработка полученных сигналов, например их фильтрация, появляется необходимость в объединении (комплексировании) изображений, соответствующих отдельным диапазонам, в одно, отображаемое на экране монитора. Такое объединение может проводиться для видимого и/или ближнего инфракрасного (ИК) диапазона и средне- и/или длинноволнового ИК-диапазона.

При объединении изображений, полученных в различных спектральных каналах МОЭС, необходимо выполнить следующие требования [3]:

- образованное после объединения изображение должно сохранять всю полезную информацию, содержащуюся в исходных, объединяемых, изображениях;

- объединение изображений должно происходить в реальном масштабе времени;

- в процессе объединения не должны возникать искусственные признаки (побочные изображения), а также исчезать отдельные элементы или участки наблюдаемого пространства (сцены);

- результирующие изображения, применяемые в системах обнаружения, должны иметь удобную для оператора форму;

- объединенные изображения, применяемые в системах автоматического сопровождения объектов, должны обеспечивать выделение наиболее информативных признаков в плоскости изображения.

Важным условием полученного объединенного изображения является отсутствие шумов и помех, характерных для исходных видеопоследовательностей. Часто необходимо обеспечить автономную работу каждого из каналов системы.

Как видно из схемы объединения изображений , получаемых в различных

спектральных диапазонах Ак1,&к2,...,&км соответственно (рис. 1), изображения подвергаются предварительной обработке, заключающейся в устранении их пространственных и временных искажений, возникающих в отдельных каналах системы.

Рис. 1. Обобщенная схема объединения изображений

Первым этапом предварительной обработки изображений, получаемых от отдельных каналов МОЭС, является удаление шумов и возможных искажений, возникающих, например, из-за неоднородности чувствительности отдельных пикселей (геометрический шум), подавление тем новых токов и других шумов приемника, устранение размытости изображения на высоких пространственных частотах, преобразование аналоговых сигналов в цифровую форму с квантованием их по уровню и др.

На следующем этапе этой обработки корректируются изображения в каналах МОЭС. Коррекция может состоять в приведении к единому формату, в устранении взаимных сдвигов и поворотов отдельных изображении и т.п. Только после нее производится объединение электронных изображений в одно и визуализация последнего.

Анализ существующих алгоритмов объединения изображений

Краткий анализ современных аппаратно-программных средств коррекции изображений на базе типовых логических схем, применяемых при комплексировании видеосистем, создающих цифровые изображения в различных участках спектра, содержится в [4, 5].

В качестве примера электронных устройств объединения изображений, получаемых в видимом и ИК-диапазонах, можно указать две отдельные платы DVP-3000 и DVP-4000, разработанные компанией «Equinox Corp.» и предназначенные для использования в

двухдиапазонных камерах на борту беспилотных летательных аппаратов, в системах вооружения сухопутных и морских сил [6]. Эти платы имеют небольшие габариты и массу, потребляют малую мощность и обладают относительно невысокой стоимостью. Алгоритмы комплексирования, осуществляемые с помощью этих плат, заметно совершеннее, чем простая линейная комбинация изображений, и обеспечивают инвариантность к изменению освещенности и цветности наблюдаемой сцены, а также компенсацию нелинейности геометрооптического преобразования, различия масштабов и поворотов изображений в двух рабочих спектральных каналах. Некоторые параметры этих устройств приведены в таблице.

Параметры электронных плат DVP-3000 и DVP-4000

Параметры БУР-3000 ВУР-4000

Размеры, мм 76x102 76x76

Масса, г 74 менее 56

Потребляемая мощность, Вт 1,7 1,5

Цифровой вход Ь УТТЬ ЬУББ

Выход Сашега Ьтк, ШБС, 8-у1(!ео Сашега Ьтк

В [7, 8] описывается ряд алгоритмов объединения разномасштабных изображений применительно к цифровым камерам, однако для практической реализации большинства из них требуются сложные и громоздкие аппаратурные решения. Поэтому представляют интерес быстродействующие алгоритмы и сравнительно простые схемы, например описанные в [7], позволяющие проводить коррекцию и объединение изображений в реальном масштабе времени.

В последние десятилетия разрабатываются способы объединения изображений, основанные на выделении отдельных отличительных признаков обнаруживаемого или наблюдаемого объекта, а также на ряде эффектов, свойственных зрительному аппарату человека, например, на способности различать гораздо большее число цветовых оттенков, нежели уровней серого в изображении. При этом для совмещения изображений используются анализ главных компонентов [9], пирамидальные схемы [10], дискретные преобразования волновых пакетов (вейвлетов) [11], метод противоположных цветовых контрастов [12, 13], алгоритм Ретинье [14].

Применение описанных выше алгоритмов находит широкое применение и в военной сфере, в частности в системах обнаружения и сопровождения объектов. Большой интерес представляет описанный в [15] метод комплексирования не отдельных пикселей в рабочих спектральных диапазонах, а отдельных участков (фрагментов) изображений. Геометрическая калибровка, выполняемая отдельно в каждом канале, позволяет определить коэффициенты изменения масштаба по ортогональным координатам х и у.

На рис. 2 представлен алгоритм обработки изображений, получаемых в спектральных каналах и Д^2 системы [15].

Рис. 2. Алгоритм обработки изображений

Первым шагом является получение изображений, а вторым - извлечение изменяющихся (подвижных) участков и вычитание неподвижного фона. Отдельные участки образуются с помощью окна из девяти пикселей. Алгоритм вычитания фона заключается в определении математического ожидания и среднего квадратического значения сигнала для каждого пикселя изображения и последующего сравнения этих значений с сигналами пикселей в текущем изображении. Для создания статистики типичных фонов обычно достаточно нескольких десятков кадров. Подвижные участки объединяются, а затем в каждом спектральном канале ведется слежение за объектом. Составленные из фрагментов объекты объединяются.

На первом уровне всего алгоритма отслеживаются подвижные фрагменты в последовательности изображений, а на втором - комбинации из одного или нескольких фрагментов, т.е. сами объекты. Последние два шага алгоритма служат для определения соответствия между объединенными объектами с использованием статистики известных объектов.

Алгоритм объединения позволяет установить соответствие между объектами, обнаруженными в спектральных диапазонах ДА и ДА2. Для каждой пары объектов осуществляется идентификация лучшего из них - «основного». Идентификация этого объекта и второго - «второстепенного» может меняться при изменении облученности объекта или его температуры. Если в течение времени прослеживания фрагментов один из них, принадлежащий одному объекту, объединяется с другим фрагментом, принадлежащим другому объекту, появляется ложный объект, так как фрагменты принадлежат двум различным объектам.

Для идентификации объектов можно использовать различные критерии: отношение сторон объекта (коэффициент формы), геометрические моменты, скорость перемещения, периодичность перемещения отдельных фрагментов (например, рук и ног пешехода в отличие от движения автомобиля, когда нет такой периодичности) и др. Если все принятые критерии присутствуют в каждом спектральном канале, принимается положительное решение об идентификации объекта. Для определения процента правильного обнаружения и идентификации число таких решений относится к числу кадров изображения.

В системе, описанной в [16], использовались цветная ПЗС-видеокамера Pulnix TMC-6700 CL формата 640x480 пикселей и инфракрасная камера SBF с InSb-МПИ формата 320^256 пикселей.

Функциональная схема макета модуля обработки изображений

В рамках данных исследований на кафедре автоматизированных систем управления войсками учреждения образования «Военная академия Республики Беларусь» совместно с Конструкторским бюро «Дисплей» была проведена научно-исследовательская работа (НИР) «Разработка алгоритмов и программного обеспечения цифровой обработки изображений и автоматического сопровождения оптически наблюдаемых объектов» [16]. В результате проведения НИР был разработан алгоритм автоматического сопровождения оптически наблюдаемых объектов на нестационарном неравномерном фоне с комплексированием первичной видеоинформации [17], а также схема электрическая принципиальная модуля обработки изображений, реализующего данный алгоритм.

В соответствии с тактико-техническим заданием (ТТЗ) на НИР макет модуля обработки изображений обеспечивает:

- прием и коммутацию видеосигналов от не менее, чем трех аналоговых источников, оцифровку видеосигнала от одного из выбранных аналоговых источников;

- прием по интерфейсу Ethernet 100 Мб/с цифрового видеосигнала в формате User Datagram Protocol (UDP) кадров;

- повышение качества цифрового изображения (повышение контраста изображения), принимаемого одним из каналов приема видеосигнала за время не более длительности одного видеокадра;

- автоматизированный захват оптически наблюдаемого объекта на автоматическое сопровождение;

- автоматическое сопровождение малоразмерных низкоконтрастных объектов с точностью не хуже 1 элемента разрешения, минимальные размеры сопровождаемого объекта -6^6 элементов разрешения, максимальные - 128x128 элементов разрешения.

Для выполнения требуемых функций модуль обработки изображений содержит следующие функциональные блоки (рис. 3):

- блок приема, коммутации и оцифровки видеосигнала стандарта Programmable Array Logic (PAL) - 2 шт. по 2 переключаемых канала;

- блок приема-передачи сигналов стандарта Ethernet, обеспечивающих обмен информацией со скоростью не менее 100 Мб/с - 2 шт., один обеспечивает прием цифрового

видеосигнала в формате UDP кадров, второй обеспечивает передачу видеоинформации и результатов функционирования устройства;

- блок приема-передачи сигналов промышленного стандарта RS-422/RS-485/RS-422 - 2 шт., обеспечивают масштабируемость системы, возможность непосредственного управления исполнительными устройствами;

- модуль цифровой обработки, обеспечивающий решение задач повышения качества цифрового изображения, автоматического сопровождения малоразмерных низкоконтрастных объектов, формирования управляющих сигналов для других элементов макета модуля обработки изображений - 1 шт.;

- блок сигнализации функционирования устройства - 1 шт.;

- система вторичного электропитания - 1 шт.

Рис. 3. Функциональная схема макета модуля обработки изображений

В качестве элементной базы для блоков приема, коммутации и оцифровки видеосигнала стандарта PAL были выбраны микросхемы ADV7181C компании Analog Devices, являющиеся высококачественными одночиповыми мультиформатными видеодекодерами,

обеспечивающими преобразование композитных и компонентных видеосигналов стандартов PAL, NTSC и SECAM в цифровой стандарт ITU-R BT.656. Высокое качество результатов оцифровки достигается использованием 10-битных 110 МГц аналогово-цифровых преобразователей с технологией подавления шума. Конфигурирование и управление режимами оцифровки (в том числе переключение каналов оцифровки) осуществляется по шине I2C. Передача оцифрованного видеопотока осуществляется по 14-битной шине, включающей сигнал тактирования, синхронизации и видеоданных.

Блоки приема-передачи сигналов стандарта Ethernet выполнены на базе микросхем 88E1111 компании Marvell (марка Alaska), являющихся физическим уровнем трансиверов стандартов Ethernet 1000BASE-T, 100BASE-TX, 10BASE-T. Данные блоки интегрированы в вычислительный модуль программируемой логической интегральной схемы (ПЛИС).

Для реализации блоков приема-передачи сигналов промышленного стандарта RS-422/RS-485 применены микросхемы ADM3077E компании Analog Devices, являющиеся трансиверами с электростатической защитой цепей (до ±15 кВ) и обеспечивающими режим дуплекс со скоростью обмена до 16 Мб/с.

Система вторичного электропитания выполнена на базе фильтра BNX016-01 компании Murata, обеспечивающем предварительное снижение шумовой составляющей в цепи питания и микросхем LMZ14202 компании Texas Instruments, являющихся линейными регуляторами напряжения и обеспечивающими ток нагрузки до 2 А.

Модуль цифровой обработки (модуль ПЛИС) является основным вычислительным элементом макета, на который возложены функции обработки изображения. В связи с высокой интенсивностью видеоданных и высокой сложностью алгоритмов обработки видеоданных в качестве основы потребовалась микросхема не хуже Kintex-7 компании Xilinx, имеющая подключенные каналы обмена данными с динамической памятью. Мониторинг рынка готовых модулей, отвечающих сформулированным требованиям, позволил определить в качестве вычислительного модуля ПЛИС модуль Mercury KX1 ME-KX1-325-2I-D11-P компании Enclustra. Данный модуль имеет 158 пользовательских ввода-вывода общего назначения, два

банка динамической памяти по 2048 МБ и 512 МБ, два модуля Gigabit Ethernet, обеспечивающих обмен со скоростью до 1000 Мб/с, встроенные цепи электропитания. Применение подобного модуля позволяет значительно сократить сроки и стоимость разработки, снизить вероятность ошибок на этапе проектирования и производства, обеспечивает масштабируемость системы.

Вся использованная элементная база имеет промышленное температурное исполнение (от -40 до +85 °С), что обеспечивает выполнение требований ТТЗ в части живучести и стойкости к внешним воздействиям.

Выводы

Таким образом, опыт практического использования показал актуальность и значительную востребованность подходов, предложенных в настоящей статье. В дальнейшем результаты анализа могут быть применены для разработки алгоритмов функционирования вычислительных средств программируемой логики в процессе обработки цифровых изображений. Проведение подобных исследований является актуальным, поскольку создает основу для создания технических систем на новой вычислительной базе, обеспечивающих значительное конкурентное превосходство в качестве и количестве решаемых задач. Быстрое развитие микросхем программируемой логики, обеспечивающих фактическое параллельное выполнение сложных задач обработки сигналов, создает предпосылки для их применения в области цифровой обработки изображения, где задачи предварительной обработки, повышения качества изображений могут быть конвейеризованы и выполнены с высокой скоростью.

Список литературы

1. Методика оценки эффективности объединения информации о воздушных объектах по данным нескольких источников / А.А. Белоус [и др.] // Докл. БГУИР. 2015. № 7 (93). С. 31-38.

2. Захарова Л.Н., Захарова А.И. Совместный анализ данных оптических и радиолокационных сенсоров: возможности, ограничения и перспективы // Радиотехника и электроника. 2011. Том 56, № 1. С. 5-19.

3. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий / Ю.В. Визильтер [и др.]. М.: Физматикнига, 2010. 672 с.

4. Разработка алгоритмов цифровой обработки изображений на вычислительных средствах программируемой логики (шифр «Обработка»): отчет о НИР (закл.) (№ ГР 20160881) / ИП «ЦиклонБел». Минск, 2016. 182 с.

5. Real time implementation of image alignment and fusion / D. Dwyer [et al.] // SPIE Proc. 2004. Vol. 5612. P. 85-93.

6. Trudeau Г., Dobbie В., Lynam JR. Advances in image intensified video camera systems // SPIE Proc. 2004. Vol. 5563. P. 216-226.

7. Soel M.A., Rudman S., Ryan R. MULTIVIEW: a novel multispectral IR camera // SPIE Proc. 1997. Vol. 3063. P. 239-256.

8. Zhang Z, Blum R.C. A categorization of multiscaie-decomposition-based image fusion schemes with a performance study for a digital camera application // IEEE Proc. 1999. Vol. 87. P. 1315-1326

9. Sharma R.K., Pavel M., Been Т.К. Multi-stream video fusion local principal components analysis // SPIE Proc. 1998. Vol. 3436. P. 717-725.

10. Two-color HgCdTe infrared staring focal plane arrays / Smith E.P. [et. al.] // SPIE Proc. 2003. Vol. 5209. P. 1-13.

11. Wang H., Peng J., Wu W. Fusion algorithm for multisensor images based on discrete multiwavelet transform // IEEE Proc. on Vision, Image, and Signal Processing. 2002. Vol. 149. № 5. P. 283-289.

12. Real-time fusion of low-light CCD and unccoled IR imagery for color night vision / B. Aguifar [et al.] // SPffi Proc. 1998. Vol. 3364. P. 124-135.

13. Image fusion for tactical applications / R. McDaniel [et al.] // SPIE Proc. 1998. Vol. 3436. P. 685-695.

14. Third generation FPA development status at Raytheon Vision Systems / W.A. Radford [et al.] // SPIE Proc. 2005. Vol. 5783. P. 331-339.

15. Design and testing of a dual-band enhanced vision system / S.P. Way [et al.] // SPIE Proc. 2003.Vol. 5074. P. 612-619.

16. Разработка алгоритмов и программного обеспечения цифровой обработки изображений и автоматического сопровождения оптически наблюдаемых объектов (шифр «Корреляция»): отчет о НИР (закл.) / ОАО «Конструкторское бюро «Дисплей»». Минск, 2016. 145 с.

17. Снижение вероятности срыва сопровождения оптически наблюдаемых объектов в корреляционных алгоритмах сопровождения при комплексировании исходных цифровых полутоновых изображений / Д.С. Шарак [и др.] // Докл. БГУИР. 2016. № 2 (96). С. 88-95.

References

1. Metodika ocenki jeifektivnosti ob#edinenija informacii o vozdushnyh ob#ektah po dannym neskol'kih istochnikov / A.A. Belous [i dr.] // Dokl. BGUIR. 2015. № 7

2. Zaharova L.N., Zaharova A.I. Sovmestnyj analiz dannyh opticheskih i radiolokacionnyh sensorov: vozmozhnosti, ogranichenija i perspektivy // Radiotehnika i jelektronika. 2011. Tom 56, № 1. S. 5-19.

3. Obrabotka i analiz izobrazhenij v zadachah mashinnogo zrenija: kurs lekcij i prakticheskih zanjatij / Ju.V. Vizil'ter [i dr.]. M.: Fizmatikniga, 2010. 672 s.

4. Razrabotka algoritmov cifrovoj obrabotki izobrazhenij na vychislitel'nyh sredstvah programmiruemoj logiki

5. Real time implementation of image alignment and fusion / D. Dwyer [et al.] // SPIE Proc. 2004. Vol. 5612. P. 85-93.

6. Trudeau G., Dobbie V., Lynam JR. Advances in image intensified video camera systems // SPIE Proc.

2004. Vol. 5563. P. 216-226.

7. Soel M.A., Rudman S., Ryan R. MULTIVIEW: a novel multispectral IR camera // SPIE Proc. 1997. Vol. 3063. P. 239-256.

8. Zhang Z, Blum R.C. A categorization of multiscaie-decomposition-based image fusion schemes with a performance study for a digital camera application // IEEE Proc. 1999. Vol. 87. P. 1315-1326

9. Sharma R.K., Pavel M., Been T.K. Multi-stream video fusion local principal components analysis // SPIE Proc. 1998. Vol. 3436. P. 717-725.

10. Two-color HgCdTe infrared staring focal plane arrays / Smith E.P. [et. al.] // SPIE Proc. 2003. Vol. 5209. P. 1-13.

11. Wang H., Peng J., Wu W. Fusion algorithm for multisensor images based on discrete multiwavelet transform // IEEE Proc. on Vision, Image, and Signal Processing. 2002. Vol. 149. № 5. P. 283-289.

12. Real-time fusion of low-light CCD and unccoled IR imagery for color night vision / B. Aguifar [et al.] // SPffi Proc. 1998. Vol. 3364. P. 124-135.

13. Image fusion for tactical applications / R. McDaniel [et al.] // SPIE Proc. 1998. Vol. 3436. P. 685-695.

14. Third generation FPA development status at Raytheon Vision Systems / W.A. Radford [et al.] // SPIE Proc.

2005. Vol. 5783. P. 331-339.

15. Design and testing of a dual-band enhanced vision system / S.P. Way [et al.] // SPIE Proc. 2003.Vol. 5074. P. 612-619.

16. Razrabotka algoritmov i programmnogo obespechenija cifrovoj obrabotki izobrazhenij i avtomaticheskogo soprovozhdenija opticheski nabljudaemyh ob#ektov

17. Snizhenie verojatnosti sryva soprovozhdenija opticheski nabljudaemyh ob#ektov v korreljacionnyh algoritmah soprovozhdenija pri kompleksirovanii ishodnyh cifrovyh polutonovyh izobrazhenij / D.S. Sharak [i dr.] // Dokl. BGUIR. 2016. № 2

Сведения об авторах

Шарак Д.С., старший преподаватель кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.

Михнёнок Е.И., адъюнкт кафедры автоматизированных систем управления войсками учреждения образования Военной академии Республики Беларусь.

Шеин А.С., к.т.н., начальник НИЛ кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.

Хижняк А.В., к.т.н., доцент, начальник кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.

Адрес для корреспонденции

220057, Республика Беларусь, г. Минск, пр. Независимости 220, Военная академия Республики Беларусь тел. +375-29-291-27-36 e-mail: actosum@gmail.com Михнёнок Евгений Игоревич

Information about the authors

Sharak D.S., senior lecturer of department automated control system of troops of Military academy of the Republic of Belarus.

Mikhnionok E.I., PG student of department automated control system of troops of Military academy of the Republic of Belarus.

Shein A.S., PhD, head of SRL of department automated control system of troops of Military academy of the Republic of Belarus.

Khizhniak A.V., PhD, assistent of professor, the chief of chair automated control system of troops of Military academy of the Republic of Belarus.

Address for correspondence

220057, Republic of Belarus,

Minsk, Nezavisimosti ave. 220,

Military Academy of the Republic of Belarus

tel. +375-29-291-27-36

e-mail: actosum@gmail.com

Mikhnionok Evgeni Igorevich