Устройство поиска локальных особенностей на парах инфракрасных изображений с их последующим объединением
APPARATUS FOR FINDING LOCAL FEATURES ON PAIRS OF INFRARED IMAGES WITH SUBSEQUENT COMBINATION THEREOF

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах, автоматизированных системах, глобальных систем позиционирования и наблюдения.
Известно устройство объединения изображений в единую композицию сцены [Патент RU № 2536675, МПК G06T 7/00, G06T 3/40, опубл. 27.12.2014]. Данное изобретение относится к устройству объединения изображений в единую композицию сцены. Устройство содержит соединенные между собой блок поиска контрольных точек, блок поиска соответствий, блок преобразования входных изображений, блок совмещения, блок хранения входной реализации, блок переноса контрольных точек на исходные изображения, блок детектора границ, блок поиска детализированных объектов, блок выделения детализированных областей, блок исключения ложных соответствий, блок масштабирования детализированных объектов, блок приведения к единому масштабу входных изображений, блок преобразования детализированных объектов, блок хранения выходной реализации, блок управления, генератором тактовых импульсов
Недостатки известного устройства являются:
- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;
- большие вычислительные затраты.
Известно устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом [Патент RU № 2580473, МПК G06T 5/00, опубл. 10.04.2016]. Изобретение относится к информационно-измерительным устройствам и может быть использовано в системах управления и обработки сигналов. Устройство бесшовного объединения изображений содержит два блока загрузки изображения, тактовый генератор, два блока поиска контрольных точек, блок поиска точек объединения, блок вычисления матриц преобразования, два блока преобразования матрицы, блок заполнения нулями, блок выделения контуров, блок вычисления кривой, три блока наложения маски, блок нахождения маски, блок выделения области объединения, блок нахождения границы объединения, блок удаления областей, два блока регулировки контрастности, два блока применения градиента блок объединения изображений, блок вывода результата.
Недостатками известного устройства являются:
- появление границы между изображениями в результате объединения;
- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;
- появление двойных контуров объединяемых изображений;
Известно устройство объединения медицинских изображений [Патент RU № 2614545, МПК G06T 5/00, опубл. 28.03.2017]. Изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки сигналов. Устройство содержит: регистр хранения входной реализации первого изображения, регистр хранения входной реализации второго изображения, тактовый генератор, блок восстановления границ первого изображения, блок фильтрации первого изображения, блок фильтрации второго изображения, блок восстановления границ второго изображения, блок поиска контрольных точек на первом изображении и соответствий, блок поиска контрольных точек на втором изображении и соответствий, блок преобразования матрицы первого изображения, блок преобразования матрицы второго изображения, блок выделения контуров на изображениях, блок нахождения границы объединения изображений, блок исключения неперекрывающихся областей на изображениях, блок наложения градиента первого изображения, блок наложения градиента второго изображения, блок объединения изображений, регистр хранения выходной реализации.
Недостатками известного устройства являются:
- в случае получения пары кадров при смещении камеры фиксации повышается ошибка в наложении пар изображений;
- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;
- появление двойных контуров объединяемых изображений.
Наиболее близким, принятым за прототип, к изобретению является устройство объединения инфракрасных изображений [Патент RU 2718211, МПК G06T 5/50, G06F 17/17, опубл. 31.03.2020] позволяет получить объединенную композицию за счет слияния пар изображений, полученных в инфракрасном диапазоне. Устройство реализуют следующий алгоритм.
1. Загрузка пары изображений, зафиксированных только в инфракрасном диапазоне.
2. Выполнение операции предварительной обработки: сглаживание (например (Двумерный способ наименьших квадратов и устройство для его реализации: пат. 2362207) или любой другой метод фильтрации).
3. Для каждой пары ИК-изображений находятся базовые точки на изображении. Поиск связанных точек на ИК изображениях выполняется по анализу максимальной корреляции. Операция поиска осуществляется только на границах объектов с перепадом температур более 2-5 градусов.
4. Для каждой из пар изображений используется алгоритм упрощения. Упрощение осуществляется путем совмещения смежных по интенсивности значений пикселей. Реализация блока позволяет осуществить битовое преобразование с изменением данных с 8 на 3 бита, что соответствует градации по 8 диапазонам.
ε
m(ε)
ε
n
m
K
T
l
η
j
i
j
i
j
Зафиксируем произвольное неотрицательное число . Пусть  обозначает наименьшее возможное число кластеров, на которые все еще можно разбить множество ℜ при условии, что конечность разбиения не превышает . Пусть  - текущее количество пикселей,  - количество пикселей, полученных в результате изменения.  - начальное разбиение изображения на блоки,  - новые разбиваемые кластеры,  - размерность фрагментов пиксельных кластеров;  - номер -ой координаты векторы вида , где .
ε
≥
0
i
n
m
ε
ε
m(ε)
T
= 1, 2,…,
j
Использование алгоритма начинается с установки значения  верхнего предела конечности искомого разбиения множества ℜ. Примем   как среднее арифметическое яркостей составляющих пикселей, . Затем находим  - наименьшее возможное число кластеров, для которых еще есть разбиение ℜ конечности ≤ . Для этого мы знаем, что достаточно построить  - разбиение ℜ и принять за  число его кластеров. Задачу разбиения этого множества на кластеры с целью придания всем большим пикселям каждого кластера  одного и того же нового значения яркости, найденного усреднением их яркостей по одной из следующих двух формул:
S
,
ξ
T
T
T
s
n
m
i
j
1
2
m
N
Начальный раздел  ∈ = {,,…,} из множества  выбирается таким образом, чтобы число больших пикселей в любых двух его кластерах отличалось не более чем на единицу. При этом условии наименьшее количество элементов кластера =[/].
γ
1. Присвоение; :=0;
j
2. Присвоение; :=1;
3. Примем  как:
i
i
Рассчитаем  и := -1
4. Если , присвоение , если  - присвоение  и ;
5. Если  расчет завершен, и его окончательный результат является текущим . Если , то  и  выполняется переход к (3), если  - переход к шагу (2).
j
j
N
N
n
N
j
'
Приняв  и последовательно придавая переменной  значения 1,2,…,, вычисляем вспомогательную величину  и номер , где  - текущий элемент изображения, а затем переходим к следующему значению . При использовании данной процедуры номер  определится автоматически: рано или поздно очередное значение  совпадет с , после чего останется лишь выполнить присвоение := . Отметим, что последовательность  яркостей элементов множества ℜ строго убывает. Кластеризовав ее, получим разбиение
'
множества ℜ (здесь . Соответствующее ему разбиение множества ℜ имеет вид  и является результатом изменения размерности изображения.
6. Определите дополнительных точек, по данным полученным на этапе 5. В случае появления объектов с замкнутым контуром, дополнительно находим центр масс этих объектов.
7. Поиск соответствий между определенными на этапах 5, и 6 точек.
8. Операция изменения изображений, использование алгоритма проективного преобразования.
9. Выполнение операции объединения изображений.
10. Сохранение результата
Устройство объединения инфракрасных изображений содержит регистр хранения входной реализации первого изображения, регистр хранения входной реализации второго изображения, блок фильтрации первого изображения, блок поиска базовых точек; блок фильтрации второго изображения, блок упрощения изображений, блок  поиска центров масс объектов, блок поиска базовых точек упрощенных объектов, блок определение усредненных значений и выбор базовых точек, блок преобразований изображений, регистр хранения выходной реализации.
Недостатками известного устройства-прототипа являются:
- при объединении приоритет отдается участкам с высокодетализированными объектами, предыдущий не проводил анализ;
- не проводилось первичного анализа изображений, позволяет оптимизировать параметры обработки и изменить их после первой итерации.
Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:
- использование в качестве входных данных, изображений полученных в дальнем инфракрасном диапазоне и обладающих шумовой компонентой, обрабатываются сразу без учета особенностей изображения, вследствие чего, возможно появление размытия границ объектов, что приводит к неправильному объединению двух инфракрасных изображений в единое изображение.
Технический результат изобретения – повышение качества формирования объединенных инфракрасных изображений.
Полученный результат объединенного изображения формируется в условиях наличия шумовой компоненты и условиях автоматизированного поиска точек привязки объектов, расположенных в кадре. Для этого в способе реализован алгоритм двукратной обработки изображений, на первом производится формирование информационных показателей, второй этап направлен на устранение шумовой компоненты с возможностью сохранения границ объектов и точек с повышенной детализацией. По сформированным информационных параметрам осуществляется поиск матриц преобразования и построение кривой совмещения, на основании которого формируется объединенное изображение.
Фиг. 1 – пример преобразования тепловизионных изображений предложенным подходом;
Фиг. 2 – пример выделения областей с большим количеством границ;
Фиг. 3 – блок схема предложенного устройства.
Устройство поиска локальных особенностей на парах инфракрасных изображениях с их последующим объединением содержит регистр хранения входной реализации 1, вход которого является информационным входом устройства, выход регистра хранения входной реализации 1 подключен к входу блоку анализа изображений 2, первый выход которого подключен к первому входу блока фильтрации первого изображения 3, выход которого подключен к входу блока обрезки и поиска объектов на первом ИК изображений 5, выход которого подключен к входу блока проверки условия первой итерации первого изображения 7, первый выход которого подключен ко второму входу блока фильтрации первого изображения 3; второй выход блока проверки условия первой итерации первого изображения 7, подключен к входу блока построения маски поиска на высоко детализированных участках первого изображения 9, выход которого подключен к входу блока поиска базовых точек первого изображения 11, выход которого подключен к первому входу блока определения усредненных значений и выбор базовых точек 13, выход которого подключен к входу блока преобразований и объединения изображений 14, выход которого подключен к входу блока регистра хранения выходной реализации 15, выход которого является выходом устройства; второй выход блока анализа изображений 2 подключен к первому входу блока фильтрации второго изображения 4, выход которого подключен к входу блока обрезки и поиска объектов на втором ИК изображений 6, выход которого подключен к входу блока проверки условия первой итерации второго изображения 8, первый выход которого подключен ко второму входу блока фильтрации второго изображения 4; второй выход блока проверки условия первой итерации второго изображения 8 подключен к входу блока построения маски поиска на высокодетализированных участках второго изображения 10, выход которого подключен к входу блока поиска базовых точек второго изображения 12, выход которого подключен ко второму входу блока определения усредненных значений и выбор базовых точек 13.
Устройство поиска локальных особенностей на парах инфракрасных изображениях с их последующим объединением реализуют следующий алгоритм.
1. На первом шаге производится загрузка пары термальных изображений. Производится их анализ и выявление основных характеристик, таких как размер изображений, битность, являются они цветными или представлены в градациях серого, присутствуют ли на них лейблы (в случае их наличия, необходима их реконструкция или удаление).
2. Операция предварительной обработки изображений. На данном этапе производится первичное улучшение изображений. Для пары тепловизионных изображений параллельно выполняются операции предварительного шумоподавления, урезание битности, поиска локально стационарных участков и областей с высокой детализацией.
λ,
μ
λ,
μ
3. На основании полученных на предыдущем этапе данных, повторное выполнение операции шумоподавления, для локально стационарных участков, в качестве коэффициента сглаживания выбирается параметр = 0,03. Для участков границ областей, не вошедших в блоки с высокой детализацией = 4,57. Области, выделенные маской как объекты с высокой детализацией (найденные алгоритмом 3) должны быть исключены из применения алгоритма фильтрации.
4. На основании данных, полученных в результате урезания битности, производится исключение маски с высокой детализацией объектов. Сформированные участки разделяются на объекты, в которых происходит определение их центра масс. Для замкнутых объектов, возможно выполнение операции поиска средней линии. Полученные элементы могут быть использованы в качестве базовых точек при объединении пар тепловизионных изображений.
5. Для областей с высокой детализацией, найденных центров масс объектов, и эквидистантной кривой, выполняется поиск соответствий между точками. В качестве такого подхода может быть использован корреляционный анализ, статистические подходы или применение нейросетевых методов. На основании полученных пар соответствий определяется тип преобразования над изображениями.
6. Объединение данных и сохранение результата.
1 Метод фильтрации и поиска локально-стационарных областей
Чтобы уменьшить влияние шумовой составляющей на цифровое тепловизионное изображение, мы будем использовать метод многокритериальной фильтрации.  В качестве критерия используется критерий среднего квадрата разности между соседними элементами оценок, позволяющая уменьшить шум на гладких участках. В качестве второго критерия используется мера расхождения полученных оценок и входного сигнала, по срокам и столбцам, что позволяет сохранить границы перехода и мелкие детали на изображениях. Соответствующая многокритериальная целевая функция (2) имеет вид:
, (2)
λ
μ
где ,  - положительные константы.
Равенство входных значений и результатов первичной обработки принимается за первую итерацию алгоритма. Для расчета используется первая итерация с использованием элементов:
, (3)
.
Значения остальных элементов целевой функции (2) определяются на основе выражения:
(4)
Изменение параметров поправочных коэффициентов метода позволяет влиять на результат анализа значений строк и столбцов. Изменение этих параметров позволяет создавать ядра сложной обработки. Получены выражения, позволяющие снизить влияние шумовой составляющей в двумерном цифровом сигнале методом многокритериального сглаживания (2).
2 Метод уменьшения количества элементов в гистограмме цветовых градиентов
При первичном анализе изображений характеризующих разброс тепловых градиентов, возможно их упрощение. Данная операция позволит автоматизировать выделение локальных областей для использования метода шумоподавления. Метод уменьшения количества элементов гистограммы цветовых градиентов основан на поглощении интенсивности редких значений с небольшим количеством элементов на интенсивность часто встречающихся соседей. На Фиг. 1 показан пример преобразования тепловизионных изображений предложенным подходом.
Метод уменьшения количества элементов в гистограмме цветовых градиентов использует операции сравнения и поглощения и требует выполнение следующих операций:
1. На первом шаге производится загрузка тепловизионного изображения, представленного в цветовом поле. Определяются его параметры (размер, глубина цвета). Производится обрезка изображения, для отсечения лейблов и границ тепловых диапазонов. Вычисление гистограммы цветовых градиентов, что позволяет произвести объединение интенсивности в группы.
2. Определение максимумов и минимумов интенсивностей. Создание порога, равного 5% от максимальной интенсивности цветового градиента (отмечен на чертеже красной линией). Определение ближайших соседей для участков, не превышающих заданный порог. В случае наличия соседней области с интенсивностью, превышающей порог, диапазон приравнивается по интенсивности к нему.
3. Перерасчет элементов гистограммы, выполняется операция поглощения малых элементов большими. Далее выполняется операция проверки количества сформированных градиентов. В случае достижения искомой величины или ее превосходства расчет прекращается. В случае не достижения требуемого количества диапазонов, порог увеличивается на 5% и возврат к шагу 2.
3 Поиск участков областей изображения с высокой детализацией и локально стационарных областей
Реализация метода поиск участков областей изображения с высокой детализацией, а также локально стационарных участков основана на итеративном подходе. Анализ областей изображения выполняется в скользящем окне. В качестве детектора границ применена оценка со сверткой оператора Превитта.
Операция поиска участков с высокой детализацией используется метод «Плотность». Метод основан на пошаговом приближении и оценке количества углов и границ объектов в заданном окне, по отношению ко всему изображению. Определение общего коэффициента детализации исследуемого изображения выполняется на основе выражения:
(5)
I(x,y)
x
y
i
j
где  - значение пикселя с координатами  и ;  - количество строк;   - количество столбцов; - коэффициент детализации. Коэффициент детализации  определяется автоматически для каждого изображения и его выбор не требует эмпирического вмешательства.
На следующем этапе производится схожее определение плотности границ и углов объектов внутри локального окна обработки (6):
(6)
Выполняется сравнение  и , в случае превышения порога определения  принимается решение о выделении области как детализированной. Окно обработки значений сдвигается на пиксель. Оптимальным размером окна обработки является область, составляющая 5% от всего изображения. На Фиг. 2 представлен пример выделения областей с большим количеством границ. Представленный на результат обработки позволяет сформировать участки изображений, поиск особых точек привязки, на котором будет иметь максимальный приоритет.
Устройство поиска локальных особенностей на парах инфракрасных изображениях с их последующим объединением работает следующим образом.
λ, μ
λ, μ
На вход блока регистра хранения входной реализации 1, являющийся информационным входом устройства производится загрузка пары термальных изображений. Далее в блоке анализа изображений 2 производится их анализ и выявление основных характеристик, таких как размер изображений, битность, являются они цветными или представлены в градациях серого, присутствуют ли на них лейблы (в случае их наличия, необходима их реконструкция или удаление). Далее происходит операция предварительной обработки изображений. На данном этапе производится первичное улучшение изображений. Для пары тепловизионных изображений параллельно выполняются операции предварительного шумоподавления в блоке фильтрации первого изображения 3 и в блоке фильтрации второго изображения 4 соответственно, в блоке обрезки и поиска объектов на первом ИК изображений 5 и блоке обрезки и поиска объектов на втором ИК изображений 6, осуществляется поиска локально стационарных участков и областей с высокой детализацией и происходит удаление лейблов. На основании полученных данных, повторное выполнение операции шумоподавления, для локально стационарных участков, в качестве коэффициента сглаживания выбирается параметр = 0,03. Для участков границ областей, не вошедших в блоки с высокой детализацией параметр обработки устанавливается как = 4,57, операции выполняются в блоке проверки условия первой итерации первого изображения 7 и блоке проверки условия первой итерации второго изображения 8 соответственно. Области, выделенные маской как объекты с высокой детализацией (найденные алгоритмом 3), должны быть исключены из применения алгоритма фильтрации. На основании данных, производится исключение маски с высокой детализацией объектов в блоке построения маски поиска на высокодетализированных участках первого изображения 9 и блоке построения маски поиска на высокодетализированных участках второго изображения 10. Сформированные участки разделяются на объекты, в которых происходит определение их центра масс. Для замкнутых объектов возможно выполнение операции поиска средней линии [Semenishchev S. E. et al. Computation of equidistant curve for the image with blurred contours //Electronic Imaging. - 2017. - Т. 2017. - №. 6. - С. 90-96]. Полученные в блоке поиска базовых точек первого изображения 11 и блоке поиска базовых точек второго изображения 12 элементы могут быть использованы в качестве базовых точек при объединении пар тепловизионных изображений. Для областей с высокой детализацией, найденных центров масс объектов, и эквидистантной кривой, выполняется поиск соответствий между точками в блоке определения усредненных значений и выбор базовых точек 13. В качестве такого подхода может быть использован корреляционный анализ, статистические подходы или применение нейросетевых методов. На основании полученных пар соответствий определяется тип преобразования над изображениями и объединяется в блоке преобразований и объединения изображений 14. Сохранение результата осуществляется в блоке регистра хранения выходной реализации 15.