УСТРОЙСТВО ОБНАРУЖЕНИЯ И СОПОСТАВЛЕНИЯ ОСОБЕННОСТЕЙ НА СТЕРЕОПАРЕ ИЗОБРАЖЕНИЙ

Полезная модель может быть использована для обнаружения и сопоставления характерных особенностей на паре изображений, с целью выявления общих частей, фрагментов для дальнейшего построения панорамных изображений или реализации трехмерного стереоскопического технического зрения.
7
Известно устройство для распознавания объектов (пат. №2438174 РФ, МПК G06K 9/68, 27.12.2011 г.), содержащее блок ввода изображения, подготовки изображения - свертки с заданной функцией, аппроксимации производной свертки фильтром, выявление локальных экстремумов, вычисление дескрипторов.
Недостатками этого устройства являются недостаточная точность обнаружения особенностей на искаженных, зашумленных изображениях, малое быстродействие, отсутствие возможности сопоставления пары изображений.
7
Известно устройство формирования составного изображения (пат. №2421814 РФ, МПК G06K 9/44, 20.02.2009 г.), содержащее блок выбора опорного изображения, выбора изображения для сравнения (объединения), расчета приблизительной рамки, в пределах которой будет осуществляться поиск особых точек, применения метода вращения относительно опорного изображения, изменения размеров и положения рассматриваемых изображений.
Недостатками этого устройства являются недостаточная точность обнаружения особенностей, обусловленная ограниченной областью поиска.
7
Известно устройство для распознавания изображений объектов (пат. №2361273 РФ, МПК G06K 9/62, 12.03.2007 г.), содержащее блок ввода изображения, обработки, анализа и последующей обработки, подсчета разностей в яркости пикселей в градациях серого исходного и эталонного изображения, распознавания изображения, сохранения параметров, сравнения параметров, расчета проекций, стек для накопления полученных изображений, запоминающее устройство с параметрами имеющихся эталонов, блок преобразования, блок выбора эталона по переданным параметрам, запоминающее устройство с эталонным изображением, устройство для коммуникации с ЭВМ.
Недостатками этого устройства являются недостаточное быстродействие, сложность устройства, недостаточная точность анализа зашумленных, искаженных изображений.
7
Известно устройство для формирования составного изображения (пат. №8391641 США, МПК G06K 9/36, 5.03.2013 г.), содержащее селектор для выбора точки в первом рассматриваемом изображении, и сопоставимой точки во втором изображении, блок определения наложения двух точек, регулятор для регулирования одного из изображений для минимизации градиента.
Недостатками этого устройства являются недостаточное быстродействие, неточность сопоставления на зашумленных, искаженных изображениях.
7
Известно устройство для сравнения изображений с помощью топологически эквивалентного соответствия (пат. №8401342 США, МПК G06K 9/60, 19.03.2013 г.), содержащее запоминающее устройство с базой данных изображений, устройство ввода изображений, модули подготовки изображений, определения параметров, проверки топологически эквивалентного соответствия.
Недостатками этого устройства являются низкое быстродействие, необходимость предварительной подготовки базы сравнения.
7
Известно устройство для сравнения изображений (пат. №8401310 США, МПК G06K 9/68, 11.06.2013 г.), включающее в себя блоки преобразования изображений в числовые данные, деления числовых данных, сравнения разделенных числовых данных, ввода промежуточных результатов, согласования полученных результатов.
Недостатком этого устройства является недостаточная точность сопоставления изображений.
7
Наиболее близким к предлагаемой полезной модели является устройство детектирования локальных особенностей на изображении (пат. 2535184, заявка № РФ, МПК G06K 9/00, 20.07.2014 г.), содержащее модули (блоки) ввода, подготовки изображения, поиска особых точек и дескрипторов.
Недостатком данного устройства является поиск особенностей только на одном изображении и отсутствие возможности дополнительного уточнения особенностей на паре изображений.
Технической задачей полезной модели является повышение точности обнаружения и сопоставления особенностей на стереопаре изображений с искажением, высокой зашумленностью, обеспечение возможности обработки стереопары изображений для последующего трехмерного восприятия.
Задача решается тем, что в известное устройство, содержащее первый контроллер ввода изображения, введены второй контроллер ввода изображения, первый и второй модули подготовки изображения, первый и второй модули поиска особых точек, системная шина (СШ), оперативное запоминающее устройство (ОЗУ), первый модуль подготовки изображения, второй модуль подготовки изображения, первый модуль поиска особых точек, второй модуль поиска особых точек, первый модуль вычисления дескрипторов, второй модуль вычисления дескрипторов, модуль сопоставления дескрипторов, модуль выбора точек с минимальным расстоянием, коммуникационный контроллер, причем, на вход первого контроллера ввода изображения подается первое анализируемое изображение, выход первого контроллера ввода изображения подключен к первому входу СШ, на вход второго контроллера ввода изображения подается второе анализируемое изображение, выход второго контроллера ввода изображения подключен ко второму входу СШ, вход-выход ОЗУ подключен к первому входу-выходу СШ, вход-выход первого модуля подготовки изображения соединен со вторым входом-выходом СШ, вход-выход второго модуля подготовки изображения подключен к третьему входу-выходу СШ, вход-выход первого модуля поиска особых точек изображения подключен к четвертому входу-выходу СШ, вход-выход второго модуля поиска особых точек изображения подключен к пятому входу-выходу СШ, вход-выход первого модуля вычисления дескрипторов подключен к шестому входу-выходу СШ, вход-выход второго модуля вычисления дескрипторов подключен к седьмому входу-выходу СШ, вход-выход модуля сопоставления дескрипторов подключен к восьмому входу-выходу СШ, вход-выход модуля выбора пар точек с минимальным расстоянием подключен к девятому входу-выходу СШ, первый вход-выход коммуникационного контроллера подключен к десятому входу-выходу СШ, второй вход-выход коммуникационного контроллера является входом-выходом всего устройства и предназначен для приема и передачи данных и команд.
Сущность полезной модели поясняется чертежом, где на фиг. 1 показана структурная схема полезной модели.
Устройство содержит (фиг. 1) первый контроллер ввода изображения 1, второй контроллер ввода изображения 2, первый модуль поиска особых точек изображения 3, второй модуль поиска особых точек изображения 4, модуль сопоставления дескрипторов 5, коммуникационный контроллер 6, системную шину 7, ОЗУ 8, первый модуль подготовки изображения 9, второй модуль подготовки изображения 10, первый модуль вычисления дескрипторов 11, второй модуль вычисления дескрипторов 12, модуль выбора точек с минимальным расстоянием 13, причем, на вход первого контроллера ввода изображения 1 подается первое рассматриваемое изображение, выход первого контроллера ввода изображения 1 подключен к первому входу СШ 7, на вход второго контроллера ввода изображения 2 подается второе рассматриваемое изображение, выход второго контроллера ввода изображения 2 подключен к второму входу СШ 7, вход-выход ОЗУ 8 подключен к первому входу-выходу СШ 7, вход-выход первого модуля подготовки изображения 9, выполняющего представление в градациях серого вводимых изображений и фильтрацию систематических и случайных искажений, соединен с вторым входом-выходом СШ 7, вход-выход второго модуля подготовки изображения 10, выполняющего представление в градациях серого вводимых изображений и фильтрацию систематических и случайных искажений, подключен к третьему входу-выходу СШ 7, вход-выход первого модуля поиска особых точек изображения 3 подключен к четвертому входу-выходу СШ 7, вход-выход второго модуля поиска особых точек изображения 4 подключен к пятому входу-выходу СШ 7, вход-выход первого модуля вычисления дескрипторов 11 подключен к шестому входу-выходу СШ 7, вход-выход второго модуля вычисления дескрипторов 12 подключен к седьмому входу-выходу СШ 7, вход-выход модуля сопоставления дескрипторов 5 подключен к восьмому входу-выходу СШ 7, вход-выход модуля выбора пар точек с минимальным расстоянием 13, реализующим выбор пар точек с минимальным расстоянием между дескрипторами, подключен к девятому входу-выходу СШ 7, первый вход-выход коммуникационного контроллера 6 подключен к десятому входу-выходу СШ 7, второй вход-выход коммуникационного контроллера 6 является входом-выходом всего устройства и предназначен для приема и передачи данных и команд.
Первый и второй контроллеры ввода изображений 1 и 2 предназначены для ввода анализируемой пары изображений. Первый и второй модули подготовки изображений 9 и 10 служат для представления в градациях серого введенной пары изображений и представления их в виде числовых матриц. Преобразование к градациям серого цвета выполняют по формуле 1:
R
G
B
I=0.3·I+0.59·I+0.11·I
где из RGB-цвета получают значение от 0 до 255. Первый 3 и второй 4 модули поиска особых точек выполняют параллельный поиск особых точек для рассматриваемой пары изображений с помощью метода SURF.
Первый и второй модули вычисления дескрипторов 11 и 12 выполняют параллельное вычисление дескрипторов для рассматриваемой пары изображений. Модуль сопоставления дескрипторов 5 выполняет сопоставление найденных дескрипторов пары рассматриваемых изображений. Модуль выбора пар точек с минимальным расстоянием между дескрипторами 13 отсеивает сопоставленные пары дескрипторов рассматриваемых изображений с большими расстояниями между дескрипторами. То есть выбирает из всех сравнимых точек только те, расстояние между дескрипторами которых не более трех минимальных дистанций между ними. Таким образом, выполняется отсеивание ошибочно сравнимых точек.
Устройство работает следующим образом. На вход первого контроллера ввода изображения 1 поступает первое изображение, на вход второго контроллера ввода изображения 2 подается второе изображение. С выхода первого контроллера ввода изображения 1 изображение в виде последовательности отсчетов яркостей и цвета пикселов исходного изображения поступает на первый вход СШ 7 и далее с первого входа-выхода СШ 7 записываются через вход-выход ОЗУ 8 в ОЗУ 8. С выхода второго контроллера ввода изображения 2 изображение в виде последовательности отсчетов яркостей и цвета пикселов исходного изображения поступает на второй вход СШ 7 и далее с первого входа-выхода СШ 7 записываются через вход-выход ОЗУ 8 в ОЗУ 8. Первый 1 и второй 2 контроллеры ввода изображения в процессе указанной процедуры ввода преобразуют форматы исходных поступивших изображений из цветных в монохроматические восьмибитные. Далее с входа-выхода ОЗУ 8 первое изображение передается на первый вход-выход СШ 7 и далее со второго входа-выхода СШ 7 передается через вход-выход в первый модуль подготовки изображения 9, который выполняет представление в градациях серого введенной пары изображений, подготовленное первое изображение с входа-выхода первого модуля подготовки изображения 9 передается на второй вход-выход СШ 7 и далее с первого входа-выхода СШ 7 через вход-выход ОЗУ 8 записывается в ОЗУ 8. Затем с входа-выхода ОЗУ 8 второе изображение передается на первый вход-выход СШ7 и далее с третьего входа-выхода СШ 7 передается через вход-выход во второй модуль подготовки изображения 10, выполняющий аналогичные действия по фильтрации и устранению систематических искажений, после чего подготовленное второе изображение с входа-выхода второго модуля подготовки изображения 10 передается на третий вход-выход СШ 7 и далее с первого входа-выхода СШ 7 через вход-выход ОЗУ 8 записывается в ОЗУ 8. С входа-выхода ОЗУ 8 подготовленное первое изображение передается на первый вход-выход СШ 7 и далее с четвертого входа-выхода СШ 7 передается через вход-выход в первый модуль поиска особых точек изображения 3, найденные особые точки через вход-выход первого модуля поиска особых точек изображения 3 передаются на четвертый вход-выход СШ 7 и далее с первого входа-выхода СШ 7 через вход-выход ОЗУ 8 записывается в ОЗУ 8. Аналогичным образом с входа-выхода ОЗУ 8 подготовленное второе изображение передается на первый вход-выход СШ 7 и далее с пятого входа-выхода СШ 7 передается через вход-выход во второй модуль поиска особых точек изображения 4, найденные особые точки через вход-выход второго модуля поиска особых точек изображения 4 передаются на пятый вход-выход СШ 7 и далее с первого входа-выхода СШ 7 через вход-выход ОЗУ 8 записывается в ОЗУ 8. С входа-выхода ОЗУ 8 найденные особые точки первого изображения передается на первый вход-выход СШ 7 и далее с шестого входа-выхода СШ 7 передается через вход-выход в первый модуль вычисления дескрипторов 11, который обеспечивает вычисление дескрипторов для рассматриваемой пары изображений, вычисленные дескрипторы через вход-выход первого модуля вычисления дескрипторов 11 передаются на шестой вход-выход СШ 7 и далее с первого входа-выхода СШ 7 через вход-выход ОЗУ 8 записывается в ОЗУ 8. С входа-выхода ОЗУ 8 найденные особые точки второго изображения передается на первый вход-выход СШ 7 и далее с седьмого входа-выхода СШ 7 передается через вход-выход во второй модуль вычисления дескрипторов 12, вычисленные дескрипторы через вход-выход второго модуля вычисления дескрипторов 12 передаются на седьмой вход-выход СШ 7 и далее с первого входа-выхода СШ 7 через вход-выход ОЗУ 8 записывается в ОЗУ 8. С входа-выхода ОЗУ 8 вычисленные дескрипторы по первому и второму поступившим изображениям передается на первый вход-выход СШ 7 и далее с восьмого входа-выхода СШ 7 передается через вход-выход модуля сопоставления дескрипторов 5 в модуль сопоставления дескрипторов 5. Далее найденные модулем сопоставления дескрипторов 5 пары сопоставленных дескрипторов через вход-выход модуля сопоставления дескрипторов 5 передаются на восьмой вход-выход СШ 7 и далее с первого входа-выхода СШ 7 через вход-выход ОЗУ 8 записывается в ОЗУ 8. С входа-выхода ОЗУ 8 пары сопоставленных дескрипторов передается на первый вход-выход СШ 7 и далее с девятого входа-выхода СШ 7 передается через вход-выход в модуль выбора пар точек с минимальным расстоянием 13, который выбирает пары сопоставленных дескрипторов с минимальным расстоянием между ними, пары сопоставленных дескрипторов через вход-выход модуля выбора пар точек с минимальным расстоянием 13 передаются на девятый вход-выход СШ 7 и далее с первого входа-выхода СШ 7 через вход-выход ОЗУ 8 записывается в ОЗУ 8.
С входа-выхода ОЗУ 8 пара изображений с обнаруженными и сопоставленными особенностями передается на первый вход-выход СШ 7 и далее с десятого входа-выхода СШ 7 передается через первый вход-выход в коммуникационный контроллер 6, через второй вход-выход коммуникационного контроллера 6 пара изображений с обнаруженными и сопоставленными особенностями передается на выход устройства.
ОЗУ 8 реализуется на микросхемах памяти, удовлетворяющих требуемому быстродействию и объему, например, на отечественных микросхемах КР565РУ9, включенных по схеме с общими адресными входами, или их зарубежных аналогах.
Первый и второй модули подготовки изображений 9, 10, первый и второй модули поиска особых точек 3, 4, первый и второй модули вычисления дескрипторов 11, 12, модуль сопоставления дескрипторов 5, модуль выбора пар точек с минимальным расстоянием между дескрипторами 13 реализуются на микросхемах, имеющих функции счетчиков, сумматоров и логических элементов, или на ПЛИС, выполняющих указанные операции, например, на ПЛИС Virtex 4.
Повышение точности сопоставления особых точек и, как следствие повышения точности работы все полезной модели, достигается введением первого 9 и второго 10 модулей подготовки изображений, обеспечивающих фильтрацию и устранение систематических искажений и соответствующих связей. В результате, изображения после обработки в указанных модулях подготовки изображений 9 и 10 характеризуются меньшим уровнем шума и устраненными систематическим искажениями. Это обеспечивает минимизацию искажений и, как следствие дополнительную, схожесть изображений, поступающих и обрабатываемых далее в модулях поиска особых точек 3 и 4.
Полезная модель позволяет повысить точность поиска и сопоставления характерных особенностей на стереопаре изображений и расширить область применения для задач трехмерного технического зрения и сопровождения объектов по их изображениям.