ОПТИКО-ЭЛЕКТРОННЫЙ ДАТЧИК ДЛЯ ФОРМИРОВАНИЯ ПАНОРАМНОГО ИЗОБРАЖЕНИЯ

Полезная модель относится к вычислительной технике и может быть использована для формирования панорамных изображений посредством их получения с оптико-электронного датчика и последующего совмещения.
Известно устройство получения панорамных изображений (патент США №5563650, H04N 7/18, от 08.10.1996). В основе устройства лежит получение изображений с использованием камеры с объективом типа «fish еуе» (объектив со сверхшироким углом обзора), последующее преобразование изображений в цифровой вид и трансформация в панорамные изображения, лишенные искажений, видимых человеческим глазом, с использованием компьютера и специального программного обеспечения.
Недостатками этого устройства являются возможность применения только камер с объективом типа «fish еуе», соответственно узкая область применения, а также необходимость получения большого количества изображений для обеспечения высокой точности получения панорамных изображений.
Также известно устройство для панорамной фотосъемки (патент RU 2319188, дата приоритета 14.12.2005 год). Данное устройство не позволяет точно фиксировать фотоаппарат в пространстве относительно объекта фотосъемки, все настройки устройства в системе координат выстраиваются пользователем вручную, путем применения шаблона, отвеса с двумя нитями, что приводит к искажению формы (вида) объекта. При этом фотоснимки, полученные в ходе использовании устройства содержат сторонние изображения нитей и отвеса, для исключения которых необходима графическая ретушь фотоснимков.
Наиболее близким к предлагаемому является устройство создания панорамных изображений в системах цифровых камер (патент США №6714249, H04N 7/00; G03B 17/00, от 30.03.2004), в котором заранее подготавливают и устанавливают в определенное положение камеру, поворачивая ее в предопределенные позиции, получают несколько серий изображений с одинаковыми областями, сохраняют в памяти эти изображения и автоматически объединяют несколько изображений в панорамное изображение.
Недостатками этого устройства является сложность практической реализации в связи с установкой камеры в строго определенное положение и поворота в предопределенные позиции, что предполагает от пользователя значительных трудозатрат и обладания специальными навыками, а также необходимость получения большого количества изображений для формирования панорамного изображения.
Технической задачей полезной модели является автоматическое построение панорамных изображений при перемещении видеокамеры без предварительной установки камеры в определенные позиции за счет использования минимального и достаточного количества перекрывающихся изображений.
Техническая задача решается тем, что в устройство формирования панорамного изображения, введены видеокамера, аналого-цифровой преобразователь (АЦП), оперативное запоминающее устройство (ОЗУ), контроллер ОЗУ, блок управления, модуль детектирования особенностей, модуль сопоставления особенностей, микроконтроллер, буферное выходное ОЗУ, причем выход видеокамеры подключен к первому входу АЦП, выход АЦП подключен к входу контроллера ОЗУ, вход-выход ОЗУ подключен к первому входу-выходу контроллера ОЗУ, вход-выход детектора особенностей подключен к второму входу-выходу контроллера ОЗУ, вход-выход модуля сопоставления особенностей подключен к третьему входу-выходу контроллера ОЗУ, первый вход-выход микроконтроллера подключен к четвертому входу-выходу контроллера ОЗУ, выход детектора особенностей подключен к входу модуля сопоставления особенностей, второй вход-выход микроконтроллера подключен к входу выходу буферного ОЗУ, выход микроконтроллера подключен к входу блока управления, первый выход блока управления подключен к входу видеокамеры, второй выход блока управления подключен к входу АЦП, третий вход-выход микроконтроллера является выходом устройства и предназначен для обмена данными и выдачей результирующего изображения.
Полезная модель может быть использована для формирования панорамных изображений из нескольких изображений, полученных фотокамерами, без предварительной установки в определенные позиции в автоматическом режиме и соответствует критерию «промышленная применимость».
Сущность полезной модели поясняется чертежами, где на фиг. 1 представлена схема устройства формирования панорамного изображения.
Оптико-электронный датчик для формирования панорамного изображения содержит видеокамеру 1, аналого-цифровой преобразователь (АЦП) 2, оперативное запоминающее устройство (ОЗУ) 3, контроллер ОЗУ 9, блок управления 4, модуль детектирования особенностей 5, модуль сопоставления особенностей 6, микроконтроллер 7, буферное выходное ОЗУ 8, причем выход видеокамеры 1 подключен к первому входу АЦП 2, выход АЦП 2 подключен к входу контроллера ОЗУ 9, вход-выход ОЗУ 3 подключен к первому входу-выходу контроллера ОЗУ 9, вход-выход детектора особенностей 5 подключен к второму входу-выходу контроллера ОЗУ 9, вход-выход модуля сопоставления особенностей 6 подключен к третьему входу-выходу контроллера ОЗУ 9, первый вход-выход микроконтроллера 7 подключен к четвертому входу-выходу контроллера ОЗУ 9, выход детектора особенностей 5 подключен к входу модуля сопоставления особенностей 6, второй вход-выход микроконтроллера 7 подключен к входу выходу буферного ОЗУ 8, выход микроконтроллера 7 подключен к входу блока управления 4, первый выход блока управления 4 подключен к входу видеокамеры 1, второй выход блока управления подключен к входу АЦП 2, третий вход-выход микроконтроллера 7 является выходом устройства и предназначен для обмена данными и выдачей результирующего изображения.
Устройство работает следующим образом. Видеокамера 1 осуществляет непрерывное получение изображений. Для этого с заданным интервалом времени микроконтроллер 7 подает команду в блок управления 4 на получение кадра изображения видеокамерой 1, эту команду блок управления далее передает на вход видеокамеры 1 и на вход АЦП 2. АЦП 2 получает кадр изображения на свой вход, преобразует его в цифровые отсчеты и под управления контроллера 9 данный кадр изображения записывается в ОЗУ 3. Далее контроллер ОЗУ 9 через свой четвертый выход-выход передает на первый вход-выход микроконтроллера 7 признак готовности обработки очередного кадра.
По поступлении этого признака микроконтроллер 7 через контроллур ОЗУ 9 передает команду детектору особенностей 5 на обработку очередного поступившего кадра. Детектор особенностей 5 считывает через контроллер ОЗУ 9 из ОЗУ 3 полученный кадр и ищет так называемые характерные особенности.
n
n
0
Обнаружение особенностей детектор особенностей 5 выполняет следующим образом. Вычисляется значения адаптированной к масштабированию функции Харриса для масштабов δ=ε⋅δ:
где
Количество слоев и значение шага масштаба F выбирается в зависимости от того, насколько большим может быть изменение масштаба между двумя изображениями. Для каждого уровня масштаба находятся локальные максимумы вычисленной функции Харриса, это и есть особые точки для данного масштаба изображения. Для каждой найденной таким образом особенности проверяется достижение в ней максимума функции по переменной n
Если локальный максимум не достигается, то точка отбрасывается.
n
Все оставшиеся точки являются особенностями изображения, с каждой точкой ассоциирован масштаб δ, на котором она была обнаружена.
Найденный таким рассмотренным образом в процессе обработке всего кадра особенности детектор особенностей 5 передает вектор выделенных признаков особенностей в модуль сопоставления особенностей 6 для сравнения текущей найденной особенности с ранее найденными особенностями на предыдущем кадре.
Сравнение текущей особенности с ранее найденными особенностями выполняет модуль сопоставления особенностей 6 производит следующим образом. Для сопоставления обнаруженных особенностей используются дескрипторы особенностей - векторы числовых характеристик окрестности особенности. Для принятия решений о том соответствуют ли друг другу особенности или нет, сравниваются окрестности этих особенностей, записанные в виде вектора. Оценка изменения масштаба решается применением scale-space детекторов особенностей. Определение scale-space представления изображения производит модуль сопоставления особенностей 6 по следующему выражению:
где
Scale-space представление изображения есть размытие изображения при помощи свертки Гауссианом g с разными значениями параметра размытия δ. Для обеспечения инвариантности к изменению масштаба перед вычислением дескриптора выполняется нормировка в соответствии с локальным масштабом особенности. Если дескриптор состоит из выражений, в которых используются нормированные производные, то окрестность не масштабируется. А только рассчитываются значения производных для значения масштаба δ, который ассоциирован с особенностью.
В случае, если данная особенностей уже была на предыдущем кадре, то модуль сопоставления особенностей 6 обновляет координаты особенности и записывает ее обновленные координаты в ОЗУ 3 через контроллер ОЗУ 9. В случае, если особенность ранее не обнаружена, то модуль сопоставления особенностей 6 записывает данную особенность как новую в ОЗУ 3 посредством передачи параметров особенности через свой вход-выход на третий вход-выход котнроллера ОЗУ 9 и вход-выход ОЗУ 3.
Далее после обработки всего кадра микроконтроллер 7 определяет координаты и угловые величины смещения кадра по хранящимсяв ОЗУ 3 текущим координатам одних и тех же особенностей на текущем и предыдущих кадрах и вычисляет параметры совмещения текущего и предыдущих кадров изображений. После вычисления параметров совмещения микроконтроллер 7 совмещает части текущего и предыдущего кадров изображений и записывает результаты совмещения в буферное ОЗУ 8. Рассмотренная процедура совмещения фрагментов текущего и предыдущего кадров повторяется непрерывно для каждого очередного кадра, в результате в буферном ОЗУ 8 хранится так называемое панорамное изображений, под которым понимаетя совмещенное изображение, полученное путем анализа непрерывного потока отдельных входных изображений.
Полученное панорамное изображение считывается из выходнго буферного ОЗУ 8 микроконтроллером 7 и с третьего входа выхода микроконтроллера 3 передается во внешнее устройство.
Таким образом, полезная модель позволяет расширить область применения за счет использования минимального количества перекрывающихся изображений без предварительной установки камеры в определенные позиции и автоматического нахождения и сопоставления множества точечных особенностей изображений.