УСТРОЙСТВО И СПОСОБ ДЛЯ ОЦЕНКИ ПЕРЕМЕЩЕНИЯ ВСЛЕДСТВИЕ ДРОЖАНИЯ РУК И ИСПОЛЬЗУЮЩЕЕ ИХ УСТРОЙСТВО ПОЛУЧЕНИЯ ИЗОБРАЖЕНИЙ
APPARATUS AND METHOD OF ESTIMATING DISPLACEMENT DUE TO ARM SHAKE AND DEVICE USING SAID METHOD AND APPARATUS TO OBTAIN IMAGES

ОБЛАСТЬ ТЕХНИКИ
Устройства и способы, согласованные с настоящим изобретением, относятся к оценке перемещения в устройстве получения изображений, а более точно - к оценке общего вектора перемещения изображения вследствие дрожания рук посредством использования информации масштабирования и информации фокуса.
УРОВЕНЬ ТЕХНИКИ
Большинство технологий обработки движущихся изображений используют подход компенсирования для оценки только перемещения локального объекта, проявляющегося между близлежащими кадрами. Это перемещение упоминается в качестве локального перемещения. Тем не менее, в действительно движущихся изображениях, на полное изображение влияет, в дополнение к локальному перемещению, такому как перемещение масштабирования, перемещение панорамы и поворот камеры. Это перемещение, влияющее на все изображение, упоминается как общее перемещение. В общем, устройство получения изображений, такое как камера или камкордер, использует способ обнаружения общего перемещения для корректировки положения кадра.
В таких устройствах получения изображений пространственное расположение изображения изменяется во времени вследствие дрожания рук и соседствующих колебаний.
Вообще, в изображении, полученном с помощью движущейся камеры, перемещение фона и перемещение объекта существует в одно и то же время, и поэтому общее перемещение вычисляется в каждом изображении, тем самым обнаруживая перемещение объекта.
В способе оценки общего вектора перемещения существующего уровня техники является затруднительным найти общий вектор перемещения вследствие изменения масштабирования, предоставляемого устройством получения изображений.
Фиг.1A иллюстрирует изображение, сфотографированное, когда увеличение мало, а фиг.1B иллюстрирует изображение, сфотографированное, когда увеличение больше.
Когда в одно и то же время имеются дрожание рук и перемещение объекта, перемещение объекта может быть найдено в области 103 объекта, проиллюстрированной на фиг.1A.
В данном случае перемещение вследствие дрожания рук также происходит в области вне области 103 изображения объекта.
Тем не менее, если увеличение масштабирования становится больше, как проиллюстрировано на фиг.1B, область 104 изображения объекта становится относительно больше по отношению к общей области 102.
Соответствующим образом, перемещение объекта имеет частоту, меньшую, чем частота камеры, заданная пользователем, управляющим камерой, но с увеличивающимся увеличением масштабирования, перемещение объекта становится увеличивающейся частью целого изображения.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
В результате этого, если увеличивается приближение масштабирования, перемещение объекта все более влияет на все изображение, тем самым создавая проблему выбора общего вектора перемещения вследствие дрожания рук.
ТЕХНИЧЕСКОЕ РЕШЕНИЕ
Настоящее изобретение предоставляет устройство и способ для оценки перемещения вследствие дрожания рук, в котором общее перемещение вследствие дрожания рук может быть точно оценено посредством установки значения весового коэффициента для вектора перемещения каждого из множества блоков изображения в устройстве получения изображения, таком как камера и камкордер, согласно информации увеличения масштабирования и информации фокуса.
Настоящее изобретение также предоставляет устройство получения изображений с использованием устройства и способа оценки перемещения вследствие дрожания рук.
Полезные результаты
Согласно примерным вариантам осуществления настоящего изобретения перемещение вследствие дрожания рук и перемещение объекта изменяются в зависимости от информации фокуса и увеличения масштабирования. Соответствующим образом, в устройстве получения изображения, таком как камера или камкордер, посредством определения весового коэффициента для вектора движения каждого блока согласно информации увеличения масштабирования и фокуса, может быть точно оценено перемещение вследствие дрожания рук. Также посредством адаптивного нахождения вектора перемещения согласно увеличениям масштабирования влияние перемещения объекта может быть минимизировано, когда оценивается общий вектор перемещения.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
Вышеописанный и другие аспекты настоящего изобретения станут более очевидны посредством подробного описания примерных вариантов его осуществления со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1A и 1B являются диаграммами, иллюстрирующими экраны изображений, сфотографированных с различными увеличениями масштабирования согласно прилагаемым чертежам;
Фиг.2 является диаграммой, иллюстрирующей систему координат трехмерного мира для объяснения информации обыкновенным способом сфотографированного изображения согласно существующему уровню техники;
Фиг.3A является графиком, иллюстрирующим частоты векторов перемещения, возникающих, когда имеет место дрожание рук при фотографировании изображения с помощью устройства получения изображения, соответствующего существующему уровню техники;
Фиг.3B является графиком, иллюстрирующим частоты векторов перемещения, возникающих, когда установлено увеличение масштабирования в устройстве получения изображения, соответствующем существующему уровню техники;
Фиг.4 является структурной схемой устройства получения изображения согласно примерному варианту осуществления изобретения;
Фиг.5 является детализированной схемой модуля стабилизации изображения, проиллюстрированного на фиг.4 согласно примерному варианту осуществления настоящего изображения;
Фиг.6 является схемой, иллюстрирующей весовую функцию вектора перемещения для каждого блока по отношению к увеличениям приближения согласно примерному варианту осуществления настоящего изобретения;
Фиг. 7A и 7B являются схемами, иллюстрирующими изменения в весовой функции вектора перемещения на основе информации фокуса согласно примерному варианту осуществления настоящего изобретения;
Фиг.8 является блок-схемой последовательности операций, иллюстрирующей способ оценки перемещения вследствие дрожания рук согласно примерному варианту осуществления настоящего изобретения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Согласно одному аспекту настоящего изобретения обеспечивается способ оценки перемещения вследствие дрожания рук в устройстве получения изображений, включающий в себя этапы, на которых делят сфотографированное изображение на множество блоков изображения; определяют значение весового коэффициента для вектора перемещения каждого блока изображения на основе информации фокуса и информации увеличения масштабирования; прогнозируют вектор перемещения для каждого блока изображения и определяют общий вектор перемещения вследствие дрожания рук посредством применения значения весового коэффициента, определенного для вектора перемещения для каждого блока изображения к спрогнозированному вектору перемещения.
Согласно другому аспекту настоящего изобретения предоставлено устройство для оценки перемещения вследствие дрожания рук в устройстве получения изображений, устройство, включающее в себя модуль установки значения весового коэффициента блока, который определяет отличное значение весового коэффициента для вектора перемещения каждого из множества блоков изображения согласно информации фокуса и информации увеличения масштабирования; модуль оценки перемещения, который оценивает вектор перемещения каждого блока изображения, полученного делением сфотографированного изображения; и модуль обнаружения общего перемещения, который определяет общий вектор перемещения вследствие дрожания рук посредством приложения определенного значения весового коэффициента для вектора перемещения для каждого блока изображения к вектору перемещения, оцененному в модуле оценки перемещения.
РЕЖИМ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Настоящее изобретение далее будет описано более полно со ссылками на чертежи, на которых показаны примерные варианты осуществления изобретения.
Фиг.2 является диаграммой, иллюстрирующей систему координат трехмерного (3D) мира для объяснения информации обыкновенным способом сфотографированного изображения согласно существующему уровню техники.
Когда перемещение в трехмерном мире проецируется на двумерную (2D) плоскость изображения, увеличения масштабирования, предоставляемые функцией масштабирования в устройстве получения изображения, имеют линейное отношение к размеру объекта на плоскости изображения.
Фиг.2 иллюстрирует информацию на изображении, сформированном на плоскости 202 изображения объекта 203 в системе координат 3D мира.
Результат масштабирования указан посредством ссылочного номера 204. Результат масштабирования может быть выражен посредством уравнения 1, приведенного ниже, согласно изменениям в увеличениях масштабирования:
(1)
f
где Z - информация глубины объекта в 3D пространстве, а  - информация масштабирования.
f
Согласно уравнению 1 расположение (x, y), в котором изображение объекта сформировано на плоскости изображения, имеет линейное отношение к информации масштабирования .
Соответствующим образом, вследствие данного линейного отношения возникает задача оценки общего вектора перемещения.
Фиг.3A является графиком, иллюстрирующим частоты векторов перемещения, возникающих, когда имеет место дрожание рук при фотографировании изображения с помощью устройства получения изображения. Фиг.3B является графиком, иллюстрирующим частоты векторов перемещения, возникающих, когда установлено увеличение масштабирования в устройстве получения изображения.
x1
x2
На фиг.3A координаты x обозначают значения модулей векторов перемещения (mv), а координаты y указывают частоты векторов перемещения. Ссылочная позиция 303 указывает распределение модуля вектора в каждом блоке модуля после оценки перемещения в каждом блоке. Распределение модуля векторов перемещения, проиллюстрированное на фиг.3A, показывает, что одно большое пиковое значение и другое малое пиковое значение присутствуют над осью X. В этом случае перемещение вследствие дрожания рук влияет на общую область изображения. Соответствующим образом, может быть определено, что mv404, имеющий большой пик, является вектором перемещения вследствие дрожания рук, а mv 405, имеющий маленький пик, является вектором перемещения вследствие перемещения объекта.
x1
x2
Тем не менее, если увеличение масштабирования увеличено, или если объекты не существуют на одной и той же глубине, часть объекта во всем изображении увеличивается. Соответствующим образом, когда изображения фотографируются, возникают два пика над осью X, как проиллюстрировано на фиг.3B. Соответственно, трудно определить, какой пик является вектором перемещения вследствие дрожания рук, из двух пиков mv 406 и mv408.
Фиг.4 является структурной схемой устройства получения изображения согласно примерному варианту осуществления изобретения.
Согласно фиг.4 устройство получения изображения включает в себя модуль 410 фотографических линз, модуль 420 измерения фокуса, модуль 430 датчика изображения, модуль 440 цифровой стабилизации изображения, модуль 450 управления и модуль 460 манипулирования.
Модуль 410 фотографических линз включает в себя модуль оптических линз и формирует изображение объекта, который требуется сфотографировать, на поверхности, на которую падает освещение, модуля 430 датчика изображения.
Модуль 430 датчика изображения, который может быть типом устройства с зарядовой связью (CCD) или комплементарного металл-оксидного полупроводника (CMOS), снимает изображение объекта, формируемое на поверхности, на которую падает освещение, и преобразует изображение в сигналы красного, зеленого и синего (RGB).
Модуль 460 принимает входной сигнал команды манипулирования, относящегося к выбору функции и управлению, от модуля манипулирования. В частности, модуль 460 управления принимает команду изменения масштабирования от модуля манипулирования, управляющего устройством, и подает команду устройству 460 управления.
Модуль 420 измерения фокусного расстояния измеряет сфокусированные расположения в областях в фотографируемом изображении с использованием известной технологии и предоставляет результат модулю 420 управления. Например, модуль 420 измерения фокусного расстояния определяет информацию фокуса посредством использования высокочастотной компоненты сфотографированного изображения.
Модуль 450 управления принимает информацию изменения масштабирования от модуля манипулирования посредством модуля 460 управления, корректирует увеличение масштабирования и фокус модуля 410 фотографических линз и принимает информацию фокуса от модуля 420 измерения фокусного расстояния. В примерном варианте осуществления настоящего изобретения, когда предопределенный объект фотографируется посредством управления функции оптического масштабирования, модуль 450 управления может передавать модулю 440 цифровой стабилизации изображения информацию увеличения масштабирования, прилагаемого к модулю 410 фотографических линз. Также устройство 450 управления обеспечивает модуль 440 цифровой стабилизации изображения информацией о положении фокусирования изображения.
Модуль 440 цифровой стабилизации изображения обнаруживает общий вектор перемещения из входного сигнала изображения с дрожанием рук от модуля 430 датчика изображения и накапливает векторы общего перемещения, тем самым получая стабилизированное изображение. В частности, модуль 440 цифровой стабилизации изображения определяет вес вектора перемещения для каждого блока согласно информации увеличения масштабирования и фокуса от модуля 450 управления и извлекает общее перемещение из-за перемещения дрожания рук на основе весового коэффициента вектора перемещения для каждого блока.
Фиг.5 является детализированной схемой модуля 440 стабилизации изображения, проиллюстрированного на фиг.4 согласно примерному варианту осуществления настоящего изображения.
Согласно фиг.5 модуль цифровой стабилизации изображения включает в себя модуль 510 установки значения весового коэффициента блока, модуль 520 деления на блоки, модуль 530 оценки перемещения, модуль 540 обнаружения общего перемещения, модуль 550 накопления вектора перемещения и модуль 560 корректировки дрожания рук.
Модуль 510 установки весового коэффициента блока обнаруживает значение весового коэффициента для вектора перемещения, которое может быть различным для каждого блока или области, посредством информации фокуса и информации увеличения масштабирования. То есть модуль 510 установки весового коэффициента блока определяет весовую функцию вектора перемещения, которая предустановлена на основе информации фокуса, и изменяет наклон весовой функции вектора перемещения по отношению к информации увеличения масштабирования. В этом случае весовая функция вектора перемещения может быть установлена в качестве одномерной (1D) линейной функции или двумерной (2D) линейной функции. Также значение весового коэффициента для вектора перемещения каждого блока согласно информации увеличения масштабирования или фокуса может быть сохранено заблаговременно в качестве таблицы поиска. Также может быть использовано множество способов вычисления вектора перемещения в каждом блоке.
Модуль 520 разделения на блоки разделяет сигнал сфотографированного изображения на преопределенные блоки или элементы области.
Модуль 530 оценки перемещения оценивает вектор перемещения каждого элемента блока, получаемого делением изображения в модуле 520 деления на блоки, посредством использования алгоритма поблочного сравнения. Например, модуль 530 оценки перемещения может оценивать вектор перемещения каждого блока посредством вычисления разницы между блоком опорного кадра (или предыдущего кадра) и блоком текущего кадра посредством использования временной корреляции между соседними кадрами.
Модуль 540 обнаружения общего перемещения ищет общее перемещение изображения для того, чтобы скорректировать изображение, в котором имеет место во времени дрожание рук. Соответствующим образом, модуль 540 обнаружения общего перемещения применяет значение весового коэффициента вектора перемещения для каждого элемента блока, определенного узлом 510 установки значения весового коэффициента блока вектору перемещения каждого блока, оцененного в модуле 530 оценки перемещения, тем самым обнаруживая общий вектор перемещения вследствие перемещения дрожания рук.
Модуль 550 накопления перемещения накапливает векторы общего перемещения, обнаруженные в модуле 540 обнаружения общего перемещения.
Модуль 560 корректировки дрожания рук корректирует положение кадра для того, чтобы компенсировать перемещение дрожания рук посредством использования векторов общего перемещения, накопленных в модуле 550 накопления перемещения.
Фиг.6 является схемой, иллюстрирующей весовую функцию вектора перемещения для каждого блока по отношению к увеличениям приближения согласно примерному варианту осуществления настоящего изобретения.
На фиг.6 координаты x указывают расположения в пространстве изображения в направлении x, а координаты y указывают значения весового коэффициента векторов перемещения. Ссылочная позиция 603 указывает весовую функцию, когда нет увеличения масштабирования, или когда присутствует небольшое увеличение масштабирования. Ссылочные позиции 604, 605, 606 и 607 указывают весовые функции вектора перемещения, соответствующие случаям, когда увеличения масштабирования равны 1x, 3x, 8x и l0x соответственно. С возрастанием увеличения масштабирования от lx до 3x, 8x и l0x весовая функция, заданная в изображении в единицах блоков, также изменяется для того, чтобы уменьшить влияние движения объекта. Соответствующим образом посредством определения различного значения весового коэффициента для вектора перемещения в каждом блоке согласно увеличениям масштабирования, как проиллюстрировано на фиг.6, может быть адаптивно выполнена оценка перемещения для каждого блока согласно информации масштабирования. В этом случае значения весового коэффициента для векторов перемещения, отличающихся друг от друга по отношению к увеличениям масштабирования, могут быть сохранены в качестве таблицы поиска.
Фиг. 7A и 7B являются схемами, иллюстрирующими изменения в весовой функции вектора перемещения на основе информации фокуса согласно примерному варианту осуществления настоящего изобретения.
Фиг. 7A и 7B иллюстрируют вариант осуществления, в котором больший вес установлен для вектора перемещения, обнаруженного в сфокусированной области. Значения весового коэффициента для векторов перемещения, отличных друг от друга согласно информации фокуса, могут быть сохранены в качестве таблицы поиска.
На фиг.7A ссылочная позиция 701 указывает общую область изображения, а 702 указывает сфокусированную область. Соответствующим образом, когда предопределенный объект фотографируется, устройство получения изображений выбирает весовую функцию 704, которая дает большие значения весового коэффициента для вектора перемещения, обнаруженного в сфокусированной центральной области.
Соответствующим образом, изображение объекта обнаруживается из общего изображения и значений весового коэффициента для обнаруженных векторов перемещения объекта и заднего плана.
На фиг.7B ссылочная позиция 706 указывает общую область изображения, а 705 указывает сфокусированную область. Соответствующим образом, когда предопределенный объект фотографируется, устройство получения изображений выбирает значение 708 весового коэффициента, которое дает большие значения весового коэффициента для вектора перемещения, обнаруженного в сфокусированной боковой области.
Соответствующим образом, в боковой области изображения, имеющей намного больше информации о перемещении вследствие дрожания рук, устанавливается относительно большее значение весового коэффициента, когда увеличивается увеличение масштабирования, и поэтому даже если увеличивается часть объекта во всем изображении, общий вектор перемещения вследствие дрожания рук может быть точно оценен.
Фиг.8 является блок-схемой последовательности операций, иллюстрирующей способ оценки перемещения вследствие дрожания рук согласно примерному варианту осуществления настоящего изобретения.
Сначала, когда предопределенный объект фотографируется посредством манипулирования функцией оптического масштабирования, информация о выполненном увеличении масштабирования извлекается в операции 810.
Также, информация фокуса, указывающая, какое расположение на изображении является сфокусированным, извлекается в операции 820.
Затем, посредством использования информации фокуса и информации увеличения масштабирования, на шаге 830 определяется значение весового коэффициента для вектора перемещения, которое различно для каждого блока или области. В данном случае изменения в модуле вектора должны быть основаны на увеличениях масштабирования. Также должен быть использован вектор перемещения в сфокусированном расположении.
В примерном варианте осуществления настоящего изобретения для того, чтобы применить вектор перемещения к сфотографированному изображению, определяется начальная установка весовой функции вектора перемещения на основе информации фокуса, а затем наклон весовой функции вектора перемещения изменяется на основе информации увеличения масштабирования.
Если сфотографированное изображение вводится в операции 840, в операции 850 изображение разделяется на блоки или области предопределенного размера.
Затем посредством использования алгоритма поблочного сравнения вектор перемещения каждого блока, получаемый посредством деления, оценивается на шаге 860. В алгоритме поблочного сравнения текущее изображение и предыдущее изображение разделяются на меньшие блоки предопределенного размера и оценивается перемещение каждого блока, тем самым получая векторы перемещения.
Затем посредством добавления значения весового коэффициента для вектора перемещения, различного в каждом блоке, к оцененному вектору перемещения блока, в операции 870, обнаруживается общее перемещение. Например, может быть сгенерирована гистограмма посредством использования частот векторов перемещения для соответствующих блоков, к которым добавлены значения весового коэффициента, и вектор перемещения, имеющий наибольшую частоту на гистограмме, может быть оценен в качестве общего вектора перемещения.
Затем посредством накопления векторов общего перемещения расположение кадра корректируется, тем самым корректируя влияние дрожания рук на изображение в операции 890.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
Примерные варианты осуществления настоящего изобретения могут также быть реализованы в качестве машиночитаемых кодов на машиночитаемом носителе. Машиночитаемым носителем записи является любое устройство хранения данных, которое может хранить данные, такие как программы, которые могут быть впоследствии считаны компьютерной системой. Примеры машиночитаемых носителей записи включают в себя постоянное запоминающее устройство (ПЗУ, ROM), оперативное запоминающее устройство (ОЗУ, RAM), CD-ROM, магнитные ленты, гибкие диски и оптические устройства хранения данных. Машиночитаемый носитель также может быть распределен по соединенным через сеть компьютерным системам, так что машиночитаемый код сохраняется и исполняется распределенным образом. Также, функциональные программы, коды и сегменты кода для выполнения настоящего изобретения могут быть легко выведены программистами - специалистами в данной области техники, к которой относится настоящее изобретение.
Хотя изобретение было конкретно показано и описано со ссылкой на его определенного рода предпочтительные варианты осуществления, специалистам в данной области техники должно быть понятно, что могут быть сделаны различные изменения по форме и содержанию, без отклонения от сущности и объема настоящего изобретения, которые определены нижеприведенной формулой изобретения. Предпочтительные варианты изобретения должны рассматриваться только в описательном смысле и не для целей ограничения. Таким образом, объем изобретения определяется не подробным описанием изобретения, а прилагаемой формулой изобретения, и все различия в рамках объема изобретения должны рассматриваться как включенные в настоящее изобретение.