УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЯ И УСТРОЙСТВО ЗАХВАТА ИЗОБРАЖЕНИЯ
IMAGE PROCESSING APPARATUS AND IMAGE CAPTURING APPARATUS

Уровень техники
Область техники, к которой относится изобретение
[0001] Настоящее изобретение относится к устройству обработки изображения и устройству захвата изображения, каждое имеет функцию стабилизации изображения для уменьшения (корректировки) размытости изображения.
Описание предшествующего уровня техники
[0002] Известен способ захвата изображения, который подвергает сжатию (сжимает) оптическое изображение в горизонтальном направлении с помощью анаморфного объектива и выполняет обработку декомпрессии (отмены сжатия) в качестве обработки изображения, чтобы восстанавливать сжатые данные изображения, полученные посредством захвата сжатого оптического изображения, тем самым, предоставляя кинотеатральное изображение (2,39:1). В качестве способа стабилизации изображения для изображения, полученного таким образом, японский патент № 3278206 описывает способ, который обнаруживает векторы движения из данных сжатого изображения, полученных посредством захвата изображения с помощью анаморфного объектива, и выполняет обработку стабилизации изображения (стабилизации электронного изображения) по данным изображения, подвергнутым отмене сжатия с помощью векторов движения с учетом сжатия посредством анаморфного объектива.
[0003] Дополнительно, выложенный японский патент № 2015-216510 описывает способ захвата изображения, который захватывает и записывает данные изображения, полученные с помощью обработки стабилизации изображения, отменяет эффект стабилизации изображения в записанных данных изображения с помощью информации об обработке стабилизации изображения и затем повторно выполняет обработку стабилизации изображения по данным изображения, в которых эффект стабилизации изображения был отменен.
[0004] Однако выложенный японский патент № 2015-216510 не описывает какую-либо подходящую обработку стабилизации изображения, подходящую для достаточной корректировки искажения и виньетирования, каждое из которых свойственно для захвата изображения с помощью анаморфоного объектива.
Сущность изобретения
[0005] Настоящее изобретение предоставляет устройство обработки изображения и устройство захвата изображения, каждое приспособлено для выполнения хорошей обработки стабилизации изображения и хорошей обработки корректировки по данным изображения, полученным посредством захвата изображения с помощью анаморфного объектива.
[0006] Настоящее изобретение предоставляет в качестве своего аспекта оборудование для обработки изображения, включающее в себя по меньшей мере  один процессор или схему, сконфигурированную, чтобы выполнять множество задач, включающих в себя задачу формирования данных изображения, сконфигурированную, чтобы формировать данные изображения для записи посредством захвата изображения через оптическую систему захвата изображения, и задачу добавления информации, сконфигурированную, чтобы добавлять информацию к данным изображения для записи. Задача добавления информации конфигурируется, чтобы добавлять в данные изображения для записи, когда оптическая система захвата изображения является анаморфной оптической системой, информацию о степени сжатия анаморфной оптической системы и информацию, указывающую центральную позицию анаморфной оптической системы в каждом из изображений кадров, составляющих данные изображения для записи.
[0007] Настоящее изобретение предоставляет в качестве другого своего аспекта устройство обработки изображения, включающее в себя блок формирования данных изображения, сконфигурированный, чтобы выполнять, по каждому из изображений кадров, составляющих захваченные данные изображения, сформированные посредством захвата изображения через оптическую систему захвата изображения, электронную стабилизацию изображения, которая обрезает часть изображения кадра захваченных данных изображения с тем, чтобы уменьшать размытость изображения, чтобы создавать данные изображения для записи, и блок обработки, сконфигурированный, чтобы выполнять, по изображениям кадров, составляющих данные изображения для записи, корректирующую обработку, включающую в себя по меньшей мере  одно из корректировки наклона в поперечной плоскости и корректировки искажения. Блок обработки конфигурируется, чтобы ограничивать корректирующую обработку, когда оптическая система захвата изображения является анаморфной оптической системой.
[0008] Настоящее изобретение предоставляет в качестве своего дополнительного другого аспекта устройство захвата изображения, включающее в себя датчик изображения, сконфигурированный для захвата оптического изображения, сформированного посредством оптической системы захвата изображения, и вышеописанное устройство обработки изображения.
[0009] Настоящее изобретение предоставляет в качестве еще одного своего аспекта устройство обработки изображения, включающее в себя по меньшей мере  один процессор или схему, сконфигурированную, чтобы выполнять множество задач, включающих в себя задачу считывания информации, сконфигурированную для считывания информации, добавленной к данным изображения для записи, сформированным посредством захвата изображения, и задачу постобработки, сконфигурированную для выполнения постобработки по данным изображения для записи. Задача постобработки конфигурируется для выполнения по данным изображения для записи, в качестве постобработки, обработки растяжения на основе a) информации о степени сжатия анаморфной оптической системы, которая является оптической системой захвата изображения, используемой в захвате изображения, и b) информации, указывающей центральную позицию анаморфной оптической системы в каждом из изображений кадров, составляющих данные изображения для записи.
[0010] Настоящее изобретение предоставляет в качестве дополнительного еще одного своего аспекта способ обработки изображения, включающий в себя этап формирования данных изображения для записи посредством захвата изображения через оптическую систему захвата изображения, и этап добавления информации к данным изображения для записи. На этапе добавления информации, когда оптическая система захвата изображения является анаморфной оптической системой, информация о степени сжатия анаморфной оптической системы и информация, указывающая центральную позицию анаморфной оптической системы в каждом из изображений кадров, составляющих данные изображения для записи, добавляются к данным изображения для записи.
[0011] Настоящее изобретение предоставляет в качестве еще одного своего аспекта способ обработки изображения, включающий в себя этап выполнения, по каждому из изображений кадров, составляющих захваченные данные изображения, сформированные посредством захвата изображения через оптическую систему захвата изображения, электронной стабилизации изображения, которая обрезает часть изображения кадра захваченных данных изображения с тем, чтобы уменьшать размытость изображения, чтобы создавать данные изображения для записи, и этап выполнения, по изображениям кадра, составляющим данные изображения для записи, корректирующей обработки, включающей в себя по меньшей мере  одно из корректировки наклона в поперечной плоскости и корректировки искажения. Корректирующая обработка ограничивается, когда оптическая система захвата изображения является анаморфной оптической системой.
[0012] Настоящее изобретение предоставляет в качестве еще одного дополнительного своего аспекта способ обработки изображения, включающий в себя этап считывания информации, добавленной к данным изображения для записи, сформированным посредством захвата изображения, и этап выполнения постобработки по данным изображения для записи. На этапе выполнения постобработки обработка растяжения в качестве постобработки выполняется по данным изображения для записи на основе информации о степени сжатия анаморфной оптической системы, которая является оптической системой захвата изображения, используемой в захвате изображения, и информации, указывающей центральную позицию анаморфной оптической системы в каждом из изображений кадров, составляющих данные изображения для записи.
[0013] Другие аспекты настоящего изобретения станут очевидны из последующего описания и прилагаемых чертежей.
Краткое описание чертежей
[0014] Фиг. 1 - это блок-схема, иллюстрирующая конфигурацию устройства захвата изображения, который является вариантом осуществления настоящего изобретения.
[0015] Фиг. 2 иллюстрирует систему координат в вариантах осуществления 1 и 2 настоящего изобретения.
[0016] Фиг. 3 является блок-схемой последовательности операций обработки, выполняемой в варианте осуществления 1.
[0017] Фиг. 4 является блок-схемой последовательности операций другой обработки, выполняемой в варианте осуществления 1.
[0018] Фиг. 5 является блок-схемой последовательности операций обработки, выполняемой в варианте осуществления 2.
[0019] Фиг. 6 является примером отображения пользовательского интерфейса в варианте осуществления 2.
[0020] Фиг. 7A-7G иллюстрируют записанное изображение и изображение после обработки редактирования в варианте осуществления 3 настоящего изобретения.
[0021] Фиг. 8 является блок-схемой последовательности операций обработки, выполняемой в варианте осуществления 3.
Подробное описание вариантов осуществления
[0022] Примерные варианты осуществления настоящего изобретения будут далее в данном документе описаны со ссылкой на сопровождающие чертежи.
Вариант осуществления 1
[0023] Фиг. 1 иллюстрирует конфигурацию устройства захвата изображения, включающего в себя устройство обработки изображения, которое является первым вариантом осуществления (вариантом осуществления 1) настоящего изобретения. Устройство захвата изображения этого варианта осуществления является цифровой камерой со сменным объективом или встроенным объективом. Другие варианты осуществления настоящего изобретения включают в себя различные устройства захвата изображения, отличные от вышеупомянутых цифровых камер.
[0024] В этом варианте осуществления дрожание, прикладываемое к устройству формирования изображения вследствие тряски руки пользователя или т.п., называется "дрожанием камеры", а размытость захваченного изображения, вызванная дрожанием камеры, называется "размытостью изображения". Дополнительно, как иллюстрировано на фиг. 2, ось, протягивающаяся в вертикальном направлении (центральная ось горизонтального вращения) в плоскости, ортогональной оптической плоскости оптической системы захвата изображения, называется "вертикальной осью поворота", а ось, протягивающаяся в горизонтальном направлении (центральная ось вертикального вращения), называется "осью поворота в продольной плоскости". Кроме того, ось, протягивающаяся в направлении оптической оси (центральная ось поворота вокруг оптической оси), называется "осью поворота в поперечной плоскости".
[0025] На фиг. 1 объектив для захвата изображения в качестве оптической системы 101 захвата изображения включает в себя объектив 102 с переменным фокусным расстоянием для выполнения изменения масштаба, шифт-объектив, служащий в качестве корректирующей линзы 103 для выполнения оптической корректировки размытости изображения (стабилизации изображения с помощью объектива), фокусирующую линзу 104 для выполнения фокусировки и диафрагму (не иллюстрирована) для регулировки количества света. Объектив 101 для захвата изображения вынуждает свет от объекта (не иллюстрирован) формировать оптическое изображение (изображение объекта) на датчике 105 изображения.
[0026] Датчик 105 изображения, состоящий из CMOS-датчика или т.п., фотоэлектрическим образом преобразует оптическое изображение, сформированное посредством объектива 101 для захвата изображения, чтобы формировать сигнал захвата изображения, и выводит сигнал захвата изображения в сигнальный процессор 106. Датчик 105 изображения сдвигается посредством мотора 127 в горизонтальном и вертикальном направлениях в плоскости, ортогональной оптической оси, и поворачивается посредством мотора 127 вокруг оптической оси. Это делает возможным выполнение стабилизации изображения с помощью датчика в качестве корректировки размытости изображения посредством перемещения (сдвига и поворота) датчика 105 изображения.
[0027] Сигнальный процессор 106 выполняет обработку сигнала, такую как регулировка баланса белого и гамма-коррекция, по сигналу захвата изображения, выводимому из датчика 105 изображения, чтобы формировать данные захваченного изображения (состоящие из множества изображений кадров) в качестве данных движущегося изображения. Данные захваченного изображения сохраняются в памяти 107 изображения.
[0028] Контроллер 108 обрезки изображения (блок электронной стабилизации изображения) обрезает предварительно определенную частичную область изображения (далее в данном документе называемую "областью обрезки") каждого изображения кадра данных захваченного изображения, сохраненных в памяти 107 изображения, чтобы формировать новые изображения кадров, составляющие данные изображения для записи и отображения, и затем выводит новые изображения кадров в контроллер 111 записи и контроллер 109 отображения. В это время область обрезки перемещается (сдвигается или поворачивается) в ответ на дрожание камеры, чтобы выполнять электронную стабилизацию изображения для корректировки (уменьшения) размытости изображения, которое является перемещением объекта между изображениями кадров, вызванным дрожанием камеры.
[0029] Обработка, выполняемая сигнальным процессором 106 и контроллером 108 обрезки изображения для формирования данных изображения для записи и отображения, выполняется с циклом 60 Гц, когда сигнал захвата изображения является сигналом изображения, соответствующим формату NTSC. Т.е. в этом варианте осуществления сигнальный процессор 106 и контроллер 108 обрезки изображения составляют блок формирования данных изображения, который формирует данные изображения для записи.
[0030] Контроллер 109 отображения отображает данные изображения для отображения, выводимые из контроллера 108 обрезки изображения в качестве изображения живого просмотра, на устройстве 110 отображения, и отображает изображение меню для предоставления возможности различных пользовательских настроек и записанные данные изображения на устройстве 110 отображения. Устройство 110 отображения состоит из элемента жидкокристаллического дисплея (LCD) или т.п.
[0031] Контроллер 111 записи управляет записью и считыванием данных изображения, метаинформации и т.п. на и с носителя 112 записи. Носитель 112 записи состоит из полупроводниковой памяти, жесткого диска или т.п.
[0032] Датчик 113 угловой скорости обнаруживает дрожания камеры вокруг вертикальной оси поворота, оси поворота в продольной плоскости и оси поворота в поперечной плоскости, прикладываемые к устройству 100 захвата изображения, чтобы выводить сигнал дрожания, имеющий значение напряжения, указывающее угловую скорость каждого дрожания камеры. A/D-преобразователь (1) 114 преобразует сигнал дрожания (сигнал напряжения), выводимый из датчика 113 угловой скорости, в данные угловой скорости в качестве цифровых данных и выводит данные угловой скорости в калькулятор 117 величины корректировки.
[0033] Детектор 115 вектора движения обнаруживается вектора движения в горизонтальном и вертикальном направлениях в плоскости, ортогональной оптической оси, с помощью, например, способа сопоставления блоков. Детектор 115 вектора движения может обнаруживать вектор движения с помощью способа корреляции вместо способа сопоставления блоков.
[0034] В способе сопоставления блоков детектор 115 вектора движения делит входное изображение кадра на множество блоков (каждый блок является областью, например, 16×16 пикселов) и вычисляет отличие каждого блока (целевого блока) от предыдущего изображения кадра. Затем, блок 115 обнаружения вектора движения ищет блок предыдущего изображения кадра, в котором сумма абсолютных значений различий минимизируется, и обнаруживает относительный сдвиг между блоком, указанным в результате поиска, и целевым блоком как вектор движения в целевом блоке. Таким образом, горизонтальный и вертикальный векторы движения каждого пиксела изображения кадра обнаруживаются. Обнаруженный горизонтальный вектор движения отправляется как H_Vect, и обнаруженный вертикальный вектор движения отправляется как V_Vect калькулятору 117 величины корректировки.
[0035] Модуль 116 получения информации об объективе получает информацию, указывающую характеристики объектива 101 для захвата изображения (далее в данном документе называемую "информацию об оптической системе"). Информация об оптической системе включает в себя фокусное расстояние, значение апертурной диафрагмы, фокусную позицию, величину перемещения шифт-объектива, величину искажения, степень сжатия анаморфного объектива, описанную позже, центральную позицию и диаметр эффективного круга изображения, и т.п. Когда объектив 101 для захвата изображения является сменным объективом, информация об оптической системе может быть получена посредством обмена данными со сменным объективом или посредством ввода пользователем через пользовательский интерфейс, предусмотренный в устройстве 100 захвата изображения. Полученная информация об оптической системе отправляется калькулятору 117 величины корректировки.
[0036] Калькулятор 117 величины корректировки вычисляет величину корректировки для корректировки размытия изображения, вызванного дрожанием камеры, и отправляет ее контроллеру 118 деления величины корректировки. Калькулятор 117 величины корректировки вычисляет не величину корректировки по каждой из вышеописанных стабилизации изображения с помощью объектива, стабилизации изображения с помощью датчика и электронной стабилизации изображения, а величину корректировки (далее в данном документе называемую "суммарной величиной корректировки") по всем из стабилизации изображения с помощью объектива, стабилизации изображения с помощью датчика и электронной стабилизации изображения.
[0037] Контроллер 118 деления величины корректировки делит суммарную величину корректировки, вычисленную посредством калькулятора 117 величины корректировки, на соответствующие величины корректировки по стабилизации изображения с помощью объектива, стабилизации изображения с помощью датчика и электронной стабилизации изображения. Однако, в последующем описании, будет описан случай, когда только стабилизация изображения и электронная стабилизация изображения выполняются. В этом случае, калькулятор 117 величины корректировки делит суммарную величину корректировки на величину корректировки посредством стабилизации изображения с помощью датчика (далее в данном документе называемую "величиной корректировки датчика") и величину корректировки посредством электронной стабилизации изображения (далее в данном документе называемую "величиной электронной корректировки").
[0038] Преобразователь 119 величины корректировки датчика преобразует величину корректировки датчика от контроллера 118 деления величины корректировки в величину перемещения датчика 105 изображения и выводит целевую позицию датчика 105 изображения (далее в данном документе называемую "целевой позицией датчика"), соответствующую величине перемещения. Преобразователь 120 величины электронной корректировки преобразует величину электронной корректировки от контроллера 118 деления величины корректировки в позицию обрезки, которая указывает центральную позицию области обрезки в контроллере 108 обрезки изображения, и устанавливает позицию обрезки в контроллере 108 обрезки изображения.
[0039] Детектор 121 позиции выводит сигнал позиции датчика, имеющий значение напряжения, указывающее позицию датчика 105 изображения. Сигнал позиции датчика усиливается до сигнала в предварительно определенном диапазоне напряжений посредством усилителя 122 и затем преобразуется в данные о позиции датчика (данные отклонения) в качестве цифровых данных посредством A/D-преобразователя (2) 123.
[0040] Управляющий фильтр 124 выполняет обработку сигнала, такую как усиление и фазовая компенсация по данным позиции датчика, и отправляет данные позиции датчика после обработки сигнала широтно-импульсному модулятору 125.
[0041] Широтно-импульсный модулятор 125 преобразует данные о позиции датчика от управляющего фильтра 124 в PWM-сигнал и выводит PWM-сигнал приводу 126 мотора. Мотор 127 конфигурируется посредством мотора с линейной катушкой или т.п. и приводится в действие по PWM-сигналу от привода 126 мотора, чтобы перемещать датчик 105 изображения в горизонтальном и вертикальном направлениях. Позиция перемещенного датчика 105 изображения обнаруживается посредством блока 121 обнаружения позиции, и обнаруженная позиция используется для следующего вычисления данных о позиции датчика. В результате, управление с обратной связью выполняется, так что разница между целевой позицией датчика и данными о позиции датчика становится небольшой. Управляющий фильтр 124, широтно-импульсный модулятор 125, привод 126 мотора и мотор 127 составляют блок стабилизации изображения датчика.
[0042] Блок-схема последовательности операций на фиг. 3 иллюстрирует обработку для добавления метаинформации к данным изображения для записи (изображениям кадров). Эта обработка является VD (вертикальный возбуждающий импульс) обработкой, выполняемой для каждого изображения кадра. Сигнальный процессор (блок формирования данных изображения и блок добавления информации) 106 в качестве компьютера циклически выполняет эту обработку с предварительно определенным циклом (например, 60 Гц) согласно компьютерной программе. Далее в данном документе будет описан случай, когда объектив 101 для захвата изображения является анаморфным объективом (анаморфной оптической системой).
[0043] Сначала, на этапе S301, сигнальный процессор 106 определяет, выбрано (включено) или нет выполнение электронной стабилизации изображения пользователем. Сигнальный процессор 106 переходит к этапу S302, если оно включено, а иначе переходит к этапу S303. На этапе S303 сигнальный процессор 106 добавляет метаинформацию, указывающую, что электронная стабилизация изображения выключена, в изображение кадра и записывает изображение кадра.
[0044] С другой стороны, на этапе S302, сигнальный процессор 106 добавляет, для каждого изображения кадра, информацию, которая должна быть использована в постобработке по изображению кадра после электронной стабилизации изображения, в качестве метаинформации, и записывает каждое изображение кадра. Информация, которая должна быть использована для постобработки, включает в себя информацию о степени сжатия анаморфного объектива, информацию о позиции обрезки в электронной стабилизации изображения и информацию о коэффициенте увеличения обрезки для области обрезки. Дополнительно, информация, которая должна быть использована для постобработки, также включает в себя информацию об угле наклона в поперечной плоскости, который является углом наклона изображения кадра вокруг позиции оптического центра, и информацию об искажении изображения кадра, вызванном посредством искажения скользящего затвора, оптическое искажение объектива 101 для захвата изображения и т.п. "Информация по A", используемая в данном документе, включает в себя не только информацию, непосредственно указывающую "A", но также информацию, опосредованно указывающую "A", такую как информация, преобразуемая в "A".
[0045] Информация о степени сжатия анаморфного объектива может быть, например, информацией, непосредственно указывающей степень сжатия (1/2, 1/1,3, и т.д.), определенную для каждого присоединенного анаморфного объектива. Альтернативно, информация о степени сжатия может быть номерами таблицы, преобразуемыми в степени сжатия (№ 1 соответствует 1/2, № 2 соответствует 1/1,3, и т.д.). Дополнительно, информация о степени сжатия может быть табличными данными, в которых номера модели сменных объективов и их степени сжатия взаимно связываются, что делает возможным получение степени сжатия из номера модели присоединенного сменного объектива. Информация о позиции обрезки представляется, например, как описано выше, центральной позицией (горизонтальные и вертикальные координаты) области обрезки.
[0046] Например, в изображении кадра 3840×2160 пикселов, позиция (1920, 1080) указывает, что центральная позиция области обрезки в электронной стабилизации изображения совпадает с позицией оптической оси объектива 101 для захвата изображения, т.е. позицией оптического центра. Дополнительно, позиция (0, 0), когда позиция центра области обрезки в электронной стабилизации изображения представляется как сдвинутая позиция от позиции оптического центра, также указывает, что позиция центра области обрезки находится в позиции оптического центра.
[0047] Информация о коэффициенте увеличения обрезки может быть, например, информацией, непосредственно указывающей коэффициент увеличения обрезки, равный 0,9, если угол обзора изображения после электронной стабилизации изображения в 0,9 раза больше угла обзора захвата изображения, или может быть номерами таблицы, преобразуемыми в коэффициенты увеличения обрезки.
[0048] Информация об угле наклона в поперечной плоскости может быть, например, информацией, непосредственно указывающей угол наклона в поперечной плоскости, равный 0,5, если угол наклона в поперечной плоскости, скорректированный посредством электронной стабилизации изображения, равен 0,5 градуса, или может быть номерами таблицы, преобразуемыми в углы наклона в поперечной плоскости.
[0049] Информация об искажении может быть, например, информацией, указывающей дисторсионную аберрацию, определенную съемным объективом и его состоянием, таким как его фокусное расстояние и позиция фокуса, или может быть информацией, непосредственно указывающей параметр искажения, соответствующий дисторсионной аберрации, или информацией, преобразуемой в параметр искажения.
[0050] Однако, выполнение корректировки по углу наклона в поперечной плоскости и корректировки искажения вместе с электронной стабилизацией изображения во время захвата изображения делает трудным удаление компонентов корректировки в последующей обработке в качестве постобработки. Следовательно, когда анаморфный объектив используется, и электронная стабилизация изображения выполняется, является предпочтительным ограничивать (отключать) корректирующую обработку, такую как корректировка по углу наклона в поперечной плоскости и корректировка искажения.
[0051] Блок-схема последовательности операций на фиг. 4 иллюстрирует обработку для ограничения корректирующей обработки, когда анаморфный объектив используется, и электронная стабилизация изображения выполняется. На этапе S401, сигнальный процессор 106 определяет, выбрано (включено) или нет выполнение электронной стабилизации изображения пользователем. Сигнальный процессор 106 переходит к этапу S402, если оно включено, а иначе переходит к этапу S405. На этапе S405 сигнальный процессор 106 добавляет метаинформацию, указывающую, что электронная стабилизация изображения выключена, в изображение кадра и записывает изображение кадра.
[0052] С другой стороны, на этапе S402, сигнальный процессор 106 определяет, является или нет объектив 101 для захвата изображения анаморфным объективом. Сигнальный процессор 106 пропускает этап S403, чтобы переходить к этапу S404, если объектив 101 для захвата изображения является анаморфным объективом, а иначе переходит к этапу S403.
[0053] На этапе S403 сигнальный процессор 106 отключает корректировку по углу наклона в поперечной плоскости и корректировку искажения и переходит к следующему этапу S404.
[0054] На этапе S404 сигнальный процессор 106 добавляет вышеописанную информацию, которая должна быть использована в постобработке, в качестве метаинформации в каждое изображение кадра и записывает каждое изображение кадра.
[0055] Как описано выше, в этом варианте осуществления, когда электронная стабилизация изображения выполняется (включена), информация, которая должна быть использована в постобработке для изображения кадра после электронной стабилизации изображения, добавляется в каждое изображение кадра, и каждое изображение кадра записывается вместе с информацией. Это делает возможным обеспечение постобработки, включающей в себя обработку растягивания (обработку отмены сжатия) и обработку корректировки искажения и виньетирования, на основе позиции оптического центра.
[0056] Когда степень сжатия сменного объектива в качестве анаморфного объектива не может быть автоматически получена посредством обмена информацией со сменным объективом, степень сжатия, выбранная посредством пользовательского действия, может быть записана. В этом случае, является предпочтительным предоставление, в постобработке, пользовательского интерфейса, предоставляющего возможность пользователю выбирать, используется ли записанная степень сжатия, или степень сжатия, указанная в постобработке, используется с тем, чтобы не быть неспособным справиться с неправильно записанной степенью сжатия.
Вариант осуществления 2
[0057] Далее будет выполнено описание второго варианта осуществления (варианта осуществления 2) настоящего изобретения со ссылкой на фиг. 5. Основная конфигурация устройства захвата изображения этого варианта осуществления является такой же, что и конфигурация устройства 100 захвата изображения варианта осуществления 1. В этом варианте осуществления будет выполнено описание случая, когда все функции, которые могут оказывать влияние на постобработку, являются отключенными, когда объектив 101 для захвата изображения является анаморфным объективом.
[0058] Когда сменный объектив в качестве анаморфного объектива не имеет функции обмена данными с устройством захвата изображения, устройство захвата изображения не может обнаруживать присоединение сменного объектива. В этом случае, устройство захвата изображения определяет, присоединен или нет анаморфный объектив, чья информация не может быть получена посредством обмена данными, в зависимости от пользовательского выбора включения или выключения отображения без сжатия, которое является обработкой отображения горизонтального растяжения (обработкой отображения, включающей в себя обработку растяжения) данных изображения.
[0059] На этапе S501 сигнальный процессор 106 определяет, может или нет информация, указывающая тип сменного объектива, быть получена посредством обмена данными со сменным объективом. Сигнальный процессор 106 переходит к этапу S502, если информация может быть получена, а иначе переходит к этапу S503.
[0060] На этапе S503 сигнальный процессор 106 определяет, установлено ли во включенное состояние отображение без сжатия. Сигнальный процессор 106 переходит к этапу S504, если оно установлено во включенное состояние, а иначе заканчивает обработку.
[0061] С другой стороны, на этапе S502, сигнальный процессор 106 определяет, присоединен или нет анаморфный объектив к устройству захвата изображения. Сигнальный процессор 106 переходит к этапу S504, если анаморфный объектив является присоединенным, а иначе заканчивает обработку.
[0062] На этапе S504 сигнальный процессор 106 определяет, выбрано (включено) или нет выполнение электронной стабилизации изображения пользователем. Сигнальный процессор 106 переходит к этапу S505, если оно включено, а иначе заканчивает обработку.
[0063] На этапе S505 сигнальный процессор 106 в качестве контроллера выполняет отображение предупреждения (операцию предупреждения), указывающее вероятность того, что правильный захват изображения не может быть выполнен с помощью анаморфного объектива. Дополнительно, на следующем этапе S506, сигнальный процессор 106 отображает, как иллюстрировано на фиг. 6, пользовательский интерфейс для предоставления возможности пользователю выбирать выключение электронной стабилизации изображения. Когда выбирается выключение электронной стабилизации изображения, сигнальный процессор 106 переходит к этапу S507, чтобы выключать электронную стабилизацию изображения, и затем заканчивает обработку. Когда выбирается включение электронной стабилизации изображения, сигнальный процессор 106 заканчивает обработку.
[0064] Как описано выше, в этом варианте осуществления, когда анаморфный объектив присоединен к устройству формирования изображения, электронная стабилизация изображения отключается. Это делает возможным обеспечение постобработки, включающей в себя обработку расширения и обработку корректировки искажения и виньетирования, на основе позиции оптического центра.
[0065] Хотя этот вариант осуществления описал случай, когда только электронная стабилизация изображения выключается, другие функции, такие как корректировка наклона в поперечной плоскости и корректировка искажения, которые трудно выполнять в постобработке, после того как электронная стабилизация изображения выполняется во время захвата изображения, могут также быть выключены как в варианте осуществления 1.
[0066] Дополнительно, каждый из вышеупомянутых вариантов осуществления описал случай, когда устройство обработки изображения является встроенным в устройство захвата изображения. Однако, персональный компьютер, приспособленный для выполнения электронной стабилизации изображения и постобработки данных изображения, полученных от устройства захвата изображения, может быть выбран в качестве устройства обработки изображения.
Вариант осуществления 3
[0067] Далее будет выполнено описание третьего варианта осуществления (варианта осуществления 3) настоящего изобретения со ссылкой на фиг. 7A-7G. Этот вариант осуществления опишет, как устройство редактирования использует информацию, добавленную к данным изображения для записи (далее в данном документе также называемым "записанным изображением") в вышеупомянутых вариантах осуществления. Кроме того, на каждой из фиг. 7A-7G, для того, чтобы делать позицию оптического центра (позицию оптической оси) оптической системы захвата изображения легко понятной, позиция оптического центра иллюстрируется черной точкой.
[0068] Фиг. 7A иллюстрирует изображение объекта, который должен быть захвачен. Когда изображение захватывается с помощью анаморфного объектива, как иллюстрировано на фиг. 7B, записанное изображение записывается как данные изображения, сжатые в правом и левом направлении. Устройство редактирования в качестве устройства обработки изображения выполняет обработку отмены сжатия по записанному изображению на основе позиции оптического центра, чтобы восстанавливать сжатое записанное изображение, чтобы получать подвергнутое отмене сжатия изображение, как иллюстрировано на фиг. 7C.
[0069] Дополнительно, устройство редактирования корректирует подвергнутое отмене сжатия изображение, искаженное анаморфным объективом, чтобы преобразовывать его в изображение, иллюстрированное на фиг. 7D. Устройство редактирования выполняет различные процессы управления цветом по изображению со скорректированным искажением, чтобы производить законченное изображение. Одновременно, пользователь захватывает изображения координатной сетки и т.п., вычисляет величины искажения в различных позициях объектива от захваченного изображения, и использует вычисленные величины искажения в качестве данных корректировки искажения в обработке корректировки искажения. Когда пользователю нравится искаженное изображение, выполняется обработка для повторного добавления искажения к законченному изображению.
[0070] Как может быть видно на фиг. 7B, дисторсионная аберрация анаморфного объектива возникает на основе позиции оптического центра. Дополнительно, даже в правом и левом сжатии, присущем анаморфному объективу, степень сжатия становится больше, когда расстояние от позиции оптического центра увеличивается. Если электронная стабилизация изображения выполняется, когда анаморфный объектив, имеющий такие характеристики, присоединен к устройству захвата изображения, позиция оптического центра сдвигается. Кроме того, поскольку обработка обрезки посредством электронного укрупнения выполняется в процессе выполнения электронной стабилизации изображения, искажение, отличное от величины корректировки искажения, полученной заранее пользователем, возникает.
[0071] Когда обработка отмены сжатия на фиг. 7C и обработка корректировки искажения на фиг. 7D выполняются по изображению, включающему в себя такое искажение при исходном условии, что центр записанного изображения находится в позиции оптического центра, некорректные обработка отмены сжатия и обработка корректировки искажения выполняются. По этой причине, необходимо выполнять вышеописанную обработку с помощью позиции обрезки и коэффициента увеличения обрезки, включенных в метаинформацию.
[0072] Фиг. 7E иллюстрирует записанное изображение, полученное посредством электронной стабилизации изображения, выполняемой по изображению, захваченному с помощью анаморфного объектива. Это записанное изображение является изображением, слегка укрупненным по сравнению с записанным изображением на фиг. 7B. Это является примером изображения кадра, записанного с позицией оптического центра, сдвинутой от центра изображения кадра.
[0073] С другой стороны, фиг. 7F иллюстрирует изображение после обработки отмены сжатия, выполненной с учетом коэффициента увеличения (укрупнения) обрезки и позиции обрезки, включенных в метаинформацию, добавленную в изображение кадра на фиг. 7E, т.е. с учетом позиции оптического центра.
[0074] Дополнительно, фиг. 7G иллюстрирует изображение после обработки корректировки искажения, выполненной с учетом коэффициента увеличения обрезки и позиции обрезки, включенных в метаинформацию, добавленную к изображению кадра на фиг. 7E, т.е. с учетом позиции оптического центра. Изображения на фиг. 7F и 7G являются изображениями, полученными посредством правильной обработки отмены сжатия и обработки корректировки искажения.
[0075] Блок-схема последовательности операций на фиг. 8 иллюстрирует обработку, выполняемую посредством устройства редактирования для выполнения обработки отмены сжатия и обработки корректировки искажения по каждому изображению кадра записанного изображения, полученного посредством электронной стабилизации изображения по захваченному изображению, захваченному с помощью анаморфного объектива. Устройство редактирования включает в себя блок считывания информации и постпроцессор.
[0076] На этапе S801 устройство редактирования определяет, включает или нет в себя записанное изображение метаинформацию, включающую в себя позицию обрезки и коэффициент увеличения обрезки в электронной стабилизации изображения. Устройство редактирования переходит к этапу S802, если такая метаинформация включена, а иначе переходит к этапу S803.
[0077] На этапе S802 устройство редактирования считывает метаинформацию, получает позицию обрезки и коэффициент увеличения обрезки и определяет позицию, рассматриваемую в качестве позиции оптического центра. Затем, устройство редактирования переходит к этапу S804.
[0078] С другой стороны, на этапе S803, устройство редактирования рассматривает позицию центра записанного изображения (изображения кадра) в качестве позиции оптического центра и устанавливает коэффициент укрупнения (коэффициент отмены сжатия) в 1. Затем устройство редактирования переходит к этапу S804.
[0079] На этапе S804 устройство редактирования восстанавливает сжатие записанного изображения, выполняя обработку отмены сжатия на основе определенной позиции оптического центра и коэффициента отмены сжатия, и затем переходит к этапу S805. На этом этапе, когда степень сжатия анаморфного объектива записана в метаинформации, ее обратная величина может быть использована в качестве коэффициента отмены сжатия, или коэффициент отмены сжатия, установленный произвольно пользователем, может быть использован. Когда объектив для захвата изображения, присоединенный к устройству захвата изображения, не является анаморфным объективом, выполнение обработки отмены сжатия для 1× является эквивалентным отсутствию выполнения обработки вообще.
[0080] На этапе S805 устройство редактирования выполняет обработку корректировки искажения на основе определенной позиции оптического центра и коэффициента отмены сжатия. На этом этапе обработка, которая должна быть выполнена, не ограничивается обработкой корректировки искажения, т.е. другая обработка корректировки может быть выполнена на основе определенной позиции оптического центра и коэффициента отмены сжатия. Дополнительно, хотя этот вариант осуществления описал только электронную стабилизацию изображения, когда функция оптической стабилизации изображения или стабилизации изображения с помощью датчика предусматривается, является желательным также записывать информацию о позиции корректирующей линзы или датчика изображения в качестве метаданных.
[0081] Как описано выше, каждый из вариантов осуществления 1-3 реализует устройство обработки изображения и устройство захвата изображения, каждое из которых приспособлено для выполнения хорошей обработки стабилизации изображения и хорошей корректирующей обработки по данным изображения, полученным посредством захвата изображения с помощью анаморфного объектива.
(Другие варианты осуществления)
[0082] Настоящее изобретение не ограничивается вышеописанными вариантами осуществления, и различные разновидности и модификации могут быть выполнены без отступления от рамок настоящего изобретения.
[0083] Например, каждый из вышеописанных вариантов осуществления использует информацию, указывающую позицию обрезки, в качестве информации, указывающей позицию оптического центра, но информация, указывающая позицию оптического центра обрезанного изображения, может быть непосредственно использована.
[0084] Например, в изображении кадра 3840×2160 пикселов, когда позиция центра область обрезки совпадает с позицией оптического центра, координаты позиции оптического центра в обрезанном изображении являются (1920, 1080). С другой стороны, когда позиция обрезки сдвигается вверх в датчике изображения (т.е. устройство захвата изображения сдвигается вниз), координаты позиции оптического центра в обрезанном изображении сдвигаются от центральной позиции обрезанного изображения как (1920, 1500). Информация, указывающая эти координаты, может быть добавлена к данным изображения в качестве информации, указывающей позицию оптического центра в каждом изображении кадра.
[0085] Дополнительно, вместо этих координат, позиция сдвига (0, 420) от центральной позиции обрезанного изображения может быть использована. Координаты (0, 420) также указывают, что позиция обрезки сдвинута вверх.
[0086] Кроме того, каждый из вышеописанных вариантов осуществления описал устройство захвата изображения, имеющее функцию электронной стабилизации изображения, но другие способы стабилизации изображения могут быть применены. Как описано выше, когда выполняется обработка растяжения, обработка корректировки искажения, обработка корректировки виньетирования и т.п., является предпочтительным обосновывать позицию оптического центра. С другой стороны, даже когда выполняется стабилизация изображения с помощью датчика, которая перемещает датчик изображения в направлениях, пересекающих оптическую ось, или стабилизация изображения с помощью объектива, которая перемещает корректирующую линзу в направлениях, пересекающих оптическую ось, трудно точно определять позицию оптического центра из данных изображения. Следовательно, добавление информации, указывающей позицию оптического центра в каждом изображении кадра, к данным изображения, как описано в каждом из вышеописанных вариантов осуществления, делает легким выполнение обработки растяжения и корректирующей обработки в постобработке с помощью позиции оптического центра.
[0087] Кроме того, множество способов стабилизации изображения могут быть использованы вместе. Например, когда электронная стабилизация изображения и стабилизация изображения с помощью датчика используются вместе, информация о позиции обрезки и информация о позиции датчика изображения могут быть добавлены в каждое изображение кадра, и устройство редактирования может вычислять позицию оптического центра на основе позиции обрезки и позиции датчика изображения. Как описано выше, информация, указывающая позицию оптического центра, включает в себя не только информацию, непосредственно указывающую позицию оптического центра, но также информацию, предоставляющую возможность указания позиции оптического центра.
[0088] Дополнительно, каждый из вышеописанных вариантов осуществления описал пример, в котором корректирующая обработка, такая как обработка корректировки искажения и обработка корректировки виньетирования, выполняется. Однако, даже когда такая корректирующая обработка не выполняется, поскольку обработка растяжения может быть выполнена с помощью информации, указывающей позицию оптического центра, результаты, достигнутые посредством добавления информации, указывающей позицию оптического центра в каждом изображении кадра, к записанному изображению, могут быть получены.
[0089] Кроме того, устройство захвата изображения, не имеющее функции стабилизации изображения, также является вариантом осуществления настоящего изобретения. Например, существует устройство захвата изображения, имеющее, в качестве функции, отличной от функции электронной стабилизации изображения, функцию обрезки части захваченного изображения кадра и записи обрезанных изображений кадров, чьи позиции обрезки изменяются согласно перемещению объекта, который должен отслеживаться. Когда позиция оптического центра перемещается в изображениях кадров посредством этой функции, устройство захвата изображения также является вариантом осуществления настоящего изобретения.
[0090] Варианты осуществления настоящего изобретения могут также быть реализованы посредством компьютера системы или устройства, которое считывает и выполняет компьютерные исполняемые инструкции (например, одну или более программ), записанные на носителе хранения (который может также называться более полно как 'энергонезависимый компьютерно-читаемый носитель хранения'), чтобы выполнять функции одного или более из вышеописанных вариантов осуществления, и/или которое включает в себя одну или более схем (например, специализированную интегральную схему (ASIC)) для выполнения функций одного или более из вышеописанных вариантов осуществления, и посредством способа, выполняемого компьютером системы или устройством, например, посредством считывания и выполнения компьютерных исполняемых инструкций с носителя хранения, чтобы выполнять функции одного или более из вышеописанных вариантов осуществления и/или управлять одной или более схемами, чтобы выполнять функции одного или более из вышеописанных вариантов осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (CPU), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров, чтобы считывать и исполнять компьютерные исполняемые инструкции. Компьютерные исполняемые инструкции могут быть предоставлены компьютеру, например, из сети или с носителя хранения информации. Носитель хранения информации может включать в себя, например, одно или более из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), хранилища распределенных вычислительных систем, оптического диска (такого как компакт-диск (CD), цифровой многофункциональный диск (DVD) или диск Blu-ray (BD)™), устройства флэш-памяти, карты памяти и т.п.
[0091] В то время как настоящее изобретение было описано со ссылкой на примерные варианты осуществления, должно быть понятно, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Рамки следующей формулы должны соответствовать самой широкой интерпретации, так, чтобы охватывать все такие модификации и эквивалентные структуры и функции.