СПОСОБ И УСТРОЙСТВО УПРАВЛЕНИЯ МАСШТАБИРОВАНИЕМ И УСТРОЙСТВО ЦИФРОВОЙ ФОТОСЪЕМКИ
METHOD AND SCALE MANAGEMENT DEVICE AND DIGITAL PHOTOGRAPHIC DEVICE

Область техники, к которой относится изобретение
Варианты осуществления относятся к способу и устройству для управления операцией масштабирования и устройством цифровой фотосъемки.
Уровень техники
Большинство цифровых камер, которые были выпущены в последнее время, имеют функцию более чем десятикратного оптического масштабирования. Функцией оптического масштабирования может называться функция регулирования фокусного расстояния таким образом, чтобы объект мог попадать в фокус согласно своему размеру. Функция оптического масштабирования может произвольно определять изменение угла обзора из стандартного в длиннофокусный и из широкоугольного в стандартный. По сравнению с короткофокусным объективом, объектив с переменным фокусным расстоянием предпочитается пользователями, поскольку объектив с переменным фокусным расстоянием имеет различные углы обзора, обеспечивает ощущение перспективы для изображения и может быть использован для фотографирования отдаленного объекта на изображении большого размера без ущерба для качества изображения.
При этом, в отличие от функции оптического масштабирования, функция цифрового масштабирования используется для увеличения изображения посредством обработки изображения независимо от использования объектива. Функция цифрового масштабирования используется для увеличения и отображения части снятого изображения, то есть функция цифрового масштабирования воспроизводит функцию масштабирования в режиме воспроизведения камеры. Таким образом, функция цифрового масштабирования может эффективно использоваться при детальном наблюдении за снимаемым камерой изображением.
Раскрытие изобретения
Решение проблемы
Варианты осуществления могут обеспечивать способ управления масштабированием и устройство, которые обеспечивают возможность фотографирования объекта путем автоматического выполнения операции масштабирования с надлежащей композицией и которые решают проблему, при которой объект исчезает с экрана ввиду операции масштабирования.
Согласно одному аспекту может быть обеспечен способ управления масштабированием, который включает в себя: отображение входного изображения на блоке отображения, отображение на блоке отображения рамки обнаружения объекта, которая показывает по меньшей мере часть объекта, включенного во входное изображение, и выполнение операции масштабирования на входном изображении согласно заданному коэффициенту масштабирования, причем рамка обнаружения объекта не располагается в центре входного изображения, и положение рамки обнаружения объекта после выполнения операции масштабирования по существу то же, что и предыдущее положение рамки обнаружения объекта до выполнения операции масштабирования.
Коэффициент масштабирования может быть определен таким образом, что рамка обнаружения объекта не пересекается с по меньшей мере одной из левой границы, правой границы, верхней границы и нижней границы входного изображения после выполнения операции масштабирования.
Отношение первого расстояния между рамкой обнаружения объекта и левой границей входного изображения ко второму расстоянию между рамкой обнаружения объекта и правой границей входного изображения до того, как выполняется операция масштабирования, может по существу быть тем же самым, что и после того, как выполняется операция масштабирования.
Отношение расстояния между рамкой обнаружения объекта и верхней границей входного изображения к расстоянию между рамкой обнаружения объекта и нижней границей входного изображения до того, как выполняется операция масштабирования, может по существу быть тем же самым, что и после того, как выполняется операция масштабирования.
Когда существует множество рамок обнаружения объектов, коэффициент масштабирования может быть определен на основе множества рамок обнаружения объектов и входного изображения.
Коэффициент масштабирования может быть определен таким образом, что множество рамок обнаружения объектов не пересекаются с по меньшей мере одной из левой границы, правой границы, верхней границы и нижней границы входного изображения после выполнения операции масштабирования.
Коэффициент масштабирования может быть определен как меньший коэффициент масштабирования из первого коэффициента масштабирования, при котором рамка обнаружения объекта не пересекается с по меньшей мере одной из левой границы, правой границы, верхней границы и нижней границы входного изображения после выполнения операции масштабирования, и второго коэффициента масштабирования, который определяется на основе соотношения, с которым рамка обнаружения объекта занимает входное изображение.
Блок отображения может быть выполнен с возможностью быть обращенным к объекту.
Блок отображения может быть конфигурирован как блок отображения поворотного типа, чтобы быть обращенным к объекту.
Способ управления масштабированием может дополнительно включать в себя передачу входного изображения и рамки обнаружения объекта к внешнему мобильному устройству с возможностью отображения входного изображения и рамки обнаружения объекта.
Объектом может быть лицо, животное или предмет.
Согласно другому аспекту может быть обеспечен способ управления масштабированием, который включает в себя: обнаружение объекта с входного изображения, вычисление коэффициента масштабирования на основе рамки обнаружения, которая обнаруживает объект, и области с возможностью масштабирования входного изображения, и выполнение операции масштабирования согласно вычисленному коэффициенту масштабирования, причем рамка обнаружения располагается внутри области с возможностью масштабирования даже после выполнения операции масштабирования.
Композиция входного изображения может быть сохранена даже после выполнения операции масштабирования.
Вычисление коэффициента масштабирования может включать в себя вычисление координат рамки обнаружения при коэффициенте масштабирования, при котором координата по меньшей мере одной из самой левой границы, самой правой границы, самой верхней границы и самой нижней границы области с возможностью масштабирования увеличена.
Когда на входном изображении обнаруживается множество объектов, вычисление коэффициента масштабирования может включать в себя вычисление координаты каждой рамки обнаружения, которая обнаруживает каждый из множества объектов, при коэффициенте масштабирования, при котором координата по меньшей мере одной из самой левой границы, самой правой границы, самой верхней границы и самой нижней границы области с возможностью масштабирования увеличена.
Вычисление коэффициента масштабирования может включать в себя вычисление коэффициента масштабирования на основе отношения размера рамки обнаружения к размеру области с возможностью масштабирования.
Областью с возможностью масштабирования может быть вся область экрана отображения для отображения входного изображения.
Согласно другому аспекту настоящего изобретения обеспечивается устройство управления масштабированием, которое включает в себя блок отображения, который отображает входное изображение и рамку обнаружения объекта, которая показывает по меньшей мере часть объекта, включенного во входное изображение, и средство управления, которое выполняет операцию масштабирования в отношении входного изображения согласно заданному коэффициенту масштабирования, причем рамка обнаружения объекта не располагается в центре входного изображения, и положение рамки обнаружения объекта после выполнения операции масштабирования по существу то же самое, что и предыдущее положение рамки обнаружения объекта до выполнения операции масштабирования.
Средство управления может определять коэффициент масштабирования таким образом, что рамка обнаружения объекта не пересекается с по меньшей мере одной из левой границы, правой границы, верхней границы и нижней границы входного изображения после выполнения операции масштабирования.
Отношение первого расстояния между рамкой обнаружения объекта и левой границей входного изображения ко второму расстоянию между рамкой обнаружения объекта и правой границей входного изображения до того, как выполняется операция масштабирования, может по существу быть тем же самым, что и после того, как выполняется операция масштабирования.
Отношение первого расстояния между рамкой обнаружения объекта и верхней границей входного изображения ко второму расстоянию между рамкой обнаружения объекта и нижней границей входного изображения до того, как выполняется операция масштабирования, может по существу быть тем же самым, что и после того, как выполняется операция масштабирования.
Когда существует множество рамок обнаружения объектов, средство управления может определять коэффициент масштабирования на основе множества рамок обнаружения объектов и входного изображения.
Средство управления может определять коэффициент масштабирования таким образом, что множество рамок обнаружения объектов не пересекается с по меньшей мере одной из левой границы, правой границы, верхней границы и нижней границы входного изображения после выполнения операции масштабирования.
Согласно другому аспекту, может быть предусмотрено цифровое устройство фотосъемки, которое включает в себя устройство фотосъемки, которое формирует входное изображение путем приема света от объекта, который должен быть сфотографирован, объектив с переменным фокусным расстоянием, который увеличивает или уменьшает входное изображение согласно заданному коэффициенту масштабирования, экран отображения, который отображает входное изображение и рамку обнаружения объекта, которая показывает по меньшей мере часть объекта, включенного во входное изображение, и цифровой процессор сигналов (DSP), который управляет масштабирующим объективом согласно коэффициенту масштабирования, причем DSP управляет масштабирующим объективом таким образом, что положение рамки обнаружения объекта перед управлением масштабирующим объективом по существу та же самая, что и предыдущее положение рамки обнаружения объекта после управления масштабирующим объективом.
Экран отображения может быть выполнен с возможностью быть обращенным к объекту.
Экран отображения может быть блоком отображения поворотного типа, чтобы быть обращенным к объекту.
Устройство цифровой фотосъемки может дополнительно включать в себя блок связи, который передает входное изображение и рамку обнаружения объекта к внешнему мобильному устройству, выполненному с возможностью отображения входного изображения и рамки обнаружения объекта.
Краткое описание чертежей
Фиг. 1 изображает схематичную структурную схему, показывающую цифровую камеру в качестве примера устройства цифровой фотосъемки согласно одному варианту осуществления;
Фиг. 2 изображает схематичную структурную схему, показывающую блок цифровой обработки сигналов, показанный на Фиг. 1;
Фиг. 3 изображает схематичную структурную схему, показывающую блок вычисления коэффициента масштабирования, показанный на Фиг. 2;
Фиг. 4 изображает блок-схему, показывающую способ управления масштабированием согласно другому варианту осуществления;
Фиг. 5A-6B изображают виды для описания способа управления масштабированием согласно области техники, к которой относится изобретение;
Фиг. 7A-8B изображают виды для описания способа управления масштабированием согласно другим вариантам осуществления;
Фиг. 9A и 9B изображают виды для описания способа вычисления коэффициента масштабирования согласно другому варианту осуществления;
Фиг. 10A-12B изображают виды для описания способа управления масштабированием согласно другим вариантам осуществления; и
Фиг. 13 изображает вид для описания способа управления масштабированием согласно другому варианту осуществления.
Осуществление изобретения
Варианты осуществления описаны подробно со ссылками на сопроводительные чертежи. Однако варианты осуществления не ограничиваются этим, и следует понимать, что различные изменения в их форме и деталях могут производиться без выхода за пределы сущности и объема нижеследующей формулы. То есть описания для конкретных структур или функций могут быть представлены исключительно для объяснения примерных вариантов осуществления. В следующем описании, когда определяется, что подробные описания соответствующих широко известных функций или структур сделают суть настоящего изобретения неясной, подробные описания будут здесь пропущены.
Такие термины, как «первый» и «второй», используются здесь исключительно для описания множества различных составляющих элементов, но эти составляющие элементы не ограничиваются этими терминами. Такие термины используются только в целях отличия одного составляющего элемента от другого составляющего элемента.
Термины, используемые в настоящем техническом описании, используются для объяснения конкретного примерного варианта осуществления и не ограничивают настоящее изобретение. Таким образом, выражение единственности в настоящем техническом описании включает в себя выражение множества, если в контексте явным образом не указано обратное. Кроме того, такие термины, как «включать в себя» или «содержать», могут толковаться как обозначающие конкретную характеристику, количество, этап, операцию, составляющий элемент или комбинацию перечисленного, но могут не толковаться как исключающие существование или возможность добавления одной или более других характеристик, количеств, этапов, операций, составляющих элементов или комбинаций перечисленного.
Далее варианты осуществления будут подробно описаны путем разъяснения примерных вариантов осуществления со ссылками на приложенные чертежи. Подобные ссылочные позиции на чертежах обозначают подобные элементы. Избыточное описание подобных элементов будет здесь пропущено. Такие выражения, как «по меньшей мере один из», когда они предшествуют списку элементов, модифицируют весь список элементов и не модифицируют отдельные элементы из списка.
Фиг. 1 схематически изображает структуру цифровой камеры 100 в качестве примера устройства цифровой фотосъемки согласно одному варианту осуществления.
Цифровая камера 100 описана ниже в качестве примера устройства цифровой фотосъемки согласно одному варианту осуществления. Устройство цифровой фотосъемки не ограничивается цифровой камерой 100 с Фиг. 1 и может быть цифровым устройством любого типа, таким как камерофон, карманный персональный компьютер (PDA), портативный мультимедиа-проигрыватель (PMP) или записывающая видеокамера.
Цифровая камера 100 согласно настоящему варианту осуществления может включать в себя блок 110 объектива, приводной блок 111 объектива, отверстие 112, приводной блок 113 отверстия, устройство 115 фотосъемки, средство 116 управления устройством фотосъемки, процессор 120 аналоговых сигналов, блок 130 хранения программы, буферный блок 140 хранения, блок 150 хранения данных, приводной блок 162 отображения, блок 160 отображения, процессор 200 цифровых сигналов (DSP) и операционный блок 170. Блок 110 объектива, приводной блок 111 объектива, отверстие 112, приводной блок 113 отверстия, устройство 115 фотосъемки, средство 116 управления устройством фотосъемки и процессор 120 аналоговых сигналов могут называться блоком фотосъемки.
Блок 110 объектива может фокусировать оптический сигнал. Блок 110 объектива может включать в себя масштабирующий объектив для управления углом обзора, чтобы он был увеличен или уменьшен согласно фокусному расстоянию, и фокусный объектив для регулирования фокуса предмета. Каждый из масштабирующего объектива и фокусного объектива могут быть сформированы из одной линзы или группы из множества линз. Отверстие 112 может регулировать количество падающего света согласно его степени открытости. Масштабирующий объектив может быть сформирован из множества групп линз, которые имеют положительные и отрицательные преломляющие способности. Например, масштабирующий объектив может быть сформирован из первой группы линз, имеющей положительную преломляющую способность, второй группы линз, имеющей отрицательную преломляющую способность, третей группы линз, имеющей положительную преломляющую способность, и четвертой группы линз, имеющей положительный/отрицательный коэффициент преломления, которые последовательно расположены в порядке удаления от предмета. Соответственно, масштабирующий объектив может изменять угол обзора путем регулирования положения каждой группы линз под приводящим управлением приводного блока 111 объектива. То есть приводной блок 111 объектива может перемещать масштабирующий объектив из широкоугольного положения в длиннофокусное положение для выполнения операции увеличения масштаба или из длиннофокусного положения в широкоугольное положение для выполнения операции уменьшения масштаба.
Приводной блок 111 объектива и приводной блок 113 отверстия могут принимать управляющий сигнал от DSP 200 и соответственным образом могут приводить в действие блок 110 объектива и отверстие 112. Приводной блок 111 объектива может регулировать фокусное расстояние путем управления положением объектива для выполнения операций автоматического фокусирования, изменения степени масштабирования и изменения фокуса. Приводной блок 113 отверстия может регулировать степень открытости отверстия 112, в частности, может регулировать диафрагменное число или значение отверстия 112 для выполнения автоматического фокусирования, автоматической коррекции экспозиции, изменения фокуса и регулирования глубины резкости.
Оптический сигнал, проходящий через блок 110 объектива, может формировать изображение объекта на принимающей свет поверхности устройства 115 фотосъемки. Устройство 115 фотосъемки может включать в себя устройство с зарядовой связью (CCD), датчик изображения на основе комплементарного металло-оксидного полупроводника (CIS) или высокоскоростной датчик изображений для конвертирования оптического сигнала в электрический сигнал. Чувствительность устройства 115 фотосъемки может регулироваться средством 116 управления устройством фотосъемки. Средство 116 управления устройством фотосъемки может управлять устройством 115 фотосъемки согласно управляющему сигналу, который может автоматически формироваться сигналом изображения, который вводится в реальном времени, или управляющим сигналом, который вручную вводится посредством операции пользователя. Выдержка устройства 115 фотосъемки может регулироваться затвором (не показан). Затвором может быть механический затвор для регулирования падения света путем перемещения шторки или электронного затвора для управления экспозицией путем применения электрического сигнала к устройству 115 фотосъемки.
Блок связи 117 может передавать входное изображение или изображение визирования другому внешнему мобильному устройству, например, интеллектуальному телефону или портативному терминалу, под управлением DSP 200 для обеспечения возможности внешнему мобильному устройству для отображения других условий фотосъемки, включая входное изображение, которые должны отображаться на цифровой камере 100. Блок связи 117 может осуществлять связь с внешним мобильным устройством согласно заданному беспроводному Интернет-протоколу, например беспроводной достоверности (Wi-Fi).
Процессор 120 аналоговых сигналов может выполнять обработку уменьшения шума, управление усиления, формирование сигнала и обработку аналого-цифрового конвертирования над аналоговым сигналом, применяемые устройством 115 фотосъемки.
Операционный блок 170 может быть использован для ввода внешнего управляющего сигнала, например, пользователем. Операционный блок 170 может включать в себя кнопку спуска затвора для ввода сигнала спуска затвора для захвата изображения путем подвергания устройства 115 фотосъемки воздействию света в течение заданного периода времени, кнопку питания для ввода управляющего сигнала для управления включением/выключением питания, кнопку широкого масштабирования и кнопку длиннофокусного масштабирования для увеличения или уменьшения угла обзора согласно вводу, и множество различных кнопок функций для выбора режима, таких как режим ввода текста, режим фотосъемки, режим воспроизведения, режим установки баланса белого или режим установки экспозиции. Операционный блок 170 может иметь множество различных типов кнопок, как представлено выше, но варианты осуществления не ограничиваются этим. Например, операционным блоком 170 может быть клавиатура, сенсорная панель, сенсорный экран или удаленное средство управления, которые могут быть использованы пользователем для ввода данных.
Цифровая камера 100 может включать в себя блок 130 хранения программы для хранения программы, такой как операционная система для приведения в действие цифровой камеры 100 или система приложения, буферный блок 140 хранения для временного хранения данных, необходимых для выполнения операции, или получаемых данных и блок 150 хранения данных для хранения различной информации, необходимой для программы, такой как файл изображения, имеющий сигнал изображения.
Цифровая камера 100 может включать в себя блок 160 отображения для отображения состояния операции цифровой камеры, данных неподвижного изображения или данных кинокартинки, захваченной цифровой камерой 100. Блок 160 отображения может обеспечивать визуальную информацию и акустическую информацию пользователю. Для обеспечения визуальной информации блок 160 отображения может включать в себя, например, жидкокристаллическую панель отображения (LCD) или панель отображения на органических диодах (OLED). Приводной блок 162 отображения может обеспечивать приводящий сигнал блоку 160 отображения. Блок 160 отображения согласно одному или более вариантам осуществления может быть расположен в положении, направленном в сторону фотографируемого объекта. Например, блок 160 отображения может быть расположен на передней поверхности цифровой камеры 100, то есть поверхности, на которой расположен объектив. В другом примере, блок 160 отображения может быть расположен на задней поверхности цифровой камеры 100 и может поворачиваться вверх над цифровой камерой 100 так, чтобы блок 160 отображения перемещался на переднюю поверхность цифровой камеры 100 и становился направлен в сторону фотографируемого объекта.
Цифровая камера 100 может включать в себя DSP 200, который может обрабатывать сигналы входного изображения и может управлять каждым элементом согласно обрабатываемому сигналу входного изображения или внешнему входному сигналу. DSP 200 может уменьшать шум данных входного изображения и может выполнять обработку сигнала изображения для улучшения качества изображения, такую как коррекция градаций яркости, интерполяция матрицы цветного фильтра, цветовая матрица, коррекция цветов или улучшение цветов. Также, DSP 200 может формировать файл изображения путем сжатия данных изображения, формируемых путем выполнения обработки сигнала изображения для улучшения качества изображения или может повторно сохранять данные изображения из файла изображения. Формат сжатия изображения может иметь обратимый формат или необратимый формат. Сжатые данные могут сохраняться в блоке 150 хранения данных. Также, DSP 200 может функционально выполнять обработку резкости, цветовую обработку, обработку размытия, обработку выделения краев, обработку интерпретации изображения, обработку распознавания изображения или обработку эффектов изображения. Обработка распознавания лиц или распознавания мест может выполняться в качестве обработки распознавания изображения. Например, управление уровнем яркости, коррекция цветов, управление контрастом, управление выделением контуров, обработка разделения экрана или формирование изображения знаков и синтетическая обработка могут также выполняться.
Кроме того, DSP 200 может формировать управляющий сигнал для управления автоматическим фокусированием, изменением масштабирования, изменением фокуса или коррекцией автоэкспозиции путем исполнения программы, сохраненной в блоке 130 хранения программы или с использованием отдельного модуля, и может обеспечивать формируемый управляющий сигнал приводному блоку 111 объектива, приводному блоку 113 отверстия и средству 116 управления устройством фотосъемки таким образом, чтобы операциями элементов, таких как затвор или вспышка, предусмотренных в цифровой камере 100, могло в общем случае осуществляться управление.
В стандартной цифровой камере при выполнении операции масштабирования, включающей в себя операцию увеличения масштаба или операцию уменьшения масштаба, лицо объекта может быть обнаружено или расстояние между цифровой камерой и объектом может быть обнаружено. Тогда может выполняться операция увеличения масштаба, пока лицо не достигает надлежащего размера. Со ссылкой на Фиг. 5A, на изображении визирования или изображении предварительного просмотра лицо объекта, расположенное в центре экрана, может быть обнаружено. Со ссылкой на Фиг. 5B, изображение может иметь масштабирование с надлежащим коэффициентом масштабирования или быть увеличено относительно обнаруженного лица. Однако в стандартной цифровой камере, когда объект не располагается в центре экрана, как показано на Фиг. 6A, лицо объекта может исчезать с экрана при масштабировании обнаруженного лица, как показано на Фиг. 6B. В частности, когда размер обнаруженного лица мал и если обнаруженное лицо увеличено, чтобы иметь надлежащий размер, вероятность, что лицо объекта исчезнет с экрана, может дополнительно возрастать. Соответственно, операция масштабирования может становиться нестабильной, и лицо объекта может не быть захвачено нормальным образом.
В цифровой камере 100 согласно одному или более вариантам осуществления, даже если фотографируемый объект не располагается в центре экрана, фотосъемка может выполняться путем выполнения операции увеличения масштаба или операции уменьшения масштаба для изменения размера лица до надлежащего размера без влияния на фотографируемый объект, например часть лица объекта. Кроме того, цифровая камера 100 согласно одному или более вариантам осуществления может обеспечивать возможность пользователю проверять степень, до которой фотографируемый объект, например лицо объекта, увеличивается или уменьшается, с использованием блока отображения на передней поверхности или поворотного блока отображения.
Фиг. 2 изображает схематичную структурную схему DSP 200, показанного на Фиг. 1.
Со ссылкой на Фиг. 2, DSP 200 может включать в себя блок 210 обнаружения лиц, блок 220 установления области масштабирования, блок 230 вычисления коэффициента масштабирования и приводное средство 240 управления масштабированием. DSP 200 следует понимать как имеющий то же значение, что и управляющий блок, описанный в формуле изобретения.
В DSP 200 согласно настоящему изобретению приводной блок 162 отображения может отображать входное изображение и рамку обнаружения объекта, показывающую по меньшей мере часть объекта, включенного во входное изображение. Входное изображение может быть изображением визирования или изображением предварительного просмотра перед фотографированием объекта. DSP 200 может управлять операцией масштабирования, которая должна быть выполнена в отношении входного изображения согласно заданному коэффициенту масштабирования. Операция масштабирования может автоматически выполняться согласно выполнению заданного режима автомасштабирования. Рамка обнаружения объекта может быть рамкой обнаружения лиц для обнаружения части конкретного объекта, например, области человеческого лица. Даже после того, как на входном изображении выполняется операция масштабирования, например, входное изображение увеличивается посредством операции увеличения масштаба, DSP 200 могут сохранять положение рамки обнаружения объекта на входном изображении, чтобы она по существу оставалась той же самой, что и положение рамки обнаружения объекта до формирования операции масштабирования на входном изображении. Это означает, что отношение расстояния между рамкой обнаружения объекта и левой границей входного изображения к расстоянию между рамкой обнаружения объекта и правой границей входного изображения может сохраняться постоянным до и после того, как входное изображение увеличивается, или что отношение расстояния между рамкой обнаружения объекта и верхней границей входного изображения к расстоянию между рамкой обнаружения объекта и нижней границей входного изображения может сохраняться постоянным до и после того, как входное изображение увеличивается. Кроме того, с точки зрения аспекта масштаба изображения, сохранение по существу тем же самым означает, что масштабы объекта до и после увеличения могут сохраняться постоянными.
Со ссылкой на Фиг. 7A, DSP 200 может отображать входное изображение и рамку 700 обнаружения объекта для обнаружения части объекта на входном изображении, например область лица. Со ссылкой на Фиг. 7B, DSP 200 может увеличивать входное изображение так, чтобы даже после того, как входное изображение увеличивается с надлежащим коэффициентом масштабирования, положение рамки 700 обнаружения объекта могло сохраняться подобным положению рамки 700 обнаружения объекта до того, как входное изображение будет увеличено. В частности, на Фиг. 7B ссылочная позиция 710 обозначает границу области с возможностью масштабирования. DSP 200 может определять коэффициент масштабирования так, чтобы не выходить за пределы границы области 710 с возможностью масштабирования в определении коэффициента масштабирования для увеличения входного изображения. На Фиг. 7B область 710 с возможностью масштабирования может быть меньше, чем вся линия границы входного изображения, но это всего лишь пример. То есть область 710 с возможностью масштабирования может также быть меньше чем вся область входного изображения или область 710 с возможностью масштабирования может быть меньше чем область 710 с возможностью масштабирования, показанная на Фиг. 7B.
Со ссылкой на Фиг. 8A, DSP 200 может обнаруживать область лица объекта на входном изображении и может увеличивать область лица до надлежащего размера без учета области 810 с возможностью масштабирования, как показано на Фиг. 8B. В этом случае, область лица может отклоняться от области 810 с возможностью масштабирования, показанной на Фиг. 8B.
Снова со ссылкой на Фиг. 2, блок 210 обнаружения лиц может обнаруживать заданную область лица с входного изображения. Когда лицо обнаруживается, рамка обнаружения лиц может отображаться на области лица. Хотя здесь было описано обнаружение лица, конкретная область лица может также обнаруживаться. В общем, в обнаружении лица данные, касающиеся признаков ранее запомненного лица, могут сравниваться с данными, касающимися входного изображения, и затем может определяться, включает ли в себя входное изображение данные изображения, касающиеся лица. Если определяется, что входное изображение включает в себя данные изображения, касающиеся лица, может определяться, где находятся данные изображения, касающиеся лица, на входном изображении. Широко известные способы и алгоритмы обнаружения области лица могут быть использованы в способе обнаружения лиц согласно одному или более вариантам осуществления. Например, область лица может быть обнаружена с использованием методики векторов движения, методики обнаружения черт лица, методики обучения AdaBoost или подобного.
Блок 220 установления области масштабирования может устанавливать области 710 и 810 с возможностью масштабирования, как показано на Фиг. 7B и 8B. Области 710 и 810 с возможностью масштабирования могут быть установлены так, чтобы соответствовать области, равной, меньшей чем или большей чем 80% экрана отображения или всего входного изображения, или могут быть установлены так, чтобы соответствовать всему экрану отображения или всему входному изображению. Также, когда выполняется операция уменьшения масштаба или входное изображение уменьшается, области 710 и 810 с возможностью масштабирования могут быть установлены так, чтобы соответствовать области, равной или меньшей чем 50% экрана отображения. Левая, правая, верхняя и нижняя границы областей 710 и 810 с возможностью масштабирования, которые устанавливаются блоком 220 установления области масштабирования, могут быть использованы в качестве критерия в определении коэффициента масштабирования.
Блок 230 вычисления коэффициента масштабирования может вычислять коэффициент масштабирования на основе рамки обнаружения объекта или рамки обнаружения лиц и области с возможностью масштабирования, которая устанавливается блоком 220 установления области масштабирования. Блок 230 вычисления коэффициента масштабирования может вычислять коэффициент масштабирования, который удовлетворяет первому условию для увеличения области лица до надлежащего размера и второму условию для обеспечения возможности того, чтобы рамка обнаружения объекта располагалась внутри области с возможностью масштабирования даже после выполнения операции масштабирования. Коэффициент масштабирования, удовлетворяющий первому условию, может быть вычислен следующим образом.
Конфигурация масштабирования может быть определена Шагом масштабирования = [Z1, Z2, …, Zn], и шаг масштабирования может быть увеличен следующим образом: Z1, Z2, Z3, …, Zn. Коэффициент между текущим шагом масштабирования и перемещенным шагом масштабирования может быть вычислен по следующей формуле 1.
SR = (Перемещенный шаг масштабирования)/(Текущий шаг масштабирования) (1)
Например, если перемещенный шаг масштабирования равен 235, а текущий шаг масштабирования равен 47, то формула 235/47=5 получается по формуле 1. То есть коэффициент увеличивается в пять раз.
Для того, чтобы выполнить операцию увеличения масштаба так, чтобы не нарушить область лица, место соединения между областью 710 с возможностью масштабирования и рамкой 700 обнаружения объекта может быть вычислено, как показано на Фиг. 7B. В этом отношении, максимальный размер коэффициента увеличения масштабирования может быть вычислен как Zx.
Коэффициент масштабирования, удовлетворяющий второму условию, может быть вычислен следующим образом.
Как показано на Фиг. 8B, когда операция увеличения масштаба выполняется для увеличения области лица до надлежащего размера, размер коэффициента увеличения масштабирования может быть вычислен как Zy. В этом отношении, коэффициент между размером текущей рамки обнаружения лиц и заданным размером лица может быть вычислен как Zy.
Для того чтобы удовлетворить и первому, и второму условиям, минимальный размер коэффициента увеличения, из вычисленных Zx и Zy, может быть вычислен по следующей формуле 2.
min(Zx, Zy)=SR (2)
Соответственно, согласно способу вычисления коэффициента масштабирования из одного или более вариантов осуществления, область лица не должна пропасть и может автоматически быть увеличена до надлежащего размера. В этом отношении, несмотря на то, что главным образом был описан случай увеличения входного изображения, описание может также применяться к случаю уменьшения входного изображения.
Способ вычисления коэффициента масштабирования будет описан подробно со ссылками на Фиг. 3. Со ссылкой на Фиг. 3, блок 230 вычисления коэффициента масштабирования может включать в себя первый блок 231 вычисления коэффициента масштабирования, второй блок 232 вычисления коэффициента масштабирования и блок 233 вычисления коэффициента масштабирования сравнения.
Первый блок 231 вычисления коэффициента масштабирования может вычислять коэффициент масштабирования, при котором рамка обнаружения объекта должна располагаться внутри области с возможностью масштабирования даже после выполнения операции масштабирования. То есть первый блок 231 вычисления коэффициента масштабирования может вычислять коэффициент масштабирования, который обеспечивает возможность нахождения положения рамки обнаружения объекта за пределами самой левой, самой правой, самой верхней и самой нижней границ области с возможностью масштабирования.
Второй блок 232 вычисления коэффициента масштабирования может вычислять коэффициент масштабирования для увеличения или уменьшения области лица до заданного размера рамки обнаружения объекта или заданного размера лица, на основе размера рамки обнаружения объекта или обнаруженного размера лица. В этом отношении, заданный размер рамки обнаружения объекта или заданный размер лица может быть установлен так, чтобы соответствовать нескольким процентам от всего экрана или чтобы иметь заданное количество пикселей.
Блок 233 вычисления коэффициента масштабирования сравнения может выбрать меньший коэффициент масштабирования из коэффициента масштабирования, вычисленного первым блоком 231 вычисления коэффициента масштабирования, и коэффициента масштабирования, вычисленного вторым блоком 232 вычисления коэффициента масштабирования. Соответственно, согласно способу управления масштабированием из одного или более вариантов осуществления, коэффициент масштабирования может быть определен как степень, с которой объект регулируется до надлежащего размера и объект не исчезает с экрана даже после выполнения операции масштабирования, а именно операции увеличения масштаба. В варианте осуществления, описанном со ссылками на Фиг. 3, способом вычисления коэффициента масштабирования может быть первый способ вычисления коэффициента масштабирования, второй способ вычисления коэффициента масштабирования и способ вычисления коэффициента масштабирования сравнения, но варианты осуществления не ограничиваются ими. То есть способ вычисления коэффициента масштабирования может также выполняться посредством DSP 200 или блока 230 вычисления коэффициента масштабирования, показанных на Фиг. 2. Вычисление коэффициента масштабирования будет описано со ссылками на Фиг. 9 и таблицу 1. В этом отношении, объект может быть ограничен лицом, и область с возможностью масштабирования может быть ограничена всем размером входного изображения или размером экрана отображения.
Таблица 1
Переменная
Полное наименование
Описание
CZS
Текущий шаг масштабирования
Текущий шаг масштабирования
MZS
Перемещенный шаг масштабирования
Перемещенный шаг масштабирования
CFW
Текущая ширина лица
Обнаруженный размер лица (ширина)
DFW
Желаемая ширина лица
Желаемый размер лица (ширина)
LW
LCD-ширина
Ширина буфера изображения
LH
LCD-высота
Высота буфера изображения
SR
Соотношение размера
Соотношение увеличения/уменьшения изображения
SRL
Соотношение размера слева
Максимальный коэффициент, при котором самое левое значение координаты на обнаруженном лице не исчезает с экрана даже после выполнения операции масштабирования
SRR
Соотношение размера справа
Максимальный коэффициент, при котором самое правое значение координаты на обнаруженном лице не исчезает с экрана даже после выполнения операции масштабирования
SRT
Соотношение размера сверху
Максимальный коэффициент, при котором самое верхнее значение координаты на обнаруженном лице не исчезает с экрана даже после выполнения операции масштабирования
SRB
Соотношение размера снизу
Максимальный коэффициент, при котором самое нижнее значение координаты на обнаруженном лице не исчезает с экрана даже после выполнения операции масштабирования
Сначала коэффициент масштабирования в случае увеличения области лица до надлежащего размера лица может быть вычислен посредством следующей формулы 3.
SR=DFW/CFW (3)
Затем, когда лицо увеличено путем выполнения операции масштабирования, максимальный коэффициент масштабирования, при котором область лица не исчезает, может быть вычислен. В этом отношении, как показано в таблице 1, SRL может обозначать максимальный коэффициент, при котором самое левое значение координаты в обнаруженном лице не исчезает с экрана даже после выполнения операции масштабирования, SRR может обозначать максимальный коэффициент, при котором самое правое значение координаты в обнаруженном лице не исчезает с экрана даже после выполнения операции масштабирования, SRT может обозначать максимальный коэффициент, при котором самое верхнее значение координаты в обнаруженном лице не исчезает с экрана даже после выполнения операции масштабирования, и SRB может обозначать максимальный коэффициент, при котором самое низкое значение координаты в обнаруженном лице не исчезает с экрана даже после выполнения операции масштабирования. SRL, SRR, SRT и SRB могут быть вычислены по формулам 4-7, соответственно.
На Фиг. 9B L1', T1', L2' T2' L3', T3', R1', B1', R2', B2', R3' и B3v могут обозначать увеличенные значения координат.
L2'=(LW*(SRL-1))/2
L3'=L3*SRL (4)
SRL=LW/(LW-(2*L3)), которое удовлетворяет L2'<L3'
R2'=(LW*(SRR-1))/2
R3'=R3*SRR (5)
SRR=LW/((2*R3)-LW), которое удовлетворяет R2'<R3v
T2'=(LH*(SRT-1))/2
T3'=T3*SRT (6)
SRT=LH/(LH-(2*T3)), которое удовлетворяет T2'<T3'
B2'=(LH*(SRB+1))/2
B3'=B3*SRB (7)
SRB=LH/((2*B3)-LH), которое удовлетворяет B2'>R3'
Посредством формул 4-7, соответственные коэффициенты масштабирования, то есть значения SR, SRL, SRR, SRT и SRB, могут быть вычислены, и из этих значений минимальное значение может быть фактически перемещенным коэффициентом масштабирования, то есть перемещенным коэффициентом масштабирования. Соответственно, окончательный коэффициент масштабирования может быть определен по формуле 8 ниже.
Соотношение масштабирования = Min(SR, SRL, SRR, SRT, SRB) (8)
Согласно определению коэффициента масштабирования, фотографирование человека возможно путем автоматического выполнения операции масштабирования таким образом, чтобы изображение имело надлежащую композицию. Кроме того, когда операция увеличения масштаба выполняется над маленьким лицом человека, проблема, что изображение человека исчезает с экрана ввиду операции увеличения масштаба, может быть решена.
Согласно другому варианту осуществления, когда фотографируется множество людей, могут быть обнаружены лица людей, и изображение каждого человека может иметь рамку обнаружения лиц и размер экрана отображения. Кроме того, коэффициент масштабирования может быть вычислен в отношении каждой рамки обнаружения лиц по вышеприведенным формулам 3-8. Соответственно, даже когда фотографируется множество людей, операция масштабирования может выполняться с коэффициентом, при котором лица всех людей не исчезают с экрана.
Приводное средство 240 управления масштабированием может выводить приводящий сигнал управления масштабированием согласно коэффициенту масштабирования, вычисленному блоком 230 вычисления коэффициента масштабирования. Приводное средство 240 управления масштабированием может выводить приводящий сигнал управления масштабированием к приводному блоку 111 объектива, показанному на Фиг. 1. В этом отношении, приводное средство 240 управления масштабированием может выводить сигнал управления масштабированием для перемещения масштабирующего объектива в длиннофокусное положение, когда коэффициент масштабирования, вычисленный блоком 230 вычисления коэффициента масштабирования, является коэффициентом увеличения. Кроме того, приводное средство 240 управления масштабированием может выводить сигнал управления масштабированием для перемещения масштабирующего объектива в широкоугольное положение, когда коэффициент масштабирования, вычисленный блоком 230 вычисления коэффициента масштабирования, является коэффициентом уменьшения.
Фиг. 10-13 изображают виды для описания способа управления масштабированием согласно другим вариантам осуществления.
Со ссылкой на Фиг. 10A и 10B, когда лицо фотографируемого объекта располагается в центре экрана, изображение, которое увеличено до надлежащего размера лица с коэффициентом масштабирования, при котором лицо не исчезает с экрана, может отображаться. В частности, цифровая камера согласно одному варианту осуществления может быть конфигурирована таким образом, что экран отображения, расположенный на задней поверхности, может поворачиваться вверх для того, чтобы быть обращенным к объекту, как показано на Фиг. 10A и 10B. Соответственно, фотографируемый объект может быть проверен с точки зрения того, где увеличиваемое лицо объекта располагается на экране, даже после выполнения операции масштабирования. В частности, в случае, когда объект фотографирует себя, объект может выполнять фотографирование, при этом проверяя положение своего лица.
Фиг. 11A и 11B изображают случай, когда лицо фотографируемого объекта не располагается в центре экрана. В этом случае, даже после выполнения операции масштабирования или перемещения масштабирующего объектива, приведение масштабирования может выполняться, в то время как сохраняется надлежащий размер лица и коэффициент масштабирования, при котором лицо не исчезает с экрана.
Фиг. 12A и 12B изображают случай, когда может фотографироваться множество лиц. В этом случае, приведение масштабирования может выполняться так, чтобы рамки обнаружения лиц соответственных лиц не исчезали с экрана даже после выполнения операции увеличения масштаба. Хотя было описано со ссылками на Фиг. 11A-12B, что цифровая камера согласно настоящему варианту осуществления включает в себя экран отображения поворотного типа, варианты осуществления не ограничиваются этим. То есть экран отображения может быть экраном отображения переднего типа или экраном отображения, который расположен на задней поверхности цифровой камеры.
Фиг. 13 изображает случай, когда экран 1301 отображения может быть расположен на задней поверхности цифровой камеры 1300. Входное изображение может отображаться на экране 1301 отображения, и лицо объекта на входном изображении может быть немного увеличено. Входное изображение может передаваться к мобильному устройству 1310 посредством блока 117 связи, показанного на Фиг. 1, и может отображаться на экране 1311 отображения мобильного устройства 1310. Соответственно, пользователь может выполнять фотосъемку, при этом просматривая входное изображение, которое увеличено посредством операции увеличения масштаба и отображается на экране 1311 отображения мобильного устройства 1310.
Фиг. 4 изображает блок-схему, показывающую способ управления масштабированием согласно другому варианту осуществления.
Как показано на Фиг. 4, изображение может быть введено в операцию 400, и лицо может быть обнаружено из входного изображения на операции 402. Затем на операции 404 коэффициент масштабирования может быть определен на основе размера экрана отображения, который отображает рамку обнаружения лиц и входное изображение. В этом отношении, если входное изображение увеличено посредством операции увеличения масштаба, коэффициент масштабирования может быть определен как отношение размера рамки обнаружения лиц к заданному размеру лица. Также, максимальный коэффициент масштабирования, при котором рамка обнаружения лиц не пересекается с по меньшей мере одной из самой левой, самой правой, самой верхней и самой нижней границ входного изображения, может быть определен. Дополнительно, может быть выбран меньший коэффициент масштабирования из определенных двух коэффициентов масштабирования, и любой из коэффициентов масштабирования может быть использован. Описание в отношении случая коэффициента масштабирования может также применяться к случаю масштабирующего уменьшения. Например, когда лицо, обнаруженное из входного изображения, слишком велико, то есть когда рамка обнаружения лиц полностью занимает экран отображения, коэффициент масштабирования, при котором лицо может быть уменьшено до заданного размера лица, или максимальный коэффициент масштабирования, при котором рамка обнаружения лиц не пересекается с по меньшей мере одной из самой левой, самой правой, самой верхней и самой нижней границ входного изображения, может быть определен. Соответственно, даже когда лицо уменьшается, операция уменьшения масштаба может автоматически выполняться таким образом, что лицо уменьшается до надлежащего размера лица и лицо не исчезает с экрана отображения.
На операции 406 масштабирующий объектив может перемещаться согласно коэффициенту масштабирования, определенному на операции 404. Когда масштабирующий объектив перемещается в длиннофокусное положение, входное изображение может быть увеличено посредством операции увеличения масштаба на операции 408. Когда масштабирующий объектив перемещается в широкоугольное положение, входное изображение может быть уменьшено посредством операции уменьшения масштаба на операции 410. Увеличенное или уменьшенное входное изображение может быть захвачено и сохранено на операциях 412 и 414, соответственно.
Устройство, описанное здесь, может содержать процессор, память для хранения программных данных для исполнения процессором, постоянное хранилище, такое как дисковый накопитель, порт связи для обеспечения связи с внешними устройствами и устройства пользовательского интерфейса, такие как дисплей, клавиши и т.д. Когда имеют место программные модули, эти программные модули могут сохраняться как программные инструкции или машиночитаемый код, исполняемый процессором, на постоянном машиночитаемом носителе, таком как постоянная память (ROM), оперативная память (RAM), CD-ROM, магнитные ленты, гибкие диски и оптические устройства хранения данных. Этот носитель может считываться компьютером, сохраняться в памяти и исполняться процессором. Машиночитаемый носитель записи может также быть распределен по объединенным сетью компьютерным системам таким образом, чтобы машиночитаемый код сохранялся и исполнялся распределенным образом. Этот носитель может считываться компьютером, сохраняться в памяти и исполняться процессором.
Все ссылки, включающие в себя публикации, заявки на патенты и патенты, указываемые здесь, настоящим включены в настоящий документ путем ссылки в той же степени, как если бы каждая ссылка была отдельным и конкретным образом указана как включенная путем ссылки и была изложена здесь во всей полноте.
В целях обеспечения лучшего понимания принципов изобретения, была сделана ссылка на варианты осуществления, иллюстрируемые на чертежах, и был использован конкретный язык для описания этих вариантов осуществления. Однако никакое ограничение объема изобретения не подразумевается этим конкретным языком, и изобретение должно толковаться как охватывающее все варианты осуществления, которые могут обычным образом прийти в голову обычному специалисту в данной области техники. Терминология, используемая здесь, предназначена для целей описания конкретных вариантов осуществления и не подразумевается как ограничение примерных вариантов осуществления изобретения. Изобретение может быть описано в отношении компонентов функциональных блоков и различных этапов обработки. Такие функциональные блоки могут осуществляться любым количеством аппаратных и/или программных компонентов, выполненных с возможностью выполнения установленных функций. Например, изобретение может задействовать различные компоненты интегральных цепей, например, элементы памяти, элементы обработки, логические элементы, таблицы соответствий и т.п., которые могут осуществлять множество различных функций под управлением одного или более микропроцессоров или других управляющих устройств. Подобным образом, когда элементы изобретения осуществляются с использованием программирования в программных средствах или программных элементов, изобретение может осуществляться посредством любого языка программирования или сценариев, такого как C, C++, Java, ассемблер или подобное, где различные алгоритмы осуществляются посредством любой комбинации структур данных, объектов, процессов, подпрограмм или других программных элементов. Функциональные аспекты могут осуществляться в алгоритмах, которые исполняются в одном или более процессорах. Также с использованием настоящего описания программисты, являющиеся обычными специалистами в данной области техники, к которой относится изобретение, могут легко осуществить функциональные программы, коды и кодовые сегменты для выполнения и использования изобретения. Кроме того, изобретение может задействовать любое количество стандартных методик для конфигураций электронных средств, обработки и/или управления сигналов, обработки данных и т.п. Слова «механизм» и «элемент» используются в широком значении и не ограничиваются механическими или физическими вариантами осуществления, но могут включать в себя подпрограммы в программных средствах в сочетании с процессорами и т.д.
Конкретные осуществления, показанные и описанные здесь, являются иллюстративными примерами изобретения и не подразумеваются как иным образом ограничивающие объем изобретения любым способом. В целях краткости, стандартные электронные средства, системы управления, разработка программных средств и другие функциональные аспекты систем (и компоненты отдельных операционных компонентов систем) могут не описываться подробно. Кроме того, соединяющие линии или соединители, показанные на различных представленных чертежах, предназначены для представления примерных функциональных отношений и/или физических или логических соединений между различными элементами. Следует заметить, что множество альтернативных или дополнительных функциональных отношений, физических соединений или логических соединений могут быть представлены в практическом устройстве. Более того, никакой элемент или компонент не является неотъемлемым для использования изобретения на практике, если элемент конкретным образом не описан как «неотъемлемый» или «обязательный». Следует понимать, что термины «содержит», «содержащий», «включает в себя», «включающий в себя», «имеет» и «имеющий», используемые здесь, конкретным образом предназначены для прочтения как не ограничивающие термины в данной области техники.
Использование терминов в единственном числе и подобных обозначений в контексте описания изобретения (в особенности в контексте нижеследующей формулы) должно толковаться как охватывающее и единственное, и множественное число. Кроме того, перечисления диапазонов значений здесь предназначены лишь в качестве способа сокращения особого упоминания каждого отдельного значения, попадающего в диапазон, если здесь не указано обратное, и каждое отдельное значение включается в описание, как если бы оно было особым образом здесь описано. Наконец, этапы всех способов, описанных здесь, могут выполняться в любом подходящем порядке, если здесь не указано обратное или если это, в противном случае, явно не противоречит контексту. Использование любого и всех примеров или терминов примеров (например, «такой как»), приведенных здесь, предназначено всего лишь для лучшего освещения изобретения и не накладывает ограничения на объем изобретения, если не заявляется обратное. Таким образом, объем изобретения определяется не подробным описанием изобретения, а следующей формулой, и все различия внутри объема будут толковаться как включаемые в изобретение. Множество модификаций и усовершенствований будут без труда понятны обычным специалистам в данной области техники без выхода за пределы сущности и объема изобретения.
Согласно способу управления масштабированием настоящего изобретения объект может быть сфотографирован путем автоматического выполнения операции масштабирования с надлежащей композицией, и проблема, когда объект исчезает с экрана ввиду операции масштабирования, может быть решена.
Кроме того, объект, над которым была выполнена операция масштабирования перед фотографированием, может отображаться на экране отображения.
В то время как настоящее изобретение было в частности показано и описано со ссылками на его примерные варианты осуществления, специалистам в данной области техники будет понятно, что различные изменения в форме и деталях могут быть выполнены над ним без выхода за пределы сущности и объема изобретения, определяемых прилагаемой формулой изобретения.