СПОСОБ ЗАХВАТА ИЗОБРАЖЕНИЯ И ОКОНЕЧНОЕ УСТРОЙСТВО
IMAGE CAPTURE METHOD AND TERMINAL DEVICE

Область техники, к которой относится изобретение
Настоящее раскрытие относится к области технологий захвата изображений и, в частности, к способу захвата изображений и оконечному устройству.
Уровень техники
С усовершенствованием технологий оконечных устройств различные функции оконечных устройств непрерывно улучшаются. В качестве примера используется мобильный телефон, и функция захвата изображения является одной из функций, часто используемых пользователем. Дополнительно, пользователь уделяет больше внимания качеству визуализации мобильного телефона.
Тем не менее, экспозицию изображения, захваченного с использованием современного мобильного телефона, сложно контролировать, и необходимо решить техническую задачу передержки или недодержки. В результате детали на яркой части изображения ясны, но детали на темной части изображения теряются, или детали на темной части ясны, но детали на яркой части теряются, что в результате приводит к плохому качеству визуализации изображения.
Раскрытие сущности изобретения
Варианты осуществления настоящего изобретения предлагают способ захвата изображения и оконечное устройство для повышения качества захвата изображения.
Согласно первому аспекту, вариант осуществления настоящего изобретения обеспечивает способ захвата изображения. Способ может выполняться оконечным устройством. Способ включает в себя этапы, на которых: в ответ на операцию пользователя, оконечное устройство открывает приложение камеры для инициирования работы линз и отображает интерфейс видоискателя. Оконечное устройство преобразует исходное изображение, захваченное линзами в RGB изображение. Оконечное устройство снижает яркость RGB изображения, чтобы быть меньше первой яркости, или увеличивает яркость RGB изображения, чтобы быть больше второй яркости для получения первого изображения, где первая яркость больше, чем вторая яркость. Оконечное устройство преобразует RGB изображение в N кадры HDR изображений с использованием HDR технологии, где N кадры HDR изображений имеют различные яркости, и яркость N кадров HDR изображений больше, чем первая яркость, когда яркость RGB изображения уменьшается, чтобы быть меньше первой яркости, или яркость N кадров HDR изображений меньше, чем вторая яркость, когда яркость RGB изображения увеличивается, чтобы быть больше, чем вторая яркость, где N является положительным числом. Оконечное устройство выполняет слияние цветовой информации пикселя в любом том же местоположении на первом изображении и N кадров HDR изображений для получения конечного изображения. Оконечное устройство отображает конечное изображение на интерфейсе видоискателя.
В этом варианте осуществления настоящего изобретения оконечное устройство выполняет различную регулировку яркости RGB изображения и яркости множества кадров HDR изображений. Таким образом, детали на RGB изображении и HDR изображениях различны. Оконечное устройство выполняет слияние цветовой информации пикселей в том же местоположении на RGB изображении и множеством HDR изображений для получения изображения, имеющего хорошее качество, тем самым, повышая качество захвата изображения.
В возможной реализации, что оконечное устройство выполняет слияние цветовой информации пикселя в любом том же местоположении на первом изображении и N кадры HDR изображений для получения конечного изображения может конкретно представлять собой следующее: оконечное устройство определяет из множества кривых слияния на основании параметра экспозиции, используемого для захвата исходного изображения, первую кривую слияния, соответствующую параметру экспозиции, где первая кривая слияния используется для указания соответствия между цветовой информацией и коэффициентом слияния. Оконечное устройство использует пиксели в одном и том же местоположении в N кадрах HDR изображений в качестве первых пикселей и выполняет следующие операции для каждого первого пикселя: оконечное устройство определяет на первой кривой слияния на основании цветовой информации первого пикселя в каждом кадре HDR изображения коэффициент слияния, соответствующий цветовой информации, и оконечное устройство выполняет слияние на основании коэффициента слияния цветовой информации первого пикселя в каждом кадре HDR изображения и цветовой информации второго пикселя на первом изображении для получения конечного изображения, где второй пиксель представляет собой пиксель, который находится в том же местоположении, что местоположение, соответствующее первому пикселю, и что определяется оконечным устройством на основании алгоритма сопоставления.
В этом варианте осуществления настоящего изобретения оконечное устройство определяет кривую слияния на основании параметра экспозиции, используемого для захвата исходного изображения и затем определяет коэффициент слияния на кривой слияния на основании цветовой информации пикселя на HDR изображении. Оконечное устройство выполняет слияние на основании коэффициента слияния, цветовой информации пикселя в том же местоположении на RGB изображении и HDR изображении для получения изображения, имеющего хорошее качество, тем самым, повышая качество захвата изображения.
В возможной реализации, что оконечное устройство определяет на первой кривой слияния на основании цветовой информации первого пикселя в каждом кадре HDR изображения коэффициент слияния, соответствующий цветовой информации, может конкретно включать в себя: оконечное устройство определяет на первой кривой слияния на основании R цветовой информации первого пикселя в каждом кадре HDR изображения первый коэффициент слияния, соответствующий R цветовой информации, для получения N первых коэффициентов слияния. Оконечное устройство определяет на первой кривой слиянии на основании G цветовой информации первого пикселя в каждом кадре HDR изображения второй коэффициент слияния, соответствующий G цветовой информации, для получения N вторых коэффициентов слияния. Оконечное устройство определяет на первой кривой слияния на основании В цветовой информации первого пикселя в каждом кадре HDR изображения третий коэффициент слияния, соответствующий В цветовой информации, для получения N третьих коэффициентов слияния. Соответственно, что оконечное устройство выполняет слияние цветовой информации первого пикселя в каждом кадре HDR изображения и цветовой информации второго пикселя в первом изображении на основании коэффициента слияния, может конкретно включать в себя: оконечное устройство выполняет слияние R цветовой информации первого пикселя в каждом кадре HDR изображения и R цветовой информации второго пикселя на основании N первых коэффициентов слияния. Оконечное устройство выполняет слияние G цветовой информации первого пикселя в каждом кадре HDR изображения и G цветовой информации второго пикселя на основании N вторых коэффициентов слияния. Оконечное устройство выполняет слияние В цветовой информации первого пикселя в каждом кадре HDR изображения и B цветовой информации второго пикселя на основании N третьих коэффициентов слияния.
В этом варианте осуществления настоящего изобретения оконечное устройство определяет коэффициенты слияния соответственно на основании трех типов цветовой информации первого пикселя на HDR изображении. Оконечное устройство выполняет слияния на основании коэффициентов слияния, соответствующие типу цветовой информации, цветовой информации пикселей в одном местоположении на RGB изображении и HDR изображении. Конкретно, при слиянии цветовой информации пикселей в том же местоположении на RGB изображении и HDR изображении, оконечное устройство выполняет слияние каждого типа цветовой информации пикселей в том же местоположении на RGB изображении и HDR изображении. Таким образом, получают изображение, имеющее хорошее качество, тем самым, повышая качество захвата изображения.
В возможной реализации, что оконечное устройство выполняет слияние R цветовой информации первого пикселя в каждом кадре HDR изображения и R цветовой информации второго пикселя на основании N первых коэффициентов слияния, может удовлетворять следующему требованию формулы:
, где
является значением R цветовой информации второго пикселя в первом изображении, является значением R цветовой информации первого пикселя в i-th кадре HDR изображения в N кадрах HDR изображения, N является количеством кадров HDR изображений, является первым коэффициентом слияния в N первых коэффициентах слияния, который определяются на первой кривой слияния на основании значения R цветовой информации первого пикселя в i-th кадре HDR изображения, и является значением R цветовой информации пикселя на конечном изображении.
В этом варианте осуществления настоящего изобретения, когда оконечное устройство выполняет слияние R (красный) цветовой информации пикселей в том же местоположении на RGB изображении и HDR изображении, удовлетворяется требования указанной выше формулы. Таким образом, получают изображение, имеющее хорошее качество, тем самым, повышая качество захвата изображения.
В возможной реализации, то, что оконечное устройство выполняет слияние G цветовой информации первого пикселя в каждом кадре HDR изображения и G цветовой информации второго пикселя на основании N вторых коэффициентов слияния, может удовлетворять следующему требованию формулы:
, где
является значением G цветовой информации второго пикселя на первом изображении, является значением G цветовой информации первого пикселя в i-th кадре HDR изображения в N кадрах HDR изображений, N является количеством кадров HDR изображений, является вторым коэффициентом слияния в N вторых коэффициентах слияния, который определяется на первой кривой слияния, основанной на значении G цветовой информации первого пикселя в i-th кадре HDR изображения, и является значением R цветовой информации пикселя на конечном изображении.
В этом варианте осуществления настоящего изобретения, когда оконечное устройство выполняет слияние G (зеленый) цветовой информации пикселей в том же месте на RGB изображении и HDR изображении, удовлетворяется требование указанной выше формулы. Таким образом, получается изображение, имеющее хорошее качество, тем самым, повышая качество захвата изображения.
В возможной реализации, что оконечное устройство выполняет слияние В цветовой информации первого пикселя в каждом кадре HDR изображения и B цветовой информации второго пикселя на основании N третьих коэффициентов слияния может соответствовать следующему требованию формулы:
, где
является значением В цветовой информации второго пикселя на первом изображении, является значением В цветовой информации первого пикселя в i-th кадре HDR изображения в N кадрах HDR изображений, N является количеством кадров HDR изображений, является третьим коэффициентом слияния в N третьих коэффициентах слияния, который определяется на первой кривой слияния, основанной на значении G цветовой информации первого пикселя в i-th кадре HDR изображения и является значением B цветовой информации пикселя на конечном изображении.
В этом варианте осуществления настоящего изобретения, когда оконечное устройство выполняет слияние В (синий) цветовой информации пикселей в том же месте на RGB изображении и HDR изображении, удовлетворяется требования указанной выше формулы. Таким образом, получают изображение, имеющее хорошее качество, тем самым, повышая качество захвата изображения.
Согласно второму аспекту, вариант осуществления настоящего изобретения обеспечивает оконечное устройство. Оконечное устройство включает в себя линзы, дисплей, память и процессор. Процессор выполнен с возможностью: в ответ на операцию пользователя, открывать приложение камеры для начала работы линз. Дисплей выполнен с возможностью отображать интерфейс видоискателя приложения камеры. Линзы выполнены с возможностью захватывать исходное изображение. Память выполнена с возможностью хранить одну или более компьютерных программ. При выполнении одной или нескольких компьютерных программ, хранящихся в памяти, процессором, оконечное устройство выполнено с возможностью выполнять способ в первом аспекте или любой возможной реализации первого аспекта.
Согласно третьему аспекту, вариант осуществления настоящего изобретения дополнительно обеспечивает оконечное устройство. Оконечное устройство включает в себя модули/блоки, выполняющие способ в первом аспекте или любой возможной реализации первого аспекта. Модули/блоки могут быть реализованы аппаратным обеспечением или могут быть реализованы аппаратным обеспечением, выполняющим соответствующее программное обеспечение.
Согласно четвертому аспекту вариант осуществления настоящего изобретения дополнительно предлагает машиночитаемый носитель информации. Машиночитаемый носитель информации включает в себя компьютерную программу. Когда компьютерная программа выполняется на оконечном устройстве, оконечное устройство выполнено с возможностью выполнять способ в первом аспекте или любой возможной реализации первого аспекта.
Согласно пятому аспекту вариант осуществления настоящего изобретения дополнительно предлагает продукт компьютерной программы. Когда продукт компьютерной программы используется оконечным устройством, оконечное устройство выполнено с возможностью выполнять способ в первом аспекте или любой возможной реализации первого аспекта.
Краткое описание чертежей
Фиг. 1 представляет собой структурную схему мобильного телефона 100 в соответствии с вариантом осуществления настоящего изобретения;
фиг. 2 является структурной схемой мобильного телефона 100 в соответствии с вариантом осуществления настоящего изобретения;
фиг. 3 представляет собой блок-схему алгоритма способа захвата изображения с помощью мобильного телефона 100 в соответствии с вариантом осуществления настоящего изобретения;
фиг. 4 является схемой, показывающей эффект способа захвата изображения в соответствии с вариантом осуществления настоящего изобретения;
фиг. 5 является блок-схемой последовательности операций способа захвата изображения в соответствии с вариантом осуществления настоящего изобретения;
фиг. 6 является схемой кривых слияния в соответствии с вариантом осуществления настоящего изобретения;
фиг. 7 является блок-схемой последовательности операций способа захвата изображения в соответствии с вариантом осуществления настоящего изобретения;
фиг. 8 представляет собой структурную схему оконечного устройства в соответствии с вариантом осуществления настоящего изобретения; и
фиг. 9 представляет собой структурную схему оконечного устройства в соответствии с вариантом осуществления настоящего изобретения.
Осуществление изобретения
Далее со ссылкой на прилагаемые чертежи представлено описание технических решений в вариантах осуществления настоящего изобретения.
С целью разъяснения специалистам в данной области техники настоящего изобретения, ниже приведено пояснение некоторых терминов в вариантах осуществления настоящего изобретения.
Параметр экспозиции, используемый в вариантах осуществления настоящего изобретения, является параметром, который устанавливается, когда изображение захвачено с использованием оконечного устройства. Параметр экспозиции может использоваться для указания общего количества лучей света, которые испускаются видом, и которые принимаются, когда вид сфотографирован с помощью устройства. Параметр экспозиции может включать время экспозиции, интенсивность облучения и/или тому подобное.
Обычно значение параметра экспозиции может определять значение яркости окончательно захваченного изображения. Например, если время экспозиции относительно велико или интенсивность облучения относительно высока, количество входного света относительно большое, когда изображение захвачено с использованием устройства. Следовательно, яркость захваченного изображения относительно высока. Если время экспозиции относительно невелико или интенсивность облучения относительно низкая, количество входного света относительно невелико, когда изображение захвачено с помощью устройства. Поэтому яркость захваченного изображения относительно низкая.
Пиксель, используемый в вариантах осуществления настоящего изобретения, представляет собой наименьший элемент визуализации в одном кадре изображения. Один пиксель может соответствовать одной точке координаты на изображении. Один пиксель может соответствовать одному параметру (например, серого цвета) или может соответствовать набору множества параметров (например, серого, яркости и цвет). Цветовая информация используется в качестве примера. Как правило, кадр изображения имеет три базовые цвета, а именно, красный (красный цвет, который далее представлен с использованием R), зеленый (зеленый цвет, который далее представлен с использованием G) и синий (синий цвет, который далее представлен с помощью B) и другой цвет может быть получен путем объединения трех базовых цветов. Следовательно, каждый пиксель в кадре изображения может включать в себя три типа цветовой информации, а именно, R цветовую информацию, G цветовую информации и В цветовую информацию, и для пикселей значения R цветовой информации разные, значения G цветовой информации разные и значения В цветовой информации различны. Например, когда значения R цветовой информации, G цветовой информации и В цветовой информации, соответствующие пикселю, равны 0, пиксель представляет белый цвет, и при значениях R цветовой информации, G цветовой информации и В цветовой информации, соответствующие пикселю, равны 255, пиксель представляет черный цвет.
Исходное изображение, используемое в вариантах осуществления настоящего изобретения, является выходным изображением линз, а именно, исходные данные, которые получают после того, как линзы преобразует собранную информацию о свете, отраженном объектом, в цифровой сигнал изображения и исходные данные не обрабатывается. Например, исходное изображение может быть данными в начальном формате. Данные в начальном формате могут включать в себя информацию об объекте и параметр линз. Параметр линз может включать в себя скорость затвора, значение диафрагмы, баланс белого баланса и тому подобное согласно международной организации стандартизации (international standardization organization, ISO). Исходное изображение также является входным изображением ISP и блока нейронной сети, такого как блок обработки данных в нейронной сети (neural-network processing unit, NPU).
Первое изображение, используемое в вариантах осуществления настоящего изобретения, является выходным изображением ISP. Первое изображение получается после того, как ISP обрабатывает исходное изображение для получения изображения в RGB формате или YUV формате и регулирует яркость изображения в RGB формате или YUV формате. Конкретное значение, используемое ISP для регулировки яркости изображения в RGB формате или YUV формате, может быть установлено пользователем или может быть установлено перед доставкой мобильного телефона. Первое изображение также является входным изображением процессора, такого как графический процессор (graphics processing unit, GPU).
HDR изображение, используемое в вариантах осуществления настоящего изобретения, а именно, изображение с высоким динамическим диапазоном (high dynamic range, HDR), является выходным изображением блока нейронной сети. Блок нейронной сети может получить HDR изображение на основании технологии высокого динамического диапазона в предшествующем уровне техники. В вариантах осуществления настоящего изобретения подробное описание технологии высокого динамического диапазона не приводится. HDR изображение также является входным изображением процессора (например, GPU).
Следует отметить, что «изображение», используемое в вариантах осуществления настоящего изобретения, например, исходное изображение, первое изображение или HDR изображение может быть изображением или может быть набором некоторых параметров (например, пиксельная информация, цветовая информация и информация о яркости).
Термин «множество», используемый в вариантах осуществления настоящего изобретения, означает, по меньшей мере, два.
Следует отметить, что термин «и/или» в данном описании описывает только связь ассоциации для описания связанных объектов и представляет ситуацию, в которой могут существовать три отношения. Например, A и/или B могут представлять следующие три случая: существует только A, как A и B, и только B существует. Дополнительно, если не указано иное, символ «/» в данном описании обычно указывает на «или» взаимосвязь между ассоциированными объектами. Дополнительно, в описаниях вариантов осуществления настоящего изобретения, такие термины, как «первый» и «второй» просто используются для различения описаний, но не должны рассматриваться, как указывающие или подразумевающие относительное значение и не следует рассматривать, как указывающие или подразумевающие последовательность.
Вариант осуществления настоящего изобретения предлагает оконечное устройство, графический пользовательский интерфейс (graphical user interface, GUI), используемый в оконечном устройстве. В некоторых вариантах осуществления настоящего изобретения оконечное устройство может представлять собой портативное оконечное устройство, например, мобильный телефон или планшетный компьютер, включающий в себя компонент, имеющий функцию захвата изображений, такое как линзы. Примерные варианты осуществления портативного оконечного устройства включают в себя, но не ограничиваются портативным оконечным устройством с использованием IOS, Android, Microsoft или другой операционной системы. Портативное оконечное устройство может альтернативно представлять собой другое портативное оконечное устройство, например, цифровую камеру, при условии, что оконечное устройство имеет функцию захвата изображения. Очевидно, что в некоторых других вариантах осуществления настоящего изобретения оконечное устройство может не быть портативным оконечным устройством, но является настольным компьютером или тому подобным, имеющим функцию захвата изображений.
Как правило, оконечное устройство поддерживает множество приложений, например, одно или более из следующих приложений: приложение камеры, приложение мгновенного приема сообщения, приложение для управления фотографиями и тому подобное. Могут использоваться множество приложений приемопередатчика мгновенного сообщения, например, WeChat, Tencent chatting software (QQ), WhatsApp Messenger, Line (Line), обмен фотографиями (Instagram), Kakao Talk и Ding Talk. Пользователь может отправлять такую информацию, как текст, голосовое сообщение, изображение, видеофайл и различные другие файлы другому абоненту с помощью приложения приема мгновенного сообщения, или пользователь может осуществить видео или аудио вызов с другим абонентом, используя приложение приемопередатчика мгновенных сообщений.
В качестве примера оконечного устройства используется мобильный телефон. Фиг. 1 является схемой мобильного телефона 100.
Мобильный телефон 100 может включать в себя процессор 110, внешний интерфейс 120 памяти, внутреннюю память 121, универсальный интерфейс 130 последовательной шины (universal serial bus, USB), модуль 140 управления зарядкой, блок 141 управления питанием, аккумулятор 142, антенна 1, антенна 2, модуль 150 мобильной связи, модуль 160 беспроводной связи, аудио модуль 170, громкоговоритель 170A, телефонный приемник 170В, микрофон 170C, разъем 170D гарнитуры, модуль 180 датчика, кнопка 190, мотор 191, индикатор 192, линзы 193, дисплей 194, интерфейс 195 карты модуля идентификации абонента (subscriber identification module, SIM) и тому подобное. Модуль 180 датчика может включать в себя датчик 180А давления, датчик 180В гироскопа, датчик 180С барометрического давления, магнитный датчик 180D, датчик 180Е ускорения, датчик 180F расстояния, оптический датчик 180G приближения, датчик 180Н отпечатков пальцев, датчик 180J температуры, сенсорный датчик 180K, датчик 180L окружающего света, датчик 180M костной проводимости и тому подобное.
Очевидно, что пример структуры в этом варианте осуществления настоящего изобретения конкретно не ограничивает структуру мобильного телефона 100. В некоторых других вариантах осуществления настоящего изобретения мобильный телефон 100 может включать в себя больше или меньше компонентов, показанные на чертеже или некоторые компоненты могут быть объединены, или некоторые компоненты могут быть разделены, или могут использоваться разные компоненты. Показанные на чертеже компоненты могут быть реализованы аппаратным, программным обеспечением или комбинацией программного и аппаратного обеспечения.
Процессор 110 может включать в себя один или более блоков обработки. Например, процессор 110 может включать в себя процессор приложений (application processor, AP), процессор модема, графический процессор (graphics processing unit, GPU), процессор сигнала изображения (image signal processor, ISP), контроллер, память, видеокодек, цифровой сигнальный процессор (digital signal processor, DSP), процессор базовой полосы и/или блок обработки нейронной сети (neural-network processing unit, NPU). Различные блоки обработки могут быть независимыми компонентами или могут быть интегрированы в один или более процессоров.
Контроллер может быть центром управления и командным центром мобильного телефона. 100. Контроллер может генерировать сигнал управления операцией на основании кода операции инструкции и сигнала временной последовательности для полного управления инструкции считывания и инструкции выполнения.
Память может быть дополнительно расположена в процессоре 110 для сохранения инструкции и данных. В некоторых вариантах осуществления память в процессоре 110 является кэшем. Память может хранить инструкцию или данные, которые просто используются или циклически используются процессором 110. Если процессору 110 нужно снова использовать инструкцию или данные, процессор 110 может напрямую вызывать инструкцию или данные из памяти, чтобы избежать повторения доступа, уменьшить время ожидания процессора 110 и повысить эффективность системы.
Мобильный телефон 100 реализует функцию дисплея с помощью GPU, дисплея 194, процессор приложений и тому подобное. GPU является микропроцессором обработки изображений и подключает дисплей 194 и процессор приложений. GPU выполнен с возможностью выполнять математический и геометрический расчет и выполнен с возможностью визуализировать графику. Процессор 110 может включать в себя один или более GPUs и выполнять инструкцию программы для генерирования или изменения информации отображения.
Дисплей 194 выполнен с возможностью отображать изображения, видео и тому подобное. Дисплей 194 включает в себя панель дисплея. Панель дисплея может использовать жидкокристаллический дисплей (liquid crystal display, LCD), органический светодиод (organic light-emitting diode, OLED), активный матричный органический светодиод (active-matrix organic light emitting diode, AMOLED), гибкий светодиод (Flex light-emitting diode, FLED), мини-LED, микро-LED, микро-OLED, светодиоды с эффектом квантовых точек (quantum dot light emitting diodes, QLED) и тому подобное. В некоторых вариантах осуществления мобильный телефон 100 может включать в себя один или N дисплеев 194, где N представляет собой положительное целое число, превышающее 1.
Мобильный телефон 100 может реализовать функцию захвата изображения с помощью процессора 110, линз 193, дисплея 194 и тому подобное. Линзы 193 выполнены с возможностью захватывать статическое изображение или видео. Как правило, линзы 193 могут включать в себя светочувствительный элемент, такой как группа линз и датчик изображения. Группа линз включает в себя множество оптических линз (вогнутые линзы или выпуклые линзы), выполненные с возможностью получать оптический сигнал, отраженный подлежащим фотографированию объектом, и передавать полученный оптический сигнал в датчик изображения. Датчик изображения генерирует исходное изображение сфотографированного объекта на основании оптического сигнала. Датчик изображения отправляет сгенерированное исходное изображение в процессор 110. Процессор 110 запускает алгоритм захвата изображения, предусмотренный в этом варианте осуществления настоящего изобретения, для обработки исходного изображения для получения обрабатываемого изображения. Дисплей 194 отображает обработанное изображение.
Внутренняя память 121 может быть выполнена с возможностью хранить файл исполняемого компьютером программного кода, где исполняемый программный код включает в себя инструкцию. Процессор 110 запускает инструкцию, хранящуюся во внутренней памяти 121, для выполнения различных функций приложений и обработки данных мобильного телефона 100. Внутренняя память 121 может включать в себя область хранения программы и область хранения данных. Область хранения программы может хранить операционную систему, приложение, по меньшей мере, одну функцию (например, функцию воспроизведения голоса, или функцию воспроизведения изображения) и тому подобное. Область хранения данных может хранить данные (например, аудиоданные и адресную книгу) и тому подобное, сформированные в процессе использования мобильного телефона 100. Дополнительно, внутренняя память 121 может включать в себя высокоскоростную память произвольного доступа или может включать в себя постоянную память, например, по меньшей мере, одно устройство хранения магнитного диска, флэш-память или универсальный флэш-накопитель (universal flash storage, UFS).
Датчик 180F расстояния выполнен с возможностью измерять расстояния. Мобильный телефон 100 может измерять расстояние посредством инфракрасного или лазерного света. В некоторых вариантах осуществления в сценарии фотографирования мобильный телефон 100 может измерять расстояние, используя датчик 180F расстояния, для реализации быстрой фокусировки. В некоторых других вариантах осуществления мобильный телефон 100 может дополнительно определять, используя датчик 180F расстояния, приближается ли объект или человек.
Оптический датчик 180G приближения может включать в себя, например, светоизлучающий диод (LED) и оптический детектор, такой как фотодиод. Светодиодный диод может быть инфракрасным светодиодом. Мобильный телефон 100 может излучать инфракрасный свет с помощью светодиода. Мобильный телефон 100 обнаруживает отраженный инфракрасный свет от близлежащего объекта с помощью фотодиода. Когда обнаружено достаточное количество отраженного света, может быть определено, что объект находится вблизи мобильного телефона 100. При обнаружении недостаточного количества отраженного света мобильный телефон 100 может определить отсутствие объекта вблизи мобильного телефона 100. Мобильный телефон 100 может обнаруживать, используя оптический датчик 180G приближения, удерживает ли пользователь мобильный телефон 100 и перемещает ли мобильный телефон 100 к уху для разговора для экономии электропитания, когда экран автоматически выключается. Оптический датчик 180G приближения может быть дополнительно выполнен с возможностью автоматически разблокировать или блокировать экран в режиме нахождения мобильного телефона полностью в кожаном футляре и в кармане.
Датчик 180L окружающего света выполнен с возможностью воспринимать яркость окружающего света. Мобильный телефон 100 может адаптивно регулировать яркость дисплея 194 на основании воспринимаемой яркости окружающего света. Датчик 180L окружающего света может быть дополнительно выполнен с возможностью автоматически регулировать баланс белого во время фотографирования. Датчик 180L окружающего света может дополнительно взаимодействовать с оптическим датчиком 180G приближения для обнаружения нахождения мобильного телефона 100 в кармане для предотвращения ошибки управления.
Датчик 180H отпечатков пальцев выполнен с возможностью получать отпечатки пальцев. Мобильный телефон 100 может реализовать разблокировку по отпечаткам пальцев, блокировку доступа к приложению, фотографирование по отпечаткам пальцев, отвечать на звонок, используя отпечаток пальца и тому подобное, используя признак полученных отпечатков пальцев.
Датчик 180J температуры выполнен с возможностью обнаруживать температуру. В некоторых вариантах осуществления мобильный телефон 100 выполняет политику обработки температуры с помощью температуры, обнаруженной датчиком 180J температуры. Например, когда температура, о которой сообщается датчиком 180J температуры, превышает пороговое значение, мобильный телефон 100 снижает производительность процессора, расположенного вблизи датчика 180J температуры, для снижения энергопотребления и реализации защиты от перегрева. В некоторых других вариантах осуществления, когда температура ниже другого порогового значения, мобильный телефон 100 нагревает аккумулятор 142, чтобы избежать ненормального отключения мобильного телефона 100 из-за низкой температуры. В некоторых других вариантах осуществления, когда температура ниже, чем еще другое пороговое значение, мобильный телефон 100 увеличивает выходное напряжение аккумулятора 142, чтобы избежать ненормального отключения, вызванного низкой температурой.
Сенсорный датчик 180K также называется «сенсорной панелью». Сенсорный датчик 180K может быть расположен на дисплее 194, и сенсорный датчик 180K и дисплей 194 образуют сенсорный экран, также называемый «сенсорной панелью». Сенсорный датчик 180K выполнен с возможностью обнаруживать операцию касания на или рядом с дисплеем. Сенсорный датчик может передавать обнаруженную операцию касания в процессор приложений для определения типа сенсорного события. Сенсорный датчик может обеспечить посредством дисплея 194, визуальный вывод, связанный с операцией касания. В некоторых других вариантах осуществления сенсорный датчик 180K может быть альтернативно расположен на поверхности мобильного телефона 100 и расположен в месте, отличном от дисплея 194.
Дополнительно, мобильный телефон 100 может реализовать аудио функцию, например, воспроизведение музыки или запись, используя аудио модуль 170, громкоговоритель 170А, приемник 170В телефона, микрофон 170C, разъем 170D гарнитуры, процессор приложения и тому подобное. Мобильный телефон 100 может принимать ввод операции через кнопку 190 и генерирует входной сигнал кнопки, относящийся к настройке пользователя и управлением функциями мобильного телефона. Мобильный телефон 100 может генерировать вибрационный сигнал (например, предупреждение о вызовах посредством вибрации) с использованием мотора 191. Индикатор 192 мобильного телефона 100 может быть световым индикатором и может быть выполнен с возможностью указывать состояние зарядки и изменение уровня аккумулятора и может быть дополнительно выполнен с возможностью указывать сообщения, пропущенный вызов, уведомления и подобное, аналогичное, похожее. Интерфейс 195 SIM-карты мобильного телефона 100 выполнен с возможностью подключения к SIM-карте. SIM-карта может быть вставлена в интерфейс 195 SIM-карты или удалена из интерфейса 195 SIM-карты для подключения или отключения от мобильного телефона 100.
Функция беспроводной связи мобильного телефона 100 может быть реализована с помощью антенны 1, антенны 2, модуля 150 мобильной связи, модуля 160 беспроводной связи, процессора модема и процессора основной полосы.
Антенна 1 и антенна 2 выполнены с возможностью передавать и принимать сигналы электромагнитной волны. Каждая антенна электронного устройства 100 может быть выполнена с возможностью использовать одну полосу частоты связи или множества полос частот связи. Могут быть повторно использованы различные антенны для улучшения использование антенн. Например, может быть повторно использована антенна 1 как антенна беспроводной локальной сети. В некоторых других вариантах осуществления антенна может быть объединена для использования с настройкой переключателя.
Модуль 150 мобильной связи выполнен с возможностью обеспечивать беспроводную связь электронного устройства 100, например, 2G/3G/4G/5G. Модуль 150 мобильной связи может включать в себя, по меньшей мере, один фильтр, коммутатор, усилитель мощности, малошумный усилитель (low noise amplifier, LNA) и тому подобное. Модуль 150 мобильной связи может принимать электромагнитную волну через антенну 1, выполнять обработку, такую как фильтрация и усиление принятой электромагнитной волны, и передавать обрабатываемую электромагнитную волну в процессор модема для демодуляции. Модуль 150 мобильной связи может дополнительно усиливать сигнал, модулируемый процессором модема, и преобразовывать сигнал в электромагнитную волну и излучать электромагнитную волну посредством антенны 1. В некоторых вариантах осуществления, по меньшей мере, некоторые функциональные модули модуля 150 мобильной связи могут быть расположенным в процессоре 110. В некоторых вариантах осуществления, по меньшей мере, некоторые функциональные модули модуля 150 мобильной связи могут быть расположены в одном компоненте, по меньшей мере, некоторые модули процессора 110.
Процессор модема может включать в себя модулятор и демодулятор. Модулятор выполнен с возможностью модулировать сигнал низкочастотной базовой полосы с низкой частотой в промежуточный и высокочастотный сигнал. Демодулятор выполнен с возможностью демодулировать принятый электромагнитный волновой сигнал в низкочастотный сигнал основной полосы частот. Впоследствии демодулятор передает низкочастотный сигнал основной полосы, полученный посредством демодуляции в процессор основной полосы для обработки. Низкочастотный сигнал основной полосы частот передается в процессор приложений после обработки процессором основной полосы. Процессор приложений выводит голосовой сигнал через аудио устройство (который не ограничен громкоговорителем 170А и приемника 170В телефона) или отображает изображение или видео с помощью дисплея 194. В некоторых вариантах осуществления процессор модема может быть независимым компонентом. В некоторых других вариантах осуществления процессор модема может быть независимым от процессора 110, и может быть установлен в одном компоненте, что и модуль 150 мобильной связи или другой функциональный модуль.
Модуль 160 беспроводной связи выполнен с возможностью обеспечивать беспроводную связь электронного устройства 100, например, в беспроводной локальной сети (wireless local area network, WLAN) (например, сеть беспроводная достоверность (wireless fidelity, Wi -Fi), Bluetooth (Bluetooth, BT), глобальная навигационная спутниковая система (global navigation satellite system, GNSS), частотная модуляция (frequency modulation, FM), технология беспроводной связи ближнего поля (near field communication, NFC) и инфракрасная технология (inferred, IR). Модуль 160 беспроводной связи может быть одним или несколькими компонентами, встроенными, по меньшей мере, с одним модулем обработки связи. Модуль 160 беспроводной связи принимает электромагнитную волну через антенну 2, выполняет частотную модуляцию и обработку фильтрации электромагнитного волнового сигнала и отправляет обрабатываемый сигнал в процессор 110. Модуль 160 беспроводной связи может дополнительно принимать сигнал, подлежащий отправке, из процессора 110, выполняют частотную модуляцию и усиление сигнала, и преобразование сигнала в электромагнитную волну и излучение электромагнитной волны через антенну 2.
Следующие варианты осуществления могут быть реализованы на оконечном устройстве (например, мобильный телефон 100 или планшетный компьютер), имеющее вышеуказанную аппаратную структуру.
Для удобства описания алгоритма захвата изображения, предусмотренного в вариантах осуществления настоящего изобретения, используется следующее изложение, используя компоненты, относящиеся к алгоритму захвата изображений, предусмотренный алгоритм захвата изображения, приведенный в вариантах осуществления настоящего изобретения. На фиг. 2 проиллюстрированы детали. Для компонентов, показанных на фиг. 2, обратитесь к соответствующему описанию на фиг. 1. Следует отметить, что на фиг. 2 процессор 110 интегрирован с GPU 110-1, ISP 110-2 и NPU 110-3 используется в качестве примера.
Следующее описание раскрывает процесс захвата изображения с помощью мобильного телефона 100, показанного на фиг. 2. Фиг. 3 является блок-схемой алгоритма процесса захвата изображения с использованием мобильного телефона 100 в соответствии с вариантом осуществления настоящего изобретения. Как показано на фиг. 3, процесс включает в себя следующие этапы.
Этап 1. В ответ на операцию пользователя мобильный телефон 100 открывает приложение камеры для функционирования линзы 193 и отображает интерфейс видоискателя.
Например, дисплей 194 мобильного телефона 100 отображает основной интерфейс. Основной интерфейс включает в себя значки различных приложений (например, значок телефонного приложения, значок видеоплеер, значок музыкального проигрывателя, значок приложения камеры и значок приложения браузера). Пользователь прикоснулся к значку приложения камеры на главном интерфейсе, используя сенсорный датчик 180K (который не показан на фиг. 2, для сенсорного датчика 180К см. фиг. 1), расположенный на дисплее 194 для инициирования приложения камеры и линзы 193. На дисплее 194 отображается интерфейс приложения камеры, например, интерфейс видоискателя.
Этап 2. Линзы 193 захватывают исходное изображение на основании указанного параметра экспозиции.
В частности, со ссылкой на фиг. 2, процесс захвата линзами 193 исходного изображения представляет собой следующее: группа 193-1 линз в линзе 193 получает оптический сигнал, отраженный фотографированным объектом, и передает полученный оптический сигнал в датчик 193-2 изображения. Датчик 193-2 изображения генерирует исходное изображение фотографируемого объекта на основании оптического сигнала.
Следует отметить, что до захвата исходного изображения линзой 193, как правило, устанавливается параметр линз, например, значение параметра экспозиции (который может быть настроенным пользователем или может быть установлен в мобильном телефоне 100). Параметр экспозиции включает в себя, по меньшей мере, одно из следующих множеств параметров: ISO, время экспозиции, диафрагма, затвор, количество входного света и тому подобное, или параметр экспозиции может быть другим параметром, который рассчитывается на основании IOS, диафрагмы и затвора, и используется для указания степени экспозиции, при условии, что степень экспозиции может быть отражена. Это не ограничено в этом варианте настоящего изобретения.
Исходное изображение, захваченное линзами 193, является исходным изображением, которое не обрабатывается. Например, исходное изображение может быть данными в исходном формате и данные в исходном формате включают в себя информацию объекта, подлежащего фотографированию, и параметр линз (например, параметр экспозиции).
Этап 3. ISP 110-1 преобразовывает исходное изображение в RGB изображение. Как правило, когда параметр экспозиции устанавливается относительно высоким, яркость исходного изображения, которое захвачено линзами 193 на основании указанного параметра экспозиции, является относительно высоким, и в этом случае ISP 110-1 может регулировать с тем, что яркость RGB изображения должна быть меньше первой яркости для получения первого изображения; или, когда параметр экспозиции устанавливается относительно низким, яркость исходного изображения, которое захвачено линзами 193, на основании указанного параметра экспозиции, является относительно низким, и в этом случае, ISP 110-1 может регулировать яркость RGB изображения с тем, что быть больше, чем вторая яркость для получения первого изображения. Значения первой яркости и второй яркости могут быть заданы заранее, и первая яркость больше или равна второй яркости.
Как можно узнать из вышеупомянутого контента, исходное изображение включает в себя информацию об объекте, подлежащего фотографированию, и параметр линз. Поскольку исходное изображение, захваченное линзами 193, является изображением, которое не обрабатывается, ISP 110-1 может обрабатывать исходное изображение на основании RGB цветового режима, для получения изображения, включающего в себя цветовую информацию, а именно, RGB изображение. То, что исходное изображение, захваченное линзами 193, является данными в исходном формате, используется в качестве примера. ISP 110-1 может преобразовывать данные в исходном формате в данные в RGB формат на основании RGB цветового режима. Данные в RGB формате являются данными, включающие в себя цветовую информацию. Процесс преобразования посредством SP 110-1 данных в исходном формате в данные в RGB формате на основании RGB цветового режима относится к предшествующему уровню техники. Это не ограничено в этом варианте настоящего изобретения. В частности, значение яркости, к которому ISP 110-1 регулирует RGB изображение, может быть установлено на основании настройки пользователя. Только первая яркость и вторая яркость используются в качестве примера для описания настоящего документа.
Конечно, ISP 110-1 может дополнительно преобразовать, основанный на YUV цветовом режиме, данные в исходном формате в YUV изображение, включающее в себя цветовую информацию. Это не ограничено в этом варианте настоящего изобретения.
Этап 4. ISP 110-1 отправляет параметр экспозиции и первое изображение в GPU 110-3 и отправляет RGB изображение в NPU 110-2.
Этап 5. NPU 110-2 обрабатывает полученное RGB изображение на основании технологии высокого динамического диапазона для получения HDR изображения. В частности, когда ISP 110-1 регулирует яркость RGB изображения, чтобы быть меньше первой яркости, NPU 110-2 может увеличить яркость HDR изображения, чтобы быть больше первой яркости, основанной на технологии высокого динамического диапазона. Когда ISP 110-1 регулирует яркость RGB изображения, чтобы быть больше, чем вторая яркость, NPU 110-2 может уменьшить яркость HDR изображения, чтобы быть меньше, чем вторая яркость на основании технологии высокого динамического диапазона.
Для технологии высокого динамического диапазона обратитесь к предшествующему уровню техники. Это не ограничено в этом варианте настоящего изобретения.
Этап 6. NPU 110-2 отправляет полученное HDR изображение в GPU 110-3.
Этап 7. GPU 110-3 выполняет код алгоритма захвата изображения, предусмотренный в вариантах осуществления настоящего изобретения для определения на основании параметра экспозиции кривой слияния, соответствующей параметру экспозиции, и выполняет слияние первого изображения и HDR изображения на основании кривой слияния для получения конечного изображения.
Фиг. 4 является схемой слияния посредством GPU 110-3 первого изображения и HDR изображения. Как показано на фиг. 4, GPU 110-3 определяет кривую слияния на основании параметра экспозиции и слияния первого изображения и HDR изображения на основании кривой слияния для получения конечного изображения. Следует отметить, что, как можно понять из вышеизложенного контента, неуместная корректировка параметра экспозиции влияет на информацию о деталях изображения. Например, в случае передержки изображение слишком яркое, что приводит к тому факту, что детали на яркой части ясны, но детали на темной части теряются; в случае недодержки, изображение является слишком темным, что приводит к тому, что детали на темной части изображения ясны, но детали на светлой части теряются.
Следовательно, в некоторых вариантах осуществления настоящего изобретения при наличии значения параметра экспозиции устанавливается относительно высоком, ISP 110-1 может уменьшить яркость GRB изображения, то есть, яркость первого изображения является относительно низким (таким образом, сохраняются детали на темной части первого изображения). NPU 110-2 увеличивает яркость RGB изображения, используя технологию высокого динамического диапазона, для получения HDR изображения для восстановления деталей на яркой части HDR изображения (таким образом, поддерживаются детали на яркой части HDR изображения). GPU 110-3 выполняет слияние первого изображения и HDR изображения, то есть, выполняет слияние деталей на темной части первого изображения и деталей на яркой части HDR изображения для получения конечного изображения, имеющее относительно высокое качество изображения.
В некоторых других вариантах осуществления настоящего изобретения, когда значение параметра экспозиции устанавливается относительно низким, ISP 110-1 может увеличить яркость GRB изображения, то есть, яркость первого изображения относительно высока (таким образом, сохраняются детали на светлой части первого изображения). NPU 110-2 снижает яркость RGB изображения с помощью технологии высокого динамического диапазона для получения HDR изображения для восстановления деталей на темной части HDR изображения (таким образом, поддерживаются детали на темной части HDR изображения). GPU 110-3 выполняет слияние первого изображения и HDR изображения, то есть, выполняет слияние деталей яркой части первого изображения и деталей на темной части HDR изображения для получения конечного изображения, имеющее относительно высокое качество изображения.
ISP 110-1 может сравнить значение параметра экспозиции в исходном изображении с предварительно сохраненным значением параметра экспозиции и, если значение параметра экспозиции в исходном изображении больше, чем предварительно сохраненное значение параметра экспозиции, определить, что значение параметра экспозиции относительно высоко или значение параметра экспозиции в исходном изображении меньше или, если равно предварительно сохраненному значению параметра экспозиции, определить, что значение параметра экспозиции является относительно низким.
Далее приведено описание конкретного процесса реализации этапа 7.
Этап 8. Дисплей 194 отображает конечного изображение на интерфейсе видоискателя.
Следует отметить, что на фиг. 2, что процессор 110 интегрирован с GPU 110-1, ISP 110-2, NPU 110-3 используется в качестве примера. В фактическом применении процессор 110 может быть интегрирован только одним или несколькими графическими процессорами 110-1, ISP 110-2 и NPU 110-3. Предполагая, что процессор 110 интегрирован только с GPU 110-1 и ISP 110-2, может быть выполнена функция NPU 110-3 (функция получения HDR изображения на основании исходного изображения) в вышеуказанном варианте осуществления посредством GPU 110-1 или ISP 110-2. Затем, предполагая, что процессор 110 интегрирован только с NPU 110-3 и ISP 110-2, может выполняться функция процессора 110-1 (функция выполнения алгоритма захвата изображений, предусмотренная в вариантах осуществления настоящего изобретения для слияния первого изображения и HDR изображения) в вышеупомянутом варианте осуществления посредством NPU 110-3 или ISP 110-2. Дополнительно, процессор 110 на фиг. 2 может быть дополнительно интегрирован только с процессором, например, с центральным процессором CPU, кроме графического процессора 110-1, ISP 110-2 и NPU 110-3 и затем выполняются функции графического процессора 110-1, ISP 110-2 и NPU 110-3 посредством CPU. Альтернативно, процессор 110 на фиг. 2 может быть интегрирован с CPU, ISP 110-2 и NPU 110-3 и затем процессором CPU выполняется функция GPU 110-1. В заключение, алгоритм захвата изображения в вариантах осуществления настоящего изобретения может быть использован в различных типах процессоров. Это не ограничено в этом варианте настоящего изобретения.
Процесс, показанный на фиг. 3, использует пример, в котором изображение захвачено с помощью приложения камеры мобильного телефона 100. Фактически, способ захвата изображения, приведенный в этом варианте осуществления настоящего изобретения, может быть дополнительно применен к другому сценарию, например, сценарию захвата изображения с использованием линзы, такого как сценарий видеозвонков WeChat приложения или сценарий видеозвонков QQ в мобильном телефоне 100.
Далее приведено описание процесса функционирования GPU 110-3 мобильного телефона 100, способа захвата изображения, предусмотренного в этом варианте осуществления настоящего изобретения, для определения на основании параметра экспозиции кривой слияния, соответствующей параметру экспозиции и слияния первого изображения и HDR изображения на основании кривой слияния для получения конечного изображения, а именно, процесс этапа 7 на фиг. 3. В частности, как показано на фиг. 5, GPU 110-3 выполняет код алгоритма захвата изображений, предусмотренный в вариантах осуществления настоящего изобретения, для выполнения следующего процесса:
S501. Определить из множества кривых слияния на основании параметра экспозиции исходного изображения первую кривую слияния, соответствующую параметру экспозиции.
В примере мобильный телефон 100 может предварительно сохранить множество кривых слияния. Кривые слияния могут быть получены конструктором посредством эксперимента перед доставкой мобильного телефона 100 и хранятся на мобильном телефоне 100 (например, внутренняя память 121).
Фиг. 6 является схемой кривых слияния в соответствии с вариантом осуществления настоящего изобретения. Как показано на фиг. 6, горизонтальная ось представляет собой цветовую информацию (например, значения R цветовой информации, G цветовой информации и В цветовой информации) и вертикальная ось представляет коэффициент слияния. В качестве примера используется одна кривая слияния. Кривая слияния может отражать соответствие между коэффициентом слияния и значением R цветовой информации (G цветовой информации или B цветовой информации).
Предполагается, что значение параметра экспозиции равно 1. GPU 110-3 определяет из множества кривых слияния на фиг. 6 на основании значения 1 параметра экспозиции первую кривую слияния, соответствующую значению 1.
Следует отметить, что на фиг. 6 в качестве примера проиллюстрированные три кривые слияния. В реальном применении мобильный телефон 100 может включать в себя больше кривых слияния.
В примере при определении, что параметр экспозиции меньше первого параметра экспозиции (например, значение первого параметра экспозиции является значением 1), GPU 110-3 определяет первую кривую слияния (например, на фиг. 6 показана кривая слияния, соответствующая параметру экспозиции, значение которого равно 1); при определении, что параметр экспозиции больше или равен первому параметру экспозиции, и меньше, чем второй параметр экспозиции (например, значение второго параметра экспозиции является значением 2), GPU 110-3 определяет вторую кривую слияния (например, на фиг. 6 проиллюстрирована кривая слияния, соответствующая параметру экспозиции, значение которого равно 2); или при определении, что параметр экспозиции больше или равен второму параметру экспозиции и меньше, чем третий параметр экспозиции (например, значение третьего параметра экспозиции является значением 3), GPU 110-3 определяет третью кривую слияния (например, на фиг. 6 проиллюстрирована кривая слияния, соответствующая параметру экспозиции, значение которого равно 3). Таким образом, для экономии объема памяти мобильный телефон 100 не должен хранить много кривых слияния.
В другом примере параметр экспозиции находится в однозначном соответствии с кривой слияния. Другими словами, на основании каждого параметра экспозиции может быть определена одна отдельная кривая слияния. Таким образом, мобильный телефон 100 хранит относительно множество кривых слияния и кривая слияния, определенная на основании параметра экспозиции, является относительно точной.
S502. Определить значения R цветовой информации, G цветовой информации и В цветовой информации первого пикселя на HDR изображении.
Как можно узнать из вышеупомянутого контента, ISP 110-1 обрабатывает исходное изображение для получения RGB изображения, включающее в себя цветовую информацию, и затем регулирует яркость RGB изображения для получения первого изображения. Поэтому для этапа S502 обратитесь к предшествующему уровню техники. Детали не описаны в этом варианте осуществления настоящего изобретения.
S503. Определить на первой кривой слиянии на основании значения R цветовой информации первый коэффициент слияния, соответствующий R цветовой информации; определить на первой кривой слияния на основании значения G цветовой информации второй коэффициент слияния, соответствующий G цветовой информации; и определить на первой кривой слияния на основании значения B цветовой информации третий коэффициент слияния, соответствующий B цветовой информации.
Например, предполагается, что значение R цветовой информации составляет 150 и, что на S501 GPU 110-1 определяет, как показано на фиг. 6, что первая кривая слияния является кривой слияния, соответствующая параметру экспозиции, значение которого равно 2. Затем GPU 110-1 находит значение 150 R цветовой информации на горизонтальной оси и определяет вертикальную координату, соответствующую значению 150 на первой кривой слияния, то есть, вертикальная координата является первым коэффициентом слияния. Аналогичным образом может быть использована G цветовая информация и B цветовая информация. Детали не описаны.
Следует отметить, что могут быть определены коэффициенты слияния, соответствующие R цветовой информации, G цветовой информации и В цветовой информации с помощью кривых слияния, показанных на фиг. 6. Другими словами, горизонтальные координаты на фиг. 6 могут представлять значения R цветовой информации, G цветовой информации и В цветовой информации. Альтернативно, горизонтальные координаты кривых слияния на фиг. 6 представляют только соответствие R цветовой информации и коэффициента слияния, и конструктор может предусмотреть для каждой из G цветовой информации и B цветовой информации группу кривых слияния, подобных тем, которые показаны на фиг. 6.
S504. Определить на первом изображении второй пиксель в том же месте, что и первый пиксель на HDR изображении.
Поскольку и первое изображение, и HDR изображении получено на основании исходного изображения, и точки координат на исходном изображении могут быть определены на плоскости изображения, GPU 110-3 может определять значения координат каждого пикселя на первом изображении и HDR изображении. Фиг. 4 используется в качестве примера, и фиг. 4 показывает один кадр HDR изображения и один кадр первого изображения. GPU 110-3 может выбрать пиксель B (а именно, первый пиксель) на HDR изображении. GPU 110-3 может получить на основании алгоритма сопоставления (например, алгоритма сопоставления сходства) в предшествующем уровне техники, пиксель А (а именно, второй пиксель), который соответствует пикселу B, на первом изображении. В качестве альтернативы, GPU 110-3 может определять пиксели в одном месте (имеющих одинаковые значения координат) на первом изображении и HDR изображении.
S505. Выполнить слияние R цветовой информации первого пикселя и R цветовой информации второго пикселя на основании первого коэффициента слияния и первой формулы слияния; выполнить слияние G цветовой информации первого пикселя и G цветовой информации второго пикселя на основании второго коэффициента слияния и второй формулы слияния; и выполнить слияние В цветовой информации первого пикселя и В цветовой информации второго пикселя на основании третьего коэффициента слияния и третьей формулы слияния для получения конечного изображения.
Как можно узнать из вышеупомянутого контента, каждый пиксель в кадре изображения включает в себя три типа цветовой информации, а именно, R цветовую информацию, G цветовую информацию и B цветовую информацию и для пикселей, значения R цветовой информации различны, значения G цветовой информации различны и значения В цветовой информации различны. Следовательно, в этом варианте осуществления настоящего изобретения при слиянии первого изображения и HDR изображения GPU 110-3 может выполнить слияние цветовой информации пикселей на двух кадрах изображений.
Фиг. 4 все еще используется в качестве примера. После определения пикселя A и пикселя B GPU 110-3 может соответственно выполнить слияние R цветовой информации, G цветовой информации и В цветовой информации пикселя A и R цветовой информации, G цветовой информации и В цветовой информации В пикселя. В частности, GPU 110-3 выполняет слияние R цветовой информации пикселя А и R цветовой информации пикселя B, выполняет слияние G цветовой информации пикселя A и G цветовой информации пикселя B и выполняет слияние B цветовой информации пикселя A и B цветовой информации пикселя B.
R цветовая информация используется в качестве примера. GPU 110-3 выполняет слияние R цветовой информации пикселя A и R цветовой информации пикселя B на основании первой формулы слияния и первого коэффициента слияния (первый коэффициент слияния, определенный на S503).
В примере, мобильный телефон 100 может хранить первую формулу слияния (формула слияния, используемая для расчета R цветовой информации пикселя на конечном изображении), ссылаясь на формулу (1):
… формула (1), где
является значением R цветовой информации пикселя (например, пиксель A) на первом изображении, является значением R цветовой информации пикселя (например, пиксель В) на HDR изображении и f1 является первым коэффициентом слияния (этап S503), определенный на первой кривой слияния на основании значения R цветовой информации пикселя (например, пиксель В) на HDR изображении. Значение, а именно, R цветовой информации пикселя (например, пиксель C) на конечном изображении получается с помощью формулы (1).
В примере, мобильный телефон 100 может хранить вторую формулу слияния (формула слияния, используемая для расчета G цветовой информации пикселя на конечном изображении), ссылаясь на формулу (2):
… формула (2), где
является значением G цветовой информации пикселя (например, пиксель A) на первом изображении, является значением G цветовой информации пикселя (например, пиксель В) на HDR изображении и f2 является вторым коэффициентом слияния (этап S503), определенный на первой кривой слияния на основании значения G цветовой информации пикселя (например, пиксель B) на HDR изображении. Значение, а именно, G цветовой информации пикселя (например, пиксель C) на конечном изображении получается с помощью формулы (2).
В примере, мобильный телефон 100 может хранить третью формулу слияния (формула слияния, используемая для расчета В цветовой информации пикселя на изображении, полученном после слияния), со ссылкой на формулу (3):
… формула (3), где
является значением B цветовой информации пикселя (например, пиксель A) на первом изображении, является значением B цветовой информации пикселя (например, пиксель В) на HDR изображении и f3 является третьим коэффициентом слияния (этап S503), определенный на первой кривой слияния на основании значения В цветовой информации пикселя (например, пиксель B) на HDR изображении. Значение, а именно, В цветовой информации пикселя (например, пиксель C) на конечном изображении получается с помощью формулы (3).
Путем использования вышеупомянутых формул (1) до (3) может быть получена R цветовая информация, G цветовая информация и В цветовая информация (а именно, пиксель C) на изображении, полученном после слияния. Аналогичный способ может быть использован для другого пикселя, чтобы в итоге определить R цветовую информацию, G цветовую информацию и В цветовую информацию каждого пикселя для получения конечного изображения.
Следует отметить, что в этом варианте осуществления настоящего изобретения последовательность выполнения S501 до S505 в варианте осуществления, показанной на фиг. 5, не ограничена.
В вышеупомянутом варианте осуществления GPU 110-1 выполняет слияние первого изображения и HDR изображения для получения конечного изображения. Далее приведено описание еще одного варианта осуществления. В этом варианте осуществления NPU 110-2 может выполнять различную регулировку яркости в разных областях RGB изображения для получения множества кадров HDR изображений. Другими словами, на этапе 5 в процессе, показанном на фиг. 3, NPU 110-2 выполняет различные регулировки яркости в разных областях RGB изображения для получения множества кадров HDR изображений. NPU 110-2 отправляет полученное множество кадров HDR изображения в GPU 110-3. GPU 110-3 выполняет слияние множества кадров HDR изображения и первого изображения для получения конечного изображения (соответствует этапу 7 на фиг. 3).
Фиг. 7 является блок-схемой последовательности операций процесса захвата изображения в соответствии с вариантом осуществления настоящего изобретения. Как показано на фиг. 7, GPU 110-3 определяет кривую слияния на основании параметра экспозиции и выполняет слияние первого изображения и множества кадров HDR изображения на основании кривой слияния для получения конечного изображения. NPU 110-2 использует технологию высокого динамического диапазона для разных областей RGB изображения для получения множества кадров HDR изображения. В качестве примера используются два кадра HDR изображения. Когда ISP 110-1 регулирует яркость RGB изображения, чтобы быть меньше первой яркости, NPU 110-2 может увеличить, на основании технологии высокого динамического диапазона, яркость первой области (полная область или частичная область) RGB изображения до значения яркости, превышающую первую яркость для получения одного кадра HDR изображения и NPU 110-2 может увеличить, на основании технологии высокого динамического диапазона, яркость второй области (полная область или частичная область) RGB изображения до другого значения яркости, которое больше, чем первая яркость, для получения другого кадра HDR изображения. Когда ISP 110-1 регулирует яркость RGB изображения, чтобы быть больше, чем вторая яркость, NPU 110-2 может снизить, на основании технологии высокого динамического диапазона, яркость первой области (полную область или частичную область ) RGB изображения до значения яркости меньше, чем вторая яркость, для получения одного кадра HDR изображения, и NPU 110-2 может уменьшить, на основании технологии высокого динамического диапазона, яркость второй области (полная область или частичная область) RGB изображения до другого значения яркости меньше, чем вторая яркость для получения другого кадра HDR изображения. В заключение, яркость множества кадров HDR изображений, полученных NPU 110-2, может быть различной. Таким образом, детали в разных областях множества кадров HDR изображений, полученные NPU 110-2, различны. GPU 110-3 могут выполнить слияние первого изображения и множества кадров HDR изображения для получения конечного изображения.
Следует отметить, что процесс слияния с помощью GPU 110-3 множества кадров HDR изображений и первого изображения аналогичен процессу, показанному на фиг. 4. Различие заключается в следующем: в S404 GPU 110-3 определяет вторые пиксели (например, пиксель B1 и пиксель B2), которые соответствуют первому пикселю (например, пиксель А) на первом изображении и которые находятся во множестве кадров HDR изображений. В S405 формулы слияния, используемые GPU 110-3, являются различными.
R цветовая информация используется в качестве примера. Формула слияния, используемая для расчета R цветовой информации пикселя на конечном изображении, отличается от вышеупомянутой формулы (1). Подробнее см. формулу (4):
… формула (4), где
является значением R цветовой информации пикселя (например, пиксель А) на первом изображении, является значением R цветовой информации пикселя в i-th кадре HDR изображения (например, представляет собой значение R цветовой информации пикселя B1 в первом кадре HDR изображения, является значением R цветовой информации пикселя B2 во втором кадре HDR изображения и так далее), и n является количеством HDR изображений, полученные NPU 110-2 (когда n равно 1, NPU 110-2 получает один кадр HDR изображения, что соответствует варианту осуществления, показанному на фиг. 4). является коэффициентом слияния, определенный на первой кривой слияния на основании значения (а именно, ) R цветовой информации пикселя в i-th кадре HDR изображения (например, является коэффициентом слияния, определенный на первой кривой слияния на основании значения, а именно, R цветовой информации пикселя B1 в первом кадре HDR изображения, является коэффициентом слияния, определенный на первой кривой слияния на основании значения, а именно R цветовой информации пикселя B2 во втором кадре HDR изображения и т.д.).
Значение, а именно G цветовой информации пикселя (например, пиксель C) на конечном изображении получается с помощью формулы (5).
G цветовая информация используется в качестве примера. Формула слияния, используемая для расчета G цветовой информации пикселя на конечном изображении, отличается от вышеупомянутой формулы (2). Подробнее см. формулу (5):
, … формула (5), где
является значением G цветовой информации пикселя (например, пиксель A) на первом изображении, в формуле (5) является значением G цветовой информации пикселя в i-th кадре HDR изображения (например, представляет собой значение G цветовой информации пикселя B1 в первом кадре HDR изображения, представляет собой значение G цветовой информации пикселя B2 во втором кадре HDR изображения и так далее), и N является количеством кадров HDR изображений, полученных NPU 110-2. является коэффициентом слияния, определенный на первой кривой слияния на основании значения (а именно, ) G цветовой информации пикселя в i-th кадре HDR изображения (например, является коэффициентом слияния, определенный на первой кривой слияния на основании значений, а именно, G цветовой информации пикселя B1 в первом кадре HDR изображения, является коэффициентом слияния, определенный на первой кривой слияния на основании значения, а именно G цветовой информации пикселя B2 во втором кадре HDR изображения и т.д.).
Значение, а именно G цветовой информации пикселя (например, пиксель C) на конечном изображении получается с помощью формулы (5).
B цветовая информация используется в качестве примера. Формула слияния, используемая для расчета В цветовой информации пикселя на конечном изображении, отличается от вышеупомянутой формулы (3). Подробнее см. формулу (6):
, … формула (6), где
является значением B цветовой информации пикселя (например, пиксель A) на первом изображении, является значением B цветовой информации пикселя в i-th кадре HDR изображения (например, представляет собой значение B цветовой информации пикселя B1 в первом кадре HDR изображения, является значением В цветовой информация пикселя B2 во втором кадре HDR изображения и так далее), и n является количеством кадров HDR изображений, полученных NPU 110-2. является коэффициентом слияния, определенный на первой кривой слияния на основании значения (а именно, ) В цветовой информации пикселя в i-th кадре HDR изображения (например, является коэффициентом слияния, определенный на первой кривой слияния на основании значения, а именно В цветовой информации пикселя B1 в первом кадре HDR изображения, является коэффициентом слияния, определенный на первой кривой слияния на основании значения, а именно , В цветовой информации пикселя B2 во втором кадре HDR изображения и т.д.).
Значение, а именно В цветовой информации пикселя (например, пиксель C) на конечном изображении получается с помощью формулы (6).
С использованием вышеупомянутых формул (4) до (6) можно определить R цветовую информацию, G цветовую информацию и В цветовую информацию пикселя (а именно, пиксель C) на изображении, полученной после слияния. Аналогичный способ может быть использован для другого пикселя для конечного определения R цветовой информации, G цветовой информации и В цветовой информации каждого пикселя.
Для достижения различных технических эффектов могут быть объединены варианты осуществления настоящего изобретения любым способом.
В вариантах осуществления, представленные в настоящем изобретении, способ, предусмотренный в вариантах осуществления настоящего изобретения, описан с помощью оконечного устройства (мобильный телефон 100) в качестве средства выполнения. Для реализации функций способа, предусмотренного в вариантах осуществления настоящего изобретения, оконечное устройство может включать в себя аппаратную структуру и/или программный модуль для реализации вышеуказанных функций в форме аппаратной структуры, программного модуля или аппаратной структуры плюс программный модуль. Выполняется ли одна из предшествующих функций в виде аппаратной структуры, программного модуля или аппаратной структуре плюс программный модуль зависит от конкретной реализации и условий реализации на основании технического решения.
На основании той же идеи, фиг. 8 показывает оконечное устройство 800, предусмотренное в настоящем изобретении. Как показано на фиг. 8, оконечное устройство 800 может включать в себя линзы 801, дисплей 802, один или более процессоров 803, память 804 и один или более компьютерных программ 805. Компоненты могут быть подключены с использованием одной или нескольких шин 806 связи.
Линзы 1402 выполнены с возможностью захвата исходного изображения. Одна или более компьютерных программ 805 хранятся в памяти 804 и выполнены с возможностью выполняться одним или несколькими процессорами 803. Одна или более компьютерных программ 805 включают в себя инструкцию. Инструкция может использоваться для выполнения всех или некоторых этапов на фиг. 3 или фиг. 5 и различные этапы в соответствующем варианте осуществления.
На основании той же идеи, фиг. 9 показывает оконечное устройство 900, предусмотренное в настоящем изобретении. Как показано на фиг. 9, оконечное устройство 900 может включать в себя блок 901 захвата изображения, блок 902 обработки и блок 903 отображения.
Блок 902 обработки выполнен с возможностью: в ответ на операцию пользователя, инициировать приложение камеры для запуска линз.
Блок 903 отображения выполнен с возможностью отображать интерфейс видоискателя.
Блок 902 обработки дополнительно выполнен с возможностью: преобразовывать исходное изображение, захваченного линзами в RGB изображение; снижать яркость RGB изображения, чтобы быть меньше первой яркости или увеличивать яркость RGB изображения, чтобы быть больше второй яркости для получения первого изображения, где первая яркость больше, чем вторая яркость; преобразовывать RGB изображение в N кадры HDR изображений с использованием HDR технологии, где N кадры HDR изображений имеют различные яркости, и яркость N кадров HDR изображений больше, чем первая яркость, когда яркость RGB изображения снижена, чтобы быть меньше, чем первая яркость, или яркость N кадров HDR изображений, чтобы быть меньше, чем вторая яркость, когда яркость RGB изображения увеличивается, чтобы быть больше, чем вторая яркость, где N представляет собой положительное целое число; и выполнять слияние цветовой информации пикселей в любом том же месте на первом изображении и N кадрах HDR изображений для получения конечного изображения.
Блок 903 отображения дополнительно выполнен с возможностью отображать конечное изображение на интерфейсе видоискателя.
Вариант осуществления настоящего изобретения дополнительно обеспечивает машиночитаемый носитель информации. Машиночитаемый носитель информации может включать в себя память. Память может хранить программу. Когда программа выполняется, оконечное устройство выполнено с возможностью выполнять все или некоторые этапы, выполняемые и записанные оконечным устройством, способа варианта осуществления, показанного на фиг. 3 или фиг. 5.
Вариант осуществления настоящего изобретения дополнительно обеспечивает компьютерный программный продукт. Когда компьютерный программный продукт запускается на оконечном устройстве, оконечное устройство выполнено с возможностью выполнять все или некоторые этапы, выполняемые и записанные оконечным устройством, способа варианта осуществления, показанного на фиг. 3 или фиг. 5.
С помощью вышеприведенных описаний реализации специалист в данной области техники может четко понять, что варианты осуществления настоящего изобретения могут быть реализованы аппаратным обеспечением, программным обеспечением или их комбинацией. Когда варианты осуществления настоящего изобретения реализованы программным обеспечением, предшествующие функции могут храниться на машиночитаемом носителе информации или передается в виде одной или нескольких инструкций, или кода в машиночитаемом носителе информации. Машиночитаемый носитель информации включает в себя компьютерный носитель информации и среду связи, где среда связи включает в себя любую среду, которая позволяет передавать компьютерную программу из одного места в другое. Носитель информации может быть любой доступной средой, который может быть доступен компьютером. В качестве примера используется следующее, но не ограничивается: машиночитаемый носитель информации может включать в себя RAM, ROM, электрически стираемую программируемую память только для чтения (electrically erasable programmable read-only memory, EEPROM), постоянная память на компакт диске (Compact Disc read-only Memory, CD-ROM) или другое компактное хранилище дисков, носитель для хранения магнитного диска или другое устройство для хранения на магнитном носителе или любая другая среда, которую можно использовать для переноса или хранения желаемого программного кода в форме инструкции или структуры данных с доступом к компьютеру. Дополнительно, любое соединение может надлежащим образом определяется как машиночитаемый носитель информации. Например, если программное обеспечение передается с веб-сайта, сервера или другого удаленного источника с помощью коаксиального кабеля, оптического волокна/кабеля, витой пары, цифровой абонентской линии (digital subscriber line, DSL) или с помощью беспроводной технологии, такой как инфракрасная, радио и микроволновая связь, коаксиальный кабель, оптическое волокно/кабель, витая пара, DSL или беспроводные технологии, такие как инфракрасная, радио и микроволновая связь рассматриваются в качестве среды, к которой они принадлежат. Диск (disk), используемый вариантами осуществления настоящего изобретения, включает в себя компактный диск (compact disk, CD), лазерный диск, оптический диск, цифровой видеодиск (digital video disc, DVD), дискета и диск Blu-ray, где диск обычно копирует данные магнитным средством, и диск оптически копирует данные лазерным средством. Вышеуказанная комбинация также должна быть включена в область защиты машиночитаемого носителя информации.
Выше было приведено описание вариантов осуществления настоящего изобретения, которое не предназначено для ограничения объема защиты настоящего изобретения. Любая модификация, эквивалентная замена, улучшение и тому подобное, сделанное в соответствии с настоящим изобретением, находится в рамках области защиты настоящего изобретения.