СПОСОБ, УСТРОЙСТВО И КОМПЬЮТЕРНЫЙ ПРОГРАММНЫЙ ПРОДУКТ ДЛЯ КОМПЕНСАЦИИ ДЕФЕКТОВ ЦВЕТА ГЛАЗ
METHOD, APPARATUS AND COMPUTER PROGRAMME PRODUCT FOR COMPENSATING EYE COLOUR DEFECTS

Область техники
Различные варианты выполнения настоящего изобретения в целом относятся к способу, устройству и компьютерному программному продукту для компенсации дефектов цвета глаз.
Уровень техники
Дефекты цвета глаз (например, красные глаза) обычно наблюдаются на изображениях, полученных при низком уровне окружающего освещения. Как правило, в условиях слабого освещения вспышка, осуществляемая устройством захвата изображения (например, фотокамеры), отражается зрачками глаз субъекта, в результате чего часто происходит неестественное окрашивание области зрачка на изображении в красный цвет. В некоторых случаях глаза субъекта могут окрашиваться в другие красноватые оттенки, например золотистый, оранжевый и т.п. Возникновение явления дефекта цвета глаз может также относиться к различным другим факторам, например малому углу между лампой-вспышкой и объективом устройства захвата изображения, близостью субъекта к устройству захвата изображения и т.п.
Как правило, чтобы избежать появления красных глаз на изображениях, используются такие устройства захвата изображения, которые могут содержать вторичную лампу или источник света, осуществляющий вспышку до захвата изображения. Вторичная лампа светит в глаза субъекта в течение нескольких секунд перед фактической вспышкой, давая зрачкам достаточно времени для их сужения. В некоторых случаях вместо одной полной вспышки, устройство захвата изображения обеспечивает множество предварительных вспышек, которые могут оказывать тот же эффект, что и одиночная вспышка вторичной лампы. Однако такие устройства захвата изображения могут вводить задержку между первой вспышкой и фактическим захватом изображения, вследствие чего субъект может отклониться от заданного положения перед тем, как будет захвачено фактическое изображение.
В некоторых случаях для коррекции дефектов цвета глаз в изображениях может потребоваться вмешательство пользователя, которое заключается в обработке захваченного изображения для удаления дефектов цвета глаз. Однако такое вмешательство пользователя, заключающееся в идентификации и устранении дефектов цвета глаз, может оказаться обременительным и неэффективным. Кроме того, такие устройства часто могут пропускать другие известные дефекты цвета глаз других оттенков и яркости, например, золотистые глаза, оранжевые глаза и т.п.
Сущность изобретения
Различные аспекты примеров выполнения изобретения изложены в формуле изобретения.
В первом аспекте изобретения предлагается способ, включающий: вычисление первого разностного изображения на основе разности между яркостью красных пикселей и яркостью зеленых пикселей из набора пикселей, при этом указанный набор пикселей ассоциирован с первой областью глаза на изображении; обработку первого разностного изображения для вычисления по меньшей мере одного градиента и по меньшей мере одной проекции, ассоциированной с указанным по меньшей мере одним градиентом; определение по меньшей мере одной центральной точки на основе указанной по меньшей мере одной проекции и вычисление первой области дефекта цвета глаз на основе указанной по меньшей мере одной центральной точки и множества красных пикселей из указанного набора пикселей.
Во втором аспекте изобретения предлагается способ, включающий: определение первой области дефекта цвета глаз в изображении низкого разрешения (LR, low resolution), при этом изображение низкого разрешения образовано из изображения высокого разрешения (HR, high resolution); определение информации о дефекте цвета глаз для изображения низкого разрешения, при этом указанная информация о дефекте цвета глаз содержит набор идентификаторов, ассоциированных с множеством первых периферийных частей первой области дефекта цвета глаз в изображении низкого разрешения; преобразование информации о дефекте цвета глаз, вычисленной на основе изображения низкого разрешения, так, чтобы сделать ее пригодной для использования на изображении высокого разрешения, при этом указанное изображение высокого разрешения содержит вторую область дефекта цвета глаз, соответствующую первой области дефекта цвета глаз в изображении низкого разрешения, и множество вторых периферийных частей второй области дефекта цвета глаз, соответствующее множеству первых периферийных частей первой области дефекта цвета глаз, и обработку изображения высокого разрешения для выявления дефекта цвета глаз по меньшей мере в одном из множества вторых периферийных частей на основе указанного набора идентификаторов.
В третьем аспекте изобретения предлагается устройство, содержащее по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанные по меньшей мере одна память и компьютерный программный код сконфигурированы для того, чтобы с помощью указанного по меньшей мере одного процессора обеспечивать выполнение указанным устройством по меньшей мере следующего: вычисления первого разностного изображения на основе разности между яркостью красных пикселей и яркостью зеленых пикселей из набора пикселей, при этом указанный набор пикселей ассоциирован с первой областью глаза на изображении; обработки первого разностного изображения для вычисления по меньшей мере одного градиента и по меньшей мере одной проекции, ассоциированной с указанным по меньшей мере одним градиентом; определения по меньшей мере одной центральной точки на основе указанной по меньшей мере одной проекции и вычисления первой области дефекта цвета глаз на основе указанной по меньшей мере одной центральной точки и множества красных пикселей из указанного набора пикселей.
В четвертом аспекте изобретения предлагается устройство, содержащее по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанные по меньшей мере одна память и компьютерный программный код сконфигурированы для того, чтобы с помощью указанного по меньшей мере одного процессора обеспечивать выполнение указанным устройством по меньшей мере следующего: определения первой области дефекта цвета глаз в изображении низкого разрешения (LR, low resolution), при этом изображение низкого разрешения образовано из изображения высокого разрешения (MR, high resolution); определения информации о дефекте цвета глаз для изображения низкого разрешения, при этом указанная информация о дефекте цвета глаз содержит набор идентификаторов, ассоциированных с множеством первых периферийных частей первой области дефекта цвета глаз в изображении низкого разрешения; преобразования информации о дефекте цвета глаз, вычисленной на основе изображения низкого разрешения, так, чтобы сделать ее пригодной для использования на изображении высокого разрешения, при этом указанное изображение высокого разрешения содержит вторую область дефекта цвета глаз, соответствующую первой области дефекта цвета глаз в изображении низкого разрешения, и множество вторых периферийных частей второй области дефекта цвета глаз, соответствующее множеству первых периферийных частей первой области дефекта цвета глаз, и обработки изображения высокого разрешения для выявления дефекта цвета глаз по меньшей мере в одном из множества вторых периферийных частей на основе указанного набора идентификаторов.
В пятом аспекте изобретения предлагается компьютерный программный продукт, включающий по меньшей мере один машиночитаемый носитель данных, содержащий набор инструкций, которые при их исполнении одним или более процессорами обеспечивают выполнение устройством по меньшей мере следующего: вычисления первого разностного изображения на основе разности между яркостью красных пикселей и яркостью зеленых пикселей из набора пикселей, при этом указанный набор пикселей ассоциирован с первой областью глаза на изображении; обработки первого разностного изображения для вычисления по меньшей мере одного градиента и по меньшей мере одной проекции, ассоциированной с указанным по меньшей мере одним градиентом; определения по меньшей мере одной центральной точки на основе указанной по меньшей мере одной проекции и вычисления первой области дефекта цвета глаз на основе указанной по меньшей мере одной центральной точки и множества красных пикселей из указанного набора пикселей.
В шестом аспекте изобретения предлагается компьютерный программный продукт, включающий по меньшей мере один машиночитаемый носитель данных, содержащий набор инструкций, которые при их исполнении одним или более процессорами обеспечивают выполнение устройством по меньшей мере следующего: определения первой области дефекта цвета глаз в изображении низкого разрешения, при этом изображение низкого разрешения образовано из изображения высокого разрешения; определения информации о дефекте цвета глаз для изображения низкого разрешения, причем указанная информация о дефекте цвета глаз содержит набор идентификаторов, ассоциированных с множеством первых периферийных частей первой области дефекта цвета глаз в изображении низкого разрешения; преобразования информации о дефекте цвета глаз, вычисленной на основе изображения низкого разрешения, так, чтобы сделать ее пригодной для использования на изображении высокого разрешения, при этом указанное изображение высокого разрешения содержит вторую область дефекта цвета глаз, соответствующую первой области дефекта цвета глаз в изображении низкого разрешения, и множество вторых периферийных частей второй области дефекта цвета глаз, соответствующее множеству первых периферийных частей первой области дефекта цвета глаз, и обработки изображения высокого разрешения для выявления дефекта цвета глаз по меньшей мере в одном из множества вторых периферийных частей на основе указанного набора идентификаторов.
В седьмом аспекте изобретения предлагается устройство, содержащее: средство для вычисления первого разностного изображения на основе разности между яркостью красных пикселей и яркостью зеленых пикселей из набора пикселей, при этом указанный набор пикселей ассоциирован с первой областью глаза на изображении; средство для обработки первого разностного изображения для вычисления по меньшей мере одного градиента и по меньшей мере одной проекции, ассоциированной с указанным по меньшей мере одним градиентом; средство для определения по меньшей мере одной центральной точки на основе указанной по меньшей мере одной проекции и средство для вычисления первой области дефекта цвета глаз на основе указанной по меньшей мере одной центральной точки и множества красных пикселей из указанного набора пикселей.
В восьмом аспекте изобретения предлагается устройство, содержащее: средство для определения первой области дефекта цвета глаз в изображении низкого разрешения, при этом изображение низкого разрешения образовано из изображения высокого разрешения; средство для определения набора идентификаторов, ассоциированных с множеством первых периферийных частей первой области дефекта цвета глаз в изображении низкого разрешения, средство для преобразования информации о дефекте цвета глаз для изображения низкого разрешения, так, чтобы сделать ее пригодной для использования на изображении высокого разрешения, при этом указанное изображение высокого разрешения содержит вторую область дефекта цвета глаз, соответствующую первой области дефекта цвета глаз в изображении низкого разрешения, и множество вторых периферийных частей второй области дефекта цвета глаз, соответствующее множеству первых периферийных частей первой области дефекта цвета глаз, и средство для обработки изображения высокого разрешения для выявления дефекта цвета глаз по меньшей мере в одной из множества вторых периферийных частей на основе указанного набора идентификаторов.
В девятом аспекте изобретения предлагается способ, включающий: вычисление первого разностного изображения на основе квадрата разности между яркостью красного пикселя и максимальным значением из яркости зеленого пикселя и синего пикселя из набора пикселей, при этом указанный набор пикселей ассоциирован с первой областью глаза на изображении; обработку первого разностного изображения для вычисления по меньшей мере одного градиента и по меньшей мере одной проекции, ассоциированной с указанным по меньшей мере одним градиентом; определение по меньшей мере одной центральной точки на основе указанной по меньшей мере одной проекции и вычисление первой области дефекта цвета глаз на основе указанной по меньшей мере одной центральной точки и множества красных пикселей из указанного набора пикселей.
В десятом аспекте изобретения предлагается устройство, содержащее по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанные по меньшей мере одна память и компьютерный программный код сконфигурированы для того, чтобы с помощью указанного по меньшей мере одного процессора обеспечивать выполнение указанным устройством по меньшей мере следующего: вычисления первого разностного изображения на основе квадрата разности между яркостью красного пикселя и максимальным значением из зеленого пикселя и синего пикселя из набора пикселей, при этом указанный набор пикселей ассоциирован с первой областью глаза на изображении; обработки первого разностного изображения для вычисления по меньшей мере одного градиента и по меньшей мере одной проекции, ассоциированной с указанным по меньшей мере одним градиентом; определения по меньшей мере одной центральной точки на основе указанной по меньшей мере одной проекции и вычисления первой области дефекта цвета глаз на основе указанной по меньшей мере одной центральной точки и множества красных пикселей из указанного набора пикселей.
В одиннадцатом аспекте изобретения предлагается компьютерная программа, содержащая набор инструкций, которые при их исполнении одним или более процессорами обеспечивают выполнение устройством по меньшей мере следующего: вычисления первого разностного изображения на основе разности между яркостью красных пикселей и яркостью зеленых пикселей из набора пикселей, при этом указанный набор пикселей ассоциирован с первой областью глаза на изображении; обработки первого разностного изображения для вычисления по меньшей мере одного градиента и по меньшей мере одной проекции, ассоциированной с указанным по меньшей мере одним градиентом; определения по меньшей мере одной центральной точки на основе указанной по меньшей мере одной проекции и вычисления первой области дефекта цвета глаз на основе указанной по меньшей мере одной центральной точки и множества красных пикселей из указанного набора пикселей.
Краткое описание чертежей
Для более полного понимания вариантов выполнения настоящего изобретения ниже дается их описание со ссылками на приложенные чертежи.
На фиг.1 схематично показано цифровое изображение, иллюстрирующее дефект цвета глаз согласно примеру выполнения настоящего изобретения.
На фиг.2 показано устройство согласно примеру выполнения настоящего изобретения.
На фиг.3 показано еще одно устройство согласно примеру выполнения настоящего изобретения.
На фиг.4A и 4B показаны горизонтальная проекция и вертикальная проекция, ассоциированная по меньшей мере с одним градиентом согласно примеру выполнения настоящего изобретения.
На фиг.5A и 5B показаны горизонтальная проекция и вертикальная проекция, ассоциированная по меньшей мере с одним градиентом согласно еще одному примеру выполнения настоящего изобретения.
На фиг.6 показана схема, иллюстрирующая дефекты цвета глаз на изображении низкого разрешения (LP) и соответствующем изображении высокого разрешения (HP) согласно примеру выполнения настоящего изобретения.
На фиг.7 показана последовательность операций, иллюстрирующая способ компенсации дефектов цвета глаз на изображениях согласно примеру выполнения настоящего изобретения.
На фиг.8 показана последовательность операций, иллюстрирующая способ компенсации дефектов цвета глаз на изображениях согласно другому примеру выполнения настоящего изобретения.
Подробное описание изобретения
Примеры выполнения настоящего изобретения и их потенциальные преимущества описаны со ссылками на фиг.1-8.
На фиг.1 схематично показано цифровое изображение, иллюстрирующее дефект цвета глаз согласно примеру выполнения настоящего изобретения. На фиг.1 на изображении 100 показано человеческое лицо 102. Лицо 102 содержит глаза, например глаз 104. Каждый глаз содержит зрачок, радужную оболочку и склеру. Предполагается, что глаза на человеческом лице 102 подвержены явлению дефекта цвета глаз, и соответственно зрачок 106 может иметь один из оттенков красного цвета, например, насыщенный красный цвет, золотистый цвет, оранжевый цвет и т.п. Для иллюстрации явления дефекта цвета глаз на фиг.1 зрачок 106 глаза 104 показан светлым, а не черным. Явление дефекта цвета глаз известно также как «красные глаза», и в настоящем описании термины «красный глаз» и «дефект цвета глаз» могут использоваться как синонимы.
Как описано выше, изображение 100 может быть захвачено с использованием устройства захвата изображения, например фотокамеры. Другие примеры устройства захвата изображения могут включать, не ограничиваясь этим, пленочную фотокамеру, цифровой фотоаппарат, видеокамеру, камеру в мобильном телефоне или любое другое мультимедийное устройство с возможностями захвата изображения. Камера может захватить изображение с использованием сконфигурированной в ней вспышки, которая может вызвать в захваченном изображении субъекта дефекты цвета глаз, как показано на фиг.1. Как указано выше, изображения, захваченные камерой, могут быть проанализированы для поиска дефектов цвета глаз, а затем этот эффект может быть скомпенсирован. Обнаружение дефекта цвета глаз может быть выполнено устройством захвата изображения, или, альтернативно, захваченные изображения могут быть переданы в вычислительное устройство, которое способно обнаружить дефекты цвета глаз. Такие способы, устройства и компьютерные программные продукты для компенсации дефектов цвета глаз подробно описаны со ссылками на фиг.1-8.
На фиг.2 показан пример устройства 200 согласно варианту выполнения настоящего изобретения. Однако очевидно, что рассматриваемое устройство 200 просто иллюстрирует один из типов устройств, в которых могут быть реализованы преимущества различных вариантов выполнения настоящего изобретения, и поэтому рассматриваемое устройство не ограничивает настоящее изобретение. Кроме того, очевидно, что по меньшей мере некоторые из компонентов, описанных ниже в связи с устройством 200, могут быть опциональными, и таким образом, пример варианта выполнения настоящего изобретения может включать больше компонентов, меньше компонентов или другие компоненты, отличные от описанных в варианте выполнения настоящего изобретения, показанном на фиг.2. Устройство 200, показанное на фиг.2, может быть любым из множества типов мобильных электронных устройств, например, портативным цифровым секретарем (PDA), мобильным телевизором, игровым устройством, сотовым телефоном, компьютером любого типа (например, ноутбуком, мобильным компьютером или настольным компьютером), камерой, медиаплеером, мобильным цифровым секретарем или любой их комбинацией, а также другими типами мультимедийных устройств.
Устройство 200 может содержать антенну 202 (или множество антенн), функционально соединенных с передатчиком 204 и приемником 206. Устройство 200 может также содержать такое устройство как контроллер 208 или другое устройство обработки, которое выдает сигналы в передатчик 204 и принимает сигналы из приемника 206. Сигналы могут содержать сигнальную информацию, соответствующую стандартам беспроводного интерфейса применимой системы сотовой связи и/или могут содержать данные, соответствующие речи пользователя, принятые данные и/или данные, сформированные пользователем. В этом отношении устройство 200 может быть выполнено с возможностью работы в соответствии с одним или более стандартами интерфейса беспроводной связи, протоколами связи, типами модуляции и типами доступа. Например, устройство 200 может работать в соответствии с любым из множества протоколов связи первого, второго, третьего и/или четвертого поколения и т.п. Например, устройство 200 может работать в соответствии с протоколами беспроводной связи второго поколения (2G) IS-136 (множественный доступ с временным разделением каналов (TDMA, Time Division Multiple Access)), GSM (Global System for Mobile Communications, глобальная система мобильной связи), и IS-95 (множественный доступ с кодовым разделением каналов (CDMA, Code Division Multiple Access)), или протоколами беспроводной связи третьего поколения (3G), такими как универсальная система мобильной связи (UMTS, Universal Mobile Telecommunications System), CDMA2000, широкополосная система CDMA (WCDMA, Wideband CDMA) и синхронная система CDMA с временным разделением каналов (TD-SCDMA, Time Division-Synchronous CDMA), с протоколами 3.9G беспроводной связи, например развитая универсальная наземная сеть радиодоступа (E-UTRAN, Evolved Universal Mobile Telecommunications System (UMTS) Terrestrial Radio Access Network), протоколами беспроводной связи четвертого поколения (4G) и т.п. Альтернативно или дополнительно, устройство 200 может работать в соответствии с механизмами несотовой связи, например, в компьютерных сетях, таких как Интернет, локальная сеть, глобальная сеть и т.п.; сети беспроводной связи малой дальности, такие как сети Bluetooth, сети Zigbee, сети IEEE 802.Их, и т.п., проводные телекоммуникационные сети, например телефонная коммутируемая сеть общего назначения (PSTN, Public Switched Telephone Network).
Контроллер 208 может содержать электрические схемы, реализующие, помимо прочего, обработку аудиосигналов и логические функции устройства 200. Например, контроллер 208 может содержать, не ограничиваясь этим, одно или более устройств цифровой обработки сигналов, одно или более микропроцессорных устройств, один или более процессоров с сопроводительным процессором (процессорами) цифрового сигнала, один или более процессоров без сопроводительного процессора (процессоров) цифрового сигнала, одну или более специализированных компьютерных микросхем, одну или более программируемых вентильных матриц (FPGA, Field Programmable Gate Array), один или более контроллеров, одну или более специализированных интегральных микросхем (ASIC, Application Specific Integration Circuit), один или более компьютеров, различные аналогово-цифровые преобразователи, цифро-аналоговые преобразователи и/или другие вспомогательные схемы. Функции управления и обработки сигнала в устройстве 200 распределены между этими устройствами согласно их функциональным возможностям. Контроллер 208 может включать функции сверточного кодирования и перемежения сообщения и данных перед модуляцией и передачей. Контроллер 208 может дополнительно включать внутренний речевой кодер и внутренний модем передачи данных. Помимо этого контроллер 208 может включать функции для выполнения одной или более программ, которые могут храниться в памяти. Например, контроллер 208 может быть способным выполнять программу для связи, такую как обычный веб-браузер. Программа для связи может позволять устройству 200 передавать и принимать веб-контент, такой как контент на основе местоположения и/или другие веб-страницы в соответствии, например, с протоколом WAP (Wireless Application Protocol, протокол приложений для беспроводной связи), протоколом HTTP (Hypertext Transfer Protocol, протокол передачи гипертекста) и/или аналогичными протоколами. В примере выполнения настоящего изобретения контроллер 208 может быть реализован как многоядерный процессор, например двухъядерный или черырехъядерный процессор. Контроллер 208 может содержать любое количество процессоров.
Устройство 200 может также содержать пользовательский интерфейс, который включает устройство вывода, такое как звонок 210, наушник или динамик 212, микрофон 214, дисплей 216 и пользовательский интерфейс ввода, который может быть соединен с контроллером 208. Пользовательский интерфейс ввода, который позволяет устройству 200 принимать данные, может включать любое из ряда устройств, позволяющих мобильному терминалу 10 принимать данные, например, клавиатуру 218, сенсорный дисплей или другое устройство ввода. В вариантах осуществления изобретения, включающих клавиатуру 218, клавиатура 218 может включать стандартные цифровые клавиши (0-9) и связанные клавиши (#, *), а также другие клавиши, используемые для управления устройством 200. В альтернативном варианте клавиатура 218 может иметь конфигурацию стандартной клавиатуры QWERTY. Клавиатура 218 также может включать различные программные клавиши со связанными функциями. В дополнение или в альтернативном варианте устройство 200 может включать интерфейсное устройство, такое как джойстик или другой пользовательский интерфейс ввода. Устройство 200 также может включать батарею 220, такую как вибрационная батарея, которая служит для электропитания различных схем, необходимых для работы устройства 200, а также дополнительно обеспечивает механическую вибрацию в качестве хорошо различимого выходного сигнала.
В примере выполнения настоящего изобретения устройство 200 содержит элемент для захвата изображения, такой как фотокамера, видео- и/или аудиомодуль, связанные с контроллером 208. Элемент для захвата изображения может быть любым средством для захвата изображения, а также для хранения, отображения или передачи изображения. В варианте выполнения настоящего изобретения, в котором элемент для захвата изображения представляет собой модуль 222 камеры, этот модуль 222 камеры может содержать цифровой фотоаппарат, способный сформировать из захваченного изображения файл цифрового изображения. Модуль 222 камеры содержит все аппаратные средства, например объектив или другой оптический компонент (компоненты), и программное обеспечение, необходимые для создания файла цифрового изображения из захваченного изображения. Альтернативно, модуль 222 камеры может содержать только аппаратные средства, необходимые для просмотра изображения, в то время как запоминающее устройство в устройстве 200 может хранить в виде программного обеспечения инструкции для исполнения контроллером 208, обеспечивающие создание файла цифрового изображения из захваченного изображения. В еще одном варианте выполнения настоящего изобретения модуль 222 камеры может также содержать элемент обработки, например сопроцессор, который помогает контроллеру 208 обрабатывать данные изображения, и кодер и/или декодер для сжатия и/или декомпрессии данных изображения. Кодер и/или декодер могут осуществлять кодирование и/или декодирование согласно стандартному формату JPEG или другому аналогичному формату. Для видеоизображения кодер и/или декодер могут использовать любой из множества стандартных форматов, например стандарты Н.261, Н.262/MPEG-2, H.263, Н.264, Н.264/MPEG-4, MPEG-4 и т.п. В некоторых случаях модуль 222 камеры может предоставлять дисплею 216 данные изображения в реальном времени. Кроме того, в одном из вариантов выполнения настоящего изобретения дисплей 216 может быть расположен на одной стороне устройства 200, а модуль 222 камеры может содержать объектив, установленный на противоположной стороне устройства 200 относительно дисплея 216, что позволяет модулю 222 камеры захватывать изображения на одной стороне устройства 200 и отображать такие изображения пользователю, находящемуся с другой стороны устройства 200.
Устройство 200 может также содержать модуль 224 идентификации пользователя (UIM, user identity module). Модуль 224 идентификации пользователя может быть запоминающим устройством со встроенным процессором. Модуль 224 идентификации пользователя может, например, содержать модуль идентификации абонента (SIM, Subscriber Identify Module), универсальную встроенную карту (UICC, Universal Integrated Circuit Card), универсальный модуль идентификации абонента (USIM, Universal Subscriber Identify Module), съемный модуль идентификации пользователя (R-UIM, Removable User Identify Module) или любую другую смарт-карту. Модуль 224 идентификации пользователя обычно хранит элементы информации, относящиеся к мобильному абоненту. Помимо модуля 224 идентификации пользователя устройство 200 может быть оснащено памятью. Например, устройство 200 может содержать энергозависимую память 226, например энергозависимую память с произвольным доступом (RAM), включая кэшпамять для временного хранения данных. Устройство 200 может также содержать энергонезависимую память 228, которая может быть встроенной и/или съемной. Энергонезависимая память 228 может, дополнительно или альтернативно, содержать электрически стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, жесткий диск, и т.п. Память может хранить любой из множества элементов информации и данных, используемых устройством 200 для реализации функций устройства 200.
На фиг.3 показано устройство 300 согласно одному из вариантов выполнения настоящего изобретения. Устройство 300 может использоваться, например, в устройстве 200, показанном на фиг.2. Однако следует отметить, что устройство 200 может также использоваться в множестве других устройств, как мобильных, так и стационарных, и поэтому варианты выполнения настоящего изобретения не ограничены применением устройства, такого как устройство 200, показанное на фиг.2. Альтернативно, варианты выполнения настоящего изобретения могут использоваться в комбинации устройств, включая, например, упомянутые выше устройства. Соответственно, различные варианты выполнения настоящего изобретения могут быть реализованы полностью в устройстве (например, в устройстве 200, или посредством устройств, связанных отношением клиент-сервер). Кроме того, следует отметить, что устройства или элементы, описанные ниже, не являются обязательными, и таким образом, некоторые из них в определенных вариантах выполнения настоящего изобретения могут быть опущены.
В одном из вариантов выполнения настоящего изобретения устройство 300 обеспечивает компенсацию дефектов цвета глаз. В одном из вариантов выполнения настоящего изобретения устройство 300 может называться устройством 300 для компенсации дефектов цвета глаз. Устройство 300 содержит по меньшей мере один процессор 302, по меньшей мере одну память 304, пользовательский интерфейс 306, интерфейс 308 связи и декодер 310 или иным образом связано с ними. Примеры по меньшей мере одной памяти 304 включают, не ограничиваясь этим, энергозависимую и/или энергонезависимую память. Некоторые примеры энергозависимой памяти включают, не ограничиваясь этим, память с произвольным доступом, динамическую память с произвольным доступом, статическую память с произвольным доступом и т.п. Некоторые примеры энергонезависимой памяти включают, не ограничиваясь этим, жесткие диски, магнитные ленты, оптические диски, программируемую постоянную память, стираемую программируемую постоянную память, электрически стираемую программируемую постоянную память, флэш-память и т.п. Память 304 может хранить информацию, данные, приложения, инструкции и т.п., позволяющие устройству 300 выполнять различные функции в соответствии с различными вариантами выполнения настоящего изобретения. Например, память 304 может осуществлять буферизацию входных данных для их обработки процессором 302. Дополнительно или альтернативно, память 304 может хранить инструкции для их исполнения процессором 302.
Процессор 302, который может представлять собой пример контроллера 208, показанный на фиг.2, может быть реализован различными способами. Процессор 302 может быть выполнен как многоядерный процессор, одноядерный процессор или комбинация многоядерных процессоров и одноядерных процессоров. Например, процессор 302 может быть выполнен как одно или более различных средств обработки, таких как сопроцессор, микропроцессор, контроллер, процессор цифровых сигналов (DSP), схема обработки с сопровождающим процессором DSP или без него, или различные другие устройства обработки, включая интегральные схемы, например специализированную интегральную микросхему (ASIC), программируемую вентильную матрицу (FPGA), блок микроконтроллера (MCU), аппаратный ускоритель, компьютерную микросхему специального назначения и т.п. В варианте выполнения настоящего изобретения многоядерный процессор может исполнять инструкции, хранящиеся в памяти 304 или доступные процессору 302 другим способом. Альтернативно или дополнительно, процессор 302 может быть сконфигурирован для исполнения аппаратно-реализованных функций. Независимо от того, сконфигурирован ли процессор посредством аппаратного или программного обеспечения или их комбинации, процессор 302 представляет собой объект, например, физически реализованный в схеме, способной при соответствующей конфигурации выполнять операции согласно различным вариантам выполнения настоящего изобретения. Таким образом, например, когда процессор 302 выполнен в виде двух или более схем ASIC, FPGA и т.п., процессор 302 может представлять собой специально сконфигурированные аппаратные средства для проведения описанных выше операций. Альтернативно, в другом примере, когда процессор 302 выполнен в виде средства исполнения программных инструкций, эти инструкции при их исполнении могут конфигурировать процессор 302 для выполнения описанных выше алгоритмов и/или операций. Однако в некоторых случаях процессор 302 может быть процессором конкретного устройства, например мобильного терминала или сетевого устройства, приспособленного для реализации вариантов выполнения настоящего изобретения путем дополнительного конфигурирования процессора 302 с помощью инструкций, позволяющих выполнять алгоритмы и/или операции, описанные выше. Процессор 302 может содержать, помимо прочего, часы, арифметико-логическое устройство (ALU) и логические вентили, предназначенные для поддержки работы процессора 302.
Пользовательский интерфейс 306 может быть связан с процессором 302. Примеры пользовательского интерфейса 306 включают, не ограничиваясь этим, интерфейс ввода и/или вывода. Интерфейс ввода сконфигурирован для приема индикации пользовательского ввода. Пользовательский интерфейс вывода может обеспечить пользователю звуковой, визуальный, механический или другой вывод данных и/или обратную связь. Примеры интерфейса ввода могут включать, не ограничиваясь этим, клавиатуру, «мышь», джойстик, клавиши, сенсорный экран, программные клавиши и т.п. Примеры интерфейса вывода могут включать, не ограничиваясь этим, дисплей, например светодиодный дисплей, дисплей на тонкопленочных транзисторах (TFT-дисплей), жидкокристаллический дисплей, активно-матричный дисплей на органических светодиодах (AMOLED), микрофон, динамик, звонки, вибраторы и т.п. В одном из вариантов выполнения настоящего изобретения пользовательский интерфейс 306 может содержать, помимо других устройств или элементов, любое устройство или все устройства из следующих: динамик, микрофон, дисплей, клавиатура, сенсорный экран и т.п. В этом отношении, например, процессор 302 может содержать схему пользовательского интерфейса, сконфигурированную для управления по меньшей мере некоторыми функциями одного или более элементов пользовательского интерфейса, например динамика, звонка, микрофона, дисплея и/или аналогичного устройства. Процессор 302 и/или схема пользовательского интерфейса, содержащая процессор 302, может управлять одной или более функциями одного или более элементов пользовательского интерфейса 306 посредством инструкций компьютерной программы, например, программного обеспечения и/или встроенного программного обеспечения, хранящегося в памяти, например, по меньшей мере в одной памяти 304 и/или аналогичной памяти, доступной для процессора 302.
В примере выполнения настоящего изобретения процессор 302 может быть выполнен так, чтобы содержать декодер 310 или управлять им. Декодер 310 может быть любым средством, например устройством или схемой, работающей в соответствии с программным обеспечением или реализованной в аппаратном обеспечении или комбинации аппаратного и программного обеспечения. Например, это может быть процессор 302, работающий под управлением программного обеспечения, процессор 302, выполненный посредством микросхемы ASIC или FPGA, сконфигурированной для выполнения описанных здесь операций или посредством их комбинации, при конфигурации таким образом устройства или схемы для выполнения соответствующих функций декодера 310.
В варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, обнаружения дефектов цвета глаз, таких как красные глаза, по меньшей мере в одной области глаза, содержащей глаз и соседнюю область. В варианте выполнения настоящего изобретения область глаза может быть обнаружена посредством обнаружения сначала местоположения или области лица, например лица 102 в изображении 100, а после этого определения приблизительного местоположения глаз, например глаза 104 в пределах обнаруженной области 102 лица. В варианте выполнения настоящего изобретения область лица может быть определена с использованием техники распознавания образов. Ориентацию лица также можно получить с использованием техники распознавания образов.
В варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, определения приблизительного местоположения глаз в обнаруженной области лица. Приблизительные области глаз могут быть определены на основе координат лица и ориентации лица. В варианте выполнения настоящего изобретения область лица может быть разделена на четыре квадранта. Для вида спереди вертикально расположенного лица можно предположить, что верхний левый квадрант и верхний правый квадрант содержат глаза, например левый глаз и правый глаз, соответственно. Для каждого из возможных глаз обработка для компенсации дефекта цвета глаз может быть выполнена независимо. Возможный глаз может в дальнейшем упоминаться как первая область глаза. Первая область глаза может ограничивать первый набор пикселей. Первый набор пикселей может быть использован для определения пикселей, соответствующих первой области дефекта цвета глаз.
В варианте выполнения настоящего изобретения процессор 302 сконфигурирован для выполнения обработки в пространстве изображения, полученном из битового массива RGB (красный, зеленый, синий). В другом варианте выполнения настоящего изобретения процессор 302 сконфигурирован для преобразования входных данных изображения, доступных в других форматах, в формат RGB для обработки. Например, входные данные для изображения в формате YUV могут быть сначала преобразованы в формат RGB, а после этого обработаны процессором 302. В битовом массиве RGB красные области пространства изображения могут быть подсвечены, а другие области - подавлены. В варианте выполнения настоящего изобретения указанное пространство изображения может быть получено путем вычисления разностного изображения. В варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, вычисления первого разностного изображения. В варианте выполнения настоящего изобретения первое разностное изображение вычисляют на основе разности между яркостью красных пикселей и яркостью зеленых пикселей из набора пикселей, ассоциированного с первой областью глаза.
В этом варианте выполнения настоящего изобретения вычисление первого разностного изображения d1(x,y) может быть представлено следующим математическим выражением:
,
иначе d1(x,y)=0,
где r(x,y) - яркость красного пикселя в точке (x,y) на изображении, а g(x,y) - яркость зеленого пикселя в точке (x,y).
В другом варианте выполнения настоящего изобретения первое разностное изображение d1(x,y) может быть вычислено следующим образом:
,
иначе d1(x,y)=0.
Преимущество использования выражения (2) для вычисления разностного изображения перед выражением (1) заключается в том, что выражение (2) для вычисления d1(x,y) чувствительнее к более светлым оттенкам красного цвета. Поскольку красный цвет в области дефекта цвета глаз или красные глаза могут иметь различные оттенки, использование множества критериев (и соответствующих пространств) для их обнаружения обеспечивает очень высокий процент распознавания.
В другом варианте выполнения настоящего изобретения первое разностное изображение вычисляют на основе квадрата разности между яркостью красного пикселя и максимальным значением из яркости зеленого пикселя и синего пикселя из набора пикселей, ассоциированных с первой областью глаза в изображении. В этом варианте выполнения настоящего изобретения вычисление первого разностного изображения d1(x,y) может быть представлено следующими математическими выражениями:
,
иначе d1(x,y)=0
или
,
иначе d1(x,y)=0.
Преимущество использования квадрата разности между яркостью красного пикселя и максимальным значением из яркости зеленого пикселя и синего пикселя состоит в том, что для тех областей изображения, где разность между яркостью красных пикселей и яркостью зеленых пикселей высока, как при дефекте цвета глаз, эта яркость разностного изображения может иметь меньшее значение в области кожи.
В варианте выполнения настоящего изобретения первое разностное изображение d1(x,y), вычисленное указанным способом, может быть нормировано так, чтобы его значения лежали в диапазоне от 0 до 255.
В варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, обработки первого разностного изображения для вычисления по меньшей мере одного градиента и по меньшей мере одной проекции, ассоциированной с указанным по меньшей мере одним градиентом. В варианте выполнения настоящего изобретения одномерный градиент первого порядка в направлении оси x вычисляют следующим образом:
Gx(x,y)=d1(x,y)-d1(x-1,y), если r(x,y)>g(x,y),
Gx(x,y)=0, если r(x,y)<=g(x,y).
По меньшей мере одну вертикальную проекцию по меньшей мере одного градиента, например градиента Gx, можно вычислить как указано ниже:
Vp(x)=∑abs(Gx(x,y)), где суммирование производят по всем значениям y: 1<=y<=высота.
Аналогично вычисляют одномерный градиент Gy(x,y) первого порядка в направлении оси y и горизонтальную проекцию Hp(y), ассоциированную с указанным градиентом.
Хотя описанный выше вариант выполнения настоящего изобретения был пояснен с помощью градиентов первого порядка, указанный вариант выполнения настоящего изобретения может быть пояснен или осуществлен с помощью градиентов второго порядка, дисперсий и любых других классификаторов, которые можно использовать для измерения разности/отклонения значений в градиентных изображениях.
На основе вычисленной по меньшей мере одной проекции процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, определения по меньшей мере одной центральной точки. В варианте выполнения настоящего изобретения по меньшей мере одна центральная точка может быть получена по меньшей мере из одной проекции. В варианте выполнения настоящего изобретения по меньшей мере одна проекция может включать по меньшей мере один пик, при этом местоположение пикселей, соответствующее этому по меньшей мере одному значимому пику, составляет центральную точку области дефекта цвета глаз.
В варианте выполнения настоящего изобретения каждая горизонтальная проекция и вертикальная проекция может включать одиночный значимый пик, как показано на фиг.4A и 4B, соответственно. В частности, на фиг.4A и 4B иллюстрируется горизонтальная проекция и вертикальная проекция, ассоциированная по меньшей мере с одним градиентом согласно варианту выполнения настоящего изобретения.
В еще одном варианте выполнения настоящего изобретения по меньшей мере одна проекция может иметь больше одного значимого пика. Например, на фиг.5A и 5B показаны горизонтальная проекция и вертикальная проекция, ассоциированная по меньшей мере с одним градиентом, согласно другому варианту выполнения настоящего изобретения, при этом горизонтальная проекция содержит два значимых пика, в то время как вертикальная проекция содержит один значимый пик. В таком случае могут существовать два возможных местоположения глаза, то есть (x1, y1) и (x1, y2). Для определения центральной точки в этом случае можно рассмотреть небольшую область вокруг обеих точек (x1, y1) и (x1, y2) и определить максимальное значение разностного изображения d1(x,y) в этой области. Точка, имеющая большее максимальное значение d1(x,y), может считаться центральной точкой возможной области дефекта цвета глаз.
Процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, вычисления первой области дефекта цвета глаз с использованием центральной точки и множества красных пикселей из первого набора пикселей. В варианте выполнения настоящего изобретения для вычисления первой области дефекта цвета глаз можно использовать метод наращивания области. Например, в одном конкретном методе наращивания области можно рассматривать те пиксели первого разностного изображения d1(x,y), у которых яркость пикселей разностного изображения больше, чем заранее заданная пороговая яркость. Такие пиксели могут быть соединены с первой центральной точкой области красных глаз на основе возможности соединения соседних частей для формирования связанной области красных глаз. В варианте выполнения настоящего изобретения эти пиксели могут быть связаны на основе возможности соединения с одним из восьми соседей. В альтернативном варианте выполнения настоящего изобретения эти пиксели могут быть связаны посредством возможности соединения с одним из четырех соседей. Связанную область, вычисленную этим способом, можно рассматривать как «экземпляр» области дефекта цвета глаз и проверить на характерные признаки дефекта цвета глаз.
В варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, одной или более верификаций наличия первого дефекта цвета глаз в первой области дефекта цвета глаз. В еще одном варианте выполнения настоящего изобретения указанная одна или более верификаций могут быть основаны на яркости пикселей в первой области дефекта цвета глаз. В еще одном варианте выполнения настоящего изобретения указанная одна или более верификаций могут быть выполнены с использованием метода наименьшего ограничивающего прямоугольника, при этом вычисленная область дефекта цвета глаз может быть заключена в наименьший ограничивающий прямоугольник. Соседняя область наименьшего ограничивающего прямоугольника может быть разделена на множество областей (N), а после этого может быть определено, расположен ли наименьший ограничивающий прямоугольник на границе первой области дефекта цвета глаз. Если определено, что наименьший ограничивающий прямоугольник находится на границе выбранной области дефекта цвета глаз, то можно сделать следующий проход, чтобы обнаружить наличие дефекта цвета глаз в вычисленной области дефекта цвета глаз. Однако, если определено, что наименьший ограничивающий прямоугольник не находится на границе области красных глаз, вычисляют среднюю яркость пикселей в каждой из соседних областей наименьшего ограничивающего прямоугольника. Кроме того, вычисляют количество (Nr1) соседних областей, имеющих среднюю яркость пикселей разностного изображения d1(x,y) меньше, чем заранее заданная часть средней яркости пикселей, в заключенной первой области дефекта цвета глаз, а затем сравнивают Nr1 с заранее заданным пороговым количеством соседних областей. Если определено, что Nr1 больше, чем заранее заданное пороговое количество соседних областей, то можно определить наличие дефекта цвета глаз в вычисленной первой области дефекта цвета глаз и провести последующую верификацию вычисленной первой области цвета глаз.
В еще одном варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, одной или более верификаций области дефекта цвета глаз на основе ее формы.
В еще одном варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, определения индикатора достоверности для указания на наличие первого дефекта цвета глаз в вычисленной первой области дефекта цвета глаз. В еще одном варианте выполнения настоящего изобретения индикатор достоверности может быть определен как отношение Nr1/N. Если обнаружено, что индикатор достоверности превышает первый заранее заданный порог, это указывает на наличие первого дефекта цвета глаз в первой области дефекта цвета глаз. В варианте выполнения настоящего изобретения первый заранее заданный порог равен 0,75. Однако если определено, что индикатор достоверности меньше второго заранее заданного порога, это указывает на отсутствие первого дефекта цвета глаз в первой области дефекта цвета глаз. В варианте выполнения настоящего изобретения второй заранее заданный порог равен 0,33.
В варианте выполнения настоящего изобретения при определении того, что значение индикатора достоверности находится между первым заранее заданным порогом и вторым заранее заданным порогом, можно выполнить следующий проход. В еще одном варианте выполнения настоящего изобретения второй проход может быть выполнен на втором наборе пикселей, ассоциированных со второй областью глаза. Вторая область глаза может быть получена путем расширения границ первой области глаза. В еще одном варианте выполнения настоящего изобретения во втором проходе второе разностное изображение d1(x,y) может быть вычислено на основе квадрата разности между яркостью красного пикселя и максимальным значением из яркости зеленого пикселя и синего пикселя во второй области глаза, отнесенной к яркости красного пикселя, и уровня яркости второго набора пикселей. В другом варианте выполнения настоящего изобретения второе разностное изображение d1(x,y) может быть вычислено на основе отношения квадрата разности между яркостью красного пикселя и максимальным значением из яркости зеленого пикселя и синего пикселя во второй области глаза к яркости красного пикселя, и уровня яркости второго набора пикселей. В еще одном варианте выполнения настоящего изобретения для вычисления второго разностного изображения d2(x,y) можно использовать весовую функцию p(r(x,y)), известную также как поправочная функция. Поправочную функцию можно выбрать так, что она принимает малые значения для пикселей с низкой яркостью и большие для пикселей с высокой яркостью, что снижает вероятность ложного обнаружения в областях с низкой яркостью.
Во время второго прохода высокое значение индикатора достоверности указывает на то, что вторая область дефекта цвета глаз, вычисленная во втором проходе, содержит дефект цвета глаз. Однако в случае, если индикатор достоверности низок, вторая область дефекта цвета глаз может не соответствовать дефекту цвета глаз. При таком сценарии, если определено, что проекция содержит два пика, новую область дефекта цвета глаз можно вырастить с использованием другой центральной точки, соответствующей второму пику, и верифицировать ее на наличие дефекта цвета глаз.
В еще одном варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, коррекции первого дефекта цвета глаз.
В еще одном варианте выполнения настоящего изобретения указанное изображение представляет собой изображение низкого разрешения (LP). Однако в некоторых приложениях разрешение изображения может быть высоким, и, соответственно, обнаружение дефекта цвета глаз и его коррекция в изображении высокого разрешения представляет собой относительно сложный и требующий время процесс. При таком сценарии обнаружение дефекта цвета глаз может быть выполнено в изображении низкого разрешения, а его коррекция - в изображении высокого разрешения.
На фиг.6 показана схема, иллюстрирующая дефекты цвета глаз в изображении низкого разрешения (LP) и соответствующий дефект цвета глаз в изображении высокого разрешения (HP) согласно примеру выполнения настоящего изобретения. Как правило, в устройстве захвата изображения, таком как фотокамера, часто желательно, чтобы коррекция было сделана на изображении высокого разрешения и на изображении низкого разрешения, при этом изображение высокого разрешения сохраняют в память, а изображение низкого разрешения отображают на видоискателе.
На фиг.6 иллюстрируется дефект цвета глаз в изображении 610 низкого разрешения и соответствующий дефект цвета глаз в изображении 650 высокого разрешения. Изображение 610 низкого разрешения содержит область дефекта цвета глаз (показанную наклонной штриховкой). В варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, определения первого прямоугольника 612, ограничивающего первую область дефекта цвета глаз, и второй прямоугольник 614, вписанный в первую область дефекта цвета глаз, в изображении 610 низкого разрешения. Второй прямоугольник 614 представляет внутреннюю часть области дефекта цвета глаз. Области между первым прямоугольником 612 и вторым прямоугольником 614 могут быть разделены на множество областей, например на четыре квадранта. В еще одном варианте выполнения настоящего изобретения в каждом из этих четырех квадрантов может иметься часть с дефектом цвета глаз, например часть 616, и часть без дефекта глаз, например часть 618. Такое множество частей, соответствующих этим четырем квадрантам, может в дальнейшем в целом быть отнесено к первому множеству периферийных областей.
В еще одном варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, определения информации о дефекте цвета глаз для изображения низкого разрешения. В варианте выполнения настоящего изобретения указанная информация о дефекте цвета глаз включает набор идентификаторов, ассоциированных с множеством первых периферийных частей первой области дефекта цвета глаз в изображении низкого разрешения. В варианте выполнения настоящего изобретения значение набора идентификаторов включает средние значения яркости по меньшей мере одной части с дефектом цвета глаз и по меньшей мере одной части без дефекта цвета глаз. Соответственно, в данном варианте выполнения настоящего изобретения набор идентификаторов может включать восемь значений яркости, при этом четыре значения яркости соответствуют четырем частям с дефектом цвета глаз (таким как часть 616), и четыре значения яркости, соответствующих четырем частям без дефекта цвета глаз (таким как часть 618) в первой области дефекта цвета глаз.
В еще одном варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, преобразования изображения низкого разрешения в изображение высокого разрешения. В еще одном варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, преобразования информации о дефекте цвета глаз, вычисленной на основе изображения низкого разрешения, так, чтобы сделать ее пригодной для использования на изображении высокого разрешения. В еще одном варианте выполнения настоящего изобретения во время преобразования первый прямоугольник 612 и второй прямоугольник 614, ассоциированные с изображением 610 низкого разрешения, могут быть расширены до первого прямоугольника 652 и второго прямоугольника 654, ассоциированных с изображением 650 высокого разрешения, как показано на фиг.6. Второй прямоугольник 654 представляет внутреннюю часть области дефекта цвета глаз в изображении высокого разрешения. Однако после преобразования первый прямоугольник 652 и второй прямоугольник 654, ассоциированные с изображением 650 высокого разрешения, вследствие масштабирования могут не касаться области дефекта цвета глаз так, как на изображении низкого разрешения 610. Соответственно в изображении высокого разрешения первый прямоугольник 652 может быть намного больше, чем область дефекта цвета глаз, а второй прямоугольник 654 может быть намного меньше области дефекта цвета глаз. Кроме того, части с дефектом цвета глаз, такие как часть 616, и части без дефекта цвета глаз, такие как часть 618, на изображении 610 низкого разрешения, могут быть расширены в часть с дефектом цвета глаз, например 656, и часть 658 без дефекта цвета глаз, на изображении 650 высокого разрешения.
В еще одном варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, обработки изображения 650 высокого разрешения. Изображение 650 высокого разрешения может быть обработано путем сравнения яркости пикселей разностного изображения для множества вторых периферийных частей со средними значениями яркости разностного изображения, вычисленными на основе изображения 610 низкого разрешения. В еще одном варианте выполнения настоящего изобретения вторая периферийная часть из множества вторых периферийных частей может быть определена как содержащая дефект цвета глаз, когда яркость пикселей разностного изображения второй периферийной части в изображении 650 высокого разрешения ближе к среднему значению яркости разностного изображения для соответствующей части с дефектом цвета глаз, чем среднее значение яркости разностного изображения для соответствующей части без дефекта глаз в изображении 610 низкого разрешения.
В еще одном варианте выполнения настоящего изобретения процессор 302 сконфигурирован для обеспечения выполнения устройством 300, вместе с содержимым памяти 304 и опционально другими компонентами, описанными здесь, коррекции дефекта цвета глаз.
На фиг.7 показана последовательность операций, иллюстрирующая способ 700 компенсации дефектов цвета глаз в изображении, таком как изображение 100, в соответствии с вариантом выполнения настоящего изобретения. Способ, иллюстрируемый указанной последовательностью операций, может быть выполнен, например, устройством 300, показанным на фиг.3. В варианте выполнения настоящего изобретения изображение 100 может быть изображением низкого разрешения.
В блоке 702 вычисляют первое разностное изображение. В данном варианте выполнения настоящего изобретения первое разностное изображение вычисляют на основе разности между яркостью красных пикселей и яркостью зеленых пикселей из набора пикселей. В другом варианте выполнения настоящего изобретения первое разностное изображение вычисляют на основе квадрата разности между яркостью красного пикселя и максимальным значением из яркости зеленого пикселя и синего пикселя из набора пикселей. Набор пикселей - это пиксели, ассоциированные с первой областью глаза на изображении низкого разрешения. Первое разностное изображение может указывать на область дефекта цвета глаз в первой области глаза.
В блоке 704 первое разностное изображение обрабатывают для вычисления по меньшей мере одного градиента и по меньшей мере одной проекции, ассоциированной с указанным по меньшей мере одним градиентом. В еще одном варианте выполнения настоящего изобретения указанная по меньшей мере одна проекция включает по меньшей мере одну горизонтальную проекцию и по меньшей мере одну вертикальную проекцию, ассоциированную по меньшей мере с одним градиентом. В еще одном варианте выполнения настоящего изобретения по меньшей мере один градиент может быть одномерным градиентом первого порядка. Альтернативно, указанный по меньшей мере один градиент может включать градиенты второго порядка, дисперсию и т.п.
В блоке 706 на основе по меньшей мере одной проекции определяют по меньшей мере одну центральную точку. В варианте выполнения настоящего изобретения могут быть вычислены градиент первого порядка в направлении оси x и градиент первого порядка в направлении оси у, после чего можно вычислить вертикальную проекцию и горизонтальную проекцию, ассоциированные с указанными градиентами. В еще одном варианте выполнения настоящего изобретения вертикальная проекция и горизонтальная проекция могут включать по меньшей мере один значимый пик, при этом местоположение пикселей, соответствующее указанному по меньшей мере одному значимому пику, представляет собой по меньшей мере одну центральную точку области дефекта цвета глаз на изображении. В еще одном варианте выполнения настоящего изобретения указанная по меньшей мере одна проекция может иметь только один значимый пик, как показано на фиг.4A и 4B. Однако в некоторых случаях указанная по меньшей мере одна проекция может иметь множество пиков, например, как показано на фиг.5А. В такой ситуации может иметься два возможных местоположения глаза, (x1, y1) и (x1, y2). Для определения центральной точки в этом случае можно рассмотреть малую область вокруг обеих точек (x1, y1) и (x1, y2) и определить максимальное значение разностного изображения d1(x,y) в этой области. Точка, имеющая большее максимальное значение d1(x,y), может быть выбрана в качестве центральной точки в указанной возможной области дефекта цвета глаз.
После определения центральной точки в возможной области дефекта цвета глаз в блоке 708 вычисляют первую область дефекта цвета глаз на основе вычисленной центральной точки и множества красных пикселей первого набора пикселей. В еще одном варианте выполнения настоящего изобретения область дефекта цвета глаз можно вычислить с использованием метода наращивания области.
В еще одном варианте выполнения настоящего изобретения можно определить индикатор достоверности. Индикатор достоверности может указывать на наличие первого дефекта цвета глаз в вычисленной первой области дефекта цвета глаз. В еще одном варианте выполнения настоящего изобретения, когда определено, что значение индикатора достоверности превышает первый заранее заданный порог, это указывает на наличие первого дефекта цвета глаз в первой области дефекта цвета глаз. В другом варианте выполнения настоящего изобретения, когда значение индикатора достоверности меньше второго заранее заданного порога, это указывает на отсутствие первого дефекта цвета глаз в первой области дефекта цвета глаз. В еще одном варианте выполнения настоящего изобретения, если значение индикатора достоверности находится между первым заранее заданным порогом и вторым заранее заданным порогом, может быть выполнен следующий проход.
В варианте выполнения настоящего изобретения после определения первой области дефекта цвета глаз можно выполнить одну или более верификаций наличия первого дефекта цвета глаз в первой области дефекта цвета глаз. В еще одном варианте выполнения настоящего изобретения указанная одна или более верификаций могут быть выполнены на основе метода наименьшего ограничивающего прямоугольника. В альтернативном варианте выполнения настоящего изобретения указанная одна или более верификаций могут быть выполнены на основе формы области дефекта цвета глаз.
В еще одном варианте выполнения настоящего изобретения можно скорректировать дефект цвета глаз, обнаруженный в первой области дефекта цвета глаз на изображении. В еще одном варианте выполнения настоящего изобретения дефект цвета глаз можно скорректировать путем замены красных пикселей, ассоциированных с дефектом цвета глаз, на пиксели естественного цвета глаз, например на пиксели естественного черного цвета.
В еще одном варианте выполнения настоящего изобретения информация о дефекте цвета глаз в изображении низкого разрешения может быть преобразована в изображение высокого разрешения, и дефект цвета глаз, обнаруженный в изображении низкого разрешения, может быть скорректирован в изображении высокого разрешения. Способ компенсации дефекта цвета глаз путем преобразования изображения низкого разрешения в изображение высокого разрешения поясняется со ссылкой на фиг.8.
На фиг.8 показана последовательность операций, иллюстрирующая способ 800 компенсации дефектов цвета глаз на изображениях согласно другому варианту выполнения настоящего изобретения. В блоке 802 определяют область дефекта цвета глаз на изображении низкого разрешения (способ обнаружения дефекта цвета глаз на изображении низкого разрешения описывался со ссылкой на фиг.7). В еще одном варианте выполнения настоящего изобретения изображение низкого разрешения может быть образовано из изображения высокого разрешения.
В блоке 804 определяют информацию о дефекте цвета глаз для изображения низкого разрешения. В еще одном варианте выполнения настоящего изобретения информация о дефекте цвета глаз включает набор идентификаторов, определенных для области дефекта цвета глаз, выявленной на изображении низкого разрешения (как показано на фиг.6). Набор идентификаторов может быть ассоциирован с множеством первых периферийных частей первой области дефекта цвета глаз на изображении низкого разрешения. В еще одном варианте выполнения настоящего изобретения набор идентификаторов может включать средние значения яркости разностного изображения по меньшей мере одной части с дефектом цвета глаз и по меньшей мере одной части без дефекта цвета глаз в изображении низкого разрешения.
В блоке 806 информация о дефекте цвета глаз из изображения низкого разрешения может быть преобразована в изображение высокого разрешения. Изображение высокого разрешения может включать вторую область дефекта цвета глаз, соответствующую первой области дефекта цвета глаз в изображении низкого разрешения, и множество вторых периферийных частей второй области дефекта цвета глаз, соответствующее множеству первых периферийных частей первой области дефекта цвета глаз.
В блоке 808 изображение высокого разрешения обрабатывают для выявления дефекта цвета глаз по меньшей мере в одной из множества вторых периферийных частей на основе указанного набора идентификаторов. В еще одном варианте выполнения настоящего изобретения обработка изображения высокого разрешения включает сравнение яркости пикселей в разностном изображении для множества вторых периферийных частей с соответствующей средней яркостью разностного изображения, вычисленной на основе изображения низкого разрешения. В еще одном варианте выполнения настоящего изобретения вторая периферийная часть из множества вторых периферийных частей может быть определена как дефект цвета глаз, если яркость пикселей разностного изображения второй периферийной части в изображении высокого разрешения ближе к среднему значению яркости разностного изображения по меньшей мере одной соответствующей части с дефектом цвета глаз, чем среднее значение яркости разностного изображения соответствующей части без дефекта цвета глаз в изображении низкого разрешения.
В варианте выполнения настоящего изобретения можно скорректировать обнаруженный дефект цвета глаз в изображении высокого разрешения. В еще одном варианте выполнения настоящего изобретения коррекция дефекта цвета глаз в изображении высокого разрешения включает замену пикселей, соответствующих дефекту цвета глаз, на пиксели, соответствующие естественному цвету глаз в изображении высокого разрешения.
Не ограничивая объема или приложений формулы изобретения, технический результат одного или более вариантов выполнения настоящего изобретения заключается в компенсации дефектов цвета глаз на изображении. Другой технический результат одного или более вариантов выполнения настоящего изобретения заключается в обнаружении дефектов цвета глаз на изображении низкого разрешения и последующей коррекции обнаруженных дефектов цвета глаз на изображении низкого разрешения. Еще один технический результат одного или более вариантов выполнения настоящего изобретения заключается в обнаружении дефектов цвета глаз на изображении низкого разрешения и последующей коррекции обнаруженного дефекта цвета глаз на изображении высокого разрешения. Еще один технический результат одного или более вариантов выполнения настоящего изобретения заключается в очень точной компенсации дефектов цвета глаз. Кроме того, поскольку в настоящем изобретении используется свойство красноты дефекта цвета глаз, сложность в определении дефекта цвета глаз значительно снижена. Кроме того, использование множества проходов для различных критериев обеспечивает надежное обнаружение дефектов цвета глаз всех тонов и оттенков, обеспечивая очень высокий процент обнаружения. Кроме того, расчет степени достоверности при каждом проходе позволяет выполнить ранний выход из процесса в случае, если на любой стадии выясняется, что вычисленная область дефекта цвета глаз не может быть дефектом цвета глаз с высокой степенью достоверности, что позволяет уменьшить объем вычислений.
Предлагаются способы и устройства, позволяющие осуществлять выбор между множеством возможных областей глаз, когда упомянутые проекции имеют множество значимых пиков. Кроме того, для случаев, когда требуется удалить дефект цвета глаз на изображении очень высокого разрешения, предлагается способ обнаружения этого дефекта на изображении низкого разрешения и использования этого результата для эффективной и точной коррекции этого дефекта на изображении высокого разрешения.
Различные варианты выполнения настоящего изобретения, описанные выше, могут быть реализованы в виде программного обеспечения, аппаратного обеспечения, логики приложений или комбинации программного обеспечения, аппаратного обеспечения и логики приложений. Программное обеспечение, логика приложений и/или аппаратное обеспечение могут располагаться по меньшей мере в одной памяти, по меньшей мере в одном процессоре, устройстве или компьютерном программном продукте. При необходимости часть программного обеспечения, логики приложений и/или аппаратного обеспечения может располагаться в устройстве, обнаруживающем дефект цвета глаз, или же часть программного обеспечения, логики приложений и/или аппаратного обеспечения может располагаться в устройстве, корректирующем дефект цвета глаз. В одном из вариантов выполнения настоящего изобретения логика приложений, программное обеспечение или набор инструкций хранятся на любом из различных известных машиночитаемых носителей. В контексте настоящего описания машиночитаемый носитель может быть любым носителем или средством, которое способно содержать, хранить, передавать, распространять или переносить инструкции для использования системой, устройством или средством для выполнения инструкций, такими как компьютер, пример которого описан и проиллюстрирован в настоящем документе, или для использования в связи с перечисленными устройствами. Машиночитаемый носитель может включать машиночитаемый носитель данных, который может быть любым носителем или средством, которое может содержать или хранить инструкции для использования системой, устройством или средством для выполнения инструкций, например компьютером, или для использования в связи с перечисленными устройствами.
При необходимости различные функции, рассмотренные выше, могут выполняться в другом порядке и/или одновременно друг с другом. Кроме того, при необходимости одна или более описанных выше функций могут быть опциональными или могут быть объединены.
Хотя различные аспекты изобретения изложены в независимых пунктах формулы изобретения, другие аспекты изобретения включают другие комбинации признаков описанных вариантов выполнения изобретения и/или признаков, указанных в зависимых пунктах формулы, с признаками, указанными в независимых пунктах формулы, а не только те комбинации, которые явно изложены в формуле изобретения.
Кроме того, следует отметить, что хотя выше были описаны варианты выполнения настоящего изобретения, данное описание не должно рассматриваться как ограничение изобретения. Могут быть сделаны изменения и модификации в пределах сущности изобретения, определяемого формулой изобретения.