УСТРОЙСТВО И СПОСОБЫ ДЛЯ УВЕЛИЧЕНИЯ ДИНАМИЧЕСКОГО ДИАПАЗОНА В ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ
APPARATUS AND METHOD FOR EXTENDING DYNAMIC RANGE IN DIGITAL IMAGES

Перекрестные ссылки на родственные заявки
[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №60/867325, поданной 27 ноября 2006 г. под названием «Apparatus and methods for boosting dynamic range in digital images», которая, таким образом, включена в данный документ в полном объеме.
Область технического применения
[0002] Изобретение относится к области цифрового формирования изображений. Конкретно, изобретение связано со способами и устройствами для увеличения динамического диапазона цифровых изображений.
Предпосылки
[0003] Человеческий глаз чувствителен к свету в очень широком диапазоне интенсивностей. Для точного воспроизведения реальных кадров изображения должны обладать высокими динамическими диапазонами. Высокоэффективные датчики изображений, такие как матрицы приборов с зарядовой связью, способны получать изображения, обладающие высокими динамическими диапазонами. Существуют и дисплеи (такие как дисплеи производства Dolby Canada Corporation), способные демонстрировать изображения с высокими динамическими диапазонами. Однако многие компьютерные дисплеи, телевизоры и т.п. обладают ограниченными динамическими диапазонами и поэтому не способны воспроизводить изображения с высокими динамическими диапазонами.
[0004] Некоторые данные изображений обладают низким динамическим диапазоном вследствие способа их получения или генерирования. В других случаях динамический диапазон изображений может быть принудительно уменьшен для достижения соответствия характеристикам дисплеев, на которых воспроизводится образ данных изображения. Для уменьшения динамического диапазона к данным изображения с высоким динамическим диапазоном применяют оператор тонального отображения. Этот подход применяется, например, для получения данных изображения, совместимых с динамическим диапазоном дисплея либо с определенным форматом данных изображения.
[0005] Существует огромное количество данных изображений, динамический диапазон которых оказывается меньшим, чем могут воспроизводить существующие дисплеи и/или может воспринимать человеческий глаз.
[0006] Существует потребность в способах и устройствах, способных увеличивать динамический диапазон данных изображения с малым динамическим диапазоном.
Краткое описание
[0007] Описанные ниже варианты осуществления изобретения и их особенности описаны и проиллюстрированы в сочетании с системами, инструментами и способами, которые подразумеваются как показательные и иллюстративные и не ограничивают объем изобретения. В различных вариантах осуществления изобретения одна или несколько из описанных выше трудностей либо уменьшены, либо преодолены, в то время как другие варианты осуществления изобретения направлены на иные усовершенствования.
[0008] Первая особенность изобретения подразумевает способ увеличения динамического диапазона оригинальных данных изображения, представляющих изображение. Способ включает в себя, в любой последовательности: применение функции расширения для получения из оригинальных данных изображения расширенных данных с большим, чем у оригинальных, динамическим диапазоном, а также получение карты расширения, которая содержит данные о степени яркости областей, связанных с пикселами на изображении. Способ объединяет оригинальные данные изображения с расширенными данными в соответствии с картой расширения, давая улучшенные данные изображения.
[0009] Еще одна особенность изобретения подразумевает устройство для расширения динамического диапазона оригинальных данных изображения. Это устройство включает в себя: расширитель динамического диапазона, подключенный для получения оригинальных данных изображения и выдачи расширенных данных, имеющих больший, чем у оригинальных, динамический диапазон; анализатор распределения яркости, настроенный для генерирования карты расширения, показывающей яркость областей, связанных с пикселами на образе оригинальных данных изображения; сумматор изображений, настроенный для объединения оригинальных данных изображения с расширенными данными из расширителя динамического диапазона на основе карты расширения, дающий на выходе улучшенные данные изображения.
[0010] Следующая особенность изобретения подразумевает способ увеличения динамического диапазона оригинальных данных изображения. Способ заключается в обработке значений яркости пикселов оригинальных данных изображения при помощи оператора обратного тонального отображения:
white
d
или его математического эквивалента, где α, L и  - параметры, а L - значение яркости, соответствующее пикселу в оригинальных данных изображения.
[0011] В дополнение к описанным выше показательным особенностям и вариантам осуществления изобретения дальнейшие особенности и варианты осуществления изобретения описаны ниже и/или становятся очевидны при отсылке к графическим материалам, а также при изучении нижеследующего подробного описания.
Краткое описание графических материалов
[0012] Приложенные графические материалы иллюстрируют неограничивающие варианты осуществления изобретения.
[0013] Фиг.1 - схема последовательности процесса, иллюстрирующая способ согласно одному из вариантов осуществления изобретения.
[0014] Фиг.2 - блок-схема устройства согласно настоящему изобретению.
[0015] Фиг.3 - блок-схема устройства согласно другому варианту осуществления изобретения.
Описание
[0016] Специфические подробности, необходимые для достижения исчерпывающего понимания специалистами в данной области, изложены в нижеследующем описании. Однако во избежание неясности раскрытия изобретения хорошо известные составные части могут быть не показаны или подробно не описаны. Соответственно описание и графические материалы следует рассматривать скорее в пояснительном, чем в ограничительном смысле.
[0017] Изобретение подразумевает способы и устройство для увеличения динамического диапазона данных изображения. Способы и устройство могут найти применение, например, для увеличения динамического диапазона устаревших изображений (как неподвижных, так и, например, видеоизображений) для их демонстрации на дисплеях с высокими динамическими диапазонами.
[0018] На фиг.1 показан способ 20, относящийся к варианту осуществления изобретения. Способ 20 воздействует на оригинальные данные изображения 23, полученные в блоке 24, расширяя динамический диапазон данных изображения 23. В блоке 26 путем расширения исходных данных 23 по способу 20 осуществляется получение расширенных данных изображения 25. Расширение отображает значения яркости пикселов из первого диапазона во второй. Второй диапазон обеспечивает более вероятные значения, чем первый. Например, первый диапазон может позволять получать значения в интервале от 0 до 255, в то время как второй, расширенный, диапазон позволяет получать значения в интервале от 0 до 1023 или от 0,00 до 1,00 с некоторой заданной точностью. В некоторых вариантах осуществления изобретения значение яркости пиксела в расширенных данных изображения 25 является функцией значения яркости соответствующего пиксела в оригинальных данных изображения 23.
[0019] Расширение может включать в себя любую из следующих операций: линейное масштабирование, нелинейное масштабирование, применение более сложной функции расширения, например, функции обратного тонального отображения. В блоке 26, где происходит применение функции обратного тонального отображения, применяемая функция необязательно является обратной по отношению к функции тонального отображения, использованной для получения оригинальных данных изображения 23. На самом деле, в некоторых случаях оригинальные данные 23 могут быть получены и без применения функции тонального отображения или путем применения функции, отличной от функции обратного тонального отображения, применяемой в блоке 26.
[0020] Одним из примеров функции тонального отображения является воспроизведение фотографических тонов, описанное в работе Рейнхарда и др. «Photographic tone reproduction for digital images», ACM Trans. Graph., 21, 3, 267-276 (2002). Другой пример функции тонального отображения описан, например, в работах Смита и др. «Beyond tone mapping: Enhanced depiction of tone mapped HDR images», Computer Graphics Forum 25, 3 (2006), а также Ледда и др. «Evaluation of tone mapping operators using a high dynamic range display», ACM Trans. Graph., 24, 3, 640-648 (2005).
[0021] Оператор тонального отображения с уменьшением диапазона фотографических тонов масштабирует значения яркости пикселов на основе среднего геометрического, которое точно или приближенно является ключевым для кадра, а затем сжимает полученные значения. Масштабирование задано следующим образом:
,
m
w
w
где L - масштабированное значение, α - пользовательский параметр, L - яркость пиксела в оригинальных данных изображения 23. Если оригинальные данные 23 представлены в формате RGB, то L вычисляется следующим образом:
,
w
w
w
где R, G и B - соответственно значения красного, зеленого и синего пикселов для пиксела в цветовом пространстве RGB.  - среднее геометрическое, определяемое как
,
где δ - малое неотрицательное число, а N - количество пикселов на изображении.
[0022] Сжатие можно осуществить, используя функцию, которая, получая входные значения из первого диапазона, дает выходные значения из второго, более узкого, диапазона. Например, сжатие можно задать следующим образом:
,
d
где L - сжатое значение для пиксела с координатами (x,y). В более гибком варианте осуществления изобретения:
,
white
где L - параметр, соответствующий минимальному значению яркости в несжатых данных, которое в сжатых данных будет отображено как белое.
[0023] Уравнение (5) можно инвертировать, решая квадратное уравнение
m
В уравнении (5) L можно заменить значением из уравнения (1), получая:
w
Уравнение (7) можно решить для L с использованием формулы для корней квадратного уравнения и получить наибольшее положительное решение. Повторение процедуры для каждого пиксела изображения позволяет получить расширенные данные 25.
white
[0024] Для использования решения уравнения (7) при инвертировании тонального отображения необходимо определить значения параметров α, L и , a также среднее геометрическое . Поскольку неизвестно, какой оператор тонального отображения применялся (и применялся ли вообще) для получения обрабатываемого изображения с низким динамическим диапазоном, эти параметры также неизвестны. В способах, реализованных в некоторых из вариантов осуществления изобретения, выбор значений этих параметров предоставлен пользователю. В некоторых вариантах осуществления изобретения параметры задаются автоматически или предустанавливаются. В некоторых вариантах осуществления изобретения некоторым, или всем, параметрам автоматически присваиваются исходные значения, а пользователь при необходимости может изменять эти параметры относительно исходных значений.
[0025] Одним из способов определения  является использование среднего геометрического яркости обрабатываемого изображения с меньшим динамическим диапазоном. Ранее было обнаружено, что средние геометрические яркости изображений одного и того же кадра с меньшим и большим динамическими диапазонами, как правило, довольно близки в том случае, если изображение с низким динамическим диапазоном не является пере- или недодержанным. Некоторые операторы тонального отображения склонны изменять среднее геометрическое яркости. В тех случаях, когда для получения оригинальных данных изображения 23 использовались такие операторы тонального отображения, предпочтительным для определения  может оказаться использование функции среднего геометрического яркости обрабатываемого изображения с меньшим динамическим диапазоном. Выбор функции можно осуществить на основе информации об операторе тонального отображения, примененном для генерирования оригинальных данных изображения 23. Иначе функция определяется экспериментально.
d
d
[0026] Для того чтобы определить значение параметра L(x,y), можно предположить, что L представляет собой яркость обрабатываемого изображения с низким динамическим диапазоном.
white
[0027] Параметры α и L могут быть заданы пользователем. Смысл параметра α не вполне ясен, поэтому авторы изобретения посчитали предпочтительным определение параметра .
white
white
white
white
где  - значение максимальной яркости, ожидаемой для изображения с обратным тональным отображением. L влияет на расширение оригинальных низких и средних значений яркости. При высоком L эти значения отображаются в очень низкие значения яркости. Для низкого L изображение с обратным тональным отображением будет обладать значениями яркости, близкими к значениям оригинального изображения с малым динамическим диапазоном, масштабированными коэффициентом . При обычном применении для получения удовлетворительных результатов параметрам L и  можно присваивать равные значения или значения одного порядка.
[0028] Функция расширения, прилагаемая в блоке 26, может давать не вполне удовлетворительное расширенное изображение. Если функция расширения дает высокие выходные значения яркости, полученное изображение может выглядеть «блочным».
[0029] Способ 20 позволяет получать выходное изображение 33 путем объединения расширенного 25 и оригинального 23 изображений в соответствии с картой расширения 29, полученной в блоке 28. Карта расширения 29 определяет области с большей и меньшей яркостью на оригинальном изображении 23. Используя карту расширения 29, способ 20 основывает выходное изображение 33 в большей степени на расширенном изображении 25 для областей с большей яркостью, в то время как области с меньшей яркостью в большей степени основываются на оригинальном изображении 23. Например, в блоке 28 для оценки степени яркости области, к которой принадлежит пиксел, может использовать любой подходящий способ. Например, блок 28 может рассчитывать среднюю яркость или средневзвешенную яркость пикселов в области, к которой принадлежит каждый из этих пикселов. Карта расширения включает в себя веса, соответствующие каждому пикселу. Веса указывают на относительные вклады оригинального 23 и расширенного 25 изображений в значение пиксела в улучшенном изображении 33.
[0030] В демонстрируемом варианте осуществления изобретения блок 28 применяет в блоке 28А алгоритм медианного сечения, описанный, например, в работе Дебевека «A median algorithm for light probe sampling», ACM Siggraph 2005 posters (2005). Алгоритм медианного сечения выделяет на изображении набор точечных источников света, образующих кластеры вблизи областей с высокой яркостью на изображении. Количество и интенсивность таких источников света около пиксела используется в некоторых вариантах осуществления изобретения для создания карты расширения 29.
n
n
[0031] Алгоритм медианного сечения делит изображение на 2областей с близкой световой энергией. Эти области можно идентифицировать, дополнительно деля изображение вдоль его наибольшей протяженности так, чтобы яркость поровну распределялась между полученными таким образом областями. Эта операция повторяется для полученных областей. Источник света помещается в центре тяжести каждой из 2 областей, полученных в результате итерации операции деления изображения на области n раз. Цвет каждого из источников света устанавливается в соответствии со средним значением по всей области (например, цвет может быть приравнен сумме значений пикселов во всей области).
[0032] В некоторых вариантах осуществления изобретения n составляет не менее 9, что соответствует 512 источникам света, в некоторых n - 10 или более.
[0033] Для ускорения поиска ближайших соседних источников света при создании карты расширения 29 в некоторых осуществлениях изобретения точечные источники света могут сохраняться в структурах данных, представляющих собой двумерное дерево.
[0034] Для идентификации областей с меньшей и большей яркостью не обязательно использовать оригинальное изображение 23. Распределение таких областей в оригинальных 23 и расширенных 25 данных изображения будет весьма близким. Алгоритм медианного сечения можно применить и к расширенным данным изображения 25.
[0035] Одним из способов получения набора весов из источников света, идентифицированных в блоке 28А по алгоритму медианного сечения, является определение для каждого пиксела (x,y) плотности источников света внутри области, окружающей пиксел. Для удобства эту область можно представить, например, в виде круга с радиусом r. Возможно использование и областей других форм. Оценка плотности описана во втором издании монографии Дуда и др. «Pattern Classification», Wiley Interscience (2001).
[0036] Основная формула, используемая для определения плотности:
где Λ - плотность, Х - точка с координатами (x,y) на изображении, ψp - значения яркости источника света в точке р и Р - набор точек внутри области (в данном примере внутри круга с радиусом r и центром в точке X), соответствующих источникам света, идентифицированным алгоритмом медианного сечения.
[0037] Оценку плотности можно улучшить несколькими способами:
- выполняя алгоритм медианного сечения для получения большего количества источников света (то есть увеличивая n);
- применяя сглаживающий фильтр к результатам оценки плотности;
- вводя требование порогового количества источников света (например, для 1024 и более источников света при n=10 пороговое количество может составлять не менее 4, а в некоторых случаях 4-6 источников) в области влияния пиксела (т.е. внутри окружности с радиусом r), необходимого для приписания пикселу ненулевой плотности Λ.
[0038] В качестве сглаживающего фильтра можно использовать гауссовский сглаживающий фильтр. Например, в прототипе варианта осуществления изобретения использован гауссовский фильтр по весу ядра:
где - ядро, γ и β - параметры. Этот фильтр описан в работе Павичича «Convenient Anti-Aliasing Filters that Minimize Bumpy Sampling», Morgan Kauffman, (1990). Типичные значения γ и β составляют соответственно 0,918 и 1,953. Фильтр нормирован и может применяться для расчета оценки плотности путем масштабирования яркостей по, как описано выше. Видно, что фильтр взвешивает источники света, приближенные к пикселу, как более весомые, чем источники, находящиеся дальше от пиксела.
[0039] В блоке 30 оригинальные 23 и расширенные 25 данные объединяются с использованием карты расширения 29, давая улучшенные данные 33. В иллюстративном примере карта расширения 29 содержит число в интервале [0, 1] для каждого пиксела. Это число используется в качестве весов при линейной интерполяции между оригинальными 23 и расширенными 25 данными. Например:
,
final
w
d
где L - значение яркости пиксела с координатами (x,y) в улучшенных данных 33, L - значение яркости пиксела в расширенных данных 25, L - значение яркости пиксела в оригинальных данных 23, Λ - вес пиксела в интервале [0, 1] по данным карты расширения 29.
[0040] Объединение оригинальных 23 и расширенных 25 данных изображения в блоке 30 можно производить и другими способами. Например, интерполяция может быть нелинейной.
[0041] Описанные здесь способы могут быть применены для увеличения динамического диапазона как цифровых неподвижных, так и видеоизображений. Улучшенные данные 33 можно либо сохранить, как показано в блоке 34, либо, как в блоке 36, демонстрировать при помощи дисплея.
[0042] Оператор обратного тонального отображения, описанный выше при помощи уравнений (6) и (7), применим и вне способа 20. Например, этот оператор можно применить непосредственно для увеличения динамического диапазона кадров на видео. В таких вариантах осуществления изобретения изображение каждого кадра видео обрабатывается при помощи оператора обратного тонального отображения, давая расширенный кадр. Расширенные кадры можно сохранить и/или воспроизвести как видео с динамическим диапазоном, большим чем у исходного.
[0043] Типичные изображения содержат сотни тысяч, а в большинстве случаев миллионы пикселов. Описанные здесь способы реализованы на автоматических устройствах, таких как специальные аппаратные средства и/или программируемые компьютерные системы.
[0044] На фиг.2 показана схема устройства 40 для получения изображений с расширенными динамическими диапазонами из оригинальных данных изображения 23. Устройство 40 состоит из расширителя динамического диапазона 44, преобразующего оригинальные данные изображения 23 в расширенные данные 25. В некоторых вариантах осуществления изобретения расширитель динамического диапазона 44 включает в себя программный модуль, применяющий функцию расширения динамического диапазона к каждому значению яркости в оригинальных данных изображения 23, давая расширенные данные 25.
[0045] Устройство 40 включает в себя анализатор распределения яркости 46, который обрабатывает оригинальные 23, а в некоторых случаях и расширенные 25 данные, давая карту расширения 29. Анализатор распределения яркости 46 определяет степень принадлежности пиксела в оригинальных данных изображения 23 к областям с высокой или низкой яркостью на изображении, представленном оригинальными данными 23.
[0046] Сумматор 48 объединяет оригинальные 23 и расширенные 25 данные изображения, давая улучшенные данные 33. Относительная степень, с которой каждый пиксел улучшенных данных 33 основан на значениях соответствующего пиксела оригинальных 23 и расширенных 25 данных изображения, зависит от значения соответствующего пиксела в карте расширения 29.
[0047] Как расширитель динамического диапазона 44, так и анализатор распределения яркости 46, а также сумматор 48 может представлять собой аппаратный модуль, комбинацию аппаратных средств и программного обеспечения или реконфигурируемое устройство, например, одна или несколько должным образом скомпонованных вентильных матриц с пользовательским программированием. В некоторых вариантах осуществления изобретения устройством 40 снабжается электронный дисплей с высоким динамическим диапазоном, способный воспроизводить как неподвижные, так и видеоизображения. В этих вариантах устройство 40 может быть активировано для улучшения устаревших неподвижных и/или видеоизображений с динамическими диапазонами более низкими, чем способен воспроизводить дисплей.
[0048] На фиг.3 показано устройство 50, относящееся еще к одному варианту осуществления изобретения. Устройство 50 имеет пользовательский интерфейс 52, позволяющий пользователю контролировать значения параметров 31 на складе данных 54. Параметры 31, как описано выше, управляют работой системы увеличения динамического диапазона 56 по обработке оригинальных данных изображения 23 и получению улучшенных данных 33. Изображение с улучшенными данными 33 отображается на дисплее 60, управляемом драйвером 58 дисплея с высоким динамическим диапазоном. В демонстрируемом варианте осуществления пользователь имеет возможность визуального наблюдения за влиянием каждого выбранного набора параметров 31 на изображение, показанное дисплеем 60, а также, используя пользовательский интерфейс 52, может изменять значения одного или нескольких параметров 31 для достижения желаемого вида изображения. Затем пользователь имеет возможность сохранить улучшенные данные 33 для последующей демонстрации на дисплее 60 или любом другом дисплее с высоким динамическим диапазоном.
[0049] Некоторые осуществления изобретения включают в себя компьютерные процессоры, выполняющие команды программного обеспечения для реализации способа по данному изобретению. Например, один или несколько процессоров системы обработки или демонстрации изображений могут осуществлять способы, показанные на фиг.1, выполняя команды программ в памяти программ, доступной для этих процессоров. Изобретение также может быть представлено в форме программного продукта. Программный продукт может включать в себя любой носитель информации с записанным на нем набором читаемых компьютером сигналов, представляющих собой команды, выполняя которые процессор реализует способ изобретения. Программные продукты, по изобретению, могут быть представлены в одной из множества форм. Они могут включать в себя, например, физические носители: магнитные (дискеты, жесткие диски), оптические (CD-ROM, DVD), электронные (ПЗУ, флеш-память) и т.п. Читаемые компьютером сигналы программного продукта могут быть сжаты или зашифрованы.
[0050] Если компонент (программный модуль, процессор, агрегат, устройство, схема и т.д.) относится к указанным выше устройствам, то, если не оговорено противное, ссылку на этот компонент (включая ссылки на средства) следует понимать как включающую в качестве эквивалентных любые компоненты, выполняющие функции описанного компонента (т.е. любые функционально эквивалентные компоненты), включая компоненты, не являющиеся структурными эквивалентами раскрытой структуры, но выполняющие функции продемонстрированных вариантов осуществления изобретения.
[0051] Поскольку ряд примеров особенностей и вариантов осуществления изобретения обсужден выше, для специалистов в данной области не составит труда распознавание некоторых их модификаций, видоизменений, дополнений и субкомбинаций. Например:
- Применение изобретения не ограничено конкретными форматами данных изображения или конкретными цветовыми пространствами. Несмотря на то что обрабатываются значения яркости, оригинальные 23 или улучшенные 33 данные изображения необязательно должны быть представлены в формате LUV или любом другом, где значения яркости представлены в явном виде. Изобретение может быть применено и по отношению к другим форматам изображения, содержащим информацию, исходя из которой можно вывести значения яркости. Например, если данные изображения представлены в формате RGB, значения яркости можно получить, используя уравнение (2) или любое другое соотношение, дающее величину, связанную с яркостью, исходя из величин, связанных с отдельными цветами на изображении.
Это, в свою очередь, означает, что следующие прилагаемые пункты формулы изобретения следует понимать как включающие все такие модификации, видоизменения, дополнения и субкомбинации как есть, во всем их объеме и истинной сущности.