ОБРАБОТКА ИЗОБРАЖЕНИЙ С ИЗМЕНЕНИЕМ ЯРКОСТИ ПРИ ЦВЕТОВЫХ ОГРАНИЧЕНИЯХ
IMAGE PROCESSING WITH BRIGHTNESS CHANGE AT COLOUR LIMITATIONS

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к устройствам и способам, и конечным продуктам, таким как продукты или сигналы для хранения или передачи данных, для преобразования изображения с цветами пикселей с первыми яркостями в изображение с цветами пикселей со вторыми яркостями.
УРОВЕНЬ ТЕХНИКИ
Обработка цвета является сложной задачей, в частности, при преобразовании (например, для получения цветовой спецификации, непосредственно пригодной для управления дисплеем, вследствие чего дисплей может принимать меры к управлению его особенностями, например, зависимого(ой) от дисплея поведения или степени контрастности электрооптического воспроизведения) цветов между представлениями цветов, соответствующими динамическим диапазонам входной и выходной яркостей, которые значительно различаются, например, наибольший динамический диапазон, по меньшей мере, в 1,5 раза больше, чем меньший динамический диапазон. Это может происходить, например, при преобразовании из высокого динамического диапазона (HDR) в низкий динамический диапазон (LDR) или наоборот. Диапазон HDR может относиться к воспроизведению на дисплее с более высоким пиком субъективной яркости и, обычно, также более глубокими черными цветами, а также к кодированию сигнала с более высоким динамическим диапазоном зафиксированной сцены, или подлежит использованию с дисплеем с упомянутым более высоким динамическим диапазоном. Специалист должен понимать, что, если, например, представление соответствует конкретному динамическому диапазону, то оно указано соответственно данному диапазону. Цветовая спецификация значит не так много (в частности, в технической области кодирования с диапазоном HDR (HDR-кодирования) или воспроизведения с диапазоном HDR (HDR-воспроизведения)), если не специфицировать яркости, которые соответствуют координатам цвета, (например, следует показать фотографию блока объединения пикселей с максимальной субъективной яркостью или с пониженной субъективной яркостью, чтобы данный блок был больше похож на блок объединения пикселей и меньше похож на светящийся объект). Например, при относительном RGB-кодировании можно утверждать, что белый цвет [1,1,1] соответствует максимальному отображаемому пику субъективной яркости 2000 нит (для HDR-дисплея) и, например, 2-кратно меньшему для другого дисплея (с диапазоном «LDR»), для которого будет получена новая цветовая спецификация. Если цвет указывают в зависимости от устройства, то максимум динамического диапазона может быть пиком субъективной яркости фактического дисплея, и для обобщенных кодировок цветов можно рассмотреть кодирование максимума (например, 255,255,255), соответствующего пику субъективной яркости опорного дисплея (например, 5000 нит). Данный принцип можно применять, каким бы способом ни кодировали цвет (например, в нелинейной модели Lab и т.п.).
В рамках известного уровня техники, попытки преобразования из, например, HDR в LDR столкнулись со значительными сложностями получения хороших цветов (например, естественно выглядящих или с выходными LDR-цветами, достаточно согласующимися с входными HDR-цветами, по меньшей мере, по их хроматическому внешнему представлению, не их субъективной яркости или светлоте) на выходе. Этому способствуют, по меньшей мере, три причины. Во-первых, несколько цветовых пространств, используемых на практике, являются неудобно нелинейными, и даже в таком случае люди не всегда используют их правильно, что приводит к (иногда, трудно предсказуемым) цветовым ошибкам, которые затем требуют значительной дополнительной коррекции. Во-вторых, разные дисплеи имеют свои собственные характерные ограничения, и LDR-дисплей совсем не может создать столько ярких цветов, сколько HDR-дисплей. Это может, например, приводить к вариантам выбора в верхней части цветового охвата с диапазоном LDR (LDR-охвата), с созданием менее чистых цветов. Наконец, качество цветов оценивают по внешним представлениям для наблюдателя, и данный процесс также очень сложен. Сложной математической задачей при несоответствующем отображении цветов является уже ограничение, которое имеет место при отображении цветов в нереализуемые цвета вне границ цветового охвата для конечного дисплея и/или выходного цветового пространства.
Пример системы, которая адаптирует изображение для отображения на дисплее с отличающимся динамическим диапазоном, приведен в заявке US 2006/0104508. В данной системе, в LDR-изображении обнаруживаются зеркальные отражения, и дополнительный динамический диапазон HDR-дисплея используется для повышения субъективной яркости зеркального отражения. Система добивается этого посредством применения кусочно-линейного преобразования.
В известном уровне техники, например, в работе R. Mantiuk et al. «Color Correction for Tone Mapping», Eurographics Vol. 28 (2009), страницы 193-202, сначала указывают тональное отображение в направлении яркости и затем накладывают данное тональное отображение на яркости пикселей во входном изображении. Остающиеся после этого проблемы цветов решают, но, по-прежнему, трудно получить хорошие цвета.
Целью настоящего изобретения является также обработка цвета, которая может производить, в числе прочего, отображение между представлением цветов для более высокого и низкого динамических диапазонов яркости, которое обращает особое внимание на правильное управление хроматическим внешним представлением цветов. И, предпочтительно, также обеспечивается простой способ, который можно дешево внедрить во многие устройства.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Цель осуществляется посредством устройства (201) обработки цвета изображения, выполненного с возможностью преобразования входного цвета (L,x,y) пикселя, указанного в представлении цвета, соответствующем первому динамическому диапазону яркости, в выходной цвет (L*,x,y) пикселя, указанного в представлении цвета, соответствующем второму динамическому диапазону яркости, при этом первый и второй динамические диапазоны различаются по протяженности по меньшей мере на мультипликативный множитель, равный 1.5, причем упомянутое устройство содержит: блок (203) изменения формы тонального отображения, выполненный с возможностью определения отрегулированной выходной яркости (L*, 309) для выходного цвета из входной яркости (L) входного цвета и на основе входного тонального отображения (301), задающего выходные яркости как функцию входных яркостей, и количественного параметра, линейно связанного с входной яркостью (L), причем количественный параметр указывает максимальную яркость, которая для координат (x,y) цветности входного цвета является максимально достижимой в, по меньшей мере, одном из цветового охвата, соответствующего первому динамическому диапазону яркости, и цветового охвата, соответствующего второму динамическому диапазону яркости, для данных координат (x,y) цветности; причем блок изменения формы тонального отображения выполнен с возможностью формирования отрегулированной выходной яркости посредством применения отрегулированного тонального отображения к входной яркости; и блок (203) изменения формы тонального отображения выполнен с возможностью определения отрегулированного тонального отображения посредством адаптации входного тонального отображения, зависящего от количественного параметра, таким образом, что любая отрегулированная выходная яркость (L*, 309), полученная применением отрегулированного тонального отображения к любой входной яркости (L) из всех возможных входных яркостей в пределах ее допустимых значений [0,1], не выше, чем максимальная яркость Lmax(x,y), которая для координат (x,y) цветности входного цвета является максимально достижимой в цветовом охвате, соответствующем второму динамическому диапазону яркости для данных координат (x,y) цветности.
Первоначально, это может представляться связанным с известным уровнем техники по Mantiuk, но следует отметить, что способ по настоящему изобретению фокусируется сначала на сохранении хороших цветов и затем на оптимальной настройке тонального отображения, а не наоборот. То есть, в настоящем изобретении может сохраняться хроматическая спецификация цветов (например, (x,y) или (цветовой тон, чистота цвета) и т.п.) без изменений, вместо выполнения обработки яркостей или субъективных яркостей пикселей и затем некоторой коррекции цвета. Для этого, в настоящем изобретении разработаны собственные тональные отображения (которые могут быть функциями, непосредственно реализующими, или чем-то, реализующим в конечном итоге некое функциональное преобразование типа, например, компьютерного алгоритма, состоящего из подэтапов, которые имеют функциональное поведение, в качестве конечного результата). Кроме того, варианты осуществления обычно имеют начальное входное тональное отображение (301), приближенно указывающее, как должны отображаться цвета, а именно, кодирование цветового LDR-охвата. Но теперь будут выводиться новые, локальные тональные отображения для разных цветностей (x,y), т.е. входное тональное отображение регулируется или адаптируется для создания отрегулированного тонального отображения, при этом адаптация зависит от максимальной(ых) яркости(ей), достижимой(ых) для координат цветности входного цвета. Это может выполняться посредством модификации исходной функции входного отображения относительно ее координатной оси, на которой она указана (т.е. можно либо масштабировать функцию самого входного тонального отображения, например, m*f(входное), где m является множителем, или можно изменять входной сигнал на масштабированный входной сигнал, что, разумеется, также дает отличающийся выходной сигнал по, например, монотонно возрастающей функции, которой, обычно, будут функции тонального отображения в изобретении). Следует отметить, что можно также выполнять нелинейное масштабирование, например, применять степенную функцию или логарифмическое преобразование и т.п. к входной оси, что соответствует изгибу функции нелинейным образом и т.п. То, что предлагаемое(ый) устройство/способ обычно использует, является, по меньшей мере, одним линейным измерением величины цвета, которая сравнивается с максимальной величиной, которая может находиться внутри цветового охвата (для конкретного дисплея ли, или для теоретически заданного цветового охвата цветового пространства), и данный линейный количественный параметр можно с таким же успехом указывать, например, на основе яркости (L) входного цвета. При наличии данной процентной величины яркости в сравнении с максимумом, предлагаемое устройство может решать, как следует оптимально преобразовать ее в любом случае, определяется ли выбранная конкретная стратегия с учетом дополнительных пожеланий к внешнему представлению в связи с цветовым охватом/особенностями дисплея, простого алгоритма или другими соображениями. Однако, все соображения направлены на исключение, по меньшей мере, цветовых ошибок, происходящих в результате ограничения или, по меньшей мере, если в проектное решение включен алгоритм, который оптимизирует посредством допущения некоторого ограничения, с минимизацией данного ограничения. Специалист должен понимать, что это никогда не вызывает получения выходной L* выше Lmax(x,y), которая для монотонно возрастающих функций будет отображением в наивысшей входной части кривой тонального отображения. Специалист должен четко понимать, как можно реализовать много возможных вариантов упомянутого отображения. Это включает в себя определение того, где функция дает наивысший результат, и затем уменьшение масштаба посредством модификации функции, т.е., какое бы изменение формы не применялось ниже, посредством, по меньшей мере, ограничения упомянутой наивысшей точки функции до максимального допустимого значения. Это можно кодировать различными способами, простой математикой для простых случаев и в сложных случаях можно точно смоделировать, какой будет результат, и затем применить способ, который удовлетворяет требованиям.
В этом подходе может, тем самым, вводиться тональное отображение, которое основано на входном опорном тональном отображении, которое может быть независимым от цветности цвета, и которое, в частности, может быть одинаковым для всех цветов в цветовом(ых) охвате(ах). Однако блок изменения формы тонального отображения может адаптировать данное обобщенное или общее тональное отображение до тонального отображения, которое является характерным для цветности входного пикселя, и, в частности, которое зависит от количественного параметра, который отражает максимальную возможную яркость для конкретной цветности во входной цветности. Кроме того, отрегулированное тональное отображение является таким, что отрегулированная яркость не превышает максимальную возможную яркость для цветности во входном цветовом охвате. Таким образом, система допускает регулировку яркости входного сигнала для преобразования между разными динамическими диапазонами, при этом не только обеспечивая, чтобы отрегулированная яркость была такой, что выходное изображение не ограничивается, но также допуская адаптацию одного и того же опорного отображения к разностям возможной яркости. Это может гарантировать, что преобразование входного цвета дает, в результате, выходной цвет с одинаковой цветностью и с согласованной адаптацией яркости по всему цветовому охвату.
Например, одинаковое относительное отображение полного диапазона яркости для каждой цветности можно использовать, несмотря на очень большое различие максимальной яркости в разных диапазонах. Например, к чистым цветам можно применять такое же относительное повышение субъективной яркости, как, например, к, по существу, белым цветам, несмотря на то, что они имеют существенно меньший уровень максимальной субъективной яркости.
Количественный параметр, используемый для адаптации тонального отображения, можно, в частности, определять по входному цвету, например, с использованием таблицы преобразования, обеспечивающей максимальную яркость для всех цветностей в цветовом охвате. Во многих вариантах осуществления, количественный параметр может быть максимальным значением цветового канала в представлении цветовых каналов (например, RGB-представлении цвета) входного цвета. Во многих вариантах осуществления, входная яркость может быть яркостью при цветности и представлением яркости входного цвета (например, представлением xyY).
В частности, количественный параметр может указывать входную яркость относительно максимальной яркости, которая для координат цветности входного цвета является максимально достижимой в цветовом охвате, соответствующем первому динамическому диапазону яркости для данных координат цветности. Возможно, предпочтительно, если устройство (201) обработки цвета изображения содержит блок (203) изменения формы тонального отображения, дополнительно выполненный с возможностью применения монотонного преобразования к функциональной форме входного тонального отображения по сравнению с ее осью, которое задано так, что, если выходные яркости (L_HDR), полученные применением входного тонального отображения (301) к двум разным входным яркостям (L, L_LDR), являются разными, то отрегулированные выходные яркости (L*) для данных входных яркостей также являются разными.
Таким образом, отрегулированное тональное отображение может быть создано посредством адаптации входного тонального отображения с помощью применения преобразования к функциональной форме.
Многие отображения будут соответствовать тому, что никакого ограничения вводиться не будет или оно будет минимальным, следовательно, можно придавать форму, например, средней или нижней части в соответствии с некоторым другим критерием. Если некоторые части кривой, имеющие наибольшие значения, ограничиваются (т.е. например, еще разные, более высокие значения присутствуют на HDR-входе, но не на LDR-выходе), то данное отображение нельзя использовать в стратегии обработки, например, там, где требуется обратимость, как при кодировании сначала отображения входного основного HDR-распределения в (ограничивающее) LDR-кодирование и затем обратном отображении для восстановления HDR-распределения из данного LDR-кодирования. Полезно, если отображение сохраняется монотонным, что можно сделать, например, посредством некоторого (нелинейного) растяжения. Хотя некоторые отображения могут допускать наложения некоторых цветов, упомянутые монотонные функции сохраняют (за исключением квантования) математическую разность между цветами, которые имеют разные яркости в исходной сцене или в, по меньшей мере, например, представлении ее основного распределения. Хотя при воспроизведении на некоторых дисплеях упомянутые разности могут быть иногда незаметными для наблюдателя, они, по меньшей мере, кодируются и могут быть дополнительно использованы, например, приложениями для обработки изображений.
В предпочтительном варианте, устройство (201) обработки цвета изображения содержит блок (203) изменения формы тонального отображения, дополнительно выполненный с возможностью применения плавного преобразования к функциональной форме входного тонального отображения по сравнению с ее осью, определенного так, чтобы получать последовательные разности (310) яркостей для соседних координат (x,y) цветности между отрегулированными выходными яркостями (L*) и выходной яркостью (308), полученной применением отрегулированного тонального отображения (301) к входной яркости (L) цвета, изменяющиеся плавно, на, приблизительно, сходные величины.
Плавность, которую можно также выразить в значениях векторного поля цветовых контрастов вместо, например, преобразований над функцией 301, является интересным свойством для использования в качестве критерия качества для некоторых приложений. Например, линейная компрессия или нелинейная компрессия из небольших частей или учета формы функции 301 могут быть плавными. В таком случае, предлагаемая система работает без большого отличия от отображения цветов, которое уделяет внимание, главным образом, поведению яркости (L).
В предпочтительном варианте, блок (203) изменения формы тонального отображения дополнительно выполнен с возможностью выполнения определения отрегулированной выходной яркости (L*, 309) посредством применения отрегулированной яркости (Ls) в качестве входных данных для входного тонального отображения (301), при этом упомянутая отрегулированная яркость (Ls) выводится посредством применения функции к входной яркости (L) цвета, причем упомянутая функция задается на основании максимальной яркости Lmax(x,y) таким образом, что входная яркость (L), равная упомянутой максимальной яркости Lmax(x,y), отображается в максимальное возможное значение входной яркости (L) для входного тонального отображения (301).
Вместо изменения формы функции, соответствующей входному тональному отображению, можно изменить форму ее оси, например, если должна иметь место простая нелинейная компрессия в x-направлении. В частности, для линейного масштабирования, это может быть намного проще, чем изменение функции, поскольку в таком случае можно вычислить нормальную функцию 301 для масштабированного нового входного сигнала (или использовать данное масштабированное/отрегулированное значение Ls в качестве входных данных для кодирования тонального отображения по таблицам преобразования и т.п.). Регулировка посредством изменения формы оси может эквивалентно выполняться посредством изменения значений функции по оси или посредством изменения значений входных яркостей.
Во многих предпочтительных вариантах осуществления, блок изменения формы тонального отображения выполнен с возможностью формирования масштабированной яркости посредством масштабирования входной яркости в соответствии с первым коэффициентом масштабирования, определенным по количественному параметру; определения масштабированной отрегулированной яркости посредством применения входного тонального отображения к масштабированной яркости; и формирования отрегулированной выходной яркости посредством масштабирования масштабированной отрегулированной яркости в соответствии со вторым коэффициентом масштабирования, соответствующим величине, обратной первому коэффициенту масштабирования.
Приведенное решение может, в частности, обеспечить полезное быстродействие при низком уровне сложности во многих вариантах осуществления.
В предпочтительном варианте устройство (201) обработки цвета изображения использует линейное масштабирование в качестве функции для масштабирования входной яркости (L) цвета. Упомянутая простая функция достаточна для многих сценариев и может быть реализована (например, в интегральной схеме (ИС)) посредством одного простого умножения.
В предпочтительном варианте устройство (201) обработки цвета изображения содержит блок (203) изменения формы тонального отображения, дополнительно выполненный с возможностью использования в качестве количественного параметра, линейно связанного с яркостью (L), максимума (maxRGB) составляющих цветовых каналов (и, в частности, линейных красного, зеленого и синего), определяющих входной цвет (L,x,y). Вследствие линейности, предлагаемый базовый способ можно сформулировать иначе, например, в RGB-пространстве, что минимизирует вычисления, поскольку нормальные изображения/видео кодируются в цветовом пространстве, полученном из RGB (и RGB применяются для управления дисплеем).
В виде количественного параметра можно использовать максимальную составляющую цветовых каналов в представлении цветов входного цвета. Максимальная составляющая цветовых каналов указывает, в частности, максимальную возможную яркость для данной цветности, так как она является составляющей цвета, которая может быть масштабирована, по меньшей мере, перед тем, как происходит ограничение. Иначе говоря, все коэффициенты масштабирования, которые можно применять к цветовому каналу с максимальным значением без приведения данного цветового канала к ограничению, можно также применять к другим цветовым каналам без ограничения.
Во многих предпочтительных вариантах осуществления блок изменения формы тонального отображения выполнен с возможностью формирования отрегулированной яркости посредством применения входного тонального отображения к максимуму составляющих цветовых каналов; и формирования отрегулированной выходной яркости посредством масштабирования отрегулированной яркости в соответствии с коэффициентом масштабирования, зависящим от входной яркости и максимума составляющих цветовых каналов.
Данный подход может обеспечить особенно эффективные работу, быстродействие и/или реализацию во многих вариантах осуществления. Коэффициент масштабирования может быть, в частности, пропорциональным (или равным) отношению между входной яркостью и максимумом (maxRGB) составляющих цветовых каналов.
Во многих предпочтительных вариантах осуществления входной цвет обеспечивается в представлении цветовых каналов, и устройство дополнительно содержит преобразователь представления цветов для формирования входной яркости в качестве яркости цветности и представления яркости входного цвета посредством преобразования представления цветовых каналов входного цвета.
Данный подход может допускать практически полезные и удобные осуществление и работу во многих вариантах осуществления. В частности, использование разных представлений для операции тонального отображения и для адаптации тонального отображения может обеспечивать эффективную работу во многих вариантах осуществления.
Во многих предпочтительных вариантах осуществления устройство обработки цвета изображения дополнительно содержит выходной процессор для формирования выходного цвета в представлении цветовых каналов посредством масштабирования составляющих цветовых каналов входного цвета в соответствии с коэффициентом масштабирования, зависящим от отрегулированной выходной яркости и входной яркости.
Данный подход может обеспечивать особенно эффективные работу, быстродействие и/или реализацию во многих вариантах осуществления и, в частности, в вариантах осуществления, в которых как от входного цвета, так и от выходного цвета требуется использование представлений цветовых каналов. Представления цветовых каналов могут быть, в частности RGB-представлением.
В предпочтительном варианте устройство (201) обработки цвета изображения в любом возможном варианте дополнительно содержит блок (202) определения тонального отображения, выполненный с возможностью определения входного тонального отображения (301, TM*) на основе, по меньшей мере, одного предварительно заданного тонального отображения (TM). В частности, входное тональное отображение может быть предварительно заданным тональным отображением. Простые варианты могут использовать только одно глобальное тональное отображение для всего изображения. Однако, можно использовать любые критерии (например, если способ/устройство работает под управлением конечного наблюдателя в дисплее для адаптации соответственно его предпочтениям, критерием может быть «наблюдатель находит приятными субъективно более яркие синие цвета»), чтобы формировать лучше настроенные локальные функции тонального отображения, например, для областей в плоскости (x,y) или даже специальных пространственных областей или объектов в изображении. Например, можно вывести окончательное входное тональное отображение 301 для адаптации, из, по меньшей мере, одного другого тонального отображения, заданного цветокорректором, (например, посредством его модификации в соответствии с, например, стратегией экстраполяции на область плоскости (x,y)) или посредством интерполяции между двумя такими функциями, или посредством вывода окончательной функции с учетом комплексного анализа множества таких ранее найденных функций (например, красные цвета ведут себя подобно этому на темном участке, поэтому предлагаемую функцию для оранжевого цвета адаптируют на основании поведения красного цвета на темном участке, но на основании поведения желтого цвета при средних яркостях и наблюдают, что происходит в почти нейтральных цветах, и определяют поведение субъективной яркости тонального отображения для оранжевых цветов на основании того, что задано в, по меньшей мере, одном тональном отображении для почти нейтральных цветов).
Базовое устройство обработки цвета изображения может быть, например, частью ИС для обработки изображений и встроенным в различные более крупные устройства, подобные, например, кодеру изображений, содержащему вышеописанное устройство (201) обработки цвета изображения и блок (613) форматирования данных для вывода, по меньшей мере, выходного изображения (Im), содержащего выходные цвета пикселей с координатами (x,y) цветности и отрегулированными выходными яркостями (L*), или декодеру изображений, содержащему вышеописанное устройство (201) обработки цвета изображения и содержащему блок (652) выделения данных, выполненный с возможностью получения цветовых данных пикселей в изображении (Im).
Декодер изображений может содержать блок (652) выделения данных, дополнительно выполненный с возможностью получения тонального отображения (TM) таким образом, что он может выполнять свое тональное отображение на основании, например, того, что уже задано на стороне создания контента. Например, как изложено выше, при повторном определении локальных тональных отображений, например, чтобы выполнять оптимальное тональное отображение для конкретного дисплея, он может начинать с тонального отображения TM, предоставленного создателем контента, и изменять форму минимально, стремясь следовать ему как можно точнее.
Там, где разъяснялась, в основном, оптимизация отображения с учетом цветового охвата посредством обращения особого внимания на его яркую граничную плоскость, разумеется, можно выполнять сходные способы посредством учета также темной граничной плоскости, которая, например, моделирует плохую видимость вследствие фонового освещения около воспроизводящего дисплея.
Изобретение можно осуществить в виде различных способов, например, как способ обработки цвета изображения для преобразования входного цвета (L,x,y) пикселя, указанного в представлении цвета, соответствующем первому динамическому диапазону яркости, в выходной цвет (L*,x,y) пикселя, указанного в представлении цвета, соответствующем второму динамическому диапазону яркости, при этом первый и второй динамические диапазоны различаются по протяженности по меньшей мере на мультипликативный множитель, равный 1.5, причем упомянутый способ содержит следующие этапы: определяют отрегулированную выходную яркость (L*, 309) для выходного цвета из входной яркости (L) входного цвета и на основе входного тонального отображения (301), задающего выходные яркости как функцию входных яркостей, и количественного параметра, линейно связанного с входной яркостью (L), причем количественный параметр указывает максимальную яркость, которая для координат (x,y) цветности входного цвета является максимально достижимой в, по меньшей мере, одном из цветового охвата, соответствующего первому динамическому диапазону яркости, и цветового охвата, соответствующего второму динамическому диапазону яркости, для данных координат (x,y) цветности; причем отрегулированную выходную яркость определяют посредством применения отрегулированного тонального отображения к входной яркости; и определяют отрегулированное тональное отображение посредством адаптации входного тонального отображения, зависящего от количественного параметра, таким образом, что любая отрегулированная выходная яркость (L*, 309), полученная применением отрегулированного тонального отображения к любой входной яркости (L) из всех возможных входных яркостей в пределах ее допустимых значений [0,1], не выше, чем максимальная яркость Lmax(x,y), которая для координат (x,y) цветности входного цвета является максимально достижимой в цветовом охвате, соответствующем второму динамическому диапазону яркости для данных координат (x,y) цветности.
Или, способ обработки цвета изображения, в котором этап определения отрегулированной выходной яркости (L*) дополнительно отличается тем, что он включает в себя определение отрегулированной яркости (Ls) для использования в качестве входных данных для входного тонального отображения (301), при этом упомянутая отрегулированная яркость (Ls) выводится посредством применения функции к входной яркости (L) цвета, причем упомянутая функция задается на основании максимальной яркости Lmax(x,y) таким образом, что входная яркость (L), равная упомянутой максимальной яркости Lmax(x,y), отображается в максимальное возможное значение входной яркости (L) для входного тонального отображения (301).
Или способ обработки цвета изображения, в котором количественный параметр, линейно связанный с яркостью (L) входного цвета, является максимумом (maxRGB) линейных составляющих красного, зеленого и синего (или других цветовых каналов), определяющих входной цвет (L,x,y).
Или способ обработки цвета изображения, содержащий этап определения входного тонального отображения (301) на основе, по меньшей мере, одного дополнительного предварительно заданного тонального отображения.
Изобретение может быть дополнительно осуществлено в виде компьютерного программного продукта, содержащего код, предписывающий процессору реализовать любой из способов или функционирование любого из устройств, и данный продукт может передаваться или распространяться посредством сигналов и т.п.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Приведенные и другие аспекты любого варианта способа и устройства в соответствии с изобретением будут очевидны из последующего пояснения со ссылкой на нижеописанные реализации и варианты осуществления и со ссылкой на прилагаемые чертежи, которые служат единственно неограничивающими конкретными иллюстрациями, поясняющими на примере более общую концепцию, и на которых штриховые линии используются для указания, что компонент является необязательным, при этом компоненты, показанные нештриховыми линиями, не обязательно являются существенными. Штриховые линии могут также применяться для указания таких элементов, которые, как поясняется, являются существенными и скрыты во внутренней части объекта, или для нематериальных сущностей, например, выборов объектов/областей, указаний уровней значений на схемах и т.п.
На чертежах:
Фиг. 1 - схематическое пояснение отображения между представлением цветов/цветовым охватом, зависящих от дисплея с первым динамическим диапазоном, и представлением цветов/цветовым охватом, зависящих от дисплея со вторым динамическим диапазоном;
Фиг. 2 - схематическое пояснение возможной реализации базового устройства в соответствии с настоящим изобретением;
Фиг. 3 - схематическое пояснение того, как можно изменить функцию тонального отображения относительно диапазона на ее входе и выходе, чтобы получить более подходящую локальную функцию тонального отображения, в частности, такую, которая исключает ограничение выходного цвета посредством физического цветового охвата, реализуемого на дисплее, и/или представимыми цветами;
Фиг. 4 - более подробное изображение варианта осуществления устройства в соответствии с настоящим изобретением;
Фиг. 5 - изображение другого варианта осуществления, который относительно дешево выполнить;
Фиг. 6 - схематическое пояснение того, как можно объединить различные варианты предлагаемого устройства с общим видеоканалом; и
Фиг. 7 - схематическое пояснение того, как можно выполнить более сложный вариант осуществления предлагаемого способа или устройства с локальными функциями тонального отображения с более высокой степенью изменчивости, где:
Фиг. 7a - представление цветового охвата в сечении (яркость, чистота цвета),
Фиг. 7b - представление треугольной проекции основы цветового охвата в цветовой плоскости (цветового тона, чистоты цвета), и
Фиг. 7c - представление возможного метода получения набора локальных функций посредством их вывода в виде интерполированных функций между двумя предварительно указанными функциями вдоль общей оси яркости для двух совмещенных цветовых охватов (например, LDR в HDR), в соответствии с некоторой интерполяционной стратегией.
ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 схематически представляет отображение между первым и вторым представлением цветов, соответствующим первому и второму диапазонам представимых яркостей (называемых также динамическим диапазоном). Без потери общности будет принято допущение, что представление цвета можно непосредственно использовать для управления конкретным дисплеем посредством линейного умножения яркости цвета на пик субъективной яркости дисплея. Разумеется, цветовое пространство может быть промежуточным и, например, зависимым от дисплея цветовым пространством, что означает, что перед тем, как цвета воспроизводятся, они должны быть оптимально отображены для конкретного дисплея и т.п. Хотя отображение может также выполняться в обратном порядке, объяснение будет дано на примере отображения из меньшего диапазона представимых яркостей (называемого для простоты низким динамическим диапазоном LDR) в больший диапазон (высокий динамический диапазон HDR). Это означает, что физический цветовой охват воспроизводимых цветов, когда управляют HDR-дисплеем, будет больше, чем физический цветовой охват LDR-дисплея. Для простоты на чертеже изображены цветовые охваты (которые, как упоминалось, были приняты как цветовые охваты, задаваемые для опорных цветовых охватов, являющихся фактическими двумя дисплеями с разными динамическими диапазонами, которые для простоты различаются только пиками субъективной яркости, а не, например, основными цветами и, как полагают для простоты, удовлетворяют условиям линейной электрооптической передаточной функции, имеют одинаковое отражение от передней панели и т.п.) как LDR, так и HDR, нормированные к виду с максимальной яркостью L, равной 1, так что, в таком случае, оба имеют одинаковый цветовой охват 101, и отображение цветов состоит из перемещения цветов в разные позиции в данном цветовом охвате. Важно знать, что Z-ось представления является линейной яркостью L, а не нелинейным (например, со степенью контрастности 0,45) яркостным сигналом Y. Это то, что можно также называть субъективно-яркостной составляющей всех цветов (являющихся 3-мерными объектами). Что касается хроматической составляющей цветов, они определены координатами (x,y) CIE, но, разумеется, для настоящего изобретения будут равным образом возможны другие определения хроматических цветовых плоскостей. В данной цветовой плоскости основа цветового охвата будет вырезать треугольную форму из полукруга или цветового круга, окружающего ее, и в ней можно (как общеизвестно из колориметрии) задать два дополнительных параметра: угол, который называют в дальнейшем цветовым тоном, и составляющую, направленную наружу от ахроматической L-оси, которую называют в дальнейшем чистотой s цвета (настоящее разъяснение также не усложняют в дальнейшем подробным изложением отличий от психофизической полноты цвета). Координаты x и y являются, фактически, нелинейными количественными параметрами, поскольку они заданы в виде x=X/(X+L+Z) и y=L/(X+L+Z), и их аксонометрия является нелинейной. Это, в частности, имеет следствием, что верхние пределы цветового охвата являются не прямыми линиями, а кривыми, но пояснение настоящего изобретения не изменяется, если допустить, что они являются прямыми линиями. Фактически, настоящее изобретение обладает таким полезным свойством, как возможность, по меньшей мере, некоторых вариантов осуществления исключать потребность табулирования фактической формы границы цветового охвата.
Предположим далее, что имеется объект в LDR 106, в отношении которого допустим для простоты, что он имеет единственный цвет (L_LDR, x,y), для которого требуется определить соответствующий HDR-цвет (L_HDR, x,y). Для простоты принято, что хроматическая часть определения цвета остается прежней, и изменяется только определение нормированной яркости (но, разумеется, предлагаемые способы можно объединять с дополнительной обработкой, которая модифицирует также определение цветности некоторым образом). В таком случае, принято допущение, что цвет остается, приблизительно, прежним и выглядит только ярче (на HDR-дисплее), если придать ему отличающуюся яркость, но те же (x,y). Следует также отметить результаты определения ОТНОСИТЕЛЬНОЙ яркости, и как она работает с разными логическими обоснованиями отображения. Например, может потребоваться, чтобы цвет, например, лица, смотрелся на HDR-дисплее с пиком субъективной яркости 2000 нит в точности таким же, как на LDR-дисплее на 500 нит. Хотя воспроизводимая выходная яркость 2000*L_HDR будет в таком случае такой же, как 500*L_LDR, это значит, что, при нормированным (линейном) представлении на фиг. 1, для создания такого же конечного воспроизводимого цвета, L_HDR будет составлять 1/4 от L_LDR, что можно видеть из нижней позиции объекта вдоль L-оси. В настоящее время, разумеется, могут быть другие логические обоснования отображения для определения отображения между первым представлением цвета Col_LDR и вторым представлением цвета Col_HDR. Например, поскольку ясно, что дисплей с пониженным динамическим диапазоном никогда не сможет точно воспроизвести субъективно более яркие цвета HDR-дисплея, то можно пожелать их АППРОКСИМАЦИИ. В случае, если объект является, например, источником света, содержащим цвета пикселей в пределах диапазона яркостей [Lmin, Lmax], ограничение источника света в LDR-представлении цвета (хотя и не в Col_HDR) можно считать таким, что, например, Lmin находится очень близко к 1 (в цифровом 8-битном представлении это может быть, например, 253). Однако, во многих вариантах осуществления будет полезно налагать на предлагаемые отображения такие условия, чтобы отображения были в большой степени обратимыми, в частности, чтобы они не теряли слишком много информации HDR-представления цвета в случае, если его потребуется восстановить из LDR-представления цвета, что имеет место, например, в случае сильного ограничения или квантования и т.п. Поэтому, возможно, потребуется выполнить с лампой-объектом нечто более сложное, чем простое линейное ограничение, что называется цветовым грейдингом, и, если желательно наивысшее качество, то он обычно выполняется не автоматическим алгоритмом, а, по меньшей мере, частично корректируется (исходя из автоматического первого отображения при полуавтоматическом грейдинге) специалистом-цветокорректором, художником со вкусом и опытом определения цветов наилучшим возможным способом как для HDR-, так и для LDR-дисплея, т.е. представлений Col_HDR и Col_LDR.
Специалисту должно быть ясно, что предлагаемый способ применим для преобразования цветов в любом сценарии, например, посредством программного обеспечения для фотокоррекции, но также, например, внутри модуля оптимизации цветов интегральной схемы (ИС) для обработки изображений в HDR-телевидении или любом промежуточном устройстве обработки изображений, сервисе оптимизации изображений, выполняемом на удаленном сетевом компьютере, и т.п. Однако, настоящее изобретение требуется пояснить дополнительно, когда оно формирует часть HDR-кодека, недавно предложенного авторами настоящего изобретения. В данном кодеке представлено входное основное HDR-распределение (предположим, например, кодированное с 16-битным или 32-битным линейным L или в форме 3×16-битного линейного RGB, или кодированное в плавающем представлении и т.п.) в виде, например, совместимого с предыдущими версиями 8-битного (или, например, 10-битного) LDR-изображения (которое затем можно сжимать традиционным методом компрессии типа MPEG2, AVC, HEVC или VP8 и т.п.), но также, в виде метаданных, со стратегией (тонального/яркостного) отображения цвета (по меньшей мере, функцией тонального отображения L_HDR=F(L_LDR), но, возможно, с большим числом стратегий преобразования кодированного цвета), чтобы получать HDR-представление цвета (Col_HDR) из того, как оно было кодировано в виде LDR-изображения (с пикселями, заданными в Col_LDR). То есть, в настоящем изобретении, HDR-изображение плавно преобразовывалось в LDR-изображение, которое может непосредственно использоваться для LDR-воспроизведения и смотрится достаточно хорошо, по утверждению корректора, работающего для создателя или собственника контента. Если данное LDR-изображение непосредственно показывают на HDR-дисплее, оно все же не смотрится настолько хорошо, поскольку, хотя все объекты могут быть распознаваемыми, обычно, множество объектов сцены могут выглядеть более яркими, т.е. они не оптимально плавно преобразованы для HDR-дисплея. Установка всех яркостей и цветов объекта снова в позиции, которые диктуются HDR-распределением, предписанным создателем контента, является тем, что алгоритмы отображения цвета, кодированные в метаданных, реализуют при применении к LDR-изображению. Теперь данное декодирование LDR-изображения для получения HDR-изображения для управления HDR-дисплеем может (в виде единственного алгоритма отображения или части набора алгоритмов) использовать варианты осуществления настоящего способа.
Таким образом, конкретное примерное описание может относиться к системе, в которой LDR-изображение, обычно, (полу)автоматически формируется из исходного HDR-изображения. Затем LDR-изображение распространяется и может быть воспроизведено непосредственно LDR-дисплеем. Кроме того, одна или более функций тонального отображения могут распространяться вместе с LDR-изображением, при этом функции тонального отображения обеспечивают информацию о том, как HDR-изображение может быть сформировано из LDR-изображения. Функции тонального отображения могут, в частности, описывать подходящие функции преобразования яркости, которые можно применить к LDR-изображению для формирования HDR-изображения, которое имеет точное сходство с HDR-изображением.
Тональное отображение для отображения HDR-изображения в LDR-изображение существует в нескольких предыдущих версиях, а также существуют немногочисленные, очень приблизительные алгоритмы автоматического преобразования для преобразования входной LDR-картины (например, из видео на универсальном цифровом диске (DVD) или диске BD (Blue-ray)) в HDR-изображение с представлением цвета, более подходящим для HDR-визуализации, т.е. например, максимально повышающим пользу HDR-дисплея путем воспроизведения более ярких объектов особенно яркими. Например, яркие объекты можно обнаруживать как «источники света» в LDR-изображении (например, такие небольшие участки, как зеркальные отражения, ограниченные до 255) и затем значительно повышать их яркость по сравнению с остальной сценой при HDR-кодировании (или, фактически, при нормированном HDR-кодировании сохранять на уровне 255, но снижать яркости [или, для вариантов осуществления, которые не кодируют, как в приведенном упрощенном пояснении, цвета с использованием кодирования яркости, адаптировать посредством снижения кодированных значений/яркостных сигналов, соответствующих упомянутым яркостям] всех остальных объектов сцены по сравнению с LDR-яркостями), так что яркие объекты выделяются как субъективно яркие в остальной сцене. В приведенном примере светлого объекта 105 на фиг. 1, который может означать, что в HDR-представлении источник света кодируют не в отношении L_HDR = 1/4 от L_HDR, а, например, в отношении 0,8×L_HDR. При приведенном подходе упомянутые источники света (т.е. конечная воспроизводимая выходная яркость от дисплея) будут воспроизводиться насколько возможно яркими на LDR-дисплее и исключительно яркими на HDR-дисплее. Тогда тональное отображение в совмещенных нормированных цветовых охватах задает, что яркость пикселей источника света в LDR-изображении следует умножать на 0,8 до конечного повышения, реализуемого конечным умножением на пик субъективной яркости HDR-дисплея, равный 2000 нит.
^
Однако, в рамках известного уровня техники, сначала обычно выполняется данное тональное отображение и затем некоторая цветокоррекция, при необходимости. Действительно, во многих известных подходах сначала применяется масштабирование яркости, которое может привести к ограничению или изменению цвета для некоторых пикселей, и с последующей цветокоррекцией, добивающейся устранения упомянутых искажений. Разумеется, если бегунки для разных колориметрических преобразований работают параллельно, то специалист-цветокорректор может делать, что пожелает, но имело бы смысл сначала задать правильные яркости (или субъективные яркости) и затем выполнить некоторое преобразование цвета (в частности, потому, что цвет зависит от яркостного сигнала во многих прикладных системах). Фактически, обычно, пусть колориметрически и психофизически неточно, но, конечно, просто (если не придавать слишком большого внимания относительно большим цветовым ошибкам), специалисты выполняют обработку в нелинейных пространствах кодировок цвета, как, например, YCrCb. Это, в конечном счете, приводит к преобразованию в RGB-сигнал управления дисплеем и, обычно, к избыточным или малым величинам, по меньшей мере, одного из упомянутых основных цветов, т.е. цветовым ошибкам. Если предполагается, что способом обработки является отображение цвета при сохранении конкретного значения Y яркостного сигнала (например, в диапазоне цветов изменяемой цветности), то следует понимать, что данная обработка еще не приводит к точным яркостям, поскольку нелинейный яркостный сигнал отличается от яркости. Поэтому, хотя изменение яркости среди, например, разных цветов в одной и той же картине может быть, в некоторых случаях, достаточно малым, чтобы вызывать приемлемый небольшой интерес, ошибка все же существует и иногда может быть неприемлемой. Наихудшая ошибка возникает вследствие такой трактовки CrCb, словно они являются координатами цветности, независимыми от яркости. Изменение таких координат может иметь относительно неблагоприятные последствия как для конечной яркости воспроизводимого объекта, так и для его хроматического цвета (т.е. цветового тона и чистоты цвета). И, в некоторых сценариях, даже небольшие ошибки цветового тона могут быть проблематичными (следует заметить, что зрение человека может различать ошибки в пару нанометров, или, иначе говоря, в зависимости от условий наблюдения и эксперимента, можно утверждать, что релевантными являются, по меньшей мере, 100 разных цветовых тонов по окружности). Кроме того, такое пространство, как RGB, не является полностью интуитивным и простым для применения, даже для очень опытных цветокорректоров. Вследствие нелинейности, всегда может возникнуть некоторое (неожиданное) изменение цвета, и, в частности, если имеется немного (возможно, недостаточно понятных) алгоритмов для применения (и пользовательские интерфейсы могут быть слишком неточными, например, можно пожелать изменения формы кривой тонального отображения конкретным образом, но ее нельзя настроить достаточно точно), то выполнение в полной мере всех корректировок цвета может быть сложной задачей (в частности, простым и быстрым путем). Например, элементы управления RGB представляются относительно простыми, так как, если картина представляется слишком зеленоватой, то можно несколько убавить зеленый цвет, и даже для необычных нелинейных кривых будет уже быстро получаться несколько менее зеленоватый вид в среднем. Однако, остается вопрос, что если потребуется сделать картину более желтоватой для получения эффекта теплого вечера? В таком случае, потребуется управлять как R, так и G, но тогда картина является все еще особенно желтой. Если регулировать бегунок степени контрастности в программном обеспечении обработки HDR-изображения, как, например, в Photomatix, то можно столкнуться с такими проблемами, как ложные цвета в черных цветах или неверные цвета для промежуточных яркостей. Если в системе по-прежнему присутствует любая нелинейность между участками, где регулируются цвета, и где происходит колориметрическое определение цветов (т.е. воспроизведение дисплеем, которое линейно привносит свет), то существует риск изменения цвета. Например, если требуется повысить субъективную яркость смеси белого с цветом, то можно внести изменение в линейном пространстве (W,c) в K2*W^2+c^2. Разумеется, это вызвало бы некоторое снижение чистоты цвета. Однако, изменение в (K*W+c)^2 привело бы к дополнительному члену 2K*c смешения, который зависит от количества цвета c, т.е. это привело бы к отличающемуся конечному воспроизводимому цвету. Иногда цвета выходят слишком пастельными или слишком лубочными или высокочистыми в зависимости от предпочтений специалиста. Тогда имеется бегунок чистоты цвета, который можно использовать, чтобы попробовать скорректировать упомянутый недостаток. Некоторые могут прямо воспользоваться этим, чтобы придать некоторый (дополнительный) вид картине. Например, может иметься туманная улица при вечернем уличном освещении, и тогда можно повысить чистоту цвета несколько больше естественной, чтобы придать улице праздничный желтоватый вид. Некоторые, как представляется, даже предпочитают такие экстремальные профили, как высокочистый неприятный профиль, но в настоящем изобретении основное внимание сосредоточено в дальнейшем на разъяснении изобретения для случая, когда добиваются более естественных цветов. В любом случае, получение правильных цветов в трех их колориметрических координатах по всему изображению (и для видео, единообразного по съемочным кадрам последовательных изображений) не всегда является простой задачей. Также в зависимости от того, как задается преобразование цвета, особенно, если цветокорректор желает применить несколько более необычные функции тонального отображения (что, возможно, будет происходить нечасто при нормальной цветокоррекции с почти равными цветовыми охватами, как, например, при коррекции частичных программ из нескольких камер на месте работы, но имеет высокую вероятность, когда очень широкие диапазоны яркости с несколькими важными поддиапазонами яркости требуется отображать для отображения цветовых охватов с сильно различающимися характеристиками), следует быть аккуратным, чтобы цвета не становились слишком необычными, слишком странными даже при том, что их нельзя легко дополнительно скорректировать. В приведенном примере HDR, кодированного традиционным способом как LDR + метаданные для тонального/цветового отображения данного LDR в HDR (что можно назвать HDR-кодированием «LDR-контейнера»), требуется обеспечить условия, что, если создается LDR-изображение, соответствующее основному HDR-распределению, его цвета не должны слишком отличаться от основного распределения и даже, предпочтительно, должны быть как можно более похожими, в соответствии с некоторым(ой) критерием или стратегией согласования, например, по меньшей мере, более темные цвета воспроизводятся одинаковыми на обоих дисплеях, насколько цветовой охват LDR-дисплея допускает это.
Таким образом, во многих сценариях настоятельно требуется, чтобы преобразование из, например, LDR-изображения в HDR-изображение можно было выполнить так, чтобы оно не вносило значительных изменений цвета в изображение. Упомянутое требование часто очень трудно выполнимо, и, в частности, большинство подходов в соответствии с известным уровнем техники, обычно, вносят искажение цвета при преобразовании между разными динамическими диапазонами яркости, с необходимостью, в таком случае, последующего исправления искажений (или следует допускать соответствующее снижение качества).
Нафиг. 2 схематически показано, как, в общем, может выглядеть устройство 201 обработки цвета изображения, охватывающее большинство из вариантов осуществления настоящего изобретения, допускающее базовый режим выполнения способа. Специалисту будет понятно, что данная часть базового модуля может быть связана с различными другими модулями для, например, хранения или обеспечения цветов пикселей, блоками, использующими отображенный цвет или, по меньшей мере, его (выходную отображенную) яркость L*, и т.п., и что приведенные базовые блоки могут быть реализованы, например, интегрированным методом в виде программы системы программного обеспечения, выполняемой в процессоре. Блок 202 определения тонального отображения определяет входное или опорное тональное отображение TM* для текущего пикселя. В более простых вариантах осуществления упомянутое входное/опорное тональное отображение может быть определено, обычно, на основе того, как распределяются значения яркости объектов входного изображения, подлежащего отображению, и можно получить в распоряжение глобальную функцию отображения изображения (или кадров изображений и т.п.). Таким образом, входное тональное отображение может быть отображением, которое не характерно для отдельного пикселя, но которое может быть основой преобразования динамического диапазона для множества пикселей, например, области изображения или набора изображений и всего изображения или целой группы изображений. Входное тональное отображение может быть отображением, которое не характерно для отдельной цветности, но которое может быть основой преобразования динамического диапазона для множества разных цветностей и, в частности, может быть полностью независимым от цветностей (и может быть только функцией яркости). Таким образом, входное тональное отображение может быть опорной функцией, которая задает зависимость между входными яркостями и выходными яркостями.
В соответствии с принципами вариантов осуществления предлагаемого способа, затем потребуется преобразовать упомянутое отображение в новые отображения для разных хроматических поддиапазонов (например, цветового тона, чистоты цвета), например, для каждого значения входных цветностей (x,y). Таким образом, при приведенном подходе, входное тональное отображение, не специфическое в отношении цветности, можно адаптировать до отрегулированного тонального отображения, которое является характерным для конкретных значений или диапазонов цветности. Отрегулированное тональное отображение может быть, в частности, отображением, которое отображает характеристики входного тонального отображения (например, в виде формы или вариации кривой, связывающей входные и выходные яркости), но которое отрегулировано соответственно конкретным характеристикам цветности преобразуемого пикселя. В частности, отрегулированное тональное отображение создается в зависимости от значения/количества/параметра, которое/ый указывает максимальную яркость, которая возможна для цветности преобразуемого пикселя. Таким образом, отрегулированное тональное отображение, которое применяется к пикселю, может отражать входное тональное отображение (которое, например, может быть задано метаданными, принятыми с LDR-данными), а также конкретными характеристиками отдельного пикселя. Этот подход можно, в частности, использовать для применения искомого преобразования между яркостями разных динамических диапазонов, обеспечивая в то же время, чтобы это не вносило искажений цвета и поэтому не требовало цветокоррекционной постобработки. Таким образом, во многих сценариях можно достигнуть улучшенного преобразования яркости без снижений качества цвета.
Разумеется, предлагаемый способ работает также с, возможно, намного более сложными стратегиями тонального отображения, когда имеется несколько заданных стратегий тонального отображения, например, тональное отображение может также определяться, например, на основании того, из какой зоны в изображении происходит пиксель, и т.п. Обычно, в конфигурации варианта осуществления, входное/опорное тональное отображение TM*, подлежащее оптимизации для конкретной хроматической области цветового охвата кодировок цветов, например, значения (x,y), будет зависеть от, по меньшей мере, одного обеспеченного тонального отображения TM, которое может быть, например, (предварительно) создано цветокорректором для всего изображения, (например, от функции степени контрастности с коэффициентом gam>1, которая главным образом увеличивает яркость более ярких областей или затемняет менее яркие области). Когда говорят предварительно созданный, читатель будет понимать, что это может быть в тот же момент времени в случае, когда устройство 201 обработки цветов изображения формирует часть машины грейдинга в центре грейдинга, но TM может также поступать из, например, съемной памяти, подобной, например, диску BD, или по сетевому соединению, если устройство 201 формирует часть, например, телевизора или дисплея, и тональное отображение TM было определено несколькими месяцами ранее. В случае, если имеется только одно тональное отображение TM, оно может передаваться непосредственно (как входное тональное отображение TM*) в блок (203) изменения формы тонального отображения, что делает блок 202 необязательным, однако, как изложено ниже, могут существовать варианты осуществления, в которых несколько (по меньшей мере, одну дополнительную) функций тонального отображения (или, в общем, стратегий) определяются для разных цветностей (x,y), что, в таком случае, должно выполняться блоком 201. Таким образом, в некоторых вариантах осуществления, входное тональное отображение TM* может быть единственным учитываемым и доступным опорным тональным отображением. В других вариантах осуществления, входное тональное отображение TM* может быть выбрано из множества возможных опорных тональных отображений.
Блок 203 изменения формы тонального отображения может, в частности, определять новое тональное отображение, называемое отрегулированным тональным отображением, которое имеет форму соответственно максимальной возможной яркости при нормированном цветовом охвате дисплея (или в случае ненормированных эквивалентных вариантов осуществления, более ограниченном из двух цветовых охватов) для значения (x,y) обрабатываемого цвета пикселя, а именно Lmax(x,y). В частности, функция тонального отображения может быть изменена по форме относительно входящих яркостей L (которые известны как имеющие значения в диапазоне [0,1] в нормированном представлении), поэтому можно реализовать аналогичный характер изменения при любом применении (частичном или полном), к функции тонального отображения или к ее входному параметру L.
На фиг. 3 поясняется один простой возможный пример того, как можно осуществить формирование данной кривой тонального отображения.
В отличие от способов тонального отображения для формирования изображения с более высоким или низким динамическим диапазоном (т.е. для использования с отличающимся пиком субъективной яркости), которые сначала определяют яркости (или яркостные сигналы) и затем модифицируют цвета (обычно, чтобы скорректировать ошибки, которые возникли на первом этапе), предлагаемый способ обычно начинается с хроматической части цвета, например, (x,y), и оставляет его без изменения (поэтому в хроматическом отношении объекты изображения смотрятся уже, в основном, правильно). Таким образом, хроматическую часть выходного цвета/пикселя выбирают такой же, как на входе. Таким образом, (x,y) на выходе можно настроить идентичными (x,y) на входе. Затем система изменяет яркость для данного цвета при ограничивающем условии сохранения постоянной цветности (x,y) (что несложно сделать, требуется только одномерно изменить L-составляющую цветов пикселей). Таким образом, для представления в виде xyY, xy на выходе устанавливается равным xy на входе, и Y на выходе создается из Y на входе, на основании отрегулированного тонального отображения.
Разумеется, специалист должен понимать, что с помощью предлагаемого способа можно также отойти от упомянутого исходного принципа сохранения цветности совершенно без изменений, например, если цветокорректор пожелает выполнить дополнительную настройку цвета по какой-либо причине. Но, обычно, предлагаемый способ будет функционировать так, что новый цвет определяется отображением из исходного цвета в конечную яркость (L в L* или, например, L_LDR в L_HDR), при этом с сохранением после обработки выходной цветности (x,y)*, равной (x,y) входного цвета, и затем, по желанию, что (x,y,L*) может, при необходимости, претерпевать дополнительную операцию преобразования цвета для модификации хроматического вида цвета(ов).
Предположим далее, что цветокорректор определил одну функцию 301 тонального отображения для изображения (или, возможно, съемочного кадра последовательных изображений сцены в кино), которая определяется, например, главным образом в зависимости от цветового режима ахроматических цветов (т.е. оттенков серого на L-оси, которые изменяются в диапазоне как L_LDR в [0,1] и L_HDR в [0,1]). Упомянутая примерная функция сначала имеет небольшой наклон для темных областей, так как яркости, воспроизводимые окончательно в HDR, будут усилены в сравнении с кодированием умножением на коэффициент PEAKBRIGHTNESS_HDR/PEAKBRIGHTNESS_LDR (ПИК СУБЪЕКТИВНОЙ ЯРКОСТИ В HDR/ПИК СУБЪЕКТИВНОЙ ЯРКОСТИ В LDR) отношения максимальных или искомых максимальных субъективных яркостей двух дисплеев, и так как может быть принят критерий качества воспроизведения, согласно которому желательно, чтобы упомянутые темные цвета смотрелись (почти) одинаковыми на обоих дисплеях. Потом, для субъективно ярких цветов (которые могут быть, например, цветами солнечной натурной сцены, видимой через окна относительно темной комнаты, в которой находилась камера) начинается усиление цветов со все более круто наклоненным отображением, чтобы сделать их относительно яркими на HDR-дисплее. В данном примере принято во внимание, что существуют источники света, которые являются, например, слишком яркими для комфорта на HDR-дисплее (возможно, для данного пользователя, если тональное отображение TM точно настраивалось им в верхней части, начиная с базового тонального отображения от создателя кинофильма), поэтому, вместо настройки HDR-дисплея на его максимальную возможную субъективную яркость, в данном примере тональное отображение было немного выровнено для областей изображения с максимальной субъективной яркостью. Пример данного входного или опорного тонального отображения представлен кривой 301 на фиг. 3. Таким образом, тональное отображение/функция 301 на фиг. 3 является обобщенным тональным отображением, которое в описанном подходе адаптировано к характеристикам конкретной цветности (x,y). Поэтому, для характеристик тонального отображения может быть желательно отражение при отображении для всех цветностей. Однако, для некоторых цветностей максимальная возможная яркость существенно ниже, чем максимальная яркость для цветового охвата (т.е. для белого), и поэтому применяться будет только поднабор кривой, если кривая 301 использовалась непосредственно для тонального отображения. Например, для чистого красного будут использоваться только характеристики диапазона низких и средних яркостей, и в преобразовании не будет отражаться распространение в высокий диапазон.
В таком случае возникает вопрос, как можно простым примерным способом придать форму данной функции 301 тонального отображения, чтобы получить удовлетворительное новое тональное отображение 302 в соответствии с настоящим изобретением для каждых конкретных (x,y), которое будет использовано для определения выходной яркости L* при входной яркости текущего цвета скользящего пикселя, например, L_in = 0.6? Функцию можно растянуть простым линейным умножением таким образом, что она выдает, в виде выходной L_HDR, максимально допустимое значение Lmax(x,y) яркости для упомянутых (x,y) в случае, если входной цвет имеет такое максимально допустимое значение в качестве яркости L. Например, если конечная точка кривой 301 была (1,0, 1,0), и Lmax(x,y) для текущего пикселя на краю цветового охвата равно 0,8, данная кривая будет сжата так, что она заканчивается в (0,8, 0,8). Поскольку известно, что входной цвет, подлежащий отображению, никогда не может иметь яркость выше, чем 0,8 для упомянутой цветности, но он может иметь яркость ниже, чем 0,8 (например, 0.6), то известно, что упомянутая линейно масштабированная функция никогда не может для меньших яркостей дать результат в L_HDR выше 0,8 (при условии, что выполняется масштабирование максимума любой функции отображения, которая применяется, к данному значению 0,8). Таким образом, уже приняты меры к тому, чтобы не происходило никакого ограничения, которое обычно приводит к серьезным цветовым артефактам.
Таким образом, в качестве примера на фиг. 3, кривая 301 модифицируется так, что она согласуется с максимальной яркостью в цветовых охватах для цветности входного цвета. В примере, входной и выходной цветовые охваты основаны на первичных цветах, имеющих одинаковые цветности, и, таким образом, относительная максимальная яркость для каждой цветности является одной и той же. Например, в приведенном примере, максимальная яркость для рассматриваемого цвета равна 0,8 от максимальной яркости в цветовых охватах (т.е. для белого). Кривая 301 соответственно регулируется так, что конечные точки кривой находятся в максимальных яркостях для цветности (т.е. в (0,8, 0,8) в конкретном примере). Пример такого отрегулированного тонального отображения 302 показан на фиг. 3.
Отрегулированное тональное отображение 302 может, в частности, иметь форму, соответствующую входному тональному отображению 301, но сжатому в диапазон, соответствующий возможным яркостям для конкретной цветности. В результате, преобразование яркости будет не только отражать характеристики части входного тонального отображения, но будет отражать характеристики всей кривой. Поэтому данный подход не только обеспечивает, чтобы посредством преобразования яркости не вносилось никакого ограничения (и таким образом, чтобы цветность не изменялась), но также допускает преобразование, более соответствующее, например, предпочтениям цветокорректоров в отношении преобразования.
Вопрос, связанный с упомянутым подходом, состоит в том, какие функции отображения желательны в различных вариантах осуществления устройства 201 и способа? Использовать можно, например, любую обратимую функцию (т.е. взаимно-однозначное отображение L_LDR и L_HDR). Поскольку тогда можно выполнять отображение из HDR в LDR и обратно (однако, некоторые варианты осуществления настоящего изобретения могут использовать также необратимые функции, например, в приложениях, в которых требуется только преобразование из LDR в HDR, возможно, допустимо, если бы по некоторой причине некоторые разные LDR-цвета отображались в идентичные HDR-цвета, хотя, обычно, исходя из критерия визуального качества, такой вариант менее предпочтителен). Например, дискретная функция, которая отображает (при определении в диапазоне [0,255]) L_LDR=0 в L_HDR=1, 1 в 3, 2 в 2, 4 в 5, 6 в 12, 7 в 8 и т.п., будет обратимой. Но в более предпочтительном варианте будут применяться монотонные функции (фактически, монотонно возрастающие функции), так что порядок яркостей между цветами в LDR-изображении и HDR-изображении не изменяется (слишком сильно), и некоторые варианты могут совершенно не требовать слишком большого изменения разностей или отношений последовательных цветов в обеих картинах. Но функция отображения не обязательно должна иметь непрерывность первого порядка (т.е. возможно прерывистое отображение, например, 128 в 200, 129 в 202 и 130 в 1000 и 131 в 1002). Тем не менее, некоторые варианты осуществления могут использовать непрерывные функции, которые, например, состоят из сегментов степенных функций (например, полилинейный, поликриволинейный сплайн) или аналогичной формы, и они могут создаваться цветокорректором, перемещающим точки привязки. Или цветокорректор может начертить некоторые точки привязки, и функция интерполируется между ними. Обычно функции будут реализовывать некоторое локальное поведение для важных цветовых областей в изображении, повышая яркость или изменяя контраст данных областей. Поэтому, локальные наклоны функций могут изменяться значительно, если они не становятся равными нулю, что сделает функцию необратимой. Цветокорректор может также использовать, например, кнопку, которая переключает между функциями степени контрастности с увеличивающейся крутизной (gam =1,2, 1,5, 2, 2,5, 3, …), или разработать функции локальной компрессии типа S-кривых и т.п. В настоящее время данный алгоритм работает правильно (особенно, если также ограничивают выбор функций отображения для использования) вследствие целого ряда колориметрических свойств.
С алгоритмом известного уровня техники, концентрирующим внимание преимущественно на спецификации яркости, (т.е. фиксации ее в первую очередь и затем модификации (x,y)* для исправления искажения цветности) будет выполняться, например, преобразование входного цвета (x,y,0,6) в (x,y,0,28) (цвет 308). Однако, с алгоритмом, предложенным в настоящей заявке, будут получать выходной цвет Col_HDR, равный (x,y,0,37), т.е. цветность будет, по существу, той же самой. Яркость может быть несколько «отклонена», но, по меньшей мере, цвет смотрится таким же. В соответствии с тем, какой существует критерий и тест, иногда субъективная яркость цвета важнее, чем, например, цветовой тон (например, для создания впечатления в изображении), но, во многих приложениях, подобных упомянутому кодированию LDR-контейнера, наличие неверного(ой) цветового тона или чистоты цвета может быть более серьезной проблемой (это также зависит от того, какой объект (например, лицо) воспроизводится, в какой ситуации и т.п.). Действительно ли заботится наблюдатель об абсолютной яркости цвета: если он не видит исходной сцены, и пока она не становится неестественно субъективно яркой. Например, если лампа в изображении является чрезмерно субъективно яркой, то уже имеется HDR-эффект. И она будет выглядеть по-разному на более ярком (10000-нит) или темном (2000-нит) HDR-дисплее во всяком случае, если дисплеем управляют при одинаковой кодировке цвета. В частности, важно то, что многие цвета будут выглядеть с отличающейся яркостью на LDR-дисплее, поскольку их никак нельзя сделать достаточно субъективно яркими, поэтому каждый алгоритм тонального отображения уже должен чем-то жертвовать. Именно это делает критерий «все цвета должны иметь идентичное поведение яркости при любой их цветности», т.е. должны иметь отображение их яркости, задаваемое кривой отображения, определенной для ахроматической оси, единственным удовлетворительным критерием. Во-вторых, даже если один из критериев будет правильным критерием, поле цветовых контрастов 310 (или, фактически, обычно разностей яркостей) является нормально, если уже не мало, по меньшей мере, плавно изменяющимся по цветовой плоскости. В настоящее время, данные плавные изменения уже трудно выявить при условии, если цветовое пространство разреженно выбирается конкретными объектами, фактически присутствующими в изображении, но в динамичном видео, за исключением ситуации, когда будут иметь место раздражающие грубые флуктуации уровня, наблюдатель будет концентрироваться на сюжете, а не на небольших изменениях цвета. Данные отклонения допускаются также потому, что цветовое зрение человека оценивает истинный спектральный характер объектов сцены с помощью только трех колбочек сетчатки глаза, что, к тому же, не идеально моделируется математически, но оказалось, однако, фактом вследствие эволюционного изменения животных. Поэтому, в областях неидеально выбирающих отсчеты наложений, мозгу несколько трудно, в одно и то же время, точно оценивать цветовой тон, а также субъективную яркость и полноту цвета/чистоту цвета. Поэтому, хотя человеческая зрительная система может быть иногда поразительно избирательной, в других случаях на практике она может оценивать представление цвета как, по меньшей мере, допустимо достаточное. Кроме того, данная стратегия может интерпретироваться мозгом в виде локальных цветных объектов, модулирующих одно тонально отображенное/сформированное освещение при посредстве спектральных характеристик, соответствующих их цветностям, так как верхняя граница цветового охвата дисплея приближенно следует тому, как объекты различных цветов ведут себя в отношении яркости, (т.е. отфильтровывают некоторую часть света путем, например, поглощения).
Следовательно, приведенное отображение не только дает подходящие колориметрические результаты, но оно является также простым для реализации, что полезно как в устройствах на стороне цветокорректора (который может быстро вносить показываемые в реальном времени изменения грейдинга), так и в потребительских товарах типа, например, дисплеев, подобных мобильным дисплеям, или в устройствах манипулирования с изображениями, подобных телевизионным приставкам, которые, учитывая снижение цен, могут нуждаться в простых блоках на ИС для обработки изображений.
По принципу относительности, масштабирование функции эквивалентно масштабированию осей. Разумеется, в большинстве обобщенных форм предлагаемого способа, функцию не обязательно только масштабировать, так как можно изменять ее форму, например, также дополнительно в ее нижней части, соответствующей более темным цветам, пока высокая часть выполняет преобразования цвета в пределах цветового охвата, т.е. обычно для монотонных функций верхнее значение (в принципе, как аргумента, так и результата функции, т.е. как L_LDR, так и L_HDR, но, по меньшей мере, максимально возможного получаемого L_HDR в случае, например, математической процедуры отображения, содержащей указания по этапу преобразования вместо простой функции; например, поведение без выхода за пределы цветового охвата реализуется, если входные цвета, равные не Lmax(x,y), а, например, равные a*Lmax(x,y)+b, отображаются в Lmax(x,y), хотя простые варианты осуществления будут использовать только a=1 и b=0) совпадает с локальным для максимальной яркости Lmax(x,y) цветности.
Фиг. 4 показывает пример того, как можно реализовать отображение цвета по предлагаемому способу в случае, если тональное отображение применяется в заданном виде (т.е. без изменения формы, без масштабирования), но реализуется то же самое поведение посредством преобразования входного значения L_LDR в него. Любому специалисту по колориметрии будет понятно, как можно изменять или заменять блоки, которые, например, используют другую колориметрическую спецификацию входных цветов в различных возможных работающих с цветом устройствах (например, сенсорной части камеры, когда способ применяется в камере для получения выходного JPEG-изображения).
Источник данных 401 изображения подает информацию о цвете пикселя в данный вариант осуществления устройства 201 обработки цвета изображения. Источник может быть, например, памятью, сетевым соединением, блоком формирования изображений, подобным, например, блоку генерации компьютерной графики или датчику камеры и т.п. Один (интегрированный) или несколько (первый, второй, третий) преобразователей (402, 403, 404) цветового пространства преобразуют цвета пикселей (по пикселям или даже на основании региональной информации об изображении и т.п.) из, обычно, начального цветового пространства (подобного пространству YCrCb, если источник цвета является, например, кодированным телевизионным сигналом, например, со спутника через приемное устройство) в, например, нелинейное пространство R'G'B' (здесь ‘ означает степень контрастности, например, 0,45) и затем в линейное пространство RGB. Обработку желательно выполнять в данном линейном пространстве RGB, так как оно имеет полезные свойства (хотя, в качестве альтернативы, предлагаемый способ может быть также предназначен для работы, например, в нелинейном пространстве). Блок 405 анализа изображения анализирует изображение и, в приведенном примере, цвет текущего пикселя. Из его трех цветовых составляющих R, G и B, упомянутый блок определяет максимальную составляющую, называемую maxRGB. Поэтому, если цвет определен, например, в нормированных координатах 0,9, 0,3, 0,85, то maxRGB=0,9. Данное значение maxRGB является важным, так как ограничение имеет место, когда одно из управляющих значений после преобразования цветов должно быть больше, чем 1,0. Возможны также цветовые ошибки, когда одно из значений оказывается ниже 0,0, и можно разработать, с соответствующими изменениями, предлагаемый алгоритм с учетом приведенного соображения (настраивающий нижнюю часть кривой отображения, например) или даже учесть, что значения должны быть выше, чем, например, 0,1 ввиду внешней засветки передней стороны экрана, что соответствует ограничению цветового охвата нижней ограничивающей плоскостью, не являющейся плоскостью основания (L=0). Однако, для простоты в дальнейшем принято, что характер изменения около 0 является простым, и предлагаемый алгоритм поясняется только при ограничивающем характере изменения на стороне высокой яркости цветового охвата.
В примере на фиг. 4 определяется максимальный (maxRGB) из составляющих цветовых каналов, представляющих вход, т.е. в конкретном примере определяется наибольшая составляющая их цветовых каналов R, G или B. Данное значение является количественным параметром, который указывает максимальную яркость для цветности входного цвета/пикселя, и, в частности, он отражает отношение между текущей яркостью и максимальной яркостью, которая возможна в цветовом охвате без ограничения. Например, для входного цвета, заданного значениями RGB = (0,9, 0,3, 0,85), значение maxRGB = 0,9 указывает, что яркость входного цвета составляет 90% от максимально возможной яркости. Действительно, это отражает тот факт, что максимальное относительное повышение яркости, возможное для данной цветности без какого-либо ограничения, равно масштабированию на 1/0,9=1,11. Таким образом, максимальная яркость для входного цвета с данной цветностью равна (1, 0,33, 0,94). Таким образом, значение maxRGB обеспечивает количественный параметр, который используется для адаптации входного тонального отображения, чтобы сформировать отрегулированное тональное отображение, характерное для данной цветности.
В конкретном примере на фиг. 4 входная яркость для отрегулированного тонального отображения является яркостью L из третьего преобразователя 404 цветового пространства, и полученная отрегулированная яркость для выходного цвета является значением L*, которое зависит как от входного тонального отображения, так и от значений maxRGB. Таким образом, отрегулированная выходная яркость L* зависит от входного тонального отображения, значения maxRGB и от входной яркости.
В конкретном примере на фиг. 4 отрегулированное тональное отображение основано на входном тональном отображении, но адаптировано посредством масштабирования обоих значений на входе и выходе тонального отображения. Действительно, сначала входная яркость L масштабируется посредством первого коэффициента масштабирования в первом блоке 406 масштабирования для формирования масштабированной яркости, Затем входное тональное отображение применяется к данной масштабированной яркости в блоке 407 тонального отображения, и затем выходной результат масштабируется посредством второго коэффициента масштабирования во втором блоке 408 масштабирования для формирования отрегулированной выходной яркости L*. Первый и второй коэффициенты масштабирования являются обратными друг другу, и таким образом, второй блок 408 масштабирования компенсирует действие первого блока 406 масштабирования.
Кроме того, первый и второй коэффициенты масштабирования определяются из указания максимальной яркости для цветности. В конкретном примере, первый коэффициент масштабирования равен величине, обратной максимальной яркости для цветности и второй коэффициент масштабирования равен максимальной яркости для цветности. Таким образом, фактически, данный подход обеспечивает нормирование входной яркости по отношению к максимальной возможной яркости для цветности и затем применяет входное тональное отображение к нормированной яркости. Затем второй коэффициент масштабирования умножает результат на максимальную яркость для цветности, чтобы обратить нормирование. Общий эффект состоит в том, что входное тональное отображение масштабируется до конкретной максимальной яркости для цветности. Например, данный подход соответствует масштабированию, показанному для кривых 301 и 302 на фиг. 3. В конкретном примере, максимальная яркость для цветности вычисляется как входная яркость, деленная на значение maxRGB.
Таким образом, данный подход основан на том, что нормальную кривую 301 тонального отображения требуется применять не к исходной яркости пикселя L, а к некоторой модифицированной яркости L*, которая, например, умножается на коэффициент 2, если масштабированное тональное отображение 302 было получено делением исходного тонального отображения 301 на коэффициент 2.
Поэтому, если яркость текущего обрабатываемого пикселя будет находиться на границе цветового охвата (т.е. L будет равной Lmax(x,y), например, 0,8), то к ней будет применяться масштабированная обработка, т.е. трактовка входного сигнала/аргумента, как если бы он был равен 1,0, и трактовка результата/выхода функции, как если бы он был равен 1,0, но теперь масштабированный до 0,8. Если L оказывается равной половине от максимального значения для масштабированной кривой, т.е. 0,4, то будет осуществляться ее трактовка, как если бы масштабированное входное значение Ls составляло половину от максимального значения для исходной кривой 301, т.е. 0,5, и будет повышаться выход функции для данного значения.
В примере на фиг. 4, блок 405 анализа изображения выполнен с возможностью вычисления коэффициента масштабирования, равного текущей яркости L, деленной на maxRGB. Преимущество данного подхода состоит в том, что, хотя некоторые варианты осуществления настоящего изобретения могут хранить в памяти таблицу всех значений Lmax(x,y), не требуется никакой информации о форме верхней плоскости цветового охвата, например, параметрах моделирующих ее сплайнов. Это объясняется тем, что можно определить, насколько L может повышаться до своего максимума Lmax(x,y) от значения maxRGB, что является нетрудной операцией масштабирования в линейных пространствах, подобных RGB и xyL (где требуется только, чтобы L была линейной). Например, известно, что L=0,4, и цвет может быть любым в локальном диапазоне [0, Lmax(x,y)] из цвета, который еще можно значительно усилить до цвета на границе цветового охвата. Но теперь, например, maxRGB равно 0,5, и, что действительно имеет место для данного цвета (цветового тона, чистоты цвета или x,y), R является наивысшим из трех основных цветов, т.е. данного основного цвета требуется больше всего, чтобы составить цвет, т.е. он будет ограничиваться первым при повышении яркости L цвета. Как известно, линейный R еще можно повысить умножением на коэффициент 2, поэтому L можно повысить умножением на коэффициент два (поскольку она является линейной комбинацией R,G,B с одинаковыми весовыми коэффициентами, и коэффициент усиления может быть установлен как множитель, за исключением суммирования). Поэтому блок 405 вычислил, во-первых, что локальная Lmax(x,y) равна 2*0,4=0,8, и, во-вторых, что фактическая яркость пикселя находится в середине диапазона возможных яркостей (как выходной результат цветового/тонального отображения). Поэтому в блоке 407 тонального отображения следует применить функцию к входу, находящемуся в середине диапазона [0,1]. Теперь ясно, что исходная L, равная 0,4, не находится в середине. Поэтому L масштабируется с помощью первого блока 406 масштабирования таким образом, что она становится верным значением масштабированной яркости Ls в диапазоне [0,1] из L, заданной в диапазоне [0, 0,8]. Это можно выполнить, например, делением на полученное значение L/maxRGB. Фактически, можно просто применить maxRGB в качестве входных данных для функции 301 тонального отображения, так как это даст верную входную позицию в диапазоне [0, 1], поскольку L/(L/maxRGB)=maxRGB. В таком случае, блок 407 тонального отображения получает значение L_HDR для этих входных данных 0,5 L_LDR. Тогда, разумеется, требуется второй блок 408 масштабирования, чтобы выполнить фактическое масштабирование до диапазона [0, 0,8], потому что иначе можно получить, например, функцию 301 тонального отображения с очень слабым наклоном в яркой части, которая остается намного выше 0,9 для входных сигналов выше 0,4 и по-прежнему подвергается ограничению. Поэтому второй блок 408 масштабирования изменяет масштабированный выход L*s снова до локального диапазона [0, 0,8] яркости или, фактически, [0, Lmax(x,y)], выдавая окончательную L* в пределах неограничивающего диапазона. Например, если 0,4 стало m*0,4, и это привело к выходному результату L*s=1,0-d, то окончательный результат будет (1,0-d)/m=(1,0-d)*Lmax(x,y)<Lmax(x,y).
Наконец, преобразователь 409 цветового пространства преобразует цвета пикселей из определения (x,y,L*) в любое определение цвета, которое требуется для приложения, например, выходной нелинейный RGB-триплет R'G'B'*.
Специалисту будет понятно, что данный принцип можно реализовать множеством способов, и варианты осуществления, которые имеют некоторое предпочтение, являются такими, которые производят как можно меньше вычислений. Как показано на фиг. 5, над линейными кодировками RGB-цвета можно выполнять операции, уменьшающие число вычислений посредством, например, исключения преобразователя 409 цвета. Данный вариант осуществления устройства 201 выполняет, по существу, в верхней части то же самое: определение Lmax(x,y) коэффициента масштабирования и получение тонально отображенного значения L*. В данном варианте осуществления, блок 405, выполняющий все математические вычисления для определения коэффициента масштабирования, разделен на отдельный блок 505 вычисления maxRGB и блок 502 деления. Кроме того, вместо выполнения полного преобразования цвета в xyY, поскольку координаты (x,y), фактически, не требуются, так как информация подразумевается в R,G,B, блок 501 определения яркости должен вычислять только a*R+b*G+c*B, где a, b и c являются предварительно заданной постоянной функцией основных цветов, используемых (опорным) дисплеем, например, основных цветов в стандарте EBU. Как изложено выше, теперь maxRGB является входным сигналом в блок 407 тонального отображения, который использует кривую 301. После окончательного масштабирования блоком 408 масштабирования получается правильно масштабированная преобразованная яркость L*.
Теперь новым по сравнению с фиг. 4 является блок 510 определения усиления, который вычисляет коэффициент усиления. И вновь, вследствие линейности пространства RGB и того, что цветность (или цветовой тон и чистота цвета) входного цвета не изменяются, изменение яркости состоит только в простом усилении с усилением g, что также можно применять непосредственно к линейным RGB-составляющим пикселя. Т.е. усиление равно яркости конечного цвета L*, деленной на яркость L исходного входного цвета, и блок 511 умножения (или три параллельных блока умножения) умножает R, G и B, соответственно, на одинаковый g, чтобы получить RGB*, линейную кодировку выходного цвета.
При более подробном рассмотрении, в подходе на фиг. 5 используется тот факт, что L/(L/maxRGB)=maxRGB, и таким образом, непосредственно применяется значение maxRGB к входному тональному отображению блока 407 тонального отображения. В ответ, блок 407 тонального отображения формирует отрегулированную яркость. Тогда, выходная отрегулированная яркость формируется посредством масштабирования данного значения с помощью подходящего коэффициента масштабирования во втором блоке 408 масштабирования. Коэффициент масштабирования для данного масштабирования создается как максимальная яркость для цветности и, в частности, создается как частное от деления входной яркости L на значение maxRGB. Таким образом, коэффициент масштабирования второго блока 408 масштабирования зависит от входной яркости и максимума составляющих цветовых каналов, т.е. значения maxRGB.
Следует понимать, что подходы, показанные на фиг. 4 и 5, являются эквивалентными и, по существу, эквивалентны одной и той же обработке, но с разными реализациями. В частности, следует отметить, что, для обоих примеров, отрегулированная выходная яркость L* формируется в зависимости от входной яркости L и количественного параметра, отражающего максимальную яркость для цветности (maxRGB в данном примере), и основана на основополагающем опорном или входном тональном отображении. Таким образом, в обоих подходах выполняется тональное отображение из входной яркости L в отрегулированную выходную яркость L* с использованием отрегулированного тонального отображения, которое создается из входного тонального отображения в ответ на количественный параметр, указывающий максимальную яркость, возможную для цветности входного цвета в цветовых охватах.
Следует отметить также, что можно полагать, что в подходах, показанных на фиг. 4 и 5, используются входные данные из двух разных представлений цветов входного цвета. Яркость цвета соответствует яркости представления входного цвета в представлении цветности и яркости, например, представлении xyL (и является не только значением составляющей цветового канала). Адаптация входного тонального отображения основана на максимальном значении составляющей для цветовых каналов представления цветовых каналов и, в частности, RGB-представления. Обычно, входной цвет обеспечивается только в одном представлении, и устройство соответственно содержит преобразователи для преобразования между разными форматами, при необходимости.
В примере на фиг. 5, входной цвет обеспечивается в представлении цветовых каналов и, в частности, RGB-представлении. Аналогично, выходной цвет обеспечивается в таком же формате цветовых каналов (т.е. RGB-представлении). Вместо преобразования представления результата тонального отображения из формата xyL* в форма RGB, подход на фиг. 5 предусматривает выходные схемы, которые непосредственно формируют RGB-представление выходного цвета посредством масштабирования RGB-представления входного цвета.
В частности, выходная схема содержит блок 510 определения усиления, который переходит к формированию отношения между отрегулированной выходной яркостью L* и входной яркостью L. Данное отношение указывает величину, умножением на которую следует увеличивать входную яркость в соответствии с отрегулированным тональным отображением. Следует отметить, что, поскольку яркости являются относительными яркостями по отношению к максимальным яркостям в разных цветовых охватах, полученный определением коэффициент масштабирования отражает, по существу, изменение динамических диапазонов между входом и выходом.
Вследствие линейного характера RGB-представления, RGB-представление выходного цвета соответственно создается блоком 511 умножения, по отдельности умножающим каждую из составляющих цветовых каналов RGB на полученный определением коэффициент g масштабирования. В результате, выход блока 511 умножения является выходным цветом, имеющим такую же цветность, как входной цвет, и яркость, определенную посредством отрегулированного тонального отображения.
Фиг. 6 представляет всего один пример сетевой общей системы, содержащей две подсистемы, использующие вариант осуществления изобретения. Первая подсистема является системой грейдинга на месте создателя контента. Устройство 601 цветового грейдинга получает исходное изображение или видео из памяти 602 изображений, при этом упомянутое исходное видео может быть, например, таким, которое фиксируется цифровой камерой, подобной ARRI или RED. Цветокорректор выполняет первичные корректировки цвета для получения основного HDR-изображения (/видео), и далее предполагается, что цветокорректор создает также LDR-изображение в соответствии, например, с принципом LDR_контейнера посредством тонального отображения основного HDR-изображения в 8- или 10-битное MPEG сжатое конечное изображение Im. Данное тональное отображение выполняется первым вариантом осуществления 2011 предложенного устройства 201 обработки цвета изображения, которое может быть осуществлено в виде, например, модуля системы программного обеспечения устройства цветового грейдинга, который может быть выполнен также с возможностью выполнения других операций. С данной целью, блок 603 цветового грейдинга определяет, по меньшей мере, одну функцию (301, TM) (или алгоритм) тонального отображения. Разумеется, предлагаемый способ может также работать со стратегиями полностью автоматического преобразования, без участия цветокорректора, когда, например, функции тонального отображения определяются посредством анализа статистического распределения изображения, микросвойств, подобных контрасту локальных текстур и т.п. Изображение (LDR) Im и, по желанию, также само тональное отображение TM (так как оно содержит полезную информацию и необходимую информацию для повторного получения точного основного HDR-распределения, если LDR-изображение Im является кодированной в LDR-контейнере версии HDR-изображения), сохраняются во второй памяти 610 изображений. Через некоторое время, упомянутые данные изображения (Im и, по желанию, TM) могут передаваться в транслятор 624 изображений/видео, например, через спутник 621 и антенны 620 и 623. Затем, упомянутый транслятор может в его искомое время передавать изображение или видео конечным пользователям, например, по кабелю или альтернативному видео, по требованию, по сети Internet и т.п. В подсистеме на стороне наблюдателя, устройство 650 обработки изображений получает изображение Im и, возможно, тональное отображение TM. Предполагается, что оно определяет свое собственное новое тональное отображение TM 2, например, для преобразования теперь LDR-изображения Im в HDR-изображение, подходящее для управления HDR-дисплеем 651, например, телевизором или кинопроекционной системой и т.п. Устройство 650 обработки изображений содержит второй вариант 2012 осуществления, например, любого из вышеописанных вариантов осуществления устройства 201 обработки цвета изображения. Изображенное устройство содержит в качестве составной части кодер или передатчик, содержащий обобщенный вариант блока 613 форматирования данных. Специалист должен понимать, что данный блок может иметь много форм, например, способов дополнительного кодирования или организации кодирования изображения или цвета его пикселей, например, применять компрессию изображения/видео в данные, подобно, например, стандарту HEVC, выполнять форматирование или дополнительное кодирование, подобное, например, канальному кодированию, зависящему от того, сохраняются ли данные, например, на носителе данных или передаются по некоторому каналу передачи данных и т.п. В качестве части принимающего блока показан также блок 652 выделения данных, который также может быть любым блоком или сочетанием блоков, приводящим, в итоге, к искомой информации изображения, т.е. он может физически содержать блоки демодуляции, блоки декомпрессии изображения/видео, блоки переформатирования, блоки обработки изображений и т.п.
Чтобы показать некоторые другие возможные варианты на основе концепции в соответствии с предлагаемым способом, на фиг. 7 показано, как он может работать с несколькими тональными отображениями для триолеобразных фигур с разными (x,y). В данном одном возможном примере, цветокорректор теперь разработал свою кривую TM_A тонального отображения для области почти нейтрального цвета (около L-оси), точно также, как в вышеописанных примерах единственной кривой тонального отображения. Однако, для синеватых цветов цветокорректор принимает во внимание тональное отображение TM_B для получения более качественных цветов. Теперь цветокорректор может задать упомянутую вторую кривую, например, для цветовой области между цветовыми тонами h [h1,h2], и соответствующую пределу s_L чистоты цвета. Начиная с данной субъективной спецификации, устройство 201 обработки цвета изображения может теперь автоматически определять любое искомое тональное отображение для каждых (x,y). Например, упомянутое устройство может использовать TM_A для всех цветов (x,y) снаружи сектора [h1,h2] цветовых тонов, использовать интерполированное тональное отображение TM_I для связности в секторе для величин чистоты цвета ниже s_L и интерполяцию (например, использовать TM_B всюду) в секторе выше s_L (или также использовать небольшую интерполяцию вблизи границ, внутри или снаружи, сегмента с окружающей частью цветового круга, если желательна большая непрерывность характера изменения. Специалист может понять, что возможно много способов получения интерполированной функции, например TM_I(s)=a(s)*TM_A(s)+b(s)*TM_B(s), где весовые коэффициенты между выходными результатами обеих функций зависят от чистоты цвета и поэтому изменяются некоторым функциональным образом в нижней части чистоты цвета сектора цветовых тонов. В любом случае, после получения локального тонального отображения TM_I или любого другого, можно использовать в точности такой же способ, который описан выше, посредством подходящего масштабирования до локально доступного диапазона яркостей в цветовом охвате таким образом, что не может происходить никакого ограничения.
Алгоритмические составляющие, раскрытые в настоящем тексте, могут быть (полностью или частично) реализованы на практике в виде аппаратного обеспечения (например, частей специализированной ИС) или в виде программного обеспечения, выполняемого в специализированном процессоре цифровых сигналов или универсальном процессоре и т.п. Они могут быть полуавтоматическими в том смысле, что, по меньшей мере, какой-то пользовательский ввод может/мог присутствовать (например, ввод на заводе или потребителем, или ввод другим человеком).
Из приведенного изложения специалисту должно быть понятно, какие компоненты могут быть необязательными усовершенствованиями и могут быть реализованы в сочетании с другими компонентами, и как (необязательные) этапы способов соответствуют соответствующим средствам устройств и наоборот. То, что некоторые компоненты раскрыты в настоящем изобретении в некоторой взаимной связи (например, на одной фигуре в некоторой конфигурации), не означает, что в качестве вариантов осуществления невозможны другие конфигурации в соответствии с теми же принципами изобретения, раскрытыми в настоящей патентной заявке. Кроме того, то, что по практическим причинам описан только ограниченный спектр примеров, не означает, что другие варианты не могут быть в объеме охраны формулы изобретения. Фактически, компоненты изобретения могут быть осуществлены в разных вариантах на протяжении любого рабочего тракта, например, все варианты на создающей стороне, подобные кодеру, могут быть аналогичны или могут соответствовать соответствующим устройствам на потребляющей стороне разбитой на части системы, например, декодеру, и наоборот. Несколько компонентов вариантов осуществления могут кодироваться как специальные параметры сигнала в сигнале для передачи или дополнительного использования, например, координации, в любой технологии передачи между кодером и декодером и т.п. Формулировка «устройство» в настоящей заявке используется в самом широком смысле, а именно, группы средств, допускающих достижение конкретной цели, и поэтому может быть, например, (небольшой частью) ИС или специализированного прибора (например, прибора с дисплеем), или частью сетевой системы и т.п. «Схема» или «система» также предполагает употребление в самом широком смысле, поэтому она может содержать в числе прочего единственное физическое покупное устройство, часть устройства, совокупность (частей) взаимодействующих устройств и т.п.
Название «компьютерный программный продукт» следует понимать как включающее в себя любую физическую реализацию совокупности команд, предписывающих универсальному или специализированному процессору, после ряда этапов загрузки (которые могут включать в себя этапы промежуточного преобразования, например, трансляции на промежуточный язык и конечный язык процессора) для ввода команд в процессор, выполнять любую из характерных функций изобретения. В частности, компьютерный программный продукт может быть реализован в виде данных на носителе, например, диске или ленте, данных, присутствующих в памяти, данных, распространяющихся по сетевому соединению, проводному или беспроводному, или программном коде на бумаге. Кроме программного кода, характеристические данные, необходимые для программы, также могут быть осуществлены как компьютерный программный продукт. Такие данные могут (частично) предоставляться любым способом.
Изобретение или любые данные, пригодные для использования в соответствии с любыми основополагающими принципами настоящих вариантов осуществления, подобные видеоданным, можно также осуществить в виде сигналов на носителях данных, которые могут быть съемной памятью, подобной оптическим дискам, флэш-памяти, съемным жестким дискам, портативным устройствам, записываемым беспроводными средствами и т.п.
Некоторые из этапов, необходимых для работы любого представленного способа, уже могут присутствовать среди функций процессора или любых вариантов осуществления устройства в соответствии с изобретением, вместо описанных в компьютерном программном продукте или любом блоке, устройстве или способе, описанных в настоящей заявке (с особенностями вариантов осуществления изобретения), например, этапы ввода и вывода данных, общеизвестные обычно встроенные этапы обработки, например, управления стандартным дисплеем и т.п. Также требуется защита для получаемых продуктов и аналогичных результатов, подобных, например, конкретным новым сигналам, предусмотренным на любом этапе способов или в любой составной части устройств, а также при любых новых применениях таких сигналов, или в любых сопутствующих способах.
Следует отметить, что вышеупомянутые варианты осуществления поясняют, а не ограничивают изобретение. Когда специалист может легко реализовать отображение приведенных примеров на другие области формулы изобретения, все данные возможности для краткости подробно не упоминаются. Кроме сочетаний элементов изобретения, объединенных в формуле изобретения, возможны другие сочетания элементов. Любое сочетание элементов может быть реализовано в единственном специализированном элементе.
Никакая позиция в скобках в пункте формулы изобретения и никакой конкретный символ на чертежах не предназначены для ограничения пункта формулы изобретения. Формулировка «содержащий» не исключает присутствия элементов или аспектов, не перечисленных в пункте формулы изобретения. Признак единственного числа по отношению к элементу не исключает присутствия множества таких элементов.