СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ ИЗОБРАЖЕНИЯ ВЫСОКОГО ДИНАМИЧЕСКОГО ДИАПАЗОНА, СООТВЕТСТВУЮЩИЙ СПОСОБ ДЕКОДИРОВАНИЯ И УСТРОЙСТВО ДЕКОДИРОВАНИЯ
METHOD AND DEVICE FOR ENCODING AN IMAGE OF A HIGH DYNAMIC RANGE, A CORRESPONDING DECODING METHOD AND A DECODING DEVICE

1. ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
В нижеследующем, раскрываются способ и устройство для кодирования изображения высокого динамического диапазона. Дополнительно раскрываются соответствующий способ декодирования и устройство декодирования.
2. ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
В нижеследующем, цветное изображение содержит несколько массивов выборок (значений пикселя) в особом формате изображения/видео, который указывает всю информацию касательно значений пикселя изображения (или видео) и всю информацию, которая может быть использована дисплеем и/или любым другим устройством, чтобы визуализировать и/или декодировать изображение (или видео), например. Цветное изображение содержит, по меньшей мере, одну составляющую, в форме первого массива выборок, обычно составляющую яркости (или светимости), и по меньшей мере, одну другую составляющую, в форме, по меньшей мере, одного другого массива выборок. Или, эквивалентно, та же самая информация также может быть представлена посредством набора массивов выборок цвета (цветные составляющие), такого как традиционное трехцветное RGB представление.
Значение пикселя представляется посредством вектора из n значений, где n является числом составляющих. Каждое значение вектора представляется с помощью числа битов, которое определяет максимальный динамический диапазон значений пикселя.
Изображения Стандартного-Динамического-Диапазона (изображения SDR) являются цветными изображениями, чьи значения светимости представляются с помощью ограниченной динамики, обычно измеряемой в степени двух или ступенях экспозиции. Изображения SDR имеют динамику около 10 ступеней экспозиции, т.е. отношение 1000 между самыми яркими пикселями и самыми темными пикселями в линейной области, и кодируются с помощью ограниченного числа битов (наиболее часто 8 или 10 в HDTV (системы Телевидения Высокой Четкости) и UHDTV (системы Телевидения Сверх Высокой Четкости) в нелинейной области, например, посредством использования ITU-R BT.709 OEFT (Оптико-Электрическая-Функция Переноса) (Rec. ITU-R BT.709-5, апрель 2002г.) или ITU-R BT.2020 OETF (Rec. ITU-R BT.2020-1, июнь 2014 г.), чтобы уменьшать динамику. Данное ограниченное нелинейное представление не обеспечивает корректного рендеринга небольших вариаций сигнала, в частности в темных и светлых диапазонах светимости. В изображениях Высокого Динамического Диапазона (изображениях HDR), динамика сигнала много выше (вплоть до 20 ступеней экспозиции, отношение один миллион между самыми яркими пикселями и самыми темными пикселями) и новое нелинейное представление требуется для того, чтобы обеспечивать высокую точность сигнала по всему его диапазону. В изображениях HDR, необработанные данные обычно представляются в формате с плавающей точкой (либо 32-битном или 16-битном для каждой составляющей, а именно float (число с плавающей точкой) или half-float (число половинной точности)), наиболее популярным форматом является формат числа половинной точности openEXR (16-бит на составляющую RGB, т.е. 48 битов на пиксель) или в целых числах с длинным представлением, как правило, по меньшей мере, 16 битов.
Цветовая палитра является определенным полным набором цветов. Наиболее распространенное использование относится к набору цветов, которые могут быть точно представлены в заданном условии, таком как в заданном цветовом пространстве или посредством определенного устройства вывода. Цветовая палитра иногда определяется посредством основных цветов RGB, определенных в диаграмме цветности цветового пространства CIE1931, и точкой белого.
Например, цветовая палитра определяется посредством цветового пространства RGB ITU-R Рекомендация BT.2020 для UHDTV. Более старый стандарт, ITU-R Рекомендация BT.709, определяет меньшую цветовую палитру для HDTV. В SDR, динамический диапазон определяется официально вплоть до 100 нитов (кандела на квадратный метр) для объема цвета, в котором кодированы данные, несмотря на то, что некоторые технологии дисплея могут показывать более яркие пиксели.
Изображения Высокого Динамического Диапазона (изображения HDR) являются цветными изображениями, чьи значения светимости представлены с помощью динамики HDR, которая выше динамики изображения SDR.
Динамика HDR еще не определена стандартом, но можно ожидать динамического диапазона вплоть до нескольких тысяч нитов. Например, объем цвета HDR определяется посредством цветового пространства RGB BT.2020 и значения, представленные в упомянутом цветовом пространстве RGB, принадлежат к динамическому диапазону от 0 до 4000 нитов. Другой пример объема цвета HDR определяется посредством цветового пространства RGB BT.2020 и значения, представленные в упомянутом цветовом пространстве RGB, принадлежат к динамическому диапазону от 0 до 1000 нитов.
Приведение к шкале цветов изображения (или видео) является процессом изменения/улучшения цветов изображения (или видео). Обычно, приведение к шкале цветов изображения включает изменение объема цвета (цветового пространства и/или динамического диапазона) или изменение цветовой палитры касательно данного изображения. Таким образом, две разные версии приведенной к шкале цветов одного и того же изображения являются версиями данного изображения, значения которого представлены в разных объемах цвета (или цветовой палитре) или версиями изображения, у которых, по меньшей мере, один из их цветов был изменен/улучшен в соответствии с разными шкалами цветов. Это может включать взаимодействие с пользователем.
Например, в кинематографическом производстве, изображение и видео захватываются используя трехцветные камеры в RGB значения цвета, составленные из 3 составляющих (Красный, Зеленый и Синий). RGB значение цвета зависит от трехцветных характеристик (основных цветов) датчика. Первая приведенной к шкале цветов версия захваченного изображения тогда получается для того, чтобы получить театральные визуализации (обычно особая театральная шкала). Как правило, значения первой приведенной к шкале версии захваченного изображения представляются в соответствии со стандартизованным YUV форматом, таким как BT.2020, который определяет значения параметра для UHDTV.
Затем, Колорист, обычно в связке с Главным Оператором, выполняет управление значениями цвета первой приведенной к шкале цветов версии захваченного изображения посредством тонкой настройки/подстройки некоторых значений цвета для того, чтобы привить художественный замысел.
Задачей, которая требует решения, является распространение сжатого изображения HDR (или видео) при этом, также, распространяя связанное изображение SDR (или видео), представляющее собой приведенную к шкале цветов версию упомянутого изображения HDR (или видео).
Очевидным ращением является одновременное вещание изображения (или видео) как SDR, так и HDR по инфраструктуре распространения, но недостатком является виртуальное удвоение требуемой полосы пропускания в сравнении с унаследованной инфраструктурой распространения, адаптированной для вещания изображения SDR (или видео), такой как основной 10 профиль HEVC («High Efficiency Video Coding», SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Рекомендация ITU-T H.265, Сектор Стандартизации Телекоммуникаций ITU, апрель 2013г.).
Использование унаследованной инфраструктуры распространения соответствует требованию ускорить появление распространения картинок HDR (или видео). Также, скорость передачи битов должна быть минимизирована, гарантируя при этом хорошее качество как SDR, так и HDR версии изображения (или видео).
Более того, может быть гарантирована обратная совместимость, т.е., должно быть доступно для просмотра изображение SDR (или видео) для пользователей оснащенных унаследованным декодером и дисплеем, т.е., в частности, должны быть сохранены общая воспринимаемая светлота (т.е. темные против ярких сцены) и воспринимаемые цвета (например, сохранение оттенков и т.д.).
Другим очевидным решением является сокращении динамического диапазона изображения HDR (или видео) посредством подходящей нелинейной функции, как правило, до ограниченного числа битов (скажем 10 битов), и непосредственное сжатие с помощью основного 10 профиля HEVC. Такая нелинейная функция (кривая) уже существует, подобно так называемой PQ EOTF, предложенной Dolby в SMPTE (SMPTE standard: High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays, SMPTE ST 2084:2014).
Недостаток данного решения состоит в отсутствии обратной совместимости, т.е. полученная сокращенная версия изображения (видео) не обладает достаточным визуальным качеством, чтобы рассматриваться как возможной для просмотра в качестве SDR изображения (или видео), и эффективность сжатия несколько недостаточна.
3. СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Раскрывается способ декодирования, который содержит этапы, на которых:
- декодируют поток, чтобы получить декодированное изображение стандартного динамического диапазона и метаданные цвета, связанные с изображением стандартного динамического диапазона, при этом метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона;
- воссоздают изображение высокого динамического диапазона из декодированного изображения стандартного динамического диапазона и из метаданных цвета.
Раскрывается способ кодирования, который содержит этапы, на которых:
- определяют изображение стандартного динамического диапазона из изображения высокого динамического диапазона;
- получают метаданные цвета, представляющие собой характеристики изображения высокого динамического диапазона;
- кодируют в потоке изображение стандартного динамического диапазона и метаданные цвета.
Раскрывается поток, который содержит кодированные данные, представляющие собой изображение стандартного динамического диапазона, и кодированные данные, представляющие собой метаданные цвета, связанные с изображением стандартного динамического диапазона, при этом метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона.
Также раскрывается устройство декодирования, которое содержит:
- средство для декодирования потока, чтобы получить декодированное изображение стандартного динамического диапазона и метаданные цвета, связанные с изображением стандартного динамического диапазона, при этом метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона;
- средство для воссоздания изображения высокого динамического диапазона из декодированного изображения стандартного динамического диапазона и из метаданных цвета.
Также раскрывается устройство кодирования, которое содержит:
- средство для определения изображения стандартного динамического диапазона из изображения высокого динамического диапазона;
- средство для получения метаданных цвета, представляющих собой характеристики изображения высокого динамического диапазона;
- средство для кодирования в потоке изображения стандартного динамического диапазона и метаданных цвета.
Раскрывается устройство декодирования, которое содержит интерфейс связи, выполненный с возможностью доступа к, по меньшей мере, потоку, и, по меньшей мере, один процессор, выполненный с возможностью:
- декодирования потока, к которому осуществлен доступ, чтобы получить декодированное изображение стандартного динамического диапазона и метаданные цвета, связанные с изображением стандартного динамического диапазона, при этом метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона;
- воссоздания изображения высокого динамического диапазона из декодированного изображения стандартного динамического диапазона и из метаданных цвета.
Раскрывается устройство кодирования, которое содержит интерфейс связи, выполненный с возможностью доступа к, по меньшей мере, изображению высокого динамического диапазона, и, по меньшей мере, один процессор, выполненный с возможностью:
- определения изображения стандартного динамического диапазона из изображения высокого динамического диапазона, к которому осуществлен доступ;
- получения метаданных цвета, представляющих собой характеристики изображения высокого динамического диапазона;
- кодирования в потоке изображения стандартного динамического диапазона и метаданных цвета.
В соответствии с характерной особенностью, метаданные цвета представляют собой, по меньшей мере, характеристики дисплея мастеринга, использованного при мастеринге изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона.
Преимущественно, метаданные цвета инкапсулируются в сообщение SEI Объема Цвета Дисплея Мастеринга, связанное с изображением стандартного динамического диапазона.
В соответствии с характерной особенностью, характеристики дисплея мастеринга идентифицируют объем цвета дисплея мастеринга.
Преимущественно, характеристики дисплея мастеринга содержат, по меньшей мере, основные цвета, точку белого, и диапазон светимости.
В варианте, метаданные цвета представляют собой, по меньшей мере, характеристики уровня света контента у изображения высокого динамического диапазона.
Преимущественно, метаданные цвета инкапсулируются в сообщение SEI информации об Уровне Света Контента, связанное с изображением стандартного динамического диапазона.
4. КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
- Фигура 1 представляет собой примерную архитектуру приемника, выполненного с возможностью декодирования потока для того, чтобы получать изображение HDR в соответствии с неограничивающим вариантом осуществления;
- Фигура 2 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с особым и неограничивающим вариантом осуществления;
- Фигура 3 представляет собой примерную архитектуру передатчика 100, выполненного с возможностью кодирования изображения HDR в потоке в соответствии с неограничивающим вариантом осуществления;
- Фигура 4 представляет собой блок-схему способа кодирования изображения HDR в потоке в соответствии с особым и неограничивающим вариантом осуществления;
- Фигура 5 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления;
- Фигуры 6 и 7 представляют подробно этапы фигуры 5;
- Фигура 8 представляет блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления;
- Фигура 9 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления;
- Фигуры 10 и 11 представляют подробно этапы фигуры 9; и
- Фигура 12 представляет собой блок-схему способа кодирования изображения HDR в потоке в соответствии с другим особым и неограничивающим вариантом осуществления.
5. ПОДРОБНОЕ ОПИСАНИЕ
Следует понимать, что фигуры и описания были упрощены, чтобы иллюстрировать элементы, которые являются подходящими для четкого понимания настоящих принципов, при этом исключая, в целях ясности, многие другие элементы, которые можно обнаружить в типичных устройствах кодирования и/или декодирования. Будет понятно, что несмотря на то, что понятия первый и второй могут быть использованы в данном документе, чтобы описывать разнообразные элементы, эти элементы не должны быть ограничены этими понятиями. Эти понятия используются только чтобы отличать один элемент от другого. В нижеследующих разделах, блок изображения составлен из выборок, ассоциированных со значениями выборки, например, выборок яркости или выборок насыщенности цвета, и т.д.
В нижеследующем, слово «воссозданный» и «декодированный» могут быть использованы взаимозаменяемым образом.
Фигура 1 представляет собой примерную архитектуру приемника 100, выполненного с возможностью декодирования потока для того, чтобы получать изображение HDR в соответствии с неограничивающим вариантом осуществления.
Приемник 100 содержит один или более процессор(ы) 1000, которые могут содержать, например, CPU, GPU и/или DSP (английская аббревиатура Цифрового Сигнального Процессора), наряду с внутренней памятью 1030 (например, RAM, ROM и/или EPROM). Приемник 100 содержит один или более интерфейс(ы) 1010 связи (например, клавиатуру, мышь, сенсорную панель, web-камеру), причем каждый выполнен с возможностью демонстрации выходной информации и/или предоставления пользователю возможности ввода команд и/или данных (например, изображения HDR); и источник 1020 питания, который может быть внешним по отношению к приемнику 100. Приемник 100 также может содержать один или более сетевой интерфейс(ы) (не показано). Модуль 1040 декодера представляет собой модуль, который может быть включен в устройство, чтобы выполнять функции декодирования. Дополнительно, модуль 1040 декодера может быть реализован в качестве отдельного элемента приемника 100 или может быть включен в процессор(ы) 1000 в качестве сочетания аппаратного и программного обеспечения, как известно специалистам в соответствующей области техники.
Поток может быть получен от источника. В соответствии с разными вариантами осуществления, источником может быть, но не ограничивается:
- локальная память, например, видеопамять, RAM, флэш-память, и жесткий диск;
- интерфейс хранения, например, интерфейс с запоминающим устройством большой емкости, ROM, оптическим диском или магнитным средством обеспечения;
- интерфейс связи, например, интерфейс проводной линии (например, интерфейс шины, интерфейс глобальной сети, интерфейс локальной сети) или беспроводной интерфейс (такой как интерфейс IEEE 802.11 или интерфейс Bluetooth); и
- цепь захвата изображения (например, датчик, такой как, например, CCD (или Прибор с Зарядной Связью) или CMOS (или Комплементарная Структура Металл-Оксид-Полупроводник)).
В соответствии с разными вариантами осуществления, изображение HDR может быть отправлено получателю, например, дисплейному устройству. В качестве примера, изображение HDR хранится в удаленной или в локальной памяти, например, видеопамяти или RAM, жестком диске. В варианте, изображение HDR отправляется интерфейсу хранения, например, интерфейсу с запоминающим устройством большой емкости, ROM, флэш-памятью, оптическим диском или магнитным средством обеспечения и/или передается через интерфейс связи, например, интерфейс линии связи точка-точка, шину связи, линию связи точка-многоточка или сеть вещания.
В соответствии с особым и неограничивающим вариантом осуществления, приемник 100 дополнительно содержит компьютерную программу, хранящуюся в памяти 1030. Компьютерная программа содержит инструкции, которые, когда исполняются приемником 100, в частности процессором 1000, позволяют приемнику исполнять способ декодирования, описанный со ссылкой на фигуру 2 или фигуру 6. В соответствии с вариантом, компьютерная программа хранится внешним образом по отношению к приемнику 100 на долговременном цифровом средстве обеспечения данных, например, на внешнем запоминающем носителе информации, таком как HDD, CD-ROM, DVD, только для чтения и/или DVD накопителе и DVD накопители Чтения/Записи, причем все известно в области техники. Приемник 100, таким образом содержит механизм, чтобы считывать компьютерную программу. Кроме того, приемник 100 может осуществлять доступ к одному или более запоминающим устройствам типа Универсальной Последовательной Шины (USB) (например, «накопителям памяти») через соответствующие порты USB (не показано).
В соответствии с примерными и неограничивающими вариантами осуществления, приемник 100 может быть, но не ограничивается:
- мобильным устройством;
- устройством связи;
- игровым устройством;
- телевизионной абонентской приставкой;
- телевизором;
- планшетом (или планшетным компьютером);
- лэптопом;
- проигрывателем видео, например, проигрывателем Blu-ray, проигрывателем DVD;
- дисплеем и
- чипом декодирования или устройством декодирования.
Фигура 2 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR, в соответствии с особым и неограничивающим вариантом осуществления.
Способ начинается на этапе S100. На этапе S100, приемник осуществляет доступ к потоку, например, совместимому с HEVC потоку. На этапе S120, приемник декодирует изображение SDR и метаданные цвета из потока. Метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона.
В первом особом варианте осуществления, метаданные цвета представляют собой характеристики дисплея мастеринга, использованного при мастеринге изображения HDR, связанного с изображением SDR. В качестве примера, метаданные цвета инкапсулируются в сообщение SEI Объема Цвета Дисплея Мастеринга, связанное с изображением SDR. Такое сообщение SEI, например, раскрывается в разделах D2.28 и D3.28 документа JCTVC-V1005-v1, озаглавленного «High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 5»
mastering_display_colour_volume(payloadSize) {
Дескриптор
for(c=0; c < 3; с++ ) {
display_primaries_x[c]
u(16)
display_primaries_y[c]
u(16)
}
white_point_x
u(16)
white_point_y
u(16)
max_display_mastering_luminance
u(32)
min_display_mastering_luminance
u(32)
]
display_primaries_x[c] и display_primaries_y[c] указывают нормализованные координаты цветности x и y, соответственно, у основной составляющей c цвета дисплея мастеринга.
white_point_x и white_point_y указывают нормализованные координаты цветности x и y, соответственно, у точки белого дисплея мастеринга.
max_display_mastering_luminance и min_display_mastering_luminance указывают номинальную максимальную и минимальную светимость дисплея, соответственно, дисплея мастеринга.
max_display_mastering_luminance и min_display_mastering_luminance таким образом указывают диапазон светимости.
Данное сообщение SEI идентифицирует объем цвета (основные цвета, точку белого и диапазон светимости - т.е. максимальное и минимальное значения светимости) у дисплея, рассматриваемого в качестве дисплея мастеринга применительно к ассоциированному видеоконтенту - например, объем цвета у дисплея, который был использован для просмотра при авторинге видеоконтента. Описываемый дисплей мастеринга является трехцветной аддитивной системой демонстрации, которая была выполнена с возможностью использования указанного объема цвета мастеринга. В таком случае изображение SDR является связанным с видеоконтентом. Действительно, изображение SDR считается находящимся в послойно кодированной видеопоследовательности (CLVS). CLVS является последовательностью картинок и связанных не-VCL NAL единиц базового слоя кодированной видеопоследовательности (CVS). Тем не менее, в соответствии с настоящими принципами сообщение SEI используется другим образом, чтобы передавать объем цвета (основные цвета, точку белого и диапазон светимости) у дисплея, рассматриваемого в качестве дисплея мастеринга применительно к изображению HDR, которое не является тем, что закодировано в потоке и, следовательно, не находится в CLVS. Это позволяет использовать существующие элементы синтаксиса, чтобы передавать данные, подходящие для воссоздания HDR.
В варианте, метаданные цвета инкапсулируются в данные пользователя, такие как сообщение SEI данных пользователя или в существующую SEI зарегистрированных данных пользователя.
Во втором особом варианте осуществления, метаданные цвета представляют собой уровень света контента изображения высокого динамического диапазона.
В качестве примера, метаданные цвета инкапсулируются в сообщение SEI информации об Уровне Света Контента, связанное с изображением SDR. Такое сообщение, например, раскрывается в разделе D2.35 и D3.35 документа JCTVC-V1005-v1, озаглавленном «High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 5».
content_light_level_info(payloadSize) {
Дескриптор
max_content_light_level
u(16)
max_pic_average_light_level
u(16)
}
max_content_light_level, когда не равен 0, указывает верхнюю границу по максимальному уровню света из всех индивидуальных выборок в 4:4:4 представлении интенсивностей основного цвета из красного, зеленого и синего (в линейной области света) для картинок CLVS.
max_pic_average_light_level, когда не равен 0, указывает верхнюю границу по максимальному среднему уровню света среди выборок в 4:4:4 представлении интенсивностей основного цвета из красного, зеленого и синего (в линейной области света) для любого индивидуального изображения CLVS.
Данное сообщение SEI идентифицирует верхние границы для номинального целевого уровня света светлоты у изображения CLVS.
Первый и второй варианты осуществления могут быть объединены, т.е., метаданные цвета могут содержать две части: первая часть представляет собой характеристики дисплея мастеринга, использованного при мастеринге изображения HDR, связанного с изображением SDR (возможно инкапсулирован в сообщение SEI MDCV), а вторая часть представляет собой уровень света контента изображения высокого динамического диапазона, связанного с изображением SDR (возможно инкапсулированная в сообщение SEI CLL).
На этапе S130, приемник воссоздает изображение HDR из декодированного изображения SDR и из метаданных цвета. Разные варианты осуществления этапа воссоздания изображения HDR раскрываются со ссылкой на фигуры с 5 по 8. В примерном варианте осуществления, воссоздание изображения HDR из декодированного изображения SDR и метаданных цвета содержит:
- обратное преобразование (этап 222 фигуры 6, этап 220 фигуры 7, этапы 1231 и 1210 фигуры 8) сигнала яркости декодированного изображения SDR, чтобы получить сигнал светимости HDR, в ответ на, по меньшей мере, максимальную светимость дисплея мастеринга, использованного при мастеринге изображения HDR и/или максимальный уровень света контента изображения HDR;
- коррекцию цвета (этап 221 фигуры 6, этап 1221 фигуры 8) сигнала цветности декодированного изображения SDR, в ответ на, по меньшей мере, максимальную светимость дисплея мастеринга, использованного при мастеринге изображения HDR и/или максимальный уровень света контента изображения HDR и/или основные цвета и точку белого у дисплея мастеринга, использованного при мастеринге изображения HDR;
- воссоздание (этап 230 фигуры 7, этапы 1222, 1223, 1224 Фигуры 8) изображения HDR из полученного сигнала светимости HDR и скорректированного сигнала цветности.
В другом примерном варианте осуществления, воссоздание изображения HDR из декодированного изображения SDR и метаданных цвета содержит обратное преобразование (23 на фигуре 6) сигнала яркости у декодированной версии изображения стандартного динамического диапазона в ответ на, по меньшей мере, максимальную светимость дисплея у упомянутого дисплея мастеринга, чтобы получить сигнал светимости высокого динамического диапазона, и дополнительное обратное преобразование цвета (22 на фигуре 6) декодированной версии изображения стандартного динамического диапазона в ответ на, по меньшей мере, одно из упомянутой максимальной светимости дисплея у упомянутого дисплея мастеринга, и основных цветов и точки белого у упомянутого дисплея мастеринга. Способ заканчивается на этапе S180.
Фигура 3 представляет собой примерную архитектуру передатчика 100, выполненного с возможностью кодирования изображения HDR в поток в соответствии с неограничивающим вариантом осуществления.
Передатчик 200 содержит один или более процессор(ы) 2000, которые могут содержать, например, CPU, GPU и/или DSP (английская аббревиатура Цифрового Сигнального Процессора), наряду с внутренней памятью 2030 (например, RAM, ROM, и/или EPROM). Передатчик 200 содержит один или более интерфейс(ы) 2010 связи (например, клавиатуру, мышь, сенсорную панель, web-камеру), причем каждый выполнен с возможностью демонстрации выходной информации и/или предоставления пользователю возможности ввода команд и/или данных (например, потока); и источник 2020 питания, который может быть внешним по отношению к передатчику 200. Передатчик 200 также может содержать один или более сетевой интерфейс(ы) (не показано). Модуль 2040 кодера представляет собой модуль, который может быть включен в устройство, чтобы выполнять функции кодирования. Дополнительно, модуль 2040 кодера может быть реализован в качестве отдельного элемента передатчика 200 или может быть включен в процессор(ы) 2000 в качестве сочетания аппаратного и программного обеспечения, как известно специалистам в соответствующей области техники.
Изображение HDR может быть получено от источника. В соответствии с разными вариантами осуществления, источником может быть, но не ограничивается:
- локальная память, например, видеопамять, RAM, флэш-память, жесткий диск;
- интерфейс хранения, например, интерфейс с запоминающим устройством большой емкости, ROM, оптическим диском или магнитным средством обеспечения;
- интерфейс связи, например, интерфейс проводной линии (например, интерфейс шины, интерфейс глобальной сети, интерфейс локальной сети) или беспроводной интерфейс (такой как интерфейс IEEE 802.11 или интерфейс Bluetooth); и
- цепь захвата изображения (например, датчик, такой как, например, CCD (или Прибор с Зарядной Связью) или CMOS (или Комплементарная Структура Металл-Оксид-Полупроводник)).
В соответствии с разными вариантами осуществления, поток может быть отправлен получателю. В качестве примера, поток сохраняется в удаленной или в локальной памяти, например, видеопамяти или RAM, жестком диске. В варианте, поток отправляется интерфейсу хранения, например, интерфейсу с запоминающим устройством большой емкости, ROM, флэш-памятью, оптическим диском или магнитным средством обеспечения и/или передается через интерфейс связи, например, интерфейс линии связи точка-точка, шину связи, линию связи точка-многоточка или сеть вещания.
В соответствии с примерным и неограничивающим вариантом осуществления, передатчик 200 дополнительно содержит компьютерную программу, хранящуюся в памяти 2030. Компьютерная программа содержит инструкции, которые, когда исполняются передатчиком 200, в частности посредством процессора 2000, позволяют передатчику 200 исполнять способ кодирования, описанный со ссылкой на фигуру 8 или 9. В соответствии с вариантом, компьютерная программа хранится внешним образом по отношению к передатчику 200 на долговременном цифровом средстве обеспечения данных, например, на внешнем запоминающем носителе информации, таком как HDD, CD-ROM, DVD, только для чтения и/или DVD накопителе и DVD накопители Чтения/Записи, причем все известно в области техники. Передатчик 200, таким образом содержит механизм, чтобы считывать компьютерную программу. Кроме того, передатчик 200 может осуществлять доступ к одному или более запоминающим устройствам типа Универсальной Последовательной Шины (USB) (например, «накопителям памяти») через соответствующие порты USB (не показано).
В соответствии с примерными и неограничивающими вариантами осуществления, передатчик 200 может быть, но не ограничивается:
- мобильным устройством;
- устройством связи;
- игровым устройством;
- планшетом (или планшетным компьютером);
- лэптопом;
- камерой для неподвижных изображений;
- видеокамерой;
- чипом кодирования или устройством кодирования;
- сервером неподвижных изображения; и
- видеосервером (например, сервером вещания, сервером видео по запросу или web-сервером).
Фигура 4 представляет собой блок-схему способа кодирования изображения HDR в поток в соответствии с особым и неограничивающим вариантом осуществления. Данный способ является обратным способу декодирования. Все варианты осуществления, раскрываемые в отношении способа декодирования, применяются к способу кодирования.
Способ начинается на этапе S200. На этапе S210, передатчик осуществляет доступ к изображению HDR. На этапе S220, передатчик осуществляет доступ к изображению HDR. На этапе S220, передатчик определяет изображение SDR из изображения HDR. Разнообразные варианты осуществления раскрываются со ссылкой на фигуры с 9 по 12. В примерном варианте осуществления, определение изображения SDR или изображения HDR, к которому осуществлен доступ, содержит:
- преобразование сигнала светимости изображения HDR, к которому осуществлен доступ, в сигнал яркости изображения SDR (этапы 1111 и 1113 фигуры 12) в ответ на, по меньшей мере, максимальную светимость дисплея мастеринга, использованного при мастеринге изображения HDR и/или максимальный уровень света контента изображения HDR;
- извлечение показателя βʺ коррекции цвета из сигнала яркости изображения SDR (этап 1131 фигуры 12), в ответ на, по меньшей мере, максимальную светимость дисплея мастеринга, использованного при мастеринге изображения HDR, и/или максимальный уровень света контента изображения HDR и основные цвета и точку белого дисплея мастеринга, использованного при мастеринге изображения HDR;
- преобразование сигнала цвета изображения HDR в сигнал насыщенности цвета изображения SDR (этапы 1121, 1122, 1123 фигуры 12) в ответ на, по меньшей мере, основные цвета и точку белого дисплея мастеринга, использованного при мастеринге изображения HDR; и
- регулировку сигнала яркости изображения SDR с сигналом насыщенности цвета изображения SDR (этап 1133 фигуры 12) в ответ на, по меньшей мере, основные цвета и точку белого дисплея мастеринга, использованного при мастеринге изображения HDR.
В другом примерном варианте осуществления, определение изображения SDR или изображения HDR, к которому осуществлен доступ, содержит преобразование (23 на фигуре 6) сигнала яркости изображения HDR, к которому осуществлен доступ, в сигнал яркости изображения SDR (11 на фигуре 9) в ответ, по меньшей мере, на максимальную светимость дисплея мастеринга, использованного при мастеринге изображению HDR, и дополнительное преобразование цвета (12 на фигуре 9) сигнала цвета изображения HDR в сигнал насыщенности цвета изображения SDR в ответ на, по меньшей мере, одно из максимальной светимости дисплея у дисплея мастеринга и основные цвета и точку белого дисплея мастеринга.
На этапе S220, передатчик получает метаданные цвета, представляющие собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона. Как в декодере, метаданные цвета могут представлять собой дисплей мастеринга, использованный при мастеринге изображения HDR, связанного с изображением SDR и/или уровень света контента изображения высокого динамического диапазона, связанного с изображением SDR.
На этапе S230, передатчик кодирует определенное изображение SDR и полученные метаданные цвета в потоке, например, в потоке совместимом с HEVC. Метаданные цвета могут быть инкапсулированы в сообщения SEI, упомянутые в отношении фигуры 2 для способа декодирования.
Фигура 5 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления.
На этапе 21, декодер DEC получает составляющую светимости Lʺ и две составляющие цветности Cʺ1, Cʺ2 либо из локальной или удаленной памяти, либо посредством декодирования, по меньшей мере, частично потока F. Поток F представляет собой изображение SDR и метаданные цвета (например, сообщение SEI MDVC и/или CLL).
На этапе 22, модуль IGM получает итоговую составляющую светимости L и две итоговые составляющие цветности C1, C2 из составляющих светимости Lʺ и цветности Cʺ1, Cʺ2 посредством применения обратного преобразования по цветам, полученным из составляющих светимости Lʺ и цветности Cʺ1, Cʺ2. Фигура 6 подробно представляет этап 22. Модуль ILCC получает (этап 222) итоговую составляющую светимости L посредством линейного сложения вместе составляющей светимости Lʺ и двух составляющих цветности Cʺ1, Cʺ2, а две итоговые составляющие цветности C1, C2 получаются посредством масштабирования (этап 221) каждой из двух составляющих цветности Cʺ1, Cʺ2 посредством показателя β (L(i)), который зависит от значения каждого пикселя 1 у итоговой составляющей светимости L.
Ba
0
где m и n являются коэффициентом (действительные значения). Коэффициенты m и n могут быть теми, что получены посредством факторизации матрицы Φ(L) в уравнении (G), т.е., m и n являются теми, что получены в Φ. Следовательно, они зависят от палитры изображения I HDR (например, палитры BT.709 или BT.2020). Типичными значениями для m и n являются m≈n в интервале [0.1,0.5].
В соответствии с вариантом, показатель дополнительно зависит от значения модуляции Ba.
Уравнение (J) рассматривается в качестве обратного преобразования, которое применяется к цветам, полученным из составляющих светимости Lʺ и цветности Cʺ1, Cʺ2. Уравнение (J) непосредственно получается из уравнения (A), примененного на стороне кодера, которое рассматривается в качестве преобразования цвета.
В соответствии с вариантом модуля ILCC, значения итоговой составляющей светимости L всегда выше значений составляющей светимости Lʺ:
Данный вариант осуществления является преимущественным, так как он гарантирует то, что итоговая составляющая L светимости не превышает потенциальное значение обрезки, которое обычно используется декодером, чтобы определять пик светимости. Когда пик светимости требуется декодеру (например, заданный элементом синтаксиса max_display_mastering_luminance сообщения SEI MDCV) и когда итоговая составляющая светимости L задается уравнением (J), итоговая составляющая светимости L обрезается, вводя некоторые артефакты.
В соответствии с вариантом осуществления, значение модуляции Ba и/или коэффициенты m и n получаются из удаленной или локальной памяти, такой как Поисковая Таблица, или из потока BF.
В соответствии с вариантом осуществления, показатель  получается из Поисковой Таблицы (LUT) для особого значения L(i) итоговой составляющей светимости L и, опционально, из особого значения Ba модуляции и. Таким образом, применительно к нескольким значениям пика светимости (например максимальная светимость дисплея мастеринга), таким как, например, 1000, 1500 и 4000 нитов, особый показатель  сохраняется в LUT для каждого особого значения модуляции Ba.
В соответствии с вариантом, показатель  для особого значения модуляции Ba получается для значения пикселя у пикселя итоговой составляющей светимости L посредством интерполяции пиков светимости между несколькими пиками светимости для которых сохранены LUT.
На этапе 23, модуль INVC получает, по меньшей мере, одну составляющую света Ec у цветного изображения, которое должно быть декодировано, из итоговой составляющей светимости L и двух итоговых составляющей цветности C1, C2. Изображение HDR формируется из, по меньшей мере, одной составляющей цвета Ec. Фигура 7 подробно представляет этап 23.
-1
На этапе 220, модуль IFM получает первую составляющую Y посредством применения нелинейной функции f к итоговой составляющей светимости L в порядке, в котором динамика первой составляющей Y увеличивается в сравнении с динамикой итоговой составляющей светимости L:
-1
Нелинейная функция f является обратной к линейной функции f, которая применяется на стороне передатчика.
-1
Таким образом, варианты осуществления функции f определяются в соответствии с вариантами осуществления функции f.
-1
В соответствии с вариантом осуществления, параметры нелинейной функции f (такие как a, b, c или γ) и/или информационные данные Inf являются полученными из локальной или удаленной памяти (например, нелинейная функция строится из Поисковой Таблицы, проиндексированной посредством максимальной светимости дисплея мастеринга, и/или из максимальной светимости изображения HDR, и/или из основных цветов и точки белого дисплея мастеринга, использованного при мастеринге изображения HDR) и/или из потока BF.
-1
В соответствии с вариантом осуществления, составляющая светимости L умножается на значение модуляции Ba после применения нелинейной функции f:
-1
В соответствии с вариантом осуществления, нелинейная функция f является обратной гамма-функцией.
Составляющая Y тогда задается посредством:
1
где Y равно Y или Y/Ba в соответствии с вариантами осуществления уравнения (A3) или (A4), B является постоянным значением, γ является параметром (действительное число строго ниже 1).
-1
1
В соответствии с вариантом осуществления, нелинейная функция f является обратной функции S-Log. Составляющая Y тогда задается посредством:
В соответствии с вариантом осуществления, нелинейная функция f является обратной либо гамма-коррекции, либо коррекции SLog в соответствии со значениями пикселя компонента Y. Это указывается посредством информационных данных Inf.
На этапе 230, модуль ILC получает, по меньшей мере, одну составляющую цвета Ec из первой составляющей Y, двух итоговых составляющих цветности C1, C2, и из показателя r(L), который зависит от итоговой составляющей светимости L. Декодированное цветное изображение затем получается посредством сложения вместе, по меньшей мере, одной составляющей цвета Ec. Показатель r(L) определяется посредством модуля RM на этапе 240.
-1
Фигура 8 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления. Данный способ декодирования зависит от набора функций от двух переменных β'(Ba,L) и g(Ba,L) и двух постоянных параметров a и b, которые используются для преобразования из SDR в HDR светимости и цветности так, что цвета, как прочем и текстура, сохраняются в изображении/видео SDR в сравнении с исходным изображением/видео HDR. В то время как g(Ba,L) является предпочтительно функцией Slog в переменной L, тройка (a, b, β') оптимизируется, чтобы привести к наилучшему возможному совпадению цвета SDR/HDR (оттенок и воспринимаемая чистота тона) в зависимости от пиковой светимости, входных/выходных палитр, и значения подсветки Ba.
Кодирование включает функцию βʺ(Ba,L), а декодирование включает функцию β'(Ba,L). Функция βʺ обычно оптимизируется на стороне кодера. На стороне декодера функции β' обычно хранятся в Поисковых Таблицах, проиндексированных посредством пиковой светимости, входных/выходных палитр, и возможно значения подсветки Ba.
На этапе 1230, скорректированные составляющие светимости и цветности L', U', V' получаются из потока F. На подэтапе, составляющая светимости L получается посредством инвертирования коррекции, т.е., посредством следующих уравнений
(a и b являются параметрами 3 и n соответственно показанными на Фигуре 6)
В соответствии с вариантом обратной коррекции, значения составляющей светимости L всегда выше значений скорректированной составляющей светимости L':
Данный вариант осуществления является преимущественным, так как он гарантирует то, что составляющая светимости L не превышает потенциального значения обрезки, которое обычно используется декодером, чтобы определять пик светимости.
HDR
SDR
-1
-1
На этапе 1210, нелинейная функция расширения динамики применяется к светимости L для того, чтобы сгенерировать первую составляющую, которая является расширенным диапазоном светимости, которая является обратной функции сокращения динамики, которая была применена к исходной составляющей светимости, полученной при кодировании цветного изображения, например Y=f(L), более точно g(Ba, L).
HDR
r
r
3×3
r
r
HDR
#
#
#
#
#
#
#
#
#
На этапе 1220, по меньшей мере, одни составляющие цвета Ec (в показанном примере RGB) изображения HDR, которое должно быть декодировано, восстанавливаются из скорректированных составляющих цветности U', V' и первой составляющей Y (или sqrt(Y)). На подэтапе 1221 умножение скорректированных составляющих цветности U', V' на общий умножающий показатель β' выполняется, чтобы получить промежуточные составляющие цветности, которые используются в дополнительном подэтапе 1222 для получения второй составляющей S:= . В дополнительном подэтапе 223, RGB восстанавливаются из SUV: [R;G;B]=Mat [S;U;V]. Составляющие цвета у декодированного цветного изображения RGB определяются на следующем подэтапе 1224, в качестве квадратов RGB.
#
#
#
2
2
#
#
#
-1
Другими словами, способ обеспечивает, например, SDR в HDR обратное преобразование, которое восстанавливает RGB представление RGB HDR составляющих, из составляющей яркости L SDR и двух составляющих насыщенности цвета UV SDR, при этом составляющая светимости Y HDR выводится из L, значение T вычисляется как линейная комбинация U, V и U×V, S вычисляется в качестве квадратного корня Y-T и RGB затем определяется в качестве произведения 3×3 матрицы и SUV, применяемой к каждому пикселю входного изображения SDR. 3×3 матрица является, например, обратной матрицы RGB->YUV, определенной в ITU-R BT709/2020, т.е. C=A.
Описанная схема декодирования обеспечивает распространение сжатого изображения HDR, при этом в то же самое время распространение связанного изображения SDR, представляющего собой приведенное к шкале цветов версию изображения HDR. По построению, для того чтобы получать декодер, который является точно обратным кодеру β'=1/βʺ. Как следствие, для заданной пары (a,b), определения βʺ является достаточным, чтобы определять как кодер, так и декодер.
Задачей, требующей решения, является нахождение βʺ так, чтобы цвета L'UʺVʺ SDR соответствовали в лучшем случае входным цветам HDR (оттенок и воспринимаемая чистота тона) и процесс являлся декодируемым, т.е. масштабирование посредством βʺ избегает обрезки в UʺVʺ как можно лучше. В особой реализации, βʺ определяется в кодере для разных значений номинальной максимальной светимости дисплей у дисплея мастеринга или верхней границы по максимальному уровню света среди всех индивидуальных выборок изображения HDR и для разных палитр цвета изображения HDR (основные цвета и точка белого). Вследствие этого, на стороне декодера, LUT из значений β' предпочтительно хранятся в декодере для того, чтобы избежать их вычисления. Соответствующее значение β', таким образом, извлекается из декодированных метаданных цвета (например, MDCV, CLL).
Фигура 9 представляет блок-схему способа кодирования изображения I HDR в потоке F в соответствии с другим особым и неограничивающим вариантом осуществления.
На этапе 11, модуль C получает составляющую светимости L и две составляющие цветности C1 и C2 из изображения I HDR, которое должно быть закодировано, например, составляющие (L, C1, C2) могут принадлежать к цветовому пространству YUV, полученному после применения OETF к изображению I HDR, и составляющие цвета Ec могут принадлежать к цветовому пространству либо линейного RGB, либо XYZ. Этап 11 подробно описывается на Фигуре 10.
На этапе 110, модуль IC получает составляющую Y, которая представляет собой светимость изображения I HDR, посредством линейного сложения вместе трех составляющих Ec:
где A1 является первой строкой 3×3 матрицы A, которая определяет преобразования цветового пространства из цветового пространства (E1,E2,E3) в цветовое пространство (Y,C1,C2).
На этапе 130, модуль FM получает составляющую светимости L посредством применения нелинейной функции f к компоненту Y:
где Ba является значением модуляции, полученным из составляющей Y посредством модуля BaM (этап 120).
Применение нелинейной функции f к составляющей Y сокращает ее динамический диапазон. Другими словами, динамика составляющей светимости L сокращается в сравнении с динамикой составляющей Y.
Главным образом, динамический диапазон составляющей Y сокращается для того, чтобы значения светимости составляющей L представлялись посредством использования 10 битов.
В соответствии с вариантом осуществления, составляющая Y делится на значение модуляции Ba до применения нелинейной функции f:
В соответствии с вариантом осуществления, нелинейная функция f является гамма-функцией:
1
где Y равно либо Y, либо Y/Ba в соответствии с вариантами осуществления уравнений (1) или (2). B является постоянным значением, γ является параметром (действительное значение строго ниже 1).
В соответствии с вариантом осуществления, нелинейная функция f является функцией S-Log:
где a, b, и c являются параметрами (действительные значения) кривой Slog, определенной так, что f(0) и f(1) являются инвариантом, и производная кривой SLog является непрерывной в 1, когда продлевается посредством кривой гамма-распределения ниже 1. Таким образом, a, b и c являются функциями параметра γ.
Типичные значения показаны в Таблице 1.
Y
a
B
c
1/2.0
0.6275
0.2550
0.8575
1/2.4
0.4742
0.1382
0.9386
1/2.8
0.3861
0.0811
0.9699
Таблица 1
В преимущественном варианте осуществления, значение γ, близкое к 1/2.5, является эффективным исходя из производительности сжатия HDR, как впрочем и хорошей видимости полученной яркости SDR. Таким образом, 3 параметра могут преимущественно принимать следующие значения: a=0.44955114, b=0.12123691, c=0.94855684.
В соответствии с вариантом осуществления, нелинейная функция f является либо гамма-коррекцией, либо коррекцией SLog в соответствии со значениями пикселя составляющей Y.
Применение гамма-коррекции к составляющей Y, подтягивает темные области, но недостаточно понижает сильные источники света, чтобы избежать уменьшения контрастности ярких пикселей.
Тогда, в соответствии с вариантом осуществления, модуль FM применяет либо гамма-коррекцию, либо коррекцию SLog в соответствии со значениями пикселя составляющей Y. Информационные данные Inf могут указывать, применяется ли либо гамма-коррекция, либо коррекция Slog.
Например, когда значение пикселя составляющей Y ниже пороговой величины (равной 1), тогда применяется гамма-коррекция, а в противном случае применяется коррекция Slog.
lin
y
В соответствии с вариантом осуществления этапа 120, значение модуляции Ba является средним, медианным, минимальным или максимальным значением у значений пикселя составляющей Y. Эти операции могут быть выполнены в линейной области светимости HDR Y или в нелинейной области, подобной In(Y) или Y с y<1.
В соответствии с вариантом осуществления, когда способ используется чтобы кодировать несколько цветных картинок, принадлежащих к последовательности картинок, значение модуляции Ba определяется для каждого цветного изображения, Группы Картинок (GOP) или для части цветного изображения, такого как, но не ограничиваясь, слайс или Единица Переноса, как определено в HEVC.
В соответствии с вариантом осуществления, значение Ba и/или параметры нелинейной функции f (такие как a, b, c или γ) и/или информационные данные Inf сохраняются в локальной или удаленной памяти и/или добавляются в поток BF, как иллюстрируется на Фигурах 9 и 10.
На этапе 140, модуль CC получает, по меньшей мере, одну составляющую цвета EC (c=1, 2, 3) из изображения I HDR. Составляющая цвета Ec может быть получена непосредственно из локальной или удаленной памяти или посредством применения преобразования цвета к изображению I HDR.
На этапе 150, промежуточная составляющая цвета E'c (c=1, 2 или 3) получается посредством масштабирования каждой составляющей цвета Ec на показатель r(L), который зависит от составляющей светимости L:
где r(L(i)) является показателем (действительное значение), определенным модулем RM (этап 160), который зависит от значения пиксела i составляющей L,  является значением пиксела i промежуточной составляющей цвета E'c, и  является значением пикселя i составляющей цвета Ec.
Масштабирование на показатель означает умножение на показатель или деление на обратный показатель.
Масштабирование каждой составляющей цвета Ec на показатель r(L), который зависит от составляющей светимости L, сохраняет оттенок цветов изображения I HDR.
В соответствии с вариантом осуществления этапа 160, показатель r(L) является отношением составляющей светимости L к составляющей Y:
с Y(i) являющимся значением пикселя i у составляющей Y. Фактически, значение Y(i) пикселя составляющей Y зависит однозначно от значения L(i) пикселя составляющей светимости L, так что отношение может быть записано только как функция L(i).
Данный вариант осуществления является преимущественным, так как масштабирование каждой составляющей цвета Ec на показатель r(L), который дополнительно зависит от составляющей Y, сохраняет оттенок цветов изображения I HDR и, таким образом, улучшает визуальное качество декодированной цветного изображения.
Более точно, в колориметрии и теории цвета, ощущение цветности, насыщенность цвета и чистота тона относятся к воспринимаемой интенсивности конкретного цвета. Ощущение цветности является степенью отличия между цветом и серым. Насыщенность цвета является ощущением цветности по отношению к светлоте другого цвета, который кажется белым при сходных условиях просмотра. Чистота тона является ощущением цветности у цвета по отношению к его собственной светлоте.
Раздражитель с очень высоким ощущением цветности является ярким и интенсивным, тогда как раздражитель с более низким ощущением цветности кажется более приглушенным, ближе к серому. При полном отсутствии ощущения цветности, цвет является «нейтральным» серым (изображение с отсутствующим ощущением цветности в любом из ее цветов именуется в оттенках серого). Любой цвет может быть описан из его ощущения цветности (или насыщенности цвета или чистоты тона), степени интенсивности (или светлоты), и оттенка.
Определение оттенка и чистоты тона цвета зависит от цветового пространства, используемого для представления цвета.
Например, когда используется цветовое пространство CIELUV, чистота тона  определяется как отношение между насыщенностью цвета  по светимости .
Тогда оттенок задается посредством
В соответствии с другим примером, когда используется цветовое пространство CIELAB, чистота тона определяется как отношение насыщенности цвета по светимости:
Тогда оттенок задается посредством
*
*
Эти уравнения являются разумным предсказателем чистоты тона и оттенка, которые согласуются с человеческим восприятием чистоты тона, и демонстрируют, что регулировка светлоты в цветовом пространстве CIELAB (или CIELUV) при удержании фиксированным угла a/b (или u*/v*) не оказывает влияния на оттенок и, следовательно, восприятие того же самого цвета. На этапе 150, масштабирование составляющих цвета Ec на один и тот же показатель сохраняет данный угол, следовательно, оттенок.
Теперь рассмотрим то, что изображение I HDR представляется в цветовом пространстве CIELUV и изображение I2, которое формируется посредством сложения составляющей светимости L, чей динамический диапазон сокращен в сравнении с динамическим диапазоном светимости изображения I HDR (этап 130), и двух составляющих цветности U (=C1) и V (=С2) цветового пространства CIELUV. Цвета изображения I2, следовательно, по-другому воспринимаются человеком, так как чистота тона и оттенок цветов меняются. Способ (этап 150) определяет составляющие цветности C1 и C2 у изображения I2 для того, чтобы оттенок цветов изображения I2 наилучшим образом совпадал с оттенком цветов изображения I HDR.
В соответствии с вариантом осуществления этапа 160, показатель r(L) задается посредством:
Данный последний вариант осуществления является преимущественным, так как он удерживает показатель от перехода в ноль для очень темных пикселей, т.е. обеспечивает обратимость отношения независимо от значения пикселя.
На этапе 170, две составляющие цветности C1, C2 получаются из, по меньшей мере, одних промежуточных составляющих цвета E'c.
В особом варианте осуществления, промежуточные составляющие получаются из E'c следующим образом
Две составляющие цветности C1 и C2 затем получаются посредством линейного сложения трех промежуточных составляющих Dc, c∈{1,2,3}:
где A2 и A3 являются второй и третьей строками 3×3 матрицы A, которая определяет преобразования цветового пространства из цветового пространства (E1, E2, E3) в цветовое пространство (Y, C1, C2).
На этапе 12, модуль GM преобразовывает составляющие светимости L и цветности C1, C2 в итоговой составляющей светимости Lʺ и двух итоговых составляющих цветности Cʺ1, Cʺ2 так, что палитра G2 у цветов, полученных из итоговых составляющих светимости (Lʺ) и цветности (Cʺ1, Cʺ2), преобразуется в палитру G1 цветов изображения I HDR, которая должна быть закодирована. Этап 12 подробно описывается на Фигуре 11. Две итоговые составляющие цветности Cʺ1, Cʺ2 получаются посредством масштабирования (этап 121) каждой из двух составляющих цветности C1, C2 на показатель , который зависит от значения каждого пикселя i составляющей светимости L, и модуль LCC (этап 122) получает итоговую составляющую светимости Lʺ посредством линейного сложения составляющей светимости L и двух итоговых составляющих цветности Cʺ1, Cʺ2:
где m и n являются коэффициентами (действительные значения), которые не допускают насыщения цвета посредством коррекции наивысших пиков яркости.
В соответствии с вариантом, показатель  дополнительно зависит от значения модуляции Ba.
В соответствии с вариантом осуществления, коэффициенты m и n сохраняются в либо локальной, либо удаленной памяти и/или добавляются в поток BF, как иллюстрируется на фигуре 11.
В соответствии с вариантом модуля LCC (уравнение A), значения итоговой составляющей светимости Lʺ всегда ниже значения составляющей светимости L:
Это гарантирует то, что значения итоговой составляющей светимости Lʺ не превышают значений составляющей светимости L и, следовательно, гарантирует то, что не возникает насыщения цвета.
В соответствии с вариантом осуществления, показатель  получается из Поисковой Таблицы (LUT) для особого значения светимости L(i), и опционально дополнительно для особого значения модуляции Ba и. Таким образом, применительно к нескольким значениям пика светимости (например, максимальной светимости дисплея мастеринга), таких как, например, 1000, 1500 и 4000 нитов, особый показатель  сохраняется в LUT для каждого особого значения модуляции Ba.
В соответствии с вариантом, показатель  получается для значения пикселя составляющей светимости L посредством интерполяции пиков светимости между несколькими пиками светимости для которых сохранены LUT.
В соответствии с вариантом, показатель  для особого значения модуляции Ba получается для значения пикселя составляющей светимости L посредством интерполяции пиков светимости между несколькими пиками светимости, для которой сохранены LUT.
В соответствии с вариантом осуществления, показатель  и коэффициенты m и n в уравнении (A) получаются следующим образом.
Преобразование палитры G2 цветов, полученных и итоговых составляющих светимости (Lʺ) и цветности (Сʺ1, Сʺ2), в палитру G1 цветов изображения I HDR (полученной из составляющих L, C1 и C2) задается посредством:
Ba
где Φ(Y) является функцией преобразования в зависимости от линейной светимости Y изображения I HDR. Как правило, линейная светимость Y получается как линейное сложение составляющих Ec изображения I HDR. Составляющая светимости L является однозначно связанной с линейной светимостью Y и значением подсветки Ba так, что можно записать
и функция преобразования рассматривается как функция составляющей светимости L.
0
Теперь, зафиксируем значение модуляции Ba и особый уровень линейной светимости Y. Предположим, что составляющие цвета Ec выражаются в линейном цветовом пространстве RGB. Связанные три основных цвета  палитры G2 задаются посредством
где A1 является однострочной матрицей, которая определяет линейную светимость Y из линейного RGB, т.е.
Обозначим S 3×3 матрицу, составленную из изображений μ(.), соответствующих приложению модуля C (этап 11), этих трех основных цветов:
Ba
Назначением функции преобразования Φ(L) является преобразовать обратно  в три основных цвета палитры G2. Другими словами, матрица  должна быть по форме:
где r, g, b являются неизвестными параметрами, а A является 3×3 матрицей, которая преобразует нелинейное цветовое пространство R'G'B' в цветовое пространство LC1C2. Объединяя все вместе, получаем:
Также сохранение точки белого, координатами которой являются [1 0 0] в цветовом пространстве LC1C2, приводит к другому условию:
где η является другим неизвестным параметром. Как следствие, матрица D уникально определяется посредством:
-1
где деление понимается как деление коэффициентов первого столбца A на первый столбец . Как следствие, матрица преобразования определяется вплоть до показателя масштабирования η.
Ba
Ba
Ba
-1
-1
Инверсией функции преобразования Φ(L), которая требуется на стороне декодирования, не является легко получаемой, так как она требует решения неявной нелинейной задачи в L, так как можно легко получить обратную матрицу Φ(L) как функцию составляющей светимости L, но не ее аналога Φ(Lʺ) как функции итоговой составляющей светимости Lʺ.
Ba
Ba
-1
Покажем, что формулировка Φ(L) может быть дополнительно упрощена для того, чтобы получить простую инверсию Φ(Lʺ).
Фактически, функция преобразования может быть выражена посредством:
0
Ba
где m и n являются коэффициентами (действительными значениями) которые зависят от уровня светимости Y. Инверсия  функции преобразования Φ(L) задается посредством:
при этом ее первый столбец задается посредством
После некоторых алгебраических манипуляций, показывают, что уравнение (F) становится
приводя к функции преобразования
где m и n являются действительными значениями (коэффициентами), которые не зависят от значения модуляции Ba и составляющей светимости L, β=β(Ba,L(i)) и имеет определенную фиксированную матрицу
-1
Уравнения (B) и (G) показывают, что функция преобразования имеет два результата: во-первых, динамика составляющей светимости L масштабируется на показатель масштабирования η и, во-вторых, составляющие цветности C1 и C2 также масштабируются на показатель масштабирования ηβ.
Для того, чтобы сохранить глобальное преобразование светимости между L и Lʺ, параметр η устанавливается в 1. Уравнение (G) становится:
где β не зависит от значения модуляции Ba и составляющей светимости. Данная формула инвертируется, чтобы получить обратную функцию преобразования
Здесь, составляющая светимости L получается обратно из Lʺ, Cʺ1, Cʺ2 посредством применения матрицы  и затем, поскольку L известно, находят показатель β(Ba, L(i)), чтобы применять итоговые составляющие цветности Cʺ1, Cʺ2, чтобы получать обратно составляющие цветности C1, C2.
Ba
0
Функция преобразования Φ(L) затем предоставляется посредством уравнения (H), где постоянная матрица Φ используется для уровня светимости вплоть до пика светимости P цветного изображения I, и β определяется в полном диапазоне светимости вплоть для пика светимости P.
Включение уравнения (H) в уравнение (B) приводит к уравнению (A).
-1
В соответствии с другим вариантом осуществления, показатель β(Ba,L(i),m,n) рассматривается как зависящий также от коэффициентов m и n, которые задаются, как объяснено в предыдущем варианте осуществления.
-1
Показатель β таким образом является единственным неизвестным значением на этапе 12.
-1
-1
Показатель β получается так, что минимизируется искажение палитры, вычисленное между палитрами G1 и G2. Другими словами, показатель β является оптимальным показателем при условии сохранения палитры.
-1
Говоря математическим языком, показатель β получается посредством:
0
0
0
test
-1
где Y является заданным значением светимости, из которого выводится значение светимости L, Ba является заданным значением модуляции заданным и искажение палитры GD(β) задается посредством:
в которой искажение палитры задается посредством суммы квадратичной ошибки между элементом (xj,yj) палитры G1 и связанного элемента (x'j,y'j) палитры G2.
Зафиксируем значение светимости Y0. Получаем соответствующие значения XYZ каждого элемента набора посредством
j
0
j
j
j
0
j
0
j
j
j
X=Yx/y, Y=Y и Z=Y(1 - x - y)/y.
test
0
0
-1
-1
и тогда соответствующие значения цвета Ec (c=1,2, или 3). Зафиксируем и назначим значение модуляции Ba0 и тестовый показатель β, используемый для β(Ba,L,m,n) на этапе 121.
Получаем итоговые значения Lʺj, Cʺ1j и Cʺ2j посредством применения цепочки кодирования, состоящей из этапов 11 и 12 к составляющим цвета. Из этих итоговых значений, выводим связанный набор палитры связанного элементе (x'j,y'j) в схеме CEI 1931.
На этапе 13, кодер ENC кодирует итоговую составляющую светимости Lʺ и две итоговые составляющие цветности Cʺ1, Cʺ2 в поток F, например, поток совместимый с HEVC.
В соответствии с вариантом осуществления, закодированная составляющая Lʺ и составляющие цветности Cʺ1, Cʺ2 сохраняются в локальной или удаленной памяти и/или добавляются в поток F.
Фигура 12 представляет собой блок-схему способа кодирования изображения HDR в поток в соответствии с другим особым и неограничивающим вариантом осуществления. Данный способ кодирования зависит от набора функций от двух переменных βʺ(Ba,L) и g(Ba,L) и двух постоянных параметров a и b, которые используются для преобразования из SDR в HDR светимости и цветности так, что цвета, как прочем и текстура, сохраняются в изображении/видео SDR в сравнении с исходным изображением/видео HDR. В то время как g(Ba,L) является предпочтительно функцией Slog в переменной L, тройка (a, b, βʺ) оптимизируется, чтобы привести к наилучшему возможному совпадению цвета SDR/HDR (оттенок и воспринимаемая чистота тона) в зависимости от пиковой светимости, входных/выходных палитр, и значения подсветки Ba.
Кодирование включает функцию βʺ(Ba,L), а декодирование включает функцию β'(Ba,L). Функция βʺ обычно оптимизируется на стороне кодера. На стороне декодера функции β' обычно хранятся в Поисковых Таблицах, проиндексированных посредством пиковой светимости, входных/выходных палитр, и возможно значения подсветки Ba.
HDR,lin
HDR,lin
HDR,lin
y
Способ кодирования содержит этап 1110 сокращения динамики светимости. Этап 1110 содержит подэтап 1111 получения исходной светимости Y из, по меньшей мере, одной из составляющих цвета Ec (c=1,2,3) изображения HDR и подэтап 1112 анализа гистограммы для того, чтобы определить значение модуляции (также именуемое значением подсветки) Ba для изображения, которое должно быть закодировано. Разные способы могут быть использованы, чтобы вычислять значение модуляции, например, но не ограничиваясь, использование среднего, медианного, минимального или максимального значения светимости HDR. Эти операции могут быть выполнены в линейной области светимости HDR Y или в нелинейной области подобной ln(Y) или Y c y<1.
HDR
SDR
Цветное изображение рассматривается как с тремя составляющими цвета, в которых представляются значения пикселя цветного изображения. Настоящее раскрытие несмотря на то, что, по меньшей мере, частично объясняется посредством конкретного примера, не ограничивается каким-либо цветовым пространством, в котором присутствуют три составляющие, а расширяется на любое цветовое пространство, такое как RGB, CIELUV, XYZ, CIELab, и т.д. В качестве примера Ec относится к RGB на Фигурах. На подэтапе 1113, динамика исходной светимости Y сокращается, чтобы получить составляющую светимости L из исходной светимости Y и значения модуляции Ba посредством применения нелинейной функции, которая зависит от исходной светимости Y и значения модуляции Ba. Составляющая светимости L является составляющей светимости изображения SDR, вследствие чего она также может именоваться составляющей Y, более точно составляющей Y у стандартного цветового пространства YUV BT709 или YUV BT2020.
HDR
HDR
#
#
#
#
#
#
На этапе 1120, две составляющие цветности C1 и C2 определяются из составляющих цвета RGB цветного изображения. На подэтапе 1121, промежуточные составляющие RGB получаются взяв квадратный корень компонентов цвета RGB. На следующем подэтапе 1122, сокращенные составляющие  получаются посредством умножения промежуточных составляющих RGB на общий умножающий показатель βʺ. Показатель βʺ(Ba,L) зависит от составляющей светимости L и значения модуляции Ba. На следующем подэтапе 1123, составляющие цветности U' и V' получаются посредством умножения трех сокращенных составляющих Fc на матрицу, т.е.
где M является 2×3 матрицей, которая зависит от палитры цветного изображения.
На этапе 1130, коррекция составляющей светимости L и составляющих цветности C1, C2 выполняется, чтобы получить скорректированную составляющую светимости L' и скорректированные составляющие цветности U' и V'. Данная коррекция, полученная посредством преобразования палитры так, что воспринимаемые цвета палитры g1 у скорректированных составляющих L', U', V' соответствуют воспринимаемому цвету палитры G2 составляющих изображения HDR.
Более точно, в колориметрии и теории цвета, ощущение цветности, насыщенность цвета и чистота тона относятся к воспринимаемой интенсивности конкретного цвета. Ощущение цветности является степенью отличия между цветом и серым. Насыщенность цвета является ощущением цветности по отношению к светлоте другого цвета, который кажется белым при сходных условиях просмотра. Чистота тона является ощущением цветности у цвета по отношению к его собственной светлоте.
Раздражитель с очень высоким ощущением цветности является ярким и интенсивным, тогда как раздражитель с более низким ощущением цветности кажется более приглушенным, ближе к серому. При полном отсутствии ощущения цветности, цвет является «нейтральным» серым (изображение с отсутствующим ощущением цветности в любом из ее цветов именуется в оттенках серого). Любой цвет может быть описан из его ощущения цветности (или насыщенности цвета или чистоты тона), степени интенсивности (или светлоты), и оттенка.
Определение оттенка и чистоты тона цвета зависит от цветового пространства, используемого для представления цвета.
Например, когда используется цветовое пространство CIELUV, чистота тона  определяется как отношение между насыщенностью цвета  по светимости .
Тогда оттенок задается посредством
В соответствии с другим примером, когда используется цветовое пространство CIELAB, чистота тона определяется как отношение насыщенности цвета по светимости:
Тогда оттенок задается посредством
*
*
Эти уравнения являются разумным предсказателем чистоты тона и оттенка, которые согласуются с человеческим восприятием чистоты тона, и демонстрируют, что регулировка светлоты в цветовом пространстве CIELAB (или CIELUV) при удержании фиксированным угла a/b (или u*/v*) не оказывает влияния на оттенок и, следовательно, восприятие того же самого цвета.
Теперь рассмотрим то, что цветное изображение HDR представляется в цветовом пространстве CIELUV и изображение I2, которое формируется посредством сложения составляющей светимости L, чей динамический диапазон сокращен в сравнении с динамическим диапазоном светимости изображения I HDR, и двух составляющих цветности U (=C1) и V (=С2) цветового пространства CIELUV. Цвета изображения I2, следовательно по-другому воспринимаются человеком, так как чистота тона и оттенок цветов меняются. Способ (этап 1130) определяет составляющие цветности C'1 и C'2 у скорректированного изображения I3 для того, чтобы оттенок цветов скорректированного изображения I3 наилучшим образом совпадал с оттенком цветов у цветного изображения HDR.
На подэтапе 1131, 1132, определяется общий умножающий показатель βʺ, используемый во втором этапе 1120. На следующем подэтапе 1133, L' генерируется из L.
Скорректированные составляющие L', C'1, C'2 получаются из составляющей светимости L и составляющих цветности C1, C2 посредством следующих уравнений
- C'1=C1,
- C'2=C2,
- L'=L - mC'1 - nC'2
где m и n являются двумя действительными коэффициентами и относятся к a и b на Фигуре. Действительные коэффициенты зависят от палитры HDR Rec BT.709 и Bt.2020). Типичными значениями m и n являются m≈n в интервале [0.1,0.5].
В соответствии с вариантом коррекции, значения скорректированной составляющей светимости L' всегда ниже значений составляющей светимости L:
Это гарантирует то, что значения скорректированной составляющей светимости L' не превышают значений составляющей светимости L и, следовательно, гарантирует то, что не возникает насыщения цвета. Значение модуляции Ba кодируется в битовом потоке F как впрочем изображение SDR L'C'1C'2, т.е., L'U'V' на фигуре 1.
Реализации, описанные в данном документе, могут быть реализованы в, например, способе или процессе, устройстве, программе программного обеспечения, потоке данных, или сигнале. Даже если обсуждается только в контексте единственной формы реализации (например, обсуждается только как способ или устройство), реализация обсуждаемых признаков также может быть реализована в других формах (например, программе). Устройство может быть реализовано в, например, соответствующем аппаратном обеспечении, программном обеспечении, и встроенном программном обеспечении. Способы могут быть реализованы в, например, устройстве, таком как, например, процессор, который относится к устройствам обработки в целом, включая, например, компьютер, микропроцессор, интегральную микросхему, или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, портативные/персональные цифровые помощники («PDA»), и другие устройства, которые способствуют осуществлению связи для передачи информации между конечными пользователями.
Реализации разнообразных процессов и признаков, описанных в данном документе, могут быть воплощены в многообразии разного оборудования или приложений, в частности, например, оборудовании или приложениях. Примеры такого оборудования включают в себя кодер, декодер, пост-процессор, обрабатывающий выход из декодера, кодек видео, web-сервер, телевизионную абонентскую приставку, лэптоп, персональный компьютер, сотовый телефон, PDA, и другие устройства связи. Как должно быть очевидно, оборудование может быть мобильным или даже инсталлированным на мобильном транспортном средстве.
Дополнительно, способы могут быть реализованы посредством инструкций, выполняемых процессором, и такие инструкции (и/или значения данных, созданные посредством реализации) могут быть сохранены на читаемом процессором носителе информации, таком как, например, интегральная микросхема, носитель программного обеспечения или другое запоминающее устройство, такое как, например, жесткий диск, компакт-дискета («CD»), оптический диск (такой как, например, DVD, часто именуемый цифровым универсальным диском или цифровым видео диском), память с произвольным доступом («RAM») или постоянная память («ROM»). Инструкции могут формировать прикладную программу, вещественным образом воплощенную на читаемом процессором носителе информации. Инструкции могут быть, например, в аппаратном обеспечении, встроенном программном обеспечении, программном обеспечении, или сочетании. Инструкции могут быть найдены в, например, операционной системе, отдельном приложении, или сочетании двух видов. Процессор может быть охарактеризован, вследствие этого, как, например, как устройство, выполненное с возможностью выполнения процесса, так и устройства, которое включает в себя читаемый процессором носитель информации (такой как запоминающее устройство) с инструкциями, для выполнения процесса. Кроме того, читаемый процессором носитель информации может хранить, в дополнение к или вместо инструкций, значения данных, созданные посредством реализации.
Как будет очевидно специалисту в соответствующей области техники, реализации могут создавать разнообразные сигналы, отформатированные чтобы переносить информацию, которая может быть, например, сохранена или передана. Информация может включать в себя, например, инструкции для выполнения способа, или данные, созданные посредством одной из описанных реализаций. Например, сигнал может быть отформатирован, чтобы нести в качестве данных правила для написания и чтения синтаксиса описанного варианта осуществления, или нести в качестве данных фактические значения синтаксиса, написанные посредством описанного варианта осуществления. Такой сигнал может быть отформатирован, например, в качестве электромагнитной волны (например, используя радиочастотный участок спектра) или в качестве сигнала основной полосы частот. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей с помощью закодированного потока данных. Информация, которую несет сигнал, может быть, например, аналоговой или цифровой информацией. Сигнал может быть передан через многообразие разных проводных или беспроводных линий связи, как известно. Сигнал может быть сохранен на читаемом процессором носителе информации.
Было описано некоторое число реализаций. Тем не менее, следует понимать, что разнообразные модификации могут быть выполнены. Например, элементы разных реализаций могут быть объединены, дополнены, модифицированы, или удалены, чтобы создавать другие реализации. Дополнительно, специалисту в соответствующей области техники будет понятно, что другие структуры и процессы могут быть замещены применительно к тем, что раскрываются, и результирующие реализации будут выполнять, по меньшей мере, по сути, ту же самую функцию(и), по меньше мере, по сути, точно таким же образом(ами), чтобы достигать, по меньшей мере, по сути, точно такого же результата(ов) как раскрытые реализации. Соответственно, эти и прочие реализации предполагаются данной заявкой.