СПОСОБ КОДИРОВАНИЯ И СПОСОБ ДЕКОДИРОВАНИЯ ВИДЕОИНФОРМАЦИИ, УСТРОЙСТВА ДЛЯ РЕАЛИЗАЦИИ ЭТОГО СПОСОБА, ПРОГРАММЫ ДЛЯ РЕАЛИЗАЦИИ ЭТОГО СПОСОБА И НОСИТЕЛИ ИНФОРМАЦИИ ДЛЯ ЗАПИСИ ЭТИХ ПРОГРАММ
METHOD OF CODING AND METHOD OF DECODING VIDEO DATA, DEVICE FOR REALISING SAID METHOD, PROGRAMME FOR REALISING SAID METHOD AND DATA MEDIUM FOR RECORDING SAID PROGRAMMES

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к способу кодирования видеоинформации, в котором кодированию подлежит видеосигнал, состоящий из двух или более компонентов сигнала, и к устройству для реализации этого способа, а также к способу декодирования видеоинформации для декодирования закодированных данных, сгенерированных в соответствии с этим способом кодирования видеоинформации, и к устройству для реализации этого способа, а также к программе кодирования видеоинформации, используемой для реализации способа кодирования видеоинформации, и к считываемому посредством компьютера носителю записи, на котором записана эта программа, а также к программе декодирования видеоинформации, используемой для реализации способа декодирования видеоинформации, и к считываемому посредством компьютера носителю записи, на котором записана эта программа.
Настоящее изобретение имеет притязание на приоритет заявки на патент Японии № 2006-276074, поданной 10 октября 2006, содержание которой включено сюда путем ссылки.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
В стандартных схемах кодирования движущихся изображений, начиная со стандарта H.264/AVC, во входном видеосигнале используют компоненты сигнала цветности, которые были подвергнуты понижающей дискретизации по сравнению с компонентами сигнала яркости (то есть дискретизация которых была произведена с более низкой частотой, чем та частота, на которой была произведена дискретизация компонент сигнала яркости). Это соответствует видеоформатам, известным как форматы 4:2:2, 4:2:0 и 4:1:1.
Видеоформаты, в которых эти компоненты сигнала цветности имеют меньшую частоту дискретизации, основаны на физиологическом факте, заключающемся в том, что зрение является менее чувствительным к компонентам сигнала цветности, чем к компонентам сигнала яркости, и они были внедрены с целью уменьшения объема видеоинформации и снижения стоимости отображающих устройств (см., например, документы №1 и №2, не являющиеся патентами).
С другой стороны, вследствие растущих ожиданий дальнейших улучшений качества видеоизображений, привлекает внимание видеоформат 4:4:4, в котором сигналы цветности не подвергнуты понижающей дискретизации. Например, в настоящее время Объединенная группа по кодированию видеоинформации (Joint Video Team, JVT) ведет разработку нового метода кодирования для стандарта H.264 (усовершенствованного метода кодирования в формате 4:4:4).
Документ №1, не являющийся патентом: "Chrominance Signal Interpolation of YUV4:2:0 Format Color Images", Hiroshi Sugita, Akira Taguchi, IEICE (The Institute of Electronics, Information and Communication Engineers) Transactions, Vol. J88-A, N6, pp.751-760, 2005.
Документ №2, не являющийся патентом: "A Color Image Compression Scheme Based on the Adaptive Orthogonalized Transform-Accelerated by Sorted Dictionary", Takashi Miura, Fumihiko Itagaki, Akihiko Yokoyama, Momoe Yamaguchi, IEICE (The Institute of Electronics, Information and Communication Engineers) Transactions, Vol. J85-D2, N11, pp. 1672-1682, November 2002.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
ПРОБЛЕМЫ, КОТОРЫЕ ДОЛЖНЫ БЫТЬ РЕШЕНЫ В ИЗОБРЕТЕНИИ
Понижающая дискретизация компонент цветности является эффективным средством уменьшения объема кода, которое одновременно не допускает какого-либо ухудшения субъективного качества изображения. Однако, в зависимости от содержимого изображения, в некоторых случаях возможна дальнейшая понижающая дискретизация, которая не приводит к ухудшению субъективного качества изображения. В отличие от этого, в зависимости от содержимого изображения, в некоторых случаях в видеоформате 4:4:4 не достигают высокого качества изображения вследствие того, что понижающую дискретизацию всех компонент цветности в кадре выполняют одинаковым образом.
Характеристики сигнала изображения изменяются в каждом кадре, и также имеют место локализованные изменения внутри кадра. Чувствительность зрения к компонентам цветности также меняется в соответствии с этими изменениями. Например, в кадре, в котором (или в области, в которой) значения элементов изображения являются малыми (то есть темными), имеет место более низкая чувствительность зрения к компонентам цветности по сравнению с тем кадром, в котором (или с той областью, в которой) значения элементов изображения являются большими (то есть яркими).
Вследствие этого, путем изменения коэффициента понижающей дискретизации (downsampling ratio) компонент цветности в соответствии с характеристиками каждого кадра или в соответствии с локализованными характеристиками внутри кадра может появиться возможность эффективно уменьшить объем кода, сохраняя при этом субъективное качество изображения.
Однако обычную понижающую дискретизацию компонент цветности выполняют с одинаковым коэффициентом по всему кадру, поэтому имеются большие возможности для усовершенствования эффективности кодирования.
Настоящее изобретение было задумано с учетом описанных выше обстоятельств, и его задачей является создание новой технологии кодирования и декодирования видеоинформации, которая эффективно уменьшает объем кода за счет внедрения обработки, при которой выполняют адаптивную понижающую дискретизацию для каждого кадра, и за счет внедрения обработки, при которой выполняют адаптивную понижающую дискретизацию для каждой области внутри каждого кадра.
СРЕДСТВА РЕШЕНИЯ ПРОБЛЕМЫ
[1] Устройство кодирования видеоинформации из настоящего изобретения, которое адаптивно изменяет коэффициент понижающей дискретизации.
[1-1] Структура для покадрового выполнения адаптивных изменений.
Для реализации описанной выше задачи устройство кодирования видеоинформации из настоящего изобретения выполнено таким образом, что когда кодированию подлежит видеосигнал, состоящий из двух или более компонент сигнала, то устройство кодирования видеоинформации снабжено: (1) задающим устройством, которое устанавливает коэффициент понижающей дискретизации для конкретной компоненты сигнала из кадра в соответствии с характеристиками внутри кадра; и (2) устройством генерации, которое осуществляет генерацию видеосигнала, предназначенного для ввода в устройство кодирования, путем понижающей дискретизации конкретной компоненты сигнала внутри кадра в соответствии с коэффициентом понижающей дискретизации, установленным задающим устройством.
Способ кодирования видеоинформации из настоящего изобретения, реализованный посредством приводимых в действие соответствующих устройств обработки, описание которых приведено выше, также может быть реализован здесь посредством компьютерной программы. Эта компьютерная программа может быть предоставлена записанной на подходящем носителе записи, считываемом посредством компьютера, или же она может быть предоставлена через сеть. Когда необходимо реализовать настоящее изобретение, то компьютерную программу инсталлируют, и тогда она способна обеспечивать реализацию настоящего изобретения под управлением управляющего устройства, например, центрального процессора (ЦП).
Принимая во внимание наблюдение, заключающееся в том, что, например, когда выполняют сравнение между кадром, в котором степень изменения относительно предыдущего кадра (amount of transition) является большой, и кадра, в котором степень изменения относительно предыдущего кадра является малой, то в первом случае имеет место относительно низкий уровень чувствительности зрения, и, таким образом, по сравнению с кадром, в котором степень изменения относительно предыдущего кадра мала, в кадре, в котором степень изменения относительно предыдущего кадра является большой, не происходит какого-либо ухудшения субъективного качества изображения даже в том случае, если выполнена сильная понижающая дискретизация, в устройстве кодирования видеоинформации из настоящего изобретения, которое имеет описанную выше структуру, генерацию видеосигнала, предназначенного для ввода в устройство кодирования, осуществляют, например, путем установления коэффициента понижающей дискретизации для конкретной компоненты сигнала, например, для сигнала цветности, в каждом кадре в соответствии с величиной степени изменения относительно предыдущего кадра в этом кадре, а затем путем покадровой понижающей дискретизации конкретной компоненты сигнала в соответствии с установленным коэффициентом понижающей дискретизации.
В соответствии с этой структурой, согласно устройству кодирования видеоинформации из настоящего изобретения, возможно эффективно уменьшить объем кода, сохраняя при этом субъективное качество изображения.
[1-2] Структура для выполнения адаптивных изменений в каждой из единичных частичных областей внутри кадра
В описанном выше устройстве кодирования видеоинформации также возможно, чтобы устройство, устанавливающее коэффициент понижающей дискретизации, содержало: устройство, разделяющее кадр на частичные области в соответствии с локализованными характеристиками внутри кадра; и устройство, устанавливающее коэффициенты понижающей дискретизации для конкретных компонент сигнала в частичных областях в соответствии с характеристиками в каждой частичной области, и чтобы генерация видеосигнала, подлежащего кодированию, производилась путем понижающей дискретизации конкретной компоненты сигнала, соответствующей частичной области, в соответствии с установленным коэффициентом понижающей дискретизации.
Принимая во внимание наблюдение, заключающееся в том, что, например, когда выполняют сравнение между частичной областью, в которой степень изменения относительно предыдущего кадра является большой, и частичной областью, в которой степень изменения относительно предыдущего кадра является малой, то в первом случае имеет место относительно низкий уровень чувствительности зрения, и, таким образом, по сравнению с частичной областью, в которой степень изменения относительно предыдущего кадра мала, в частичной области, в которой степень изменения относительно предыдущего кадра является большой, не происходит какого-либо ухудшения субъективного качества изображения даже в том случае, если выполнена сильная понижающая дискретизация, в устройстве кодирования видеоинформации, которое имеет такую структуру, генерацию видеосигнала, предназначенного для ввода в устройство кодирования, осуществляют, например, путем установления коэффициента понижающей дискретизации для конкретной компоненты сигнала, например, для сигнала цветности, в каждой частичной области внутри кадра в соответствии с величиной степени изменения относительно предыдущего кадра в частичной области внутри кадра, а затем путем понижающей дискретизации конкретной компоненты сигнала для каждой из единичных частичных областей внутри кадров в соответствии с установленным коэффициентом понижающей дискретизации.
В случае такой структуры также возможно эффективно уменьшить объем кода, сохраняя при этом субъективное качество изображения.
[2] Устройство кодирования видеоинформации и устройство декодирования видеоинформации из настоящего изобретения, которые обрабатывают изменения в структуре закодированного блока, сгенерированные в результате адаптивного изменения коэффициента понижающей дискретизации.
Устройство кодирования видеоинформации из настоящего изобретения имеет базовую структуру, в которой в том случае, когда в качестве объекта для кодирования взят видеосигнал, состоящий из двух или более компонент сигнала, то кодируют видеосигналы, сгенерированные путем понижающей дискретизации конкретных компонент сигнала в соответствии с коэффициентом понижающей дискретизации, установленным для каждого кадра или установленным для каждой частичной области внутри кадра.
В отличие от этого, в стандартном устройстве кодирования видеоинформации, может быть использована такая структура, в которой для каждой дискретизированной компоненты сигнала, полученной путем кодирования, к каждому блоку конкретного размера добавляют информацию, показывающую, содержит ли этот блок значащий коэффициент или нет. Если используется структура этого типа, то для блоков, которые не содержат значащий коэффициент, можно опустить операцию добавления коэффициента преобразования, что позволяет достигнуть снижения объема кода.
Однако, поскольку в устройстве кодирования видеоинформации из настоящего изобретения коэффициент понижающей дискретизации конкретной компоненты сигнала изменяют адаптивно, то конфигурация, сформированная путем объединения блоков для каждой компоненты сигнала, не становится неизменной конфигурацией.
Следовательно, в настоящем изобретении может быть дополнительно предусмотрено наличие устройства, которое для каждой дискретизированной компоненты сигнала, полученной путем кодирования видеосигнала, подлежащего кодированию, при добавлении к каждому блоку конкретного размера информации, показывающей, содержит ли этот блок значащий коэффициент или нет, добавляет к группе блоков информацию, показывающую, в каком месте расположена группа блоков, совместно использующих конкретную компоненту сигнала.
Кроме того, в настоящем изобретении предложено устройство декодирования видеоинформации, которое декодирует закодированные данные видеосигнала, который был сгенерирован этим устройством кодирования видеоинформации, содержащее: устройство, которое путем декодирования закодированных данных информации, показывающей, в каком месте расположена группа блоков, совместно использующих конкретную компоненту сигнала, определяет, является ли группа блоков, подлежащих декодированию, группой блоков, совместно использующих конкретную компоненту сигнала, или нет; и устройство, которое, для группы блоков, определенной устройством определения как группа блоков, совместно использующих конкретную компоненту сигнала, путем декодирования закодированных данных о конкретной компоненте сигнала, совместно используемой группой блоков, декодирует подвергнутую понижающей дискретизации компоненту сигнала в соответствии с коэффициентом понижающей дискретизации, установленным на стороне кодирования.
Способ кодирования видеоинформации из настоящего изобретения и способ декодирования видеоинформации из настоящего изобретения, реализованные посредством приводимых в действие соответствующих устройств обработки, описание которых приведено выше, также могут быть реализованы здесь посредством компьютерной программы. Эта компьютерная программа может быть предоставлена записанной на подходящем носителе записи, считываемом посредством компьютера, или же она может быть предоставлена через сеть. Когда необходимо реализовать настоящее изобретение, то компьютерную программу инсталлируют, и тогда она способна обеспечивать реализацию настоящего изобретения под управлением управляющего устройства, например центрального процессора (ЦП).
В устройстве декодирования видеоинформации из настоящего изобретения, которое имеет такую структуру, к группе блоков добавлена информация, показывающая, в каком месте расположена группа блоков, совместно использующих конкретную компоненту сигнала.
Кроме того, в настоящем изобретении предложено устройство декодирования видеоинформации, которое декодирует закодированные данные видеосигнала, которые были сгенерированы этим устройством кодирования видеоинформации, содержащее: устройство, которое путем декодирования закодированных данных информации, показывающей, в каком месте расположена группа блоков, совместно использующих конкретную компоненту сигнала, определяет, является ли группа блоков, подлежащих декодированию, группой блоков, совместно использующих конкретную компоненту сигнала, или нет; и устройство, которое для группы блоков, определенной устройством определения как группа блоков, совместно использующих конкретную компоненту сигнала, путем декодирования закодированных данных о конкретной компоненте сигнала, совместно используемой группой блоков, декодирует подвергнутую понижающей дискретизации компоненту сигнала в соответствии с коэффициентом понижающей дискретизации, установленным на стороне кодирования.
В соответствии с этой структурой согласно настоящему изобретению, когда используется структура, в которой коэффициент понижающей дискретизации адаптивно изменяют в зависимости от кадров или фрагментов внутри кадров, которые берут в качестве единичных элементов, то для структуры, используемой в стандартном устройстве кодирования видеоинформации, которое добавляет к блокам, имеющим определенный размер, информацию, показывающую, содержит ли дискретизированный сигнал значащий коэффициент или нет, возможно ее использование без изменения этой структуры, даже если комбинация блоков для каждой компоненты сигнала изменяется в соответствии с этой структурой.
[3] Устройство кодирования видеоинформации и устройство декодирования видеоинформации из настоящего изобретения, которые обрабатывают изменения точности интерполяции опорного кадра, сгенерированные в результате адаптивного изменения коэффициента понижающей дискретизации.
[3-1] Когда адаптивное изменение коэффициента понижающей дискретизации выполняют для каждого единичного кадра
Устройство кодирования видеоинформации из настоящего изобретения имеет базовую структуру, в которой в том случае, когда в качестве объекта для кодирования взят видеосигнал, состоящий из двух или более компонент сигнала, то кодируют видеосигналы, сгенерированные путем понижающей дискретизации конкретных компонент сигнала в соответствии с коэффициентом понижающей дискретизации, установленным для каждого кадра.
В отличие от этого, в устройстве кодирования видеоинформации для межкадрового предсказания может использоваться компенсация движения, точность которой равна дробной доле элемента изображения. Это возможно потому, что при использовании структуры этого типа может быть реализована высокоточная компенсация движения.
Однако, поскольку в устройстве кодирования видеоинформации из настоящего изобретения коэффициент понижающей дискретизации конкретной компоненты сигнала адаптивно изменяют для каждого единичного кадра, то точность интерполяции опорного кадра, требуемая в том случае, когда для межкадрового предсказания используют компенсацию движения с точностью, равной дробной доле элемента изображения, становится непостоянной.
Следовательно, описанное выше устройство кодирования видеоинформации из настоящего изобретения может быть дополнительно снабжено: устройством, которое в том случае, когда для межкадрового предсказания при кодировании видеосигнала, подлежащего кодированию, используют компенсацию движения, точность которой равна дробной доле элемента изображения, изменяет точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в опорном кадре в соответствии с отношением между коэффициентом понижающей дискретизации кадра, подлежащего кодированию, и коэффициентом понижающей дискретизации опорного кадра; и устройством, которое осуществляет генерацию интерполированного изображения опорного кадра на основании измененной точности интерполяции.
В качестве устройства, взаимодополняющего это устройство, в настоящем изобретении предложено устройство декодирования видеоинформации, которое выполняет декодирование закодированных данных видеосигнала, сгенерированных вышеописанным устройством кодирования видеоинформации, и которое снабжено: устройством, которое в том случае, когда для межкадрового предсказания используют компенсацию движения, точность которой равна дробной доле элемента изображения, изменяет точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в опорном кадре в соответствии с отношением между коэффициентом понижающей дискретизации кадра, подлежащего декодированию, и коэффициентом понижающей дискретизации опорного кадра; и устройством, генерирующим интерполированное изображение опорного кадра на основании измененной точности интерполяции.
Способ кодирования видеоинформации из настоящего изобретения и способ декодирования видеоинформации из настоящего изобретения, реализованные посредством приводимых в действие соответствующих устройств обработки, описание которых приведено выше, также могут быть реализованы здесь посредством компьютерной программы. Эта компьютерная программа может быть предоставлена записанной на подходящем носителе записи, считываемом посредством компьютера, или же она может быть предоставлена через сеть. Когда необходимо реализовать настоящее изобретение, то компьютерную программу инсталлируют, и тогда она способна обеспечивать реализацию настоящего изобретения под управлением управляющего устройства, например центрального процессора (ЦП).
В устройстве кодирования видеоинформации из настоящего изобретения, которое имеет такую структуру, точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в опорном кадре изменяется в соответствии с отношением между коэффициентом понижающей дискретизации кадра, подлежащего кодированию, и коэффициентом понижающей дискретизации опорного кадра, и генерацию интерполированного изображения опорного кадра осуществляют на основании измененной точности интерполяции.
Кроме того, в устройстве декодирования видеоинформации из настоящего изобретения, которое имеет структуру, соответствующую этой структуре, точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в опорном кадре изменяют в соответствии с отношением между коэффициентом понижающей дискретизации кадра, подлежащего декодированию, и коэффициентом понижающей дискретизации опорного кадра, и генерацию интерполированного изображения опорного кадра осуществляют на основании этой измененной точности интерполяции.
В соответствии с этой структурой согласно настоящему изобретению, в том случае, когда используют структуру, в которой коэффициент понижающей дискретизации адаптивно изменяют для каждого единичного кадра, возможно сгенерировать интерполированное изображение опорного кадра, в котором реализована требуемая компенсация движения, даже в том случае, если точность интерполяции опорного кадра изменяют в соответствии с этой структурой.
[3-2] Когда адаптивное изменение коэффициента понижающей дискретизации выполняют для каждой из единичных частичных областей внутри кадра
Устройство кодирования видеоинформации из настоящего изобретения также способно выполнять кодирование видеосигналов, сгенерированных путем более точной понижающей дискретизации конкретных компонент сигнала в соответствии с коэффициентом понижающей дискретизации, установленным для каждой частичной области внутри кадра.
Как изложено выше, в устройстве кодирования видеоинформации для межкадрового предсказания может использоваться компенсация движения, точность которой равна дробной доле элемента изображения. Это возможно потому, что при использовании структуры этого типа может быть реализована высокоточная компенсация движения.
Однако, поскольку в устройстве кодирования видеоинформации из настоящего изобретения коэффициент понижающей дискретизации конкретной компоненты сигнала адаптивно изменяют для каждой из единичных частичных областей внутри кадров, то точность интерполяции опорного кадра, требуемая в том случае, когда для межкадрового предсказания используют компенсацию движения с точностью, равной дробной доле элемента изображения, становится непостоянной.
Следовательно, описанное выше устройство кодирования видеоинформации может быть дополнительно снабжено: устройством, которое в том случае, когда для межкадрового предсказания при кодировании видеосигнала, подлежащего кодированию, используют компенсацию движения, точность которой равна дробной доле элемента изображения, изменяет точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в частичной области внутри опорного кадра в соответствии с отношением между коэффициентом понижающей дискретизации каждой частичной области внутри кадра, подлежащего кодированию, и коэффициентом понижающей дискретизации частичной области внутри опорного кадра, с которым сверяются тогда, когда выполняют компенсацию движения в этой частичной области; и устройством, которое осуществляет генерацию интерполированного изображения частичной области внутри опорного кадра на основании измененной точности интерполяции.
В качестве устройства, взаимодополняющего это устройство, в настоящем изобретении предложено устройство декодирования видеоинформации, которое выполняет декодирование закодированных данных видеосигнала, сгенерированных с использованием вышеописанного способа кодирования видеоинформации, и которое содержит: устройство, которое в том случае, когда для межкадрового предсказания используют компенсацию движения, точность которой равна дробной доле элемента изображения, изменяет точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в частичной области внутри опорного кадра в соответствии с отношением между коэффициентом понижающей дискретизации каждой частичной области внутри кадра, подлежащего декодированию, и коэффициентом понижающей дискретизации частичной области внутри опорного кадра, с которым сверяются тогда, когда выполняют компенсацию движения в этой частичной области; и устройство, генерирующее интерполированное изображение частичной области внутри опорного кадра на основании измененной точности интерполяции.
Способ кодирования видеоинформации из настоящего изобретения и способ декодирования видеоинформации из настоящего изобретения, реализованные посредством приводимых в действие соответствующих устройств обработки, описание которых приведено выше, также могут быть реализованы здесь посредством компьютерной программы. Эта компьютерная программа может быть предоставлена записанной на подходящем носителе записи, считываемом посредством компьютера, или же она может быть предоставлена через сеть. Когда необходимо реализовать настоящее изобретение, то компьютерную программу инсталлируют, и тогда она способна обеспечивать реализацию настоящего изобретения под управлением управляющего устройства, например центрального процессора (ЦП).
В устройстве кодирования видеоинформации из настоящего изобретения, которое имеет такую структуру, точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в частичной области внутри опорного кадра изменяют в соответствии с отношением между коэффициентом понижающей дискретизации частичной области внутри кадра, подлежащего кодированию, и коэффициентом понижающей дискретизации частичной области внутри опорного кадра, с которым сверяются тогда, когда выполняют компенсацию движения в этой частичной области, и генерацию интерполированного изображения частичной области внутри опорного кадра осуществляют на основании этой измененной точности интерполяции.
Кроме того, в устройстве декодирования видеоинформации из настоящего изобретения, которое имеет структуру, соответствующую этой структуре, точность интерполяции компоненты сигнала, подвергнутой понижающей дискретизации, в частичной области внутри опорного кадра изменяют в соответствии с отношением между коэффициентом понижающей дискретизации частичной области, внутри кадра, подлежащего декодированию, и коэффициентом понижающей дискретизации частичной области внутри опорного кадра, с которым сверяются тогда, когда выполняют компенсацию движения в этой частичной области, и генерацию интерполированного изображения частичной области внутри опорного кадра осуществляют на основании этой измененной точности интерполяции.
В соответствии с этой структурой согласно настоящему изобретению, в том случае, когда используется структура, в которой коэффициент понижающей дискретизации адаптивно изменяют для единичных фрагментов внутри кадра, возможно осуществить генерацию интерполированного изображения опорного кадра, посредством которого реализуют требуемую компенсацию движения, даже если точность интерполяции опорного кадра изменяется в соответствии с этой структурой.
Эффекты изобретения
Согласно настоящему изобретению при кодировании видеосигнала имеется возможность адаптивно изменять коэффициент понижающей дискретизации конкретной компоненты сигнала в соответствии с характеристиками каждого кадра или в соответствии с локализованными характеристиками внутри кадра, и, следовательно, имеется возможность добиться эффективного сокращения кода в соответствии с чувствительностью зрения.
Кроме того, согласно настоящему изобретению для структуры, используемой в стандартном устройстве кодирования видеоинформации, которое добавляет к блокам, имеющим определенный размер, информацию, показывающую, содержит ли дискретизированный сигнал значащий коэффициент или нет, возможно ее использование без изменения этой структуры, даже если комбинация блоков для каждой компоненты сигнала изменяется вследствие адаптивного изменения коэффициента понижающей дискретизации.
Кроме того, согласно настоящему изобретению, в том случае, когда для межкадрового предсказания используют компенсацию движения, точность которой равна дробной доле элемента изображения, возможно осуществлять генерацию интерполированного изображения опорного кадра, посредством которого реализуют требуемую компенсацию движения, даже тогда, когда имеет место изменение точности интерполяции опорного кадра вследствие адаптивного изменения коэффициента понижающей дискретизации.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На Фиг. 1 изображена пояснительная схема, на которой показана обработка, при которой выполняют понижающую дискретизацию согласно настоящему изобретению.
На Фиг. 2 изображена пояснительная схема, на которой показана обработка, при которой выполняют понижающую дискретизацию согласно настоящему изобретению.
На Фиг. 3 изображена пояснительная схема, на которой показана обработка, при которой выполняют понижающую дискретизацию согласно настоящему изобретению.
На Фиг. 4 изображена пояснительная схема, на которой показана обработка, при которой выполняют понижающую дискретизацию согласно настоящему изобретению.
На Фиг. 5 изображена пояснительная схема структуры кодированного блока (CBP, далее-СКБ).
На Фиг. 6 изображена схема, на которой показан пример компоненты яркости и компоненты цветности, подвергнутой понижающей дискретизации.
На Фиг. 7A изображена пояснительная схема набора блоков, совместно использующих цветность.
На Фиг. 7Б также изображена пояснительная схема набора блоков, совместно использующих цветность.
На Фиг. 7В также изображена пояснительная схема набора блоков, совместно использующих цветность.
На Фиг. 7Г также изображена пояснительная схема набора блоков, совместно использующих цветность.
На Фиг. 8 изображена пояснительная схема, на которой показаны значения точности интерполяцию опорного кадра.
На Фиг. 9 изображен вариант осуществления схемы последовательности операций, на которой показаны операции обработки при кодировании согласно настоящему изобретению.
На Фиг. 10 показано продолжение схемы последовательности операций, изображенной на Фиг. 9.
На Фиг. 11 изображен вариант осуществления схемы последовательности операций, на которой показаны операции обработки при декодировании согласно настоящему изобретению.
На Фиг. 12 показано продолжение схемы последовательности операций, изображенной на Фиг. 11.
На Фиг. 13 показан вариант осуществления устройства кодирования видеоинформации из настоящего изобретения.
На Фиг. 14 показан вариант осуществления устройства декодирования видеоинформации из настоящего изобретения.
На Фиг. 15 показан вариант осуществления устройства генерации интерполированного изображения опорного кадра из настоящего изобретения.
На Фиг. 16 изображена схема, на которой показан пример структуры устройства кодирования видеоинформации.
На Фиг. 17 изображена схема, на которой показан пример структуры устройства декодирования видеоинформации.
На Фиг. 18 изображен вариант осуществления схемы последовательности операций, на которой показана обработка для генерации интерполированного изображения опорного кадра из настоящего изобретения.
Описание номеров позиций
100 Блок установления флага адаптивной обработки
101 Блок хранения флагов адаптивной обработки
102 Блок считывания сигнала яркости
103 Блок хранения сигналов яркости
104 Блок считывания сигнала цветности
105 Блок хранения сигналов цветности
106 Блок установления коэффициентов понижающей дискретизации
107 Блок хранения коэффициентов понижающей дискретизации
108 Блок обработки, выполняющий понижающую дискретизацию сигнала цветности
109 Блок хранения сигналов цветности
110 Блок задания информации о местоположении макроблока, имеющего данные о цветности
110-1 Блок обработки, адаптивной к последовательности
110-2 Блок обработки, адаптивной к фрагментам
110-3 Блок обработки, адаптивной к цветности
111 Блок генерации закодированного потока
111-1 Блок кодирования информации, содержащейся в заголовке
111-2 Блок хранения закодированных потоков информации, содержащейся в заголовке
111-3 Блок обработки, выполняющий кодирование сигнала яркости - сигнала цветности
111-4 Блок хранения закодированных потоков сигнала яркости - сигнала цветности
111-5 Блок мультиплексирования закодированного потока
112 Блок хранения закодированных потоков
113 Блок определения заключительного фрагмента
НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Ниже будет приведено подробное описание настоящего изобретения в соответствии с вариантами его осуществления.
В настоящем изобретении реализована новая технология кодирования и декодирования видеоинформации, которая эффективно уменьшает объем кода за счет внедрения обработки, при которой выполняют адаптивную понижающую дискретизацию для каждого кадра, и за счет внедрения обработки, при которой выполняют адаптивную понижающую дискретизацию для каждой области внутри каждого кадра.
Ниже приведено описание функций в устройстве кодирования и в устройстве декодирования, необходимых для внедрения этого типа обработки для адаптивной понижающей дискретизации.
Следует отметить, что в приведенном ниже примере объектом понижающей дискретизации является компонента цветности в цветовом пространстве, сформированном сигналом яркости (Y) и двумя компонентами цветности (Cb, Cr), однако цели настоящего изобретения не ограничены этими сигналами цветового пространства.
Например, настоящее изобретение также может быть применено таким же самым образом к трем компонентам, полученным путем выполнения любого преобразования цвета в видеосигналах формата 4:4:4. Кроме того, количество компонент, для которых выполняют обработку путем адаптивной понижающей дискретизации, не ограничено каким-либо конкретным количеством. Например, когда первая основная компонента, вторая основная компонента и третья основная компонента получены с использованием преобразования Карунена-Лоэва (KL-преобразования) для преобразования цвета, то объектом понижающей дискретизации может являться любая из этих компонент. Кроме того, другим примером может являться следующий: объектом понижающей дискретизации являются любые две из этих трех компонент (например, вторая основная компонента и третья основная компонента). Кроме того, естественно, также возможно, что объектом понижающей дискретизации являются все три эти компоненты.
Кроме того, настоящее изобретение также может быть применено таким же самым образом в том случае, когда объектом понижающей дискретизации является иной сигнал, чем сигнал цветового пространства.
[1] Адаптивная обработка единичного кадра
Согласно первому объекту настоящего изобретения коэффициент понижающей дискретизации кадра адаптивно изменяют для компоненты цветности в соответствии с характеристиками внутри кадра.
f
Коэффициент понижающей дискретизации кадра, обозначаемый как r[t] (<1), определяется следующей формулой:
f
r[t]=W'[t]/W[t]=H'[t]/H[t],
когда размер кадра номер t в видеоформате 4:4:4 взят равным W[t]×H[t] [элементов изображения], и когда размер кадра компоненты цветности после понижающей дискретизации взят равным W'[t]×H'[t] [элементов изображения].
Пример, показанный на Фиг. 1, представляет собой пример, в котором коэффициент понижающей дискретизации кадра последовательно установлен равным 1/2, 1/4, 1/4, начиная с первого по счету кадра.
Здесь коэффициенты понижающей дискретизации кадра для двух компонент сигнала цветности (то есть для компонент Cb и Cr) имеют одинаковое значение.
Здесь также возможно независимо устанавливать коэффициенты понижающей дискретизации кадра для двух компонент сигнала цветности (то есть для компонент Cb и Cr).
Пример этого показан на чертеже Фиг. 2. Здесь коэффициент понижающей дискретизации кадра для компоненты Cb последовательно установлен равным 1/2, 1/4, 1/2, начиная с первого по счету кадра, в то время как коэффициент понижающей дискретизации кадра для компоненты Cr установлен равным 1/2, 1/2, 1/4.
Способ, используемый для установления коэффициента понижающей дискретизации для каждого кадра, обеспечивает внешнее средство, которое является отдельным от средства, выполняющего понижающую дискретизацию.
Например, возможно установить коэффициент понижающей дискретизации для каждого кадра в соответствии с величиной степени изменения относительно предыдущего кадра (то есть изменения), имеющейся внутри кадра.
Когда кадр, в котором степень изменения относительно предыдущего кадра является большой, сравнивают с кадром, в котором степень изменения относительно предыдущего кадра является малой, то в первом случае имеет место относительно низкий уровень чувствительности зрения. Вследствие этого, в кадре, в котором степень изменения относительно предыдущего кадра является большой, можно установить малый коэффициент понижающей дискретизации для того, чтобы выполнить в нем сильную понижающую дискретизацию по сравнению с тем кадром, в котором степень изменения относительно предыдущего кадра является малой.
Соответственно, в этом случае средство, которое устанавливает коэффициент понижающей дискретизации, обнаруживает величину степени изменения относительно предыдущего кадра для кадра, определяет коэффициент понижающей дискретизации, который соответствует этой величине, а затем дает средству, выполняющему понижающую дискретизацию, команду выполнить понижающую дискретизацию этого кадра в соответствии с определенным коэффициентом понижающей дискретизации.
[2] Адаптивная обработка единичного фрагмента
Согласно второму объекту настоящего изобретения коэффициент понижающей дискретизации фрагмента адаптивно изменяют для компонент цветности в соответствии с характеристиками внутри кадра.
s
Коэффициент понижающей дискретизации фрагмента, обозначаемый как r[t,i] (<1), определяется следующей формулой:
s
r[t,i]=w'[t,i]/w[t,i]=h'[t,i]/h[t,i],
когда кадр номер t компоненты цветности в видеоформате 4:4:4 разделен на несколько частичных областей (именуемых "фрагментами"), а размер i-го фрагмента взят равным w[t,i]×h[t,i] [элементов изображения], и когда размер i-го фрагмента после понижающей дискретизации взят равным w'[t,i]×h'[t,i] [элементов изображения].
Здесь i=0, 1,..., I-1, где I-общее количество фрагментов в кадре.
В верхнем ряду на Фиг. 3 показан пример того случая, когда кадры компоненты цветности разделены на два фрагмента. Для удобства, верхний фрагмент из этих двух фрагментов ниже именуют первым фрагментом, а нижний фрагмент именуют вторым фрагментом.
В этом примере, как показано в нижнем ряду на Фиг. 3, коэффициент понижающей дискретизации фрагмента для первого фрагмента установлен равным 1/2, а коэффициент понижающей дискретизации фрагмента для второго фрагмента установлен равным 1/4. Здесь коэффициенты понижающей дискретизации фрагмента для двух компонент сигнала цветности (то есть для компонент Cb и Cr) имеют одинаковое значение.
Здесь также возможно независимо устанавливать коэффициенты понижающей дискретизации фрагмента для двух компонент сигнала цветности (то есть для компонент Cb и Cr).
Пример этого показан на чертеже Фиг. 4. Как показано в верхнем ряду, при тех же самых установленных параметрах разделения на фрагменты, как и на Фиг. 3, коэффициенты понижающей дискретизации фрагмента для первого фрагмента и для второго фрагмента компоненты Cb установлены равными, соответственно, 1/2 и 1/4, тогда как коэффициенты понижающей дискретизации фрагмента для первого фрагмента и для второго фрагмента компоненты Cr установлены равными, соответственно, 1/4 и 1/2.
В то время как вышеупомянутые описанные коэффициенты понижающей дискретизации кадра позволяют изменять коэффициент понижающей дискретизации для каждого кадра, эти коэффициенты понижающей дискретизации фрагмента позволяют дополнительно изменять коэффициент понижающей дискретизации в локализованных областях внутри кадра.
Способ, используемый для разделения кадра на фрагменты, и способ, используемый для установления коэффициента понижающей дискретизации фрагмента для каждого фрагмента, обеспечивает внешнее средство, которое является отдельным от средства, выполняющего понижающую дискретизацию фрагментов.
Например, можно разделить кадр на области фрагментов в соответствии с величиной степени изменения относительно предыдущего кадра (то есть изменения). Когда фрагмент, в котором степень изменения относительно предыдущего кадра является большой, сравнивают с фрагментом, в котором степень изменения относительно предыдущего кадра является малой, то в первом случае имеет место относительно низкий уровень чувствительности зрения. Вследствие этого, в фрагменте, в котором степень изменения относительно предыдущего кадра является большой, можно установить малый коэффициент понижающей дискретизации для того, чтобы выполнить в нем сильную понижающую дискретизацию по сравнению с тем фрагментом, в котором степень изменения относительно предыдущего кадра является малой.
Соответственно, в этом случае средство, которое устанавливает коэффициенты понижающей дискретизации фрагментов, обнаруживает величину степени изменения относительно предыдущего кадра для каждой небольшой области внутри кадра, на основании этого разделяет кадр на области фрагментов, а также определяет для каждого фрагмента коэффициент понижающей дискретизации фрагмента, соответствующий степени изменения относительно предыдущего кадра в этом фрагменте, а затем дает средству, выполняющему понижающую дискретизацию фрагментов, команду выполнить понижающую дискретизацию фрагмента для соответствующего фрагмента в соответствии с определенным коэффициентом понижающей дискретизации фрагмента.
[3] Кодирование блочной структуры
Ниже приведено описание распределения битов применительно к структуре кодированного блока (СКБ) (описание которой приведено ниже) при выполнении адаптивной понижающей дискретизации кадра и адаптивной понижающей дискретизации фрагмента согласно настоящему изобретению.
В стандарте H.264 компонента яркости, состоящая из 16×16 элементов изображения, и компонента цветности, состоящая из двух блоков размером 8×8 элементов изображения, известны как макроблок, и преобразование коэффициента преобразования в закодированный поток осуществляют в единицах этих макроблоков.
На этом этапе, как показано на Фиг. 5, к шести субблокам, которые сформированы из четырех субблоков компоненты яркости размером 8×8 [элементов изображения] и двух субблоков компоненты цветности такого же размера, добавляют шесть битов информации, указывающей, содержит ли коэффициент преобразования внутри каждого субблока значащий коэффициент (то есть коэффициент, не равный нулю) или нет. Эта информацию именуют "структурой кодированного блока" (СКБ).
Следует отметить, что цифры внутри субблоков на Фиг. 5 показывают местоположение бита в СКБ для каждого субблока.
Информацию о кодировании для иного коэффициента преобразования, чем СКБ, не добавляют к тем субблокам, в которых соответствующий бит в СКБ равен 0. Это обусловлено тем, что эта обработка предназначена для уменьшения объема кода. В отличие от этого, информацию о коэффициенте преобразования добавляют к тем субблокам, в которых этот бит равен 1.
В стандарте H.264 уменьшение объема кода достигнуто с использованием СКБ этого типа, и если необходимо выполнить адаптивную понижающую дискретизацию кадра и адаптивную понижающую дискретизацию фрагмента согласно настоящему изобретению, то необходимо создать структуру, которая позволяет использовать эту СКБ.
Соответственно, в настоящем изобретении, когда коэффициент понижающей дискретизации компонент цветности является переменным, то видоизменяют распределение битов для этой СКБ.
Ниже приведено описание распределения битов для СКБ из настоящего изобретения.
В качестве примера рассмотрен случай, в котором размер компонент яркости в макроблоке взят равным 16×16, и коэффициент понижающей дискретизации кадра (или коэффициент понижающей дискретизации фрагмента) взят равным r (<1/2).
В этом случае генерируют макроблоки двух типов, имеющие различные структурные элементы.
А именно, этими макроблоками двух типов являются следующие: макроблок, который сформирован из шести субблоков, сформированных из четырех субблоков компоненты яркости размером 8×8 [элементов изображения] и двух субблоков компоненты цветности идентичного размера, и макроблок, который сформирован только из четырех субблоков компоненты яркости размером 8×8 [элементов изображения].
В первом случае, СКБ представлена шестью (6) битами таким же самым образом, как и в обычной технологии. В отличие от этого, в последнем случае СКБ представлена четырьмя (4) битами.
На Фиг. 6 показан пример, в котором r=1/4. В этом случае могут быть рассмотрены четыре комбинации компонент цветности и компонент яркости, показанные на чертежах Фиг. 7A - 7Г. Поэтому необходима информация, указывающая, в каком именно месте расположен макроблок, имеющий компоненту цветности.
Группу элементов изображения, которая сформирована из компонент цветности и компонент яркости, совместно использующих эти компоненты цветности, именуют набором блоков с общей цветностью. А именно, на любом из чертежей Фиг. 7A - 7Г компоненты цветности (то есть участок, обозначенный на чертеже штриховкой), принадлежащие макроблоку, совместно используются тремя другими макроблоками (то есть теми макроблоками, которые содержат только компоненты яркости).
Кроме того, в наборе блоков с общей цветностью местоположение макроблока, имеющего компоненты цветности, именуют местоположением макроблока, имеющего цветность.
Теперь будет приведено описание способа представления этого местоположения макроблока, имеющего данные о цветности, применительно к способу представления, используемому в настоящем изобретении.
[3-1] Третий объект настоящего изобретения
Им является способ, в котором местоположение макроблока, имеющего цветность, определяют заранее.
Например, в этом примере определено, что компоненту цветности имеет только тот макроблок, который является ближайшим к началу в просматриваемой последовательности. Если это местоположение заранее совместно используется устройством кодирования и устройством декодирования, то декодирование может быть выполнено в устройстве декодирования без какой-либо дополнительной информации.
[3-2] Четвертый объект настоящего изобретения
Им является способ, в котором местоположение макроблока, имеющего цветность, задают на стороне устройства кодирования для каждой последовательности (то есть для всего сжатого видеоизображения).
В этом случае местоположение макроблока, имеющего цветность, задают как фиксированное значение в последовательности. В связи с этим, в закодированный поток необходимо добавить приведенную ниже информацию в качестве информации о кодировании.
Во-первых, к закодированному потоку в качестве информации, содержащейся в заголовке, добавляют флаг "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности"), указывающий, следует ли применять эту адаптивную обработку или нет. Этот флаг устанавливают равным 1 тогда, когда эту адаптивную обработку выполняют, и устанавливают равным 0 тогда, когда эту адаптивную обработку не выполняют.
Кроме того, поскольку местоположение макроблока, имеющего цветность, изменяется для каждой последовательности, то данные о местоположении макроблока, имеющего данные о цветности, добавляют к закодированному потоку в виде содержащейся в заголовке информации о последовательности для каждой последовательности. Эту обработку именуют обработкой изменяющегося местоположения макроблока, имеющего цветность, адаптивной к последовательности.
[3-3] Пятый объект настоящего изобретения
Им является способ, в котором местоположение макроблока, имеющего цветность, задают на стороне устройства кодирования для каждого фрагмента.
Здесь, как описано выше, термин "фрагмент" означает частичную область, полученную путем разделения внутренней части каждого кадра. Конкретный способ разделения обеспечивает внешнее средство для определения разделений на фрагменты.
В этом случае местоположение макроблока, имеющего цветность, задают как фиксированное значение внутри фрагмента. В связи с этим, в закодированный поток необходимо добавить приведенную ниже информацию в качестве информации о кодировании.
Во-первых, к закодированному потоку в качестве информации, содержащейся в заголовке, добавляют флаг "chroma-position-slice-adaptive" ("местоположение цветности, адаптивное к фрагменту"), указывающий, следует ли применять эту адаптивную обработку или нет. Этот флаг устанавливают равным 1 тогда, когда эту адаптивную обработку выполняют, и устанавливают равным 0 тогда, когда эту адаптивную обработку не выполняют.
Кроме того, поскольку местоположение макроблока, имеющего цветность, изменяется для каждого фрагмента, то к закодированному потоку необходимо добавить данные о местоположении макроблока, имеющего данные о цветности, в виде содержащейся в заголовке информации о фрагменте для каждого фрагмента. Эту обработку именуют обработкой изменяющегося местоположения макроблока, имеющего цветность, адаптивной к фрагменту.
[3-4] Шестой объект настоящего изобретения
Им является способ, в котором местоположение макроблока, имеющего цветность, задают на стороне устройства кодирования для каждого набора блоков с общей цветностью. В этом случае имеется возможность изменения местоположения макроблока, имеющего цветность, для каждого набора блоков с общей цветностью. В связи с этим, к закодированному потоку необходимо добавить приведенную ниже информацию в качестве информации о кодировании.
Во-первых, к закодированному потоку в качестве информации, содержащейся в заголовке, добавляют флаг "chroma-position-MBs-adaptive" ("местоположение цветности, адаптивное к макроблокам"), указывающий, следует ли применять эту адаптивную обработку или нет. Этот флаг устанавливают равным 1 тогда, когда эту адаптивную обработку выполняют, и устанавливают равным 0 тогда, когда эту адаптивную обработку не выполняют.
Кроме того, поскольку местоположение макроблока, имеющего цветность, изменяется для каждого набора блоков с общей цветностью, то к закодированному потоку необходимо добавить данные о местоположении макроблока, имеющего данные о цветности, в виде содержащейся в заголовке информации о наборе блоков с общей цветностью для каждого набора блоков с общей цветностью. Эту обработку именуют обработкой изменяющегося местоположения макроблока, имеющего цветность, адаптивной к набору блоков с общей цветностью.
[4] Формат кодирования вектора движения
Ниже приведено описание формата кодирования вектора движения при выполнении адаптивной понижающей дискретизации кадра и понижающей дискретизации фрагмента согласно настоящему изобретению.
В наборе блоков с общей цветностью компоненты яркости и компоненты цветности считают совместно использующими одну и ту же информацию о векторе движения. Однако для цветности необходимо выполнить масштабирование вектора движения в соответствии с коэффициентом понижающей дискретизации.
Например, когда вектор движения, добавленный к закодированному потоку, равен v=(4,8), а коэффициент понижающей дискретизации равен 1/4, то вектор движения компоненты яркости равен v=(4,8), а вектор движения компоненты цветности равен (1/4)×v=(1,2).
[4-1] Седьмой объект настоящего изобретения
Точность интерполяции компоненты цветности опорного кадра изменяется на основании приведенной ниже формулы (1) в соответствии с коэффициентом понижающей дискретизации кадра для кадра, подлежащего кодированию, (то есть кадра номер t) и опорного кадра (то есть кадра номер (t-1)), и на основании этого генерируют интерполированное изображение компоненты цветности опорного кадра.
f
f
Следует отметить, что в приведенной ниже формуле r[t] представляет собой коэффициент понижающей дискретизации кадра для кадра, подлежащего кодированию, в то время как r[t-1] представляет собой коэффициент понижающей дискретизации кадра для опорного кадра.
Когда точность оценки движения (то есть точность компенсации движения) компоненты яркости кадра номер t равна 1/M, то точность A интерполяции компоненты цветности опорного кадра определяется согласно приведенной ниже формуле (1):
f
f
A=(r[t-1]/r[t])×(1/M). (1)
Например, когда точность оценки движения компоненты яркости для кадра, подлежащего кодированию, равна 1/4 элемента изображения и когда коэффициент понижающей дискретизации компоненты цветности для кадра, подлежащего кодированию, равен 1/4, и когда коэффициент понижающей дискретизации компоненты цветности для опорного кадра равен 1/2, то в соответствии с формулой (1) установлено, что точность А интерполяции движения компоненты цветности для опорного кадра равна 1/2 элемента изображения.
A=(1/2)÷(1/4)×(1/4)=1/2.
Это происходит по следующей причине. Когда коэффициент понижающей дискретизации компоненты цветности кадра, подлежащего кодированию, равен 1/4, то используемый вектор движения для компоненты цветности получают путем масштабирования вектора движения компоненты яркости с коэффициентом 1/4. При выполнении этого масштабирования информацию о менее чем одном элементе изображения вектора движения отбрасывают, и точность оценки движения для компоненты цветности кадра, подлежащего кодированию, превращается в точность, равную 1, элементу изображения.
В отличие от этого, коэффициент понижающей дискретизации опорного кадра равен 1/2, и разрешающая способность равна половине сигнала яркости. Вследствие этого, для того, чтобы получить информацию о местоположении, выраженную целым числом элементов изображения, которая необходима для компоненты цветности кадра, подлежащего кодированию, необходимо получить информацию для местоположения, соответствующего 1/2 элемента изображения в опорном кадре, путем интерполяции.
На Фиг. 8 показаны собранные результаты о точности интерполяции (то есть точности А интерполяции, определенной с использованием формулы (1)) опорного кадра, когда точность оценки движения компоненты яркости равна 1/4 элемента изображения, а коэффициенты понижающей дискретизации кадра, подлежащего кодированию, и опорного кадра изменяют на 1, 1/2, 1/4.
Здесь точность оценки движения, необходимая для (компоненты цветности) кадра, подлежащего кодированию, которая показана на Фиг. 8, определена согласно следующей формуле:
f
(1/r[t])×(1/M).
[4-2] Восьмой объект настоящего изобретения
Точность интерполяции в фрагменте компоненты цветности опорного кадра изменяют на основании приведенной ниже формулы (2) в соответствии с коэффициентами понижающей дискретизации фрагмента кадра, подлежащего кодированию (то есть кадра номер t) и опорного кадра (то есть, кадра номер (t-1)). На основании этого генерируют интерполированное изображение фрагмента компоненты цветности опорного кадра.
Следует отметить, что в приведенной ниже формуле рассмотрен случай, в котором блок в i-том фрагменте кадра, подлежащего кодированию, занимает область в j-том фрагменте опорного кадра, служащем в качестве опорного сигнала при компенсации движения.
s
s
Здесь коэффициент понижающей дискретизации фрагмента для i-того фрагмента кадра, подлежащего кодированию, равен r[t,i], а коэффициент понижающей дискретизации фрагмента для j-того фрагмента опорного кадра равен r[t-1,j].
Когда точность оценки движения компоненты яркости кадра номер t равна 1/M, то точность А[j] интерполяции j-того фрагмента компоненты цветности опорного кадра определяется согласно следующей формуле (2):
s
s
A[j]=(r[t-1,j]/r[t,i])×(1/M). (2)
Варианты осуществления изобретения
Ниже приведено подробное описание настоящего изобретения в соответствии с описанными ниже вариантами его осуществления.
На чертежах Фиг. 9 и 10 показан вариант осуществления схемы последовательности операций, на которой продемонстрирована обработка при кодировании, выполняемая согласно настоящему изобретению. Ниже приведено подробное описание обработки при кодировании, выполняемой согласно настоящему изобретению, в соответствии с этой схемой последовательности операций.
Операция S100: выполняют считывание флагов, связанных с заданием информации о местоположении макроблока, имеющего данные о цветности (то есть флага "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности"), флага "chroma-position-slice-adaptive" ("местоположение цветности, адаптивное к фрагменту") и флага "chroma-position-MBs-adaptive" ("местоположение цветности, адаптивное к макроблокам")) и запись их в регистры. Это нужно для определения того, следует ли использовать вышеописанную обработку изменяющегося местоположения макроблока, имеющего цветность, адаптивную к последовательности, или вышеописанную обработку изменяющегося местоположения макроблока, имеющего цветность, адаптивную к фрагменту, или же вышеописанную обработку изменяющегося местоположения макроблока, имеющего цветность, адаптивную к набору блоков с общей цветностью.
Операция S101: определяют, установлено ли значение флага "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности"), связанного с заданием информации о местоположении макроблока, имеющего данные о цветности, равным 1, или нет, и если результатом этого определения является значение "истина" (то есть "ДА"), то в последовательности операций переходят к выполнению операции S102. Однако, если результатом определения является "НЕТ", то в последовательности операций переходят к выполнению операции S103.
Операция S102: Выполняют обработку для задания информации о местоположении макроблока, имеющего данные о цветности, и информацию о местоположении макроблока, имеющего данные о цветности, записывают в регистр.
Здесь информацию о местоположении макроблока, имеющего данные о цветности, которая была задана, используют на протяжении кодирования всей последовательности. Это соответствует четвертому объекту изобретения, описанному выше.
Конкретные задаваемые значения предоставляют из внешнего средства, которое выполняет операцию задания информации о местоположении макроблока, имеющего данные о цветности. Например, может быть использован способ, в котором, рассматривая взвешенную сумму искажений при кодировании и объем кода как функцию стоимости, информацию о местоположении макроблока, имеющего данные о цветности, задают таким образом, чтобы эта функция стоимости была минимизирована.
Операция S103: определяют, установлено ли значение флага "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности"), связанного с заданием информации о местоположении макроблока, имеющего данные о цветности, равным 1, или нет, и если результатом этого определения является значение "истина", то в последовательности операций переходят к выполнению операции S106. Однако, если результатом определения не является значение "истина", то в последовательности операций переходят к выполнению операции S104.
Операция S104: определяют, установлено ли значение флага "chroma-position-slice-adaptive" ("местоположение цветности, адаптивное к фрагменту"), связанного с заданием информации о местоположении макроблока, имеющего данные о цветности, равным 1, или нет, и если результатом этого определения является значение "истина", то в последовательности операций переходят к выполнению операции S105. Однако, если результатом определения не является значение "истина", то в последовательности операций переходят к выполнению операции S106.
Операция S105: выполняют обработку для задания информации о местоположении макроблока, имеющего данные о цветности, и информацию о местоположении макроблока, имеющего данные о цветности, записывают в регистр.
Здесь информацию о местоположении макроблока, имеющего данные о цветности, которая была задана ранее, используют на протяжении кодирования во всем фрагменте. Это соответствует пятому объекту изобретения, описанному выше.
Конкретные задаваемые значения предоставляют из внешнего средства, которое выполняет операцию задания информации о местоположении макроблока, имеющего данные о цветности. Например, может быть использован способ, в котором, рассматривая взвешенную сумму искажений при кодировании и объем кода как функцию стоимости, информацию о местоположении макроблока, имеющего данные о цветности, задают таким образом, чтобы эта функция стоимости была минимизирована.
Операция S106: считывают сигнал яркости и сигнал цветности фрагмента, наблюдаемого в текущий момент времени, и записывают их в регистр.
Операция S107: устанавливают коэффициент понижающей дискретизации для сигнала цветности. Здесь установленным коэффициентом понижающей дискретизации является коэффициент понижающей дискретизации фрагмента.
Конкретные устанавливаемые значения предоставляют из внешнего средства, которое выполняет операцию установления коэффициента понижающей дискретизации фрагмента. Например, во фрагменте, имеющем низкое значение сигнала яркости, может быть использован способ, в котором устанавливают малый коэффициент понижающей дискретизации, вследствие чего выполняют сильную понижающую дискретизацию компоненты цветности.
Операция S108: вводят установленный коэффициент понижающей дискретизации и сигнал цветности, записанный в регистр, и выполняют обработку, производя понижающую дискретизацию компоненты цветности в соответствии с введенным коэффициентом понижающей дискретизации. Компоненту цветности после понижающей дискретизации записывают в регистр.
Коэффициент фильтра, используемый при понижающей дискретизации, предоставлен из внешнего средства, которое определяет коэффициенты фильтра в соответствии с коэффициентом понижающей дискретизации.
Операция S109: определяют, установлено ли значение, по меньшей мере, одного из следующих флагов: флага "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности") или флага "chroma-position-slice-adaptive" ("местоположение цветности, адаптивное к фрагменту"), связанных с заданием информации о местоположении макроблока, имеющего данные о цветности, равным 1, или нет, и если результатом этого определения является значение "истина", то в последовательности операций переходят к выполнению операции S112. Однако, если результатом определения не является значение "истина", то в последовательности операций переходят к выполнению операции S110.
Операция S110: определяют, установлено ли значение флага "chroma-position-MBs-adaptive" ("местоположение цветности, адаптивное к макроблокам"), связанного с заданием информации о местоположении макроблока, имеющего данные о цветности, равным 1, или нет, и если результатом этого определения является значение "истина", то в последовательности операций переходят к выполнению операции S111. Однако, если результатом определения не является значение "истина", то в последовательности операций переходят к выполнению операции S112.
Операция S111: выполняют обработку для задания информации о местоположении макроблока, имеющего данные о цветности, и информацию о местоположении макроблока, имеющего данные о цветности, записывают в регистр. Здесь информацию о местоположении макроблока, имеющего данные о цветности, которая была задана ранее, используют на протяжении кодирования всего набора блоков с общей цветностью. Это соответствует шестому объекту изобретения, описанному выше.
Конкретные задаваемые значения предоставляют из внешнего средства, которое выполняет операцию задания информации о местоположении макроблока, имеющего данные о цветности. Например, может быть использован способ, в котором, рассматривая взвешенную сумму искажений при кодировании и объем кода как функцию стоимости, информацию о местоположении макроблока, имеющего данные о цветности, задают таким образом, чтобы эта функция стоимости была минимизирована.
Операция S112: считывают заданную информацию о местоположении макроблока, имеющего данные о цветности, и коэффициент понижающей дискретизации, и записывают их в регистры.
Операция S113: вводят информацию о местоположении макроблока, имеющего данные о цветности, которая была записана в регистр при операции S112, и определяют, находится ли макроблок, подлежащий кодированию, в местоположении макроблока, имеющего цветность. Затем выводят значение "истина" или "ложь" в качестве результата этого определения.
Если результатом является значение "истина", то в последовательности операций переходят к выполнению операции S114. Если же результатом является значение "ложь", то в последовательности операций переходят к выполнению операции S115.
Операция S114: Используя сигнал цветности в качестве входных данных, выполняют обработку по кодированию и результат кодирования записывают в регистр.
Конкретный способ кодирования является различным в зависимости от используемого алгоритма кодирования. Например, в стандартах H.264 и MPEG-2 способ кодирования включает в себя компенсацию движения и дискретное косинусное преобразование.
Операция S115: информацию, содержащуюся в заголовке, которая была сгенерирована при кодировании, записывают в регистр.
Конкретные символы и т.п., подлежащие кодированию, являются различными в зависимости от используемого алгоритма кодирования. Например, в случае стандарта H.264 символы, подлежащие кодированию, формирует синхронный код (здесь термин "символ" относится к структурным единичным элементам информации).
Операция S116: Используя сигнал яркости в качестве входных данных, выполняют обработку по кодированию и результат кодирования записывают в регистр.
Конкретный способ кодирования является различным в зависимости от используемого алгоритма кодирования. Например, в стандартах H.264 и MPEG-2 способ кодирования включает в себя компенсацию движения и дискретное косинусное преобразование.
Операция S117 и операция S118: операции обработки, начиная с операции S113 и заканчивая операцией S116, повторяют для всех макроблоков из набора блоков с общей цветностью.
Операция S119: операции обработки, начиная с операции S109 и заканчивая операцией S118, повторяют для всех наборов блоков с общей цветностью внутри фрагмента.
Операция S120: операции обработки, начиная с операции S103 и заканчивая операцией S119, повторяют для всех фрагментов в последовательности.
Таким образом, в данном варианте осуществления изобретения кодирование компонент яркости и компоненты цветности выполняют наряду с выполнением понижающей дискретизации фрагментов для компонент цветности в соответствии с коэффициентом понижающей дискретизации фрагмента, который был установлен адаптивно. Кроме того, выполняют обработку для задания информации о местоположении макроблока, имеющего данные о цветности, которая показывает, какие именно макроблоки имеют компоненты цветности, и для ее кодирования как информации, содержащейся в заголовке.
На чертежах Фиг. 11 и 12 проиллюстрирован вариант осуществления схемы последовательности операций, демонстрирующей обработку при декодировании согласно настоящему изобретению, в которой декодированию подлежат закодированные данные, сгенерированные при обработке для выполнения кодирования, показанной на схеме последовательности операций на чертежах Фиг. 9 и 10. Теперь будет приведено подробное описание обработки при декодировании, выполняемой согласно настоящему изобретению, в соответствии с этой схемой последовательности операций.
Операция S200: беря закодированный поток в качестве входных данных, выполняют обработку по декодированию флага (флага "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности"), флага "chroma-position-slice-adaptive" ("местоположение цветности, адаптивное к фрагменту"), флага "chroma-position-MBs-adaptive" ("местоположение цветности, адаптивное к макроблокам")), связанного с заданием информации о местоположении макроблока, имеющего данные о цветности, и значение полученного флага записывают в регистр.
Операция S201: определяют, установлено ли значение флага "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности"), связанного с заданием информации о местоположении макроблока, имеющего данные о цветности, равным 1, или нет, и если результатом этого определения является значение "истина", то в последовательности операций переходят к выполнению операции S202. Однако, если результатом определения не является значение "истина", то в последовательности операций переходят к выполнению операции S203.
Операция S202: беря закодированный поток в качестве входных данных, выполняют обработку по декодированию информации о местоположении макроблока, имеющего данные о цветности, и полученное таким способом значение информации о местоположении макроблока, имеющего данные о цветности, записывают в регистр. Такую обработку выполняют тогда, когда используют четвертый объект изобретения, описание которого приведено выше.
Операция S203: беря закодированный поток в качестве входных данных, выполняют обработку по декодированию коэффициента понижающей дискретизации, и значение коэффициента понижающей дискретизации записывают в регистр.
Операция S204: определяют, установлено ли значение флага "chroma-position-slice-adaptive" ("местоположение цветности, адаптивное к фрагменту"), связанного с заданием информации о местоположении макроблока, имеющего данные о цветности, равным 1, или нет, и если результатом этого определения является значение "истина", то в последовательности операций переходят к выполнению операции S205. Однако, если результатом определения не является значение "истина", то в последовательности операций переходят к выполнению операции S206.
Операция S205: беря закодированный поток в качестве входных данных, выполняют обработку по декодированию информации о местоположении макроблока, имеющего данные о цветности, и полученное таким способом значение информации о местоположении макроблока, имеющего данные о цветности, записывают в регистр. Такую обработку выполняют тогда, когда используют пятый объект изобретения, описание которого приведено выше.
Операция S206: определяют, установлено ли значение флага "chroma-position-MBs-adaptive" ("местоположение цветности, адаптивное к макроблокам"), связанного с заданием информации о местоположении макроблока, имеющего данные о цветности, равным 1, или нет, и если результатом этого определения является значение "истина", то в последовательности операций переходят к выполнению операции S207. Однако, если результатом определения не является значение "истина", то в последовательности операций переходят к выполнению операции S208.
Операция S207: беря закодированный поток в качестве входных данных, выполняют обработку по декодированию информации о местоположении макроблока, имеющего данные о цветности, и полученное таким способом значение информации о местоположении макроблока, имеющего данные о цветности, записывают в регистр. Такую обработку выполняют тогда, когда используют шестой объект изобретения, описание которого приведено выше.
Операция S208: беря информацию о местоположении макроблока, имеющего данные о цветности, в качестве входных данных, определяют, находится ли макроблок, подлежащий кодированию, в местоположении макроблока, имеющего данные о цветности, и в качестве результата этого определения выводят значение "истина" или "ложь". Если выведенным результатом является значение "истина", то в последовательности операций переходят к выполнению операции S209. Если же выведенным результатом является значение "ложь", то в последовательности операций переходят к выполнению операции S210.
Операция S209: беря закодированный поток в качестве входных данных, выполняют обработку по декодированию компоненты цветности, и результат декодирования записывают в регистр.
Операция S210: беря закодированный поток в качестве входных данных, выполняют обработку по декодированию компоненты яркости, и результат декодирования записывают в регистр.
Операция S211 и операция S212: операции обработки, начиная с операции S208 и заканчивая операцией S210, повторяют для всех макроблоков из набора блоков с общей цветностью.
Операция S213: беря коэффициент понижающей дискретизации, который был декодирован при операции S203, в качестве входных данных, выполняют обработку по преобразованию коэффициента понижающей дискретизации в коэффициент повышающей дискретизации, и вычисленное значение записывают в регистр.
Величина этого коэффициента повышающей дискретизации является обратной коэффициенту понижающей дискретизации.
Операция S214: беря коэффициент повышающей дискретизации, полученный при операции S213, и компоненту цветности, декодированную при операции S209, в качестве входных данных, выполняют обработку путем повышающей дискретизации этой компоненты цветности, и обработанную компоненту цветности записывают в регистр.
Операция S215: операции обработки, начиная с операции S206 и заканчивая операцией S214, повторяют для всех наборов блоков с общей цветностью внутри фрагмента.
Операция S216: операции обработки, начиная с операции S203 и заканчивая операцией S215, повторяют для всех фрагментов в последовательности.
Таким образом, в настоящем изобретении, беря закодированные данные, сгенерированные путем обработки при кодировании, показанной на схемах последовательности операций, изображенных на чертежах Фиг. 9 и 10, в качестве объекта декодирования, выполняют обработку по декодированию видеосигнала.
На Фиг. 13 показан вариант осуществления устройства кодирования видеоинформации из настоящего изобретения, которое выполняет обработку при кодировании, показанную на схемах последовательности операций, изображенных на чертежах Фиг. 9 и 10. Теперь будет приведено описание структуры устройства этого устройства кодирования видеоинформации со ссылкой на Фиг. 13.
Здесь, на чертеже Фиг. 13 номером позиции 100 обозначен блок установления флага адаптивной обработки, номером позиции 101 обозначен блок хранения флагов адаптивной обработки, номером позиции 102 обозначен блок считывания сигнала яркости, номером позиции 103 обозначен блок хранения сигналов яркости, номером позиции 104 обозначен блок считывания сигнала цветности, номером позиции 105 обозначен блок хранения сигналов цветности, номером позиции 106 обозначен блок установления коэффициентов понижающей дискретизации, номером позиции 107 обозначен блок хранения коэффициентов понижающей дискретизации, номером позиции 108 обозначен блок обработки, выполняющий понижающую дискретизацию сигнала цветности, номером позиции 109 обозначен блок хранения сигналов цветности, номером позиции 110 обозначен блок задания информации о местоположении макроблока, имеющего данные о цветности, номером позиции 111 обозначен блок генерации закодированного потока, номером позиции 112 обозначен блок хранения закодированных потоков и номером позиции 113 обозначен блок определения заключительного фрагмента.
Этот блок 110 задания информации о местоположении макроблока, имеющего данные о цветности, снабжен блоком 110-1 обработки, адаптивной к последовательности, блоком 110-2 обработки, адаптивной к фрагментам, и блоком 110-3 обработки, адаптивной к цветности.
Кроме того, блок 111 генерации закодированного потока снабжен блоком 111-1 кодирования информации, содержащейся в заголовке, блоком 111-2 хранения закодированных потоков информации, содержащейся в заголовке, блоком 111-3 обработки, выполняющим кодирование сигнала яркости - сигнала цветности, блоком 111-4 хранения закодированных потоков сигнала яркости - сигнала цветности и блоком 111-5 мультиплексирования закодированного потока.
Ниже приведено описание обработки, выполняемой каждым из этих блоков обработки.
Блок 100 установления флага адаптивной обработки считывает флаги (флаг "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности"), флаг chroma-position-slice-adaptive ("местоположение цветности, адаптивное к фрагменту"), флаг chroma-position-MBs-adaptive ("местоположение цветности, адаптивное к макроблокам")), связанные с заданием информации о местоположении макроблока, имеющего данные о цветности, и записывает их в блок 101 хранения флагов адаптивной обработки.
Блок 102 считывания сигнала яркости считывает сигналы яркости и записывает их в блок 103 хранения сигналов яркости. В данном варианте осуществления изобретения считывание сигналов яркости выполняют в единицах, которыми являются фрагменты; однако также возможно считывать эти сигналы в единицах, больших или меньших, чем фрагменты.
Блок 104 считывания сигнала цветности считывает сигналы цветности и записывает их в блок 105 хранения сигналов цветности. В данном варианте осуществления изобретения считывание сигналов цветности выполняют в единицах, которыми являются фрагменты; однако также возможно считывать их в единицах, больших или меньших, чем фрагменты.
Блок 106 установления коэффициентов понижающей дискретизации выполняет обработку по установлению коэффициентов понижающей дискретизации и записывает установленные значения в блок 107 хранения коэффициентов понижающей дискретизации. Здесь установленными коэффициентами понижающей дискретизации являются коэффициенты понижающей дискретизации фрагмента.
Конкретные устанавливаемые значения предоставляют из внешнего средства, которое выполняет операцию установления коэффициента понижающей дискретизации фрагмента. Например, во фрагменте, имеющем низкое значение сигнала яркости, может быть использован способ, в котором устанавливают малый коэффициент понижающей дискретизации, вследствие чего выполняют сильную понижающую дискретизацию компоненты цветности.
Блок 108 обработки, выполняющий понижающую дискретизацию сигнала цветности, берет в качестве входных данных сигналы цветности, считанные из блока 105 хранения сигналов цветности, и коэффициенты понижающей дискретизации, считанные из блока 107 хранения коэффициентов понижающей дискретизации, и выполняет обработку, производя понижающую дискретизацию компоненты цветности в соответствии с введенным коэффициентом понижающей дискретизации, и компоненту цветности, подвергнутую понижающей дискретизации, записывают в блок 109 хранения сигналов цветности.
Коэффициент фильтра, используемый при понижающей дискретизации, предоставлен из внешнего средства, которое определяет коэффициенты фильтра в соответствии с коэффициентом понижающей дискретизации.
Блок 110 задания информации о местоположении макроблока, имеющего данные о цветности, берет в качестве входных данных сигналы яркости, считанные из блока 103 хранения сигналов яркости, сигналы цветности до понижающей дискретизации, считанные из блока 105 хранения сигналов цветности, сигналы цветности, подвергнутые понижающей дискретизации, которые считаны из блока 109 хранения сигналов цветности, и коэффициенты понижающей дискретизации, считанные из блока 107 хранения коэффициентов понижающей дискретизации, и выполняет обработку для задания информации о местоположении макроблока, имеющего данные о цветности. Полученную информацию о местоположении макроблока, имеющего данные о цветности, подают в блок 111 генерации закодированного потока.
Кроме того, на основании полученной информации о местоположении макроблока, имеющего данные о цветности, сигналы цветности, подвергнутые понижающей дискретизации, выведенные из блока 109 хранения сигналов цветности, подают в блок 111 генерации закодированного потока.
Следует отметить, что процедура задания информации о местоположении макроблока, имеющего данные о цветности, подробно описана на схемах последовательности операций, показанных на чертежах Фиг. 9 и 10.
Обработку, выполняемую блоком 111-1 кодирования информации, содержащейся в заголовке, блок 111 генерации закодированного потока выполняет через блок 111-5 мультиплексирования закодированного потока, описание которого приведено ниже.
Блок 111-1 кодирования информации, содержащейся в заголовке, считывает информацию о местоположении макроблока, имеющего данные о цветности, и коэффициент понижающей дискретизации в качестве входных данных вместе с другой информацией, содержащейся в заголовке, и выполняет обработку по кодированию. Затем он записывает полученный закодированный поток в блок 111-2 хранения закодированных потоков информации, содержащейся в заголовке.
Блок 111-3 обработки, выполняющий кодирование сигнала яркости - сигнала цветности, берет в качестве входных данных сигналы яркости, считанные из блока 103 хранения сигналов яркости, и сигналы цветности, подвергнутые понижающей дискретизации, считанные из блока 109 хранения сигналов цветности, и выполняет обработку по кодированию. Затем он записывает полученный закодированный поток в блок 111-4 хранения закодированных потоков сигнала яркости - сигнала цветности.
Блок 111-5 мультиплексирования закодированного потока берет в качестве входных данных закодированный поток информации, содержащейся в заголовке, считанный из блока 111-2 хранения закодированных потоков информации, содержащейся в заголовке, и закодированный поток для компоненты яркости и компоненты цветности, считанный из блока 111-4 хранения закодированных потоков сигнала яркости - сигнала цветности, и мультиплексирует эти два потока. Затем он записывает мультиплексированный поток в блок 112 хранения закодированных потоков.
Блок 113 определения заключительного фрагмента определяет, является ли фрагмент, подвергающийся обработке в текущий момент времени, заключительным фрагментом, для обеспечения выполнения вышеописанной обработки для всех фрагментов в последовательности. Он также выводит закодированные потоки, хранящиеся в блоке 112 хранения закодированных потоков.
Таким образом, устройство кодирования видеоинформации, показанное на Фиг. 13, выполняет обработку по кодированию, показанную на схемах последовательности операций, изображенных на чертежах Фиг. 9 и 10, в соответствии со структурой устройства, показанной на Фиг. 13.
На чертеже Фиг. 14 показан вариант осуществления устройства декодирования видеоинформации из настоящего изобретения, которое выполняет обработку по декодированию, показанную на схемах последовательности операций, изображенных на чертежах Фиг. 11 и  12. Теперь будет приведено описание аппаратной структуры этого устройства декодирования видеоинформации со ссылкой на Фиг. 14.
Здесь, на чертеже Фиг. 14 номером позиции 200 обозначен блок декодирования информации, содержащейся в заголовке, номером позиции 201 обозначен блок обработки, выполняющий декодирование сигнала яркости, номером позиции 202 обозначен блок хранения сигналов яркости, номером позиции 203 обозначен блок хранения коэффициентов понижающей дискретизаци, номером позиции 204 обозначен блок хранения информации о местоположении макроблока, имеющего данные о цветности, номером позиции 205 обозначен блок определения информации о местоположении макроблока, имеющего данные о цветности, номером позиции 206 обозначен блок обработки, выполняющий декодирование сигнала цветности, номером позиции 207 обозначен блок хранения сигналов цветности, номером позиции 208 обозначен блок обработки, выполняющий повышающую дискретизацию сигнала цветности, и номером позиции 209 обозначен блок хранения сигналов цветности.
Этот блок 200 декодирования информации, содержащейся в заголовке, снабжен блоком 200-1 обработки, выполняющим декодирование коэффициента понижающей дискретизации, и блоком 200-2 обработки, выполняющим декодирование информации о местоположении макроблока, имеющего данные о цветности.
Блок 200-2 обработки, выполняющий декодирование информации о местоположении макроблока, имеющего данные о цветности, снабжен блоком 200-3 обнаружения флага обработки, адаптивной к последовательности, блоком 200-4 хранения флага обработки, адаптивной к последовательности, блоком 200-5 определения обработки, адаптивной к последовательности, блоком 200-6 обнаружения флага обработки, адаптивной к фрагментам, блоком 200-7 хранения флага обработки, адаптивной к фрагментам, блоком 200-8 определения обработки, адаптивной к фрагментам, блоком 200-9 обнаружения флага обработки, адаптивной к набору блоков с общей цветностью, блоком 200-10 хранения флага обработки, адаптивной к набору блоков с общей цветностью, блоком 200-11 определения обработки, адаптивной к набору блоков с общей цветностью, блоком 200-12 хранения потоков и блоком 200-13 декодирования информации о местоположении макроблока, имеющего данные о цветности.
Ниже приведено описание обработки, выполняемой каждым из этих блоков обработки.
Блок 200 декодирования информации, содержащейся в заголовке, выполняет обработку по декодированию информации, содержащейся в заголовке, беря закодированный поток в качестве входных данных. Объектами декодирования являются следующие: коэффициент понижающей дискретизации, информация о местоположении макроблока, имеющего данные о цветности, и иная информация, содержащаяся в заголовке (то есть сигналы, которые не запланированы для обработки путем декодирования блоком 201 обработки, выполняющим декодирование сигнала яркости, и блоком 206 обработки, выполняющим декодирование сигнала цветности).
Блок 200-1 обработки, выполняющий декодирование коэффициента понижающей дискретизации, выполняют обработку по декодированию коэффициента понижающей дискретизации, используя закодированный поток в качестве входных данных, и затем записывает коэффициент понижающей дискретизации в блок 203 хранения коэффициентов понижающей дискретизации.
Блок 200-2 обработки, выполняющий декодирование информации о местоположении макроблока, имеющего данные о цветности, выполняют обработку по декодированию информации о местоположении макроблока, имеющего данные о цветности, используя закодированный поток в качестве входных данных, и затем записывают информацию о местоположении макроблока, имеющего данные о цветности, в блок 204 хранения информации о местоположении макроблока, имеющего данные о цветности.
Обработка, выполняемая блоком 200-2 обработки, выполняющим декодирование информации о местоположении макроблока, имеющего данные о цветности, включает в себя обработку, начиная с обработки, выполняемой блоком 200-3 обнаружения флага обработки, адаптивной к последовательности, и заканчивая обработкой, выполняемой блоком 200-13 декодирования информации о местоположении макроблока, имеющего данные о цветности, описание которого приведено ниже.
Блок 200-3 обнаружения флага обработки, адаптивной к последовательности, обнаруживает флаг "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности"), который связан с заданием информации о местоположении макроблока, имеющего данные о цветности, используя закодированный поток в качестве входных данных, и затем записывает полученное значение флага в блок 200-4 хранения флага обработки, адаптивной к последовательности.
Блок 200-5 определения обработки, адаптивной к последовательности, берет в качестве входных данных значение флага "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности"), считанного из блока 200-4 хранения флага обработки, адаптивной к последовательности, выполняет операцию определения для определения того, равно ли это значение 1 или нет, и выводит значение "истина" или "ложь". Если выведено значение "истина", то он записывает в блоке 200-12 хранения потоков закодированный поток информации о местоположении макроблока, имеющего данные о цветности, которая является следствием наличия флага "chroma-position-sequence-adaptive" ("местоположение цветности, адаптивное к последовательности") в закодированном потоке.
Однако, если выведено иное значение, чем "истина", то закодированный поток вводят в блок 200-6 обнаружения флага обработки, адаптивной к фрагментам.
Блок 200-6 обнаружения флага обработки, адаптивной к фрагментам, обнаруживает флаг "chroma-position-slice-adaptive" ("местоположение цветности, адаптивное к фрагменту"), который связан с заданием информации о местоположении макроблока, имеющего данные о цветности, используя закодированный поток в качестве входных данных, и записывает значение полученного флага в блок 200-7 хранения флага обработки, адаптивной к фрагментам.
Блок 200-8 определения обработки, адаптивной к фрагментам, берет в качестве входных данных значение флага "chroma-position-slice-adaptive" ("местоположение цветности, адаптивное к фрагменту"), считанного из блока 200-7 хранения флага обработки, адаптивной к фрагментам, выполняет операцию определения для определения того, равно ли это значение 1 или нет, и выводит значение "истина" или "ложь". Если выведено значение "истина", то он записывает в блок 200-12 хранения потоков закодированный поток информации о местоположении макроблока, имеющего данные о цветности, которая является следствием наличия флага "chroma-position-slice-adaptive" ("местоположение цветности, адаптивное к фрагменту") в закодированном потоке.
Однако, если выведено иное значение, чем "истина", то закодированный поток вводят в блок 200-9 обнаружения флага обработки, адаптивной к набору блоков с общей цветностью.
Блок 200-9 обнаружения флага обработки, адаптивной к набору блоков с общей цветностью, обнаруживает флаг "chroma-position-MBs-adaptive" ("местоположение цветности, адаптивное к макроблокам"), который связан с заданием информации о местоположении макроблока, имеющего данные о цветности, используя закодированный поток в качестве входных данных, и записывает значение полученного флага в блок 200-10 хранения флага обработки, адаптивной к набору блоков с общей цветностью.
Блок 200-11 определения обработки, адаптивной к набору блоков с общей цветностью, берет в качестве входных данных, значение флага "chroma-position-MBs-adaptive" ("местоположение цветности, адаптивное к макроблокам"), считанного из блока 200-10 хранения флага обработки, адаптивной к набору блоков с общей цветностью, выполняет операцию определения для определения того, равно ли это значение 1 или нет, и выводит значение "истина" или "ложь". Если выведено значение "истина", то он записывает в блок 200-12 хранения потоков закодированный поток информации о местоположении макроблока, имеющего данные о цветности, которая является следствием наличия флага "chroma-position-MBs-adaptive" ("местоположение цветности, адаптивное к макроблокам") в закодированном потоке.
Блок 200-13 декодирования информации о местоположении макроблока, имеющего данные о цветности, выполняет обработку по декодированию информацию о местоположении макроблока, имеющего данные о цветности, используя в качестве входных данных закодированный поток, считанный из блока 200-12 хранения потоков, и записывает результат декодирования в блок 204 хранения информации о местоположении макроблока, имеющего данные о цветности.
Блок 201 обработки, выполняющий декодирование сигнала яркости, выполняет обработку по декодированию сигналов яркости, используя закодированный поток в качестве входных данных, и записывает результат в блок 202 хранения сигналов яркости.
Блок 205 определения информации о местоположении макроблока, имеющего данные о цветности, берет в качестве входных данных информацию о местоположении макроблока, имеющего данные о цветности, считанную из блока 204 хранения информации о местоположении макроблока, имеющего данные о цветности, и определяет, находится ли макроблок, подлежащий кодированию, в местоположении макроблока, имеющего данные о цветности, или нет. Если определено, что он находится в этом местоположении, то блок 205 определения информации о местоположении макроблока, имеющего данные о цветности, посылает такой управляющий сигнал, который вызывает выполнение обработки блоком 206 обработки, выполняющим декодирование сигнала цветности.
Блок 206 обработки, выполняющий декодирование сигнала цветности, выполняет обработку по декодированию сигналов цветности, используя закодированный поток в качестве входных данных, и записывает результат в блок 207 хранения сигналов цветности.
Блок обработки 208, выполняющий повышающую дискретизацию сигнала цветности, берет в качестве входных данных коэффициенты понижающей дискретизации, считанные из блока 203 хранения коэффициентов понижающей дискретизации, и сигналы цветности, считанные из блока 207 хранения сигналов цветности, и вычисляют коэффициенты повышающей дискретизации на основании коэффициентов понижающей дискретизации, а затем выполняет операцию повышающей дискретизации этих сигналов цветности. Затем он записывает обработанные сигналы цветности в блок 209 хранения сигналов цветности.
Таким образом, устройство декодирования видеоинформации, показанное на Фиг. 14, выполняет обработку по декодированию, показанную на схемах последовательности операций, изображенных на чертежах Фиг. 11 и 12, в соответствии со структурой устройства, показанной на этом чертеже Фиг. 14.
Затем, как описано выше в седьмом объекте настоящего изобретения, когда коэффициент понижающей дискретизации адаптивно изменяют для каждого единичного кадра, возможно сгенерировать интерполированное изображение опорного кадра, которое реализует требуемую компенсацию движения.
На Фиг. 15 показан вариант осуществления устройства генерации интерполированного изображения опорного кадра из настоящего изобретения, которое реализует этот седьмой объект изобретения.
Устройство генерации интерполированного изображения опорного кадра из настоящего изобретения, которое создано таким способом, используют при генерации опорного сигнала, используемого при оценке движения для сигнала цветности. Это устройство генерации интерполированного изображения опорного кадра может быть применено в блоке 1000 обработки, выполняющем генерацию опорного сигнала, которым снабжено устройство кодирования видеоинформации, использующее, например, такую структуру, которая показана на Фиг. 16, или может быть применено в блоке 2000 обработки, выполняющем генерацию опорного сигнала, которым снабжено устройство декодирования видеоинформации, использующее, например, такую структуру, которая показана на Фиг. 17.
Здесь, на чертеже Фиг. 15, номерами позиций 300 и 301 обозначены блоки хранения коэффициентов интерполяционного фильтра, номером позиции 302 обозначен блок хранения сигналов опорного кадра, номерами позиций 303 и 304 обозначены блоки хранения коэффициентов понижающей дискретизации, номером позиции 305 обозначен блок вычисления точности интерполяции опорного кадра, номером позиции 306 обозначен блок хранения данных о точности интерполяции опорного кадра, номером позиции 307 обозначен блок определения интерполяционной обработки опорного кадра, номером позиции 308 обозначен блок генерации значений элементов изображения при интерполяции опорного кадра, номером позиции 309 обозначен блок хранения значений элементов изображения при интерполяции опорного кадра, номером позиции 310 обозначен блок управления выводом и номером позиции 311 обозначен блок хранения данных о состоянии интерполяционной обработки опорного кадра.
В блоке 300 хранения коэффициентов интерполяционного фильтра сохраняют коэффициенты интерполяционного фильтра для опорных кадров при компенсации движения.
Таким же самым образом, в блоке 301 хранения коэффициентов интерполяционного фильтра сохраняют коэффициенты интерполяционного фильтра для опорных кадров при компенсации движения. В данном варианте осуществления изобретения, для того, чтобы проиллюстрировать пример, в котором выборочно используют коэффициенты фильтра двух типов, два коэффициента фильтра хранят, соответственно, в отдельных блоках хранения.
Например, эти коэффициенты фильтра переключают в соответствии с местоположением интерполяции (то есть местоположением, соответствующим 1/2 элемента изображения, или местоположением, соответствующим 1/4 элемента изображения) при компенсации движения. Следует отметить, что настоящее изобретение может быть применено таким же самым образом в случае использования коэффициентов фильтра двух или более типов.
В блоке 302 хранения сигналов опорного кадра сохраняют сигналы опорного кадра при компенсации движения.
В блоке 303 хранения коэффициентов понижающей дискретизации сохраняют коэффициенты понижающей дискретизации для опорных кадров при компенсации движения.
В блоке 304 хранения коэффициентов понижающей дискретизации сохраняют коэффициенты понижающей дискретизации для целевых кадров (то есть кадров, подлежащих кодированию, и кадров, подлежащих декодированию) при компенсации движения.
Блок 305 вычисления точности интерполяции опорного кадра использует в качестве входных данных коэффициенты понижающей дискретизации для опорных кадров, считанные из блока 303 хранения коэффициентов понижающей дискретизации, и коэффициенты понижающей дискретизации для целевых кадров, считанные из блока 304 хранения коэффициентов понижающей дискретизации, выполняет обработку для вычисления точности интерполяции, требуемой в опорном кадре, и записывает ее в блок 306 хранения данных о точности интерполяции опорного кадра. Конкретный способ вычисления соответствует формуле (1).
Блок 307 определения интерполяционной обработки опорного кадра использует в качестве входных данных значения точности интерполяции опорных кадров, считанные из блока 306 хранения данных о точности интерполяции опорного кадра, и информацию (например, информацию, указывающую то, что интерполяционная обработка уже завершена для местоположений, соответствующих 1/2 элемента изображения), указывающую местоположения тех элементов изображения, которые уже были подвергнуты интерполяционной обработке, которая считана из блока 311 хранения данных о состоянии интерполяционной обработки опорного кадра, и определяет, были ли сгенерированы все интерполированные значения элементов изображения для опорного кадра или нет. Если результатом этого определения является значение "истина", то приводят в действие блок 310 управления выводом и выводят значение, хранящееся в блоке 309 хранения значений элементов изображения при интерполяции опорного кадра (а именно, выводят окончательное интерполированное изображение опорного кадра).
Однако, если результатом определения является значение "ложь", то в последовательности операций переходят к обработке, выполняемой в блоке 308 генерации значений элементов изображения при интерполяции опорного кадра. В этот момент в блок 308 генерации значений элементов изображения при интерполяции опорного кадра подают информацию, указывающую местоположение элемента изображения, намеченного для интерполяции.
Блок 308 генерации значений элементов изображения при интерполяции опорного кадра берет в качестве входных данных информацию, указывающую местоположение элемента изображения, намеченного для интерполяции, и, в соответствии с этой информацией, считывает коэффициенты фильтра из блока 300 хранения коэффициентов интерполяционного фильтра или из блока 301 хранения коэффициентов интерполяционного фильтра, используемые в качестве входных данных.
Затем выполняют интерполяционную обработку, используя в качестве входных данных значения элементов изображения опорного кадра, считанные из блока 302 хранения сигналов опорного кадра, или значения элементов изображения опорного кадра, которые также содержат данные об интерполированных местоположениях, считанные из блока 309 хранения значений элементов изображения при интерполяции опорного кадра, и результат этой интерполяционной обработки записывают в блок 309 хранения значений элементов изображения при интерполяции опорного кадра.
Следует отметить, что сначала блок 309 хранения значений элементов изображения при интерполяции опорного кадра инициализируют, устанавливая начальное значение, равное нулю. Кроме того, каждый раз по завершении обработки каждого опорного кадра выполняют его инициализацию путем установления начального значения, равного нулю, таким же самым образом. Следовательно, при этой обработке начальное значение не считывают из блока 309 хранения значений элементов изображения при интерполяции опорного кадра, если в нем хранится это начальное значение.
Кроме того, информацию (например, информацию, указывающую, что интерполяционная обработка уже завершена для местоположений, соответствующих 1/2 элемента изображения), указывающую местоположение тех элементов изображения, интерполяционная обработка которых уже завершена, записывают в блок 311 хранения данных о состоянии интерполяционной обработки опорного кадра.
Таким образом, устройство генерации интерполированного изображения опорного кадра из настоящего изобретения, которое показано на Фиг. 15, выполняет обработку таким образом, что когда в устройстве кодирования видеоинформации, в котором используют, например, такую структуру, которая показана на Фиг. 16, или в устройстве декодирования видеоинформации, в котором используют, например, такую структуру, которая показана на Фиг. 17, используется структура, в которой коэффициенты понижающей дискретизации адаптивно изменяют для каждого единичного кадра, то генерацию интерполированного изображения опорного кадра, которое позволяет достичь требуемой компенсации движения, осуществляют в соответствии с точностью интерполяции опорного кадра, которая изменяется в зависимости от его структуры.
На Фиг. 18 показан вариант осуществления схемы последовательности операций, выполняемых устройством генерации интерполированного изображения опорного кадра, в котором использована структура устройства, показанная на Фиг. 15. Теперь будет приведено описание обработки, выполняемой этим устройством генерации интерполированного изображения опорного кадра, в соответствии с этой схемой последовательности операций.
Операция S300: BR>F считывают коэффициент интерполяционного фильтра для опорного кадра при компенсации движения, используемый в качестве входных данных, и записывают его в регистр. Следует отметить, что в настоящем изобретении возможно использование множества типов коэффициентов фильтра.
Операция S301: считывают коэффициент понижающей дискретизации для опорного кадра при компенсации движения, используемый в качестве входных данных, и записывают его в регистр.
Операция S302: считывают коэффициент понижающей дискретизации для целевого кадра при компенсации движения, используемый в качестве входных данных, и записывают его в регистр.
Операция S303: считывают сигнал опорного кадра при компенсации движения, используемый в качестве входных данных, и записывают его в регистр.
Операция S304: используя коэффициент понижающей дискретизации для опорного кадра и коэффициент понижающей дискретизации для целевого кадра в качестве входных данных, выполняют обработку для вычисления точности интерполяции, требуемой в опорном кадре, и записывают ее в регистр. Конкретный используемый способ вычисления соответствует формуле (1).
Операция S305: используя вычисленную при операции S304 точность интерполяции для опорного кадра в качестве входных данных, выполняют операцию определения для определения того, является ли это значение меньшим, чем один элемент изображения, или нет, и выводят либо значение "истина", либо значение "ложь". Если результатом является значение "истина", то в последовательности операций переходят к выполнению операции S306 обработки, а если результатом является значение "ложь", то обработку завешают, поскольку она не является необходимой для выполняемой интерполяции.
Операция S306: используя текущую точность интерполяции опорного кадра и точность интерполяции для опорного кадра, вычисленную при операции S304, в качестве входных данных, выполняют операцию определения для определения того, является ли текущая точность интерполяции опорного кадра, менее точной чем точность интерполяции опорного кадра, вычисленная при операции S304, или нет, и затем выводят значение "истина" или "ложь". Если выведенным результатом является значение "истина", то в последовательности операций переходят к выполнению операции S307 обработки, а если выведенным результатом является значение "ложь", то обработку завешают.
Операция S307: используя текущую точность интерполяции опорного кадра в качестве входных данных, выбирают коэффициент интерполяционного фильтра, соответствующий этой точности, и этот коэффициент фильтра записывают в регистр.
Конкретный коэффициент фильтра (хранящийся в блоке 300 или 301 хранения коэффициентов интерполяционного фильтра) подают из внешнего средства, определяющего коэффициенты фильтра.
Операция S308: используя в качестве входных данных сигнал опорного кадра, текущую точность интерполяции опорного кадра и коэффициент интерполяционного фильтра, соответствующий этой точности, который был выбран при операции S307, выполняют интерполяционную обработку и генерируют интерполированное изображение опорного кадра.
Операция S309: используя точность интерполяции опорного кадра из операции S308 в качестве входных данных, эту точность интерполяции делают еще более высокой.
Этими уровнями точности интерполяции являются следующие: например, если желательно получить интерполированное изображение с точностью 1/8 элемента изображения, то путем последовательного все большего и большего повышения точности коэффициента интерполяционного фильтра интерполированные изображения генерируют в местоположениях, которые последовательно соответствуют значениям точности, равным 1/2, 1/4 и 1/8, элемента изображения.
Таким образом, в результате выполнения устройством генерации интерполированного изображения опорного кадра, показанным на Фиг. 15, обработки, при которой осуществляют генерацию интерполированное изображения опорного кадра, согласно схеме последовательности операций, показанной на Фиг. 18, когда используется структура, в которой коэффициент понижающей дискретизации адаптивно изменяют для каждого единичного кадра, эта обработка позволяет обеспечить генерацию интерполированного изображения опорного кадра, в котором достигнута требуемая компенсация движения, даже если точность интерполяции опорного кадра изменяется в соответствии с его структурой.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
Настоящее изобретение может быть применено тогда, когда кодированию подлежит видеосигнал, состоящий из двух или более компонент сигнала. При кодировании видеоизображения имеется возможность адаптивного изменения коэффициента понижающей дискретизации конкретной компоненты сигнала, в результате чего можно добиться эффективного снижения объема кода в соответствии с чувствительностью зрения.