СПОСОБ МАСШТАБИРУЕМОГО КОДИРОВАНИЯ ВИДЕО, УСТРОЙСТВО МАСШТАБИРУЕМОГО КОДИРОВАНИЯ ВИДЕО, ПРОГРАММА МАСШТАБИРУЕМОГО КОДИРОВАНИЯ ВИДЕО И МАШИНОЧИТАЕМЫЙ НОСИТЕЛЬ ЗАПИСИ, СОХРАНЯЮЩИЙ ПРОГРАММУ
METHOD FOR SCALABLE VIDEO CODING, DEVICE OF SCALABLE VIDEO CODING, SOFTWARE OF SCALABLE VIDEO CODING AND MACHINE-READABLE RECORD MEDIUM THAT SAVES SOFTWARE

Область техники
Настоящее изобретение относится к способу и устройству масштабируемого кодирования видео, которые масштабируемым образом кодируют видео, а также к программе масштабируемого кодирования видео, которая используется для того, чтобы реализовывать этот способ масштабируемого кодирования видео, и к машиночитаемому носителю записи, сохраняющему программу. В частности, настоящее изобретение относится к способу и устройству масштабируемого кодирования видео, которые достигают сокращения времени кодирования, а также к программе масштабируемого кодирования видео, которая используется для того, чтобы реализовывать этот способ масштабируемого кодирования видео, и к машиночитаемому носителю записи, в котором эта программа сохраняется.
Данная заявка притязает на приоритет патентной заявки (Япония) номер 2008-271513, зарегистрированной 22 октября 2008 года, содержимое которой содержится в данном документе по ссылке.
Уровень техники
В последние годы разработаны различные дисплейные терминалы и сетевые окружения. Вследствие этого JVT (Объединенная группа по видеостандартам) выполняет исследование системы кодирования на основе SVC (масштабируемого кодирования видео), которая предоставляет масштабируемость пространства/времени/SNR (отношения "сигнал-шум") для AVC (усовершенствованного кодирования видео) (см., например, непатентный документ 1).
В SVC используются три способа прогнозирования, а именно, взаимное прогнозирование, внутреннее прогнозирование и межслойное прогнозирование, и выполняется устранение избыточности, вставляемой между временем, пространством и слоями. Примеры режимов прогнозирования, достижимых через SVC, приведены ниже.
Взаимное прогнозирование
- режим пропуска (Skip)
- прямой режим (Direct)
- режим прогнозирования движения с размером блока 16×16 (P16×16)
- режим прогнозирования движения с размером блока 16×8 (P16×8)
- режим прогнозирования движения с размером блока 8×16 (P8×16)
- режим прогнозирования движения с размером блока 8×8 (P8×8)
Внутреннее прогнозирование
- режим внутреннего прогнозирования с размером блока 16×16 (I16×16)
- режим внутреннего прогнозирования с размером блока 8×8 (I8×8)
- режим внутреннего прогнозирования с размером блока 4×4 (I4×4)
Межслойное прогнозирование
- режим BLSkip (BLSkip)
- режим IntraBL (IntraBL)
Когда выполняется P8×8, каждый блок 8×8 может быть дополнительно разделен на размеры блоков 8×4, 4×4 и 4×4. В SVC один из этих вариантов для поиска режима прогнозирования (вариантов поиска режима прогнозирования) выбирается в качестве оптимального режима прогнозирования в каждом макроблоке.
Пример способа, используемого для того, чтобы определять оптимальный режим прогнозирования, приведен ниже.
В JSVM (объединенная модель масштабируемого видео: см., например, непатентный документ 2), которая продвигается JVT как опорный SVC-кодер, затраты на кодирование, которые формируются из бита кодирования и искажения при кодировании, вычисляются в каждом режиме прогнозирования, и режим прогнозирования, имеющий наименьшие затраты на кодирование из всех вышеуказанных режимов прогнозирования, определяется как оптимальный режим прогнозирования.
Кроме того, в патентном документе 1, приведенном ниже, векторы создаются посредством экстраполяции или интерполяции векторов движения на основе опорных кадров при кодировании настоящих кадров, и координаты каждого пиксела в макроблоках, которые перемещены в результате этого, затем определяются, и число раз, когда пикселы совпадают, подсчитывается для каждого пиксела. Затем, варианты поиска режима прогнозирования сужаются в соответствии с размером значения количественного показателя, который вычисляется из подсчитанного числа для каждого пиксела в рамках целевых макроблоков кодирования. Способом, используемым для этого сужения, является способ, который предложен для того, чтобы повышать скорость поиска режима прогнозирования H.264/AVC, тем не менее, он также может применяться в SVC, которое является механизмом для поиска режима прогнозирования, идентичного поиску режима прогнозирования в H.264/AVC.
Кроме того, в патентном документе 2, приведенном ниже, чтобы позволять выполнять внутрикадровое кодирование на высокой скорости, например, девять экранных ошибок прогнозирования определяются в блоке, в котором внутрикадровое кодирование должно выполняться с использованием пикселных значений смежных блоков кодирования, и, на основе этих ошибок прогнозирования, режим прогнозирования определяется для этого блока. Затем, режим прогнозирования для этого блока определяется с использованием экранного режима прогнозирования смежного блока, который уже кодирован, и когда эти два режима прогнозирования совпадают, режим прогнозирования выбирается при таких условиях. Если, тем не менее, эти два режима прогнозирования не совпадают, выбирается режим прогнозирования, имеющий более низкие затраты на кодирование.
Документы предшествующего уровня техники
Непатентный документ 1. T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz и M. Wien: "Joint Draft ITU-T Rec. H.264-ISO/IEC 14496-10/ Amd.3 Scalable video coding, "ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-X201, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX201.zip
Непатентный документ 2. J. Reichel, H. Schwarz и M. Wien: "Joint Scalable Video Model JSVM-11", ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-X202, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX202.zip
Патентный документ 1. Не прошедшая экспертизу заявка на патент (Япония), первая публикация (JP-A) № 2006-033451
Патентный документ 2. Не прошедшая экспертизу заявка на патент (Япония), первая публикация (JP-A) № 2005-184241
Сущность изобретения
Проблемы, разрешаемые изобретением
В JSVM-способе определения оптимального режима прогнозирования, описанном в непатентном документе 2, поскольку отсутствует сужение вариантов поиска режима прогнозирования, может достигаться превосходная производительность кодирования. С другой стороны, в этом способе определения, огромное количество времени требуется для того, чтобы выполнять поиск режима прогнозирования. А именно, в этом способе определения, продолжительное время тратится впустую, поскольку выполняется поиск всех режимов прогнозирования даже для режимов прогнозирования, которые, очевидно, имеют низкую вероятность выбора, если рассматриваются характеристики изображений в рамках макроблоков (например, режимов прогнозирования во внутреннем режиме в статических областях).
Кроме того, поскольку сужение вариантов поиска режима прогнозирования в патентном документе 1 является способом определения того, выполнять или нет прогнозирование во внутреннем режиме, оно не оказывает влияние на сокращение поисков режима взаимного прогнозирования, которые требуют более длительного времени вычисления по сравнению с поисками режима внутреннего прогнозирования. А именно, существенный простор для улучшения остается в отношении поисков режима взаимного прогнозирования.
Кроме того, поскольку сужение вариантов поиска режима прогнозирования согласно патентному документу 2 является только сужением для внутреннего прогнозирования, аналогично сужению вариантов поиска режима прогнозирования согласно патентному документу 2, отсутствует влияние на сокращение поисков режима взаимного прогнозирования. А именно, существенный простор для улучшения остается в отношении поисков режима взаимного прогнозирования.
Настоящее изобретение создано с учетом вышеописанных обстоятельств, и его цель заключается в том, чтобы предоставлять новую технологию масштабируемого кодирования видео, которая, при масштабируемом кодировании видео, которое достигает масштабируемости посредством многослойной структуры, сужает варианты поиска режима прогнозирования верхнего слоя с использованием корреляций оптимальных режимов прогнозирования между слоями, чтобы достигать повышения скорости.
Средство решения проблемы
При масштабируемом кодировании видео, в котором масштабируемость достигается посредством многослойной структуры, чтобы достигать повышения скорости поиска режима прогнозирования, устройство масштабируемого кодирования видео настоящего изобретения включает в себя: (1) модуль создания, который, на основе информации об оптимальном режиме прогнозирования, который выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяет доли выпадений комбинаций оптимальных режимов прогнозирования, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создает таблицу соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и долями выпадений; (2) модуль обнаружения, который, при кодировании блока верхнего слоя, обнаруживает информацию об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; (3) модуль определения, который, на основе информации о выбранном оптимальном режиме прогнозирования, обнаруженной посредством модуля обнаружения, и на основе информации о долях выпадений, описанной в таблице соответствия, извлекает эффективную комбинацию из числа комбинаций, описанных в таблице соответствия, и определяет оптимальный режим прогнозирования верхнего слоя, содержащийся в извлеченной эффективной комбинации, в качестве варианта поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя; и (4) модуль управления, который осуществляет управление так, что масштабируемое кодирование, в котором ограничения налагаются на использование режимов прогнозирования, выполняемых с использованием таблицы соответствия, и масштабируемое кодирование, в котором ограничения не налагаются на использование режимов прогнозирования, выполняемых без использования таблицы соответствия, повторяются попеременно.
В такой структуре, как описано выше, посредством обращения к таблице соответствия с использованием в качестве ключа информации об оптимальных режимах прогнозирования, которые обнаружены посредством модуля обнаружения, модуль определения указывает доли выпадений, ассоциированные с этими оптимальными режимами прогнозирования. Затем, предпочтительно для модуля определения либо извлекать комбинацию оптимальных режимов прогнозирования, имеющих доли выпадений, показывающие значение, превышающее предварительно определенное пороговое значение из числа этих указанных долей выпадений, либо извлекать комбинацию оптимальных режимов прогнозирования, имеющих доли выпадений, показывающие наибольшее значение из числа этих указанных долей выпадений, либо извлекать комбинацию оптимальных режимов прогнозирования, имеющих предварительно определенное число долей выпадений, которые выбираются последовательно из доли выпадений, имеющей наибольшее значение из числа этих указанных долей выпадений. Модуль определения затем определяет оптимальный режим прогнозирования верхнего слоя, содержащийся в извлеченной комбинации оптимальных режимов прогнозирования, в качестве варианта поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя.
Кроме того, чтобы осуществлять обработку эффективного определения посредством модуля определения, предпочтительно для устройства масштабируемого кодирования видео настоящего изобретения извлекать заранее комбинацию эффективных оптимальных режимов прогнозирования посредством сужения комбинаций оптимальных режимов прогнозирования, описанных в таблице соответствия, на основе значений долей выпадений, описанных в таблице соответствия, и создавать информацию соответствия для режимов прогнозирования, которая описывает комбинации извлеченных эффективных оптимальных режимов прогнозирования.
В этом случае, при масштабируемом кодировании видео, в котором масштабируемость достигается посредством многослойной структуры, чтобы достигать повышения скорости поиска режима прогнозирования, устройство масштабируемого кодирования видео настоящего изобретения включает в себя: (1) модуль создания таблиц соответствия, который, на основе информации об оптимальном режиме прогнозирования, который выбран при масштабируемом кодировании, выполняемом без наложения ограничений на использование режимов прогнозирования, заданных как возможные для использования, определяет доли выпадений комбинаций оптимальных режимов прогнозирования, которые должны выбираться для пространственно соответствующих блоков верхнего слоя и нижнего слоя, и создает таблицу соответствия, которая описывает взаимосвязи между комбинациями выбранного оптимального режима прогнозирования и оптимального режима прогнозирования, который должен выбираться, и долями выпадений; (2) модуль создания информации соответствия для режимов прогнозирования, который, на основе значений долей выпадений, извлекает комбинацию эффективных оптимальных режимов прогнозирования посредством сужения комбинаций выбранных оптимальных режимов прогнозирования, описанных в таблице соответствия, и оптимального режима прогнозирования, который должен выбираться, и создает информацию соответствия для режимов прогнозирования, которая описывает комбинации извлеченных эффективных оптимальных режимов прогнозирования; (3) модуль обнаружения, который, при кодировании блока верхнего слоя, обнаруживает информацию об оптимальном режиме прогнозирования, выбранном при кодировании пространственно соответствующего блока нижнего слоя; (4) модуль определения, который, посредством обращения к информации соответствия для режимов прогнозирования с использованием в качестве ключа информации о выбранном оптимальном режиме прогнозирования, обнаруженной посредством модуля обнаружения, определяется вариант поиска режима прогнозирования, поиск которого должен выполняться при кодировании блока верхнего слоя; и (5) модуль управления, который осуществляет управление так, что масштабируемое кодирование, в котором ограничения налагаются на использование режимов прогнозирования, выполняемых с использованием таблицы соответствия, и масштабируемое кодирование, в котором ограничения не налагаются на использование режимов прогнозирования, выполняемых без использования таблицы соответствия, повторяются попеременно.
Когда эта структура используется, модуль создания информации соответствия для режимов прогнозирования может либо: создавать информацию соответствия для режимов прогнозирования посредством извлечения, в качестве эффективной комбинации, комбинации оптимальных режимов прогнозирования, имеющей долю выпадений, показывающую значение, которое превышает предварительно определенное пороговое значение; или, альтернативно, создавать информацию соответствия для режимов прогнозирования посредством извлечения, в качестве эффективной комбинации, комбинации оптимальных режимов прогнозирования, имеющей долю выпадений, показывающую наибольшее значение, из числа комбинаций оптимальных режимов прогнозирования, имеющих идентичный оптимальный режим прогнозирования на нижнем слое; или создавать информацию соответствия для режимов прогнозирования посредством извлечения, в качестве эффективной комбинации, комбинации предварительно определенного числа оптимальных режимов прогнозирования, выбранных последовательно из доли выпадений, показывающей наибольшее значение.
Способ масштабируемого кодирования видео настоящего изобретения, который реализуется как результат работы каждого из вышеуказанных модулей обработки, также может быть реализован посредством компьютерной программы. Эта компьютерная программа предоставляет возможность реализации настоящего изобретения посредством записи на подходящий машиночитаемый носитель записи или посредством предоставлении через сеть, или посредством установки на компьютер и управления посредством модуля управления, такого как CPU, когда настоящее изобретение должно быть реализовано.
Преимущества изобретения
В настоящем изобретении, при масштабируемом кодировании видео, которое достигает масштабируемости посредством многослойной структуры, поскольку можно сужать варианты поиска режима прогнозирования верхнего слоя с использованием корреляций оптимальных режимов прогнозирования между слоями, уменьшение времени кодирования может достигаться.
Кроме того, в настоящем изобретении, когда уменьшение времени кодирования достигается посредством сужения вариантов поиска режима прогнозирования, поскольку это сужение выполняется на основе соответствующих взаимосвязей оптимальных режимов прогнозирования между слоями в уже кодированных кадрах, можно исключать риск пропуска вариантов поиска оптимального режима прогнозирования вследствие этого сужения. Соответственно, можно подавлять снижение производительности кодирования, которое может, возможно, возникать в результате сужения вариантов поиска режима прогнозирования.
Краткое описание чертежей
Фиг.1 является пояснительным видом, показывающим примеры кадров, предназначенных для кодирования, и кадров, предназначенных для создания таблицы степеней соответствий режимов прогнозирования.
Фиг.2 является блок-схемой последовательности операций способа, показывающей обобщенную последовательность операций обработки кодирования видео согласно варианту осуществления настоящего изобретения.
Фиг.3 является таблицей степеней соответствий режимов прогнозирования согласно варианту осуществления настоящего изобретения.
Фиг.4 является таблицей, показывающей результаты, когда варианты поиска режима прогнозирования сужаются в варианте осуществления настоящего изобретения.
Фиг.5 является таблицей, показывающей результаты, когда варианты поиска режима прогнозирования сужаются в варианте осуществления настоящего изобретения.
Фиг.6 является блок-схемой последовательности операций способа, показывающей обработку масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.
Фиг.7 является блок-схемой последовательности операций способа, показывающей пример обработки для того, чтобы определять варианты поиска режима прогнозирования, которая выполняется в обработке масштабируемого кодирования видео, показанной на Фиг.6.
Фиг.8 является блок-схемой последовательности операций способа, показывающей другой пример обработки, чтобы определять варианты поиска режима прогнозирования, которая выполняется в обработке масштабируемого кодирования видео, показанной на Фиг.6.
Фиг.9 является блок-схемой, показывающей устройство масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.
Фиг.10 является блок-схемой, показывающей пример модуля определения вариантов поиска режима прогнозирования в устройстве масштабируемого кодирования видео, показанном на Фиг.9.
Фиг.11 является блок-схемой, показывающей другой пример модуля определения вариантов поиска режима прогнозирования в устройстве масштабируемого кодирования видео, показанном на Фиг.9.
Фиг.12 является пояснительным видом, показывающим кадр вычисления соответствия и кадр высокоскоростного выбора режима в эксперименте, который выполнен, чтобы проверять эффективность варианта осуществления настоящего изобретения.
Фиг.13 является графиком, показывающим экспериментальные результаты эксперимента, который выполнен, чтобы проверять эффективность варианта осуществления настоящего изобретения.
Фиг.14 является графиком, показывающим экспериментальные результаты эксперимента, который выполнен, чтобы проверять эффективность варианта осуществления настоящего изобретения.
Осуществление изобретения
[1] Основная идея вариантов осуществления настоящего изобретения
В варианте осуществления настоящего изобретения, при масштабируемом кодировании видео, которое достигает масштабируемости посредством многослойной структуры, повышение скорости, на которой выполняется поиск режима прогнозирования, достигается посредством двух процессов, а именно:
(i) посредством создания таблицы степеней соответствий режимов прогнозирования (т.е. таблицы, описывающей корреляции оптимальных режимов прогнозирования между слоями); и
(ii) посредством сужения вариантов поиска режима прогнозирования с использованием этой таблицы степеней соответствий режимов прогнозирования.
В дальнейшем в этом документе, описание продолжается в соответствии с примером, показанным на Фиг.1. А именно, предполагается, что как слой L, так и слой L-1 кодируются с использованием IBBBP-упорядоченной B-структуры. Стрелки на схеме показывают опорное назначение прогнозирования. Целевой слой кодирования рассматривается как L, целевой кадр кодирования рассматривается как B2b, и кадр, предназначенный для создания таблицы степеней соответствий режимов прогнозирования, рассматривается как B2a. Кроме того, кадр слоя L-1 в идентичной синхронизации с B2b рассматривается как B'2b, и кадр слоя L-1 в идентичной синхронизации B2a рассматривается как B'2a. Кодирование выполняется последовательно от наименьшего временного уровня, и, в рамках одного временного уровня, кодирование выполняется последовательно от кадра, имеющего самое раннее время. Слои кодируются в этой последовательности от наименьшего уровня.
Далее, относительно блок-схемы последовательности операций способа, показанной на Фиг.2, описывается обобщенная последовательность операций обработки настоящего варианта осуществления.
В настоящем варианте осуществления, когда масштабируемое кодирование выполняется для видео, как показано в блок-схеме последовательности операций способа на Фиг.2, переменная n задается равной 1 на этапе S101, и выполняется определение в отношении того, все или нет кадры кодированы, на следующем этапе S102. Если определено, что все кадры кодированы, процедура завершается.
Если, тем не менее, в соответствии с обработкой определения этапа S102, определяется то, что не все кадры кодированы, процедура переходит к этапу S103, на котором один необработанный кадр выбирается в соответствии с последовательностью от начального кадра. На следующем этапе S104, выбранный кадр кодируется посредством осуществления прогноза без наложения ограничений на использование режимов прогнозирования, которые заданы как возможные для использования, а именно, посредством осуществления прогноза с использованием всех применимых режимов прогнозирования.
Затем, на этапе S105, значение переменной n увеличивается на единицу. На следующем этапе S106, выполняется определение в отношении того, превышает или нет значение переменной n предварительно определенное пороговое значение N1 (при этом N1 является целым числом, равным 1 или больше). Если определено, что значение переменной n не превышает пороговое значение N1, процедура возвращается к обработке этапа S102, и кодирование кадров продолжается без наложения ограничений на использование режимов прогнозирования, которые заданы как допущенные к использованию.
Если, тем не менее, в обработке определения этапа S106, определяется то, что значение переменной n превышает пороговое значение N1, процедура переходит к этапу S107, и создается таблица степеней соответствий режимов прогнозирования. Таблица степеней соответствий режимов прогнозирования имеет такую структуру данных, как описано ниже, и является таблицей, которая описывает корреляции (т.е. доли выпадений) оптимальных режимов прогнозирования между слоями.
Затем, на этапе S108, переменная n задается равной 1, и, на следующем этапе S109, выполняется определение в отношении того, все или нет кадры кодированы. Если определено, что все кадры кодированы, процедура завершается.
Если, тем не менее, на этапе S109 определяется то, что не все кадры кодированы, процедура переходит к этапу S110. На этапе S110, один необработанный кадр выбирается в соответствии с последовательностью от начального кадра. На следующем этапе S111, выбранный кадр кодируется посредством осуществления прогноза при одновременном сужении вариантов поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования.
Затем, на этапе S112, значение переменной n увеличивается на единицу. На следующем этапе S113, выполняется определение в отношении того, превышает или нет значение переменной n предварительно определенное пороговое значение N2 (при этом N1 является целым числом, равным 1 или больше). Если определено, что значение переменной n не превышает пороговое значение N2, процедура возвращается к обработке этапа S109, и кодирование кадров продолжается при одновременном сужении вариантов поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования.
Если, тем не менее, на этапе S113, определяется то, что значение переменной n превышает пороговое значение N2, то определяется необходимость обновлять таблицу степеней соответствий режимов прогнозирования, и процедура возвращается к этапу S101. Соответственно, обработка этапов S101-S113 продолжается в то время, когда таблица степеней соответствий режимов прогнозирования обновляется.
Таким образом, в настоящем варианте осуществления, когда масштабируемое кодирование выполняется для видео, после того как N1-тый кадр кодирован, на основе результатов этого кодирования создается таблица степеней соответствий режимов прогнозирования, которая описывает корреляции (т.е. доли выпадений) оптимальных режимов прогнозирования между слоями. Затем, процедура переходит к кодированию последующего N2-того кадра, и обработка повторяется, чтобы кодировать N2-тый кадр при одновременном сужении вариантов поиска режима прогнозирования с использованием созданной таблицы степеней соответствий режимов прогнозирования.
(i) Создание таблицы степеней соответствий режимов прогнозирования
Далее описывается обработка создания таблицы степеней соответствий режимов прогнозирования, выполняемая на этапе S107.
В результате обработки этапа S104, для кадра B2a, созданного посредством таблицы степеней соответствий режимов прогнозирования, и кадра B'2a непосредственно под ним, показанных на Фиг.1, кодирование уже завершено, и оптимальные режимы прогнозирования уже выбраны. Когда кадры B2a и B'2a кодируются, информация о выбранном оптимальном режиме прогнозирования сохраняется в буфере. На основе этой информации оптимального режима прогнозирования, которая сохраняется в буфере, анализируется взаимосвязь соответствия между оптимальным режимом прогнозирования для макроблока (в дальнейшем в этом документе, сокращенно как MB) кадра B2a и субмакроблока (в дальнейшем в этом документе, сокращенно как SMB) пространственно соответствующего кадра B'2a.
В частности, таблица степеней соответствий режимов прогнозирования, имеющая такую структуру данных, как показана на Фиг.3 создается между B2a и B'2a. Числовые значения, показанные на Фиг.3 показывают отношение (т.е. долю выпадений), при котором, когда оптимальным режимом прогнозирования, выбранным в каждом SMB (размер 8×8) кадра B'2a, является i, оптимальный режим j прогнозирования выбирается в MB кадра B2a. Например, если P16×16 выбирается в SMB кадра B'2a, то в MB кадра B2a, который пространственно соответствует SMB, в котором выбран P16×16, это показывает то, что выбирается режим пропуска 32,3%.
Здесь, способом, используемым для того, чтобы выбирать оптимальный режим прогнозирования в кадрах B2a и B'2a, может быть JSVM-способ, описанный в непатентном документе 2, или способ, в котором варианты поиска режима прогнозирования сужаются, к примеру, способ, описанный в патентном документе 1.
Кроме того, в этом примере, целевой кадр таблицы степеней соответствий режимов прогнозирования рассматривается как один кадр (т.е. B2a), который уже кодирован и имеет временной уровень, идентичный временному уровню целевого кадра, который должен кодироваться, тем не менее, это не ограничено означенным. Также можно выбирать в качестве целевого кадр, который уже кодирован и имеет другой временной уровень (например, B1). Кроме того, также можно выбирать в качестве целевых множество кадров (например, B1 и B2a) и вычислять степень соответствий с использованием суммы этого множества кадров. А именно, при условии, что кодирование кадров уже завершено в целевом слое кодирования и в слое непосредственно под ним, то они могут быть целевыми кадрами, которые должны создаваться посредством таблицы степеней соответствий режимов прогнозирования.
(ii) Сужение вариантов поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования
Далее, приводится описание обработки, чтобы сужать варианты поиска режима прогнозирования с использованием таблицы степеней соответствий режимов прогнозирования, описанной на этапе S111.
Варианты поиска режима прогнозирования сужаются в каждом MB целевого кадра B2b кодирования в соответствии со значениями степеней соответствий режимов прогнозирования в таблице степеней соответствий режимов прогнозирования, созданной на этапе S107. Числовые значения в таблице степеней соответствий режимов прогнозирования показывают вероятность нахождения оптимального режима прогнозирования в конкретном целевом макроблоке кодирования.
Далее подробнее описывается обработка для того, чтобы сужать варианты поиска режима прогнозирования. В описании, приведенном ниже, целевой макроблок кодирования кадра B2b записан как MBL, при этом субмакроблок кадра B'2b слоя L-1, который находится пространственно в положении, идентичном положению этого MBL, записан как SMBL-1.
При сужении вариантов поиска режима прогнозирования макроблока MBL, во-первых, считывается информация об оптимальном режиме прогнозирования субмакроблока SMBL-1. Затем, таблица степеней соответствий режимов прогнозирования сопоставляется с оптимальным режимом прогнозирования SMBL-1, и собираются сведения по вероятности (т.е. доли выпадений) того, что каждый режим прогнозирования в целевом макроблоке MBL кодирования является оптимальным режимом прогнозирования. Затем, на основе этой вероятности оптимальности режима прогнозирования, варианты поиска режима прогнозирования сужаются. Два примера этого сужения приведены ниже.
(a) Процедура сужения 1
Процедура сужения 1 является процедурой для сужения вариантов поиска режима прогнозирования с использованием пороговых значений для сужения вариантов поиска режима прогнозирования.
В этой процедуре сужения 1, пороговое значение t% для сужения вариантов поиска режима прогнозирования предоставляется, и режимы прогнозирования, которые меньше этого порогового значения t%, исключаются из вариантов поиска. Значение порогового значения t предоставляется извне. Примером способа, используемого для того, чтобы определять это значение, является способ, в котором значение, которое ограничивает снижение производительности кодирования рамками допустимого диапазона, определяется посредством многократного выполнения обработки кодирования.
Здесь, если используется способ, в котором вероятность (т.е. степень соответствий) того, что каждый режим прогнозирования в MBL является оптимальным режимом прогнозирования, считывается из таблицы степеней соответствий режимов прогнозирования в момент времени, когда информация об оптимальном режиме прогнозирования для SMBL-1 обнаружена, и сравнивается с пороговым значением для сужения вариантов поиска режима прогнозирования, то требуемая обработка сравнения становится чрезвычайно сложной.
Следовательно, обработка порогового значения выполняется заранее на степенях соответствий таблицы степеней соответствий режимов прогнозирования с использованием пороговых значений сужения вариантов поиска режима прогнозирования так, что степени соответствий таблицы соответствия режимов прогнозирования преобразуются в двоичную форму.
Результаты сужения вариантов поиска режима прогнозирования, когда пороговое значение для сужения вариантов поиска режима прогнозирования задано равным 5% в таблице степеней соответствий режимов прогнозирования, показанной на Фиг.3, показаны на Фиг.4. На Фиг.4, ○ представляет варианты поиска, а x представляет режимы прогнозирования, исключенные из вариантов поиска.
(b) Процедура сужения 2
Процедура сужения 2 является процедурой, в которой только режимы прогнозирования, в которых степень соответствий режимов прогнозирования является максимальной, задаются в качестве вариантов поиска.
Режимы прогнозирования, в которых степень соответствий режимов прогнозирования является максимальной, задаются в качестве вариантов поиска. В этом случае, варианты поиска обычно должны сужаться до одного режима прогнозирования, тем не менее, когда имеется множество вариантов поиска режима прогнозирования, которые предоставляют максимальное значение, они все задаются в качестве вариантов поиска.
Здесь, если используется способ, в котором вероятность (т.е. степень соответствий) того, что каждый режим прогнозирования в MBL является оптимальным режимом прогнозирования, считывается из таблицы степеней соответствий режимов прогнозирования в момент времени, когда информация об оптимальном режиме прогнозирования для SMBL-1 обнаружена, и степень соответствий, имеющая максимальное значение из их числа, указывается, то требуемая обработка указания становится чрезвычайно сложной.
Следовательно, указывается степень соответствий, имеющая максимальное значение, которое содержится в степенях соответствий таблицы соответствия режимов прогнозирования, и степень соответствий таблицы соответствия режимов прогнозирования преобразуется в двоичную форму.
Результаты сужения, когда режим прогнозирования, имеющий максимальное значение в таблице степеней соответствий режимов прогнозирования, показанной на Фиг.3, задан в качестве варианта поиска режима прогнозирования, показаны на Фиг.5. На Фиг.5, ○ представляет варианты поиска, а x представляет режимы прогнозирования, исключенные из вариантов поиска.
В дальнейшем в этом документе, настоящее изобретение описывается подробнее в соответствии с вариантами осуществления.
Фиг.6-8 являются блок-схемами последовательности операций способа, показывающими обработку масштабируемого кодирования видео, выполняемую посредством настоящего варианта осуществления.
Фиг.6 является блок-схемой последовательности операций способа, показывающей полную обработку масштабируемого кодирования видео, выполняемую посредством настоящего варианта осуществления. Фиг.7 и Фиг.8 являются блок-схемами последовательности операций способа, показывающими пример и другой пример подробностей обработки, выполняемой на этапе S201 блок-схемы последовательности операций способа, показанной на Фиг.6.
Далее, обработка масштабируемого кодирования видео, выполняемая посредством настоящего варианта осуществления, описывается подробно в соответствии с этими блок-схемами последовательности операций способа.
Обработка кодирования настоящего варианта осуществления является обработкой для улучшающих слоев, и обработка немасштабируемого однослойного кодирования применяется к базовому слою. Примером обработки однослойного кодирования является обработка кодирования части базового слоя опорного SVC-кодера JVSM, упомянутого в непатентном документе 2.
Далее описывается обработка этапов S201-S206, выполняемая в блок-схеме последовательности операций способа, показанной на Фиг.6.
На этапе S201, считываются начальные значения вариантов поиска режима прогнозирования, поиск которых должен выполняться в целевом макроблоке (MB) кодирования, и варианты поиска для режима прогнозирования, поиск которых должен выполняться в конечном счете в целевом MB кодирования, определяются и сохраняются в регистре. Эта обработка описывается подробно ниже в отношении Фиг.7 и Фиг.8.
На этапе S202, информация о вариантах поиска режима прогнозирования, которая сохранена как результат обработки этапа S201, считывается из регистра, и выполняется поиск каждого варианта поиска режима прогнозирования. Один оптимальный режим прогнозирования, который должен использоваться для кодирования, затем определяется, и информация об этом режиме хранится в регистре. Одним примером способа решения оптимального режима прогнозирования является способ, который выполняется в JSVM, в котором режим прогнозирования, в котором минимизируются затраты на кодирование, которые выражаются посредством линейной суммы бита кодирования и искажения при кодировании, рассматривается как оптимальный режим прогнозирования.
На этапе S203, информация об оптимальном режиме прогнозирования в целевом MB кодирования считывается из регистра, и выполняется компенсация движения в этом оптимальном режиме прогнозирования. Остаточный сигнал прогнозирования затем создается и сохраняется в буфере.
На этапе S204, остаточный сигнал прогнозирования считывается из буфера, и этот остаточный сигнал прогнозирования затем кодируется, и результирующие кодированные данные сохраняются в буфере. Одним примером этой обработки является последовательность обработки DCT, квантования и кодирования переменной длины в опорном SVC-кодере JSVM, упомянутым в непатентном документе 2.
На этапе S205, обработка определения выполняется для того, чтобы определять то, завершено или нет кодирование всего MB. Если кодирование всего MB завершено, обработка кодирования завершается, и кодированные данные каждого MB, а также другая необходимая информация заголовка считываются из буфера и выводятся как конечные кодированные данные. Если кодирование всего MB не завершено, процедура переходит к этапу S206.
На этапе S206, обработка переходит к следующему целевому MB кодирования, и выполняется обработка этапа S201.
Далее, пример конкретной обработки, выполняемой на этапе S201, описывается с использованием блок-схемы последовательности операций способа, показанной на Фиг.7, которая включает в себя этапы S301-S306.
На этапе S301, считывается информация, которая указывает то, является или нет MB, предназначенный для кодирования, MB, предназначенным для сужения вариантов поиска режима прогнозирования, который является целью настоящего варианта осуществления. Если MB, предназначенный для кодирования, является MB, предназначенным для сужения вариантов поиска режима прогнозирования, процедура переходит к обработке этапа S302. Если MB, предназначенный для кодирования, не является MB, предназначенным для сужения вариантов поиска режима прогнозирования, начальное значение варианта поиска режима прогнозирования выводится как конечный вариант поиска режима прогнозирования.
На этапе S302, информация, указывающая уже кодированные кадры, которые предназначены для вычисления таблицы степеней соответствий режимов прогнозирования, считывается извне, и информация режима прогнозирования об указанных кадрах сохраняется в регистре.
На этапе S303, считывается информация режима прогнозирования (т.е. информация об оптимальном режиме прогнозирования, используемом при кодировании) в кадрах, которые предназначены для вычисления таблицы степеней соответствий режимов прогнозирования, и степени соответствий (т.е. доли выпадений) оптимальных режимов прогнозирования слоя, предназначенного для кодирования, и слоя непосредственно под ним вычисляются и сохраняются в регистре как таблица степеней соответствий режимов прогнозирования. Такая таблица степеней соответствий режимов прогнозирования, как показано на Фиг.3, создается и сохраняется в регистре.
На этапе S304, считывается таблица степеней соответствий режимов прогнозирования, и эта таблица затем сохраняется в буфере.
На этапе S305, считывается пороговое значение сужения вариантов поиска режима прогнозирования и затем сохраняется в регистре.
На этапе S306, таблица степеней соответствий режимов прогнозирования считывается из буфера, и пороговые значения сужения вариантов поиска режима прогнозирования также считываются из регистра. Только те режимы прогнозирования, в которых степень соответствий (т.е. доля выпадений) равна или превышает пороговое значение сужения вариантов поиска режима прогнозирования, заданы как варианты поиска режима прогнозирования, и информация о них сохраняется в регистре. Когда выполняются эти настройки и операции сохранения, выбираются, задаются и сохраняются только те варианты поиска режима прогнозирования, которые ассоциированы с оптимальным режимом прогнозирования, полученным при кодировании базового слоя.
Таким образом, в блок-схеме последовательности операций способа, показанной на Фиг.6, на основе таблицы степеней соответствий режимов прогнозирования, имеющей такую структуру данных, как показано на Фиг.3, выполняется обработка для того, чтобы сужать варианты поиска режима прогнозирования в таком формате, как показано на Фиг.4.
Далее, другой пример конкретной обработки, выполняемой на этапе S201, описывается с использованием блок-схемы последовательности операций способа, показанной на Фиг.8, которая включает в себя этапы S401-S405.
На этапе S401, считывается информация, которая указывает то, является или нет MB, предназначенный для кодирования, MB, предназначенным для сужения вариантов поиска режима прогнозирования, который является целью настоящего варианта осуществления. Если MB, предназначенный для кодирования, является MB, предназначенным для сужения вариантов поиска режима прогнозирования, процедура переходит к обработке этапа S402. Если MB, предназначенный для кодирования, не является MB, предназначенным для сужения вариантов поиска режима прогнозирования, начальное значение варианта поиска режима прогнозирования выводится как конечный вариант поиска режима прогнозирования.
На этапе S402, информация, указывающая уже кодированные кадры, которые предназначены для вычисления таблицы степеней соответствий режимов прогнозирования, считывается извне, и информация режима прогнозирования об указанных кадрах сохраняется в регистре.
На этапе S403, считывается информация режима прогнозирования (т.е. информация об оптимальном режиме прогнозирования, используемом при кодировании) в кадрах, которые предназначены для вычисления таблицы степеней соответствий режимов прогнозирования. Затем, степени соответствий (т.е. доли выпадений) оптимальных режимов прогнозирования слоя, предназначенного для кодирования, и слоя непосредственно под ним вычисляются и сохраняются в регистре как таблица степеней соответствий режимов прогнозирования. А именно, такая таблица степеней соответствий режимов прогнозирования, как показано на Фиг.3, создается и сохраняется в регистре.
На этапе S404, считывается таблица степеней соответствий режимов прогнозирования, и эта таблица затем сохраняется в буфере.
На этапе S405, таблица степеней соответствий режимов прогнозирования считывается из буфера, и только режим прогнозирования, имеющий максимальную степень соответствий (т.е. долю выпадений), задается как вариант поиска режима прогнозирования, и информация об этом сохраняется в регистре. Здесь, когда выполняются эти настройки и операции сохранения, выбираются, задаются и сохраняются только те варианты поиска режима прогнозирования, которые ассоциированы с оптимальным режимом прогнозирования, полученным при кодировании базового слоя.
Таким образом, в блок-схеме последовательности операций способа, показанной на Фиг.6, на основе таблицы степеней соответствий режимов прогнозирования, имеющей такую структуру данных, как показано на Фиг.3, выполняется обработка для того, чтобы сужать варианты поиска режима прогнозирования в таком формате, как показано на Фиг.5.
Фиг.9-11 показывают структуру устройства масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.
Фиг.9 показывает полную структуру устройства масштабируемого кодирования видео настоящего варианта осуществления. Фиг.10 и Фиг.11 показывают пример и другой пример подробной структуры модуля 102 определения вариантов поиска режима прогнозирования, показанного на Фиг.9.
Далее, устройство масштабируемого кодирования видео настоящего варианта осуществления описывается подробно в отношении этих структурных схем устройства.
Устройство масштабируемого кодирования видео настоящего варианта осуществления является устройством обработки для улучшающих слоев, и обработка немасштабируемого однослойного кодирования применяется к базовому слою. Примером обработки однослойного кодирования является обработка кодирования части базового слоя опорного SVC-кодера JVSM, упомянутого в непатентном документе 2.
Во-первых, полная структура устройства масштабируемого кодирования видео описывается со ссылкой на Фиг.9.
Модуль 101 хранения начальных значений вариантов поиска режима прогнозирования считывает начальные значения вариантов поиска режима прогнозирования и выводит их в регистр.
Модуль 102 определения вариантов поиска режима прогнозирования считывает начальные значения для вариантов поиска режима прогнозирования и определяет варианты поиска режима прогнозирования, поиск которых в конечном счете должен выполняться. Затем, модуль 102 определения вариантов поиска режима прогнозирования выводит в регистр информацию о вариантах поиска режима прогнозирования, которая в конечном счете определена, и обработка переходит к модулю 103 определения оптимальных режимов прогнозирования. Подробная структура этого модуля обработки описывается ниже с использованием Фиг.10 и Фиг.11.
Модуль 103 определения оптимальных режимов прогнозирования считывает варианты поиска режима прогнозирования из регистра и выполняет поиск каждого варианта поиска режима прогнозирования. Затем, модуль 103 определения оптимальных режимов прогнозирования определяет один оптимальный режим прогнозирования, который должен использоваться для кодирования, и выводит информацию об этом режиме в модуль 104 хранения оптимальных режимов прогнозирования. Одним примером способа решения оптимального режима прогнозирования является способ, который выполняется в JSVM, в котором режим прогнозирования, в котором затраты на кодирование, которые выражаются посредством линейной суммы бита кодирования и искажения при кодировании, минимизируются, рассматривается как оптимальный режим прогнозирования.
Модуль 105 создания остаточных сигналов прогнозирования считывает оптимальный режим прогнозирования в целевом MB кодирования из модуля 104 хранения оптимальных режимов прогнозирования и выполняет компенсацию движения в этом оптимальном режиме прогнозирования. Он затем создает остаточный сигнал прогнозирования и выводит его в буфер.
Модуль 106 кодирования остаточных сигналов прогнозирования затем считывает остаточный сигнал прогнозирования в MB, предназначенном для кодирования, из буфера и выполняет кодирование для этого остаточного сигнала прогнозирования. Кодированные данные затем выводятся в буфер. Одним примером этой обработки является последовательность обработки DCT, квантования и кодирования переменной длины опорного SVC-кодера JSVM, упомянутого в непатентном документе 2.
Модуль 107 определения полного завершения кодирования MB выполняет обработку определения, чтобы определять то, завершено или нет кодирование всего MB. Если кодирование всего MB завершено, обработка кодирования завершается, и конечные кодированные данные выводятся. Если кодирование всего MB не завершено, процедура переходит к обработке модуля 108 обновления целевых MB кодирования.
Модуль 108 обновления целевых MB кодирования переходит к обработке следующего MB, предназначенного для кодирования, и выполняется обработка модуля 102 определения вариантов поиска режима прогнозирования.
Далее, пример подробной структуры модуля 102 определения вариантов поиска режима прогнозирования описывается со ссылкой на Фиг.10.
Модуль 201 хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования считывает информацию, указывающую то, должен или нет MB подвергаться сужению вариантов поиска режима прогнозирования, и выводит эту информацию в регистр.
Модуль 202 определения целевых MB сужения вариантов поиска режима прогнозирования считывает информацию, указывающую MB, которые должны подвергаться сужению вариантов поиска режима прогнозирования, из модуля 201 хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования, и выполняет обработку определения, чтобы определять то, является или нет MB, предназначенный для кодирования, MB, который должен сужаться. Если MB, предназначенный для кодирования, является MB, который должен сужаться, процедура переходит к обработке модуля 206 создания таблиц степеней соответствий режимов прогнозирования. Если MB, предназначенный для кодирования, не является MB, который должен сужаться, то начальное значение варианта поиска режима прогнозирования определяется как конечный вариант поиска режима прогнозирования и выводится.
Модуль 203 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования считывает информацию, указывающую кадры, которые уже кодированы и предназначены для вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.
Модуль 204 хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров считывает информацию оптимального режима прогнозирования слоя, предназначенного для кодирования, для кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, которые указываются посредством информации указания, считанной из модуля 203 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.
Модуль 205 хранения для оптимальных режимов прогнозирования для слоя непосредственно под целевым кадром считывает информацию оптимального режима прогнозирования слоя непосредственно под слоем, предназначенным для кодирования, для кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, которые указываются посредством информации указания, считанной из модуля 203 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.
Модуль 206 создания таблиц степеней соответствий режимов прогнозирования считывает из модуля 204 хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров информацию оптимального режима прогнозирования в слое, предназначенном для кодирования кадра, предназначенного для вычисления степени соответствий режимов прогнозирования. Кроме того, модуль 206 создания таблиц степеней соответствий режимов прогнозирования также считывает информацию оптимального режима прогнозирования слоя непосредственно под слоем, предназначенным для кодирования кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, из модуля 205 хранения для оптимальных режимов прогнозирования для слоя непосредственно под целевым кадром, и вычисляет степени соответствий (т.е. доли выпадений) оптимальных режимов прогнозирования между соответствующими макроблоками и субмакроблоками и выводит результаты в модуль 207 хранения таблиц степеней соответствий режимов прогнозирования как таблицу степеней соответствий режимов прогнозирования.
Модуль 208 хранения пороговых значений сужения вариантов поиска режима прогнозирования считывает пороговые значения для сужения вариантов поиска режима прогнозирования и выводит их в регистр.
Модуль 209 сравнения пороговых значений таблицы степеней соответствий режимов прогнозирования считывает таблицы степеней соответствий режимов прогнозирования из модуля 207 хранения таблиц степеней соответствий режимов прогнозирования и также считывает пороговые значения для сужения вариантов поиска режима прогнозирования из модуля 208 хранения пороговых значений сужения вариантов поиска режима прогнозирования. Затем, модуль 209 сравнения пороговых значений таблицы степеней соответствий режимов прогнозирования анализирует вероятность выпадения оптимального режима прогнозирования MB, предназначенного для кодирования, который ассоциирован с оптимальным режимом прогнозирования SMB непосредственно под ним, и затем задает только режимы прогнозирования, вероятность выпадения которых равна или превышает пороговое значение сужения вариантов поиска режима прогнозирования, в качестве вариантов поиска режима прогнозирования и выводит их.
Таким образом, в структуре устройства, показанной на Фиг.10, на основе таблицы степеней соответствий режимов прогнозирования, имеющей такую структуру данных, как показано на Фиг.3, выполняется обработка для того, чтобы сужать варианты поиска режима прогнозирования в таком формате, как показано на Фиг.4.
Далее, другой пример подробной структуры модуля 102 определения вариантов поиска режима прогнозирования описывается со ссылкой на Фиг.11.
Модуль 301 хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования считывает информацию, указывающую то, должен или нет MB подвергаться сужению вариантов поиска режима прогнозирования, и выводит эту информацию в регистр.
Модуль 302 определения целевых MB сужения вариантов поиска режима прогнозирования считывает информацию, указывающую MB, которые должны подвергаться сужению вариантов поиска режима прогнозирования, из модуля 301 хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования, и выполняет обработку определения, чтобы определять то, является или нет MB, предназначенный для кодирования, MB, который должен сужаться. Если MB, предназначенный для кодирования, является MB, который должен сужаться, процедура переходит к обработке модуля 306 создания таблиц степеней соответствий режимов прогнозирования. Если MB, предназначенный для кодирования, не является MB, который должен сужаться, то начальное значение варианта поиска режима прогнозирования определяется как конечный вариант поиска режима прогнозирования и выводится.
Модуль 303 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования считывает информацию, указывающую кадры, которые уже кодированы и предназначены для вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.
Модуль 304 хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров считывает информацию оптимального режима прогнозирования слоя, предназначенного для кодирования, для кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, которые указываются посредством информации указания, считанной из модуля 303 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.
Модуль 305 хранения для оптимальных режимов прогнозирования для слоя непосредственно под целевым кадром считывает информацию оптимального режима прогнозирования слоя непосредственно под слоем, предназначенным для кодирования, для кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, которые указываются посредством информации указания, считанной из модуля 303 хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования, и выводит ее в регистр.
Модуль 306 создания таблиц степеней соответствий режимов прогнозирования считывает из модуля 304 хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров информацию оптимального режима прогнозирования в слое, предназначенном для кодирования кадра, предназначенного для вычисления степени соответствий режимов прогнозирования. Кроме того, модуль 306 создания таблиц степеней соответствий режимов прогнозирования также считывает информацию оптимального режима прогнозирования слоя непосредственно под слоем, предназначенным для кодирования кадров, которые предназначены для вычисления степени соответствий режимов прогнозирования, из модуля 305 хранения для оптимальных режимов прогнозирования для слоя непосредственно под целевым кадром. Затем, модуль 306 создания таблиц степеней соответствий режимов прогнозирования вычисляет степени соответствий (т.е. доли выпадений) оптимальных режимов прогнозирования между соответствующими макроблоками и субмакроблоками и выводит результаты в модуль 307 хранения таблиц степеней соответствий режимов прогнозирования как таблицу степеней соответствий режимов прогнозирования.
Модуль 308 анализа режима прогнозирования на предмет максимальной доли выпадений считывает таблицы степеней соответствий режимов прогнозирования из модуля 207 хранения таблиц степеней соответствий режимов прогнозирования и анализирует вероятность выпадения оптимального режима прогнозирования MB, предназначенного для кодирования, для оптимального режима прогнозирования SMB непосредственно под ним, и затем задает режим прогнозирования, вероятность выпадения которого является максимальной, как конечный вариант поиска режима прогнозирования и выводит его.
Таким образом, в структуре устройства, показанной на Фиг.11, на основе таблицы степеней соответствий режимов прогнозирования, имеющей такую структуру данных, как показано на Фиг.3, выполняется обработка для того, чтобы сужать варианты поиска режима прогнозирования в таком формате, как показано на Фиг.5.
Далее описываются результаты эксперимента, который выполнен, чтобы проверять эффективность настоящего изобретения.
Этот эксперимент выполнен посредством установки настоящего варианта осуществления в JSVM 9.12.2 и последующего сравнения JSVM с настоящим вариантом осуществления. Используемыми изображениями являются тестовые изображения SVC "Город" и "Футбол", имеющие размер 704×576, и "Пешеход" и "Станция", имеющие размер 1920×1024. Изображения, имеющие вышеуказанные разрешения, введены в улучшающий слой, при этом изображения, имеющие разрешения в числе пикселов по вертикали и горизонтали, равные половине от приведенных выше, введены в базовый слой. Число кадров кодированного изображения составляет 129, и четыре QP (параметра квантования), а именно, 22, 27, 32 и 37, протестированы с использованием одинаковых значений на обоих слоях. Структурой GOP (группы изображений) является IBBBP-иерархическая структура B-изображений, и I вводится каждые 16 кадров. Как показано на Фиг.12, два кадра, принадлежащие наименьшему временному уровню, использованы, соответственно, для кадра вычисления степени соответствий уровней и кадра высокоскоростного выбора режима. CPU Xeon 3,16 ГГц использован для измерения времени кодирования.
Результаты экспериментов по степени увеличения битового кодирования и степени уменьшения времени кодирования показаны в таблице 1.
Таблица 1
Степень уменьшения времени кодирования
Степень увеличения битового кодирования
Город
22,97%
0,62%
Футбол
21,63%
0,80%
Пешеход
18,80%
0,77%
Станция
21,46%
0,11%
Здесь, степень увеличения битового кодирования создана посредством выполнения кусочно-кубической эрмитовой полиномиальной интерполяции на аппроксимирующей кривой между четырьмя нанесенными точками для бита кодирования и PSNR (пикового отношения "сигнал-шум") в каждом QP, и среднее дифференциальное значение величин кода в общих сегментах этих двух сравниваемых наборов данных задано в качестве релевантной степени увеличения. Кроме того, степень уменьшения времени кодирования является средним значением в каждом QP.
Характеристики кодирования для кодирования изображений "Пешеход" и "Станция" показаны на Фиг.13, и изменения во времени кодирования при кодировании "Пешеход" показаны на Фиг.14.
Из результатов эксперимента, приведенных выше, подтверждено то, что независимо от разрешения или изображений, можно достигать степени уменьшения времени кодирования приблизительно в 20%, при этом степень увеличения битового кодирования поддерживается менее 1%.
Изобретение не ограничено вышеописанным вариантом осуществления. Например, в вышеописанном варианте осуществления описывается пример, в котором настоящее изобретение применяется к упорядоченной многослойной структуре, сформированной посредством базового слоя и улучшающего слоя, тем не менее, варианты применения настоящего изобретения не ограничены этим типом упорядоченной многослойной структуры.
Промышленная применимость
Номера ссылок
Настоящее изобретение может применяться к масштабируемому кодированию движущихся изображений, которое достигает масштабируемости посредством использования многослойной структуры, и можно сокращать время кодирования посредством применения настоящего изобретения.
101 - модуль хранения начальных значений вариантов поиска режима прогнозирования
102 - модуль определения вариантов поиска режима прогнозирования
103 - модуль определения оптимальных режимов прогнозирования
104 - модуль определения оптимальных режимов прогнозирования
105 - модуль создания остаточных сигналов прогнозирования
106 - модуль кодирования остаточных сигналов прогнозирования
107 - модуль определения полного завершения кодирования MB
108 - модуль обновления целевых MB кодирования
201 - модуль хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования
202 - модуль определения целевых MB сужения вариантов поиска режима прогнозирования
203 - модуль хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования
204 - модуль хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров
205 - модуль хранения для оптимального режима прогнозирования для слоя непосредственно под целевым кадром
206 - модуль создания таблиц степеней соответствий режимов прогнозирования
207 - модуль хранения таблиц степеней соответствий режимов прогнозирования
208 - модуль хранения пороговых значений сужения вариантов поиска режима прогнозирования
209 - модуль сравнения пороговых значений таблицы степеней соответствий режимов прогнозирования
301 - модуль хранения информации указания целевых MB сужения вариантов поиска режима прогнозирования
302 - модуль определения целевых MB сужения вариантов поиска режима прогнозирования
303 - модуль хранения информации указания целевых кадров вычисления степени соответствий режимов прогнозирования
304 - модуль хранения оптимальных режимов прогнозирования улучшающего слоя для целевых кадров
305 - модуль хранения для оптимального режима прогнозирования для слоя непосредственно под целевым кадром
306 - модуль создания таблиц степеней соответствий режимов прогнозирования
307 - модуль хранения таблиц степеней соответствий режимов прогнозирования
308 - модуль анализа режима прогнозирования на предмет максимальной доли выпадений