(57)【特許請求の範囲】
【請求項１】
ビデオ復号化方法であって、
時間予測技術に従って、チャネルに供給されたベースレイヤ符号化ビデオから復元された予測領域データを復号化することと、
前記復元された予測領域データと以前に復号化された復元エンハンスメントレイヤデータから得られた境界データとの間のマージによって合成画像データを生成することと、
前記合成画像データに対してフィルタ処理を施すことと、
前記フィルタ処理が施された合成画像データと、時間予測技術に従って、チャネル内に供給されたエンハンスメントレイヤ符号化ビデオとから、新たな復元エンハンスメントレイヤ画像データを生成することと、
を備える、方法。
【請求項２】
請求項１に記載の方法であって、境界領域として取得されるデータの量が、施されるフィルタ処理の種類から決定される、方法。
【請求項３】
請求項１に記載の方法であって、前記フィルタ処理はデブロックフィルタ処理である、方法。
【請求項４】
請求項１に記載の方法であって、前記フィルタ処理はリンギングフィルタ処理である、方法。
【請求項５】
請求項１に記載の方法であって、前記フィルタ処理はエッジ検出フィルタ処理である、方法。
【請求項６】
ビデオデコーダであって、
時間予測技術に従って、チャネル内に供給されたベースレイヤ符号化ビデオから復元ベースレイヤ画像データを生成するためのベースレイヤデコーダと、
時間予測技術に従って、チャネル内に供給されたエンハンスメントレイヤ符号化ビデオから復元エンハンスメントレイヤ画像データを生成するためのエンハンスメントレイヤデコーダであって、復元エンハンスメントレイヤ画像データの参照フレームのためのストレージを有する、エンハンスメントレイヤデコーダと、
復元ベースレイヤ画像データと、復元エンハンスメントレイヤ画像データの参照フレームとのための入力を有し、前記復元ベースレイヤ画像データからの予測領域と、復元エンハンスメントレイヤ画像データの前記参照フレームからの境界領域とをマージする合成画像生成部であって、前記予測領域は、前記復元ベースレイヤ画像データと前記復元エンハンスメントレイヤ画像データとの間の任意のサイズ差をなくすようにスケーリングされており、前記境界領域は、前記予測領域によって占められる空間領域を縁取る空間領域から得られる、合成画像生成部と、
前記マージされたデータに画像フィルタ処理を施すためのフィルタであって、前記フィルタの出力は、時間予測のための参照画像データとして前記エンハンスメントレイヤデコーダに入力される、フィルタと、
を備える、デコーダ。
【請求項７】
請求項６に記載のデコーダであって、前記境界領域の幅は、施される画像フィルタ処理の種類から決定される、デコーダ。
【請求項８】
請求項６に記載のデコーダであって、前記画像フィルタ処理はデブロックフィルタ処理である、デコーダ。
【請求項９】
請求項６に記載のデコーダであって、前記画像フィルタ処理はリンギングフィルタ処理である、デコーダ。
【請求項１０】
請求項６に記載のデコーダであって、前記画像フィルタ処理はエッジ検出フィルタ処理である、デコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデコーダに関し、特に、改良されたマルチレイヤビデオデコーダに関
する。
【背景技術】
【０００２】
ビデオ符号化は、一般的に、動画情報を、帯域幅の制限されたチャネルを介して伝送す
るために符号化することを指す。様々なビデオ符号化技術が知られている。最も一般的な
技術（ＩＴＵ ＨシリーズおよびＭＰＥＧシリーズの符号化規格において規格化されてい
る技術など）は、動き補償予測を用いて、チャネル帯域幅を低減する。動き補償されたビ
デオのコーダは、以前に復号化された他のフレームのビデオコンテンツを参照して、現在
復号化されている新たなフレームのビデオコンテンツを予測することによって、ビデオシ
ーケンスのフレーム間の時間冗長性を活用する。デコーダで、最初のいくつかのフレーム
の受信および復号化が完了すると、ビデオデコーダは、以前に復号化されたフレームの復
号化されたビデオコンテンツを利用して、他のフレームのコンテンツを生成することがで
きる。
【０００３】
階層化ビデオ符号化システムは、幅広い用途のためにビデオ符号化／復号化動作および
符号化ビデオデータを構築する。符号化ビデオデータは、第１のセットのビデオデータ（
本明細書では「ベースレイヤ」と呼ぶ）を含んでよく、そのデータからは、ソースビデオ
データを第１のレベルの画質で復元することができる。符号化ビデオデータは、他のセッ
トのビデオデータ（本明細書では「エンハンスメントレイヤ」と呼ぶ）を含んでよく、そ
のデータからは、ベースレイヤデータと共に復号化すると、ベースレイヤデータだけを復
号化した場合よりも高レベルの画質でソースビデオデータを復元することができる。
【０００４】
階層化ビデオ符号化システムは、多くの符号化環境で応用される。例えば、階層符号化
システムは、様々な異なるビデオデコーダのためのビデオデータを符号化する際に有利で
あり、それらのデコーダは、比較的少ない処理資源を有する場合もあるし、より多くの処
理資源を有する場合もある。シンプルデコーダが、ベースレイヤデータだけを復号化して
表示することによって、ソースビデオの基本表現を復元してよい。しかしながら、よりロ
バストなデコーダが、ベースレイヤデータだけでなく１または複数のエンハンスメントレ
イヤからのデータをも復号化することによって、よりよい画質を復元してもよい。別の用
途においては、階層符号化スキームは、チャネル帯域幅を事前に決定することができない
伝送環境において有利な場合がある。利用できるチャネル帯域幅が制限されている場合、
符号化データのトランスミッタは、チャネルを通してベースレイヤデータのみを送信して
よく、これにより、ビデオデコーダは、少なくともソースビデオの基本表現を表示するこ
とが可能になる。トランスミッタは、より大きなチャネルを通して複数レイヤの符号化デ
ータを送信してよく、それにより、より良好な画質が実現される。
【発明の概要】
【０００５】
本願の発明者は、本明細書に記載するように、マルチレイヤビデオ符号化システムに対
するいくつかの符号化の改良を提案する。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態に従って、マルチレイヤビデオデコーダを示す簡略化したブロック図。
【図２（ａ）】本発明の一実施形態に従って、ベースレイヤ符号化およびエンハンスメントレイヤ符号化のピクセルブロックの分割を示す図。
【図２（ｂ）】本発明の一実施形態に従って、ベースレイヤ符号化およびエンハンスメントレイヤ符号化のピクセルブロックの分割を示す図。
【図２（ｃ）】本発明の一実施形態に従って、ベースレイヤ符号化およびエンハンスメントレイヤ符号化のピクセルブロックの分割を示す図。
【図３】本発明の一実施形態に従って、エンハンスメントレイヤビデオデコーダのための動きベクトル予測方法を示す図。
【図４】本発明の別の実施形態に従って、マルチレイヤビデオデコーダを示す簡略化したブロック図。
【図５（ａ）】マルチレイヤビデオデコーダのフロー図。
【図５（ｂ）】マルチレイヤビデオデコーダのフロー図。
【発明を実施するための形態】
【０００７】
エンハンスメントレイヤデータのためのビデオデータの予測に用いられる動きベクトル
の予測のために、第１の改良がなされている。ベースレイヤデータおよびエンハンスメン
トレイヤデータの間での任意のピクセルブロックの分割が、エンハンスメントレイヤの動
きベクトルの予測ソースとして用いられるベースレイヤの動きベクトルを識別する際に問
題になる。発明者は、ベースレイヤのビデオ画像とエンハンスメントレイヤのビデオ画像
との間のサイズ差に従ってベースレイヤピクセルブロックの分割マップをスケーリングし
た後に、そのスケーリングされたマップから、動きベクトル予測が行われるエンハンスメ
ントレイヤのピクセルブロックと同位置の（co-located）スケーリングされたベースレイ
ヤピクセルブロックを識別することにより、動きベクトルを生成することを提案する。ス
ケーリングされた同位置のベースレイヤピクセルブロックからの動きベクトルは、スケー
リングされたベースレイヤピクセルブロックとエンハンスメントレイヤピクセルブロック
との間の重複の程度に従って重み付けして平均化される。エンハンスメントレイヤデコー
ダに供給される前に、復元ベースレイヤ画像データに対してフィルタ処理を施す（フィル
タリングする）ことで、別の改良がなされる。特定のフィルタが、ベースレイヤデコーダ
から利用できる予測領域の外側の画像データを必要とする場合には、予測領域データは、
予測領域の境界において、エンハンスメントレイヤからの以前に復号化されたデータで補
完されてよい。予測領域画像データおよび境界領域画像データのマージによって得られた
合成画像に対して、フィルタリングが実行されてもよい。
【０００８】
動きベクトル予測
図１は、本発明の一実施形態に従って、階層化ビデオデコーダ１００を示す簡略化した
ブロック図である。図に示したように、ビデオデコーダ１００は、ベースレイヤデコーダ
１２０およびエンハンスメントレイヤデコーダ１５０を備えてよく、各デコーダは、チャ
ネル１８０から受信した符号化ビデオデータを受信する。チャネル１８０は、符号化ビデ
オデータの物理的な伝送を行うものであり、通例、チャネルは、電気的、磁気的、または
、光学的なメモリデバイスなどの記憶媒体、または、有線通信回線（光学または電気ケー
ブル）などの物理的な伝送媒体である。チャネルデータは、ベースレイヤデコーダ１２０
による復号化を意図された符号化データを、エンハンスメントレイヤデコーダ１５０によ
る復号化を意図された符号化データから区別する識別子を符号化信号内に備える。特定の
実装例において、複数のエンハンスメントレイヤデコーダ（図１では、１つだけが図示さ
れている）を提供することが有利な場合があり、かかる場合、チャネルデータは、受信す
るデコーダ１００が適切なエンハンスメントレイヤデコーダにデータをルーティングする
ことを可能にする識別子を備える。
【０００９】
図１に示したように、ベースレイヤデコーダ１２０は、エントロピデコーダ１２２、逆
量子化部１２４、逆変換部１２６、動き補償予測部１２８、加算部１３０、および、フレ
ームストア１３２を備えてよい。符号化ビデオデータは、例えば、ランレングス符号化に
よってエントロピ符号化されたシリアルデータストリームとしてビデオ情報を表すことが
多い。エントロピデコーダ１２２は、この符号化処理の逆処理を行い、ベースレイヤデコ
ーダ１２０によるさらなる処理のためにピクセルブロック配列の係数データを構築してよ
い。逆量子化部１２４は、通例、エンコーダ（図示せず）によって実行された量子化処理
の逆処理を行うために、係数データに量子化パラメータを乗じる。デコーダ１２０は、チ
ャネルデータから明示的に、または、チャネルに供給されたデータからの導出によって、
量子化パラメータを受信するが、かかる処理は周知である。逆変換部１２６は、離散コサ
イン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピ
クセルブロック係数をピクセル値に変換してよい。逆変換部１２６によって生成されたピ
クセルデータは、加算部１３０の第１の入力に出力される。
【００１０】
最近のビデオコーダは、しばしば、予測符号化技術を用いて、符号化された信号の帯域
幅を低減している。フレームストア１３２は、ベースレイヤデコーダ１２０によって以前
に復号化されたピクセルブロックのピクセルデータを格納してよい。ピクセルデータは、
現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、以
前に復号化されたフレーム（しばしば、「参照フレーム」と呼ばれる）のピクセルブロッ
クに属するピクセルデータが、新たに受信したピクセルブロックのビデオデータの予測に
利用できてよい。かかる場合には、チャネルデータは、新たに受信したピクセルブロック
の動きベクトル１３４を含んでおり、それらの動きベクトルは、新しいピクセルブロック
の予測ソースとして用いられる参照フレームからのピクセルデータを識別する。与えられ
たピクセルブロックに対して、動きベクトル１３４は、チャネルで直接的に供給されても
よいし、ビデオシーケンスの他のピクセルブロックの動きベクトルから導出されてもよい
。
【００１１】
動き補償予測部１２８は、動きベクトルデータをレビューしてよく、対応するピクセル
ブロックのための予測ソースとしてフレームストア１３２からデータを読み出させてよい
。用いられる予測モードに応じて、ピクセルデータは、１または２の参照フレームから読
み出されてよい。単一の参照フレームから読み出されたピクセルデータが、加算部に直接
提供されることが多い（ライン１３６）。一対の参照フレームから読み出されたピクセル
データが、加算部１３０に提供される前に、処理（例えば、平均化）されてもよい。加算
部１３０は、ピクセルブロック単位で復元画像データ１３８を生成してよく、そのデータ
は、出力データとしてベースレイヤデコーダ１２０から出力されてよい。ビデオフレーム
がビデオシーケンス内の参照フレームとして識別された場合、復元画像データ１３８は、
その後の復号化動作に用いるためにフレームストア１３２に格納されてよい。ベースレイ
ヤデコーダからの復元画像データ１３８は、ディスプレイに出力されてもよいし、必要に
応じて後で利用するために格納されてもよい。
【００１２】
図１に示したように、エンハンスメントレイヤデコーダ１５０も、エントロピデコーダ
１５２、逆量子化部１５４、逆変換部１５６、動き予測部１５８、加算部１６０、および
、フレームストア１６２を備えてよい。エントロピデコーダ１５２は、チャネルから受信
した符号化エンハンスメントレイヤデータに用いられたエントロピ符号化処理の逆処理を
行ってよく、さらなる処理のためにピクセルブロック配列の係数データを構築してよい。
逆量子化部１５４は、通例、エンコーダ（図示せず）によってエンハンスメントレイヤデ
ータに実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗
じてよい。エンハンスメントレイヤデコーダ１５０は、エンハンスメントレイヤチャネル
データから明示的に、または、チャネルに提供されたデータからの導出によって、量子化
パラメータを受信するが、かかる処理は周知である。逆変換部１５６は、離散コサイン変
換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセル
ブロック係数をピクセル値に変換してよい。逆変換部１５６によって生成されたピクセル
データは、加算部１６０の第１の入力に出力される。
【００１３】
フレームストア１６２は、エンハンスメントデコーダ１５０によって以前に復号化され
たピクセルブロックのピクセルデータ１６４を格納してよい。ピクセルデータ１６４は、
現在復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、エ
ンハンスメントレイヤデコーダ１５０によって以前に復号化された参照フレームのピクセ
ルブロックに属するピクセルデータが、新たに受信されたピクセルブロックのビデオデー
タの予測に利用できてよい。本発明の一実施形態によると、エンハンスメントレイヤデコ
ーダ１５０のための動きベクトルは、ベースレイヤデコーダ１２０に用いられる動きベク
トルから予測されてよい。エンハンスメントレイヤデコーダは、動きベクトル予測の向上
を助ける動きベクトル残差１６６（「Δｍｖ」と示されている）を受信する。
【００１４】
一実施形態において、動き補償予測部１５８は、ベースレイヤチャネルデータから動き
ベクトル１３４を、エンハンスメントレイヤチャネルデータからΔｍｖ１６６を受信する
。分割マッピング部１６８は、ベースレイヤ復号化処理とエンハンスメントレイヤ復号化
処理の両方のためのピクセルブロック定義を受信してよい。各復号化レイヤは、符号化ビ
デオに対して、異なるピクセルブロック分割が適用されたものであってよい。動き補償予
測部１５８は、本明細書に記載するように、２つのピクセルブロック分割処理の導出とし
て、エンハンスメントレイヤピクセルブロックのための動きベクトルを予測してよい。動
き補償予測部１５８は、マルチプレクサ１７０および制御ライン１７２を通して、チャネ
ル１８０に供給された復号化命令によって指示されたように、フレームストア１３２に格
納されたベースレイヤ参照フレームから、および／または、フレームストア１６２に格納
されたエンハンスメントレイヤ参照フレームから、ビデオデータを予測してよい。エンハ
ンスメントレイヤデコーダからの復元画像データは、ディスプレイに出力されてもよいし
、必要に応じて後で利用するために格納されてもよい。
【００１５】
図１は、ビデオデコーダ１００の機能ブロック図である。実際には、コンピュータシス
テム上で実行されるソフトウエアプログラムとして、または、ハードウエアにおける回路
システムとして、ビデオデコーダを提供することが一般的である。本発明の原理は、かか
る用途のすべてに適用できる。
【００１６】
図２は、ビデオデータのフレームに適用された２つの代表的なピクセルブロック分割ス
キームを示した図である。１つの一般的な用途では、符号化ベースレイヤデータは、ある
特定の表示サイズのビデオデータを表すが、符号化エンハンスメントレイヤデータは、よ
り大きなサイズの同じビデオデータを表す。図２は、符号化ベースレイヤデータが、４×
１２ピクセルのピクセルブロックを用いて１１２×９６ピクセルサイズのビデオフレーム
を表している一例である（図２（ａ））。この例において、符号化エンハンスメントレイ
ヤデータは、６４×６４ピクセルのピクセルブロックを用いて４４８×３８４ピクセルサ
イズの同じビデオを表している（図２（ｂ））。したがって、符号化エンハンスメントレ
イヤが復号化されると、復元ビデオは、符号化ベースレイヤデータだけが復号化された場
合に復元されたビデオの４倍のサイズを有する。
【００１７】
チャネル１７０からの符号化ビデオデータは、ベースレイヤとエンハンスメントレイヤ
の両方に対するピクセルブロックサイズを定義する管理データを含んでいてよい。かかる
データは、エンハンスメントレイヤの動き補償部１５８が利用するために、分割マッピン
グ部１６８によって読み出されてよい（図１）。
【００１８】
図３は、本発明の一実施形態に従って、エンハンスメントレイヤ復号化処理で利用され
る動きベクトルを予測する方法３００を示す図である。方法３００は、ベースレイヤピク
セルブロックおよびそれらの動きベクトルをスケーリングするステップから始まってよい
（ステップ３１０）。エンハンスメントレイヤピクセルブロックの動きベクトルを予測す
るために、方法３００は、それぞれのエンハンスメントレイヤピクセルブロックと同位置
のスケーリングされたベースレイヤピクセルブロックを識別してよい（ステップ３２０）
。複数のスケーリングされたベースレイヤピクセルブロックが、この処理によって識別さ
れてよい。かかるスケーリングされたベースレイヤピクセルブロックの各々に対して、方
法３００は、エンハンスメントレイヤピクセルブロックとスケーリングされたベースレイ
ヤピクセルブロックとの重複の程度に応じて重み付けして、スケーリングされたピクセル
ブロックに対応するスケーリングされた動きベクトルを平均化してよい（ステップ３３０
）。一実施形態においては、スケーリングされたベースレイヤピクセルブロックが、それ
に関連する動きベクトルを有していない場合（ステップ３４０）、隣接するベースレイヤ
ピクセルブロックの動きベクトルから、動きベクトルが補間されてよい（ステップ３５０
）。
【００１９】
図２（ｃ）は、図２の代表的なベースレイヤおよびエンハンスメントレイヤのピクセル
ブロック分割との関連で、図３の方法の動作を示す図である。上述のように、復元された
エンハンスメントレイヤビデオは、復元されたベースレイヤビデオの４倍のサイズを有す
る。ベースレイヤピクセルブロックは、４ピクセル×１２ピクセルであり、エンハンスメ
ントレイヤピクセルブロックは、６４ピクセル×６４ピクセルである。ビデオサイズの差
によってスケーリングされると、スケーリングされたベースレイヤピクセルブロックは、
１６ピクセル×４８ピクセルである。図２（ｃ）は、３つの６４×６４のエンハンスメン
トレイヤピクセルブロック２１０．１―２１０．３（点線で示されている）、および、２
つのレイヤの間のサイズ差（４倍）に従ってスケーリングされた１２のベースレイヤピク
セルブロックＢＰＢｌｋ（０、０）−ＢＰＢｌｋ（３、３）の配列を示す図である。図に
示したように、スケーリングされたベースレイヤピクセルブロックの間の境界は、エンハ
ンスメントレイヤピクセルブロックの間の境界とそろっていない。例えば、スケーリング
されたベースレイヤピクセルブロックＢＰＢｌｋ（０、０）、ＢＰＢｌｋ（０、１）、Ｂ
ＰＢｌｋ（０、２）、および、ＢＰＢｌｋ（０、３）は、エンハンスメントレイヤピクセ
ルブロック２１０．１内に完全に含まれているが、スケーリングされたベースレイヤピク
セルブロックＢＰＢｌｋ（１、０）、ＢＰＢｌｋ（１、１）、ＢＰＢｌｋ（１、２）、お
よび、ＢＰＢｌｋ（１、３）の各々は、３分の１の領域だけエンハンスメントレイヤピク
セルブロック２１０．１と重複している。これらのベースレイヤピクセルブロックの動き
ベクトルの寄与を平均化する時に、ベースレイヤピクセルブロックＢＰＢｌｋ（１、０）
、ＢＰＢｌｋ（１、１）、ＢＰＢｌｋ（１、２）、および、ＢＰＢｌｋ（１、３）からの
スケーリングされた動きベクトルには、ベースレイヤピクセルブロックＢＰＢｌｋ（０、
０）、ＢＰＢｌｋ（０、１）、ＢＰＢｌｋ（０、２）、および、ＢＰＢｌｋ（０、３）の
スケーリングされた動きベクトルよりも小さい重み付けが与えられてよい。
【００２０】
エンハンスメントレイヤ２１０．２に関しては、その領域内に完全に収まっているスケ
ーリングされたベースレイヤピクセルブロックはない。ベースレイヤピクセルブロックＢ
ＰＢｌｋ（１、０）、ＢＰＢｌｋ（１、１）、ＢＰＢｌｋ（１、２）、ＢＰＢｌｋ（１、
３）、ＢＰＢｌｋ（２、０）、ＢＰＢｌｋ（２、１）、ＢＰＢｌｋ（２、２）、および、
ＢＰＢｌｋ（２、３）はそれぞれ、ピクセルブロック２１０．２と３分の２重複している
。各ベースレイヤピクセルブロックの動きベクトルの寄与を平均化する時に、動きベクト
ルは、重複の程度に対応した重み付けを割り当てられてよい。この例では、重複の程度が
たまたま同じ３分の２であるという理由だけで、すべての同位置のベースレイヤピクセル
ブロックの重み付けが同じになる。
【００２１】
上述のように、本発明の実施形態は、ベースレイヤビデオデータおよびエンハンスメン
トレイヤビデオデータが符号化の前に任意のピクセルブロック分割を受けるマルチレイヤ
ビデオデコーダのためのエンハンスメントレイヤ動きベクトルを予測する方法を提供する
。
【００２２】
合成画像の生成およびフィルタリング
本発明の別の実施形態によると、復号化画像データが復号化レイヤの間で交換される時
に、マルチレイヤデコーダが、合成画像の生成およびフィルタリングを提供してよい。発
明者は、エンハンスメントレイヤ復号化がビデオフレームの特定の領域（本明細書では「
予測領域」と呼ぶ）で実行される符号化環境への応用を想定している。レイヤ間フィルタ
リングは、ベースレイヤデコーダから得られる予測領域に対応する復元画像データに対し
て実行されてよい。マルチピクセルフィルタリング動作が、復元ベースレイヤデータに適
用される場合、フィルタリング動作は、予測領域の境界において十分に効果的でない場合
がある。フィルタリング動作の性能を向上させるために、予測領域データは、エンハンス
メントレイヤデコーダのフレームストア内にある利用可能な以前に復号化されたフレーム
から得られた境界データで補完されてよい。
【００２３】
図４は、本発明の一実施形態に従って、階層化ビデオデコーダ４００を示す簡略化した
ブロック図である。図に示したように、ビデオデコーダ４００は、ベースレイヤデコーダ
４２０およびエンハンスメントレイヤデコーダ４５０を備えてよく、各デコーダは、チャ
ネル４８０から受信した符号化ビデオデータを受信する。チャネル４８０は、符号化ビデ
オデータの物理的な伝送を行うものであり、一般的に、チャネルは、電気的、磁気的、ま
たは、光学的なメモリデバイスなどの記憶媒体、または、有線通信回線（光学または電気
ケーブル）などの物理的な伝送媒体である。チャネルデータは、ベースレイヤデコーダ４
２０による復号化を意図された符号化データを、エンハンスメントレイヤデコーダ４５０
による復号化を意図された符号化データから区別する識別子を符号化信号内に備える。特
定の実装例において、複数のエンハンスメントレイヤデコーダ（図４では、１つだけが図
示されている）を提供することが有利な場合があり、かかる場合、チャネルデータは、受
信するデコーダ４００が適切なエンハンスメントレイヤデコーダにデータをルーティング
することを可能にする識別子を備える。
【００２４】
図４に示したように、ベースレイヤデコーダは、エントロピデコーダ４２２、逆量子化
部４２４、逆変換部４２６、動き予測部４２８、加算部４３０、および、フレームストア
４３２を備えてよい。符号化ビデオデータは、しばしば、例えば、ランレングス符号化な
どのエントロピ符号化スキームに従って圧縮されたシリアルデータストリームとしてビデ
オ情報を表す。エントロピデコーダ４２２は、この符号化処理の逆処理を行い、ベースレ
イヤデコーダ４２０によるさらなる処理のためにピクセルブロック配列の係数データを構
築してよい。逆量子化部４２４は、通例、エンコーダ（図示せず）によって実行された量
子化処理の逆処理を行うために、係数データに量子化パラメータを乗じる。デコーダは、
チャネルデータから明示的に、または、チャネルに提供されたデータからの導出によって
、量子化パラメータを受信するが、かかる処理は周知である。逆変換部４２６は、離散コ
サイン変換、ウェーブレット符号化、または、その他の周知の変換などの変換によって、
ピクセルブロック係数をピクセル値に変換する。逆変換部４２６によって生成されたピク
セルデータは、加算部４３０の第１の入力に出力される。
【００２５】
フレームストア４３２は、ベースレイヤデコーダ４２０によって以前に復号化されたピ
クセルブロックのピクセルデータを格納してよい。ピクセルデータは、現在復号化されて
いるビデオフレームのピクセルブロックに属していてよい。さらに、参照フレームのピク
セルブロックに属するピクセルデータは、新たに受信したピクセルブロックのビデオデー
タの予測に利用できてよい。かかる場合には、チャネルデータは、新たに受信したピクセ
ルブロックの動きベクトル４３４を含んでおり、それらの動きベクトルは、新たに受信し
たピクセルブロックの予測ソースとして用いられるピクセルデータを識別する。与えられ
たピクセルブロックに対して、動きベクトル４３４は、チャネルで直接的に供給されても
よいし、ビデオシーケンスの他のピクセルブロックの動きベクトルから導出されてもよい
。
【００２６】
動き補償予測部４２８は、動きベクトルデータをレビューしてよく、対応するピクセル
ブロックのための予測ソースとしてフレームストア４３２からデータを読み出させてよい
。用いられる予測モードに応じて、ピクセルデータは、１または２の参照フレームから読
み出されてよい。単一の参照フレームから読み出されたピクセルデータが、加算部に直接
提供されることが多い（ライン４３６）。一対の参照フレームから読み出されたピクセル
データが、加算部に提供される前に、処理（例えば、平均化）されてもよい。加算部４３
０は、ピクセルブロック単位で復元画像データ４３８を生成してよく、そのデータは、出
力データとしてベースレイヤデコーダから出力されてよい。ビデオフレームがビデオシー
ケンス内の参照フレームとして識別された場合、復元ビデオデータは、その後の復号化動
作に用いるためにフレームストア４３２に格納されてよい。ベースレイヤデコーダ４２０
からの復元画像データは、ディスプレイに出力されてもよいし、必要に応じて後で利用す
るために格納されてもよい。
【００２７】
一実施形態によると、ビデオデコーダ４００は、合成画像生成・フィルタリング（「Ｃ
ＩＧ」）部４４０とフレームストア４４２とを備えてよい。ＣＩＧ部４４０は、予測領域
において復元されたベースレイヤビデオデータ４３８を受信してよい。それは、さらに、
エンハンスメントレイヤデコーダ４５０から、復号化された画像データを受信してよい。
ＣＩＧ部４４０は、図５および６に示すように、予測領域データと、予測領域を縁取る空
間領域で生じる復元エンハンスメントレイヤデータとの間のマージによって合成画像デー
タを生成してよい。なお、予測領域は、復元ベースレイヤデータと復元エンハンスメント
レイヤデータとの間の画像サイズ決定の差を克服するために必要に応じてスケーリングさ
れている。予測領域データと境界領域データは、ビデオシーケンス内の異なるフレームに
由来する。
【００２８】
図４に示したように、エンハンスメントレイヤデコーダ４５０も、エントロピデコーダ
４５２、逆量子化部４５４、逆変換部４５６、動き予測部４５８、加算部４６０、および
、フレームストア４６２を備えてよい。エントロピデコーダ４５２は、チャネルから受信
したエンハンスメントレイヤデータに用いられたエントロピ符号化処理の逆処理を行って
よく、さらなる処理のためにピクセルブロック配列の係数データを構築してよい。逆量子
化部４５４は、通例、エンコーダ（図示せず）によってエンハンスメントレイヤデータに
実行された量子化処理の逆処理を行うために、係数データに量子化パラメータを乗じてよ
い。エンハンスメントレイヤデコーダ４５０は、エンハンスメントレイヤチャネルデータ
から明示的に、または、チャネルに供給されたデータからの導出によって、量子化パラメ
ータを受信するが、かかる処理は周知である。逆変換部４５６は、離散コサイン変換、ウ
ェーブレット符号化、または、その他の周知の変換などの変換によって、ピクセルブロッ
ク係数をピクセル値に変換する。逆変換部４５６によって生成されたピクセルデータは、
加算部４６０の第１の入力に出力される。
【００２９】
フレームストア４６２は、ベースレイヤデコーダ４５０によって以前に復号化されたピ
クセルブロックのピクセルデータ４６４を格納してよい。ピクセルデータ４６４は、現在
復号化されているビデオフレームのピクセルブロックに属していてよい。さらに、エンハ
ンスメントレイヤデコーダ４５０によって以前に復号化された参照フレームのピクセルブ
ロックに属するピクセルデータが、新たに受信されたピクセルブロックのビデオデータの
予測に利用できてよい。本発明の一実施形態によると、エンハンスメントレイヤデコーダ
４５０のための動きベクトルは、ベースレイヤデコーダ４２０に用いられる動きベクトル
から予測されてよい。エンハンスメントレイヤデコーダは、動きベクトル予測の向上を助
ける動きベクトル残差４６６（「Δｍｖ」と示されている）を受信する。
【００３０】
一実施形態において、動き補償予測部４５８は、ベースレイヤチャネルデータから動き
ベクトル４３４を、エンハンスメントレイヤチャネルデータからΔｍｖ４６６を受信する
。動き補償予測部４５８は、マルチプレクサ４６８および制御ラインを通して、チャネル
４８０に供給された復号化命令によって指示されたように、フレームストア４４２内の予
測データから、および／または、フレームストア４６２に格納されたエンハンスメントレ
イヤ参照フレームから、ビデオデータを予測してよい。随意的に、図１ないし３に示され
た処理に従って、動きベクトル予測が実行されてよい。エンハンスメントレイヤデコーダ
からの復元画像データは、ディスプレイに出力されてもよいし、必要に応じて後で利用す
るために格納されてもよい。
【００３１】
図５は、マルチレイヤデコーダの合成画像生成・フィルタリング処理の動作を示す図で
ある。図５（ａ）は、チャネルデータ（図示せず）から復元ベースレイヤ画像データ５２
２を生成するベースレイヤデコーダ５２０の動作を示している。ベースレイヤ画像データ
５２２は、図５（ｂ）に示された予測領域の範囲内に制限される。エンハンスメントレイ
ヤデコーダ５５０は、以前に復号化されたフレームの画像データを（フレームストア５５
２内に）格納しており、そのデータから境界領域データが抽出されてよい（図５（ｂ））
。図５（ｂ）において、予測領域データは、境界領域と画像サイズが一致するようにスケ
ーリングされていることが示されている。
【００３２】
ＣＩＧ部５３０は、予測領域データおよびエンハンスメントレイヤフレームストア５５
２内の利用可能な画像データから合成画像を生成する画像マージ部５３２を備える。具体
的には、どのフィルタリング動作が実行されるかを決定すると、画像マージ部５３２は、
予測領域内の各ピクセル位置に対して完全にフィルタリング動作を実行するために取得さ
れる必要がある境界領域データの量を決定してよい。画像マージ部５３２は、対応する量
のデータをフレームストア５３２から取り出して、予測領域画像データ５２２と統合して
よい。その後、フィルタリング５３４が、従来の方法で合成画像データに適用されてよい
。フィルタリングされた画像データは、その後の復号化動作でエンハンスメントレイヤデ
コーダ５５０が利用できるように、フレームストア５４０に格納されてよい。
【００３３】
レイヤ間合成画像の生成およびフィルタリング処理は、例えば、デブロックフィルタ、
リンギングフィルタ、エッジ検出フィルタなどを含む、様々な周知のフィルタリング動作
と共に利用されてよい。フィルタリング動作の種類は、チャネルに供給された管理信号５
３６、または、その信号から導出された信号（図４にモード信号４４４として示されてい
る）によって、合成画像生成・フィルタリング部５３０に対して指定されてよい。
【００３４】
一実施形態においては、マージおよびフィルタリング動作は、それぞれのデコーダ４２
０、４５０によって出力された復元データよりも早い復号化段階で得られたデータに対し
て実行されてよい。したがって、ＣＩＧ部４４０は、ライン４３８の代わりに、逆変換部
４２６、逆量子化部４２４、および、エントロピデコーダ４２２からの入力（点線）を受
けることが図示されている。ＣＩＧ部４４０は、エンハンスメントレイヤデコーダから同
様のデータを取得してもよい（図４には示されていない）。かかる場合には、ＣＩＧ部４
４０は、それぞれのデコーダ４２０、４５０から取得される複数の種類のデータに対して
複数のフィルタリング部（図５、５３０）を備えてよい。
【００３５】
本明細書では、本発明のいくつかの実施形態について詳細に図示および記載している。
しかしながら、上述の教示により、本発明の趣旨および意図された範囲を逸脱することな
く添付の特許請求の範囲内で、本発明の変形例および変更例が網羅されていることを理解
されたい。
【図１】
0005467141.tif 000002
【図２（ａ）】
0005467141.tif 000003
【図２（ｂ）】
0005467141.tif 000004
【図２（ｃ）】
0005467141.tif 000005
【図３】
0005467141.tif 000006
【図４】
0005467141.tif 000007
【図５（ａ）】
0005467141.tif 000008
【図５（ｂ）】
0005467141.tif 000009