(57)【要約】本発明は、符号化情報を導出する方法を使用した空間スケーラブル符号化及び復号化プロセスに関する。より詳細には、高解像度と低解像度画像のディメンジョンの間の割合が３／２の倍数であるとき、低解像度画像をエンコードするために使用される符号化情報から高解像度画像をエンコードするために使用される符号化情報を導出するための方法に関する。本方法は、ＭＢiのマクロブロッククラスに基づいて、及びＭＢi_pred内の８×８ブロックの位置に基づいて、関連されるベースレイヤマクロブロックのマクロブロック符号化モードから予測マクロブロックＭＢi_predのそれぞれの８×８ブロックについてブロック符号化モードを引き出すステップ１０、関連されるベースレイヤマクロブロックの符号化モードからＭＢi_predについてマクロブロック符号化モードを引き出すステップ１１、及び関連するベースレイヤマクロブロックの動き情報からそれぞれのマクロブロックＭＢi_predについて動き情報を導出するステップ１２を含む。
2008530926.tif 000002
【特許請求の範囲】
【請求項１】
低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分の符号化情報を導出する方法であって、
それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割され、
前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットは、ハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを含み、
低解像度マクロブロックと呼ばれる前記少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックは、高解像度マクロブロックと呼ばれる前記少なくとも１つの高解像度の画像部分のそれぞれのマクロブロックと関連付けされ、
関連付けされた低解像度のマクロブロックは、水平及び垂直の両方向で１．５の倍数である予め定義された比率によりアップサンプリングされる前記少なくとも１つの低解像度の画像部分が前記少なくとも１つの高解像度の画像部分と重ね合わせされるときに、前記高解像度のマクロブロックを少なくとも部分的にカバーし、
当該方法は、
前記高解像度マクロブロックにおける第一のサイズの前記高解像度のブロックの位置に基づいて、及びマクロブロッククラスと呼ばれる、ハイパーマクロブロック内の高解像度のマクロブロックの位置に基づいて、第一のサイズの前記高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる前記少なくとも１つの高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出すステップと、
前記高解像度マクロブロックのクラスに基づいて、前記高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度のマクロブロックについてマクロブロック符号化モードを引き出すステップと、
を含むことを特徴とする方法。
【請求項２】
マクロブロックのマクロブロック符号化モードは、前記マクロブロックが符号化のために時間的に予測される場合にINTERと呼ばれ、前記マクロブロックが符号化のために時間的に予測されない場合にINTRAと呼ばれ、
前記マクロブロック符号化モードは、前記高解像度マクロブロックに関連する前記低解像度マクロブロックのマクロブロック符号化モードから高解像度マクロブロックについて引き出され、
前記高解像度マクロブロックがハイパーマクロブロックのセンターマクロブロックである場合、４つの低解像度マクロブロックが前記高解像度マクロブロックと関連付けされ、前記４つの低解像度マクロブロックのマクロブロック符号化モードがINTRAである場合、前記高解像度マクロブロック符号化モードはINTRAであり、さもなければ前記高解像度マクロブロック符号化モードはINTERであり、
前記高解像度マクロブロックがハイパーマクロブロックの４つのコーナーマクロブロックのうちの１つであり、前記高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードがINTRAである場合、前記高解像度マクロブロック符号化モードはINTRAであり、さもなければ前記高解像度マクロブロック符号化モードはINTERであり、
前記高解像度マクロブロックが前記ハイパーマクロブロックのセンターマクロブロックの上及び下に位置されるハイパーマクロブロックの２つの垂直方向のマクロブロックのうちの１つであり、２つの低解像度マクロブロックが前記高解像度マクロブロックと関連付けされる場合、両方の前記低解像度マクロブロックのモードがINTRAである場合、前記高解像度マクロブロックの符号化モードはINTRAであり、さもなければ高解像度マクロブロックの符号化モードはINTERであり、
前記高解像度マクロブロックが前記ハイパーマクロブロックのセンターマクロブロックの左及び右に位置されるハイパーマクロブロックの２つの水平方向のマクロブロックのうちの１つであり、２つの低解像度マクロブロックが前記高解像度マクロブロックに関連される場合、両方の前記低解像度マクロブロックのモードがINTRAである場合、前記高解像度マクロブロックの符号化モードはINTRAであり、さもなければ高解像マクロブロックの符号化モードはINTERである、
請求項１記載の方法。
【請求項３】
前記少なくとも１つの高解像度の画像部分のそれぞれの高解像度マクロブロックは、２つのブロックの２つのラインで配列される第一のサイズの４つのオーバラップしないブロックに分割され、１つのブロックは左上に位置されてブロックＢ1と呼ばれ、１つのブロックは右上に位置されてブロックＢ2と呼ばれ、１つのブロックは左下に位置されてブロックＢ3と呼ばれ、１つのブロックは右下に位置されてブロックＢ4と呼ばれ、
あるブロックのブロック符号化モードは、前記ブロックが符号化のために時間的に予測される場合にはINTERと呼ばれ、前記ブロックが符号化のために時間的に予測されない場合にはINTRAと呼ばれ、
前記ブロック符号化モードは、センターマクロブロックに関連される４つの低解像度マクロブロックのマクロブロック符号化モードからのハイパーマクロブロックの前記センターマクロブロックに属する第一のサイズのそれぞれ高解像度ブロックについて引き出され、
１つの低解像度マクロブロックは左上に位置されてマクロブロックｃＭＢ1と呼ばれ、１つの低解像度マクロブロックは右上に位置されてマクロブロックｃＭＢ2と呼ばれ、１つの低解像度マクロブロックは左下に位置されてマクロブロックｃＭＢ3と呼ばれ、１つの低解像度マクロブロックは右下に位置されてマクロブロックｃＭＢ4と呼ばれ、
ｃＭＢ1のマクロブロック符号化モードがINTRAである場合、Ｂ1のブロック符号化モードはINTRAであり、さもなければＢ1の前記ブロック符号化モードはINTERであり、
ｃＭＢ2のマクロブロック符号化モードがINTRAである場合、Ｂ2のブロック符号化モードはINTRAであり、さもなければＢ2の前記ブロック符号化モードはINTERであり、ｃＭＢ3のマクロブロック符号化モードがINTRAである場合、Ｂ3のブロック符号化モードはINTRAであり、さもなければＢ3の前記ブロック符号化モードはINTERであり、ｃＭＢ4のマクロブロック符号化モードがINTRAである場合、Ｂ4のブロック符号化モードはINTRAであり、さもなければＢ4の前記ブロック符号化モードはINTERである、
請求項２記載の方法。
【請求項４】
前記少なくとも１つの高解像度の画像部分のそれぞれの高解像度マクロブロックは、２つのブロックの２つのラインで配列される第一のサイズの４つのオーバラップしないブロックに分割され、１つのブロックは左上に位置されてブロックＢ1と呼ばれ、１つのブロックは右上に位置されてブロックＢ2と呼ばれ、１つのブロックは左下に位置されてブロックＢ3と呼ばれ、１つのブロックは右下に位置されてブロックＢ4と呼ばれ、
あるブロックのブロック符号化モードは、前記ブロックが符号化のために時間的に予測される場合にはINTERと呼ばれ、前記ブロックが符号化のために時間的に予測されない場合にはINTRAと呼ばれ、
ブロック符号化モードは、コーナーマクロブロックに関連されるマクロブロックｃＭＢと呼ばれる低解像度マクロブロックのマクロブロック符号化モードからハイパーマクロブロックのコーナーマクロブロックに属する第一のサイズのそれぞれの高解像度のブロックについて引き出され、
ｃＭＢのマクロブロック符号化モードがINTRAである場合、Ｂ1，Ｂ2，Ｂ3，Ｂ4のブロック符号化モードはINTRAであり、さもなければ、Ｂ1，Ｂ2，Ｂ3，Ｂ4のブロック符号化モードはINTRAである、
請求項２又は３記載の方法。
【請求項５】
前記少なくとも１つの高解像度の画像部分のそれぞれの高解像度マクロブロックは、２つのブロックの２つのラインで配列される第一のサイズの４つのオーバラップしないブロックに分割され、１つのブロックは左上に位置されてブロックＢ1と呼ばれ、１つのブロックは右上に位置されてブロックＢ2と呼ばれ、１つのブロックは左下に位置されてブロックＢ3と呼ばれ、１つのブロックは右下に位置されてブロックＢ4と呼ばれ、
あるブロックのブロック符号化モードは、前記ブロックが符号化のために時間的に予測される場合にはINTERと呼ばれ、前記ブロックが符号化のために時間的に予測されない場合にはINTRAと呼ばれ、
ブロック符号化モードは、垂直方向のマクロブロックに関連する２つの低解像度のマクロブロックのマクロブロック符号化モードからハイパーマクロブロックの垂直方向のマクロブロックに属する第一のサイズのそれぞれの高解像度のブロックについて引き出され、１つの低解像度のマクロブロックは左に位置されてマクロブロックｃＭＢlと呼ばれ、１つの低解像度のマクロブロックは右に位置されてマクロブロックｃＭＢrと呼ばれ、
ｃＭＢlのマクロブロック符号化モードがINTRAである場合、Ｂ1及びＢ3のブロック符号化モードはINTRAであり、さもなければＢ1及びＢ3のブロック符号化モードはINTERであり、
ｃＭＢrのマクロブロック符号化モードがINTRAである場合、Ｂ2及びＢ4のブロック符号化モードはINTRAであり、さもなければＢ2及びＢ4のブロック符号化モードはINTERである、
請求項２乃至４のいずれか記載の方法。
【請求項６】
前記少なくとも１つの高解像度の画像部分のそれぞれの高解像度マクロブロックは、２つのブロックの２つのラインで配列される第一のサイズの４つのオーバラップしないブロックに分割され、１つのブロックは左上に位置されてブロックＢ1と呼ばれ、１つのブロックは右上に位置されてブロックＢ2と呼ばれ、１つのブロックは左下に位置されてブロックＢ3と呼ばれ、１つのブロックは右下に位置されてブロックＢ4と呼ばれ、
あるブロックのブロック符号化モードは、前記ブロックが符号化のために時間的に予測される場合にはINTERと呼ばれ、前記ブロックが符号化のために時間的に予測されない場合にはINTRAと呼ばれ、
ブロック符号化モードは、水平方向のマクロブロックに関連する２つの低解像度のマクロブロックのマクロブロック符号化モードからハイパーマクロブロックの水平方向のマクロブロックに属する第一のサイズのそれぞれの高解像度のブロックについて引き出され、１つの低解像度のマクロブロックは上に位置されてマクロブロックｃＭＢuと呼ばれ、１つの低解像度のマクロブロックは下に位置されて、マクロブロックｃＭＢdと呼ばれ、
ｃＭＢuのマクロブロック符号化モードがINTRAである場合、Ｂ1及びＢ2のブロック符号化モードはINTRAであり、さもなければＢ1及びＢ2のブロック符号化モードはINTERであり、
ｃＭＢdのマクロブロック符号化モードがINTRAである場合、Ｂ3及びＢ4のブロック符号化モードはINTRAであり、さもなければＢ3及びＢ4のブロック符号化モードはINTERである、
請求項２乃至５のいずれか記載の方法。
【請求項７】
前記高解像度マクロブロックが、そのブロック符号化モードがINTRAである第一のサイズの少なくとも１つのブロックを含むとき、それぞれの高解像度マクロブロック内の第一のサイズのブロックのブロック符号化モードを均質にするステップを更に有する、
請求項３乃至６のいずれか記載の方法。
【請求項８】
前記符号化情報は動き情報を更に含み、
当該方法は、前記高解像度マクロブロックに関連される低解像度マクロブロックの動き情報からそれぞれの高解像度のマクロブロックについて動き情報を導出するステップを更に含む、
請求項１乃至７のいずれか記載の方法。
【請求項９】
高解像度マクロブロックについて動き情報を導出するステップは、
前記高解像度マクロブロックのクラスに基づいて、及び、高解像度のマクロブロック内の第二のサイズの前記高解像度ブロックの位置に基づいて、第二のサイズの低解像度ブロックと呼ばれる前記高解像度マクロブロックに関連する低解像度マクロブロックにおける第二のサイズのブロックを、第二のサイズの高解像度ブロックと呼ばれる前記高解像度マクロブロックにおける第二のサイズのそれぞれのブロックと関連付けるステップと、
第二のサイズの前記高解像度ブロックに関連される第二のサイズの低解像度ブロックの動き情報から前記高解像度マクロブロックにおける第二のサイズのそれぞれのブロックについて動き情報を導出するステップと、
を含む請求項８記載の方法。
【請求項１０】
１ブロック又は１マクロブロックの前記動き情報は、第一及び第二のコンポーネントを有する少なくとも１つの動きベクトルと、第一又は第二のリファレンスインデックスのリストの中から選択される前記動きベクトルに関連される少なくとも１つのリファレンスインデックスとを含み、前記インデックスは参照画像を識別する、
請求項８又は９記載の方法。
【請求項１１】
前記動き情報を導出するステップの後、当該方法は、それぞれのハイレイヤマクロブロックについて、第一のサイズの同じブロックのサブブロック間での動き情報を均質にするステップを更に含み、
前記均質にするステップは、それぞれのリファレンスインデックスのリストについて、
前記ハイレイヤマクロブロックの第一のサイズのそれぞれの高解像度ブロックについて、リファレンスインデックスの前記リストのリファレンスインデックスの中からサブブロックの最も低いインデックスを識別するステップと、
その現在のリファレンスインデックスが前記最も低いリファレンスインデックスに等しくない前記サブブロックのそれぞれと、前記最も低いリファレンスインデックスを関連付けるステップと、前記現在のリファレンスインデックスは前のリファレンスインデックスになり、
その前記前のリファレンスインデックスが前記最も低いリファレンスインデックスに等しくない前記サブブロックのそれぞれと、その前記前のリファレンスインデックスが前記最も低いリファレンスインデックスに等しいその近隣のサブブロックのうちの１つの動きベクトルを関連付けるステップと、
を含む請求項１０記載の方法。
【請求項１２】
関連付けされた動きベクトルは、第一に水平方向の近隣のサブブロックをチェックし、第二に垂直方向の近隣のサブブロックをチェックし、第三に対角方向の近隣のサブブロックをチェックするときに遭遇する第一の近隣のサブブロックの動きベクトルである、
請求項１１記載の方法。
【請求項１３】
前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度のマクロブロックの動きベクトルと、高解像度マクロブロックにおけるそれぞれのブロックの動きベクトルの動きベクトルコンポーネントは、
【数１】
2008530926.tif 000019
によりスケーリングされ、前記ｄx及びｄyは、導出された動きベクトルの座標を表し、前記ｄsx及びｄsyは、スケーリングされた動きベクトルの座標を表し、sign［x］はｘが正であるときに１に等しく、ｘが負であるときに−１である、
請求項１０乃至１２のいずれか記載の方法。
【請求項１４】
予め定義された割合は１．５に等しい、
請求項１乃至１３のいずれか記載の方法。
【請求項１５】
前記第一のサイズのブロックは、８×８画素のサイズを有し、前記マクロブロックは、１６×１６画素のサイズを有し、前記第二のサイズのブロックは、４×４画素のサイズを有する、
請求項１乃至１４のいずれか記載の方法。
【請求項１６】
当該方法は、ビデオ信号を符号化するプロセスの一部である、
請求項１乃至１５のいずれか記載の方法。
【請求項１７】
当該方法は、ビデオ信号を復号化するプロセスの一部である、
請求項１乃至１５のいずれか記載の方法。
【請求項１８】
高解像度の画像系列と低解像度の画像系列を少なくとも符号化する装置であって、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割され、
当該装置は、
前記低解像度画像を符号化し、前記低解像度画像とベースレイヤデータストリームについて符号化情報を生成する第一の符号化手段と、
低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する引継手段と、
導出された符号化情報を使用して前記高解像度画像を符号化し、エンハンスメントデータストリームを生成する第二の符号化手段とを有し、
前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットは、ハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを含み、
前記引継ぎ手段は、
低解像度マクロブロックと呼ばれる前記少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックを、高解像度マクロブロックと呼ばれる前記少なくとも１つの高解像度の画像部分のそれぞれのマクロブロックと関連付けする手段と、関連付けされた低解像度のマクロブロックは、水平及び垂直の両方向で１．５の倍数である予め定義された比率によりアップサンプリングされる前記少なくとも１つの低解像度の画像部分が前記少なくとも１つの高解像度の画像部分と重ね合わせされるときに、前記高解像度のマクロブロックを少なくとも部分的にカバーし、
前記高解像度マクロブロックにおける第一のサイズの前記高解像度のブロックの位置に基づいて、及びマクロブロッククラスと呼ばれる、ハイパーマクロブロック内の高解像度のマクロブロックの位置に基づいて、第一のサイズの前記高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる前記少なくとも１つの高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出す手段と、
前記高解像度マクロブロックのクラスに基づいて、前記高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度のマクロブロックについてマクロブロック符号化モードを引き出す手段と、
を有する符号化装置。
【請求項１９】
当該装置は、前記ベースレイヤデータストリームと前記エンハンスメントレイヤデータストリームを単一のデータストリームに結合するモジュールを更に有する、
請求項１８記載の装置。
【請求項２０】
請求項１８又は１９に記載された装置により符号化された、高解像度画像の系列と低解像度画像の系列を少なくとも復号化する装置であって、
符号化された画像は、データストリームにより表され、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割され、
低解像度画像と該低解像度画像の符号化情報を生成するため、前記データストリームの少なくとも第一の部分を復号化する第一の復号化手段と、
低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する引継手段と、
高解像度画像を生成するため、前記導出された符号化情報を使用して前記データストリームの少なくとも第二の部分を復号化する第二の復号化手段とを有し、
前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットはハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを有し、
前記引継手段は、
低解像度マクロブロックと呼ばれる前記少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックを、高解像度マクロブロックと呼ばれる前記少なくとも１つの高解像度の画像部分のそれぞれのマクロブロックと関連付けする手段と、関連付けされる低解像度マクロブロックは、水平及び垂直の両方向で１．５の倍数の予め定義された割合によりアップサンプリングされた前記少なくとも１つの低解像度の画像部分が前記少なくとも１つの高解像度の画像部分で重ね合わせされるとき、前記高解像度マクロブロックを少なくとも部分的にカバーし、
前記高解像度マクロブロックにおける第一のサイズの前記高解像度ブロックの位置に基づいて、及び、マクロブロッククラスと呼ばれる、前記高解像度マクロブロックのハイパーマクロブロック内の位置に基づいて、第一のサイズの前記高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる、前記少なくとも１つの高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出す手段と、
前記高解像度マクロブロックのクラスに基づいて、高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度マクロブロックについてマクロブロック符号化モードを引き出す手段と、
を有する復号化装置。
【請求項２１】
当該装置は、前記データストリームの前記第一の部分を抽出し、前記データストリームの前記第二の部分を抽出する抽出手段を更に含む、
請求項２０記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化情報を導出する方法を使用する空間スケーラブル符号化及び復号化処理に関する。  
より詳細には、本発明は、低解像度画像の符号化情報から高解像度画像の符号化情報を導出するための、レイヤ間予測符号化方法とも呼ばれる方法に関する。
【背景技術】
【０００２】
最新のスケーラブル階層型符号化方法は、異なる解像度及び／又は品質レベルでデコードされるため、情報を階層的にエンコードするのを可能にする。スケーラブル符号化装置により生成されたデータストリームは、ベースレイヤと、ハイレイヤとも呼ばれる１以上のエンハンスメントレイヤといった幾つかのレイヤに分割される。これらの装置は、固有のデータストリームを可変の送信条件（帯域幅、エラーレート）に適合させ、また受信装置（ＣＰＵ、再生装置の特性）のキャパシティにも適合させる。空間スケーラブル階層型符号化方法は、低解像度画像に関連するベースレイヤと呼ばれるデータの第一の部分をエンコード（又はデコード）し、このベースレイヤから、高解像度画像に関連するエンハンスメントレイヤと呼ばれる少なくとも別のデータ部分をエンコード（又はデコード）する。エンハンスメントレイヤに関連する符号化情報は、レイヤ間予測方法と呼ばれる方法によりベースレイヤに関連する符号化情報から受け継ぐ（すなわち導出される）。導出された符号化情報は、（前記ブロックを幾つかのサブブロックに分裂する）高解像度画像の画素のブロックに関連付けされる区分パターン、前記ブロックを予測するために使用される画像を参照するのを可能にするブロックに関連される動きベクトルと１以上の画像参照インデックスを含む。参照画像は、系列の別の画像を予測するために使用される系列の画像である。したがって、データストリームで明示的に符号化されない場合、エンハンスメントレイヤに関連する符号化情報は、低解像度画像に関連する符号化情報から導出される必要がある。符号化除法を導出する最新の方法は、そのフォーマットが動的な変換により低解像度画像のフォーマットにリンクされていない高解像度画像のために使用することができない。
【発明の開示】
【課題を解決するための手段】
【０００３】
本発明は、低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分の符号化情報を導出するための方法に関し、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割される。３つのマクロブロックの３つのラインのオーバラップしないセットは、ハイパーマクロブロックを定義し、符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを含む。本発明によれば、低解像度マクロブロックと呼ばれる少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックは、高解像度マクロブロックと呼ばれる高解像度の画像部分のそれぞれのマクロブロックと関連され、水平及び垂直方向の両者で１．５の倍数の予め定義された割合によりアップサンプリングされる低解像度の画像部分が高解像度の画像部分と重ね合わせされるとき、関連される低解像度のマクロブロックは、高解像度のマクロブロックを少なくとも部分的にカバーする。
【０００４】
本方法は、以下のステップを含む。高解像度マクロブロックにおける第一のサイズの高解像度のブロックの位置に基づいて、及びマクロブロッククラスと呼ばれる高解像度のマクロブロックのハイパーマクロブロック内の位置に基づいて、第一のサイズの高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる高解像度画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出すステップ、及び／又は、高解像度マクロブロックのクラスに基づいて高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから高解像度画像部分におけるそれぞれ高解像度のマクロブロックについてマクロブロック符号化モードを引き出すステップ。
【０００５】
好適な実施の形態によれば、マクロブロックのマクロブロック符号化モードは、マクロブロックが符号化のために時間的に予測される場合に、INTERと呼ばれ、マクロブロックが符号化のために時間的に予測されない場合にINTRAと呼ばれる。マクロブロック符号化モードは、以下のように、高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから高解像度マクロブロックについて引き出される。
【０００６】
高解像度マクロブロックがハイパーマクロブロックのセンターマクロブロックである場合、４つの低解像度マクロブロックが高解像度マクロブロックと関連付けされ、４つの低解像度マクロブロックのマクロブロック符号化モードがINTRAである場合、高解像度マクロブロック符号化モードはINTRAであり、さもなければ高解像度マクロブロック符号化モードはINTERである。
【０００７】
高解像度マクロブロックがハイパーマクロブロックの４つのコーナーマクロブロックのうちの１つであり、高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードがINTRAである場合、高解像度マクロブロック符号化モードはINTRAであり、さもなければ高解像度マクロブロック符号化モードはINTERである。
【０００８】
高解像度マクロブロックがハイパーマクロブロックのセンターマクロブロックの上及び下に位置されるハイパーマクロブロックの２つの垂直方向のマクロブロックのうちの１つであり、２つの低解像度マクロブロックが高解像度マクロブロックに関連される場合、両方の低解像度マクロブロックのモードがINTRAである場合、高解像度マクロブロックの符号化モードはINTRAであり、さもなければ高解像度マクロブロックの符号化モードはINTERである。
【０００９】
高解像度のマクロブロックがハイパーマクロブロックのセンターマクロブロックの左及び右に位置されるハイパーマクロブロックの２つの水平方向のマクロブロックのうちの１つであり、２つの低解像度マクロブロックが高解像度マクロブロックに関連される場合、両方の低解像度マクロブロックのモードがINTRAであり、高解像度マクロブロックの符号化モードはINTRAであり、さもなければ高解像マクロブロックの符号化モードはINTERである。
【００１０】
高解像度の画像部分のそれぞれの高解像度マクロブロックは、２つのブロックの２つのラインで配列される第一のサイズの４つのオーバラップしないブロックに分割され、１つのブロックは左上に位置されて、ブロックＢ1と呼ばれ、１つのブロックは右上に位置されて、ブロックＢ2と呼ばれ、１つのブロックは左下に位置されて、ブロックＢ3と呼ばれ、１つのブロックは右下に位置されて、ブロックＢ4と呼ばれる。予め定義された実施の形態によれば、あるブロックのブロック符号化モードは、ブロックが符号化のために時間的に予測される場合にはINTERと呼ばれ、ブロックが符号化のために時間的に予測されない場合にはINTRAと呼ばれる。有利なことに、ブロック符号化モードは、センターマクロブロックに関連される４つの低解像度マクロブロックのマクロブロック符号化モードからのハイパーマクロブロックのセンターマクロブロックに属する第一のサイズのそれぞれ高解像度ブロックについて引き出される。１つの低解像度マクロブロックは左上に位置されて、マクロブロックｃＭＢ1と呼ばれ、１つの低解像度マクロブロックは右上に位置されて、マクロブロックｃＭＢ2と呼ばれ、１つの低解像度マクロブロックは左下に位置されて、マクロブロックｃＭＢ3と呼ばれ、１つの低解像度マクロブロックは右下に位置されて、マクロブロックｃＭＢ4と呼ばれる。
【００１１】
ｃＭＢ1マクロブロック符号化モードがINTRAである場合、Ｂ1のブロック符号化モードはINTRAであり、さもなければＢ1のブロック符号化モードはINTERである。ｃＭＢ2マクロブロック符号化モードがINTRAである場合、Ｂ2のブロック符号化モードはINTRAであり、さもなければＢ2のブロック符号化モードはINTERである。ｃＭＢ3マクロブロック符号化モードがINTRAである場合、Ｂ3のブロック符号化モードはINTRAであり、さもなければＢ3のブロック符号化モードはINTERである。ｃＭＢ4マクロブロック符号化モードがINTRAである場合、Ｂ4のブロック符号化モードはINTRAであり、さもなければＢ4のブロック符号化モードはINTERである。
【００１２】
ブロック符号化モードは、以下のように、コーナーマクロブロックに関連されるマクロブロックｃＭＢと呼ばれる低解像度マクロブロックのマクロブロック符号化モードからハイパーマクロブロックのコーナーマクロブロックに属する第一のサイズのそれぞれの高解像度のブロックについて引き出される。ｃＭＢマクロブロック符号化モードがINTRAである場合、Ｂ1，Ｂ2，Ｂ3，Ｂ4のブロック符号化モードはINTRAであり、さもなければＢ1のブロック符号化モードはINTERである。さもなければ、Ｂ1，Ｂ2，Ｂ3，Ｂ4のブロック符号化モードはINTRAである。
【００１３】
ブロック符号化モードは、以下のように、垂直方向のマクロブロックに関連する２つの低解像度のマクロブロックのマクロブロック符号化モードからハイパーマクロブロックの垂直方向のマクロブロックに属する第一のサイズのそれぞれの高解像度のブロックについて引き出され、１つの低解像度のマクロブロックは左に位置されて、マクロブロックｃＭＢlと呼ばれ、１つの低解像度のマクロブロックは右に位置されて、マクロブロックｃＭＢrと呼ばれる。
【００１４】
ｃＭＢlマクロブロック符号化モードがINTRAである場合、Ｂ1及びＢ3のブロック符号化モードはINTRAであり、さもなければＢ1及びＢ3のブロック符号化モードはINTERである。ｃＭＢrマクロブロック符号化モードがINTRAである場合、Ｂ2及びＢ4のブロック符号化モードはINTRAであり、さもなければＢ2及びＢ4のブロック符号化モードはINTERである。
【００１５】
ブロック符号化モードは、以下のように、水平方向のマクロブロックに関連する２つの低解像度のマクロブロックのマクロブロック符号化モードからハイパーマクロブロックの水平方向のマクロブロックに属する第一のサイズのそれぞれの高解像度のブロックについて引き出され、１つの低解像度のマクロブロックは上に位置されて、マクロブロックｃＭＢuと呼ばれ、１つの低解像度のマクロブロックは下に位置されて、マクロブロックｃＭＢdと呼ばれる。
【００１６】
ｃＭＢuマクロブロック符号化モードがINTRAである場合、Ｂ1及びＢ2のブロック符号化モードはINTRAであり、さもなければＢ1及びＢ2のブロック符号化モードはINTERである。ｃＭＢdマクロブロック符号化モードがINTRAである場合、Ｂ3及びＢ4のブロック符号化モードはINTRAであり、さもなければＢ3及びＢ4のブロック符号化モードはINTERである。
【００１７】
好ましくは、本方法は、高解像度マクロブロックがそのブロック符号化モードがINTRAである第一のサイズの少なくとも１つのブロックを含むとき、それぞれ高解像度マクロブロック内の第一のサイズのブロックのブロック符号化モードを同質にするステップを更に有する。
【００１８】
有利なことに、符号化情報は動き情報を更に含み、本方法は、高解像度マクロブロックに関連される低解像度マクロブロックの動き情報からそれぞれ高解像度のマクロブロックについて動き情報を導出するステップを更に有する。
【００１９】
高解像度マクロブロックについて動き情報を導出するステップは、以下のステップを含む。高解像度マクロブロックのクラスに基づいて、及び、高解像度のマクロブロック内の第二のサイズの高解像度ブロックの位置に基づいて、第二のサイズの低解像度ブロックと呼ばれる高解像度マクロブロックに関連する低解像度マクロブロックにおける第二のサイズのブロックを、第二のサイズの高解像度ブロックと呼ばれる高解像度マクロブロックにおける第二のサイズのそれぞれのブロックと関連付けるステップ。第二のサイズの高解像度ブロックに関連される第二のサイズの低解像度ブロックの動き情報から高解像度マクロブロックにおける第二のサイズのそれぞれのブロックについて動き情報を導出するステップ。
【００２０】
好ましくは、１ブロック又は１マクロブロックの動き情報は、第一及び第二のコンポーネントと、インデックスが参照画像を識別する、第一又は第二のリファレンスインデックスのリストの中から選択された動きベクトルに関連される少なくとも１つのリファレンスインデックスを含む。
【００２１】
有利なことに、動き情報を導出するステップの後、本方法は、それぞれのハイレイヤマクロブロックについて、第一のサイズの同じブロックのサブブロック間での動き情報を均質にするステップを更に含む。このステップは、それぞれのリファレンスインデックスのリストについて、以下のステップを含む。
【００２２】
ハイレイヤマクロブロックの第一のサイズのそれぞれの高解像度ブロックについて、リファレンスインデックスの前記リストのリファレンスインデックスの中からサブブロックの最も低いインデックスを識別するステップ。その現在のリファレンスインデックスが最も低いリファレンスインデックスに等しくないサブブロックのそれぞれと最も低いリファレンスインデックスを関連付けするステップ。現在のリファレンスインデックスは前のリファレンスインデックスになる。その前のリファレンスインデックスが最も低いインデックスに等しくないサブブロックのそれぞれと、その前のリファレンスインデックスが最も低いリファレンスインデックスに等しいその近隣のサブブロックのうちの１つの動きベクトルを関連付けするステップ。
【００２３】
好ましくは、関連付けされた動きベクトルは、第一に水平方向の近隣のサブブロックをチェックし、第二に垂直方向の近隣のサブブロックをチェックし、第三に対角線上の近隣のサブブロックをチェックするときに遭遇する第一の近隣のサブブロックの動きベクトルである。
【００２４】
好ましくは、高解像度の画像部分におけるそれぞれの高解像度のマクロブロックの動きベクトルと、もしあれば高解像度マクロブロックにおけるそれぞれのブロックの動きベクトルとの動きベクトルコンポーネントは、以下の式によりスケーリングされる。
【００２５】
【数２】
2008530926.tif 000003
ここでｄx及びｄyは、導出された動きベクトルの座標を表し、ｄsx及びｄsyは、スケーリングされた動きベクトルの座標を表し、sign［x］はｘが正であるときに１に等しく、ｘが負であるときに−１である。
【００２６】
特定の実施の形態によれば、予め定義された割合は、３を２で割ったものに等しく、第一のサイズのブロックは、８×８画素のサイズを有し、マクロブロックは、１６×１６画素のサイズを有し、第二のサイズのブロックは、４×４画素のサイズを有する。  
好ましくは、本方法は、ビデオ信号を符号化するプロセスの一部であり、及び／又はビデオ信号を復号化するプロセスの一部である。
【００２７】
また、本発明は、少なくとも、高解像度の画像系列と低解像度の画像系列を符号化する装置に関し、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割される。当該装置は、以下を有している。
【００２８】
第一の符号化手段は、低解像度画像を符号化し、低解像度画像とベースレイヤデータストリームについて符号化情報を生成する。引継手段は、低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する。第二の符号化手段は、導出された符号化情報を使用して高解像度画像を符号化し、エンハンスメントデータストリームを生成する。
【００２９】
さらに、本発明は、少なくとも、先に定義された符号化装置により符号化された、高解像度画像の系列と低解像度画像の系列を復号化する装置に関し、符号化された画像は、データストリームにより表され、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割される。当該復号化装置は、以下を有する。
【００３０】
第一の復号化手段は、低解像度画像と該低解像度画像の符号化情報を生成するため、データストリームの第一の部分を少なくとも復号化する。引継手段は、低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する。第二の復号化手段は、高解像度画像を生成するため、導出された符号化情報を使用してデータストリームの少なくとも第二の部分を復号化する。
【００３１】
本発明の重要な特徴によれば、前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットはハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを有しており、符号化及び復号化装置の引継手段は、以下を有する。
【００３２】
低解像度マクロブロックと呼ばれる低解像度の画像部分の少なくとも１つのマクロブロックを、高解像度マクロブロックと呼ばれる高解像度の画像部分のそれぞれのマクロブロックと関連付けする手段。水平及び垂直の両方向で１．５の倍数の予め定義された割合によりアップサンプリングされた低解像度の画像部分が高解像度の画像部分で重ね合わせされるとき、関連付けされる低解像度マクロブロックは、高解像度マクロブロックを少なくとも部分的にカバーする。
【００３３】
高解像度マクロブロックにおける第一のサイズの高解像度ブロックの位置に基づいて、及び、マクロブロッククラスと呼ばれる、ハイパーマクロブロックのマクロブロック内の高解像度の位置に基づいて、第一のサイズの高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる、高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出す手段。
【００３４】
高解像度マクロブロックのクラスに基づいて、高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから高解像度の画像部分におけるそれぞれの高解像度マクロブロックについてマクロブロック符号化モードを引き出す手段。
【００３５】
有利なことに、符号化装置は、前記ベースレイヤデータストリームと前記エンハンスメントレイヤデータストリームを単一のデータストリームに結合するモジュールを更に有する。  
有利なことに、復号化装置は、前記データストリームの前記第一の部分を抽出し、前記データストリームの前記第二の部分を抽出する抽出手段を更に含む。
【発明を実施するための最良の形態】
【００３６】
本発明の他の特徴及び利点は、以下の実施の形態の記載により明らかとなるであろう。この記載は添付図面と共に行われる。  
本発明は、高解像度の画像部分のディメンジョンと低解像度の画像部分のディメンジョンの間の割合がレイヤ間レシオと呼ばれる、特定の比率にリンクされるとき、低解像度画像の少なくとも１部の符号化情報から高解像度画像の少なくとも１部の符号化情報を導出する方法に関し、このレイヤ間の比率は、動的ではない変換に対応する３／２に等しい。
【００３７】
本発明は、３／２の倍数であるレイヤ間の比率に拡張される。それぞれの画像はマクロブロックに分割される。低解像度画像のマクロブロックは、低解像度マクロブロック又はベースレイヤマクロブロックと呼ばれ、ＢＬ  ＭＢと示される。高解像度画像のマクロブロックは、高解像度マクロブロック又はハイレイヤマクロブロックと呼ばれ、ＨＬ  ＭＢと示される。好適な実施の形態は、空間スケーラブル符号化及び復号化の環境で本発明を説明し、より詳細には、＜Information  technology  −  Coding  of  audio-visual  objects  −  Part  10:  Advanced  Video  Coding＞と題された文献ISO/IEC  14496-10に記載される標準的なMPEG4  AVCに従う空間スケーラブル符号化及び復号化の環境で本発明を説明する。
【００３８】
このケースでは、低解像度の画像は、前記文献に記載される符号化／復号化プロセスに従って符号化、復号化される。低解像度画像を符号化するとき、符号化情報は、前記低解像度画像におけるそれぞれのマクロブロックと関連付けされる。この符号化情報は、たとえばブロックにおけるマクロブロック区分及び小区分、符号化モード（たとえばインター符号化モード、イントラ符号化モード）、動きベクトル及びリファレンスインデックスを含む。画素の現在のブロックに関連付けされるリファレンスインデックスは、現在のブロックを予測するために使用されるブロックが位置される画像を識別するのを可能にする。MPEG4-AVCによれば、２つのリファレンスインデックスリストＬ0及びＬ1が使用される。
【００３９】
本発明に係る方法は、高解像度画像について係る符号化情報を導出するのを可能にし、更に正確に、これらの画像に含まれる少なくとも幾つかのマクロブロックについて符号化情報を導出するのを可能にする。次いで、高解像度画像は、これら導出された符号化情報を使用して符号化される。このケースでは、高解像度画像をエンコードするために必要とされるビット数は減少される。これは、その符号化情報が低解像度画像から導出されるそれぞれのマクロブロックについてデータストリームで符号化情報がエンコードされないためである。確かに、高解像度画像について符号化情報を導出する同じ方法を復号化プロセスは使用するので、それを送信する必要がない。
【００４０】
結局、低解像度の画像に対応するロウレイヤ（ベースレイヤと呼ばれる）と高解像度の画像に対応するハイレイヤ（エンハンスメントレイヤと呼ばれる）という、２つの空間レイヤが考慮される。高解像度画像と低解像度画像は、図１に示される幾何学的な関係によりリンクされる。エンハンスメントレイヤ画像（すなわち高解像度画像）の幅及び高さは、ｗenh及びｈenhによりそれぞれ定義される。ベースレイヤ画像（すなわち低解像度画像）の幅及び高さは、ｗbase及びｈbaseによりそれぞれ定義される。
【００４１】
低解像度画像は、エンハンスメントレイヤ画像の座標系における座標（ｘorig，ｙorig）に位置される寸法ｗextract及びｙextractの、エンハンスメントレイヤ画像のサブ画像のダウンサンプリングされたバージョンである。また、低解像度及び高解像度の画像は、異なるカメラにより提供される場合がある。このケースでは、低解像度画像は、高解像度画像をダウンサンプリングすることで得られず、幾何学的なパラメータは、（たとえばカメラ自身によるといった）外部手段により提供される。値ｘorig及びｙorigは、高解像度画像のマクロブロック構造で揃えられる（すなわちサイズ１６×１６画素のマクロブロックについてｘorig及びｙorigは１６の倍数である必要がある）。
【００４２】
図１に関して、太線は、低解像度画像に対応して配置されるクロッピングウィンドウと呼ばれる高解像度画像の部分を境界設定する。さらに一般的に、高解像度画像の部分は、低解像度画像の部分に対応して配置される。両方向でレイヤ間の比率によりアップサンプリングされた低解像度の画像部分を、クロップされたウィンドウにより境界設定された高解像度の画像部分で重ね合わせたとき、関連されるベースレイヤマクロブロックが高解像度画像のマクロブロックを少なくとも部分的にカバーする場合に、ベースレイヤマクロブロックは、高解像度の画像部分のマクロブロックに関連される。エンハンスメントレイヤ画像の境界で、マクロブロックは、ベースレイヤに関連されるマクロブロックを有さないか、又はスケーリングされたベースレイヤマクロブロックにより部分的にカバーされるかの何れかである。結果的に、J.Reichel,  H.Schwarz,  M.Wien等による“Joint  Scalable  Video  Model  JSVM  1”と題されたJoint  Video  Team  (JVT)  of  ISO/IEC  MPEG  &  ITU-T  VCEG  JVT-N021からの文献におけるのと異なるレイヤ間予測の管理が必要である。この文献は、結局［JSVM1］として参照される。
【００４３】
［JSVM1］に記載されるように空間スケーラブル符号化プロセスの環境で、高解像度マクロブロックは、低解像度画像をエンコードするために使用される古典的な符号化モード（すなわちイントラ予測及びインター予測）を使用して符号化される。その上、高解像度画像の特定のマクロブロックは、レイヤ間予測モードと呼ばれる新たなモードを使用する（すなわちレイヤ間の動き及びテクスチャ予測）。後者のモードは、スケーリングされたベースレイヤにより完全にカバーされるエンハンスメントレイヤマクロブロックについて特に認可され、すなわち、その座標（Ｍｂx，ＭＢy）は、以下の条件を確認する（すなわち図２におけるグレイカラーエリア）。ここで太線はアップサンプリングされたベースレイヤウィンドウを表し、クロッピングウィンドウの境界を確定する。
【００４４】
【表１】
2008530926.tif 000004
これらの条件に従わないマクロブロックは、古典的なモード、すなわちイントラ予測及びインター予測モードのみを使用し、これらの条件に従うマクロブロックは、イントラ予測、インター予測又はレイヤ間予測モードの何れかを使用する。係るエンハンスメントレイヤマクロブロックは、［JSVM1］に記載されるマクロブロックが揃えられた動的な空間スケーラビリティのケースにおけるように、スケーリングされたベースレイヤ動き情報を使用し、“BASE_LAYER_MODE”又は“QPEL_REFINEMENT_MODE”の何れかを使用してレイヤ間予測を利用する。“QPEL_REFINEMENT_MODE”モードを使用したとき、４分の１サンプルの動きベクトルのリファインメントが達成される。その後、符号化プロセスは、クロッピングウィンドウに完全に含まれるそれぞれのマクロブロックについて、イントラ予測、インター予測、又はレイヤ間でどの符号化モードを選択すべきかを判定する必要がある。どのモードを最終的に選択すべきかを判定する前に、グレイカラーエリアにおけるそれぞれのマクロブロックについて、レイヤ間の符号化モードが符号化プロセスにより最終的に選択された場合に、このマクロブロックを予測するために使用される符号化情報を導出するために必要とされる。
【００４５】
図３は、MPEG4  AVCに従うブロックにおけるマクロブロックの区分を表している。第一のラインに関して、マクロブロックは、MPEG4  AVCで提案されるような異なる可能なマクロブロックの区分で表されている（たとえば、サイズ１６×８画素のブロックで１６×８ブロックと呼ばれ、８×１６画素のブロックで８×１６ブロックと呼ばれ、８×８画素のブロックで８×８ブロックと呼ばれる）。図３の第二のラインは、MPEG4  AVCで提案されるようなサブ区分とも呼ばれる異なる可能な８×８ブロック区分により、サイズ８×８画素のブロック（８×８ブロック）を表している。確かに、MPEG4  AVCによれば、マクロブロックが４ブロック８×８に分割されるとき、前記ブロックのそれぞれは、８×４のサブブロック、４×４サブブロックに更に分割される。
【００４６】
レイヤ間予測とも呼ばれる符号化情報を導出する方法は、高解像度画像の、ハイパーマクロブロックＳＭHRと呼ばれる、図４においてＭHRで参照される９つのマクロブロックのグループについて記載され、図２で識別されるカラーグレイエリアに直接拡張される。３／２レシオを想定して、これら９つのマクロブロックは、図４に示されるようにベースレイヤの４つのマクロブロックから引き継ぐ。より詳細には、本発明に係る方法は、それぞれのマクロブロックＭHRについて、（たとえばブロック８×８、８×１６、１６×８、８×４、４×８又は４×４といった）小さなサイズのブロックにおける可能性のある区分及び小区分を判定することからなり、それぞれのブロックに対する関連するパラメータは、それに属する。ハイパーマクロブロックＳＭHRで囲まれるマクロブロックは、図５及び図６に示されるそれぞれのポジションに依存して４つのクラスで分類される。ハイパーマクロブロックＳＭHRのコーナーで位置されるマクロブロックは、Ｃｏｒｎｅｒ＿０，Ｃｏｒｎｅｒ＿１，Ｃｏｒｎｅｒ＿２及びＣｏｒｎｅｒ＿３で参照され、ハイパーマクロブロックのセンターに位置されるマクロブロックはＣで参照され、Ｃの上及び下の垂直軸に位置されるマクロブロックは、Ｖｅｒｔ＿０及びＶｅｒｔ＿１で参照され、Ｃから左及び右の水平軸に位置されるマクロブロックは、Ｈｏｒｉ＿０及びＨｏｒｉ＿１で参照される。
【００４７】
好適な実施の形態によれば、レイヤ間予測子と呼ばれる予測マクロブロックＭＢi_predは、ハイパーマクロブロックのそれぞれのマクロブロックＭＢiと関連される。別の実施の形態によれば、マクロブロックＭＢiは、係る予測マクロブロックを使用することなしにベースレイヤマクロブロックから直接に引き継ぐ。このケースでは、ＭＢi_predは、以下に記載される方法においてＭＢiと識別される。
【００４８】
ＭＢi_pred符号化情報を導出する方法は、図７に示されており、以下のステップを含む。
【００４９】
ＭＢiのマクロブロッククラスに基づいて、及び予測マクロブロック内の８×８の位置に基づいて、関連されるベースレイヤマクロブロックのマクロブロック符号化モード（マクロブロックラベルとも呼ばれる）からの予測マクロブロックＭＢi_predのそれぞれ８×８ブロックについてブロック符号化モード（ブロックラベルとも呼ばれる）を導出するステップ（１０）。
【００５０】
関連するベースレイヤマクロブロックの符号化モードから予測マクロブロックＭＢi_predについてマクロブロック符号化モードを導出するステップ（１１）。  
関連されるベースレイヤのマクロブロックの動き情報からそれぞれ予測のマクロブロックＭＢi_predについて動き情報（すなわちリファレンスインデックス及び動きベクトル）を導出するステップ（１２）。これは以下を含む。ＭＢi_predのそれぞれ４×４ブロックと、４×４ベースレイヤブロックを関連付けするステップ（１２０）。関連される４×４ベースレイヤブロックの動き情報に基づいてＭＢi_predのそれぞれ４×４ブロックについて動き情報を導出するステップ（１２１）。
【００５１】
８×８ブロック及びマクロブロックをクリーニングするステップ（１３）。これは以下を含む。リファレンスインデックスと動きベクトルをマージすることでＭＢi_predのそれぞれ８×８ブロック内の動き情報１３０を均質化するステップ（１３０）。隔離された８×８イントラブロックを除くことで、ＭＢi_pred内のブロック符号化モード１３１を均質化するステップ（１３１）。  
動きベクトルをスケーリングするステップ（１４）。
【００５２】
マクロブロック符号化モード又はマクロブロックラベルは、マクロブロック予測のタイプに関する情報、すなわち時間的な予測（INTER）又は空間予測（INTRA）を含み、INTERマクロブロック符号化モードについて、マクロブロックがどのように区分されるか（すなわちサブブロックに分割されるか）に関する情報を更に含む。マクロブロック符号化モードINTRAは、マクロブロックはイントラ符号化されることを意味し、MODE_X_Yとして定義されるマクロブロック符号化モードが、マクロブロックが予測されること、図３に示されるサイズＸ及びＹのブロックに更に区分されることを意味する。同じ説明が、INTRA又はINTERとして定義されるブロック符号化モード、及びBLK＿X_Yとしてのブロック間符号化モードについても当てはまる。
【００５３】
ハイパーマクロブロックのそれぞれのマクロブロックＭＢiに対して、図６に示されるようなベースレイヤに関連するマクロブロックを含むセットが関連付けされる。より詳細には、ハイパーマクロブロックの９つのマクロブロックが、前に定義された幾何学的なパラメータすなわちｘorig及びｙorigに依存して４つのアップサンプリングされたベースレイヤマクロブロックで重ね合わせされる。それぞれアップサンプリングされたベースレイヤマクロブロックに対して、それがアップサンプリングされたベースレイヤマクロブロックの符号化情報が関連付けされる。このアップサンプリングステップは、明確さのために記載される必要がない。たとえば、Ｃｏｒｎｅｒ＿０として分類されたマクロブロックＭＢiに対して、単一のベースレイヤマクロブロックが対応し、ベースレイヤマクロブロックは、図４において１で参照され、Ｖｅｒｔ＿０として分類されたマクロブロックＭＢiに対して、２つのベースレイヤマクロブロックが対応し、それらは図４において１及び２で参照される。結局、ベースレイヤマクロブロックは、そのアップサンプリングされたバージョンで識別される。次いで、これら後者のマクロブロックのモードに従って、特定のブロック符号化モードがＭＢi_predのそれぞれ８×８ブロックについて導出される。このステップ１０は、“８×８ブロック符号化モジュールラベリング”として参照される。マクロブロック符号化モジュールは、ＭＢi_predについて直接的に導出される。このステップ１１は、“マクロブロック符号化モードラベリング”として参照される。以下では、マクロブロックの８×８ブロックは、図８に示されるようにＢ1，Ｂ2，Ｂ3及びＢ4で参照される。ハイパーマクロブックのそれぞれのＭＢiについて、以下のプロセスが適用される。  
「ＭＢiクラスが“Coner”である場合、８×８ブロック符号化モードのラベリング」
図６に示されるように、後にｃＭＢで参照される単一ベースレイヤのマクロブロックは、マクロブロックＭＢiに対応する。次いで、ｃＭＢのモードによれば、ＭＢiのそれぞれ８×８ブロックのラベルは以下のように導出される。
【００５４】
mode［cMB］＝＝INTRAである場合、すなわちｃＭＢに関連するマクロブロック符号化モードがINTRAモードである場合、全ての８×８ブロックはINTRAブロックとしてラベル付けされる。  
さもなければ、８×８ブロックのラベルは、以下の表により与えられる。
【００５５】
【表２】
2008530926.tif 000005
したがって、たとえば、mode［cMB］＝＝MODE_8×16であって、考慮しているＭＢiが図５又は図６でCorner_0で参照されるマクロブロックである場合、ＭＢi_predの８×８ブロックＢ1は、BLK_8×8としてラベル付けされ、ＭＢi_predのブロックＢ2は、BLK_4×8としてラベル付けされる。
【００５６】
［マクロブロック符号化モードのラベリング］  
mode［cMB］＝＝INTRAである場合、ＭＢi_predモードはINTRAでラベル付けされる。  
さもなければ、mode［cMB］＝＝MODE_16×16である場合、ＭＢi_predは、MODE_16×16でラベル付けされる。  
さもなければ、ＭＢi_predは、MODE_8×8でラベル付けされる。
【００５７】
［ＭＢiクラスが“Vertical”である場合、８×８ブロック符号化モードのラベリング］
図６に示されるように、２つのベースレイヤマクロブロックは、マクロブロックＭＢiに対応する。結局、それらはｃＭＢl及びｃＭＢrで参照される（ｌは左、ｒは右）。次いで、それらのモードによれば、ＭＢi_predのそれぞれ８×８ブロックについてラベル又はブロック符号化モードは、以下のように導出される。
【００５８】
mode［cMBl］＝＝INTRAである場合、Ｂ1及びＢ3はINTRAブロックとしてラベル付けされる。  
さもなければ、Ｂ1及びＢ3ラベルは、以下の表により直接的に与えられる。
【００５９】
【表３】
2008530926.tif 000006
mode［cMBr］＝＝INTRAである場合、Ｂ2及びＢ4はINTRAブロックとしてラベル付けされる。  
さもなければ、Ｂ2及びＢ4ラベルは、以下の表により直接的に与えられる。
【００６０】
【表４】
2008530926.tif 000007
したがって、たとえばmode［cMBl］＝＝MODE_8×16及びmode［cMBr］＝＝MODE_8×8であり、考慮しているＭＢiが図５又は図６においてVert_0で参照されるマクロブロックである場合、ＭＢi_predの８×８ブロックＢ1及びＢ3は、BLK_8×8として共にラベル付けされ、ＭＢi_predのブロックＢ2は、BLK_8×8としてラベル付けされ、ＭＢi_predのブロックＢ2は、BLK_8×4としてラベル付けされる。
【００６１】
［マクロブロック符号化モードのラベリング］
mode［cMBl］＝＝INTRA及びmode［cMBr］＝＝INTRAである場合、ＭＢi_predはINTRAでラベル付けされる。  
さもなければ、少なくとも１つの８×８のブロック符号化モードがBLK_8×4に等しい場合、ＭＢi_predはMODE_8×8でラベル付けされる。  
また、mode［cMBl］＝＝INTRA又はmode［cMBr］＝＝INTRAである場合、ＭＢi_predはMODE_16×16でラベル付けされる。  
さもなければ、ＭＢi_predはMODE_8×16でラベル付けされる。
【００６２】
［ＭＢiクラスが“Horizontal”である場合、８×８ブロック符号化モードのラベリング］
図６に示されるように、２つのベースレイヤマクロブロックは、マクロブロックＭＢiに対応する。結局、（ｕは上、ｄは下として）それらはｃＭＢu及びｃＭＢdで参照される。それらのモードによれば、ＭＢi_predのそれぞれの８×８ブロックについてラベルは、以下のように導出される。
【００６３】
mode［cMBu］＝＝INTRAである場合、Ｂ1及びＢ2はINTRAブロックとしてラベル付けされる。  
さもなければ、Ｂ1及びＢ2は以下の表により直接的に与えられる。
【００６４】
【表５】
2008530926.tif 000008
mode［cMBd］＝＝INTRAである場合、Ｂ3及びＢ4はINTRAブロックとしてラベル付けされる。  
さもなければ、Ｂ3及びＢ4は以下の表により直接的に与えられる。
【００６５】
【表６】
2008530926.tif 000009
［マクロブロック符号化モードのラベリング］  
mode［cMBu］＝＝INTRA及びmode［cMBd］＝＝INTRAである場合、ＭＢi_predはINTRAでラベル付けされる。  
さもなければ、少なくとも１つの８×８のブロック符号化モードがBLK_4×8に等しい場合、ＭＢi_predはMODE_8×8でラベル付けされる。  
また、mode［cMBl］＝＝INTRA又はmode［cMBr］＝＝INTRAである場合、ＭＢi_predはMODE_16×16でラベル付けされる。  
さもなければ、ＭＢi_predはMODE_16×8でラベル付けされる。
【００６６】
［ＭＢiクラスが“Center”である場合、８×８ブロック符号化モードのラベリング］
図６に示されるように、４つのベースレイヤマクロブロックは、マクロブロックＭＢiに対応する。結局、それらはｃＭＢ1，ｃＭＢ2，ｃＭＢ3及びｃＭＢ4で参照される（これらは、現在のハイパーマクロブロックと関連され、図４において１，２，３及び４で参照されるベースレイヤの４つのマクロブロックである）。次いで、それらのモードに従って、
ＭＢi_predのそれぞれの８×８ブロックについてラベルは、以下のように導出される。
【００６７】
それぞれのＢjについて、mode［cMBj］＝＝INTRAである場合、ＢjはINTRAブロックとしてラベル付けされる。  
さもなければ、ＢjはBLK_8×8としてラベル付けされる。
【００６８】
［マクロブロック符号化モードのラベリング］
mode［cMBj］がINTRAに等しい場合、ＭＢi_predは、INTRAでラベル付けされる。  さもなければ、ＭＢi_predはMODE_8×8としてラベル付けされる。
【００６９】
ステップ１２は、それぞれのマクロブロックＭＢi_predについて、その関連されるベースレイヤマクロブロックの動き情報から動き情報を導出することからなる。  
この目的のため、第一のステップ１２０は、マクロブロックＭＢi_predのそれぞれ４×４ブロックと（ベースレイヤの関連されるマクロブロックから）低解像度４×４ブロックとも呼ばれるベースレイヤ４×４ブロックを関連付けることからなる。以下では、４×４ブロックのマクロブロック内の位置は、図９に示される番号により識別される。マクロブロックＭＢi_predのそれぞれの４×４ブロックについて、関連されるベースレイヤの４×４ブロックは、ＭＢiクラス、及び以下の表で規定されるマクロブロックＭＢi_pred内の４×４ブロックの数に基づいて定義される。
【００７０】
【表７】
2008530926.tif 000010
以下に定義される第二の表は、前の表により識別される低解像度画像の４×４ブロックが属する低解像度画像の（図４において１，２，３及び４で参照される４つのマクロブロックのうちで）関連されるマクロブロックの数を与える。
【００７１】
【表８】
2008530926.tif 000011
第二のステップ１２１は、ベースレイヤの関連するマクロブロックからＭＢi_predの動き情報を引き継ぐ（すなわち導出する）ことからなる。それぞれのリストlistx（Lx＝０又は１）について、ＭＢi_predの４×４ブロックは、その数により前もって識別されている関連されるベースレイヤ４×４ブロックからリファレンスインデックス及び動きベクトルを取得する。より詳細には、エンハンスメントレイヤ４×４ブロックは、関連されるベースレイヤ４×４ブロックが属するベースレイヤブロック（すなわち区分又は小区分）からリファレンスインデックス及び動きベクトルを取得する。たとえば、関連付けされるベースレイヤ４×４ブロックが、その符号化モードがMODE_8×16であるベースレイヤマクロブロックに属する場合、ＭＢi_predの４×４ブロックは、関連するベースレイヤ４×４ブロックが属するベースレイヤ８×１６ブロックからリファレンスインデックス及び動きベクトルを取得する。
【００７２】
特定の実施の形態によれば、ＭＢi_pred符号化モードが小区分されていない場合（たとえばMODE_16×8でラベル付けされている場合）、それに属しているそれぞれ４×４ブロックをチェックする必要がない。確かに、（たとえば１６×８ブロックといった）マクロブロックの区分のうちの１つに属する４×４ブロックのうちの１つにより引き継がれる動き情報は全体の区分と関連付けされる。
【００７３】
好適な実施の形態によれば、ステップ１３は、このケースではMPEG4  AVCである所与の符号化規格と互換性のない構成を除くため、それぞれのＭＢi_predをクリーニングすることからなる。このステップは、MPEG4  AVCに従ってデータストリームを生成することが必要とされないスケーラブル符号化方法により受け継ぐ方法が使用される場合を回避する。
【００７４】
このため、ステップ１３０は、これら８×８ブロックコンフィギュレーションを除くことでMPEG4  AVC規格と互換性のないコンフィギュレーションでマクロブロックのＭＢi_predの８×８ブロックを均質化することからなる。たとえば、MPEG4  AVCによれば、それぞれのリストについて、同じ８×８ブロックに属する４×４ブロックは、同じリファレンスインデックスを有する。８×８ブロック内の４×４ブロックに関連されるｒbi（Ｌx）として参照される所与のリストＬxのためのリファレンスインデックス及びｍｖbi（Ｌx）として参照される動きベクトルはマージされる。以下では、８×８ブロックＢのそれぞれ４×４ブロックｂiは、図１０で示されるように識別される。結局、予測子Predicto[B]は、８×８ブロックＢの４×４ブロック予測子ｂiを表す。このPredictor[B]は、以下のように定義される。
【００７５】
ＭＢiクラスがCorner_X（X=0..3）に等しいか、又はＭＢiクラスがHori_X（X=0..1）に等しい場合、Predictor[B]はｂ(X+1)に設定される。  
また、ＭＢiクラスがVert_X（X=0..1）に等しい場合、Predictor[B]はｂ(2*X+1)に設定される。さもなければ、何も行われない。
【００７６】
マクロブロックＭＢi_predのそれぞれの８×８ブロックＢ（すなわち図８に示されるようにＢ1，Ｂ2，Ｂ3，Ｂ4）について、以下のリファレンスインデックス及び動きベクトルの選択が適用される。
【００７７】
それぞれのリストＬx（すなわちＬ0又はＬ1）について、
４×４ブロックがこのリストを使用しない場合、すなわちこのリストにおいてリファレンスインデックスを有さない場合、このリストのリファレンスインデックス及び動きベクトルはＢに設定される。  
また、ＢのリファレンスインデックスｒB（Ｌx）は以下のように計算される。  
Ｂブロック符号化モードがBLK_8×4又はBLK_4×8に等しい場合、
ｒb1がｒb3に等しい場合、ｒB（Ｌx）＝ｒb1（Ｌx）であり、
又は、ｒpredictor（Ｌx）をPredictor[B]のリファレンスインデックスとし、
ｒpredictor（Ｌx）が−１に等しくない、すなわち利用可能な場合、ｒB（Ｌx）＝ｒpredictor（Ｌx）であり、
また、ｒpredictor（Ｌx）がｂ１に等しい場合、ｒB（Ｌx）＝ｒb3（Ｌx）であり、
さもなければｒB（Ｌx）＝ｒb1（Ｌx）である。
【００７８】
また、Ｂブロック符号化モードがBLK_4×4に等しい場合、
ＢのインデックスｒB（Ｌx）は、Ｂブロックの４つの４×４ブロックの既存のリファレンスインデックスの最小値として計算される。
【００７９】
【数３】
2008530926.tif 000012
【００８０】
【表９】
2008530926.tif 000013
ステップ１３１は、これらのマクロブロック内で残りの（すなわち孤立した）ＩＮＴＲＡ８×８ブロックを除くことでMPEG4-AVCと互換性のないコンフィギュレーションをもつマクロブロックＭＢi_predをクリーニング（すなわち均質化）し、それらをINTER８×８ブロックとなるように強制することからなる。確かに、MPEG4  AVCは、あるマクロブロック内にINTRA8×8ブロック及びINTER8×8ブロックを有するのを許容しない。ステップ１３１は、ステップ１３０の前に適用される場合がある。このステップは、そのクラスがVert_0，Vert_1，Hori_0，Hori_1又はCであるマクロブロックに関連するＭＢi_predに適用される。結局、Vertical_predictor[B]及びHorizontal_predictor[B]は、８×８ブロックの垂直及び水平８×８ブロック近傍をそれぞれ表す。
【００８１】
mode[MBi]＝＝MODE_8×8である場合、
それぞれの８×８ブロックについて、
そのブロック符号化モードがINTRAである８×８ブロックは、８×８の区分によりINTERブロックとなるように強制され、すなわちBLK_8×8でラベル付けされる。それらのリファレンスインデックス及び動きベクトルは、以下のように計算される。ＢINTRAを係る８×８ブロックになるようにする。
【００８２】
Horizontal_predictor[BINTRA]がINTRAとして分類されない場合、
それぞれのリストｌｘについて、
・リファレンスインデックスｒ（ｌｘ）は、その水平方向の予測子のリファレンスインデックスｒhoriz（ｌｘ）に等しい。  
・動きベクトルｍｖ（ｌｘ）は、その水平方向の予測子の動きベクトルｍｖhoriz（ｌｘ）に等しい。
【００８３】
また、Vertical_Predictor[BINTRA]がINTRAとして分類されない場合、
それぞれのリストｌｘについて、
・リファレンスインデックスｒ（ｌｘ）はその垂直方向の予測子のリファレンスインデックスに等しい。  
・動きベクトルｍｖ（ｌｘ）はその水平方向の予測子の動きベクトルｍｖvert（ｌｘ）に等しい。
【００８４】
さもなければ、
・Horizontal_predictor[BINTRA]をクリーニングする。すなわちステップ１４１は、ブロックHorizontal_predictor[BINTRA]に適用される。  
・ＢINTRAをクリーニングする。すなわちステップ１４１は、ブロックＢINTRAに適用される。
【００８５】
ステップ１４は、導出された動きベクトルをスケーリングすることからなる。このため、動きベクトルのスケーリングは、予測マクロブロックＭＢi_predの各既存の動きベクトルに適用される。動きベクトルｍｖ＝（ｄｘ，ｄｙ）は、以下の式を使用してスケーリングされる。
【００８６】
【数４】
2008530926.tif 000014
ここでsign[x]はｘが正のときに１に等しく、ｘが負のときに−１に等しい。
【００８７】
ステップ１０〜１４は、関連するマクロブロック及びベースレイヤのブロックの符号化情報からクロッピングウィンドウに完全に含まれるそれぞれのＭＢi（又はそれぞれ対応する中間構造ＭＢi_pred）について符号化情報を導出するのを可能にする。
【００８８】
以下の任意のステップは、レイヤ間動き予測と同じ原理に基づいてテクスチャを予測することからなる。また、このステップは、レイヤ間テクスチャ予測ステップとしても参照される。スケーリングされたベースレイヤウィンドウのクロッピングウィンドウ（図２におけるグレイカラーエリア）に完全に埋め込まれたマクロブロックについて使用される。テクスチャ内予測について、変換ブロックの境界にわたり補間フィルタが適用される。残余のテクスチャ予測について、このプロセスは、（変換に依存して４×４、８×８）変換ブロック内で機能する。
【００８９】
復号化装置におけるプロセスは、以下のように機能する。ＭＢiを補間されるべきエンハンスメントレイヤのテクスチャマクロブロックとする。ＭＢiのテクスチャサンプルは、以下のように導出される。
【００９０】
（ｘP，ｙP）をエンハンスメントレイヤの座標のリファレンスにおけるマクロブロックの左上画素の位置であるとする。ベースレイヤの予測アレイは、以下のようにはじめに導出される。  
ベースレイヤにおける（ｘP，ｙP）の対応する４分の１画素の位置（ｘ4，ｙ4）は以下のように計算される
【００９１】
【数５】
2008530926.tif 000015
整数画素の位置（ｘB，ｙB）は、以下のように導出される。
【００９２】
【数６】
2008530926.tif 000016
４分の１画素の位相は、以下のように導出される。
【００９３】
【数７】
2008530926.tif 000017
ベースレイヤの予測アレイは、エリア（ｘB−８，ｙB−８）及び（ｘB＋１６，ｙB＋１６）に含まれるサンプルに対応する。動的なケースで使用され、［ＪＳＶＭ１］に記載される同じ充填プロセスは、既存のものではないサンプル又は利用可能ではないサンプルに対応するサンプルエリアを充填するために適用される（たとえばテクスチャ内予測のケースでは、イントラブロックに属さないサンプル）。次いで、ベースレイヤ予測アレイがアップサンプリングされる。アップサンプリングが２つのステップで適用される。はじめに、T.Wiegand,  G.Sullivan及びA.Luthraによる“Draft  ITU-T  Recommendation  and  Final  Draft  International  Standard  of  Joint  Video  Specification  (ITU-T  Rec.  H.264|ISO/IEC  14496-10  AVC)”と題された文献JVT-N021  FROM  THE  Joint  Video  Team  (JVT)  of  ISO/IEC  MPEG  &  ITU-T  VCEGに定義される、ＡＶＣハーフピクセルの６タップフィルタを使用してテクスチャがアップサンプリングされ、次いで、双一次変換が達成され、４分の１画素のサンプルが構築され、４分の１画素の補間アレイが得られる。テクスチャ内では、この補間はブロック境界にクロスする。残余のテクスチャについて、補間は、変換ブロックの境界にクロスしない。
【００９４】
エンハンスメントレイヤブロックのそれぞれの位置（ｘ，ｙ），ｘ＝０．.Ｎ−１，ｙ＝０．．Ｎ−１での予測サンプルpred[x,y]は、以下のように計算される。
【００９５】
【数８】
2008530926.tif 000018
interp[xl,yl]は、位置（ｘｌ，ｙｌ）での４分の１画素の補間されるベースレイヤのサンプルである。
【００９６】
［レイヤ間のテクスチャ内予測］
現在のレイヤの所与のマクロブロックＭＢは、ベースレイヤの共に位置される（co-located）マクロブロックが存在し、イントラマクロブロックである場合にのみ、レイヤ内の残余の予測を利用する。I_BLモードで符号化されたハイパスマクロブロックについてイントラ予測信号を生成するため、ベースレイヤのハイパス信号の対応する８×８ブロックは、「標準的な」動的な空間スケーラビリティのケースにおけるように、直接的にデブロックされ、補間される。同じパディングプロセスは、デブロッキングについても適用される。
【００９７】
［レイヤ間の残余予測］
現在のレイヤの所与のマクロブロックＭＢは、ベースレイヤの共に位置されるマクロブロックが存在し、イントラマクロブロックではない場合にのみ、レイヤ間の残余予測を利用する。エンコーダでは、アップサンプリングプロセスは、ブロックの境界にクロスすることなしに、それぞれ基本の変換ブロックをアップサンプリングすることからなる。たとえば、ＭＢが４つの８×８ブロックに符号化される場合、４つのアップサンプリングプロセスは、入力として正確に８×８画素に適用される。補間プロセスは、２つのステップで達成される。第一に、ベースレイヤのテクスチャは、ＡＶＣハーフピクセルの６タップフィルタを使用してアップサンプリングされ、双一次変換は、４分の１画素のサンプルを構築するために達成される。最も近い４分の１画素の位置の補間されたエンハンスメントレイヤのサンプルは、補間された画素として選択される。
【００９８】
本発明は、図１１に示される符号化装置８に関する。符号化装置８は、低解像度画像を符号化するための第一の符号化モジュール８０を有する。モジュール８０は、ベースレイヤストリームと前記低解像度画像のための符号化情報を生成する。好ましくは、モジュール８０は、MPEG4  AVC規格と互換性のあるベースレイヤデータストリームを生成するために適合される。符号化装置８は、第一の符号化モジュール８０により生成された低解像度画像の符号化情報から高解像度画像に符号化情報を導出するために使用される引継ぎ手段８２を有する。引継ぎ手段８２は、本発明に係る方法のステップ１０，１１，１２，１３及び１４を実現するために適合される。符号化装置８は、高解像度画像を符号化するために第二の符号化モジュール８１を有する。第二の符号化モジュール８１は、高解像度画像をエンコードするために引継ぎ手段８２により導出された符号化情報を使用する。第二の符号化モジュール８１は、エンハンスメントレイヤのデータストリームを生成する。好ましくは、符号化装置８は、（たとえばマルチプレクサである）モジュール８３を有し、このモジュールは、第一の符号化モジュール８０と第二の符号化モジュール８１により提供されるベースレイヤデータストリームとエンハンスメントレイヤデータストリームを結合して、単一のデータストリームを生成する。高解像度画像に関連する符号化情報は、モジュール８０により供給される低解像度画像に関連する符号化情報から導出されるので、データストリームで符号化されない。これによりビット数を節約することができる。
【００９９】
また、本発明は、図１２に示される復号化装置９に関する。この装置９は、符号化装置８で生成されたデータストリームを受信する。復号化装置９は、低解像度画像と該低解像度画像の符号化情報を生成するため、ベースレイヤデータストリームと呼ばれるデータストリームの第一の部分を復号化する第一の復号化モジュール９１を有する。好ましくは、モジュール９１は、MPEG4  AVC規格と互換性のあるデータストリームを復号化するために適合される。復号化装置９は、第一の復号化モジュール９１により生成された低解像度画像の符号化情報から高解像度画像について符号化情報を導出するために使用される引継ぎ手段８２を有する。復号化装置９は、エンハンスメントデータストリームと呼ばれる、エー多ストリームの第二の部分を復号化する第二の復号化モジュール９２を有する。第二の復号化モジュール９２は、データストリームの第二の部分をデコードするため、引継ぎ手段８２により導出される符号化情報を使用する。第二の復号化モジュール９２は、高解像度画像を生成する。有利なことに、装置９は、受信されたデータストリームからベースレイヤデータストリームとエンハンスメントデータストリームを抽出する（たとえばデマルチプレクサといった）抽出モジュール９０を有する。
【０１００】
別の実施の形態によれば、復号化装置は、ベースレイヤデータストリームとエンハンスメントレイヤデータストリームといった２つのデータストリームを受信する。  
本発明は、記載された実施の形態に限定されるものではない。特に、２つの画像系列、すなわち２つの空間レイヤについて記載された本発明は、２を超える画像系列をエンコードするために使用される場合もある。
【図面の簡単な説明】
【０１０１】
【図１】高解像度画像と低解像度画像の間の幾何学的な関係を示す図である。
【図２】レイヤ間予測を使用して予測される高解像度画像のマクロブロック（グレイカラーエリア）を識別する図である。
【図３】ＭＰＥＧ４  ＡＶＣに係る区分及び小区分のパターンを示す図である。
【図４】ハイパーマクロブロック（すなわち９つのエンハンスメントレイヤマクロブロック）、前記エンハンスメントレイヤマクロブロック及びこれら４つのベースレイヤマクロブロックのアップサンプリングされたバージョンと関連付けされる４つのベースレイヤマクロブロックを示す図である。
【図５】ハイパーマクロブロック内のそれらの位置に依存して、そのマクロブロックがクラス（コーナー、垂直、水平及びセンター）でラベリングされるハイパーマクロブロックを示す図である。
【図６】９つのマクロブロックと関連付けされる４つのアップサンプリングされたベースレイヤマクロブロックで重ねあわされる９つのマクロブロックのハイパーマクロブロックを示す図である。
【図７】本発明に係る方法のフローチャートを示す図である。
【図８】４つの８×８ブロックに分割されるマクロブロックを示す図である。
【図９】１６の４×４ブロックに分割されるマクロブロックを示す図である。
【図１０】４つの４×４ブロックに分割される８×８ブロックを示す図である。
【図１１】本発明に係る符号化装置を示す図である。
【図１２】本発明に係る復号化装置を示す図である。
【図１】
2008530926.tif 000020
【図２】
2008530926.tif 000021
【図３】
2008530926.tif 000022
【図４】
2008530926.tif 000023
【図５】
2008530926.tif 000024
【図６】
2008530926.tif 000025
【図７】
2008530926.tif 000026
【図８】
2008530926.tif 000027
【図９】
2008530926.tif 000028
【図１０】
2008530926.tif 000029
【図１１】
2008530926.tif 000030
【図１２】
2008530926.tif 000031
【手続補正書】
【提出日】平成18年12月13日(2006.12.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分の符号化情報を導出する、ビデオ信号を符号化又は復号化するプロセスの一部としての方法であって、
それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割され、
前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットは、ハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを含み、
高解像度マクロブロックと呼ばれる前記少なくとも１つの高解像度の画像部分のそれぞれのマクロブロックと、低解像度マクロブロックと呼ばれる前記少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックが関連付けされ、
関連付けされた低解像度のマクロブロックは、水平及び垂直の両方向で１．５の倍数である予め定義された比率によりアップサンプリングされる前記少なくとも１つの低解像度の画像部分が前記少なくとも１つの高解像度の画像部分と重ね合わせされるときに、前記高解像度のマクロブロックを少なくとも部分的にカバーし、
当該方法は、
前記高解像度マクロブロックにおける第一のサイズの前記高解像度のブロックの位置に基づいて、及びマクロブロッククラスと呼ばれる、ハイパーマクロブロック内の高解像度のマクロブロックの位置に基づいて、第一のサイズの前記高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる前記少なくとも１つの高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出すステップと、
前記高解像度マクロブロックのクラスに基づいて、前記高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度のマクロブロックについてマクロブロック符号化モードを引き出すステップと、
を含むことを特徴とする方法。
【請求項２】
前記高解像度マクロブロックが、そのブロック符号化モードがINTRAである第一のサイズの少なくとも１つのブロックを含むとき、それぞれの高解像度マクロブロック内の第一のサイズのブロックのブロック符号化モードを均質にするステップを更に有する、
請求項１記載の方法。
【請求項３】
前記符号化情報は動き情報を更に含み、
当該方法は、前記高解像度マクロブロックに関連される低解像度マクロブロックの動き情報からそれぞれの高解像度のマクロブロックについて動き情報を導出するステップを更に含む、
請求項１又は２記載の方法。
【請求項４】
高解像度マクロブロックについて動き情報を導出するステップは、
前記高解像度マクロブロックのクラスに基づいて、及び、高解像度のマクロブロック内の第二のサイズの前記高解像度ブロックの位置に基づいて、第二のサイズの低解像度ブロックと呼ばれる前記高解像度マクロブロックに関連する低解像度マクロブロックにおける第二のサイズのブロックを、第二のサイズの高解像度ブロックと呼ばれる前記高解像度マクロブロックにおける第二のサイズのそれぞれのブロックと関連付けるステップと、
第二のサイズの前記高解像度ブロックに関連される第二のサイズの低解像度ブロックの動き情報から前記高解像度マクロブロックにおける第二のサイズのそれぞれのブロックについて動き情報を導出するステップと、
を含む請求項３記載の方法。
【請求項５】
１ブロック又は１マクロブロックの前記動き情報は、第一及び第二のコンポーネントを有する少なくとも１つの動きベクトルと、第一又は第二のリファレンスインデックスのリストの中から選択される前記動きベクトルに関連される少なくとも１つのリファレンスインデックスとを含み、前記インデックスは参照画像を識別する、
請求項３又は４記載の方法。
【請求項６】
前記動き情報を導出するステップの後、当該方法は、それぞれのハイレイヤマクロブロックについて、第一のサイズの同じブロックのサブブロック間での動き情報を均質にするステップを更に含み、
前記均質にするステップは、それぞれのリファレンスインデックスのリストについて、
前記ハイレイヤマクロブロックの第一のサイズのそれぞれの高解像度ブロックについて、リファレンスインデックスの前記リストのリファレンスインデックスの中からサブブロックの最も低いインデックスを識別するステップと、
その現在のリファレンスインデックスが前記最も低いリファレンスインデックスに等しくない前記サブブロックのそれぞれと、前記最も低いリファレンスインデックスを関連付けるステップと、前記現在のリファレンスインデックスは前のリファレンスインデックスになり、
その前記前のリファレンスインデックスが前記最も低いリファレンスインデックスに等しくない前記サブブロックのそれぞれと、その前記前のリファレンスインデックスが前記最も低いリファレンスインデックスに等しいその近隣のサブブロックのうちの１つの動きベクトルを関連付けるステップと、
を含む請求項５記載の方法。
【請求項７】
関連付けされた動きベクトルは、第一に水平方向の近隣のサブブロックをチェックし、第二に垂直方向の近隣のサブブロックをチェックし、第三に対角方向の近隣のサブブロックをチェックするときに遭遇する第一の近隣のサブブロックの動きベクトルである、
請求項６記載の方法。
【請求項８】
前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度のマクロブロックの動きベクトルと、高解像度マクロブロックにおけるそれぞれのブロックの動きベクトルの動きベクトルコンポーネントは、
【数１】
2008530926.tif 000032
によりスケーリングされ、前記ｄx及びｄyは、導出された動きベクトルの座標を表し、前記ｄsx及びｄsyは、スケーリングされた動きベクトルの座標を表し、sign［x］はｘが正であるときに１に等しく、ｘが負であるときに−１である、
請求項５乃至７のいずれか記載の方法。
【請求項９】
予め定義された割合は１．５に等しい、
請求項１乃至８のいずれか記載の方法。
【請求項１０】
前記第一のサイズのブロックは、８×８画素のサイズを有し、前記マクロブロックは、１６×１６画素のサイズを有し、前記第二のサイズのブロックは、４×４画素のサイズを有する、
請求項１乃至９のいずれか記載の方法。
【請求項１１】
高解像度の画像系列と低解像度の画像系列を少なくとも符号化する装置であって、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割され、
当該装置は、
前記低解像度画像を符号化し、前記低解像度画像とベースレイヤデータストリームについて符号化情報を生成する第一の符号化手段と、
低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する引継手段と、
導出された符号化情報を使用して前記高解像度画像を符号化し、エンハンスメントデータストリームを生成する第二の符号化手段とを有し、
前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットは、ハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを含み、
前記引継ぎ手段は、
高解像度マクロブロックと呼ばれる前記少なくとも１つの高解像度の画像部分のそれぞれのマクロブロックと、低解像度マクロブロックと呼ばれる前記少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックを関連付けする手段と、関連付けされた低解像度のマクロブロックは、水平及び垂直の両方向で１．５の倍数である予め定義された比率によりアップサンプリングされる前記少なくとも１つの低解像度の画像部分が前記少なくとも１つの高解像度の画像部分と重ね合わせされるときに、前記高解像度のマクロブロックを少なくとも部分的にカバーし、
前記高解像度マクロブロックにおける第一のサイズの前記高解像度のブロックの位置に基づいて、及びマクロブロッククラスと呼ばれる、ハイパーマクロブロック内の高解像度のマクロブロックの位置に基づいて、第一のサイズの前記高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる前記少なくとも１つの高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出す手段と、
前記高解像度マクロブロックのクラスに基づいて、前記高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度のマクロブロックについてマクロブロック符号化モードを引き出す手段と、
を有する符号化装置。
【請求項１２】
当該装置は、前記ベースレイヤデータストリームと前記エンハンスメントレイヤデータストリームを単一のデータストリームに結合するモジュールを更に有する、
請求項１１記載の装置。
【請求項１３】
請求項１１又は１２に記載された装置により符号化された、高解像度画像の系列と低解像度画像の系列を少なくとも復号化する装置であって、
符号化された画像は、データストリームにより表され、それぞれの画像は、第一のサイズのオーバラップしないブロックに分割されるオーバラップしないマクロブロックに分割され、
低解像度画像と該低解像度画像の符号化情報を生成するため、前記データストリームの少なくとも第一の部分を復号化する第一の復号化手段と、
低解像度画像の少なくとも１つの画像部分の符号化情報から高解像度画像の少なくとも１つの画像部分について符号化情報を導出する引継手段と、
高解像度画像を生成するため、前記導出された符号化情報を使用して前記データストリームの少なくとも第二の部分を復号化する第二の復号化手段とを有し、
前記高解像度画像の前記少なくとも１つの画像部分における３つのマクロブロックの３つのラインのオーバラップしないセットはハイパーマクロブロックを定義し、前記符号化情報は、少なくともマクロブロック符号化モードとブロック符号化モードを有し、
前記引継手段は、
高解像度マクロブロックと呼ばれる前記少なくとも１つの高解像度の画像部分のそれぞれのマクロブロックと、低解像度マクロブロックと呼ばれる前記少なくとも１つの低解像度の画像部分の少なくとも１つのマクロブロックを関連付けする手段と、関連付けされる低解像度マクロブロックは、水平及び垂直の両方向で１．５の倍数の予め定義された割合によりアップサンプリングされた前記少なくとも１つの低解像度の画像部分が前記少なくとも１つの高解像度の画像部分で重ね合わせされるとき、前記高解像度マクロブロックを少なくとも部分的にカバーし、
前記高解像度マクロブロックにおける第一のサイズの前記高解像度ブロックの位置に基づいて、及び、マクロブロッククラスと呼ばれる、前記高解像度マクロブロックのハイパーマクロブロック内の位置に基づいて、第一のサイズの前記高解像度ブロックが属する高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから、第一のサイズの高解像度ブロックと呼ばれる、前記少なくとも１つの高解像度の画像部分における第一のサイズのそれぞれのブロックについてブロック符号化モードを引き出す手段と、
前記高解像度マクロブロックのクラスに基づいて、高解像度マクロブロックに関連する低解像度マクロブロックのマクロブロック符号化モードから前記少なくとも１つの高解像度の画像部分におけるそれぞれの高解像度マクロブロックについてマクロブロック符号化モードを引き出す手段と、
を有する復号化装置。
【請求項１４】
当該装置は、前記データストリームの前記第一の部分を抽出し、前記データストリームの前記第二の部分を抽出する抽出手段を更に含む、
請求項１３記載の装置。
【国際調査報告】
2008530926.tif 000033
2008530926.tif 000034
2008530926.tif 000035
2008530926.tif 000036