(57)【要約】  基準ピクチャを用いてビデオ信号をデコードする方法及び装置を提供する。ビデオ信号をデコードする方法において、現在レイヤの現在イメージの少なくとも一部が基準イメージの少なくとも一部、オフセット情報及び寸法情報に基づいて予測される。オフセット情報は、基準イメージの少なくとも一つの境界ピクセルと現在イメージの少なくとも一つの境界ピクセルとの間の位置オフセットを示し、寸法情報は現在イメージの少なくとも一つの寸法を示す。
2008536438.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号をデコードする方法であって、
前記方法は、
基準イメージの少なくとも一部、オフセット情報、及び寸法情報に基づいて現在レイヤ内の現在イメージの少なくとも一部を予測するステップを含み、
前記オフセット情報は、前記基準イメージの少なくとも一つの境界ピクセルと前記現在イメージの少なくとも一つの境界ピクセルとの間の位置オフセットを示し、前記寸法情報は、前記現在イメージの少なくとも一つの寸法を示すことを特徴とする方法。
【請求項２】
前記基準イメージは、基本レイヤ内の基本イメージに基づくことを特徴とする請求項１に記載の方法。
【請求項３】
前記基準イメージは、前記基本イメージの少なくともアップサンプリングされた部分であることを特徴とする請求項２に記載の方法。
【請求項４】
前記オフセット情報は、前記基準イメージの少なくとも一つの左側ピクセルと前記現在イメージの少なくとも一つの左側ピクセルとの間の位置オフセットを示す左側オフセット情報を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記基準イメージは、基本レイヤ内の基本イメージに基づくことを特徴とする請求項４に記載の方法。
【請求項６】
前記基準イメージは、前記基本イメージの少なくともアップサンプリングされた部分であることを特徴とする請求項５に記載の方法。
【請求項７】
前記オフセット情報は、前記基準イメージの少なくとも一つの上部側ピクセルと前記現在イメージの少なくとも一つの上部側ピクセルとの間の位置オフセットを示す上部側オフセット情報を含むことを特徴とする請求項４に記載の方法。
【請求項８】
前記基準イメージは、基本レイヤ内の基本イメージに基づくことを特徴とする請求項７に記載の方法。
【請求項９】
前記基準イメージは、前記基本イメージの少なくともアップサンプリングされた部分であることを特徴とする請求項８に記載の方法。
【請求項１０】
前記寸法情報は、前記現在イメージの幅を示す幅情報を含むことを特徴とする請求項７に記載の方法。
【請求項１１】
前記寸法情報は、前記現在イメージの高さを示す高さ情報を含むことを特徴とする請求項７に記載の方法。
【請求項１２】
前記寸法情報は、前記現在イメージの幅を示す幅情報及び前記現在イメージの高さを示す高さ情報を含むことを特徴とする請求項７に記載の方法。
【請求項１３】
前記オフセット情報は、前記基準イメージの少なくとも一つの上部側ピクセルと前記現在イメージの少なくとも一つの上部側ピクセルとの間の上部側位置オフセットを示す上部側オフセット情報を含むことを特徴とする請求項１に記載の方法。
【請求項１４】
前記基準イメージは、基本レイヤ内の基本イメージに基づくことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記基準イメージは、前記基本イメージの少なくともアップサンプリングされた部分であることを特徴とする請求項１４に記載の方法。
【請求項１６】
前記寸法情報は、前記現在イメージの幅を示す幅情報を含むことを特徴とする請求項１に記載の方法。
【請求項１７】
前記寸法情報は、前記現在イメージの高さを示す高さ情報を含むことを特徴とする請求項１に記載の方法。
【請求項１８】
前記寸法情報は、前記現在イメージの幅を示す幅情報及び前記現在イメージの高さを示す高さ情報を含むことを特徴とする請求項１に記載の方法。
【請求項１９】
前記予測するステップは、前記現在レイヤ内のピクチャの少なくとも一部に対するヘッダからオフセット情報を求めることを特徴とする請求項１に記載の方法。
【請求項２０】
前記予測するステップは、前記ヘッダ内のインジケータに基づいて前記オフセット情報が存在するということを判定することを特徴とする請求項１９に記載の方法。
【請求項２１】
前記ピクチャは、スライスであることを特徴とする請求項２０に記載の方法。
【請求項２２】
前記ピクチャは、フレームであることを特徴とする請求項２０に記載の方法。
【請求項２３】
基本レイヤ内の基本イメージの少なくとも一部をアップサンプリングし、前記基準イメージとしてアップサンプリングされたイメージを生成するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項２４】
前記オフセット情報は、前記基準イメージの少なくとも一つの左側ピクセルと前記現在イメージの少なくとも一つの左側ピクセルとの間の位置オフセットを示す左側オフセット情報、及び、前記基準イメージの少なくとも一つの上部側ピクセルと前記現在イメージの少なくとも一つの上部側ピクセルとの間の上部側位置オフセットを示す上部側オフセット情報を含み、
前記寸法情報は、前記現在イメージの幅を示す幅情報及び前記現在イメージの高さを示す高さ情報を含むことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記予測するステップは、前記現在レイヤ内のピクチャの少なくとも一部に対するヘッダから前記オフセット情報を求めることを特徴とする請求項２４に記載の方法。
【請求項２６】
ビデオ信号をデコードする装置であって、
前記装置は、
基準イメージの少なくとも一部、オフセット情報、及び寸法情報に基づいて現在レイヤ内の現在イメージの少なくとも一部を予測するデコーダを備え、
前記オフセット情報は、前記基準イメージの少なくとも一つの境界ピクセルと前記現在イメージの少なくとも一つの境界ピクセルとの間の位置オフセットを示し、前記寸法情報は、前記現在イメージの少なくとも一つの寸法を示すことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号のスケーラブルエンコーディング及びデコーディングに関し、特に、ビデオ信号の拡張レイヤをコード化するのにビデオ信号の基本レイヤをさらに使用するビデオ信号のエンコーディング方法及び装置並びにそのエンコードされたビデオデータをデコードする方法及び装置に関する。
【背景技術】
【０００２】
スケーラブルビデオコーデック（scalable video codec；ＳＶＣ）は、エンコードされたピクチャシーケンスの一部（特に、フレームの全体シーケンスから断続的に選択されたフレームの一部シーケンス）がデコードされて低画質のビデオを示すのに使用されながら、ビデオを最高画質のピクチャシーケンスにエンコードする方法である。動き補償時間的フィルタリング（ＭＣＴＦ：Motion Compensated Temporal Filtering）は、スケーラブルビデオコーデック（ＳＶＣ）に用いられるように提案されたエンコーディング方式である。
【０００３】
上述したように、スケーラブル方式でエンコードされたピクチャシーケンスの一部を受信し処理することによって低画質ビデオを表現できるとしても、ビットレートが低いと大きな画質低下につながるという問題点は依然として存在する。この問題点を解決するために、低いビットレート用補助ピクチャシーケンス、例えば、小さいスクリーンサイズ及び／または低いフレームレートを持つピクチャシーケンスを階層的に提供し、それぞれのデコーダがその能力及び特性に適合したシーケンスを選択してデコードするようにする。例えば、４ＣＩＦ（common intermediate format：共通中間フォーマット）の主ピクチャシーケンスだけでなく、ＣＩＦの補助ピクチャシーケンス及びＱＣＩＦ（Quarter  CIF）の補助ピクチャシーケンスをエンコードしてデコーダに転送する。それぞれのシーケンスはレイヤといい、所定の２つのレイヤのうち、相対的に高い方のレイヤを拡張レイヤ（enhanced layer）といい、低い方のレイヤは基本レイヤ（base layer）という。
【０００４】
このようなピクチャシーケンスは、同一のビデオ信号源がシーケンスにエンコードされるので、リダンダンシ（redundancy）を持つ。それぞれのシーケンスのコード化効率を増加させるために、相対的に高い方のシーケンスのビデオフレームと時間的に一致する低い方のシーケンスのビデオフレームから、高い方のシーケンスのビデオフレームのシーケンス間ピクチャ予測を行うことによって、高い方のシーケンスのコード化された情報の量を減少させる必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、異なるレイヤのシーケンスのビデオフレームは、異なるアスペクト比を持つことができる。例えば、相対的に高い方のシーケンス（すなわち、拡張レイヤ）のビデオフレームは１６：９の大きいアスペクト比を持つが、低い方のシーケンス（すなわち、基本レイヤ）のビデオフレームは４：３の小さいアスペクト比を持つことができる。この場合、拡張レイヤピクチャの予測を行う時に、基本レイヤピクチャのどの部分が拡張レイヤピクチャに用いられるのか、または、拡張レイヤピクチャのどの部分が基本レイヤピクチャに用いられるかを判断する必要がある。
【課題を解決するための手段】
【０００６】
本発明は、ビデオ信号のデコーディングに関する。
【０００７】
ビデオ信号をデコードする方法の一実施形態において、現在レイヤ（current layer）内の現在イメージ（current image）の少なくとも一部は、基準イメージ（reference image）の少なくとも一部、オフセット情報、及び寸法情報（dimension information）に基づいて予測される。オフセット情報は、基準イメージの少なくとも一つの境界ピクセルと現在イメージの少なくとも一つの境界ピクセルとの間の位置オフセットを示すことができ、寸法情報は、現在イメージの少なくとも一つの寸法を示すことができる。
【０００８】
一実施形態において、基準イメージは、基本レイヤ内の基本イメージ（base image）に基づく。例えば、基準イメージは、基本イメージの少なくともアップサンプリングされた部分でありうる。
【０００９】
一実施形態において、オフセット情報は、基準イメージの少なくとも一つの左側ピクセルと現在イメージの少なくとも一つの左側ピクセルとの間の位置オフセットを示す左側オフセット情報を含む。
【００１０】
他の実施形態において、オフセット情報は、基準イメージの少なくとも一つの上部側ピクセルと現在イメージの少なくとも一つの上部側ピクセルとの間の位置オフセットを示す上部側オフセット情報を含む。
【００１１】
一実施形態において、寸法情報は、現在イメージの幅を示す幅情報を含む。
【００１２】
他の実施形態において、寸法情報は、現在イメージの高さを示す高さ情報を含む。
【００１３】
一実施形態において、オフセット情報は、現在レイヤ内のピクチャの少なくとも一部（例えば、スライス、フレーム等）に対するヘッダから得られることができる。また、当該ヘッダ内のインジケータに基づいてオフセット情報が存在するということが判定できる。
【００１４】
他の実施例は、ビデオ信号をデコードする装置を含む。
【発明を実施するための最良の形態】
【００１５】
以下、添付の図面を参照しつつ、本発明の実施形態について詳細に説明する。
【００１６】
図１は、本発明に係るスケーラブルビデオ信号符号化方法が適用されるビデオ信号エンコーディング装置を示すブロック図である。図１の装置は、２つのレイヤの入力ビデオ信号を符号化するように具現されるが、以下に説明される本発明の原理は、ビデオ信号が３つまたはそれ以上のレイヤで符号化される時に適用されることができる。なお、本発明は、以下に例示されるＭＣＴＦ方式に限定されることはなく、任意のスケーラブルビデオ符号化方式に適用されることが可能である。
【００１７】
図１に示すビデオ信号エンコーディング装置は、本発明が適用されるＭＣＴＦエンコーダ１００、テクスチャ符号化部１１０、動き符号化部１２０、基本レイヤエンコーダ１５０及びＭＵＸＥＲ（マルチプレクサ）１３０を備える。ＭＣＴＦエンコーダ１００は、ＭＣＴＦ方式によってマクロブロック当たりの入力ビデオ信号をエンコードし、適切な管理情報を生成する拡張レイヤエンコーダである。テクスチャ符号化部１１０は、エンコードされたマクロブロックの情報を圧縮ビットストリームに変換する。動き符号化部１２０は、ＭＣＴＦエンコーダ１００によって得られたイメージブロックの動きベクトルを、特定方式による圧縮ビットストリームに変換する。基本レイヤエンコーダ１５０は、特定方式、例えば、ＭＰＥＧ−１、２または４標準またはＨ．２６１、Ｈ．２６３またはＨ．２６４標準に従って入力ビデオ信号をエンコードし、小さい画面のピクチャシーケンス、例えば、本来の大きさの２５％に縮小されたピクチャシーケンスを生成する。マルチプレクサ１３０は、テクスチャ符号化部１１０の出力データ、基本レイヤエンコーダ１５０から出力された小さい画面のピクチャシーケンス、及び、動き符号化部１２０の出力ベクトルデータを所望のフォーマットにカプセル化する。マルチプレクサ１３０は、カプセル化されたデータを所望の転送フォーマットに多重化して出力する。基本レイヤエンコーダ１５０は、入力ビデオ信号を拡張レイヤピクチャよりも小さいスクリーンサイズを持つピクチャシーケンスにエンコードする他、入力ビデオ信号を拡張レイヤよりも低いフレームレートで拡張レイヤピクチャと同じスクリーンサイズを持つピクチャシーケンスにエンコードすることによって、低いビットレートのデータストリームを提供することができる。以下に説明される本発明の実施形態において、基本レイヤは、小さい画面のピクチャシーケンスにエンコードされ、また、小さい画面のピクチャシーケンスは基本レイヤシーケンスといい、ＭＣＴＦエンコーダ１００から出力されたフレームシーケンスは拡張レイヤシーケンスという。
【００１８】
ＭＣＴＦエンコーダ１００は、ビデオフレーム内のそれぞれのターゲットマクロブロックに対して動き推定及び予測操作を行う。また、ＭＣＴＦエンコーダ１００は、ターゲットマクロブロックと隣接フレーム内の対応マクロブロック間のイメージ差を、隣接フレーム内の対応するマクロブロックに追加することによって各ターゲットマクロブロックに対する更新動作を行う。図２には、これらの動作を行うＭＣＴＦエンコーダ１００の一部要素を示す。
【００１９】
図２に示すＭＣＴＦエンコーダ１００の要素は、推定器／予測器１０２、更新器１０３及びデコーダ１０５を含む。デコーダ１０５は、基本レイヤエンコーダ１５０から受信したエンコードされたストリームをデコードし、デコードされた小さい画面のフレームを内部スケーラー１０５ａを用いて拡張レイヤのフレームサイズに拡大する。推定器／予測器１０２は、残余データに符号化される現在フレーム内、現在フレームの前後の隣接フレーム内、及びスケーラー１０５ａによって拡大されたフレーム内のそれぞれのマクロブロックの基準ブロックを検索する。推定器／予測器１０２は、基準ブロックまたはスケーラー１０５ａによって拡大された時間的に一致したフレーム内の対応ブロックから現在フレーム内のそれぞれのマクロブロックのイメージ差（すなわち、画素間の差）を求め、イメージ差をマクロブロックに符号化する。推定器／予測器１０２はまた、マクロブロックを起源とし、かつ基準ブロックに延長される動きベクトルを求める。更新器１０３は、マクロブロックのイメージ差に適切な定数（例えば、１／２または１／４）を乗じ、その結果の値を基準ブロックに加算することによって、現在フレームの前後のフレーム内で基準ブロックが発見される現在フレーム内のマクロブロックの更新動作を行う。更新器１０３によって行われた動作（operation）は“Ｕ”動作といい、“Ｕ”動作によって生成されたフレームは“Ｌ”フレームという。
【００２０】
図２における推定器／予測器１０２及び更新器１０３は、ビデオフレームに対する動作を行う代わりに、単一フレームを分割することによって生成された複数のスライスに対して動作を同時または並列に行うことができる。推定器／予測器１０２によって生成された、イメージ差を持つフレーム（または、スライス）は、“Ｈ”フレーム（または、スライス）という。“Ｈ”フレーム（または、スライス）は、ビデオ信号の高周波成分を持つデータを含む。この実施形態の以下の説明において、用語“ピクチャ”は、その用語の使用が技術的に可能であれば、スライスまたはフレームを指し示すのに用いられる。
【００２１】
推定器／予測器１０２は、入力ビデオフレーム（または、以前のレベルで得られたＬフレーム）のそれぞれを、所望の大きさのマクロブロックに分割する。それぞれの分割されたマクロブロックに対して、推定器／予測器１０２は、拡張レイヤの前／次の隣接フレーム及び／またはスケーラー１０５ａによって拡大された基本レイヤフレーム内でイメージがそれぞれの分割されたマクロブロックと非常に似ているブロックを検索する。すなわち、推定器／予測器１０２は、それぞれの分割されたマクロブロックと時間的に相関するマクロブロックを検索する。ターゲットイメージブロックと非常に似ているイメージを持つブロックは、ターゲットイメージブロックと最も小さいイメージ差を持つ。２個のイメージブロック間のイメージ差は、例えば、２個のイメージブロックの画素間の差の和または平均として定義される。現在のフレーム内のターゲットマクロブロックよりも小さいブロックまたはしきい値イメージ差（threshold image difference）を持つブロックのうち、ターゲットマクロブロックと最も小さいイメージ差を持つブロックを基準ブロックという。基準ブロックを含むピクチャは、基準ピクチャという。現在のフレームのそれぞれのマクロブロックに対して、２個の基準ブロック（または、２個の基準ピクチャ）は、現在フレームの前フレーム（基本レイヤフレームを含む）または現在フレームの次フレーム（基本レイヤフレームを含む）に存在し、または、前フレーム内に一つの基準ブロックが存在し、次フレーム内に一つの基準ブロックが存在することができる。
【００２２】
基準ブロックが見つかると、推定器／予測器１０２は、現在ブロックから基準ブロックへの動きベクトルを算出して出力する。推定器／予測器１０２はまた、前フレームまたは次フレームに存在する基準ブロックのピクセル値から、または前フレーム及び次フレームに存在する２個の基準ブロックの平均ピクセル値から現在ブロックのピクセルエラー値（すなわち、ピクセル差値）を算出して出力する。イメージまたはピクセル差値は、残余データとも呼ばれる。
【００２３】
所望のしきい値イメージ差を持つか、現在マクロブロックよりも小さいマクロブロックが動き推定動作によって２個の隣接フレーム（基本レイヤフレームを含む）において見つからないと、推定器／予測器１０２は、現在のフレームと同じ時間領域のフレーム（以下、時間的一致フレームという）または現在フレームに近接した時間領域のフレーム（以下、時間的近接フレームという）が基本レイヤシーケンスに存在するか否かを判定する。このようなフレームが基本レイヤシーケンスに存在すると、推定器／予測器１０２は、２個のマクロブロックのピクセル値に基づいて時間的一致フレームまたは時間的近接フレーム内の対応マクロブロックから現在マクロブロックのイメージ差（すなわち、残余データ）を求め、対応するマクロブロックに対して現在マクロブロックの動きベクトルは求めない。現在フレームに対する近接時間領域は、現在フレームと同じイメージを持つと見なされることのできるフレームを含む時間間隔に対応する。この時間間隔の情報は、エンコードされたストリーム内に含まれる。
【００２４】
推定器／予測器１０２の上述の動作は、“Ｐ”動作という。推定器／予測器１０２が現在フレーム内のそれぞれのマクロブロックの基準ブロックを検索し、それぞれのマクロブロックを残余データに符号化することによって“Ｐ”動作を行い、Ｈフレームを生成すると、推定器／予測器１０２は、基準ピクチャとして、図３Ａに示すように、現在フレームの前後の拡張レイヤの隣接するＬフレームに加えて、スケーラー１０５ａから受信した基本レイヤの拡大されたピクチャを選択的に使用することができる。
【００２５】
本発明の一実施形態の例において、５つのフレームはそれぞれのＨフレームを生成するために用いられる。図３Ｂは、Ｈフレームを生成するために用いられうる５つのフレームを示す。図示の如く、現在のＬフレーム４００Ｌは、現在のＬフレーム４００Ｌ以前のＬフレーム４０１及び現在のＬフレーム４００Ｌの次のＬフレーム４０２を持つ。また、現在のＬフレーム４００Ｌは、同じ時間領域内の基本レイヤフレーム４０５を持つ。現在のＬフレーム４００Ｌと同じＭＣＴＦレベルのＬフレーム４０１及び４０２のうちの一つまたは二つのフレーム、Ｌフレーム４００Ｌと同じ時間領域の基本レイヤのフレーム４０５及びフレーム４０５以前及び以後の基本レイヤフレーム４０３及び４０４は基準ピクチャとして用いられ、現在のＬフレーム４００ＬからＨフレーム４００Ｈを生成する。上述の如く、様々な基準ブロック選択モードがある。どのモードが選択されたかをデコーダに知らせるために、ＭＣＴＦエンコーダ１００は、“基準ブロック選択モード”情報を対応するマクロブロックのヘッダ領域の特定位置のフィールドに挿入した／書き込みした後に、“基準ブロック選択モード”情報をテクスチャ符号化部１１０に転送する。
【００２６】
基本レイヤのピクチャが、図３Ｂに示すように、基準ピクチャ選択方法で拡張レイヤのピクチャ予測のための基準ピクチャとして選択されると、基本レイヤピクチャの全部または一部が拡張レイヤピクチャの予測に用いられることができる。例えば、図４に示すように、基本レイヤピクチャが４：３のアスペクト比を、基本レイヤピクチャの実際イメージ部５０２が１６：９のアスペクト比を、拡張レイヤピクチャ５００が１６：９のアスペクト比を持つと、基本レイヤピクチャの上部水平部５０１ａ及び下部水平部５０１ｂは無効データを含む。この場合、基本レイヤピクチャのイメージ部５０２のみが拡張レイヤピクチャ５００の予測に用いられる。これを達成するために、スケーラー１０５ａは、基本レイヤピクチャのイメージ部５０２を選択（または、切り取り）し（Ｓ４１）、選択されたイメージ部５０２をアップサンプリングして拡張レイヤピクチャ５００の大きさまで拡大し（Ｓ４２）、拡大されたイメージ部を推定器／予測器１０２に提供する。
【００２７】
ＭＣＴＦエンコーダ１００は、基本レイヤピクチャの選択された部分の位置情報を、残余データに符号化された現在ピクチャのヘッダに組み込む。ＭＣＴＦエンコーダ１００はまた、基本レイヤピクチャの一部が選択されて用いられるということを示すフラグ“ｆｌａｇ＿ｂａｓｅ＿ｌａｙｅｒ＿ｃｒｏｐｐｉｎｇ”を設定して適切な位置のピクチャヘッドに挿入することによって、フラグがデコーダに伝達されるようにする。フラグ“ｆｌａｇ＿ｂａｓｅ＿ｌａｙｅｒ＿ｃｒｏｐｐｉｎｇ”のリセット時には位置情報が転送されない。
【００２８】
図５Ａ及び図５Ｂは、基本レイヤピクチャの選択された部分５１２に関する情報の構造を示す実施形態である。図５Ａの実施形態において、基本レイヤピクチャの選択された部分５１２は、基本レイヤピクチャの左側、右側、上部及び下部境界からのオフセット、すなわち、左側オフセット（left_offset）、右側オフセット（right_offset）、上部側オフセット（top_offset）、及び下部側オフセット（bottom_offset）によって指定される。左側オフセットは、基本レイヤイメージ内の左側ピクセル（または、例えば、少なくとも一つのピクセル）及び選択された部分５１２内の左側ピクセル間の位置オフセットを示す。上部側オフセットは、基本レイヤイメージ内の上部側ピクセル（または、例えば、少なくとも一つのピクセル）及び選択された部分５１２内の上部側ピクセル間の位置オフセットを示す。右側オフセットは、基本レイヤイメージ内の右側ピクセル（または、例えば、少なくとも一つのピクセル）及び選択された部分５１２内の右側ピクセル間の位置オフセットを示す。下部側オフセットは、基本レイヤイメージ内の下部側ピクセル（または、例えば、少なくとも一つのピクセル）及び選択された部分５１２内の下部側ピクセル間の位置オフセットを示す。図５Ｂの実施形態において、基本レイヤピクチャの選択された部分５１２は、基本レイヤピクチャの左側及び上部境界からのオフセット（左側オフセット及び上部側オフセット）及び選択された部分５１２の幅及び高さ（切り取り幅（crop_width）及び切り取り高さ（crop_height））によって指定される。なお、他の様々な指定方法が適用可能である。
【００２９】
図５Ａ及び図５Ｂに示す選択された部分の情報におけるオフセットは、負の値を持つことができる。例えば、図６に示すように、基本レイヤピクチャが４：３のアスペクト比を持ち、拡張レイヤピクチャ６００が１６：９のアスペクト比を持ち、ピクチャの実際イメージ部が４：３のアスペクト比を持つ場合に、左側オフセット（left_offset）及び右側オフセット（right_offset）値は、負の値−ｄL及び−ｄRを持つ。基本レイヤピクチャから延びた部分６０１ａ及び６０１ｂは、負の値−ｄL及び−ｄRによって指定される。延びた部分６０１ａ及び６０１ｂは、オフスクリーンデータでパディングされ、延びた部分６０１ａ及び６０１ｂを含むピクチャ６１０は、拡張レイヤピクチャ６００と同じ大きさを持つようにアップサンプリングされる。したがって、拡張レイヤピクチャ６００の実際イメージ部に対応する拡大された基本レイヤピクチャ内の領域６１１のデータは、拡張レイヤピクチャ６００の実際イメージ部の予測に用いられることができる。
【００３０】
図５Ａ及び図５Ｂに示す情報のオフセットフィールドが負の値を持つことができるので、基本レイヤピクチャ内の選択された領域を指定する図５Ａ及び図５Ｂの情報を利用する代わりに、拡大された基本レイヤピクチャと関連する拡張レイヤピクチャと重複する領域の位置情報として図５Ａ及び図５Ｂの情報を用いることによって、図４の例において述べたのと同じ利点が得られる。
【００３１】
特に、図７を参照すると、基本レイヤピクチャ７０２がアップサンプリングされ、基本レイヤピクチャ７０２の実際イメージ領域７０１が拡張レイヤピクチャ７００の大きさに拡大されると、拡大された（例えば、アップサンプリングされた）ピクチャは、拡張レイヤピクチャ７００よりも大きい領域に対応する。この例において、上部側オフセット（top_offset）及び下部側オフセット（bottom_offset）は、拡張レイヤピクチャ７００と重複する領域の位置情報に含まれる。これらのオフセットは、拡大された基本レイヤピクチャに対応し、また、負の値−ｄT及び−ｄBが割り当てられ、拡大された基本レイヤピクチャの実際イメージ領域のみが拡張レイヤピクチャ７００の予測に用いられるようにする。図７の例では、拡大された基本レイヤピクチャに対応する領域の位置情報の左側オフセット及び右側オフセットはゼロである。しかしながら、左側オフセット及び右側オフセットはゼロでなくても良く、拡大された基本レイヤピクチャに対応するということは理解できる。拡大された基本レイヤピクチャ内のイメージの一部は、拡張レイヤピクチャを決定するのに用いられない。同様に、オフセット情報が基本レイヤピクチャに対応する場合、アップサンプル基本レイヤピクチャとは逆に、基本レイヤピクチャのイメージの一部が拡張レイヤピクチャを決定するのに用いられなくても良い。
【００３２】
また、この実施形態において、左側オフセットは、アップサンプリングされた基本レイヤイメージ内の左側ピクセル（または、例えば、少なくとも一つのピクセル）及び拡張レイヤイメージ内の左側ピクセル間の位置オフセットを示す。上部側オフセットは、アップサンプリングされた基本レイヤイメージ内の上部側ピクセル（または、例えば、少なくとも一つのピクセル）及び拡張レイヤイメージ内の上部側ピクセル間の位置オフセットを示す。右側オフセットは、アップサンプリングされた基本レイヤイメージ内の右側ピクセル（または、例えば、少なくとも一つのピクセル）及び拡張レイヤイメージ内の右側ピクセル間の位置オフセットを示す。下部側オフセットは、アップサンプリングされた基本レイヤイメージ内の下部側ピクセル（または、例えば、少なくとも一つのピクセル）及び拡張レイヤイメージ内の下部側ピクセル間の位置オフセットを示す。
【００３３】
上述の如く、図５Ａ及び図５Ｂの情報は、拡張レイヤピクチャの予測に用いられる基本レイヤピクチャの一部の選択のための情報として用いられることができ、または、拡張レイヤピクチャの予測に用いられる基本レイヤピクチャと関連した拡張レイヤピクチャと重なる領域の位置情報として用いられることができる。
【００３４】
基本レイヤピクチャの大きさ及びアスペクト比の情報、基本レイヤピクチャの実際イメージのモード情報などは、例えば、エンコードされた基本レイヤストリームのシーケンスヘッダからデコードすることによって決定されることができる。すなわち、情報は、エンコードされた基本レイヤストリームのシーケンスヘッダに記録されることができる。したがって、上述した基本レイヤピクチャ内の選択された領域または基本レイヤピクチャに対応する拡張レイヤピクチャと重複する領域の位置は、位置情報またはオフセット情報に基づいて決定され、基本レイヤピクチャの全部または一部がこの決定を適応させるのに用いられる。
【００３５】
再び図１及び図２を参照すると、ＭＣＴＦエンコーダ１００は、所定長さのピクチャシーケンス、例えば、ＧＯＰ（グループ・オブ・ピクチャ：Group of Pictures）に対して上記の“Ｐ”動作及び“Ｕ”動作を行うことによってＨフレームのシーケンス及びＬフレームのシーケンスをそれぞれ生成する。その後、直列接続された次の段階（図示せず）での推定器／予測器及び更新器は、生成されたＬフレームシーケンスに対して“Ｐ”動作及び“Ｕ”動作を繰り返すことによってＨフレームのシーケンス及びＬフレームのシーケンスを生成する。“Ｐ”動作及び“Ｕ”動作は、適切な回数（例えば、ＧＯＰに対して一つのＬフレームが生成されるまで）行われ、最終拡張レイヤシーケンスを生成する。
【００３６】
上記の方法でエンコードされたデータストリームは、デコード装置に無線または有線で転送され、または、記録媒体を介して転送される。デコード装置は、後述する方法によって拡張レイヤ及び／または基本レイヤ内の本来のビデオ信号を再構成する。
【００３７】
図８は、図１の装置によってエンコードされたデータストリームをデコードする装置を示すブロック図である。図８のデコード装置は、ＤＩＭＵＸＥＲ（または、デマルチプレクサ）２００、テクスチャ復号化部２１０、動き復号化部２２０、ＭＣＴＦデコーダ２３０、及び基本レイヤデコーダ２４０を備える。デマルチプレクサ２００は、受信したデータストリームを圧縮動きベクトルストリーム、圧縮マクロブロック情報ストリーム、及び基本レイヤストリームに分離する。テクスチャ復号化部２１０は、圧縮マクロブロック情報ストリームを、圧縮されていない本来の状態に再構成する。動き復号化部２２０は、圧縮動きベクトルストリームを、圧縮されていない本来の状態に再構成する。ＭＣＴＦデコーダ２３０は、圧縮されていないマクロブロック情報ストリーム及び圧縮されていない動きベクトルストリームをＭＣＴＦ方式によって本来のビデオ信号に変換する拡張レイヤデコーダである。基本レイヤデコーダ２４０は、指定された方式、例えば、ＭＰＥＧ−４またはＨ．２６４標準に従って基本レイヤストリームをデコードする。
【００３８】
ＭＣＴＦデコーダ２３０は、内部要素として、入力ストリームを本来のフレームシーケンスに再構成するための図９に示す構造を持つ逆フィルタを含む。
【００３９】
図９は、ＭＣＴＦレベルＮのＨフレーム及びＬフレームのシーケンスを、レベルＮ−１のＬフレームのシーケンスに再構成する逆フィルタの要素の一部を示す図である。図９の逆フィルタの要素は、逆更新器２３１、逆予測器２３２、動きベクトルデコーダ２３５、配列器（arranger）２３４、及びスケーラー２３０ａを含む。逆更新器２３１は、入力Ｌフレームの対応するピクセル値から入力Ｈフレームのピクセル差値を減算する。逆予測器２３２は、Ｈフレームのイメージ差が減算されたＬフレーム及び／またはスケーラー２４０ａから出力された拡大されたピクチャを参照しつつ入力Ｈフレームを本来のイメージを持つフレームに再構成する。動きベクトルデコーダ２３５は、入力動きベクトルストリームをそれぞれのブロックの動きベクトル情報にデコードし、動きベクトル情報を各段階の逆予測器（例えば、逆予測器２３２）に供給する。配列器２３４は、逆更新器２３１から出力されたＬフレーム間の、逆予測器２３２によって完成されたフレームをインターリーブし、正常なビデオフレームシーケンスを生成する。スケーラー２３０ａは、例えば、図５Ａ及び図５Ｂに示すような情報に基づいて基本レイヤの小さい画面ピクチャを拡張レイヤピクチャのサイズに拡大する。
【００４０】
配列器２３４から出力されたＬフレームは、レベルＮ−１のＬフレームシーケンス６０１を構成する。レベルＮ−１の次の段階の逆更新器及び予測器は、レベルＮ−１のＬフレームシーケンス６０１及び入力Ｈフレームシーケンス６０２をＬフレームシーケンスに再構成する。このデコードプロセスは、エンコード処理で採用されたＭＣＴＦレベルの数と同じ回数だけ行われ、本来のビデオフレームシーケンスを再構成する。逆予測器２３２は、入力Ｈフレームのそれぞれのマクロブロックのヘッダに含まれた“ｒｅｆｅｒｅｎｃｅ＿ｓｅｌｅｃｔｉｏｎ＿ｃｏｄｅ”情報を参照しつつ、拡張レイヤのＬフレーム及び／または基準フレームとして用いられた基本レイヤの拡大されたフレームを指定し、マクロブロックを残余データに符号化する。逆予測器２３２は、動きベクトルデコーダ２３５から提供された動きベクトルに基づいて指定されたフレーム内の基準ブロックを決定し、基準ブロックのピクセル値（または、マクロブロックの基準ブロックとして用いられる２個のマクロブロックの平均ピクセル値）をＨフレームのマクロブロックのピクセル差値に付加し、Ｈフレームのマクロブロックの本来のイメージを再構成する。
【００４１】
基本レイヤピクチャが現在のＨフレームの基準フレームとして用いられると、スケーラー２３０ａは、（図４の例における）基本レイヤピクチャ内の領域を選択して拡大し、または、ＭＣＴＦデコーダ２３０によって分析されたヘッダに含まれた図５Ａ及び図５Ｂに示されたような位置関係情報に基づいて（図６の例における）基本レイヤピクチャよりも大きい領域を拡大し、そして、基本レイヤピクチャの拡大された領域が上述のように現在のＨフレーム内の残余データを含むマクロブロックを本来のイメージブロックに再構成するのに用いられるようにする。位置関係情報は、ヘッダから抽出されて位置関係情報が含まれているか否かを示す情報（特に、図５Ａ及び図５Ｂの例のフラグ“ｆｌａｇ＿ｂａｓｅ＿ｌａｙｅｒ＿ｃｒｏｐｐｉｎｇ”）が、位置関係情報が含まれたということを示す時に参照される。
【００４２】
図５Ａ及び図５Ｂの情報が拡張レイヤピクチャの予測に用いられる拡張レイヤピクチャと重なる領域の位置を示す情報として用いられる場合、逆予測器２３２は、オフセット情報の値（正の値または負の値）に従って、拡大された基本レイヤピクチャの全体を現在のＨフレームよりも大きい領域または現在のＨフレームの全部または一部と関連付けることによって、拡張レイヤピクチャの予測のためにスケーラー２３０ａから受信した基本レイヤピクチャのうち拡大された基本レイヤピクチャを使用する。拡大された基本レイヤピクチャが現在のＨフレームよりも大きい領域と関連している図７の場合では、予測器２３２は現在のＨフレーム内のマクロブロックを本来のイメージに再構成するためにＨフレームに対応する拡大された基本レイヤピクチャの領域のみを用いる。この例で、オフセット情報は、負の値を含む。
【００４３】
一つのＨフレームに対して、フレーム内のマクロブロックが再構成されたそれら自身の本来のイメージを持つように、ＭＣＴＦデコードが特定単位、例えば、並列方式のスライス単位に行われ、再構成されたマクロブロックは結合して完全なビデオフレームを構成する。
【００４４】
上記のデコード方法は、ＭＣＴＦエンコードデータストリームを完全なビデオフレームシーケンスに再構成する。デコード装置は、基本レイヤシーケンスをデコードして出力する、または、その処理能力及びプレゼンテーション能力に依存する基本レイヤを用いて拡張レイヤシーケンスをデコードして出力する。
【００４５】
上記のデコード装置は、移動通信端末機、メディアプレーヤーなどに組み込まれることができる。
【００４６】
以上では例示的な実施形態を参照して本発明を説明してきたが、本発明の範囲及び要旨を逸脱しない限度内で様々な改良、変更、代替、及び追加が可能であるということは、当業者にとっては自明である。したがって、本発明は、本発明の改良、変更、代替及び追加をも対象にする。
【産業上の利用可能性】
【００４７】
本発明によるビデオ信号をエンコード／デコードする方法及び装置は、符号化されたデータの総量が減少するようにスケーラブル方式でビデオ信号をエンコードする時に、拡張レイヤのピクチャに加えて低性能デコーダに提供される基本レイヤのピクチャを用いることによって、符号化効率を増加させる。また、拡張レイヤピクチャの予測動作に用いられうる基本レイヤピクチャの一部が指定され、基本レイヤピクチャから拡大されたピクチャが拡張レイヤピクチャの予測動作に直接用いられることができない時にも、予測動作が性能低下なしに正常に行われることができる。
【図面の簡単な説明】
【００４８】
【図１】本発明に係るスケーラブルビデオ信号符号化方法が適用されるビデオ信号エンコーダ装置を示すブロック図である。
【図２】イメージ推定／予測及び更新動作を行う図１に示すＭＣＴＦエンコーダの一部を示すブロック図である。
【図３Ａ】拡張レイヤフレームを、予測イメージを持つＨフレームに変換するための基準フレームとして使用できる拡張レイヤフレーム及び基本レイヤフレーム間の関係を示す図である。
【図３Ｂ】拡張レイヤフレームを、予測イメージを持つＨフレームに変換するための基準フレームとして使用できる拡張レイヤフレーム及び基本レイヤフレーム間の関係を示す図である。
【図４】本発明の一実施形態によって基本レイヤピクチャの一部が選択されて拡大され、拡張レイヤピクチャの予測動作に用いられる方法を示す図である。
【図５Ａ】本発明によってデコーダに転送される、基本レイヤピクチャ及び拡張レイヤピクチャ間の位置関係に関する情報の構造の実施形態を示す図である。
【図５Ｂ】本発明によってデコーダに転送される、基本レイヤピクチャ及び拡張レイヤピクチャ間の位置関係に関する情報の構造の実施形態を示す図である。
【図６】本発明の他の実施形態によって基本レイヤピクチャを含む領域が拡大され、拡張レイヤピクチャの予測動作に用いられる方法を示す図である。
【図７】本発明の他の実施形態によって基本レイヤピクチャが拡張レイヤピクチャよりも大きい領域に拡大され、拡張レイヤピクチャの予測動作に用いられる方法を示す図である。
【図８】図１の装置によってエンコードされたデータストリームをデコードする装置を示すブロック図である。
【図９】逆予測及び更新動作を行う図８に示すＭＣＴＦデコーダの一部を示すブロック図である。
【図１】
2008536438.tif 000003
【図２】
2008536438.tif 000004
【図３Ａ】
2008536438.tif 000005
【図３Ｂ】
2008536438.tif 000006
【図４】
2008536438.tif 000007
【図５Ａ】
2008536438.tif 000008
【図５Ｂ】
2008536438.tif 000009
【図６】
2008536438.tif 000010
【図７】
2008536438.tif 000011
【図８】
2008536438.tif 000012
【図９】
2008536438.tif 000013
【国際調査報告】
2008536438.tif 000014
2008536438.tif 000015
2008536438.tif 000016