(57)【要約】【課題】レイヤ間予測を用いて現在レイヤをデコーディングする方法を提供する。【解決手段】現在レイヤに在る現在ブロックの位置が、サンプリングされた参照レイヤに含まれるか否かを決定する段階と、現在ブロックの位置が、サンプリングされた参照レイヤに含まれる場合、複数個の予測フラグを獲得する段階と、複数個の予測フラグを用いて現在レイヤをデコーディングする段階と、を含む。【選択図】図４
2009540666.tif 000002
【特許請求の範囲】
【請求項１】
レイヤ間予測を用いて現在レイヤをデコーディングする方法であって、
現在レイヤに在る現在ブロックの位置が、サンプリングされた参照レイヤに含まれるか否かを決定する段階と、
前記現在ブロックの位置が前記サンプリングされた参照レイヤに含まれる場合、複数個の予測フラグを獲得する段階と、
前記複数個の予測フラグを用いて前記現在レイヤをデコーディングする段階と、
を含むことを特徴とするビデオ信号デコーディング方法。
【請求項２】
前記現在レイヤが、同一のビデオ信号に由来する前記参照レイヤと異なる空間解像度または異なる画面比率を有する、請求項１に記載のビデオ信号デコーディング方法。
【請求項３】
前記決定段階が、前記参照レイヤのオフセット情報と前記現在レイヤの位置を表す変数とに基づく、請求項１に記載のビデオ信号デコーディング方法。
【請求項４】
前記決定段階が、前記参照レイヤの解像度に基づく、請求項３に記載のビデオ信号デコーディング方法。
【請求項５】
前記複数個の予測フラグが、マクロブロックのタイプがベースレイヤの対応領域から導出されるか否かを表す情報と、前記参照レイヤの動きベクトルを用いるか否かを表す情報と、前記参照レイヤのレジデュアル信号を用いるか否かを表す情報と、を含む、請求項１に記載のビデオ信号デコーディング方法。
【請求項６】
前記複数個の予測フラグが、マクロブロックレイヤから獲得される、請求項５に記載のビデオ信号デコーディング方法。
【請求項７】
前記複数個の予測フラグが、スライスレイヤからあらかじめ定められた値として獲得される、請求項５に記載のビデオ信号デコーディング方法。
【請求項８】
レイヤ間予測を用いて現在レイヤをエンコーディングする方法であって、
参照レイヤを用いてビデオ信号をエンコーディングし、前記参照レイヤと異なる解像度を持つ現在レイヤのビットストリームを生成し、
サンプリングされた前記参照レイヤに、現在ブロックが含まれるか否かを決定する段階と、
前記現在ブロックが含まれるか否かに基づいてレイヤ間予測に必要な予測フラグを生成する段階と、
を含むことを特徴とするビデオ信号エンコーディング方法。
【請求項９】
前記現在ブロックが含まれない場合、前記現在ブロックが前記参照レイヤを用いずにエンコーディングされる、請求項８に記載のビデオ信号エンコーディング方法。
【請求項１０】
前記現在ブロックが含まれる場合に、前記レイヤ間予測に必要な予測フラグを生成する、請求項８に記載のビデオ信号エンコーディング方法。
【請求項１１】
前記ビデオ信号が、放送信号として受信される、請求項１に記載のビデオ信号デコーディング方法。
【請求項１２】
前記ビデオ信号が、デジタル媒体を通じて受信される、請求項１に記載のビデオ信号デコーディング方法。
【請求項１３】
請求項１に記載された方法を実行させるためのプログラムを記録した、コンピュータ読取可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号のコーディング技術に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を、通信回線を通じて転送したり、記憶媒体に適合した形態で保存する一連の信号処理技術を意味する。圧縮符号化の対象には、音声、映像、文字などがあり、特に、映像を対象にして圧縮符号化を行う技術を「ビデオ映像圧縮」と称する。ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性を有する点にある。
【０００３】
その中でも、スケーラブルビデオコーディングされたビットストリームは、その一部分のみを選択的にデコーディングすることができる。例えば、複雑度が低いデコーダは、基本的なレイヤをデコーディングでき、低い転送率のビットストリームは、限られた容量を持つネットワークを通じた転送に用いられる。徐々に高い解像度のイメージを生成できるようにするために映像の画質を段階的に増加させる必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、ビデオ信号のコーディング効率を上げることに関する。
【０００５】
本発明の目的は、ビデオ信号をコーディングする時にコーディング効率を向上させるための方法を提供することにある。
【０００６】
本発明の他の目的は、参照レイヤに対応する領域がない場合に、レイヤ間予測と関連した情報の転送を最小限にする方法を提供することにある。
【０００７】
本発明のさらに他の目的は、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にする方法を提供することにある。
【０００８】
本発明のさらに他の目的は、レイヤ間予測が行われるか否かを表す情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にする方法を提供することにある。
【０００９】
本発明のさらに他の目的は、スケーラブルビデオコーディングされたビットストリームの属性情報を適切な位置で確認することによって、ビデオ信号のコーディング効率を上げることのできる方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明は、レイヤ間予測を用いて現在レイヤをデコーディングする方法であって、現在レイヤに在る現在ブロックの位置がサンプリングされた参照レイヤに含まれるか否かを決定する段階と、現在ブロックの位置が、サンプリングされた参照レイヤに含まれる場合、複数個の予測フラグを獲得する段階と、複数個の予測フラグを用いて現在レイヤをデコーディングする段階と、を含むことを特徴とする。
【００１１】
また、現在レイヤは、同一のビデオ信号に由来する参照レイヤと異なる空間解像度または異なる画面比率を有することが好ましい。
【００１２】
また、上記決定段階は、参照レイヤのオフセット情報と現在レイヤの位置を表す変数に基づくことを特徴とする。
【００１３】
また、複数個の予測フラグは、マクロブロックのタイプがベースレイヤの対応領域から導出されるか否かを表す情報、参照レイヤの動きベクトルを使用するか否かを表す情報及び参照レイヤのレジデュアル信号を用いるか否かを表す情報を含むことが好ましい。
【００１４】
また、本発明は、レイヤ間予測を用いて現在レイヤをエンコーディングする方法であって、参照レイヤを用いてビデオ信号をエンコーディングすることによって参照レイヤと異なる解像度を持つ現在レイヤのビットストリームを生成し、サンプリングされた参照レイヤに現在ブロックが含まれるか否かを決定する段階と、現在ブロックを含むか否かに基づいてレイヤ間予測に必要な予測フラグを生成する段階と、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明は、エンハンスドレイヤの現在ブロックがレイヤ間予測を用いることができるか否かを確認することによって、エンハンスドレイヤの現在ブロックがレイヤ間予測を使用しない場合には、レイヤ間予測に用いられるコーディング情報を転送する必要がなくなるので、コーディング効率を上げることができる。また、スケーラブルビデオコーディングされたビットストリームの属性情報を適切な位置で確認することによって、レイヤ間予測に関連した情報の転送を最小化できる。例えば、レイヤ間予測が行われるか否かを表す情報及び／またはクオリティ識別情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にすることができる。このような様々な方法を用いてビデオ信号のコーディング効率を顕著に向上させることができる。
【発明を実施するための最良の形態】
【００１６】
ビデオ信号データを圧縮符号化する技術は、空間的冗長性、時間的冗長性、スケーラブルな冗長性、視点間に存在する冗長性を考慮している。スケーラブルな冗長性を考慮する圧縮コーディングに関する技術は本発明の実施例に過ぎず、本発明の技術的思想は、時間的冗長性、空間的冗長性、視点間冗長性等にも適用することができる。また、本明細書でいうコーディングとは、エンコーディングとデコーディングの概念を両方とも含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈されれば良い。
【００１７】
ビデオ信号のビット列構成について説明すると、動画像符号化処理それ自体を扱うＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ；ビデオ符号化階層）と、符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ；ネットワーク抽象階層）との分離した階層構造で定義されている。符号化過程の出力はＶＣＬデータで、転送または保存する前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（Ｒａｗ  Ｂｙｔｅ  Ｓｅｑｕｅｎｃｅ  Ｐａｙｌｏａｄ；動画像圧縮の結果データ）を含む。
【００１８】
ＮＡＬ単位は、基本的に、ＮＡＬヘッダとＲＢＳＰとの２つの部分で構成される。ＮＡＬヘッダには、そのＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを表すフラグ情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）と、ＮＡＬ単位のタイプを表す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）とが含まれている。ＲＢＳＰには圧縮された元データを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの末尾にＲＢＳＰ埋め草ビット（ＲＢＳＰ  ｔｒａｉｌｉｎｇ  ｂｉｔ）を付加する。このようなＮＡＬ単位の種類にはＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ；瞬間復号リフレッシュ）ピクチャ、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ；シーケンスパラメータセット)、ＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ；ピクチャパラメータセット)、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ；補充的付加情報）などがある。
【００１９】
したがって、ＮＡＬ単位のタイプを表す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が、スケーラブルビデオコーディングされたスライスであることを表す場合、スケーラブルコーディングに関する様々な属性情報を追加することによってコーディング効率を上げることができる。例えば、現在アクセスユニットが瞬間復号リフレッシュ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ；以下、‘ＩＤＲ’という。）アクセスユニットか否かを表すフラグ情報、空間的スケーラビリティを表す識別情報、クオリティ識別情報、レイヤ間予測が使われるか否かを表すフラグ情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、参照ベースピクチャが参照ピクチャとして用いられるか否かを表すフラグ情報、時間的スケーラビリティを表す識別情報、優先順位識別情報などを追加することができる。これについては、図２で詳細に後述する。
【００２０】
また、規格では、対象製品を適当な費用で実現可能とすべく様々なプロファイル及びレベルで制約しているが、復号器は、該当のプロファイルとレベルで定められた制約を満たさなければならない。このように、復号器がどんな圧縮映像の範囲まで対応できるかを表現する機能またはパラメータを表すためにプロファイルとレベルという２種類の概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別子（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別子とは、ビットストリームが基盤としているプロファイルを表すフラグを意味する。例えば、Ｈ．２６４／ＡＶＣでは、プロファイル識別子が６６であればベースラインプロファイルに基づくということを意味し、７７であればメインプロファイルに基づくということを意味し、８８であれば拡張プロファイルに基づくということを意味する。これらのプロファイル識別子はシーケンスパラメータセットに含むことができる。
【００２１】
したがって、スケーラブル映像を扱うためには、入力されるビットストリームがスケーラブル映像に関するプロファイルか否かを識別し、スケーラブル映像に関するプロファイルとして識別されると、スケーラブル映像に関する一つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、スケーラブル映像に関するプロファイルとは、Ｈ．２６４／ＡＶＣの追加技術であって、スケーラブルビデオを扱うプロファイルモードを示す。ＳＶＣは、既存のＡＶＣ技術に対する追加技術であるから、無条件のシンタックスよりもＳＶＣモードである場合に対する追加情報としてシンタックスを追加する方がより効果的である。例えば、ＡＶＣのプロファイル識別子がスケーラブル映像に関するプロファイルを表す時にスケーラブル映像に関する情報を追加すると、符号化効率を上げることができる。
【００２２】
以下、ビデオ信号の効率的なデコーディング方法を提供するための多様な実施例について説明する。
【００２３】
図１は、本発明が適用されるスケーラブルビデオコーディングシステムを示す概略的なブロック図である。
【００２４】
多様な通信環境と多様な端末機に最適化された映像を提供するためには、端末機に提供される映像もまた多様に用意されなければならない。端末機ごとにそれに最適化した映像を提供するということは、一つの映像源を、秒当たり転送フレーム数、解像度、ピクセル当たりビット数など様々な変数の組み合わせられた値に対して具備していなければならないということを意味するので、コンテンツプロバイダには負担とならざるを得ない。このような理由から、コンテンツプロバイダは原映像を高速ビットレートの圧縮映像データにエンコーディングしておき、端末機からシーケンス要求が受信される場合に原映像をデコーディングした後、端末機の映像処理能力に合う映像データに再びエンコーディングして提供することができる。しかし、このようなトランスコーディングでは、エンコーディング−デコーディング−エンコーディングの過程が行われるから、映像提供において時間遅延が生じ、よって、複雑なハードウェアのデバイスとアルゴリズムがさらに要求される。
【００２５】
これに対し、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：ＳＶＣ）方式は、ビデオ信号のエンコーディングにおいて、最高画質でエンコーディングするが、その結果として生成されたピクチャシーケンスの部分シーケンスのみをデコーディングして使用しても映像表現が可能となるようにする方式である。ここで、部分シーケンスとは、シーケンス全体から間欠的に選択されたフレームからなるシーケンスを意味するといえる。ＳＶＣでエンコーディングされたピクチャシーケンスは、低いビットレートに対して空間的スケーラビリティを用いて映像のサイズを縮めることもできる。また、クオリティスケーラビリティを用いて映像の画質を落とすこともできる。このとき、小画面及び／または秒当たりフレーム数などが低いピクチャシーケンスをベースレイヤとし、相対的に大画面及び／または秒当たりフレーム数などが高いシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
【００２６】
ところが、上述したようなスケーラブル方式でエンコーディングされたピクチャシーケンスは、その部分シーケンスのみを受信して処理するだけで低画質の映像表現が可能であるが、ビットレートが低くなる場合には画質低下が大きく現れる。これを解消するために、低い転送率のための別の補助ピクチャシーケンス、例えば、小画面及び／または秒当たりフレーム数などが低いピクチャシーケンスを提供しても良い。このような補助シーケンスをベースレイヤとし、主ピクチャシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
【００２７】
本明細書では、レイヤ間予測のための様々な実施例の説明において、第１レイヤと第２レイヤの概念が適用される。例えば、第２レイヤは、第１レイヤと異なる空間解像度または異なる画面比率を持つことができる。または、第２レイヤは、第１レイヤと異なる画質を持つことができる。具体的な例として、第１レイヤはベースレイヤ、第２レイヤはエンハンスドレイヤとすることができる。または、レイヤ間予測を行う際に、第１レイヤは参照レイヤ、第２レイヤは現在レイヤとすることができる。したがって、以下で説明するベースレイヤとエンハンスドレイヤは一実施例に過ぎず、これに限定して解釈されてはならない。
【００２８】
次に、スケーラブルビデオコーディングシステムについてより具体的に説明する。スケーラブルビデオコーディングシステムは、エンコーディング装置１０２とデコーディング装置１１０とを含む。エンコーディング装置１０２は、ベースレイヤエンコーディング部１０４、エンハンスドレイヤエンコーディング部１０６及びマルチプレクシング部１０８を含み、デコーディング装置１１０は、デマルチプレクシング部１１２、ベースレイヤデコーディング部１１４及びエンハンスドレイヤデコーディング部１１６を含むことができる。ベースレイヤエンコーディング部１０４は、入力された映像信号Ｘ（ｎ）を圧縮してベースビットストリームを生成することができる。エンハンスドレイヤエンコーディング部１０６は、入力映像信号Ｘ（ｎ）とベースレイヤエンコーディング部１０４により生成される情報とを用いてエンハンスドレイヤビットストリームを生成することができる。マルチプレクシング部１０８は、ベースレイヤビットストリームとエンハンスドレイヤビットストリームとを用いてスケーラブルビットストリームを生成することができる。
【００２９】
このようにして生成されたスケーラブルビットストリームは、所定チャネルを通じてデコーディング装置１１０に転送され、転送されたスケーラブルビットストリームは、デコーディング装置１１０のデマルチプレクシング部１１２によりエンハンスドレイヤビットストリームとベースレイヤビットストリームとに区分することができる。ベースレイヤデコーディング部１１４は、ベースレイヤビットストリームを受信し、イントラマクロブロックの映像信号とインターブロックのレジデュアル及び動き情報を復号する。このとき、シングルループデコーディング方式に基づいて復号すれば良い。
【００３０】
エンハンスドレイヤデコーディング部１１６は、エンハンスドレイヤビットストリームを受信し、ベースレイヤデコーディング部１１４で復元された信号を参照して出力映像信号Ｘｅ（ｎ）を復号する。ここで、出力映像信号Ｘｂ（ｎ）は、出力映像信号Ｘｅ（ｎ）に比べて画質が低いか解像度が低い映像信号になる。
【００３１】
このように、エンハンスドレイヤエンコーディング部１０６とエンハンスドレイヤデコーディング部１１６では、レイヤ間予測方法を用いてコーディングを行うこととなる。レイヤ間予測とは、ベースレイヤの動き情報及び／またはテキスチャ情報を用いてエンハンスドレイヤの映像信号を予測することを意味するといえる。ここで、テキスチャ情報とは、イメージデータあるいはマクロブロックに属するピクセル値を意味するといえる。ベースレイヤのテキスチャ情報を用いるレイヤ間予測方法には、例えば、イントラベース予測モードとレジデュアル予測モードとがある。イントラベース予測モードとは、ベースレイヤの対応する領域を基礎にしてエンハンスドレイヤのブロックを予測するモードを意味するといえる。このとき、ベースレイヤの対応する領域は、イントラモードでコーディングされた領域を意味するといえる。一方、レジデュアル予測モードは、イメージ差値であるレジデュアルデータを持つようにコーディングされた、ベースレイヤの対応領域を用いることができる。このとき、ベースレイヤの対応領域はサンプリングを通じて拡大または縮小されて使うことができる。サンプリングとは、イメージ解像度を変化させることを意味するといえる。このサンプリングは、リサンプリング、ダウンサンプリング、アップサンプリングなどを含むことができる。例えば、レイヤ間予測を行うためにイントラサンプルをリサンプリングすることができる。または、ダウンサンプリングフィルタを用いてピクセルデータを再生成することによってイメージ解像度を小さくすることができるが、これをダウンサンプリングということができる。または、アップサンプリングフィルタを用いていくつかの追加的なピクセルデータを生成することによってイメージ解像度を大きくすることができるが、これをアップサンプリングということができる。リサンプリングはダウンサンプリングとアップサンプリングの概念を含むことができる。本明細書でサンプリングという言葉は、実施例の技術的思想及び技術的範囲によって適切に解釈されうる。
【００３２】
一方、同一の映像コンテンツに対して相互に異なる用途または目的としてベースレイヤとエンハンスドレイヤが生成され、よって、空間的解像度、フレームレート、ビットレートなどが互いに異なりうる。レイヤ間予測方法によって映像信号をコーディングするとき、エンハンスドレイヤとベースレイヤとの空間的解像度の割合が２の倍数でない場合を、拡張された空間的スケーラビリティ（ＥＳＳ：Ｅｘｔｅｎｄｅｄ  Ｓｐａｔｉａｌ  Ｓｃａｌａｂｉｌｉｔｙ）ということができる。例えば、横：縦が１６:９の比率の映像信号に対してレイヤ間予測方法によってエンハンスドレイヤをコーディングするとき、４：３の比率の画面にコーディングされたベースレイヤを用いなければならない場合があり得る。この場合、ベースレイヤは、原映像信号の一部が切り取られた状態でコーディングされるため、レイヤ間予測のために拡大してもエンハンスドレイヤの一部領域はカバーできなくなる。したがって、エンハンスドレイヤの一部領域は、アップサンプリングされるベースレイヤで対応する領域がないため、ベースレイヤを利用できなくなることがある。すなわち、これは、一部領域に対してはレイヤ間予測方法を適用することができないということを意味する。このような場合、レイヤ間予測に用いられるコーディング情報を転送しなくても良い。これについての具体的な実施例は、図５〜図８で詳細に後述する。
【００３３】
図２及び図３は、本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加することができるスケーラブル映像に関する属性情報及びこれを説明するためのピクチャの構造を示す図である。
【００３４】
図２には、スケーラブル映像に関する属性情報を追加することができるＮＡＬ単位の構成の一例を示す。まず、ＮＡＬ単位は、ＮＡＬ単位のヘッダとＲＢＳＰ（Ｒａｗ  Ｂｙｔｅ  Ｓｅｑｕｅｎｃｅ  Ｐａｙｌｏａｄ：動画像圧縮の結果データ）とで構成することができる。そして、ＮＡＬ単位のヘッダでは、ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを表す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）とＮＡＬ単位のタイプを表す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含むことができる。また、制限的にＮＡＬ単位ヘッダの拡張領域も含むことができる。例えば、ＮＡＬ単位のタイプを表す情報がスケーラブルビデオコーディングと関連している場合、またはｐｒｅｆｉｘ  ＮＡＬ単位を表す場合に、ＮＡＬ単位はＮＡＬ単位ヘッダの拡張領域を含むことができる。具体的な例として、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝２０または１４のとき、ＮＡＬ単位は、ＮＡＬ単位ヘッダの拡張領域も含むことができる。また、ＮＡＬ単位ヘッダの拡張領域内では、ＳＶＣビットストリームか否かを識別できるフラグ情報（ｓｖｃ＿ｍｖｃ＿ｆｌａｇ）によってスケーラブル映像に関する属性情報を追加できる。
【００３５】
他の例として、ＮＡＬ単位のタイプを表す情報がサブセットシーケンスパラメータセットを表す情報である場合、ＲＢＳＰはサブセットシーケンスパラメータセットに関する情報を含むことができる。具体的な例として、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝１５の場合、ＲＢＳＰはサブセットシーケンスパラメータセットに関する情報、スライスレイヤに関する情報などを含むことができる。このとき、プロファイル情報によってサブセットシーケンスパラメータセットはシーケンスパラメータセットの拡張領域を含むことができる。例えば、プロファイル情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）がスケーラブルビデオコーディングに関連したプロファイルである場合、サブセットシーケンスパラメータセットはシーケンスパラメータセットの拡張領域を含むことができる。または、プロファイル情報によってシーケンスパラメータセットがシーケンスパラメータセットの拡張領域を含むことができる。シーケンスパラメータセットの拡張領域はレイヤ間予測のためのデブロッキングフィルタの特性を制御する情報、アップサンプリング過程のためのパラメータ関連情報などを含むことができる。次に、スケーラブル映像に関する様々な属性情報、例えば、ＮＡＬ単位ヘッダの拡張領域、シーケンスパラメータセットの拡張領域、またはスライスレイヤに含むことができる属性情報について具体的に説明する。
【００３６】
例えば、レイヤ間予測のためのデブロッキングフィルタの特性を制御する情報が存在するか否かを表すフラグ情報（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をシーケンスパラメータセットの拡張領域から獲得できる。また、アップサンプリング過程のためのパラメータ関連情報の位置を表す情報（ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ）をシーケンスパラメータセットの拡張領域から獲得できる。具体的な例として、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＝０なら、アップサンプリング過程のためのいかなるパラメータもシーケンスパラメータセットやスライスヘッダに存在しないということを意味するといえる。そして、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＝１なら、アップサンプリング過程のためのパラメータがシーケンスパラメータセットに存在するということを意味するといえる。ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＝２なら、アップサンプリング過程のためのパラメータがスライスヘッダに存在するということを意味するといえる。
【００３７】
まず、レイヤ間予測が用いられるか否かを表す情報（４）とは、コーディングされたスライスをデコーディングする際にレイヤ間予測が用いられるか否かを表すフラグ情報を意味するといえる。このフラグ情報は、ＮＡＬヘッダの拡張領域から獲得することができる。例えば、フラグ情報が１の場合、レイヤ間予測が用いられないということを意味するといえる。そして、フラグ情報が０の場合には、マクロブロックレイヤでのコーディング方式によってレイヤ間予測が用いられても良く、用いられなくても良い。これは、マクロブロック単位でレイヤ間予測が用いられても良く、用いられなくても良いためである。
【００３８】
クオリティ識別情報（３）とは、ＮＡＬ単位に対するクオリティを特定する情報を意味する。この属性情報を説明するに当たって図３を用いることができる。例えば、一つのピクチャを相互に異なるクオリティのレイヤにコーディングできる。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１に在るレイヤをいずれもそれぞれ異なるクオリティのレイヤにコーディングすることができる。具体的な例として、ＮＡＬ単位に対するクオリティを特定する情報をｑｕａｌｉｔｙ＿ｉｄとするとき、Ｂ１，Ｂ２，…，Ｂ１０レイヤはｑｕａｌｉｔｙ＿ｉｄ＝０とし、Ｑ１，Ｑ２，…，Ｑ１０レイヤはｑｕａｌｉｔｙ＿ｉｄ＝１とすることができる。すなわち、Ｂ１，Ｂ２，…，Ｂ１０レイヤは画質の最も低いレイヤを意味するといえる。これをベースピクチャという。Ｑ１，Ｑ２，…，Ｑ１０レイヤはそれぞれ、Ｂ１，Ｂ２，…，Ｂ１０レイヤを含みながらＢ１，Ｂ２，…，Ｂ１０レイヤよりも画質の高いレイヤに該当する。このようなクオリティ識別情報は多様に定義できる。例えば、１６段階で表現することができる。
【００３９】
空間的スケーラビリティを表す識別情報とは、ＮＡＬ単位に対する依存関係を特定する情報を意味する。この属性情報を、図３を参照しつつ説明すると、次の通りである。例えば、空間的解像度によって依存関係が異なっていてもよい。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１のそれぞれに在るレイヤはそれぞれ、同一の解像度を持つことができる。Ｓｐａ＿Ｌａｙｅｒ０に在るレイヤは、Ｓｐａ＿Ｌａｙｅｒ１に在るレイヤをダウンサンプリングして得られたピクチャとなり得る。具体的な例として、ＮＡＬ単位に対する依存関係を特定する情報をｄｅｐｅｎｄｅｎｃｙ＿ｉｄとするとき、Ｓｐａ＿Ｌａｙｅｒ０に在るレイヤのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝０とすることができ、Ｓｐａ＿Ｌａｙｅｒ１に在るレイヤのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝１とすることができる。このような依存関係識別情報は様々に定義することができる。このように、依存関係を特定する情報と同一の値を持っているＮＡＬ単位をディペンデンシ・リプレゼンテーションと表すことができる。
【００４０】
上記のクオリティ識別情報と依存関係を特定する情報によって一つのレイヤを定義することができる。このとき、クオリティ識別情報及び依存関係を特定する情報と同一の値を持っているＮＡＬ単位をレイヤ・リプレゼンテーションと表すことができる。
【００４１】
また、時間的スケーラビリティを表す識別情報とは、ＮＡＬ単位に対する時間的レベルを特定する情報を意味する。この時間的レベルは、階層的Ｂピクチャ構造で説明することができる。例えば、図３のＳｐａ＿Ｌａｙｅｒ０で（Ｂ１，Ｑ１）レイヤと（Ｂ３，Ｑ３）レイヤは同一の時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）を持つことができる。（Ｂ５，Ｑ５）レイヤが（Ｂ１，Ｑ１）レイヤと（Ｂ３，Ｑ３）レイヤを参照する場合、この（Ｂ５，Ｑ５）レイヤは（Ｂ１、Ｑ１）レイヤと（Ｂ３、Ｑ３）ピクチャの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ１）を持つことができる。同様に、（Ｂ７，Ｑ７）レイヤが（Ｂ１，Ｑ１）レイヤと（Ｂ５，Ｑ５）レイヤを参照する場合、この（Ｂ７、Ｑ７）レイヤは、（Ｂ５，Ｑ５）レイヤの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）を持つことができる。一つのアクセスユニット内に在る全てのＮＡＬ単位は、同一の時間的レベル値を持つことができる。また、ＩＤＲアクセスユニットの場合には、時間的レベル値は０になりうる。
【００４２】
参照ベースピクチャが参照ピクチャとして用いられるか否かを表すフラグ情報は、レイヤ間予測過程で参照ベースピクチャが参照ピクチャとして用いられるか、それともデコーディングされたピクチャが参照ピクチャとして用いられるかを表す。このフラグ情報は、同一のレイヤ上に在る、すなわち依存関係を特定する情報が同一であるＮＡＬ単位に対しては同一の値を持つことができる。
【００４３】
優先順位識別情報とは、ＮＡＬ単位の優先順位を特定する情報を意味する。これを用いてレイヤ間拡張性またはピクチャ間拡張性を提供することができる。例えば、優先順位識別情報を用いて使用者に様々な時間的レベル及び空間的レベルの映像を提供することができる。したがって、使用者は、所望する時間及び空間の映像のみを見ることもでき、異なる制限条件による映像のみを見ることもできる。この優先順位情報は、その基準条件によって様々な方法で設定することができる。また、この優先順位情報は、特別な基準によらずに任意に設定されても良く、デコーディング装置によって決定されても良い。
【００４４】
また、ＮＡＬ単位ヘッダの拡張領域に含むことのできる属性情報は、現在アクセスユニットがＩＤＲアクセスユニットか否かを表すフラグ情報を含むことができる。
【００４５】
また、スライスレイヤではレイヤ間予測のための様々な情報を含むことができる。例えば、アップサンプリング過程においてスライス境界に対する取り扱いを表す情報（５）、デブロッキングフィルタの動作に関連した情報（６）、色差信号の位相変化に関する情報（７）、ピクチャ間の位置差を表すオフセット情報（８）及び適応予測を行うか否かを表す情報（９）などを含むことができる。これらの情報はスライスヘッダから獲得することができる。
【００４６】
デブロッキングフィルタの動作に関連した情報（６）の例としては、デブロッキングフィルタの動作方法を表す情報（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）、デブロッキングフィルタリング時に必要なオフセット情報（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２）等があり得る。
【００４７】
そして、色差信号の位相変化に関する情報（７）の例として、レイヤ間予測に用いられるピクチャの色差成分の水平、垂直位相変化に関する情報（ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｘ＿ｐｌｕｓ１、ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｙ＿ｐｌｕｓ１）があり得る。また、ピクチャ間の位置差を表すオフセット情報（８）の例として、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上、下、左、右の位置差を表すオフセット情報（ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ）があり得る。
【００４８】
また、アップサンプリング過程においてスライス境界に対する取り扱いを表す情報（５）の例として、第１レイヤに在る対応ブロックが第２レイヤの２個以上のスライスに亘っている場合、第２レイヤに在る現在ブロックに対して第１レイヤに在るイントラブロックを用いたレイヤ間予測使用制限の有無を表す情報（ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇ）があり得る。
【００４９】
また、適応予測を行うか否かを表す情報（９）は、スライスヘッダとマクロブロックレイヤ内に予測関連情報の存在の有無を表すことができる。この適応予測を行うか否かを表す情報によっていかなる適応予測方法が用いられるかを決定することができる。これについては、図８で詳細に後述する。
【００５０】
図４は、本発明が適用される実施例で、サンプリングされたベースレイヤとエンハンスドレイヤとのクロッピング関係を示す図である。
【００５１】
スケーラブルビデオコーディングにおいて、エンハンスドレイヤの現在ブロックがレイヤ間予測を用いることができるか否かを確認することができる。例えば、現在ブロック内の全てのピクセルに対応する領域がベースレイヤに在るか否かを確認することができる。この確認の結果、エンハンスドレイヤの現在ブロックがレイヤ間予測に用いられない場合には、レイヤ間予測に用いられるコーディング情報を転送する必要がなくなるので、コーディング効率を上げることができる。
【００５２】
このように、エンハンスドレイヤの現在ブロックがレイヤ間予測を用いることができるか否かを確認できる関数を定義することができる。例えば、現在ブロック内の全てのピクセルに対応する領域がベースレイヤに在るか否かを確認できる関数として、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）を定義することができる。エンハンスドレイヤにおいて水平方向のマクロブロックインデックスをｍｂＩｄｘＸとし、垂直方向のマクロブロックインデックスをｍｂＩｄｘＹとするとき、下記の条件を満足すると関数ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）は‘ＴＲＵＥ’（または‘１’）値をリターンすることができる。
mbIdxX ≧ (ScaledBaseLeftOffset + 15) / 16
mbIdxX ≦ (ScaledBaseLeftOffset + ScaledBaseWidth - 1) / 16
mbIdxY ≧ (ScaledBaseTopOffset + 15) / 16
mbIdxY ≦ (ScaledBaseTopOffset + ScaledBaseHeight - 1) / 16
【００５３】
ｍｂＩｄｘＸは、マクロブロックアドレスと水平方向のマクロブロック個数を用いて導出できる。ｍｂＩｄｘＹは、マクロブロック適応型フレームフィールドが適用されるか否かによって導出する方式が異なっていてもよい。例えば、マクロブロック適応型フレーム-フィールドが適用される場合には、マクロブロック対を考慮して導出することができる。このマクロブロック対を考慮するとき、上位マクロブロック（ｔｏｐ  ｍａｃｒｏｂｌｏｃｋ）のインデックスをｍｂＩｄｘＹ０とし、下位マクロブロック（ｂｏｔｔｏｍ  ｍａｃｒｏｂｌｏｃｋ）のインデックスをｍｂＩｄｘＹ１とする。ｍｂＩｄｘＹ０はレイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上側位置差を表すオフセット情報と水平方向のマクロブロック個数情報から導出することができる。このとき、水平方向のマクロブロック個数情報は、現在ピクチャがフレームピクチャかフィールドピクチャかによってその値が異なっていてもよい。そして、ｍｂＩｄｘＹ１は、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上側位置差を表すオフセット情報と垂直方向のマクロブロック個数情報から導出することができる。一方、マクロブロック適応型フレームフィールドが適用されない場合には、ｍｂＩｄｘＹ０とｍｂＩｄｘＹ１は同一の値を持つことができる。
【００５４】
また、ＳｃａｌｅｄＢａｓｅＬｅｆｔＯｆｆｓｅｔは、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の左側位置差を表すオフセット情報を表す。このＳｃａｌｅｄＢａｓｅＴｏｐＯｆｆｓｅｔは、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上側位置差を表すオフセット情報を表す。ＳｃａｌｅｄＢａｓｅＷｉｄｔｈは、アップサンプリングされたピクチャの水平方向幅を表し、ＳｃａｌｅｄＢａｓｅＨｅｉｇｈｔは、アップサンプリングされたピクチャの垂直方向高さを表す。
【００５５】
上の条件を一つでも満足しない場合、関数ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）は‘ＦＡＬＳＥ’（または‘０’）値をリターンすることができる。
【００５６】
現在ブロック（ＣｕｒｒＭｂＡｄｄｒ）内の少なくとも一つ以上のピクセルに対して対応するピクセルがアップサンプリングされたベースレイヤにない場合、すなわち、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘ＦＡＬＳＥ’値をリターンする場合、レイヤ間予測と関連した一部情報は、エンハンスドレイヤで使用されなくなり、よって、このような情報は転送しなくても良い。したがって、本発明の実施例では、iｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて対応するベースレイヤ領域がないと確認されると、該当の映像ブロックに対してはレイヤ間予測と関連した情報の転送を省略することができる。
【００５７】
本発明の一実施例として、上記関数ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）を用いてコーディングする場合について説明すると、下記の通りである。
【００５８】
エンハンスドレイヤエンコーディング部１０６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在ブロックに対応する領域がベースレイヤに存在すると確認された場合、ベースレイヤのテキスチャ及び／または動き情報を用いてレイヤ間予測を行う。このとき、動き情報には、レファレンスインデックス情報、動きベクトル情報、パーティション情報などを含むことができる。
【００５９】
また、エンハンスドレイヤエンコーディング部１０６は、テキスチャ及び／または動き情報に対してベースレイヤのものをそのまま用いるか、またはそれから導出する場合、それを指示する指示情報をエンハンスドレイヤのデータストリームに追加し、デコーダ１１０に知らせることができる。しかし、エンハンスドレイヤエンコーディング部１０６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在映像ブロックに対応する領域がベースレイヤに存在しないと確認される場合、レイヤ間予測なしでエンハンスドレイヤを生成できる。一方、デコーダ１１０においてｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在ブロックに対応する領域がベースレイヤに存在しないと確認されると、デコーダ１１０は、指示情報が転送されなかったと判断する。
【００６０】
図５及び図６は、本発明が適用される実施例で、レイヤ間予測を通じたマクロブロック予測及びサブマクロブロック予測と関連したシンタックスを示す図である。
【００６１】
レイヤ間予測を行うようになる場合、現在ＮＡＬのスライスデータにおいてレイヤ間予測と関連した情報がデコーダに転送される。例えば、エンハンスドレイヤの現在ブロックの動きベクトル予測時に、ベースレイヤの動きベクトルを用いるか否かを表すフラグ（ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌｘ）をマクロブロックレイヤから獲得できる。本発明の実施例で、デコーダではｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を確認することによってレイヤ間予測に関連した情報がエンコーダから転送されたのか否かがわかる（５１０，６１０）。例えば、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）によって現在映像ブロックに対応する領域がベースレイヤに存在しない場合、ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌ０／ｌｌフラグは、ビットストリームで転送しなくても良い（５２０／５３０、６２０／６３０）。
【００６２】
また、動きベクトル予測と関連した情報がマクロブロック内に存在するか否かを表すフラグ（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を、現在ＮＡＬのスライスデータから獲得することができる。本発明の実施例では、ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇとｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を全て確認することによって、レイヤ間予測に関連した情報をエンコーダから転送しなくて済む（５１０）。例えば、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）によって現在映像ブロックに対応する領域がベースレイヤに存在しないか、ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇによって動きベクトル予測と関連した情報がマクロブロック内に存在しない場合には、ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌ０／ｌ１フラグを転送しなくても良い（５２０／５３０、６２０／６３０））。このような技術的思想は、図６に示すサブマクロブロック予測でも同様に適用することができる。
【００６３】
このように、上記の２つの情報を全て確認し、２つの条件をいずれも満足する場合にのみレイヤ間予測と関連した情報を転送することによって、コーディング効率を上げることができる。
【００６４】
図７は、本発明が適用される実施例で、レイヤ間予測を通じたレジデュアル予測と関連したシンタックスを示す図である。
【００６５】
レイヤ間予測を行うようになる場合、現在ＮＡＬのスライスデータにおいてレイヤ間予測と関連した情報がデコーダに転送される。例えば、現在ブロックのレジデュアル信号を予測する場合、ベースレイヤのレジデュアル信号を用いるか否かを表すフラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）をマクロブロックレイヤから獲得できる（７４０）。このとき、ベースレイヤは、レイヤ・リプレゼンテーション情報よりわかる。本発明の実施例では、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を確認することによって、レイヤ間予測に関連した情報をエンコーダに転送しなくても済む。
【００６６】
例えば、マクロブロック内にレジデュアル信号の予測と関連した情報が存在するか否かを表す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）及び現ブロックのスライスタイプの情報によって（７１０）、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを獲得できる。ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇに従って獲得することもできる。また、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは、現在マクロブロックのタイプ（ｍｂ＿ｔｙｐｅ）がベースレイヤの対応領域から誘導される場合であるか否かを示す（７２０）。ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、現在マクロブロックのタイプ及びｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）の機能に従って獲得することもできる。例えば、マクロブロックとサブマクロブロックのタイプがイントラモードでなく（MbPartPredType(mb_type,0)!=Intra_16x16(8x8及び4x4)）、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）の値が‘ｔｒｕｅ’である場合、即ち現在マクロブロックに対応する領域がベースレイヤに存在することを示す場合に、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを獲得できる（７３０）。現在マクロブロックのタイプがイントラモードではないか、現在マクロブロックに対応する領域がベースレイヤに存在しない場合（ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘０’である場合）には、レジデュアル予測は実行されない。そして、エンコーダ１０２では、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを含めない状態でエンハンスドレイヤを生成することとなる。
【００６７】
ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが‘１’である場合、レジデュアル信号はベースレイヤのレジデュアル信号から予測されるが、‘０’である場合にレジデュアル信号は予測されずにそのままエンコーディングされる。また、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが存在しない場合には、次のように導出することができる。例えば、下記のような条件をいずれも満たす場合に限ってｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが、あらかじめ定められた値（ｄｅｆａｕｌｔ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）として導出することができる。第一に、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇが‘１’であるか、またはマクロブロックがイントラモードを指してはならない。第二に、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘１’でなければならない。第三に、レイヤ間予測が用いられるか否かを表すフラグ（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）が０でなければならない。第四に、スライスタイプがＥＩスライスであってはならない。そうでなければ‘０’として導出することができる。
【００６８】
一方、エンハンスドレイヤデコーディング部１１６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在映像ブロックに対応する領域がベースレイヤに存在しないと確認される場合、マクロブロックまたはサブマクロブロック内に動き予測フラグ（ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）情報が存在しないと判断し、レイヤ間予測無しでエンハンスドレイヤのデータビットストリームのみで映像信号を復元することができる。また、エンハンスドレイヤデコーディング部１１６は、レジデュアル予測に関するシンタックスエレメントがエンハンスドレイヤのデータビットストリームに含まれていない場合にレジデュアル予測フラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を導出することができる。このとき、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在映像ブロックに対応する領域がベースレイヤに存在するか否かを考慮することができる。そして、エンハンスドレイヤデコーディング部１１６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘０’である場合、現在映像ブロックに対応する領域がベースレイヤに存在しないと確認することができる。この場合、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを‘０’と導出し、ベースレイヤのレジデュアル信号を用いるレジデュアル予測なしでエンハンスドレイヤのデータのみで映像信号を復元することができる。
【００６９】
図８は、本発明が適用される実施例で、レイヤ間予測を行うか否かによって、適応予測情報を獲得するためのシンタックス構造を示す図である。
【００７０】
本発明の実施例では、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、レイヤ間予測に関連した情報をエンコーダから転送しなくても済む。スケーラブルビデオコーディングされたビットストリームの属性情報は、ＮＡＬヘッダの拡張領域から獲得することができる。例えば、レイヤ間予測が用いられるか否かを表す情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）に基づいて適応予測情報を獲得できる（８１０）。この適応予測情報は、予測と関連したシンタックスが対応する位置に存在するか否かを表すことができる。例えば、スライスヘッダとマクロブロックレイヤに予測と関連したシンタックスが存在するか否かを表す情報（ａｄａｐｔｉｖｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）、動き予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを表す情報（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）、レジデュアル予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを表す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）などがあり得る。
【００７１】
レイヤ間予測が用いられるか否かを表す情報によってレイヤ間予測が行われる場合、まず、スライスデータの存在の有無を表す情報（ｓｌｉｃｅ＿ｓｋｉｐ＿ｆｌａｇ）を獲得できる（８２０）。このスライスデータの存在の有無を表す情報を確認することによって、レイヤ間予測を行うべくマクロブロック内の情報を導出するか否かを決定することができる。スライスデータの存在の有無を表す情報によってスライス内にスライスデータが存在する場合（８３０）、適応予測フラグ（ａｄａｐｔｉｖｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を獲得できる（８４０）。そして、マクロブロックレイヤにレジデュアル予測と関連したシンタックスが存在するか否かを表す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）も獲得できる（８８０）。この適応予測フラグによって、ベースレイヤの対応ブロックから、動き情報などを予測するか否かを表す情報をどのように導出するかを表す情報（ｄｅｆａｕｌｔ＿ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ）を獲得できる（８５０）。これにより、ベースレイヤの対応ブロックから動き情報などが予測されない場合（８５５）、動き予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを表す情報（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を獲得できる（８６０）。また、動き予測と関連したシンタックスがマクロブロックレイヤに存在しない場合（８６５）、動き予測フラグ情報をどのように推論するかを表す情報（ｄｅｆａｕｌｔ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を獲得できる（８７０）。
【００７２】
動き予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを表す情報（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）とマクロブロックレイヤにレジデュアル予測と関連したシンタックスが存在するか否かを表す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）は、マクロブロックレイヤ内で用いることができる。例えば、ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに基づいてベースレイヤの動きベクトルを用いるか否かを表すフラグ（ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌｘ）を獲得できる。また、ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに基づいてベースレイヤのレジデュアル信号を用いるか否かを表すフラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を獲得できる。
【００７３】
以上説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送の送／受信装置に備えられ、ビデオ信号及びデータ信号などを復号化するのに使うことができる。また、マルチメディア放送の送／受信装置は、移動通信端末機を含むことができる。
【００７４】
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行できるようなプログラムとして製作され、コンピュータが読み取りできる記録媒体に記憶することができ、本発明によるデータ構造を持つマルチメディアデータも、コンピュータが読み取りできる記録媒体に記憶することができる。このコンピュータが読み取りできる記録媒体は、コンピュータシステムによって読み取り可能なデータが記憶される全ての種類の記憶装置を含む。コンピュータが読み取りできる記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた転送）の形態で実現されるものも含む。また、上記エンコーディング方法によって生成されたビットストリームは、コンピュータが読み取りできる記録媒体に記憶し、または有／無線通信網を介して転送することができる。
【００７５】
以上説明してきた本発明の好適な実施例は、例示の目的で開示されたもので、添付の特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施例として改良、変更、代替または付加などが可能であるということは、当業者にとっては明らかである。
【図面の簡単な説明】
【００７６】
【図１】本発明が適用されるスケーラブルビデオコーディングシステムを示す概略的なブロック図である。
【図２】本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加することのできるスケーラブル映像に関する属性情報及びこれを説明するためのピクチャの構造を示す図である。
【図３】本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加することのできるスケーラブル映像に関する属性情報及びこれを説明するためのピクチャの構造を示す図である。
【図４】本発明が適用される実施例で、サンプリングされたベースレイヤとエンハンスドレイヤとのクロッピング関係を示す図である。
【図５】本発明が適用される実施例で、レイヤ間予測を通じたマクロブロック予測と関連したシンタックスを示す図である。
【図６】本発明が適用される実施例で、レイヤ間予測を通じたサブマクロブロック予測と関連したシンタックスを示す図である。
【図７】本発明が適用される実施例で、レイヤ間予測を通じたレジデュアル予測と関連したシンタックスを示す図である。
【図８】本発明が適用される実施例で、レイヤ間予測を行うか否かによって、適応予測情報を獲得するためのシンタックス構造を示す図である。
【図１】
2009540666.tif 000003
【図２】
2009540666.tif 000004
【図３】
2009540666.tif 000005
【図４】
2009540666.tif 000006
【図５】
2009540666.tif 000007
【図６】
2009540666.tif 000008
【図７】
2009540666.tif 000009
【図８】
2009540666.tif 000010
【国際調査報告】
2009540666.tif 000011
2009540666.tif 000012