(57)【要約】【課題】レイヤ間予測が用いられた現在レイヤをデコーディングする方法を提供する。【解決手段】現在レイヤ上の現在ブロックがレイヤ間予測を用いてコーディングされるか否かを示す第１フラグ情報を得る段階と、現在ブロックのクオリティを特定するクオリティ識別情報を得る段階と、第１フラグ情報とクオリティ識別情報に基づいてデブロッキングフィルタの特性を制御する情報を得る段階と、デブロッキングフィルタの特性を制御する情報を用いてデブロッキングフィルタリングを行う段階と、を含むビデオ信号デコーディング方法を提供する。【選択図】図2
2009538086.tif 000002
【特許請求の範囲】
【請求項１】
レイヤ間予測が用いられた現在レイヤをデコーディングする方法であって、
現在レイヤ上の現在ブロックがレイヤ間予測を用いてコーディングされるか否かを示す第１フラグ情報を得る段階と、
前記現在ブロックのクオリティを特定するクオリティ識別情報を得る段階と、
前記第１フラグ情報と前記クオリティ識別情報とに基づいてデブロッキングフィルタの特性を制御する情報を得る段階と、
前記デブロッキングフィルタの特性を制御する情報を用いてデブロッキングフィルタリングを行う段階と、
を含むことを特徴とするビデオ信号のデコーディング方法。
【請求項２】
前記デブロッキングフィルタの特性を制御する情報が、デブロッキングフィルタの動作方法を示す情報及びデブロッキングフィルタリング時に必要なオフセット情報を含む、請求項１に記載のビデオ信号のデコーディング方法。
【請求項３】
前記デブロッキングフィルタリング時に必要なオフセット情報が、前記デブロッキングフィルタの動作方法を示す情報の値に基づいて得られる、請求項２に記載のビデオ信号のデコーディング方法。
【請求項４】
前記デブロッキングフィルタの特性を制御する情報によって、フィルタリングされるエッジが異なる、請求項２に記載のビデオ信号のデコーディング方法。
【請求項５】
前記デブロッキングフィルタの特性を制御する情報の存在の有無を示す第２フラグ情報を得る段階をさらに含み、
前記デブロッキングフィルタの特性を制御する情報は、前記第１フラグ情報、前記クオリティ識別情報及び前記第２フラグ情報に基づいて得られる、請求項１に記載のビデオ信号のデコーディング方法。
【請求項６】
第１レイヤのビットストリームをデコーディングするベースレイヤデコーディング部と、
第２レイヤの現在ブロックに対してレイヤ間予測が行われるか否かを示すフラグ情報を得る第１ヘッダ情報取得部と、
前記第１フラグ情報に基づいてデブロッキングフィルタの特性を制御する情報を得る第２ヘッダ情報取得部と、
前記デブロッキングフィルタの特性を制御する情報を用いてデブロッキングフィルタリングを行うデブロッキングフィルタ部と、
を含むことを特徴とするビデオ信号のデコーディング装置。
【請求項７】
前記ビデオ信号が、放送信号として受信される、請求項１に記載のビデオ信号のデコーディング方法。
【請求項８】
前記ビデオ信号が、デジタル媒体を通じて受信される、請求項１に記載のビデオ信号のデコーディング方法。
【請求項９】
請求項１に記載された方法を実行させるためのプログラムを記録した、コンピュータ読取可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号のコーディング技術に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を、通信回線を通じて転送したり、保存媒体に適合した形態で保存したりする一連の信号処理技術を意味する。圧縮符号化の対象には、音声、映像、文字などがあり、特に、映像を対象にして圧縮符号化を行う技術を‘ビデオ映像圧縮’と称する。ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性を持っている点にある。
【０００３】
その中でも、スケーラブルビデオコーディングされたビットストリームは、その一部分のみを選択的にデコーディング可能である。例えば、低い複雑度のデコーダは、基本的なレイヤをデコーディングでき、低い転送率のビットストリームは、制限された容量を持つネットワークを通じた転送のために抽出可能である。徐々に高い解像度のイメージを生成できるようにするためには映像の画質を段階別に増加させる必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、ビデオ信号のコーディング効率を上げることに関する。
【０００５】
本発明の目的は、ビデオ信号をコーディングする時にコーディング効率を向上させるための方法を提供することにある。
【０００６】
本発明の他の目的は、参照レイヤに対応するエンハンスドレイヤの領域がない場合に、レイヤ間予測と関連した情報の転送を最小限にする方法を提供することにある。
【０００７】
本発明のさらに他の目的は、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にする方法を提供することにある。
【０００８】
本発明のさらに他の目的は、レイヤ間予測が行われるか否かを示す情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にする方法を提供することにある。
【０００９】
本発明のさらに他の目的は、クオリティ識別情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にする方法を提供することにある。
【００１０】
本発明のさらに他の目的は、スライス境界の取り扱いを示す情報を定義することによって、ビデオ信号のコーディング効率を上げる方法を提供することにある。
【００１１】
本発明のさらに他の目的は、スケーラブルビデオコーディングされたビットストリームの属性情報を適切な位置で確認することによって、ビデオ信号のコーディング効率を上げることのできる方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するための本発明は、レイヤ間予測が用いられた現在レイヤをデコーディングする方法において、現在レイヤ上の現在ブロックがレイヤ間予測を用いてコーディングされるか否かを示す第１フラグ情報を得る段階と、現在ブロックのクオリティを特定するクオリティ識別情報を得る段階と、第１フラグ情報とクオリティ識別情報とに基づいてデブロッキングフィルタの特性を制御する情報を得る段階と、デブロッキングフィルタの特性を制御する情報を用いてデブロッキングフィルタリングを行う段階と、を含むことを特徴とするビデオ信号デコーディング方法を提供する。
【００１３】
また、デブロッキングフィルタの特性を制御する情報は、デブロッキングフィルタの動作方法を示す情報及びデブロッキングフィルタリング時に必要なオフセット情報を含むことを特徴とする。
【００１４】
また、デブロッキングフィルタリング時に必要なオフセット情報は、デブロッキングフィルタの動作方法を示す情報の値に基づいて得られることを特徴とする。
【００１５】
また、デブロッキングフィルタの特性を制御する情報によってフィルタリングされるエッジが異なってくることを特徴とする。
【００１６】
また、上記ビデオ信号デコーディング方法は、デブロッキングフィルタの特性を制御する情報の存在の有無を示す第２フラグ情報を得る段階をさらに含み、デブロッキングフィルタの特性を制御する情報は、第１フラグ情報、クオリティ識別情報及び第２フラグ情報に基づいて得られることを特徴とする。
【発明の効果】
【００１７】
本発明は、エンハンスドレイヤの現在ブロックがレイヤ間予測を用いることができるか否かを確認することによって、エンハンスドレイヤの現在ブロックがレイヤ間予測を使用しない場合には、レイヤ間予測に用いられるコーディング情報を転送する必要がなくなるので、コーディング効率を上げることができる。また、スケーラブルビデオコーディングされたビットストリームの属性情報を適切な位置で確認することによって、レイヤ間予測に関連した情報の転送を最小化できる。例えば、レイヤ間予測が行われるか否かを示す情報及び／またはクオリティ識別情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にすることができる。また、本発明は、スライス境界の取り扱いを示す情報を定義することによって、パラレルプロセシングが可能になる。このような様々な方法を用いてビデオ信号のコーディング効率を顕著に向上させることができる。
【発明を実施するための最良の形態】
【００１８】
ビデオ信号データを圧縮符号化する技術は、空間的冗長性、時間的冗長性、スケーラブルな冗長性、視点間に存在する冗長性を考慮している。スケーラブルな冗長性を考慮する圧縮コーディングに関する技術は本発明の実施例に過ぎず、本発明の技術的思想は、時間的冗長性、空間的冗長性、視点間冗長性等にも適用することができる。また、本明細書でいうコーディングとは、エンコーディングとデコーディングの概念を両方とも含み、本発明の技術的思想及び技術的範囲によって柔軟に解釈されうる。
【００１９】
ビデオ信号のビット列構成について説明すると、動画像符号化処理それ自体を扱うＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ；ビデオ符号化階層）と、符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ；ネットワーク抽象階層）との分離した階層構造で定義されている。符号化過程の出力はＶＣＬデータで、転送したり保存したりする前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（Ｒａｗ  Ｂｙｔｅ  Ｓｅｑｕｅｎｃｅ  Ｐａｙｌｏａｄ；動画像圧縮の結果データ）を含む。
【００２０】
ＮＡＬ単位は、基本的に、ＮＡＬヘッダとＲＢＳＰとの２部分で構成される。ＮＡＬヘッダには、そのＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示すフラグ情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）と、ＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）とが含まれている。ＲＢＳＰには圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの末尾にＲＢＳＰ埋め草ビットを付加する。このようなＮＡＬ単位の種類にはＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ；瞬間復号リフレッシュ）ピクチャ、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ；シーケンスパラメータセット)、ＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ；ピクチャパラメータセット)、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ；補充的付加情報）などがある。
【００２１】
したがって、ＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が、スケーラブルビデオコーディングされたスライスであることを表す場合、スケーラブルコーディングに関する様々な属性情報を追加することによってコーディング効率を上げることができる。例えば、現在アクセスユニットが瞬間復号リフレッシュ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ；以下、‘ＩＤＲ’という。）アクセスユニットか否かを示すフラグ情報、空間的スケーラビリティを示す識別情報、クオリティ識別情報、レイヤ間予測が使われるか否かを示すフラグ情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報、時間的スケーラビリティを示す識別情報、優先順位識別情報などを追加することができる。これについては、図２で詳細に後述する。
【００２２】
また、規格では、対象製品を適当な費用で実現可能とすべく様々なプロファイル及びレベルで制約しているが、復号器は、当該プロファイルとレベルで定められた制約を満たさなければならない。このように、復号器がどんな圧縮映像の範囲まで対応できるかを表現する機能またはパラメータを表すためにプロファイルとレベルという２種類の概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別子（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別子とは、ビットストリームが基盤としているプロファイルを表すフラグを意味する。例えば、Ｈ．２６４／ＡＶＣでは、プロファイル識別子が６６であればベースラインプロファイルに基づくということを意味し、７７であればメインプロファイルに基づくということを意味し、８８であれば拡張プロファイルに基づくということを意味する。これらのプロファイル識別子はシーケンスパラメータセットに含まれうる。
【００２３】
したがって、スケーラブル映像を扱うためには、入力されるビットストリームがスケーラブル映像に関するプロファイルか否かを識別し、スケーラブル映像に関するプロファイルとして識別されると、スケーラブル映像に関する一つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、スケーラブル映像に関するプロファイルとは、Ｈ．２６４／ＡＶＣの追加方式であって、スケーラブルビデオを扱うプロファイルモードを示す。ＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）は、既存ＡＶＣ技術に対する追加方式であるから、無条件のシンタックスを追加するよりもＳＶＣモードに対する追加情報としてシンタックスを追加する方がより効率的となりうる。例えば、ＡＶＣのプロファイル識別子がスケーラブル映像に関するプロファイルを表す時にスケーラブル映像に関する情報を追加すると、符号化効率を上げることができる。
【００２４】
以下、ビデオ信号の効率的なデコーディング方法を提供するための多様な実施例について説明する。
【００２５】
図１は、本発明が適用されるスケーラブルビデオコーディングシステムを示す概略的なブロック図である。
【００２６】
多様な通信環境と多様な端末機に最適化された映像を提供するためには、端末機に提供される映像もまた多様に用意されなければならない。端末機ごとにそれに最適化した映像を提供するということは、一つの映像源を、秒当たり転送フレーム数、解像度、ピクセル当たりビット数など様々な変数の組み合わせられた値に対して具備していなければならないということを意味するので、コンテンツプロバイダには負担とならざるを得ない。このような理由から、コンテンツプロバイダは原映像を高速ビットレートの圧縮映像データにエンコーディングしておき、端末機から映像要請が受信される場合に原映像をデコーディングした後、端末機の映像処理能力に合う映像データに再びエンコーディングして提供することができる。しかし、このようなトランスコーディングでは、エンコーディング−デコーディング−エンコーディングというプロセスが行われるから、映像提供において時間遅延が生じ、よって、複雑なハードウェアのデバイスとアルゴリズムがさらに要求される。
【００２７】
これに対し、スケーラブルビデオコーディング（ＳＶＣ）方式は、ビデオ信号のエンコーディングにおいて、最高画質でエンコーディングするが、その結果として生成されたピクチャシーケンスの部分シーケンスのみをデコーディングして使用しても映像表現が可能となるようにする方式である。ここで、部分シーケンスとは、シーケンス全体から間欠的に選択されたフレームからなるシーケンスを意味するものである。ＳＶＣでエンコーディングされたピクチャシーケンスは、低いビットレートに対して空間的スケーラビリティを用いて映像のサイズを縮めることもできる。また、クオリティスケーラビリティを用いて映像の画質を落とすこともできる。このとき、小画面及び／または秒当たりフレーム数などが少ないピクチャシーケンスをベースレイヤとし、相対的に大画面及び／または秒当たりフレーム数などが多いシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
【００２８】
ところが、上述したようなスケーラブル方式でエンコーディングされたピクチャシーケンスは、その部分シーケンスのみを受信して処理するだけで低画質の映像表現が可能であるが、ビットレートが低くなる場合には画質低下が大きく現れる。これを解消するために、低い転送率のための別の補助ピクチャシーケンス、例えば、小画面及び／または秒当たりフレーム数などが少ないピクチャシーケンスを提供しても良い。このような補助シーケンスをベースレイヤとし、主ピクチャシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
【００２９】
本明細書では、レイヤ間予測のための様々な実施例の説明において、第１レイヤと第２レイヤという概念が適用される。例えば、第２レイヤは、第１レイヤと異なる空間解像度または異なる画面比率を持つことができる。または、第２レイヤは、第１レイヤと異なる画質を持つことができる。具体的な例として、第１レイヤはベースレイヤで、第２レイヤはエンハンスドレイヤであってもよい。または、レイヤ間予測を行う際に、第１レイヤは参照レイヤ、第２レイヤは現在レイヤであってもよい。したがって、以下で説明するベースレイヤとエンハンスドレイヤは一実施例に過ぎず、これに限定して解釈してはならない。
【００３０】
次に、スケーラブルビデオコーディングシステムについてより具体的に説明する。スケーラブルビデオコーディングシステムは、エンコーディング装置１０２とデコーディング装置１１０とを含む。エンコーディング装置１０２は、ベースレイヤエンコーディング部１０４、エンハンスドレイヤエンコーディング部１０６及びマルチプレクシング部１０８を含み、デコーディング装置１１０は、デマルチプレクシング部１１２、ベースレイヤデコーディング部１１４及びエンハンスドレイヤデコーディング部１１６を含むことができる。ベースレイヤエンコーディング部１０４は、入力された映像信号Ｘ（ｎ）を圧縮してベースビットストリームを生成することができる。エンハンスドレイヤエンコーディング部１０６は、入力映像信号Ｘ（ｎ）とベースレイヤエンコーディング部１０４により生成される情報とを用いてエンハンスドレイヤビットストリームを生成することができる。マルチプレクシング部１０８は、ベースレイヤビットストリームとエンハンスドレイヤビットストリームとを用いてスケーラブルビットストリームを生成することができる。
【００３１】
このようにして生成されたスケーラブルビットストリームは、所定チャネルを通じてデコーディング装置１１０に転送され、転送されたスケーラブルビットストリームは、デコーディング装置１１０のデマルチプレクシング部１１２によりエンハンスドレイヤビットストリームとベースレイヤビットストリームとに区分できる。ベースレイヤデコーディング部１１４は、ベースレイヤビットストリームを受信し、イントラマクロブロックの映像信号とインターブロックのレジデュアル及び動き情報を復号する。このとき、シングルループデコーディング方式に基づいて復号すれば良い。
【００３２】
エンハンスドレイヤデコーディング部１１６は、エンハンスドレイヤビットストリームを受信し、ベースレイヤデコーディング部１１４で復元された信号を参照して出力映像信号Ｘｅ（ｎ）を復号する。ここで、出力映像信号Ｘｂ（ｎ）は、出力映像信号Ｘｅ（ｎ）に比べて画質が低いか解像度が低い映像信号になる。
【００３３】
上記エンハンスドレイヤデコーディング部１１６は、第１ヘッダ情報取得部、第２ヘッダ情報取得部、デブロッキングフィルタ部及びアップサンプリング部を含むことができる。第１ヘッダ情報取得部では、ＮＡＬのヘッダからビットストリームの属性情報を得ることができる。例えば、クオリティ識別情報、レイヤ間予測が用いられるか否かを示す情報などを得ることができる。第２ヘッダ情報取得部では、スライスヘッダからビットストリームの属性情報を得ることができる。例えば、アップサンプリング過程においてスライス境界に対する取り扱いを示す情報、デブロッキングフィルタの動作に関連した情報、色差信号の位相変化に関する情報、ピクチャ間の位置差を示すオフセット情報及び適応予測を行うか否かを示す情報などを得ることができる。デブロッキングフィルタ部では、デブロッキングフィルタの動作に関連した情報を用いてデブロッキングフィルタリングを行うことができる。アップサンプリング部では、レイヤ間予測のためにピクチャ間の位置差を示すオフセット情報を用いて第１レイヤをアップサンプリングできる。このようにアップサンプリングされた第１レイヤの情報を用いてレイヤ間予測を行うことができる。
【００３４】
このように、エンハンスドレイヤエンコーディング部１０６とエンハンスドレイヤデコーディング部１１６では、レイヤ間予測方法を用いてコーディングを行うこととなる。レイヤ間予測とは、ベースレイヤの動き情報及び／またはテキスチャ情報を用いてエンハンスドレイヤの映像信号を予測することを意味する。ここで、テキスチャ情報とは、イメージデータあるいはマクロブロックに属するピクセル値を意味する。ベースレイヤのテキスチャ情報を用いるレイヤ間予測方法には、例えば、イントラベース予測モードとレジデュアル予測モードとがある。イントラベース予測モードとは、ベースレイヤの対応する領域を基礎にしてエンハンスドレイヤのブロックを予測するモードを意味する。このとき、ベースレイヤの対応する領域は、イントラモードでコーディングされた領域を意味する。一方、レジデュアル予測モードは、イメージ差値であるレジデュアルデータを持つようにコーディングされた、ベースレイヤの対応領域を用いることができる。このとき、ベースレイヤの対応領域はサンプリングを通じて拡大または縮小して使用できる。サンプリングとは、イメージ解像度を変化させることを意味する。このサンプリングは、リサンプリング、ダウンサンプリング、アップサンプリングなどを含むことができる。例えば、レイヤ間予測を行うためにイントラサンプルをリサンプリングすることができる。または、ダウンサンプリングフィルタを用いてピクセルデータを再生成することによってイメージ解像度を小さくすることができるが、これをダウンサンプリングという。または、アップサンプリングフィルタを用いていくつかの追加的なピクセルデータを生成することによってイメージ解像度を大きくすることができるが、これをアップサンプリングという。リサンプリングはダウンサンプリングとアップサンプリングの概念を含むことができる。本明細書でサンプリングという言葉は、実施例の技術的思想及び技術的範囲によって適切に解釈することができる。
【００３５】
一方、同一の映像コンテンツに対して相互に異なる用途または目的のためにベースレイヤとエンハンスドレイヤが生成され、よって、空間的解像度、フレームレート、ビットレートなどが互いに異なっていてもよい。レイヤ間予測方法によって映像信号をコーディングするとき、エンハンスドレイヤとベースレイヤとの空間的解像度の割合が２の倍数でない場合（ｎｏｎ−ｄｙａｄｉｃ  ｃａｓｅ）を、拡張された空間的スケーラビリティ（ＥＳＳ：Ｅｘｔｅｎｄｅｄ  Ｓｐａｔｉａｌ  Ｓｃａｌａｂｉｌｉｔｙ）と呼ぶ。例えば、横：縦が１６:９の比率の映像信号に対してレイヤ間予測方法によってエンハンスドレイヤをコーディングするとき、４：３の比率の画面にコーディングされたベースレイヤを用いなければならない場合が起こり得る。この場合、ベースレイヤは、原映像信号の一部が切り取られた状態でコーディングされるため、レイヤ間予測のために拡大されてもエンハンスドレイヤの一部領域はカバーできなくなる。したがって、エンハンスドレイヤの一部領域は、アップサンプリングされるベースレイヤで対応する領域がないため、ベースレイヤを利用できなくなることがある。すなわち、これは、一部領域に対してはレイヤ間予測方法を適用できないということを意味する。このような場合、レイヤ間予測に用いられるコーディング情報を転送しなくても良い。これについての具体的な実施例は、図５〜図８で詳細に後述する。
【００３６】
図２及び図３は、本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加可能なスケーラブル映像に関する属性情報及びこれを説明するためのピクチャの構造を示す図である。
【００３７】
図２には、スケーラブル映像に関する属性情報が追加されることのできるＮＡＬ単位の構成の一例を示す。まず、ＮＡＬ単位は、ＮＡＬ単位のヘッダとＲＢＳＰ（Ｒａｗ  Ｂｙｔｅ  Ｓｅｑｕｅｎｃｅ  Ｐａｙｌｏａｄ：動画像圧縮の結果データ）とで構成することができる。そして、ＮＡＬ単位のヘッダでは、ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）とＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）とを含むことができる。また、制限的にＮＡＬ単位ヘッダの拡張領域も含むことができる。例えば、ＮＡＬ単位のタイプを示す情報がスケーラブルビデオコーディングと関連している場合、またはｐｒｅｆｉｘ  ＮＡＬ単位を表す場合に、ＮＡＬ単位はＮＡＬ単位ヘッダの拡張領域を含むことができる。具体的な例として、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝２０または１４のとき、ＮＡＬ単位は、ＮＡＬ単位ヘッダの拡張領域も含むことができる。また、ＮＡＬ単位ヘッダの拡張領域内では、ＳＶＣビットストリームなのか否かを識別できるフラグ情報（ｓｖｃ＿ｍｖｃ＿ｆｌａｇ）によってスケーラブル映像に関する属性情報を追加できる。
【００３８】
他の例として、ＮＡＬ単位のタイプを示す情報がサブセットシーケンスパラメータセットを示す情報である場合、ＲＢＳＰはサブセットシーケンスパラメータセットに関する情報を含むことができる。具体的な例として、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝１５の場合、ＲＢＳＰはサブセットシーケンスパラメータセットに関する情報、スライスレイヤに関する情報などを含むことができる。このとき、プロファイル情報によってサブセットシーケンスパラメータセットはシーケンスパラメータセットの拡張領域を含むことができる。例えば、プロファイル情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）がスケーラブルビデオコーディングに関連したプロファイルである場合、サブセットシーケンスパラメータセットはシーケンスパラメータセットの拡張領域を含むことができる。または、プロファイル情報によってシーケンスパラメータセットがシーケンスパラメータセットの拡張領域を含むことができる。シーケンスパラメータセットの拡張領域はレイヤ間予測のためのデブロッキングフィルタの特性を制御する情報、アップサンプリング過程のためのパラメータ関連情報などを含むことができる。次に、スケーラブル映像に関する様々な属性情報、例えば、ＮＡＬ単位ヘッダの拡張領域、シーケンスパラメータセットの拡張領域、またはスライスレイヤに含まれうる属性情報について具体的に説明する。
【００３９】
例えば、レイヤ間予測のためのデブロッキングフィルタの特性を制御する情報が存在するか否かを示すフラグ情報（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をシーケンスパラメータセットの拡張領域から得ることができる。上記デブロッキングフィルタの特性を制御する情報については図８で詳細に説明するものとする。また、アップサンプリング過程のためのパラメータ関連情報の位置を示す情報（ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ）をシーケンスパラメータセットの拡張領域から得ることができる。具体的な例として、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＝０なら、アップサンプリング過程のためのいかなるパラメータもシーケンスパラメータセットやスライスヘッダに存在しないということを意味する。そして、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＝１なら、アップサンプリング過程のためのパラメータがシーケンスパラメータセットに存在するということを意味する。ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＝２なら、アップサンプリング過程のためのパラメータがスライスヘッダに存在するということを意味する。上記アップサンプリング過程のためのパラメータについては図９で詳細に説明するものとする。
【００４０】
まず、レイヤ間予測が用いられるか否かを示す情報（４）とは、コーディングされたスライスをデコーディングする際にレイヤ間予測が用いられるか否かを示すフラグ情報を意味する。このフラグ情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、フラグ情報が１の場合、レイヤ間予測が用いられないということを意味する。そして、フラグ情報が０の場合には、マクロブロックレイヤでのコーディング方式によってレイヤ間予測が用いられても良く、用いられなくても良い。これは、マクロブロック単位でレイヤ間予測が用いられても良く、用いられなくても良いためである。
【００４１】
クオリティ識別情報（３）とは、ＮＡＬ単位に対するクオリティを特定する情報を意味する。この属性情報を説明するに当たって図３を用いることができる。例えば、一つのピクチャを相互に異なるクオリティのレイヤにコーディングできる。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１に在るレイヤがいずれもそれぞれ異なるクオリティのレイヤにコーディングすることができる。具体的な例として、ＮＡＬ単位に対するクオリティを特定する情報をｑｕａｌｉｔｙ＿ｉｄとするとき、Ｂ１，Ｂ２，…，Ｂ１０レイヤはｑｕａｌｉｔｙ＿ｉｄ＝０とし、Ｑ１，Ｑ２，…，Ｑ１０レイヤはｑｕａｌｉｔｙ＿ｉｄ＝１とすることができる。すなわち、Ｂ１，Ｂ２，…，Ｂ１０レイヤは画質の最も低いレイヤを意味することができる。これをベースピクチャという。Ｑ１，Ｑ２，…，Ｑ１０レイヤはそれぞれ、Ｂ１，Ｂ２，…，Ｂ１０レイヤを含みながらＢ１，Ｂ２，…，Ｂ１０レイヤよりも画質の高いレイヤに該当する。このようなクオリティ識別情報は多様に定義できる。例えば、１６段階で表現されることができる。
【００４２】
空間的スケーラビリティを示す識別情報とは、ＮＡＬ単位に対する依存関係を特定する情報を意味する。この属性情報を、図３を参照しつつ説明すると、次の通りである。例えば、空間的解像度によって依存関係が異なっていてもよい。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１のそれぞれに在るレイヤはそれぞれ、同一の解像度を持つことができる。Ｓｐａ＿Ｌａｙｅｒ０に在るレイヤは、Ｓｐａ＿Ｌａｙｅｒ１に在るレイヤをダウンサンプリングして得られたピクチャを含むことができる。具体的な例として、ＮＡＬ単位に対する依存関係を特定する情報をｄｅｐｅｎｄｅｎｃｙ＿ｉｄとするとき、Ｓｐａ＿Ｌａｙｅｒ０に在るレイヤのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝０とすることができ、Ｓｐａ＿Ｌａｙｅｒ１に在るレイヤのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝１とすることができる。このような依存関係識別情報は様々に定義することができる。このように、依存関係を特定する情報と同一の値を持っているＮＡＬ単位をディペンデンシ・リプレゼンテーションと表示することができる。
【００４３】
上記のクオリティ識別情報と依存関係を特定する情報によって一つのレイヤを定義することができる。このとき、クオリティ識別情報及び依存関係を特定する情報と同一の値を持っているＮＡＬ単位をレイヤ・リプレゼンテーションと表示することができる。
【００４４】
また、時間的スケーラビリティを示す識別情報とは、ＮＡＬ単位に対する時間的レベルを特定する情報を意味する。この時間的レベルは、階層的Ｂピクチャ構造で説明することができる。例えば、図３のＳｐａ＿Ｌａｙｅｒ０で（Ｂ１，Ｑ１）レイヤと（Ｂ３，Ｑ３）レイヤは同一の時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）を持つことができる。（Ｂ５，Ｑ５）レイヤが（Ｂ１，Ｑ１）レイヤと（Ｂ３，Ｑ３）レイヤを参照する場合、この（Ｂ５，Ｑ５）レイヤは（Ｂ１、Ｑ１）レイヤと（Ｂ３、Ｑ３）ピクチャの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ１）を持つことができる。同様に、（Ｂ７，Ｑ７）レイヤが（Ｂ１，Ｑ１）レイヤと（Ｂ５，Ｑ５）レイヤを参照する場合、この（Ｂ７、Ｑ７）レイヤは、（Ｂ５，Ｑ５）レイヤの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）を持つことができる。一つのアクセスユニット内に在る全てのＮＡＬ単位は、同一の時間的レベル値を持つことができる。また、ＩＤＲアクセスユニットの場合には、時間的レベル値が０になりうる。
【００４５】
参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報は、レイヤ間予測過程で参照ベースピクチャが参照ピクチャとして用いられるか、それともデコーディングされたピクチャが参照ピクチャとして用いられるかを表す。このフラグ情報は、同一のレイヤ上に在る、すなわち依存関係を特定する情報が同一であるＮＡＬ単位に対しては同一の値を持つことができる。
【００４６】
優先順位識別情報とは、ＮＡＬ単位の優先順位を特定する情報を意味する。これを用いてレイヤ間拡張性またはピクチャ間拡張性を提供することができる。例えば、優先順位識別情報を用いて使用者に様々な時間的レベル及び空間的レベルの映像を提供することができる。したがって、使用者は、所望する時間及び空間の映像のみを見ることもでき、異なる制限条件による映像のみを見ることもできる。この優先順位情報は、その基準条件によって様々な方法で設定することができる。また、この優先順位情報は、特別な基準によらずに任意に設定されても良く、デコーディング装置によって決定されても良い。
【００４７】
また、ＮＡＬ単位ヘッダの拡張領域に含まれることのできる属性情報には、現在アクセスユニットがＩＤＲアクセスユニットか否かを示すフラグ情報が含まれる。
【００４８】
また、スライスレイヤではレイヤ間予測のための様々な情報を含むことができる。例えば、アップサンプリング過程においてスライス境界に対する取り扱いを示す情報（５）、デブロッキングフィルタの動作に関連した情報（６）、色差信号の位相変化に関する情報（７）、ピクチャ間の位置差を示すオフセット情報（８）及び適応予測を行うか否かを示す情報（９）などを含むことができる。これらの情報はスライスヘッダから得ることができる。
【００４９】
デブロッキングフィルタの動作に関連した情報（６）の例としては、デブロッキングフィルタの動作方法を示す情報（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）、デブロッキングフィルタリング時に必要なオフセット情報（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２）等がある。
【００５０】
そして、色差信号の位相変化に関する情報（７）の例として、レイヤ間予測に用いられるピクチャの色差成分の水平、垂直位相変化に関する情報（ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｘ＿ｐｌｕｓ１、ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｙ＿ｐｌｕｓ１）がある。また、ピクチャ間の位置差を示すオフセット情報（８）の例として、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上、下、左、右の位置差を示すオフセット情報（ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ）がある。
【００５１】
また、アップサンプリング過程においてスライス境界に対する取り扱いを示す情報（５）の例として、第１レイヤに在る対応ブロックが第２レイヤの２個以上のスライスに亘っている場合、第２レイヤに在る現在ブロックに対して第１レイヤに在るイントラブロックを用いたレイヤ間予測使用制限の有無を示す情報（ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇ）がある。
【００５２】
また、適応予測を行うか否かを示す情報（９）は、スライスヘッダとマクロブロックレイヤ内に予測関連情報の存否を表すことができる。この適応予測を行うか否かを示す情報によっていかなる適応予測方法が用いられるかが決定されうる。これについては、図８で詳細に後述する。
【００５３】
図４は、本発明が適用される実施例で、サンプリングされたベースレイヤとエンハンスドレイヤとのクロッピング関係を示す図である。
【００５４】
スケーラブルビデオコーディングにおいて、エンハンスドレイヤの現在ブロックがレイヤ間予測を用いることができるか否かを確認することができる。例えば、現在ブロック内の全てのピクセルに対応する領域がベースレイヤに在るか否かを確認することができる。この確認の結果、エンハンスドレイヤの現在ブロックがレイヤ間予測に用いられない場合には、レイヤ間予測に用いられるコーディング情報を転送する必要がなくなるので、コーディング効率を上げることができる。
【００５５】
このように、エンハンスドレイヤの現在ブロックがレイヤ間予測を用いることができるか否かを確認できる関数を定義することができる。例えば、現在ブロック内の全てのピクセルに対応する領域がベースレイヤに在るか否かを確認できる関数として、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）を定義することができる。エンハンスドレイヤにおいて水平方向のマクロブロックインデックスをｍｂＩｄｘＸとし、垂直方向のマクロブロックインデックスをｍｂＩｄｘＹとするとき、下記の条件を満足すると関数ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）は‘ＴＲＵＥ’（または‘１’）値を返すことができる。
mbIdxX ≧ (ScaledBaseLeftOffset + 15) / 16
mbIdxX ≦ (ScaledBaseLeftOffset + ScaledBaseWidth - 1) / 16
mbIdxY ≧ (ScaledBaseTopOffset + 15) / 16
mbIdxY ≦ (ScaledBaseTopOffset + ScaledBaseHeight - 1) / 16
【００５６】
ｍｂＩｄｘＸは、マクロブロックアドレスと水平方向のマクロブロック個数を用いて導出できる。ｍｂＩｄｘＹは、マクロブロック適応型フレームフィールドが適用されるか否かによって異なる方式で導出されうる。例えば、マクロブロック適応型フレーム-フィールドが適用される場合には、マクロブロック対を考慮して導出されうる。このマクロブロック対を考慮するとき、上位マクロブロック（ｔｏｐ  ｍａｃｒｏｂｌｏｃｋ）のインデックスをｍｂＩｄｘＹ０とし、下位マクロブロック（ｂｏｔｔｏｍ  ｍａｃｒｏｂｌｏｃｋ）のインデックスをｍｂＩｄｘＹ１とする。ｍｂＩｄｘＹ０はレイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上側位置差を示すオフセット情報と水平方向のマクロブロック個数情報から導出されうる。このとき、水平方向のマクロブロック個数情報は、現在ピクチャがフレームピクチャかフィールドピクチャかによってその値が異なっていてもよい。そして、ｍｂＩｄｘＹ１は、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上側位置差を示すオフセット情報と垂直方向のマクロブロック個数情報から導出されうる。一方、マクロブロック適応型フレームフィールドが適用されない場合には、ｍｂＩｄｘＹ０とｍｂＩｄｘＹ１は同一の値を持つことができる。
【００５７】
また、ＳｃａｌｅｄＢａｓｅＬｅｆｔＯｆｆｓｅｔは、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の左側位置差を示すオフセット情報を表す。このＳｃａｌｅｄＢａｓｅＴｏｐＯｆｆｓｅｔは、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上側位置差を示すオフセット情報を表す。ＳｃａｌｅｄＢａｓｅＷｉｄｔｈは、アップサンプリングされたピクチャの水平方向幅を表し、ＳｃａｌｅｄＢａｓｅＨｅｉｇｈｔは、アップサンプリングされたピクチャの垂直方向高さを表す。
【００５８】
上の条件を一つでも満足しない場合、関数ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）は‘ＦＡＬＳＥ’（または‘０’）値を返すことができる。
【００５９】
現在ブロック（ＣｕｒｒＭｂＡｄｄｒ）内の少なくとも一つ以上のピクセルに対して対応するピクセルがアップサンプリングされたベースレイヤにない場合、すなわち、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘ＦＡＬＳＥ’値を返す場合、レイヤ間予測と関連した一部情報は、エンハンスドレイヤで使用されなくなり、よって、このような情報は転送しなくても良い。したがって、本発明の実施例では、iｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて対応するベースレイヤ領域がないと確認されると、当該映像ブロックに対してはレイヤ間予測と関連した情報の転送を省略することができる。
【００６０】
本発明の一実施例として、上記関数ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）を用いてコーディングする場合について説明すると、下記の通りである。
【００６１】
エンハンスドレイヤエンコーディング部１０６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在ブロックに対応する領域がベースレイヤに存在すると確認される場合、ベースレイヤのテキスチャ及び／または動き情報を用いてレイヤ間予測を行う。このとき、動き情報には、参照インデックス情報、動きベクトル情報、パーティション情報などが含まれうる。
【００６２】
また、エンハンスドレイヤエンコーディング部１０６は、テキスチャ及び／または動き情報に対してベースレイヤのものをそのまま用いるか、またはそれから導出する場合、それを指示する指示情報をエンハンスドレイヤのデータストリームに追加し、デコーダ１１０に知らせることができる。しかし、エンハンスドレイヤエンコーディング部１０６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在映像ブロックに対応する領域がベースレイヤに存在しないと確認される場合、レイヤ間予測なしでエンハンスドレイヤを生成できる。一方、デコーダ１１０においてｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在ブロックに対応する領域がベースレイヤに存在しないと確認されると、デコーダ１１０は、指示情報が転送されなかったと判断する。
【００６３】
図５及び図６は、本発明が適用される実施例で、レイヤ間予測を通じたマクロブロック予測及びサブマクロブロック予測と関連したシンタックスを示す図である。
【００６４】
レイヤ間予測を行うようになる場合、現在ＮＡＬのスライスデータにおいてレイヤ間予測と関連した情報がデコーダに転送される。例えば、エンハンスドレイヤの現在ブロックの動きベクトル予測時に、ベースレイヤの動きベクトルを用いるか否かを表すフラグ（ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌｘ）をマクロブロックレイヤから得ることができる。本発明の実施例で、デコーダではｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を確認することによってレイヤ間予測に関連した情報がエンコーダから転送されたのか否かがわかる（５１０，６１０）。例えば、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）によって現在映像ブロックに対応する領域がベースレイヤに存在しない場合、ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌ０／ｌ１フラグは、ビットストリームで転送しなくても良い（５２０／５３０、６２０／６３０）。
【００６５】
また、動きベクトル予測と関連した情報がマクロブロック内に存在するか否かを表すフラグ（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）が、現在ＮＡＬのスライスデータから得ることができる。本発明の実施例では、ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇとｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を全て確認することによって、レイヤ間予測に関連した情報はエンコーダから転送されなくてもよい（５１０）。例えば、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）によって現在映像ブロックに対応する領域がベースレイヤに存在しないか、ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇによって動きベクトル予測と関連した情報がマクロブロック内に存在しない場合には、ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌ０／ｌ１フラグを転送しなくても良い（５２０／５３０、６２０／６３０））。このような技術的思想は、図６に示すサブマクロブロック予測でも同様に適用することができる。
【００６６】
このように、上記の２つの情報を全て確認し、２つの条件をいずれも満足する場合にのみレイヤ間予測と関連した情報を転送することによって、コーディング効率を上げることができる。
【００６７】
図７は、本発明が適用される実施例で、レイヤ間予測を通じたレジデュアル予測と関連したシンタックスを示す図である。
【００６８】
レイヤ間予測を行うようになる場合、現在ＮＡＬのスライスデータにおいてレイヤ間予測と関連した情報がデコーダに転送される。例えば、現在ブロックのレジデュアル信号を予測する場合、ベースレイヤのレジデュアル信号を用いるか否かを表すフラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）をマクロブロックレイヤから得ることができる（７４０）。このとき、ベースレイヤは、レイヤ・リプレゼンテーション情報よりわかる。本発明の実施例では、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を確認することによって、レイヤ間予測に関連した情報がエンコーダによって転送されなくてもよい。
【００６９】
例えば、マクロブロック内にレジデュアル信号の予測と関連した情報が存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）及び現ブロックのスライスタイプの情報によって（７１０）、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを得ることができる。ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇに従って得ることもできる。また、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは、現在マクロブロックのタイプ（ｍｂ＿ｔｙｐｅ）がベースレイヤの対応領域から導出される場合であるか否かを示す（７２０）。ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、現在マクロブロックのタイプ及びｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）の機能に従って得ることもできる。例えば、マクロブロックとサブマクロブロックのタイプがイントラモードでなく（MbPartPredType(mb_type,0)!=Intra_16x16(8x8及び4x4)）、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）の値が‘ｔｒｕｅ’である場合、即ち現在マクロブロックに対応する領域がベースレイヤに存在することを示す場合に、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを得ることができる（７３０）。現在マクロブロックのタイプがイントラモードではないか、現在マクロブロックに対応する領域がベースレイヤに存在しない場合（ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘０’である場合）には、ｒｅｓｉｄｕａｌ予測は実行されない。そして、エンコーダ１０２では、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを含めない状態でエンハンスドレイヤを生成することとなる。
【００７０】
ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが‘１’である場合、レジデュアル信号はベースレイヤのレジデュアル信号から予測されるが、‘０’である場合にレジデュアル信号は予測されずにそのままエンコーディングされる。また、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが存在しない場合には、次のように導出することができる。例えば、下記のような条件をいずれも満たす場合に限ってｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが、あらかじめ定められた値（ｄｅｆａｕｌｔ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）として導出できる。第一に、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇが‘１’であるか、または現在マクロブロックのタイプがイントラモードであってはならない。第二に、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘１’でなければならない。第三に、レイヤ間予測が用いられるか否かを表すフラグ（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）が‘０’でなければならない。第四に、スライスタイプがＥＩスライスであってはならない。そうでなければ‘０’と導出できる。
【００７１】
一方、エンハンスドレイヤデコーディング部１１６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在映像ブロックに対応する領域がベースレイヤに存在しないと確認した場合、マクロブロックまたはサブマクロブロック内に動き予測フラグ（ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）情報が存在しないと判断し、レイヤ間予測無しでエンハンスドレイヤのデータビットストリームのみで映像信号を復元することができる。また、エンハンスドレイヤデコーディング部１１６は、レジデュアル予測に関するシンタックスエレメントがエンハンスドレイヤのデータビットストリームに含まれていない場合にレジデュアル予測フラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を導出することができる。このとき、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在映像ブロックに対応する領域がベースレイヤに存在するか否かを考慮することができる。そして、エンハンスドレイヤデコーディング部１１６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘０’である場合、現在映像ブロックに対応する領域がベースレイヤに存在しないと確認することができる。この場合、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを‘０’として導出し、ベースレイヤのレジデュアル信号を用いるレジデュアル予測なしでエンハンスドレイヤのデータのみで映像信号を復元することができる。
【００７２】
図８は、本発明が適用される実施例で、レイヤ間予測を行うか否かによってデブロッキングフィルタリングを行うためのシンタックス構造を示す図である。
【００７３】
本発明の実施例では、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、エンコーダはレイヤ間予測に関連した情報を転送しなくてもよい。スケーラブルビデオコーディングされたビットストリームの属性情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、レイヤ間予測が用いられるか否かを示す情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）とクオリティ識別情報（ｑｕａｌｉｔｙ＿ｉｄ）によって（８１０）、デブロッキングフィルタの動作に関連した情報を得ることができる。デブロッキングフィルタの動作に関連した情報の例としては、デブロッキングフィルタの動作方法を示す情報（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）、デブロッキングフィルタリング時に必要なオフセット情報（ｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２、ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２）などがある。
【００７４】
まず、デブロッキングフィルタの動作方法を示す情報は、デブロッキングフィルタの特性を制御する情報に基づいて得ることができる。デブロッキングフィルタの特性を制御する情報は、図２で説明したように、シーケンスパラメータセットの拡張領域から得ることができる。例えば、デブロッキングフィルタの特性を制御する情報として、レイヤ間予測のためのデブロッキングフィルタの特性を制御する情報が存在するか否かを示すフラグ情報（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿Ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）がある（８２０）。このフラグ情報によってデブロッキングフィルタの動作方法を示す情報を得ることができることとなる（８３０）。
【００７５】
具体的な例として、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝０の場合、現在ピクチャの全ての輝度信号と色差信号のブロックエッジに対してフィルタリングを行うことができる。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝１の場合には、現在ピクチャの全てのブロックエッジに対してフィルタリングを行わなくても良い。また、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝２の場合には、スライス境界が重なるブロックエッジを除外した全てのブロックエッジに対してフィルタリングを行うことができる。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝３の場合には、まず、スライス境界が重ならないブロックエッジに対してフィルタリングを行った後、続いてスライス境界が重なるブロックエッジに対してフィルタリングを行うことができる。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝４の場合には、輝度信号のブロックエッジに対してのみフィルタリングを行い、色差信号のブロックエッジに対してはフィルタリングを行わなくても良い。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝５の場合には、スライス境界が重なるブロックエッジを除外した全ての輝度信号のブロックエッジに対してフィルタリングを行い、色差信号のブロックエッジに対してはフィルタリングを行わなくても良い。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝６の場合には、色差信号のブロックエッジに対してはフィルタリングを行わずに輝度信号のブロックエッジに対してのみフィルタリングを行うことができる。まず、スライス境界が重ならない輝度信号のブロックエッジに対してフィルタリングを行った後、続いてスライス境界が重なる輝度信号のブロックエッジに対してフィルタリングを行うことができる。
【００７６】
上記デブロッキングフィルタの動作方法を示す情報に基づいて、デブロッキングフィルタリング時に必要なオフセット情報を得ることができる。例えば、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ値が１の場合には、全てのブロックエッジに対してデブロッキングフィルタリングを行わないので、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ値が１でない場合にのみ、デブロッキングフィルタリング時に必要なオフセット情報を得ることができる（８４０）。例えば、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２とｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２は、レイヤ間予測時にマクロブロック内でデブロッキングフィルタテーブルをアクセスする時に用いられるオフセット情報を意味する（８５０）。したがって、得られたオフセット情報を用いてデブロッキングフィルタリングを行うことが可能になる。
【００７７】
図９は、本発明が適用される実施例で、レイヤ間予測を行うか否かによって、アップサンプリングされたピクチャと現在ピクチャ間の位置差を示すオフセット情報を得るためのシンタックス構造を示す図である。
【００７８】
本発明の実施例では、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、エンコーダはレイヤ間予測に関連した情報を転送しなくてもよい。スケーラブルビデオコーディングされたビットストリームの属性情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、レイヤ間予測が用いられるか否かを示す情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）とクオリティ識別情報（ｑｕａｌｉｔｙ＿ｉｄ）によって（９１０）、アップサンプリング過程のためのパラメータ関連情報を得ることができる。このアップサンプリング過程のためのパラメータ関連情報の例としては、色差信号の位相変化に関する情報（９３０）、ピクチャ間の位置差を示すオフセット情報（９４０）などがある。パラメータ関連情報はシーケンスパラメータセットの拡張領域及びスライスヘッダから得ることができる。
【００７９】
色差信号の位相変化に関する情報（９３０）の例として、レイヤ間予測に用いられるピクチャの色差成分の水平位相変化に関する情報（ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｘ＿ｐｌｕｓ１）と垂直位相変化に関する情報（ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｙ＿ｐｌｕｓ１）がある。また、ピクチャ間の位置差を示すオフセット情報（９４０）の例として、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上、下、左、右位置差を示すオフセット情報（ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ）がある。
【００８０】
これらのパラメータ関連情報は、パラメータ関連情報の位置を示す情報（ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ）に基づいて得ることができる。例えば、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが０であれば、アップサンプリング過程のためのパラメータ情報は、シーケンスパラメータセットとスライスヘッダのどこにも存在しないということを意味する。ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１であれば、パラメータ情報は、シーケンスパラメータセットには存在するが、スライスヘッダには存在しないということを意味する。また、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが２であれば、パラメータ情報は、スライスヘッダには存在するが、シーケンスパラメータセットには存在しないということを意味する。したがって、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが２の場合に、スライスヘッダ内でパラメータ情報を制御できる（９２０）。また、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１の場合には、シーケンスパラメータセット内でパラメータ情報を制御できることとなる。
【００８１】
色差信号の位相変化に関する情報（９３０）とピクチャ間の位置差を示すオフセット情報（９４０）は、アップサンプリング過程で用いることができる。
【００８２】
図１０は、本発明が適用される実施例で、レイヤ間予測を行うか否かによって、参照レイヤに在るイントラブロックの使用制限の有無を示すフラグ情報を得るためのシンタックス構造を示す図である。
【００８３】
本発明の実施例では、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、エンコーダはレイヤ間予測に関連した情報を転送しなくてもよい。このスケーラブルビデオコーディングされたビットストリームの属性情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、レイヤ間予測が用いられるか否かを示す情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）とクオリティ識別情報（ｑｕａｌｉｔｙ＿ｉｄ）によって（１０１０）、アップサンプリング過程においてスライス境界に対する取り扱いを示す情報を得ることができる。スライス境界に対する取り扱いを示す情報の例としては、第２レイヤに在る現在ブロックに対して第１レイヤに在るイントラブロックの使用制限の有無を示す情報（ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇ）がある（１０２０）。イントラブロックの使用制限の有無を示す情報を定義することによって、パラレルプロセシングを行う時にデコーディング速度を向上させることができる。このようなイントラブロックの使用制限の有無を示す情報はスライスヘッダから得ることができる。
【００８４】
このイントラブロックの使用制限の有無を示す情報は、スライスヘッダから得ることができるため、その値が１であっても、各マクロブロックに対応する第１レイヤの領域が、第１レイヤの特定スライス内に含まれるか否かを確認する必要がある。したがって、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇが１のとき、現在ブロックに対応する第１レイヤの領域が、第１レイヤの特定スライス内に含まれるか否かを確認することができる。例えば、第１レイヤに在る対応ブロックが少なくとも２つのスライスに亘っている場合、現在ブロックは、第１レイヤに在るイントラブロックを利用できないと記録される。すなわち、現在ブロックは、イントラベース予測モードを用いてコーディングすることができない。ここで、イントラベース予測モードとは、ベースレイヤの対応する領域に基づいてエンハンスドレイヤのブロックを予測するモードを意味する。このとき、ベースレイヤの対応する領域はイントラモードでコーディングされた領域を意味する。または、対応する第１レイヤの領域が第１レイヤの特定スライス内に含まれる場合には、第１レイヤに在るイントラブロックを用いて現在ブロックをデコーディングすることができる。このとき、現在ブロックはイントラベース予測モードを利用できると記録される。
【００８５】
また、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇが１のとき、図８で説明したデブロッキングフィルタの動作方法を示す情報（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）が制限されうる。例えば、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ値としては、１、２または４の値のみを持つことができる。
【００８６】
一方、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇが０の時は、第１レイヤに在る対応ブロックが少なくとも２つのスライスに亘っていても、第２レイヤに在る現在ブロックは、第１レイヤに在るイントラブロックを用いてデコーディングすることができる。
【００８７】
上記の実施例は、輝度信号だけでなく色差信号にも同じ方式で適用することができる。
【００８８】
図１１は、本発明が適用される実施例で、レイヤ間予測を行うか否かによって、適応予測情報を得るためのシンタックス構造を示す図である。
【００８９】
本発明の実施例では、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、レイヤ間予測に関連した情報はエンコーダから転送されなくてもよい。スケーラブルビデオコーディングされたビットストリームの属性情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、レイヤ間予測が用いられるか否かを示す情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）に基づいて適応予測情報を得ることができる（１１１０）。適応予測情報は、予測と関連したシンタックスが対応する位置に存在するか否かを表すことができる。例えば、スライスヘッダとマクロブロックレイヤに予測と関連したシンタックスが存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）、動き予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）、レジデュアル予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）などがある。
【００９０】
レイヤ間予測が用いられるか否かを示す情報によってレイヤ間予測が行われる場合、まず、スライスデータの存在の有無を示す情報（ｓｌｉｃｅ＿ｓｋｉｐ＿ｆｌａｇ）を得ることができる（１１２０）。スライスデータの存在の有無を示す情報を確認することによって、レイヤ間予測を行うべくマクロブロック内の情報を導出するか否かを決定することができる。このスライスデータの存在の有無を示す情報によってスライス内にスライスデータが存在する場合（１１３０）、適応予測フラグ（ａｄａｐｔｉｖｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を得ることができる（１１４０）。そして、マクロブロックレイヤにレジデュアル予測と関連したシンタックスが存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）も得ることができる（１１８０）。適応予測フラグによって、ベースレイヤの対応ブロックから動き情報などを予測するか否かを示す情報をどのように導出するかを示す情報（ｄｅｆａｕｌｔ＿ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ）を得ることができる（１１５０）。これにより、ベースレイヤの対応ブロックから動き情報などが予測されない場合（１１５５）、動き予測に関連するシンタックスがマクロブロックレイヤに存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を得ることができる（１１６０）。また、動き予測と関連したシンタックスがマクロブロックレイヤに存在しない場合（１１６５）、動き予測フラグ情報をどのように推測するかを示す情報（ｄｅｆａｕｌｔ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を得ることができる（１１７０）。
【００９１】
この動き予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）とマクロブロックレイヤにレジデュアル予測と関連したシンタックスが存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）は、マクロブロックレイヤ内で用いられる。例えば、ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに基づいてベースレイヤの動きベクトルを使用するか否かを表すフラグ（ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌｘ）を得ることができる。また、ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに基づいてベースレイヤのレジデュアル信号を用いるか否かを表すフラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を得ることができる。
【００９２】
以上説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送の送／受信装置に備えられ、ビデオ信号及びデータ信号などを復号化するのに使用できる。また、マルチメディア放送の送／受信装置は、移動通信端末機を含んでいてもよい。
【００９３】
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行できるようなプログラムとして作成され、コンピュータが読み取り可能な記録媒体に記憶することができ、本発明によるデータ構造を持つマルチメディアデータも、コンピュータが読み取り可能な記録媒体に記憶することができる。このコンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが記憶される全ての種類の記憶装置を含む。コンピュータが読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた転送）の形態で実現されるものも含む。また、上記エンコーディング方法によって生成されたビットストリームは、コンピュータが読み取り可能な記録媒体に記憶したり、有／無線通信網を介して転送したりすることができる。
【産業上の利用可能性】
【００９４】
以上説明してきた本発明の好適な実施例は、例示の目的で開示されたもので、添付の特許請求の範囲上に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施例として改良、変更、代替または付加などが可能であるということは、当業者にとっては明らかである。
【図面の簡単な説明】
【００９５】
【図１】本発明が適用されるスケーラブルビデオコーディングシステムを示す概略的なブロック図である。
【図２】本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加されることのできるスケーラブル映像に関する属性情報及びこれを説明するためのピクチャの構造を示す図である。
【図３】本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加されることのできるスケーラブル映像に関する属性情報及びこれを説明するためのピクチャの構造を示す図である。
【図４】本発明が適用される実施例で、サンプリングされたベースレイヤとエンハンスドレイヤとのクロッピング関係を示す図である。
【図５】それぞれ本発明が適用される実施例で、レイヤ間予測を通じたマクロブロック予測及びサブマクロブロック予測と関連したシンタックスを示す図である。
【図６】それぞれ本発明が適用される実施例で、レイヤ間予測を通じたマクロブロック予測及びサブマクロブロック予測と関連したシンタックスを示す図である。
【図７】本発明が適用される実施例で、レイヤ間予測を通じたレジデュアル予測と関連したシンタックスを示す図である。
【図８】本発明が適用される実施例で、レイヤ間予測を行うか否かによってデブロッキングフィルタリングを行うためのシンタックス構造を示す図である。
【図９】本発明が適用される実施例で、レイヤ間予測を行うか否かによって、アップサンプリングされたピクチャと現在ピクチャ間の位置差を示すオフセット情報を得るためのシンタックス構造を示す図である。
【図１０】本発明が適用される実施例で、レイヤ間予測を行うか否かによって、参照レイヤに在るイントラブロックの使用制限の有無を示すフラグ情報を得るためのシンタックス構造を示す図である。
【図１１】本発明が適用される実施例で、レイヤ間予測を行うか否かによって、適応予測情報を得るためのシンタックス構造を示す図である。
【図１】
2009538086.tif 000003
【図２】
2009538086.tif 000004
【図３】
2009538086.tif 000005
【図４】
2009538086.tif 000006
【図５】
2009538086.tif 000007
【図６】
2009538086.tif 000008
【図７】
2009538086.tif 000009
【図８】
2009538086.tif 000010
【図９】
2009538086.tif 000011
【図１０】
2009538086.tif 000012
【図１１】
2009538086.tif 000013
【国際調査報告】
2009538086.tif 000014
2009538086.tif 000015