(57)【要約】【課題】ビデオ信号デコーディング方法及び装置の提供。【解決手段】本方法は、コーデック互換のために特定シンタックスを制限する制限フラグ情報を確認する段階と、前記制限フラグ情報に基づいて、参照ベースピクチャをバッファに保存するか否かを示す第１フラグ情報を獲得する段階と、前記第１フラグ情報によって保存された参照ベースピクチャを用いて、ビデオ信号をデコーディングする段階と、を含むことを特徴とする。【選択図】図３
2009540734.tif 000002
【特許請求の範囲】
【請求項１】
第１時点に対応する第１パーシャルピクチャ及び第１フルピクチャのうち、前記第１パーシャルピクチャを保存するか否かを決定する段階と、
前記第１パーシャルピクチャを参照して、前記第１時点以降に位置する第２時点に対応する第２フルピクチャをデコーディングするために、前記第１パーシャルピクチャを保存する段階と、
を含み、
前記第１パーシャルピクチャのスケーラブルドメイン上のレベルは、前記第２フルピクチャのスケーラブルドメイン上のレベルよりも下位レベルであることを特徴とするビデオ信号デコーディング方法。
【請求項２】
デコーディングされた第２フルピクチャに対応する第２パーシャルピクチャを保存するか否かを示すフラグ情報を抽出する段階をさらに含む、請求項１に記載のビデオ信号デコーディング方法。
【請求項３】
コーデック互換のために特定シンタックスを制限する制限フラグ情報を確認する段階と、
前記制限フラグ情報に基づいて、参照ベースピクチャをバッファに保存するか否かを示す第１フラグ情報を獲得する段階と、
前記第１フラグ情報によって保存された参照ベースピクチャを用いて、ビデオ信号をデコーディングする段階と、
を含むことを特徴とするビデオ信号デコーディング方法。
【請求項４】
前記第１フラグ情報によって参照ベースピクチャが保存され、前記参照ベースピクチャがＩＤＲピクチャでない場合、前記参照ベースピクチャをマーキングする段階をさらに含む、請求項３に記載のビデオ信号デコーディング方法。
【請求項５】
前記参照ベースピクチャが参照ピクチャとして用いられるか否かを示す第２フラグ情報を獲得する段階と、
前記第２フラグ情報によって前記参照ベースピクチャがＩＤＲピクチャでなく且つ参照ピクチャとして用いられる場合、前記参照ベースピクチャをマーキングする段階をさらに含む、請求項３に記載のビデオ信号デコーディング方法。
【請求項６】
前記制限フラグ情報に基づいてクオリティレイヤを分けるために必要な情報を獲得する段階をさらに含み、
前記クオリティレイヤを分けるために必要な情報は、変換係数レベルに対するスキャン位置情報である、請求項３に記載のビデオ信号デコーディング方法。
【請求項７】
前記制限フラグ情報は、シーケンスパラメータセットの拡張領域から獲得される、請求項３に記載のビデオ信号デコーディング方法。
【請求項８】
前記第１フラグ情報は、スライスヘッダから獲得される、請求項３に記載のビデオ信号デコーディング方法。
【請求項９】
前記第１フラグ情報は、現在ＮＡＬ単位に先行するＮＡＬ単位のＲＢＳＰから獲得される、請求項３に記載のビデオ信号デコーディング方法。
【請求項１０】
前記ビデオ信号は、放送信号として受信される、請求項３に記載のビデオ信号デコーディング方法。
【請求項１１】
前記ビデオ信号は、デジタル媒体を通じて受信される、請求項３に記載のビデオ信号デコーディング方法。
【請求項１２】
請求項３に記載された方法を実行させるためのプログラムを記録した、コンピュータ読取可能記憶媒体。
【請求項１３】
コーデック互換のために特定シンタックスを制限する制限フラグ情報を確認する識別情報確認部と、
前記確認結果によって獲得された、参照ベースピクチャをバッファに保存するか否かを示す第１フラグ情報に基づいて、前記参照ベースピクチャをバッファに保存する復号ピクチャバッファ部と、
を含むことを特徴とするビデオ信号デコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号のコーディング技術に関するものである。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を、通信回線を通じて転送し、または保存媒体に適合する形態で保存する一連の信号処理技術を意味する。圧縮符号化の対象には、音声、映像、文字などがあり、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮と呼ぶ。ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性を持っている点にある。
【０００３】
そのうち、スケーラブルビデオコーディングされたビットストリームは、その一部分のみ選択的にデコーディングすることができる。例えば、複雑度が低いデコーダは、基本的なレイヤをデコーディングでき、低い転送率のビットストリームは、限られた容量を持つネットワークを通じた転送に用いられる。徐々に高い解像度のイメージを生成できるようにするために映像の画質を段階的に増加させる必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、ビデオ信号のコーディング効率を上げることにある。
【０００５】
本発明は、コーデック互換のためのシンタックスを定義することによって、相異なる種類のコーデック間の互換性を高めることができる。
【０００６】
スケーラブルビデオコーディングされたビットストリームの再作成のためのシンタックスを定義することによって、コーデック間の互換性を高めることができる。
【０００７】
参照ベースピクチャを保存するか否かを知らせるシンタックスを適切な位置で制限することによって、コーデック間の互換性を高めることができる。
【０００８】
参照ベースピクチャを保存するか否かを知らせるシンタックスを適切な位置で定義することによって、ビデオ信号のコーディング効率を上げることができる。
【０００９】
参照ベースピクチャを保存するか否かを知らせるシンタックスを適切な位置で定義することによって、復号ピクチャバッファを効率的に管理することができる。
【００１０】
参照ベースピクチャを保存するか否かを知らせるシンタックスを適切な位置で定義することによって、デコーディングされたピクチャマーキングを効率的に行うことができる。
【００１１】
転送過程上のエラーによってビデオ信号の復号過程で発生する問題を最小化できるデコーディング方法を提供する。
【００１２】
転送過程上のエラーによって映像信号の復号過程で発生する問題を最小化できるデコーディング方法による復号ピクチャバッファの管理方法を提供する。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明は、第１時点に対応する第１パーシャルピクチャ及び第１フルピクチャのうち、前記第１パーシャルピクチャを保存するか否かを決定する段階と、前記第１パーシャルピクチャを参照して、前記第１時点以降に位置する第２時点に対応する第２フルピクチャをデコーディングするために、前記第１パーシャルピクチャを保存する段階と、を含み、前記第１パーシャルピクチャのスケーラブルドメイン上のレベルは、前記第２フルピクチャのスケーラブルドメイン上のレベルよりも下位レベルであることを特徴とするビデオ信号デコーディング方法を提供する。
【００１４】
また、本発明は、デコーディングされた第２フルピクチャに対応する第２パーシャルピクチャを保存するか否かを示すフラグ情報を抽出する段階をさらに含むことを特徴とする。
【００１５】
また、本発明は、コーデック互換のために特定シンタックスを制限する制限フラグ情報を確認する段階と、前記制限フラグ情報に基づいて、参照ベースピクチャをバッファに保存するか否かを示す第１フラグ情報を獲得する段階と、前記第１フラグ情報によって保存された参照ベースピクチャを用いて、ビデオ信号をデコーディングする段階と、を含むことを特徴とするビデオ信号デコーディング方法を提供する。
【００１６】
また、本発明は、コーデック互換のために特定シンタックスを制限する制限フラグ情報を確認する識別情報確認部と、前記確認結果によって獲得された、参照ベースピクチャをバッファに保存するか否かを示す第１フラグ情報に基づいて、前記参照ベースピクチャをバッファに保存する復号ピクチャバッファ部と、を含むことを特徴とするビデオ信号デコーディング装置を提供する。
【発明の効果】
【００１７】
本発明によれば、まず、ビデオ信号をコーディングする場合においてコーデック互換のためのシンタックスを定義することによって、相異なる種類のコーデック間の互換性を高めることができる。例えば、スケーラブルビデオコーディングされたビットストリームを、ＡＶＣコーデックでコーディングされたビットストリームに変換するためのシンタックス構造を定義することによって、コーデック間の互換性を高めることができる。
【００１８】
また、本発明によれば、ＤＰＢ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）をより効率的に管理することによって、ＤＰＢの負担を軽減し、コーディング速度を向上させることができる。
なお、スケーラブルビデオ映像に関する様々な属性情報を用いることによって、より効率的なコーディングが可能になる。
【発明を実施するための最良の形態】
【００１９】
ビデオ信号データを圧縮符号化する技術は、空間的冗長性、時間的冗長性、スケーラブルな冗長性、視点間に存在する冗長性を考慮している。スケーブルな冗長性を考慮する圧縮コーディングスキームは、本発明の単なる実施例に過ぎず、本発明の技術的思想は、時間的冗長性、空間的冗長性、視点間冗長性などにも適用することができる。また、本明細書でいうコーディングとは、エンコーディングとデコーディングの概念をいずれも含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。
【００２０】
ビデオ信号のビット列構成について説明すると、動画像符号化処理そのものを扱うＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ：ビデオ符号化階層）と、符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ(Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ：ネットワーク抽象階層）との分離された階層構造と定義されている。符号化過程の出力はＶＣＬデータであり、転送または保存する前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（Ｒａｗ  Ｂｙｔｅ  Ｓｅｑｕｅｎｃｅ  Ｐａｙｌｏａｄ：動画像圧縮の結果データ）を含む。
【００２１】
ＮＡＬ単位は、基本的に、ＮＡＬヘッダとＲＢＳＰの２部分から構成される。ＮＡＬヘッダには、そのＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示すフラグ情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）と、ＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が含まれている。ＲＢＳＰには、圧縮された元データを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの最後にＲＢＳＰ埋め合わせビット（ＲＢＳＰ  ｔｒａｉｌｉｎｇ  ｂｉｔ）を付加する。このようなＮＡＬ単位の種類には、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ：瞬間復号リフレッシュ）ピクチャ、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ：シーケンスパラメータセット）、ＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ：ピクチャパラメータセット）、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ：補充的付加情報）などがある。
【００２２】
したがって、前記ＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）がスケーラブルビデオコーディングされたスライスであることを示す場合、前記スケーラブルコーディングに関する様々な属性情報を追加することによって、コーディング効率を上げることができる。例えば、現在アクセスユニットが瞬間復号リフレッシュ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ：以下、‘ＩＤＲ’という。）アクセスユニットか否かを示すフラグ情報、空間的スケーラビリティを示す依存関係識別情報、クオリティ識別情報、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報、時間的スケーラビリティを示す識別情報、優先順位識別情報などを追加することができる。また、復号ピクチャバッファをより效率的に管理すべく前記スケーラブルコーディングに関する様々な属性情報を利用することができる。これは、図２を参照して詳細に説明する。
【００２３】
また、規格では、対象製品を適当な費用で実現可能とすべく、様々なプロファイル及びレベルで制約しているが、復号器は、該当のプロファイルとレベルで定められた制約を満たさなければならない。このように復号器がどんな圧縮映像の範囲まで対応できるか、及びその機能またはパラメータを示す目的で、プロファイルとレベルという２種類の概念が定義された。ビットストリームがどのプロファイルに基づくかは、プロファイル識別子（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別子とは、ビットストリームが基盤としているプロファイルを示すフラグをいう。例えば、Ｈ．２６４／ＡＶＣではプロファイル識別子が６６であれば、ベースラインプロファイルに基づくということを意味し、７７であればメインプロファイルに基づくということを意味し、８８であれば拡張プロファイルに基づくということを意味する。前記プロファイル識別子は、シーケンスパラメータセットに含まれてもよい。
【００２４】
したがって、スケーラブル映像を扱うためには、入力されるビットストリームがスケーラブル映像に関するプロファイルか否かを識別し、スケーラブル映像に関するプロファイルであると識別されると、スケーラブル映像に関する一つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、スケーラブル映像に関するプロファイルとは、Ｈ．２６４／ＡＶＣの追加技術としてスケーラブルビデオを扱うプロファイルモードを指し示す。ＳＶＣは既存ＡＶＣ技術に対する追加技術であるから、無条件的なシンタックスよりはＳＶＣモードである場合に対する追加情報としてシンタックスを追加することがより効率的であるといえよう。例えば、ＡＶＣのプロファイル識別子がスケーラブル映像に関するプロファイルを示すとき、スケーラブル映像に関する情報を追加することによって符号化効率を上げることができる。
【００２５】
シーケンスパラメータセットとは、プロファイル、レベルなどシーケンス全体の符号化にわたる情報が含まれているヘッダ情報をいう。圧縮された動画像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、該パラメータセットを参照するデータよりも以前に復号器に到着すべきである。結果として、シーケンスパラメータセットＲＢＳＰは、動画像圧縮の結果データに対するヘッダ情報として機能する。ビットストリームが入力されると、まず、プロファイル識別子は、入力されたビットストリームが複数個のプロファイルのうちいずれのプロファイルに基づくかを識別することになる。
【００２６】
以下、ビデオ信号の効率的なデコーディング方法を提供するための様々な実施例について説明する。
【００２７】
図１は、本発明が適用されるスケーラブルビデオコーディングシステムを示す概略ブロック図である。
【００２８】
様々な通信環境と様々な端末機に最適化した映像を提供するためには、端末機に提供される映像もまた多様に用意されなければならない。端末機ごとにそれに最適化した映像を提供するということは、一つの映像源を、秒当たり転送フレーム数、解像度、ピクセル当たりビット数等、様々な変数の組み合わされた値に対して備えていなければならないという意味であり、コンテンツプロバイダにとっては負担にならざるを得ない。このような理由から、コンテンツプロバイダは、原映像を高速ビットレートの圧縮映像データにエンコーディングしておき、端末機からシーケンス要求を受信する場合、原映像をデコーディングした後、端末機の映像処理能力に合う映像データに再びエンコーディングして提供することができる。しかし、このようなトランスコーディングではエンコーディング−デコーディング−エンコーディング過程が行われるので、映像提供において時間遅延を発生させざるを得ず、よって、複雑なハードウェアのデバイスとアルゴリズムがさらに要求されることとなる。
【００２９】
一方、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：ＳＶＣ）方式は、ビデオ信号をエンコーディングする場合において、最高画質でエンコーディングするが、その結果として生成されたピクチャシーケンスの部分シーケンスのみをデコーディングして使用しても映像表現ができるようにする方式である。ここで、部分シーケンスとは、シーケンス全体から間欠的に選択されたフレームからなるシーケンスをいう。ＳＶＣでエンコーディングされたピクチャシーケンスは、低いビットレートに対して空間的スケーラビリティを用いて映像のサイズを縮めても良い。また、クオリティスケーラビリティを用いて映像の画質を低くしても良い。このとき、小画面及び／または秒当たりフレーム数などが低いピクチャシーケンスをベースレイヤとし、相対的に大画面及び／または秒当たりフレーム数の高いシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
【００３０】
ところが、上述したようなスケーラブル方式でエンコーディングされたピクチャシーケンスは、その部分シーケンスのみを受信して処理することによっても、低画質の映像表現が可能であるが、ビットレートが低くなると画質低下が大きくなってしまう。これを解消するために、低い転送率のための別途の補助ピクチャシーケンス、例えば小画面及び／または秒当たりフレーム数などが低いピクチャシーケンスを提供しても良い。このような補助シーケンスをベースレイヤとし、主ピクチャシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
【００３１】
続いて、このようなスケーラブルビデオコーディングシステムについてより具体的に説明する。前記スケーラブルビデオコーディングシステムは、エンコーディング装置１０２とデコーディング装置１１０とを含む。前記エンコーディング装置１０２は、ベースレイヤエンコーディング部１０４、エンハンスドレイヤエンコーディング部１０６及びマルチプレクシング部１０８を含み、デコーディング装置１１０は、デマルチプレクシング部１１２、ベースレイヤデコーディング部１１４及びエンハンスドレイヤデコーディング部１１６を含んでいてもよい。ベースレイヤエンコーディング部１０４は、入力された映像信号Ｘ(ｎ)を圧縮し、ベースビットストリームを生成することができる。エンハンスドレイヤエンコーディング部１０６は、入力映像信号Ｘ(ｎ)とベースレイヤエンコーディング部１０４により生成される情報を用いてエンハンスドレイヤビットストリームを生成できる。マルチプレクシング部１０８は、前記ベースレイヤビットストリームと前記エンハンスドレイヤビットストリームを用いてスケーラブルビットストリームを生成できる。
【００３２】
このように生成されたスケーラブルビットストリームは、所定チャンネルを通じてデコーディング装置１１０に転送され、転送されたスケーラブルビットストリームは、デコーディング装置１１０のデマルチプレクシング部１１２によりエンハンスドレイヤビットストリームとベースレイヤビットストリームとに区分することができる。ベースレイヤデコーディング部１１４は、ベースレイヤビットストリームを受信して出力映像信号Ｘｂ(ｎ)を復号し、エンハンスドレイヤデコーディング部１１６はエンハンスドレイヤビットストリームを受信し、ベースレイヤデコーディング部１１４で復元された信号を参照して出力映像信号Ｘｅ(ｎ)を復号する。ここで、出力映像信号Ｘｂ(ｎ)は、出力映像信号Ｘｅ(ｎ)に比べて画質が低いか、解像度が低い映像信号となる。
【００３３】
スケーラブルビデオコーディングで、エンハンスドレイヤまでエンコーディングされて転送された特定ピクチャを復号するとき、転送過程でエンハンスドレイヤビットストリームの一部が損失される恐れがある。この場合、前記デコーディング装置１１０は、損失されたエンハンスドレイヤビットストリームを用いて該当のピクチャを復号するから、原映像と復号された映像の画質が異なってくることがある。特に、このような問題が発生したピクチャが、他のピクチャを復号化するのに必要なレファレンスピクチャでありつつ、テンポラルレベルの最も低いピクチャである場合には、その問題はより深刻化するおそれがある。したがって、前記テンポラルレベルが最も低いピクチャに対しては、より効率的な管理が必要である。これは、図３及び図４で詳細に後述する。
【００３４】
本発明の実施例として、スケーラブルビデオコーディングではＤＰＢでフルピクチャとパーシャルピクチャをスケーラブルに保存またはマーキングすることができる。ここで、フルピクチャとは、クオリティレベルが最も上位に在るピクチャを意味するといえる。そして、パーシャルピクチャとは、クオリティレベルが最も下位に在るピクチャを意味するといえる。または、前記フルピクチャとパーシャルピクチャは、クオリティレベルが相対的に高いか低いことを示すために定義しても良い。例えば、クオリティレベルが５段階（０〜４）である場合、クオリティレベルが０〜３の場合をパーシャルピクチャとし、クオリティレベルが４の場合をフルピクチャとすることができる。または、クオリティレベルが０の場合のみをパーシャルピクチャとしても良い。
【００３５】
また、第１時点に在るパーシャルピクチャを参照ピクチャとして用いるためにはあらかじめ保存しておく必要がある。したがって、第１時点以降に在る第２時点のパーシャルピクチャまたはフルピクチャをデコーディングするために、前記第１時点に在るパーシャルピクチャを参照ピクチャとして用いることができる。そして、前記第１時点に在るフルピクチャまたはパーシャルピクチャは、参照ピクチャとして適応的に用いることができる。
【００３６】
図２は、本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加されうるスケーラブル映像に関する属性情報を示す。
【００３７】
図２では、スケーラブル映像に関する属性情報が追加されうるＮＡＬ単位の構成の一例を示す。ＮＡＬ単位は、まず、ＮＡＬ単位のヘッダとＲＢＳＰ（Ｒａｗ  Ｂｙｔｅ  Ｓｅｑｕｅｎｃｅ  Ｐａｙｌｏａｄ：動画像圧縮の結果データ）とから構成することができる。そして、ＮＡＬ単位のヘッダでは、ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）とＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含むことができる。また、制限的に前記ＮＡＬ単位ヘッダの拡張領域も含むことができる。例えば、前記ＮＡＬ単位のタイプを示す情報がスケーラブルビデオコーディングと関連している場合にまたはプレフィックスＮＡＬユニットを示す場合に、前記ＮＡＬ単位は前記ＮＡＬ単位ヘッダの拡張領域を含むことができる。具体的な例として、前記ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝２０または１４のとき、前記ＮＡＬ単位は前記ＮＡＬ単位ヘッダの拡張領域も含むことができる。また、前記ＮＡＬ単位ヘッダの拡張領域内では、ＳＶＣビットストリームであるか否かを識別できるフラグ情報（ｓｖｃ＿ｍｖｃ＿ｆｌａｇ）によってスケーラブル映像に関する属性情報を追加することができる。
【００３８】
他の例として、前記ＮＡＬ単位のタイプを示す情報がサブセットシーケンスパラメータセットを示す情報である場合、前記ＲＢＳＰは、サブセットシーケンスパラメータセットに関する情報を含むことができる。具体的な例として、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝１５の場合、前記ＲＢＳＰは、サブセットシーケンスパラメータセットに関する情報を含むことができる。このとき、プロファイル情報によって前記サブセットシーケンスパラメータセットはシーケンスパラメータセットの拡張領域を含むことができる。例えば、プロファイル情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）がスケーラブルビデオコーディングに関連したプロファイルである場合、前記サブセットシーケンスパラメータセットは、シーケンスパラメータセットの拡張領域を含むことができる。または、プロファイル情報によってシーケンスパラメータセットがシーケンスパラメータセットの拡張領域を含むことができる。前記シーケンスパラメータセットの拡張領域は、コーデック互換のための特定のシンタックスを制限する制限フラグ情報を含むことができる。
【００３９】
以下、スケーラブル映像に関する様々な属性情報、例えば、ＮＡＬ単位ヘッダの拡張領域に含むことができる属性情報、または、シーケンスパラメータセットの拡張領域に含むことができる属性情報について具体的に説明する。
【００４０】
まず、空間的スケーラビリティを示す識別情報とは、ＮＡＬ単位への依存関係を識別できるようにする情報を意味する。例えば、空間的解像度によって依存関係が変わりうる。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャはそれぞれ同一の解像度を持つことができる。Ｓｐａ＿Ｌａｙｅｒ０に在るピクチャは、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャをダウンサンプリングして得られたピクチャとなりうる。具体的な例として、前記ＮＡＬ単位への依存関係を識別できるようにする情報をｄｅｐｅｎｄｅｎｃｙ＿ｉｄとするとき、Ｓｐａ＿Ｌａｙｅｒ０に在るピクチャのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝０になり、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝１になりうる。このような依存関係識別情報は様々に定義することができる。このように、依存関係を識別できるようにする情報と同じ値を持っているＮＡＬ単位をディペンデンシーレプレゼンテーションと表すことができる。
【００４１】
クオリティ識別情報とは、ＮＡＬ単位に対するクオリティを識別できるようにする情報を意味する。例えば、一つのピクチャを、相異なるクオリティのピクチャにコーディングすることができる。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャがいずれもそれぞれ異なるクオリティのピクチャにコーディングされうる。具体的な例として、前記ＮＡＬ単位に対するクオリティを識別できるようにする情報をｑｕａｌｉｔｙ＿ｉｄとするとき、Ｂ１，Ｂ２，…，Ｂ１０ピクチャはｑｕａｌｉｔｙ＿ｉｄ＝０になり、Ｑ１，Ｑ２，…，Ｑ１０ピクチャはｑｕａｌｉｔｙ＿ｉｄ＝１になりうる。すなわち、Ｂ１，Ｂ２，…，Ｂ１０ピクチャは、画質が最も低いピクチャを意味するといえる。これをベースピクチャという。Ｑ１，Ｑ２，…，Ｑ１０ピクチャはそれぞれ、Ｂ１，Ｂ２，…，Ｂ１０ピクチャを含みながらＢ１，Ｂ２，…，Ｂ１０ピクチャよりも画質の良いピクチャに該当する。このようなクオリティ識別情報は多様に定義することができる。例えば、１６段階で表現することができる。
【００４２】
上記の依存関係を識別できるようにする情報とクオリティ識別情報によって一つのレイヤを定義することができる。このとき、依存関係を識別可能にする情報及びクオリティ識別情報と同じ値を持っているＮＡＬ単位を、レイヤレプレゼンテーションと表すことができる。
【００４３】
時間的スケーラビリティを示す識別情報とは、ＮＡＬ単位に対する時間的レベルを識別可能にする情報を意味する。前記時間的レベルは、階層的Ｂピクチャ構造で説明することができる。例えば、図３のＳｐａ＿Ｌａｙｅｒ０で、（Ｂ１，Ｑ１）ピクチャと（Ｂ３，Ｑ３）ピクチャは同じ時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）を持つことができる。（Ｂ５，Ｑ５）ピクチャが（Ｂ１，Ｑ１）ピクチャと（Ｂ３，Ｑ３）ピクチャを参照する場合、前記（Ｂ５，Ｑ５）ピクチャは、前記（Ｂ１，Ｑ１）ピクチャと（Ｂ３，Ｑ３）ピクチャの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ１）を持つことができる。同様に、（Ｂ７，Ｑ７）ピクチャが（Ｂ１，Ｑ１）ピクチャと（Ｂ５，Ｑ５）ピクチャを参照する場合、前記（Ｂ７、Ｑ７）ピクチャは、前記（Ｂ５，Ｑ５）ピクチャの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）を持つことができる。一つのアクセスユニット内に在る全てのＮＡＬ単位は、同一の時間的レベル値を持つことができる。また、ＩＤＲアクセスユニットの場合には、前記時間的レベル値は０になりうる。
【００４４】
参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報は、インター予測過程で参照ベースピクチャが参照ピクチャとして用いられるか、または、デコーディングされたピクチャが参照ピクチャとして用いられるかを示す。前記フラグ情報は同じレイヤ上に在る、すなわち、依存関係を識別可能にする情報が同一であるＮＡＬ単位に対しては同一の値を持つことができる。
【００４５】
優先順位識別情報とは、ＮＡＬ単位の優先順位を識別可能にする情報を意味する。これを用いてレイヤ間拡張性またはピクチャ間拡張性を提供することができる。例えば、前記優先順位識別情報を用いて使用者に様々な時間的レベル及び空間的レベルの映像を提供することができる。したがって、使用者は、所望する時間及び空間の映像のみを見ることもでき、他の制限条件による映像のみを見ることもできる。前記優先順位情報は、その基準条件によって様々な方法でそれぞれ設定することができる。また、前記優先順位情報は、特別な基準によらずに任意に設定されても良く、デコーディング装置によって決定されても良い。
【００４６】
また、ＮＡＬ単位ヘッダの拡張領域に含むることのできる属性情報には、現在アクセスユニットがＩＤＲアクセスユニットか否かを示すフラグ情報がありうる。
【００４７】
図３は、本発明が適用される実施例で、参照ベースピクチャを保存しこれを利用する過程を説明するためのスケーラブルビデオコーディングの様々なスケーラビリティ構造図である。
【００４８】
まず、時間的スケーラビリティでは、ビデオ映像のレイヤをフレームレートによって決定することができる。図３を参照すると、レイヤごとに下から上に行くほど上位の時間的スケーラブルレイヤを意味し、これは、フレームレートが高くなるということを示す。時間的スケーラブルビデオコーディングは、Ｈ．２６４ビデオコーディングに階層的Ｂピクチャまたは階層的Ｐピクチャの概念を適用して実現できる。例えば、時間的レベルＴｅｍ＿Ｌａｙｅｒ１に属するピクチャ（Ｂ５，Ｑ５）を予測するとき、前記時間的レベルＴｅｍ＿Ｌａｙｅｒ１よりも大きい値を持つ時間的レベルＴｅｍ＿Ｌａｙｅｒ２に属するピクチャ（Ｂ７，Ｑ７，Ｂ９，Ｑ９）は、参照ピクチャとして用いられることができない。しかし、時間的レベルが低いＴｅｍ＿Ｌａｙｅｒ０に属するピクチャ（Ｂ１，Ｑ１，Ｂ３，Ｑ３）は、参照ピクチャとして用いることができる。したがって、任意の時間的レイヤに属するピクチャは、それよりも上位レイヤに属するピクチャのデコーディングの有無によらずに独立してデコーディングが可能になる。デコーダの能力に基づいてデコーディング可能なレベルが決定されると、該当のフレームレートによるＨ．２６４互換可能なビデオ信号をデコーディングすることができる。
【００４９】
図３で、空間的スケーラビリティを説明すると、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャはそれぞれ同一の解像度を持つことができる。Ｓｐａ＿Ｌａｙｅｒ０に在るピクチャは、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャをダウンサンプリングして得られたピクチャとなりうる。例えば、ＮＡＬ単位への依存関係を識別可能にする情報をｄｅｐｅｎｄｅｎｃｙ＿ｉｄとするとき、Ｓｐａ＿Ｌａｙｅｒ０に在るピクチャのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝０、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝１になりうる。
【００５０】
また、クオリティスケーラビリティについて説明すると、空間軸上に在る各レイヤのピクチャはそれぞれ異なるクオリティのピクチャを持つことができる。例えば、ＮＡＬ単位に対するクオリティを識別可能にする情報をｑｕａｌｉｔｙ＿ｉｄとするとき、Ｂ１，Ｂ２，…，Ｂ１０ピクチャはｑｕａｌｉｔｙ＿ｉｄ＝０になり、Ｑ１，Ｑ２，…，Ｑ１０ピクチャはｑｕａｌｉｔｙ＿ｉｄ＝１になりうる。すなわち、Ｂ１，Ｂ２，…，Ｂ１０ピクチャは、画質が最も低いピクチャを意味するといえる。一方、Ｑ１，Ｑ２，…，Ｑ１０ピクチャはＢ１，Ｂ２，…，Ｂ１０ピクチャよりは画質が良いピクチャに該当する。このようなクオリティ識別情報は多様に定義することができる。例えば、１６段階で表現することができる。
【００５１】
本発明の実施例として、参照ベースピクチャを保存してこれをデコーディング過程で利用する場合について説明する。
【００５２】
図３に示すピクチャを基準とするとき、デコーディング順序は、Ｂ１，Ｑ１，Ｂ２，Ｑ２，Ｂ３，Ｑ３，…，Ｂ１０，Ｑ１０（１→２→３→４→…→９→１０）のようになりうる。このとき、現在デコーディングしようとするピクチャをＢ４とすれば、Ｂ１，Ｑ１，Ｂ２，Ｑ２，Ｂ３，Ｑ３ピクチャは既にデコーディングされたピクチャである。Ｂ４ピクチャは、時間的レベルが最も低いピクチャでありつつ、クオリティレベルも最も低いピクチャに該当する。このＢ４ピクチャは、ベースピクチャであるＢ２ピクチャを参照できる。したがって、前記Ｂ２ピクチャは、復号ピクチャバッファに保存されていなければならない。
【００５３】
このとき、前記Ｂ２ピクチャは既にデコーディングされたピクチャであるが、前記Ｂ２ピクチャをデコーディングするとき、前記Ｂ２ピクチャが以降にコーディングされるピクチャ（例えば、Ｂ４ピクチャ）のため、復号ピクチャバッファに保存されるか否かを知らせるフラグ情報が必要となりうる。例えば、現在ＮＡＬ単位が参照ベースピクチャに該当する場合に、前記現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報をｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇと定義することができる。また、前記Ｂ２ピクチャはベースピクチャとして参照されるべきだという表示が必要となりうる。したがって、復号ピクチャバッファでは、前記Ｂ２ピクチャデコーディング以降に参照ベースピクチャとしてマーキングすることができる。こういう過程を経た後に前記Ｂ４ピクチャをデコーディングするとき、前記Ｂ４ピクチャは、ｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇによって復号ピクチャバッファに保存されており、参照ベースピクチャにマーキングされたＢ２ピクチャを参照ピクチャとして用いることができる。
【００５４】
本発明が適用される他の実施例として、現在ＮＡＬ単位が最も低いクオリティレベルに該当しながら、参照ピクチャのスライスを含む場合、前記現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するための過程について説明する。例えば、前記フラグ情報は、スケーラブルビデオコーディングされたビットストリームのみのためのシンタックス要素でありうる。したがって、コーデック互換性のために前記フラグ情報を制限できる他の情報が必要となりうる。または、ビットストリームのフォーマットを容易に変換させるために前記フラグ情報を制限できる他の情報が必要となりうる。例えば、コーデック互換のためにスケーラブルビデオコーディングされたビットストリームの再作成のためのフラグ情報を定義することができる。
【００５５】
既存コーデックとの互換のために、例えば、スケーラブルビデオコーディングされたビットストリームをＡＶＣコーデックでデコーディングする場合、前記スケーラブルビデオコーディングされたビットストリームをＡＶＣビットストリームに再作成する必要がある。このとき、前記制限フラグ情報がスケーラブルビデオコーディングされたビットストリームにのみ適用されるシンタックス情報を制限することができる。このような制限によって、簡単な変換過程を通じてＡＶＣビットストリームに変換できることとなる。例えば、これをｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇで示すことができる。前記制限フラグ情報は、シーケンスパラメータセットまたはサブシーケンスパラメータセットから獲得することができる。または、サブシーケンスパラメータセットの拡張領域から獲得されても良い。
【００５６】
前記制限フラグ情報により特定コーデックにのみ用いられるシンタックス要素を制限することができる。例えば、前記制限フラグ情報を用いて、現在ＮＡＬ単位が最も低いクオリティレベルに該当しながら参照ピクチャのスライスを含む場合に、現在ＮＡＬ単位をバッファに保存するか否かを示す前記フラグ情報をスライスヘッダで制限することができる。すなわち、ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ＝０の時に限ってｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ情報を獲得できる。または、ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ＝１の時にはｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ情報を獲得できない。これは、スケーラブルビデオコーディングされたビットストリームのスライスヘッダをＡＶＣコーデックでデコーディング可能なようにＡＶＣビットストリームのヘッダと同一にさせる役割を果たす。
【００５７】
図４は、本発明が適用される実施例で、参照ベースピクチャを保存する過程を説明するための流れ図である。
【００５８】
まず、図３を用いて説明すると、現在ピクチャであるＢ４ピクチャをデコーディングしようとするとき、前記Ｂ４ピクチャは時間的レベルが最も低いピクチャでありつつ、クオリティレベルも最も低いピクチャに該当する。すなわち、ベースレプレゼンテーションで表示されるベースピクチャに該当することができる。したがって、前記Ｂ４ピクチャは、ベースピクチャであるＢ２ピクチャを参照でき、前記Ｂ２ピクチャを参照するには、該Ｂ２ピクチャは既に復号ピクチャバッファに保存されていなければならない。
【００５９】
以下では、前記Ｂ２ピクチャを参照ピクチャとして利用するために復号ピクチャに保存する過程について説明する。Ｂ２ピクチャをデコーディングするとき、現在ＮＡＬ単位ヘッダの拡張領域からクオリティ識別情報を獲得できる。図２で説明したように、クオリティ識別情報が最も低い値を示す場合、Ｂ２ピクチャの現在ＮＡＬ単位はベースピクチャに該当することができる。したがって、前記獲得されたクオリティ識別情報によってＢ２ピクチャの現在ＮＡＬ単位がベースピクチャに該当するか否かを確認する必要がある（Ｓ４１０）。そして、Ｂ２ピクチャは参照ピクチャとして用いられるはずであるから、これをＮＡＬ単位のヘッダによって知らせることができる。例えば、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）を獲得できる。前記識別情報によって、Ｂ２ピクチャの現在ＮＡＬ単位は参照ピクチャのスライスを含んでいるか否か確認する必要がある（Ｓ４２０）。前記識別情報によって、現在ＮＡＬ単位がベースピクチャでありつつ参照ピクチャのスライスを含んでいる場合、現在ＮＡＬ単位は参照ベースピクチャに該当することができる。
【００６０】
このように現在ＮＡＬ単位が最も低いクオリティレベルに該当しながら参照ピクチャのスライスを含むと、参照ピクチャマーキング過程が行われる。参照ベースピクチャは、復号ピクチャバッファのピクチャマーキング過程で追加的に参照ベースピクチャとしてマーキングすることができる。このとき、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報を獲得できるが、該フラグ情報を獲得するためには、前記フラグ情報を制限する他のフラグ情報が存在してはならない。例えば、コーデック互換のための特定シンタックスを制限する制限フラグ情報を確認する必要がある（Ｓ４３０）。
【００６１】
前記フラグ情報は、サブセットシーケンスパラメータセットの拡張領域から獲得された情報でありうる。具体的な例として、コーデック互換性のためにスケーラブルビデオコーディングされたビットストリームをＡＶＣビットストリームに再作成するための制限フラグ情報をｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇとしよう。前記制限フラグ情報を以って、スライスヘッダ内にシーケンスパラメータセットを参照する特定シンタックスが存在するか否かを示すことができる。前記制限フラグ情報に基づいて、前記現在ＮＡＬ単位をバッファに保存するか否かを知らせるフラグ情報を獲得できる（Ｓ４４０）。
【００６２】
また、前記現在ＮＡＬ単位をバッファに保存するか否かを知らせるフラグ情報によって前記現在ＮＡＬ単位が保存されており、前記現在ＮＡＬ単位がＩＤＲピクチャでない場合には、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる。
【００６３】
前記現在ＮＡＬ単位をバッファに保存するか否かを知らせるフラグ情報によって前記現在ＮＡＬ単位が保存され、保存されたＮＡＬ単位を含むデコーディングされたピクチャが参照ベースピクチャとしてマーキングされると、前記参照ベースピクチャを用いてビデオ信号をデコーディングすることができる（Ｓ４５０）。例えば、前記Ｂ２ピクチャが前記フラグ情報によって保存され、参照ベースピクチャとしてマーキングされると、現在ピクチャであるＢ４ピクチャをデコーディングする時に前記Ｂ２ピクチャを参照ピクチャとして利用可能となる。
【００６４】
図５は、本発明が適用される一実施例で、参照ベースピクチャを保存しマーキングするためのシンタックス構造を示す。
【００６５】
図５は、図４で説明した流れ図の技術的思想をシンタックス構造例としたものである。まず、スライスヘッダでクオリティ識別情報によって現在ＮＡＬ単位がベースピクチャに該当するか否かを確認する必要がある（Ｓ５１０）。そして、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるかを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）によって、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるかを確認する必要がある（Ｓ５２０）。前記識別情報によって現在ＮＡＬ単位がベースピクチャでありつつ参照ピクチャのスライスを含んでいる場合、現在ＮＡＬ単位は参照ベースピクチャに該当することができる。このように現在ＮＡＬ単位が参照ベースピクチャに該当する場合、参照ピクチャマーキング過程を行うことになる（Ｓ５３０）。参照ベースピクチャは、復号ピクチャバッファのピクチャマーキング過程で追加的に参照ベースピクチャとしてマーキングすることができる。
【００６６】
このとき、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報を獲得できるが、該フラグ情報を獲得するためには、コーデック互換のための特定シンタックスを制限する制限フラグ情報を確認する必要がある（Ｓ５４０）。前記フラグ情報はサブセットシーケンスパラメータセットの拡張領域から獲得された情報でありうる。例えば、コーデック互換性のためにスケーラブルビデオコーディングされたビットストリームをＡＶＣビットストリームに再作成するための制限フラグ情報をｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇとすることができる。前記制限フラグ情報を以って、スライスヘッダ内にシーケンスパラメータセットを参照する特定シンタックスが存在するか否かを示すことができる。前記制限フラグ情報によって、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報を獲得できる（Ｓ５５０）。
【００６７】
また、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報によって参照ベースピクチャが保存されており、前記参照ベースピクチャがＩＤＲピクチャでない場合（Ｓ５６０）には、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる（Ｓ５７０）。
【００６８】
または、参照ベースピクチャがインター予測過程で参照ピクチャとして用いられるか、それとも、デコーディングされたピクチャが参照ピクチャとして用いられるかを示すフラグ情報を確認することができる。確認の結果、参照ベースピクチャが参照ピクチャでとして利用され、前記参照ベースピクチャがＩＤＲピクチャでない場合（Ｓ５６０）には、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる（Ｓ５７０）。
【００６９】
図６は、本発明が適用される一実施例で、参照ベースピクチャを保存しマーキングするためのシンタックス構造を示す。
【００７０】
ＮＡＬ単位に信号を処理するにおいて、現在ＮＡＬ単位に先行する他のＮＡＬ単位を利用することができる。これを‘プレフィックスＮＡＬ’という。該プレフィックスＮＡＬは、ベースレイヤビットストリームとＡＶＣコーデックとの互換性を維持しながらＳＶＣにのみ適用される情報をベースレイヤに伝達するために用いることができる。例えば、図５で説明した参照ベースピクチャを保存するか否かを知らせるフラグ情報をプレフィックスＮＡＬに含めることができる。具体的な例として、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるかを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）によって、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるかを確認する必要がある。前記識別情報によって現在ＮＡＬ単位が参照ピクチャのスライスを含んでいる場合、参照ベースピクチャを保存するか否かを知らせるフラグ情報を獲得できる。
【００７１】
また、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報によって、参照ベースピクチャが保存されており、前記参照ベースピクチャがＩＤＲピクチャでないと、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる。
【００７２】
または、参照ベースピクチャがインター予測過程で参照ピクチャとして用いられるか、それとも、デコーディングされたピクチャが参照ピクチャとして用いられるかを示すフラグ情報を確認することができる。確認の結果、参照ベースピクチャが参照ピクチャとして利用され、前記参照ベースピクチャがＩＤＲピクチャでない場合には、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる。
【００７３】
図７〜図１２はそれぞれ、本発明が適用される一実施例で、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。
【００７４】
図７の実施例では、参照ベースピクチャを保存するためのフラグ情報をｓｔｏｒｅ＿ｂａｓｅ＿ｒｅｐ＿ｆｌａｇと定義することができる。該フラグ情報は、スライスヘッダから獲得できる（Ｓ７１０）。該フラグ情報を獲得するために一定の条件が与えられることができる。例えば、スライスタイプがＰＲでない場合を挙げることができる。すなわち、向上したクオリティレベルを示すスライスタイプでない場合で、クオリティレベルが最も低い場合といえる。また、コーデック互換性のために現在スライスの特定シンタックスを制限するか否かを示す情報を確認することができる。例えば、ビットストリームのフォーマットを容易に変換させるために前記フラグ情報を制限できる他の情報を確認することができる。または、コーデック互換のためにスケーラブルビデオコーディングされたビットストリームの再作成のためのフラグ情報を定義することができる。上述したように、スライスタイプがＰＲでないながら前記フラグ情報により制限されない場合に、参照ベースピクチャを保存するための前記フラグ情報を獲得できる。
【００７５】
図８の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するために、他のフラグ情報を定義することができる。例えば、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報を定義することができる。前記フラグ情報はインター予測過程で参照ベースピクチャが参照ピクチャとして用いられるか、それとも、デコーディングされたピクチャが参照ピクチャとして用いられるかを示す。前記フラグ情報は同一のレイヤ上に在る、すなわち、依存関係を識別可能にする情報が同一であるＮＡＬ単位に対しては同一値を持つことができる。前記フラグ情報はＮＡＬ単位ヘッダの拡張領域で定義することができる（Ｓ８１０）。
【００７６】
そして、現在スライスがベースレイヤに該当しながら最も低いクオリティレベルを有するか否かを確認することができる（Ｓ８２０）。現在スライスが参照ピクチャとして用いられるか否かを確認することができる（Ｓ８３０）。また、参照ベースピクチャが参照ピクチャとして用いられるか否かを確認し（Ｓ８４０）、参照ピクチャとして用いられる場合に、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ８５０）。前記現在ＮＡＬ単位をバッファに保存し、ＮＡＬ単位の種類がＳＶＣに関連している場合に（Ｓ８６０）、前記現在ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャとしてマーキングする過程を行うことができる（Ｓ８７０）。また、スライスヘッダからも一定の条件の下に現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる。例えば、スライスタイプが、向上したクオリティレベルのスライスを示し、クオリティレイヤを分けた時に最初の部分に該当し、参照ベースピクチャが参照ピクチャとして用いられる場合に（Ｓ８８０）、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ８９０）。
【００７７】
図９の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報が、他の方法で定義することができる。例えば、該フラグ情報が、参照ベースピクチャが参照ピクチャとして用いられるか否かを示す他のフラグ情報（Ｓ９１０）と一緒に、ＮＡＬ単位ヘッダの拡張領域で定義することができる。
【００７８】
図１０の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報が、他のフラグ情報を用いて獲得することができる。例えば、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報が定義することができる。前記フラグ情報はＮＡＬ単位ヘッダの拡張領域で定義することができる（Ｓ１０１０）。そして、現在スライスがベースレイヤに該当しながら最も低いクオリティレベルを有するか否かを確認することができる（Ｓ１０２０）。現在スライスが参照ピクチャとして用いられるか否かを確認し（Ｓ１０３０）、参照ピクチャとして用いられる場合に、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ１０４０）。前記現在ＮＡＬ単位をバッファに保存し、ＮＡＬ単位の種類がＳＶＣに関連している場合に（Ｓ１０５０）、前記現在ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャとしてマーキングする過程を行うことができる（Ｓ１０６０）。また、スライスヘッダからも一定の条件の下に現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる。例えば、スライスタイプが向上したクオリティレベルのスライスでなく、コーデック互換性のために現在スライスの特定シンタックスが制限されなく、参照ベースピクチャが参照ピクチャとして用いられる場合に（Ｓ１０７０）、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ１０８０）。
【００７９】
図１１の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報が、他のフラグ情報を用いて獲得することができる。例えば、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報を利用できる。例えば、スライスタイプが向上したクオリティレベルのスライスでなく、参照ベースピクチャが参照ピクチャとして用いられる場合に、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（ａ）。または、コーデック互換性のために現在スライスの特定シンタックスが制限されずに、参照ベースピクチャが参照ピクチャとして用いられる場合に、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（ｂ）。または、参照ベースピクチャが参照ピクチャとして用いられるかのみを確認した後、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（ｃ）。
【００８０】
図１２の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報が、他のフラグ情報を用いて獲得することができる。
【００８１】
例えば、まず、スライスタイプが、向上したクオリティレベルのスライスを示し、クオリティレイヤを分けたときに最初の部分に該当するか否かを確認することができる（Ｓ１２１０）。そして、参照ベースピクチャが参照ピクチャとして用いられるか、また、現在スライスのクオリティレベルが最初の向上したクオリティレベルを示すか否かを確認することができる（Ｓ１２３０）。これにより、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ１２５０）。
【００８２】
以上説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送の送／受信装置に備えられ、ビデオ信号及びデータ信号などを復号化するのに用いることができる。また、前記マルチメディア放送の送／受信装置は、移動通信端末機を含むことができる。
【００８３】
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行可能なプログラムとして製作され、コンピュータ読取り可能な記録媒体に記憶することができ、本発明によるデータ構造を持つマルチメディアデータも、コンピュータ読取り可能な記録媒体に記憶することができる。該コンピュータ読取り可能な記録媒体は、コンピュータシステムで読取り可能なデータが記憶されうるいかなる種類の保存装置も含む。コンピュータ読取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した転送）の形態で実現されるものも含む。また、上記エンコーディング方法により生成されたビットストリームは、コンピュータ読取り可能な記録媒体に記憶され、または有／無線通信網を通じて転送することができる。
【００８４】
以上説明した具体的な実施例は、本発明の例示に過ぎず、添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施例に改良、変更、代替または付加できるということは、当業者にとっては明らかである。
【図面の簡単な説明】
【００８５】
【図１】本発明が適用されるスケーラブルビデオコーディングシステムを示す概略ブロック図である。
【図２】本発明が適用される実施例を示し、スケーラブルビデオコーディングされたビットストリームに追加されうるスケーラブル映像に関する属性情報を示す。
【図３】本発明が適用される実施例を示す、参照ベースピクチャを保存し、これを用いる過程を説明するためのスケーラブルビデオコーディングの様々なスケーラビリティ構造図である。
【図４】本発明が適用される実施例を示し、参照ベースピクチャを保存する過程を説明するための流れ図である。
【図５】本発明が適用される一実施例を示し、参照ベースピクチャを保存し、マーキングするためのシンタックス構造を示す。
【図６】本発明が適用される一実施例を示し、参照ベースピクチャを保存し、マーキングするためのシンタックス構造を示す。
【図７】本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。
【図８】本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。
【図９】本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。
【図１０】本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。
【図１１】本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。
【図１２】本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。
【図１】
2009540734.tif 000003
【図２】
2009540734.tif 000004
【図３】
2009540734.tif 000005
【図４】
2009540734.tif 000006
【図５】
2009540734.tif 000007
【図６】
2009540734.tif 000008
【図７】
2009540734.tif 000009
【図８】
2009540734.tif 000010
【図９】
2009540734.tif 000011
【図１０】
2009540734.tif 000012
【図１１】
2009540734.tif 000013
【図１２】
2009540734.tif 000014
【国際調査報告】
2009540734.tif 000015
2009540734.tif 000016