(57)【要約】  互いに異なるレイヤ映像間のインターレイヤ予測誤差を、サンプル適応的オフセットを利用して補償するスケーラブルビデオ符号化方法及びその装置、並びにスケーラブルビデオ復号化装置及びその装置の多様な実施形態に係り、受信された向上レイヤストリームから、基本レイヤ映像と向上レイヤ映像とのインターレイヤＳＡＯ使用情報；及び向上レイヤ予測映像のためのＳＡＯタイプ及びオフセットを示すＳＡＯパラメータ；を獲得し、獲得されたＳＡＯパラメータから、向上レイヤ予測映像のＳＡＯタイプと、予測誤差をカテゴリー別に分類したオフセットと、を決定し、現在サンプルのカテゴリー別に決定されたオフセットほど補償することにより、向上レイヤ予測映像を利用して、向上レイヤ復元映像を生成するスケーラブルビデオ復号化方法及びその装置である。
2015536087.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブルビデオ復号化方法において、
受信された向上レイヤストリームから、基本レイヤ復元映像と、向上レイヤ予測映像とのインターレイヤ予測による予測誤差を補償するか否かということを示すインターレイヤＳＡＯ（sample  adaptive  offset）使用情報と、前記向上レイヤ予測映像のための前記ＳＡＯタイプ及び前記オフセットを示すＳＡＯパラメータと、を獲得する段階と、
前記獲得されたＳＡＯパラメータから、前記向上レイヤ予測映像のＳＡＯタイプと、前記予測誤差をカテゴリー別に分類したオフセットと、を決定する段階と、
前記向上レイヤ予測映像のピクセル位置ごとに、現在サンプルのカテゴリーを決定し、前記決定されたオフセットほど補償した前記向上レイヤ予測映像を利用して、向上レイヤ復元映像を生成する段階と、を含むことを特徴とするスケーラブルビデオ復号化方法。
【請求項２】
前記向上レイヤ復元映像を生成する段階は、
基本レイヤストリームから復号化された前記基本レイヤ復元映像を利用して、前記向上レイヤ予測映像を決定する段階と、
前記向上レイヤ予測映像に、前記オフセットを合成し、前記向上レイヤ予測映像を補償する段階と、を含むことを特徴とする請求項１に記載のスケーラブルビデオ復号化方法。
【請求項３】
前記向上レイヤ予測映像を決定する段階は、
前記基本レイヤ復元映像を、前記向上レイヤ原本映像と同一解像度にサイズ調節するために補間し、前記向上レイヤ予測映像を決定する段階を含むことを特徴とする請求項２に記載のスケーラブルビデオ復号化方法。
【請求項４】
前記ＳＡＯパラメータを獲得する段階は、
前記向上レイヤ予測映像のピクチャ、スライス、タイル、最大符号化単位及び符号化単位のうち１つのデータ単位ごとに、前記ＳＡＯパラメータを獲得する段階を含み、
前記オフセットを決定する段階は、前記ＳＡＯパラメータを基に、前記向上レイヤ予測映像の前記データ単位の各サンプルが、エッジを構成するサンプルであるか否かということを示す前記ＳＡＯタイプ、前記ＳＡＯタイプによるカテゴリー別に分類された前記予測誤差の平均値を示す前記オフセット、及び前記オフセットの符号を順次に決定する段階を含み、
前記インターレイヤＳＡＯによる前記オフセットの符号は、前記ＳＡＯタイプ、前記カテゴリー、及び前記基本レイヤ映像と前記向上レイヤ映像との解像度の比率のうち少なくとも一つに基づいて決定されることを特徴とする請求項１に記載のスケーラブルビデオ復号化方法。
【請求項５】
前記オフセットを決定する段階は、
前記獲得されたインターレイヤＳＡＯ使用情報に基づいて、前記インターレイヤ予測誤差を補償する場合、前記基本レイヤ復元映像において、イントラ基本レイヤ予測モード（Intra  ＢＬ  mode）及び差分予測モード（Ｄｉｆｆ  mode）を含む予測モードのうち一つによる基本レイヤ領域を利用して予測する向上レイヤ領域のために、前記ＳＡＯパラメータから獲得されたオフセットを利用する段階を含むことを特徴とする請求項１に記載のスケーラブルビデオ復号化方法。
【請求項６】
前記オフセットを決定する段階は、
前記ＳＡＯパラメータから、前記向上レイヤ予測映像のエッジ方向及びサンプル値範囲に基づいて決定されたカテゴリー別に、前記オフセットを獲得する段階と、
前記ＳＡＯパラメータから、基本レイヤ映像と向上レイヤ映像との解像度の比率、前記基本レイヤ復元映像を、前記向上レイヤ原本映像と同一解像度にサイズ調節するための補間フィルタの位相差、及び前記補間フィルタのフィルタリング順序のうち少なくとも一つに基づいて決定されたカテゴリー別に、前記オフセットをさらに獲得する段階と、を含むことを特徴とする請求項１に記載のスケーラブルビデオ復号化方法。
【請求項７】
前記ＳＡＯパラメータを獲得する段階は、前記基礎レイヤ映像の同位領域のＳＡＯパラメータを利用して、前記向上レイヤ予測映像のための前記オフセットを決定するか否かということを示す基本レイヤＳＡＯ併合情報を獲得する段階を含み、
前記オフセットを決定する段階は、前記基本レイヤＳＡＯ併合情報に基づいて、前記向上レイヤ予測映像において、現在領域と対応して位置する基礎レイヤ映像の同位領域のＳＡＯパラメータのうち少なくとも１つの情報を利用して、前記向上レイヤ予測映像の現在領域のための前記ＳＡＯパラメータのうち少なくとも１つの情報を決定する段階を含むことを特徴とする請求項１に記載のスケーラブルビデオ復号化方法。
【請求項８】
スケーラブルビデオ符号化方法において、
向上レイヤ映像のピクセル位置ごとに、向上レイヤ予測映像と、向上レイヤ原本映像とのサンプル間の予測誤差を決定する段階と、
前記向上レイヤ予測映像のサンプル値の分布に基づいて、前記向上レイヤ予測映像のＳＡＯタイプと、前記予測誤差をカテゴリー別に分類したオフセットと、を決定する段階と、
基本レイヤ復元映像と、前記向上レイヤ予測映像とのインターレイヤ予測による予測誤差を補償するか否かということを示すインターレイヤＳＡＯ使用情報と、前記向上レイヤ予測映像のための前記ＳＡＯタイプ及び前記オフセットを示すＳＡＯパラメータと、を決定する段階と、を含むことを特徴とするスケーラブルビデオ符号化方法。
【請求項９】
前記サンプル間の予測誤差を決定する段階は、
前記基本レイヤ復元映像を利用して、前記向上レイヤ予測映像を決定する段階と、
前記ピクセル位置ごとに、前記決定された向上レイヤ予測映像と、前記向上レイヤ原本映像との前記サンプル間の予測誤差を決定する段階と、を含み、
前記スケーラブルビデオ符号化方法は、
前記向上レイヤ予測映像に、前記予測誤差を合成して補償された向上レイヤ予測映像を利用して、前記向上レイヤ復元映像を生成する段階をさらに含むことを特徴とする請求項８に記載のスケーラブルビデオ符号化方法。
【請求項１０】
前記サンプル間の予測誤差を決定する段階は、
前記基本レイヤ復元映像を、前記向上レイヤ原本映像と同一解像度にサイズ調節するために補間し、前記向上レイヤ予測映像を決定する段階と、
前記ピクセル位置ごとに、前記決定された向上レイヤ予測映像と、前記向上レイヤ原本映像との前記サンプル間の予測誤差を決定する段階と、を含むことを特徴とする請求項８に記載のスケーラブルビデオ符号化方法。
【請求項１１】
前記オフセットを決定する段階は、前記向上レイヤ予測映像において、現在領域と対応して位置する基礎レイヤ映像の同位領域のＳＡＯパラメータのうち少なくとも１つの情報を利用して、前記向上レイヤ予測映像の現在領域のための前記ＳＡＯパラメータのうち少なくとも１つの情報を決定する段階を含み、
前記ＳＡＯパラメータを決定する段階は、
前記基礎レイヤ映像の同位領域のＳＡＯパラメータを利用して、前記向上レイヤ予測映像のための前記オフセットを決定するか否かということを示す基本レイヤＳＡＯ併合情報を含む前記ＳＡＯパラメータを出力する段階を含むことを特徴とする請求項１３に記載のスケーラブルビデオ符号化方法。
【請求項１２】
スケーラブルビデオ復号化装置において、
受信された向上レイヤストリームから、基本レイヤ復元映像と、向上レイヤ予測映像とのインターレイヤ予測による予測誤差を補償するか否かということを示すインターレイヤＳＡＯ使用情報と、前記向上レイヤ予測映像のための前記ＳＡＯタイプ及び前記オフセットを示すＳＡＯパラメータと、を獲得するインターレイヤＳＡＯパラメータ獲得部と、
前記獲得されたＳＡＯパラメータから、前記向上レイヤ予測映像のＳＡＯタイプと、前記予測誤差をカテゴリー別に分類したオフセットと、を決定するインターレイヤオフセット決定部と、
前記向上レイヤ予測映像のピクセル位置ごとに、現在サンプルのカテゴリーを決定し、前記決定されたオフセットほど補償した前記向上レイヤ予測映像を利用して、向上レイヤ復元映像を生成する向上レイヤ復号化部と、を含むことを特徴とするスケーラブルビデオ復号化装置。
【請求項１３】
スケーラブルビデオ符号化装置において、
向上レイヤ映像を符号化するための向上レイヤ予測映像を生成する向上レイヤ映像符号化部と、
向上レイヤ映像のピクセル位置ごとに、向上レイヤ予測映像と、向上レイヤ原本映像とのサンプル間の予測誤差を決定し、前記向上レイヤ予測映像のサンプル値の分布に基づいて、前記向上レイヤ予測映像のＳＡＯタイプと、前記予測誤差をカテゴリー別に分類したオフセットと、を決定するインターレイヤオフセット決定部と、
基本レイヤ復元映像と、前記向上レイヤ予測映像とのインターレイヤ予測による予測誤差を補償するか否かということを示すインターレイヤＳＡＯ使用情報と、前記向上レイヤ予測映像のための前記ＳＡＯタイプ及び前記オフセットを示すＳＡＯパラメータと、を決定するインターレイヤＳＡＯパラメータ決定部と、を含むことを特徴とするスケーラブルビデオ符号化装置。
【請求項１４】
請求項１に記載のスケーラブルビデオ復号化方法を具現するためのプログラムが記録されたコンピュータ可読記録媒体。
【請求項１５】
請求項８に記載のスケーラブルビデオ符号化方法を具現するためのプログラムが記録されたコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブルビデオ符号化方法及び該復号化方法に係り、詳細には、サンプル適応的オフセットを利用して、インターレイヤ予測誤差を符号化／復号化する方法に関する。
【背景技術】
【０００２】
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化／復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。
【０００３】
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete  cosine  transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続して反復的に発生するデータを小サイズのデータに置き換えることにより、データ量を節減している。
【０００４】
マルチレイヤ・ビデオコーデックは、基本レイヤビデオと、一つ以上の向上レイヤビデオとを符号化／復号化する。基本レイヤビデオと向上レイヤビデオとの時間的／空間的重複性（redundancy）と、レイヤ間の重複性とを除去する方式により、基本レイヤビデオと向上レイヤビデオとのデータ量が節減される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、少なくとも１層のレイヤ別に映像シーケンスを符号化し、他のレイヤ映像間のインターレイヤ予測誤差を、サンプル適応的オフセット（ＳＡＯ：sample  adaptive  offset）を利用して符号化するスケーラブルビデオ符号化方法及びその装置の多様な実施形態が提供することである。
【０００６】
本発明が解決しようとする課題はまた、インターレイヤ予測誤差を、サンプル適応的オフセットパラメータの形態で受信したインターレイヤ予測誤差を利用して、ビデオを復号化するスケーラブルビデオ復号化装置及びその装置の多様な実施形態を提供することである。
【課題を解決するための手段】
【０００７】
前記課題を解決するために本発明は、多様な実施形態によるスケーラブルビデオ復号化方法は、受信された向上レイヤストリームから、基本レイヤ復元映像と、向上レイヤ予測映像とのインターレイヤ予測による予測誤差を補償するか否かということを示すインターレイヤＳＡＯ（sample  adaptive  offset）使用情報と、前記向上レイヤ予測映像のための前記ＳＡＯタイプ及び前記オフセットを示すＳＡＯパラメータと、を獲得する段階と、前記獲得されたＳＡＯパラメータから、前記向上レイヤ予測映像のＳＡＯタイプと、前記予測誤差をカテゴリー別に分類したオフセットと、を決定する段階と、前記向上レイヤ予測映像のピクセル位置ごとに、現在サンプルのカテゴリーを決定し、前記決定されたオフセットほど補償した前記向上レイヤ予測映像を利用して、向上レイヤ復元映像を生成する段階と、を含む。
【発明の効果】
【０００８】
多様な実施形態によるスケーラブルビデオ符号化装置及び該方法によれば、向上レイヤ映像を予測するためのインターレイヤ予測誤差を、ＳＡＯパラメータを利用して符号化することができる。従って、ピクセル位置別に、インターレイヤ予測誤差を符号化する必要なく、予測誤差のサンプル値分布に基づいて決定されたＳＡＯタイプとカテゴリー別オフセットに係わる情報のみを利用して、インターレイヤ予測誤差が符号化される。
【０００９】
多様な実施形態によるスケーラブルビデオ復号化方法及び該装置によれば、受信されたビットストリームから、ＳＡＯタイプ及びオフセットを獲得し、向上レイヤ予測映像のピクセルごとに、サンプル値の分布によって、ＳＡＯカテゴリーを決定することができるので、ＳＡＯタイプ及びオフセットを利用して、ＳＡＯカテゴリー別オフセットを獲得することができる。従って、ピクセル別にインターレイヤ予測誤差を受信しないにしても、向上レイヤ予測映像の各ピクセルごとに、当該カテゴリー別オフセットで補償することにより、向上レイヤ復元映像が決定されるのである。
【図面の簡単な説明】
【００１０】
【図１Ａ】多様な実施形態によるスケーラブルビデオ符号化装置のブロック図である。
【図１Ｂ】多様な実施形態によるスケーラブルビデオ符号化方法のフローチャートである。
【図２Ａ】多様な実施形態によるスケーラブルビデオ復号化装置のブロック図である。
【図２Ｂ】多様な実施形態によるスケーラブルビデオ復号化方法のフローチャートである。
【図３】多様な実施形態によるインターレイヤ予測構造を図示する図面である。
【図４Ａ】多様な実施形態によるインターレイヤＳＡＯの概念図である。
【図４Ｂ】多様な実施形態によるインターレイヤＳＡＯの概念図である。
【図４Ｃ】多様な実施形態によるインターレイヤＳＡＯの概念図である。
【図５Ａ】ＳＡＯエッジタイプのエッジクラスを図示する図面である。
【図５Ｂ】ＳＡＯエッジタイプのＳＡＯカテゴリーを図示する図面である。
【図５Ｃ】ＳＡＯエッジタイプのＳＡＯカテゴリーを図示する図面である。
【図５Ｄ】ＳＡＯバンドタイプのＳＡＯカテゴリーを図示する図面である。
【図６】多様な実施形態によるレイヤ間解像度の比率によるＳＡＯカテゴリーを図示する図面である。
【図７Ａ】現在最大符号化単位とＳＡＯパラメータとを併合するために参照されるデータ単位を図示する図面である。
【図７Ｂ】多様な実施形態によるＳＡＯ併合情報のコードワードを図示する図面である。
【図７Ｃ】多様な実施形態による符号化単位のＳＡＯ関連シンタックスを図示する図面である。
【図８】多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。
【図９】図９は多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。
【図１０】多様な実施形態による、符号化単位の概念を図示する図面である。
【図１１】多様な実施形態による、符号化単位に基づいた映像符号化部のブロック図である。
【図１２】多様な実施形態による、符号化単位に基づいた映像復号化部のブロック図である。
【図１３】多様な実施形態による、深度別符号化単位及びパーティションを図示する図面である。
【図１４】多様な実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図１５】多様な実施形態による深度別符号化情報を図示する図面である。
【図１６】多様な実施形態による深度別符号化単位を図示する図面である。
【図１７】多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１８】多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１９】多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２０】表１の符号化情報情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２１】多様な実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。
【図２２】ディスクを利用して、プログラムを記録して読み取るためのディスクドライブを図示する図面である。
【図２３】コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system）の全体的構造を図示する図面である。
【図２４】多様な実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。
【図２５】多様な実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。
【図２６】通信システムが適用されたデジタル放送システムを図示する図面である。
【図２７】多様な実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
【発明を実施するための形態】
【００１１】
多様な実施形態によるスケーラブルビデオ復号化方法は、受信された向上レイヤストリームから、基本レイヤ復元映像と、向上レイヤ予測映像とのインターレイヤ予測による予測誤差を補償するか否かということを示すインターレイヤＳＡＯ（sample  adaptive  offset）使用情報と、前記向上レイヤ予測映像のための前記ＳＡＯタイプ及び前記オフセットを示すＳＡＯパラメータと、を獲得する段階と、前記獲得されたＳＡＯパラメータから、前記向上レイヤ予測映像のＳＡＯタイプと、前記予測誤差をカテゴリー別に分類したオフセットと、を決定する段階と、前記向上レイヤ予測映像のピクセル位置ごとに、現在サンプルのカテゴリーを決定し、前記決定されたオフセットほど補償した前記向上レイヤ予測映像を利用して、向上レイヤ復元映像を生成する段階と、を含む。
【００１２】
多様な実施形態によって、前記向上レイヤ復元映像を生成する段階は、基本レイヤストリームから復号化された前記基本レイヤ復元映像を利用して、前記向上レイヤ予測映像を決定する段階と、前記向上レイヤ予測映像に、前記オフセットを合成し、前記向上レイヤ予測映像を補償する段階と、を含む。
【００１３】
多様な実施形態によって、前記向上レイヤ予測映像を決定する段階は、前記基本レイヤ復元映像を、前記向上レイヤ原本映像と同一解像度に大きさ調節するために補間し、前記向上レイヤ予測映像を決定する段階を含んでもよい。
【００１４】
多様な実施形態によって、前記ＳＡＯパラメータを獲得する段階は、前記向上レイヤ予測映像のピクチャ、スライス、タイル、最大符号化単位及び符号化単位のうち１つのデータ単位ごとに、前記ＳＡＯパラメータを獲得する段階を含み、前記オフセットを決定する段階は、前記ＳＡＯパラメータを基に、前記向上レイヤ予測映像の前記データ単位の各サンプルが、エッジを構成するサンプルであるか否かということを示す前記ＳＡＯタイプ、前記ＳＡＯタイプによるカテゴリー別に分類された前記予測誤差の平均値を示す前記オフセット、及び前記オフセットの符号を順次に決定する段階を含んでもよい。前記インターレイヤＳＡＯによる前記オフセットの符号は、前記ＳＡＯタイプ、前記カテゴリー、及び前記基本レイヤ映像と前記向上レイヤ映像との解像度の比率のうち少なくとも一つに基づいて決定される。
【００１５】
多様な実施形態による前記インターレイヤＳＡＯによる前記オフセットの最大絶対値は、前記ＳＡＯタイプ、前記カテゴリー、及び基本レイヤ映像と向上レイヤ映像との解像度の比率のうち少なくとも一つに基づいて前もって決定される。
【００１６】
多様な実施形態によって、前記オフセットを決定する段階は、前記向上レイヤ予測映像のサンプルごとに、２以上のカテゴリー別に、オフセットを決定する段階を含んでもよい。前記向上レイヤ復元映像を生成する段階は、前記向上レイヤ予測映像に、前記カテゴリーのオフセットを重複的に（consequently）結合し、前記向上レイヤ予測映像を更新する段階と、前記更新された向上レイヤ予測映像を利用して、前記向上レイヤ復元映像を生成する段階と、を含んでもよい。
【００１７】
多様な実施形態によって、前記向上レイヤ予測映像を更新する段階は、前記向上レイヤ予測映像の現在サンプルの垂直方向に位置した隣接サンプルのサンプル値と、前記現在サンプルのサンプル値とを比較し、第１カテゴリーを決定し、前記現在サンプルのサンプル値に、前記第１カテゴリーによる第１オフセットを合成し、前記現在サンプルのサンプル値を補正する段階と、前記現在サンプルのサンプル値と、前記現在サンプルの水平方向に位置した隣接サンプルのサンプル値とを比較し、前記第２カテゴリーを決定し、前記現在サンプルの補正されたサンプル値に、前記第２カテゴリーによる第２オフセットを合成し、前記現在サンプルのサンプル値を再補正する段階を含んでもよい。
【００１８】
多様な実施形態によって、前記オフセットを決定する段階は、前記獲得されたインターレイヤＳＡＯ使用情報に基づいて、インターレイヤ予測誤差を補償する場合、前記基本レイヤ復元映像において、イントラ基本レイヤ予測モード（Intra  ＢＬ  mode）及び差分予測モード（Ｄｉｆｆ  mode）を含む予測モードのうち一つによる基本レイヤ領域を利用して予測する向上レイヤ領域のために、前記ＳＡＯパラメータから獲得されたオフセットを利用する段階を含んでもよい。
【００１９】
多様な実施形態によって、前記オフセットを決定する段階は、前記ＳＡＯパラメータから、前記向上レイヤ予測映像のエッジ方向及びサンプル値範囲に基づいて決定されたカテゴリー別に、前記オフセットを獲得する段階と、前記ＳＡＯパラメータから、基本レイヤ映像と向上レイヤ映像との解像度の比率、前記基本レイヤ復元映像を、前記向上レイヤ原本映像と同一解像度に大きさ調節するための補間フィルタの位相差（phase  shift）、及び前記補間フィルタのフィルタリング順序のうち少なくとも一つに基づいて決定されたカテゴリー別に、前記オフセットをさらに獲得する段階を含んでもよい。
【００２０】
多様な実施形態によって、前記ＳＡＯパラメータを獲得する段階は、前記基礎レイヤ映像の同位領域（collocated  domain）のＳＡＯパラメータを利用して、前記向上レイヤ予測映像のための前記オフセットを決定するか否かということを示す基本レイヤＳＡＯ併合情報を獲得する段階を含んでもよい。前記オフセットを決定する段階は、前記基本レイヤＳＡＯ併合情報に基づいて、前記向上レイヤ予測映像において、現在領域と対応して位置する基礎レイヤ映像の同位領域のＳＡＯパラメータのうち少なくとも１つの情報を利用して、前記向上レイヤ予測映像の現在領域のための前記ＳＡＯパラメータのうち少なくとも１つの情報を決定する段階を含んでもよい。
【００２１】
多様な実施形態によって、前記オフセットを決定する段階は、前記向上レイヤ予測映像において、現在領域と対応して位置する基礎レイヤ映像の同位領域のＳＡＯタイプを利用して、前記向上レイヤ予測映像の現在領域のための前記オフセットのＳＡＯタイプを決定する段階を含んでもよい。
【００２２】
多様な実施形態によるスケーラブルビデオ符号化方法は、向上レイヤ映像のピクセル位置ごとに、向上レイヤ予測映像と、向上レイヤ原本映像とのサンプル間の予測誤差を決定する段階と、前記向上レイヤ予測映像のサンプル値の分布に基づいて、前記向上レイヤ予測映像のＳＡＯタイプと、前記予測誤差をカテゴリー別に分類したオフセットと、を決定する段階と、基本レイヤ復元映像と、前記向上レイヤ予測映像とのインターレイヤ予測による予測誤差を補償するか否かということを示すインターレイヤＳＡＯ使用情報と、前記向上レイヤ予測映像のための前記ＳＡＯタイプ及び前記オフセットを示すＳＡＯパラメータと、を決定する段階と、を含む。
【００２３】
多様な実施形態によって、前記サンプル間の予測誤差を決定する段階は、前記基本レイヤ復元映像を利用して、前記向上レイヤ予測映像を決定する段階と、前記ピクセル位置ごとに、前記決定された向上レイヤ予測映像と、前記向上レイヤ原本映像との前記サンプル間の予測誤差を決定する段階と、を含んでもよい。
【００２４】
多様な実施形態によって、前記オフセットを決定する段階は、前記向上レイヤ予測映像のサンプルごとに、２以上のカテゴリー別に、オフセットを重複的に決定する段階を含み、前記向上レイヤ復元映像を生成する段階は、前記向上レイヤ予測映像に、前記カテゴリーのオフセットが重複的に結合された映像として利用して、前記向上レイヤ復元映像を生成する段階を含んでもよい。
【００２５】
多様な実施形態によって、前記ＳＡＯパラメータを決定する段階は、前記基礎レイヤ映像の同位領域のＳＡＯパラメータを利用して、前記向上レイヤ予測映像のための前記オフセットを決定するか否かということを示す基本レイヤＳＡＯ併合情報を含む前記ＳＡＯパラメータを出力する段階を含んでもよい。
【００２６】
多様な実施形態によるスケーラブルビデオ復号化装置は、受信された向上レイヤストリームから、基本レイヤ復元映像と、向上レイヤ予測映像とのインターレイヤ予測による予測誤差を補償するか否かということを示すインターレイヤＳＡＯ使用情報と、前記向上レイヤ予測映像のための前記ＳＡＯタイプ及び前記オフセットを示すＳＡＯパラメータと、を獲得するインターレイヤＳＡＯパラメータ獲得部；前記獲得されたＳＡＯパラメータから、前記向上レイヤ予測映像のＳＡＯタイプと、前記予測誤差をカテゴリー別に分類したオフセットと、を決定するインターレイヤオフセット決定部；及び前記向上レイヤ予測映像のピクセル位置ごとに、現在サンプルのカテゴリーを決定し、前記決定されたオフセットほど補償した前記向上レイヤ予測映像を利用して、向上レイヤ復元映像を生成する向上レイヤ復号化部；を含む。
【００２７】
多様な実施形態によるスケーラブルビデオ符号化装置は、向上レイヤ映像を符号化するための向上レイヤ予測映像を生成する向上レイヤ映像符号化部；向上レイヤ映像のピクセル位置ごとに、向上レイヤ予測映像と、向上レイヤ原本映像とのサンプル間の予測誤差を決定し、前記向上レイヤ予測映像のサンプル値の分布に基づいて、前記向上レイヤ予測映像のＳＡＯタイプと、前記予測誤差をカテゴリー別に分類したオフセットと、を決定するインターレイヤオフセット決定部；及び基本レイヤ復元映像と、前記向上レイヤ予測映像とのインターレイヤ予測による予測誤差を補償するか否かということを示すインターレイヤＳＡＯ使用情報と、前記向上レイヤ予測映像のための前記ＳＡＯタイプ及び前記オフセットを示すＳＡＯパラメータと、を決定するインターレイヤＳＡＯパラメータ決定部；を含む。
【００２８】
本明細書は、多様な実施形態によるビデオストリーム符号化方法を具現するためのプログラムが記録されたコンピュータ可読記録媒体を提案する。本明細書は、多様な実施形態によるビデオストリーム復号化方法を具現するためのプログラムが記録されたコンピュータ可読記録媒体を提案する。
【００２９】
以下、図１Ａないし図７Ｃを参照し、多様な実施形態によって、スケーラブルビデオ符号化装置及びスケーラブルビデオ復号化装置、並びにスケーラブルビデオ符号化方法及びスケーラブルビデオ復号化方法を開示される。また、図８ないし図２０を参照し、多様な実施形態による、ツリー構造の符号化単位に基づくビデオ符号化装置及びビデオ復号化装置、並びにビデオ符号化方法及びビデオ復号化方法が開示される。また、図１Ａないし図２０の実施形態による、スケーラブルビデオ符号化方法、スケーラブルビデオ復号化方法、ビデオ符号化方法、ビデオ復号化方法が適用可能な多様な実施形態について、図２１ないし図２７を参照して開示する。
【００３０】
以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すのである。
【００３１】
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであって、プロセシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。
【００３２】
まず、図１Ａないし図７Ｃを参照し、一実施形態による、スケーラブルビデオ符号化装置及びスケーラブルビデオ符号化方法、並びにスケーラブルビデオ復号化装置及びスケーラブルビデオ復号化方法を開示する。
【００３３】
図１Ａは、多様な実施形態によるスケーラブルビデオ符号化装置１０のブロック図を図示している。図１Ｂは、多様な実施形態によるスケーラブルビデオ符号化方法のフローチャートを図示している。
【００３４】
多様な実施形態によるスケーラブルビデオ符号化装置１０は、基本レイヤ符号化部１２、向上レイヤ符号化部１４、インターレイヤオフセット決定部１６及びインターレイヤＳＡＯパラメータ決定部１８を含む。
【００３５】
多様な実施形態によるスケーラブルビデオ符号化装置１０は、スケーラブル・ビデオコーディング（scalable  video  coding）方式によって、多数の映像シーケンスをレイヤ別に分類してそれぞれ符号化し、レイヤ別に符号化されたデータを含む別個のストリームを出力することができる。スケーラブルビデオ符号化装置１０は、基本レイヤ映像シーケンスと、向上レイヤ映像シーケンスとを、互いに異なるレイヤに符号化することができる。
【００３６】
基本レイヤ符号化部１２が基本レイヤ映像を符号化し、基本レイヤ映像の符号化データを含む基本レイヤストリームを出力することができる。
【００３７】
向上レイヤ符号化部１４が、向上レイヤ映像を符号化し、向上レイヤ映像の符号化データを含む向上レイヤストリームを出力することができる。
【００３８】
例えば、空間的スケーラビリティ（spatial  scalability）に基づいたスケーラブル・ビデオコーディング方式によれば、低解像度映像が基本レイヤ映像として符号化され、高解像度映像が向上レイヤ映像として符号化される。基本レイヤ映像の符号化結果が、基本レイヤストリームとして出力され、向上レイヤ映像の符号化結果が、向上レイヤストリームとして出力される。
【００３９】
他の例として、多視点ビデオが、スケーラブル・ビデオコーディング方式によって符号化される。左視点映像は、基本レイヤ映像として符号化され、右視点映像は、向上レイヤ映像として符号化される。または、中央視点映像、左視点映像及び右視点映像がそれぞれ符号化され、このうち、中央視点映像は、基本レイヤ映像として符号化され、左視点映像は、第１向上レイヤ映像として符号化され、右視点映像は、第２向上レイヤ映像として符号化される。
【００４０】
他の例として、時間的スケーラビリティに基づいた時間階層的予測（temporal  hierarchical  prediction）によって、スケーラブル・ビデオコーディング方式が遂行される。基本フレームレートの映像を符号化して生成された符号化情報を含む基本レイヤストリームが出力される。基本フレームレートの映像を参照し、高速フレームレートの映像をさらに符号化し、高速フレームレートの符号化情報を含む向上レイヤストリームが出力される。
【００４１】
また、基本レイヤ、及び多数の向上レイヤに対するスケーラブル・ビデオコーディングが行われる。向上レイヤが３以上である場合、基本レイヤ映像と、最初の向上レイヤ映像、２番目の向上レイヤ映像、…、Ｋ番目の向上レイヤ映像が符号化されもする。これにより、基本レイヤ映像の符号化結果が、基本レイヤストリームとして出力され、最初、２番目、…、Ｋ番目の向上レイヤ映像の符号化結果が、それぞれ最初、２番目、…、Ｋ番目の向上レイヤストリームとして出力される。
【００４２】
多様な実施形態によるスケーラブルビデオ符号化装置１０は、単一レイヤの映像を参照して現在映像を予測するインター予測（inter  prediction）を行うことができる。インター予測を介して、現在映像と参照映像との動き情報を示すモーションベクトル（motion  vector）、及び現在映像と参照映像との残差成分（residual）が生成される。
【００４３】
また、多様な実施形態によるスケーラブルビデオ符号化装置１０は、基本レイヤ映像を参照し、向上レイヤ映像を予測するインターレイヤ予測（inter-layer  prediction）を行うことができる。スケーラブルビデオ符号化装置１０は、最初の向上レイヤ映像を参照し、２番目の向上レイヤ映像を予測するインターレイヤ予測を行うこともできる。インターレイヤ予測を介して、現在映像と異なるレイヤの参照映像間の位置差成分、及び現在映像と異なるレイヤの参照映像間の残差成分が生成される。
【００４４】
一実施形態によるスケーラブルビデオ符号化装置１０が２以上の向上レイヤを許容する場合には、マルチレイヤ予測構造によって、１つの基本レイヤ映像と、２以上の向上レイヤ映像とのインターレイヤ予測を行うこともできる。
【００４５】
インターレイヤ予測構造は、追って、図３を参照して詳細に説明する。
【００４６】
多様な実施形態によるスケーラブルビデオ符号化装置１０は、各レイヤごとに、ビデオそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。決定された大きさのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位においては、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造の符号化単位を含む最大符号化単位は、コーディング・ブロックツリー（coding  block  tree）、ブロックツリー、ルートブロックツリー（root  block  tree）、コーディングツリー、コーディングルートまたはツリートランク（tree  trunk）などと多様に命名される。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図８ないし図２０を参照して説明する。
【００４７】
インター予測及びインターレイヤ予測は、符号化単位、予測単位または変換単位のデータ単位を基に行われる。
【００４８】
多様な実施形態による基本レイヤ符号化部１２は、基本レイヤ映像に対して、インター予測またはイントラ予測を含むソースコーディング動作を遂行し、シンボルデータを生成することができる。例えば、符号化部１２は、基本レイヤ映像のデータ単位のサンプルに対して、インター予測またはイントラ予測、変換、量子化を行ってシンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、基本レイヤストリームを生成することができる。
【００４９】
向上レイヤ符号化部１４は、ツリー構造の符号化単位に基づいて、向上レイヤ映像を符号化することができる。向上レイヤ符号化部１４は、向上レイヤ映像の符号化単位のサンプルに対して、インター／イントラ予測、変換、量子化を行ってシンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、向上レイヤストリームを生成することができる。
【００５０】
多様な実施形態による向上レイヤ符号化部１４は、基本レイヤ映像の復元サンプルを利用して、向上レイヤ映像を予測するインターレイヤ予測を行うことができる。向上レイヤ符号化部１４は、インターレイヤ予測構造を介して、向上レイヤ映像シーケンスにおいて、向上レイヤ原本映像を符号化するために、基本レイヤ復元映像を利用して、向上レイヤ予測映像を生成し、向上レイヤ原本映像と向上レイヤ予測映像との予測誤差を符号化することができる。
【００５１】
向上レイヤ符号化部１４は、向上レイヤ映像を、符号化単位または予測単位のようなブロック別に、インターレイヤ予測を行うことができる。向上レイヤ映像のブロックが参照する基本レイヤ映像のブロックを決定することができる。例えば、向上レイヤ映像において、現在ブロックの位置に相応して位置する基本レイヤ映像の復元ブロックが決定される。向上レイヤ符号化部１４は、向上レイヤブロックに相応する基本レイヤ復元ブロックを利用して、向上レイヤ予測ブロックを決定することができる。
【００５２】
一実施形態による向上レイヤ符号化部１４は、インターレイヤ予測構造によって、基本レイヤ復元ブロックを利用して決定された向上レイヤ予測ブロックを、向上レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することができる。向上レイヤ符号化部１４は、基本レイヤ復元映像を利用して、向上レイヤ予測ブロックのサンプル値と、向上レイヤ原本ブロックとのサンプル値の誤差、すなわち、インターレイヤ予測による残差成分を、ＳＡＯオフセット値として符号化することができる。
【００５３】
前述のように、向上レイヤ符号化部１２は、インターレイヤ予測構造を介して、基本レイヤ復元映像を参照し、現在レイヤ映像シーケンスを符号化することもできる。ただし、多様な実施形態による向上レイヤ符号化部１２が、他のレイヤサンプルを参照せずにも、単一レイヤ予測構造によって、向上レイヤ映像シーケンスを符号化することもできる。従って、向上レイヤ符号化部１２が、向上レイヤ映像シーケンスを符号化するために、インターレイヤ予測のみを行うと制限的に解釈しないように留意しなければならない。
【００５４】
多様な実施形態によるスケーラブルビデオ符号化装置１０において、基本レイヤ符号化部１２は、原本映像と復元映像との符号化誤差を補償するために、ＳＡＯを利用することができる。
【００５５】
具体的には、基本レイヤ符号化部１２は、基本レイヤ映像のツリー構造の符号化単位ごとに符号化されたサンプルに対して、逆量子化、逆変換、インター予測または動き補償を介して復号化し、現在最大符号化単位に含まれたサンプルを復元することができる。符号化されたサンプルに対して、以前スライスに対して符号化していて復号化を行い、復元映像を生成することができる。現在スライスのインター予測のために、以前スライスの復元映像が参照される。
【００５６】
基本レイヤ符号化部１２は、現在最大符号化単位が符号化される前の原本サンプルと、さらに復号化された後の復元サンプルとの符号化誤差を最小化するために、原本サンプルと復元サンプルとの差値を示すオフセットを決定することができる。
【００５７】
基本レイヤ符号化部１２は、カラー成分別に、ＳＡＯ調整を行う。例えば、ＹＣｒＣｂカラー映像については、ルマ成分（Ｙ成分）、並びに第１クロマ成分（Ｃｒ成分）及び第２クロマ成分（Ｃｂ成分）別にＳＡＯ調整が行われる。
【００５８】
基本レイヤ符号化部１２は、現在最大符号化単位のサンプル値分類方式によって、ＳＡＯタイプを決定することができる。一実施形態によるＳＡＯタイプは、エッジタイプまたはバンドタイプによって決定される。現在ブロックのサンプル値分類方式によって、現在ブロックをエッジタイプによってサンプルを分類するか、あるいはエッジタイプのサンプルではなければ、バンド形態によって、サンプルを分類するかということが決定される。
【００５９】
ＳＡＯタイプがエッジタイプである場合、現在最大符号化単位の復元サンプルが、隣接サンプルと形成するエッジの方向及び形態により、復元サンプルと原本サンプルとの誤差が決定される。
【００６０】
ＳＡＯタイプがバンドタイプである場合、現在最大符号化単位の復元サンプルのサンプル値の全範囲を分割した多数のバンドのうち、各バンドに属する復元サンプルと原本サンプルとの誤差が決定される。場合によっては、バンドは、サンプル値の全範囲を均等な間隔に分割したり、あるいは非均等間隔に分割したりすることもできる。
【００６１】
従って、基本レイヤ符号化部１２は、現在最大符号化単位のサンプル値の空間的特性に基づいて、エッジタイプまたはバンドタイプであるかということを示す現在最大符号化単位のＳＡＯタイプを決定することができる。
【００６２】
基本レイヤ符号化部１２は、現在最大符号化単位のＳＡＯタイプによって、復元サンプルごとに、ＳＡＯクラスを決定することができる。一実施形態によるＳＡＯクラスは、エッジクラスまたはバンドクラスとして決定される。
【００６３】
エッジタイプである場合、一実施形態によるエッジクラスは、復元サンプルが、隣接サンプルと形成するエッジの方向を示すことができる。一実施形態によるエッジクラスは、０゜、９０゜、４５゜または１３５゜のエッジ方向を示すことができる。
【００６４】
基本レイヤ符号化部１２は、ＳＡＯタイプがエッジタイプである場合、現在最大符号化単位の復元サンプルごとに、エッジクラスを決定することができる。
【００６５】
バンドタイプである場合、現在最大符号化単位のサンプル値の全範囲が、所定個数の連続するサンプル値区間に分割されるとき、各サンプル値区間をバンドと称する。一実施形態によるバンドクラスは、復元サンプルのサンプル値が属するバンドを示すバンド位置を示すことができる。
【００６６】
例えば、一実施形態によるサンプル値が８ビットである場合、サンプル値の全範囲は、０ないし２５５であり、サンプル値は、総３２個のバンドに分割される。この場合、総３２個のバンドにおいて、復元サンプルのサンプル値が属する所定個数のバンドが決定される。一実施形態によるバンドクラスは、連続する所定個数のバンドにおいて、サンプル値が属する最初のバンド位置、すなわち、最左側バンドを示し、サンプル値が属する最初のバンド位置を、０ないし３１のバンドインデックスとも表現する。
【００６７】
エッジタイプである場合、現在最大符号化単位の復元サンプルは、隣接サンプルと形成するエッジ形態によって、所定個数のカテゴリーに分類される。例えば、凹状エッジ（concave）の局部最低点（local  valley）、凹状エッジの曲線コーナー（corner）、凸状エッジ（convex）の曲線コーナー、凸状エッジの局部最高点（local  peak）の４種エッジ形態により、復元サンプルが４個のカテゴリーに分類される。現在最大符号化単位の復元サンプルごとに、いずれの形態のエッジを形成するかということによって、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。
【００６８】
バンドタイプである場合、現在最大符号化単位の復元サンプルのサンプル値が属するバンド位置によって、所定個数のカテゴリーに分類される。例えば、バンドクラスが示す最初のバンド位置、すなわち、最左側バンドの開始地点から連続する４個のバンドのバンドインデックスにより、復元サンプルが４個のカテゴリーに分類される。現在最大符号化単位の復元サンプルごとに、４個のバンドのうちいずれのバンドに属するかということによって、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。
【００６９】
基本レイヤ符号化部１２は、現在最大符号化単位の復元サンプルごとに、カテゴリーを決定することができる。現在符号化単位において、同一カテゴリーに属する復元サンプルについて、復元サンプルと原本サンプルとの誤差を利用して、オフセットを決定することができる。各カテゴリーごとに、復元サンプルと原本サンプルとの誤差の平均、すなわち、復元サンプルの平均誤差を、現在カテゴリーに対応するオフセットとして決定することができる。基本レイヤ符号化部１２は、カテゴリーごとにオフセットを決定し、現在最大符号化単位のためのオフセットとして、全てのカテゴリーのオフセットを符号化することができる。
【００７０】
例えば、現在最大符号化単位のＳＡＯタイプがエッジタイプであり、エッジ形態によって、復元サンプルが４個のカテゴリーに分類されるか、あるいは現在最大符号化単位のＳＡＯタイプがバンドタイプであり、連続する４個のバンドのインデックスによって、復元サンプルが４個のカテゴリーに分類される。その場合、基本レイヤ符号化部１２は、４個のカテゴリーごとに、属する復元サンプルと原本サンプルとの平均誤差を決定するので、４個のオフセットを決定することができる。
【００７１】
一実施形態によるオフセットは、それぞれ既設定の最小値より大きいか、あるいはそれと同じであり、既設定の最大値より小さいか、あるいはそれと同じである。
【００７２】
基本レイヤ符号化部１２は、現在最大符号化単位のＳＡＯタイプ、ＳＡＯクラス及びオフセットを含むＳＡＯパラメータを符号化して出力することができる。
【００７３】
各ブロックのＳＡＯパラメータは、各ブロックのＳＡＯタイプ及びオフセットを含んでもよい。ＳＡＯタイプとして、オフ（Off）タイプ、エッジ（Edge）タイプまたはバンド（Band）タイプが出力される。
【００７４】
ＳＡＯタイプがオフタイプである場合、現在最大符号化単位に対してｂＳＡＯ調整技法が適用されないということを示す。その場合、現在最大符号化単位の残りＳＡＯパラメータも、それ以上符号化される必要がない。
【００７５】
ＳＡＯタイプがエッジタイプである場合、ＳＡＯパラメータは、エッジクラスのうち各エッジクラスごとに対応するオフセットを含んでもよい。また、ＳＡＯタイプがバンドタイプである場合、ＳＡＯパラメータは、バンドのうち各バンドごとに対応するオフセットを含んでもよい。
【００７６】
前述のように、基本レイヤ符号化部１２は、映像の各最大符号化単位ごとに、ＳＡＯ動作を遂行する。
【００７７】
多様な実施形態による向上レイヤ符号化部１４は、インターレイヤ予測構造による向上レイヤ予測ブロックと、向上レイヤ原本ブロックとの予測誤差、すなわち、残差成分を、ＳＡＯパラメータを利用して符号化することができる。
【００７８】
基本レイヤ符号化部１２は、基本レイヤ映像に対する符号化後、復元映像と原本映像との符号化誤差を最小化するための後処理動作のために、ＳＡＯパラメータを利用することができる。これに対し、向上レイヤ符号化部１４は、インターレイヤ予測構造によって、向上レイヤ映像と基本レイヤ参照映像との予測誤差を符号化するために、インターレイヤＳＡＯパラメータを利用することができる。
【００７９】
向上レイヤ符号化部１４は、向上レイヤ映像を予測するための向上レイヤ予測映像を生成することができる。向上レイヤ符号化部１４がインターレイヤ予測構造による場合には、基本レイヤ復元映像を利用して、向上レイヤ予測映像を生成することができる。
【００８０】
インターレイヤオフセット決定部１６は、向上レイヤ映像のピクセル位置ごとに、向上レイヤ予測映像と、向上レイヤ原本映像とのサンプル間の予測誤差を決定することができる。インターレイヤオフセット決定部１６は、向上レイヤ予測映像のサンプル値の分布に基づいて、向上レイヤ予測映像のＳＡＯタイプと、予測誤差をカテゴリー別に分類したオフセットと、を決定することができる。
【００８１】
インターレイヤＳＡＯパラメータ決定部１８は、基本レイヤ復元映像と向上レイヤ予測映像とのインターレイヤ予測の誤差を補償するか否かということを示すインターレイヤＳＡＯ使用情報を決定することができる。また、インターレイヤＳＡＯパラメータ決定部１８は、向上レイヤ予測映像のためのＳＡＯタイプ及びオフセットを示すＳＡＯパラメータを決定することができる。
【００８２】
インターレイヤＳＡＯパラメータは、インターレイヤ予測誤差を符号化するために、基本レイヤ映像のＳＡＯパラメータと類似して、ＳＡＯタイプ、クラス、カテゴリー、オフセットに係わる情報を含んでもよい。本明細書において、インターレイヤ予測が行われた向上レイヤ映像のためのＳＡＯパラメータは、インターレイヤＳＡＯパラメータと解釈される。
【００８３】
以下、図１Ｂを参照し、スケーラブルビデオ符号化装置１０の動作について詳細に説明する。
【００８４】
段階１１で、インターレイヤオフセット決定部１６は、向上レイヤ映像のピクセル位置ごとに、向上レイヤ予測映像と、向上レイヤ原本映像とのサンプル間の予測誤差を決定することができる。
【００８５】
まず、基本レイヤ符号化部１２が、基本レイヤ映像シーケンスの符号化過程において、基本レイヤ復元映像を生成することができる。向上レイヤ符号化部１４は、基本レイヤ復元映像を利用して、向上レイヤ予測映像を決定することができる。
【００８６】
一実施形態によるスケーラブルビデオ予測構造によれば、基本レイヤ映像と向上レイヤ映像との解像度が異なる。向上レイヤ符号化部１４は、基本レイヤ符号化部１２から獲得した基本レイヤ復元映像を、向上レイヤ原本映像と同一解像度にサイズ調節するために補間することができる。向上レイヤ符号化部１４は、補間された基本レイヤ復元映像を、向上レイヤ予測映像として決定して利用することができる。
【００８７】
段階１３で、インターレイヤオフセット決定部１８は、向上レイヤ予測映像のサンプル値の分布に基づいて、向上レイヤ予測映像のＳＡＯタイプと、カテゴリー別オフセットとを決定することができる。
【００８８】
基本レイヤ映像のためのＳＡＯ動作で利用されたＳＡＯタイプの種類と、ＳＡＯタイプによるＳＡＯカテゴリーの種類は、インターレイヤＳＡＯにも適用される。
【００８９】
インターレイヤオフセット決定部１６は、向上レイヤ映像のピクセル位置ごとに、サンプル値の分布に基づいて、現在サンプルがエッジタイプまたはバンドタイプであるかということを決定し、ＳＡＯタイプを決定することができる。向上レイヤ映像のブロックごとに、ＳＡＯタイプが決定される。
【００９０】
ＳＡＯタイプが決定されれば、ブロックピクセル位置ごとに、向上レイヤ予測ブロックと向上レイヤ原本ブロックとのサンプル誤差がいずれのＳＡＯカテゴリーに属するかということを決定することができる。エッジタイプであるならば、エッジ形態によって、ＳＡＯカテゴリーが決定される。バンドタイプであるならば、サンプル値範囲に基づいてＳＡＯカテゴリーが決定される。
【００９１】
ＳＡＯカテゴリー別に、サンプル誤差の平均を決定し、平均誤差がＳＡＯカテゴリー別オフセットとして決定される。
【００９２】
向上レイヤ符号化部１４は、向上レイヤ予測映像に、インターレイヤＳＡＯによるオフセットを補償し、補償された向上レイヤ予測映像を参照し、向上レイヤ復元映像を生成することができる。
【００９３】
段階１５で、インターレイヤＳＡＯパラメータ決定部１８は、向上レイヤ映像のために、インターレイヤＳＡＯ使用情報とＳＡＯパラメータとを決定することができる。
【００９４】
インターレイヤＳＡＯパラメータ決定部１８は、向上レイヤ予測映像のＳＡＯタイプ、カテゴリー別オフセット、及びオフセットの符号に係わる情報を順次に含むＳＡＯパラメータを決定することができる。
【００９５】
多様な実施形態によるインターレイヤＳＡＯによるオフセット、すなわち、インターレイヤＳＡＯオフセットの符号は、ＳＡＯタイプ、カテゴリー、及び基本レイヤ映像と向上レイヤ映像との解像度の比率のうち少なくとも一つに基づいて決定される場合がある。その場合、インターレイヤＳＡＯパラメータ決定部１８は、ＳＡＯパラメータに、オフセット符号に係わる情報を含めない。
【００９６】
インターレイヤオフセット決定部１６は、カテゴリー別に決定されたオフセットを、所定最大絶対値以下に制限することができる。多様な実施形態によるインターレイヤＳＡＯによるオフセットの最大絶対値は、ＳＡＯタイプ、カテゴリー、及び基本レイヤ映像と向上レイヤ映像との解像度の比率のうち少なくとも一つに基づいて、前もって決定される。
【００９７】
インターレイヤオフセット決定部１６は、向上レイヤ予測映像のサンプルごとに、２以上のカテゴリー別に、オフセットを重複的に（consequently）決定することができる。向上レイヤ復元映像を生成する場合には、向上レイヤ予測映像に、カテゴリーのオフセットを重複的に補償した予測映像を参照し、向上レイヤ復元映像が生成される。
【００９８】
例えば、インターレイヤオフセット決定部１６は、向上レイヤ予測映像の現在ピクセルの垂直方向に位置した隣接ピクセルのサンプル値と、現在ピクセルのサンプル値とを比較し、現在サンプルが第１カテゴリーに属すると決定することができる。インターレイヤオフセット決定部１６は、現在ピクセルのサンプル値を、第１カテゴリーによる第１オフセットほど補正することができる。インターレイヤオフセット決定部１６は、現在ピクセルのサンプル値と、現在ピクセルに水平方向に位置した隣接ピクセルのサンプル値とをさらに比較し、現在サンプルが第２カテゴリーに属すると決定することができる。従って、多様な実施形態によるインターレイヤＳＡＯによれば、１つのサンプルが２以上のカテゴリーに属することができるので、１つのサンプルに対して２以上のオフセットが決定されもする。
【００９９】
多様な実施形態によるインターレイヤオフセット決定部１６は、ＳＡＯタイプによるカテゴリーのうち所定カテゴリーに係わるオフセットは、０に制限することができる。その場合、インターレイヤＳＡＯパラメータ出力部１８は、０に制限されたオフセットは除き、それ以外のオフセットに係わる情報を含むＳＡＯパラメータを決定することができる。
【０１００】
多様な実施形態によるインターレイヤオフセット決定部１６は、向上レイヤ予測映像のうち、基本レイヤ復元映像において、イントラ基本レイヤ予測モード（Intra  ＢＬ  mode）及び差分予測モード（Ｄｉｆｆ  mode）を含む予測モードのうち一つによる基本レイヤ領域を利用して予測する向上レイヤ領域についてのみ、インターレイヤＳＡＯによるオフセットを決定することができる。イントラ基本レイヤ予測モードによれば、イントラモードと予測された基本レイヤデータ単位を利用して、向上レイヤデータ単位が予測される。差分予測モードによれば、インターモードと予測された基本レイヤデータ単位を利用して、向上レイヤデータ単位が予測される。インターレイヤ予測が行われた所定データ単位によって生成された差分成分が、インターレイヤＳＡＯオフセットとして符号化される。説明の便宜のために、基本レイヤデータ単位の予測モードとして、基本レイヤ予測モードまたは差分予測モードを例示したが、インターレイヤ予測のために参照される基本レイヤデータ単位の予測モードは、それらに限定されるものではないということに留意しなければならない。
【０１０１】
すなわち、インターレイヤ予測構造によらずに、単一レイヤ予測によって符号化された向上レイヤブロックについては、インターレイヤＳＡＯが決定されない。
【０１０２】
多様な実施形態によるインターレイヤオフセット決定部１６は、基本レイヤ映像と向上レイヤ映像との解像度の比率、基本レイヤ復元映像を向上レイヤ原本映像と同一解像度にサイズ調節するための補間フィルタの位相差（phase）、及び補間フィルタのフィルタリング順序のうち少なくとも一つに基づいて、ＳＡＯカテゴリーが追加して決定されもする。すなわち、インターレイヤＳＡＯによるＳＡＯカテゴリーには、エッジタイプのエッジ形態、またはバンドタイプのサンプル値範囲だけではなく、レイヤ間解像度の比率、補間フィルタの位相差及び補間フィルタリング順序のうち少なくとも１項目がさらに追加されもする。
【０１０３】
多様な実施形態によるインターレイヤオフセット決定部１６は、向上レイヤ予測映像において、現在領域と対応して位置する基礎レイヤ映像の同位領域（collocated  domain）のＳＡＯパラメータを利用して、向上レイヤ予測映像の現在領域のためのＳＡＯタイプ及びオフセットを決定することができる。
【０１０４】
多様な実施形態によるインターレイヤＳＡＯパラメータ決定部１８は、基礎レイヤ映像の同位領域のＳＡＯパラメータを利用して、向上レイヤ予測映像のためのＳＡＯオフセットを決定するか否かということを示す基本レイヤＳＡＯ併合情報を決定することができる。インターレイヤＳＡＯパラメータ決定部１８は、基本レイヤＳＡＯ併合情報を含むＳＡＯパラメータを出力することができる。
【０１０５】
例えば、基本レイヤＳＡＯ併合情報が、基礎レイヤ映像の同位領域のＳＡＯパラメータの全情報を利用して、向上レイヤ予測映像のためのＳＡＯパラメータが決定されると表示すれば、向上レイヤ予測映像のためのＳＡＯパラメータは、符号化されない。
【０１０６】
例えば、インターレイヤオフセット決定部１６は、基礎レイヤ映像の同位領域のＳＡＯパラメータのうち一部パラメータを利用して、向上レイヤ予測映像の現在領域のためのＳＡＯパラメータのうち一部パラメータを決定することもできる。その場合には、向上レイヤ現在領域のためのＳＡＯパラメータは、基本レイヤ同位領域のＳＡＯパラメータを利用して決定された一部パラメータを含まない。
【０１０７】
具体的には、インターレイヤオフセット決定部１６は、向上レイヤ予測映像において、現在領域と対応して位置する基礎レイヤ映像の同位領域のＳＡＯタイプを利用して、向上レイヤ予測映像において、現在領域のためのインターレイヤＳＡＯのＳＡＯタイプを決定することもできる。その場合、現在領域のためのインターレイヤＳＡＯパラメータは、基本レイヤＳＡＯ併合情報とＳＡＯオフセットとを含むが、ＳＡＯタイプは含まない。
【０１０８】
多様な実施形態によるスケーラブルビデオ符号化装置１０は、基本レイヤ符号化部１２、向上レイヤ符号化部１４、インターレイヤオフセット決定部１６及びインターレイヤＳＡＯパラメータ決定部１８を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、基本レイヤ符号化部１２、向上レイヤ符号化部１４、インターレイヤオフセット決定部１６及びインターレイヤＳＡＯパラメータ決定部１８がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することによって、スケーラブルビデオ符号化装置１０が全体的に作動することもできる。または、スケーラブルビデオ符号化装置１０の外部プロセッサ（図示せず）の制御により、基本レイヤ符号化部１２、向上レイヤ符号化部１４、インターレイヤオフセット決定部１６及びインターレイヤＳＡＯパラメータ決定部１８が制御されもする。
【０１０９】
一実施形態によるスケーラブルビデオ符号化装置１０は、基本レイヤ符号化部１２、向上レイヤ符号化部１４、インターレイヤオフセット決定部１６及びインターレイヤＳＡＯパラメータ決定部１８の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。スケーラブルビデオ符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【０１１０】
一実施形態によるスケーラブルビデオ符号化装置１０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディング・プロセッサまたは外部ビデオエンコーディング・プロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行する。一実施形態によるスケーラブルビデオ符号化装置１０の内部ビデオエンコーディング・プロセッサは、別個のプロセッサとして、ビデオ符号化動作を具現することができる。また、スケーラブルビデオ符号化装置１０、中央演算装置またはグラフィック演算装置がビデオエンコーディング・プロセシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
【０１１１】
図２Ａ及び図２Ｂは、それぞれ多様な実施形態によるスケーラブルビデオ復号化装置のブロック図と、スケーラブルビデオ復号化方法のフローチャートとを図示している。
【０１１２】
多様な実施形態によるスケーラブルビデオ復号化装置２０は、インターレイヤＳＡＯパラメータ獲得部２２、インターレイヤオフセット決定部２４、向上レイヤ復号化部２６及び基本レイヤ復号化部２８を含む。
【０１１３】
多様な実施形態によるスケーラブルビデオ復号化装置２０は、スケーラブル符号化方式によって、レイヤ別に、ビットストリームを受信することができる。スケーラブルビデオ復号化装置２０が受信するビットストリームのレイヤの個数は、限定されるものではない。しかし、説明の便宜のために、以下、スケーラブルビデオ復号化装置２０の基本レイヤ復号化部２８が、基本レイヤストリームを受信して復号化し、向上レイヤ復号化部２６が、向上レイヤストリームを受信して復号化する実施形態について詳細に説明する。
【０１１４】
例えば、空間的スケーラビリティに基づいたスケーラブルビデオ復号化装置２０は、互いに異なる解像度の映像シーケンスが、互いに異なるレイヤに符号化されたストリームを受信することができる。基本レイヤストリームを復号化し、低解像度映像シーケンスが復元され、向上レイヤストリームを復号化し、高解像度映像シーケンスが復元される。
【０１１５】
他の例として、多視点ビデオがスケーラブル・ビデオコーディング方式によって復号化される。ステレオスコピック・ビデオストリームが多数レイヤとして受信された場合、基本レイヤストリームを復号化し、左視点映像が復元される。基本レイヤストリームに向上レイヤストリームをさらに復号化し、右視点映像が復元される。
【０１１６】
または、多視点ビデオストリームが多数レイヤとして受信された場合、基本レイヤストリームを復号化して中央視点映像が復元される。基本レイヤストリームに、第１向上レイヤストリームをさらに復号化し、左視点映像が復元される。基本レイヤストリームに、第２向上レイヤストリームをさらに復号化し、右視点映像が復元される。
【０１１７】
他の例として、時間的スケーラビリティに基づいたスケーラブル・ビデオコーディング方式が遂行される。基本レイヤストリームを復号化し、基本フレームレートの映像が復元される。基本レイヤストリームに、向上レイヤストリームをさらに復号化し、高速フレームレートの映像が復元される。
【０１１８】
また、向上レイヤが３以上である場合、最初の向上レイヤストリームから、最初の向上レイヤに対する最初の向上レイヤ映像が復元され、２番目の向上レイヤストリームをさらに復号化すれば、２番目の向上レイヤ映像がさらに復元される。最初の向上レイヤストリームに、Ｋ番目の向上レイヤストリームをさらに復号化すれば、Ｋ番目の向上レイヤ映像がさらに復元されもする。
【０１１９】
スケーラブルビデオ復号化装置２０は、基本レイヤストリーム及び向上レイヤストリームから、基本レイヤ映像及び向上レイヤ映像の符号化されたデータを獲得し、さらにインター予測によって生成されたモーションベクトル、及びインターレイヤ予測によって生成された予測情報をさらに獲得することができる。
【０１２０】
例えば、スケーラブルビデオ復号化装置２０は、各レイヤ別にインター予測されたデータを復号化し、多数レイヤ間にインターレイヤ予測されたデータを復号化することができる。一実施形態による符号化単位または予測単位を基に、動き補償（motion  compensation）及びインターレイヤ復号化を介した復元が行われる。
【０１２１】
各レイヤストリームについては、同一レイヤのインター予測を介して予測された復元映像を参照し、現在映像のための動き補償を行うことにより、映像を復元することができる。動き補償は、現在映像のモーションベクトルを利用して決定された参照映像と、現在映像の残差成分とを合成し、現在映像の復元映像を再構成する動作を意味する。
【０１２２】
また、一実施形態によるスケーラブルビデオ復号化装置２０は、インターレイヤ予測を介して予測された向上レイヤ映像を復元するために、基本レイヤ映像を参照し、インターレイヤ復号化を行うこともできる。インターレイヤ復号化は、現在映像を予測するために決定された他のレイヤの参照映像と、現在映像の残差成分とを合成し、現在映像の復元映像を再構成する動作を意味する。
【０１２３】
一実施形態によるスケーラブルビデオ復号化装置２０は、最初の向上レイヤ映像を参照し、予測された２番目の向上レイヤ映像を復元するためのインターレイヤ復号化を行うこともできる。インターレイヤ予測構造は、追って、図３を参照して詳細に説明する。
【０１２４】
ただし、多様な実施形態による向上レイヤ復号化部２６が、基本レイヤ映像シーケンスを参照せずにも、向上レイヤストリームを復号化することもできる。従って、向上レイヤ復号化部２６が、向上レイヤ映像シーケンスを復号化するために、インターレイヤ予測を行うと制限的に解釈しないように留意しなければならない。
【０１２５】
スケーラブルビデオ復号化装置２０は、ビデオそれぞれの映像のブロック別に復号化する。一実施形態によるブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。
【０１２６】
基本レイヤ復号化部２８は、パージングされた基本レイヤ映像の符号化シンボルを利用して、基本レイヤ映像を復号化することができる。スケーラブルビデオ復号化装置２０が、ツリー構造の符号化単位を基に符号化されたストリームを受信するならば、基本レイヤ復号化部２８は、基本レイヤストリームの最大符号化単位ごとに、ツリー構造の符号化単位を基に、復号化を行うことができる。
【０１２７】
基本レイヤ復号化部２８は、最大符号化単位ごとに、エントロピー復号化を行い、符号化情報と、符号化されたデータとを獲得することができる。基本レイヤ復号化部２８は、ストリームから獲得した符号化されたデータに対して、逆量子化、逆変換を行い、残差成分を復元することができる。他の実施形態による復号化部１２６は、量子化された変換係数のビットストリームを直接受信することもできる。量子化された変換係数に対して、逆量子化、逆変換を遂行した結果、映像の残差成分が復元されもする。
【０１２８】
基本レイヤ復号化部２８は、同一レイヤ映像間に、動き補償を介して、予測映像と残差成分とを結合し、基本レイヤ映像を復元することができる。
【０１２９】
向上レイヤ復号化部２６は、インターレイヤ予測構造によれば、基本レイヤ復元映像のサンプルを利用して、向上レイヤ予測映像を生成することができる。向上レイヤ復号化部２６は、向上レイヤストリームを復号化し、インターレイヤ予測による予測誤差を獲得することができる。向上レイヤ復号化部２６は、向上レイヤ予測映像に、予測誤差を結合することにより、向上レイヤ復元映像を生成することができる。
【０１３０】
多様な実施形態による基本レイヤ復号化部２８は、基本レイヤストリームから、ＳＡＯパラメータを獲得し、基本レイヤ原本映像と基本レイヤ復元映像との符号化誤差を補償することができる。ＳＡＯパラメータ及びＳＡＯによるＳＡＯタイプ、クラス、カテゴリーなどの関連情報及び概念は、図１Ａを参照して説明したところと同一である。
【０１３１】
具体的に見れば、基本レイヤ復号化部２８は、基本レイヤ映像のツリー構造の符号化単位ごとに符号化されたサンプルに対し、逆量子化、逆変換、インター予測または動き補償を介して復号化し、現在最大符号化単位に含まれたサンプルを復元することができる。符号化されたサンプルについて、以前スライスに対して符号化してから復号化を行い、復元映像を生成することができる。現在スライスのインター予測のために、以前スライスの復元映像が参照される。従って、以前スライスの復元映像が、現在スライスのための予測映像として利用される。
【０１３２】
基本レイヤ復号化部２８は、基本レイヤストリームから、現在最大符号化単位のためのＳＡＯパラメータを獲得し、ＳＡＯパラメータのうちＳＡＯタイプに基づいて、オフタイプ、エッジタイプまたはバンドタイプであるかということ決定することができる。
【０１３３】
基本レイヤ復号化部２８は、ＳＡＯパラメータから、カテゴリー別オフセットを獲得することができる。基本レイヤ復号化部２８は、予測映像において、現在ブロックの復元サンプルごとに、ＳＡＯタイプによるカテゴリーのうちいずれのカテゴリーに属するかということを決定することができる。従って、基本レイヤ復号化部２８は、復元サンプルごとに決定されたカテゴリーによって、サンプル値に、オフセットを結合することにより、基本レイヤ復元映像の符号化誤差を補償することができる。
【０１３４】
多様な実施形態による向上レイヤ復号化部２６は、インターレイヤ予測構造による向上レイヤ予測ブロックと、向上レイヤ原本ブロックとの予測誤差、すなわち、残差成分を、ＳＡＯパラメータから獲得することができる。
【０１３５】
基本レイヤ復号化部２８は、基本レイヤ映像に対する予測後、復元映像と原本映像との誤差を補償するための後処理動作として、ＳＡＯ動作を遂行する。これに対し、向上レイヤ復号化部２６は、インターレイヤ予測構造によって、向上レイヤ映像を予測するために参照する予測映像を決定するために、インターレイヤＳＡＯ動作を遂行する。すなわち、インターレイヤ予測誤差、すなわち、インターレイヤ予測による残差成分として、ＳＡＯオフセットが利用される。
【０１３６】
以下、図２Ｂを参照し、スケーラブルビデオ復号化装置２０の動作について詳細に説明する。
【０１３７】
段階２１で、インターレイヤＳＡＯパラメータ獲得部２２は、受信された向上レイヤストリームから、インターレイヤＳＡＯ使用情報と、ＳＡＯパラメータとを獲得することができる。インターレイヤＳＡＯ使用情報に基づいて、向上レイヤ復号化部２６において、基本レイヤ復元映像と向上レイヤ予測映像とのインターレイヤ予測誤差を補償するか否かということを決定することができる。
【０１３８】
段階２３で、インターレイヤオフセット決定部２４は、ＳＡＯパラメータから、向上レイヤ予測映像のＳＡＯタイプと、インターレイヤ予測誤差をカテゴリー別に分類したオフセットとを決定することができる。
【０１３９】
インターレイヤオフセット決定部２４は、ＳＡＯパラメータを基に、向上レイヤ予測映像のＳＡＯタイプ、カテゴリー別オフセット及びオフセットの符号を順次に決定することができる。ＳＡＯパラメータに、オフセット符号に係わる情報が含まれていない場合、インターレイヤオフセット決定部２４は、ＳＡＯタイプ、カテゴリー、及びレイヤ間解像度の比率のうち少なくとも一つに基づいて、オフセットの符号を決定することができる。
【０１４０】
インターレイヤオフセット決定部２４は、ＳＡＯパラメータから、最大絶対値以下に制限されたオフセットを獲得することができる。
【０１４１】
インターレイヤオフセット決定部２４は、向上レイヤ予測映像のサンプルごとに、２以上のカテゴリーを決定し、ＳＡＯパラメータから、当該２以上のカテゴリー別オフセットを獲得することもできる。その場合、向上レイヤ復号化部２６は、向上レイヤ予測映像に、インターレイヤＳＡＯを適用するために、向上レイヤ予測映像のサンプルに、２以上のカテゴリーのオフセットを重複的に結合しながら、向上レイヤ予測映像を更新することができる。
【０１４２】
具体的には、インターレイヤオフセット決定部２４は、向上レイヤ予測映像のＳＡＯパラメータから、エッジタイプという情報、及びエッジ形態によるカテゴリー別オフセットを獲得することができる。
【０１４３】
インターレイヤオフセット決定部２４は、向上レイヤ予測映像の現在ピクセルの垂直方向に位置した隣接ピクセルのサンプル値と、現在ピクセルのサンプル値とを比較し、現在ピクセルが、第１カテゴリーに属すると決定することができる。向上レイヤ復号化部２６は、現在ピクセルのサンプル値に、第１カテゴリーによる第１オフセットを合成し、現在ピクセルのサンプル値を補正することができる。
【０１４４】
また、インターレイヤオフセット決定部２４は、現在ピクセルの水平方向に位置した隣接ピクセルのサンプル値と、現在ピクセルのサンプル値とを比較し、現在ピクセルが第２カテゴリーに属するということを決定することができる。インターレイヤオフセット決定部２４は、第１カテゴリーによる第１オフセットを利用して補正された現在サンプル値に、第２カテゴリーによる第２オフセットを追加して結合し、現在ピクセルのサンプル値を再補正することができる。これにより、１つのサンプルに、多数のカテゴリーが決定される場合、カテゴリー別オフセットを利用して、サンプル値が重複的に補償される。
【０１４５】
インターレイヤオフセット決定部２４は、ＳＡＯパラメータに、所定カテゴリーのオフセットが含まれていない場合、当該カテゴリーのオフセットは、０と決定することができる。
【０１４６】
インターレイヤオフセット決定部２４は、インターレイヤＳＡＯ使用情報に基づいて、インターレイヤ予測の誤差が補償される場合にも、向上レイヤ予測映像において、イントラベースレイヤ予測モード及び差分予測モードを含む予測モードのうち一つによる基本レイヤ復元映像を利用して予測された向上レイヤ領域（domain）についてのみ、インターレイヤＳＡＯオフセットを決定することができる。すなわち、所定予測モードによる基本レイヤデータ単位を利用して復元された向上レイヤデータ単位についてのみ、インターレイヤ予測による差分成分が、インターレイヤＳＡＯオフセットとして決定される。
【０１４７】
多様な実施形態により、エッジタイプのサンプルが属するエッジの形態によって、カテゴリーが分類されたり、バンドタイプのサンプルが属するサンプル値範囲によって、カテゴリーが分類されたりするだけではなく、インターレイヤ予測構造から、レイヤ間解像度の比率、補間フィルタの位相差、及び補間フィルタのフィルタリング順序のうち少なくとも一つに基づいて、サンプルのカテゴリーが分類されもする。
【０１４８】
多様な実施形態によるインターレイヤＳＡＯパラメータ獲得部２２は、向上レイヤストリームから、基礎レイヤ映像の同位領域のＳＡＯパラメータを利用して、向上レイヤ予測映像のためのＳＡＯパラメータを決定するか否かということを示す基本レイヤＳＡＯ併合情報を獲得することができる。
【０１４９】
例えば、インターレイヤＳＡＯパラメータ獲得部２２は、基本レイヤＳＡＯ併合情報に基づいて、向上レイヤ予測映像において、現在領域と対応して位置する基礎レイヤ映像の同位領域のＳＡＯパラメータを利用して、現在領域のためのＳＡＯパラメータを決定することもできる。
【０１５０】
インターレイヤＳＡＯパラメータ獲得部２２は、基本レイヤＳＡＯ併合情報に基づいて、基礎レイヤ映像の同位領域のＳＡＯパラメータの全情報を利用して、向上レイヤ映像の現在映像のＳＡＯパラメータを決定することができるならば、向上レイヤビットストリームから、向上レイヤ映像の現在映像のためのＳＡＯパラメータを直接獲得しない。
【０１５１】
インターレイヤオフセット決定部２４は、基礎レイヤ映像の同位領域のＳＡＯパラメータのうち少なくとも１つの情報を利用して、向上レイヤ予測映像の現在領域のためのＳＡＯパラメータのうち少なくとも１つの情報を決定することができる。
【０１５２】
例えば、インターレイヤＳＡＯパラメータ獲得部２２は、基礎レイヤ映像の同位領域のＳＡＯタイプを利用して、向上レイヤ予測映像の現在領域のためのオフセットのＳＡＯタイプを決定することもできる。
【０１５３】
段階２５で、向上レイヤ復号化部２６は、向上レイヤ予測映像のピクセル位置ごとに、現在サンプルのカテゴリーを決定し、ＳＡＯパラメータから獲得したオフセットのうち現在カテゴリーのためのオフセットほど現在サンプルを補償することができる。向上レイヤ復号化部２６は、向上レイヤ予測映像のサンプルを各オフセットで補償し、向上レイヤ復元映像を生成することができる。
【０１５４】
向上レイヤ復号化部２６は、基本レイヤ復号化部２８で復号化された基本レイヤ復元映像を利用して、向上レイヤ予測映像を決定することができる。向上レイヤ復号化部２６は、インターレイヤ予測構造により、向上レイヤ映像の符号化単位または予測単位のようなブロックが参照する基本レイヤ映像のブロックを決定することができる。例えば、向上レイヤ映像において、現在ブロックの位置に相応して位置する基本レイヤ映像の復元ブロックが決定される。向上レイヤ復号化部２６は、向上レイヤブロックに相応する基本レイヤ復元ブロックを利用して、向上レイヤ予測ブロックを決定することができる。
【０１５５】
一実施形態による向上レイヤ復号化部２６は、インターレイヤ予測構造によって、基本レイヤ復元ブロックを利用して決定された向上レイヤ予測ブロックを、向上レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することもできる。その場合、向上レイヤ復号化部２６は、基本レイヤ復元映像を利用して決定した向上レイヤ予測ブロックのサンプル値と、ＳＡＯパラメータから獲得したオフセット、すなわち、インターレイヤ予測による残差成分とを合成することにより、向上レイヤブロックを復元することができる。
【０１５６】
空間的スケーラブル・ビデオコーディング方式によれば、基本レイヤ復号化部２８が、向上レイヤ映像と異なる解像度の基本レイヤ映像を復元した場合、向上レイヤ復号化部２６は、基本レイヤ復元映像を、向上レイヤ原本映像と同一解像度にサイズ調節するために補間することができる。補間された基本レイヤ復元映像を、インターレイヤ予測のための向上レイヤ予測映像として決定される。
【０１５７】
従って、スケーラブルビデオ復号化装置２０の基本レイヤ復号化部２８は、基本レイヤストリームを復号化し、基本レイヤ映像シーケンスを復元し、向上レイヤ復号化部２６は、向上レイヤストリームを復号化し、向上レイヤ映像シーケンスを復元することができる。
【０１５８】
多様な実施形態によるスケーラブルビデオ復号化装置２０は、インターレイヤＳＡＯパラメータ獲得部２２、インターレイヤオフセット決定部２４、向上レイヤ復号化部２６及び基本レイヤ復号化部２８を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、インターレイヤＳＡＯパラメータ獲得部２２、インターレイヤオフセット決定部２４、向上レイヤ復号化部２６及び基本レイヤ復号化部２８が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、スケーラブルビデオ復号化装置２０が全体的に作動することもできる。または、多様な実施形態によるスケーラブルビデオ復号化装置２０の外部プロセッサ（図示せず）の制御により、インターレイヤＳＡＯパラメータ獲得部２２、インターレイヤオフセット決定部２４、向上レイヤ復号化部２６及び基本レイヤ復号化部２８が制御されもする。
【０１５９】
多様な実施形態によるスケーラブルビデオ復号化装置２０は、インターレイヤＳＡＯパラメータ獲得部２２、インターレイヤオフセット決定部２４、向上レイヤ復号化部２６及び基本レイヤ復号化部２８の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。スケーラブルビデオ復号化装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【０１６０】
多様な実施形態によるスケーラブルビデオ復号化装置２０は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連繋して作動することにより、逆変換を含んだビデオ復号化動作を遂行する。多様な実施形態によるスケーラブルビデオ復号化装置２０の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけではなく、スケーラブルビデオ復号化装置２０、中央演算装置またはグラフィック演算装置がビデオデコーディング・プロセシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。
【０１６１】
以上、図１Ａ及び図１Ｂを参照して詳細に説明した多様な実施形態によるスケーラブルビデオ符号化装置１０によれば、向上レイヤ映像を予測するためのインターレイヤ予測誤差を、ＳＡＯパラメータを利用して符号化することができる。従って、ピクセル位置別に、インターレイヤ予測誤差を符号化する必要なく、予測誤差のサンプル値分布に基づいて決定されたＳＡＯタイプとカテゴリー別オフセットとに係わる情報のみを利用して、インターレイヤ予測誤差が符号化される。
【０１６２】
以上、図２Ａ及び２Ｂを参照して詳細に説明した多様な実施形態によるスケーラブルビデオ復号化装置２０は、受信されたビットストリームから、ＳＡＯタイプ及びオフセットを獲得し、向上レイヤ予測映像のピクセルごとに、サンプル値の分布により、ＳＡＯカテゴリーを決定することができるので、ＳＡＯタイプ及びオフセットを利用して、ＳＡＯカテゴリー別オフセットを獲得することができる。従って、ピクセル別に、インターレイヤ予測誤差を受信しないにしても、向上レイヤ予測映像の各ピクセルごとに、当該カテゴリー別オフセットで補償することにより、向上レイヤ復元映像が決定される。
【０１６３】
以下、図３を参照し、多様な実施形態によるスケーラブルビデオ符号化装置１０の向上レイヤ符号化部１４で遂行されるインターレイヤ予測構造について詳細に説明する。
【０１６４】
図３は、一実施形態によるインターレイヤ予測構造を図示している。
【０１６５】
インターレイヤ符号化システム１６００は、基本レイヤ符号化端１６１０、向上レイヤ符号化端１６６０、及び基本レイヤ符号化端１６１０と向上レイヤ符号化端１６６０との間のインターレイヤ予測端１６５０から構成される。基本レイヤ符号化端１６１０及び向上レイヤ符号化端１６６０は、それぞれ基本レイヤ符号化部１２及び向上レイヤ符号化部１４の具体的な構成を図示することができる。
【０１６６】
基本レイヤ符号化端１６１０は、基本レイヤ映像シーケンスを入力され、映像ごとに符号化する。向上レイヤ符号化端１６６０は、向上レイヤ映像シーケンスを入力され、映像ごとに符号化する。基本レイヤ符号化端１６１０と向上レイヤ符号化端１６６０の動作のうち、重複する動作は同時に後述する。
【０１６７】
ブロック分割部１６１８，１６６８を介して、入力映像（低解像度映像、高解像度映像）は、最大符号化単位、符号化単位、予測単位、変換単位などに分割される。ブロック分割部１６１８，１６６８から出力された符号化単位の符号化のために、符号化単位の予測単位別に、イントラ予測またはインター予測が行われる。予測スイッチ１６４８，１６９８は、予測単位の予測モードが、イントラ予測モードまたはインター予測モードであるかということにより、動き補償部１６４０，１６９０から出力された以前復元映像を参照し、インター予測が遂行されるか、あるいはイントラ予測部１６４５、１６９５）から出力された現在入力映像内において、現在予測単位の隣接予測単位を利用して、イントラ予測が行われる。インター予測を介して、予測単位別に、レジデュアル情報が生成される。
【０１６８】
符号化単位の予測単位別に、予測単位と周辺映像との残差成分が、変換／量子化部１６２０，１６７０に入力される。変換／量子化部１６２０，１６７０は、符号化単位の変換単位を基に、変換単位別に変換及び量子化を行い、量子化された変換係数を出力することができる。
【０１６９】
スケーリング／逆変換部１６２５，１６７５は、さらに符号化単位の変換単位別に量子化された変換係数に対して、スケーリング及び逆変換を行い、空間領域の残差成分を生成することができる。予測スイッチ１６４８，１６９８によってインターモードで制御される場合、残差成分は、以前復元映像または隣接予測単位と合成されることにより、現在予測単位を含む復元映像が生成され、現在復元映像は、ストレージ１６３０，１６８０に保存される。現在復元映像は、さらに次に符号化される予測単位の予測モードによって、イントラ予測部１６４５，１６９５／動き補償部１６４０，１６９０に伝達される。
【０１７０】
特に、インターモードの場合、インループ・フィルタリング（in-loop  filtering）部１６３５，１６８５は、ストレージ１６３０，１６８０に保存された復元映像に対し、符号化単位別に、デブロッキング・フィルタリング及びＳＡＯフィルタリングのうち少なくとも１つのフィルタリングを行うことができる。符号化単位、並びに符号化単位に含まれた予測単位及び変換単位のうち少なくとも一つに対して、デブロッキング・フィルタリング及びＳＡＯフィルタリングのうち少なくとも１つのフィルタリングが行われる。
【０１７１】
デブロッキング・フィルタリングは、データ単位のブロッキング現象を緩和させるためのフィルタリングであり、ＳＡＯフィルタリングは、データ符号化及びデータ復号化によって変形されるピクセル値を補償するためのフィルタリングである。インループ・フィルタリング部１６３５，１６８５によってフィルタリングされたデータは、予測単位別に、動き補償部１６４０，１６９０に伝達される。また、ブロック分割部１６１８，１６６８から出力された、次の順序の符号化単位の符号化のために、動き補償部１６４０，１６９０及びブロック分割部１６１８，１６６８が出力した現在復元映像と、次の符号化単位との残差成分が生成される。
【０１７２】
このように、入力映像の符号化単位ごとに、前述の符号化動作が反復される。
【０１７３】
また、インターレイヤ予測のために、向上レイヤ符号化端１６６０は、基本レイヤ符号化端１６１０のストレージ１６３０に保存された復元映像を参照することができる。基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、基本レイヤ符号化端１６１０のストレージ１６３０を制御し、基本レイヤ符号化端１６１０の復元映像を、向上レイヤ符号化端１６６０に伝達することができる。伝達された基本レイヤ復元映像は、向上レイヤ予測映像として利用される。
【０１７４】
インターレイヤ予測端１６５０のインターレイヤＳＡＯ予測部１６５５は、基本レイヤと向上レイヤとの映像間で解像度が異なる場合、基本レイヤの復元映像をアップサンプリングし、向上レイヤ符号化端１６６０に伝達することもできる。従って、アップサンプリングされた基本レイヤ復元映像が、向上レイヤ予測映像として利用される。
【０１７５】
向上レイヤ符号化端１６６０の符号化コントロール部１６６５がスイッチ１６９８を制御し、インターレイヤ予測が行われる場合には、インターレイヤ予測端１６５０を介して伝達された基本レイヤ復元映像を参照し、向上レイヤ映像を予測することもできる。
【０１７６】
映像の符号化のために、符号化単位、予測単位、変換単位のための各種符号化モードを設定することができる。例えば、符号化単位に係わる符号化モードとして、深度または分割情報（split  flag）などが設定される。予測単位に係わる符号化モードとして、予測モード、パーティションタイプ、イントラ方向情報、参照リスト情報などが設定される。変換単位に係わる符号化モードとして、変換深度または分割情報などが設定される。
【０１７７】
基本レイヤ符号化端１６１０は、符号化単位のための多様な深度、予測単位に係わる多様な予測モード、多様なパーティションタイプ、多様なイントラ方向、多様な参照リスト、変換単位のための多様な変換深度をそれぞれ適用して符号化を行った結果により、符号化効率が最も高い符号花深度、予測モード、パーティションタイプ、イントラ方向／参照リスト、変換深度などを決定することができる。基本レイヤ符号化端１６１０で決定される前述の符号化モードに限定されるものではない。
【０１７８】
基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、それぞれ構成要素の動作に多様な符号化モードが適切に適用されるように制御することができる。また、符号化コントロール部１６１５は、向上レイヤ符号化端１６６０のインターレイヤ符号化のために、向上レイヤ符号化端１６６０が、基本レイヤ符号化端１６１０の符号化結果を参照し、符号化モードまたは残差成分を決定するように制御することができる。
【０１７９】
例えば、向上レイヤ符号化端１６６０は、基本レイヤ符号化端１６１０の符号化モードを、向上レイヤ映像のための符号化モードとしてそのまま利用するか、あるいは基本レイヤ符号化端１６１０の符号化モードを参照し、向上レイヤ映像のための符号化モードを決定することができる。基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、基本レイヤ符号化端１６１０の向上レイヤ符号化端１６６０の符号化コントロール部１６６５の制御信号を制御し、向上レイヤ符号化端１６６０が、現在符号化モードを決定するために、基本レイヤ符号化端１６１０の符号化モードから、現在符号化モードを利用することができる。
【０１８０】
特に、一実施形態による向上レイヤ符号化端１６６０は、インターレイヤ予測誤差を、ＳＡＯパラメータを利用して符号化することができる。従って、基本レイヤ復元映像から決定された向上レイヤ予測映像と、向上レイヤ復元映像との予測誤差を、ＳＡＯパラメータのオフセットとして符号化することができる。
【０１８１】
図３で図示されたインターレイヤ予測方式によるインターレイヤ符号化システム１６００と類似して、インターレイヤ予測方式によるインターレイヤ復号化システムも具現される。すなわち、インターレイヤ復号化システムは、基本レイヤビットストリーム及び向上レイヤビットストリームを受信することができる。インターレイヤ復号化システムの基本レイヤ復号化端において、基本レイヤビットストリームを復号化し、基本レイヤ映像を復元することができる。マルチレイヤビデオのインターレイヤ復号化システムの向上レイヤ復号化端では、基本レイヤ復元映像と、パージングした符号化情報とを利用して、向上レイヤビットストリームを復号化し、向上レイヤ映像を復元することができる。
【０１８２】
多様な実施形態によるスケーラブルビデオ符号化装置１０の符号化部１２において、インターレイヤ予測を行うならば、スケーラブルビデオ復号化装置２０の復号化部２６において、前述のインターレイヤ復号化システムによって、マルチレイヤ映像を復元することができる。
【０１８３】
また、インターレイヤ符号化システム１６００において、インターレイヤ予測誤差を、ＳＡＯパラメータを利用して符号化するならば、インターレイヤ復号化システムは、向上レイヤストリームからＳＡＯパラメータを獲得し、ＳＡＯパラメータのうち、ＳＡＯタイプ、カテゴリー別オフセットを決定することができる。インターレイヤ復号化システムは、基本レイヤ復元映像から決定した向上レイヤ予測映像のサンプル分布に基づいて、サンプルごとにカテゴリーを決定することができる。従って、インターレイヤ復号化システムは、サンプル値に、当該カテゴリーのオフセットを補償することにより、向上レイヤ復元映像を生成することができる。
【０１８４】
図４Ａ、図４Ｂ及び図４Ｃは、多様な実施形態によるインターレイヤＳＡＯの概念図を図示している。
【０１８５】
図４Ａは、一般的なＳＡＯ構造を図示している。基本的なＳＡＯパラメータのオフセットは、単一レイヤ符号化構造において、復元映像と原本映像との符号化誤差を符号化するために使用される。基本レイヤ映像の予測構造においては、基本レイヤ原本映像４１１を符号化した後、さらに復元した基本レイヤ復元映像４３１と基本レイヤ原本映像４１１との符号化誤差は、基本レイヤＳＡＯパラメータとして符号化される。向上レイヤ映像の単一レイヤ符号化構造においては、向上レイヤ原本映像４４１を符号化した後、さらに復元した向上レイヤ復元映像４２１と、向上レイヤ原本映像４４１との符号化誤差が、向上レイヤＳＡＯパラメータとして符号化される。
【０１８６】
図４Ｂ及び図４Ｃは、スケーラブルビデオ符号化構造でのインターレイヤＳＡＯ構造を図示している。基本レイヤ映像と向上レイヤ映像との間でインターレイヤ予測が行われるので、基本レイヤ復元映像を利用して、向上レイヤ映像を予測することができる。
【０１８７】
まず、図４Ｂは、空間的スケーラビリティに基づいたインターレイヤビデオ符号化構造であって、基本レイヤにおいては、低解像度映像が符号化され、向上レイヤにおいては、高解像度映像が符号化される。基本レイヤ映像の予測構造は、図４Ａと同一である。
【０１８８】
しかし、向上レイヤ映像のためのインターレイヤ予測構造では、基本レイヤ復元映像４５１を補間したアップサンプリングされた基本レイヤ復元映像４５３を利用して、向上レイヤ原本映像４６を予測することができる。基本レイヤ原本映像４５と、基本レイヤ復元映像４５１との間に、基本レイヤ符号化誤差が発生し、アップサンプリングされた基本レイヤ復元映像４５３を得るために補間が行われるので、補間誤差が発生しうる。基本レイヤ符号化誤差及び補間誤差を含み、インターレイヤ予測によって発生する誤差を補償するために、アップサンプリングされた基本レイヤ復元映像４５３と、向上レイヤ原本映像４６とのインターレイヤ予測誤差が、インターレイヤＳＡＯパラメータとして符号化される。
【０１８９】
図４Ｃは、ＳＮＲ（signal  to  noise  ratio）スケーラビリティに基づいたインターレイヤビデオ符号化構造であって、基本レイヤにおいては、低画質映像が符号化され、向上レイヤにおいては、高画質映像が符号化される。基本レイヤ映像の予測構造は、図４Ａ、図４Ｂと同一である。しかし、向上レイヤ映像の予測構造においては、基本レイヤ復元映像４７１を利用して、向上レイヤ原本映像４８を予測することができる。基本レイヤ原本映像４７と、基本レイヤ復元映像４７１との間で、基本レイヤ符号化誤差を含み、インターレイヤ予測によって発生する誤差を補償するために、基本レイヤ復元映像４７１と、向上レイヤ原本映像４８とのインターレイヤ予測誤差が、インターレイヤＳＡＯパラメータとして符号化される。
【０１９０】
多様な実施形態によるインターレイヤＳＡＯパラメータは、ＳＡＯタイプによってサンプルを分類するカテゴリー、オフセット符号に係わる情報を含み、基本的なＳＡＯパラメータのＳＡＯオフセット、カテゴリー、オフセット符号などの関連情報の概念を利用することができる。以下、図５Ａ、図５Ｂ、図５Ｃ、及び図５Ｄを参照し、ＳＡＯパラメータのＳＡＯタイプ、カテゴリー及びオフセット符号について詳細に説明する。
【０１９１】
ＳＡＯ技法によれば、（ｉ）復元サンプルが構成するエッジタイプによって、サンプルが分類したり、あるいは（ｉｉ）復元サンプルのバンドタイプによって、サンプルが分類されたりする。一実施形態による、サンプルがエッジタイプによって分類されるか、あるいはバンドタイプによって分類されるかということは、ＳＡＯタイプと定義される。
【０１９２】
まず、図５Ａ、図５Ｂ及び図５Ｃを参照し、一実施形態によるＳＡＯ技法により、エッジタイプによってサンプルを分類する実施形態について詳細に説明する。
【０１９３】
現在最大符号化単位に対して、エッジタイプのオフセットを決定する場合、現在最大符号化単位に含まれた各復元サンプルのエッジクラスが決定される。すなわち、現在復元サンプルと隣接サンプルとのサンプル値を比較し、現在復元サンプルのエッジクラスが定義される。エッジクラスが決定される一例について、図５Ａを参照して説明する。
【０１９４】
図５Ａは、ＳＡＯエッジタイプのエッジクラスを図示している。
【０１９５】
エッジクラス４１，４２，４３，４４のインデックスが、順に０、１、２、３と割り当てられる。エッジタイプの発生頻度が高いほど、エッジタイプのインデックスが小さく割り当てられる。
【０１９６】
エッジクラスは、現在復元サンプルＸ０と隣接する２個の隣接サンプルが形成する一次元エッジの方向を示す。インデックス０のエッジクラス４１は、現在復元サンプルＸ０と水平方向に隣接する２個の隣接サンプルＸ１，Ｘ２が、エッジを形成する場合を示している。インデックス１のエッジクラス４２は、現在復元サンプルＸ０と垂直方向に隣接する２個の隣接サンプルＸ３，Ｘ４が、エッジを形成する場合を示している。インデックス２のエッジクラス４３は、現在復元サンプルＸ０に１３５゜対角方向に隣接する２個の隣接サンプルＸ５，Ｘ８が、エッジを形成する場合を示している。インデックス３のエッジクラス４４は、現在復元サンプルＸ０に４５゜対角方向に隣接する２個の隣接サンプルＸ６，Ｘ７が、エッジを形成する場合を示している。
【０１９７】
従って、現在最大符号化単位内に含まれた復元サンプルのエッジ方向を分析し、現在最大符号化単位において、強いエッジの方向を決定することにより、現在最大符号化単位のエッジクラスが決定される。
【０１９８】
各エッジクラスごとに、現在サンプルのエッジ形態によってカテゴリーが分類される。エッジ形態によるカテゴリーの一例について、図５Ｂ及び図５Ｃを参照して説明する。
【０１９９】
図５Ｂ及び図５Ｃは、一実施形態によるエッジタイプのカテゴリーを図示している。
【０２００】
エッジカテゴリーは、現在サンプルが、凹状エッジの最低点であるかということ、凹状エッジの最低点周囲に位置する曲線コーナーのサンプルであるかということ、凸状エッジの最高点であるかということ、凸状エッジの最高点周囲に位置する曲線コーナーのサンプルであるかということを示している。
【０２０１】
図５Ｂは、エッジのカテゴリーを決定するための条件を例示している。図５Ｃは、復元サンプルと隣接サンプルとのエッジ形態、及びサンプル値ｃ，ａ，ｂのグラフを例示している。
【０２０２】
ｃは、復元サンプルのインデックス、ａ、ｂは、エッジ方向に沿って、現在復元サンプルの両側に隣接する隣接サンプルのインデックスを示している。Ｘａ、Ｘｂ、Ｘｃは、それぞれインデックスａ，ｂ，ｃである復元サンプルのサンプル値を示している。図５Ｃのグラフのｘ軸は、復元サンプルと両側に隣接する隣接サンプルのインデックスを示し、ｙ軸は、各サンプルのサンプル値を示している。
【０２０３】
カテゴリー１は、現在サンプルが凹状エッジの最低点、すなわち、ローカルバレー（local  valley）地点である場合を示している（Ｘｃ＜Ｘａ  ＆＆  Ｘｃ＜Ｘｂ）。グラフ５１のように、隣接サンプルａ，ｂ間において、現在復元サンプルｃが凹状エッジの最低点である場合、現在復元サンプルは、カテゴリー１に分類される。
【０２０４】
カテゴリー２は、現在サンプルが凹状エッジの最低点周辺に位置する曲線コーナー（concave  corners）に位置する場合を示している（Ｘｃ＜Ｘａ  ＆＆  Ｘｃ＝＝Ｘｂ  ｜｜  Ｘｃ＝＝Ｘａ  ＆＆  Ｘｃ＜Ｘｂ）。グラフ５２のように、隣接サンプルａ，ｂ間で、現在復元サンプルｃが凹状エッジの下降カーブが終了する地点に位置するか（Ｘｃ＜Ｘａ  ＆＆  Ｘｃ＝＝Ｘｂ）、グラフ５３のように、現在復元サンプルｃが凹状エッジの上昇カーブが始まる地点に位置する（Ｘｃ＝＝Ｘａ  ＆＆  Ｘｃ＜Ｘｂ）場合、現在復元サンプルは、カテゴリー２に分類される。
【０２０５】
カテゴリー３は、現在サンプルが凸状エッジの最高点周辺に位置する曲線コーナー（convex  corners）に位置する場合を示している（Ｘｃ＞Ｘａ  ＆＆  Ｘｃ＝＝Ｘｂ  ｜｜  Ｘｃ＝＝Ｘａ  ＆＆  Ｘｃ＞Ｘｂ）。グラフ５４のように、隣接サンプルａ，ｂ間で、現在復元サンプルｃが凹状エッジの下降カーブが始まる地点に位置するか（Ｘｃ＝＝Ｘａ  ＆＆  Ｘｃ＞Ｘｂ）、グラフ５５のように、現在復元サンプルｃが凹状エッジの上昇カーブが終了する地点に位置する（Ｘｃ＞Ｘａ  ＆＆  Ｘｃ＝＝Ｘｂ）場合、現在復元サンプルは、カテゴリー３に分類される。
【０２０６】
カテゴリー４は、現在サンプルが凸状エッジの最高点、すなわち、ローカルピーク（local  peak）地点である場合を示している（Ｘｃ＞Ｘａ  ＆＆  Ｘｃ＞Ｘｂ）。グラフ５６のように、隣接サンプルａ，ｂ間で、現在復元サンプルｃが凸状エッジの最高点である場合、現在復元サンプルは、カテゴリー４に分類される。
【０２０７】
現在復元サンプルに対して、カテゴリー１，２，３，４の条件がいずれも充足されるものではない場合には、エッジではないので、カテゴリー０に分類され、カテゴリー０に係わるオフセットは、別途に符号化される必要はない。
【０２０８】
一実施形態により、同一カテゴリーに該当する復元サンプルについて、復元サンプルと原本サンプルとの差値の平均値が、現在カテゴリーのオフセットとして決定される。また、各カテゴリーごとに、オフセットが決定される。
【０２０９】
カテゴリー１，２の凹状エッジは、正数オフセット値によって、復元サンプル値が調整されるならば、エッジが平坦になるスムージング（smoothing）効果が発生し、負数オフセット値によって、エッジの先鋭度（sharpeness）が高くなるシャープニング（sharpening）効果が生じる。カテゴリー３，４の凸状エッジは、負数オフセット値によって、エッジのスムージング効果が発生し、正数オフセット値によって、エッジのシャープニング効果が生じる。
【０２１０】
一実施形態によるインターレイヤＳＡＯ補償においては、エッジのシャープニング効果を許容しない。その場合には、カテゴリー１，２の凹状エッジについては、正数オフセット値が必要であり、カテゴリー３，４の凸状エッジについては、負数オフセット値が必要である。すなわち、エッジのカテゴリーを基に、オフセットの符号が固定的に決定される。従って、スケーラブルビデオ符号化装置１０と、スケーラブルビデオ復号化装置２０は、エッジタイプのオフセットの符号を除き、オフセットの絶対値さえ送受信すればよい。
【０２１１】
従って、スケーラブルビデオ符号化装置１０は、現在エッジクラスのカテゴリーごとに、対応するオフセット値を符号化して送信し、スケーラブルビデオ復号化装置２０は、受信されたカテゴリー別オフセット値を利用して、復元サンプルごとに、当該カテゴリーのオフセット値ほど調整することができる。
【０２１２】
例えば、エッジタイプのオフセット値が０と決定される場合、スケーラブルビデオ符号化装置１０は、ＳＡＯタイプ及びエッジクラスのみ伝送することができる。
【０２１３】
例えば、エッジタイプのオフセット絶対値が０ではない場合には、スケーラブルビデオ符号化装置１０は、ＳＡＯタイプ、オフセット絶対値及びエッジクラス情報を伝送することができる。エッジタイプである場合には、オフセット符号情報を伝送する必要がない。
【０２１４】
スケーラブルビデオ復号化装置２０は、受信されたオフセット絶対値が０ではないならば、エッジタイプのオフセット絶対値情報を読み取ることができる。オフセットの符号は、復元サンプルと隣接サンプルとのエッジ形態によるエッジカテゴリーによって予測される。
【０２１５】
従って、一実施形態によるスケーラブルビデオ符号化装置１０は、エッジ方向、エッジ形態によって、サンプルをカテゴリーに割り当て、同一カテゴリーのサンプル間の平均誤差値をオフセット値として決定するので、カテゴリー別に、オフセット値を決定することができる。スケーラブルビデオ符号化装置１０は、エッジタイプであるということを示すＳＡＯタイプ情報、エッジ方向を示すエッジクラス及びオフセット値を符号化して伝送することができる。
【０２１６】
一実施形態によるスケーラブルビデオ復号化装置２０は、ＳＡＯタイプ情報、ＳＡＯクラス情報及びオフセット値を受信し、ＳＡＯタイプ情報及びＳＡＯクラス情報によって、エッジ方向を決定することができる。スケーラブルビデオ復号化装置２０は、向上レイヤ予測映像のサンプルごとに、エッジ方向によるエッジ形態に対応するカテゴリー別オフセット値を決定し、サンプル値をオフセット値ほど調整することにより、原本映像との予測誤差が最小化された向上レイヤ映像を復元することができる。
【０２１７】
次に、図５Ｄを参照し、ＳＡＯ技法により、バンドタイプによってサンプルを分類する実施形態について詳細に説明する。
【０２１８】
図５Ｄは、ＳＡＯバンドタイプのＳＡＯカテゴリーを図示している。
【０２１９】
グラフ５０は、復元サンプルに係わるサンプル値バンド別サンプル個数を図示している。
【０２２０】
一実施形態により、復元サンプルのサンプル値は、それぞれバンドのうち一つに属する。例えば、ｐビットサンプリングによって獲得されたサンプル値の最小サンプル値Ｍｉｎ、及び最大サンプル値Ｍａｘであり、サンプル値の全範囲が、Ｍｉｎ、…、（Ｍｉｎ＋２＾（ｐ−１））（＝Ｍａｘ）でもある。サンプル値全範囲（Ｍｉｎ，Ｍａｘ）は、Ｋ個のサンプル値区間に分割される場合、各サンプル値区間をバンドと称する。Ｂｋがｋ番目バンドの最大値を示す場合、バンドは、［Ｂ０，Ｂ１−１］、［Ｂ１，Ｂ２−１］、［Ｂ２，Ｂ３−１］、…、［ＢＫ−１，ＢＫ］に分割される。現在復元サンプルのサンプル値が、［Ｂｋ−１，Ｂｋ］に属する場合、現在サンプルは、バンドｋに属すると決定される。バンドは、均等なタイプに分割されるか、あるいは非均等タイプに分割される。
【０２２１】
例えば、サンプル値分類タイプが、８ビットサンプルの均等バンドである場合、サンプル値は、３２個のバンドに分割される。具体的には、［０，７］、［８，１５］、…、［２４０，２４７］、［２４８，２５５］のバンドに分類される。
【０２２２】
バンドタイプによって分類された多数のバンドのうち、復元サンプルごとに、それぞれのサンプル値が属するバンドが決定される。また、それぞれのバンドごとに、原本サンプルと復元サンプルとの誤差平均を示すオフセット値が決定される。
【０２２３】
従って、スケーラブルビデオ符号化装置１０及びスケーラブルビデオ復号化装置２０は、現在バンドタイプによって分類されたバンドごとに、対応するオフセットを符号化して送受信し、復元サンプルをオフセットほど調整することができる。
【０２２４】
従って、一実施形態によるスケーラブルビデオ符号化装置１０及びスケーラブルビデオ復号化装置２０は、バンドタイプの場合、向上レイヤ予測映像のサンプルを、それぞれのサンプル値が属するバンドによって分類し、同一バンドに属するサンプルの平均予測誤差値のオフセットを決定し、サンプルをオフセットほど調整することにより、原本映像との予測誤差が最小化された向上レイヤ映像を復元することができる。
【０２２５】
一実施形態によるスケーラブルビデオ符号化装置１０及びスケーラブルビデオ復号化装置２０は、バンドタイプによるオフセットを決定するとき、復元サンプルをバンド位置によるカテゴリーに分類することができる。例えば、サンプル値の全範囲が、Ｋ個のバンドに分類される場合、ｋ番目バンドを示すバンドインデックスｋによって、カテゴリーがインデキシングされる。バンド個数に相応し、カテゴリーの個数が決定される。
【０２２６】
ただし、データ節減のために、スケーラブルビデオ符号化装置１０及びスケーラブルビデオ復号化装置２０は、ＳＡＯ技法によってオフセットを決定するために利用されるカテゴリーの個数を制限することができる。例えば、所定開始位置のバンドから、バンドインデックスが増加する方向に連続する所定個数のバンドだけが、それぞれカテゴリーに割り当てられ、各カテゴリーについてのみオフセットが決定される。
【０２２７】
例えば、インデックス１２であるバンドの開始地点が、最初のバンド位置５０１と決定される場合、最初のバンドから４個のバンド、すなわち、インデックス１２，１３，１４，１５のバンドが、それぞれカテゴリー１，２、３，４に割り当てられる。従って、インデックス１２のバンドに含まれる復元サンプルの原本サンプルとの平均誤差が、カテゴリー１のオフセットとして決定される。これと類似して、インデックス１３のバンドに含まれる復元サンプルの原本サンプルとの平均誤差が、カテゴリー２のオフセットとして、インデックス１４のバンドに含まれる復元サンプルの原本サンプルとの平均誤差が、カテゴリー３のオフセットとして、インデックス１５のバンドに含まれる復元サンプルの原本サンプルとの平均誤差が、カテゴリー４のオフセットとして決定される。
【０２２８】
そのような場合、カテゴリーに割り当てられるバンドの位置を決定するために、バンド範囲が始まる最初のバンド位置、すなわち、左側バンドの位置に係わる情報が必要である。従って、一実施形態によるスケーラブルビデオ符号化装置１０は、ＳＡＯクラスとして、左側バンドの位置を示す左側開始地点情報を符号化して送信することができる。スケーラブルビデオ符号化装置１０は、バンドタイプであるということを示すＳＡＯタイプ、ＳＡＯクラス、及びカテゴリー別オフセット値を符号化して伝送することができる。
【０２２９】
一実施形態によるスケーラブルビデオ復号化装置２０は、ＳＡＯタイプ、ＳＡＯクラス、及びカテゴリー別オフセット値を受信することができる。スケーラブルビデオ復号化装置２０は、受信されたＳＡＯタイプがバンドタイプである場合、ＳＡＯクラスから、開始バンドの位置を読み取ることができる。スケーラブルビデオ復号化装置２０は、向上レイヤ予測映像のサンプルが、開始バンドから４個のバンドのうちいずれのバンドに属するかということを決定し、カテゴリー別オフセット値のうち現在バンドに割り当てられたオフセット値を決定し、サンプル値をオフセット値ほど調整することができる。
【０２３０】
図６は、多様な実施形態によるレイヤ間解像度の比率によるＳＡＯカテゴリーを図示している。
【０２３１】
空間的スケーラビリティに基づいたインターレイヤ予測構造では、基本レイヤ復元映像の解像度を、向上レイヤ映像の解像度に変換するために、基本レイヤ復元映像に対して補間フィルタリングが行われる。一実施形態によるインターレイヤ予測構造によれば、解像度上昇のために、基本レイヤ復元映像のサブピクセル位置のサンプル値を獲得するための補間フィルタリングが行われる。
【０２３２】
図６を参照し、基本レイヤ映像と向上レイヤ映像との解像度の比率が２であるならば、基本レイヤ復元サンプル６０，６１，６２，６３のアップスケールのための補間フィルタリングが行われる。補間フィルタリングを介してアップスケールされた基本レイヤサンプル位置に、向上レイヤサンプル６０，６１，６２，６３，６４，６５，６６，６７，６８が決定される。
【０２３３】
ただし、基本レイヤサンプル位置６９０と重畳されるアップスケールされた基本レイヤサンプル位置６９１のサンプルは、補間フィルタリングなしも獲得される。
【０２３４】
基本レイヤサンプル位置６９０と一次元方向に位置した向上レイヤサンプル位置６９２のサンプル６４，６５，６６，６７は、基本レイヤ復元サンプル６０，６１，６２，６３に対する水平方向または垂直方向の一次元フィルタリングを介して獲得される。
【０２３５】
基本レイヤサンプル位置６９０と二次元方向に位置した向上レイヤサンプル位置６９３のサンプル６８は、基本レイヤ復元サンプル６０，６１，６２，６３に対して、水平方向の一次元フィルタリング及び垂直方向の一次元フィルタリングを連続して行うことによって獲得される。
【０２３６】
サブピクセル単位の補間フィルタリングは、補間フィルタの位相差により、リンギングアーティファクトのような符号化誤差を発生させる。サブピクセルの位置によって、補間フィルタが異なり、サブピクセルの位置によって、補間フィルタの位相差が決定される。例えば、１／２，１／３，２／３，１／４，３／４，…，１／１６画素ピクセルを補間するための各補間フィルタの位相差は、互いに異なる。レイヤ間解像度の比率によって、インターレイヤ予測のための補間フィルタの位相差が決定されるので、解像度の比率及び位相差によって、異なる補間フィルタが選択される。
【０２３７】
インターレイヤ予測時に発生する補間誤差を考慮するために、インターレイヤ予測誤差は、レイヤ間解像度の比率及び補間フィルタの位相差によって、サンプルが分類される。従って、インターレイヤＳＡＯのカテゴリーは、エッジ形態またはサンプル値バンドだけではなく、追加して解像度の比率及び補間フィルタの位相差を基に決定される。
【０２３８】
以上、ＳＡＯタイプとして、エッジタイプ及びバンドタイプを紹介し、ＳＡＯタイプによるＳＡＯクラス及びカテゴリーについて詳細に説明した。以下、スケーラブルビデオ符号化装置１０及びスケーラブルビデオ復号化装置２０が送受信するＳＡＯパラメータが決定される領域（domain）について詳細に説明する。
【０２３９】
多様な実施形態によるＳＡＯパラメータは、ビデオシーケンス、ピクチャ、スライス、タイル、最大符号化単位及びツリー構造の符号化単位のうち、所定データ単位に対して決定されてシグナリングされる。
【０２４０】
一実施形態によるインターレイヤ予測構造によれば、向上レイヤ映像の所定データ単位ごとに、ＳＡＯパラメータを決定することもできる。
【０２４１】
他の実施形態によるインターレイヤ予測構造によれば、向上レイヤ映像の全てのデータ単位において、インターレイヤ予測が行われるものでもない。従って、所定データ単位においては、インターレイヤ予測が行われていないのであるならば、インターレイヤ予測誤差が発生しない。従って、インターレイヤ予測によるＳＡＯパラメータは、インターレイヤ予測が行われた向上レイヤデータ単位についてのみ決定される。
【０２４２】
以下、一実施形態による最大符号化単位ごとに決定されるインターレイヤＳＡＯパラメータについて詳細に説明する。
【０２４３】
一実施形態によるインターレイヤＳＡＯオンオフ情報は、カラー成分別に決定される。例えば、ＹＣｒＣｂカラー映像については、ルマ成分（Ｙ成分）別、並びに第１クロマ成分（Ｃｒ成分）別及び第２クロマ成分（Ｃｂ成分）別に、インターレイヤＳＡＯ補償が行われる。インターレイヤＳＡＯ補償が行われるか否かということを示すインターレイヤＳＡＯオンオフ情報も、ルマ成分別、クロマ成分別に決定される。
【０２４４】
まず、現在スライスのルマ成分に対して、インターレイヤＳＡＯ補償を行うか否かということを示すルマ・インターレイヤＳＡＯオンオフ情報が決定される。ルマ成分に対して、インターレイヤＳＡＯ補償が行われるのであるならば、現在スライスの第１クロマ成分及び第２クロマ成分に対して、インターレイヤＳＡＯ補償を行うか否かということを示すクロマ・インターレイヤＳＡＯオンオフ情報がさらに決定される。第１クロマカラー成分に対して、インターレイヤＳＡＯ補償が行われるのであるならば、第２クロマ成分に対しても、インターレイヤＳＡＯ補償が行われる。また、第１クロマカラー成分に対して、インターレイヤＳＡＯ補償が行われるのでなければ、第２クロマ成分に対しても、インターレイヤＳＡＯ補償が行われない。
【０２４５】
一実施形態によるインターレイヤＳＡＯオンオフ情報は、他のＳＡＯパラメータが決定されるデータ単位と異なる種類のデータ単位で決定されもする。例えば、インターレイヤＳＡＯオンオフ情報は、スライスごとに決定される一方、残りのＳＡＯパラメータは、最大符号化単位ごとに決定される。すなわち、インターレイヤＳＡＯオンオフ情報によって、現在スライスにおいて、インターレイヤＳＡＯ補償が行われるのであるならば、現在スライスに含まれた最大符号化単位ごとに、残りのＳＡＯパラメータが決定される。一方、現在スライスにインターレイヤＳＡＯ補償が行われないというインターレイヤＳＡＯオンオフ情報が決定されるならば、現在スライスに含まれた最大符号化単位については、残りのＳＡＯパラメータが決定されない。
【０２４６】
前述のように、ＳＡＯタイプとカテゴリーとを決定するサンプル分類方式は、前もって決定されている。例えば、各サンプルは、垂直方向のエッジオフセットＥＯ＿０（Edge  Offset  0）、水平方向のエッジオフセットＥＯ＿１、４５゜方向のエッジオフセットＥＯ＿２、１３５゜方向のエッジオフセットＥＯ＿３及びバンドオフセットのＢＯに分類される。
【０２４７】
一実施形態によるインターレイヤＳＡＯ分類技法によれば、現在領域について、１種のサンプル分類方式によるオフセットだけ決定される。また、決定されたＳＡＯタイプ及びオフセットに係わる情報は、ＳＡＯパラメータとして符号化されて伝送される。
【０２４８】
他の実施形態によるインターレイヤＳＡＯ分類技法によれば、現在領域について、全てのサンプル分類方式によるオフセットが決定される。その場合には、特定ＳＡＯタイプであるということを知らせる必要がないので、ＳＡＯパラメータにおいて、ＳＡＯタイプに係わる情報が除外され、ＳＡＯタイプ情報は、符号化されて伝送されない。例えば、まず垂直方向エッジに属すると分類されたサンプルが、ＥＯ＿０オフセットを利用して補償される。そして、水平方向エッジに属すると分類されたサンプルが、ＥＯ＿１オフセットを利用して補償される。４５゜方向エッジに属すると分類されたサンプルが、ＥＯ＿２オフセットを利用して補償され、１３５゜方向エッジに属すると分類されたサンプルが、ＥＯ＿３オフセットを利用して補償される。そして、バンドタイプによって、サンプルは、当該サンプル値バンド別オフセットを利用して補償される。従って、現在領域のサンプルに対して、全てのＳＡＯタイプによるカテゴリー別オフセットが重複的に適用される。
【０２４９】
インターレイヤＳＡＯタイプによるカテゴリーのうち、０ではないオフセットを有するカテゴリーの個数は、前もって決定されている。例えば、各ＳＡＯタイプごとに、４個のカテゴリーだけが許容される。
【０２５０】
多様な実施形態によるインターレイヤＳＡＯオフセットによれば、各ピクチャごとに、エッジタイプのピーク地点で決定されたオフセットだけが、０ではない値を有することができる。例えば、凹状エッジコーナー（concave  corner）及び凸状エッジコーナー（convex  corner）でのオフセットは、０と決定される。不要なオーバーヘッドを減らすために、エッジコーナーに対応するカテゴリーのオフセットは、０と見なし、当該カテゴリー別オフセットに係わる情報は、伝送したりパージングしたりしない。すなわち、エッジピークに該当するカテゴリー別オフセット値だけが伝送される。
【０２５１】
多様な実施形態によるインターレイヤＳＡＯオフセットのための最大絶対値は、制限されもする。最大絶対値は、ＳＡＯタイプ、カテゴリー、及びレイヤ間解像度の比率のうち少なくとも一つに基づいて決定される。
【０２５２】
オフセット絶対値が０である場合には、符号情報や残りのオフセット値は、それ以上符号化される必要がない。ただし、オフセット絶対値が０ではない場合には、ＳＡＯパラメータの符号情報及び残りのオフセット絶対値は、さらに伝送される。
【０２５３】
多様な実施形態の他のインターレイヤＳＡＯオフセットによれば、オフセットの符号は、ＳＡＯ補償の効果を決定することができる。すなわち、負数オフセットは、エッジ平滑化（smoothing）効果を誘導し、正数オフセットは、エッジ先鋭化（sharpening）効果を誘導することができる。
【０２５４】
インターレイヤＳＡＯタイプが、所定タイプや所定解像度の比率である場合、オフセット符号が前もって固定される。例えば、エッジタイプの場合、エッジ平滑化のためのオフセットだけが許容され、符号情報は、伝送される必要ない。例えば、解像度の比率が２倍である場合には、エッジ平滑化のためのオフセットが許容されるが、解像度の比率が１．５倍である場合には、エッジ先鋭化のためのオフセットが許容される。オフセット符号が固定されるので、ＳＡＯパラメータにおいて、オフセット符号に係わる情報が除外される。
【０２５５】
他の例として、エッジ平滑化及びエッジ先鋭化がいずれも許容される場合には、ＳＡＯパラメータにオフセット符号に係わる情報が含まれる。
【０２５６】
インターレイヤＳＡＯタイプがバンドタイプである場合、限定された個数のカテゴリー、すなわち、限定された個数の連続したサンプル値バンドについてのみバンドオフセットが決定される。従って、連続したサンプル値バンドのうち最初のバンド位置に係わる情報がＳＡＯパラメータに含まれる。
【０２５７】
さまざまなセットの連続したサンプル値バンドについて、インターレイヤＳＡＯオフセットが決定されもする。例えば、符号化誤差が、サンプル値の全範囲の全体バンドのうち両端バンドにのみ集中する。その場合、全体バンドのうち両端に位置した同一個数の連続したバンドについて、各オフセットが決定される。両端の連続したバンドに係わる最初開始バンドに係わる情報は、独立して符号化される。または、両端に同一個数のバンドが位置するので、一方のバンドの最初開始バンドに係わる情報だけ符号化されても、残りのバンドの位置は、類推的に決定される。
【０２５８】
図７Ａは、現在最大符号化単位と、ＳＡＯパラメータとを併合するために参照されるデータ単位を図示している。
【０２５９】
まず、現在ブロック（最大符号化単位（ＣＴＢ））７１は、ルマＣＴＢ  ７１１、Ｃｂクロマブロック７１２及びＣｒクロマブロック７１３から構成される。ルマブロック７１１別、Ｃｂクロマブロック７１２別及びＣｒクロマブロック７１３別に、インターレイヤＳＡＯ補償が行われもするということは、前述の通りである。現在ＣＴＢ  ７１のルマブロック７１１、Ｃｂクロマブロック７１２及びＣｒクロマブロック７１３ごとに、インターレイヤＳＡＯオフセット値が決定される。
【０２６０】
向上レイヤ映像７０内のブロックのうち隣接したブロックは、同一映像を構成するので、各ブロックのＳＡＯタイプ及び／またはオフセット値は、隣接したブロック間で同一である可能性が高い。一実施形態によるスケーラブルビデオ符号化装置１０は、現在ブロック７１のＳＡＯパラメータを、隣接ブロックのＳＡＯパラメータと比較し、ＳＡＯパラメータが同一である場合、現在ブロック７１と隣接ブロックとのＳＡＯパラメータを一つに併合して符号化することができる。隣接ブロックのＳＡＯパラメータが先に符号化されるならば、現在ブロック７１のＳＡＯパラメータとして、隣接ブロックのＳＡＯパラメータを採択することができる。従って、スケーラブルビデオ符号化装置１０は、現在ブロック７１のＳＡＯパラメータを符号化せず、現在ブロック７１に対して、ＳＡＯ併合情報だけ符号化することができる。
【０２６１】
一実施形態によるスケーラブルビデオ復号化装置２０は、受信したビットストリームから、ＳＡＯパラメータをパージングする前に、ＳＡＯ併合情報を先にパージングし、ＳＡＯパラメータのパージングいかんを決定することができる。スケーラブルビデオ復号化装置２０は、現在ブロック７１のＳＡＯ併合情報に基づいて、隣接ブロックのうち現在ブロック７１と、ＳＡＯパラメータが同一であるブロックがあるか否かということ決定することができる。
【０２６２】
例えば、ＳＡＯ併合情報に基づいて、隣接ブロックのＳＡＯパラメータのうち、現在ブロック７１のＳＡＯパラメータが同一であるブロックがある場合、スケーラブルビデオ復号化装置２０は、現在ブロック７１のＳＡＯパラメータをパージングせず、現在ブロック７１のＳＡＯパラメータとして、隣接ブロックの復元されたＳＡＯパラメータを採択することができる。従って、スケーラブルビデオ復号化装置２０は、隣接ブロックのＳＡＯパラメータと同一に、現在ブロック７１のＳＡＯパラメータを復元することができる。また、ＳＡＯ併合情報に基づいて、隣接ブロックのうち、いずれの隣接ブロックのＳＡＯパラメータを参照するかということも決定される。
【０２６３】
ただし、ＳＡＯ併合情報に基づいて、隣接ブロックのＳＡＯパラメータが、現在ブロックのＳＡＯパラメータと異なっている場合、スケーラブルビデオ復号化装置２０は、ビットストリームから、現在ブロック７１のＳＡＯパラメータをパージングして復元することができる。
【０２６４】
一例として、現在ブロック７１と同一レイヤの向上レイヤ映像７０の最大符号化単位のうち、現在ブロック７１の左側に隣接する左側ブロック７２、上側に位置する上側ブロック７３、及び基本レイヤ復元映像７５において、現在ブロック７１の位置に対応する同位ブロック７４が併合候補リストに属する。
【０２６５】
従って、一実施形態によるスケーラブルビデオ符号化装置１０は、併合候補リストに含まれたブロックに対し、参照順序により、現在ブロック７１と、それぞれのＳＡＯパラメータが同一であるか否かということを比較することができる。例えば、左側ブロック７２、上側ブロック７３、基本レイヤ同位ブロック７４の順序により、現在ブロック７１と、ＳＡＯパラメータが比較される。比較されたブロック７２，７３，７４のうち、ＳＡＯパラメータが同一であるブロックが参照ブロックとして決定される。
【０２６６】
スケーラブルビデオ符号化装置１０及びスケーラブルビデオ復号化装置２０は、現在ブロック７１のＳＡＯパラメータを予測するために、参照ブロックのＳＡＯパラメータを参照することができる。また、いずれのブロックのＳＡＯパラメータを参照するかということを示すＳＡＯ併合情報を送受信することができる。一実施形態によるビデオ復号化装置１０は、ＳＡＯ併合情報に基づいて、併合候補リストのうち１つのブロックを選択し、選択されたブロックのＳＡＯパラメータと同一に、現在ブロック７１の残りのＳＡＯパラメータを決定することができる。
【０２６７】
例えば、ＳＡＯ併合情報として、現在ブロック７１のＳＡＯパラメータが、左側ブロック７２のＳＡＯパラメータと同一であるか否かということを示す左向きＳＡＯ併合情報、上側ブロック７３のＳＡＯパラメータと同一であるか否かということを示す上向きＳＡＯ併合情報、そして基本レイヤ同位ブロック７４のＳＡＯパラメータと同一であるか否かということを示す基本レイヤＳＡＯ併合情報が符号化される。
【０２６８】
左側ブロック７２、上側ブロック７３及び基本レイヤ同位ブロック７４のうち少なくとも１つのＳＡＯパラメータが、現在ブロック７１のＳＡＯパラメータと同一であるならば、スケーラブルビデオ符号化装置１０は、左向きＳＡＯ併合情報、上向きＳＡＯ併合情報または基本レイヤＳＡＯ併合情報だけ符号化し、現在ブロック７１の残りのＳＡＯパラメータは符号化しない。
【０２６９】
ただし、左側ブロック７２、上側ブロック７３及び基本レイヤ同位ブロック７４のＳＡＯパラメータが、いずれも現在ブロック７１のＳＡＯパラメータと異なるならば、スケーラブルビデオ符号化装置１０は、左向きＳＡＯ併合情報、上向きＳＡＯ併合情報及び基本レイヤＳＡＯ併合情報と、現在ブロック７１の残りのＳＡＯパラメータとを符号化することができる。
【０２７０】
スケーラブルビデオ復号化装置２０は、インターレイヤ予測ＳＡＯのためのＳＡＯパラメータのうち、左向きＳＡＯ併合情報、上向きＳＡＯ併合情報及び基本レイヤＳＡＯ併合情報のうち少なくとも一つに基づいて、左側ブロック７２、上側ブロック７３及び基本レイヤ同位ブロック７４のＳＡＯパラメータを、現在ブロック７１のＳＡＯパラメータとして採択することができるならば、向上レイヤストリームから、現在ブロック７１の残りのＳＡＯパラメータを直接獲得する必要がない。
【０２７１】
ただし、左向きＳＡＯ併合情報、上向きＳＡＯ併合情報及び基本レイヤＳＡＯ併合情報に基づいても、ＳＡＯパラメータを参照するブロックがなければ、スケーラブルビデオ復号化装置２０は、向上レイヤストリームから、現在ブロック７１の残りのＳＡＯパラメータを直接獲得することができる。
【０２７２】
基本レイヤＳＡＯ併合情報によっても、基本レイヤ同位ブロックのＳＡＯパラメータのうち一部パラメータだけ利用されもする。例えば、向上レイヤブロックと、基本レイヤ同位ブロックとの間で、エッジ分布が類似しているが、基本レイヤ予測誤差を補償するための基本レイヤＳＡＯオフセット値と、インターレイヤ予測誤差を補償するためのインターレイヤＳＡＯオフセット値は、個別的なものがある。
【０２７３】
従って、現在ブロック７１の基本レイヤＳＡＯ併合情報が、基本レイヤ同位ブロック７４のＳＡＯパラメータを利用して、現在ブロック７１のＳＡＯパラメータを決定するように許容しても、基本レイヤ同位ブロック７４のＳＡＯパラメータのうちＳＡＯタイプのみ、現在ブロック７１のＳＡＯタイプとして採択される。向上レイヤの現在ブロック７１のためのオフセット値は、インターレイヤＳＡＯパラメータとして直接シグナリングされる。
【０２７４】
図７Ｂは、多様な実施形態によるＳＡＯ併合情報のコードワードを図示している。
【０２７５】
第１実施形態によるＳＡＯ併合情報によれば、ＳＡＯ併合情報は、３ビットで符号化される。第１実施形態によれば、左側ブロック７２のＳＡＯパラメータを利用するか否かということを示す左側ＳＡＯ併合情報がまず先に決定され、その次に、上側ブロック７３のＳＡＯパラメータを利用するか否かということを示す上側ＳＡＯ併合情報、最後に基本レイヤ同位ブロック７４のＳＡＯパラメータを利用するか否かということを示す基本レイヤＳＡＯ併合情報が決定される。従って、左側ブロック７２または上側ブロック７３のＳＡＯパラメータを利用するとまず決定されるならば、基本レイヤ同位ブロック７４のＳＡＯパラメータを参照するための基本レイヤＳＡＯ併合情報は、シグナリングされない。
【０２７６】
第２実施形態によるＳＡＯ併合情報によれば、ＳＡＯ併合情報は、２ビットで符号化される。第２実施形態によれば、左側ＳＡＯ併合情報がまず先に決定され、その次に、基本レイヤＳＡＯ併合情報が決定される。従って、左側ブロック７２のＳＡＯパラメータを利用するとまず決定されるならば、基本レイヤ同位ブロック７４のＳＡＯパラメータを参照するための基本レイヤＳＡＯ併合情報は、シグナリングされない。
【０２７７】
第３実施形態によるＳＡＯ併合情報も、３ビットで符号化されるが、第１実施形態とは、判断対象の順序が異なる、第３実施形態によれば、基本レイヤ同位ブロック７４のＳＡＯパラメータを利用するか否かということを示す基本レイヤＳＡＯ併合情報がまず先に決定され、その次に、左側ＳＡＯ併合情報が決定され、最後に、上側ＳＡＯ併合情報が決定される。従って、左側ブロック７２または上側ブロック７３より、基本レイヤ同位ブロック７４のＳＡＯパラメータを参照するか否かということが最優先的に決定される。
【０２７８】
向上レイヤ映像７０の現在ブロック７１に対応する基本レイヤ同位ブロック７４は、現在ブロック７４の左側上端コーナーの位置が投影される基本レイヤ映像７５上の位置のブロック（ＣＴＢ）として決定される。他の例として、基本レイヤ映像７５のピクセルを、向上レイヤ映像７０に投影するとき、現在ブロック７１に投影される多数の基本レイヤピクセルが属する基本レイヤブロック（ＣＴＢ）を、同位ブロック７４と決定することもできる。
【０２７９】
現在ブロック７１の一部カラーブロック７１１，７１２，７１３の間で、ＳＡＯパラメータが相互予測される。
【０２８０】
例えば、現在ブロック７１のルマブロック７１１、Ｃｒクロマブロック７１２、Ｃｂクロマブロック７１３に対して、共通のＳＡＯ併合情報が適用される。すなわち、１つのＳＡＯ併合情報に基づいて、ルマブロック７１１のＳＡＯパラメータが、併合候補リストのルマブロックのＳＡＯパラメータと同一であるか否かということが比較され、Ｃｒクロマブロック７１２のＳＡＯパラメータが、併合候補リストのＣｒクロマブロックのＳＡＯパラメータと同一であるか否かということが比較され、Ｃｂクロマブロック７１３のＳＡＯパラメータが、併合候補リストのＣｂクロマブロックのＳＡＯパラメータと同一であるか否かということが比較される。
【０２８１】
例えば、Ｃｒクロマブロック７１２及びＣｂクロマブロック７１３に対して、共通のＳＡＯタイプ情報が適用される。すなわち、１つのＳＡＯタイプ情報に基づいて、Ｃｒクロマブロック７１２及びＣｂクロマブロック７１３に対して、同時にインターレイヤＳＡＯ補償が行われるか、あるいは同時に遂行されるものではないということが決定される。また、１つのＳＡＯタイプ情報に基づいて、Ｃｒクロマブロック７１２及びＣｂクロマブロック７１３のＳＡＯタイプが、エッジタイプまたはバンドタイプであるかということが分かる。すなわち、１つのＳＡＯタイプ情報に基づいて、Ｃｒクロマブロック７１２及びＣｂクロマブロック７１３がエッジタイプまたはバンドタイプによって、オフセット値が決定されるかということが分かる。
【０２８２】
また、１つのＳＡＯタイプ情報に基づいて、Ｃｒクロマブロック７１２及びＣｂクロマブロック７１３が同一ＳＡＯクラスを共有することができる。１つのＳＡＯタイプ情報に基づいて、ＳＡＯタイプがエッジタイプであるならば、Ｃｒクロマブロック７１２及びＣｂクロマブロック７１３が同一エッジ方向を共有することができる。１つのＳＡＯタイプ情報に基づいて、ＳＡＯタイプがバンドタイプであるならば、Ｃｒクロマブロック７１２及びＣｂクロマブロック７１３が、同一である最初のバンド位置を共有することができる。
【０２８３】
図７Ｃは、多様な実施形態による符号化単位のＳＡＯ関連シンタックスを図示している。
【０２８４】
ＳＡＯ動作が最大符号化単位の各カラー成分別に遂行されるので、図７ＣのＳＡＯパラメータ７６は、カラー成分別に個別的に獲得される。ルマ成分、第１クロマ成分、第２クロマ成分を示すカラーインデックス「ｃＩｄｘ」が変更されることにより、別途のＳＡＯパラメータ７６が獲得される。
【０２８５】
ＳＡＯパラメータ７６は、左向きＳＡＯ併合情報を示すパラメータ「ｓａｏ＿merge＿left＿flag」、上向きＳＡＯ併合情報を示すパラメータ「ｓａｏ＿merge＿up＿flag」、基本レイヤＳＡＯ併合情報を示すパラメータ「ｓａｏ＿merge＿base＿flag」、ＳＡＯタイプ情報を示すパラメータ「ｓａｏ＿type＿ｉｄｘ」、バンドタイプのバンド位置情報を示すパラメータ「ｓａｏ＿band＿position」、オフセット絶対値情報を示すパラメータ「ｓａｏ＿offset＿ａｂｓ」、オフセット符号情報を示すパラメータ「ｓａｏ＿offset＿sign」を含んでもよい。従って、カラーインデックス「ｃＩｄｘ」が０、１、２に設定されるたびに、「ｓａｏ＿merge＿left＿flag」、「ｓａｏ＿merge＿up＿flag」、「ｓａｏ＿type＿ｉｄｘ」、「ｓａｏ＿band＿position」、「ｓａｏ＿offset＿ａｂｓ」、「ｓａｏ＿offset＿sign」がさらに獲得される。
【０２８６】
特に、オフセット絶対値情報を示すパラメータ「ｓａｏ＿offset＿ａｂｓ」、オフセット符号情報を示すパラメータ「ｓａｏ＿offset＿sign」は、４種のＳＡＯカテゴリーごとに別途に獲得される。従って、各カラー成分ごとに、４種のＳＡＯカテゴリーごとに、「ｓａｏ＿offset＿ａｂｓ」及び「ｓａｏ＿offset＿sign」が獲得される。
【０２８７】
従って、一実施形態によるＳＡＯ補償を利用するスケーラブルビデオ符号化装置１０及びスケーラブルビデオ復号化装置２０は、インターレイヤ予測による予測誤差を、最大符号化単位のエッジタイプまたはバンドタイプのような映像特性によって分類し、同一特性に分類されたサンプルの平均予測誤差であるオフセット値を含むインターレイヤＳＡＯパラメータをシグナリングすることができる。従って、基本レイヤ復元サンプルから決定された向上レイヤ予測映像のサンプルのカテゴリーにより、ＳＡＯパラメータを利用して獲得されたインターレイヤ予測誤差でサンプルを補償することにより、向上レイヤ映像が復元される。
【０２８８】
一実施形態によるスケーラブルビデオ符号化装置１０及び一実施形態によるスケーラブルビデオ復号化装置２０において、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に係わるインターレイヤ予測またはインター予測のために、符号化単位、予測単位、変換単位が利用される場合があるということは、前述の通りである。以下、図８ないし図２０を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置を開示する。
【０２８９】
原則的には、マルチレイヤビデオのための符号化／復号化過程において、基本レイヤ映像のための符号化／復号化過程と、向上レイヤ映像のための符号化／復号化過程とが別途に遂行される。すなわち、マルチレイヤビデオにおいて、インターレイヤ予測が発生する場合には、シングルレイヤビデオの符号化／復号化結果が相互参照されるが、シンググレイヤビデオごとに、別途の符号化／復号化過程が発生する。
【０２９０】
従って、説明の便宜のために、図８ないし図２０を参照して説明するツリー構造の符号化単位に基づいたビデオ符号化過程及びビデオ復号化過程は、シングルレイヤビデオに係わるビデオ符号化過程及びビデオ復号化過程であるので、インター予測及び動き補償について詳細に説明する。しかし、図１Ａないし図７Ｂを参照して説明したように、ビデオストリーム符号化／復号化のために、基本視点映像と向上レイヤ映像とのインターレイヤ予測及び補償が行われる。
【０２９１】
従って、一実施形態によるスケーラブルビデオ符号化装置１０の符号化部１２が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを符号化するためには、それぞれのシングルレイヤビデオごとに、ビデオ符号化を行うために、図８のビデオ符号化装置１００を、マルチレイヤビデオのレイヤ個数ほど含み、各ビデオ符号化装置１００ごとに割り当てられたシングルレイヤビデオの符号化を行うように制御することができる。また、スケーラブルビデオ符号化装置１０は、各ビデオ符号化装置１００の別個単一視点の符号化結果を利用して、視点間予測を行うことができる。これにより、スケーラブルビデオ符号化装置１０の符号化部１２は、レイヤ別に符号化結果を収録した基本視点ビデオストリームと、向上レイヤビデオストリームとを生成することができる。
【０２９２】
これと類似して、一実施形態によるスケーラブルビデオ復号化装置２０の復号化部２６が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを復号化するためには、受信した基本レイヤビデオストリーム及び向上レイヤビデオストリームに対して、レイヤ別にビデオ復号化を行うために、図９のビデオ復号化装置２００を、マルチレイヤビデオのレイヤ個数ほど含み、各ビデオ復号化装置２００ごとに割り当てられたシングルレイヤビデオの復号化を行うように制御することができる。そして、スケーラブルビデオ復号化装置２０が、各ビデオ復号化装置２００の別個シングルレイヤの復号化結果を利用して、インターレイヤ補償を行うことができる。これにより、スケーラブルビデオ復号化装置２０の復号化部２６は、レイヤ別に復元された基本レイヤ映像と、向上レイヤ映像とを生成することができる。
【０２９３】
図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。
【０２９４】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して称する。
【０２９５】
符号化単位決定部１２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが、最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の累乗である正方形のデータ単位でもある。
【０２９６】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。
【０２９７】
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データは、深度によって階層的に分類される。
【０２９８】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズが、前もって設定されている。
【０２９９】
符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
【０３００】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
【０３０１】
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
【０３０２】
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【０３０３】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示す。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するで、第１最大深度は、４に設定され、第２最大深度は、５に設定される。
【０３０４】
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【０３０５】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
【０３０６】
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が使用され、段階別にデータ単位が変更されもする。
【０３０７】
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【０３０８】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になるそれ以上さらに分割されない符号化単位を「予測単位」と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
【０３０９】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【０３１０】
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【０３１１】
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じである大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
【０３１２】
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。
【０３１３】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさが、ＮｘＮであるならば、変換深度１に設定され、変換単位の大きさが、Ｎ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【０３１４】
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
【０３１５】
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については、図１０ないし図２０を参照して詳細に説明する。
【０３１６】
符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian  multiplier）基盤の率・歪曲最適化技法（rate-distortion  optimization）を利用して測定することができる。
【０３１７】
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム形態で出力する。
【０３１８】
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
【０３１９】
深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。
【０３２０】
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位で分割されるように定義される。
【０３２１】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【０３２２】
１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードについての情報が設定される。
【０３２３】
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードについての符号化情報が割り当てられる。
【０３２４】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【０３２５】
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。
【０３２６】
ピクチャ別、スライス別またはＧＯＰ（group  of  picture）別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。
【０３２７】
また、現在ビデオに対して許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、予測に係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。
【０３２８】
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
【０３２９】
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
【０３３０】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
【０３３１】
図１Ａを参照し、前述のスケーラブルビデオ符号化装置１０は、マルチレイヤビデオのレイヤごとに、シングルレイヤ映像の符号化のために、レイヤ個数ほどのビデオ符号化装置１００を含んでもよい。例えば、基本レイヤ符号化部１２が、１つのビデオ符号化装置１００を含み、向上レイヤ符号化部１４が、向上レイヤの個数ほどのビデオ符号化装置１００を含んでもよい。
【０３３２】
ビデオ符号化装置１００が、基本レイヤ映像を符号化する場合、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位別に、映像間予測のための予測単位を決定し、予測単位ごとに、映像間予測を行うことができる。
【０３３３】
ビデオ符号化装置１００が、向上レイヤ映像を符号化する場合にも、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位及び予測単位を決定し、予測単位ごとに、インター予測を行うことができる。
【０３３４】
ビデオ符号化装置１００は、向上レイヤ映像を予測するためのインターレイヤ予測誤差をＳＡＯを利用して、符号化することができる。従って、ピクセル位置別に、予測誤差を符号化する必要なく、予測誤差のサンプル値分布に基づいて、ＳＡＯタイプ及びオフセットに係わる情報のみを利用して、向上レイヤ映像の予測誤差が符号化される。
【０３３５】
図９は、多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。
【０３３６】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」に縮約して称する。
【０３３７】
一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図８及びビデオ符号化装置１００を参照して説明したところと同一である。
【０３３８】
受信部２１０は、符号化されたビデオに対するビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
【０３３９】
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。
【０３４０】
最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。
【０３４１】
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。
【０３４２】
一実施形態による符号化深度及び符号化モードについての符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
【０３４３】
映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び逆変換過程を含んでもよい。
【０３４４】
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
【０３４５】
また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
【０３４６】
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度において、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。
【０３４７】
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一符号化モードで復号化する１つのデータ単位と見なされる。そのように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
【０３４８】
図２Ａを参照して説明したスケーラブルビデオ復号化装置２０は、受信された基本レイヤ映像ストリーム及び向上レイヤ映像ストリームを復号化し、基本レイヤ映像及び向上レイヤ映像を復元するために、ビデオ復号化装置２００を視点個数ほど含んでもよい。
【０３４９】
基本レイヤ映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって、基本レイヤ映像ストリームから抽出された基本レイヤ映像のサンプルを最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部２３０は、基本レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、基本レイヤ映像を復元することができる。
【０３５０】
向上レイヤ映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって、向上レイヤ映像ストリームから抽出された向上レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部２３０は、向上レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、向上レイヤ映像を復元することができる。
【０３５１】
抽出部２２０は、受信された向上レイヤビットストリームから、ＳＡＯタイプ及びオフセットを獲得し、向上レイヤ予測映像のピクセルごとに、サンプル値の分布により、ＳＡＯカテゴリーを決定することができるので、ＳＡＯタイプ及びオフセットを利用して、ＳＡＯカテゴリー別オフセットを獲得することができる。従って、ピクセル別に予測誤差を受信しないにしても、映像データ復号化部２３０は、向上レイヤ予測映像の各ピクセルごとに、当該カテゴリー別オフセットを補償し、補償された向上レイヤ予測映像を参照し、向上レイヤ復元映像を決定することができる。
【０３５２】
結局、ビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【０３５３】
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【０３５４】
図１０は、多様な実施形態による符号化単位の概念を図示している。
【０３５５】
符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【０３５６】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０に、符号化単位の最大サイズが６４に、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０に、符号化単位の最大サイズが６４に、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８に、符号化単位の最大サイズが１６に、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示している。
【０３５７】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【０３５８】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
【０３５９】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
【０３６０】
図１１は、多様な実施形態による、符号化単位に基づいた映像符号化部４００のブロック図を図示している。
【０３６１】
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
【０３６２】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びオフセット補償部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。
【０３６３】
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びオフセット補償部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮してツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
【０３６４】
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。
【０３６５】
図１２は、多様な実施形態による符号化単位に基づいた映像復号化部５００のブロック図を図示している。
【０３６６】
ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。
【０３６７】
空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
【０３６８】
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びオフセット補償部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びオフセット補償部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
【０３６９】
ビデオ復号化装置２００の映像データ復号化部２３０において、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。
【０３７０】
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びオフセット補償部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
【０３７１】
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれ、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
【０３７２】
図１１の符号化動作及び図１２の復号化動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号化動作について詳細に説明したものである。従って、図１Ａの符号化部１２が、２以上のレイヤのビデオストリームを符号化するならば、レイヤ別に、映像符号化部４００を含んでもよい。同様に、図２Ａの復号化部２６が、２以上のレイヤのビデオストリームを復号化するならば、レイヤ別に映像復号化部５００を含んでもよい。
【０３７３】
図１３は、多様な実施形態による、深度別符号化単位及びパーティションを図示している。
【０３７４】
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。既設定の符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
【０３７５】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
【０３７６】
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。
【０３７７】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
【０３７８】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
【０３７９】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
【０３８０】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
【０３８１】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
【０３８２】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【０３８３】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
【０３８４】
図１４は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。
【０３８５】
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位において、映像を符号化したり復号化したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
【０３８６】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
【０３８７】
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０３８８】
図１５は、多様な実施形態による深度別符号化情報を図示している。
【０３８９】
一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
【０３９０】
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示している。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【０３９１】
予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるということが設定される。
【０３９２】
また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
【０３９３】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。
【０３９４】
図１６は、多様な実施形態による深度別符号化単位を図示している。
【０３９５】
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【０３９６】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
【０３９７】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションに対してのみ予測符号化が行われる。
【０３９８】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要はない。
【０３９９】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０４００】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
【０４０１】
また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０４０２】
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
【０４０３】
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【０４０４】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９９０に対して分割情報が設定されない。
【０４０５】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。
【０４０６】
そのように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度に決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
【０４０７】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。
【０４０８】
図１７、図１８及び図１９は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
【０４０９】
符号化単位１０１０は、最大符号化単位に対して一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【０４１０】
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【０４１１】
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【０４１２】
変換単位１０７０において、一部の変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位であり、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行する。
【０４１３】
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われて最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
【０４１４】
【表１】
2015536087.tif 000003
一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０４１５】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０４１６】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示す。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【０４１７】
パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示している。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０４１８】
変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【０４１９】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
【０４２０】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０４２１】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０４２２】
他の実施形態で、現在符号化単位が周辺符号化単位を参照し、予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。
【０４２３】
図２０は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。
【０４２４】
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定される。
【０４２５】
変換単位分割情報（ＴＵ  size  flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
【０４２６】
例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０４２７】
パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４、ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０４２８】
図２０を参照して説明した変換単位分割情報（ＴＵ  size  flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるものではなく、設定によって０、１、２、３、…に増大させ、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
【０４２９】
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence  parameter  set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
【０４３０】
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは８ｘ８に設定される。
【０４３１】
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは３２ｘ３２に設定され、変換単位の大きさは、３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
【０４３２】
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
【０４３３】
従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。
【０４３４】
CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex））  （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示す。すなわち、数式１によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
【０４３５】
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なる。
【０４３６】
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式２において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示している。
【０４３７】
RootTuSize＝ｍｉｎ（MaxTransformSize，PUSize）      （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
【０４３８】
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示している。
【０４３９】
RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize）      （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
【０４４０】
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないということに留意しなければならない。
【０４４１】
図８ないし図２０を参照して説明した、ツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに、復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、記録媒体に保存されたり、ネットワークを介して伝送されたりする。
【０４４２】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read  only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact  disc）−ＲＯＭ、ＤＶＤ（digital  versatile  disc）など）のような記録媒体を含む。
【０４４３】
説明の便宜のために、先の図１Ａないし図２０を参照して説明したスケーラブルビデオ符号化方法及び／またはビデオ符号化方法は、「本発明のビデオ符号化方法」とする。また、先の図１Ａないし図２０を参照して説明したスケーラブルビデオ復号化方法及び／またはビデオ復号化方法は、「本発明のビデオ復号化方法」とする。
【０４４４】
また、先の図１Ａないし図２０を参照して説明したスケーラブルビデオ符号化装置１０、ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」とする。また、先の図１Ａないし図２０を参照して説明したスケーラブルビデオ復号化装置２０、ビデオ復号化装置２００または映像復号化部５００で構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」とする。
【０４４５】
一実施形態によるプログラムが保存される、コンピュータ可読記録媒体がディスク２６０００である実施形態について以下詳細に説明する。
【０４４６】
図２１は、多様な実施形態による、プログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体として述べたディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（Blu-ray（登録商標））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒから構成され、トラックは，円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００においる特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
【０４４７】
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して説明する。
【０４４８】
図２２はディスク２６０００を利用して、プログラムを記録して読み取るためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが読み取られ、プログラムがコンピュータシステム２６７００に伝送される。
【０４４９】
図２１及び図２２で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid  state  drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
【０４５０】
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。
【０４５１】
図２３は、コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。
【０４５２】
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal  digital  assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００、及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
【０４５３】
しかし、コンテンツ供給システム１１０００は、図２４に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されもする。
【０４５４】
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal  digital  communications）方式、ＣＤＭＡ（code  division  multiple  access）方式、Ｗ−ＣＤＭＡ（wideband  code  division  multiple  access）方式、ＧＳＭ（global  system  for  mobile  communications（登録商標））方式及びＰＨＳ（personal  handyphone  system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。
【０４５５】
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００で撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。
【０４５６】
カメラ１２６００で撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。カメラ１２６００は、デジタルカメラと共に静止映像とビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化されている。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータ可読記録媒体に保存される。
【０４５７】
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータは、携帯電話１２５００から受信される。
【０４５８】
ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large  scale  integrated  circuit）システムによって符号化される。
【０４５９】
一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを利用して録画したコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
【０４６０】
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ  １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムに復号化して再生させ、個人放送（personal  broadcasting）を可能にする。
【０４６１】
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
【０４６２】
図２４及び図２５を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。
【０４６３】
図２４は、多様な実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりするスマートフォンでもある。
【０４６４】
携帯電話１２５００は、無線基地局１２０００とＲＦ（radio  frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid  crystal  display）画面、ＯＬＥＤ（organic  light  emitting  diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０または他の形態の音響出力部；及び音声、音響が入力されるマイクロホン１２５５０または他の形態の音響入力部；を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、あるいは電子メール（Ｅ−mail）に受信されたり、他の形態で獲得されたりするビデオや静止映像と共に、符号化／復号化されたデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を、携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically  erasable  and  programmable  read  only  memory）のような他の形態のフラッシュメモリでもある。
【０４６５】
図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。
【０４６６】
ユーザが電源ボタンを動作し、「電源OFF」状態から「電源ON」状態に設定すれば、電力供給回路１２７００は、バッテリパックから、携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
【０４６７】
中央制御部１２７１０は、ＣＰＵ（central  processing  unit）、ＲＯＭ及びＲＡＭ（random  access  memory）を含む。
【０４６８】
携帯電話１２５００が、外部に通信データを送信する過程においては、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog  conversion）処理及び周波数変換（frequency  conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
【０４６９】
例えば、携帯電話１２５００が通話モードであるとき、マイクロホン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０において、デジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。
【０４７０】
データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して中央制御部１２６１０に伝送される。中央制御部１２６１０の制御により、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。
【０４７１】
データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
【０４７２】
映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロホン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経てデジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。
【０４７３】
多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。
【０４７４】
携帯電話１２５００が、外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequencyr  ecovery）処理及びＡ／Ｄ変換（analog-digital  conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
【０４７５】
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経てアナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。
【０４７６】
データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。
【０４７７】
アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０により、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
【０４７８】
映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述の本発明のビデオ復号化方法を利用して符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経てディスプレイ画面１２５２０に、復元されたビデオデータを提供することができる。
【０４７９】
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０にディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
【０４８０】
携帯電話１２５０または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、本発明のビデオ復号化装置のみを含む受信端末機でもある。
【０４８１】
本発明の通信システムは、図２４を参照して説明した構造に限定されるものではない。例えば、図２６は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示している。図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
【０４８２】
具体的には、放送局１２８９０は、電波を介して、ビデオデータストリームを、通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top  box)１２８７０、または他のデバイスによって復号化されて再生される。
【０４８３】
再生装置１２８３０において、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
【０４８４】
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
【０４８５】
他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号化装置が搭載されもする。
【０４８６】
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２９００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。
【０４８７】
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されたり、ハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存されたりする。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されもする。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。
【０４８８】
自動車ナビゲーションシステム１２９３０は、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まない。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まない。
【０４８９】
図２７は、多様な実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティング・システムのネットワーク構造を図示している。
【０４９０】
本発明のクラウドコンピューティング・システムは、クラウドコンピュータサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。
【０４９１】
クラウドコンピューティング・システムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）のようなコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望するほど選んで使用することができる。
【０４９２】
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal  computer）１４３００、スマートＴＶ  １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable  multimedia  player）１４７００、テブレットＰＣ  １４８００など、インターネット接続が可能な全ての電子機器にもなる。
【０４９３】
クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。そのように、クラウドコンピューティングサーバ１４１００は、さまざまなところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
【０４９４】
ユーザＤＢ  １４１００にはク、ラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報、並びに住所、名前などの個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リストと、再生中の動画リストと、再生中の動画の停止時点などを含んでもよい。
【０４９５】
ユーザＤＢ  １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に、所定動画サービスを提供した場合、ユーザＤＢ  １４１００に所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ  １４１００を参照し、所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先の図２４を参照して説明した携帯電話１２５００の動作と類似している。
【０４９６】
クラウドコンピューティングサーバ１４１００は、ユーザＤＢ  １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ  １４１００に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったのであるならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機からの選択により、最初から再生するか、あるいは以前の停止時点から再生するかということによって、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を始めのフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に当該動画を、停止時点のフレームからストリーミング伝送する。
【０４９７】
このとき、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
【０４９８】
図１Ａないし図２０を参照して説明した、ビデオ符号化方法及びビデオ復号化方法、並びにビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２１ないし図２７において説明した。しかし、図１Ａないし図２０を参照して説明した、ビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号化装置がデバイスで具現されたりする多様な実施形態は、図２１ないし図２７の実施形態に限定されるものではない。
【０４９９】
以上で開示された多様な実施形態が属する技術分野で当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれたものであると解釈されなければならないのである。
【図１Ａ】
2015536087.tif 000004
【図１Ｂ】
2015536087.tif 000005
【図２Ａ】
2015536087.tif 000006
【図２Ｂ】
2015536087.tif 000007
【図３】
2015536087.tif 000008
【図４Ａ】
2015536087.tif 000009
【図４Ｂ】
2015536087.tif 000010
【図４Ｃ】
2015536087.tif 000011
【図５Ａ】
2015536087.tif 000012
【図５Ｂ】
2015536087.tif 000013
【図５Ｃ】
2015536087.tif 000014
【図５Ｄ】
2015536087.tif 000015
【図６】
2015536087.tif 000016
【図７Ａ】
2015536087.tif 000017
【図７Ｂ】
2015536087.tif 000018
【図７Ｃ】
2015536087.tif 000019
【図８】
2015536087.tif 000020
【図９】
2015536087.tif 000021
【図１０】
2015536087.tif 000022
【図１１】
2015536087.tif 000023
【図１２】
2015536087.tif 000024
【図１３】
2015536087.tif 000025
【図１４】
2015536087.tif 000026
【図１５】
2015536087.tif 000027
【図１６】
2015536087.tif 000028
【図１７】
2015536087.tif 000029
【図１８】
2015536087.tif 000030
【図１９】
2015536087.tif 000031
【図２０】
2015536087.tif 000032
【図２１】
2015536087.tif 000033
【図２２】
2015536087.tif 000034
【図２３】
2015536087.tif 000035
【図２４】
2015536087.tif 000036
【図２５】
2015536087.tif 000037
【図２６】
2015536087.tif 000038
【図２７】
2015536087.tif 000039
【国際調査報告】
2015536087.tif 000040
2015536087.tif 000041
2015536087.tif 000042
2015536087.tif 000043
2015536087.tif 000044
2015536087.tif 000045