(57)【要約】  ビットストリームから獲得された第１レイヤのカラー映像及び深さ映像の符号化情報に基づいて、第１レイヤのカラー映像及び深さ映像を復元し、第１レイヤの深さ映像から復号化される第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定し、決定された第１レイヤの深さ映像ブロックに含まれた領域が第１レイヤの深さ映像の境界を外れるか否かということを決定し、深さ映像ブロックに含まれた領域が第１レイヤの深さ映像の境界を外れる場合、深さ映像の境界を外れた領域の深さ値を決定し、決定された境界を外れた領域の深さ値に基づいて、現在ブロックに対する第１レイヤ映像の対応ブロックを示すディスパリティベクトルを決定し、ディスパリティベクトルを利用して、現在ブロックを復元するインターレイヤビデオ復号化方法について開示されている。
2016526853.tif 000002
【特許請求の範囲】
【請求項１】
インターレイヤ復号化方法において、
ビットストリームから獲得された第１レイヤのカラー映像及び深さ映像の符号化情報に基づいて、第１レイヤのカラー映像及び深さ映像を復元する段階と、
前記第１レイヤの深さ映像から復号化される第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定する段階と、
前記決定された第１レイヤの深さ映像ブロックに含まれた領域が、前記第１レイヤの深さ映像の境界を外れるか否かということを決定する段階と、
前記深さ映像ブロックに含まれた領域が、前記境界を外れる場合、前記深さ映像の境界を外れた領域の深さ値を決定する段階と、
前記決定された深さ映像の境界を外れた領域の深さ値に基づいて、前記現在ブロックに対する第１レイヤ映像の対応ブロックを示すディスパリティベクトルを決定する段階と、
前記ディスパリティベクトルを利用して、現在ブロックを復元する段階と、を含むインターレイヤ復号化方法。
【請求項２】
前記深さ映像の境界を外れた領域の深さ値を決定する段階は、
前記境界を外れた領域の深さ値を、前記第１レイヤの深さ映像の境界深さ値として設定する段階と、
前記設定された第１レイヤの深さ映像の深さ値を参照することによって、境界を外れた領域の深さ値を決定する段階と、を含むことを特徴とする請求項１に記載のインターレイヤ復号化方法。
【請求項３】
前記深さ映像の境界を外れた領域の深さ値を決定する段階は、
前記境界を外れた領域の座標を、第１レイヤの深さ映像の境界の座標に対応するように設定することにより、前記境界を外れた領域の深さ値を決定する段階を含むことを特徴とする請求項１に記載のインターレイヤ復号化方法。
【請求項４】
前記ディスパリティベクトルを決定する段階は、
前記深さ映像の境界を外れた領域の深さ値に基づいて、前記深さ映像ブロック内の各領域の全部または一部の深さ値のうち１つの代表深さ値を決定する段階と、
前記決定された代表深さ値に基づいて、第１レイヤの対応ブロックを示すディスパリティベクトルを決定する段階と、を含むことを特徴とする請求項３に記載のインターレイヤ復号化方法。
【請求項５】
前記代表深さ値を決定する段階は、
前記深さ映像の境界を外れた領域の深さ値に基づいて、前記深さ映像ブロックの複数領域を選択する段階と、
前記選択された複数領域の深さ値を比較し、１つの代表深さ値を決定する段階と、を含むことを特徴とする請求項４に記載のインターレイヤ復号化方法。
【請求項６】
前記深さ映像の境界を外れた領域の深さ値を決定する段階は、
現在ブロックの予測モードにより、前記深さ映像の境界を外れた領域の深さ値を決定するか否かということを判断する段階と、
前記現在ブロックの予測モードによる深さ映像の境界を外れた領域の深さ値の決定いかんに基づいて、前記深さ映像の境界を外れた領域の深さ値を決定する段階と、を含むことを特徴とする請求項１に記載のインターレイヤ復号化方法。
【請求項７】
前記決定された第１レイヤの深さ映像ブロックに含まれた領域が、前記第１レイヤの深さ映像の境界を外れる場合、前記深さ映像ブロックの深さ値を基に、前記ディスパリティベクトルを決定しないことを特徴とする請求項１に記載のインターレイヤ復号化方法。
【請求項８】
前記深さ映像の境界を外れた領域の深さ値を決定する段階は、
前記境界を外れた領域の深さ値を、所定の深さ値として決定する段階を含むことを特徴とする請求項１に記載のインターレイヤ復号化方法。
【請求項９】
インターレイヤ符号化方法において、
第１レイヤのカラー映像及び深さ映像を符号化して生成された符号化情報を含むビットストリームを生成する段階と、
前記第１レイヤの深さ映像から、前記符号化される第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定する段階と、
前記決定された第１レイヤの深さ映像ブロックに含まれた領域が、前記第１レイヤの深さ映像の境界を外れるか否かということを決定する段階と、
前記深さ映像ブロックに含まれた領域が、前記境界を外れる場合、前記深さ映像の境界を外れた領域の深さ値を決定する段階と、
前記決定された境界を外れた領域の深さ値に基づいて、前記現在ブロックに対する第１レイヤの対応ブロックを示すディスパリティベクトルを決定する段階と、
前記ディスパリティベクトルを利用して、現在ブロックを符号化する段階と、を含むインターレイヤ符号化方法。
【請求項１０】
前記深さ映像の境界を外れた領域の深さ値を決定する段階は、
前記第１レイヤの深さ映像の深さ値を参照することによって、境界を外れた領域の深さ値を決定する段階を含むことを特徴とする請求項９に記載のインターレイヤ符号化方法。
【請求項１１】
前記深さ映像の境界を外れた領域の深さ値を決定する段階は、
前記境界を外れた領域の座標を、第１レイヤの深さ映像の境界の座標に対応するように設定することにより、前記境界を外れた領域の深さ値を決定する段階を含むことを特徴とする請求項９に記載のインターレイヤ符号化方法。
【請求項１２】
前記ディスパリティベクトルを決定する段階は、
前記深さ映像の境界を外れた領域の深さ値に基づいて、前記深さ映像ブロック内の各領域の全部または一部の深さ値のうち１つの代表深さ値を決定する段階と、
前記決定された代表深さ値に基づいて、第１レイヤの対応ブロックを示すディスパリティベクトルを決定する段階と、を含むことを特徴とする請求項１１に記載のインターレイヤ符号化方法。
【請求項１３】
前記代表深さ値を決定する段階は、
前記深さ映像の境界を外れた領域の深さ値に基づいて、深さ映像ブロックの複数領域を選択する段階と、
前記選択された複数領域の深さ値を比較し、１つの代表深さ値を決定する段階と、を含むことを特徴とする請求項１０に記載のインターレイヤ符号化方法。
【請求項１４】
前記深さ映像の境界を外れた領域の深さ値を決定する段階は、
現在ブロックの予測モードにより、前記深さ映像の境界を外れた領域の深さ値を決定するか否かということを判断する段階と、
前記現在ブロックの予測モードにより、前記深さ映像の境界を外れた領域の深さ値を決定するか否かということに基づいて、前記深さ映像の境界を外れた領域の深さ値を決定する段階と、を含むことを特徴とする請求項９に記載のインターレイヤ符号化方法。
【請求項１５】
インターレイヤ復号化装置において、
ビットストリームから獲得された第１レイヤのカラー映像及び深さ映像の符号化情報に基づいて、第１レイヤのカラー映像及び深さ映像を復元する第１レイヤ復号化部と、
前記第１レイヤの深さ映像から復号化される第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定し、前記決定された第１レイヤの深さ映像ブロックに含まれた領域が、前記第１レイヤの深さ映像の境界を外れるか否かということを決定し、前記深さ映像ブロックに含まれた領域が、前記境界を外れる場合、前記深さ映像の境界を外れた領域の深さ値を決定し、前記決定された境界を外れた領域の深さ値に基づいて、前記現在ブロックに対する第１レイヤ映像の対応ブロックを示すディスパリティベクトルを決定するディスパリティベクトル決定部と、
前記ディスパリティベクトルを利用して、前記現在ブロックを復元する第２レイヤ復号化部と、を含むインターレイヤ復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ復号化方法及びその装置と、深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ符号化方法及びその装置とに係り、詳細には、参照視点深さ映像の境界近辺で決定された深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ復号化方法及びその装置、並びに参照視点深さ映像の境界近辺で決定された深さ基盤ディスパリティベクトルを利用するインターレイヤ符号化方法及びその装置に関する。
【背景技術】
【０００２】
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質のビデオコンテンツを効果的に符号化／復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、ツリー構造の符号化単位に基づいて制限された符号化方式によって符号化されている。
【０００３】
周波数変換を利用して空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete  cosine  transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続して反復して発生するデータを小サイズのデータに置換することにより、データ量を節減している。
【０００４】
マルチレイヤビデオコーデックは、第１レイヤビデオと、１以上の第２レイヤビデオとを符号化・復号化する。第１レイヤビデオと第２レイヤビデオとの時間的／空間的重複性（redundancy）と、レイヤ間の重複性を除去する方式により、第１レイヤビデオと第２レイヤビデオとのデータ量が節減される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、一実施形態により、現在レイヤのブロックに対応する参照レイヤの深さ映像ブロックに含まれた領域が、参照レイヤの深さ映像の境界を外れる場合、参照レイヤの深さ映像の境界を外れた領域の深さ値を決定し、決定された境界を外れた領域の深さ値によって、参照レイヤ映像の対応ブロックを示す深さ基盤のディスパリティベクトルを決定し、決定された深さ基盤のディスパリティベクトルを直間接的に利用して、現在レイヤのブロックを符号化することによって符号化効率を向上させることができるインターレイヤビデオ符号化方法及びインターレイヤビデオ復号化方法を提供することを特徴とする。
【課題を解決するための手段】
【０００６】
本発明の技術的課題は、以上で言及した特徴に制限されるものではなく、言及されていなかったり、あるいは異なったりする技術的課題は、以下の記載から、当該技術分野の当業者に明確に理解されるであろう。
【０００７】
本発明の一実施形態によるインターレイヤビデオ復号化方法は、ビットストリームから獲得された第１レイヤのカラー映像及び深さ映像の符号化情報に基づいて、第１レイヤのカラー映像及び深さ映像を復元する段階と、前記第１レイヤの深さ映像から復号化される第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定する段階と、前記決定された第１レイヤの深さ映像ブロックに含まれた領域が、前記第１レイヤの深さ映像の境界を外れるか否かということを決定する段階と、前記深さ映像ブロックに含まれた領域が、前記境界を外れる場合、前記深さ映像の境界を外れた領域の深さ値を決定する段階と、前記決定された深さ映像の境界を外れた領域の深さ値に基づいて、前記現在ブロックに対する第１レイヤ映像の対応ブロックを示すディスパリティベクトルを決定する段階と、前記ディスパリティベクトルを利用して、現在ブロックを復元する段階と、を含んでもよい。
【０００８】
本発明は、一実施形態による方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含んでもよい。
【発明の効果】
【０００９】
現在レイヤのブロックに対応する参照レイヤの深さ映像ブロックに含まれた領域が、参照レイヤの深さ映像の境界を外れる場合、参照レイヤの深さ映像の境界を外れた領域の深さ値を決定し、決定された境界を外れた領域の深さ値によって、参照レイヤ映像の対応ブロックを示す深さ基盤のディスパリティベクトルを決定し、決定された深さ基盤のディスパリティベクトルを直間接的に利用して、現在レイヤのブロックを符号化することによって、符号化効率を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１Ａ】一実施形態によるインターレイヤビデオ符号化装置のブロック図である。
【図１Ｂ】一実施形態によるインターレイヤビデオ符号化方法のフローチャートである。
【図２Ａ】一実施形態によるインターレイヤビデオ復号化装置のブロック図である。
【図２Ｂ】一実施形態によるインターレイヤビデオ復号化方法のフローチャートである。
【図３】一実施形態によるインターレイヤ予測構造を図示する図面である。
【図４Ａ】一実施形態によって、周辺ブロックを利用してディスパリティベクトルを予測する一例を示す図面である。
【図４Ｂ】一実施形態によって、周辺ブロックを利用してディスパリティベクトルを予測する一例を示す図面である。
【図５】一実施形態によって、インターレイヤビデオ復号化装置が深さ基盤のディスパリティベクトルを決定するフローチャートである。
【図６Ａ】インターレイヤビデオ復号化装置が深さ基盤のディスパリティベクトルを決定する過程について説明するための図面である。
【図６Ｂ】インターレイヤビデオ復号化装置が深さ基盤のディスパリティベクトルを決定する過程について説明するための図面である。
【図６Ｃ】インターレイヤビデオ復号化装置が深さ基盤のディスパリティベクトルを決定する過程について説明するための図面である。
【図７Ａ】本発明の一実施形態によって、インターレイヤビデオ復号化装置が深さ基盤のディスパリティベクトルを決定する具体的な過程について説明するための図面である。
【図７Ｂ】本発明の一実施形態によって、インターレイヤビデオ復号化装置が深さ基盤のディスパリティベクトルを決定する具体的な過程について説明するための図面である。
【図８】一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。
【図９】一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。
【図１０】本発明の一実施形態による符号化単位の概念を図示する図面である。
【図１１】本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。
【図１２】本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。
【図１３】本発明の一実施形態による、符号化単位及びパーティションを図示する図面である。
【図１４】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図１５】本発明の一実施形態による符号化情報を図示する図面である。
【図１６】本発明の一実施形態による符号化単位を図示する図面である。
【図１７】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１８】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１９】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２０】表２の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２１】一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。
【図２２】ディスクを利用してプログラムを記録して判読するためのディスクドライブを図示する図面である。
【図２３】コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system）の全体的構造を図示する図面である。
【図２４】一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。
【図２５】一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。
【図２６】本発明による通信システムが適用されたデジタル放送システムを図示する図面である。
【図２７】本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
【発明を実施するための形態】
【００１１】
本発明の一実施形態によるインターレイヤ復号化方法は、ビットストリームから獲得された第１レイヤのカラー映像及び深さ映像の符号化情報に基づいて、第１レイヤのカラー映像及び深さ映像を復元する段階と、前記第１レイヤの深さ映像から復号化される第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定する段階と、前記決定された第１レイヤの深さ映像ブロックに含まれた領域が、前記第１レイヤの深さ映像の境界を外れるか否かということを決定する段階と、前記深さ映像ブロックに含まれた領域が、前記境界を外れる場合、前記深さ映像の境界を外れた領域の深さ値を決定する段階と、前記決定された深さ映像の境界を外れた領域の深さ値に基づいて、前記現在ブロックに対する第１レイヤ映像の対応ブロックを示すディスパリティベクトルを決定する段階と、前記ディスパリティベクトルを利用して、現在ブロックを復元する段階と、を含む。
【００１２】
深さ映像の境界を外れた領域の深さ値を決定する段階は、前記境界を外れた領域の深さ値を、前記第１レイヤの深さ映像の境界深さ値として設定する段階と、前記設定された第１レイヤの深さ映像の深さ値を参照することによって、境界を外れた領域の深さ値を決定する段階と、を含んでもよい。
【００１３】
深さ映像の境界を外れた領域の深さ値を決定する段階は、境界を外れた領域の座標を、第１レイヤの深さ映像の境界の座標に対応するように設定することにより、前記境界を外れた領域の深さ値を決定する段階を含んでもよい。
【００１４】
ディスパリティベクトルを決定する段階は、前記深さ映像の境界を外れた領域の深さ値に基づいて、前記深さ映像ブロック内の各領域の全部または一部の深さ値のうち１つの代表深さ値を決定する段階と、前記決定された代表深さ値に基づいて、第１レイヤの対応ブロックを示すディスパリティベクトルを決定する段階と、を含んでもよい。
【００１５】
代表深さ値を決定する段階は、前記深さ映像の境界を外れた領域の深さ値に基づいて、前記深さ映像ブロックの複数領域を選択する段階と、前記選択された複数領域の深さ値を比較し、１つの代表深さ値を決定する段階と、を含んでもよい。
【００１６】
前記深さ映像の境界を外れた領域の深さ値を決定する段階は、現在ブロックの予測モードにより、前記深さ映像の境界を外れた領域の深さ値を決定するか否かということを判断する段階と、前記現在ブロックの予測モードによる深さ映像の境界を外れた領域の深さ値の決定いかんに基づいて、前記深さ映像の境界を外れた領域の深さ値を決定する段階と、を含んでもよい。
【００１７】
決定された第１レイヤの深さ映像ブロックに含まれた領域が、前記第１レイヤの深さ映像の境界を外れる場合、前記深さ映像ブロックの深さ値を基に、前記ディスパリティベクトルを決定しない。
【００１８】
深さ映像の境界を外れた領域の深さ値を決定する段階は、前記境界を外れた領域の深さ値を、所定の深さ値として決定する段階を含んでもよい。
【００１９】
本発明の一実施形態によるインターレイヤ符号化方法は、第１レイヤのカラー映像及び深さ映像を符号化して生成された符号化情報を含むビットストリームを生成する段階と、前記第１レイヤの深さ映像から、前記符号化される第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定する段階と、前記決定された第１レイヤの深さ映像ブロックに含まれた領域が、前記第１レイヤの深さ映像の境界を外れるか否かということを決定する段階と、前記深さ映像ブロックに含まれた領域が、前記境界を外れる場合、前記深さ映像の境界を外れた領域の深さ値を決定する段階と、前記決定された境界を外れた領域の深さ値に基づいて、前記現在ブロックに対する第１レイヤの対応ブロックを示すディスパリティベクトルを決定する段階と、前記ディスパリティベクトルを利用して、現在ブロックを符号化する段階と、を含む。
【００２０】
深さ映像の境界を外れた領域の深さ値を決定する段階は、前記第１レイヤの深さ映像の深さ値を参照することによって、境界を外れた領域の深さ値を決定する段階を含んでもよい。
【００２１】
深さ映像の境界を外れた領域の深さ値を決定する段階は、境界を外れた領域の座標を、第１レイヤの深さ映像の境界の座標に対応するように設定することにより、前記境界を外れた領域の深さ値を決定する段階を含んでもよい。
【００２２】
ディスパリティベクトルを決定する段階は、前記深さ映像の境界を外れた領域の深さ値に基づいて、前記深さ映像ブロック内の各領域の全部または一部の深さ値のうち１つの代表深さ値を決定する段階と、前記決定された代表深さ値に基づいて、第１レイヤの対応ブロックを示すディスパリティベクトルを決定する段階と、を含んでもよい。
【００２３】
代表深さ値を決定する段階は、前記深さ映像の境界を外れた領域の深さ値に基づいて、深さ映像ブロックの複数領域を選択する段階と、前記選択された複数領域の深さ値を比較し、１つの代表深さ値を決定する段階と、を含んでもよい。
【００２４】
深さ映像の境界を外れた領域の深さ値を決定する段階は、現在ブロックの予測モードにより、前記深さ映像の境界を外れた領域の深さ値を決定するか否かということを判断する段階と、前記現在ブロックの予測モードにより、前記深さ映像の境界を外れた領域の深さ値を決定するか否かということに基づいて、前記深さ映像の境界を外れた領域の深さ値を決定する段階と、を含んでもよい。
【００２５】
本発明の一実施形態によるインターレイヤ復号化装置は、ビットストリームから獲得された第１レイヤのカラー映像及び深さ映像の符号化情報に基づいて、第１レイヤのカラー映像及び深さ映像を復元する第１レイヤ復号化部と、前記第１レイヤの深さ映像から復号化される第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定し、前記決定された第１レイヤの深さ映像ブロックに含まれた領域が、前記第１レイヤの深さ映像の境界を外れるか否かということを決定し、前記深さ映像ブロックに含まれた領域が、前記境界を外れる場合、前記深さ映像の境界を外れた領域の深さ値を決定し、前記決定された境界を外れた領域の深さ値に基づいて、前記現在ブロックに対する第１レイヤ映像の対応ブロックを示すディスパリティベクトルを決定するディスパリティベクトル決定部と、前記ディスパリティベクトルを利用して、前記現在ブロックを復元する第２レイヤ復号化部と、を含む。
【００２６】
以下、図１Ａないし図７Ｂを参照し、多様な実施形態によって、参照レイヤ映像を利用して決定されたディスパリティベクトルを利用するインターレイヤビデオ符号化技法、インターレイヤビデオ復号化技法を開示する。具体的には、図１Ａないし図７Ｂを参照し、多様な実施形態によって、参照レイヤの深さ映像の境界近辺で決定されたディスパリティベクトルを利用するインターレイヤビデオ符号化技法、インターレイヤ復号化技法が開示される。また、図８ないし図２０を参照し、先立って提案したインターレイヤビデオ符号化技法及びインターレイヤ復号化技法に適用可能な多様な実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法が開示される。また、図２１ないし図２７を参照し、先立って提案したビデオ符号化方法、ビデオ復号化方法が適用されるな多様な実施形態が開示される。
【００２７】
以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。
【００２８】
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。
【００２９】
まず、図１Ａないし図７Ｂを参照し、一実施形態による、深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ符号化方法及びインターレイヤビデオ符号化装置、並びに参照視点深さ映像を利用して決定された深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ復号化装置及びインターレイヤビデオ復号化方法が開示される。
【００３０】
図１Ａは、一実施形態によるインターレイヤビデオ符号化装置１０のブロック図を図示している。図１Ｂは、一実施形態によるインターレイヤビデオ符号化方法のフローチャートを図示している。
【００３１】
多様な実施形態によるインターレイヤビデオ符号化装置１０は、第１レイヤ符号化部１２及び第２レイヤ符号化部１６を含む。第２レイヤ符号化部１６は、ディスパリティベクトル決定部１４を含んでもよい。一方、ディスパリティベクトル決定部１４は、第２レイヤ符号化部１６の外部に位置することもできる。
【００３２】
多様な実施形態によるインターレイヤビデオ符号化装置１０は、スケーラブルビデオコーディング（scalable  video  coding）方式によって、多数の映像シーケンスをレイヤ別に分類してそれぞれ符号化し、レイヤ別に符号化されたデータを含む別個のストリームを出力することができる。インターレイヤビデオ符号化装置１０は、第１レイヤ映像シーケンス及び第２レイヤ映像シーケンスを互いに異なるレイヤで符号化することができる。
【００３３】
第１レイヤ符号化部１２が第１レイヤ映像を符号化し、第１レイヤ映像の符号化データを含む第１レイヤストリームを出力することができる。
【００３４】
第２レイヤ符号化部１６が第２レイヤ映像を符号化し、第２レイヤ映像の符号化データを含む第２レイヤストリームを出力することができる。
【００３５】
例えば、空間的スケーラビリティ（spatial  scalability）に基づいたスケーラブルビデオコーディング方式によれば、低解像度映像が第１レイヤ映像として符号化され、高解像度映像が第２レイヤ映像として符号化される。第１レイヤ映像の符号化結果が第１レイヤストリームに出力され、第２レイヤ映像の符号化結果が第２レイヤストリームに出力される。
【００３６】
他の例として、多視点ビデオがスケーラブルビデオコーディング方式によって符号化される。左視点映像は、第１レイヤ映像として符号化され、右視点映像は、第２レイヤ映像として符号化される。または、中央視点映像、左視点映像及び右視点映像がそれぞれ符号化され、そのうち中央視点映像は、第１レイヤ映像として符号化され、左視点映像は、第２レイヤ映像、右視点映像は、第３レイヤ映像として符号化される。
【００３７】
他の例として、時間的スケーラビリティに基づいた時間階層的予測（temporal  hierarchical  prediction）によって、スケーラブルビデオコーディング方式が遂行される。基本フレームレートの映像を符号化して生成された符号化情報を含む第１レイヤストリームが出力される。フレームレート別に時間的階層（temporal  level）が分類され、各時間的階層が各レイヤで符号化される。基本フレームレートの映像を参照し、高速フレームレートの映像をさらに符号化し、高速フレームレートの符号化情報を含む第２レイヤストリームが出力される。
【００３８】
また、第１レイヤ、及び多数の第２レイヤに対するスケーラブルビデオコーディングが行われる。第２レイヤが３以上である場合、第１レイヤ映像、及び最初の第２レイヤ映像、２番目の第２レイヤ映像、…、Ｋ番目の第２レイヤ映像が符号化されもする。これにより、第１レイヤ映像の符号化結果が、第１レイヤストリームに出力され、最初、２番目、…、Ｋ番目の第２レイヤ映像の符号化結果がそれぞれ最初、２番目、…、Ｋ番目の第２レイヤストリームとして出力される。
【００３９】
多様な実施形態によるインターレイヤビデオ符号化装置１０は、単一レイヤの映像を参照し、現在映像を予測するインター予測（inter  prediction）を行うことができる。インター予測を介して、現在映像と参照映像との動き情報を示すモーションベクトル（motion  vector）、及び現在映像と参照映像とのレジデュアル成分（residual）が生成される。
【００４０】
また、インターレイヤビデオ符号化装置１０は、第１レイヤ映像を参照し、第２レイヤ映像を予測するインターレイヤ予測（inter-layer  prediction）を行うことができる。
【００４１】
また、一実施形態によるインターレイヤビデオ符号化装置１０が、第１レイヤ、第２レイヤ、第３レイヤなど３以上のレイヤを許容する場合には、マルチレイヤ予測構造によって、１つの第１レイヤ映像と第３レイヤ映像とのインターレイヤ予測、第２レイヤ映像と第３レイヤ映像とのインターレイヤ予測を行うこともできる。
【００４２】
インターレイヤ予測を介して、現在映像と異なるレイヤの参照映像間の位置差成分、及び現在映像と異なるレイヤの参照映像間のレジデュアル成分が生成される。
【００４３】
インターレイヤ予測構造は、追って図３を参照して詳細に説明する。
【００４４】
多様な実施形態によるインターレイヤビデオ符号化装置１０は、各レイヤごとに、ビデオのそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。ブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造の符号化単位を含む最大符号化単位は、コーディングツリーユニット（coding  tree  unit）、コーディングブロックツリー（coding  block  tree）、ブロックツリー、ルートブロックツリー（root  block  tree）、コーディングツリー、コーディングルートまたはツリートランク（tree  trunk）などで多様に命名される。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図８ないし図２０を参照して後述する。
【００４５】
インター予測及びインターレイヤ予測は、符号化単位、予測単位または変換単位のデータ単位を基に行われる。
【００４６】
多様な実施形態による第１レイヤ符号化部１２は、第１レイヤ映像に対して、インター予測またはイントラ予測を含むソースコーディング動作を遂行し、シンボルデータを生成することができる。シンボルデータは、各符号化パラメータのサンプル値、及びレジデュアルのサンプル値を示す。
【００４７】
例えば、符号化部１２は、第１レイヤ映像のデータ単位のサンプルに対して、インター予測またはイントラ予測、変換、量子化を行ってシンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、第１レイヤストリームを生成することができる。
【００４８】
第２レイヤ符号化部１６は、ツリー構造の符号化単位に基づいて、第２レイヤ映像を符号化することができる。第２レイヤ符号化部１６は、第２レイヤ映像の符号化単位のサンプルに対して、インター／イントラ予測、変換、量子化を行ってシンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、第２レイヤストリームを生成することができる。
【００４９】
多様な実施形態による第２レイヤ符号化部１６は、第１レイヤ映像の予測情報を利用して、第２レイヤ映像を予測するインターレイヤ予測を行うことができる。第２レイヤ符号化部１６は、インターレイヤ予測構造を介して、第２レイヤ映像シーケンスのうち第２レイヤ原本映像を符号化するために、第１レイヤ復元映像の予測情報を利用して、第２レイヤ現在映像の予測情報を決定し、決定された予測情報に基づいて、第２レイヤ予測映像を生成し、第２レイヤ原本映像と第２レイヤ予測映像との予測誤差を符号化することができる。
【００５０】
一方、第２レイヤ符号化部１６は、第２レイヤ映像を符号化単位または予測単位のようなブロック別にインターレイヤ予測を行い、第２レイヤ映像のブロックが参照する第１レイヤ映像のブロックを決定することができる。例えば、第２レイヤ映像において、現在ブロックの位置に相応して位置する第１レイヤ映像の復元ブロックが決定される。第２レイヤ符号化部１６は、第２レイヤブロックに相応する第１レイヤ復元ブロックを利用して、第２レイヤ予測ブロックを決定することができる。
【００５１】
第２レイヤ符号化部１６は、インターレイヤ予測構造によって、第１レイヤ復元ブロックを利用して決定された第２レイヤ予測ブロックを、第２レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することができる。第２レイヤ符号化部１６は、第１レイヤ復元映像を利用して、第２レイヤ予測ブロックのサンプル値と、第２レイヤ原本ブロックのサンプル値との誤差、すなわち、インターレイヤ予測によるレジデュアル成分を変換して量子化し、エントロピー符号化することができる。
【００５２】
一方、前述のインターレイヤビデオ符号化装置１０が、多視点ビデオを符号化する場合、符号化される第１レイヤ映像は、第１視点ビデオであり、第２レイヤ映像は、第２視点ビデオでもある。かような多視点映像は、同一時間に取得されるために、各視点の映像別に類似度が非常に高い。
【００５３】
多視点映像は、視点別に、撮影位置、撮影角度、撮像ツール（カメラ、レンズなど）の特性が異なることにより、視差（disparity）が示される。このとき、視差とは、同一時間の複数視点の映像で示される複数視点の映像間の差を意味する。具体的には、視差は、複数視点の映像で示される同一客体間の距離の差を意味する。かような視差は、ディスパリティベクトルとして示すことができる。このとき、ディスパリティベクトルは、さまざまな視点の映像において、客体の位置が変わることによって発生した客体の変位を示すベクトルを意味する。すなわち、ディスパリティベクトルは、視点方向に、視点内の時間方向動きベクトルに対応する意味を有すると見られる。
【００５４】
ディスパリティベクトルを利用して、他視点の映像において、現在符号化するブロックと最も類似した領域を求めて符号化するディスパリティ補償予測（disparity  compensated  prediction）を行うことにより、符号化効率を高めることができる。
【００５５】
一方、インターレイヤビデオ符号化装置１０は、インターレイヤ予測のためのディスパリティベクトルを決定し、決定されたディスパリティベクトルに係わる情報を、ビットストリームを介して、インターレイヤビデオ復号化装置２０で伝送することができる。
【００５６】
また、インターレイヤビデオ符号化装置１０は、予測単位別に伝送されるデータ量を減らすために、他の符号化情報からディスパリティベクトルが予測（または、誘導）されるようにする。例えば、現在複符号化するブロックの時間的（temporal）あるいは空間的（spatial）な周辺ブロックから、ディスパリティベクトルが予測される。インターレイヤビデオ符号化装置１０は、周辺ブロックから予測（または、誘導）されたディスパリティベクトルを利用して、現在複符号化するブロックに対応する領域を求めることができる。
【００５７】
一方、インターレイヤビデオ符号化装置１０は、参照レイヤの深さ映像を活用してディスパリティベクトルを決定することにより、周辺ブロックから予測されたディスパリティベクトルより、さらに現在複符号化するブロックと対応する領域を求めることができ、符号化／復号化性能及び予測の正確度を向上させることができる。
【００５８】
例えば、インターレイヤビデオ符号化装置１０は、深さ映像を活用し、ディスパリティベクトル（disparity  vector）を次のように決定する。
【００５９】
【数１】
2016526853.tif 000003
ここでは、説明の便宜上、ディスパリティベクトル（disparity  vector）のｙ成分、すなわち、垂直成分が０であると仮定する。すなわち、多視点の映像において、視点の変化によって、映像内の客体位置が水平だけに変化したと仮定する。一方、ディスパリティベクトルのｘ成分は、深さ値（depth  value）にｓを乗じてｏを加えて算出される。このとき、ｓは、スケールファクタ（scale  factor）であり、深さ値は、深さ映像において、特定画素の深さ値を意味し、ｏは、オフセット（offset）を意味する。このとき、スケールファクタとオフセットは、参照するレイヤ映像に係わるカメラパラメータから決定される。例えば、カメラパラメータは、カメラの焦点距離、ベースライン情報を含んでもよい。このとき、カメラのベースライン情報は、カメラのレンズの間距離に係わる情報を意味する。
【００６０】
深さ映像は、対応するレイヤカラー映像の所定画素に対して深さ値を保存することができる。深さ値は、カメラと被写体との距離情報を含んでもよい。例えば、８ビットのビット深度を有する深さ映像において、最大距離と最小距離とを０から２５５までマッピングすることができる。ここで、被写体の距離と変位とは反比例するので、深さ値を利用して、各画素の変位を推定することができ、それを基に、新たな視点の映像を仮想して生成することができる。すなわち、深さ映像は、少ない視点の映像を有して仮想視点を合成し、多様な視点の映像を提供する方法を提供するために利用される。
ここでは、便宜上、ディスパリティベクトルのｙ成分、すなわち、垂直成分が０であると仮定したが、それに制限されるものではなく、垂直成分は、０ではない値を有することができ、このとき、数式（１）においてｘ成分が算出される方式のように、ｙ成分が算出される。
【００６１】
一方、インターレイヤビデオ符号化装置１０が、深さ対応ブロックに含まれた深さ値を活用し、ディスパリティベクトルを決定する場合、深さ対応ブロックに含まれた領域が、参照視点深さ映像の境界を外れることがある。このとき、深さ対応ブロックとは、現在ブロックに対応する参照視点深さ映像に対して一定サイズのブロックを意味する。
【００６２】
インターレイヤビデオ符号化装置１０は、深さ対応ブロックに含まれた参照視点深さ映像の境界を外れた領域の深さ値を活用することができないために、ディスパリティベクトルを予測（または、誘導）すれば、深さ対応ブロックが参照視点深さ映像の全ての部分が含まれる場合と比較するとき、予測されたディスパリティベクトルより、現在符号化するブロックとは類似していない領域を求め、符号化性能及び予測の正確度が低下する。
【００６３】
本発明の一実施形態によるインターレイヤビデオ符号化装置１０は、深さ対応ブロックに含まれた領域が、参照視点深さ映像の境界を外れる場合、深さ対応ブロックにおいて、参照視点深さ映像の境界内側に位置した領域をそのまま含みながら、境界外側に位置した領域を含まないように、深さ対応ブロックの領域のうち、境界を外れる領域の座標を、深さ対応ブロックの境界内の座標に対応するように制限することにより、境界外側領域の深さ値を活用せず、ディスパリティベクトルを予測（または、誘導）することができる。一方、実際に具現する場合、深さ映像の外側領域は、境界ピクセルにおいて、パディング（padding）することができる。すなわち、実際に具現する場合、深さ映像の外側領域の深さ値は、境界ピクセルの深さ値でもある。その場合には、深さ映像を外れる場合にも、外れる領域をそのまま参照することにより、深さ映像の外側領域の深さ値を決定することができる。すなわち、深さ映像を外れる場合にも、外れる領域の座標を利用し、そのまま深さ映像の外側領域を参照することにより、深さ映像の外側領域の深さ値を決定することができる。
【００６４】
特に、本発明の一実施形態によるインターレイヤビデオ符号化装置１０は、深さ対応ブロックに含まれた領域が、参照視点深さ映像の境界を外れる場合、深さ映像の境界内側に位置しながら、深さ対応ブロック内に位置した領域の深さ値は、そのまま活用しながらも、深さ映像の境界外側に位置しながら、深さ対応ブロック内に位置した領域の深さ値を、深さ対応ブロックの領域のうち、境界を外れる領域の座標を、深さ対応ブロックの境界内の座標に対応するように制限することにより、深さ映像の境界の深さ値として決定し、現在ブロックと類似したブロックを指すディスパリティベクトルを予測（または、誘導）することができる。
【００６５】
以下、一実施形態によるインターレイヤビデオ符号化装置１０において、深さ基盤のディスパリティベクトルを決定する方法は、図４ないし図７Ｂについての説明で、具体的に後述する。
【００６６】
インターレイヤビデオ符号化装置１０は、第１レイヤ復元映像を利用して、第２レイヤ予測ブロックのサンプル値と、第２レイヤ原本ブロックのサンプル値との誤差、すなわち、インターレイヤ予測によるレジデュアル成分を変換して量子化し、エントロピー符号化を行うことができる。また、予測情報間の誤差も、エントロピー符号化される。
【００６７】
前述のように、インターレイヤビデオ符号化装置１０は、インターレイヤ予測構造を介して、第１レイヤ復元映像を参照し、現在レイヤ映像シーケンスを符号化することもできる。ただし、多様な実施形態によるインターレイヤビデオ符号化装置１０が、異なるレイヤサンプルを参照せずとも、単一レイヤ予測構造によって、第２レイヤ映像シーケンスを符号化することもできる。従って、インターレイヤビデオ符号化装置１０が第２レイヤ映像シーケンスを符号化するために、インターレイヤ予測構造のインター予測のみを行うと制限的に解釈しないように留意しなければならない。
【００６８】
以下、インターレイヤ予測のために、深さ基盤のディスパリティベクトルを決定するインターレイヤビデオ符号化装置１０の詳細な動作について、図１Ｂを参照して詳細に説明する。以下の説明において、第１レイヤ映像は、参照視点映像を意味し、第２レイヤ映像は、現在符号化される視点の映像を意味する。
【００６９】
図１Ｂは、多様な実施形態によるインターレイヤビデオ符号化方法のフローチャートを図示している。
【００７０】
段階１１において、一実施形態による第１レイヤ符号化部１２は、第１レイヤのカラー映像及び深さ映像を符号化して生成された符号化情報を含むビットストリームを生成することができる。
【００７１】
段階１３において、一実施形態によるディスパリティベクトル決定部１４は、第１レイヤの深さ映像から、第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定する。このとき、現在ブロックに対応する第１レイヤの深さ映像ブロックを決定するために、ディスパリティベクトル決定部１４は、現在ブロックの周辺ブロックを利用して、ディスパリティベクトルが予測可能であるか否かということを決定し、予測可能であると決定されれば、周辺ブロックを利用して、ディスパリティベクトルを予測（または、誘導）することができる。かようなディスパリティベクトルは、第１レイヤの深さ映像ブロックを示すことができる。従って、ディスパリティベクトル決定部１４は、周辺ブロックから予測されたディスパリティベクトルを利用して、第１レイヤの深さ映像ブロックを決定することができる。例えば、ディスパリティベクトル決定部１４は、第２レイヤ現在ブロックの周辺ブロックからディスパリティベクトルを獲得し、周辺ブロックからディスパリティベクトルが獲得される場合、獲得されたディスパリティベクトルを利用して、現在ブロックのディスパリティベクトルを予測することができる。第２レイヤ現在ブロックの周辺ブロックからディスパリティベクトルを獲得する方法は、図４を参照して詳細に説明する。従って、ディスパリティベクトル決定部１４は、周辺ブロックからディスパリティベクトルが獲得される場合、ディスパリティベクトルが予測可能であると決定する。
【００７２】
一方、ディスパリティベクトル決定部１４は、深さ基盤のディスパリティベクトルを利用して、第１レイヤの深さ映像ブロックを決定することができる。このとき、深さ基盤のディスパリティベクトルは、深さ値に基づいて予測（または、誘導）されたディスパリティベクトルを意味する。例えば、深さ基盤のディスパリティベクトルは、任意の深さ値に基づいて予測されたディスパリティベクトルでもある。具体的には、８ビットの深さ深度を有するとき、深さ値の範囲は、０−２５５の深さ値になるが、このとき、深さ値の中間値である１２８を利用して、現在ブロックに対応する第１レイヤ映像の対応ブロックを示すディスパリティベクトルを予測（または、誘導）することができる。
【００７３】
また、例えば、深さ基盤のディスパリティベクトルは、周辺ブロックからディスパリティベクトルを予測し、予測されたディスパリティベクトルが示す現在ブロックに対応する第１レイヤの深さ映像の対応ブロックを決定し、決定された深さ映像の対応ブロックの深さ値に基づいて予測（または、誘導）されたディスパリティベクトルを意味する。
【００７４】
また、例えば、ディスパリティベクトル決定部１４は、現在ブロックに係わるビュー合成予測（view  synthsis  prediction）を行う場合、第１レイヤの深さ映像の深さ値を利用して、新たなディスパリティベクトルを予測（または、誘導）するが、このとき、第１レイヤに係わる深さ映像の深さ値を利用するために、第１レイヤに係わる深さ映像の対応ブロックを決定することができる。第１レイヤに係わる深さ映像の対応ブロックを決定するために、現在ブロックに対応する第１レイヤに係わる深さ映像ブロックを示すディスパリティベクトルが利用されるが、該ベクトルを初期ディスパリティベクトルという。
【００７５】
ただし、第１レイヤに係わる深さ映像ブロックを決定するために、ディスパリティベクトルを決定する内容は、前述の内容に制限されるものではなく、ディスパリティベクトル決定部１４は、多様な形態に予測（または、誘導）されたディスパリティベクトルを決定し、予測されたディスパリティベクトルを利用して、深さ映像ブロックを決定することができる。また、決定されたディスパリティベクトルを利用して、新たなディスパリティベクトルをさらに予測（または、誘導）し、新たなディスパリティベクトルを利用して、深さ映像ブロックを決定することができる。すなわち、多様な形態のディスパリティベクトルを利用して、第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定することができる。
【００７６】
段階１５において、一実施形態によるディスパリティベクトル決定部１４は、決定された第１レイヤの深さ映像ブロックに含まれた領域が、第１レイヤの深さ映像の境界を外れるか否かということを決定することができる。
【００７７】
段階１７において、一実施形態によるディスパリティベクトル決定部１４は、深さ映像ブロックに含まれた領域が、第１レイヤの深さ映像の境界を外れる場合、深さ映像ブロックにおいて深さ映像の境界を外れた領域の深さ値を決定する。ディスパリティベクトル決定部１４は、深さ映像ブロックにおいて深さ映像の境界を外れた領域の深さ値を、深さ映像ブロックに含まれた境界内の深さ値として決定する。
【００７８】
例えば、ディスパリティベクトル決定部１４は、深さ映像の境界を外れた領域の深さ値に対して、深さ対応ブロックの領域のうち、境界を外れる領域の座標を、深さ対応ブロックの境界内の座標に対応するように制限することにより、深さ映像の境界の深さ値として決定する。その結果、ディスパリティベクトル決定部１４は、境界内の深さ映像の深さ値を利用して、ディスパリティベクトルを決定することができる。
【００７９】
一方、実際に具現する場合、深さ映像の外側領域は、境界ピクセルでパディングすることができる。すなわち、実際に具現する場合、深さ映像の外側領域の深さ値は、境界ピクセルの深さ値でもある。その場合には、深さ映像を外れる場合にも、外れる領域をそのまま参照することにより、深さ映像の外側領域の深さ値を決定することができる。
【００８０】
一方、ディスパリティベクトル決定部１４は、現在ブロックの予測モードを決定することができる。また、ディスパリティベクトル決定部１４は、決定された現在ブロックの予測モードにより、深さ映像ブロックにおいて深さ映像の境界を外れた領域の深さ値を決定することができる。例えば、ディスパリティベクトル決定部１４は、現在ブロックの予測モードが、ビュー合成予測によって予測するモードである場合、深さ映像ブロックにおいて深さ映像の境界を外れた領域の深さ値を決定しない。ディスパリティベクトル決定部１４は、現在ブロックの予測モードが、ビュー合成予測によって予測するモードではない他の予測モードである場合、深さ映像ブロックにおいて深さ映像の境界を外れた領域の深さ値を決定することができる。ただし、ディスパリティベクトル決定部１４は、予測モードがビュー合成予測によって予測するモードであるか否かということによって、深さ映像の境界を外れた領域の深さ値を決定することに制限されるものではなく、多様な予測モードによって、深さ映像の境界を外れた領域の深さ値を決定したり、決定しなかったりする。一方、ディスパリティベクトル決定部１４は、予測モードを決定し、もし特定予測モードについては、ブロックに含まれた領域が第１レイヤの深さ映像の境界を外れるか否かということを判断しないこともある。
【００８１】
段階１８において、ディスパリティベクトル決定部１４は、決定された境界を外れた領域の深さ値に基づいて、現在ブロックに対する第１レイヤの対応ブロックを示すディスパリティベクトルを決定することができる。
【００８２】
ディスパリティベクトル決定部１４は、決定された境界を外れた領域の深さ値に基づいて、深さ映像ブロック内の少なくとも１以上の各領域の全部または一部の深さ値のうち１つの代表深さ値を決定する。
【００８３】
このとき、代表深さ値を決定するという意味は、ディスパリティベクトル決定部１４は、決定された境界を外れた領域の深さ値に基づいて、深さ映像ブロック内の少なくとも１以上の領域の深さ値のうち１つの代表深さ値を選択するか、決定された境界を外れた領域の深さ値に基づいて、深さ映像ブロック内の少なくとも１以上の領域の全部または一部の深さ値を利用して、代表深さ値を算出することができる。また、ディスパリティベクトル決定部１４は、決定された代表深さ値に基づいて、第１レイヤの対応ブロックを示すディスパリティベクトルを決定することができる。一方、ディスパリティベクトル決定部１４は、深さ映像ブロックにおいて分割された複数領域を選択し、選択された複数領域の深さ値を比較し、１つの代表深さ値を決定することができる。ディスパリティベクトル決定部１４は、複数領域の深さ値を比較し、最大深さ値を決定することができる。
【００８４】
ディスパリティベクトル決定部１４は、かように決定された最大深さ値を換算（convert）し、ディスパリティベクトルを決定することができる。
【００８５】
一方、ディスパリティベクトル決定部１４は、第２レイヤ現在ブロック位置を基準に、ディスパリティベクトルに対応する第１レイヤ深さ映像のコロケーテッド（co-located）参照ブロックを決定し、決定された第１深さ映像の参照ブロックにおいて、コーナーに位置する画素の深さ値を獲得することができる。そして、コーナー深さ値のうち最大値をディスパリティベクトルに換算し、現在ブロックのディスパリティベクトルとして決定する。
【００８６】
段階１９において、第２レイヤ符号化部１６は、決定されたディスパリティベクトルを直間接的に利用して、現在ブロックを符号化する。ディスパリティベクトルを直接に利用して、現在ブロックを符号化する場合、第２レイヤ符号化部１６は、決定されたディスパリティベクトルが示す第１レイヤの対応ブロックを参照し、現在ブロックを予測する。第２レイヤ符号化部１６は、現在ブロックに対して予測されたブロックを利用して、現在ブロックを符号化することができる。すなわち、第２レイヤ符号化部１６は、現在ブロックに対して予測されたブロックのサンプル値と、実際映像の現在ブロックのサンプル値との差を示すレジデュ情報を生成し、生成されたレジデュ情報を符号化する。
【００８７】
また、第２レイヤ符号化部１６は、決定されたディスパリティベクトルを、初期ディスパリティベクトルにして第１レイヤ深さ映像ブロックを参照し、参照された第１レイヤ深さ映像ブロックを参照し、ビュー合成予測を行い、現在ブロックに対応する第１レイヤ映像で合成された映像を参照し、合成された映像を参照し、現在ブロックを予測することができる。第２レイヤ符号化部１６は、現在ブロックに対して予測されたブロックを利用して、現在ブロックを符号化することができる。すなわち、第２レイヤ符号化部１６は、現在ブロックに対して予測されたブロックのサンプル値と、実際映像の現在ブロックのサンプル値との差を示すレジデュ情報を生成し、生成されたレジデュ情報を符号化する。
【００８８】
一方、間接的にディスパリティベクトルを利用する一例として、ディスパリティベクトルに対応するモーションパラメータ（motion  parameter）を持ってきて予測に使用する場合を意味する。
【００８９】
ビュー合成予測についての詳細な説明は、図７Ｂを参照して説明する。
【００９０】
多様な実施形態によるインターレイヤビデオ符号化装置１０は、第１レイヤ符号化部１２、ディスパリティベクトル決定部１４及び第２レイヤ符号化部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、第１レイヤ符号化部１２、ディスパリティベクトル決定部１４及び第２レイヤ符号化部１６が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、インターレイヤビデオ符号化装置１０が全体的に作動することもできる。または、インターレイヤビデオ符号化装置１０の外部プロセッサ（図示せず）の制御により、第１レイヤ符号化部１２、ディスパリティベクトル決定部１４及び第２レイヤ符号化部１６が制御されもする。
【００９１】
インターレイヤビデオ符号化装置１０は、第１レイヤ符号化部１２、ディスパリティベクトル決定部１４及び第２レイヤ符号化部１６の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。インターレイヤビデオ符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【００９２】
インターレイヤビデオ符号化装置１０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。インターレイヤビデオ符号化装置１０の内部ビデオエンコーディングプロセッサは、別個のプロセッサでもってビデオ符号化動作を具現することができる。また、インターレイヤビデオ符号化装置１０、または中央演算装置、グラフィック演算装置がビデオエンコーディングプロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
【００９３】
図２Ａは、多様な実施形態によるインターレイヤビデオ復号化装置のブロック図を図示している。
【００９４】
多様な実施形態によるインターレイヤビデオ復号化装置２０は、第１レイヤ復号化部２２、ディスパリティベクトル決定部２４及び第２レイヤ復号化部２６を含む。ディスパリティベクトル決定部２４は、第２レイヤ復号化部２６に含まれてもよい。他の実施形態によるディスパリティベクトル決定部２４は、第２レイヤ符号化部２６の外部に位置することもできる。
【００９５】
多様な実施形態によるインターレイヤビデオ復号化装置２０は、スケーラブル符号化方式によって、レイヤ別にビットストリームを受信することができる。インターレイヤビデオ復号化装置２０が受信するビットストリームのレイヤの個数は、限定されるものではない。しかし、説明の便宜のために、以下、インターレイヤビデオ復号化装置２０の第１レイヤ復号化部２２が、第１レイヤストリームを受信して復号化し、第２レイヤ復号化部２６が、第２レイヤストリームを受信して復号化する実施形態について詳細に説明する。
【００９６】
例えば、空間的スケーラビリティに基づいたインターレイヤビデオ復号化装置２０は、互いに異なる解像度の映像シーケンスが、互いに異なるレイヤで符号化されたストリームを受信することができる。第１レイヤストリームを復号化し、低解像度映像シーケンスが復元され、第２レイヤストリームを復号化し、高解像度映像シーケンスが復元される。
【００９７】
他の例として、多視点ビデオが、スケーラブルビデオコーディング方式によって復号化される。ステレオスコピックビデオストリームが、多数レイヤで受信された場合、第１レイヤストリームを復号化し、左視点映像が復元される。第１レイヤストリームに対して、第２レイヤストリームをさらに復号化し、右視点映像が復元される。
【００９８】
または、多視点ビデオストリームが多数レイヤで受信された場合、第１レイヤストリームを復号化し、中央視点映像が復元される。第１レイヤストリームに対して、第２レイヤストリームをさらに復号化し、左視点映像が復元される。第１レイヤストリームに対して、第３レイヤストリームをさらに復号化し、右視点映像が復元される。
【００９９】
他の例として、時間的スケーラビリティに基づいたスケーラブルビデオコーディング方式が遂行される。第１レイヤストリームを復号化し、基本フレームレートの映像が復元される。第１レイヤストリームに対して、第２レイヤストリームをさらに復号化し、高速フレームレートの映像が復元される。
【０１００】
また、第２レイヤが３以上である場合、第１レイヤストリームから第１レイヤ映像が復元され、第１レイヤ復元映像を参照し、第２レイヤストリームをさらに復号化すれば、第２レイヤ映像がさらに復元される。第２レイヤ復元映像を参照し、Ｋ番目レイヤストリームをさらに復号化すれば、Ｋ番目レイヤ映像がさらに復元される。
【０１０１】
インターレイヤビデオ復号化装置２０は、第１レイヤストリーム及び第２レイヤストリームから、第１レイヤ映像及び第２レイヤ映像の符号化されたデータを獲得し、さらに、インター予測によって生成されたモーションベクトル、及びインターレイヤ予測によって生成された予測情報をさらに獲得することができる。
【０１０２】
例えば、インターレイヤビデオ復号化装置２０は、各レイヤ別にインター予測されたデータを復号化し、多数レイヤ間でインターレイヤ予測されたデータを復号化することができる。符号化単位または予測単位を基に、動き補償（motion  compensation）及びインターレイヤ復号化を介した復元が行われる。
【０１０３】
各レイヤストリームについては、同一レイヤのインター予測を介して予測された復元映像を参照し、現在映像のための動き補償を行うことにより、映像を復元することができる。動き補償は、現在映像のモーションベクトルを利用して決定された参照映像と、現在映像のレジデュアル成分とを合成し、現在映像の復元映像を再構成する動作を意味する。
【０１０４】
また、インターレイヤビデオ復号化装置２０は、インターレイヤ予測を介して予測された第２レイヤ映像を復号化するために、第１レイヤ映像の予測情報を参照し、インターレイヤ復号化を行うこともできる。インターレイヤ復号化は、現在映像の予測情報を決定するために、他のレイヤの参照ブロックの予測情報を利用して、現在映像の予測情報を再構成する動作を意味する。
【０１０５】
一実施形態によるインターレイヤビデオ復号化装置２０は、第２レイヤ映像を参照して予測された第３レイヤ映像を復元するためのインターレイヤ復号化を行うこともできる。インターレイヤ予測構造については、追って図３を参照して詳細に説明する。
【０１０６】
ただし、多様な実施形態による第２レイヤ復号化部２６が、第１レイヤ映像シーケンスを参照せず、第２レイヤストリームを復号化することもできる。従って、第２レイヤ復号化部２６が、第２レイヤ映像シーケンスを復号化するために、インターレイヤ予測を行うと制限的に解釈しないように留意しなければならない。
【０１０７】
インターレイヤビデオ復号化装置２０は、ビデオのそれぞれの映像のブロック別に復号化する。ブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。
【０１０８】
第１レイヤ復号化部２２は、パージングされた第１レイヤ映像の符号化シンボルを利用して、第１レイヤ映像を復号化することができる。インターレイヤビデオ復号化装置２０が、ツリー構造の符号化単位を基に符号化されたストリームを受信するならば、第１レイヤ復号化部２２は、第１レイヤストリームの最大符号化単位ごとに、ツリー構造の符号化単位を基に復号化を行うことができる。
【０１０９】
第１レイヤ復号化部２２は、最大符号化単位ごとにエントロピー復号化を行い、符号化情報と、符号化されたデータとを獲得することができる。第１レイヤ復号化部２２は、ストリームから獲得した符号化されたデータに対して、逆量子化、逆変換を行い、レジデュアル成分を復元することができる。他の実施形態による第１レイヤ復号化部２２は、量子化された変換係数のビットストリームを直接受信することもできる。量子化された変換係数に対して、逆量子化、逆変換を行った結果、映像のレジデュアル成分が復元される。
【０１１０】
第１レイヤ復号化部２２は、同一レイヤ映像間で動き補償を介して、予測映像を決定し、予測映像とレジデュアル成分とを結合し、第１レイヤ映像を復元することができる。
【０１１１】
第２レイヤ復号化部２６は、インターレイヤ予測構造によれば、第１レイヤ復元映像のサンプルを利用して、第２レイヤ予測映像を生成することができる。第２レイヤ復号化部２６は、第２レイヤストリームを復号化し、インターレイヤ予測による予測誤差を獲得することができる。第２レイヤ復号化部２６は、第２レイヤ予測映像に予測誤差を結合することにより、第２レイヤ復元映像を生成することができる。
【０１１２】
第２レイヤ復号化部２６は、第１レイヤ復号化部２２で復号化された第１レイヤ復元映像を利用して、第２レイヤ予測映像を決定することができる。第２レイヤ復号化部２６は、インターレイヤ予測構造により、第２レイヤ映像の符号化単位または予測単位のようなブロックが参照する第１レイヤ映像のブロックを決定することができる。例えば、第２レイヤ映像において、現在ブロックの位置に相応して位置する第１レイヤ映像の復元ブロックが決定される。第２レイヤ復号化部２６は、第２レイヤブロックに相応する第１レイヤ復元ブロックを利用して、第２レイヤ予測ブロックを決定することができる。
【０１１３】
第２レイヤ復号化部２６は、インターレイヤ予測構造によって、第１レイヤ復元ブロックを利用して決定された第２レイヤ予測ブロックを、第２レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することもできる。その場合、第２レイヤ復号化部２６は、第１レイヤ復元映像を利用して決定された第２レイヤ予測ブロックのサンプル値と、インターレイヤ予測によるレジデュアル成分とを合成することにより、第２レイヤブロックを復元することができる。
【０１１４】
一方、前述のインターレイヤビデオ復号化装置２０が、多視点ビデオを復号化する場合、符号化される第１レイヤ映像は、第１視点ビデオであり、第２レイヤ映像は、第２視点ビデオでもある。
【０１１５】
インターレイヤビデオ復号化装置２０は、多視点ビデオでインターレイヤ予測のためのディスパリティベクトルを、ビットストリームを介して獲得するか、または他の符号化情報から予測することができる。
【０１１６】
例えば、現在復元されるブロックの周辺ブロックから、ディスパリティベクトルが予測される。
【０１１７】
以下、一実施形態によるインターレイヤビデオ復号化装置２０において、ディスパリティベクトルを決定する方法は、図４ないし図７Ｂについての説明によって具体的に後述する。
【０１１８】
一方、空間的スケーラブルビデオコーディング方式によれば、第１レイヤ復号化部２２が、第２レイヤ映像と異なる解像度の第１レイヤ映像を復元した場合、第２レイヤ復号化部２６は、第１レイヤ復元映像を第２レイヤ原本映像と同一解像度にサイズ調節するために補間することができる。補間された第１レイヤ復元映像を、インターレイヤ予測のための第２レイヤ予測映像として決定する。
【０１１９】
従って、インターレイヤビデオ復号化装置２０の第１レイヤ復号化部２２は、第１レイヤストリームを復号化し、第１レイヤ映像シーケンスを復元し、第２レイヤ復号化部２６は、第２レイヤストリームを復号化し、第２レイヤ映像シーケンスを復元することができる。
【０１２０】
以下、インターレイヤ予測のためにディスパリティベクトルを決定するインターレイヤビデオ復号化装置２０の詳細な動作について、図２Ｂを参照して詳細に説明する。以下の説明において、第１レイヤ映像は、参照視点映像を意味し、第２レイヤ映像は、復号化される現在視点の映像を意味する。
【０１２１】
図２Ｂは、多様な実施形態によるインターレイヤビデオ復号化方法のフローチャートを図示している。
【０１２２】
段階２１において、一実施形態による第１レイヤ復号化部２２は、ビットストリームから獲得された第１レイヤのカラー映像及び深さ映像の符号化情報に基づいて、第１レイヤのカラー映像及び深さ映像を復元することができる。
【０１２３】
段階２３において、一実施形態によるディスパリティベクトル決定部２４は、第１レイヤの深さ映像から復号化される第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定することができる。このとき、現在ブロックに対応する第１レイヤの深さ映像ブロックを決定するために、ディスパリティベクトル決定部２４は、現在ブロックの周辺ブロックを利用して、ディスパリティベクトルが予測可能であるか否かということを決定し、予測可能であると決定されれば、周辺ブロックを利用して、ディスパリティベクトルを予測（または、誘導）することができる。かようなディスパリティベクトルは、第１レイヤの深さ映像ブロックを示すことができる。従って、ディスパリティベクトル決定部２４は、周辺ブロックから予測されたディスパリティベクトルを利用して、第１レイヤの深さ映像ブロックを決定することができる。例えば、ディスパリティベクトル決定部２４は、第２レイヤ現在ブロックの周辺ブロックからディスパリティベクトルを獲得し、周辺ブロックからディスパリティベクトルが獲得される場合、獲得されたディスパリティベクトルを利用して、現在ブロックのディスパリティベクトルを予測することができる。
【０１２４】
第２レイヤ現在ブロックの周辺ブロックから、ディスパリティベクトルを獲得する方法は、図４を参照して詳細に説明する。従って、ディスパリティベクトル決定部１４は、周辺ブロックからディスパリティベクトルが獲得される場合、ディスパリティベクトルが予測可能であると決定する。
【０１２５】
一方、ディスパリティベクトル決定部１４は、深さ基盤のディスパリティベクトルを利用して、第１レイヤの深さ映像ブロックを決定することができる。このとき、深さ基盤のディスパリティベクトルは、深さ値に基づいて予測（または、誘導）されたディスパリティベクトルを意味する。例えば、深さ基盤のディスパリティベクトルは、任意の深さ値に基づいて予測されたディスパリティベクトルでもある。具体的には、８ビットの深さ深度を有するとき、深さ値の範囲は、０−２５５の深さ値になるが、このとき、深さ値の中間値である１２８を利用して、現在ブロックに対応し、第１レイヤ映像の対応ブロックを示すディスパリティベクトルを予測（または、誘導）することができる。また、例えば、深さ基盤のディスパリティベクトルは、周辺ブロックからディスパリティベクトルを予測し、予測されたディスパリティベクトルが示す現在ブロックに対応する第１レイヤの深さ映像ブロックを決定し、決定された深さ映像ブロックの深さ値に基づいて予測（または、誘導）されたディスパリティベクトルを意味する。
【０１２６】
また、例えば、ディスパリティベクトル決定部１４は、ビュー合成予測を行う場合、第１レイヤの深さ映像の深さ値を利用して、新たなディスパリティベクトルを予測（または、誘導）するが、このとき、ディスパリティベクトル決定部１４は、第１レイヤに係わる深さ映像の深さ値を利用するために、第１レイヤに係わる深さ映像ブロックを決定することができる。
【０１２７】
一方、ディスパリティベクトル決定部２４は、第２レイヤ現在ブロックに対応する第２レイヤ深さ映像が、復号化端で利用可能である場合、前記ディスパリティベクトルが予測可能であると決定する。被写体の距離とディスパリティとは反比例するので、第２レイヤ現在ブロックに対応する深さ映像を利用して、各画素のディスパリティベクトルを予測することもできるからである。
【０１２８】
ただし、第１レイヤに係わる深さ映像の対応ブロックを決定するために、ディスパリティベクトルを決定する内容は、前述の内容に制限されるものではなく、多様な形態で予測（または、誘導）されたディスパリティベクトルを決定し、予測されたディスパリティベクトルを利用して、深さ映像ブロックを決定することができる。また、決定されたディスパリティベクトルを利用して、さらに新たなディスパリティベクトルを予測（または、誘導）し、新たなディスパリティベクトルを利用して、深さ映像の対応ブロックを決定することができる。すなわち、多様な形態のディスパリティベクトルを利用して、第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定することができる。また、第１レイヤに係わる深さ映像の対応ブロックを決定するために、ディスパリティベクトルを決定する過程は、インターレイヤビデオ符号化装置１０で符号化する過程において、ディスパリティベクトルを決定すれば、そのディスパリティベクトルに係わる情報を生成し、ビットストリームにディスパリティベクトルに係わる情報を含み、ディスパリティベクトル決定部２４は、ビットストリームからディスパリティベクトルに係わる情報を直接獲得し、獲得されたディスパリティに係わる情報を利用して、ディスパリティベクトルを決定することができる。
【０１２９】
他の例として、ディスパリティベクトル決定部２４は、第２レイヤ現在ブロックに対応する第２レイヤ深さ映像がすでに復元されて利用可能である場合、ディスパリティベクトルが予測可能であると決定する。
【０１３０】
段階２５において、一実施形態によるディスパリティベクトル決定部２４は、決定された第１レイヤの深さ映像ブロックに含まれた領域が第１レイヤの深さ映像の境界を外れるか否かということを決定する。
【０１３１】
段階２７において、一実施形態によるディスパリティベクトル決定部２４は、深さ映像ブロックに含まれた領域が、第１レイヤの深さ映像の境界を外れる場合、深さ映像ブロックにおいて、深さ映像の境界を外れた領域の深さ値を決定する。ディスパリティベクトル決定部２４は、深さ映像の境界を外れた領域の深さ値に対して、深さ対応ブロックの領域のうち境界を外れる領域の座標を、深さ対応ブロックの境界内の座標に対応するように制限することにより、深さ映像ブロックに含まれた境界の深さ値として決定する。例えば、ディスパリティベクトル決定部２４は、深さ映像の境界を外れた領域の深さ値に対して、深さ対応ブロックの領域のうち境界を外れる領域の座標を、深さ対応ブロックの境界内の座標に対応するように制限することにより、深さ映像の境界の深さ値として決定する。その結果、ディスパリティベクトル決定部１４は、深さ映像境界内の領域の深さ値のみを利用して、ディスパリティベクトルを決定することができる。
【０１３２】
一方、実際に具現する場合、深さ映像の外側領域は、境界ピクセルでパディングすることができる。すなわち、実際に具現する場合、深さ映像の外側領域の深さ値は、境界ピクセルの深さ値でもある。その場合には、深さ映像を外れる場合にも、外れる領域をそのまま参照することによって、深さ映像の外側領域の深さ値を決定することができる。
【０１３３】
一方、ディスパリティベクトル決定部２４は、現在ブロックの予測モードを決定することができる。例えば、符号化装置において、現在ブロックの予測モードに係わる情報をビットストリームに含め、ディスパリティベクトル決定部２４は、受信されたビットストリームに含まれた現在ブロックの予測モードに係わる情報を基に、予測モードを決定することができる。例えば、ディスパリティベクトル決定部２４は、現在ブロックの予測モードが併合（merge）モードであるということを示すビットストリームを受信する場合、現在ブロックの予測モードが併合モードであると決定する。
【０１３４】
また、ディスパリティベクトル決定部２４は、決定された現在ブロックの予測モードによって、深さ映像の境界を外れた領域の深さ値を決定することができる。例えば、ディスパリティベクトル決定部２４は、現在ブロックの予測モードが、ビュー合成予測によって予測するモードである場合、深さ映像の境界を外れた領域の深さ値を決定しない。深さ映像の境界を外れた領域の深さ値を決定しない場合、ディスパリティベクトル決定部２４は、外れた領域の深さ値は、活用されない。
【０１３５】
ディスパリティベクトル決定部２４は、現在ブロックの予測モードが、ビュー合成予測によって予測するモードではない他の予測モードである場合、深さ映像の境界を外れた領域の深さ値を決定することができる。ただし、ディスパリティベクトル決定部２４は、予測モードがビュー合成予測によって予測するモードであるか否かということによって、深さ映像の境界を外れた領域の深さ値を決定することに制限されるものではなく、多様な予測モードによって、深さ映像の境界を外れた領域の深さ値を決定したり決定しなかったりする。
【０１３６】
一方、ディスパリティベクトル決定部２４は、予測モードを決定し、もし特定予測モードについては、ブロックに含まれた領域が、第１レイヤの深さ映像の境界を外れるか否かということをを判断しないこともある。
【０１３７】
段階２８において、ディスパリティベクトル決定部２４は、決定された深さ映像の境界を外れた領域の深さ値に基づいて、現在ブロックに対する第１レイヤの対応ブロックを示すディスパリティベクトルを決定することができる。例えば、ディスパリティベクトル決定部２４は、決定された深さ映像の境界を外れた領域の深さ値に基づいて、深さ映像ブロック内の少なくとも１以上の各領域の全部または一部の深さ値のうち１つの代表深さ値を決定する。このとき、代表深さ値を決定するという意味は、ディスパリティベクトル決定部１４は、決定された深さ映像の境界を外れた領域の深さ値に基づいて、深さ映像ブロック内の少なくとも１以上の領域の深さ値のうち１つの代表深さ値を選択するという意味でもある。また、ディスパリティベクトル決定部２４は、決定された深さ映像の境界を外れた領域の深さ値に基づいて、深さ映像ブロック内の少なくとも１以上の領域の全部または一部の深さ値を利用して、代表深さ値を算出することができる。ディスパリティベクトル決定部２４は、決定された代表深さ値に基づいて、第１レイヤの対応ブロックを示すディスパリティベクトルを決定することができる。一方、ディスパリティベクトル決定部２４は、深さ映像ブロックの複数領域を選択し、選択された複数領域の深さ値を比較し、１つの代表深さ値を決定することができる。ディスパリティベクトル決定部２４は、複数領域の深さ値を比較し、最大深さ値を決定することができる。
【０１３８】
ディスパリティベクトル決定部２４は、かように決定された最大深さ値を換算し、ディスパリティベクトルを決定することができる。
【０１３９】
一方、ディスパリティベクトル決定部１４は、第２レイヤ現在ブロック位置を基準に、ディスパリティベクトルに対応する第１レイヤ深さ映像のコロケーテッド参照ブロックを決定し、決定された第１レイヤ深さ映像の参照ブロックにおいて、コーナーに位置する画素の深さ値を獲得することができる。そして、コーナー深さ値のうち最大値をディスパリティベクトルに換算し、第２レイヤ現在ブロックのディスパリティベクトルとして決定する。
【０１４０】
段階２９において、第２レイヤ符号化部２６は、決定されたディスパリティベクトルを直間接的に利用して、現在ブロックを復元する。
【０１４１】
ディスパリティベクトルを直接に利用する一例として、第２レイヤ復号化部２６は、決定されたディスパリティベクトルが示す第１レイヤの対応ブロックを参照し、現在ブロックを予測する。第２レイヤ復号化部２６は、現在ブロックに対して予測されたブロックを利用して、現在ブロックを復元することができる。すなわち、第２レイヤ復号化部２６は、ビットストリームから、含まれた現在ブロックに対して予測されたブロックのサンプル値と、実際映像の現在ブロックのサンプル値との差を示すレジデュ情報を獲得し、獲得されたレジデュ情報と、現在ブロックに対して予測されたブロックのサンプル値とを合成し、現在ブロックを復元することができる。
【０１４２】
具体的には、第２レイヤ復号化部２６は、決定されたディスパリティベクトルを利用して、第１レイヤの深さ映像ブロックを参照し、参照された第１レイヤ深さ映像ブロックを参照し、ビュー合成予測を行い、ビュー合成予測して第１レイヤ映像において合成された映像を参照し、合成された映像を参照し、現在ブロックを予測することができる。第２レイヤ復号化部２６は、現在ブロックに対して予測されたブロックを利用して、現在ブロックを符号化することができる。すなわち、第２レイヤ復号化部２６は、ビットストリームから、現在ブロックに対して予測されたブロックのサンプル値と、実際映像の現在ブロックのサンプル値との差を示すレジデュ情報を獲得し、獲得されたレジデュ情報と、現在ブロックに対して予測されたブロックのサンプル値とを合成し、現在ブロックを復元することができる。
【０１４３】
一方、間接的に、ディスパリティベクトルを利用する一例として、ディスパリティベクトルに対応するモーションパラメータ（motion  parameter）を持ってきて、予測に使用する場合を意味する。
【０１４４】
ビュー合成予測についての詳細な説明は、図７Ｂと係わって後述する。
【０１４５】
多様な実施形態によるインターレイヤビデオ復号化装置２０は、第１レイヤ復号化部２２、ディスパリティベクトル決定部２４及び第２レイヤ復号化部２６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、第１レイヤ復号化部２２、ディスパリティベクトル決定部２４及び第２レイヤ復号化部２６が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、インターレイヤビデオ復号化装置２０が全体的に作動することもできる。または、多様な実施形態によるインターレイヤビデオ復号化装置２０の外部プロセッサ（図示せず）の制御により、第１レイヤ復号化部２２、ディスパリティベクトル決定部２４及び第２レイヤ復号化部２６が制御される。
【０１４６】
多様な実施形態によるインターレイヤビデオ復号化装置２０は、第１レイヤ復号化部２２、ディスパリティベクトル決定部２４及び第２レイヤ復号化部２６の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。インターレイヤビデオ復号化装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【０１４７】
多様な実施形態によるインターレイヤビデオ復号化装置２０は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連繋して作動することにより、逆変換を含んだビデオ復号化動作を遂行することができる。多様な実施形態によるインターレイヤビデオ復号化装置２０の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、インターレイヤビデオ復号化装置２０、または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。
【０１４８】
図１Ａないし図２Ｂを参照すれば、インターレイヤビデオ符号化装置１０及びインターレイヤビデオ復号化装置２０は、現在ブロックに対応する第１レイヤの深さ映像ブロックに含まれた領域が、第１レイヤの深さ映像の境界を外れる場合、境界を外れた深さ映像ブロックの深さ値を決定し、具体的には、インターレイヤビデオ復号化装置２０は、境界を外れた深さ映像ブロックの深さ値を、第１レイヤの深さ映像の境界の深さ値として決定し、深さ値が決定された境界を外れた領域の深さ値に基づいて、深さ映像ブロックの深さ値を活用し、ディスパリティベクトルを決定することにより、符号化性能及び正確度を向上させることができるインターレイヤビデオ符号化方法及びインターレイヤビデオ復号化方法を提供することを特徴とする。
【０１４９】
以下、図３を参照し、多様な実施形態によるインターレイヤビデオ符号化装置１０において遂行されるインターレイヤ予測構造について詳細に説明する。
【０１５０】
図３は、一実施形態によるインターレイヤ予測構造を図示している。
【０１５１】
インターレイヤ符号化システム１６００は、基本レイヤ符号化端１６１０、向上レイヤ符号化端１６６０、及び基本レイヤ符号化端１６１０と向上レイヤ符号化端１６６０との間のインターレイヤ予測端１６５０から構成される。基本レイヤ符号化端１６１０及び向上レイヤ符号化端１６６０は、インターレイヤ符号化部１２に含まれてもよい。
【０１５２】
基本レイヤ符号化端１６１０は、基本レイヤ映像シーケンスを入力され、映像ごとに符号化する。向上レイヤ符号化端１６６０は、向上レイヤ映像シーケンスを入力され、映像ごとに符号化する。基本レイヤ符号化端１６１０と向上レイヤ符号化端１６６０との動作のうち重複動作は同時に後述する。
【０１５３】
ブロック分割部１６１８，１６６８を介して、入力映像（低解像度映像、高解像度映像）は、最大符号化単位、符号化単位、予測単位、変換単位などに分割される。ブロック分割部１６１８，１６６８から出力された符号化単位の符号化のために、符号化単位の予測単位別に、イントラ予測またはインター予測が行われる。予測スイッチ１６４８，１６９８は、予測単位の予測モードが、イントラ予測モードまたはインター予測モードであるかといういことにより、動き補償部１６４０，１６９０から出力された以前復元映像を参照し、インター予測が行われるか、またはイントラ予測部１６４５，１６９５から出力された現在入力映像内において、現在予測単位の隣接予測単位を利用して、イントラ予測が行われる。インター予測を介して、予測単位別にレジデュアル情報が生成される。
【０１５４】
符号化単位の予測単位別に、予測単位と周辺映像とのレジデュアル情報が、変換／量子化部１６２０，１６７０に入力される。変換／量子化部１６２０，１６７０は、符号化単位の変換単位を基に、変換単位別に変換及び量子化を行い、量子化された変換係数を出力することができる。
【０１５５】
スケーリング／逆変換部１６２５，１６７５は、さらに符号化単位の変換単位別に、量子化された変換係数に対してスケーリング及び逆変換を行い、空間領域のレジデュアル情報を生成することができる。予測スイッチ１６４８，１６９８によってインタモードで制御される場合、レジデュアル情報は、以前復元映像または隣接予測単位と合成されることにより、現在予測単位を含む復元映像が生成され、現在復元映像は、ストレージ１６３０，１６８０に保存される。現在復元映像は、さらに次に符号化される予測単位の予測モードによって、イントラ予測部１６４５，１６９５／動き補償部１６４０，１６９０に伝達される。
【０１５６】
特に、インタモードの場合、インループ・フィルタリング（in-loop  filtering）部１６３５，１６８５は、ストレージ１６３０，１６８０に保存された復元映像に対して、符号化単位別に、デブロッキング・フィルタリング及びＳＡＯ（sample  adaptive  offset）フィルタリングのうち少なくとも１つのフィルタリングを行うことができる。符号化単位、符号化単位に含まれた予測単位、及び変換単位のうち少なくともいずれか一つに対してデブロッキング・フィルタリング及びＳＡＯフィルタリングのうち少なくとも１つのフィルタリングが行われる。
【０１５７】
デブロッキング・フィルタリングは、データ単位のブロッキング現象を緩和させるためのフィルタリングであり、ＳＡＯフィルタリングは、データ符号化及びデータ復号化によって変形されるピクセル値を補償するためのフィルタリングである。インループ・フィルタリング部１６３５，１６８５によってフィルタリングされたデータは、予測単位別に、動き補償部１６４０，１６９０に伝達される。また、ブロック分割部１６１８，１６６８から出力された、次の順序の符号化単位の符号化のために、動き補償部１６４０，１６９０及びブロック分割部１６１８，１６６８が出力した現在復元映像と次の符号化単位とのレジデュアル情報が生成される。
【０１５８】
かように、入力映像の符号化単位ごとに、前述の符号化動作が反復される。
【０１５９】
また、インターレイヤ予測のために、向上レイヤ符号化端１６６０は、基本レイヤ符号化端１６１０のストレージ１６３０に保存された復元映像を参照することができる。基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、基本レイヤ符号化端１６１０のストレージ１６３０を制御し、基本レイヤ符号化端１６１０の復元映像を向上レイヤ符号化端１６６０に伝達することができる。インターレイヤ予測端１６５０では、インターレイヤ・フィルタリング部１６５５が、基本レイヤ符号化端１６１０のストレージ１６１０から出力された基本レイヤ復元映像に対して、デブロッキング・フィルタリングまたはＳＡＯフィルタリングを行うことができる。インターレイヤ予測端１６５０は、基本レイヤと向上レイヤとの映像間で解像度が異なる場合、基本レイヤの復元映像をアップサンプリングし、向上レイヤ符号化端１６６０に伝達することができる。向上レイヤ符号化端１６６０のスイッチ１６９８の制御によって、インターレイヤ予測が行われる場合には、インターレイヤ予測端１６５０を介して伝達された基本レイヤ復元映像を参照し、向上レイヤ映像のインターレイヤ予測が行われる。
【０１６０】
映像の符号化のために、符号化単位、予測単位、変換単位のための各種符号化モードを設定することができる。例えば、符号化単位についての符号化モードとして、深度または分割情報（split  flag）などが設定される。予測単位についての符号化モードとして、予測モード、パーティションタイプ、イントラ方向情報、参照リスト情報などが設定される。変換単位についての符号化モードとして、変換深度または分割情報などが設定される。
【０１６１】
基本レイヤ符号化端１６１０は、符号化単位のための多様な深度、予測単位についての多様な予測モード、多様なパーティションタイプ、多様なイントラ方向、多様な参照リスト、変換単位のための多様な変換深度をそれぞれ適用して符号化を行った結果により、符号化効率が最も高い符号化深度、予測モード、パーティションタイプ、イントラ方向／参照リスト、変換深度などを決定することができる。基本レイヤ符号化端１６１０で決定される前記列挙された符号化モードに限定されるものではない。
【０１６２】
基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、それぞれ構成要素の動作に、多様な符号化モードが適切に適用されるように制御することができる。また、符号化コントロール部１６１５は、向上レイヤ符号化端１６６０のインターレイヤ符号化のために、向上レイヤ符号化端１６６０が、基本レイヤ符号化端１６１０の符号化結果を参照し、符号化モードまたはレジデュアル情報を決定するように制御することができる。
【０１６３】
例えば、向上レイヤ符号化端１６６０は、基本レイヤ符号化端１６１０の符号化モードを、向上レイヤ映像のための符号化モードとしてそのまま利用するか、基本レイヤ符号化端１６１０の符号化モードを参照し、向上レイヤ映像のための符号化モードを決定することができる。基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、基本レイヤ符号化端１６１０の向上レイヤ符号化端１６６０の符号化コントロール部１６６５の制御信号を制御し、向上レイヤ符号化端１６６０が現在符号化モードを決定するために、基本レイヤ符号化端１６１０の符号化モードから現在符号化モードを利用することができる。
【０１６４】
図３で図示されたインターレイヤ予測方式によるインターレイヤ符号化システム１６００と類似してインターレイヤ予測方式によるインターレイヤ復号化システムも、具現される。すなわち、マルチレイヤビデオのインターレイヤ復号化システムは、基本レイヤビットストリーム及び向上レイヤビットストリームを受信することができる。インターレイヤ復号化システムの基本レイヤ復号化端で、基本レイヤビットストリームを復号化し、基本レイヤ映像を復元することができる。マルチレイヤビデオのインターレイヤ復号化システムの向上レイヤ復号化端では、基本レイヤ復元映像と、パージングした符号化情報とを利用して、向上レイヤビットストリームを復号化し、向上レイヤ映像を復元することができる。
【０１６５】
多様な実施形態によるインターレイヤビデオ符号化装置１０において、インターレイヤ予測を行うならば、インターレイヤビデオ復号化装置２０において、前述のインターレイヤ復号化システムによってマルチレイヤ映像を復元することができる。
【０１６６】
以下、図４Ａないし図７Ｂを参照し、インターレイヤビデオ符号化装置１０及びインターレイヤビデオ復号化装置２０が、多視点ビデオに対してインターレイヤ予測構造を適用する実施形態について詳細に説明する。多視点ビデオのインタビュー予測構造において個別視点ビデオは、それぞれ１つのレイヤに割り当てられるので、インタビュー予測構造も、インターレイヤ予測構造と解釈される。
【０１６７】
以下、図４Ａないし図７Ｂを参照し、多様な実施形態によって、参照レイヤ深さ映像を利用してディスパリティベクトルを決定するインターレイヤビデオ符号化技法、インターレイヤビデオ復号化技法を提案する。
【０１６８】
図４Ａは、一実施形態による、インター予測モードで利用される空間的予測候補を示す。図４Ａを参照すれば、インターレイヤ復号化装置２０は、現在ピクチャ３０において、現在ブロック３１の予測情報を決定するために参照する候補ブロックは、現在ブロック３１に空間的に隣接する予測単位でもある。例えば、現在ブロック３１の左側下端サンプルの左側下端外部に位置する周辺ブロックＡ０  ３２、現在ブロック３１の左側下端サンプルの左側外部に位置する周辺ブロックＡ１  ３３、現在ブロック３１の右側上端サンプルの右側上端外部に位置する周辺ブロックＢ０  ３４、現在ブロック３１の右側上端サンプルの上端外部に隣接する周辺ブロックＢ１  ３５、現在ブロック３１の左側上端サンプルの左側上端外部に位置する周辺ブロックＢ２  ３６が候補ブロックになる。候補ブロックになるブロックを決定するために、周辺ブロックＡ１  ３３、Ｂ１  ３５、Ｂ０  ３４、Ａ０  ３２、Ｂ２  ３６の順序で、所定位置の周辺ブロック３２，３３，３４，３５，３６が探索される。
【０１６９】
例えば、周辺ブロックＡ１  ３３、Ｂ１  ３５、Ｂ０  ３４、Ａ０  ３２、Ｂ２  ３６のうち４個の周辺ブロックが、空間的候補ブロックに選択される。すなわち、４個の空間的候補ブロックの動き情報が、インター予測のための候補リストに含まれてもよい。
【０１７０】
インターレイヤ復号化装置２０は、ブロックＡ１  ３３、Ｂ１  ３５、Ｂ０  ３４、Ａ０  ３２、Ｂ２  ３６のうち動き情報を有するブロック、すなわち、インター予測されたブロックのみをインター予測のための予測候補に含め、動き情報を有さないブロックは、予測候補から除外することができる。また、インターレイヤ復号化装置２０は、重複動き情報を有するブロックは、インター予測のための予測候補から除外することができる。
【０１７１】
空間的予測候補に含まれる周辺ブロックの位置及び個数は、前記例に限定されずに変更される。一方、空間的予測候補決定に利用されるブロックは、符号化単位または予測単位でもある。
【０１７２】
図４Ｂは、一実施形態によるインター予測モードで利用される時間的予測候補を示す。図４Ｂを参照すれば、インターレイヤビデオ復号化装置２０は、現在ピクチャ４０に含まれた現在ブロック４１のインター予測のために、参照ピクチャ４３に含まれ、現在ブロック４１、コロケーテッドブロック４４、及び前記コロケーテッドブロック４４周辺のブロックのうち少なくとも一つが時間的予測候補に含まれてもよい。例えば、コロケーテッドブロック４４の右側下端ブロック４５が時間的予測候補に含まれてもよい。一方、時間的予測候補決定に利用されるブロックは、符号化単位または予測単位でもある。
【０１７３】
以下、図５ないし図７、及び表１の擬似コード（pseudo  code）を参照し、一実施形態によるインターレイヤビデオ復号化装置２０が、現在ブロックに対応する深さ映像ブロックが、第１レイヤの深さ映像を外れるか否かということを決定し、深さ映像を外れる深さ映像ブロックの領域の深さ値を変更し、変更された深さ値からディスパリティベクトルを決定する方法及びその装置について説明する。
【０１７４】
図５は、一実施形態による、深さ基盤のディスパリティベクトルを決定するフローチャートを図示している。
【０１７５】
段階５１において、一実施形態によるインターレイヤビデオ復号化装置２０は、第２レイヤ映像の現在ブロックに対応する第１レイヤの深さ映像ブロックを決定する
このとき、インターレイヤビデオ復号化装置２０は、現在ブロックに対応する第１レイヤの深さ映像ブロックを示すディスパリティベクトルに係わる情報をビットストリームから獲得し、獲得されたディスパリティベクトルに係わる情報を利用して、ディスパリティベクトルを獲得することができる。または、インターレイヤビデオ復号化装置２０は、ディスパリティベクトルを、周辺ブロックから獲得することができる。また、インターレイヤビデオ復号化装置２０は、深さ基盤のディスパリティベクトルを獲得することができる。
【０１７６】
インターレイヤビデオ復号化装置２０は、獲得されたディスパリティベクトルを利用して、現在ブロックに対応する第１レイヤの深さ映像ブロックを決定することができる。
【０１７７】
段階５２において、インターレイヤビデオ復号化装置２０は、第１レイヤの深さ映像ブロックに含まれた領域が、第１レイヤの深さ映像の境界を外れるか否かということを決定することができる。
【０１７８】
段階５３において、もし第１レイヤの深さ映像ブロックに含まれた領域が境界を外れないのであるならば、インターレイヤビデオ復号化装置２０は、段階５４において、現在深さ映像ブロックの深さ値に基づいて、現在ブロックに対する第１レイヤ映像の対応ブロックを示すディスパリティベクトルを決定することができる。
【０１７９】
段階５３において、もし第１レイヤの深さ映像ブロックに含まれた領域が境界を外れる場合、インターレイヤビデオ復号化装置２０は、段階５５において、深さ映像ブロックのうち深さ映像の境界を外れた領域の深さ値を決定することができる。特に、インターレイヤビデオ復号化装置２０は、深さ映像ブロックのうち深さ映像の境界を外れていない領域の深さ値は変更せず、深さ映像ブロックにおいて深さ映像の境界を外れた領域の深さ値のみを決定することができる。
【０１８０】
段階５６において、インターレイヤビデオ復号化装置２０は、決定された境界を外れた領域の深さ値に基づいて、現在ブロックに対する第１レイヤ映像の対応ブロックを示すディスパリティベクトルを決定することができる。決定されたディスパリティベクトルは、深さ値に基づいて決定されたディスパリティベクトルである深さ基盤のディスパリティベクトルである。かように獲得されたディスパリティベクトルは、多様なインターレイヤ予測を行うために利用される。例えば、インターレイヤビデオ復号化装置２０がビュー合成予測を行う場合、ビュー合成予測するためには、現在ブロックに対応するディスパリティベクトルを決定しなければならないが、このとき、前記決定されたディスパリティベクトルを、現在ブロックに対応するディスパリティベクトルとして決定する。
【０１８１】
図６Ａないし図６Ｃは、深さ基盤のディスパリティベクトルを決定する過程について説明するための図面である。
【０１８２】
図６Ａは、深さ基盤のディスパリティベクトルを決定する過程について説明するための図面である。図６Ａを参照すれば、インターレイヤビデオ復号化装置２０は、深さ基盤のディスパリティベクトルを次のように決定する。ここで、第１レイヤのカラー映像及び深さ映像は、符号化された後で復元された状態であり、インターレイヤビデオ復号化装置２０は、復元された第１レイヤ映像を参照し、第２レイヤに含まれた現在ブロックを復号化すると仮定する。
【０１８３】
インターレイヤビデオ復号化装置２０は、現在ブロックに対応する第１レイヤの深さ映像ブロックを決定する。このとき、インターレイヤビデオ復号化装置２０は、第１レイヤ映像を示すディスパリティベクトルを利用して、現在ブロックに対応する第１レイヤの深さ映像ブロック６０を決定することができる。
【０１８４】
インターレイヤビデオ復号化装置２０は、第１レイヤの深さ映像ブロック６０が決定されれば、深さ映像ブロック６０で代表する深さ値を決定することができる。具体的には、インターレイヤビデオ復号化装置２０は、深さ映像ブロック６０のコーナーに位置した４つの深さ値を獲得し、獲得された深さ値を比較して最大値を、代表する深さ値として決定する。
【０１８５】
インターレイヤビデオ復号化装置２０は、代表する深さ値を、ディスパリティベクトル（final  disparity  vector）に変換することができる。
【０１８６】
かように変換されたディスパリティベクトルは、深さ値に基づいて決定されたベクトルであり、深さ基盤のディスパリティベクトルであるといえる。深さ基盤のディスパリティベクトルは、一般的なディスパリティベクトルに比べて正確性が向上し、それを利用して、さらに現在ブロックに近い参照レイヤの対応ブロックを決定することができ、それを利用して予測すれば、さらに符号化効率を向上させることができる。
【０１８７】
一方、インターレイヤビデオ復号化装置２０は、それに制限されるものではなく、決定されたディスパリティベクトルを利用して、前述の過程を反復し、ディスパリティベクトルをさらに決定する。
【０１８８】
また、インターレイヤビデオ復号化装置２０は、ビュー合成予測を行う過程において、初期ディスパリティベクトルを利用して、サブブロックのディスパリティベクトルを決定し、それを利用して、現在ブロックを予測符号化するが、該過程については、図７Ｂを参照して詳細に説明する。
【０１８９】
図６Ｂは、深さ基盤のディスパリティベクトルを決定するときに活用する深さ映像ブロックを決定する過程について説明するための図面である。
【０１９０】
図６Ａを参照して説明した通り、第２レイヤの現在ブロックに対応する深さ映像ブロックを決定し、決定された深さ映像ブロックの深さ値を活用し、現在ブロックに対応するディスパリティベクトルを決定する。
【０１９１】
図６Ｂを参照すれば、深さ映像ブロックに含まれた領域が、現在深さ映像を外れる場合が発生する。ブロック６２，６４の一部は、第１レイヤの深さ映像を外れており、ブロック６１，６３は、第１レイヤの深さ映像を外れている。その場合、インターレイヤビデオ復号化装置２０は、深さ映像ブロックにおいて、第１レイヤの深さ映像の境界を外れた領域が発生し、境界を外れた領域の深さ値は、活用することができなかったり、所望しない深さ値を有したりしており、深さ値を活用しても、正しいディスパリティベクトルを決定（または、誘導）することができない。
【０１９２】
従って、インターレイヤビデオ復号化装置２０は、深さ映像ブロックの位置を調整し、深さ映像ブロックを第１レイヤの深さ映像内に位置させる。例えば、インターレイヤビデオ復号化装置２０は、左右側に境界を外れた深さ映像ブロックに含まれた領域の位置を、水平方向に調整し、第１レイヤの深さ映像の境界内側に位置させる。
【０１９３】
その場合、インターレイヤビデオ復号化装置２０は、実際のディスパリティに対応しない他の位置の深さ値を活用するために、変更された位置の深さ映像ブロックの深さ値を活用し、ディスパリティベクトルを決定すれば、正確度が低下する。
【０１９４】
図６Ｃは、本発明の一実施形態による深さ基盤のディスパリティベクトルを決定するときに活用する深さ映像ブロックを決定する過程について説明するための図面である。図６Ｃを参照すれば、深さ映像ブロックに含まれた領域が、現在深さ映像を外れる場合が発生する。ブロック６６，６８の一部は、第１レイヤの深さ映像を外れており、ブロック６５，６７は、第１レイヤの深さ映像を外れている。その場合、インターレイヤビデオ復号化装置２０は、深さ映像ブロックにおいて、第１レイヤの深さ映像の境界を外れた領域が発生し、境界を外れた領域の深さ値は、活用することができないか、願わない深さ値を有しており、深さ値を活用しても、正しいディスパリティベクトルを決定（または、誘導）できない。
【０１９５】
その場合、インターレイヤビデオ復号化装置２０は、実際のディスパリティに対応しない他の位置の深さ値を活用するために、変更された位置の深さ映像ブロックの深さ値を活用し、ディスパリティベクトルを決定すれば、正確度が低下する。
【０１９６】
従って、本発明の一実施形態によるインターレイヤビデオ復号化装置２０は、深さ対応ブロックの領域のうち、境界を外れる領域の座標を、深さ対応ブロックの境界内の座標に対応するように制限することにより、第１レイヤの深さ映像内の深さ値のみを参照することができる。例えば、インターレイヤビデオ復号化装置２０は、左右側に境界を外れるか、境界を外れた深さ映像ブロックの領域部分に対して、深さ対応ブロックの領域のうち境界を外れる領域の座標を、深さ対応ブロックの境界内の座標に対応するように制限することによってクリッピング（clipping）される結果を発生させ、第１レイヤの深さ映像内の深さ値のみを参照することを可能にする。
【０１９７】
一方、実際に具現する場合、深さ映像の外側領域は、境界ピクセルでパディングすることができる。すなわち、実際に具現する場合、深さ映像の外側領域の深さ値は、境界ピクセルの深さ値でもある。その場合には、深さ映像を外れる場合にも、外れる領域をそのまま参照することにより、深さ映像の外側領域の深さ値を決定することができる。
【０１９８】
境界を外れる領域の座標をそれぞれ水平垂直に移動する場合に出合う境界の座標でもって決定する。もし境界を外れる領域のうち水平垂直に移動する場合に境界を外れる領域の座標は、境界を外れる領域を水平垂直に移動する場合に出合う境界の座標に対応するように決定する。または、境界を外れる領域のうち、水平または垂直に移動する場合、境界を外れる領域の座標は、領域において最も近くの境界の座標に対応するように決定する。ただし、インターレイヤビデオ復号化装置２０は、境界を外れる領域のうち、水平または垂直に移動する場合に制限されるものではなく、多様な方向に移動する場合に出会う境界の座標に対応するように、境界を外れる領域の座標を決定することができる。
【０１９９】
また、インターレイヤビデオ復号化装置２０は、それに制限されるものではなく、深さ映像ブロックにおいて、第１レイヤの深さ映像の境界を外れる領域の深さ値を、任意の深さ映像の深さ値として決定する。例えば、インターレイヤビデオ復号化装置２０は、深さ映像ブロックにおいて、第１レイヤの境界を外れる部分の深さ値を、深さ値が８ビットで表現される場合、中間値である１２８として決定する。
【０２００】
図６Ｃを参照すれば、インターレイヤビデオ復号化装置２０は、境界を外れたブロック６５，６７は、境界を外れる領域を水平に移動させて出合う境界の座標に対応するように、ブロック６５，６７に含まれた境界を外れた領域の座標を決定することができる。結果として、インターレイヤビデオ復号化装置２０は、ブロック６５，６７の境界内の深さ値を参照することができる。
【０２０１】
本発明の一実施形態によるディスパリティベクトルを決定する方法は、次のような表１の擬似コードによって、インターレイヤビデオ復号化装置２０上で実行される。
【０２０２】
【表１】
2016526853.tif 000004
現在ブロック６１の位置（ｘＰ，ｙＰ）、ディスパリティベクトル（ｍｖＤｉｓｐ）及び参照ビューインデックス（ｒｅｆＶｉｅｗｉｅｗＩｄｘ）を利用して、（ｎＣｂＷ）ｘ（ｎＣｂＨ）サイズに換算されたディスパリティベクトル値「ｄｉｓｐａｒｉｔｙＳａｍｐｌｅｓ［］［］」が決定される。ここで、ｎＣｂＷ及びｎＣｂＨは、現在ブロック（）の符号化単位の大きさを意味する。サブブロックの大きさは、現在ブロックの大きさと同一であるか、あるいはそれより小さい。
【０２０３】
まず、表１を参照すれば、第１レイヤのルマブロック、または同値の深さ映像ブロックを示すディスパリティベクトルを利用して、深さ映像（または、同値のルマ映像）のブロックの位置（ｘＴＬ，ｙＴＬ）を決定することができる。ｘＴＬは、現在ブロックのｘ座標上位置（ｘＰ）と、ディスパリティベクトルのｘ成分ｍｖＤｉｓｐ［０］とを利用して算出される。ｙＴＬは、現在ブロックのｙ座標上位置（ｙＰ）と、ディスパリティベクトルのｙ成分ｍｖＤｉｓｐ［１］とを利用して算出される。
【０２０４】
表１を参照すれば、インターレイヤ復号化装置２０は、最大深さ値（ｍａｘＤｅｐ）を決定するために、次のような過程を遂行することができる。現在ブロックに含まれたサブブロックの位置は、サブブロックの高さまたは幅（ｎＳｕｂＢｌｋＨ，ｎＳｕｂＢｌｋＷ）、及び現在ブロックの左側上端を基準に、サブブロックのインデックス（ｓＢｘ，ｓＢｙ）を利用して算出される。
【０２０５】
このとき、深さ値を活用するための２つのｘ座標（ｘｐ０，ｘｐ１）、及び２つのｙ座標（ｙｐ０，ｙｐ１）が算出される。
【０２０６】
まず、サブブロック内の深さ値を活用する左側ｘ座標（ｘＰ０）は、Ｃｌｉｐ３（）関数を介して算出される。Ｃｌｉｐ３（ｘ，ｙ，ｚ）関数は、ｘとｙとの間の範囲内の値が入力されれば、そのままその値が出力され、ｘとｙとの間の範囲を外れる場合、ｘより小さい値は、ｘとして出力され，ｙより大きい値は、ｙとして出力される関数である。まず、ブロック内の深さ値を活用する左側ｘ座標（ｘＰ０）は、サブブロックの最も左側に位置する画素のｘ座標（ｘＴＬ＋ｓＢｘ＊ｎＳｕｂＢｌｋＷ）が０と、ルマ（または、対応する深さ）映像の幅（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１範囲内の値とが入力されれば、そのままその値になり、０と、ルマ映像の幅範囲内の値とが入力されず、０より小さい値が入力される場合に０になり、（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１より大きい場合には、（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１値になる。
【０２０７】
サブブロック内の深さ値を活用する上側ｙ座標（ｙＰ１）は、Ｃｌｉｐ３（）関数を介して算出される。サブブロックの最も上端に位置する画素のｙ座標（ｙＴＬ＋ｓＢｙ＊ｎＳｕｂＢｌｋＨ）が、０と、ルマ（または、対応する深さ）映像の高さ（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１範囲内の値とが入力されれば、そのままその値になり、０と、ルマ映像の高さ範囲内の値とが入力されず、０より小さい値が入力される場合、０になり、（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１より大きい場合には、（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１値になる。
【０２０８】
サブブロック内の深さ値を活用する右側ｘ座標（ｘＰ１）は、Ｃｌｉｐ３（）関数を介して算出される。サブブロックの最も右側に位置する画素のｘ座標（ｘＴＬ＋ｓＢｘ＊ｎＳｕｂＢｌｋＷ＋ｎＳｕｂＢｌｋＷ１）が０と、ルマ（または、対応する深さ）映像の幅（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１範囲内の値とが入力されれば、そのままその値になり、０と、ルマ映像の幅範囲内の値とが入力されず、０より小さい値が入力される場合、０になり、（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１より大きい場合には、（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１値になる。
【０２０９】
サブブロック内の深さ値を活用する下端ｙ座標（ｙＰ２）は、Ｃｌｉｐ３（）関数を介して算出される。サブブロックの最も下端に位置する画素のｙ座標（ｙＴＬ＋ｓＢｙ＊ｎＳｕｂＢｌｋＨ＋ｎＳｕｂＢｌｉｋＨ−１）が０と、ルマ（または、対応する深さ）映像の高さ（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１範囲内の値とが入力されれば、そのままその値になり、０と、ルマ映像の高く範囲内の値とが入力されず、０より小さい値が入力される場合、０になり、（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１より大きい場合には、（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）−１値になる。
【０２１０】
最大深さ値（ｍａｘＤｅｐ）は、次のように決定される。最大深さ値（ｍａｘＤｅｐ）を求めるために、Ｍａｘ（）関数が利用される。Ｍａｘ（ｘ，ｙ）は、ｘ，ｙ値のうち大きい値を出力にする関数である。
【０２１１】
インターレイヤビデオ復号化装置２０は、現在最大の深さ値（ｍａｘＤｅｐ）と、現在サブブロックの左側上端に位置する画素（ｘｐ０，ｙｐ０）の深さ値（ｒｅｆＤｅｐＰｅｌｓ［ｘｐ０］［ｙｐ０］）とを比較し、最大深さ値（ｍａｘＤｅｐ）を決定することができる。同様に、現在クリッピングされたサブブロックの左側下端に位置する画素（ｘｐ０，ｙｐ１）、現在クリッピングされたサブブロックの右側上端に位置する画素（ｘｐ１，ｙｐ０）、現在クリッピングされたサブブロックの右側下端に位置する画素（ｘｐ１，ｙｐ１）についても、現在最大の深さ値（ｍａｘＤｅｐ）と比較する過程を経て、最大深さ値（ｍａｘＤｅｐ）が算出される。
【０２１２】
その後、サブブロックの大きさ（（ｎＳｕｂＢｌｋＷ）ｘ（ｎＳｕｂＢｌｋＨ））に換算されたディスパリティサンプル「ｄｉｓｐａｒｉｔｙＳａｍｐｌｅｓ［］［］」が決定される。すなわち、インターレイヤビデオ復号化装置２０は、現在ブロックに含まれた各画素に係わるディスパリティベクトル値を算出することができる。参照ビューのインデックス（ｒｅｆＶｉｅｗＩｄｘ）及び最大深さ値（ｍａｘＤｅｐ）に対応するディスパリティベクトル値（ＤｅｐｔｈＴｏＤｉｓｐａｒｉｔｙＢ［ｒｅｆＶｉｅｗＩｄｘ］［ｍａｘＤｅｐ］）を算出し、サブブロック内（ｘ，ｙ）に位置する画素のディスパリティサンプル値（ｄｉｓｐａｒｉｔｙＳａｍｐｌｅ［ｘ］［ｙ］）とすることができる。
【０２１３】
同様に、前述のような方式により、現在ブロックに含まれた残りのサブブロックについても、ディスパリティサンプルが算出される。従って、現在ブロックの大きさ（（ｎＣｂＷ）ｘ（ｎＣｂＨ））に換算されたディスパリティベクトル値「ｄｉｓｐａｒｉｔｙＳａｍｐｌｅｓ［］［］」が決定される。
【０２１４】
インターレイヤビデオ復号化装置２０は、換算されたディスパリティベクトルの水平成分値と、ディスパリティベクトル（ｍｖＤｉｓｐ）の垂直成分値とを利用して、現在ブロック６１のディスパリティベクトル（ｍｖＲｅｆｉｎｅｄＤｉｓｐ）を決定することができる。例えば、決定されたディスパリティベクトル（ｍｖＲｅｆｉｎｅｄＤｉｓｐ）は、（ｄｉｓｐａｒｉｔｙＳａｍｐｌｅｓ［０］［０］、ｍｖＤｉｓｐ［１］）と示される。ここで、ディスパリティベクトルの垂直成分値である「ｍｖＤｉｓｐ［１］」は、０でもある。
【０２１５】
図７Ａ及び図７Ｂは、本発明の一実施形態による、深さ基盤のディスパリティベクトルを決定する具体的な過程について説明するための図面である。
【０２１６】
図７Ａは、本発明の一実施形態による、深さ基盤のディスパリティベクトルを決定する具体的な過程について説明するための図面である。図７Ａを参照すれば、インターレイヤビデオ復号化装置２０は、第２レイヤの現在ブロックに対応する第１レイヤの深さ映像ブロックを決定するために、第１レイヤの深さ映像ブロックを示すディスパリティベクトルを決定（または、誘導）することができる。インターレイヤビデオ復号化装置２０は、ビットストリームから、ディスパリティに係わる情報を獲得し、獲得されたディスパリティに係わる情報を利用して、ディスパリティベクトルを決定することができる。また、インターレイヤビデオ復号化装置２０は、周辺ブロックから、ディスパリティベクトルを誘導（または、決定）することができる。また、インターレイヤビデオ復号化装置２０は、深さ基盤ディスパリティベクトルを決定することができる。
【０２１７】
インターレイヤビデオ復号化装置２０は、決定されたディスパリティベクトルを利用して、第１レイヤの深さ映像ブロックを決定することができる。このとき、決定された第１レイヤの深さ映像ブロックに含まれた領域が、第１レイヤの深さ映像の境界を外れると仮定する。もしインターレイヤビデオ復号化装置２０が、深さ映像ブロックの深さ値を変更せずにそのまま使用する場合には、４コーナーの深さ値を活用する場合、境界外側コーナーの２つの深さ値７１を活用するが、該値は、境界外に位置するために、活用することができないか、あるいは所望しない深さ値を有する。従って、４コーナーの深さ値のうち２つのコーナーに位置する画素の深さ値のみを活用し、最大の深さ値を決定し、決定された深さ値を変換し、ディスパリティベクトル（final  disparity  vector）を決定するために、ディスパリティベクトルの正確性が低下する。
【０２１８】
一方、本発明の一実施形態によるインターレイヤビデオ復号化装置２０は、深さ映像ブロックに含まれた領域が、深さ映像の境界を外れる場合、深さ映像の外側に位置する画素の座標に対して、深さ映像の外側に位置する画素をそれぞれ水平に移動させて出合おう第１レイヤの深さ映像の境界に位置した画素の座標に対応するように決定することにより、深さ映像内の深さ値のみを参照することができる。まさに、深さ映像の境界の外側に位置した画素の深さ値に対して座標を変更することにより、深さ映像内の深さ値として決定する。
【０２１９】
インターレイヤビデオ復号化装置２０は、決定された深さ値を活用し、ディスパリティベクトルを決定することができる。インターレイヤビデオ復号化装置２０は、深さ映像ブロックの４コーナーの深さ値を活用する場合、インターレイヤビデオ復号化装置２０は、深さ映像ブロックの４コーナーの深さ値を活用することができる。すなわち、インターレイヤビデオ復号化装置２０は、２つのコーナーの深さ値７２と、２つのコーナーの深さ値７３とをいずれも活用することができる。
【０２２０】
インターレイヤビデオ復号化装置２０の４コーナーの深さ値のうち、最大深さ値を決定することができる。このとき、インターレイヤビデオ復号化装置２０は、最大深さ値を、第１レイヤ映像の対応ブロックを示すディスパリティベクトルに変換することができる。従って、インターレイヤビデオ復号化装置２０は、さらに正確なディスパリティベクトルを決定することができる。
【０２２１】
図７Ｂは、本発明の一実施形態による、現在ブロックに対するビュー合成予測を行うとき、サブブロックについての深さ基盤のディスパリティベクトルを決定する具体的な過程について説明するための図面である。
【０２２２】
ビュー合成予測方法とは、インターレイヤ予測で使用する予測方法のうち一つであり、現在ブロックを多くのサブブロックに分け、分けたそれぞれのサブブロックに係わるディスパリティベクトルを深さ値から決定し、それぞれのサブブロックのディスパリティベクトルが示す第１レイヤのサブブロックを参照し、インターレイヤ予測を行う方法を意味する。このとき、ディスパリティベクトルを利用して、現在ブロックに対応する第１レイヤの映像の対応ブロックを決定するのではなく、初期ディスパリティベクトルを利用して、現在ブロックのサブブロックに対応する第１レイヤ映像の対応ブロックを決定し、現在ブロックの立場では、第１レイヤの領域のサブブロックを組み合わせて合成された映像を参照し、現在ブロックを予測するために、ビュー合成予測という。このとき、各サブブロックのディスパリティベクトルは、深さ値から決定されるために、本発明の一実施形態による深さ基盤のディスパリティベクトルを決定する方法を利用して、ディスパリティベクトルを決定することができる。このとき、現在ブロックは、予測単位でもあるが、必ずしもそれに制限されるものではなく、現在ブロックは、符号化単位でもある。このとき、符号化単位のサブブロックは、予測単位になる。
【０２２３】
ただし、ビュー合成予測するとき、サブブロックに分けられる実施形態に制限されるものではなく、ビュー合成予測方法は、いくつかのサブブロックに分けず、現在ブロックのような大きさのサブブロックを利用して、サブブロックの深さ基盤のディスパリティベクトルを決定し、決定されたディスパリティベクトルが示す第１レイヤ映像の対応ブロックを参照し、現在ブロックを予測することができる。
【０２２４】
図７Ｂを参照すれば、インターレイヤビデオ復号化装置２０は、ビュー合成予測（view  synthsis  prediction）を行って現在ブロックを予測する場合、第２レイヤの現在ブロックに対応する第１レイヤの深さ映像ブロックを決定するために、第１レイヤの深さ映像ブロックを示す初期ディスパリティベクトルを決定（または、誘導）することができる。
【０２２５】
インターレイヤビデオ復号化装置２０は、決定された初期ディスパリティベクトルを利用して、現在ブロックに対応する第１レイヤの深さ映像ブロックを決定することができる。このとき、決定された第１レイヤの深さ映像ブロックに含まれた領域は、第１レイヤの深さ映像の境界を外れると仮定する。もしインターレイヤビデオ復号化装置２０が、深さ映像ブロックの深さ値を変更せずにそのまま使用する場合には、左側上端のサブブロック７４、及び右側上端のサブブロック７５において、それぞれ４コーナーの深さ値を活用する場合、境界外側の２つのコーナーの深さ値を活用するが、該値は、境界外に位置するために活用することができないか、あるいは所望しない深さ値を有する。従って、４コーナーの深さ値のうち２つのコーナーに位置する画素の深さ値のみを活用し、最大の深さ値を決定し、決定された深さ値を変換し、ディスパリティベクトル（final  disparity  vector）を決定するために、ディスパリティベクトルの正確性が低下する。
【０２２６】
一方、本発明の一実施形態によるインターレイヤビデオ復号化装置２０は、深さ映像ブロックに含まれた領域が、深さ映像の境界を外れる場合、深さ映像の外側に位置する画素の座標に対して、外側に位置する画素をそれぞれ水平に移動させて出合う第１レイヤの深さ映像の境界に位置した画素の座標に対応するように決定することにより、深さ映像境界内深さ値を参照することができる。すなわち、このとき、決定された深さ映像の境界を外れる領域の深さ値にそれぞれ水平に移動させて出合う第１レイヤの深さ映像の境界に位置した画素の座標に対応するように決定することにより、深さ映像境界内の深さ値として決定する。
【０２２７】
インターレイヤビデオ復号化装置２０は、クリッピングされた深さ映像ブロックの深さ値を活用し、ディスパリティベクトルを決定することができる。インターレイヤビデオ復号化装置２０は、深さ映像サブブロックの４コーナーの深さ値を活用する場合、インターレイヤビデオ復号化装置２０は、深さ映像サブブロック７６，７７の４コーナーの深さ値を活用し、境界内に位置した４コーナーの深さ値をいずれも活用することができる。インターレイヤビデオ復号化装置２０は、４コーナーの深さ値のうち最大深さ値を決定することができる。このとき、インターレイヤビデオ復号化装置２０は、最大深さ値を、第１レイヤ映像のサブ対応ブロックを示すディスパリティベクトルにそれぞれ変換することができる。従って、インターレイヤビデオ復号化装置２０は、深さ映像サブブロックに含まれた領域が、第１レイヤの深さ映像の境界を外れる場合、深さ映像の境界外側に位置する領域の座標を、深さ映像の境界内側に位置する領域の座標に対応するように決定することにより、さらに正確なディスパリティベクトルを決定することができる。
【０２２８】
一方、インターレイヤビデオ復号化装置２０は、予測モードに係わりなく、本発明の一実施形態による深さ基盤のディスパリティベクトルを決定する方法を適用し、ディスパリティベクトルを決定することに制限されるものではなく、予測モードによって、本発明の一実施形態によるディスパリティベクトルを決定する方法を適用するか、あるいは従来のディスパリティベクトルを決定する方法を適用することができる。従来のディスパリティベクトルを決定する方法は、すなわち、深さ映像ブロックに含まれた領域が、第１レイヤの深さ映像の境界を外れる場合にも、深さ映像ブロックをそのまま利用して、ディスパリティベクトルを決定する方法を意味する。例えば、図７Ｂのように、ビュー合成予測モードによって、現在ブロックに対する予測を行い、サブブロックのディスパリティベクトルを決定する場合、既存のディスパリティベクトルを決定する方法を適用することができる。一方、予測モードに係わりなく、現在ブロックのディスパリティベクトルを決定する場合、本発明の一実施形態による深さ基盤のディスパリティベクトルを決定する方法を適用することができる。
【０２２９】
一方、インターレイヤビデオ復号化装置２０は、図７Ｂのように、ビュー合成予測を行う過程において、現在ブロックに対応する深さ映像ブロックに含まれた領域が第１レイヤの深さ映像の境界を外れる場合、ビュー合成予測方法を示す候補を併合候補（merge  candidate）に含まない。このとき、併合候補というのは、併合モードにおいて現在ブロックを予測するために使用される方法において選択した候補を意味する。かような併合候補は、予測するブロックごとに決定され、予測するブロックごとに異なる。併合候補は、インターレイヤビデオ復号化装置２０では、併合候補のうち現在ブロックを予測するのに使用する予測方法を選択し、選択された方法を示す併合インデックスをビットストリームに含んでもよい。インターレイヤビデオ復号化装置２０において、ビットストリームに含まれた併合インデックスによって、併合候補のうち現在ブロックを予測するのに使用する予測方法を選択することができる。一方、併合候補を決定する過程は、インターレイヤビデオ符号化装置１０及びインターレイヤビデオ復号化装置２０において同一に行われ、このとき、符号化されて復元された周辺ブロック、または周辺視点の符号化情報を利用して、併合候補を決定することができる。
【０２３０】
一方、図４ないし図７で説明した動作は、インターレイヤビデオ復号化装置２０が遂行することを前提の説明であるが、インターレイヤビデオ符号化装置１０においても、同一動作が遂行されるということは、本実施形態が属する技術分野の通常の技術者であるならば、容易に理解することができるであろう。
【０２３１】
一実施形態によるインターレイヤビデオ符号化装置１０、及び一実施形態によるインターレイヤビデオ復号化装置２０において、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対するインターレイヤ予測またはインター予測のために、符号化単位、予測単位、変換単位が利用される場合があるということは、前述の通りである。以下、図８ないし図２０を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置を開示する。
【０２３２】
原則的に、マルチレイヤビデオのための符号化／復号化過程において、第１レイヤ映像のための符号化／復号化過程と、第２レイヤ映像のための符号化／復号化過程とが別途に遂行される。すなわち、マルチレイヤビデオのうちインターレイヤ予測が発生する場合には、シングルレイヤビデオの符号化／復号化結果が相互参照されるが、シングルレイヤビデオごとに、別途の符号化／復号化過程が発生する。
【０２３３】
従って、説明の便宜のために、図８ないし図２０を参照して説明する、ツリー構造の符号化単位に基づいたビデオ符号化過程及びビデオ復号化過程は、シングルレイヤビデオに係わるビデオ符号化過程及びビデオ復号化過程であるので、インター予測及び動き補償について詳細に説明する。しかし、図１Ａないし図７Ｂを参照して説明した通り、ビデオストリーム符号化／復号化のために、基本視点映像と第２レイヤ映像とのインターレイヤ予測及び補償が行われる。
【０２３４】
従って、一実施形態によるインターレイヤビデオ符号化装置１０の符号化部１２が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを符号化するためには、それぞれのシングルレイヤビデオごとに、ビデオ符号化を行うために、図８のビデオ符号化装置１００を、マルチレイヤビデオのレイヤ数ほど含み、各ビデオ符号化装置１００ごとに割り当てられたシングルレイヤビデオの符号化を行うように制御することができる。また、インターレイヤビデオ符号化装置１０は、各ビデオ符号化装置１００の別個単一視点の符号化結果を利用して、視点間予測を行うことができる。それにより、インターレイヤビデオ符号化装置１０の符号化部１２は、レイヤ別に符号化結果を収録した基本視点ビデオストリームと、第２レイヤビデオストリームとを生成することができる。
【０２３５】
それと類似して、一実施形態によるインターレイヤビデオ復号化装置２０の復号化部２６が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを復号化するためには、受信した第１レイヤビデオストリーム及び第２レイヤビデオストリームに対して、レイヤ別にビデオ復号化を行うために、図９のビデオ復号化装置２００をマルチレイヤビデオのレイヤ数ほど含み、各ビデオ復号化装置２００ごとに割り当てられたシングルレイヤビデオの復号化を行うように制御することができる。そして、インターレイヤビデオ復号化装置２０が各ビデオ復号化装置２００の別個シングルレイヤの復号化結果を利用して、インターレイヤ補償を行うことができる。それにより、インターレイヤビデオ復号化装置２０の復号化部２６は、レイヤ別に復元された第１レイヤ映像と、第２レイヤ映像とを生成することができる。
【０２３６】
図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。
【０２３７】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して指称する。
【０２３８】
符号化単位決定部１２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の累乗である正方形のデータ単位でもある。
【０２３９】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。
【０２４０】
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データは、深度によって階層的に分類される。
【０２４１】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。
【０２４２】
符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して最終深度として決定する。決定された最終深度及び最大符号化単位別映像データは、出力部１３０に出力される。
【０２４３】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの最終深度が決定される。
【０２４４】
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって最終深度が異なって決定される。従って、１つの最大符号化単位に対して、最終深度が１以上設定され、最大符号化単位のデータは、１以上の最終深度の符号化単位によって区画されもする。
【０２４５】
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、最終深度と決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる最終深度は、他の領域に係わる最終深度と独立して決定される。
【０２４６】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。
【０２４７】
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位を基に行われる。
【０２４８】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
【０２４９】
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が使用され、段階別にデータ単位が変更されもする。
【０２５０】
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【０２５１】
最大符号化単位の予測符号化のためには、一実施形態による最終深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になるそれ以上さらに分割されない符号化単位を「予測単位」と指称する。予測単位が分割されたパーティションは、予測単位、及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
【０２５２】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含む。
【０２５３】
予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインタモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【０２５４】
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同サイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインタモードのための変換単位を含む。
【０２５５】
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが変換深度によって、ツリー構造による変換単位によって区画される。
【０２５６】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【０２５７】
深度別分割情報は、深度だけでなく予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた深度だけではなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
【０２５８】
一実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図９ないし図１９を参照して詳細に後述する。
【０２５９】
符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian  multiplier）基盤の率歪曲最適化技法（rate-distortion  optimization）を利用して測定することができる。
【０２６０】
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの深度に基づいて、符号化された最大符号化単位の映像データ及び深度別分割情報をビットストリーム形態で出力する。
【０２６１】
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
【０２６２】
深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含む。
【０２６３】
最終深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
【０２６４】
現在深度が深度ではないなら、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われ、同一深度の符号化単位ごとに再帰的（recursive）符号化が行われる。
【０２６５】
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも１つの分割情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データについて深度及び分割情報が設定される。
【０２６６】
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び符号化モードに係わる符号化情報が割り当てられる。
【０２６７】
一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位の中に含まれる最大サイズの正方形データ単位でもある。
【０２６８】
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インタモードの推定方向に係わる情報、インタモードの参照映像インデックスに係わる情報、モーションベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含む。
【０２６９】
ピクチャ別、スライス別またはＧＯＰ（group  of  picture）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセット（ＳＰＳ）またはピクチャパラメータセット（ＰＰＳ）などに挿入される。
【０２７０】
また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、予測と係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。
【０２７１】
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。
【０２７２】
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
【０２７３】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率の低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。
【０２７４】
図１Ａを参照して説明したインターレイヤビデオ符号化装置１０は、マルチレイヤビデオのレイヤごとに、シングルレイヤ映像の符号化のために、レイヤ数ほどのビデオ符号化装置１００を含む。例えば、第１レイヤ符号化部１２が１つのビデオ符号化装置１００を含み、第２レイヤ符号化部１４が第２レイヤの数ほどのビデオ符号化装置１００を含む。
【０２７５】
ビデオ符号化装置１００が第１レイヤ映像を符号化する場合、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位別に映像間予測のための予測単位を決定し、予測単位ごとに映像間予測を行うことができる。
【０２７６】
ビデオ符号化装置１００が第２レイヤ映像を符号化する場合にも、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位及び予測単位を決定し、予測単位ごとにインター予測を行うことができる。
【０２７７】
ビデオ符号化装置１００は、第１レイヤ映像と、第２レイヤ映像との輝度差を補償するために、輝度差を符号化することができる。ただし、符号化単位の符号化モードによって、輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位に対してのみ輝度補償が行われる。
【０２７８】
図９は、多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。
【０２７９】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して指称する。
【０２８０】
一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図８及びビデオ符号化装置１００を参照して説明したところと同一である。
【０２８１】
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
【０２８２】
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が、最大符号化単位ごとに映像データを復号化する。
【０２８３】
最大符号化単位別深度及び分割情報は、１以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報及び変換単位の分割情報などを含む。また、深度情報として、深度別分割情報が抽出される。
【０２８４】
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別深度及び分割情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を生じさせることによって決定された深度及び分割情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を生じさせる符号化方式によってデータを復号化し、映像を復元することができる。
【０２８５】
一実施形態による深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているならば、同一深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
【０２８６】
映像データ復号化部２３０は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位において、それぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び逆変換過程を含む。
【０２８７】
映像データ復号化部２３０は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
【０２８８】
また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
【０２８９】
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているならば、現在深度が深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位サイズ情報を利用して復号化することができる。
【０２９０】
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一符号化モードで復号化する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
【０２９１】
図２Ａを参照して説明したインターレイヤビデオ復号化装置２０は、受信された第１レイヤ映像ストリーム及び第２レイヤ映像ストリームを復号化し、第１レイヤ映像及び第２レイヤ映像を復元するために、ビデオ復号化装置２００を視点数ほど含む。
【０２９２】
第１レイヤ映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって、第１レイヤ映像ストリームから抽出された第１レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部２３０は、第１レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第１レイヤ映像を復元することができる。
【０２９３】
第２レイヤ映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって、第２レイヤ映像ストリームから抽出された第２レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部２３０は、第２レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第２レイヤ映像を復元することができる。
【０２９４】
抽出部２２０は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度誤差と係わる情報を、ビットストリームから獲得することができる。ただし、符号化単位の符号化モードによって、輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位についてのみ輝度補償が行われる。
【０２９５】
結局、ビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位で決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【０２９６】
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【０２９７】
図１０は、多様な実施形態による符号化単位の概念を図示している。
【０２９８】
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含む。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションでに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【０２９９】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
【０３００】
解像度が高いかデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【０３０１】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。
【０３０２】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含む。深度が深くなるほど、細部情報の表現能が向上する。
【０３０３】
図１１は、多様な実施形態による、符号化単位に基づいた映像符号化部４００のブロック図を図示している。
【０３０４】
一実施形態による映像符号化部４００は、ビデオ符号化装置１００のピクチャ符号化部１２０において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部４２０は、現在映像４０５においてイントラモードの符号化単位に対して予測単位別にイントラ予測を行い、インター予測部４１５は、インタモードの符号化単位に対して、予測単位別に、現在映像４０５、及び復元ピクチャバッファ４１０で獲得された参照映像を利用して、インター予測を行う。現在映像４０５は、最大符号化単位に分割された後、順次にエンコーディングが行われる。このとき、最大符号化単位がツリー構造に分割される符号化単位に対してエンコーディングが行われる。
【０３０５】
イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に係わる予測データを、現在映像４０５のエンコーディングされる符号化単位に係わるデータから抜き取ることによってレジデュデータを生成し、レジデュデータは、変換部４２５及び量子化部４３０を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４４５、逆変換部４５０を介して、空間領域のレジデュデータに復元される。復元された空間領域のレジデュデータは、イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部４５５及びＳＡＯ遂行部４６０を経て、復元映像に生成される。生成された復元映像は、復元ピクチュアバッファ４１０に保存される。復元ピクチャバッファ４１０に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部４２５及び量子化部４３０で量子化された変換係数は、エントロピー符号化部４３５を経て、ビットストリーム４４０として出力される。
【０３０６】
一実施形態による映像符号化部４００がビデオ符号化装置１００に適用されるために、映像符号化部４００の構成要素であるインター予測部４１５、イントラ予測部４２０、変換部４２５、量子化部４３０、エントロピー符号化部４３５、逆量子化部４４５、逆変換部４５０、デブロッキング部４５５及びＳＡＯ遂行部４６０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。
【０３０７】
特に、イントラ予測部４２０及びインター予測部４１５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部４２５は、ツリー構造による符号化単位のうち、それぞれの符号化単位内のクアッドツリーによる変換単位の分割いかんを決定することができる。
【０３０８】
図１２は、多様な実施形態による、符号化単位に基づいた映像復号化部５００のブロック図を図示している。
【０３０９】
エントロピー復号化部５１５は、ビットストリーム５０５から、復号化対象である符号化された映像データ、及び復号化のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部５２０及び逆変換部５２５は、量子化された変換係数からレジデュデータを復元する。
【０３１０】
イントラ予測部５４０は、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行う。インター予測部５３５は、現在映像のうちインタモードの符号化単位に対して、予測単位別に、復元ピクチャバッファ５３０で獲得された参照映像を利用してインター予測を行う。
【０３１１】
イントラ予測部５４０またはインター予測部５３５を経た各モードの符号化単位に係わる予測データと、レジデュデータとが加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部５４５及びＳＡＯ遂行部５５０を経て、復元映像５６０として出力される。また、復元ピクチュアバッファ５３０に保存された復元映像は、参照映像として出力される。
【０３１２】
ビデオ復号化装置２００のピクチャ復号化部２３０において映像データを復号化するために、一実施形態による映像復号化部５００のエントロピー復号化部５１５後の段階別作業が遂行される。
【０３１３】
映像復号化部５００が、一実施形態によるビデオ復号化装置２００に適用されるために、映像復号化部５００の構成要素であるエントロピー復号化部５１５、逆量子化部５２０、逆変換部５２５、イントラ予測部５４０、インター予測部５３５、デブロッキング部５４５及びＳＡＯ遂行部５５０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて作業を遂行することができる。
【０３１４】
特に、イントラ予測部５４０及びインター予測部５３５は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部５２５は、符号化単位ごとに、クォドツリー構造による変換単位の分割いかんを決定することができる。
【０３１５】
図１１の符号化動作、及び図１２の復号化動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号化動作について説明したものある。従って、図１Ａの符号化部１２が２以上のレイヤのビデオストリームを符号化するならば、レイヤ別に映像符号化部４００を含む。類似して、図２Ａの復号化部２６が２以上のレイヤのビデオストリームを復号化するならば、レイヤ別に、映像復号化部５００を含む。
【０３１６】
図１３は、多様な実施形態による、深度別符号化単位及びパーティションを図示している。
【０３１７】
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。事前に設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
【０３１８】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
【０３１９】
すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。
【０３２０】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
【０３２１】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
【０３２２】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
【０３２３】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
【０３２４】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
【０３２５】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【０３２６】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において最小である符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の深度及びパーティションモードに選択される。
【０３２７】
図１４は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。
【０３２８】
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同サイズの符号化単位で映像を符号化するか復号化する。符号化過程のうち変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
【０３２９】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
【０３３０】
また、６４ｘ６４サイズの符号化単位７１０のデータを６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０３３１】
図１５は、多様な実施形態による符号化情報を図示している。
【０３３２】
一実施形態によるビデオ符号化装置１００の出力部１３０は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
【０３３３】
パーティションモードに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２）、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【０３３４】
予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションモードに係わる情報８００が示すパーティションが、イントラモード８１２、インタモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。
【０３３５】
また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つである。
【０３３６】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションモードに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。
【０３３７】
図１６は、多様な実施形態による深度別符号化単位を図示している。
【０３３８】
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【０３３９】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションモード９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１６、Ｎ＿０ｘＮ＿０サイズのパーティションモード９１８を含む。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。
【０３４０】
パーティションモードごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインタモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【０３４１】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションモード９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要はない。
【０３４２】
サイズＮ＿０ｘＮ＿０のパーティションモード９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションモードの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０３４３】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションモード９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションモード９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションモード９４６、サイズＮ＿１ｘＮ＿１のパーティションモード９４８を含む。
【０３４４】
また、サイズＮ＿１ｘＮ＿１のパーティションモード９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０３４５】
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８を含む。
【０３４６】
パーティションモードにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。
【０３４７】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる深度が深度ｄ−１と決定され、パーティションモードは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２）について分割情報が設定されない。
【０３４８】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、深度を決定し、当該パーティションモード及び予測モードが深度の符号化モードに設定される。
【０３４９】
かように深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて深度として決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度０から深度に至るまで符号化単位が分割されなければならないので、深度の分割情報だけが「０」に設定され、深度を除いた深度別分割情報は、「１」に設定されなければならない。
【０３５０】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を深度として把握し、当該深度に係わる分割情報を利用して、復号化に利用することができる。
【０３５１】
図１７、図１８及び図１９は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
【０３５２】
符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの深度別符号化単位の変換単位である。
【０３５３】
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８、１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【０３５４】
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションモードであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションモードであり、パーティション１０３２は、ＮｘＮのパーティションモードである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【０３５５】
変換単位１０７０において、一部の変換単位１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行する。
【０３５６】
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含む。以下表２は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示す。
【０３５７】
【表２】
2016526853.tif 000005
一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０３５８】
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０３５９】
予測モードは、イントラモード、インタモード及びスキップモードのうち一つで示すことができる。イントラモード及びインタモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード２Ｎｘ２Ｎでのみ定義される。
【０３６０】
パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションモード２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションモード２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションモードｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０３６１】
変換単位サイズは、イントラモードで二種の大きさ、インタモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションモードが対称形パーティションモードであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションモードであるならば、Ｎ／２ｘＮ／２に設定される。
【０３６２】
一実施形態による、ツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含む。
【０３６３】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。
【０３６４】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０３６５】
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照される。
【０３６６】
図２０は、表２の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
【０３６７】
最大符号化単位１３００は、深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションモード情報は、パーティションモード２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定される。
【０３６８】
変換単位分割情報（ＴＵ  size  flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。
【０３６９】
例えば、パーティションモード情報が、対称形パーティションモード２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０３７０】
パーティションモード情報が非対称形パーティションモード２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０３７１】
図２０を参照して説明した変換単位分割情報（ＴＵ  size  flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０、１、２，３、…などに増加して変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として利用される。
【０３７２】
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
【０３７３】
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
【０３７４】
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさは、３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
【０３７５】
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は０または１であり、他の変換単位分割情報が設定されることがない。
【０３７６】
従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位において可能な最小変換単位サイズ「CurrMinTuSize」は、下記（関係式１）のように定義される。
（関係式１）
CurrMinTuSize
＝ｍａｘ（MinTransformSize,  RootTuSize／（２＾MaxTransformSizeIndex））
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、（関係式１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」である。
【０３７７】
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。
【０３７８】
例えば、現在予測モードがインタモードであるならば、「RootTuSize」は、下記（関係式２）によって決定される。（関係式２）において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。
（関係式２）
RootTuSize＝ｍｉｎ（MaxTransformSize,  PUSize）
すなわち、現在予測モードがインタモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
【０３７９】
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記（関係式３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
（関係式３）
RootTuSize＝ｍｉｎ（MaxTransformSize,  PartitionSize）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
【０３８０】
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれらに限定されるものではないことに留意しなければならない。
【０３８１】
図８ないし図２０を参照して説明した、ツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
【０３８２】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read  only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact  disc）−ＲＯＭ、ＤＶＤ（digital  versatile  disc）など）のような記録媒体を含む。
【０３８３】
説明の便宜のために、先の図１ａないし図２０を参照して説明したインターレイヤビデオ符号化方法及び／またはビデオ符号化方法は、「本発明のビデオ符号化方法」と呼ぶ。また、先の図１ａないし図２０を参照して説明したインターレイヤビデオ復号化方法及び／またはビデオ復号化方法は、「本発明のビデオ復号化方法」と呼ぶ。
【０３８４】
また、先の図１ａないし図２０を参照して説明したインターレイヤビデオ符号化装置１０、ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」と呼ぶ。また、先の図１ａないし図２０を参照して説明したインターレイヤビデオ復号化装置２０、ビデオ復号化装置２００または映像復号化部５００で構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」と呼ぶ。
【０３８５】
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０００である実施形態について以下詳細に説明する。
【０３８６】
図２１は、多様な実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として、前述のディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（Blu-ray（登録商標））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒによって構成され、トラックは、周囲方向に沿って、所定個数のセクタＳｅに分割される。前記前述の一実施形態によるプログラムを保存するディスク２６０００における特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
【０３８７】
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して説明する。
【０３８８】
図２２は、ディスク２６０００を利用してプログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、プログラムがコンピューティングシステム２６７００に伝送される。
【０３８９】
図２１及び図２２で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid  statedrive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
【０３９０】
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。
【０３９１】
図２３は、コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルにベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。
【０３９２】
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal  digital  assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
【０３９３】
しかし、コンテンツ供給システム１１０００は、図２３に図示された構造のみに限定されるものではなく、デバイスが選択的に連結されてもよい。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されもする。
【０３９４】
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal  digital  communications）、ＣＤＭＡ（code  division  multiple  access）、Ｗ−ＣＤＭＡ（wideband  code  division  multiple  access）、ＧＳＭ（登録商標（global  system  for  mobile  communications））及びＰＨＳ（personal  handyphonesystem）の方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。
【０３９５】
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送を行うことができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００に撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。
【０３９６】
カメラ１２６００で撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に送信される。カメラ１２６００は、デジタルカメラのように、静止映像とビデオ映像とをいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
【０３９７】
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。
【０３９８】
ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large  scale  integrated  circuit）システムによって符号化される。
【０３９９】
一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
【０４００】
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ  １２２００、ビデオカメラ１２３００または携帯電話１２５００である。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムに復号化して再生させ、個人放送（personal  broadcasting）を可能にする。
【０４０１】
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
【０４０２】
図２４及び図２５を参照し、コンテンツ供給システム１１０００における携帯電話１２５００の一実施形態について詳細に説明する。
【０４０３】
図２４は、多様な実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。
【０４０４】
携帯電話１２５００は、無線基地局１２０００とＲＦ（radio  frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid  crystal  display）、ＯＬＥＤ（organic  light  emitting  diodes）の画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge  coupled  device）カメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されるか、電子メール（Ｅ−mail）に受信されるか、他の形態で獲得されたビデオや静止映像のように、符号化されるか復号化されたデータを保存するための記録媒体１２５７０、及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０を含む。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically  erasable  and  programmable  read  only  memory）のような他の形態のフラッシュメモリでもある。
【０４０５】
図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。
【０４０６】
ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
【０４０７】
中央制御部１２７１０は、ＣＰＵ（central  processing  unit）、ＲＯＭ及びＲＡＭ（random  access  memory）を含む。
【０４０８】
携帯電話１２５００が、外部に通信データを送信する過程においては、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog  conversion）処理及び周波数変換（frequency  conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
【０４０９】
例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て、送信信号に変換され、アンテナ１２５１０を介して送出される。
【０４１０】
データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御により、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して無線基地局１２０００に送出される。
【０４１１】
データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
【０４１２】
映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。
【０４１３】
多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。
【０４１４】
携帯電話１２５００が、外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency  recovery）処理及びＡ／Ｄ変換（analog-digital  conversion）処理を介してデジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
【０４１５】
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８０を介して出力される。
【０４１６】
データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として、重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。
【０４１７】
アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０により、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
【０４１８】
映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータをＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に復元されたビデオデータを提供することができる。
【０４１９】
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０にディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
【０４２０】
携帯電話１２５００、または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。
【０４２１】
本発明の通信システムは、図２５を参照して説明した構造に限定されるものではない。例えば、図２６は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示している。図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
【０４２２】
具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを、通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top  box）１２８７０、または他のデバイスによって復号化されて再生される。
【０４２３】
再生装置１２８３０において、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号化することができる。それによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
【０４２４】
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
【０４２５】
他の例として、セットトップボックス１２８７０の代りに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号化装置が搭載される。
【０４２６】
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。
【０４２７】
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、ハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存される。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号がモニタ１２８８０で再生される。
【０４２８】
自動車ナビゲーションシステム１２９３０は、図２３のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２３のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
【０４２９】
図２７は、多様な実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。
【０４３０】
本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。
【０４３１】
クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）のようなコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望するほど選んで使用することができる。
【０４３２】
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デストトップＰＣ（personal  computer）１４３００、スマートＴＶ  １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable  multimedia  player）１４７００、テブレットＰＣ  １４８００のようなインターネット接続が可能な全ての電子機器になる。
【０４３３】
クラウドコンピューティングサーバ１４１００は、クラウド網に分散されている多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含む。かように、クラウドコンピューティングサーバ１４１００は、さまざまなところに分散されている動画データベースを仮想化技術によって統合し、ユーザ端末機が要求するサービスを提供する。
【０４３４】
ユーザＤＢ  １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報と、住所、氏名など個人信用情報とを含む。また、ユーザ情報は、動画のインデックス（index）を含む。ここで、インデックスは、再生を完了した動画リストと、再生中の動画リストと、再生中の動画の停止時点などを含む。
【０４３５】
ユーザＤＢ  １４１００に保存された動画に係わる情報は、ユーザデバイス間で共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ  １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ  １４１００を参照し、所定動画サービスを探し出して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先の図２４を参照して説明した携帯電話１２５００の動作と類似している。
【０４３６】
クラウドコンピューティングサーバ１４１００は、ユーザＤＢ  １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ  １４１００に保存された動画に対する再生要請を受信する。動画が、その前に再生中であったならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機への選択によって、最初から再生するか、あるいは以前の停止時点から再生するかということにより、ストリーミング方法が変わる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前の停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
【０４３７】
このとき、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ復号化装置を含む。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含む。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む。
【０４３８】
図１Ａないし図２０を参照して説明したビデオ符号化方法及びビデオ復号化方法、ビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２１ないし図２７で説明した。しかし、図１Ａないし図２０を参照して説明したビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号化装置がデバイスで具現されたりする多様な実施形態は、図２１ないし図２７の実施形態に限定されるものではない。
【０４３９】
以上で開示された多様な実施形態が属する技術分野において、当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態によって具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれたものであると解釈されなければならない。
【図４Ａ】
2016526853.tif 000006
【図１３】
2016526853.tif 000007
【図１４】
2016526853.tif 000008
【図１７】
2016526853.tif 000009
【図１８】
2016526853.tif 000010
【図２０】
2016526853.tif 000011
【図２２】
2016526853.tif 000012
【図２４】
2016526853.tif 000013
【図１Ａ】
2016526853.tif 000014
【図１Ｂ】
2016526853.tif 000015
【図２Ａ】
2016526853.tif 000016
【図２Ｂ】
2016526853.tif 000017
【図３】
2016526853.tif 000018
【図４Ｂ】
2016526853.tif 000019
【図５】
2016526853.tif 000020
【図６Ａ】
2016526853.tif 000021
【図６Ｂ】
2016526853.tif 000022
【図６Ｃ】
2016526853.tif 000023
【図７Ａ】
2016526853.tif 000024
【図７Ｂ】
2016526853.tif 000025
【図８】
2016526853.tif 000026
【図９】
2016526853.tif 000027
【図１０】
2016526853.tif 000028
【図１１】
2016526853.tif 000029
【図１２】
2016526853.tif 000030
【図１５】
2016526853.tif 000031
【図１６】
2016526853.tif 000032
【図１９】
2016526853.tif 000033
【図２１】
2016526853.tif 000034
【図２３】
2016526853.tif 000035
【図２５】
2016526853.tif 000036
【図２６】
2016526853.tif 000037
【図２７】
2016526853.tif 000038
【国際調査報告】
2016526853.tif 000039
2016526853.tif 000040
2016526853.tif 000041
2016526853.tif 000042