(57)【特許請求の範囲】
【請求項１】
ビデオデータと前記ビデオデータに対応する深さ情報データとを含むコーディングされたビデオデータを受信するステップと、
前記深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得るステップと、
前記動き情報に基づいて視点間予測を行うステップと、
前記視点間予測に基づいて、前記コーディング単位が含まれた前記ビデオデータ及び前記深さ情報データによるビデオデータを復元するステップと、を含み、
前記コーディングされたビデオデータのコーディング単位の視点間予測のための前記動き情報は、前記コーディング単位が参照する深さ情報マップピクチャから導出される情報を用いて算出され、
前記コーディング単位は、少なくとも１つ以上の予測ブロックを含み、
前記コーディング単位が複数の予測ブロックを含む場合に、視点間予測のための同じ前記動き情報が、視点間予測の前記動き情報の算出のために前記複数の予測ブロックに共有される、ビデオデータデコーディング方法。
【請求項２】
前記動き情報は、
前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルのうちの少なくとも１つ以上の位置情報をさらに用いて算出される、請求項１に記載のビデオデータデコーディング方法。
【請求項３】
前記動き情報は、
前記深さ情報マップピクチャのビュー識別子、または前記コーディング単位を含むピクチャのビュー識別子をさらに用いて算出される、請求項１に記載のビデオデータデコーディング方法。
【請求項４】
前記動き情報は、
前記コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出される、請求項１に記載のビデオデータデコーディング方法。
【請求項５】
前記コーディング単位は、
マクロブロック、または、ＨＥＶＣで定義されるコーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）のいずれか１つを含む、請求項１に記載のビデオデータデコーディング方法。
【請求項６】
前記ビデオデータは、少なくとも１つ以上のテクスチャ（ｔｅｘｔｕｒｅ）を含む、請求項１に記載のビデオデータデコーディング方法。
【請求項７】
前記コーディング単位の視点間予測のための前記動き情報を得るステップは、
前記コーディング単位の位置及びサイズに基づいてコーディング単位の視点間予測のための前記動き情報を導出するステップを含む、請求項１に記載のビデオデータデコーディング方法。
【請求項８】
前記コーディング単位の視点間予測のための前記動き情報を得るステップは、
現在予測ブロックに対応する深さ情報マップブロックから導出された情報に基づいて、前記コーディング単位の視点間予測のための前記動き情報を導出するステップを含む、請求項１に記載のビデオデータデコーディング方法。
【請求項９】
ビデオデータと前記ビデオデータに対応する深さ情報データとを含むコーディングされたビデオデータを受信し、パージング（ｐａｒｓｉｎｇ）する受信部と、
前記深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得、前記動き情報に基づいて視点間予測を行う予測部と、  前記視点間予測に基づいて、前記コーディング単位が含まれた前記ビデオデータ及び前記深さ情報データによるビデオデータを復元する復元部と、を含み、
前記コーディングされたビデオデータのコーディング単位の視点間予測のための前記動き情報は、前記コーディング単位が参照する深さ情報マップピクチャから導出される情報を用いて算出され、
前記コーディング単位は、少なくとも１つ以上の予測ブロックを含み、
前記コーディング単位が複数の予測ブロックを含む場合に、視点間予測のための同じ前記動き情報が、視点間予測の前記動き情報の算出のために前記複数の予測ブロックに共有される、ビデオデータデコーディング装置。
【請求項１０】
前記予測部は、
前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルのうちの少なくとも１つ以上の位置情報を用いて前記動き情報を算出する、請求項９に記載のビデオデータデコーディング装置。
【請求項１１】
前記予測部は、
前記深さ情報マップピクチャのビュー識別子、または前記コーディング単位を含むピクチャのビュー識別子をさらに用いて前記動き情報を算出する、請求項９に記載のビデオデータデコーディング装置。
【請求項１２】
前記予測部は、
前記コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて前記動き情報を算出する、請求項９に記載のビデオデータデコーディング装置。
【請求項１３】
前記コーディング単位は、
マクロブロック、または、ＨＥＶＣで定義されるコーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）のいずれか１つを含む、請求項９に記載のビデオデータデコーディング装置。
【請求項１４】
前記ビデオデータは、少なくとも１つ以上のテクスチャ（ｔｅｘｔｕｒｅ）を含む、請求項９に記載のビデオデータデコーディング装置。
【請求項１５】
前記予測部は、
前記コーディング単位の位置及びサイズに基づいて前記コーディング単位の視点間予測のための前記動き情報を導出する、請求項９に記載のビデオデータデコーディング装置。
【請求項１６】
前記コーディング単位は、
現在予測ブロックに対応する深さ情報マップブロックから導出された情報に基づいて、前記コーディング単位の視点間予測のための前記動き情報を導出する、請求項９に記載のビデオデータデコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータデコーディング方法及びビデオデータデコーディング装置に関する。
【背景技術】
【０００２】
３次元ビデオは、３次元立体ディスプレイ装置を介してユーザに現実世界で見て感じるような生き生きとした立体感を提供する。それに関連する研究として、ＩＳＯ／ＩＥＣのＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とＩＴＵ−ＴのＶＣＥＧ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）との共同の標準化グループであるＪＣＴ−３Ｖ（Ｔｈｅ  Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ３Ｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｔｅｎｓｉｏｎ  Ｄｅｖｅｌｏｐｍｅｎｔ）により３次元ビデオ標準が進められている。３次元ビデオ標準は、実際の映像とその深さ情報マップを用いて、ステレオスコピック映像だけでなくオートステレオスコピック映像の再生などを支援できる進歩したデータ形式と、それに関連する技術に対する標準を含んでいる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、３Ｄビデオデータから動き情報を容易に算出できるビデオデータデコーディング方法及びビデオデータデコーディング装置を提供することにある。
【０００４】
本発明の目的は、ビデオデータの符号化または復号化時にデータ処理効率を高めることができるビデオデータデコーディング方法及びビデオデータデコーディング装置を提供することにある。
【０００５】
本発明の他の目的は、ビデオデータの符号化または復号化時にメモリ効率を高め、複雑度を減少させることができるビデオデータデコーディング方法及びビデオデータデコーディング装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施例は、多視点ビデオデータと前記ビデオデータに対応する深さ情報データとを含むコーディングされたビデオデータを受信し、パージングするステップと、前記深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得、前記動き情報に基づいて視点間予測を行うステップと、前記動き予測に基づいて、前記コーディング単位が含まれた前記多視点ビデオデータ及び前記深さ情報データによるビデオデータを復元するステップとを含むビデオデータデコーディング方法を提供する。
【０００７】
前記動き情報は、前記コーディング単位が参照する深さ情報マップピクチャ、及び前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上の位置情報に基づいて算出してもよい。
【０００８】
前記動き情報は、前記深さ情報マップピクチャのビュー識別子、前記コーディング単位を含むピクチャのビュー識別子をさらに用いて算出してもよい。
【０００９】
前記動き情報は、前記コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出してもよい。
【００１０】
前記ビデオデータを復元するステップは、前記ビデオデータ及び前記ビデオデータに対応する深さ情報データによるデコーディングサンプルを出力することができる。
【００１１】
前記コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）のいずれか１つを含むことができる。
【００１２】
前記動き情報を得るステップは、前記コーディング単位が参照する前記深さ情報マップピクチャに含まれた深さ情報値を用いて、前記コーディング単位に隣接するコーディング単位に対する動き情報を算出することができる。
【００１３】
本発明の他の一実施例は、多視点ビデオデータと前記ビデオデータに対応する深さ情報データとを含むコーディングされたビデオデータを受信し、パージングする受信部と、前記深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得、前記動き情報に基づいて視点間予測を行う予測部と、前記動き予測に基づいて、前記コーディング単位が含まれた前記多視点ビデオデータ及び前記深さ情報データによるビデオデータを復元する復元部とを含むビデオデータデコーディング装置を提供する。
【発明の効果】
【００１４】
本発明によれば、ビデオデータから動き情報を容易に算出することができる。
【００１５】
本発明によれば、ビデオデータの符号化または復号化時にデータ処理効率を高めることができるビデオデータデコーディング方法及びビデオデータデコーディング装置を提供できる。
【００１６】
本発明によれば、ビデオデータの符号化または復号化時にメモリ効率を高め、複雑度を減少させることができる。
【００１７】
本発明によれば、Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いるとき、１つの深さ情報値を任意の領域内で複数のブロックが共有して動き情報を誘導する方法を用いることで、深さ情報マップブロックの深さ情報値にアクセス（Ａｃｃｅｓｓ）するための回数を大きく減少させて、メモリ効率を大きく増加させ、複雑度を減少させるという効果がある。
【図面の簡単な説明】
【００１８】
【図１】３次元ビデオシステムの基本構造及びデータ形式を示す図である。
【００１９】
【図２】国際標準化機構であるＭＰＥＧの３次元ビデオ符号化標準において使用している“ｂａｌｌｏｏｎｓ”映像（ａ）、及びその深さ情報マップ（ｂ）を示す図である。
【００２０】
【図３】Ｈ．２６４の符号化構造図の一例を示す図である。
【００２１】
【図４】Ｈ．２６４の復号化構造図の一例を示す図である。
【００２２】
【図５】３Ｄビデオエンコーダ／デコーダの一実施例を示す図である。
【００２３】
【図６】ビデオデータと深さ情報データとの参照関係を例示した図である。
【００２４】
【図７】現在ブロックに隣接する周辺ブロックを通じて動き情報を類推する一実施例を示す図である。
【００２５】
【図８】１６×１６ブロックでの本発明の一実施例を示す図である。
【００２６】
【図９】１６×１６ブロックが８×８ブロックに分かれた一実施例を示す図である。
【００２７】
【図１０】１６×１６ブロックが４×４ブロックに分かれた一実施例を示す図である。
【００２８】
【図１１】映像データに対するメモリ効率を向上させる方法に関する実施例を示す図である。
【００２９】
【図１２】深さ情報値を用いて動き情報を導出する過程の一実施例を示す図である。
【００３０】
【図１３】現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックから深さ情報値を得るための位置の一実施例を示す図である。
【００３１】
【図１４】１６×１６ブロックが４×４ブロックに分かれた一例を示す図である。
【００３２】
【図１５】１６×１６ブロックが４×４ブロックに分かれた一実施例を示す図である。
【００３３】
【図１６】１６×１６ブロックが任意の様々な形状のブロックに分かれた一実施例を示す図である。
【００３４】
【図１７】１６×１６ブロックが同一の形状のブロックに分かれた他の実施例を示す図である。
【００３５】
【図１８】現在ブロックＸが視点間予測を行う一実施例を示す図である。
【００３６】
【図１９】ピクチャ単位の代表深さ情報値の一例を示す図である。
【００３７】
【図２０】与えられたＣＵ（またはＴＵ）の深さが２である場合、本発明の実施例を適用する範囲の決定方式の例を示す図である。
【００３８】
【図２１】本発明に係るビデオデータデコーディング方法の一実施例を例示した図である。
【００３９】
【図２２】本発明に係るデコーディング装置の一実施例を例示した図である。
【００４０】
【図２３】本発明に係るエンコーディング方法の一実施例を例示した図である。
【００４１】
【図２４】本発明に係るエンコーディング装置の一実施例を例示した図である。
【発明を実施するための最良の形態】
【００４２】
以下、本発明を容易に説明し得る本発明の実施例を詳細に説明する。
【００４３】
図１は、３次元ビデオシステムの基本構造及びデータ形式を示す。
【００４４】
３次元ビデオ標準において考慮している基本的な３次元ビデオシステムは、図１の通りである。送信側では、ステレオカメラ、深さ情報カメラ、カメラ、２次元映像の３次元映像への変換などを用いて、Ｎ（Ｎ≧２）視点の映像コンテンツを獲得する。獲得された映像コンテンツには、Ｎ視点のビデオ情報とその深さ情報マップ（Ｄｅｐｔｈ−ｍａｐ）情報、そして、カメラ関連付加情報などが含まれてもよい。Ｎ視点の映像コンテンツは、ビデオ符号化方法を用いて圧縮され、圧縮されたビットストリームはネットワークを介して端末に伝送される。
【００４５】
受信側では、伝送されたビットストリームをビデオ復号化方法を用いて復号化して、Ｎ視点の映像を復元する。復元されたＮ視点の映像は、深さ情報マップベースのレンダリング（ＤＩＢＲ；Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ）過程によってＮ視点以上の仮想視点映像を生成する。生成されたＮ視点以上の仮想視点映像は、様々な立体ディスプレイ装置に合わせて再生されることで、ユーザに立体感のある映像を提供することになる。
【００４６】
仮想視点映像を生成するのに用いられる深さ情報マップは、現実世界でカメラと実際の物体（ｏｂｊｅｃｔ）との距離（実写映像と同じ解像度で各画素に該当する深さ情報）を一定のビット数で表現したものである。
【００４７】
深さ情報マップの例として、図２は、国際標準化機構であるＭＰＥＧの３次元ビデオ符号化標準において使用している“ｂａｌｌｏｏｎｓ”映像（図２の（ａ））、及びその深さ情報マップ（図２の（ｂ））を示している。実際に図２の深さ情報マップは、画面に見える深さ情報を１画素当たり８ビットで表現し得る。
【００４８】
図２は、“ｂａｌｌｏｏｎｓ”映像の実際の映像及び深さ情報マップ映像の一例を示したもので、図２の（ａ）は実際の映像、図２の（ｂ）は深さ情報マップをそれぞれ示す。
【００４９】
実際の映像とその深さ情報マップを符号化する方法の一例として、現在まで開発されたビデオ符号化標準の中で最高の符号化効率を有するビデオ符号化方法である、Ｈ．２６４／ＡＶＣ（ＭＰＥＧ−４  Ｐａｒｔ  １０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）を用いて符号化を行うことができ、Ｈ．２６４の符号化構造図の一例は、図３のようである。
【００５０】
図３は、Ｈ．２６４符号化構造図の一例を示す。
【００５１】
同図のＨ．２６４符号化構造図において、データを処理する単位は、縦横１６×１６画素の大きさのマクロブロック（Ｍａｃｒｏｂｌｏｃｋ）であってもよく、映像が入力されてイントラ（Ｉｎｔｒａ）モードまたはインター（Ｉｎｔｅｒ）モードで符号化を行い、ビットストリームを出力する。
【００５２】
イントラモードである場合には、スイッチがイントラに切り替わり、インターモードである場合には、スイッチがインターに切り替わる。符号化過程の主要な流れは、まず、入力されたブロック映像に対する予測ブロックを生成した後、入力されたブロックと予測ブロックとの差分を求め、その差分を符号化するものである。
【００５３】
まず、予測ブロックの生成は、イントラモードとインターモードに応じて行われる。まず、イントラモードの場合には、イントラ予測過程で現在ブロックの既に符号化された周辺画素値を用いて空間的予測で予測ブロックを生成し、インターモードの場合には、動き予測過程で参照映像バッファに格納されている参照映像において、現在入力されたブロックと最もよくマッチする領域を見つけて動きベクトル（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を求めた後、求めた動きベクトルを用いて動き補償を行うことによって、予測ブロックを生成する。上述したように、現在入力されたブロックと予測ブロックとの差分を求めて残余ブロック（Ｒｅｓｉｄｕａｌ  Ｂｌｏｃｋ）を生成した後、これに対する符号化を行う。
ブロックを符号化する方法は、イントラモードとインターモードとに大別される。予測ブロックの大きさに応じて、イントラモードの場合には、１６×１６、８×８、４×４イントラモードがあり得、インターモードの場合には、１６×１６、１６×８、８×１６、８×８インターモードに分かれ、８×８インターモードの場合には、再び８×８、８×４、４×８、４×４サブインターモードに分かれる。
【００５４】
残余ブロックに対する符号化は、変換、量子化、エントロピー（Ｅｎｔｒｏｐｙ）符号化の順に行われる。まず、１６×１６イントラモードで符号化されるブロックは、差分ブロックに変換を行って変換係数を出力し、出力された変換係数の中でＤＣ係数のみを集め、再びアダマール変換を行い、アダマール変換されたＤＣ係数を出力する。１６×１６イントラモードを除外した他の符号化モードで符号化されるブロックにおける変換過程は、入力された残余ブロックに変換（Ｔｒａｎｓｆｏｒｍ）を行い、変換係数（Ｔｒａｎｓｆｏｒｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）を出力する。そして、量子化過程では、入力された変換係数を量子化パラメータに従って量子化を行った、量子化された係数（Ｑｕａｎｔｉｚｅｄ  Ｃｏｅｆｆｉｃｉｅｎｔ）を出力する。そして、エントロピー符号化過程では、入力された量子化された係数を、確率分布に応じたエントロピー符号化を行って、ビットストリームとして出力される。
【００５５】
Ｈ．２６４は、フレーム間（Ｉｎｔｅｒ−ｆｒａｍｅ）予測符号化を行うので、現在符号化された映像を、以降に入力された映像の参照映像として用いるために、復号化して格納する必要がある。したがって、量子化された係数を逆量子化過程及び逆変換を行って、予測映像と加算器を通じて再構成されたブロックを生成した後、デブロッキングフィルタを通じて、符号化過程で発生したブロッキング現象（Ｂｌｏｃｋｉｎｇ  Ａｒｔｉｆａｃｔ）を除去した後、参照映像バッファに格納する。
【００５６】
図４は、Ｈ．２６４の復号化構造図の一例を示す。
【００５７】
同図のＨ．２６４の復号化構造図において、データを処理する単位は、縦横１６×１６画素の大きさのマクロブロック（Ｍａｃｒｏｂｌｏｃｋ）であり、ビットストリームが入力されてイントラ（Ｉｎｔｒａ）モードまたはインター（Ｉｎｔｅｒ）モードで復号化が行われ、再構成された映像を出力する。
【００５８】
イントラモードである場合には、スイッチがイントラに切り替わり、インターモードである場合には、スイッチがインターに切り替わる。復号化過程の主要な流れは、まず、予測ブロックを生成した後、入力されたビットストリームを復号化した結果ブロックと予測ブロックを加えて再構成されたブロックを生成するものである。まず、予測ブロックの生成は、イントラモードとインターモードに応じて行われる。まず、イントラモードの場合には、イントラ予測過程で現在ブロックの既に符号化された周辺画素値を用いて空間的予測を行って、予測ブロックを生成し、インターモードの場合には、動きベクトルを用いて、参照映像バッファに格納されている参照映像において領域を見つけて動き補償を行うことによって、予測ブロックを生成する。
【００５９】
エントロピー復号化過程では、入力されたビットストリームを確率分布に応じたエントロピー復号化を行って、量子化された係数（Ｑｕａｎｔｉｚｅｄ  Ｃｏｅｆｆｉｃｉｅｎｔ）を出力する。量子化された係数を逆量子化過程及び逆変換を行って、予測映像と加算器を通じて再構成されたブロックを生成した後、デブロッキングフィルタを通じてブロッキング現象（Ｂｌｏｃｋｉｎｇ  Ａｒｔｉｆａｃｔ）を除去した後、参照映像バッファに格納する。
【００６０】
実際の映像とその深さ情報マップを符号化する更に他の方法の一例として、現在、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とＶＣＥＧ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）において共同に標準化を進行しているＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）を用いることができる。これは、ＨＤ、ＵＨＤ映像だけでなく、３Ｄ放送及び移動通信網でも、現在より低い周波数で高画質の映像を提供することができる。
【００６１】
実際の映像とその深さ情報マップを符号化するとき、互いに独立して符号化／復号化することができる。また、実際の映像と深さ情報マップを符号化するとき、図５のように互いに依存的に符号化／復号化することができる。
【００６２】
図５は、３Ｄビデオエンコーダ／デコーダの一実施例を示す。
【００６３】
一実施例として、既に符号化／復号化された深さ情報マップを用いて、実際の映像を符号化／復号化してもよく、逆に、既に符号化／復号化された実際の映像を用いて、深さ情報マップを符号化／復号化してもよい。
【００６４】
エンコーダにおいて、テクスチャ（ｔｅｘｔｕｒｅ）と深さ情報マップは、互いの情報によってそれぞれテクスチャエンコーダとデプスエンコーダでエンコーディングされて、ビットストリームとして出力される。
【００６５】
一方、デコーダで受信されたビットストリームは、テクスチャ（ｔｅｘｔｕｒｅ）と深さ情報マップは互いの情報によってテクスチャデコーダとデプスエンコーダでそれぞれデコーディングされてもよい。
【００６６】
実際の映像とその深さ情報マップは、１つのカメラだけでなく、複数個のカメラで獲得した映像であってもよい。一実施例として、３台のカメラで獲得した実際の映像とその深さ情報マップを符号化するための符号化予測構造を、図６に示した。
【００６７】
図６において、３つの実際の映像を視点に応じてＴ０、Ｔ１、Ｔ２で表し、実際の映像と同じ位置の３つの深さ情報マップを、視点に応じてＤ０、Ｄ１、Ｄ２で表した。各ピクチャは、Ｉ（Ｉｎｔｒａ  Ｐｉｃｔｕｒｅ）、Ｐ（Ｕｎｉ−ｐｒｅｄｉｃｔｉｏｎ  Ｐｉｃｔｕｒｅ）、Ｂ（Ｂｉ−ｐｒｅｄｉｃｔｉｏｎ  Ｐｉｃｔｕｒｅ）に符号化されてもよい。図６での矢印は、予測方向を示す。すなわち、実際の映像とその深さ情報マップは、互いに依存的に符号化／復号化される。
【００６８】
図６は、３Ｄビデオコーデックの予測構造の一例を示す。
【００６９】
実際の映像から現在ブロックの動き情報を類推するための方法は、時間的予測と視点間予測とに大別される。ここで、動き情報とは、動きベクトルのみを意味してもよく、または動きベクトル、参照映像番号、単方向予測であるか両方向予測であるか、そして、視点間予測であるか、時間的予測であるか、また他の予測であるかを意味してもよい。
【００７０】
時間的予測は、同じ視点内で時間的相関性を用いた予測方法であり、視点間予測は、隣接する視点において視点間相関性を用いた予測方法である。このような時間的予測と視点間予測は、１つのピクチャにおいて互いに混用されてもよい。
【００７１】
図７は、現在ブロックに隣接する周辺ブロックを通じて動き情報を類推する一実施例を示す。
【００７２】
一実施例として、同図でのように、現在ブロックが、視点間予測を用いて動き情報が符号化／復号化されてもよい。この場合には、まず、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適しているか否かを検査する。
【００７３】
もし、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適している場合、当該ブロックの動き情報を用いて、現在ブロックに対する動き情報を誘導する。もし、そうでない場合（現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適していない場合）、当該ブロック（現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ））の動き情報は、他の動き情報で代替されて使用される。このとき、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する（一致する）深さ情報マップを用いて他の動き情報を生成するＤｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いることができる。
【００７４】
この方法は、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する（一致する）深さ情報マップブロックの深さ情報値において最大値（ｍａｘ  ｄｉｓｐａｒｉｔｙ）を用いて、現在ブロック（実際の映像でのブロック）のための動き情報を生成する。これは、深さ情報マップにおいて深さ情報値が、視点間で客体の距離差（ｄｉｓｐａｒｉｔｙ）を示すという点を利用したものである。
【００７５】
最終的に誘導された、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）の動き情報を用いて、現在ブロック（実際の映像でのブロック）に対する動き情報を誘導する。
一実施例として、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）の動き情報の中間値（Ｍｅｄｉａｎ）の演算を通じて、現在ブロック（実際の映像でのブロック）に対する動き情報を誘導してもよい。
【００７６】
更に他の一実施例として、現在ブロックが時間的予測を用いて符号化／復号化されてもよい。この場合には、まず、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適しているか否かを検査する。もし、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適している場合、当該ブロックの動き情報を使用する。そうでない場合（現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）が視点間予測に使用するのに適していない場合）、当該ブロックの動き情報は、零−ベクトル（ｚｅｒｏ−ｖｅｃｔｏｒ）で代替されて使用される。
【００７７】
Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いて、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する（一致する）深さ情報マップブロックの深さ情報値において最大値（ｍａｘ  ｄｉｓｐａｒｉｔｙ）を得るためには、深さ情報マップブロックの全ての深さ情報値にアクセス（Ａｃｃｅｓｓ）しなければならず、各深さ情報マップブロックの全ての深さ情報値を互いに比較しなければならない。これは、実際の映像を符号化するときに深さ情報マップが要求されるので、実際の映像と深さ情報マップとの間の依存性が存在するようになる。
【００７８】
図８は、１６×１６ブロックでの本発明の一実施例を示す。
【００７９】
一実施例として、図８の左側ブロック（実際の映像でのブロック）の大きさが１６×１６ブロックである場合、深さ情報マップの大きさもまた１６×１６であってもよい。したがって、総２５６回深さ情報値にアクセス（Ａｃｃｅｓｓ）しなければならず、また、各深さ情報値間の２５５回の比較を行わなければならない。これは、深さ情報マップの全ての深さ情報値にアクセスしなければならないため、メモリ効率及び複雑度の観点で非効率的である。このような問題を解決するための方法として、図８の右側のように、１６×１６ブロックの２５６個の深さ情報値のうち、ブロックの隅の４個の深さ情報値のみを使用する方法があり得る。
【００８０】
これは、深さ情報値にアクセス（Ａｃｃｅｓｓ）する回数を既存２５６回から４回に大きく減少させることで、メモリ効率を大きく増加させ、比較回数もまた２５５回から３回に大きく減少することで複雑度を減少させるという効果がある。
【００８１】
しかし、１６×１６ブロック以外の８×８ブロックでは、それぞれの８×８ブロック毎に４個の深さ情報値を使用しなければならないので、図９のように４個ではなく、１６個の深さ情報値にアクセスして深さ情報値において最大値（ｍａｘ  ｄｉｓｐａｒｉｔｙ）を得ることができる。
【００８２】
図９は、１６×１６ブロックが８×８ブロックに分かれた一実施例を示し、図１０は、１６×１６ブロックが４×４ブロックに分かれた一実施例を示す。
【００８３】
また、４×４ブロックでは、それぞれの４×４ブロック毎に４個の深さ情報値を使用しなければならないので、図１０のように６４個の深さ情報値にアクセスして深さ情報値の最大値を得ることができる。
【００８４】
例えば、映像が非常に複雑な形態であり、動きが流動的な映像の場合、１つの１６×１６ブロックは、４×４ブロックに分けて符号化される可能性が高い。したがって、場合によって、１６×１６ブロック当たり６４個の深さ情報値にアクセス（Ａｃｃｅｓｓ）しなければならないため、４×４ブロックの場合にはメモリ効率の観点で非効率的である。
【００８５】
本発明では、図１０の４×４ブロックのように、映像を符号化／復号化するときに深さ情報値に頻繁にアクセスしなければならない場合においてメモリ効率を向上させることができる方法を提案する。
【００８６】
図１１は、映像データに対するメモリ効率を向上させる方法に関する一実施例を示す。
同図の“映像読み出し”において、映像メモリに存在するブロックサイズ（または任意の形態）のデータを読み込むためのメモリアクセスの回数を減少させるために、ブロックサイズ全体のデータを読み込まずに、位置情報及びその他の情報を活用して、ブロックから一部のデータのみを読み込むか、またはブロックから１つのピクセル値のみ（または、１つ以上のピクセル値）を読み込んでもよい。
【００８７】
また、同図の“映像書き込み”において、映像メモリにブロックサイズのデータを書き込むためのメモリアクセスの回数を減少させるために、ブロックサイズ全体に対するデータを書き込まずに、１つのピクセル値のみ（または、１つ以上のピクセル値）、そして、位置情報及びその他の情報を活用して、ブロックサイズ全体に対するデータを書き込むことができる。
【００８８】
また、本発明では、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ
Ｐｒｅｄｉｃｔｉｏｎ）方法を用いるとき、深さ情報マップブロックの深さ情報値にアクセス（Ａｃｃｅｓｓ）するための回数を大きく減少させて、メモリ効率を大きく増加させ、複雑度を減少させる方法を提案する。
【００８９】
図１２は、深さ情報値を用いて動き情報を導出する過程の一実施例を示す。
【００９０】
同図は、Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いるとき、深さ情報値を用いて、現在ブロックに隣接する周辺ブロック（または現在ブロック）の動き情報を導出する過程を示す。ここで、深さ情報値を誘導する方法は、様々に適用できる。
【００９１】
実施第１の例として、現在ブロック（実際の映像でのブロック）のピクチャと視点が同じ深さ情報マップにおいて、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する深さ情報マップブロック内の深さ情報値を用いてもよい。
【００９２】
他の実施第２の例として、現在ブロック（実際の映像でのブロック）のピクチャと視点が同じ深さ情報マップにおいて、現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロック内の深さ情報値を用いてもよい。
【００９３】
更に他の実施第３の例として、現在ブロック（実際の映像でのブロック）のピクチャと視点が異なる（例えば、現在の視点と隣接する視点）深さ情報マップにおいて、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する深さ情報マップブロック内の深さ情報値を用いることができ、このとき、現在ブロックに隣接する周辺ブロック（Ａ，Ｂ，Ｃ，Ｄ）に対応する深さ情報マップブロックを見つけるために、深さ情報マップにおいて視点間の距離だけ移動した位置の深さ情報マップブロックを使用することができる。
【００９４】
更に他の実施第４の例として、現在ブロック（実際の映像でのブロック）のピクチャと視点が異なる（または、現在の視点と隣接する視点）深さ情報マップにおいて、現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロック内の深さ情報値を用いることができ、このとき、現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックを見つけるめに、深さ情報マップにおいて視点間の距離だけ移動した位置の深さ情報マップブロックを使用することができる。
【００９５】
更に他の実施第５の例として、深さ情報値を誘導するために、深さ情報マップを使用せずに、実際の映像間の視点間の差や動き情報の差などを通じて深さ情報値と類似の値を誘導し、その値を、深さ情報値の代わりに使用してもよい。また、深さ情報値を誘導せずに、実際の映像間の視点間の差、あるいは、動き情報の差などを通じて動き情報を直ちに誘導することもできる。
【００９６】
図１３は、現在ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックにおいて深さ情報値を得るための位置の一実施例を示す。
【００９７】
まず、同図のように、現在ブロックに隣接する周辺ブロック（または現在ブロック）Ｘに対応する深さ情報マップブロックＸ’において深さ情報値を得るための位置は、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎ、Ｏ、Ｐ、Ｑ、Ｒ、Ｓのように様々に選択することがができる。
【００９８】
また、現在ブロックに隣接する周辺ブロック（または現在ブロック）Ｘに対応する深さ情報マップブロックＸ’の周辺ブロックの深さ情報値が用いられてもよい。一実施例として、現在ブロックに隣接する周辺ブロック（または現在ブロック）Ｘに対応する深さ情報マップブロックＸ’と隣接した左側、右側、上側、下側、左上側、右上側、左下側、右下側のブロックを使用することができる。
【００９９】
一実施例として、同図の現在ブロックに隣接する周辺ブロック（または現在ブロック）Ｘに対応する深さ情報マップブロックＸ’において、複数個の深さ情報値のうち１つのみを用いて動き情報を誘導することができる。これは、現在ブロックに隣接する周辺ブロック（または現在ブロック）の各ブロック当たり１つの深さ情報値のみを用いて動き情報を誘導する。この場合、図１４のように、４×４ブロック毎にそれぞれ１つの深さ情報値のみをアクセスするので、１６×１６ブロック内で１６個の深さ情報値にアクセスする。
【０１００】
図１４は、１６×１６ブロックが４×４ブロックに分かれた一例を示す。
【０１０１】
一般に、各ブロック毎に最下位の右側のピクセルが統計的に多く選択されるので、比較演算なしに各ブロック毎にその位置に該当する深さ情報値を動き情報の誘導に使用することができる。
【０１０２】
更に他の一実施例として、１つの深さ情報値を、実際の映像の任意の領域（または特定の領域）内で複数のブロックが共有して動き情報の誘導に使用することができる。一実施例として、実際の映像の任意の領域をマクロブロック（Ｍａｃｒｏｂｌｏｃｋ）単位で指定してもよく、この場合、マクロブロックが複数個のブロックに分かれるとき、全てのブロックが１つの深さ情報値を動き情報の誘導に使用することができる。このような実際の映像の任意の領域は、マクロブロック単位だけでなくサブブロック単位であってもよく、また、マクロブロックのグループ単位であってもよい。また、現在、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とＶＣＥＧ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）において共同に標準化を進行しているＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）の場合には、ＣＵ（Ｃｏｄｉｎｇ  Ｕｎｉｔ）単位、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）単位、ＴＵ（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）単位、あるいはＣＵのグループ単位が任意の領域となってもよい。
【０１０３】
図１５は、１６×１６ブロックが４×４ブロックに分かれた一実施例を示し、図１６は、１６×１６ブロックが任意の様々な形状のブロックに分かれた一実施例を示し、図１７は、１６×１６ブロックが同一の形状のブロックに分かれた他の実施例を示す。
【０１０４】
このような方法の一実施例として、現在ブロックに隣接する周辺ブロック（または現在ブロック）の各ブロックの位置が、図１５でのように４×４ブロックのうちの１つである場合、当該ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックにおいて、各４×４ブロック単位での斜線の陰影部分の深さ情報値を使用せずに、１６×１６領域の右下側に位置したチェックの陰影部分の深さ情報値のみを互いに共有して使用することができる。
【０１０５】
この場合、図１５のように、１６個の４×４ブロックが１つの深さ情報値のみをアクセスするので（１６×１６ブロック内で１個の深さ情報値にアクセスするので）、メモリ帯域幅を大きく減少させることができる。また、図１６のように、現在ブロックに隣接する周辺ブロック（または現在ブロック）の各ブロックが任意の様々な形状のブロックである場合、当該ブロック（実際の映像でのブロック）に対応する深さ情報マップブロックにおいて、それぞれのブロック内の斜線の陰影部分の深さ情報値を使用せずに、１６×１６領域の右下側に位置したチェックの陰影部分の深さ情報値のみを互いに共有し、全てのブロックで使用することができる。
【０１０６】
更に他の一実施例として、各ブロック毎に最下位の右下側に位置した深さ情報値間の相関関係を調べ、その差が基準値よりも大きくないと（または、その差が基準値よりも大きいか、その差が小さいと）、任意の領域（一例として、ＭＢ単位）において最下位の右下側に位置した深さ情報値を各ブロックの代表深さ情報値とし、任意の領域内の全てのブロックが当該深さ情報値を共有して、動き情報を誘導するのに使用することができる。
【０１０７】
現在ブロックが視点間予測を行い、現在ブロックに隣接する周辺ブロックが全て時間的予測を行うとき（または、周辺ブロックが有効でないか、あるいは周辺ブロックが画面内予測である場合）、現在ブロックに隣接する周辺ブロックはいずれもＤｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いて動き情報を誘導することができる。
【０１０８】
図１８は、現在ブロックＸが視点間予測を行う一実施例を示す。一実施例として、同図において、現在ブロックＸが視点間予測を行い、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃが全て時間的予測を行う場合（または、周辺ブロックが有効でないか、または周辺ブロックが画面内予測である場合）、現在ブロックＸの周辺ブロックＡ、Ｂ、ＣはいずれもＤｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いて動き情報を誘導するようになる。このとき、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃにおいて、右下側にある深さ情報値を使用して動き情報を誘導することができる。
【０１０９】
更に他の一実施例として、図１７のように、１６×１６ブロックの２５６個の深さ情報値のうち、ブロックの隅の４個の（または任意の位置の）深さ情報値の中で最大（または最小、または任意の値であってもよい）の深さ情報値のうちの１つのみを任意の領域（または特定の領域）内で複数のブロックが共有して、動き情報の誘導に使用することができる。
【０１１０】
一実施例として、実際の映像の任意の領域をマクロブロック（Ｍａｃｒｏｂｌｏｃｋ）単位で指定することができ、この場合、マクロブロックが複数個のブロックに分かれるとき、マクロブロックにおいて隅の４個の（または、任意の位置の深さ情報値）深さ情報値のうち１つの最大（または最小、または任意の値であってもよい）の深さ情報値を用いて、マクロブロック内の全てのブロックが動き情報の誘導に共有して使用することができる。
【０１１１】
一般に、視点間予測で符号化されるブロックは、図１８のように、背景よりは客体である場合が多い。一方、背景部分は、時間的予測を使用して符号化される場合が多い。しかし、現在ブロックＸに視点間予測のための動き情報を誘導するとき、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃ客体ではない背景部分でその深さ情報マップブロックの深さ情報値を使用して動き情報を誘導する場合、客体ではない背景部分に対する動き情報が誘導され得る。この場合、現在ブロックＸに対する動き情報の誘導が誤って符号化効率を減少させることがある。
【０１１２】
上記のような問題を解決し、符号化効率を増加させるために、現在ブロックＸが視点間予測を使用して符号化／復号化され、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃが時間的予測を使用する場合（または、周辺ブロックが有効でないか、または周辺ブロックが画面内予測である場合）、現在ブロックＸの視点間動き情報の誘導のために、周辺ブロックＡ、Ｂ、Ｃに対応する深さ情報値を使用せずに、現在ブロックＸに対応する深さ情報値を使用して現在ブロックＸに対する動き情報を誘導することができる。
【０１１３】
一実施例として、現在ブロックＸが視点間予測を使用して符号化／復号化される場合、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃがいずれも時間的予測を使用すれば（または周辺ブロックが有効でないか、または周辺ブロックが画面内予測である場合）、現在ブロックＸに対応する深さ情報値を使用して、現在ブロックＸに対する動き情報を誘導することができる。
【０１１４】
更に他の一実施例として、現在ブロックＸが視点間予測を使用して符号化／復号化される場合、現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃのうち、時間的予測を使用するブロックがあれば（または周辺ブロックが有効でないか、または周辺ブロックが画面内予測である場合）、当該ブロックに対応する深さ情報値を使用せずに、現在ブロックＸに対応する深さ情報値を使用して、現在ブロックＸに対する動き情報を誘導することができる。
【０１１５】
Ｄｅｐｔｈ−ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＤＭＶＰ）方法を用いるとき、深さ情報マップブロックの深さ情報値にアクセス（Ａｃｃｅｓｓ）しなければならないので、実際の映像を符号化するとき、深さ情報マップにアクセスするようにすることができる。
【０１１６】
したがって、実際の映像と深さ情報マップとの間に依存性が存在し、このような依存性は、符号化時に遅延（ｄｅｌａｙ）を誘発することがあり、ハードウェア具現の面でも非効率的である。したがって、このような依存性を除去するための方法として、動き情報を誘導するために使用される深さ情報値のいくつかを、ピクチャ単位でシグナリングする方法を用いることができる。前記方法の場合、特定の領域内で１つの深さ情報値を共有する。このような特定の領域は、１６×１６サイズであってもよく、３２×３２サイズであってもよく、それ以上のサイズであってもよい。このような特定の領域をピクチャ（またはスライス、または任意の領域）単位で拡張して使用することができ、ピクチャ（またはスライス、または任意の領域）単位において、１つの深さ情報値ではなく、複数個の深さ情報値を使用して動き情報を誘導することができる。
【０１１７】
図１９は、ピクチャ単位の代表深さ情報値の一例を示す。
【０１１８】
一実施例として、同図に示すように、ピクチャ（またはスライス、または任意の領域）単位において４個の深さ情報値を使用することができる。この場合、ピクチャ（またはスライス、または任意の領域）内の全てのブロックは、各ブロックでの深さ情報値を使用せずに、同図の深さ情報値を使用して動き情報を誘導することができる。このとき、各ブロックで使用する深さ情報値を設定するために、ブロック毎にインデックスをシグナリングしてもよく、または任意の領域毎にインデックスをシグナリングしてもよい。ここで、インデックスシグナリングによるビット量の増加を最小化するために、ピクチャ（またはスライス、または任意の領域）毎に深さ情報値を１つ（または１つ以上）のみ使用することができ、１つのみ使用する場合、ブロック毎にシグナリングしなくてもよいので、ビット量の増加を最小化することができる。
【０１１９】
更に他の一実施例として、各ブロック毎に選択された深さ情報値をインデックステーブルとして作って、情報量をさらに減少させることができる。更に他の一実施例として、構成された深さ情報値リストにおいて、インデックス番号が低い順序にあるもの（優先順位が高い）から順番に使用することができ、このとき、インデックスに対するシグナリングをしなくてもよく、当該深さ情報値リストは、周辺ブロックの情報（一例として、符号化モード、動き情報など）を通じてブロック単位で更新され、次のブロックにおいて使用され得る。
【０１２０】
上述した方法を用いた復号化過程の他の一例を示すと、以下の通りである。
【０１２１】
表１は、動きベクトル予測において、動きベクトルに対する変更プロセスを示す。表１を参照して、動きベクトルを算出する復号化過程を説明すると、次の通りである。
【０１２２】
【表１】
0006446488.tif 000002
【０１２３】
表１において、ＶｉｅｗＩｄＴｏ３ＤＶＡｃｑｕｉｓｉｔｉｏｎＰａｒａｍＩｎｄｅｘの機能は、ｖｉｅｗ_ｉｄ［ｉ］がアクティブシーケンスパラメータセットのｖｉｅｗＩｄと同一である場合、ｉ値をリターンする。
【０１２４】
ＮｄｒＩｎｖｅｒｓｅ［ｉ」は、線形マッピングまたは非線形マッピングを示すことができ、線形マッピングの場合、スケールやオフセットの変更なしに、入力によって出力が決定される。
【０１２５】
ＺＮｅａｒまたはＺＦａｒは、非線形ｄｅｐｔｈ ｖｉｅｗ ｃｏｍｐｏｎｅｎｔを構成するデプスサンプルの範囲を示すために使用することができる。
【０１２６】
表１によれば、深さ情報マップピクチャ（デプスレファレンスビューコンポーネント）と現在マクロブロックの左上端の位置などを用いれば、現在予測ブロックに該当するピクチャの視点の識別子（ｖｉｅｗ_ｉｄ）などを用いて、動きベクトルを算出することができる。
【０１２７】
【表２】
0006446488.tif 000003
【０１２８】
同様に、表２によれば、深さ情報マップピクチャであるデプスレファレンスビューコンポーネント（ｄｅｐｔｈ  ｒｅｆｅｒｅｎｃｅ  ｖｉｅｗ  ｃｏｍｐｏｎｅｎｔ）と現在マクロブロックの左上端の位置などを用いれば、現在予測ブロックに該当するピクチャの視点の識別子（ｖｉｅｗ_ｉｄ）などを用いて、動きベクトル（ｍｖ［０］，ｍｖ［１］）を算出することができる。
【０１２９】
１つの１６×１６マクロブロックが４×４ブロックに分かれる場合、それぞれの４×４ブロック毎に４個の深さ情報値を使用しなければならないため、メモリアクセス帯域幅が増加するという欠点が存在する。このような欠点を解決するために、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法を特定のブロック単位において使用しないようにすることができる。一実施例として、４×４ブロックにおいてＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法を使用しないように設定することができる。
【０１３０】
一実施例として、４×４ブロックにおいてＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法を使用しないように設定することができる。この場合、当該ブロックに対する動きベクトルを零ベクトル（０，０）に設定して使用することができる。
【０１３１】
上述した方法を用いた復号化過程の更に他の一例を示すと、次の通りである。
【０１３２】
【表３】
0006446488.tif 000004
【０１３３】
表３によれば、深さ情報マップピクチャであるデプスレファレンスビューコンポーネント（ｄｅｐｔｈ  ｒｅｆｅｒｅｎｃｅ  ｖｉｅｗ  ｃｏｍｐｏｎｅｎｔ）と現在マクロブロックの左上端の位置などを用いれば、現在予測ブロックに該当するピクチャの視点の識別子（ｖｉｅｗ_ｉｄ）などを用いて、動きベクトル（ｍｖ［０］，ｍｖ［１］）を算出することができる。
【０１３４】
表３で例示したように、マクロブロックのようなコーディング単位に対応する深さ情報マップにおいて最大の距離値（ｄｉｓｐａｒｉｔｙ）関数を見つけてリターンすると、動き情報（ｍｖ［０］，ｍｖ［１］）を算出することができる。
【０１３５】
上述した方法は、現在、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とＶＣＥＧ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）において共同に標準化を進行しているＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）を使用することができる。
【０１３６】
したがって、上述した方法は、図２０の例のように、ブロックの大きさ、ＣＵ（Ｃｏｄｉｎｇ  Ｕｉｎｔ）の深さ、またはＴＵ（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）の深さなどによって適用範囲を異にすることができる。
【０１３７】
図２０は、与えられたＣＵ（またはＴＵ）の深さが２である場合、本発明の実施例を適用する範囲の決定方式の例（Ｏ：当該深さに適用、Ｘ：当該深さに適用しない。）を示す。このように適用範囲を決定する変数（即ち、大きさまたは深さ情報）は、符号化器及び復号化器が予め定められた値を使用するように設定してもよく、プロファイルまたはレベルに応じて定められた値を使用するようにしてもよく、符号化器が変数値をビットストリームに記載すると、復号化器は、ビットストリームからこの値を求めて使用してもよい。
ＣＵの深さに応じて適用範囲を異にするときは、同図に例示したように、方式Ａ）与えられた深さ以上の深さにのみ適用する方式、方式Ｂ）与えられた深さ以下にのみ適用する方式、方式Ｃ）与えられた深さにのみ適用する方式があり得る。
【０１３８】
上述した方法を用いた復号化過程の更に他の一例を示すと、以下の通りである。
【０１３９】
【表４】
0006446488.tif 000005
【０１４０】
深さ情報マップピクチャであるデプスレファレンスビューコンポーネント（ｄｅｐｔｈ
ｒｅｆｅｒｅｎｃｅ  ｖｉｅｗ  ｃｏｍｐｏｎｅｎｔ）と現在マクロブロック（またはＣＵ）の左上端の位置などを用いれば、現在予測ブロック（またはＣＵ）に該当するピクチャの視点の識別子（ｖｉｅｗ_ｉｄ）などを用いて、動きベクトル（ｍｖ［０］，ｍｖ［１］）を算出することができる。
【０１４１】
全ての深さに対して本発明の方法を適用しない場合は、任意の指示子（ｆｌａｇ）を使用して表してもよく、ＣＵ深さの最大値よりも１つ大きい値を、適用範囲を示すＣＵ深さ値としてシグナリングすることによって表現してもよい。
【０１４２】
本発明の追加的な特徴として、上述した方法を適用するか否かはビットストリームに含まれてもよく、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、スライスヘッダーシンタックス（Ｓｌｉｃｅ  Ｈｅａｄｅｒ  Ｓｙｎｔａｘ）に、以下のようなセマンティクス（Ｓｅｍａｎｔｉｃｓ）で適用され得る。
【０１４３】
表５は、ＳＰＳに適用された一例、表６は、ＰＰＳに適用された一例、表７は、スライスヘッダーシンタックスに適用された一例、表８は、スライスヘッダーシンタックスに適用された他の例を示す。
【０１４４】
表５は、コーディングされたビデオデータのうち、ＰＳ_ＲＢＳＰのシンタックスの一例を示す。
【０１４５】
【表５】
0006446488.tif 000006
【０１４６】
表５において、ＳＰＳ_ＲＢＳＰのシンタックスに従ってコーディングされたビデオデータは、次のような情報を含むことができる。
【０１４７】
ｐｒｏｆｉｌｅ_ｉｄｃは、コーディングされたビデオデータのコーディングプロファイルに対する識別情報を示す。
【０１４８】
ｌｅｖｅｌ_ｉｄｃは、コーディングされたビデオデータの特定レベル、またはそれより小さいレベルを示す。
【０１４９】
ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇは、コーディングブロックまたはコーディング単位の大きさに応じて、当該コーディングブロックまたはコーディング単位の深さ情報マップの代表を使用するようにするフィールドである。詳細な例は後述する。
【０１５０】
表６は、コーディングされたビデオデータのうち、ＰＰＳ_ＲＢＳＰのシンタックスの一例を示す。
【０１５１】
【表６】
0006446488.tif 000007
【０１５２】
表６において、ＰＰＳ_ＲＢＳＰのシンタックスに従ってコーディングされたビデオデータは、次のような情報を含むことができる。
【０１５３】
ｐｉｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、スライスヘッダーに参照されるピクチャパラメータセットを識別する。
【０１５４】
ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、ピクチャパラメータセット内のシンタックスエレメントに対するアクティブシーケンスパラメータセットを参照する識別子である。
【０１５５】
ｅｎｔｒｏｐｙ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｆｌａｇは、シンタックスエレメントに適用されるエントロピーコーディング方法を示す。
【０１５６】
ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇは、コーディングブロックまたはコーディング単位の大きさに応じて、当該コーディングブロックまたはコーディング単位の深さ情報マップの代表を使用するようにするフィールドである。詳細な例は後述する。
【０１５７】
表７は、コーディングされたビデオデータのうち、スライスヘッダーのシンタックスの一例を示す。
【０１５８】
【表７】
0006446488.tif 000008
【０１５９】
表７において、スライスヘッダーのシンタックスに従ってコーディングされたビデオデータは、次のような情報を含むことができる。
【０１６０】
ｓｌｉｃｅ_ｔｙｐｅは、スライスのコーディングタイプを示す。
【０１６１】
ｐｉｃ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、使用されるピクチャパラメータセットを示す。
【０１６２】
ｆｒａｍｅ_ｎｕｍは、ピクチャ識別子として使用できるフィールドである。
【０１６３】
ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏは、コーディングブロックまたはコーディング単位の大きさに応じて、当該コーディングブロックまたはコーディング単位の深さ情報マップの代表を使用するようにするフィールドである。詳細な例は後述する。
【０１６４】
表８は、コーディングされたビデオデータのうち、スライスヘッダーシンタックスの他の一例を示す。
【０１６５】
【表８】
0006446488.tif 000009
【０１６６】
ｌｉｇｈｔｗｅｉｇｈｔ_ｓｌｉｃｅ_ｆｌａｇではない場合、表７に含まれたシンタックスによる値がビデオデータに含まれる。
【０１６７】
上記と同様に、ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏは、コーディングブロックまたはコーディング単位の大きさに応じて、当該コーディングブロックまたはコーディング単位の深さ情報マップの代表を使用するようにするフィールドである。
【０１６８】
上記の表の例において、“ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇ”は、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法が適用されたか否かを知らせる。ここで、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法が適用された場合、“ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇ”が‘１’となり、適用されなかった場合、“ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇ”が‘０’となる。その逆も可能である。
【０１６９】
また、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_  ｉｎｆｏ”は、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法が適用された場合（または、“ｄｍｖｐ_ｅｎａｂｌｅｄ_ｆｌａｇ”がｔｒｕｅの場合）に活性化されるシンタックス（ｓｙｎｔａｘ）であって、これは、ＣＵの深さ（ｄｅｐｔｈ）（またはＣＵの大きさ（ｓｉｚｅ）、またはマクロブロックの大きさ、またはサブマクロブロックの大きさ、またはブロックの大きさ）によってＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ
Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法を適用するか否かを知らせる。一例として、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏ”が‘０’の場合には、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法が全てのブロックの大きさに適用されてもよい。また、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏ”が‘１’の場合には、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法が４×４ブロックの大きさよりも大きい単位にのみ適用され得る。更に他の一例として、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_  ｉｎｆｏ”が‘２’の場合には、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法が８×８ブロックの大きさよりも大きい単位にのみ適用され得る。または、その逆も可能である。
【０１７０】
例えば、“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏ”が‘１’の場合には、ＤＭＶＰ（Ｄｅｐｔｈ−ｂａｓｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）方法が４×４ブロックの大きさよりも小さい単位にのみ適用され得る。このような“ｄｍｖｐ_ｄｉｓａｂｌｅｄ_ｉｎｆｏ”シンタックス（ｓｙｎｔａｘ）の使用方法は、様々に適用可能である。
【０１７１】
図２１は、本発明に係るビデオデータデコーディング方法の一実施例を例示した図である。図２１を参照して、本発明に係るビデオデータデコーディング方法の一実施例を説明すると、次の通りである。
【０１７２】
ビデオデータと前記ビデオデータに対応する深さ情報データとを含むビデオデータを受信し、パージングする（Ｓ１１０）。ここで、ビデオデータは、３Ｄ−ＡＶＣによるビデオデータであってもよく、多視点（ｍｕｌｔｉ−ｖｉｅｗ）ビデオデータであってもよい。以下では、便宜上、ビデオデータと呼ぶ。
【０１７３】
図５で例示したように、ビデオデータ（ｔｅｘｔｕｒｅ）とそれに対応する深さ情報データ（ｄｅｐｔｈ）とを含むビデオのビットストリームがデコーダに受信されると、デコーダは、当該ビデオのビットストリームを、コーディングされたシンタックスに従ってパージングすることができる。図２又は図６のように、ビデオデータと深さ情報データとは対応し得る。
【０１７４】
深さ情報データから、前記コーディングされたビデオデータのコーディング単位の視点間予測のための動き情報を得、前記動き情報に基づいて視点間予測を行う（Ｓ１２０）。
【０１７５】
コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）を含むことができる。
【０１７６】
図８乃至図１０、及び図１４乃至図１７は、当該コーディング単位の動き予測のための動き情報を算出するためにコーディング単位が参照する深さ情報マップピクチャにおいて、対応するコーディング単位のどの位置の深さ情報値を利用しなければならないかに関する例を開示した。
【０１７７】
動き情報を得る過程は、表１乃至表４に例示した。
【０１７８】
例えば、動き情報は、コーディング単位が参照する深さ情報データ内の深さ情報マップピクチャ、及びコーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上を用いて算出することができる。
【０１７９】
また、動き情報は、深さ情報マップピクチャのビュー識別子、及びコーディング単位を含むピクチャのビュー識別子をさらに用いて算出することができる。
【０１８０】
他の例として、動き情報は、コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出することができる。
【０１８１】
図１８で例示したように、コーディング単位が参照する前記深さ情報マップピクチャに含まれた深さ情報値を用いて、コーディング単位に隣接するコーディング単位に対する動き情報を算出することができる。
【０１８２】
そして、図１６で例示したように、コーディング単位の動き情報を得た場合、前記コーディング単位の動き情報を用いて、前記コーディング単位に含まれたサブコーディング単位の動き情報を算出することもできる。
【０１８３】
動き予測に基づいて、前記コーディング単位が含まれた前記多視点ビデオデータ及び前記深さ情報データによるビデオデータを復元する（Ｓ１３０）。復元されたビデオデータは、ビデオデータとビデオデータに対応する深さ情報データによるデコーディングサンプルとして出力されてもよい。
【０１８４】
図２２は、本発明に係るデコーディング装置の一実施例を例示した図である。
【０１８５】
本発明に係るデコーディング装置の一実施例は、図４又は図５の右側図に基づいてもよい。
【０１８６】
本発明に係るデコーディング装置の一実施例は、受信部１１０、予測部１２０及び復元部１３０を含むことができる。
【０１８７】
受信部１１０は、ビデオデータとビデオデータに対応する深さ情報データとを含むビデオデータを受信してパージングすることができる。受信部は、受信したデータをエントロピーデコーディング、逆量子化、逆変換過程を行うことができる。
【０１８８】
受信部１１０は、図５で例示したように、多視点ビデオデータ（ｔｅｘｔｕｒｅ）とそれに対応する深さ情報データ（ｄｅｐｔｈ）とを含むビデオのビットストリームがデコーダに受信されると、デコーダは、当該ビデオのビットストリームを、コーディングされたシンタックスに従ってパージングすることができる。
【０１８９】
予測部１２０は、イントラモードまたはインターモードによって参照映像を用いて動き情報を算出し、それによって動き予測を行うことができる。予測部１２０は、深さ情報データから、前記多視点ビデオデータのコーディング単位の動き予測のための動き情報を得ることができる。
【０１９０】
コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）を含むことができる。
【０１９１】
図８乃至図１０、及び図１４乃至図１７は、予測部１２０が、当該コーディング単位の視点間予測のための動き情報を算出するために、コーディング単位が参照する深さ情報マップピクチャにおいて、対応するコーディング単位のどの位置の深さ情報値を利用しなければならないかに関する例を開示した。
【０１９２】
予測部１２０が動き情報を得る過程の例は、表１乃至表４に例示した。例えば、動き情報は、コーディング単位が参照する深さ情報データ内の深さ情報マップピクチャ、及びコーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上を用いて算出することができる。また、動き情報は、深さ情報マップピクチャのビュー識別子、及びコーディング単位を含むピクチャのビュー識別子をさらに用いて算出することができる。他の例として、予測のための動き情報は、コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出することもできる。
【０１９３】
図１８で例示したように、予測部１２０は、コーディング単位が参照する前記深さ情報マップピクチャに含まれた深さ情報値を用いて、コーディング単位に隣接するコーディング単位に対する動き情報を算出することができる。
【０１９４】
そして、予測部１２０は、図１６で例示したように、コーディング単位の動き情報を得た場合、前記コーディング単位の動き情報を用いて、前記コーディング単位に含まれたサブコーディング単位の動き情報を算出することができる。
【０１９５】
復元部１３０は、ビデオデータに対する動きを補償し、予測に基づいて、コーディング単位が含まれたビデオデータ及び深さ情報データによるビデオデータを復元することができる。
【０１９６】
図２３は、本発明に係るエンコーディング方法の一実施例を例示した図である。同図を参照して、本発明に係るエンコーディング方法の一実施例を説明すると、次の通りである。
【０１９７】
多視点ビデオデータ、及び前記多視点ビデオデータに対応する深さ情報データをそれぞれエンコーディングする（Ｓ２１０）。
【０１９８】
多視点ビデオデータをコーディング単位でエンコーディングする場合、多視点ビデオデータのビュー識別子を用いて、深さ情報データの深さ情報マップピクチャを参照することができる。コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）を含むことができる。
【０１９９】
例えば、コーディング効率を高めるために、当該ビュー識別子による深さ情報のデータから、そのコーディング単位が参照する深さ情報マップピクチャ、及び前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上の位置情報に基づいて、動き情報を算出することができる。動き情報は、深さ情報マップピクチャのビュー識別子、及びコーディング単位を含むピクチャのビュー識別子をさらに用いて算出することができる。動き情報は、コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出することもできる。
【０２００】
多視点ビデオデータ及び前記多視点ビデオデータに対応する深さ情報データがエンコーディングされると、動き情報を用いて、視点間予測されたデータとコーディング単位との差である残余データ（ｒｅｓｉｄｕａｌ  ｄａｔａ）のみをエンコーディングすることができる。
【０２０１】
エンコーディングされたデータは、例示したシンタックスに従ってビットストリームとして出力され得る（Ｓ２２０）。
【０２０２】
図５で例示したように、コーディングされた多視点ビデオデータ及び深さ情報データが多重化され、ビットストリームとして伝送されてもよい。
【０２０３】
伝送されたデータは、それぞれ、当該伝送データに応じて、表５乃至表８のシンタックスによるビデオデータであってもよい。
【０２０４】
図２４は、本発明に係るエンコーディング装置の一実施例を例示した図である。同図を参照して、本発明に係るエンコーディング装置の一実施例を説明すると、次の通りである。図５に例示したものとほぼ同一に、本発明に係るエンコーディング装置の一実施例は、エンコーディング部２１０及び出力部２２０を含む。
【０２０５】
エンコーディング部２１０は、多視点ビデオデータ、及び前記多視点ビデオデータに対応する深さ情報データをそれぞれエンコーディングする。
【０２０６】
エンコーディング部２１０が多視点ビデオデータをコーディング単位でエンコーディングする場合、多視点ビデオデータのビュー識別子を用いて、深さ情報データの深さ情報マップピクチャを参照することができる。コーディング単位は、マクロブロック、またはＨＥＶＣで定義するコーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）及び変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）を含むことができる。
【０２０７】
図８乃至図１０、及び図１４乃至図１７は、当該コーディング単位の動き予測のための動き情報を算出するためにコーディング単位が参照する深さ情報マップピクチャにおいて、対応するコーディング単位のどの位置の深さ情報値を利用しなければならないかに関する例を開示した。
【０２０８】
エンコーディング部２１０は、多視点ビデオデータのビュー識別子によって、深さ情報のデータから、そのコーディング単位が参照する深さ情報マップピクチャ、及び前記コーディング単位の左上側サンプル、右上側サンプル、左下側サンプル、及び右下側サンプルの位置情報のうちの少なくとも１つ以上の位置情報に基づいて、動き情報を算出し、算出した動き情報を用いて視点間予測を行うことができる。動き情報は、コーディング単位が参照する深さ情報マップピクチャ内の深さ情報値の最大距離差を用いて算出することもできる。
【０２０９】
エンコーディング部２１０は、コーディング単位の残余データ（ｒｅｓｉｄｕａｌ  ｄａｔａ）のみをコーディングすることができる。
【０２１０】
出力部２２０は、コーディングされたデータがＳＰＳ、ＰＰＳ、スライスなどであるか否かによって、表５乃至表８のシンタックスによる多視点ビデオデータ及び前記多視点ビデオデータに対応する深さ情報データを出力することができる。
【０２１１】
図５で例示したように、多視点ビデオデータ（ｔｅｘｔｕｒｅ）とそれに対応する深さ情報データ（ｄｅｐｔｈ）とを含むビデオのビットストリームがデコーダに受信されると、デコーダは、当該ビデオのビットストリームを、コーディングされたシンタックスに従ってパージングすることができる。図２又は図６のように、ビデオデータと深さ情報データとは対応し得る。
【発明を実施するための形態】
【０２１２】
発明の実施のための形態は、発明を実施するための最良の形態において共に記述された。
【産業上の利用可能性】
【０２１３】
本発明は、ビデオデータのエンコーダとデコーダに反復的に使用することができるので、産業上の利用可能性がある。
【図１】
0006446488.tif 000010
【図２】
0006446488.tif 000011
【図３】
0006446488.tif 000012
【図４】
0006446488.tif 000013
【図５】
0006446488.tif 000014
【図６】
0006446488.tif 000015
【図７】
0006446488.tif 000016
【図８】
0006446488.tif 000017
【図９】
0006446488.tif 000018
【図１０】
0006446488.tif 000019
【図１１】
0006446488.tif 000020
【図１２】
0006446488.tif 000021
【図１３】
0006446488.tif 000022
【図１４】
0006446488.tif 000023
【図１５】
0006446488.tif 000024
【図１６】
0006446488.tif 000025
【図１７】
0006446488.tif 000026
【図１８】
0006446488.tif 000027
【図１９】
0006446488.tif 000028
【図２０】
0006446488.tif 000029
【図２１】
0006446488.tif 000030
【図２２】
0006446488.tif 000031
【図２３】
0006446488.tif 000032
【図２４】
0006446488.tif 000033