(57)【特許請求の範囲】
【請求項１】
予測ブロックのサブブロック単位にマルチビュービデオをデコードするビデオデコード方法であって、
現在予測ブロックのための予測モードを決定するステップと、
前記現在予測ブロックのための予測モードがマージモード又はスキップモードである時、前記現在予測ブロックの周辺ブロックから動き情報を、マージ候補として導き出すステップと、
前記周辺ブロックの動き情報と前記現在予測ブロックの周辺ブロックから導き出したディスパリティ情報を利用して、マージ候補リストを構成するステップと、
前記現在予測ブロックに対応するデプスブロックを特定するステップと、
前記デプスブロックの４つのコーナーサンプルのデプス（ｄｅｐｔｈ）値を利用して、前記現在予測ブロックをサブブロックに分割するステップと、
前記サブブロックに対応するデプスブロックを利用して、各サブブロック別にディスパリティーベクトルを導き出すステップと、
前記ディスパリティーベクトルを利用して、前記サブブロック別に予測サンプルを導き出すステップとを含み、
前記マージ候補リストの構成は、前記現在予測ブロックの周辺ブロックから導き出された前記ディスパリティ情報により特定された参照ビューで参照ブロックの動き情報から導き出された第１マージ候補と、前記現在予測ブロックの左側ブロックから導き出された動き情報を表す第２マージ候補と、前記現在予測ブロックの上側ブロックから導き出された動き情報を表す第３マージ候補と、前記現在予測ブロックの右上側ブロックから導き出された動き情報を表す第４マージ候補と、前記ディスパリティ情報から導き出された第５マージ候補と、ビュー合成のためのディスパリティ情報から導き出された第６マージ候補と、前記現在予測ブロックの左下側ブロックから導き出された動き情報を表す第７マージ候補と、前記現在予測ブロックの左上側ブロックから導き出された動き情報を表す第８マージ候補と、の順にマージ候補を配置し、
前記マージ候補を構成するステップは、照度補償が前記現在予測ブロックに適用されるかを決定するステップと、前記第６マージ候補は前記照度補償が前記現在予測ブロックに適用されるかに基づいて前記マージ候補リストの中に含まれるかを決定するステップを含み、
前記照度補償が前記現在予測ブロックに適用される時、前記第６マージ候補は前記マージ候補リストに含まれない、ビデオデコード方法。
【請求項２】
前記デプスブロックは、前記現在予測ブロックを含むピクチャと同じＰＯＣ（ｐｉｃｔｕｒｅ  ｏｒｄｅｒ  ｃｏｕｎｔ）のデプスピクチャ内のブロックである、請求項１に記載のビデオデコード方法。
【請求項３】
前記現在予測ブロックを分割するステップは、
前記デプスブロックの４つのコーナーサンプルのデプス値の大きさを対角線方向に比較して、前記サブブロックの大きさを決定する、請求項１に記載のビデオデコード方法。
【請求項４】
前記デプスブロックの左上側コーナーサンプルである第１サンプル、右上側コーナーサンプルである第２サンプル、左下側コーナーサンプルである第３サンプル、右下側コーナーサンプルである第４サンプルに対して、
前記第１サンプルのデプス値が前記第４サンプルのデプス値より小さく、前記第２サンプルのデプス値が前記第３サンプルのデプス値より小さな第１の場合、及び前記第１サンプルのデプス値が前記第４サンプルのデプス値より大きく、前記第２サンプルのデプス値が前記第３サンプルのデプス値より大きな第２の場合には、前記現在予測ブロックを水平方向のサブブロックに分割する、請求項３に記載のビデオデコード方法。
【請求項５】
前記第１の場合及び第２の場合に該当しなければ、前記現在予測ブロックを垂直方向のサブブロックに分割する、請求項４に記載のビデオデコード方法。
【請求項６】
前記サブブロックは、４ｘ８サブブロックまたは８ｘ４サブブロックのうちの何れか一つである、請求項３に記載のビデオデコード方法。
【請求項７】
前記デプスブロックの左上側コーナーサンプルである第１サンプル、右上側コーナーサンプルである第２サンプル、左下側コーナーサンプルである第３サンプル、右下側コーナーサンプルである第４サンプルに対して、
前記第１サンプルのデプス値が前記第４サンプルのデプス値より小さく、前記第２サンプルのデプス値が前記第３サンプルのデプス値より小さな第１の場合、及び前記第１サンプルのデプス値が前記第４サンプルのデプス値より大きく、前記第２サンプルのデプス値が前記第３サンプルのデプス値より大きな第２の場合には、前記現在予測ブロックを８ｘ４サブブロックに分割し、
前記第１の場合及び第２の場合でなければ、前記現在予測ブロックを４ｘ８サブブロックに分割する、請求項３に記載のビデオデコード方法。
【請求項８】
予測ブロックのサブブロック単位にマルチビュービデオをエンコードするビデオエンコード方法であって、
現在予測ブロックのための予測モードを決定するステップと、
前記現在予測ブロックのための予測モードがマージモード又はスキップモードである時、前記現在予測ブロックの周辺ブロックから動き情報を、マージ候補として導き出すステップと、
前記周辺ブロックの動き情報と前記現在予測ブロックの周辺ブロックから導き出したディスパリティ情報を利用して、マージ候補リストを構成するステップと、
前記現在予測ブロックに対応するデプスブロックを特定するステップと、
前記デプスブロックの４つのコーナーサンプルのデプス（ｄｅｐｔｈ）値を利用して、前記現在予測ブロックをサブブロックに分割するステップと、
前記サブブロックに対応するデプスブロックを利用して、各サブブロック別にディスパリティーベクトルを導き出すステップと、
前記ディスパリティーベクトルを利用して、前記サブブロック別に予測サンプルを導き出すステップと、
前記現在予測ブロックのための予測ブロックを示す情報を含むビットストリームを生成するステップとを含み、
前記マージ候補リストの構成は、前記現在予測ブロックの周辺ブロックから導き出された前記ディスパリティ情報により特定された参照ビューで参照ブロックの動き情報から導き出された第１マージ候補と、前記現在予測ブロックの左側ブロックから導き出された動き情報を表す第２マージ候補と、前記現在予測ブロックの上側ブロックから導き出された動き情報を表す第３マージ候補と、前記現在予測ブロックの右上側ブロックから導き出された動き情報を表す第４マージ候補と、前記ディスパリティ情報から導き出された第５マージ候補と、ビュー合成のためのディスパリティ情報から導き出された第６マージ候補と、前記現在予測ブロックの左下側ブロックから導出された動き情報を表す第７マージ候補と、前記現在予測ブロックの左上側ブロックから導き出された動き情報を表す第８マージ候補と、の順にマージ候補を配置し、
前記マージ候補を構成するステップは、照度補償が前記現在予測ブロックに適用されるかを決定するステップと、前記第６マージ候補は前記照度補償が前記現在予測ブロックに適用されるかに基づいて前記マージ候補リストの中に含まれるかを決定するステップを含み、
前記照度補償が前記現在予測ブロックに適用される時、前記第６マージ候補は前記マージ候補リストに含まれない、ビデオエンコード方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコーディングに関する技術であり、さらに具体的には、３Ｄビデオ映像のコーディングに関する。
【背景技術】
【０００２】
最近、高解像度、高品質の映像に対する要求が多様な応用分野において増加している。しかしながら、映像が高解像度を有し高品質になるほど、該当映像に関する情報量も共に増加する。
【０００３】
したがって、従来の有無線広帯域回線のような媒体を利用して、映像情報を送信するか、または従来の格納媒体を利用して映像情報を格納する場合には、情報の送信費用と格納費用が増加するようになる。高解像度、高品質映像の情報を効果的に送信し、格納し、再生するために、高効率の映像圧縮技術を利用できる。
【０００４】
一方、高解像／大容量の映像を処理できるようになるにつれて、３Ｄビデオを利用したデジタル放送サービスが次世代放送サービスの一つとして注目されている。３Ｄビデオは、複数の視点（ｖｉｅｗ）チャネルを利用して現場感と没入感を提供できる。
【０００５】
３Ｄビデオは、ＦＶＶ（ｆｒｅｅ  ｖｉｅｗ  ｐｏｉｎｔ  ｖｉｄｅｏ）、ＦＴＶ（ｆｒｅｅ  ｖｉｅｗ  ｐｏｉｎｔ  ＴＶ）、３ＤＴＶ、社会安全網（ｓｕｒｖｅｉｌｌａｎｃｅ）及びホームエンターテイメントのような多様な領域に使用することができる。
【０００６】
シングルビュービデオ（ｓｉｎｇｌｅ  ｖｉｅｗ  ｖｉｄｅｏ）とは異なり、マルチビューを利用した３Ｄビデオは、同じＰＯＣ（ｐｉｃｔｕｒｅ  ｏｒｄｅｒ  ｃｏｕｎｔ）のビューの間に高い相関度（ｃｏｒｒｅｌａｔｉｏｎ）を有する。マルチビュー映像は、隣接した複数のカメラ、すなわち、複数視点（ｖｉｅｗ）を利用して全く同じ場面を同時に撮影するから、視差と一抹の照明差を除外すると、ほとんど同じ情報を含んでいるので、互いに異なるビュー間の相関度が高い。
【０００７】
したがって、マルチビュービデオのエンコード／デコードでは、互いに異なるビュー間の相関度を考慮して、現在ビューのエンコード及び／またはデコードに必要な情報を獲得できる。例えば、現在ビューのデコード対象ブロックを他のビューのブロックを参照して予測またはデコードできる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、インタビュー予測を効果的に行うためのマージ候補導出方法及びマージ候補リスト構成方法及び装置を提供することを目的とする。
【０００９】
本発明は、マージ候補リストを構成する場合に、各マージ候補の有効な導出条件及び利用可能性を考慮できる方法及び装置を提供することを目的とする。
【００１０】
本発明は、デプス情報を利用して現在ブロックに対するデコードを効果的に行うために、現在ブロックのサブブロック単位にディスパリティーベクトルを導き出し、予測を行うことができる方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一実施の形態は、マルチビュービデオにおいてマージ候補リストを構成する方法であって、現在ブロックに対する予測モードを決定するステップと、現在ブロックに対する予測モードがマージモードまたはスキップモードである場合に、前記現在ブロックの周辺ブロックから動き情報をマージ候補として導き出すステップと、前記周辺ブロックの動き情報と現在ブロックの周辺ブロックから導き出したディープパリティ情報とを利用して、マージ候補リストを構成するステップとを含み、前記マージ候補リストを構成するステップでは、前記現在ブロックの周辺ブロックから導き出した第１ディスパリティ情報、前記現在ブロックの左側ブロックから導き出した動き情報、前記現在ブロックの上側ブロックから導き出した動き情報、前記現在ブロックの右上側ブロックから導き出した動き情報、前記第１ディスパリティ情報を基盤としてデプス情報を利用して導き出した第２ディスパリティ情報、ビュー合成に基づいて導き出した第３ディスパリティ情報、前記現在ブロックの左下側ブロックから導き出した動き情報、前記現在ブロックの左上側ブロックから導き出した動き情報の順にマージ候補が配置されることができる。
【００１２】
本発明の他の実施の形態は、ビュー合成予測を利用して、現在ブロックのサブブロック単位にマルチビュービデオをデコードする方法であって、現在予測ブロックに対応するデプスブロックを特定するステップと、前記デプスブロックの４つのコーナーサンプルのデプス（ｄｅｐｔｈ）値を利用して、前記現在予測ブロックをサブブロックに分割するステップと、前記サブブロックに対応するデプスブロックを利用して、各サブブロック別にディスパリティーベクトルを導き出すステップと、前記導き出したディスパリティーベクトルを利用して、前記サブブロック別に予測サンプルを導き出すステップとを含むことができる。
【発明の効果】
【００１３】
本発明によれば、インタビュー予測を行うためのマージ候補を効果的に導き出し、これを利用してマージ候補リストを構成することによって、コーディング効率を上げることができる。
【００１４】
本発明によれば、マージ候補リストを構成する場合に、各マージ候補の有効な導出条件及び利用可能性を考慮して、マージモードあるいはスキップモードの効果を高めることができる。
【００１５】
本発明によれば、現在ブロックのサブブロック単位にディスパリティーベクトルを導き出し予測を行って、ビュー合成予測の効果を高めることができる。
【図面の簡単な説明】
【００１６】
【図１】３Ｄビデオのエンコード及びデコード過程を概略的に説明する図である。
【図２】ビデオエンコード装置の構成を概略的に説明する図である。
【図３】ビデオデコード装置の構成を概略的に説明する図である。
【図４】インタビューコーディングを概略的に説明する図である。
【図５】デプスマップを利用するマルチビューコーディング方法を概略的に説明する。
【図６】ＤＶ−ＭＣＰブロックを概略的に説明する図である。
【図７】現在ブロックの周辺ブロックの一例を概略的に説明する図である。
【図８】マージ候補リストを構成している一例を概略的に説明する図である。
【図９】ＩＣが適用されない場合のマージ候補リスト構成方法に関する一例を概略的に説明する図である。
【図１０】ＩＣが適用される場合のマージ候補リスト構成方法に関する一例を概略的に説明する図である。
【図１１】ＩＣが適用される場合のマージ候補リスト構成方法に関する他の例を概略的に説明する図である。
【図１２】現在ブロックに対してＶＳＰを適用するために、対応するデプスブロックを特定する方法を概略的に説明する図である。
【図１３】ＶＳＰを適用してサブブロック単位にＤＣＰを行う方法の一例を概略的に説明する図である。
【図１４】ＶＳＰを適用してサブブロック単位にＤＣＰを行う方法の他の例を概略的に説明する図である。
【図１５】ＶＳＰを適用してサブブロック単位にＤＣＰを行う方法のさらに他の例を概略的に説明する図である。
【図１６】本発明によってマージ候補リストを構成する方法の一例を概略的に説明するフローチャートである。
【図１７】本発明によってＶＳＰを行う方法の一例を概略的に説明するフローチャートである。
【発明を実施するための形態】
【００１７】
本明細書においてピクセル（ｐｉｘｅｌ）またはペル（ＰＥＬ）は、一つの映像を構成する最小の単位を意味できる。また、特定のピクセルの値を表す用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般にピクセルの値を表すが、輝度（Ｌｕｍａ）成分のピクセル値のみを指示することもでき、色差（Ｃｈｒｏｍａ）成分のピクセル値のみを指示することもできる。
【００１８】
「ユニット（ｕｎｉｔ）」は、映像処理の基本単位または映像の特定位置を意味できる。ユニットは、場合によって「ブロック（ｂｌｏｃｋ）」または「領域（ａｒｅａ）」などの用語と互いに混用して使用されることができる。通常の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔ）の集合を表すことができる。
【００１９】
以下、図を利用して、本発明について具体的に説明する。
【００２０】
図１は、３Ｄビデオのエンコード及びデコード過程を概略的に説明する図である。
【００２１】
図１を参照すると、３Ｄビデオエンコーダは、ビデオピクチャ及びデプスマップ（ｄｅｐｔｈ  ｍａｐ）とエンコーダをエンコードして、ビットストリームとして出力できる。
【００２２】
デプスマップは、対応するビデオピクチャ（テクスチャピクチャ）のピクセルに対して、カメラと被写体間の距離情報（深さ情報）から構成されることができる。例えば、デプスマップは、深さ情報をビットデプス（ｂｉｔ  ｄｅｐｔｈ）に従って正規化した映像でありうる。このとき、デプスマップは、色差表現なしで記録された深さ情報から構成されることができる。
【００２３】
一般に、被写体との距離と変位（ディスパリティー）は、互いに反比例するので、カメラパラメータを利用してデプスマップの深さ情報からビュー間の相関度を表すディスパリティー情報を導き出すことができる。
【００２４】
一般的なカラー映像、すなわち、ビデオピクチャ（テクスチャピクチャ）と共にデプスマップとカメラ情報を含むビットストリームは、ネットワークまたは格納媒体を介してデコーダに送信されることができる。
【００２５】
デコーダ側では、ビットストリームを受信してビデオを復元できる。デコーダ側において３Ｄビデオデコーダが利用される場合に、３Ｄビデオデコーダは、ビットストリームからビデオピクチャとデプスマップ及びカメラパラメータをデコードできる。デコードされたビデオピクチャとデプスマップ、そしてカメラパラメータを基盤とするマルチビュー（ｍｕｌｔｉ  ｖｉｅｗ）ディスプレイに必要なビューを合成できる。このとき、使用されるディスプレイがステレオ（ｓｔｒｅｏ）ディスプレイであると、復元されたマルチビューのうち、二つのピクチャを利用して３Ｄ映像をディスプレイできる。
【００２６】
ステレオビデオデコーダが使用される場合に、ステレオビデオデコーダは、ビットストリームから両眼に各々入射される二つのピクチャを復元できる。ステレオディスプレイでは、左眼に入射される左側映像と右眼に入射される右側映像の視差（ｖｉｅｗ  ｄｉｆｆｅｒｅｎｃｅ）あるいは変位（ｄｉｓｐａｒｉｔｙ）を利用して立体映像をディスプレイできる。ステレオビデオデコーダと共にマルチビューディスプレイが使用される場合には、復元された二つのピクチャに基づいて他のビューを生成して、マルチビューをディスプレイすることもできる。
【００２７】
２Ｄデコーダが使用される場合には、２次元映像を復元して２Ｄディスプレイに映像を出力できる。２Ｄディスプレイを使用するが、デコーダは、３Ｄビデオデコーダを使用するか、またはステレオビデオデコーダを使用する場合には、復元された映像のうちのいずれか一つを２Ｄディスプレイに出力することもできる。
【００２８】
図１の構成において、ビュー合成は、デコーダ側で行われることもでき、ディスプレイ側で行われることもできる。また、デコーダとディスプレイは、一つの装置の場合であってもよく、別の装置であってもよい。
【００２９】
図１では、説明の便宜上、３Ｄビデオデコーダとステレオビデオデコーダ、及び２Ｄビデオデコーダが別のデコーダであると説明したが、一つのデコード装置が３Ｄビデオデコード、ステレオビデオデコード、及び２Ｄビデオデコードを全部行うこともできる。また、３Ｄビデオデコード装置が３Ｄビデオデコードを行い、ステレオビデオデコード装置がステレオビデオデコードを行い、２Ｄビデオデコード装置が２Ｄビデオデコード装置を行うこともできる。なお、マルチビューディスプレイが２Ｄビデオを出力するか、またはステレオビデオを出力することもできる。
【００３０】
図２は、ビデオエンコード装置の構成を概略的に説明する図である。図２に示すように、ビデオエンコード装置２００は、ピクチャ分割部２０５、予測部２１０、減算部２１５、変換部２２０、量子化部２２５、再整列部２３０、エントロピーエンコード部２３５、逆量子化部２４０、逆変換部２４５、加算部２５０、フィルタ部２５５及びメモリ２６０を備える。
【００３１】
ピクチャ分割部２０５は、入力されたピクチャを少なくとも一つの処理単位ブロックに分割できる。このとき、処理単位ブロックは、コーディング単位ブロック、予測単位ブロックまたは変換単位ブロックでありうる。コーディング単位ブロックは、コーディングの単位ブロックとして最大コーディング単位ブロックからクアッドツリー構造に従って分割されることができる。予測単位ブロックは、コーディング単位ブロックから分割（Ｐａｒｔｉｔｉｏｎｉｎｇ）されるブロックであり、サンプル予測の単位ブロックでありうる。このとき、予測単位ブロックは、サブブロックに分けられることもできる。変換単位ブロックは、コーディング単位ブロックからクアッドツリー構造に従って分割されることができ、変換係数を導き出す単位ブロックまたは変換係数から残留信号を導き出す単位ブロックでありうる。
【００３２】
以下、説明の便宜上、コーディング単位ブロックは、コーディングブロックまたはコーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ：ＣＵ）といい、予測単位ブロックは、予測ブロックまたは予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ：ＰＵ）といい、変換単位ブロックは、変換ブロックまたは変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ：ＴＵ）という。
【００３３】
予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味することもでき、予測サンプルのアレイを意味することもできる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味することもでき、変換係数またはレジデュアルサンプルのアレイを意味することもできる。
【００３４】
予測部２１０は、処理対象ブロック（以下、現在ブロックとする）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測ブロックを生成できる。予測部２１０で行われる予測の単位は、コーディングブロックであっても良く、変換ブロックであっても良く、予測ブロックであっても良い。
【００３５】
予測部２１０は、現在ブロックにイントラ予測が適用されるか、インター予測が適用されるかを決定できる。
【００３６】
イントラ予測の場合に、予測部２１０は、現在ブロックが属するピクチャ（以下、現在ピクチャ）内の周辺ブロック画素に基づいて、現在ブロックに対する予測サンプルを導き出すことができる。このとき、予測部２１０は、（ｉ）現在ブロックの周辺参照サンプルの平均あるいは補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を基盤とする予測サンプルを導き出すこともでき、（ｉｉ）現在ブロックの周辺ブロックのうち、予測対象ピクセルに対して特定方向に存在する参照サンプルに基づいて、予測サンプルを導き出すこともできる。説明の便宜上、（ｉ）の場合を非方向性モード、（ｉｉ）の場合を方向性モードという。予測部２１０は、周辺ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。
【００３７】
インター予測の場合に、予測部２１０は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを導き出すことができる。予測部２１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを導き出すことができる。スキップモードとマージモードの場合に、予測部２１０は、周辺ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプル間の差（レジデュアル）が送信されない。ＭＶＰモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｐｒｅｄｉｃｔｏｒ：ＭＶＰ）として利用して、現在ブロックの動きベクトルを導き出すことができる。
【００３８】
インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロックと参照ピクチャ（ｃｏｌｌｏｃａｔｅｄ  ｐｉｃｔｕｒｅ）に存在する時間的周辺ブロックを含む。動き情報は、動きベクトルと参照ピクチャを含む。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることもできる。
【００３９】
従属ビュー（ｄｅｐｅｎｄｅｎｔ  ｖｉｅｗ）に対するエンコードの場合に、予測部２１０は、インタビュー予測を行うことができる。
【００４０】
予測部２１０は、他のビューのピクチャを含んで参照ピクチャリストを構成できる。インタビュー予測のために、予測部２１０は、ディスパリティ（ｄｉｓｐａｒｉｔｙ）ベクトルを導き出すことができる。現在ビュー内の他のピクチャで現在ブロックに対応するブロックを特定する動きベクトルとは異なり、ディスパリティベクトルは、現在ピクチャと同じＡＵ（Ａｃｃｅｓｓ  Ｕｎｉｔ）の他のビューで現在ブロックに対応するブロックを特定できる。
【００４１】
予測部２１０は、ディスパリティベクトルに基づいて、デプスビュー（ｄｅｐｔｈ  ｖｉｅｗ）内のデプスブロック（ｄｅｐｔｈ  ｂｌｏｃｋ）を特定でき、マージリストの構成、インタビュー動き予測（ｉｎｔｅｒｖｉｅｗ  ｍｏｔｉｏｎ  ｐｒｅｄｉｃｔｉｏｎ）、レジデュアル予測、ＩＣ（Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）、ビュー合成などを行うことができる。
【００４２】
現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から導き出されるか、現在または他のビュー内の周辺ブロックの動きベクトルまたはディスパリティベクトルから導き出されることができる。
【００４３】
例えば、予測部２１０は、参照ビュー（ｒｅｆｅｒｅｎｃｅ  ｖｉｅｗ）の時間的動き情報に対応するインタビューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ：ＩｖＭＣ）、ディスパリティベクトルに対応するインタビューディスパリティベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ：ＩｖＤＣ）、ディスパリティベクトルのシフト（ｓｈｉｆｔ）により導き出されるシフトインタビューマージ候補（ｓｈｉｆｔｅｄ  ＩｖＭＣ）、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャから導き出されるテクスチャマージ候補（ｔｅｘｔｕｒｅ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ：Ｔ）、テクスチャマージ候補からディスパリティを利用して導き出されるディスパリティ導出マージ候補（ｄｉｓｐａｒｉｔｙ  ｄｅｒｉｖｅｄ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ：Ｄ）、ビュー合成に基づいて導き出されるビュー合成予測マージ候補（ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ  ｐｒｅｄｉｃｔｉｏｎ  ｍｅｒｇｅ  ｃａｎｄｉｄａｔｅ：ＶＳＰ）などをマージ候補リストに追加できる。
【００４４】
このとき、従属ビューに適用されるマージ候補リストに含まれる候補の数は、所定の値に制限されることができる。
【００４５】
また、予測部２１０は、インタビュー動きベクトル予測を適用して、ディスパリティーベクトルに基づいて、現在ブロックの動きベクトルを予測することもできる。このとき、予測部２１０は、対応する深さブロック内の最大深さ値の転換（ｃｏｎｖｅｒｓｉｏｎ）に基づいて、ディスパリティーベクトルを導き出すことができる。参照ビュー内の現在ブロックのサンプル位置にディスパリティーベクトルを足して、参照ビュー内の参照サンプルの位置が特定されると、参照サンプルを含むブロックを参照ブロックとして利用できる。予測部２１０は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータあるいは動きベクトル予測子候補として利用でき、前記ディスパリティーベクトルをディスパリティ補償予測（Ｄｉｓｐａｒｉｔｙ−Ｃｏｍｐｅｎｓａｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎ：ＤＣＰ）のための候補ディスパリティーベクトルとして利用できる。
【００４６】
減算部２１５は、原本サンプルと予測サンプル間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、上述のように、レジデュアルサンプルを生成しなくても良い。
【００４７】
変換部２２０は、変換ブロック単位にレジデュアルサンプルを変換して、変換係数（ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。量子化部２２５は、変換係数を量子化して、量子化された変換係数を生成できる。
【００４８】
再整列部２３０は、量子化された変換係数を再整列する。再整列部２３０は、係数をスキャニング（Ｓｃａｎｎｉｎｇ）方法によりブロック形態の量子化された変換係数を１次元ベクトル形態に再整列できる。
【００４９】
エントロピーエンコード部２３５は、量子化された変換係数に対するエントロピーエンコードを行うことができる。エントロピーエンコードには、例えば、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ  Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）などのようなエンコード方法を使用することができる。エントロピーエンコード部２３５は、量子化された変換係数の他にビデオ復元に必要な情報（例えば、シンタックスエレメント（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）の値等）を共にまたは別にエンコードすることもできる。
【００５０】
エントロピーエンコードされた情報は、ビットストリーム形態でＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニット単位に送信または格納されることができる。
【００５１】
逆量子化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）部２４０は、量子化された変換係数を逆量子化して、変換係数を生成する。逆変換（ｉｎｖｅｒｓｅ  ｔｒａｎｓｆｏｒｍ）部２４５は、変換係数を逆変換してレジデュアルサンプルを生成する。
【００５２】
加算部２５０は、レジデュアルサンプルと予測サンプルを合わせてピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位に加算されて復元ブロックを生成することもできる。ここで、加算部２５０は、別の構成と説明したが、加算部２５０は、予測部２１０の一部であっても良い。
【００５３】
復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｐｉｃｔｕｒｅ）に対してフィルタ部２５５は、デブロッキングフィルタ及び／またはオフセットを適用できる。デブロッキングフィルタリング及び／またはオフセットを介して、復元ピクチャ内のブロック境界のアーチファクトまたは量子化過程での歪みが補正されることができる。オフセットは、サンプル単位に適用されても良く、デブロッキングフィルタリングの過程が完了した後に適用されても良い。
【００５４】
メモリ２６０は、復元ピクチャまたはエンコード／デコードに必要な情報を格納することができる。例えば、メモリ２６０は、インター予測／インタ−ビュー予測に使用されるピクチャを格納することができる。このとき、インター予測／インタ−ビュー予測に使用されるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。
【００５５】
ここでは、一つのエンコード装置が独立ビュー及び従属ビューをエンコードすると説明したが、これは、説明の便宜のためのものであり、各ビュー別に別のエンコード装置が構成されるか、または各ビュー別に別の内部モジュール（例えば、各ビュー別予測部）が構成されることもできる。
【００５６】
図３は、ビデオデコード装置の構成を概略的に説明する図である。図３を参照すると、ビデオデコード装置３００は、エントロピーデコード部３１０、再整列部３２０、逆量子化部３３０、逆変換部３４０、予測部３５０、加算部３６０、フィルタ部３７０、メモリ３８０を備える。
【００５７】
ビデオ情報を含むビットストリームが入力されると、ビデオデコード装置３００は、ビデオエンコード装置でビデオ情報が処理されたプロセスに対応してビデオを復元できる。
【００５８】
例えば、ビデオデコード装置３００は、ビデオエンコード装置で適用された処理単位を利用して、ビデオデコードを行うことができる。したがって、ビデオデコードの処理単位ブロックは、コーディング単位ブロック、予測単位ブロックまたは変換単位ブロックでありうる。コーディング単位ブロックは、デコードの単位ブロックとして最大コーディング単位ブロックからクアッドツリー構造に従って分割されることができる。予測単位ブロックは、コーディング単位ブロックから分割される（ｐａｒｔｉｔｉｏｎｉｎｇ）ブロックであり、サンプル予測の単位ブロックでありうる。このとき、予測単位ブロックは、サブブロックに分けられることもできる。変換単位ブロックは、コーディング単位ブロックからクアッドツリー構造に従って分割されることもでき、変換係数を導き出す単位ブロックまたは変換係数から残留信号を導き出す単位ブロックでありうる。
【００５９】
エントロピーデコード部３１０は、ビットストリームをパッシングしてビデオ復元またはピクチャ復元に必要な情報を出力できる。例えば、エントロピーデコード部３１０は、指数ゴロム、ＣＡＶＬＣ、ＣＡＢＡＣなどに基づいてビットストリーム内の情報をデコードし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値などを出力できる。
【００６０】
３Ｄビデオを再生するために、複数のビュー（ｖｉｅｗ）を処理する場合、ビットストリームは、各ビュー別に入力されることができる。あるいはビットストリーム内で各ビューに対する情報がマルチプレクスされていることもできる。この場合、エントロピーデコード部３１０は、ビットストリームを逆多重化（ｄｅ−ｍｕｌｔｉｐｌｅｘｉｎｇ）して、ビュー別にパッシングすることもできる。
【００６１】
再整列部３２０は、量子化されている変換係数を２次元のブロック形態に再整列できる。再整列部３２０は、エンコード装置で行われた係数スキャニングに対応して再整列を行うことができる。
【００６２】
逆量子化部３３０は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して、変換係数を出力できる。このとき、量子化パラメータを導き出すための情報は、エンコード装置からシグナリングされることができる。
【００６３】
逆変換部３４０は、変換係数を逆変換してレジデュアルサンプルを導き出すことができる。
【００６４】
予測部３５０は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測ブロックを生成できる。予測部３５０で行われる予測の単位は、コーディングブロックであっても良く、変換ブロックであっても良く、予測ブロックであっても良い。
【００６５】
予測部３５０は、イントラ予測を適用するかインター予測を適用するかを決定できる。このとき、イントラ予測とインター予測のうちのどれを適用するかを決定する単位と予測サンプル生成する単位とは、互いに異なりうる。また、インター予測とイントラ予測において、予測サンプルを生成する単位もやはり、互いに異なりうる。
【００６６】
イントラ予測の場合に、予測部３５０は、現在ピクチャ内の周辺ブロック画素に基づいて、現在ブロックに対する予測サンプルを導き出すことができる。予測部３５０は、現在ブロックの周辺参照サンプルに基づいて方向性モードまたは非方向性モードを適用して、現在ブロックに対する予測サンプルを導き出すことができる。このとき、周辺ブロックのイントラ予測モードを利用して、現在ブロックに適用する予測モードが決定されることもできる。
【００６７】
インター予測の場合に、予測部３５０は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを導き出すことができる。予測部３５０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード及びＭＶＰモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを導き出すことができる。
【００６８】
スキップモードとマージモードの場合に、周辺ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。
【００６９】
予測部３５０は、利用可能（ａｖａｉｌａｂｌｅ）周辺ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上において指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコード装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含む。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることもできる。
【００７０】
スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。
【００７１】
ＭＶＰモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ＭＶＰ）として利用して、現在ブロックの動きベクトルが導き出されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。
【００７２】
従属ビュー（ｄｅｐｅｎｄｅｎｔ  ｖｉｅｗ）に対するエンコードの場合に、予測部３５０は、インタビュー予測を行うこともできる。このとき、予測部３５０は、他のビューのピクチャを含んで参照ピクチャリストを構成できる。
【００７３】
インタビュー予測のために、予測部２１０は、ディスパリティ（ｄｉｓｐａｒｉｔｙ）ベクトルを導き出すことができる。予測部３５０は、ディスパリティベクトルに基づいて、デプスビュー（ｄｅｐｔｈ  ｖｉｅｗ）内のデプスブロック（ｄｅｐｔｈ  ｂｌｏｃｋ）を特定でき、マージリストの構成、インタビュー動き予測（ｉｎｔｅｒｖｉｅｗ  ｍｏｔｉｏｎ  ｐｒｅｄｉｃｔｉｏｎ）、レジデュアル予測、ＩＣ（Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）、ビュー合成などを行うことができる。
【００７４】
現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から導き出されるか、現在または他のビュー内の周辺ブロックの動きベクトルまたはディスパリティベクトルから導き出されることができる。カメラパラメータは、エンコード装置からシグナリングされることができる。
【００７５】
従属ビューの現在ブロックにマージモードを適用する場合に、予測部３５０は、参照ビュー（ｒｅｆｅｒｅｎｃｅ  ｖｉｅｗ）の時間的動き情報に対応するＩｖＭＣ、ディスパリティベクトルに対応するＩｖＤＣ、ディスパリティベクトルのシフト（ｓｈｉｆｔ）により導き出されるシフトＩｖＭＣ、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャから導き出されるテクスチャマージ候補（Ｔ）、テクスチャマージ候補からディスパリティを利用して導き出されるディスパリティ導出マージ候補（Ｄ）、ビュー合成に基づいて導き出されるビュー合成予測マージ候補（ＶＳＰ）などをマージ候補リストに追加できる。
【００７６】
このとき、従属ビューに適用されるマージ候補リストに含まれる候補の数は、所定の値に制限されることができる。
【００７７】
また、予測部３５０は、インタ−ビュー動きベクトル予測を適用して、ディスパリティベクトルに基づいて現在ブロックの動きベクトルを予測することもできる。このとき、予測部３５０は、ディスパリティベクトルによって特定される参照ビュー内のブロックを参照ブロックとして利用できる。予測部３５０は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータあるいは動きベクトル予測子候補として利用でき、前記ディスパリティベクトルをＤＣＰのための候補ディスパリティーベクトルとして利用できる。
【００７８】
加算部３６０は、レジデュアルサンプルと予測サンプルを足して現在ブロックあるいは現在ピクチャを復元できる。加算部３６０は、レジデュアルサンプルと予測サンプルをブロック単位に足して現在ピクチャを復元することもできる。スキップモードが適用された場合には、レジデュアルが送信されないので、予測サンプルが復元サンプルになることができる。ここでは、加算部３６０を別の構成と説明したが、加算部３６０は、予測部３５０の一部であっても良い。
【００７９】
フィルタ部３７０は、復元されたピクチャにデブロッキングフィルタリング及び／またはオフセットを適用できる。このとき、オフセットは、サンプル単位のオフセットとして適応的に適用されることができる。
【００８０】
メモリ３８０は、復元ピクチャまたはデコードに必要な情報を格納することができる。例えば、メモリ３８０は、インター予測／インタ−ビュー予測に使用されるピクチャを格納することができる。このとき、インター予測／インタ−ビュー予測に使用されるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、参照ピクチャとして利用されることができる。
【００８１】
また、メモリ３８０は、復元されたピクチャを出力順序に従って出力することもできる。３Ｄ映像を再生するために、図示していないが、出力部は、複数の互いに異なるビューをディスプレイできる。
【００８２】
図３の例では、一つのデコード装置において独立ビュー（ｉｎｄｅｐｅｎｄｅｎｔ  ｖｉｅｗ）と従属ビュー（ｄｅｐｅｎｄｅｎｔ  ｖｉｅｗ）がデコードされると説明したが、これは、説明の便宜のためのものであり、本発明は、これに限定されない。例えば、ビュー別に各々のデコード装置が動作することもでき、一つのデコード装置内に各ビューに対応する動作部（例えば、予測部）が備えられることができる。
【００８３】
マルチビューのビデオをコーディングする場合に、エンコード装置及びデコード装置は、現在ピクチャと同じＡＵ（Ａｃｃｅｓｓ  Ｕｎｉｔ）に属する他のビューのコーディングされるデータを利用して、現在ビューに対するビデオコーディングの効率を上げることができる。このとき、ＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）が同じピクチャを一つのＡＵとすることができる。ＰＯＣは、ピクチャのディスプレイ順序に対応する。
【００８４】
エンコード装置及びデコード装置は、ＡＵ単位にビューをコーディングすることもでき、ビュー単位にピクチャをコーディングすることもできる。ビューの間には、決まった順序にしたがってコーディングが行われる。最も速くコーディングされるビューをベースビュー（ｂａｓｅ  ｖｉｅｗ）または独立ビューということができる。独立ビューがコーディングされた後に、他のビューを参照してコーディングされることのできるビューを従属ビューということができる。また、現在ビューが従属ビューである場合に、現在ビューのコーディング（エンコード／デコード）に参照される他のビューを参照ビューということもできる。
【００８５】
図４は、インタビューコーディングを概略的に説明する図である。図４の例において、コーディングは、ＡＵ単位に行われ、Ｖ０が独立ビューでＶ１が従属ビューという。現在ピクチャ４１０内のブロックＡのように、動きベクトルを利用して同じビューの他のピクチャ４３０を参照するインターピクチャ予測を動き補償予測（Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎ：ＭＣＰ）といえる。また、現在ピクチャ内のブロックＢのように、ディスパリティーベクトルを利用して同じアクセスユニット内の、すなわち同じＰＯＣを有する他のビューのピクチャ４２０を参照するインターピクチャ予測をディスパリティ補償予測（Ｄｉｓｐａｒｉｔｙ−Ｃｏｍｐｅｎｓａｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎ：ＤＣＰ）ということができる。
【００８６】
マルチビューのビデオをコーディングする時、他のビューのピクチャを利用する方法の他に、デプスマップ（ｄｅｐｔｈ  ｍａｐ）を利用しても良い。
【００８７】
図５は、デプスマップを利用するマルチビューコーディング方法を概略的に説明する。
【００８８】
図５を参照すると 、現在ビュー内の現在ピクチャ５００のブロック（現在ブロック）５０５は、デプスマップ５１０を利用してコーディング（エンコード／デコード）されることができる。このとき、現在ブロック５０５内のサンプル５１５の位置（ｘ，ｙ）に対応するデプスマップ５１０内のサンプル５２０の位置（ｘ，ｙ）の深さ（ｄｅｐｔｈ）値ｄがディスパリティーベクトル５２５に変換されることができる。深さ値ｄは、サンプル（ピクセル）とカメラ間の距離に基づいて導き出されることができる。
【００８９】
エンコード装置及びデコード装置は、ディスパリティーベクトル５２５をサンプル５３０位置（ｘ，ｙ）に足して、参照ビュー内の現在ピクチャ５４０内の参照サンプル５３５の位置を決定できる。ディスパリティーベクトルは、ｘ軸成分だけを有していることができる。したがって、ディスパリティーベクトルの値は、（ｄｉｓｐ、０）でありえ、参照サンプル５４０の位置（ｘｒ，ｙ）は、（ｘ＋ｄｉｓｐ，ｙ）に決定されることができる。
【００９０】
エンコード装置及びデコード装置は、参照ピクセル５３５を含む参照ブロック５４５の動きパラメータ（ｍｏｔｉｏｎ  ｐａｒａｍｅｔｅｒ）現在ブロックの動きパラメータの候補として使用することができる。例えば、参照ビュー内の参照ピクチャ５５０が参照ブロック５４５に対した参照ピクチャであれば、参照ブロック５４５の動きベクトル５５５は、現在ブロック５０５の動きベクトル５６０に導き出されることもできる。このとき、ピクチャ５６５は、現在ビュー内の参照ピクチャである。
【００９１】
一方、上述のように、マルチビューのビデオデコードにおいては、ディスパリティーベクトルを利用して、他のビューの情報を参照できる。
【００９２】
従属ビューのピクチャをコーディング（エンコード／デコード）する場合に、既にコーディングされた周辺ブロックの中でＤＣＰコーディングされたブロックがある場合、ＤＣＰコーディングブロックのディスパリティーベクトルを現在ブロックに適用するディスパリティーベクトルとして利用できる。このとき、周辺ブロックから導き出したディスパリティーベクトル、すなわちＤＣＰコーディングされたブロックのディスパリティーベクトルは、現在ブロックにインタビュー動き予測（ＩＶＭＰ）とインタビューレジデュアル予測（ＩＶＲＰ）を適用するためのディスパリティーベクトルとして利用されることができる。
【００９３】
現在ブロックの動きベクトルがＩＶＭＰにより決定された場合をまず説明する。動きベクトル予測モード（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｐｒｅｄｉｃｔｉｏｎ：ＭＶＰあるいはａｄｖａｎｃｅｄ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｐｒｅｄｉｃｔｉｏｎ：ＡＭＶＰ）モード、マージ（ｍｅｒｇｅ）モードあるいはスキップ（ＳＫＩＰ）モードにおいて、インタビュー参照ピクチャ内の対応ブロックの動きベクトルから導き出される候補が現在ブロックに適用された動きベクトルとして選択された場合、現在ブロックは、ＭＣＰでコーディングされる。
【００９４】
このようにＭＣＰでコーディングされたブロックのうち、ＩＶＭＰ方法でモーションベクトルが予測されたブロックをＤＶ−ＭＣＰブロックという。
【００９５】
図６は、ＤＶ−ＭＣＰブロックを概略的に説明する図である。図６では、現在ビューの現在ピクチャ６１０内の現在ブロック６２０をインター予測する場合を示している。
【００９６】
図６を参照すると、現在ブロック６２０のインター予測に使用される周辺ブロック６３０の動きベクトル（ＭＶ１）がベースビュー内の参照ピクチャ６４０の対応ブロック６５０から導き出される。このとき、対応ブロックは、ディスパリティーベクトルＤＶ６６０により特定される。現在ブロック６３０のインター予測に使用される候補ブロックとして、周辺ブロック６３０の動きベクトルＭＶ１は、対応ブロック６５０の動きベクトルＭＶ２に設定されるか、またはＭＶ２から導き出されることができる。
【００９７】
このとき、ベースビュー内の参照ピクチャ６４０と現在ピクチャ６１０のＰＯＣは、同一でありうる。他のビュー内の対応ブロック６５０の動きベクトル（ＭＶ２）から予測された動きベクトル（ＭＶ１）が適用された周辺ブロック６３０をＤＶ−ＭＣＰブロックということができる。
【００９８】
エンコード装置とデコード装置は、ＤＶ−ＭＣＰブロックの動きベクトル予測に利用されたディスパリティーベクトルの情報を格納して、周辺ブロックのディスパリティーベクトル導出過程に活用できる。
【００９９】
図７は、現在ブロックの周辺ブロックの一例を概略的に説明する図である。図７の周辺ブロックは、現在ブロックをデコードする時点において既にデコードが終わり、接近（ａｃｃｅｓｓ）が可能なブロックである。
【０１００】
現在ブロック７１０の周辺ブロックは、空間的（ｓｐａｔｉａｌ）周辺ブロックＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２と時間的（ｔｅｍｐｏｒａｌ）周辺ブロックｃｏｌ−ＣＴＲ（ｃｏｌ−ｃｅｎｔｅｒ）、ｃｏｌ−ＲＢ（ｃｏｌ−ｒｉｇｈｔ  ｂｏｔｔｏｍ）を含む。空間的周辺ブロックは、現在ブロック７１０の位置を基準として各々の位置が特定される。
【０１０１】
また、時間的周辺ブロックは、参照ピクチャのうちの一つであるコル−ピクチャ（ｃｏｌｌｏｃａｔｅｄ  ｐｉｃｔｕｒｅ）において現在ブロックに対応する位置７２０を基準として各々の位置が特定される。時間的周辺ブロックの場合、現在ピクチャあるいは現在スライスをデコードする時点において指定されたコル−ピクチャ（ｃｏｌｌｏｃａｔｅｄ  ｐｉｃｔｕｒｅ）での現在ブロック７２０の重心に位置したピクセルを含むコーディングブロックがｃｏｌ−ＣＴＲになる。また、コル−ピクチャでの現在ブロック７２０の右下端ピクセル位置が（ｘ，ｙ）である場合、（ｘ＋１，ｙ＋１）位置のピクセルを含むコーディングブロックがｃｏｌ−ＲＢになる。以下、本明細書では、説明の便宜のために、ｃｏｌ−ＣＴＲは、ＣＴＲ、ｃｏｌ−ＢＲは、ＢＲと表現することもある。
【０１０２】
コル−ピクチャ（ｃｏｌ−ｌｏｃａｔｅｄ  ｐｉｃｔｕｒｅ）は、現在ピクチャあるいは現在スライスの参照ピクチャリストに含まれた時間的参照ピクチャ（ｔｅｍｐｏｒａｌ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）のうちの一つが時間的ディスパリティーベクトル導出（ｔｅｍｐｏｒａｌ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｄｅｒｉｖａｔｉｏｎ）のために選択されたことがありうる。
【０１０３】
コル−ピクチャは、スライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）を介してデコーダに知られることができる。例えば、どんなピクチャをコル−ピクチャとして使用するかを指示する情報は、スライスヘッダでシグナリングされることができる。
【０１０４】
一方、インタビュー予測を利用して現在ブロックを復元する場合に、現在ブロックに対してマージモードが適用される時には、予測ブロック（例えば、Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ：ＰＵ）またはサブ−予測ブロック（例えば、サブ−ＰＵ）単位に予測サンプルを導き出すこともできる。
【０１０５】
例えば、エンコード装置及びデコード装置の予測部は、現在予測ブロックがテクスチャー内にあり、現在スライス内に少なくとも一つのインタビュー参照ブロックがあれば、現在ブロックに対応するブロックがディスパリティーベクトルを基盤として特定されることができ、前記対応ブロックを利用してＰＵレベルあるいはサブＰＵレベルにおいて予測サンプルを導き出すことができる。
【０１０６】
マルチビュービデオのデコードにおいてマージモードを利用した予測が現在ブロックに適用される場合、エンコード装置及びデコード装置の予測部は、ベースビューにおける方法と同じ方法でマージ候補リストを構成した後、参照ビュー内の対応ブロックの動きベクトルを利用するインタビューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ  ｍｅｒｇｅ  ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、参照ビュー内の対応ブロックのディスパリティーベクトルを利用するインタビューディスパリティーベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、ＩｖＭＣとＩｖＤＣをシフト（ｓｈｉｆｔ）した シフトされたＩｖＭＣ（ｓｈｉｆｔｅｄ  ＩｖＭＣ）とシフトされたＩｖＤＣ（ｓｈｉｆｅｄ  ＩｖＤＣ）、デプスを基盤として導き出されるビュー合成予測（ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ  ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）マージ候補をマージ候補リストに追加できる。
【０１０７】
以下、マージ候補リストを構成するマージ候補を概略的に説明する。
【０１０８】
まず、ベースビューにおいて用いられるマージ候補リストと同様に、空間的周辺ブロックから利用可能な動きベクトルが導き出される。このとき、現在ブロックの空間的周辺ブロックは、図７に示す現在ブロック７１０周辺のブロックＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２になる。
【０１０９】
また、現在ビューとは異なる参照ビュー内の対応ブロックの情報を現在ブロックのマージ候補として利用できる。対応ブロックは、ディスパリティーベクトルにより特定されることができる。ディスパリティーベクトルは、ＤＣＰまたはＭＣＰが適用された周辺ブロックのディスパリティーベクトルまたは動きベクトルから導き出されることもでき、前記導き出された動きベクトルをデプスマップを利用して修正した値をディスパリティーベクトルとして使用することもできる。便宜上、周辺ブロックから導き出したディスパリティーベクトルをＮＢＤＶ（Ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｆｒｏｍ  ｎｅｉｇｈｂｏｕｒｉｎｇ  ｂｌｏｃｋｓ）といい、深さ値を利用してＮＢＤＶから導き出すディスパリティーベクトルをＤｏＮＢＤＶ（ｄｅｐｔｈ  ｏｒｉｅｎｔｅｄ  ＮＢＤＶ）という。
【０１１０】
エンコード装置及びデコード装置の予測部は、インタビューマージ候補（ＩｖＭＣ）として参照ビューにおいてディスパリティーベクトルにより特定される参照ブロックが時間的動き補償をする場合に使用した動きベクトルを利用できる。すなわち、参照ビューにおいてＭＣＰが適用されたブロックの動きベクトルを現在ブロックの動きベクトル候補として使用することができる。このとき、参照ブロックを特定するのに利用されるディスパリティーベクトルは、現在ブロックの周辺ブロックを基盤として導き出されるＮＢＤＶまたはＤｏＮＢＤＶが使用されても良く、デプスマップを基盤として導き出される値が使用されても良い。一方、ＩｖＭＣの導出のために、ＰＵレベルまたはサブＰＵレベルの導出方法が使用されることができる。
【０１１１】
また、エンコード装置及びデコード装置の予測部は、インタビューディスパリティーベクトル候補（ＩｖＤＣ）として、参照ビュー内の対応ブロックのディスパリティーベクトルを利用できる。
【０１１２】
エンコード装置とデコード装置の予測部は、ディスパリティーベクトルを特定値分だけシフトした後、シフトされたディスパリティーベクトルにより特定される対応ブロックの動きベクトルをシフトされたＩｖＭＣ（ｓｈｉｆｔｅｄ  ＩｖＭＣ、ＩｖＭＣＳｈｉｆｔ）に導き出すことができる。予測部は、ディスパリティーベクトルを現在予測ブロックの高さと幅を利用してシフトできる。例えば、予測部は、現在ブロックの高さがｎＰｂＨ、幅がｎＰｂＷである場合に、ディスパリティーベクトルをｘ軸方向にｎＰｂＷ＊２＋２分だけシフトし、ｙ軸方向にｎＰｂＨ＊２＋２分だけシフトして、ＩｖＭＣＳｈｉｆｔを導き出すことができる。予測部は、ＩｖＭＣとＩｖＭＣＳｈｉｆｔとが同一でない場合に、ＩｖＭＣＳｈｉｆｔを現在ブロックのマージ候補として追加できる。
【０１１３】
エンコード装置とデコード装置の予測部は、ディスパリティーベクトルを特定値分だけシフトした後、シフトされたディスパリティーベクトル（ｓｈｉｆｔｅｄ  ＩｖＤＣ、ＩｖＤＣＳｈｉｆｔ）を現在ブロックのマージ候補に追加できる。例えば、予測部は、ＩｖＤＣをｘ軸にのみ所定距離（例えば、４）移動したディスパリティーベクトルをＩｖＤＣＳｈｉｆｔとして利用できる。また、予測部は、ビュー合成予測が適用される場合を考慮して、ＩｖＤＣＳｈｉｆｔを導き出すことができる。例えば、予測部は、ビュー合成予測が行われることのできる場合には、ＩｖＤＣＳｈｉｆｔのｙ成分を０に置くことができる。
【０１１４】
一方、エンコード装置及びデコード装置の予測部は、インタビュー予測を基盤として動きベクトルをマージ候補リストに追加する場合に、デプスマップの情報を基盤とする候補を導き出すことができる。
【０１１５】
例えば、予測部は、ビデオ信号とデプス信号間の類似性を基盤として、ビデオ信号から動き情報を取って使用する動きパラメータ継承方法（ｍｏｔｉｏｎ  ｐａｒａｍｅｔｅｒ  ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）を適用することもできる。この場合、一つのデプスＰＵから分割されたサブＰＵ別に互いに異なる動きベクトルがテクスチャーから継承されることができる。現在ブロックがデプスマップのブロックでＭＰＩが適用される場合に、予測部は、テクスチャーから継承した動きベクトルを利用するマージ候補ＴとＴを基盤として導き出されたデプス候補Ｄをマージ候補として追加できる。Ｄが利用される場合に、予測サンプルは、対応するディスパリティーベクトルから導き出されるデプス値に設定されることができる。
【０１１６】
最後に、エンコード装置及びデコード装置の予測部は、ビュー合成予測（Ｖｉｅｗ  Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）によるディスパリティーベクトルをマージ候補（ＶＳＰ）として追加できる。予測部は、周辺ブロックのディスパリティーベクトルを現在ブロックに対するマージ候補として追加でき、このディスパリティーベクトルを利用してデプスマップ上において特定される対応ブロックのデプス値を基盤として、現在ブロックのデプス情報を導き出すことができる。
【０１１７】
上述したマージ候補を利用してエンコード装置及びデコード装置の予測部は、次のようにマージ候補リストを構成できる。マージ候補は、マージ候補リスト上において以下の順に位置するようになる。
【０１１８】
（１）予測部は、ＭＰＩ候補としてＴとＤをマージ候補リストに追加する。具体的には予測部は、Ｔが利用可能かどうかを判断して、利用可能な場合（ａｖａｉｌａｂｌｅ）にＴを追加する。予測部は、Ｄが利用可能かどうかを判断して、利用可能な場合にＤをＴの次に追加する。
【０１１９】
（２）予測部は、ＩｖＭＣが利用可能な場合において、Ｔが利用不可でるか、ＴとＩｖＭＣが同一でない場合に、ＩｖＭＣをマージ候補リストのＤの次の位置に挿入する。
【０１２０】
（３）予測部は、Ａ１が利用可能な場合に、Ａ１をマージ候補リストに追加する。マージ候補の重複を防止するために、予測部は、既に追加されたマージ候補とＡ１との同一性を比較できる。既に追加されたマージ候補Ｎは、デプスを使用することができる場合にＴでありえ、デプスを使用しない場合には、ＩｖＭＣでありうる。予測部は、Ａ１とＮとが同じ場合には、Ａ１をマージ候補から除くことができる。
【０１２１】
（４）予測部は、Ｂ１が利用可能な場合に、Ｂ１をマージ候補リストに追加する。マージ候補の重複を防止するために、予測部は、Ｂ１と前もって追加された候補と同じ場合には、Ｂ１をマージ候補から除くことができる。
【０１２２】
（５）予測部は、Ｂ０が利用可能な場合にＢ０をマージ候補リストに追加できる。
【０１２３】
（６）予測部は、ＩｖＤＣが利用可能な場合にＩｖＤＣをマージ候補リストに追加できる。ただし、予測部は、符号化効率を上げ重複を防止するために、（ｉ）Ａ１が利用可能でないか、またはＡ１とＩｖＤＣが互いに異なり、（ｉｉ）Ｂ１が利用可能でないか、またはＢ１とＩｖＤＣが互いに異なり、（ｉｉｉ）現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、ＩｖＭＣをマージ候補リストに追加することもできる。
【０１２４】
（７）予測部は、ＶＳＰに導き出されたディスパリティーベクトル（以下、ＶＳＰという）が利用可能であり、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、ＶＳＰをマージ候補リストに追加できる。この場合、予測部は、符号化効率を上げるために、付加的なコーディング方法、例えばＩＣ（ｉｌｌｕｍｉｎａｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）などが使用されないことを条件としてＶＳＰをマージ候補リストに追加することもできる。したがって、付加的なコーディング方法、例えばＩＣが使用される場合には、ＶＳＰ候補をマージ候補から除くことができるが、これについては後述する。
【０１２５】
（８）予測部は、Ａ０が利用可能で、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、Ａ０をマージ候補リストに追加できる。
【０１２６】
（９）予測部は、Ｂ２が利用可能で、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、Ｂ２をマージ候補リストに追加できる。
【０１２７】
（１０）予測部は、（ａ）ＩｖＭＣＳｈｉｆｔが利用可能で、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えなく、（ｂ）ＩｖＭＣが利用可能でないか、またはＩｖＭＣとＩｖＭＣＳｈｉｆｔとが同一でない場合に、ＩｖＭＣＳｈｉｆｔをマージ候補リストに追加できる。
【０１２８】
（１１）予測部は、ＩｖＤＣＳｈｉｆｔが利用可能で現在まで追加されたマージ候補数がマージ候補リストの最大候補数を超えないと、ＩｖＤＣＳｈｉｆｔをマージ候補リストに追加できる。
【０１２９】
上述のように、マージモードを介して予測するサンプルがデプスに関するものであれば、ＭＰＩによった候補ＴとＤが利用され、そうでない場合には、ＴとＤが利用されない場合もある。
【０１３０】
図８は、マージ候補リストを構成している一例を概略的に説明する図である。
【０１３１】
図８の例では、ＴとＤが使用されない場合にマージ候補リストを構成する方法を概略的に説明している。また、図８の例では、時間的候補とコンバイン（ｃｏｍｂｉｎｅｄ）候補を除いてマージ候補リストを構成する例を説明する。
【０１３２】
このとき、図８を参照すると、復元しようとする現在ＰＵにマージモードあるいはスキップモードが適用される場合に、次のような順にマージ候補リストが構成されることができる。説明の便宜のために、エンコード装置及びデコード装置の予測部がマージ候補リストを構成すると説明する。
【０１３３】
（ｉ）予測部は、復元しようとするＰＵ（以下、「現在ＰＵ」という）のＤｏＮＢＤＶを利用して、参照ピクチャにおいて対応ブロックを特定できる。予測部は、対応ブロックから動き情報を持ってくることができる。例えば、予測部は、対応ブロックの重心（ｃｅｎｔｅｒ）あるいは左上端サンプルを基準に対応ブロックに対する動き情報を現在ＰＵに対したマージ候補として導き出すことができる。
【０１３４】
（ｉｉ）予測部は、現在ＰＵの左側（ｌｅｆｔ）位置において動き情報を持ってくることができる。例えば、予測部は、図８に示された左側ブロックＬの動き情報を現在ＰＵに対したマージ候補として導き出すことができる。
【０１３５】
（ｉｉｉ）予測部は、現在ＰＵの上側（ａｂｏｖｅ）位置において動き情報を持ってくることができる。例えば、予測部は、図８に示す上側ブロックＡの動き情報を現在ＰＵに対したマージ候補として導き出すことができる。
【０１３６】
（ｉｖ）予測部は、現在ＰＵの右上側（ａｂｏｖｅｒｉｇｈｔ）位置において動き情報を持ってくることができる。例えば、予測部は、図８に示す右上側ブロックＡＲの動き情報を現在ＰＵに対したマージ候補として導き出すことができる。
【０１３７】
（ｖ）予測部は、現在ＰＵの周辺ブロックを基盤として導き出したディスパリティーベクトルをマージ候補として追加できる。例えば、予測部は、現在ＰＵに対したＤｏＮＢＤＶ、すなわち、現在ＰＵの周辺ブロックとデプスマップを基盤として導き出したディスパリティーベクトルを現在ＰＵに対したマージ候補（動き情報）としてマージ候補リストに追加できる。
【０１３８】
（ｖｉ）予測部は、現在ＰＵに対したＶＳＰをマージ候補にすることができる。例えば、予測部は、現在ＰＵにＶＳＰを適用して導き出したディスパリティーベクトル（例えば、ＮＢＤＶ）を現在ＰＵに対したマージ候補（動き情報）としてマージ候補リストに追加できる。
【０１３９】
（ｖｉｉ）予測部は、現在ＰＵの左下側（ｂｏｔｔｏｍ  ｌｅｆｔ）位置において動き情報を持ってくることができる。例えば、予測部は、図８に示された左下側ブロックＢＬの動き情報を現在ＰＵに対したマージ候補として導き出すことができる。
【０１４０】
（ｖｉｉｉ）予測部は、現在ＰＵの左上側（ｌｅｆｔ  ａｂｏｖｅ）位置において動き情報を持ってくることができる。例えば、予測部は、図８に示す左上側ブロックＬＡの動き情報を現在ＰＵに対したマージ候補として導き出すことができる。
【０１４１】
（ｉｘ）予測部は、ディスパリティーベクトルを利用して参照ピクチャで現在ＰＵに対応するブロックを特定し、特定されたブロックの右下側（ｂｏｔｔｏｍｒｉｇｈｔ）位置において動き情報を導き出すことができる。言い換えれば、予測部は、ディスパリティーベクトルを利用して導き出したインタビュー動きベクトルをシフトしてマージ候補として追加することもできる。例えば、予測部は、図８に示された、対応ブロックの右下側ブロックＢＲから導き出された動き情報をマージ候補として利用できる。
【０１４２】
（ｘ）予測部は、現在ＰＵの周辺ブロックから導き出したディスパリティーベクトルを修正した動き情報をマージ候補として利用できる。例えば、予測部は、現在ＰＵのディスパリティーベクトルを所定値分だけシフトして、マージ候補として利用できる。
【０１４３】
一方、（ｉｘ）及び（ｘ）において導き出されたシフトされた動き情報及びシフトされたディスパリティ情報は、先の（１０）と（１１）において説明したＩｖＭＣＳｈｉｆｔとＩｖＤＣＳｈｉｆｔに対応できる。
【０１４４】
また、上述の（１）ないし（１１）ステップにて適用されたマージ候補間の同一性判断が図８の例にも適用されることができる。したがって、（ｉ）ないし（ｘ）のステップにてマージ候補リストに追加される動き情報を以前に追加されたマージ候補との同一性を判断して、同じ場合には、マージ候補から除かれることができる。
【０１４５】
また、インタビュー予測を基盤とするマージ候補、例えばデプスを利用して導き出される候補、またはディスパリティーベクトルである候補、ディスパリティーベクトルを利用して導き出される候補がマージ候補リストに含まれる条件もやはり、先の（１）ないし（１１）にて説明したものと同様に適用されることができる。
【０１４６】
また、スキップモードが適用される場合に、現在ブロックは、現在ＰＵではない現在ＣＵである場合もある。
【０１４７】
上述のように、ＴとＭが使用されない場合（復元しようとするＰＵがデプスビューのＰＵではない場合）に、予測部は、現在ＰＵ周辺の復元されたブロックにおいて使用した動き情報と新しい動き情報（周辺ブロックの動き情報を基盤として導き出された動き情報）を利用して、マージ候補リストを構成できる。
【０１４８】
（ｉ）ないし（ｘ）において動き情報は、動きベクトルを含み、ＤＣＰブロックから導き出される動き情報の場合、動き情報は、ディスパリティーベクトルを含むか、またはマージ候補としてディスパリティーベクトルを動きベクトルと対等に使用することもできる。同様に、現在ＰＵ周辺の復元されたブロックにＭＣＰが適用された場合（ＭＣＰブロックである場合）、マージ候補リストのマージ候補としてＭＣＰ情報（例えば、動きベクトル、参照ピクチャインデックスなど）が含まれることができる。
【０１４９】
言い換えれば、予測部は、現在ＰＵの復元された周辺ブロックからＭＣＰ、ＤＣＰ、ＶＳＰ情報を持ってきて、マージ候補リストを構成できる。
【０１５０】
特に、ＶＳＰの動き情報を格納するために、マージ候補リストの追加情報としてＶＳＰフラグリスト（ＶＳＰ  ｆｌａｇ  ｌｉｓｔ）が利用されることができる。周辺の復元されたブロックがＶＳＰが適用されたブロックである場合に、ＶＳＰフラグリストにおいて前記ブロックに対するＶＳＰフラグの値は、１に格納されることができる。周辺の復元されたブロックがＤＣＰまたはＭＣＰが適用されたブロックである場合に、ＶＳＰフラグリストにおいて前記ブロックに対するＶＳＰフラグ値は、０に格納されることができる。
【０１５１】
これは、言い換えれば、マージ候補リストに複数のＶＳＰ、ＤＣＰ、ＭＣＰ候補が存在できることを意味するが、前記（ｉ）ないし（ｘ）でも（ｖ）と（ｘ）は、ＤＣＰにより導き出されるマージ候補である。
【０１５２】
一方、ビュー間の照度（ｉｌｌｕｍｉｎａｔｉｏｎ）差を補正する照度補償（ｉｌｌｕｍｉｎａｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ、ＩＣ）がインタビュー予測に適用されることができる。例えば、インタビュービデオのコーディングにおいては、同じ時刻に互いに異なる視点（ｖｉｅｗ  ｐｏｉｎｔ）において互いに異なるカメラを利用して撮影されたピクチャ間の参照がなされるので、カメラの条件と撮影環境によって差が発生できる。
【０１５３】
したがって、他のビューを参照して予測サンプルを導き出す過程においてこういう差を補償することができる。ＩＣは、線形補償の形態で適用されることができ、予め決まったあるいはシグナリングされた値を基盤として導き出された加重値（ｗｅｉｇｈｔｉｎｇ  ｆａｃｔｏｒ）とオフセットを利用して、サンプル値の修正がなされることができる。
【０１５４】
しかしながら、現在ピクチャと参照ピクチャ間のピクセル分布の差が大きくない場合、または撮影条件の差が大きく問題にならないビュー間あるいはピクチャ間には複雑度を増加させ、コーディング効率を低下させる恐れがあるから、ＩＣを適用しなくても良い。
【０１５５】
したがって、ＩＣが適用されるかどうかによって、マージ候補をどのように調整できるかを検討する必要がある。
【０１５６】
まず、復元しようとするＰＵ（現在ブロック）にＩＣが適用されない場合に、現在ブロック周辺の復元されたブロックの動き情報を、上述のようにそのままマージ候補リストに追加できる。
【０１５７】
すなわち、先に（１）〜（１１）及び（ｉ）〜（ｘ）にて説明したように、ＭＣＰ、ＤＣＰ、ＶＳＰ候補がそのままマージ候補リストに追加されることができる。
【０１５８】
復元しようとするＰＵ（現在ブロック）にＩＣが適用される場合に、ＶＳＰに導き出された動き情報がマージ候補リストから除かれる。例えば、ＩＣが適用される場合に、類似の条件で撮影されたデプスピクチャのサンプルを利用してテクスチャーピクチャのサンプルを導き出すＶＳＰは、マージ候補から除かれることができる。一方、現在ブロック周辺の復元されたブロックから導き出された動き情報がＤＣＰまたはＭＣＰである場合には、ＩＣが適用されない場合と同様に、導き出されたＭＣＰとＤＣＰがマージ候補リストに追加されることができる。
【０１５９】
したがって、ＩＣが適用される場合にＶＳＰマージ候補は、マージ候補リストから除かれ、ＩＣが適用されない場合にＶＳＰマージ候補は、導き出されたそのまま追加的な修正無しでマージ候補リストに含まれることができる。先の（７）ではこれを考慮して、付加的なコーディング方法、すなわちＩＣが適用される場合にＶＳＰがマージ候補から除かれうることを説明した。
【０１６０】
なお、エンコード装置及びデコード装置の予測部は、マージ候補リストを構成するとき、ＩＣが適用された場合、ＶＳＰフラグの値を０に格納し、ＶＳＰ適用過程において導き出した周辺ブロックのディスパリティーベクトルをＤＣＰ候補としてマージ候補リストに追加することもできる。
【０１６１】
図９は、ＩＣが適用されない場合のマージ候補リスト構成方法に関する一例を概略的に説明する図である。
【０１６２】
上述のようにＩＣが適用されない場合に、ＶＳＰは、導き出されたそのままにマージ候補として使用されることができる。したがって、利用可能性に関する他の条件を満たすと、ＶＳＰ候補は、マージ候補リスト９１０に含まれることができる。
【０１６３】
図１０は、ＩＣが適用される場合のマージ候補リスト構成方法に関する一例を概略的に説明する図である。
【０１６４】
上述のようにＩＣが適用される場合に、ＶＳＰは、マージ候補として使用されない。したがって、ＶＳＰ候補は、マージ候補リスト１０１０から除かれる。
【０１６５】
図１１は、ＩＣが適用される場合のマージ候補リスト構成方法に関する他の例を概略的に説明する図である。
【０１６６】
上述のようにＩＣが適用される場合に、ＶＳＰは、マージ候補として使用されない。このとき、マージ候補リストを構成する予測部は、ＶＳＰ過程で導き出されるディスパリティーベクトルをＶＳＰ候補の代わりにＤＣＰ候補としてマージ候補リスト１１１０に含めることもできる。
【０１６７】
図９ないし図１１の例では、説明の便宜のために、複数のＶＳＰ候補と複数のＤＣＰ候補が特定の順序なしで含まれるマージ候補リストを例として説明したが、これは、説明の便宜のためである。したがって、図９ないし図１１の例を適用する場合にも、上述の（１）〜（１１）または（ｉ）〜（ｘ）に従ってマージ候補リストが構成されることができる。
【０１６８】
このように、エンコード装置及びデコード装置の予測部は、ＩＣが適用されるかどうかに応じてマージ候補リストにＶＳＰ候補を追加するかどうかを決定できる。ＶＳＰを追加することができない場合には、ＶＳＰ候補を単純にマージ候補リストから除くか、またはＶＳＰ候補をＤＣＰ候補として仮定してマージ候補リストに追加できる。
【０１６９】
上述のＶＳＰ（Ｖｉｅｗ  Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ）候補は、従来のＤＣＰ（Ｄｉｓｐａｒｉｔｙ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎ）と類似のインタビュー予測である。先にＶＳＰに関して説明したように、ＶＳＰの場合には、ＤＣＰとは異なりデプスマップ（ｄｅｐｔｈ  ｍａｐ）を参照して予測を行うようになる。このとき、参照するデプスマップは、既にデコードされた（復元された）デプスマップでありうる。
【０１７０】
参照するデプスマップ（復元されたデプスマップ）は、周辺ビューにおいて現在ピクチャと同じＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）を有するデプスマップであっても良く、現在ビューにおいて以前に復元されたデプスマップであっても良い。
【０１７１】
以下、説明の便宜のために、ＶＳＰがエンコード装置及びデコード装置の予測部で行われると説明する。復元しようとするＰＵ（現在ブロック）にＶＳＰが適用される場合、予測部は、現在ブロックに対応するデプスブロック（ｄｅｐｔｈ  ｂｌｏｃｋ）をまず特定する。予測部は、デプスブロックを特定するために、動きベクトルまたはディスパリティーベクトルを使用することができる。このとき、使用されるディスパリティーベクトルまたは動きベクトルは、周辺ブロックのディスパリティーベクトルまたは動きベクトルでありうる。
【０１７２】
図１２は、現在ブロックに対してＶＳＰを適用するために、対応するデプスブロックを特定する方法を概略的に説明する図である。
【０１７３】
図１２を参照すると、現在ピクチャ１２１０内の現在ブロック１２２０の対応ブロック１２４０がデプスマップ１２３０内で特定される。このとき、現在ピクチャ１２１０は、現在ビュー内のテクスチャーピクチャである。現在ピクチャ１２１０とデプスマップ１２３０とは、同一時刻（同一ＰＯＣ）のピクチャでありうる。現在ブロック１２２０が参照するデプスマップ１２３０は、現在ブロックがコーディングされる視覚に既にコーディングが完了したり復元されたピクチャである。
【０１７４】
予測部は、デプスマップ１２３０において動きベクトルまたはディスパリティーベクトルにより特定されるデプスブロック１２４０の情報を利用したワーピング（ｗａｒｐｉｎｇ）を介して、仮像の予測ブロックを生成できる。あるいは予測部は、デプスブロック１２４０のデプス値から転換（ｃｏｎｖｅｒｔ）されたディスパリティーベクトルを利用して、現在ブロックに対するＤＣＰを行うことができる。
【０１７５】
デプスブロック１２４０を特定するために、予測部は、デプスマップ１２３０が同一ビュー内のピクチャ裏面動きベクトルを使用して、デプスマップ１２３０が他のビューのピクチャ裏面ディスパリティーベクトルを使用することができる。このとき、ディスパリティーベクトルは、現在ブロックの周辺ブロックから導き出すことができる。
【０１７６】
上述のように、ＶＳＰを利用して予測を行うためには、現在ブロックに対応するデプスブロックのデプス値を参照して、インタビュー予測を行うことができる。このとき、現在ブロック（現在予測ブロック）は、特定ブロック単位に分割されることができ、エンコード装置及びデコード装置の予測部は、次のようにインタビュー予測を行うことができる。
【０１７７】
１）予測部は、現在予測ブロック（現在ＰＵ）を特定ブロック（サブ予測ブロック）単位に分割する。
【０１７８】
２）予測部は、分割されたサブ予測ブロック単位に次の２−Ａ〜２−Ｄの過程を行うことができる。
【０１７９】
２−Ａ）予測部は、サブ予測ブロックに対応するデプスブロックを特定できる。このとき、予測部は、現在予測ブロックに対応するデプスブロックを特定するディスパリティーベクトルと現在予測に対して、各サブ予測ブロックを特定する位置を利用して各サブ予測ブロックに対応するデプスブロックを特定できる。
【０１８０】
２−Ｂ）予測部は、サブ予測ブロックに対応するデプスブロックから代表デプス（ｄｅｐｔｈ）値を抽出できる。
【０１８１】
２−Ｃ）予測部は、代表デプス値をディスパリティーベクトルに転換できる。
【０１８２】
２−Ｄ）予測部は、前記ディスパリティーベクトルを利用して、サブ予測ブロック単位にＤＣＰを行うことができる。
【０１８３】
このように、予測部は、予測ブロックを特定ブロック（サブ予測ブロック）単位に分けてＤＣＰを適用できる。
【０１８４】
図１３は、ＶＳＰを適用してサブブロック単位にＤＣＰを行う方法の一例を概略的に説明する図である。
【０１８５】
図１３を参照すると、エンコード装置及びデコード装置の予測部は、現在ビューのテクスチャーピクチャ１３００内の現在ＰＵ１３１０をサブブロック（サブ予測ブロック）Ｂ０、Ｂ１、Ｂ２、Ｂ３に分割（ｐａｒｔｉｔｉｏｎｉｎｇ）できる。
【０１８６】
予測部は、デプスピクチャ１３２０内の対応デプスブロック１３３０をディスパリティーベクトルを介して特定できる。このとき、ディスパリティーベクトルは、現在ＰＵの周辺ブロック（例えば、ＤＣＰブロック）から導き出されることができる。
【０１８７】
予測部は、対応デプスブロック１３３０をサブ予測ブロックＢ０、Ｂ１、Ｂ２、Ｂ３に対応するサブデプスブロックＢ０’、Ｂ１’、Ｂ２’、Ｂ３’に分割して特定できる。予測部は、サブデプスブロックのデプス値（代表デプス値）を導き出すことができる。予測部は、サブデプスブロック別にデプス値を転換（ｃｏｎｖｅｒｔ）して、各サブ予測ブロックに対するディスパリティーベクトルを導き出すことができる。
【０１８８】
例えば、サブ予測ブロックＢ１に対して、予測部は、対応するデプスブロックＢ１’を特定し、Ｂ１’のデプス値を基盤としてディスパリティーベクトルＭＶ１３５０を導き出すことができる。
【０１８９】
予測部は、導き出したディスパリティーベクトルを利用して、サブ予測ブロック単位にＤＣＰを行うことができる。例えば、予測部は、サブ予測ブロックＢ１に対して導き出したディスパリティーベクトルＭＶ１３５０を利用して、参照ピクチャ１３４０内の参照ブロックＢ１”１３６０を特定し、Ｂ１”１３６０のサンプルをサブ予測ブロックＢ１の予測サンプルとして利用できる。
【０１９０】
説明したように、現在ＰＵを特定サブＰＵに分割してＶＳＰが行われることができるが、現在ＰＵをサブＰＵに分割する方式の一例は以下のとおりである。
【０１９１】
Ａ）エンコード装置及びデコード装置の予測部は、復元しようとするＰＵ（対象ＰＵあるいは現在ＰＵ）を８ｘ８ピクセルブロック単位（すなわち、８ｘ８大きさのサブＰＵ）にまず分割できる。
【０１９２】
Ｂ）予測部は、８ｘ８ピクセルブロック単位に次のＢ−１〜Ｂ−４の過程を行うことができる。
【０１９３】
Ｂ−１）予測部は、８ｘ８ピクセルブロックに対応するデプスブロックを特定できる。このとき、予測部は、現在ＰＵに対応するデプスブロックを特定するディスパリティーベクトルとサブＰＵの大きさ８ｘ８を利用して、各８ｘ８ブロック（サブＰＵ）に対応するデプスブロックを特定できる。
【０１９４】
Ｂ−２）予測部は、８ｘ８ブロックに対応するデプスブロックの４個の頂点のデプス値を比較できる。
【０１９５】
Ｂ−３）予測部は、頂点のデプス値を比較することによって、８ｘ８ブロックを追加的に２個の８ｘ４サブブロックまたは２個の４ｘ８サブブラックに分割できる。
【０１９６】
Ｂ−４）予測部は、追加的に分割された８ｘ４サブブロックまたは４ｘ８サブブロックに対してＢ−４−１ないしＢ−４−４の過程を行うことができる。
【０１９７】
Ｂ−４−１）予測部は、サブブロック（８ｘ４サブブロックまたは４ｘ８サブブロック）に対応するデプスマップ内のブロック（デプスブロック）を特定できる。
【０１９８】
Ｂ−４−２）予測部は、サブブロックに対応するデプスブロックのデプス値（代表デプス値）を抽出できる。
【０１９９】
Ｂ−４−３）予測部は、抽出した代表デプス値をディスパリティーベクトルに転換できる。
【０２００】
Ｂ−４−４）予測部は、代表デプス値から得たディスパリティーベクトルを使用して、サブブロック（８ｘ４サブブロックまたは４ｘ８サブブロック）単位にＤＣＰを行うことができる。
【０２０１】
このように、予測部は、８ｘ８ブロックを基本単位にして復元しようとするＰＵ（現在ＰＵ）をサブブロック（４ｘ８ブロックまたは８ｘ４ブロック）に再分割し、サブブロック単位にＤＣＰを行うこともできる。
【０２０２】
図１４は、ＶＳＰを適用してサブブロック単位にＤＣＰを行う方法の他の例を概略的に説明する図である。図１４では、前記Ａ）〜Ｂ）において説明したＶＳＰの例を概略的に説明している。
【０２０３】
図１４を参照すると、エンコード装置及びデコード装置の予測部は、現在ＰＵ１４１０を８ｘ８ブロック単位に分割できる。
【０２０４】
予測部は、デプスマップにおいて現在ＰＵ１４１０に対応するデプスブロック１４２０を特定できる。このとき、デプスブロック１４２０は、現在ＰＵ１４１０の周辺ブロックから導き出したディスパリティーベクトルを使用して特定されることができる。
【０２０５】
予測部は、現在ＰＵ内の８ｘ８ブロックに対応するデプスブロック（サブデプスブロック）を特定できる。
【０２０６】
予測部は、サブデプスブロックの４個の頂点（頂点１、頂点２、頂点３、頂点４）のデプス値を利用して、追加分割の形態を特定できる。例えば、予測部は、８ｘ８ブロックの追加分割形態を次の表１のように決定できる：
【０２０７】
【表１】
0006545672.tif 000002
【０２０８】
表１を参照すると、互いに対角線方向に対向する二つの頂点のデプス値を比較して、サブブロックの分割方向が決定されることができる。
【０２０９】
例えば、図１４の例を参照すると、対応デプスブロックにおいて頂点１の深さ値（ｄｅｐｔｈ［１］）が頂点４の深さ値（ｄｅｐｔｈ［４］）より小さく、頂点２の深さ値（ｄｅｐｔｈ［２］）が頂点３の深さ値（ｄｅｐｔｈ［３］）より小さいと、現在ＰＵの８ｘ８ブロックは、水平方向の二つのサブブロック（８ｘ４ブロック）に分割されることができる。また、対応デプスブロックにおいて頂点１の深さ値（ｄｅｐｔｈ［１］）が頂点４の深さ値（ｄｅｐｔｈ［４］）より大きく、頂点２の深さ値（ｄｅｐｔｈ［２］）が頂点３の深さ値（ｄｅｐｔｈ［３］）より大きな場合にも、現在ＰＵの８ｘ８ブロックは、水平方向の二つのサブブロック（８ｘ４ブロック）に分割されることができる。前記二つの場合に該当しなければ、現在ＰＵの８ｘ８ブロックは、垂直方向の二つのサブブロック（４ｘ８ブロック）に分割されることができる。
【０２１０】
また、図１４に戻って、現在ＰＵ１４３０内の８ｘ８は、水平方向または垂直方向に分割されることができる。図１４の例では、水平方向の二つの８ｘ４ブロック１４４０、１４５０に分割されるのを例示している。
【０２１１】
一方、復元しようとするＰＵ（現在ＰＵ）を特定ブロック単位に定義するさらに他の方法を考慮することもできる。具体的にエンコード装置及びデコード装置の予測部は、現在ＰＵを８ｘ８ブロックにでまず分けないで、デプスブロックにおいて現在ＰＵのは、４つの隅に対応するデプス値を比較して、サブＰＵの分割形態を決定することもできる。
【０２１２】
この場合、予測部は、次の通りに現在ＰＵに対してＶＳＰを実施できる。
【０２１３】
ａ）予測部は、現在ＰＵに対応するデプスブロックの４つのコーナー（ｃｏｒｎｅｒ）でのデプス値を比較できる。予測部は、現在ＰＵに対応するデプスブロックを現在ＰＵの周辺ブロックから導き出されたディスパリティーベクトルを利用して特定できる。
【０２１４】
ｂ）予測部は、デプス値の比較により、現在ＰＵを８ｘ４サブブロックまたは４ｘ８サブブロックに一律的に分割できる。例えば、予測部は、現在ＰＵに対応するデプスブロックにおいて、左上端コーナーのデプス値が右下端コーナーのデプス値より小さく、右上端コーナーのデプス値が左下端コーナーのデプス値より小さな第１の場合と、左上端コーナーのデプス値が右下端コーナーのデプス値より大きく、右上端コーナーのデプス値が左下端コーナーのデプス値より大きな第２の場合には、現在ＰＵを８ｘ４サブブロック（サブＰＵ）に分割できる。予測部は、デプスブロックの４つのコーナーデプス値を比較した結果、前記第１の場合及び第２の場合に該当しなければ、現在ＰＵを４ｘ８サブブロック（サブＰＵ）に分割できる。
【０２１５】
ｃ）予測部は、分割されたサブブロック単位に次のｃ−１ないしｃ−３の過程を行うことができる。
【０２１６】
ｃ−１）予測部は、サブブロックに対応するデプスブロックを特定できる。このとき、予測部は、現在ＰＵに対応するデプスブロックにおいてサブブロックの大きさ（８ｘ４または４ｘ８）を利用して、各サブブロック（サブＰＵ）に対応するデプスブロックを特定できる。
【０２１７】
ｃ−２）予測部は、各サブブロックに対応するデプスブロックのデプス値をディスパリティーベクトルに転換（ｃｏｎｖｅｒｔ）できる。予測部は、各サブブロックに対応するデプスブロックの代表デプス値を特定し、これを利用してディスパリティーベクトルを導き出すこともできる。
【０２１８】
ｃ−３）予測部は、導き出したディスパリティーベクトルを利用して、サブブロック単位でＤＣＰを行うことができる。例えば、予測部は、現在ＰＵの参照ビューにおいて、サブブロック単位に導き出されたディスパリティーベクトルにより特定される参照ブロックのサンプルを利用して、現在サブＰＵの予測サンプルを導き出すことができる。このとき、参照ブロックは、現在ＰＵの参照ビューにおいて、現在ＰＵと同じＰＵを有するピクチャでありうる。
【０２１９】
図１５は、ＶＳＰを適用してサブブロック単位にＤＣＰを行う方法のさらに他の例を概略的に説明する図である。図１５は、前記ａ）〜ｃ）において説明したＶＳＰの例を概略的に説明している。
【０２２０】
図１５を参照すると、エンコード装置及びデコード装置の予測部は、現在ＰＵ１５１０に対応するデプスブロック１５２０を特定できる。
【０２２１】
予測部は、デプスマップにおいて現在ＰＵ１５１０に対応するデプスブロック１５２０を特定できる。このとき、デプスブロック１５２０は、現在ＰＵ１５１０の周辺ブロックから導き出したディスパリティーベクトルを使用して特定できる。
【０２２２】
予測部は、デプスブロック１５２０の４つのコーナーサンプル（コーナーサンプル１、コーナーサンプル２、コーナーサンプル３、コーナーサンプル４）のデプス値を利用して、サブブロック分割の形態を特定できる。例えば、予測部は、サブブロック分割の形態を次の表２のように決定できる：
【０２２３】
【表２】
0006545672.tif 000003
【０２２４】
表２を参照すると、デプスブロックから対角線方向へ向かい合う二つのコーナーサンプルのデプス値を比較して、現在ＰＵの分割方向が決定されることができる。
【０２２５】
例えば、図１５を参照すると、デプスブロック１５２０においてコーナーサンプル１の深さ値（ｄｅｐｔｈ［１］）がコーナーサンプル４の深さ値（ｄｅｐｔｈ［４］）より小さく、コーナーサンプル２の深さ値（ｄｅｐｔｈ［２］）がコーナーサンプル３の深さ値（ｄｅｐｔｈ［３］）より小さいと、現在ＰＵ１５１０は、図示のように水平方向のサブブロック１５３０、すなわち８ｘ４大きさのサブブロック１５３０に分割されることができる。また、デプスブロック１５２０においてコーナーサンプル１の深さ値（ｄｅｐｔｈ［１］）がコーナーサンプル４の深さ値（ｄｅｐｔｈ［４］）より大きく、コーナーサンプル２の深さ値（ｄｅｐｔｈ［２］）がコーナーサンプル３の深さ値（ｄｅｐｔｈ［３］）より大きな場合にも、現在ＰＵ１５１０は、図示のように水平方向のサブブロック１５３０、すなわち、８ｘ４大きさのサブブロック１５３０に分割されることができる。前記二つの場合に該当しなければ、現在ＰＵは、図示していないが、垂直方向のサブブロック、すなわち４ｘ８大きさのサブブロックに分割されることができる。
【０２２６】
図１６は、本発明によってマージ候補リストを構成する方法の一例を概略的に説明するフローチャートである。図１６の方法は、エンコード装置及びデコード装置で行うことができ、ここでは、説明の便宜のためにエンコード装置及びデコード装置の予測部が実施すると説明する。
【０２２７】
図１６を参照すると、予測部は、現在ブロックの予測モードを決定できる（Ｓ１６１０）。予測部は、現在ブロックにイントラ予測を適用するか、インター予測を適用するかを決定でき、インター予測を適用する場合には、スキップモードを適用するか、マージモードを適用するか、動きベクトル予測モードを適用するかを決定できる。
【０２２８】
デコード装置の場合、現在ブロックの予測モードは、エンコード装置からシグナリングされる情報に基づいて決定されることができる。
【０２２９】
現在ブロックに対する予測モードの決定結果、現在ブロックにマージモードまたはスキップモードが適用される場合に、予測部は、マージ候補として周辺ブロックから動き情報を導き出すことができる（Ｓ１６２０）。動き情報は、動きベクトルと参照ピクチャインデックスを含む。
【０２３０】
このとき、導き出される動き情報は、ベースビューにおいてマージモードが適用される場合に、マージ候補リストを構成する空間的候補と同一でありうる。上述のマージ候補リスト構成において、マージ候補としての動き情報は、図７のＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２と同一である。
【０２３１】
予測部は、動き情報とディスパリティ情報を利用して、マージ候補リストを構成できる（Ｓ１６３０）。上述のように、動き情報は、動きベクトルと参照ピクチャインデックスを含み、ディスパリティ情報は、ディスパリティーベクトルと参照ビューインデックスを含むことができる。ディスパリティーベクトルは、周辺ブロックの情報及び／またはデプス情報を利用して誘導でき、必要によってシフトされた値が使用される場合もある。
【０２３２】
マージ候補とマージ候補リストを構成する方法に対する具体的な内容は、上述のとおりである。
【０２３３】
図１７は、本発明によってＶＳＰを行う方法の一例を概略的に説明するフローチャートである。図１７の方法は、エンコード装置及びデコード装置で行うことができ、ここでは、説明の便宜のためにエンコード装置及びデコード装置の予測部が実施すると説明する。
【０２３４】
図１７を参照すると、予測部は、現在ブロックに対応するデプスブロックを特定できる（Ｓ１７１０）。現在ブロックは、予測ブロックでありえ、対応するデプスブロックは、ディスパリティーベクトル（ｄｅｒｉｖｅｄ  ｄｉｓｐａｒｉｔｙ  ｖａｃｔｏｒ）を利用して、デプスマップ（デプスピクチャ）上において特定されることができる。このとき、デプスブロックを特定するのに利用されるディスパリティーベクトルは、現在ブロックの周辺ブロックの情報を利用して導き出されることができる。またデプスマップは、現在ブロックが属する現在ピクチャと同一ビュー内で以前にコーディング（エンコード／デコード）されたピクチャであっても良く、現在ビューが参照する他のビューにおいて現在ピクチャと同じＰＯＣを有するデプスピクチャであっても良い。ＰＯＣ（ｐｉｃｔｕｒｅ  ｏｒｄｅｒ  ｃｏｕｎｔ）は、ピクチャの出力順序を特定する値である。
【０２３５】
予測部は、対応するデプスブロックにおいて４個のコーナーサンプル値を比較できる（Ｓ１７２０）。予測部は、デプスブロックの左上側コーナーサンプル、左下側コーナーサンプル、右上側コーナーサンプル、右下側コーナーサンプル値を比較できる。
【０２３６】
予測部は、デプスブロックのコーナーサンプルを比較した結果を利用して、現在ブロックをサブブロックに分割できる（Ｓ１７３０）。予測部は、左上側コーナーサンプルのデプス値が右下側コーナーサンプルのデプス値より小さく、右上側コーナーサンプルのデプス値が左下側コーナーサンプルのデプス値より小さな場合（第１の場合）に、現在ブロックを水平方向のサブブロックに分割できる。また、予測部は、左上側コーナーサンプルのデプス値が右下側コーナーサンプルのデプス値より大きく、右上側コーナーサンプルのデプス値が左下側コーナーサンプルのデプス値より大きな場合（第２の場合）に、現在ブロックを水平方向のサブブロックに分割できる。予測部は、第１の場合と第２の場合に該当しなければ、現在ブロックを垂直方向のサブブロックに分割できる。
【０２３７】
このとき、水平方向のサブブロックは、８ｘ４大きさのサブＰＵでありえ、垂直方向のサブブロックは、４ｘ８大きさのサブＰＵでありうる。
【０２３８】
予測部は、サブブロック別にディスパリティーベクトルを導き出すことができる（Ｓ１７４０）。ディスパリティーベクトルは、デプス値とカメラパラメータを利用して導き出されることができる。予測部は、サブブロック別に対応するデプスブロックを特定して、該当デプスブロックのデプス値を利用して各サブブロックに対するディスパリティーベクトルを導き出すことができる。
【０２３９】
予測部は、現在ブロックのサブブロック別に予測を行うことができる（Ｓ１７５０）。例えば、先にサブブロック別に導き出したディスパリティーベクトルを利用して、予測部は、各サブブロック別にＤＣＰを行うことができる。
【０２４０】
具体的なＶＳＰ方法及びＶＳＰを利用した現在ブロックのデコード方法は、上述のとおりである。
【０２４１】
上述の例示的なシステムにおいて、方法は、一連のステップまたはブロックとしてフローチャートに基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、上述のものと異なるステップと異なる順序 にまたは同時に発生できる。また、上述の実施の形態は、多様な様態の例示を含む。したがって、本発明は、以下の特許請求の範囲内に属するすべての他の取替、修正及び変更を含むはずである。
【図１】
0006545672.tif 000004
【図２】
0006545672.tif 000005
【図３】
0006545672.tif 000006
【図４】
0006545672.tif 000007
【図５】
0006545672.tif 000008
【図６】
0006545672.tif 000009
【図７】
0006545672.tif 000010
【図８】
0006545672.tif 000011
【図９】
0006545672.tif 000012
【図１０】
0006545672.tif 000013
【図１１】
0006545672.tif 000014
【図１２】
0006545672.tif 000015
【図１３】
0006545672.tif 000016
【図１４】
0006545672.tif 000017
【図１５】
0006545672.tif 000018
【図１６】
0006545672.tif 000019
【図１７】
0006545672.tif 000020