"異なる視点から撮影した複数の視点画像を符号化する画像符号化装置であって、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化する撮影条件情報符号化部と、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成する視差情報生成部と、前記符号化を行う視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測符号化方式によって符号化を行う画像符号化部とを備えることを特徴とする画像符号化装置。前記視差情報生成部は、前記撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴とする、請求項1に記載の画像符号化装置。前記視差情報生成部は、前記奥行き画像を分割したブロックの奥行き値の代表値に基づいて前記視差情報を算出することで、前記視差情報の生成を行うことを特徴とする、請求項1又は2に記載の画像符号化装置。前記画像符号化部おける予測ベクトルの生成方法は、前記予測ベクトルを生成する際に利用する符号化対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロックに対して、前記視差情報に基づく情報を適用することを特徴とする、請求項1~3のいずれか1項に記載の画像符号化装置。前記画像符号化部おける予測ベクトルの生成方法は、符号化対象ブロックにおける前記視差情報に基づく情報を用いることを特徴とする、請求項1~3のいずれか1項に記載の画像符号化装置。前記奥行き画像を符号化する奥行き画像符号化部を更に備えることを特徴とする、請求項1~5のいずれか1項に記載の画像符号化装置。異なる視点から撮影した複数の視点画像を復号する画像復号装置であって、前記複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号する撮影条件情報復号部と、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成する視差情報生成部と、前記復号する視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測復号方式によって復号を行う画像復号部とを備えることを特徴とする画像復号装置。前記視差情報生成部は、前記撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴とする、請求項7に記載の画像復号装置。前記視差情報生成部は、前記奥行き画像を分割したブロックの奥行き値の代表値に基づいて前記視差情報を算出することで、前記視差情報の生成を行うことを特徴とする、請求項7又は8に記載の画像復号装置。前記画像復号部おける予測ベクトルの生成方法は、前記予測ベクトルを生成する際に利用する復号対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロックに対して、前記視差情報に基づく情報を適用することを特徴とする、請求項7~9のいずれか1項に記載の画像復号装置。前記画像復号部おける予測ベクトルの生成方法は、復号対象ブロックにおける前記視差情報に基づく情報を用いることを特徴とする、請求項7~9のいずれか1項に記載の画像復号装置。前記奥行き画像は符号化されており、前記画像復号装置は、前記奥行き画像を復号する奥行き画像復号部を更に備えることを特徴とする、請求項7~11のいずれか1項に記載の画像復号装置。異なる視点から撮影した複数の視点画像を符号化する画像符号化方法であって、撮影条件情報符号化部が、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、視差情報生成部が、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像符号化部が、前記符号化を行う視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを有することを特徴とする画像符号化方法。異なる視点から撮影した複数の視点画像を復号する画像復号方法であって、撮影条件情報復号部が、前記複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、視差情報生成部が、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像復号部が、前記復号する視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを有することを特徴とする画像復号方法。コンピュータに、異なる視点から撮影した複数の視点画像を符号化する画像符号化処理を実行させるためのプログラムであって、前記コンピュータに、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、前記符号化を行う視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを実行させるためのプログラム。コンピュータに、異なる視点から撮影した複数の視点画像を復号する画像復号処理を実行させるためのプログラムであって、前記コンピュータに、前記複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、前記復号する視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを実行させるためのプログラム。しかしながら、特許文献1に記載の視差補償予測において、視差ベクトルの存在しない隣接ブロックに対して、動きベクトルが参照する領域の視差ベクトルで補正する方法には、以下の問題がある。第1に、動きベクトルが参照する領域が必ずしも視差補償予測方式にならない場合があり、置き換えるための視差ベクトルが得られないといった問題である。第2に、動きベクトルが参照する領域が、仮に視差補償予測方式で符号化されていたとしても、動きベクトルが参照するフレームは符号化対象フレームと時間的に異なるため、例えば被写体がカメラに向かって近づいたり、遠ざかる場合に、同一被写体であっても視差ベクトルが異なることである。第1、第2の場合とも、誤った視差ベクトルが予測に用いられるため、予測ベクトルの精度が下がる問題がある。また、MPEG-3DVにおいても、このような問題を解決する必要がある。本発明は、このような事情に鑑みてなされたもので、その目的は、視差補償予測において、符号化対象ブロック周辺が視差補償予測と異なる予測方式が採用されている場合であっても、予測ベクトルの精度を向上させることが可能な画像符号化装置、画像復号装置、並びにそれらの方法及びプログラムを提供することにある。上記課題を解決するために、本発明の第1の技術手段は、異なる視点から撮影した複数の視点画像を符号化する画像符号化装置であって、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化する撮影条件情報符号化部と、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成する視差情報生成部と、前記符号化を行う視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測符号化方式によって符号化を行う画像符号化部とを備えることを特徴としたものである。第2の技術手段は、第1の技術手段において、前記視差情報生成部は、前記撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴としたものである。第3の技術手段は、第1又は第2の技術手段において、前記視差情報生成部は、前記奥行き画像を分割したブロックの奥行き値の代表値に基づいて前記視差情報を算出することで、前記視差情報の生成を行うことを特徴としたものである。第4の技術手段は、第1~第3のいずれか1の技術手段において、前記画像符号化部おける予測ベクトルの生成方法は、前記予測ベクトルを生成する際に利用する符号化対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロックに対して、前記視差情報に基づく情報を適用することを特徴としたものである。第5の技術手段は、第1~第3のいずれか1の技術手段において、前記画像符号化部おける予測ベクトルの生成方法は、符号化対象ブロックにおける前記視差情報に基づく情報を用いることを特徴としたものである。第6の技術手段は、第1~第5のいずれか1の技術手段において、前記奥行き画像を符号化する奥行き画像符号化部を更に備えることを特徴としたものである。第7の技術手段は、異なる視点から撮影した複数の視点画像を復号する画像復号装置であって、前記複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号する撮影条件情報復号部と、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成する視差情報生成部と、前記復号する視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測復号方式によって復号を行う画像復号部とを備えることを特徴としたものである。第8の技術手段は、第7の技術手段において、前記視差情報生成部は、前記撮影条件情報に含まれる情報又は該情報から算出される情報である、カメラ間距離及び撮影距離に基づいて、前記奥行き画像が示す奥行き値から前記視差情報を生成することを特徴としたものである。第9の技術手段は、第7又は第8の技術手段において、前記視差情報生成部は、前記奥行き画像を分割したブロックの奥行き値の代表値に基づいて前記視差情報を算出することで、前記視差情報の生成を行うことを特徴としたものである。第10の技術手段は、第7~第9のいずれか1の技術手段において、前記画像復号部おける予測ベクトルの生成方法は、前記予測ベクトルを生成する際に利用する復号対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロックに対して、前記視差情報に基づく情報を適用することを特徴としたものである。第11の技術手段は、第7~第9のいずれか1の技術手段において、前記画像復号部おける予測ベクトルの生成方法は、復号対象ブロックにおける前記視差情報に基づく情報を用いることを特徴としたものである。第12の技術手段は、第7~第11のいずれか1の技術手段において、前記奥行き画像は符号化されており、前記画像復号装置は、前記奥行き画像を復号する奥行き画像復号部を更に備えることを特徴としたものである。第13の技術手段は、異なる視点から撮影した複数の視点画像を符号化する画像符号化方法であって、撮影条件情報符号化部が、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、視差情報生成部が、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像符号化部が、前記符号化を行う視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを有することを特徴としたものである。第14の技術手段は、異なる視点から撮影した複数の視点画像を復号する画像復号方法であって、撮影条件情報復号部が、前記複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、視差情報生成部が、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像復号部が、前記復号する視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを有することを特徴としたものである。第15の技術手段は、コンピュータに、異なる視点から撮影した複数の視点画像を符号化する画像符号化処理を実行させるためのプログラムであって、前記コンピュータに、前記複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、前記符号化を行う視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを実行させるためのプログラムであることを特徴としたものである。第16の技術手段は、コンピュータに、異なる視点から撮影した複数の視点画像を復号する画像復号処理を実行させるためのプログラムであって、前記コンピュータに、前記複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、前記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と前記撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、前記復号する視点画像に関して、前記視差情報に基づいて前記異なる視点画像に対する予測ベクトルを生成し、該予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを実行させるためのプログラムであることを特徴としたものである。以上のように、本発明によれば、視差補償予測において、奥行き画像から算出される視差情報すなわち視差ベクトルに基づいて予測ベクトルを生成することで、符号化対象ブロック周辺が視差補償予測と異なる予測方式が採用されている場合であっても、予測ベクトルの精度を向上させることが可能となり、符号化効率を高めることができる。異なる視点の画像の冗長性を考慮した画面間予測によって情報量を削減する動画像符号化方式代表的な符号化例としてH.264/AVCの拡張であるMVCがあるでは、隣接するブロックが符号化対象ブロックと同じ視差補償予測である場合に、その周辺ブロックの視差ベクトルを用いて予測ベクトルを生成している。本発明では、次世代の映像符号化方式であるMPEG-3DVを想定し、その入力情報として与えられる奥行き画像情報を用いて、隣接するブロックが視差補償予測とは異なる予測方式が採用された場合であっても、その奥行き画像情報より算出した視差情報、すなわち視差ベクトルを用いることによって予測ベクトルの予測精度を向上させ、従来の技術における問題を改善した優れた符号化効率が得られる。以下、図面を参照しながら本発明の詳細について説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。実施形態1<符号化装置>図1は、本発明の一実施形態である画像符号化装置の構成例を示す機能ブロック図である。画像符号化装置100は、撮影条件情報符号化部101、奥行き画像符号化部103、視差情報生成部104、及び画像符号化部106を含んで構成される。なお、画像符号化部106の内部に記載したブロックは、画像符号化部106の動作を概念的に説明するために利用する。以下、画像符号化装置100の機能及び動作について説明する。画像符号化装置100の入力データは、基準視点の視点画像、非基準視点の視点画像、奥行き画像、及び撮影条件情報である。基準視点の視点画像は単一の視点による画像に限定されるが、非基準視点の視点画像は複数の視点による画像が複数入力されてもよい。また、奥行き画像は、視点画像の対応する1つの奥行き画像でもよいし、全ての視点画像に対応する複数の奥行き画像が入力されてもよい。1つの視点画像に対応する1つの奥行き画像を入力する場合、その1つの視点画像は基準視点の画像であっても非基準視点の画像であってもよい。なお、各視点画像、奥行き画像は、静止画像でも動画像でもよい。撮影条件情報は、奥行き画像に対応するものである。基準視点符号化処理部102では、基準視点の視点画像を視点内予測符号化方式により圧縮符号化する。視点内予測符号化では、画面内予測や同一視点内で動き補償を行って、視点内の画像データのみに基づいて画像データを圧縮符号化する。同時に、後述する非基準視点の視点画像を符号化する際の参照用に、逆処理すなわち復号を行い、画像信号に復元しておく。奥行き画像符号化部103は、奥行き画像を、例えば従来方式であるH.264方式で圧縮する。視点画像と合わせた複数視点の奥行き画像が、奥行き画像符号化部103に入力される場合には、前述のMVCを用いて圧縮符号化することも可能である。同時に、後述する視差情報の生成用に、逆処理すなわち復号を行い、奥行き画像信号に復元しておく。つまり、本実施形態における画像符号化装置100では、奥行き画像符号化部103で符号化された奥行き画像を復号する奥行き画像復号部を備える。但し、この奥行き画像復号部は奥行き画像符号化部103の内部に設けることが多いため、内部に設けた場合を例に挙げ、図示していない。実際、奥行き画像を符号化ロッシーな符号化して伝送する構成では、符号化を行う際に復号時に得られるデータを再現する必要があるため、奥行き画像符号化部103の内部に奥行き画像復号部が必要となる。以下の説明では、奥行き画像復号部を画像符号化装置100に具備した例を挙げているが、奥行き画像は、通常の画像データに比べてデータ量が小さいため、生データを送ったりロスレスで符号化することも想定でき、そのような構成の場合、オリジナルデータを画像復号装置側が取得できることになり、符号化時に内部デコードする必要がなくなる。よって、画像符号化装置100に奥行き画像復号部を設けない構成を採用することもできる。さらに、画像符号化装置100から生データを画像復号装置に送る場合には、奥行き画像符号化部103を設けなくても、単に奥行き画像が取得可能な状態になっていれば画像復号装置に送信できる。このように、画像符号化装置100に、奥行き画像符号化部103及び奥行き画像復号部を設けない構成を採用することもできる。視差情報生成部104は、復元された奥行き画像及び、外部より入力される撮影条件情報に基づいて、符号化を行う視点画像とそれとは異なる視点画像との間の視差情報を生成する。視差情報生成の詳細については後述する。非基準視点符号化処理部105では、復元された基準視点画像と生成された視差情報に基づいて、非基準視点の視点画像を視点間予測符号化方式により圧縮符号化する。視点間予測符号化方式では、符号化対象画像とは異なる視点の画像を用いて視差補償を行い、画像データを圧縮符号化する。なお、非基準視点符号化処理部105では、視点内の画像データのみを用いた視点内予測符号化方式を、符号化効率に基づいて選択することもできる。また、ここでは、非基準視点の視点画像のみを視点間予測符号化方式で符号化する例を挙げるが、基準視点の視点画像と非基準視点の視点画像の双方を視点間予測符号化方式で符号化するようにしてもよいし、双方の視点画像について、符号化効率に基づいて視点間予測符号化方式と視点内予測符号化方式とを切り替えてもよい。画像符号化装置100は、予測符号化方式を示す情報を画像復号装置側に送信することにより、画像復号装置側での復号は可能である。撮影条件情報符号化部101は、複数視点の視点画像を撮影した際の条件である撮影条件情報を、所定の符号に変換する符号化処理を行う。最終的に、基準視点画像、非基準視点画像、奥行き画像、撮影条件情報の各符号化データは、図示しない符号構成部により連結並べ替えがなされ、符号化ストリームとして画像符号化装置100の外部例えば、図11を参照して後述する画像復号装置700へ出力される。次に、視差情報生成部104の内部処理に関して、図2、図4から図6を参照して詳細に説明する。図2は、視差情報生成部104の内部構成を示す機能ブロック図である。視差情報生成部104は、ブロック分割部201、代表奥行き値決定部202、視差算出部203、及び距離情報抽出部204より構成される。ブロック分割部201は、入力される奥行き画像を所定のサイズ例えば、16×16画素に従うブロックに分割する。代表奥行き値決定部202は、分割されたブロック毎に奥行き値の代表値を決定する。具体的には、ブロック内の奥行き値の頻度分布ヒストグラムを作成し、最も出現頻度の高い奥行き値を抽出して代表値として決定する。図4に、代表奥行き値の決定処理の概念図を示す。図4Bで例示するように、図4Aで例示する視点画像401に対応する奥行き画像402が与えられているとする。奥行き画像は、輝度のみのモノクロ画像として表される。輝度が高い=奥行き値が大きい領域ほどカメラからの距離が近いことを意味し、輝度が低い=奥行き値が小さい領域ほどカメラからの距離が遠いことを意味する。この中の分割されたブロック403において、奥行き値が図4Cで例示する頻度分布404のような頻度分布をとる場合、最も出現頻度の高い奥行き値405を、ブロック403の代表奥行き値として決定する。なお、奥行き値の代表値を決定する際には、前述のようなヒストグラムに基づく方法の他に、以下の方法に従って決定してもよい。例えば、ブロック内奥行き値のa中間値;b出現頻度を考慮した平均値;cカメラからの距離が最も近い値ブロック内奥行き値の最大値;dカメラからの距離が最も遠い値ブロック内奥行き値の最小値;或いはeブロックの中心位置の奥行き値を抽出して代表値として決定してもよい。どの方法を選択するかの基準は、例えば、一番効率の良いものを、符号化及び復号で共通の方式に固定する方法、それぞれの方法に基づいて得られた奥行き代表値を用いて視差予測をした際にもっとも予測誤差の小さい方法を適応的に選択するという方法がある。後者の場合、選択した方法を上記符号化ストリームに付加し、画像復号装置側に与える必要がある。また、奥行き画像を分割する際のブロックサイズは、前述の16×16サイズに限らず、8×8、4×4などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば16×8、8×16、8×4、4×8などのサイズでもよい。これらのサイズは、後述の画像符号化部106が採用する符号化対象ブロックのブロックサイズに合わせる方法がある。或いは奥行き画像や対応する視点画像に含まれる被写体の大きさや、要求される圧縮率などに応じて最適なサイズを選択する方法なども可能である。図2に戻って、視差算出部203は、上記奥行き値の代表値と、入力される撮影条件情報に含まれるカメラ間隔及び撮影距離を示す情報とに基づいて、該当ブロックの視差値を算出する。その際、奥行き画像に含まれる奥行き値は、カメラから被写体までの距離そのものではなく、撮影した画像に含まれる距離レンジを所定の数値範囲例えば0~255で表したものであるので、撮影条件情報に含まれる撮影時の距離レンジを表す情報例えば、画像に含まれる被写体に関するカメラからの距離の最小値と最大値で構成されるに基づいて、奥行き値を実際の距離である画像距離に変換し、撮影距離やカメラ間隔などの実距離を示す数値と次元を合わせておく。視差値の算出式は、dを視差値、lを撮影距離、Lをカメラ間隔、Zを画像距離代表値として、次式の通り定義する。d=l-Z/Z×L=l/Z-1×L1距離情報抽出部204は、撮影条件情報の中から、カメラ間距離Lと撮影距離lに相当する情報を抽出し、視差算出部203へ伝送する。なお、撮影条件情報に含まれるカメラの情報一般的にはカメラパラメータと言うとしては、内部パラメータ焦点距離、横方向スケールファクタ、縦方向スケールファクタ、画像中心座標、歪み係数、外部パラメータ回転行列、併進行列、及び上記カメラパラメータ以外の情報最近値と最遠値が該当し、厳密にはカメラ間距離Lはカメラパラメータには含まれないが、上記の併進行列を用いてカメラ間距離を算出することはできる。また、上記最近値及び最遠値は、上述した、奥行き画像を実際の距離の値に変換する処理で用いられる。ここで、数式1の式と各パラメータの意味を説明する。図5は、奥行き値と視差値との関係を示す概念図である。視点すなわちカメラ501、502と、被写体503,504とが、図のような位置関係にある場合を想定する。この時、各被写体上の正面の点505、506は、撮影距離lにおける平面507上の、pl1,pr1及びpl2,pr2の位置に投影される。平面507が観察時のスクリーン面に相当するとみなすと、pl1とpr1は、被写体の点505に関する左視点画像上と右視点画像上の画素の対応点を意味し、同様にpl2とpr2は、被写体の点506に関する各視点画像上の画素の対応点を意味する。そして、2つのカメラ間距離をL、カメラの撮影距離をl、各被写体の正面の点505、506までの距離をZ1,Z2とすると、各被写体に対応する両視点画像間の視差d1,d2と、上記各パラメータとの間には、以下の数式2,3の関係が成り立つ。ここで、距離Z1,Z2は、数式1のZと同様に、カメラからの実距離であって、奥行き画像における奥行き値そのものではない。L:Z1=d1:l-Z12L:Z2=d2:Z2-l3そして、視差値dを、右視点画像の対応点に対する左視点画像の対応点の位置として定義すると、前述の数式1の式でdを得ることができる。最終的に、視差算出部203が出力する視差情報は、双方の対応点に基づくベクトルを算出して、それを利用する。なお、上述のカメラの撮影距離lは、平行法撮影の場合、すなわち2つのカメラの光軸が平行の場合には、図6Aに示すように撮影時にピントを合わせた距離焦点距離をlに相当するとみなし、交差法撮影の場合、すなわち2つのカメラの光軸が前方で交差する場合には、図6Bに示すようにカメラから交差点クロスポイントまでの距離をlに相当するとみなしてよい。続いて、画像符号化部106について図3を用いて説明する。図3は、画像符号化部106の機能構成を示す概略ブロック図である。画像符号化部106は、画像入力部301、減算部302、直交変換部303、量子化部304、エントロピー符号化部305、逆量子化部306、逆直交変換部307、加算部308、予測方式制御部309、選択部310、デブロッキングフィルタ部311、フレームメモリフレームメモリ部312、動き/視差補償部313、動き/視差ベクトル検出部314、イントラ予測部315、及び視差入力部316を含んで構成される。なお、説明のために、画面内予測部317と画面間予測部318を点線で図示し、画面内予測部317はイントラ予測部315を含み、画面間予測部318はデブロッキングフィルタ部311、フレームメモリ312、動き/視差補償部313、及び動き/視差ベクトル検出部314を含むものとする。図1において画像符号化部106の動作を説明した際には、基準視点の符号化とそれ以外の非基準視点の符号化を明示的に分けて、基準視点符号化処理部102の処理と非基準視点符号化処理部105の処理としたが、実際にはお互いに共通する処理が多いため、以下では基準視点符号化処理と非基準視点符号化処理を統合した形態について説明を行う。具体的には、前述の基準視点符号化処理部102として行う視点内予測符号化方式は、図3の画面内予測部317で実施される処理と画面間予測部318で実施される処理の一部である同一視点の画像を参照する処理動き補償を組み合わせたものである。また、非基準視点符号化処理部105で行う視点間予測符号化方式は、画面内予測部317で実施される処理と画面間予測部318で実施される同一視点の画像を参照する処理動き補償及び異なる視点の画像を参照する処理視差補償を組み合わせたものである。さらに、画面間予測部318で実施される符号化対象の視点と同一視点の画像を参照する処理動き補償と異なる視点の画像を参照する処理視差補償についても、符号化時に参照する画像が異なるだけで、参照画像を指し示すID情報参照視点番号、参照フレーム番号を用いることで処理を共通化することが可能である。また、各予測部で予測した画像と入力した視点画像の残差成分を符号化する方法も、基準視点であっても非基準視点であっても共通に行える。詳細は後述する。画像入力部301は、画像符号化部106の外部から入力される符号化対象となる視点画像基準視点画像、或いは非基準視点画像を示す画像信号を、予め定めた大きさ例えば、垂直方向16画素×水平方向16画素のブロックに分割する。画像入力部301は、分割した画像ブロック信号を、減算部302、画面内予測部317の中にあるイントラ予測部315及び画面間予測部318の内部にある動き/視差ベクトル検出部314に出力する。画面内予測部317は、符号化処理ブロックより前に処理の完了した同一画面内の情報のみを用いて符号化を行う処理部で内容については後述する。一方、画面間予測部318は、符号化対象画像とは異なる、過去に処理した同一視点の視点画像、或いは異なる視点の視点画像の情報を用いて符号化を行う処理部で、内容は後述する。画像入力部301は、ブロック位置を順次変えながら、画像フレーム内の全てのブロックが完了し、そして入力される画像が全て終了するまで繰り返して出力する。なお、画像入力部301が、画像信号を分割する際のブロックサイズは、前述の16×16サイズに限らず、8×8、4×4などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば16×8、8×16、8×4、4×8などのサイズでもよい。これらのサイズの例は、H.264、MVCなどの従来方式で用いられた符号化ブロックサイズである。後述する符号化手順に従って、全ブロックサイズの符号化を一通り実施し、最終的に効率の良いものを選択する。なお、ブロックサイズについては上記サイズに限定するものではない。減算部302は、画像入力部301から入力した画像ブロック信号から選択部310から入力した予測画像ブロック信号を減算して、差分画像ブロック信号を生成する。減算部302は、生成した差分画像ブロック信号を直交変換部303に出力する。直交変換部303は、減算部302から入力した差分画像ブロック信号を直交変換し、種々の周波数特性の強度を示す信号を生成する。直交変換部303は、差分画像ブロック信号を直交変換する際に、その差分画像ブロック信号を、例えばDCT変換離散コサイン変換;DiscreteCosineTransformして周波数領域信号例えば、DCT変換を行った場合は、DCT係数を生成する。直交変換部303は、差分画像ブロック信号に基づき周波数領域信号を生成することができれば、DCT変換に限らず、他の方法例えば、FFT高速フーリエ変換;FastFourierTransformを用いてもよい。直交変換部303は、生成した周波数領域信号に含まれる係数値を、量子化部304に出力する。量子化部304は、直交変換部303より入力した周波数特性強度を示す係数値を所定の量子化係数にて量子化し、生成した量子化信号差分画像ブロック符号を、エントロピー符号化部305と逆量子化部306に出力する。なお、量子化係数は、外部より与えられる符号量を決めるためのパラメータで、逆量子化部306及びエントロピー符号化部305においても参照される。逆量子化部306は、量子化部304から入力された差分画像符号を、上記量子化係数を用いて量子化部304で行った量子化と逆の処理逆量子化をして復号周波数領域信号を生成し、逆直交変換部307に出力する。逆直交変換部307は、入力された復号周波数領域信号を直交変換部303とは逆の処理、例えば逆DCT変換して空間領域信号である復号差分画像ブロック信号を生成する。逆直交変換部307は、復号周波数領域信号に基づき空間領域信号を生成することができれば、逆DCT変換に限らず、他の方法例えば、IFFT高速フーリエ逆変換;InverseFastFourierTransformを用いてもよい。逆直交変換部307は、生成した復号差分画像ブロック信号を加算部308に出力する。加算部308は、選択部310から予測画像ブロック信号と逆直交変換部307から復号差分画像ブロック信号を入力する。加算部308は、予測画像ブロック信号に復号差分画像ブロック信号を加算し、入力画像を符号化復号した参照画像ブロック信号を生成する内部デコード。この参照画像ブロック信号は、画面内予測部317及び画面間予測部318に出力される。画面内予測部317は、加算部308より参照画像ブロック信号と画像入力部301より符号化対象画像の画像ブロック信号を入力し、所定の方向に画面内予測した画面内予測画像ブロック信号を予測方式制御部309と選択部310に出力する。同時に、画面内予測部317は、画面内予測画像ブロック信号を生成するために必要な予測の方向を示す情報を、画面内予測符号化情報として予測方式制御部309に出力する。画面内予測は、従来方式例えば、H.264ReferenceSoftwareJMver.13.2Encoder,http://iphome.hhi.de/suehring/tml/,2008の画面内予測方式に従って実施される。画面間予測部318は、加算部308より参照画像ブロック信号と画像入力部301より符号化対象画像の画像ブロック信号及び視差入力部316より視差情報を入力し、画面間予測により生成した画面間予測画像ブロック信号を予測方式制御部309と選択部310に出力する。同時に、画面間予測部318は、生成した画面間予測符号化情報を、予測方式制御部309に出力する。画面間予測部318については後述する。視差入力部316は、前述の画像入力部301に入力される視点画像に対応する視差情報を、視差情報生成部104より入力する。入力される視差情報のブロックサイズは画像信号のブロックサイズと同じである。視差入力部316は、入力された視差情報を視差ベクトル信号として、動き/視差補償部313に出力する。続いて、予測方式制御部309は、入力画像のピクチャの種類符号化対象画像が予測画像に参照できる画像を識別するための情報で、Iピクチャ、Pピクチャ、Bピクチャなどがある。なお、ピクチャの種類は、量子化係数と同様に外部より与えられるパラメータによって決まるもので、従来方式のMVCと同じ方法を利用できる。及び符号化効率に基づいて、画面内予測部317より入力される画面内予測画像ブロック信号とその画面内予測符号化情報、及び画面間予測部318より入力される画面間予測画像ブロック信号とその画面間符号化情報に基づいてブロック毎の予測方式が決められ、その予測方式の情報を選択部310に出力する。予測方式制御部309は、入力画像のピクチャの種類を監視し、入力された符号化対象画像が画面内の情報しか参照できないIピクチャの場合は画面内予測方式を確定的に選択する。符号化済みの過去のフレーム或いは異なる視点の画像を参照できるPピクチャや符号化済みの過去及び未来のフレーム表示順番では未来のフレームではあるが、過去に処理されたフレームの意味と異なる視点の画像を参照できるBピクチャの場合には、予測方式制御部309は、エントロピー符号化部305で行う符号化により生成されるビット数と減算部302の原画像との残差から、例えば従来の手法例えば、H.264ReferenceSoftwareJMver.13.2Encoder,http://iphome.hhi.de/suehring/tml/,2008を用いてラグランジュコストを算出し、画面内予測方式或いは画面間予測方式を決める。同時に、予測方式制御部309は、画面内予測符号化情報若しくは画面間予測符号化情報のうち、上述の方法によって選択された予測方式に対応する符号化情報に、予測方式を特定できる情報を付加し予測符号化情報として、エントロピー符号化部305に出力する。選択部310は、予測方式制御部309より入力される予測方式の情報に従って、画面内予測部317より入力される画面内予測画像ブロック信号、或いは画面間予測部318より入力される画面間予測画像ブロック信号を選択して、減算部302及び加算部308に予測画像ブロック信号を出力する。選択部310は、予測方式制御部309より入力される予測方式が画面内予測である場合には、画面内予測部317より入力される画面内予測画像ブロック信号を選択して出力し、予測方式制御部309より入力される予測方式が画面間予測である場合は、画面間予測部318より入力される画面間予測画像ブロック信号を選択して出力するものとする。エントロピー符号化部305は、量子化部304より入力される差分画像符号と量子化係数、予測方式制御部309より入力される予測符号化情報をパッキングpacking;詰込し、例えば可変長符号化エントロピー符号化を用いて符号化し、情報量がより圧縮された符号化データを生成する。エントロピー符号化部305は、生成した符号化データを画像符号化装置100の外部例えば、画像復号装置700に出力する。画面間予測部318の詳細について説明する。デブロッキングフィルタ部311は、加算部308より参照画像ブロック信号を入力し、画像の符号化時に発生するブロック歪みを減少させるための、従来の手法例えば、H.264ReferenceSoftwareJMver.13.2Encoder,http://iphome.hhi.de/suehring/tml/,2008で用いられるFIRフィルタ処理を行う。デブロッキングフィルタ部311は、処理結果補正ブロック信号をフレームメモリ312に出力する。フレームメモリ312は、デブロッキングフィルタ部311から補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。フレームメモリ312は、図示していないメモリ管理部によって、入力画像のピクチャの種類或いは画像の順番が管理され、その指示に従って画像を蓄えたり破棄する。画像管理については、従来方式のMVCの画像管理方法を利用することもできる。動き/視差ベクトル検出部314は、画像入力部301より入力される画像ブロック信号に類似するブロックを、フレームメモリ312に蓄積された画像より探し出しブロックマッチング、探し出したブロックを指し示すベクトル情報、視点番号及びフレーム番号を生成するベクトル情報は、参照する画像が符号化対象画像と同一視点の場合は動きベクトルとなり、参照する画像が符号化対象画像と異なる視点の場合は視差ベクトルとなる。動き/視差ベクトル検出部314は、ブロックマッチングを行う際、当該分割されたブロックとの間の指標値を領域毎に算出し、算出した指標値が最小となる領域を探し出す。指標値は、画像信号間の相関性や類似性を示すものであればよい。動き/視差ベクトル検出部314は、例えば、分割されたブロックに含まれる画素の輝度値と参照画像のある領域における輝度値の差の絶対値総和SAD;SumofAbsoluteDifferenceを用いる。入力された視点画像信号から分割されたブロック例えば、大きさがN×N画素と参照画像信号のブロックとの間のSADは次の式で表される。数式4において、Iini0i,j0jは入力画像の座標i0i,j0jにおける輝度値、i0,j0は当該分割されたブロックの左上端の画素座標を示す。Irefi0ip,j0jqは参照画像の座標i0ip,j0jqにおける輝度値、p,qは当該分割されたブロックの左上端の座標を基準にしたシフト量動きベクトルである。すなわち、動き/視差ベクトル検出部314は、ブロックマッチングにおいて、p,q毎にSADp,qを算出し、SADp,qを最小とするp,qを探し出す。p,qは入力された視点画像から当該分割されたブロックから当該参照領域の位置までのベクトル動き/視差ベクトルを表す。動き/視差補償部313は、動き/視差ベクトル検出部314より動きベクトル或いは視差ベクトルを入力し、さらに視差入力部316より視差情報を入力する。動き/視差補償部313は、入力された動き/視差ベクトルに基づいて、該当する領域の画像ブロックをフレームメモリ312より抽出し、画面間予測画像ブロック信号として、予測方式制御部309と選択部310に出力する。さらに、動き/視差補償部313は、上述のブロックマッチングで算出した動き/視差ベクトルから符号化対象ブロックに隣接する符号化済みブロックで採用された動き/視差ベクトル及び上記視差情報に基づいて生成された予測ベクトルを減算し差分ベクトルを算出する。予測ベクトルの生成方法は後述する。動き/視差補償部313は、上記差分ベクトルと参照画像情報参照視点画像番号、参照フレーム番号を連結並べ替えをし、画面間符号化情報として予測方式制御部309に出力する。なお、ブロックマッチングで検出された入力画像ブロックと最も類似する領域と上記予測ベクトルが指し示す領域は、少なくとも参照視点画像番号と参照フレーム番号が一致しておく必要がある。続いて、本発明に係わる予測ベクトルの生成方法について説明する。本発明の予測ベクトルは、図16に示した従来方式と同様に、符号化対象ブロックの上に隣接しているブロック図中の隣接ブロックAと右上に隣接しているブロック図中の隣接ブロックBと、左に隣接しているブロック図中の隣接ブロックCの動きベクトルmv_a、mv_b、mv_cの水平成分及び垂直成分それぞれの中央値を予測ベクトルとする。但し、隣接ブロックの符号化方式が、符号化対象ブロックの視差補償予測方式と異なるブロックに対しては、図3の視差入力部316から入力される視差情報である視差ベクトルを利用する。従って、図16に示した例では、隣接ブロックA、隣接ブロックB、隣接ブロックCにおいて視差補償予測方式とは異なる動き補償方式が採用されているため、視差入力部316より該当するブロックの視差情報、すなわち視差ベクトルを入力し、全て置き換えた上で、基準視点画像に対する予測ベクトルを生成する。別の例として、図17では、隣接ブロックA及び隣接ブロックCに対して、視差入力部316より入力する視差情報である視差ベクトルに置き換えて、基準視点画像に対する予測ベクトルを生成する。なお、予測ベクトルを生成する際に利用する隣接ブロックは、図16に示すブロックA,B,Cの位置のみに限定されるものではなく、その他の隣接ブロックを利用してもよい。図19を参照しながら、その他の隣接ブロックを利用した予測ベクトルの生成方法の例を説明する。その他の隣接ブロックを利用する例として、例えば、図19Aに示す、隣接ブロックA,B,Cに対応するベクトルmv_a~mv_cだけでなく、隣接ブロックD,E,F,G,Hに対応するベクトルmv_d~mv_hも、予測ベクトル生成に使用する候補に加えて予測ベクトルを生成してもよい。例えば、図19Bに示す奥行き画像410が符号化対象の視点画像に対応する奥行き画像であり、ブロック411が視点画像の符号化対象ブロックに対応する位置の場合、ブロック411の周辺で最も視差が近い領域は、隣接ブロックA,B,Cに相当するブロック412a,412b,412cではなく、隣接ブロックEに相当するブロック412eである。このような場合は、隣接ブロック412a~412cの視差ベクトルではなく、隣接ブロック412eの視差ベクトルを利用する方が、符号化対象ブロックに関する予測ベクトル生成の精度正確度を高めることができる。或いは、隣接ブロック412a~412cの視差ベクトルに加えて、隣接ブロック412eの視差ベクトルも予測ベクトル生成に使用する候補に含める方が、予測ベクトル生成の精度を高めることができる。さらに、例えば符号化対象ブロックと隣接ブロックE,F,G,Hに前景の被写体が含まれ、隣接ブロックA,B,C,Dが背景で占められるような画像の場合、隣接ブロックE,F,G,Hの視差の方が隣接ブロックA,B,C,Dの視差よりも符号化対象ブロックに近くなるため、予測ベクトル生成の際に隣接ブロックE,F,G,Hまで予測ベクトル生成に使用する候補に含める方が、予測ベクトル生成の精度を高められる。隣接ブロックA~Hを利用して予測ベクトルを生成する方法は、次の通りである。符号化対象ブロックのアドレスをx0,y0とすると、視差情報生成部104は、対応する奥行き画像において、ブロックアドレスx01,y01、すなわち図19AにおけるブロックHまで代表奥行き値の決定及び視差算出を行う。そして、動き/視差補償部313が、視差入力部316を介して、符号化対象ブロックの隣接ブロックA~Hに対応する視差情報を入力した時点で、隣接ブロックA~Hの視差情報視差ベクトルから、水平成分及び垂直成分それぞれの中央値を算出し、符号化対象ブロックの予測ベクトルとする。また、他の方法として、隣接ブロックA~Hの8つの隣接ブロック全てを利用するのではなく、その一部を利用して予測ベクトルを生成してもよい。例えば、上述のような、隣接ブロックとして利用する範囲を隣接ブロックA~Cまでとする方法を基本のモード0とし、この基本モードに対して、図19Aに示すような隣接ブロックD,E,F,G,Hを利用範囲として順次追加したモード1、モード2、モード3、モード4、モード5を定義し、このモードを選択するようにしてもよい。また、上記のようなモードではなく、8つの隣接ブロックのどれを利用するかを一つ又は複数決定してもよい。その場合は、例えば、視差情報生成部104によって決定されたブロック毎の代表奥行き値を保存しておき、これを動き/視差補償部313が参照して、符号化対象ブロックに対応する代表奥行き値に最も近い代表奥行き値を持つ隣接ブロックや、代表奥行き値が近い順に所定数例えば3の隣接ブロックを、予測ベクトル生成の際に利用する隣接ブロックとして決定してもよい。なお、上述のような、予測ベクトルを生成する際つまり視差ベクトルを予測する際に利用するブロック範囲をどこまでにするかは、画像符号化/復号の規格として予め決まっている場合などには画像符号化装置100側で予め決定しておいてもよいし、アプリケーションや、入力画像の解像度やフレームレート等の条件に応じて決定してもよいが、決定した結果は、視差ベクトル予測の際に利用する隣接ブロックの範囲を示す予測範囲指示情報として、符号化画像データと共に伝送する。予測範囲指示情報は、予測符号化情報の一部として伝送してもよい。予測範囲指示情報は、8つの隣接ブロックのうち、どの範囲まで利用するかを示すモード0、モード1、モード2、で構成してもよいし、8つの隣接ブロックのうちのいずれ単数又は複数を利用するかを直接示す情報として構成してもよい。以上のように、動き/視差補償部313は、符号化を行う視点画像に関し、視差情報に基づいて異なる視点画像つまり現符号化対象ではない視点画像に対する予測ベクトルを生成する。ここで生成される予測ベクトルは、符号化対象画像符号化対象ブロックを符号化する際に用いる予測ベクトルであり、その予測ベクトルが指し示す先ブロックは異なる視点画像にあるブロックブロックマッチングで特定されたブロックになる。本方式によれば、符号化対象画像に対応した奥行き画像を用いて視差情報を生成するため、全ての画像ブロックに対して視差情報を得ることができる。また、符号化対象画像と同じ時刻の奥行き画像から算出された視差情報であるため、前述の被写体の動きによる視差ベクトルの時間的な誤差も発生しない。従って、入力される奥行き画像の信頼度が十分高ければ、本方式によって予測ベクトルの精度を向上させることが可能である。また、本方式では、予測に利用できない隣接ブロックの視差ベクトルを置き換える方式であるため、ベクトルの置換えがなされた後は、従来と同じ枠組みで処理することが可能である。また、隣接ブロックの視差ベクトルの水平方向と垂直方向の中央値を用いることができるため、視差ベクトルの突発的な誤差要因隣接ブロックA、隣接ブロックB、隣接ブロックCの視差ベクトルの内、単独で発生する異常ベクトルを排除することが可能である。なお、予測ベクトルを生成する際には、前述のような方法の他に、以下の方法に従って決定してもよい。例えば、a前述の方式では置き換える必要のあるブロックに対応した視差情報を視差入力部316より入力して補正を行っているが、必ずしも対応する視差情報で置き換える必要はない。例えば、符号化対象ブロックの奥行き情報から算出された視差情報である視差ベクトルを用いてもよい。或いはb上述の置換えによる方式ではなく、常に処理対象ブロックの奥行き情報から算出された視差情報である視差ベクトルを直接予測ベクトルとしてもよい。aによる方式では、周辺ブロック位置より近い、符号化対象ブロックの視差情報を利用できるメリットがある。bによる方式は、視差入力部316から入力する視差情報から直接予測ベクトルを生成するため、上記突発的な誤差要因を抑えることはできなくなるが、前述のような周辺ブロックの視差ベクトルから中央値を算出する必要がなくなり、計算量を削減できるメリットがある。また、上記予測ベクトルの生成方式を符号化と復号について予め固定にしてもよいし、或いはブロック単位で最適な方式を選択してもよい。ブロック単位で最適な方式を選択する方法では、符号化時に採用した方式をエントロピー符号化部305にて、上記他の符号化情報と共に連結し符号化し、復号時にはそれを参照して、予測ベクトルの生成方式を切り替える必要がある。また、予測ベクトルの生成方法としては、上述したように、予測ベクトルを生成する際に利用する符号化対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロック予測方式が異なるブロックや他の理由により情報が得られないブロックに対してのみ、視差情報に基づく情報を適用すればよい。但し、必要な情報が得られるブロックについても視差情報に基づく情報を適用することもできる。つまり、必要な情報が得られないブロックであるか得られるブロックであるかに拘わらず、予測ベクトルの生成方法としては、符号化対象ブロックにおける視差情報に基づく情報を用いることができる。<画像符号化装置100のフローチャート>次に、本実施形態に係る画像符号化装置100が行う画像符号化処理について説明する。図7は、画像符号化装置100が行う画像符号化処理を示すフローチャートである。図1を参照しながら説明する。まずステップS101において、画像符号化装置100は、外部から視点画像とそれに対応する奥行き画像及び撮影条件情報を入力する。その後、ステップS102に進む。ステップS102において、奥行き画像符号化部103は、外部より入力した奥行き画像を符号化する。奥行き画像符号化部103は、奥行き画像の符号化データを図示しない符号構成部に出力する。同時に奥行き画像符号化部103は、奥行き画像の符号化データを復号し、その結果を視差情報生成部104に出力する。その後、ステップS103に進む。ステップS103において、視差情報生成部104は、外部より入力される撮影条件情報と奥行き画像符号化部103より入力される符号化復号した奥行き画像情報に基づいて視差情報を生成する。視差情報生成部104は、生成した視差情報を画像符号化部106に出力する。その後、ステップS104に進む。ステップS104において、画像符号化部106は、外部より入力される視点画像と視差情報生成部104より入力される視差情報に基づいて画像の符号化を行う。画像符号化部106は、同時に前述の予測符号化情報及び量子化係数も含めて符号化する。画像符号化部106は、画像の符号化データを図示しない符号構成部に出力する。その後、ステップS105に進む。ステップS105において、撮影条件情報符号化部101は、外部より撮影条件情報を入力し、符号化する。撮影条件情報符号化部101は、撮影条件情報の符号化データを図示しない符号構成部に出力する。その後、ステップS106に進む。ステップS106において、図示しない符号構成部は、画像符号化部106より画像に関する符号化データ、奥行き画像符号化部103より奥行き画像の符号化データ、及び撮影条件情報符号化部101より撮影条件情報の符号化データを入力し、符号化データの連結並べ替えを行い、符号化ストリームとして画像符号化装置100の外部へ出力する。上記ステップS103で実施される視差情報生成とステップS104で実施される視点画像の符号化について、より詳しく説明する。まずは、ステップS103の視差情報生成について、図8及び図2を用いて説明する。ステップS201において、視差情報生成部104は、画像符号化装置100の外部より奥行き画像と撮影条件情報を入力する。視差情報生成部104は、その内部にあるブロック分割部201に奥行き画像を入力し、距離情報抽出部204に撮影条件情報を入力する。その後、ステップS202に進む。ステップS202において、ブロック分割部201は、奥行き画像を入力し、所定のブロックサイズに奥行き画像を分割する。ブロック分割部201は、分割した奥行き画像ブロックを代表奥行き値決定部202に出力する。その後、ステップS203に進む。ステップS203において、代表奥行き値決定部202は、ブロック分割部201より分割された奥行き画像を入力し、前述の奥行き値の代表値を算出する方法に従って代表奥行き値を決定する。代表奥行き値決定部202は、算出した代表奥行き値を視差算出部203に出力する。その後、ステップS204に進む。ステップS204において、距離情報抽出部204は、撮影条件情報を入力し、撮影条件情報の中からカメラ間距離と撮影距離に相当する情報を抽出し、視差算出部203へ出力する。その後、ステップS205に進む。ステップS205において、視差算出部203は、代表奥行き値決定部202より代表奥行き値と距離情報抽出部204より視差情報を算出するために必要な撮影条件情報を入力し、上述の視差算出方法に従って視差情報、すなわち視差ベクトルを算出する。視差算出部203は、算出した視差情報、すなわち視差ベクトルを視差情報生成部104の外部に出力する。続いて、ステップS104の視点画像の符号化について、図9及び図3を用いて説明する。まずステップS301において、画像符号化部106は、外部から視点画像とそれに対応する視差情報を入力する。その後、ステップS302に進む。ステップS302において、画像入力部301は、画像符号化部106の外部から入力された視点画像である入力画像信号を予め定めた大きさ例えば、垂直方向16画素×水平方向16画素のブロックに分割して、減算部302と画面内予測部317及び画面間予測部318に出力する。また、視差入力部316は、画像入力部301に入力された視点画像と同期された視差情報、すなわち視差ベクトルを、画像入力部301で実施された画像の分割と同様に分割して、画面間予測部318に出力する。画像符号化部106は、ステップS302~ステップS310の処理をフレーム内の画像ブロック毎に繰り返す。次に、ステップS303とステップS304に進む。ステップS303において、画面内予測部317は、画像入力部301から視点画像の画像ブロック信号と加算部308より復号内部デコードされた参照画像ブロック信号を入力し、画面内予測を実施する。画面内予測部317は、生成した画面内予測画像ブロック信号を予測方式制御部309と選択部310に、画面内予測符号化情報を予測方式制御部309に出力する。なお、最初の処理において、加算部308の処理が完了していない場合には、リセットされた画像ブロック全ての画素値が0の画像ブロックを入力するものとする。画面内予測部の処理が完了すると、ステップS305に進む。ステップS304において、画面間予測部318は、画像入力部301から視点画像の画像ブロック信号と加算部308より復号内部デコードされた参照画像ブロック信号及び視差入力部316より視差情報を入力し、画面間予測を実施する。画面間予測部318は、生成した画面間予測画像ブロック信号を予測方式制御部309と選択部310に、画面間予測符号化情報を予測方式制御部309に出力する。なお、最初の処理において、加算部308の処理が完了していない場合には、リセットされた画像ブロック全ての画素値が0の画像ブロック信号を入力するものとする。画面間予測部318の処理が完了すると、ステップS305に進む。ステップS305において、予測方式制御部309は、画面内予測部317より画面内予測画像ブロック信号と画面内予測符号化情報、及び画面間予測部318より画面間予測画像ブロック信号と画面間予測符号化情報を受取り、前述のラグランジュコストに基づいて、符号化効率の良い予測モードを選択する。予測方式制御部309は、選択した予測モードの情報を選択部310に出力する。予測方式制御部309は、選択した予測モードに対応する予測符号化情報に選択した予測モードを識別するための情報を付加して、エントロピー符号化部305に出力する。選択部310は、予測方式制御部309から入力される予測モード情報に従って、画面内予測部から入力される画面内予測画像ブロック信号、或いは画面間予測部から入力される画面間予測画像ブロック信号を選択して、減算部302と加算部308に出力する。その後、ステップS306に進む。ステップS306において、減算部302は、画像入力部301から入力される画像ブロック信号から選択部310から入力される予測画像ブロック信号を減算し、差分画像ブロック信号を生成する。減算部302は、差分画像ブロック信号を直交変換部303に出力する。その後、ステップS307に進む。ステップS307において、直交変換部303は、減算部302から差分画像ブロック信号を入力し、上述の直交変換を実施する。直交変換部303は、直交変換後の信号を量子化部304に出力する。量子化部304は、直交変換部303から入力された信号を、上述の量子化処理を実施し、差分画像符号を生成する。量子化部304は、差分画像符号及び量子化係数を、エントロピー符号化部305と逆量子化部306に出力する。エントロピー符号化部305は、量子化部304から入力される差分画像符号と量子化係数及び予測方式制御部309から入力される予測符号化情報をパッキングpacking;詰込し、可変長符号化エントロピー符号化を行い、情報量がより圧縮された符号化データを生成する。エントロピー符号化部305は、符号化データを画像符号化装置100の外部に例えば、図11の画像復号装置700に出力する。その後、ステップS308に進む。ステップS308において、逆量子化部306は、量子化部304から差分画像符号を入力し、量子化部304で実施した量子化の逆の処理を行う。逆量子化部306は、生成された信号を逆直交変換部307に出力する。逆直交変換部307は、逆量子化部306から逆量子化された信号を入力し、直交変換部303で実施した直交変換処理の逆直交変換処理を実施し、差分画像復号差分画像ブロック信号を復号する。逆直交変換部307は、復号された差分画像ブロック信号を加算部308に出力する。その後、ステップS309に進む。ステップS309において、加算部308は、逆直交変換部307から入力される復号された差分画像ブロック信号に、選択部310から入力される予測画像ブロック信号を加算して、入力画像を復号する参照画像ブロック信号。加算部308は、参照画像ブロック信号を、画面内予測部317と画面間予測部318に出力する。その後、ステップS310に進む。ステップS310において、画像符号化部106が、フレーム内の全ブロック及び全視点画像についてステップS302~S310の処理が完了していない場合、処理対象となるブロックを変更してステップS302に戻る。全ての処理が完了している場合、終了する。上述のステップS303で実施される画面内予測の処理フローは、従来方式であるH.264或いはMVCの画面内予測の処理ステップと同じでよい。上述のステップS304で実施される画面間予測の処理フローについて、図10及び図3を用いて説明する。まずステップS401において、デブロッキングフィルタ部311は、画面間予測部318の外部である加算部308から参照画像ブロック信号を入力し、前述のFIRフィルタ処理を実施する。デブロッキングフィルタ部311は、フィルタ処理後の補正ブロック信号をフレームメモリ312に出力する。その後、ステップS402に進む。ステップS402において、フレームメモリ312は、デブロッキングフィルタ部311の補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。その後、ステップS403に進む。ステップS403において、動き/視差ベクトル検出部314は、画像入力部301から画像ブロック信号を受取ると、該画像ブロックに類似するブロックを、フレームメモリ312に蓄積された参照画像より探し出しブロックマッチング、探し出したブロックを表すベクトル情報動きベクトル/視差ベクトルを生成する。動き/視差ベクトル検出部314は、検出したベクトル情報を含めた符号化のために必要な情報参照視点画像番号、参照フレーム番号を動き/視差補償部313に出力する。その後、ステップS404に進む。ステップS404において、動き/視差補償部313は、動き/視差ベクトル検出部314から符号化のために必要な情報を入力し、該当する予測ブロックをフレームメモリ312より抽出する。動き/視差補償部313は、フレームメモリ312より抽出した予測画像ブロック信号を画面間予測画像ブロック信号として予測方式制御部309と選択部310に出力する。同時に、動き/視差補償部313は、符号化対象ブロックの隣接ブロックのベクトル情報と視差入力部316より入力する視差情報である視差ベクトルに基づいて生成した予測ベクトルと動き/視差ベクトル検出部314より入力した動き/視差ベクトルとの差分ベクトルを算出する。動き/視差補償部313は、算出した差分ベクトル及び予測に必要な情報参照視点画像番号及び参照フレーム番号を予測方式制御部309に出力する。その後、画面間予測を終了する。このように、本実施形態によれば、画像符号化装置100は、奥行き画像から算出される視差情報すなわち視差ベクトルに基づいた予測ベクトルによる視差補償予測を行うことができる。従って、本実施形態によれば、符号化対象ブロック周辺が視差補償予測と異なる予測方式が採用されている場合であっても、予測ベクトルの精度を向上させることが可能となり、符号化効率を高めることができる。実施形態2<復号装置>図11は、本発明の一実施形態である画像復号装置の構成例を示す機能ブロック図である。画像復号装置700は、撮影条件情報復号部701、奥行き画像復号部703、視差情報生成部704、及び画像復号部706を含んで構成される。なお、画像復号部706の内部に記載したブロックは、画像復号部706の動作を概念的に説明するために利用する。以下、画像復号装置700の機能及び動作について説明する。画像復号装置700の入力データは、画像復号装置700の外部例えば前述の画像符号化装置100より伝送された符号化ストリームを入力し、図示しない符号分離部によって分離抽出された基準視点画像符号、非基準視点画像符号、奥行き画像符号、撮影条件情報符号として与えられる。基準視点復号処理部702は、視点内予測符号化に従う方式により圧縮符号化された符号化データを復号し、基準視点の視点画像を復元する。復元した視点画像は、そのまま表示に使用されると共に、後述する非基準視点の視点画像の復号にも使用される。奥行き画像復号部703は、従来方式であるH.264方式或いはMVC方式により圧縮符号化された符号化データを復号し、奥行き画像を復元する。復元した奥行き画像は、前述の復元された視点画像以外の視点の画像を生成表示するために使用される。以下の説明では、奥行き画像復号部702を画像復号装置700に具備した例を挙げているが、画像符号化装置100側で生データを送信する場合も想定でき、そのような構成の場合、画像復号装置700はその生データを受信できればよい。よって、画像復号装置700に奥行き画像復号部703を設けない構成を採用することもできる。撮影条件情報復号部701は、撮影条件情報の符号化データから、撮影時のカメラ間距離と撮影距離を含む情報を復元する。復元した撮影条件情報は、奥行き画像と共に、必要な視点画像を生成表示するために使用される。視差情報生成部704は、復元された奥行き画像及び撮影条件情報に基づいて、復号する視点画像とそれとは異なる視点画像との間の視差情報を生成する。視差情報生成の方法手順は、前述の画像符号化装置100における視差情報生成部104の処理と同様である。非基準視点復号処理部705は、視点間予測符号化に従う方式により圧縮符号化された符号化データを、復元された基準視点画像と、上記視差情報とに基づいて復号し、非基準視点の視点画像を復元する。最終的に、基準視点画像、非基準視点画像は、そのまま表示用画像として使用され、また、必要に応じて、奥行き画像と撮影条件情報とに基づいて、その他の視点の画像、例えば各視点間の間の画像が表示用に生成される。視点画像の生成処理については、当画像復号装置内で行ってもよいし装置外部で行ってもよい。また、ここでは、画像符号化装置100側で基準視点の視点画像を視点内予測符号化方式で符号化し且つ非基準視点の視点画像を視点間予測符号化方式で符号化する例を挙げているため、画像復号装置700でもそれに合わせた方式で復号する例を挙げている。但し、画像符号化装置100側で、基準視点の視点画像と非基準視点の視点画像の双方を視点間予測符号化方式で符号化する場合、画像復号装置700側でも双方の視点画像を視点間予測復号方式で復号すればよい。なお、画像符号化装置100側で符号化効率に基づいて予測符号化方式を切り替える場合には、画像復号装置700では予測符号化方式を示す情報予測符号化情報を画像符号化装置100から受信して予測復号方式を切り替えるが、その切り替えは復号対象画像が基準視点の視点画像であるか非基準視点の視点画像であるかに依らず、予測符号化情報に基づき実行すれば済む。続いて、画像復号部706について図12を用いて説明する。図12は、画像復号部706の機能構成を示す概略ブロック図である。画像復号部706は、符号化データ入力部813、エントロピー復号部801、逆量子化部802、逆直交変換部803、加算部804、予測方式制御部805、選択部806、デブロッキングフィルタ部807、フレームメモリ808、動き/視差補償部809、イントラ予測部810、画像出力部812及び視差入力部814を含んで構成される。なお、説明のために、画面内予測部816と画面間予測部815を点線で図示し、画面内予測部816はイントラ予測部810を含み、画面間予測部815はデブロッキングフィルタ部807、フレームメモリ808及び動き/視差補償部809を含むものとする。図11において画像復号部706の動作を説明した際には、基準視点の復号とそれ以外の非基準視点の復号を明示的に分けて、基準視点復号処理部702の処理と非基準視点復号処理部705の処理としたが、実際にはお互いに共通する処理が多いため、以下では基準視点復号処理と非基準視点復号処理を統合した形態について説明を行う。具体的には、前述の基準視点復号処理部702で行う視点内予測復号方式は、図12の画面内予測部816で実施される処理と画面間予測部815で実施される処理の一部である同一視点の画像を参照する処理動き補償を組み合わせたものである。また、非基準視点復号処理部705で行う視点間予測符号化方式は、画面内予測部816で実施される処理と画面間予測部815で実施される同一視点の画像を参照する処理動き補償及び異なる視点の画像を参照する処理視差補償を組み合わせたものである。さらに、画面間予測部815で実施される処理対象視点と同一視点の画像を参照する処理動き補償と異なる視点を参照する処理視差補償についても、復号時に参照する画像が異なるだけで、参照画像を指し示すID情報参照視点番号、参照フレーム番号を用いることで処理を共通化することが可能である。また、画像符号化データを復号した残差成分と各予測部で予測した画像を加算して画像を復元処理する処理も、基準視点であっても非基準視点であっても共通に行える。詳細は後述する。符号化データ入力部813は、外部例えば、画像符号化装置100から入力された画像符号化データを、処理ブロック単位例えば16画素×16画素に分割して、エントロピー復号部801に出力する。符号化データ入力部813は、ブロック位置を順次変えながら、フレーム内のすべてのブロックが完了し、そして入力される符号データが終了するまで繰り返して出力する。エントロピー復号部801は、符号化データ入力部813から入力された符号化データを、エントロピー符号化部305が行った符号化方法例えば、可変長符号化と逆の処理例えば、可変長復号であるエントロピー復号して、差分画像符号と量子化係数及び予測符号化情報を抽出する。エントロピー復号部801は、差分画像符号と量子化係数を逆量子化部802に、予測符号化情報を予測方式制御部805に出力する。逆量子化部802は、エントロピー復号部801から入力された差分画像符号を、量子化係数を用いて逆量子化して復号周波数領域信号を生成し、逆直交変換部803に出力する。逆直交変換部803は、入力された復号周波数領域信号を、例えば逆DCT変換して空間領域信号である復号差分画像ブロック信号を生成する。逆直交変換部803は、復号周波数領域信号に基づき空間領域信号を生成することができれば、逆DCT変換に限らず、他の方法例えば、IFFT高速フーリエ逆変換;InverseFastFourierTransformを用いてもよい。逆直交変換部803は、生成した復号差分画像ブロック信号を加算部804に出力する。予測方式制御部805は、エントロピー復号部801から入力される予測符号化情報の中から、画像符号化装置100で採用されたブロック単位の予測方式を取り出す。予測方式は、画面内予測或いは画面間予測である。予測方式制御部805は、抽出した予測方式に関する情報を選択部806に出力する。また、予測方式制御部805は、エントロピー復号部801から入力される予測符号化情報の中から符号化情報を取り出し、抽出した予測方式に対応する処理部に符号化情報を出力する。予測方式制御部805は、予測方式が画面内予測である場合には、画面内予測部816に画面内予測符号化情報として符号化情報を出力する。予測方式制御部805は、予測方式が画面間予測である場合には、画面間予測部815に画面間予測符号化情報として符号化情報を出力する。選択部806は、予測方式制御部805から入力された予測方式に従って、画面内予測部816から入力される画面内予測画像ブロック信号、或いは画面間予測部815から入力される画面間予測画像ブロック信号を選択する。予測方式が、画面内予測の場合には、画面内予測画像ブロック信号を選択する。予測方式が、画面間予測の場合には、画面間予測画像ブロック信号を選択する。選択部806は、選択した予測画像ブロック信号を、加算部804に出力する。加算部804は、逆直交変換部803から入力した復号差分画像ブロック信号に選択部806から入力した予測画像ブロック信号を加算し、復号画像ブロック信号を生成する。加算部804は、復号した復号画像ブロック信号を、画面内予測部816と画面間予測部815、及び画像出力部812に出力する。画像出力部812は、加算部804から復号画像ブロック信号を入力し、図示しないフレームメモリに画像の一部として一旦保持する。画像出力部812は、表示順にフレームの並び替えを行った後、全ての視点画像が揃った時に、画像復号装置700の外部に出力する。続いて、画面内予測部816と画面間予測部815について説明する。まず、画面内予測部816について説明する。画面内予測部816内のイントラ予測部810は、加算部804より復号画像ブロック信号と予測方式制御部805より画面内予測符号化情報を入力する。イントラ予測部810は、画面内予測符号化情報より、符号化時に実施した画面内予測を再現する。なお、画面内予測は上述の従来方式に従って実施できる。イントラ予測部810は、生成した予測画像を画面内予測画像ブロック信号として、選択部806に出力する。続いて、画面間予測部815の詳細について説明する。デブロッキングフィルタ部807は、加算部804から入力される復号画像ブロック信号に対して、デブロッキングフィルタ部311で行うFIRフィルタと同じ処理を行い、その処理結果補正ブロック信号をフレームメモリ808に出力する。フレームメモリ808は、デブロッキングフィルタ部807から補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。フレームメモリ808は、図示していないメモリ管理部によって、入力画像のピクチャの種類或いは画像の順番が管理され、その指示に従って画像を蓄えたり破棄する。画像管理については、従来方式のMVCの画像管理方法を利用することもできる。動き/視差補償部809は、予測方式制御部805より画面間予測符号化情報を入力し、その中から参照画像情報参照視点画像番号と参照フレーム番号と差分ベクトル動き/視差ベクトルと予測ベクトルの差分ベクトルを取り出す。動き/視差補償部809は、視差入力部814から入力した視差情報である視差ベクトルを用いて、前述の動き/視差補償部313で実施した予測ベクトル生成方法と同じ方法によって、予測ベクトルを生成する。すなわち、動き/視差補償部809は、復号を行う視点画像に関し、視差情報に基づいて異なる視点画像つまり現復号対象ではない視点画像に対する予測ベクトルを生成する。ここで生成される予測ベクトルは、復号対象画像復号対象ブロックを復号する際に用いる予測ベクトルであり、その予測ベクトルが指し示す先ブロックは異なる視点画像にあるブロックブロックマッチングで特定されたブロックになる。動き/視差補償部809は、算出した予測ベクトルに差分ベクトルを加算して、動き/視差ベクトルを再現する。動き/視差補償部809は、参照画像情報と動き/視差ベクトルに基づいて、フレームメモリ808に蓄積されている画像の中から対象の画像ブロック信号予測画像ブロック信号を抽出する。動き/視差補償部809は、抽出した画像ブロック信号を画面間予測画像ブロック信号として選択部806に出力する。また、動き/視差補償部809における予測ベクトルの生成方法としては、上述したように、予測ベクトルを生成する際に利用する復号対象ブロックに隣接した周辺ブロックにおいて、予測ベクトル生成に必要な情報が得られないブロックに対してのみ、視差情報に基づく情報を適用すればよい。但し、必要な情報が得られるブロックについても視差情報に基づく情報を適用することもできる。つまり、必要な情報が得られないブロックであるか得られるブロックであるかに拘わらず、予測ベクトルの生成方法としては、復号対象ブロックにおける視差情報に基づく情報を用いることができる。また、予測ベクトルの生成において、隣接する周辺ブロックのどの視差情報を使うかつまり予測ベクトルの生成に使用するブロック範囲がどの範囲であるかは、別に画像符号化装置100側から伝送される予測範囲指示情報を参照し、その指示に従ってベクトルの予測に利用する隣接ブロックを決定してもよい。予測範囲指示情報は、予測符号化情報に含めておき、符号化データ入力部813で入力してエントロピー復号部801で復号して抽出してもよい。また、画像符号化/復号の規格として予めブロック範囲が決まっている場合には、画像復号装置700側でもそれに合わせて予めブロック範囲を決めておけばよい。<画像復号装置700のフローチャート>次に、本実施形態に係る画像復号装置700が行う画像復号処理について説明する。図13は、画像復号装置700が行う画像復号処理を示すフローチャートである。図11を参照しながら説明する。まずステップS501において、画像復号装置700は、外部例えば、画像符号化装置100から符号化ストリームを入力し、図示しない符号分離部によって画像符号化データとそれに対応する奥行き画像符号化データ及び撮影条件情報符号化データを分離抽出する。その後、ステップS502に進む。ステップS502において、奥行き画像復号部703は、ステップS501で分離抽出された奥行き画像符号化データを復号し、結果を視差情報生成部704及び画像復号装置700の外部に出力する。その後、ステップS503に進む。ステップS503において、撮影条件情報復号部701は、ステップS501で分離抽出された撮影条件情報符号化データを復号し、結果を視差情報生成部704及び画像復号装置700の外部に出力する。その後、ステップS504に進む。ステップS504において、視差情報生成部704は、撮影条件情報復号部701より復号された撮影条件情報と奥行き画像復号部703より復号された奥行き画像を入力し、視差情報を生成する。視差情報生成部704は、結果を画像復号部706に出力する。その後、ステップS505に進む。ステップS505において、画像復号部706は、ステップS501で分離抽出された画像符号化データと視差情報生成部704から視差情報を入力し、画像を復号する。画像復号部706は、結果を画像復号装置700の外部に出力する。上記ステップS504で実施される視差情報生成処理は、前述のS103すなわちS201~S205の処理と同じである。続いて、ステップS505で実施される視点画像の復号について、図14及び図12を用いて説明する。まずステップS601において、画像復号部706は、外部から画像符号化データと対応する視差情報を入力する。その後、ステップS602に進む。ステップS602において、符号化データ入力部813は、画像復号部706の外部から入力された符号化データを予め定めた大きさ例えば、垂直方向16画素×水平方向16画素に対応する処理ブロックに分割して、エントロピー復号部801に出力する。また、視差入力部814は、符号化データ入力部813に入力された符号化データと同期した視差情報を画像復号部706の外部である視差情報生成部704から入力し、符号化データ入力部813と同様の処理単位に分割して、画面間予測部815に出力する。画像復号部706は、ステップS602~ステップS608の処理をフレーム内の画像ブロック毎に繰り返す。ステップS603において、エントロピー復号部801は、符号化データ入力部から入力された画像符号化データをエントロピー復号し、差分画像符号と量子化係数、及び予測符号化情報を生成する。エントロピー復号部801は、差分画像符号と量子化係数を、逆量子化部802に出力し、予測符号化情報を予測方式制御部805に出力する。予測方式制御部805は、エントロピー復号部801から予測符号化情報を入力し、予測方式に関する情報とその予測方式に対応する符号化情報を取り出す。予測方式が、画面内予測の場合には、符号化情報を画面内予測符号化情報として画面内予測部816に出力する。予測方式が、画面間予測の場合には、符号化情報を画面間予測符号化情報として画面間予測部815に出力する。その後、ステップS604とステップS605に進む。ステップS604において、画面内予測部816内のイントラ予測部810は、予測方式制御部805から入力される画面内予測符号化情報と加算部804から入力される復号画像ブロック信号を入力して、画面内予測処理を実施する。イントラ予測部810は、生成された画面内予測画像ブロック信号を選択部806に出力する。なお、最初の処理において、加算部804の処理が完了していない場合には、リセットされた画像ブロック信号全ての画素値が0の画像ブロック信号を入力するものとする。その後、ステップS606に進む。ステップS605において、画面間予測部815は、予測方式制御部805から入力される画面間予測符号化情報と、加算部804から入力される復号画像ブロック信号、及び視差入力部814から入力される視差情報すなわち視差ベクトルに基づいて、画面間予測を実施する。画面間予測部815は、生成された画面間予測画像ブロック信号を選択部806に出力する。画面間予測の処理については後述する。なお、最初の処理において、加算部804の処理が完了していない場合には、リセットされた画像ブロック信号全ての画素値が0の画像ブロック信号を入力するものとする。その後、ステップS606に進む。ステップS606において、選択部806は、予測方式制御部805から出力された予測方式に関する情報を入力し、画面内予測部816から入力された画面内予測画像ブロック信号若しくは、画面間予測部815から入力された画面間予測画像信号を選択して、加算部804に出力する。その後、ステップS607に進む。ステップS607において、逆量子化部802は、エントロピー復号部801から入力した差分画像符号を、画像符号化部106の量子化部304で実施した量子化の逆の処理を行う。逆量子化部802は、生成された復号周波数領域信号を逆直交変換部803に出力する。逆直交変換部803は、逆量子化部802から逆量子化された復号周波数領域信号を入力し、画像符号化部106の直交変換部303で実施した直交変換処理の逆直交変換処理を実施し、差分画像復号差分画像ブロック信号を復号する。逆直交変換部803は、復号された復号差分画像ブロック信号を加算部804に出力する。加算部804は、逆直交変換部803から入力される復号差分画像ブロック信号に選択部806から入力される予測画像ブロック信号を加算して、復号画像ブロック信号を生成する。加算部804は、復号した復号画像ブロック信号を画像出力部812と画面内予測部816及び画面間予測部815に出力する。その後、ステップS608に進む。ステップS608において、画像出力部812は、加算部804から入力される復号画像ブロック信号を、画像内の対応する位置に配置させ出力画像生成する。フレーム内の全ブロックについてステップS602~S608の処理が完了していない場合、処理対象となるブロックを変更してステップS602に戻る。画像出力部812は、画像を表示順に並び替えを行い、同一フレームの視点画像を揃えて画像復号装置700の外部に出力する。画面間予測部815の処理フローについては、図15及び図12を用いて説明する。まずステップS701において、デブロッキングフィルタ部807は、画面間予測部815の外部である加算部804から復号画像ブロック信号を入力し、上記符号化時に行ったFIRフィルタ処理を実施する。デブロッキングフィルタ部807は、フィルタ処理後の補正ブロック信号をフレームメモリ808に出力する。その後、ステップS702に進む。ステップS702において、フレームメモリ808は、デブロッキングフィルタ部807の補正ブロック信号を入力し、視点番号とフレーム番号を同定できる情報と共に画像の一部として補正ブロック信号を保持しておく。その後、ステップS703に進む。ステップS703において、動き/視差補償部809は、予測方式制御部805から画面間予測符号化情報を入力し、その中から参照画像情報参照視点画像番号とフレーム番号と差分ベクトル動き/視差ベクトルと予測ベクトルとの差分ベクトルを取り出す。動き/視差補償部809は、視差入力部814から入力した視差情報である視差ベクトルを用いて、前述の動き/視差補償部313で実施した予測ベクトル生成方法と同じ方法によって、予測ベクトルを生成する。動き/視差補償部809は、算出した予測ベクトルに差分ベクトルを加算して、動き/視差ベクトルを生成する。動き/視差補償部809は、参照画像情報と動き/視差ベクトルに基づいて、フレームメモリ808に蓄積されている画像の中から対象の画像ブロック信号予測画像ブロック信号を抽出する。動き/視差補償部809は、抽出した画像ブロック信号を画面間予測画像ブロック信号として選択部806に出力する。その後、画面間予測処理を終了する。このように、本実施形態によれば、画像復号装置700は、奥行き画像から算出される視差情報すなわち視差ベクトルに基づいた予測ベクトルによる視差補償予測を行うことができる。つまり、本実施形態によれば、図1の画像符号化装置100のようにして予測ベクトルの精度を向上させ符号化効率を高めて符号化されたデータを復号することができる。実施形態3<ソフトウェア、方法>上述した実施形態における画像符号化装置100、画像復号装置700の一部、例えば、奥行き画像符号化部103の一部、視差情報生成部104、撮影条件情報符号化部101と画像符号化部106内の減算部302、直交変換部303、量子化部304、エントロピー符号化部305、逆量子化部306、逆直交変換部307、加算部308、予測方式制御部309、選択部310、デブロッキングフィルタ部311、動き/視差補償部313、動き/視差ベクトル検出部314並びにイントラ予測部315、及び奥行き画像復号部703の一部、視差情報生成部704、撮影条件情報復号部701と画像復号部706内のエントロピー復号部801、逆量子化部802、逆直交変換部803、加算部804、予測方式制御部805、選択部806、デブロッキングフィルタ部807、動き/視差補償部809、並びにイントラ予測部810をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラム画像符号化プログラム及び/又は画像復号プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいうコンピュータシステムとは、画像符号化装置100又は画像復号装置700に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、このプログラムは、可搬の記録媒体やネットワークを介して流通させるに限らず、放送波を介して流通させることもできる。この画像符号化プログラムは、コンピュータに、異なる視点から撮影した複数の視点画像を符号化する画像符号化処理を実行させるためのプログラムであって、そのコンピュータに、複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、上記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、符号化を行う視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを実行させるためのプログラムである。その他の応用例については、画像符号化装置について説明した通りである。また、上述の画像復号プログラムは、コンピュータに、異なる視点から撮影した複数の視点画像を復号する画像復号処理を実行させるためのプログラムであって、そのコンピュータに、複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、上記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、復号する視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを実行させるためのプログラムである。その他の応用例については、画像復号装置について説明した通りである。この画像復号プログラムは、多視点画像の再生ソフトウェアの一部として実装することができる。また、上述した実施形態における画像符号化装置100及び画像復号装置700の一部、又は全部を、LSILargeScaleIntegration等の集積回路又はICIntegratedCircuitチップセットとして実現してもよい。画像符号化装置100及び画像復号装置700の各機能ブロックは個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。また、本発明は、画像符号化装置、画像復号装置における制御の流れを例示したように、さらには画像符号化プログラム、画像復号プログラムの各ステップの処理として説明したように、画像符号化方法、画像復号方法としての形態も採り得る。この画像符号化方法は、異なる視点から撮影した複数の視点画像を符号化する方法であって、撮影条件情報符号化部が、複数の視点画像を撮影する際のカメラ設定と被写体との位置関係を示す撮影条件情報を符号化するステップと、視差情報生成部が、上記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と撮影条件情報に基づいて、符号化を行う視点画像と該符号化を行う視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像符号化部が、符号化を行う視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測符号化方式によって符号化を行うステップとを有するものとする。その他の応用例については、画像符号化装置について説明した通りである。また、上述の画像復号方法は、異なる視点から撮影した複数の視点画像を復号する方法であって、撮影条件情報復号部が、複数の視点画像を撮影した際のカメラ設定と被写体との位置関係を示す撮影条件情報を復号するステップと、視差情報生成部が、上記複数の視点画像に対応する少なくとも1つ以上の奥行き画像と撮影条件情報に基づいて、復号する視点画像と該復号する視点画像とは異なる視点画像との間の視差情報を生成するステップと、画像復号部が、復号する視点画像に関して、視差情報に基づいて上記異なる視点画像に対する予測ベクトルを生成し、その予測ベクトルを用いて視点間予測復号方式によって復号を行うステップとを有するものとする。その他の応用例については、画像復号装置について説明した通りである。"