第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像に対応する奥行き画像と、前記第1視点画像と前記第2視点画像とを撮影した際の撮影条件を示す撮影条件情報と、に基づいて、前記第1の視点と前記第2の視点との間の視差を示す視差情報を生成する視差情報生成部と、前記第1視点画像と前記視差情報とに基づいて、前記第2視点画像を視点間予測符号化する第2視点画像符号化部と、を備えることを特徴とする多視点画像符号化装置。前記奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいて、ブロックごとの代表奥行き値を決定する代表奥行き値決定部を備え、前記視差情報生成部は、前記代表奥行き値に基づいて前記視差情報を生成することを特徴とする、請求項1に記載の多視点画像符号化装置。前記撮影条件情報は、前記第1視点に配置された第1の撮像部と前記第2視点に配置された第2の撮像部との間の撮像部間距離を示す情報、及び前記第1又は第2撮像部と被写体との間の撮影距離を示す情報を含み、前記視差情報生成部は、前記代表奥行き値決定部によって決定されたブロックごとの代表奥行き値と、前記撮像部間距離及び前記撮影距離とに基づいて、ブロックごとの視差情報を生成することを特徴とする請求項1又は2に記載の多視点画像符号化装置。第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像と、前記第1視点画像と前記第2視点画像とから、前記第1の視点と前記第2の視点との間の視差情報を生成する視差情報生成部と、前記第1視点画像と、前記視差情報とに基づいて、前記第2視点画像を視点間予測符号化する第2視点画像符号化部と、前記第1視点画像と前記第2視点画像とを撮影した際の、前記第1の視点に配置された第1撮像部と前記第2の視点に配置された第2撮像部との間の撮像部間距離、及び前記第1又は第2撮像部と被写体との間の撮影距離を含む撮影条件情報を符号化する撮影条件情報符号化部と、を備えることを特徴とする多視点画像符号化装置。第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像とをそれぞれ圧縮符号化する視点画像符号化部と、前記第2視点画像に対応する奥行き画像と、前記第1の視点に配置された第1撮像部と前記第2の視点に配置された第2撮像部との間の撮像部間距離、及び前記第1又は第2撮像部と被写体との間の撮影距離とに基づいて、前記第1の視点と前記第2の視点との間の視差情報を生成する視差情報生成部と、を備えることを特徴とする多視点画像符号化装置。第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像と、第1視点画像と第2視点画像間のブロック単位の視差情報を取得する第2視点画像取得部と、前記第1視点画像と前記第2視点画像とを撮影した際の撮影条件を示す撮影条件情報を取得する撮影条件情報取得部と、前記第2視点画像取得部によって抽出された視差情報と、前記撮影条件情報取得部によって復号された撮影条件情報とに基づいて、前記第2視点画像に対応する奥行き画像を生成する奥行き画像生成部とを備えることを特徴とする多視点画像復号装置。前記撮影条件情報から、前記第1の視点に配置された第1撮像部と前記第2の視点に配置された第2撮像部との間の撮像部間距離、及び前記第1又は第2撮像部と被写体との間の撮影距離を抽出する距離情報抽出部と、前記第2視点画像復号部によって抽出された視差情報と、前記撮像部間距離及び撮影距離とから、ブロック単位の代表奥行き値を算出する代表奥行き値算出部と、前記代表奥行き値に基づいて画素単位の奥行き画像を生成する奥行き値マッピング部とを備えることを特徴とする、請求項6に記載の多視点画像復号装置。多視点画像符号化装置における方法であって、視差情報生成部が、第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像に対応する奥行き画像と、前記第1視点画像と前記第2視点画像とを撮影した際の撮影条件を示す撮影条件情報と、に基づいて、前記第1の視点と前記第2の視点との間の視差を示す視差情報を生成する視差情報生成過程と、第2視点画像符号化部が、前記第1視点画像と前記視差情報とに基づいて、前記第2視点画像を視点間予測符号化する第2視点画像符号化過程と、を有することを特徴とする多視点画像符号化方法。多視点画像復号装置における方法であって、第2視点画像取得部が、第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像と、第1視点画像と第2視点画像間のブロック単位の視差情報を取得する第2視点画像取得過程と、撮影条件情報取得部が、前記第1視点画像と前記第2視点画像とを撮影した際の撮影条件を示す撮影条件情報を取得する撮影条件情報取得過程と、奥行き画像生成部が、前記第2視点画像取得部によって抽出された視差情報と、前記撮影条件情報取得部によって復号された撮影条件情報とに基づいて、前記第2視点画像に対応する奥行き画像を生成する奥行き画像生成過程と、を有することを特徴とする多視点画像復号方法。しかしながら、特許文献1記載の技術では、符号化する視点画像の数を減らす一方で、奥行き画像を符号化する処理が必要になるため、処理量及び生成される符号量が増大してしまう。また、特許文献2記載の技術では、ブロックマッチング処理において、ブロック内の全画素を対象に誤差評価を行いながら所定のサーチ範囲にわたって算出、判定を行う。このため、ブロックマッチング処理には、大きな処理負荷がかかってしまう。つまり、従来技術では、複数視点の画像処理に膨大な処理負荷がかかるという問題点があった。本発明は上記の点に鑑みてなされたものであり、複数視点の画像処理における処理負荷を軽減できる多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法、及び多視点画像復号方法を提供する。1本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像に対応する奥行き画像と、前記第1視点画像と前記第2視点画像とを撮影した際の撮影条件を示す撮影条件情報と、に基づいて、前記第1の視点と前記第2の視点との間の視差を示す視差情報を生成する視差情報生成部と、前記第1視点画像と前記視差情報とに基づいて、前記第2視点画像を視点間予測符号化する第2視点画像符号化部と、を備えることを特徴とする多視点画像符号化装置である。2また、本発明の一態様は、上記の多視点画像符号化装置において、前記奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいて、ブロックごとの代表奥行き値を決定する代表奥行き値決定部を備え、前記視差情報生成部は、前記代表奥行き値に基づいて前記視差情報を生成することを特徴とする。3また、本発明の一態様は、上記の多視点画像符号化装置において、前記撮影条件情報は、前記第1視点に配置された第1の撮像部と前記第2視点に配置された第2の撮像部との間の撮像部間距離を示す情報、及び前記第1又は第2撮像部と被写体との間の撮影距離を示す情報を含み、前記視差情報生成部は、前記代表奥行き値決定部によって決定されたブロックごとの代表奥行き値と、前記撮像部間距離及び前記撮影距離とに基づいて、ブロックごとの視差情報を生成することを特徴とする。4また、本発明の一態様は、第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像と、前記第1視点画像と前記第2視点画像とから、前記第1の視点と前記第2の視点との間の視差情報を生成する視差情報生成部と、前記第1視点画像と、前記視差情報とに基づいて、前記第2視点画像を視点間予測符号化する第2視点画像符号化部と、前記第1視点画像と前記第2視点画像とを撮影した際の、前記第1の視点に配置された第1撮像部と前記第2の視点に配置された第2撮像部との間の撮像部間距離、及び前記第1又は第2撮像部と被写体との間の撮影距離を含む撮影条件情報を符号化する撮影条件情報符号化部と、を備えることを特徴とする多視点画像符号化装置である。5また、本発明の一態様は、第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像とをそれぞれ圧縮符号化する視点画像符号化部と、前記第2視点画像に対応する奥行き画像と、前記第1の視点に配置された第1撮像部と前記第2の視点に配置された第2撮像部との間の撮像部間距離、及び前記第1又は第2撮像部と被写体との間の撮影距離とに基づいて、前記第1の視点と前記第2の視点との間の視差情報を生成する視差情報生成部と、を備えることを特徴とする多視点画像符号化装置である。6また、本発明の一態様は、第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像と、第1視点画像と第2視点画像間のブロック単位の視差情報を取得する第2視点画像取得部と、前記第1視点画像と前記第2視点画像とを撮影した際の撮影条件を示す撮影条件情報取得する撮影条件情報取得部と、前記第2視点画像取得部によって抽出された視差情報と、前記撮影条件情報取得部によって復号された撮影条件情報とに基づいて、前記第2視点画像に対応する奥行き画像を生成する奥行き画像生成部とを備えることを特徴とする多視点画像復号装置である。7また、本発明の一態様は、前記撮影条件情報から、前記第1の視点に配置された第1撮像部と前記第2の視点に配置された第2撮像部との間の撮像部間距離、及び前記第1又は第2撮像部と被写体との間の撮影距離を抽出する距離情報抽出部と、前記第2視点画像復号部によって抽出された視差情報と、前記撮像部間距離及び撮影距離とから、ブロック単位の代表奥行き値を算出する代表奥行き値算出部と、前記代表奥行き値に基づいて画素単位の奥行き画像を生成する奥行き値マッピング部とを備えることを特徴とする。8また、本発明の一態様は、多視点画像符号化装置における方法であって、視差情報生成部が、第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像に対応する奥行き画像と、前記第1視点画像と前記第2視点画像とを撮影した際の撮影条件を示す撮影条件情報と、に基づいて、前記第1の視点と前記第2の視点との間の視差を示す視差情報を生成する視差情報生成過程と、第2視点画像符号化部が、前記第1視点画像と前記視差情報とに基づいて、前記第2視点画像を視点間予測符号化する第2視点画像符号化過程と、を有することを特徴とする多視点画像符号化方法である。9また、本発明の一態様は、多視点画像復号装置における方法であって、第2視点画像取得部が、第1の視点の画像である第1視点画像と、第2の視点の画像である第2視点画像と、第1視点画像と第2視点画像間のブロック単位の視差情報を取得する第2視点画像取得過程と、撮影条件情報取得部が、前記第1視点画像と前記第2視点画像とを撮影した際の撮影条件を示す撮影条件情報を取得する撮影条件情報取得過程と、奥行き画像生成部が、前記第2視点画像取得部によって抽出された視差情報と、前記撮影条件情報取得部によって復号された撮影条件情報とに基づいて、前記第2視点画像に対応する奥行き画像を生成する奥行き画像生成過程と、を有することを特徴とする多視点画像復号方法である。本発明によれば、複数視点の画像処理における処理負荷を軽減できる。第1の実施形態以下、図面を参照しながら本発明の第1の実施形態について詳しく説明する。図1は、本実施形態に係る多視点画像処理システムAを示す概念図である。図示する例では、多視点画像処理システムAは、撮像機器1及び表示機器2を具備する。撮像機器1は、複数の撮像部11-1、11-2を有する。撮像機器1は、撮像部11-1、11-2を用いて撮像し、それぞれ基準視点画像及び非基準視点画像を撮像する。撮像機器1は、撮像した複数の画像に基づいて、符号化ストリームを生成する。表示機器2は、撮像機器1で生成された符号化ストリームを復号し立体画像情報を生成する。表示機器2は、生成した立体画像情報に基づいて立体画像を表示部24に表示する。図1では、撮像機器1は小型のディジタルカメラに実装されており、2視点のものを示したが、本発明の実施形態はこれに限定されない。図2は、撮像機器1の構成を示す概略ブロック図である。撮像機器1は、撮像部11-1、11-2、撮影制御部12、多視点画像符号化装置13、通信部14を含んで構成される。撮像部11-1、11-2は、画像を撮像する。ここで、撮像部11-1、11-2は、撮影制御部12から焦点距離を設定され、設定された焦点距離となるようにレンズを調整して撮像する。撮像部11-1、11-2は、異なる視点から同一視野角内の画像を撮像する。撮像部11-1、11-2は、それぞれが異なる視点に対応する。基準視点は、多視点画像データを生成する際の基準となる視点であり、撮像部11-1のレンズが設けられた位置に対応する。非基準視点は、基準視点とは別の視点であり、撮像部11-2のレンズが設けられた位置に対応する。撮像部11-1、11-2は、撮像した画像データを撮影制御部12に出力する。撮影制御部12は、撮像部11-1、11-2の各々から入力された画像データに基づいて、基準視点画像、非基準視点画像を生成する。ここで、基準視点画像とは、撮像部11-1で撮像した画像データに基づいて生成した画像である。非基準視点画像とは、撮像部11-2で撮像した画像データに基づいて生成した画像である。撮影制御部12は、距離測定手段図示しないによって測定した距離であって、被写体と撮像部11-2との間の距離に基づいて、奥行き画像を生成する。奥行き画像とは、撮像された被写体と撮像部11-2との間の距離を、非基準視点画像と同じ視野の各画素の画素値に割り当てた画像である。奥行き画像の詳細については後述する。撮影制御部12は、撮像部間距離Bや、焦点距離撮影距離L等を含む撮影条件情報を生成する。ここで、撮像部間距離Bとは、予め定められた撮像部11-1、11-2の間の距離である。また、焦点距離Lとは、撮影制御部12が設定した撮像部11-1、11-2と被写体との距離である。撮影制御部12は、基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報を多視点画像符号化装置13に出力する。多視点画像符号化装置13は、奥行き画像と撮影条件情報とに基づいて、基準視点と非基準視点との間の視差情報を生成する。多視点画像符号化装置13は、基準視点画像、非基準視点画像、及び生成した視差情報に基づいて、非基準視点画像を視点間予測符号化することで、残差画像を生成する。ここで、残差画像とは、非基準視点画像の各画素の画素値から基準視点画像の各画素の画素値を減じた画像である。多視点画像符号化装置13は、残差画像、基準視点画像、視差情報及び撮影条件情報を符号化することで、それぞれ符号化残差画像、符号化基準視点画像、符号化視差情報及び符号化撮影条件情報を生成する。符号化多視点画像符号化装置13は、符号化基準視点画像、符号化残差情報、符号化視差情報、及び符号化撮影条件情報を通信部14に出力する。なお、多視点画像符号化装置13の詳細については後述する。通信部14は、多視点画像符号化装置13から入力された符号化基準視点画像、符号化残差画像、符号化視差情報、及び符号化撮影条件情報を含む符号化ストリームを生成する。通信部14は、生成した符号化ストリームを表示機器2に送信する。符号化ストリームの送信は、インターフェイスを介する有線又は無線伝送手段により行う。無線による伝送には赤外線を用いるものも含む。図3は、表示機器2の構成を示す概略ブロック図である。表示機器2は、通信部21、多視点画像復号装置22、画像処理部23、及び表示部24を含んで構成される。通信部21は、撮像機器1から送信された符号化ストリームを受信する。通信部21は、受信した符号化ストリームから符号化基準視点画像、符号化残差画像、符号化視差情報、及び符号化撮影条件情報を抽出する。通信部21は、抽出した符号化基準視点画像、符号化残差画像、符号化視差情報、及び符号化撮影条件情報を多視点画像復号装置22に出力する。多視点画像復号装置22は、通信部21から入力された符号化基準視点画像、符号化残差画像、符号化視差情報、及び符号化撮影条件情報を復号することで、基準視点画像、残差画像、視差情報、及び撮影条件情報を生成する。多視点画像復号装置22は、基準視点画像及び残差画像に基づいて非基準視点画像を生成する。また、多視点画像復号装置22は、視差情報及び撮影条件情報に基づいて、非基準視点画像に対応する奥行き画像を生成する。多視点画像復号装置22は、生成した基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報を画像処理部23に出力する。なお、多視点画像復号装置22の詳細については後述する。画像処理部23は、多視点画像復号装置22から入力された基準視点画像、非基準視点画像、奥行き画像、及び撮影条件情報に基づいて、立体画像情報を生成する。画像処理部23は、図示しない操作手段や制御手段からの指示に応じて、基準視点画像や非基準視点画像とは異なる視点に対応する仮想視点画像を生成する。仮想視点画像の生成の際は、奥行き画像を利用して、基準視点画像および非基準視点画像の各画素値に基づいて仮想視点画像を生成する。画像処理部23は、基準視点画像、非基準視点画像、生成した仮想視点画像から、2視点以上の画像を含んで構成される立体画像情報を生成し、生成した立体画像情報を表示部24に出力する。表示部24は、画像処理部23から入力された立体画像情報に基づいて、立体画像を表示する。図4は、本実施形態に係る多視点画像符号化装置13の構成を示す概略ブロック図である。多視点画像符号化装置13は、視点画像符号化部131、視差情報生成部132、撮影条件情報符号化部133を含んで構成される。視点画像符号化部131は、基準視点画像符号化部1311及び非基準視点画像符号化部1312を含んで構成される。基準視点画像符号化部1311は、撮影制御部12から入力された基準視点画像を視点内予測符号化方式により圧縮符号化することで、符号化基準視点画像を生成する。ここで、視点内予測符号化方式とは、単一視点の画像データのみに基づいて画像データを圧縮符号化する符号化方式である。視点内予測符号化方式では、画面内予測及び動き補償予測を行って画像データを圧縮符号化する。基準視点画像符号化部1311は、生成した符号化基準視点画像を復号することで、基準視点画像を生成する。基準視点画像符号化部1311は、生成した基準視点画像を非基準視点画像符号化部1312に出力する。基準視点画像符号化部1311は、符号化基準視点画像を通信部14に出力する。非基準視点画像符号化部1312は、撮影制御部12から入力された非基準視点画像を視点間予測符号化方式により圧縮符号化する。ここで、視点間予測符号化方式とは、ある視点ここでは、非基準視点から撮像した画像データと、別の視点ここでは、基準視点から撮像した画像データとの差分を計算し、計算された差分について圧縮符号化する符号化方式である。具体的には、非基準視点画像符号化部1312は、入力された基準視点画像および非基準視点画像を所定のブロック単位に分割し、分割したブロック毎に以下の処理を行う。非基準視点画像符号化部1312は、処理対象のブロックにおける非基準視点画像の画素値を抽出する。非基準視点画像符号化部1312は、処理対象のブロックにおける視差情報であって、視差情報生成部132から入力された視差情報が示すブロックにおいて、基準視点画像の画素値を抽出する。非基準視点画像符号化部1312は、抽出した非基準視点画像の画素値から、抽出した基準画像の画素値を減算する。つまり、非基準視点画像符号化部1312は、視差情報を視点間の動きベクトル=視差ベクトルとみなし、画素値を減算するブロックを決定している。非基準視点画像符号化部1312は、以上の処理を施した後、処理対象ブロックの画素値を減算後の画素値とみなした画像残差画像を生成する。なお、非基準視点画像符号化部1312は、残差画像の生成を行う際の基準視点画像として、基準視点画像符号化部1311によって一度符号化し、その後復号された基準視点画像を使用する。これは、復号装置側での視差補償の結果を符号化装置における結果と一致させ、符号化誤差の伝播による符号化画像の品質劣化を回避するためである。非基準視点画像符号化部1312は、生成した残差画像を離散コサイン変換DiscreteCosineTransform;DCT、及び量子化することで、符号化非基準視点画像を生成する。また、非基準視点画像符号化部1312は、視差情報を圧縮符号化し、符号化視差情報を生成する。非基準視点画像符号化部1312は、符号化非基準視点画像及び符号化視差情報を通信部14に出力する。視差情報生成部132は、撮影制御部12から入力された奥行き画像及び撮影条件情報に基づいて、ブロック毎に、基準視点と非基準視点との間の視差情報を生成する。視差情報生成の詳細については後述する。視差情報生成部132は、生成したブロック毎の視差を示す視差情報を非基準視点画像符号化部1312に出力する。なお、視差情報生成部132の詳細については後述する。撮影条件情報符号化部133は、撮影制御部12から入力された撮影条件情報を符号化することで、符号化撮影条件情報を生成する。撮影条件情報符号化部133は、生成した符号化撮影条件情報を通信部14に出力する。図5は、視差情報生成部132の構成を示す概略ブロック図である。視差情報生成部132は、ブロック分割部1321、代表奥行き値決定部1322、距離情報抽出部1323、及び視差情報算出部1324を含んで構成される。ブロック分割部1321は、撮影制御部12から入力された奥行き画像を、所定のサイズ例えば、8画素×8画素のブロックに分割する。ブロック分割部1321は、分割したブロックを示すブロック情報及び奥行き画像を代表奥行き値決定部1322に出力する。代表奥行き値決定部1322は、ブロック分割部1321から入力されたブロック情報及び奥行き画像に基づいて、ブロック情報が示すブロック内の各画素の奥行き値について頻度分布ヒストグラムを生成する。代表奥行き値決定部1322は、生成した頻度分布に基づいて、各ブロック単位の奥行き値である代表奥行き値を決定する代表奥行き値決定処理と呼ぶ。代表奥行き値決定部1322は、決定した代表奥行き値を視差情報算出部1324に出力する。なお、代表奥行き値決定処理の詳細については後述する。距離情報抽出部1323は、撮影条件情報に含まれる撮像部間距離Bと撮影距離Lを抽出する。距離情報抽出部1323は、抽出した撮像部間距離Bと撮影距離Lを視差情報算出部1324に出力する。視差情報算出部1324は、代表奥行き値決定部1322から入力された代表奥行き値と、距離情報抽出部1323から入力された撮像部間距離B及び撮影距離Lに基づいて視差情報を算出する視差情報算出処理と呼ぶ。視差情報算出部1324は、算出した視差情報を非基準視点画像符号化部1312に出力する。なお、視差情報算出処理の詳細については後述する。代表奥行き値決定処理図6は、代表奥行き値決定部1322における代表奥行き値決定処理を説明する説明図である。代表奥行き値決定部1322は、ブロック内の各画素の奥行き値の頻度分布を作成し、最も出現頻度の高い奥行き値をブロック奥行き値として抽出する。符号3aを付した画像は、撮像部11-2が撮像した非基準視点画像である。符号3bを付した画像は、該非基準視点画像に対応する奥行き画像である。奥行き画像は、奥行き値が輝度で表されるモノクロ画像である。奥行き画像内の各画素は、輝度が高い=奥行き値が大きい領域ほど撮像部11-2からの距離が近く、輝度が低い=奥行き値が小さい領域ほど撮像部11-2からの距離が遠いことを意味する。符号3dを付したグラフは、符号3cを付したブロック内の各画素の輝度値すなわち、奥行き値から生成したヒストグラムである。横軸が奥行きを表し、縦軸が出現頻度を表す。代表奥行き値決定部1322は、ブロック内の各画素の輝度値を用いて、符号3dを付したヒストグラムを生成する。代表奥行き値決定部1322は、符号3eを付した最も出現頻度の高い奥行き値を、そのブロックのブロック奥行き値とする方法aと呼ぶ。なお、代表奥行き値決定部1322がブロック奥行き値を算出する方法としては、前述のようなヒストグラムに基づく方法aのみでなく、ブロック内の各画素の輝度のb中央値;c平均値;d撮像部からの距離が最も近い値ブロック内の各画素の奥行き値の最大値;e撮像部からの距離が最も遠い値ブロック内の各画素の奥行き値の最小値;をそれぞれ抽出してブロック奥行き値としてもよい。代表奥行き値決定部1322は、上記の複数の方法によって得たブロック奥行き値から代表奥行き値を決定してもよい。代表奥行き値決定部1322が、方法a~eで算出したブロック奥行き値から代表奥行き値を決定する方法の具体例を以下に説明する。まず、代表奥行き値決定部1322は、上記a~eの各方法に基づいてブロック奥行き値を算出する。視差情報算出部1324は、代表奥行き値決定部1322が各方法に基づいて算出したブロック奥行き値と、距離情報抽出部1323が抽出した撮像部間距離Bと、撮影距離Lと、に基づいて、後述の方法に従って視差情報を生成する。つまり、各方法に共通の撮像部間距離Bと、撮影距離Lと、各方法に基づいて算出したブロック奥行き値とに基づいて、視差情報を生成する。視差情報算出部1324が算出する視差情報は、ブロック情報が示す基準視点画像のブロック位置と、ブロック情報が示す基準視点画像内の画像に対応する非基準視点画像上の画像ブロックの位置との差を示す情報である。代表奥行き値決定部1322は、ブロック情報が示す基準視点画像上の画像ブロック内の画素の画素値と、非基準視点画像上の画素の画素値との差分値を、ブロック内の全ての画素に関して算出する。代表奥行き値決定部1322は、算出された差分値の絶対値を全ての画素に関して加算する差分絶対値和とよぶ。差分絶対値和が小さいほど、そのブロックを符号化する際の効率が良いため、代表奥行き値決定部1322は、方法a~eのうち、最も総差分値が小さくなる方法によって決定されたブロック奥行き値を代表奥行き値として決定する。視差情報生成処理視差情報算出部1324は、式1を用いてブロックの視差視差情報vを算出する。v=L-Z/Z×B=L/Z-1×B...式1ここで、vは視差を、Lは撮影距離を、Bは撮像部間隔を、Zは代表奥行き値を表す。図7は、奥行き値と視差との関係を説明する説明図である。ここでは、2つの視点、すなわち撮像部41A、41Bそれぞれ、撮像部11-1、11-2に対応すると、2つの被写体、すなわち42A、42Bとが、図7に示す位置関係にある場合について説明する。被写体42A上の点43Aは、撮像部41A、41Bから撮影距離Lだけ離れた平面40上の位置PL1及びPR1に投影される。同様に、被写体42B上の点43Bは、位置PL2、PR2に投影される。平面40が観賞時のスクリーン面に相当するとみなすと、位置PL1は、点43Aの左視点画像上の対応する画素を意味する。同様に、位置PR1は、点43Aの右視点画像上の対応する画素を意味する。また、位置PL2は、被写体42B上の点43Bに関する左視点画像上の対応する画素を意味する。位置PR2は、被写体42B上の点43Bに関する右視点画像上の対応する画素を意味する。2つの撮像部41A、41Bの間の距離をB、撮像部41A、41Bの撮影距離をL、撮像部41A、41Bから点43A、43Bまでの距離代表奥行き値をそれぞれZ1、Z2とする。被写体42Aに対応する撮像部41Aの視点から見た画像と撮像部41Bの視点から見た画像との間の視差をd1とする。被写体42Bに対応する撮像部41Aの視点から見た画像と撮像部41Bの視点から見た画像との間の視差をd2とする。視差d1、撮像部間隔B、撮影距離L、及び代表奥行き値Z1との間には、式2の関係が成り立つ。同様に、視差d2、撮像部間隔B、撮影距離L、及び代表奥行き値Z2との間には、式3の関係が成り立つ。B:Z1=d1:L-Z1...式2B:Z2=d2:Z2-L...式3式2、式3は、式1をそれぞれ被写体42A上の点43A、及び被写体42B上の点43Bに適用したものである。つまり式2ではv=d1、式3ではv=d2となる。ここで、視差vを、平面40上の右視点画像の対応する点と左視点画像の対応する点の間の距離として定義する。つまり、PR1とPL1との間の距離をd1、PR2とPL2との間の距離をd2と定義する。視差vは、d1が正の値、視差d2が負の値をとるものと定義する。つまり、被写体が平面40より撮像部に近いときに視差vは正の値をとり、被写体が平面40より撮像部に遠いときに視差vは負の値をとる。視差vは、代表奥行き値Zに対応して、1つの視差が定まる。図8は、撮影距離を説明する説明図である。図8aは本実施形態で採用する平行法撮影における撮影距離を示している。平行法とは、2つの撮像部41A、41Bの光軸を平行にして撮影する方法である。平行法では、撮影距離は焦点距離と等しくなる。なお、立体画像の撮影法は、平行法に限られない。図8bは交差法における撮影距離を示す図である。交差法とは、2つの撮像部41A、41Bの光軸が前方で交差するようにして撮影する方法である。交差法の場合、撮像部41A、41Bから光軸の交差点クロスポイントまでの距離を撮影距離Lとする。図9は、本実施形態に係る多視点画像符号化装置13の内部処理手順を示すフローチャートである。まず、基準視点画像、非基準視点画像、奥行き画像、撮影条件情報が入力されるステップS01。各入力データは、各処理部において次の通り処理される。基準視点画像符号化部1311は、基準視点画像を、視点内予測符号化により圧縮符号化するステップS02。このとき、圧縮符号化された符号化基準視点画像は、非基準視点画像の符号化用に一旦復号し、基準視点画像として復元しておく。そして、符号化された基準視点画像データを、装置外部へ出力するステップS03。視差情報生成部132は、入力された奥行き画像と撮影条件情報に基づいて、基準視点画像と非基準視点画像間の視差情報を生成するステップS04。撮影条件情報符号化部133は、撮影条件情報を圧縮符号化してステップS05、装置外部へ出力するステップS06。非基準視点画像符号化部1312は、基準視点画像符号化部から得られる復元された基準視点画像と、視差情報生成部132から得られる視差情報とに基づいて、ステップS01で入力された非基準視点画像を視点間予測符号化により圧縮符号化しステップS07、符号化された非基準視点画像データを装置外部へ出力するステップS08。入力データが動画像の場合は、以上の処理手順ステップS01~ステップS08を繰り返す。多視点画像復号装置の構成図10は、多視点画像復号装置22の構成を示す概略ブロック図である。多視点画像復号装置22は、視点画像復号部221、撮影条件情報復号部222、及び奥行き画像生成部223を含んで構成される。視点画像復号部221はさらに、基準視点画像復号部2211、非基準視点画像復号部2212を含んで構成される。基準視点画像復号部2211は、通信部21から入力された符号化基準視点画像を復号し、基準視点画像を生成する。基準視点画像復号部2211は、生成した基準視点画像を非基準視点画像復号部2212及び画像処理部23に出力する。非基準視点画像復号部2212は、基準視点画像復号部2211から入力された基準視点画像及び通信部21から入力された符号化残差画像、符号化視差情報に基づいて非基準視点画像を生成する。具体的には、非基準視点画像復号部2212は、符号化非基準視点画像を逆量子化し、逆量子化した符号化非基準視点画像を逆離散コサイン変換することで、残差画像を生成する。非基準視点画像復号部2212は、残差画像の各画素値に基準視点画像の対応する各画素値を加算することにより、仮非基準視点画像を生成する。非基準視点画像復号部2212は、符号化視差情報を復号して視差情報を生成し、生成した仮非基準視点画像を、視差情報が示すブロックの非基準視点画像とする。非基準視点画像復号部2212は、生成した非基準視点画像を画像処理部23に出力する。また、非基準視点画像復号部2212は、生成した視差情報を奥行き画像生成部223に出力する。撮影条件情報復号部222は、通信部21から入力された符号化撮影条件情報を復号し、撮影条件情報を生成する。撮影条件情報復号部222は、生成した撮影条件情報を奥行き画像生成部223及び画像処理部23に出力する。奥行き画像生成部223は、非基準視点画像復号部2212から入力された視差情報と、撮影条件情報復号部222から入力された撮影条件情報とに基づいて、非基準視点画像復号部2212で生成した非基準視点画像に対応する奥行き画像を生成する奥行き画像生成処理と呼ぶ。奥行き画像生成部223は、生成した奥行き画像を画像処理部23に出力する。奥行き画像生成処理の詳細については後述する。奥行き画像生成処理図11は、奥行き画像生成部223の内部構成を示すブロック図である。奥行き画像生成部223は、距離情報抽出部2231、代表奥行き値算出部2232、及び奥行き値マッピング部2233を含んで構成される。距離情報抽出部2231は、撮影条件情報復号部222から入力された撮影条件情報から、撮像部間距離Bと撮影距離Lを抽出し、抽出した撮像部間距離Bと撮影距離Lを代表奥行き値算出部2232へ出力する。代表奥行き値算出部2232は、式1を用い、非基準視点画像復号部2212から入力された視差値vと、距離情報抽出部2231で抽出された撮像部間距離Bと、撮影距離Lとに基づいてブロック単位の奥行き値である代表奥行き値を算出する。代表奥行き値算出部2232は、算出した代表奥行き値を奥行き値マッピング部2233に出力する。奥行き値マッピング処理奥行き値マッピング部2233は、代表奥行き値算出部2232によって算出された代表奥行き値に基づいて、ブロックを構成する画素単位の奥行き値を決定する。具体的には、奥行き値マッピング部2233は、代表奥行き値を、ブロックの中心に位置する画素の奥行き値と定める。奥行き値マッピング部2233は、当該ブロックの中心以外の画素に関しては、隣接する上下左右のブロックの代表奥行き値と、当該ブロックの代表奥行き値とを用いて線形補間を行い、各画素位置に対応した奥行き値を求める。このようにして、ブロック内の各画素の奥行き値を計算し、奥行き画像を生成する方法aと呼ぶ。なお、奥行き値マッピング部2233による奥行き値マッピングの方法としては、前述の方法に限定されず、以下の方法に従って決定してもよい。例えば、奥行き値マッピング部2233は、b隣接する左右のブロックの代表奥行き値との間で線形補間を行い、各画素位置に対応した奥行き値を求める。;c隣接する上下のブロックの代表奥行き値との間で線形補間を行い、各画素位置に対応した奥行き値を求める。;d代表奥行き値でブロック内一様の奥行き値とする。上記の方法b~dの選択は、例えば、以下のようにする。対応する視点画像内の領域において公知の方法によりエッジ検出を行い、垂直方向のエッジ被写体と背景の境界が表れている場合は、左右方向の奥行き変化が大きいと推測されるため方法bを選択する。同様に視点画像内の対応する領域において水平方向のエッジが表れている場合は、上下方向の奥行き変化が大きいと推測されるため方法cを選択する。対応する視点画像の領域内にエッジがなく、かつブロックサイズが小さい例えば2×2画素、4×4画素場合には、方法dを選択する。図12は、本実施形態に係る多視点画像復号装置22の内部処理手順を示すフローチャートである。まず、多視点画像符号化装置13により符号化されたデータである、符号化基準視点画像、符号化非基準視点画像符号化残差画像、符号化視差情報、符号化撮影条件情報が入力されるステップS21。各入力データは、各処理部において次の通り処理される。基準視点画像復号部2211は、符号化基準視点画像を復号して基準視点画像を生成しステップS22、生成された基準視点画像を装置外部へ出力するステップS23。非基準視点画像復号部2212は、ステップS21で入力された符号化視差情報を復号して、基準視点と非基準視点間の視差情報を生成するステップS24。次に、基準視点画像復号部から得られる基準視点画像と、入力された符号化残差画像、および生成された視差情報に基づいて、符号化非基準視点画像を復号して非基準視点画像を生成しステップS25、生成された非基準視点画像を装置外部へ出力するステップS26。撮影条件情報復号部222は、符号化撮影条件情報を復号して撮影条件情報を生成しステップS27、生成された撮影条件情報を装置外部へ出力するステップS28。奥行き画像生成部223は、非基準視点画像復号部2212から得られる視差情報と、撮影条件情報復号部222から得られる撮影条件情報とに基づいて、非基準視点画像に対応する奥行き画像を生成しステップS29、生成された奥行き画像を装置外部へ出力するステップS30。入力データが動画像に関するデータの場合は、以上の処理手順ステップS21~ステップS30を繰り返す。上記のように、本実施形態では、撮像部11-1が基準視点画像を撮像し、撮像部11-2が撮影した非基準視点画像に対応する奥行き画像と、基準視点画像と非基準視点画像とを撮影した際の撮像部間距離Bや撮影距離Lとに基づいて、撮像部11-1と撮像部11-2の視点との間の視差情報を生成する。視点画像符号化部131は、基準視点画像と、視差情報とに基づいて、非基準視点画像を視点間予測符号化する。これにより、多視点画像符号化装置13では、視点画像のブロックマッチングで視差を算出する従来の方法と比較して、視差補償、予測符号化処理における演算負荷を軽減することができる。また、本実施形態では、代表奥行き値決定部1322は、奥行き画像を分割したブロック内の奥行き値の頻度分布に基づいてブロックごとの代表奥行き値を決定する。撮影条件情報は、撮像部11-1及び11-2との間の撮像部間距離B、及び撮像部11-1、11-2と被写体との間の撮影距離Lを含み、視差情報算出部1324は、代表奥行き値決定部1322によって決定されたブロックごとの代表奥行き値と、距離B及び撮影距離Lとに基づいて、ブロックごとの視差情報を算出する。これにより、多視点画像符号化装置13では、視差情報を正確に決定することができる。また、本実施形態では、視点画像復号部221は、基準視点画像と非基準視点画像と、基準視点画像と非基準視点画像との間のブロック単位の視差情報を取得する。撮影条件情報取得部222は、基準視点画像と非基準視点画像を撮影した際の撮像部間距離Bと撮影距離Lとを取得する。奥行き画像生成部223は、視点画像復号部221によって抽出された視差情報と、撮影条件情報取得部222によって復号された撮影条件情報とに基づいて、非基準視点画像に対応する奥行き画像を生成する。これにより、多視点画像復号装置22では、視差情報から奥行き画像を生成することができる。また、本実施形態では、上記の構成をとることにより、奥行き画像から算出した視差情報を利用して視点画像の予測符号化を行う。また、奥行き画像自体を符号化伝送せずに視差情報から奥行き画像を生成する。したがって、奥行き画像を利用した仮想視点画像の生成を可能にするとともに、奥行き画像の符号化に必要な演算コストおよび符号量を削減することができ、装置の小型化低コスト化および伝送路や記録メディアの利用効率を高めることを可能にする。なお、本実施形態において、奥行き画像は、多視点画像符号化装置13の外部から入力されるデータとして扱っているが、多視点画像符号化装置13が奥行き画像を生成する手段を備えてもよい。奥行き画像を生成する方法としては、複数の視点画像からブロックマッチングにより推定する方法や、赤外線や超音波などを被写体に向けて放射しその反射時間を測定して被写体までの距離を算出する方法等を用いてもよい。第2の実施形態以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。上記第1の実施形態では、多視点画像符号化装置が、奥行き情報を用いて符号化非基準視点画像を生成する場合について説明した。本実施形態では、多視点画像符号化装置が、基準視点画像及び非基準視点画像を用いて符号化非基準視点画像を生成する場合について説明する。図13は、第2の実施形態に係る多視点画像符号化装置13aの構成を示す概略ブロック図である。多視点画像符号化装置13aは、視点画像符号化部131a及び撮影条件情報符号化部132aを含んで構成される。視点画像符号化部131aはさらに、基準視点画像符号化部1311a、視差情報生成部1312a、及び非基準視点画像符号化部1313aを含んで構成される。多視点画像符号化装置13aにおいて、基準視点画像符号化部1311a、非基準視点画像符号化部1313a、及び撮影条件情報符号化部132aは、第1の実施形態に係る多視点画像符号化装置13における、基準視点画像符号化部1311、非基準視点画像符号化部1312、及び撮影条件情報符号化部133と同様であるため、説明は省略する。視差情報生成部1312aは、撮影制御部12から入力された基準視点画像及び非基準視点画像に基づいて、基準視点画像と非基準視点画像の間の視差情報を生成する。具体的には、視差情報生成部1312aは、予め定めたサイズの画像ブロックごとに視差情報を生成する。視差情報生成部1312aは、非基準視点画像内の画像ブロック対象ブロックと呼ぶについて、対象ブロックと対応する基準視点画像内の位置を中心とする予め定めた範囲差分計算範囲と呼ぶ内で、画素差分値を計算する。ここで、画素差分値とは、対象ブロックの画像と基準視点画像内の画像の各画素の差分の絶対値である。視差情報生成部1312aは、対象ブロック内の全ての画素について、計算した画素差分値の和を計算する。視差情報生成部1312aは、差分計算範囲に含まれるブロックについて計算した画素差分値の和を比較し、最も一致度の高い画素差分値の和が最も小さいブロックを抽出する。視差情報生成部1312aは、最も一致度の高い基準視点画像内のブロックと対象ブロックとの間の、画像上の水平方向の距離を、非基準視点画像内の対象ブロックに関する基準視点画像との視差とする。視差情報生成部1312aは、生成した視差視差情報を、非基準視点画像符号化部1313aに出力する。多視点画像復号装置本実施形態に係る多視点画像復号装置22a図示しないは、第1の実施形態に係る多視点画像復号装置22と同様の構成であるため、説明は省略する。このように、本実施形態では、視差情報生成部1312aは、基準視点の画像である基準視点画像と、非基準視点の画像である非基準視点画像とに基づいて、基準視点と非基準視点との間の視差情報を生成する。非基準視点画像符号化部1313aは、基準視点画像と、視差情報とに基づいて、非基準視点画像を視点間予測符号化する。撮影条件情報符号化部132aは、基準視点画像と非基準視点画像とを撮影した際の、前記第1の視点に配置された第1撮像部と前記第2の視点に配置された第2撮像部との間の撮像部間距離、及び撮像部11-1又は11-2と被写体との間の撮影距離Lを含む撮影条件情報を符号化する。これにより、本実施形態では、複数の視点画像から算出した視差情報を利用して視点画像の予測符号化を行い、多視点復号装置側で視差情報から奥行き画像を生成することができるため、多視点符号化装置側での奥行き画像の生成や入力を必要としない。また、奥行き画像を利用した仮想視点画像の生成を可能にする。また、奥行き画像の生成や符号化に必要な演算コストおよび符号量を削減することができ、装置の小型化低コスト化および伝送路や記録メディアの利用効率を高めることを可能にする。なお、上記の各実施形態に係る基準視点画像の符号化処理では、視点内予測符号化によって符号化データを生成するため、生成された符号化データは従来の単一視点用の符号化方式で生成したデータと同等である。従って、本発明による基準視点画像の符号化データは従来の単一視点用の画像復号装置例えば、符号化方式の国際規格であるH.264に従う画像復号装置で復号し、非基準視点画像とは独立した画像として利用することも可能である。また、非基準視点画像の符号化処理に関して、作成および利用している視差情報視差は、第1の実施形態および第2の実施形態ともに従来技術のように視点画像間のブロックマッチング等で生成した視差値と同等の情報であり、視差値に基づく視差補償予測符号化処理は従来と同一の方法が適用できる。従って、本発明による非基準視点画像の符号化データは、従来の多視点画像用の画像復号装置例えば、多視点画像符号化方式の国際規格であるMVCに従う画像復号装置で復号することが可能である。このように、本発明に従う符号化装置視点画像符号化部131、131aによって生成される符号化基準視点画像及び符号化非基準視点画像は、既存の画像復号装置で復号して画像として再生できるすなわちデータの互換性を維持している。なお、多視点画像符号化装置13、13aが出力する各符号化データは、通信部14、21を介さずにそれぞれが直接、多視点画像復号装置22に入力されて与えられてもよい。なお、奥行き画像3bを分割する際のブロックサイズは、前述の8画素×8画素サイズに限らず、16画素×16画素、4画素×4画素、2画素×2画素などのサイズでもよい。また、縦横の画素数が同数でなくともよく、例えば16画素×8画素、8画素×16画素、8画素×4画素、4画素×8画素などのサイズでもよい。これらのサイズは、奥行き画像3b及び対応する視点画像3aに含まれる被写体の大きさや、画像の複雑さなどに応じて最適なサイズを選択してもよい。なお、上記の各実施形態では視点画像が基準視点画像と非基準視点画像との2つ、奥行き画像が1つである場合を例に挙げているが、視点画像が3つ以上の場合や、奥行き画像が2つ以上の場合でも、本発明の思想に基づいて多視点画像符号化装置を構成することができる。例えば視点画像が3つの場合は、1つの視点画像を基準視点として扱って視点内予測符号化方式により圧縮符号化し、残りの2つの視点画像は非基準視点の視点画像として視点間予測符号化方式により圧縮符号化する。あるいは、基準視点の視点画像が2つで、残りの1つの視点画像のみ非基準視点の視点画像としてもよい。奥行き画像に関しては、非基準視点画像に対応する各奥行き画像に関して、撮影条件情報を基に視差情報を生成し、得られた視差情報を、対応する非基準視点画像の視点間予測符号化に使用できる。視点画像と奥行き画像がそれぞれ3つを超える場合も、同様の考え方を適用することができる。なお、各視点画像、奥行き画像は、静止画像であっても良いし、動画像であってもよい。なお、上記の実施形態において、撮像部は、水平に配置される例を示したが、垂直に配置してもよい。なお、撮像部11-1を非基準視点、撮像部11-2を基準視点としてもよい。なお、多視点画像符号化装置13、13a、および多視点画像復号装置22の各機能要素、特に基準視点画像符号化部1311、1311a、非基準視点画像符号化部1312、1313a、視差情報生成部132、1312a、撮影条件情報符号化部133、132a、基準視点画像復号部2211、非基準視点画像復号部2212、奥行き画像生成部223、および撮影条件情報復号部222は、集積回路ICIntegratedCircuitチップ上に形成された論理回路によってハードウェア的に実現してもよいし、CPUCentralProcessingUnitを用いてソフトウェア的に実現してもよい。この場合、多視点画像符号化装置13、13aおよび多視点画像復号装置22は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROMReadOnlyMemory、上記プログラムを展開するRAMRandomAccessMemory、上記プログラムおよび各種データを格納するメモリ等の記憶装置記録媒体などを備えている。なお、上述した機能を実現するソフトウェアである多視点画像符号化装置13、13aおよび多視点画像復号装置22の制御プログラムのプログラムコード実行形式プログラム、中間コードプログラム、ソースプログラムをコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータまたはCPUやMPUMicroProcessorUnitが記録媒体に記録されているプログラムコードを読み出し実行するようにしてもよい。上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー登録商標ディスク/ハードディスク等の磁気ディスクやCD-ROMCompactDiscRead-OnlyMemory/MOMagneto-Optical/MDMiniDisc/DVDDigitalVersatileDisk/CD-RCDRecordable等の光ディスクを含むディスク類、ICカードメモリカードを含む/光カード等のカード類、マスクROM/EPROMErasableProgrammableRead-OnlyMemory/EEPROMElectricallyErasableandProgrammableRead-OnlyMemory/フラッシュROM等の半導体メモリ類、あるいはPLDProgrammableLogicDeviceやFPGAFieldProgrammableGateArray等の論理回路類などを用いることができる。また、多視点画像符号化装置13、13aおよび多視点画像復号装置22を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LANLocalAreaNetwork、ISDNIntegratedServicesDigitalNetwork、VANValue-Addednetwork、CATVCommunityAntennaTeleVision通信網、仮想専用網VirtualPrivateNetwork、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEEInstituteofelectricalandelectronicengineers1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSLAsynchronousDigitalSubscriberLoop回線等の有線でも、IrDAInfraredDataAssociationやリモコンのような赤外線、Bluetooth登録商標、IEEE802.11無線、HDRHighDataRate、NFCNearFieldCommunication、DLNADigitalLivingNetworkAlliance、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。