"送信側システムと受信側システムとを有する画像情報処理システムにおいて前記受信側システムが行う画像情報処理方法であって、被写体を複数のカメラで撮影することによって複数のカメラ画像を取得するステップと、撮影された前記複数のカメラ画像に対応し、前記カメラに入射する光線を出す前記被写体の部分の方向と距離を含む前記被写体の奥行き情報から構成される奥行きマップを生成するステップと、前記カメラ画像及び前記奥行きマップを符号化するステップと、符号化された前記カメラ画像及び前記奥行きマップを送信するステップとを実行する前記送信側システムから送信された前記カメラ画像及び前記奥行きマップを、受信するステップと、受信された前記カメラ画像及び前記奥行きマップを復号化するステップと、復号化された前記カメラ画像及び前記奥行きマップを用いて、前記カメラ画像の間の補間画像を計算して、前記カメラ画像と前記補間画像とからなる光線空間情報を生成するステップと、前記光線空間情報から表示画像を抽出して出力するステップとを有することを特徴とする画像情報処理方法。前記表示画像は、カメラが存在しない任意の位置から見た1又は複数の2次元画像であることを特徴とする請求項1に記載の画像情報処理方法。前記表示画像は、カメラが存在しない任意の位置から見た3次元画像であることを特徴とする請求項1に記載の画像情報処理方法。前記奥行きマップを生成するステップは、kを前記複数のカメラの台数以下の正の整数としたときに、前記複数のカメラのうちのk番目のカメラで撮影された第kのカメラ画像に含まれる被写体の部分の画像情報と、前記複数のカメラのうちのk1番目のカメラで撮影された第k1のカメラ画像に含まれる被写体の部分の画像情報とのマッチング判定の結果と、前記複数のカメラのうちのk番目のカメラで撮影された第kのカメラ画像に含まれる被写体の部分の画像情報と、前記複数のカメラのうちのk-1番目のカメラで撮影された第k-1のカメラ画像に含まれる被写体の部分の画像情報とのマッチング判定の結果とに基づいて、第kのカメラ画像に含まれる被写体の前記部分の奥行きを決定するステップを含むことを特徴とする請求項1乃至3のいずれか1項に記載の画像情報処理方法。前記奥行きマップを生成するステップにおける前記マッチング判定において、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされ、かつ、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされたときには、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報と、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報とから、前記第kのカメラ画像に含まれる被写体の前記部分の奥行きを決定することを特徴とする請求項4に記載の画像情報処理方法。前記奥行きマップを生成するステップにおける前記マッチング判定において、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされ、かつ、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報が一致しないという判定がなされたときには、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報から、前記第kのカメラ画像に含まれる被写体の前記部分の奥行きを決定し、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報が一致しないという判定がなされ、かつ、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされたときには、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報から、前記第kのカメラ画像に含まれる被写体の前記部分の奥行きを決定することを特徴とする請求項4に記載の画像情報処理方法。前記送信側システムが、前記複数のカメラのそれぞれから見た被写体の奥行きの実測値を測定し、前記実測値に基づく実測奥行き情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項1から6までのいずれか1項に記載の画像情報処理方法。前記送信側システムが、前記複数のカメラのそれぞれについて、撮影できる範囲を求め、前記撮影できる範囲以外のオクルージョン範囲を示すオクルージョン情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項1から7までのいずれか1項に記載の画像情報処理方法。前記送信側システムが、前記複数のカメラのそれぞれについて、被写体の表面が鏡面反射する範囲を求め、前記鏡面反射する範囲を示す鏡面反射情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項1から8までのいずれか1項に記載の画像情報処理方法。被写体を複数のカメラで撮影することによって複数のカメラ画像を取得する複数のカメラと、撮影された前記複数のカメラ画像に対応し、前記カメラに入射する光線を出す前記被写体の部分の方向と距離を含む前記被写体の奥行き情報から構成される奥行きマップを生成する奥行きサーチ部と、前記カメラ画像及び前記奥行きマップを符号化する符号化部と、符号化された前記カメラ画像及び前記奥行きマップを送信する送信部とを有する送信側システムから送信された前記カメラ画像及び前記奥行きマップを、受信する受信部と、受信された前記カメラ画像及び前記奥行きマップを復号化する復号化部と、復号化された前記カメラ画像及び前記奥行きマップを用いて、前記カメラ画像の間の補間画像を計算して、前記カメラ画像と前記補間画像とからなる光線空間情報を生成する補間部と、前記光線空間情報から表示画像を抽出して出力する抽出部とを有することを特徴とする画像情報受信システム。前記表示画像は、前記カメラが存在しない任意の位置から見た1又は複数の2次元画像であることを特徴とする請求項10に記載の画像情報受信システム。前記表示画像は、前記カメラが存在しない任意の位置から見た3次元画像であることを特徴とする請求項10に記載の画像情報受信システム。前記奥行きサーチ部は、kを前記複数のカメラの台数以下の正の整数としたときに、前記複数のカメラのうちのk番目のカメラで撮影された第kのカメラ画像に含まれる被写体の部分の画像情報と、前記複数のカメラのうちのk1番目のカメラで撮影された第k1のカメラ画像に含まれる被写体の部分の画像情報とのマッチング判定の結果と、前記複数のカメラのうちのk番目のカメラで撮影された第kのカメラ画像に含まれる被写体の部分の画像情報と、前記複数のカメラのうちのk-1番目のカメラで撮影された第k-1のカメラ画像に含まれる被写体の部分の画像情報とのマッチング判定の結果とに基づいて、第kのカメラ画像に含まれる被写体の前記部分の奥行きを決定することを特徴とする請求項10から12までのいずれか1項に記載の画像情報受信システム。前記奥行きサーチ部は、前記マッチング判定において、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされ、かつ、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされたときには、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報と、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報とから、前記第kのカメラ画像に含まれる被写体の前記部分の奥行きを決定することを特徴とする請求項13に記載の画像情報受信システム。前記奥行きサーチ部は、前記マッチング判定において、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされ、かつ、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報が一致しないという判定がなされたときには、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報から、前記第kのカメラ画像に含まれる被写体の前記部分の奥行きを決定し、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k1のカメラ画像に含まれる被写体の前記部分の画像情報が一致しないという判定がなされ、かつ、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされたときには、前記第kのカメラ画像に含まれる被写体の前記部分の画像情報と前記第k-1のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報から、前記第kのカメラ画像に含まれる被写体の前記部分の奥行きを決定することを特徴とする請求項14に記載の画像情報受信システム。前記送信側システムが、前記複数のカメラのそれぞれから見た被写体の奥行きの実測値を測定する距離測定手段を有し、前記実測値に基づく実測奥行き情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項10から15までのいずれか1項に記載の画像情報受信システム。前記送信側システムが、前記複数のカメラのそれぞれについて、撮影できる範囲を求め、前記撮影できる範囲以外のオクルージョン範囲を示すオクルージョン情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項10から16までのいずれか1項に記載の画像情報受信システム。前記送信側システムが、前記複数のカメラのそれぞれについて、被写体の表面が鏡面反射する範囲を求め、前記鏡面反射する範囲を示す鏡面反射情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項10から17までのいずれか1項に記載の画像情報受信システム。図4又は図5a~cに示されるシステムにおいては、カメラ画像から自由視点画像を生成するための画像生成処理図4の画像生成部233による処理、図5aの画像生成部244による処理、図5bの画像生成部256による処理、図5cの画像生成部266及び276による処理をすべて受信側システムで行っている。自由視点画像の生成にはシーンの奥行き情報である奥行きマップDepthMapの算出プロセスと、この奥行きマップを用いた光線空間の補間interpolationプロセスが含まれる。このため、複数のカメラ画像輝度信号のみを受信側システムに伝送した場合には、受信側システムで複数のカメラ画像から奥行きマップを算出する必要が生じる。しかし、奥行きマップの算出処理には、非常に計算能力の高い装置が必要であり、ユーザ側機器である受信側システム230に、自由視点画像を生成するための高い計算能力を持たせることは、コスト面から難しいという問題がある。このため、複数のカメラ画像から自由視点画像を生成するための処理における、奥行きマップの算出プロセス及び補間プロセスを送信側システムで行い、受信側システムは光線空間から表示画像を切り出す処理を行うシステムも考えられる。図6は、このような画像情報処理システムの構成及び動作を示す図である。図6に示されるように、送信側システム310は、被写体101を複数のカメラ311aで撮影することによって複数のカメラ画像310aを取得する画像取得部311と、撮影された複数のカメラ画像310aを補正する補正部312と、補正されたカメラ画像310bから補間画像を生成して補間された光線空間310cを生成する画像生成部313と、光線空間310cの情報を符号化する符号化部314と、符号化された光線空間情報を伝送手段320を介して送信する送信部315とを有している。また、受信側システム330は、送信側システム310から送信された光線空間310cの情報を受信する受信部331と、受信された情報を復号化する復号化部332と、復号化された情報を用いて光線空間310cを生成する画像生成部332と、光線空間310cから表示画像を切り出す抽出部333と、抽出された表示画像310dを表示する表示部334と有している。しかし、図6に示される画像情報処理システムの送信側システム310で光線空間を作成する場合には、受信側に存在する多数のユーザのすべての要望に対応できるようにするため、離散的にしか存在しない複数のカメラ画像の間を埋め尽くすように、極めて多くの補間画像を形成する必要がある。このため、送信側システム310における情報処理量が膨大になり、送信者、例えば、放送事業者、に多大なコストを強いるという問題がある。そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、複数のカメラ画像に基づく任意視点の画像を生成する画像情報処理において、送信側システムにおける情報処理量を抑制でき、かつ、受信側システムとして計算能力の低い機器を使用でき、かつ、システム全体の情報処理量を低減することができる画像情報処理方法及び画像情報受信システムを提供することにある。本発明に係る画像情報処理方法は、送信側システムと受信側システムとを有する画像情報処理システムにおいて前記受信側システムが行う画像情報処理方法であって、被写体を複数のカメラで撮影することによって複数のカメラ画像を取得するステップと、撮影された前記複数のカメラ画像に対応し、前記カメラに入射する光線を出す前記被写体の部分の方向と距離を含む前記被写体の奥行き情報から構成される奥行きマップを生成するステップと、前記カメラ画像及び前記奥行きマップを符号化するステップと、符号化された前記カメラ画像及び前記奥行きマップを送信するステップとを実行する前記送信側システムから送信された前記カメラ画像及び前記奥行きマップを、受信するステップと、受信された前記カメラ画像及び前記奥行きマップを復号化するステップと、復号化された前記カメラ画像及び前記奥行きマップを用いて、前記カメラ画像の間の補間画像を計算して、前記カメラ画像と前記補間画像とからなる光線空間情報を生成するステップと、前記光線空間情報から表示画像を抽出して出力するステップとを有することを特徴としている。また、本発明に係る画像情報受信システムは、被写体を複数のカメラで撮影することによって複数のカメラ画像を取得する複数のカメラと、撮影された前記複数のカメラ画像に対応し、前記カメラに入射する光線を出す前記被写体の部分の方向と距離を含む前記被写体の奥行き情報から構成される奥行きマップを生成する奥行きサーチ部と、前記カメラ画像及び前記奥行きマップを符号化する符号化部と、符号化された前記カメラ画像及び前記奥行きマップを送信する送信部とを有する送信側システムから送信された前記カメラ画像及び前記奥行きマップを、受信する受信部と、受信された前記カメラ画像及び前記奥行きマップを復号化する復号化部と、復号化された前記カメラ画像及び前記奥行きマップを用いて、前記カメラ画像の間の補間画像を計算して、前記カメラ画像と前記補間画像とからなる光線空間情報を生成する補間部と、前記光線空間情報から表示画像を抽出して出力する抽出部とを有することを特徴としている。本発明の画像情報処理方法及び画像情報受信システムにおいては、複数のカメラ画像から各カメラに対応する奥行きマップを計算する処理を送信側システムで行い、複数のカメラ画像と複数の奥行きマップを用いて、光線空間に画像を補間する処理を受信側システムで行っている。このように、情報処理量の大きい奥行きマップの生成処理を送信側システムが行うことによって、受信側システムに要求される計算能力を低くすることができ、受信者のコスト負担を低減することができる。また、複数のカメラ画像と複数の奥行きマップを用いて光線空間を補間する処理は、送信側システムで行う場合には、複数のカメラ画像の間の全領域について行う必要があるが、受信側システムで行う場合には、ユーザが指定した領域に関係する部分についてのみ行えばよい。したがって、本発明の画像情報処理方法及び画像情報受信システムによれば、補間処理を行う受信側システムに要求される計算能力は低く、受信者のコスト負担を大きく増加させることはない。さらに、複数のカメラ画像と奥行きマップを用いて光線空間を補間する処理は、送信側システムで行う場合には、複数のカメラ画像の間の全領域について行う必要があるが、受信側システムで行う場合には、ユーザが指定した領域に関係する部分についてのみ行えばよい。このため、補間処理を受信側システムで行う本発明の画像情報処理方法及び画像情報受信システムによれば、画像生成処理のすべてを送信側システムで行う場合に比べ、システム全体の情報処理量を削減することができ、結果的に、計算コストを削減することができる。《1.第1の実施形態》1-1.第1の実施形態の画像情報処理システムの構成及び動作図7は、送信側senderシステム10と受信側receiverシステム画像情報受信システム30とから構成される本発明の第1の実施形態の画像情報処理システムの構成及び動作を示す図である。図7の画像情報処理システムは、任意の視点から見た2次元画像を表示するFTVシステムであるが、三次元3D画像を表示する3D表示システムとすることもできる。図7に示される画像情報処理システムは、送信側システム10と受信側システム30とを有するシステムである。送信側システム10は伝送transmission手段20を介して受信側システム30に情報を送信する。伝送手段20は、例えば、インターネット、放送設備、通信設備などであるが、信号を伝送できる手段であれば何であってもよい。また、伝送手段20は、必要に応じて、情報を保持する記憶手段storageを備えたものであってもよい。図7に示されるように、送信側システム10は、被写体101を複数のカメラ11aで撮影することによって複数のカメラ画像10aを取得する画像取得部11と、撮影された複数のカメラ画像10aを補正する補正部12と、補正された複数のカメラ画像10bに対応する複数の奥行きマップ10dを生成する奥行きサーチ部13と、複数のカメラ画像10b及び各カメラ画像に対応する複数の奥行きマップを符号化する符号化部14と、符号化されたカメラ画像10c、奥行きマップ10d、及び複数のカメラ11aに関するカメラパラメータを伝送手段20を介して送信する送信部15とを有している。補正部12は、複数のカメラ11aが、例えば、1列に等間隔で並んでいない場合や同じ方向を向いていない場合に、カメラ画像を補正して、複数のカメラが1列に等間隔で並び且つ同じ方向を向いていると見なせるように、カメラ画像10aを補正する。奥行きマップ10dは、カメラに入射する光線を出す被写体101の各部分の方向と距離を含む被写体101の奥行き情報から構成される。また、図7に示されるように、受信側システム30は、送信側システム10から伝送手段20を介して送信されたカメラ画像10c、奥行きマップ10d、及びカメラパラメータを受信する受信部31と、受信されたカメラ画像10c及び奥行きマップ10dを復号化する復号化部32と、復号化されたカメラ画像10e、奥行きマップ10f、及びカメラパラメータを用いて、カメラ画像の間の補間画像を計算して、カメラ画像からなる光線空間に補間画像を補間する補間部33と、補間後の光線空間10gから表示画像を切り出す抽出部34と、切り出された表示画像10hを1台又は複数台のディスプレイに表示する表示部35と有している。<画像情報処理システムの動作>本発明の第1の実施形態においては、図7に示されるように、送信側システム10は、被写体101を複数のカメラ11aで撮影することによって複数のカメラ画像10aを取得し、撮影された複数のカメラ画像10aを必要に応じて補正し、複数のカメラ画像10bに対応する複数の奥行きマップを生成し、複数のカメラ画像10b及び複数の奥行きマップを符号化し、カメラ画像10c、奥行きマップ10d、及びカメラパラメータを伝送手段20を介して送信する。また、図7に示されるように、受信側システム30は、送信側システム10から伝送手段20を介して送信されたカメラ画像10c、奥行きマップ10d、及びカメラパラメータを受信し、受信されたカメラ画像10c及び奥行きマップ10dを復号化し、復号化されたカメラ画像10e、奥行きマップ10f、及びカメラパラメータを用いて、カメラ画像の間の補間画像を計算して、カメラ画像からなる光線空間に補間画像を補間し、補間後の光線空間10gから表示画像を切り出し、切り出された表示画像10hを表示する。図8は、本発明の第1の実施形態の画像情報処理システム図7及び従来の画像情報処理システム図4、図6における送信側システムから送信される情報を示す図である。図4に示される従来の画像情報処理システム比較例の場合には、送信側システム210から送信される画像はカメラパラメータと複数のカメラ画像210cである。図6に示される従来の画像情報処理システム比較例の場合には、送信側システム310から送信される画像は光線空間情報310cである。これに対し、図7に示される本発明の画像情報処理システムにおいては、送信側システム10から送信される画像はカメラパラメータと複数のカメラ画像10cと各カメラの奥行きマップ10dである。図9は、本発明の第1の実施形態の画像情報処理システム図7における複数のカメラ画像と複数の奥行きマップを示す図である。図9において、Nは正の整数であり、kはN以下の正の整数である。図9において、1、2、...、k-1、k、k1、...、Nは、画像取得部図7の符号11の複数のカメラのカメラ番号である。また、I1、I2、...、Ik-1、Ik、Ik1、...、INは、複数のカメラ画像を示し、D1、D2、...、Dk-1、Dk、Dk1、...、DNは、各カメラに対応する奥行きマップを示す。図9に示されるカメラ画像I1、I2、...、Ik-1、Ik、Ik1、...、INのそれぞれは1枚の画像で例えば、長方形あるが、図9においては、カメラ画像を図9が描かれた紙面に垂直に並べている場合を示している。また、図9に示される奥行きマップD1、D2、...、Dk-1、Dk、Dk1、...、DNのそれぞれは、カメラ画像と同様に1枚の画像例えば、長方形として表すことができるが、図9においては、奥行きマップを図9が描かれた紙面に垂直に並べている場合を示している。図10は、1枚の奥行きマップを明るさの違いで表示した例を示す図である。図10において、明るい部分白い部分は近い部分であり、暗く黒くなるほど遠い部分を示す。送信側システム10から送信されるカメラ画像I1、I2、...、Ik-1、Ik、Ik1、...、INがN枚である場合には、送信側システム10から送信される奥行きマップD1、D2、...、Dk-1、Dk、Dk1、...、DNもN枚となる。図11は、図4に示される従来の画像情報処理システム比較例の送信側システム210及び受信側システム230における情報処理プロセスを示す図である。図11において、1、2、...、k-1、k、k1、...、Nは、画像取得部図4の符号211の複数のカメラのカメラ番号である。また、I1、I2、...、Ik-1、Ik、Ik1、...、INは、複数のカメラ画像を示し、D1、D2、...、Dk-1、Dk、Dk1、...、DNは、各カメラに対応する奥行きマップを示す。図11に示されるカメラ画像及び奥行きマップのそれぞれは、カメラ画像と同様に1枚の画像例えば、長方形として表すことができるが、図11においては、奥行きマップを図11が描かれた紙面に垂直に並べている場合を示している。図11に示されるように、図4に示される画像情報処理システム比較例においては、奥行きサーチ、及び奥行きマップD1、D2、...、Dk-1、Dk、Dk1、...、DNの生成を、受信側システム230が行っている。図12は、図6に示される従来の画像情報処理システム比較例の送信側システム310及び受信側システム330における情報処理プロセスを示す図である。図12において、1、2、...、k-1、k、k1、...、Nは、画像取得部図6の符号311の複数のカメラのカメラ番号である。また、I1、I2、...、Ik-1、Ik、Ik1、...、INは、複数のカメラ画像を示し、D1、D2、...、Dk-1、Dk、Dk1、...、DNは、各カメラに対応する奥行きマップを示す。図12に示されるカメラ画像及び奥行きマップのそれぞれは、カメラ画像と同様に1枚の画像として表すことができるが、図12においては、奥行きマップを図12が描かれた紙面に垂直に並べている場合を示している。図12に示されるように、図6に示される画像情報処理システム比較例においては、奥行きサーチ、及び奥行きマップD1、D2、...、Dk-1、Dk、Dk1、...、DNの生成、光線空間の生成を送信側システム310が行っている。図13は、本発明の第1の実施形態の画像情報処理システムの送信側システム10及び受信側システム30における情報処理プロセスを示す図である。図13において、1、2、...、k-1、k、k1、...、Nは、画像取得部図7の符号11の複数のカメラのカメラ番号である。また、I1、I2、...、Ik-1、Ik、Ik1、...、INは、複数のカメラ画像を示し、D1、D2、...、Dk-1、Dk、Dk1、...、DNは、各カメラに対応する奥行きマップを示す。図13に示されるカメラ画像及び奥行きマップのそれぞれは、カメラ画像と同様に1枚の画像例えば、長方形として表すことができるが、図13においては、奥行きマップを図13が描かれた紙面に垂直に並べている場合を示している。図13に示されるように、本発明の第1の実施形態の画像情報処理システムにおいては、奥行きサーチ、及び奥行きマップD1、D2、...、Dk-1、Dk、Dk1、...、DNの生成を送信側システム10が行い、補間画像の生成及び補間された光線空間からの表示画像の切り出しを受信側システム30が行っている。1-2.画像生成処理図14は、実際のカメラで取得されたカメラ画像から任意視点の画像を生成するプロセスを示す図である。図14において、401~405は、直線上に1列に同じ方向を向けて配列したカメラであり、411は、実際には存在しない仮想カメラユーザーが指定して視点位置である。カメラ401~405は、カメラ401~405を通る光線を撮影するが、隣り合うカメラ間を通る光線は撮影していない。そこで、ユーザが見たいところ、すなわち、隣り合うカメラ間に仮想カメラ411を置く。実際のカメラ図14においては、カメラ402、403を通る光線から、補間して仮想カメラ411を通る光線を作る。しかし、カメラ401~405を通る光線はどの方向から来た光線であるかはわかるが、どの位置から来た光線かは、わからない。そこで、例えば、図14に示されるカメラ402と403を用いて、被写体412の奥行きをサーチする。この奥行きサーチに際しては、物体表面のある点からの光はどの方向にも同じ強度であるということランベルト反射を前提とすると、カメラ402の撮影点被写体上の部分とカメラ403の撮影点被写体上の部分の輝度がマッチングする位置を探し、マッチングした位置を物体の表面と推定する。このとき、カメラ402とカメラ403の間隔は既知であり、マッチング位置からの光線がカメラ402に入射する角度とマッチング位置からの光線がカメラ403に入射する角度も判るので、マッチング位置までの距離を計算することができる。このようにして物体の奥行きを推定できた後に、仮想カメラ411から見た画像を推定して補間画像を生成する。図15は、奥行きと視差との関係を示す図である。光線空間における補間画像は、生成すべきカメラ位置でのシーンの奥行きを求めることができれば、生成可能となる。ここで、奥行きと視差との幾何学的な関係を説明する。簡単のために高さ方向を考慮しない2次元平面で考える。左右のカメラをカメラcameraLとカメラcameraRとする。光線源Mの奥行きをDと仮定する。このとき、この光線源Mが放つ光線は、左右のカメラLとカメラRのそれぞれの点VL及び点VRに入射する。同一の光線源Mが放つ光線を、異なるカメラがとらえた点この場合は、VL,VRを対応点と呼ぶ。また、カメラLとカメラR間の対応点VL,VRの差を視差と呼び、dと記述する。奥行きDと視差dの関係を求める。図15において、カメラの焦点距離をf、左右のカメラ間距離をJ、光線源をMとし、光線源MからカメラLまでのX座標の距離をmとしたとき、幾何関係から、図15中のd1及びd2は以下のように求めことができる。d1=fJ-m/Dd2=fm/D視差dは、d1d2で与えられるため、d=d1d2=fJ-m/Dfm/D=fJ/Dとなる。カメラLから光線源Mまでの距離DLはDL=D/cosθカメラLから見たときの、視差dと距離DLの関係は、d=fJcosθ/DLとなる。つまり、視差dは、カメラ間隔Jに比例し、カメラLから見たときの光線源Mの奥行きDLに反比例したものとなる。本発明の奥行き推定法は、補間するカメラ位置での奥行き推定となる。したがって、情報の無い状態から、周辺画像情報のみを利用して奥行き推定を行い、補間画像を生成することになる。この奥行き推定法によれば、作り出す視点での奥行きを求めることで、より正確に補間画像を生成できる。このような奥行きDLと視差dの関係から、左右の画像間で視差dを変化させることは、光線源の奥行きDLを変化させたことと等価であるとわかる。つまり、視差dを様々に変化させることで、画像間での対応点を探し出し、求められた視差情報を基に、光線源が推定され、補間すべき画素値が特定される。1-3.オクルージョンを考慮した奥行きマップ生成方法図16は、オクルージョンocculusionが存在するときの奥行きサーチの方法を示す図である。図16において、物体421の表面の点421aは、カメラ位置k及びカメラ位置k1の両方が見える位置である。したがって、仮想カメラ位置である視点431から点421aを見たときの奥行き推定は、視点kからの画像情報と視点k1からの画像情報とを用いて行うことができる。しかし、後方にある物体422の表面の点422aは、カメラ位置k1からは見えるが、物体421の陰になってカメラ位置kからは見えない。このように一方のカメラ視点から見えるが他方のカメラ視点から見えないことをハーフオクルージョンhalfocculusionと言う。また、両方のカメラ位置から見えないことをフルオクルージョンfullocculusionと言う。図17は、物体422についてカメラ位置k及びカメラ位置k1から見たときの、ハーフオクルージョンの範囲とフルオクルージョンの範囲を示す図である。図17に示されるように、物体422の範囲440は、いずれのカメラ位置k及びカメラ位置k1からも見える範囲であり、物体422の範囲441及び443は、カメラ視点k1からは見えるがカメラ視点kからは見えないハーフオクルージョンの範囲であり、物体422の範囲442は、カメラ視点k及びカメラ位置k1のいずれからも見えないフルオクルージョンの範囲である。図18は、本発明の第1の実施形態における奥行きマップの計算方法を示す図である。図18において、最上段の1、2、...、Nは、画像取得部図7の符号11の複数のカメラのカメラ番号である。また、I1、I2、...、INは、複数のカメラ画像を示し、中段付近の1、2、...、N-1はカメラ画像の対pairを示している。カメラ画像の1つの対に含まれる2本の線のうち太線は、カメラの対の内の左側のカメラに基づく奥行きマップを示し、細線は右側のカメラに基づく奥行きマップを示す。図19は、本発明における視差の計算方法を示す図である。図19において、IkとIk1は、カメラ画像の対pairを示し、Ikはカメラの対の内の左側のカメラのカメラ画像を示し、Ik1は右側のカメラのカメラ画像を示す。また、図19において、500は、カメラ画像Ikとカメラ画像Ik1の視差を示す図である。図19に示されるように、先ず、左側のカメラで撮影した画像Ikの中の部分501kと同じと見なすことができる又は類似する輝度及び形状の部分を、右側のカメラで撮影したカメラ画像Ik1の中から検出する。この処理によって検出されたカメラ画像Ik1の部分を501k1とし、視差図500内に示されるように、そのときの視差をRkとする。ここで、同じと見なすことができる又は類似するとは、輝度値の差分値が所定範囲内であるという意味である。次に、右側のカメラで撮影した画像Ikの中の検出された部分501k1と同じと見なすことができる又は類似する輝度及び形状の部分を、左側のカメラで撮影したカメラ画像Ikの中から検出する。この処理によって検出されたカメラ画像Ikの部分は501kとなっており、視差図500内に示されるように、そのときの視差をLkとする。したがって、左側のカメラで撮影した画像Ikの中の部分501kを基準としたときの右側のカメラで撮影した画像Ik1の中の検出部分対応部分は、部分501k1であり、且つ、右側のカメラで撮影した画像Ik1の中の部分501k1を基準としたときの左側のカメラで撮影した画像Ikの中の検出部分対応部分は、部分501kである。したがって、部分501kと部分501k1についてはLk=Rkである。この場合、奥行きは、2つのカメラ画像に基づいて、計算することができ、この場合は奥行きの信頼度reliabilityが高いと言うことができる。次に、別の例を説明する。図19に示されるように、左側のカメラで撮影した画像Ikの中の部分502kと同じと見なすことができる又は類似する輝度及び形状の部分を、右側のカメラで撮影したカメラ画像Ik1の中から検出する。この処理によって検出されたカメラ画像Ik1の部分を502k1とし、視差図500内に示されるように、そのときの視差をRkとする。次に、右側のカメラで撮影した画像Ik1の中の部分502k1と同じと見なすことができる又は類似する輝度及び形状の部分を、左側のカメラで撮影したカメラ画像Ikの中から検出する。この処理によって検出されたカメラ画像Ikの部分は503kとなり、部分502kとは異なる位置になっている。視差図500内に示されるように、そのときの視差をLkとする。したがって、左側のカメラで撮影した画像Ikの中の部分502kを基準としたときの右側のカメラで撮影した画像Ik1の中の検出部分は、部分502k1であり、且つ、右側のカメラで撮影した画像Ik1の中の部分502k1を基準としたときの左側のカメラで撮影した画像Ikの中の検出部分は、部分503kである。したがって、部分501k1についてはLk≠Rkである。このような状況は、オクルージョンが存在する箇所に生じることが多く、奥行きは、1台又は0台のカメラ画像に基づく結果であり、信頼度reliabilityが低いと言うことができる。図20は、視点kにおける奥行きDkの決定方法を示す図である。図20に示されるように、まず、隣接するカメラからのカメラ画像Ik-1、Ikの対について、図19に示される視差の計算を行い、左側のカメラ画像Ik-1の部分を基準として右側のカメラ画像Ikの類似部分を検出したときの視差Lk-1と右側のカメラ画像Ikの部分を基準として左側のカメラ画像Ik-1の類似部分を検出したときの視差Rk-1から、奥行きDk-とその信頼性を計算する。次に、隣接するカメラからのカメラ画像Ik、Ik1の対について、図19に示される視差の計算を行い、左側のカメラ画像Ikの部分を基準として右側のカメラ画像Ik1の類似部分を検出したときの視差Lkと右側のカメラ画像Ik1の部分を基準として左側のカメラ画像Ikの類似部分を検出したときの視差Rkから、奥行きDkとその信頼性を計算する。次に、Lk-1=Rk-1又はLk=Rkであれば、信頼性は高く、それ以外では信頼性は低い。したがって、得られた信頼性を考慮にいれて、奥行きDkとDk-から奥行きDkを計算する。例えば、Lk-1=Rk-1且つLk≠Rkであれば、ハーフオクルージョンがあると判定し、奥行きDk-を奥行きDkとする。また、例えば、Lk-1≠Rk-1且つLk=Rkであれば、ハーフオクルージョンがあると判定し、奥行きDkを奥行きDkとする。また、例えば、Lk-1=Rk-1且つLk=Rkであれば、オクルージョンは無いと判定し、奥行きDk-と奥行きDkの平均値を奥行きDkとする。また、例えば、Lk-1≠Rk-1且つLk≠Rkであれば、フルオクルージョンがあると判定し、奥行きDkとして、別な方法で得た値例えば、隣接部分の奥行きに基づく値、又は、予め決められ値などを用いる。なお、Dkの決定方法は、上記例に限定されない。また、Lk-1≠Rk-1、又は、Lk≠Rkが生じる範囲は、オクルージョンが存在する範囲であり、例えば、図21にハッチングで示す領域である。図21において、クロスハッチングの領域は、右側のカメラからは見えるが左側のカメラからは見えないハーフオクルージョンの範囲であり、ハッチングの領域は、左側のカメラからは見えるが右側のカメラからは見えないハーフオクルージョンの範囲である。このように、検出された視差Lk-1とRk-1の一致又は不一致、視差LkとRkの一致又は不一致に基づいて、すなわち、奥行きの一致又は不一致に基づいて、オクルージョンの有無を判定し、光線が届く側のカメラ画像の対に基づく片側補間を行っているので、ハーフオクルージョンの存在による、奥行きDkの誤差を小さくすることができ、結果的に、生成された画像の品質を向上させることができる。1-4.第1の実施形態の効果以上に説明したように、第1の実施形態の画像情報処理方法及び画像情報処理システムにおいては、複数のカメラ画像I1、I2、...、INから各カメラに対応する奥行きマップD1、D2、...、DNを計算する処理を送信側システム10で行い、複数のカメラ画像I1、I2、...、INと複数の奥行きマップD1、D2、...、DNを用いて、光線空間に画像を補間する処理を受信側システム30で行っている。このように、情報処理量の大きい奥行きマップD1、D2、...、DNの生成という処理を送信側システム10が行うことによって、ユーザ側である受信側システム30に要求される計算能力は高くなくてもよく、ユーザのコスト負担を低減することができる。また、複数のカメラ画像I1、I2、...、INと複数の奥行きマップD1、D2、...、DNを用いて光線空間を補間する処理は、送信側システム10で行う場合には、複数のカメラ画像I1、I2、...、INの間の全領域について行う必要があるが、受信側システム30で行う場合には、ユーザが指定した領域に関係する部分についてのみ行えばよい。したがって、第1の実施形態の画像情報処理方法及び画像情報処理システムによれば、補間処理を行う受信側システム30に要求される計算能力は高くなくてもよく、ユーザのコスト負担を増加させることはない。さらに、複数のカメラ画像I1、I2、...、INと複数の奥行きマップD1、D2、...、DNを用いて光線空間を補間する処理は、送信側システム10で行う場合には、複数のカメラ画像I1、I2、...、INの間の全領域について行う必要があるが、受信側システム30で行う場合には、ユーザが指定した領域に関係する部分についてのみ行えばよい。このため、補間処理を受信側システム30で行う第1の実施形態の画像情報処理方法及び画像情報処理システムによれば、画像生成処理のすべてを送信側システム10で行う場合に比べ、システム全体の情報処理量を削減することができ、結果的に、計算コストを削減することができる。《2.第2の実施形態》2-1.第2の実施形態の画像情報処理システムの構成及び動作図22は、本発明の第2の実施形態の画像情報処理システムであるFTVシステムの構成及び動作を示す図である。図22において、図7第1の実施形態の構成と同一又は対応する構成には同じ符号を付す。第2の実施形態の画像情報処理システムにおいては、図7に示される第1の実施形態の画像情報処理システムとは異なり、送信側システム10は、実測による奥行き情報、オクルージョン範囲を示すオクルージョン情報、被写体が鏡面反射する範囲などを示す鏡面反射情報等の追加情報を、カメラ画像10c、奥行きマップ10d、カメラパラメータに追加して、受信側システム30に送信している。図7に示される第1の実施形態の画像情報処理システムにおいては、受信側システム30において、送信側システム10から送信された複数のカメラ画像、複数の奥行きマップ、及びカメラパラメータを用いて、補間画像を生成している。しかし、例えば、被写体101の表面で鏡面反射が生じる場合、オクルージョンが生じる場合、被写体の表面が周期的構造を持っている場合、被写体の表面が模様のない構造平板、白板、曲面である場合などには、図19に示されるマッチング判定が不正確になり、奥行きを正確に推定できないことがある。ここで、鏡面反射とは、図23aに示されるランベルト反射とは異なり、図23bに示されるように楕円状の反射光強度分布を持つ反射である。そこで、第2の実施形態の画像情報処理システムにおいては、送信側システム10が、図示しない別の手段で被写体の奥行きを測定し、又は、鏡面反射の範囲を測定し、又は、オクルージョンの生じる範囲を測定して、測定結果を追加情報Eをして受信側システム30に送信する。ここで、被写体の奥行き、鏡面反射の範囲、オクルージョンの有無は、例えば、被写体に光線を照射して反射光線の有無、反射光線の方向、反射光線の強度分布などを検出するなど、既知の装置によって取得することができる。なお、通常の補間では仮想カメラに近い2台のカメラから線形補間等を用いて補間画像を生成するが、鏡面反射の場合は、指向性が高いため線形補間では、その反射強度が適切に近似できない場合がある。このため、2台のカメラのみでなく、3台以上の多数のカメラ画像を用いて補間することによって、反射強度の適切な近似が可能になる。2-2.第2の実施形態の効果以上に説明したように、第2の実施形態の画像情報処理方法及び画像情報処理システムにおいては、カメラ画像、奥行き情報に加えて、送信側でしか知り得ない情報である追加情報Eを受信側システム30に送信しているので、第1の実施形態の画像情報処理方法及び画像情報処理システムよりも、奥行き誤差を小さくすることができ、結果的に、品質の高い画像を生成できる。なお、第2の実施形態において、上記以外の点は、上記第1の実施形態の場合と同じである。"