(57)【要約】【課題】被写体が不動の物体に限定されず、しかも設置が容易で小型且つ安価な自由視点画像生成装置を提供する。【解決手段】画像処理コンピュータ１４により、左カメラＣL および右カメラＣR により直接撮像された一対の直接被写体画像ＧL および直接被写体画像ＧR と、二対の間接被写体画像ＧLML 、ＧRML および間接被写体画像ＧLMR 、ＧRMR と、それらの直接被写体画像および間接被写体画像から求められた奥行き値Ｚとに基づいて仮想視点画像ＧK が生成される。左カメラＣL および右カメラＣR の１回の撮像により、上記直接被写体画像および間接被写体画像が同時に得られることから被写体１２が不動の物体に限定されず、しかも、左ミラーＭL および右ミラーＭR から手前位置に一対の左カメラＣL および右カメラＣR を設置すればよいので、設置が容易で小型且つ安価な自由視点画像生成装置１０が得られる。【選択図】図１
2011210202.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮像データから該被写体を所望の仮想視点から見た画像に変換して出力するための自由視点画像生成装置であって、
前記被写体を撮像する少なくとも１つのカメラと、
該カメラの撮像視野内に位置し、前記被写体からの光を該カメラに向かって反射する少なくとも１つのミラーと、
前記カメラにより直接撮像された少なくとも１つの直接被写体画像と、該カメラにより前記ミラーを介して間接的に撮像された少なくとも１つの間接被写体画像と、該直接被写体画像および間接被写体画像から求められた奥行き値とに基づいて前記仮想視点の画像を生成する画像処理演算制御装置と
を、含むことを特徴とする自由視点画像生成装置。
【請求項２】
前記画像処理演算制御装置は、
前記カメラの撮像画像内から、該カメラにより直接撮像された前記被写体を表わす前記直接被写体画像と該カメラにより前記ミラーを介して間接的に撮像された前記被写体を表わす前記間接被写体画像とを分離する被写体画像分離部と、
該カメラの位置および該ミラーの位置に基づいて仮想カメラの位置を算出する仮想カメラ位置算出部と、
前記被写体画像分離部によって分離された前記少なくとも１つの直接被写体画像および少なくとも１つの間接被写体画像を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像間の局部的に相互に関連する部分の相対位置とに基づいて前記奥行き値をそれぞれ算出する奥行き値算出部と、
該奥行き値算出部により該奥行き値が算出された相互に対を成す被写体画像と、該奥行き値とに基づいて前記仮想視点から見た前記被写体の仮想視点画像を生成する仮想視点画像生成部と
を、含むことを特徴とする請求項１の自由視点画像生成装置。
【請求項３】
前記被写体画像分離部は、前記カメラにより撮像された前記被写体を含む画像と該カメラにより撮像された前記被写体を含まない背景画像との差分の画像を算出することにより、該被写体のみの被写体画像を生成し、該被写体画像のうちの相対的に大きいものを前記直接被写体画像として抽出し、相対的に小さいものを前記間接被写体画像として抽出するものである請求項２の自由視点画像生成装置。
【請求項４】
前記仮想カメラ位置算出部は、前記カメラの位置と前記ミラーの位置とに基づいて、該カメラの該ミラーに対する鏡像位置にある前記仮想カメラの位置を算出するものである請求項２又は３の自由視点画像生成装置。
【請求項５】
前記仮想カメラ位置算出部は、前記カメラの位置から前記ミラーの中心までの３次元ベクトルを算出し、該３次元ベクトルと該ミラーの鏡面に対して対称な対称ベクトルを算出し、該対称ベクトルの先端位置を前記仮想カメラの位置として算出するものである請求項４の自由視点画像生成装置。
【請求項６】
前記奥行き値算出部は、前記被写体画像分離部によって分離された前記少なくとも１つの直接被写体画像および少なくとも１つの間接被写体画像を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像間において、一方の被写体画像の局所を構成する１画素又は複数の画素と他方の被写体画像の局所を構成する１画素又は複数の画素との間の相関性が最も高い関係にある一対の１画素又は複数の画素の間の相対位置である視差を算出し、該視差と前記カメラの焦点距離およびカメラ間距離とに基づいて前記対を成す被写体画像間の前記奥行き値を算出するものである請求項２乃至５のいずれか１の自由視点画像生成装置。
【請求項７】
前記仮想視点画像生成部は、前記直接被写体画像および間接被写体画像と前記奥行き値とに基づいて、前記被写体を３次元で表わす画素の３次元位置、または該被写体を複数の多角形を用いた３次元図形で表わす画素の３次元位置を決定し、該画素の３次元位置に基づいて所定の仮想視点から見た該被写体の仮想視点画像を生成するものである請求項２乃至６のいずれか１の自由視点画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の撮像データからその被写体を所望の仮想視点から見た画像に変換して出力するための自由視点画像生成装置に関する。
【背景技術】
【０００２】
被写体の画像を任意の仮想視点で生成できる装置としては、特許文献１の段落０００７、００４８、００４９、図１４、特許文献２に示されるように、被写体を取り囲むように多数個のカメラを配置し、それらのカメラからの映像から所定位置に想定した仮想カメラにおける映像を合成する装置が提案されている。しかし、このような装置では、多数個のカメラを配置することから、装置が大規模となるとともに、カメラ毎の位置出し、カメラ間の色補正や同期が必要であるため、信号処理が複雑となるので、消費電力に伴う発熱が多く、装置が高価となる不都合があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３５２５３９号公報
【特許文献２】ＷＯ  ２００７／０２６４４０  Ａ１
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これに対して、カメラを被写体に向けた状態を保ちつつそのカメラをその被写体を取り囲む円弧に沿って移動させる過程でその被写体の映像を複数取得し、取得した複数の映像から所定位置に想定した仮想カメラにおける映像を合成する装置が提案されている。これによれば、カメラの個数が少なくなることから、消費電力に伴う発熱が少なく、カメラ間の色補正や同期が不要となって信号処理が簡単となり、装置が安価となるが、カメラを被写体に向けた姿勢でその被写体との距離を保持しつつ正確に移動させる装置が必要であるため、装置が未だ大型となって設置が煩雑であるとともに、被写体が不動の物体に限定されるという欠点があった。
【０００５】
本発明は以上の事情を背景として為されたものであり、その目的とするところは、被写体が不動の物体に限定されず、しかも設置が容易で小型且つ安価な自由視点画像生成装置を提供することにある。
【０００６】
本発明者等は、以上の事情を背景として種々検討を重ねた結果、実際のカメラの他に、ミラーを用いて形成されるその実際のカメラの鏡像位置に仮想カメラを用いて被写体の仮想視点画像をそれぞれ取得し、それぞれ取得した画像を用いると、所定位置に任意に想定した視点から見た被写体の仮想視点画像を得ることができることを見いだした。本発明は、斯かる知見に基づいて為されたものである。
【課題を解決するための手段】
【０００７】
すなわち、前記目的を達成するための請求項１に係る発明の要旨とするところは、被写体の撮像データから該被写体を所望の仮想視点から見た画像に変換して出力するための自由視点画像生成装置であって、前記被写体を撮像する少なくとも１つのカメラと、該カメラの撮像視野内に位置し、前記被写体からの光を該カメラに向かって反射する少なくとも１つのミラーと、前記カメラにより直接撮像された少なくとも１つの直接被写体画像と、該カメラにより前記ミラーを介して間接的に撮像された少なくとも１つの間接被写体画像と、該直接被写体画像および間接被写体画像から求められた奥行き値とに基づいて前記仮想視点の画像を生成する画像処理演算制御装置とを、含むことにある。
【０００８】
また、請求項２に係る発明の要旨とするところは、請求項１の発明において、前記画像処理演算制御装置は、前記カメラの撮像画像内から、該カメラにより直接撮像された前記被写体を表わす前記直接被写体画像と該カメラにより前記ミラーを介して間接的に撮像された前記被写体を表わす前記間接被写体画像とを分離する被写体画像分離部と、該カメラの位置および該ミラーの位置に基づいて仮想カメラの位置を算出するカメラ位置算出部と、前記被写体画像分離部によって分離された前記少なくとも１つの直接被写体画像および少なくとも１つの間接被写体画像を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像間の局部的に相互に関連する部分の相対位置とに基づいて前記奥行き値をそれぞれ算出する奥行き値算出部と、該奥行き値算出部により該奥行き値が算出された相互に対を成す被写体画像と、該奥行き値とに基づいて前記仮想視点から見た前記被写体の仮想視点画像を生成する仮想視点画像生成部とを、含むことにある。
【０００９】
また、請求項３に係る発明の要旨とするところは、請求項２の発明において、前記被写体画像分離部は、前記カメラにより撮像された前記被写体を含む画像と該カメラにより撮像された前記被写体を含まない背景画像との差分の画像を算出することにより、該被写体のみの被写体画像を生成し、該被写体画像のうちの相対的に大きいものを前記直接被写体画像として抽出し、相対的に小さいものを前記間接被写体画像として抽出するものであることにある。
【００１０】
また、請求項４に係る発明の要旨とするところは、請求項２又は３の発明において、前記カメラ位置算出部は、前記カメラの位置と前記ミラーの位置とに基づいて、該カメラの該ミラーに対する鏡像位置にある前記仮想カメラの位置を算出するものであることにある。
【００１１】
また、請求項５に係る発明の要旨とするところは、請求項４の発明において、前記カメラ位置算出部は、前記カメラの位置から前記ミラーの中心までの３次元ベクトルを算出し、該３次元ベクトルと該ミラーの鏡面に対して対称な対称ベクトルを算出し、該対称ベクトルの先端位置を前記仮想カメラの位置として算出するものであることにある。
【００１２】
また、請求項６に係る発明の要旨とするところは、請求項２乃至５のいずれか１の発明において、前記奥行き値算出部は、前記被写体画像分離部によって分離された前記少なくとも１つの直接被写体画像および少なくとも１つの間接被写体画像を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像間において、一方の被写体画像の局所を構成する１画素又は複数の画素と他方の被写体画像の局所を構成する１画素又は複数の画素との間の相関性が最も高い関係にある一対の１画素又は複数の画素の間の相対位置である視差を算出し、該視差と前記カメラの焦点距離およびカメラ間距離とに基づいて前記対を成す被写体画像間の前記奥行き値を算出するものであることにある。
【００１３】
また、請求項７に係る発明の要旨とするところは、請求項２乃至６のいずれか１の発明において、前記仮想視点画像生成部は、前記直接被写体画像および間接被写体画像と前記奥行き値とに基づいて、前記被写体を３次元で表わす画素の３次元位置、または該被写体を複数の多角形を用いた３次元図形で表わす画素の３次元位置を決定し、該画素の３次元位置に基づいて所定の仮想視点から見た該被写体の仮想視点画像を生成するものであることにある。
【発明の効果】
【００１４】
請求項１に係る発明の自由視点画像生成装置によれば、前記画像処理演算制御装置により、少なくとも１つのカメラにより直接撮像された少なくとも１つの直接被写体画像とそのカメラにより少なくとも１つのミラーを介して間接的に撮像された少なくとも１つの間接被写体画像と、それらの直接被写体画像および間接被写体画像から求められた奥行き値とに基づいて仮想視点の画像が生成される。このため、少なくとも１つのカメラの少なくとも１回の撮像により、直接被写体画像および間接被写体画像が瞬時に得られることから被写体が不動の物体に限定されず、しかも、ミラーから手前に少なくとも１台のカメラを設置すればよいので、設置が容易で小型且つ安価な自由視点画像生成装置が得られる。
【００１５】
請求項２に係る発明の自由視点画像生成装置によれば、前記画像処理演算制御装置は、前記カメラの撮像画像内から、該カメラにより直接撮像された前記被写体を表わす前記直接被写体画像と該カメラにより前記ミラーを介して間接的に撮像された前記被写体を表わす前記間接被写体画像とを分離する被写体画像分離部と、該カメラの位置および該ミラーの位置に基づいて仮想カメラの位置を算出するカメラ位置算出部と、前記被写体画像分離部によって分離された前記少なくとも１つの直接被写体画像および少なくとも１つの間接被写体画像を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像間の局部的に相互に関連する部分の相対位置とに基づいて前記奥行き値をそれぞれ算出する奥行き値算出部と、該奥行き値算出部により該奥行き値が算出された相互に対を成す被写体画像と、該奥行き値とに基づいて前記仮想視点から見た前記被写体の仮想視点画像を生成する仮想視点画像生成部とを、含む。これにより、前記画像処理演算制御装置によって、被写体画像分離部により分離された前記少なくとも１つの直接被写体画像および少なくとも１つの間接被写体画像を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像と、それらの間の局部的に相互に関連する部分の相対位置とに基づいて奥行き値算出部により算出された奥行き値とに基づいて前記仮想視点から見た前記被写体の仮想視点画像が生成されるので、直接被写体画像および間接被写体画像が瞬時に得られることから被写体が不動の物体に限定されず、しかも、ミラーから手前に少なくとも１台のカメラを設置すればよく設置が容易で小型且つ安価な自由視点画像生成装置が得られる。
【００１６】
請求項３に係る発明の自由視点画像生成装置によれば、前記被写体画像分離部は、前記カメラにより撮像された前記被写体を含む画像と該カメラにより撮像された前記被写体を含まない背景画像との差分の画像を算出することにより、該被写体のみの被写体画像を生成し、該被写体画像のうちの相対的に大きいものを前記直接被写体画像として抽出し、相対的に小さいものを前記間接被写体画像として抽出するものであることから、直接被写体画像と間接被写体画像とが容易に分離される。
【００１７】
請求項４に係る発明の自由視点画像生成装置によれば、前記カメラ位置算出部は、前記カメラの位置と前記ミラーの位置とに基づいて、該カメラの該ミラーに対する鏡像位置にある前記仮想カメラの位置を算出するものであることから、仮想カメラの位置が容易に算出される。
【００１８】
請求項５に係る発明の自由視点画像生成装置によれば、前記カメラ位置算出部は、前記カメラの位置から前記ミラーの中心までの３次元ベクトルを算出し、該３次元ベクトルと該ミラーの鏡面に対して対称な対称ベクトルを算出し、該対称ベクトルの先端位置を前記仮想カメラの位置として算出するものであることから、仮想カメラの位置が容易に算出される。
【００１９】
請求項６に係る発明の自由視点画像生成装置によれば、前記奥行き値算出部は、前記被写体画像分離部によって分離された前記少なくとも１つの直接被写体画像および少なくとも１つの間接被写体画像を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像間において、一方の被写体画像の局所を構成する１画素又は複数の画素と他方の被写体画像の局所を構成する１画素又は複数の画素との間の相関性が最も高い関係にある一対の１画素又は複数の画素の間の相対位置である視差を算出し、該視差と前記カメラの焦点距離およびカメラ間距離とに基づいて前記対を成す被写体画像間の前記奥行き値を算出するものであることから、奥行き値を容易に得ることができる。
【００２０】
請求項７に係る発明の自由視点画像生成装置によれば、前記仮想視点画像生成部は、前記直接被写体画像および間接被写体画像と前記奥行き値とに基づいて、前記被写体を３次元で表わす画素の３次元位置、または該被写体を複数の多角形を用いた３次元図形で表わす画素の３次元位置を決定し、該画素の３次元位置に基づいて所定の仮想視点から見た該被写体の仮想視点画像を生成するものであることから、任意の仮想視点から見た被写体の仮想視点画像を容易に得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施例の自由視点画像生成装置の全体的な構成を説明する概念図である。
【図２】図１の画像処理コンピュータの演算制御機能の要部を説明する機能ブロック線図である。
【図３】図１および図２の右カメラによって撮像された撮像画像を例示する図である。
【図４】図１および図２の右カメラによって予め撮像され且つ記憶された背景画像を例示する図である。
【図５】図２の被写体画像分離部によって図３の撮像画像から分離された直接被写体画像および間接被写体画像を示す図である。
【図６】図２の被写体画像分離部によって、左右のカメラにより撮像された撮像画像から分離された一対の直接被写体画像と二対の間接被写体画像とを、左右一対のカメラと二対の仮想カメラに対応づけして示す図である。
【図７】右ミラーにより右カメラの鏡像位置に形成される仮想カメラの位置を決定するプロセスのうち、右ミラーの枠を含む右カメラの撮像画像を示す図である。
【図８】右ミラーにより右カメラの鏡像位置に形成される仮想カメラの位置を決定するプロセスのうち、形状が既知の右ミラーの枠が撮像画像内においてどのように写っているかの長さおよび位置に基づいて、その幾何的な関係を利用して算出した右ミラーＭR の中心点の位置を示す図である。
【図９】右ミラーにより右カメラの鏡像位置に形成される仮想カメラの位置を決定するプロセスのうち、右カメラの位置から右ミラーの中心点の位置までの三次元ベクトルとその右ミラーの面で対称なベクトルと、その対称なベクトル先端に位置する仮想カメラとを示す図である。
【図１０】図２の被写体画像分離部によって分離された一対の直接被写体画像および二対の間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR のうちから、大きさや形状の上で相対的に相関の高い互いに類似する一対の直接被写体画像を示す図であって、（ａ）は左カメラにより撮像された直接被写体画像を、（ｂ）は右カメラにより撮像された直接被写体画像をそれぞれ示している。
【図１１】図２の奥行き値算出部による奥行き値の算出に用いられる、図１０の互いに類似する一対の直接被写体画像の間の視差を説明する図である。
【図１２】図２の奥行き値算出部による、視差とカメラの焦点距離および一対のカメラ間の距離に基づく奥行き値の算出方法を説明する図である。
【図１３】図２の奥行き値算出部により求められた互いに類似する一対の直接被写体画像間の奥行き値とその直接被写体画像とから生成され且つ保存される、その奥行き値が小さくなるほど白くなる（明るくなる）ように処理された右カメラの直接被写体画像に基づくグレイスケール画像を示している。
【図１４】図２の仮想視点画像生成部により生成される仮想視点画像の生成手順を説明する図である。
【図１５】図１４の生成手順に従って視点が６０度である場合に生成したときの、実験設備の相互配置位置と得られた仮想視点画像とを示す図である。
【図１６】図１４の生成手順に従って視点が３０度である場合に生成したときの、実験設備の相互配置位置と得られた仮想視点画像とを示す図である。
【図１７】図１の画像処理コンピュータの演算制御作動の要部を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の一実施例を、概念的な図面を参照しつつ説明する。なお、各図は概念図であるから、細部の機械的構造や各部の寸法比等は必ずしも正確に描かれていない。
【実施例】
【００２３】
図１は、本発明の一実施例として、最も簡単な光学系の一つである２台のカメラＣR およびＣL と２枚のミラーＭR およびＭL とを有する自由視点画像生成装置１０の構成を平面視で説明する概略図である。図１において、自由視点画像生成装置１０は、被写体１２を撮像するために被写体１２の手前に配置された左右一対のカメラＣR およびＣL と、その被写体１２の後方に配置されたその被写体１２からの光をそれら左右一対のカメラＣR およびＣL に向かってそれぞれ反射する左右一対のミラーＭR およびＭL と、カメラＣR およびＣL によって撮像された画像を表わす画像信号がカメラＣR およびＣL からそれぞれ入力されると、予め記憶されたプログラムに従ってそれらの画像信号を処理して自由視点画像を生成する画像処理コンピュータ（画像処理演算制御装置）１４と、自由視点の位置或いは角度を指定する操作信号などを画像処理コンピュータ１４へ入力するキーボードなどの入力操作装置１６と、画像処理コンピュータ１４から出力された画像を表示するカラー液晶モニタなどの画像表示装置１８とを備えている。
【００２４】
上記左右一対のカメラＣR およびＣL は、水平方向すなわちｘ方向に所定の間隔Ｔだけ離隔させられ、水平方向且つｘ方向に直交するｚ方向に略平行な光軸をそれぞれ備えている。また、右カメラＣR は被写体１２と右ミラーＭR および左ミラーＭL の少なくとも一部とが撮像視野内に位置するように配置され、左カメラＣL は少なくとも被写体１２と右ミラーＭR および左ミラーＭL の少なくとも一部とが撮像視野内に位置するように配置されている。
【００２５】
左右一対のミラーＭR およびＭL は、垂直な方向すなわちｙ方向に略平行な平面鏡であって、被写体１２からの光がカメラＣR およびＣL に向かって反射する反射点が略中央となるように略同じ角度でｚ方向に対して傾斜させられている。図１には、一対の仮想カメラＶＣRRおよびＶＣLRが、右ミラーＭR における左右一対のカメラＣR およびＣL の鏡像位置に示されており、また、一対の仮想カメラＶＣRLおよびＶＣLLが、左ミラーＭR における左右一対のカメラＣR およびＣL の鏡像位置に示されている。
【００２６】
カメラＣR およびＣL は、たとえば、レンズにより結像される位置に配置されたＣＣＤ素子などから成る映像センサと、その映像センサからの信号をＡ／Ｄ変換して所定のデジタル画像信号に変換する画像処理チップとを含み、所定の画素数ｍ×ｎの画素毎の濃淡をＲＧＢ毎に示す画像信号ＩＭi （ｍ，ｎ）（但し、ｉ＝Ｒ，Ｇ，Ｂ）をそれぞれ画像処理コンピュータ１４へ出力する。たとえば画素（ピクセル）数が４８０×６４０である画像であれば、ｍ＝１〜４８０、ｎ＝１〜６４０の範囲の値となる。
【００２７】
右カメラＣR により撮像された撮像画像ＥR は、図３に示されている。この右カメラＣR により撮像された撮像画像ＥR には、左右のミラーＭR およびＭL を含む背景画像ＨR と、被写体１２を表わす直接被写体画像ＧR と、右ミラーＭR を通した間接被写体画像ＧRMR と、左ミラーＭL を通した間接被写体画像ＧRML とが含まれている。また、左カメラＣL により撮像された撮像画像ＥL は、図３を左右反転させた画像となる。この左カメラＣL により撮像された撮像画像ＥL には、左右のミラーＭR およびＭL を含む背景画像ＨL と、被写体１２を表わす直接被写体画像ＧL と、左ミラーＭL を通した間接被写体画像ＧLML と、右ミラーＭR を通した間接被写体画像ＧLMR とが含まれている。図３には、右カメラＣL により撮像された撮像画像ＥL に対応する符号を括弧内に示している。
【００２８】
図２は、画像処理コンピュータ１４の画像処理制御機能の要部を説明する機能ブロック線図である。図２において、画像処理コンピュータ１４は、画像処理演算制御装置として機能するものであり、被写体画像分離部３０、カメラ位置算出部３２、奥行き値算出部３４、仮想視点画像生成部３６を、備えている。
【００２９】
被写体画像分離部３０は、カメラＣR およびＣL からのそれぞれの撮像画像ＥR およびＥL 内から、それらカメラＣR およびＣL により直接撮像された被写体１２を表わす直接被写体画像ＧR およびＧL とそれらのカメラＣR およびＣL により右ミラーＭR を通して間接的に撮像された間接被写体画像ＧRMR およびＧLMR と、左ミラーＭL を通して間接的に撮像された間接被写体画像ＧRML およびＧLML とを分離する。すなわち、被写体画像分離部３０は、図３に示す撮像画像ＥR （ＥL ）を表わす画像信号から、予め撮像して記憶した図４に示す背景画像ＨR （ＨL ）を表わす画像信号を差し引くことで、図５に示す、直接被写体画像ＧR （ＧL ）、間接被写体画像ＧRMR （ＧLMR ）、ＧRML （ＧLML ）を表わす画像信号を算出（抽出）する。次いで、被写体画像分離部３０は、直接被写体画像ＧR （ＧL ）を表わす画像信号、間接被写体画像ＧRMR （ＧLMR ）を表わす画像信号、および間接被写体画像ＧRML （ＧLML ）を表わす画像信号のそれぞれの画素の集合にそれぞれラベリングを行い、それらのうち、画像を構成する画素数（ピクセル数）の最大数のもの或いは画像の高さ或いは面積が最大のものを直接被写体画像ＧR （ＧL ）を表わす画像信号として決定し、残りの間接被写体画像ＧRMR （ＧLMR ）を表わす画像信号および間接被写体画像ＧRML （ＧLML ）を表わす画像信号のうち、右側に位置するものを間接被写体画像ＧRMR （ＧLMR ）として決定し、左側に位置するものを間接被写体画像ＧRML （ＧLML ）を表わす画像信号として決定する。
【００３０】
図６では、上記被写体画像分離部３０の上記画像分離処理により得られた、直接被写体画像ＧR 、間接被写体画像ＧRMR 、間接被写体画像ＧRML が、右カメラＣR 、右ミラーＭR により形成される右カメラＣR に関連した仮想カメラＶＣRR、左ミラーＭL により形成される右カメラＣR に関連した仮想カメラＶＣRLに対応づけて、それぞれ示されている。また、同様に、上記被写体画像分離部３０の上記画像分離処理により得られた、直接被写体画像ＧL 、間接被写体画像ＧLMR 、間接被写体画像ＧLML が、左カメラＣL 、右ミラーＭR により形成される左カメラＣL に関連した仮想カメラＶＣLR、左ミラーＭL により形成される左カメラＣL に関連した仮想カメラＶＣLLに対応づけて、それぞれ示されている。
【００３１】
図２に戻って、カメラ位置算出部３２は、カメラＣR およびＣL の位置と右ミラーＭR および左ミラーＭL の位置とに基づいて、右ミラーＭR における左右一対のカメラＣR およびＣL の鏡像位置に位置する仮想カメラＶＣRRおよびＶＣLRの位置と、左ミラーＭL における左右一対のカメラＣR およびＣL の鏡像位置に位置する仮想カメラＶＣRLおよびＶＣLLの位置とをそれぞれ算出する。すなわち、カメラ位置算出部３２は、先ず、右ミラーＭR および左ミラーＭL の形状が既知である場合に、それらの右ミラーＭR および左ミラーＭL の枠が、撮像画像ＥR およびＥL 内においてどのように写っているかの長さおよび位置に基づいて、幾何的な関係を利用して、カメラＣR およびＣL の内部パラメータ（焦点距離ｆおよび歪み係数）と外部パラメータ（カメラＣR およびＣL のｘ−ｙ−ｚ座標系の三次元空間における位置ＰCR（ｘ，ｙ，ｚ）およびＰCL（ｘ，ｙ，ｚ）、カメラＣR およびＣL の光軸の方向）とを算出する。
【００３２】
次いで、カメラ位置算出部３２は、右ミラーＭR および左ミラーＭL のそれぞれの対角線の交点である中心点ＡR およびＡL をそれぞれ求め、前記算出したカメラＣR およびＣL のｘｙｚ三次元空間における位置ＰCR（ｘ，ｙ，ｚ）およびＰCL（ｘ，ｙ，ｚ）から右ミラーＭR および左ミラーＭL のそれぞれの中心点ＡR およびＡL までの三次元ベクトルＶRRA 、ＶRLA 、ＶLRA 、ＶLLA をそれぞれ算出し、それらの三次元ベクトルＶRRA 、ＶRLA 、ＶLRA 、ＶLLA の左ミラーＭL および右ミラーＭR の面で対称な対称ベクトルＶRRB 、ＶRLB 、ＶLRB 、ＶLLB をそれぞれ算出し、それらの対称ベクトルＶRRB 、ＶRLB 、ＶLRB 、ＶLLB の先端位置を、仮想カメラＶＣRR、ＶＣRL、ＶＣLR、ＶＣLLの位置として決定する。これらの仮想カメラＶＣRR、ＶＣRL、ＶＣLR、およびＶＣLLの位置は、カメラＣR およびＣL のｘｙｚ三次元空間における位置ＰCR（ｘ，ｙ，ｚ）およびＰCL（ｘ，ｙ，ｚ）と同様に、三次元空間における位置ＰVCRR（ｘ，ｙ，ｚ）、ＰVCRL（ｘ，ｙ，ｚ）、ＰVCLR（ｘ，ｙ，ｚ）、およびＰVCLL（ｘ，ｙ，ｚ）として示される。
【００３３】
図７乃至図９は、仮想カメラＶＣRRに代表させてその位置を決定するプロセスを説明するものであり、図７は右ミラーＭR の枠を含む右カメラＣR の撮像画像ＥR を示し、図８は、形状が既知の右ミラーＭR の枠が、撮像画像ＥR 内においてどのように写っているかの長さおよび位置に基づいて、幾何的な関係を利用して算出した右ミラーＭR の中心点ＡR の位置を示し、図９は右カメラＣR の位置からその中心点ＡR の位置までの三次元ベクトルＶRRA とその右ミラーＭR の面で対称な対称ベクトルＶRRB と、その対称ベクトルＶRRB 先端に位置する仮想カメラＶＣRRとを示している。
【００３４】
奥行き値算出部３４は、カメラＣR およびＣL の位置および前記仮想カメラＶＣRR、ＶＣLR、ＶＣRL、ＶＣLLとの位置と、直接被写体画像ＧR 、ＧL および間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR のうちの対を成す画像間の局部的な相互に関連する部分すなわち濃度および色の相関の高い部分の相対位置とに基づいて、各対を成す画像間毎に奥行き値Ｚをそれぞれ算出する。すなわち、奥行き値算出部３４は、それまで取得した被写体１２の画像である、直接被写体画像ＧR 、ＧL および間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR のうちから大きさや形状の上で相対的に相関の高い類似する画像を２つ選択する。これにより、本実施例では、カメラＣR およびＣL により直接的に撮像された直接被写体画像ＧR およびＧL と、仮想カメラＶＣRRおよびＶＣLRにより撮像された間接被写体画像ＧRMR およびＧLMR と、仮想カメラＶＣRLおよびＶＣLLにより撮像された間接被写体画像ＧRML およびＧLML との３対の画像が選択される。
【００３５】
選択された３対の画像毎に、奥行き値Ｚが同様に算出される。以下においては、図１０の（ａ）に示す直接被写体画像ＧL と図１０の（ｂ）に示す直接被写体画像ＧR とが選択された場合について代表的に説明する。対となる画像が選択されることに続いて、奥行き値算出部３４は、直接被写体画像ＧL および直接被写体画像ＧR の一方の画像中の１画素（１ピクセル）毎の単位で画像中の同じ高さ位置において濃淡或いは色度において相関係数の高いものを他方の画像中から探索（ピクセルマッチング）し、或いは一方の画像中の１群の画素（たとえば３×３の９ピクセル）毎の単位で、画像中の同じ高さ位置（ｙ位置）において濃淡或いは色度において相関係数の高いものを他方の画像中から探索し、最も相関係数の高いものを決定し、視差ｄを算出する。たとえば、相互に最も相関の高い関係にある一対の画素が直接被写体画像ＧL の画像平面内におけるｎ方向（ｘ方向）の位置がＸl 、直接被写体画像ＧR の画像平面内におけるｎ方向の位置がＸr であるとすると、図１１に示す視差ｄ（＝Ｘl −Ｘr ）が算出され、図１２に示す幾何学的な関係から、その視差ｄと、予め求められたカメラＣR およびＣL の焦点距離ｆＲおよびｆＬ（ｆＲ＝ｆＬ＝ｆ）、カメラＣR およびＣL の間のｘ方向の距離Ｔとに基づいて奥行き値Ｚ（＝（ｆ×Ｔ）／ｄ）が算出される。
【００３６】
図１１は、直接被写体画像ＧL と直接被写体画像ＧR との間の視差ｄを説明するものである。図１１において、上記のように、相互に最も相関の高い関係にある一対の画素が直接被写体画像ＧL の画像平面内におけるｎ方向（ｘ方向）の位置がＸl 、直接被写体画像ＧR の画像平面内におけるｎ方向の位置がＸr である場合に、直接被写体画像ＧL と直接被写体画像ＧR とを左上の基準点が同じとなるように重ねて、直接被写体画像ＧL の画像平面内におけるｎ方向（ｘ方向）の位置Ｘl を、直接被写体画像ＧR の画像平面内の点Ｐとし、その直接被写体画像ＧR の画像平面内におけるその点Ｐと直接被写体画像ＧR の画像平面内におけるｎ方向の位置Ｘr との間の相対位置である距離が、視差ｄとして示される。
【００３７】
図１２は、カメラＣR およびＣL をピンホールカメラとしてモデル化し、一方の直接被写体画像ＧL 中の１つの画素を基準として他方の直接被写体画像ＧR の同じ高さ位置Ｙの画像を探索したときの例を示している。図１２においては、たとえば直接被写体画像ＧL 中の１つの画素ＩＭ（ｍＹ，ｎＸｌ）と直接被写体画像ＧR の画素ＩＭ（ｍＹ，ｎＸｒ）とが最大の相関を示し、一方の画素ＩＭ（ｍＹ，ｎＸｌ） の直接被写体画像ＧL の画像平面内のｘ方向位置をＸl 、他方の画素ＩＭ（ｍＹ，ｎＸｒ）の直接被写体画像ＧR の画像平面内のｘ方向位置をＸr としたときの幾何学的関係が示されている。ここで、カメラＣR のピンホールＰＨR と画素ＩＭ（ｍＹ，ｎＸｒ）とを結ぶ直線ＬR と、カメラＣL のピンホールＰＨL と画素ＩＭ（ｍＹ，ｎＸｌ）とを結ぶ直線ＬL と、ピンホールＰＨR とピンホールＰＨL を結ぶ直線Ｔにより、頂点Ｑ、底辺Ｔ、および高さＺを有する三角形が形成される。この三角形を１８０度回転させてその頂点ＱをピンホールＰＨL に一致させて１点鎖線に示す三角形とすると、底辺Ｔおよび高さＺを有する三角形と底辺（Ｘl −Ｘr ）および高さｆを有する三角形とは相似の関係を有することから、Ｔ／Ｚ＝ｆ／（Ｘl −Ｘr ）という関係が成立して、上記のように奥行き値Ｚが算出されることが明らかである。
【００３８】
このようにして画素毎に算出された奥行き値Ｚは、平面画像すなわち２次元画像である直接被写体画像ＧL 、直接被写体画像ＧR 毎に反映させられることにより、３次元の奥行き画像としてのグレイスケール画像ＧＤが生成されてそれが保存される。図１３は、その上段に示す１対の直接被写体画像ＧL 、直接被写体画像ＧR から得られた奥行き値Ｚを直接被写体画像ＧR に反映させたグレイスケール画像ＧＤを下段に例示している。このグレイスケール画像ＧＤは、黒くなるほど遠く（奥行き値Ｚが大きく）なり、白くなるほど近く（奥行き値Ｚが小さく）なることを示している。
【００３９】
間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR のうち、大きさや形状の上で相互に相関の高い一対の間接被写体画像ＧRMR およびＧLMR と一対の間接被写体画像ＧRML およびＧLML について、上記と同様にして奥行き値Ｚがそれぞれ決定され、奥行き値Ｚを反映させた３次元の奥行き画像としてのグレイスケール画像ＧＤが生成されてそれぞれ保存される。この場合の幾何学的関係は、カメラ位置算出部３２により算出された仮想カメラＶＣRRの位置ＰVCRR（ｘ，ｙ，ｚ）、仮想カメラＶＣRLの位置ＰVCRL（ｘ，ｙ，ｚ）、仮想カメラＶＣLRの位置ＰVCLR（ｘ，ｙ，ｚ）、および、仮想カメラＶＣLLの位置ＰVCLL（ｘ，ｙ，ｚ）が、基準として用いられる。
【００４０】
図２に戻って、仮想視点画像生成部３６は、直接被写体画像ＧR 、ＧL および間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR と、奥行き値算出部３４により算出された奥行き値Ｚとに基づいて、オペレータにより入力された所望の仮想視点Ｋから見た被写体１２の仮想視点画像ＧK を、たとえばイメージベースレンダリングやモデルベースレンダリングなどとして知られる既知のレンダリング（表示）アルゴリズムを用いて生成する。イメージベースレンダリングは、複数の３次元画像情報を元に、所望の仮想視点位置の３次元画像を直接生成するものであり、モデルベースレンダリングは、複数の３次元画像情報から多数のポリゴン（多角形）などの集合による３次元モデルをそれぞれ生成し、その複数の３次元モデルを所望の仮想視点位置から見た画像を描画するものである。
【００４１】
図１４は、仮想視点画像生成部３６において実行される上記イメージベースレンダリングによる自由視点画像の生成を説明する図である。図１４では、複数種類の３次元の奥行き画像としてのグレイスケール画像ＧＤ毎に、３Ｄワーピング処理を用いて処理することで、その奥行き値Ｚを用いて所定の三次元空間位置ＨＳにおける画素位置がそれぞれ算出される。それら三次元位置が算出された画素群は立体である被写体１２を反映するので、被写体１２の中心を通るｙ軸に平行な垂直線まわりであって左カメラＣL と右カメラＣR との間からの回転角度である仮想視点角度θに設置された自由視点カメラＣF から見たときの画像がそれら三次元位置が算出された画素群に基づいて算出される。任意の仮想視点角度θにおいて三次元空間位置ＨＳに向かって設置された自由視点カメラＣF から見た画像は、上記三次元位置が算出された画素群がその自由視点カメラＣF の位置およびその任意の仮想視点角度θの座標系（ｘ’−ｙ’−ｚ’）を基準に画素群の位置が変換（投影）されることで、任意の仮想視点角度θから見た被写体１２の仮想視点画像ＧK が生成される。
【００４２】
図１５は、仮想視点角度θが６０度である場合の、被写体１２、左カメラＣL および右カメラＣR 、左ミラーＭL および右ミラーＭR の相互の幾何的配置を上段に、仮想視点画像ＧK60を下段に示す図である。また、図１６は、仮想視点角度θが３０度である場合の、被写体１２、左カメラＣL および右カメラＣR 、左ミラーＭL および右ミラーＭR の相互の幾何的配置を上段に、仮想視点画像ＧK30を下段に示す図である。なお、図１５および図１６の寸法を示す数字の単位はｍｍである。
【００４３】
図１７は、画像処理コンピュータ１４による画像処理制御作動の要部を説明するフローチャートである。この画像処理制御作動は、右カメラＣR および左カメラＣL による同時撮像に応答して自動的に、或いはその同時撮像後のマニュアル始動操作に応答して開始される。図１７のステップＳ１（以下、ステップを省略する）では、右カメラＣR および左カメラＣL により撮像された撮像画像ＥR およびＥL が所定の記憶領域内に読み込まれる。次いで、被写体画像分離部３０に対応するＳ２において、それぞれの撮像画像ＥR およびＥL 内から、カメラＣR およびＣL により直接撮像された被写体１２を表わす直接被写体画像ＧR およびＧL とそれらのカメラＣR およびＣL により右ミラーＭR を通して間接的に撮像された間接被写体画像ＧRMR およびＧLMR と、左ミラーＭL を通して間接的に撮像された間接被写体画像ＧLML およびＧRML とが、上記撮像画像ＥR およびＥL と背景画像ＨR およびＨL との差分が算出されることで分離される。
【００４４】
続いて、カメラ位置算出部３２に対応するＳ３では、カメラＣR およびＣL の位置と右ミラーＭR および左ミラーＭL の位置とに基づいて、右ミラーＭR における左右一対のカメラＣR およびＣL の鏡像位置に位置する仮想カメラＶＣRRおよびＶＣLRの位置と、左ミラーＭL における左右一対のカメラＣR およびＣL の鏡像位置に位置する仮想カメラＶＣRLおよびＶＣLLの位置とが、それぞれ算出される。
【００４５】
次に、奥行き値算出部３４に対応するＳ４では、カメラＣR およびＣL の位置および仮想カメラＶＣRR、ＶＣLR、ＶＣRL、ＶＣLLとの位置と、直接被写体画像ＧR 、ＧL および間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR のうちの対を成す画像間の局部的な相互に関連する部分すなわち濃度および色の相関の高い部分の相対位置とに基づいて、各対を成す画像間毎に奥行き値Ｚがそれぞれ算出される。すなわち、それまで取得した被写体１２の画像である、直接被写体画像ＧR 、ＧL および間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR のうちから大きさや形状の上で相対的に相関の高い類似する画像がそれぞれ一対選択され、その選択された一対の画像毎に、一方の画像中の１画素（１ピクセル）毎の単位で画像中の同じ高さ位置において濃淡或いは色度において相関係数の高いものを他方の画像中から探索（ピクセルマッチング）し、或いは一方の画像中の１群の画素（たとえば３×３の９ピクセル）毎の単位で、画像中の同じ高さ位置（ｙ位置）において濃淡或いは色度において相関係数の高いものを他方の画像中から探索し、最も相関係数の高いものが決定され、図１１に示すような視差ｄが算出される。そして、図１２に示す幾何学的な関係から、その視差ｄと、予め求められたカメラＣR およびＣL の焦点距離ｆＲおよびｆＬ（ｆＲ＝ｆＬ＝ｆ）、カメラＣR およびＣL の間のｘ方向の距離Ｔとに基づいて奥行き値Ｚ（＝（ｆ×Ｔ）／ｄ）が算出される。このようにして画素毎に算出された奥行き値Ｚは、平面画像すなわち２次元画像である直接被写体画像ＧL 、直接被写体画像ＧR 毎に反映させられることにより、３次元の奥行き画像としてのグレイスケール画像ＧＤが生成されてそれが保存される。
【００４６】
次いで、仮想視点画像生成部３６に対応するＳ５では、直接被写体画像ＧR 、ＧL および間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR と、奥行き値算出部３４により算出された奥行き値Ｚとに基づいて、オペレータにより入力された所望の仮想視点Ｋから見た被写体１２の仮想視点画像ＧK が、たとえばイメージベースレンダリングやモデルベースレンダリングなどとして知られる既知のレンダリング（表示）アルゴリズムを用いて生成される。そして、Ｓ６では、その仮想視点画像ＧK が画像表示装置１８に表示される。
【００４７】
上述のように、本実施例の自由視点画像生成装置１０によれば、画像処理コンピュータ（画像処理演算制御装置）１４により、一対の左カメラＣL および右カメラＣR により直接撮像された一対の直接被写体画像ＧL および直接被写体画像ＧR と、それら左カメラＣL および右カメラＣR により一対の左ミラーＭL および右ミラーＭR を介して間接的に撮像された二対の間接被写体画像ＧLML 、ＧRML および間接被写体画像ＧLMR 、ＧRMR と、それらの直接被写体画像ＧL 、ＧR および間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR から求められた奥行き値Ｚとに基づいて仮想視点画像ＧK が生成される。このような構成によれば、左カメラＣL および右カメラＣR の少なくとも１回の撮像により、直接被写体画像ＧL 、ＧR および間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR が瞬時に得られることから被写体１２が不動の物体に限定されず、しかも、左ミラーＭL および右ミラーＭR から手前位置に一対の左カメラＣL および右カメラＣR を設置すればよいので、設置が容易で小型且つ安価な自由視点画像生成装置１０が得られる。
【００４８】
また、本実施例の自由視点画像生成装置１０によれば、画像処理コンピュータ（画像処理演算制御装置）１４は、左カメラＣL および右カメラＣR の撮像画像ＥL およびＥR 内から、左カメラＣL および右カメラＣR により直接撮像された直接被写体画像ＧL 、ＧR と左カメラＣL および右カメラＣR により左ミラーＭL および右ミラーＭR を介して間接的に撮像された間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR とを分離する被写体画像分離部３０と、左カメラＣL および右カメラＣR の位置および左ミラーＭL および右ミラーＭR の位置に基づいて仮想カメラＶＣLL、ＶＣRL、ＶＣLR、ＶＣRRの位置を算出するカメラ位置算出部３２と、被写体画像分離部３０によって分離された１対の直接被写体画像ＧL 、ＧR および二対間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像間の局部的に相互に関連する部分の相対位置とに基づいて奥行き値Ｚをそれぞれ算出する奥行き値算出部３４と、その奥行き値算出部によりその奥行き値Ｚが算出された相互に対を成す被写体画像ＧL およびＧR 、ＧLML およびＧRML 、ＧLMR およびＧRMR とその奥行き値Ｚとに基づいて仮想視点の角度θから見た被写体１２の画像を生成する仮想視点画像生成部３６とを、含む。これにより、画像処理コンピュータ１４によって、被写体画像分離部３０により分離された一対の直接被写体画像ＧL 、ＧR および二対間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像と、それらの間の局部的に相互に関連する部分の相対位置とに基づいて奥行き値算出部３４により算出された奥行き値Ｚとに基づいて仮想視点角度θから見た被写体１２の仮想視点画像ＧK が生成されることから、直接被写体画像ＧL 、ＧR および間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR が瞬時に得られることから被写体１２が不動の物体に限定されず、しかも、左ミラーＭL および右ミラーＭR から手前位置に一対の左カメラＣL および右カメラＣR を設置すればよいので、設置が容易で小型且つ安価な自由視点画像生成装置１０が得られる。
【００４９】
また、本実施例の自由視点画像生成装置１０によれば、被写体画像分離部３０は、左カメラＣL および右カメラＣR の撮像画像ＥL およびＥR 内と、それら左カメラＣL および右カメラＣR により撮像された被写体１２を含まない背景画像ＨL およびＨR との差分の画像を算出することにより、被写体１２のみの被写体画像ＧL 、ＧR 、ＧLML 、ＧRML 、ＧLMR 、ＧRMR を生成し、それら複数の被写体画像のうちの相対的に大きいものを直接被写体画像ＧL 、ＧR として抽出し、相対的に小さいものを間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR として抽出するものであることから、直接被写体画像ＧL 、ＧR と間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR とが容易に分離される。
【００５０】
また、本実施例の自由視点画像生成装置１０によれば、カメラ位置算出部３２は、左カメラＣL および右カメラＣR の位置と左ミラーＭL および右ミラーＭR の位置とに基づいて、それら左カメラＣL および右カメラＣR の左ミラーＭL および右ミラーＭR に対する鏡像位置にある仮想カメラＶＣLL、ＶＣRL、ＶＣLR、ＶＣRRの位置を算出するものであることから、それらの仮想カメラＶＣLL、ＶＣRL、ＶＣLR、ＶＣRRの位置が容易に算出される。
【００５１】
また、本実施例の自由視点画像生成装置１０によれば、カメラ位置算出部３２は、左ミラーＭL および右ミラーＭR のそれぞれの対角線の交点である中心点ＡL およびＡR をそれぞれ求め、前記算出したカメラＣL およびＣR のｘｙｚ三次元空間における位置ＰCL（ｘ，ｙ，ｚ）およびＰCR（ｘ，ｙ，ｚ）から左ミラーＭL および右ミラーＭR のそれぞれの中心点ＡL およびＡR までの三次元ベクトルＶLLA 、ＶRLA 、ＶLRA 、ＶRRA をそれぞれ算出し、それらの三次元ベクトルＶLLA 、ＶRLA 、ＶLRA 、ＶRRA の左ミラーＭL および右ミラーＭR の面で対称な対称ベクトルＶLLB 、ＶRLB 、ＶLRB 、ＶRRB をそれぞれ算出し、それらの対称ベクトルＶLLB 、ＶRLB 、ＶLRB 、ＶRRB の先端位置を、仮想カメラＶＣLL、ＶＣRL、ＶＣLR、ＶＣRRの位置として算出するものであるから、これらの仮想カメラＶＣLL、ＶＣRL、ＶＣLR、およびＶＣRRの位置は、三次元空間における位置ＰVCLL（ｘ，ｙ，ｚ）、ＰVCRL（ｘ，ｙ，ｚ）、ＰVCLR（ｘ，ｙ，ｚ）、およびＰVCRR（ｘ，ｙ，ｚ）として容易に算出される。
【００５２】
また、本実施例の自由視点画像生成装置１０によれば、奥行き値算出部３４は、被写体画像分離部３０によって分離された一対の直接被写体画像ＧL 、ＧR および二対の間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR を含む複数の被写体画像のうちから相互に相関の高い対を成す被写体画像間において、一方の被写体画像の局所を構成する１画素又は複数の画素と他方の被写体画像の局所を構成する１画素又は複数の画素との間の相関性が最も高い関係にある一対の１画素又は複数の画素の間の相対位置である視差ｄを算出し、その視差ｄと左カメラＣL および右カメラＣR の焦点距離ｆ（＝ｆＬ＝ｆＲ）およびカメラ間距離Ｔとに基づいて上記対を成す被写体画像間の奥行き値Ｚを算出するものであることから、奥行き値Ｚを容易に得ることができる。
【００５３】
また、本実施例の自由視点画像生成装置１０によれば、仮想視点画像生成部３６は、直接被写体画像ＧL 、ＧR および二対の間接被写体画像ＧLML 、ＧRML 、ＧLMR 、ＧRMR と、それらのうちの類似する一対の画像間でそれぞれ求められた奥行き値Ｚとに基づいて、被写体１２を３次元で表わす画素の３次元位置、または被写体１２を複数の多角形を用いた３次元図形を表わす画素の３次元位置を決定し、それら画素の３次元位置に基づいて所定の仮想視点角度θから見た被写体１２の仮想視点画像ＧK を生成するものであることから、任意の仮想視点角度θから見た被写体１２の仮想視点画像ＧK を容易に得ることができる。
【００５４】
以上、本発明の一実施例について図面を参照して詳細に説明したが、本発明は更に別の態様でも実施される。
【００５５】
たとえば、前述の実施例の自由視点画像生成装置１０においては、一対の右カメラＣR および左カメラＣL と一対の右ミラーＭR および左ミラーＭL が用いられていたが、自由視点画像の精度を高めるためにカメラおよびミラーはそれぞれ３以上用いられるものでもよい。また、被写体１２の全周の自由視点画像が不要である場合には、少なくとも１個のカメラと少なくとも１個のミラーから成るものであっても、本発明が適用される。１個のカメラと１個のミラーから成るものである場合には、１つのカメラにより直接撮像された１つの直接被写体画像と、そのカメラにより１つのミラーを介して間接的に撮像された１つの間接被写体画像と、それらの直接被写体画像および間接被写体画像から求められた奥行き値Ｚとに基づいて、上記１つのカメラと上記１つのミラーの鏡像位置にある仮想カメラとの間の角度範囲において、被写体１２の仮想視点の画像が生成され得る。
【００５６】
また、前述の被写体画像分離部３０は、図３に示す撮像画像ＥR 、ＥL を表わす画像信号から、予め撮像して記憶した図４に示す背景画像ＨR 、ＨL を表わす画像信号を差し引くことで、直接被写体画像ＧR 、ＧL や間接被写体画像ＧRMR およびＧLMR 、ＧRML およびＧLML を表わす画像信号を算出（抽出）するものであったが、たとえば、被写体１２を表わす画素共通の色などの特徴に基づいて、その特徴を有する画素を抽出することで、直接被写体画像ＧR 、ＧL や間接被写体画像ＧRMR およびＧLMR 、ＧRML およびＧLML を表わす画像信号を分離するものであってもよい。
【００５７】
また、前述の実施例のカメラ位置算出部３２では、先ず、右ミラーＭR および左ミラーＭL の形状が既知である場合に、それらの右ミラーＭR および左ミラーＭL の枠が、撮像画像ＥR およびＥL 内においてどのように写っているかの長さおよび位置に基づいて、幾何的な関係を利用して、カメラＣR およびＣL の内部パラメータ（焦点距離ｆおよび歪み係数）と外部パラメータ（カメラＣR およびＣL のｘ−ｙ−ｚ座標系の三次元空間における位置ＰCR（ｘ，ｙ，ｚ）およびＰCL（ｘ，ｙ，ｚ）、カメラＣR およびＣL の光軸の方向）とを算出するものであったが、カメラＣR およびＣL の位置および向きがそれらの設定位置から予め既知であってたとえばそれらの情報が予め入力操作されて記憶されている場合は、上記カメラ位置算出部３２は、それらカメラＣR およびＣL の位置および向きを算出せず、仮想カメラＶＣRRおよびＶＣLRの位置と仮想カメラＶＣRLおよびＶＣLLの位置とを算出するものであってもよい。
【００５８】
また、前述の実施例の奥行き値算出部３４は、カメラＣR およびＣL の位置および前記仮想カメラＶＣRR、ＶＣLR、ＶＣRL、ＶＣLLとの位置と、直接被写体画像ＧR 、ＧL および間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR 間の局部的な相互に関連する部分すなわち濃度および色の相関の高い部分の相対位置（視差ｄ）とに基づいて奥行き値Ｚをそれぞれ算出するものであったが、焦点距離変更可能なカメラから得られる被写体１２中の局所部位毎の焦点距離に基づいて奥行き値Ｚを求めるなど、他の方法で算出されるものであってもよい。
【００５９】
仮想視点画像生成部３６は、直接被写体画像ＧR 、ＧL および間接被写体画像ＧRMR 、ＧRML 、ＧLML 、ＧLMR と、奥行き値Ｚとに基づき、イメージレンダリング処理やモデルベースレンダリング処理を用いて、オペレータにより入力された所望の仮想視点Ｋから見た被写体１２の画像ＧK を生成するものであったが、３Ｄメッシュのワーフィング、３Ｄメッシュのモーフィング、ＭＦＦＤモーフィングなどの他の処理が用いられてもよい。
【００６０】
なお、前述したのはあくまでも例示であり、必要に応じて適宜変更され得る。その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲で種々変更を加え得るものである。
【符号の説明】
【００６１】
１０：自由視点画像生成装置
１２：被写体
１４：画像処理コンピュータ（画像処理演算制御装置）
３０：被写体画像分離部
３２：カメラ位置算出部（仮想カメラ位置算出部）
３４：奥行き値算出部
３６：仮想視点画像生成部
ＣR ：右カメラ
ＣL ：左カメラ
ＭR ：右ミラー
ＭL ：左ミラー
【図１】
2011210202.tif 000003
【図２】
2011210202.tif 000004
【図７】
2011210202.tif 000005
【図８】
2011210202.tif 000006
【図９】
2011210202.tif 000007
【図１２】
2011210202.tif 000008
【図１４】
2011210202.tif 000009
【図１７】
2011210202.tif 000010
【図３】
2011210202.tif 000011
【図４】
2011210202.tif 000012
【図５】
2011210202.tif 000013
【図６】
2011210202.tif 000014
【図１０】
2011210202.tif 000015
【図１１】
2011210202.tif 000016
【図１３】
2011210202.tif 000017
【図１５】
2011210202.tif 000018
【図１６】
2011210202.tif 000019