"被写体の撮像データから該被写体を所望の仮想視点から見た画像に変換して出力するための自由視点画像生成装置であって、前記被写体を撮像する少なくとも1つの第1カメラと、該第1カメラより解像度の低い少なくとも一つの第2カメラと、前記第1カメラにより撮像された少なくとも1つの第1被写体画像、前記第2カメラにより撮像された少なくとも1つの第2被写体画像及び前記第1被写体画像と前記第2被写体画像間の空間的な相関から求められた奥行き値とに基づいて前記仮想視点の画像を生成する画像処理演算制御装置と、を備えたことを特徴とする自由視点画像生成装置。前記画像処理演算制御装置は、前記第1被写体画像を低解像度画像にサブサンプリングを行い、サブサンプリング画像を生成する第1ステップと、前記第1ステップで生成したサブサンプリング画像及び前記第2被写体画像から前記被写体の奥行き画像を生成する第2ステップと、前記第2ステップで生成した前記被写体の奥行き画像をもとに前記第1被写体画像を前記仮想視点にワーピングした高解像度投影画像及び前記第2被写体画像を前記仮想視点にワーピングした低解像度投影画像を生成する第3ステップと、前記高解像度投影画像および前記低解像度投影画像を統合する第4ステップと、により前記仮想視点から見た画像生成することを特徴とする請求項1に記載の自由視点画像生成装置。前記第4ステップにおいて、前記高解像度投影画像と、前記低解像度投影画像とを統合する際に、該高解像度投影画像の全ての画素に対して前記低解像度投影画像の画素に優先して参照することを特徴とする請求項2に記載の自由視点画像生成装置。ところが、上記従来技術では、自由視点画像を高解像度化する場合には、全てのカメラを高解像度カメラにする必要があった。そのため、高解像度の自由視点画像を生成するためには装置が大型化するとともに、カメラに多大な費用をかけなければならないという問題があった。本発明は、このような問題点に鑑み、小型かつ低コストで高解像度の自由視点画像を得ることができる自由視点画像生成装置を提供することを目的とする。すなわち、前記目的を達成するための請求項1に係る発明の要旨とするところは、被写体の撮像データから、被写体を所望の仮想視点から見た画像である仮想視点画像に変換して出力するための自由視点画像生成装置であって、被写体を撮像する少なくとも1つの第1カメラ110と、第1カメラ110より解像度の低い少なくとも一つの第2カメラ120と、第1カメラ110により撮像された少なくとも1つの第1被写体画像と、第2カメラ120により撮像された少なくとも1つの第2被写体画像と、第1被写体画像と第2被写体画像間の空間的な相関から求められた奥行き値とに基づいて仮想視点の画像を生成する画像処理演算制御装置300と、を備えたことにある。また、請求項2に係る発明の要旨とするところは、請求項1の発明において、画像処理演算制御装置300は、画像処理演算制御装置300は、第1被写体画像を低解像度画像にサブサンプリングを行い、サブサンプリング画像を生成する第1ステップS305と、第1ステップS305で生成したサブサンプリング画像及び第2被写体画像から被写体の奥行き画像を生成する第2ステップS310と、第2ステップS310で生成した被写体の奥行き画像をもとに第1被写体画像を仮想視点にワーピングした高解像度投影画像及び第2被写体画像を仮想視点にワーピングした低解像度投影画像を生成する第3ステップS405,S410と、高解像度投影画像および低解像度投影画像を統合する第4ステップS415~S440と、により仮想視点から見た画像生成することにある。また、請求項3に係る発明の要旨とするところは、請求項2の発明において、第4ステップS415~S440において、高解像度投影画像と、低解像度投影画像とを統合する際に、高解像度投影画像の全ての画素に対して低解像度投影画像の画素に優先して参照することにある。請求項1に係る本発明の自由視点画像生成装置10によれば、画像処理演算処理装置300において、被写体を撮像する少なくとも1つの第1カメラ110により撮像された少なくとも1つの第1被写体画像と、第1カメラ110より解像度の低い少なくとも一つの第2カメラ120により撮像された少なくとも1つの第2被写体画像と、第1被写体画像と第2被写体画像間の空間的な相関から求められた奥行き値とに基づいて、入力を全て第1カメラ110で撮像した第1被写体画像と同等の解像度を持つ画像としたときと同じ解像度の仮想視点画像が生成される。このため、全てを第1カメラ110と同じ解像度をもつカメラで構成した自由視点画像生成装置に比べて、小型でかつカメラのコストを抑えた自由視点画像生成装置10が得られる。請求項2に係る発明の自由視点画像生成装置10によれば、画像処理演算制御装置300は、第1被写体画像を低解像度画像にサブサンプリングを行い、サブサンプリング画像を生成する第1ステップS305と、サブサンプリング画像及び第2被写体画像から被写体の奥行き画像を生成する第2ステップS310と、奥行き画像をもとに第1被写体画像を仮想視点にワーピングした高解像度投影画像及び第2被写体画像を仮想視点にワーピングした低解像度投影画像を生成する第3ステップS405,S410と、高解像度投影画像および低解像度投影画像を統合する第4ステップS415~S440と、により仮想視点画像を生成する。第1ステップS305の効果は、第1被写体画像に対して、第2被写体画像の持ちうる最高周波数以上の周波数成分を除去し、第2被写体画像と画像周波数が揃ったサブサンプリング画像を生成し、第2ステップS310において、サブサンプリング画像を用いることにより、被写体の奥行き推定を可能にすることにある。これにより、入力画像が高解像度画像と低解像度画像であっても仮想視点画像を生成することができる。請求項3に係る発明の自由視点画像生成装置10によれば、第4ステップS415~S440において、高解像度投影画像と、低解像度投影画像とを統合する際に、高解像度投影画像の全ての画素に対して低解像度投影画像の画素に優先して参照することで、高解像度な仮想視点の画像が得られる。以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。自由視点画像生成装置10の構成図1は、本発明の一実施形態の自由視点画像生成装置10の概略の構成を示すブロック図である。図1において、自由視点画像生成装置10は、被写体を撮像し、被写体像を取得する画像取得部100と、予め記憶されたプログラムに従ってそれらの像信号を処理して自由視点画像を生成する画像処理コンピュータ300と、自由視点の位置を指定する操作信号などを入力する操作入力部200と、画像処理コンピュータから出力された画像を表示する液晶モニタや、3Dディスプレイなどの画像表示装置400とを備えている。操作入力部200は、仮想視点の3次元位置データを含むデータを入力するための装置であり、キーボードなどの入力装置である。画像取得部100は、高解像度カメラ110と、低解像度カメラ120と、それぞれのカメラ110,120で被写体Aを撮影して得ることのできる高解像度画像Bを記憶させておくための高解像度画像記憶部130と、低解像度画像Cを記憶させておくための低解像度記憶部140とを備える。高解像度カメラ110および低解像度カメラ120は、たとえば、レンズにより結像される位置に配置されたCCD素子やCMOS素子などから成る映像センサと、その映像センサからの信号をA/D変換して所定のデジタル画像信号に変換する画像処理チップとを備えている。高解像度カメラ110及び低解像度カメラ120によって取得される所定の画素数u×vの画素毎の濃淡をRGB毎に示す画像信号Iiu、v但し、i=R、G、Bをそれぞれ高解像度画像Bと、低解像度画像Cとする。たとえば画素ピクセル数が480×640である画像であれば、u=0~479、n=0~639の範囲の値となる。なお、高解像度画像Bの画素数をUH×VHとし、低解像度画像Cの画素数をUL×VLとした場合、高解像度画像Bにおいて、UH>ULまたはVH>VLのいずれかが成り立つものとする。画像処理コンピュータ300は、図示しないCPU,ROM、RAM及びI/Oなどを備えており、以下の画像処理を実行する。画像処理の説明次に、図2に基づき、画像処理コンピュータ300で実行される画像処理について説明する。図2は、画像処理コンピュータ330のCPUが実行する画像処理の流れを示すフローチャートである。画像処理では、まず、S300において、被写体Aを高解像度カメラ110で撮像した高解像度画像B及び被写体Aを低解像度カメラ120で撮像した低解像度画像Cがそれぞれ高解像度画像記憶部130及び低解像度記憶部140から取得される。続く、S305において、高解像度画像Bが低解像度画像Cの画像サイズに合わせてサブサンプリングされ、サブサンプリング画像Bsubが生成される。S305の目的は、後述するS310における奥行き画像の生成を行うために、高解像度画像のもつ周波数成分と、低解像度画像の持つ周波数成分をそろえることにある。サブサンプリングには、線形補間法が用いられる。続く、S310では、S305において生成されたサブサンプリング画像Bsub、S300において取得された低解像度画像Cから被写体Aの奥行き画像が生成される。サブサンプリング画像Bsubおよび低解像度画像Cの一方の画像中の1画素1ピクセル毎の単位で画像中の同じ高さ位置において濃淡或いは色度において相関係数の高いものを他方の画像中から探索ピクセルマッチングし、或いは一方の画像中の1群の画素たとえば3×3の9ピクセル毎の単位で、画像中の同じ高さ位置y位置において濃淡或いは色度において相関係数の高いものを他方の画像中から探索しブロックマッチング、最も相関係数の高いものを決定し、視差dを算出する。たとえば、相互に最も相関の高い関係にある一対の画素が、サブサンプリング画像Bsubの画像平面内におけるu方向の位置がul、低解像度画像Cの画像平面内におけるu方向の位置がurであるとすると、図4に示す視差d=ul-urが算出され、幾何学的な関係から、その視差dと、予め求められた高解像度カメラ110および低解像度カメラ120の焦点距離fRおよびfLfR=fL=f、高解像度カメラ110および低解像度カメラ120の間のx方向の距離Tとに基づいて奥行き値Z’=f×T/dが算出される。図4に基づき、視差dを詳細に説明する。上記のように、相互に最も相関の高い関係にある一対の画素が、サブサンプリング画像Bsubの画像平面内におけるu方向の位置がul、低解像度画像Cの画像平面内におけるu方向の位置がurである場合に、サブサンプリング画像Bsubと低解像度画像Cとを左上の基準点が同じとなるように重ねて、サブサンプリング画像Bsubの画像平面内におけるu方向の位置ulを、低解像度画像Cの画像平面内の点Pとし、サブサンプリング画像Bsubの画像平面内におけるその点Pと低解像度画像Cの画像平面内におけるu方向の位置urとの間の相対位置である距離が、視差dとして示される。上記の視差推定手法を用いて、画素毎に奥行き値Zを算出し、3次元の奥行きをグレースケールで表した奥行き画像を得る。図7は、図6の画像に対応する奥行き画像を例示している。図7のグレースケール画像は、黒くなるほど遠く奥行きZが大きくなり、白くなるほど近く奥行き値Zが小さくなることを示している。続くS315では、仮想視点の3次元位置V、S310において生成された奥行き画像、S300において取得された高解像度画像B及び低解像度画像Cをもとに仮想視点にワーピングするワーピング処理が実行される。続くS320において、S315のワーピング処理において生成された高解像度仮想視点画像が画像表示装置400に表示された後、画像処理が終了される。ワーピング処理次に、図3に基づき、画像処理中で実行されるワーピング処理について説明する。図3は、ワーピング処理の流れを示すフローチャートである。ワーピング処理では、まず、S400において、高解像度画像B、低解像度画像C、S310において生成された奥行き画像及び操作入力部200から仮想視点の3次元位置Vが取得される。続くS405では、S310により生成された奥行き画像をもとに、高解像度画像Bが、仮想視点の3次元位置Vに対して3Dワーピング処理を用いて投影され、高解像度投影画像が生成される。続くS410では、S405と同様の処理が低解像度画像Cも行われ、低解像度投影画像が生成される。続くS415では、高解像度画像Bの画素を仮想視点Vに投影できるか否かが一画素毎に判定される。そして、仮想視点において、高解像度投影画像が参照可能な画素と判定された場合S415:Yes、処理がS420へ移行され、高解像度投影画像において参照できない画素と判定された場合S415:No処理がS425へ移行される。S420では、高解像度投影画像の同座標の輝度値が、仮想視点画像の輝度値とされる。一方、S425では、低解像度投影画像において参照できる画像であるか否かが判定される。低解像度投影画像において参照できる画素であると判定された場合S425:Yes、処理がS430へ移行され、低解像度投影画像において参照できない画素であると判定された場合S425:No、処理がS435へ移行される。S430では、低解像度投影画像をアップサンプリングした輝度値が仮想視点画像の輝度値とされる。一方、S435では、低解像度投影画像がイメージインペインティングや、線形補間などの手法を用いて、周囲の画素から補間される。ここで、イメージペインティングの手法としては、[BERTALMIO、M.、SAPIRO、G.、CASELLES、V.、ANDBALLESTER、C.2000.ImageInpainting.InProceedingsofACMSIGGRAPH2000、ACMPress/ACMSIGGRAPH、New-York、E.Fiume、Ed.、ComputerGraphicsProceedings、AnnualConferenceSeries、ACM、417-424.]などの手法が用いられる。上記3Dワーピング手法を、仮想視点位置の全画素に対して行い、操作入力部200で与えた仮想視点Vに対応した、高解像度な仮想視点画像を得る。図5は、3Dワーピングの概念を示す概略図である。カメラ1からX方向にx1だけ離れた仮想視点の仮想視点画像を生成する場合について、カメラ1の画像である画像1の1画素I1ul、vlを例にとって説明する。このとき、カメラ1において、S315において奥行き画像が計算されている場合を想定している。画素I1ul、vlに対応する奥行き値をZとすると、三角形の相似関係から、仮想視点画像中の画素I2に投影され、その座標は、カメラ1および仮想カメラの焦点距離をfとすると、I2u2、v2=ul-fx2/Z、vlより求められる。以上のように求めた画素において、画素I1の輝度値をコピーし、画素I2の輝度値とする。この工程を画像1の全画素について行うことで、仮想視点位置に画像1を投影した投影画像を得ることができる。図8に、従来法に基づき高解像度画像のみを用いて仮想視点画像を生成した結果図8a及びその一部を拡大した図8bと、本発明を用いて仮想視点画像を生成した結果図8c及びその一部を拡大した図8dの一例を示す。条件として、低解像度画像は、高解像度画像に比べて縦横2分の1の解像度を持つ。仮想視点の3次元位置は、従来法および提案法ともに等しい位置とした。図8の右側上下の一部拡大図を比較すると、本発明手法を用いて生成した画像は、高解像度の画像のみを用いた従来法と遜色なく、解像度が高い画像が得られていると判る。自由視点画像生成装置10の特徴以上のような、自由視点画像生成装置10によれば、画像処理コンピュータ300において、被写体Aを撮像する高解像度カメラ110により撮像された高解像度画像Bと、高解像度カメラ110より解像度の低い低解像度カメラ120により撮像された低解像度画像Cと、高解像度画像Bと低解像度画像C間の空間的な相関から求められた奥行き値とに基づいて、入力を全て高解像度カメラ110で撮像した高解像度画像Bと同等の解像度を持つ画像としたときと同じ解像度の仮想視点画像が生成される。このため、全てを高解像度カメラ110と同じ解像度をもつカメラで構成した自由視点画像生成装置に比べて、小型でかつカメラのコストを抑えた自由視点画像生成装置10とすることができる。また、画像処理において、高解像度画像Bを低解像度画像にサブサンプリングを行い、サブサンプリング画像を生成している。したがって、高解像度画像に対して、低解像度画像の持ちうる最高周波数以上の周波数成分を除去し、低解像度画像と画像周波数が揃ったサブサンプリング画像を生成し、そのサブサンプリング画像を用いることにより、被写体の奥行き推定を可能にすることができる。これにより、入力画像が高解像度画像と低解像度画像であっても仮想視点画像を生成することができるようになっている。また、高解像度投影画像と、低解像度投影画像とを統合する際に、高解像度投影画像の全ての画素に対して低解像度投影画像の画素に優先して参照することで、高解像度な仮想視点の画像が得られるようになっている。"