(57)【要約】【課題】被写体を観察する視点に応じ、その視点に対応する仮想カメラの撮像画像を、複数の撮像画像をもとにモーフィングすることにより、フォトリアルな自由視点画像を撮像する自由視点画像撮像装置およびその方法を提供する。【解決手段】本発明の自由視点画像撮像装置は、複数の撮像装置の各々から被写体の第１撮像画像を取得する撮像制御部と、第１撮像画像から再生された被写体の３次元形状を用い、撮像装置から取得した第２撮像画の対応点である第１対応点を検索する対応点探索部と、第２撮像画像間の第１対応点のテンプレートマッチングを行うテンプレートマッチング部と、複数の撮像装置の間に配置された仮想カメラから撮像される第３撮像画像を、第２撮像画像のモーフィング処理により生成する仮想カメラ画像生成部とを有する。【選択図】図４
2015022510.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置の各々から被写体の第１撮像画像を取得する撮像制御部と、
前記第１撮像画像から再生された前記被写体の３次元形状を用い、前記撮像装置から取得した第２撮像画の対応点である第１対応点を検索する対応点探索部と、
前記第２撮像画像間の前記第１対応点のテンプレートマッチングを行うテンプレートマッチング部と、
複数の前記撮像装置の間に配置された仮想カメラから撮像される第３撮像画像を、前記第２撮像画像のモーフィング処理により生成する仮想カメラ画像生成部と
を有することを特徴とする自由視点画像撮像装置。
【請求項２】
仮想カメラ画像生成部が、
前記第２撮像画像の組み合わせにより前記モーフィング処理を行い、
前記仮想カメラが、
前記組み合わせた第２撮像画像を撮像する前記撮像装置の配置された線あるいは平面上における撮像面を有する
ことを特徴とする請求項１に記載の自由視点画像撮像装置。
【請求項３】
前記３次元形状を前記仮想カメラの撮像面に投影させた第４撮像画像から、前記組み合わせにおける前記撮像装置の各々のオクルージョン領域を検出し、検出結果を前記仮想カメラ画像生成部に対してオクルージョン情報として供給するオクルージョン領域探索部をさらに有し、
前記仮想カメラ画像生成部が、
前記オクルージョン情報を反映して、前記組み合わせの前記撮像画像を用いたモーフィング処理により前記第３撮像画像を生成する
ことを特徴とする請求項１または請求項２に記載の自由視点画像撮像装置。
【請求項４】
前記第２撮像画像の解像度が前記第１撮像画像の解像度より高いことを特徴とする請求項１から請求項３のいずれか一項に記載の自由視点画像撮像装置。
【請求項５】
前記第１撮像画像からシルエット画像を生成するシルエット画像生成部と、
前記シルエット画像から前記被写体の前記３次元形状の一部分である仮部分３次元形状を生成するＶＦ処理部と、
前記撮像装置の組み合わせ毎に、それぞれの前記第１撮像画像のステレオマッチングを行い、当該第１撮像画像の各々における共通の対応点である共通対応点を抽出するステレオマッチング部と、
前記共通対応点により前記仮部分３次元形状を修正して、修正した結果を部分３次元形状とする部分３次元形状生成部と、
前記部分３次元形状を合成して前記３次元形状を生成する３次元形状合成部と
をさらに有する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の自由視点画像撮像装置。
【請求項６】
前記３次元形状合成部が、
前記共通対応点を結ぶ三角形のメッシュと、前記仮部分３次元形状とを比較し、前記メッシュに対して前記撮像装置方向に近い前記仮部分３次元形状の領域を削除し、前記仮部分３次元形状の修正を行う
ことを特徴とする請求項５に記載の自由視点画像撮像装置。
【請求項７】
前記３次元形状合成部が、
前記第１撮像画像の全ての組み合わせから得られた前記部分３次元画像を重ね合わせ、予め設定された閾値以上の当該部分３次元画像が重なった領域から前記３次元形状を生成する
ことを特徴とする請求項５または請求項６に記載の自由視点画像撮像装置。
【請求項８】
前記撮像装置が２台であり、当該撮像装置が配置された線上に前記仮想カメラが配置されており、
前記仮想カメラの配置された座標Ｅｖが、撮像装置ｉ（１≦ｉ≦２）の座標Ｅｉを用い、
Ｅｖ＝（１−α）Ｅ１＋αＥ２，（０≦α≦１）
の式で表される際、
前記仮想カメラの前記第３撮像画像における画素の座標Ｐｖが、前記座標Ｐｖの第１対応点が座標Ｐｉであり、前記第３撮像画像の座標系における前記第１対応点がＰｉと、前記テンプレートマッチングにおけるテンプレートとしての第１撮像画像のＰｊと、Ｐｉに対するＰｊの差分Ｄｉｊ（ｉ＝１，２、ｊ＝１，２、ｉ≠ｊ）との組み合わせで表現される場合、前記第３撮像画像の座標系における前記座標Ｐｖに対する撮像装置１の第１対応点がＰ１＋αＤ１２、撮像装置２の第１の対応点がＰ２＋（１−α）Ｄ２１となる
ことを特徴とする請求項５から請求項７のいずれか一項に記載の自由視点画像撮像装置。
【請求項９】
前記撮像装置が３台であり、当該撮像装置が配置された面上に前記仮想カメラが配置されており、
前記仮想カメラの配置された座標Ｅｖが、撮像装置ｉ（１≦ｉ≦３）の座標Ｅｉを用い、
Ｅｖ＝（１−α−β）Ｅ１＋αＥ２＋βＥ３，（０≦α、０≦β、α＋β≦１）
の式で表される際、
前記仮想カメラの前記第３撮像画像における画素の座標Ｐｖが、前記座標Ｐｖの第１対応点が座標Ｐｉであり、前記第３撮像画像の座標系における前記第１対応点がＰｉと、前記テンプレートマッチングにおけるテンプレートとしての第１撮像画像のＰｊと、Ｐｉに対するＰｊの差分Ｄｉｊ（ｉ＝１，２，３、ｊ＝１，２，３、ｉ≠ｊ）との組み合わせで表現される場合、前記第３撮像画像の座標系における前記座標Ｐｖに対する撮像装置１の第１対応点がＰ１＋αＤ１２＋βＤ１３、撮像装置２の第１対応点がＰ２＋（１−α−β）Ｄ２１＋βＤ２３、撮像装置３の第１対応点がＰ３＋（１−α−β）Ｄ３１＋αＤ３２となる
ことを特徴とする請求項５から請求項７のいずれか一項に記載の自由視点画像撮像装置。
【請求項１０】
前記撮像装置が４台であり、当該撮像装置が配置された面上に前記仮想カメラが配置されており、
前記仮想カメラの配置された座標Ｅｖが、撮像装置ｉ（１≦ｉ≦４）の座標Ｅｉを用い、
Ｅｖ＝（１−α−αβ）Ｅ１＋α（１−β）Ｅ２−αβＥ３
＋αβＥ４，（０≦α、０≦β、α＋β≦１）
の式で表される際、
前記仮想カメラの前記第３撮像画像における画素の座標Ｐｖが、前記座標Ｐｖの第１対応点が座標Ｐｉであり、前記第３撮像画像の座標系における前記第１対応点がＰｉと、前記テンプレートマッチングにおけるテンプレートとしての第１撮像画像のＰｊと、Ｐｉに対するＰｊの差分Ｄｉｊ（ｉ＝１，２，３，４、ｊ＝１，２，３，４、ｉ≠ｊ）との組み合わせで表現される場合、前記第３撮像画像の座標系における前記座標Ｐｖに対する撮像装置ｉの対応点が（１−α＋αβ）Ｐ’ｉ１＋α（１−β）Ｐ’ｉ２−αβＰ’ｉ３＋αＰ’ｉ４（ただし、Ｐ’ｉｉ＝Ｐｉ）となる
ことを特徴とする請求項５から請求項７のいずれか一項に記載の自由視点画像撮像装置。
【請求項１１】
前記撮像装置各々が、前記被写体までの距離が同様となるように、当該被写体を中心とした球の面上に、撮像方向を前記被写体として配置されることを特徴とする請求項１から請求項１０のいずれか一項に記載の自由視点画像撮像装置。
【請求項１２】
撮像制御部が、複数の撮像装置の各々から被写体の第１撮像画像を取得する撮像制御過程と、
対応点探索部が、前記第１撮像画像から再生された前記被写体の３次元形状を用い、前記撮像装置から取得した第２撮像画の対応点である第１対応点を検索する対応点探索過程と、
テンプレートマッチング部が、前記第２撮像画像間の前記第１対応点のテンプレートマッチングを行うテンプレートマッチング過程と、
仮想カメラ画像生成部が、複数の前記撮像装置の間に配置された仮想カメラから撮像される第３撮像画像を、前記第２撮像画像のモーフィング処理により生成する仮想カメラ画像生成過程と
を含むことを特徴とする自由視点画像撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元における被写体の自由視点画像を撮像する自由視点画像撮像装置およびその方法に関する。
【背景技術】
【０００２】
近年、画像処理技術や画像通信技術の発達に伴い、次世代の画像コンテンツとして、３次元における自由視点画像が注目されている。
このため、被写体の周囲にビデオカメラを配置して撮影した多視点画像を用いて全周囲自由視点画像を生成する技術が開発されている。
ここで、撮影画像に基づいて自由視点画像を作り出す場合、撮像画像から３次元空間における被写体の３次元形状を作り、作成した３次元形状をレンダリングする方法を用いることが多い。
【０００３】
基本的な考え方としては、２枚の画像間で対応点を見つけ、三角測量により対応点の３次元空間における座標位置を計測する。この処理により、３次元空間における対応点の点群のデータが得られる。
次に、この点群データに基づいたポリゴンの生成を行った後、このポリゴンに対して撮像画像を貼り付ける（テクスチャ・マッピングを行う）ことによりテスクチャの生成（テクスチャ・オブジェクトの生成）を行う。そして、最後に、３次元のコンピュータグラフィックスの技術に基づいて、この撮影画像をポリゴンに貼り付けたテスクチャ・オブジェクトをレンダリングし、画像を生成する。
【０００４】
他の自由視点画像を撮像する方法として、モーフィング（morphing）を利用した２次元画像処理に基づく方法がある。このモーフィングは、一般的に、１枚の被写体の画像から、他の１枚の被写体の画像へ変化する様子を、画像処理技術により自然に変化しているように見せる技術を指している。
このモーフィングの処理を、３次元形状の被写体に対する視点変更に応用することにより、自然な視点変更の画像を得ることができる。
【０００５】
ここで、モーフィングの利点は、３次元形状の被写体に対する視点変更に対し、簡単にフォトリアルな画像を作れることにある。
すなわち、すでに述べたように、撮像画像から３次元形状を一旦作成する方法の場合、通常テクスチャは１枚となり、観察者の視点が変更されてもテクスチャは変化しない。
しかし、一般的に物（被写体）の色は、被写体に照射される光の入射角と、被写体に対する観察者の視点方向に依存して色合いが変化する。このため、観察者の視点が変更された際に、テクスチャが変化しないことは不自然な状態となる。一方、モーフィングは、視点の変更に応じて、画像におけるテクスチャも変化していくため、フォトリアルな映像となる。
【０００６】
自由視点画像を生成する技術の一つとして、モーフィングを用いたビューモーフィング（View morphing）がある（例えば、非特許文献１参照）。このビューモーフィングの技術は、２台のカメラ間に仮想的なカメラ（以下、仮想カメラ）がある場合、この仮想カメラの視点から見た画像を、カメラの幾何学的な整合性を保ちつつ、２台のカメラの各々の撮像画像をモーフィングすることにより作り出す技術である。しかしながら、この非特許文献１の技術は、生成できる画像が２つのカメラの視点間に制限されるため、視点の自由度は低いものとなる。また、モーフィングを使用したことにより、視点変化に対してフォトリアルな画像を作り出せるが、作られる画像の品質は対応点探索の精度に依存する。一般的に、２枚の撮像画像間において、高精度かつロバストな対応点探索を行うことは難しい。
【０００７】
対応点の探索においては、２台のカメラの撮像方向が平行であり、かつ、撮影距離が近いことが高精度に探索するための好条件となる。しかし、撮像方向が平行で近距離にある２台のカメラの間における仮想カメラの撮像画像を、モーフィングの処理により生成しても、撮像画像が平行移動するのみであるため意味が無い。
このため、この非特許文献１の技術においては、ビューモーフィングを行う際、２台のカメラの間の仮想カメラの撮像画像を作り出すため、２台のカメラが輻輳角を持ち、離れているという条件下で被写体の撮像が行われる。
【０００８】
したがって、非特許文献１においては、２台のカメラが輻輳角を持ち、離れているという条件下における困難な対応点検索を行う必要がある。
対応点探索の精度が不十分な場合、２台の各々の撮像画像間において外れ値（実際には対応していない誤った対応点）を含む疎な対応点しか得られない。この対応点が疎な状態において、２台のカメラの各々の撮像画像を用いてビューモーフィングを行った場合、モーフィング画像において画素が存在しない領域が発生したり、あるいはぼやけたりといった問題が生じる。また、仮に高精度で密な対応点探索が成功したとしても、オクルージョン領域で対応点を見つけることはできないため、オクルージョン領域の描画では、やはり画素が存在しない領域が発生するなどの問題が生じてしまう。
【０００９】
非特許文献１におけるビューモーフィングを発展させた手法もいくつか提案されている。例えば、非特許文献１におけるビューモーフィングは、２視点間という制限があったため、３視点間でモーフィングする手法が提案されている（例えば、非特許文献２参照）。
そのことで、３視点間により形成される平面上において、非特許文献１に対して、より自由な視点の画像を生成することができる。しかしながら、この非特許文献２の手法においても、対応点探索に起因する問題は解決されていない。
【００１０】
３視点間、すなわち３台のカメラの各々の撮像画像における対応点探索の結果が疎である場合、または密すぎる場合、適切な対応点を選びドロネー三角分割法によるメッシュ化を行うことにより、モーフィング処理を行い仮想カメラにおける撮像画像を描画する方法も提案されている（例えば、非特許文献３参照）。この非特許文献３の方法によるモーフィング処理ならば、仮想カメラにおけるモーフィング画像には穴が空かずに描画可能である。しかしながら、対応点の外れ値の問題やオクルージョンの問題は解決しない。
【００１１】
一方、オクルージョン領域を描画する手法も提案されている（例えば、特許文献４参照）が、この特許文献４においてはオクルージョン領域は手動で指定しなければならない。また、オクルージョンの描画は可能ではあるが、隠されて撮像されていない部分を細部まで綺麗に描画することはできない。
【００１２】
３次元形状を利用して自由視点画像を生成する手法としては、Y．Furukawaらによる手法がある（例えば、非特許文献５参照）。この非特許文献５の手法においては、はじめに対象物（被写体）を複数の視点から撮像した撮像画像を用意する。
次に、その撮像画像からＳＩＦＴ（Scale Invariant Feature Transform）などの特徴量抽出処理を用いて特徴量を抽出する。そして、抽出した特徴量を用いて、ＳＦＭ（Structure from motion）及びＭＶＳ（Multi View Stereo）を実行し、撮像した被写体の３次元の形状を復元している。ここで、ＳＦＭは、ある被写体をカメラの視点を変えながら撮影した複数枚の撮像画像からその被写体の３次元形状とカメラの位置を同時に復元する手法である。ＭＶＳは、ＳＦＭが復元したカメラ位置とパラメータ及び入力画像から、初期３Ｄモデルを生成する手法である。
【００１３】
上述したＳＩＦＴの計算が成功する場合は、多くの特徴量が得られ、高精度な３次元形状を復元することが可能である。
一方、ＳＩＦＴにおいて高精度に特徴点を見つけることは難しく、自由視点画像を作れるほど密な対応点となる特徴点の点群を得られないことが多い。
さらに、複数枚の撮像画像から特徴点として抽出される点には、外れ値も多く発生するため、取り除く必要がある。
【００１４】
また、密な特徴点の点群を得られない場合であっても、撮像画像の描画を可能にする手法も提案されている（非特許文献６）。
この非特許文献６においては、ＳＦＭ及びＭＶＳを使用した際に、精度が高く求まった点群は優先度を高く描画し、精度が低い点群に対してはぼかして描画することで、滑らかな視点移動を実現している。
ただし、この手法は視点移動の際に点群を誤魔化して描画しているだけであるため、精度の低い点群の領域はぼやけて描画されるだけである。
【００１５】
安定的に３次元形状を復元できる方法として、ＶＨ（Visual Hull）が知られている（例えば、非特許文献７、非特許文献８を参照）。このＶＨは、対象物である被写体を複数の視点から撮像画像を撮像し、それぞれの撮像画像における背景を削除し、シルエット画像を生成する。このシルエット中に復元したい対象物が含まれていることを利用して、シルエットの共通領域を３次元空間中で求める。これにより、３次元空間において被写体の存在している領域（部分空間）を見つけ出し、その領域を被写体の３次元形状として復元する。
【００１６】
この非特許文献７及び非特許文献８の方法では、特徴点を使わずシルエットを計算するだけなので、比較的安定して３次元形状を得ることができる。ただし、ＶＨ（Visual Hull）で復元される３次元形状は精度が低く、撮影画像をそのままテクスチャとして適用しようとしても、上手くいかない。
この問題を解決するため、ＶＨとステレオマッチングとを組み合わせて精度を向上する方法（例えば、非特許文献９参照）や、テクスチャに基づいて３次元形状を変形する方法が提案されている（例えば、特許文献１参照）。
【００１７】
また、テクスチャに優先順位を与えることで、複数視点から撮影した画像からテクスチャを作り出す技術もある（例えば、特許文献２参照）。
しかし、これらはテクスチャを貼っただけであるため、モーフィングのように視点変更に対してフォトリアルな映像を作り出すことはできない。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００９−２９４９５６号公報
【特許文献２】特許第４４６４７７３号公報
【非特許文献】
【００１９】
【非特許文献１】S．Seitz，C．Dyer．，“View morphing”， SIGGRAPH 1996，1996，pp. 21−30．
【非特許文献２】XIAO J，SHAH  M，“Tri−view morphing”Comput Vis Image Underst，Volume 96 Issue 3，December 2004 pp．345−366
【非特許文献３】David Jelinek and C．J．Taylor  ”Quasi−Dense Motion Stereo for 3D View Morphing”International Symposium on Virtual and Augmented Architecture (VAA01) pp 219−229，June 2001．
【非特許文献４】G．Chaurasia，O．Sorkine，G．Drettakis ”Silhouette−Aware Warping for Image−Based Rendering”Computer Graphics Forum (Proceedings of the Eurographics Symposium on Rendering)，Volume 30，Number 4−2011．
【非特許文献５】Y．Furukawa and J．Ponce，”Accurate，Dense，and Robust Multi−View Stereopsis”CVPR 2007．
【非特許文献６】M．Goesele，J．Ackermann，S．Fuhrmann，C．Haubold，R．Klowsky，D．Steedly，R．Szeliski  ”Ambient Point Clouds for View Interpolation”ACM Transactions on Graphics Proceedings of ACM SIGGRAPH 2010．
【非特許文献７】W．Matusik C．Buehler R．Raskar S．Gortler L．McMillan  ”Image−Based Visual Hulls”SIGGRAPH 2000．
【非特許文献８】S．Moezzi，L．Tai，and P．Gerard：Virtual View Generation for 3D Digital Video，IEEE Multimedia，pp．18-26，1997．
【非特許文献９】冨山 仁博，片山 美和，岩舘 祐一，今泉 浩幸  ”視体積交差法とステレオマッチング法を用いた多視点画像からの3次元動オブジェクト生成手法”映像情報メディア 58(6)，797−806，2004−06−01．
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本発明は、このような事情に鑑みてなされたもので、被写体を観察する視点に応じ、その視点に対応する仮想カメラの撮像画像を、複数の撮像画像をもとにモーフィングすることにより、フォトリアルな自由視点画像を撮像する自由視点画像撮像装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の自由視点画像撮像装置は、複数の撮像装置の各々から被写体の第１撮像画像を取得する撮像制御部と、前記第１撮像画像から再生された前記被写体の３次元形状を用い、前記撮像装置から取得した第２撮像画の対応点である第１対応点を検索する対応点探索部と、前記第２撮像画像間の前記第１対応点のテンプレートマッチングを行うテンプレートマッチング部と、複数の前記撮像装置の間に配置された仮想カメラから撮像される第３撮像画像を、前記第２撮像画像のモーフィング処理により生成する仮想カメラ画像生成部とを有することを特徴とする。
【００２２】
本発明の自由視点画像撮像装置は、仮想カメラ画像生成部が、前記第２撮像画像の組み合わせにより前記モーフィング処理を行い、前記仮想カメラが、前記組み合わせた第２撮像画像を撮像する前記撮像装置の配置された線あるいは平面上における撮像面を有することを特徴とする。
【００２３】
本発明の自由視点画像撮像装置は、前記３次元形状を前記仮想カメラの撮像面に投影させた第４撮像画像から、前記組み合わせにおける前記撮像装置の各々のオクルージョン領域を検出し、検出結果を前記仮想カメラ画像生成部に対してオクルージョン情報として供給するオクルージョン領域探索部をさらに有し、前記仮想カメラ画像生成部が、前記オクルージョン情報を反映して、前記組み合わせの前記撮像画像を用いたモーフィング処理により前記第３撮像画像を生成することを特徴とする。
【００２４】
本発明の自由視点画像撮像装置は、前記第２撮像画像の解像度が前記第１撮像画像の解像度より高いことを特徴とする。
【００２５】
本発明の自由視点画像撮像装置は、前記第１撮像画像からシルエット画像を生成するシルエット画像生成部と、前記シルエット画像から前記被写体の前記３次元形状の一部分である仮部分３次元形状を生成するＶＦ処理部と、前記撮像装置の組み合わせ毎に、それぞれの前記第１撮像画像のステレオマッチングを行い、当該第１撮像画像の各々における共通の対応点である共通対応点を抽出するステレオマッチング部と、前記共通対応点により前記仮部分３次元形状を修正して、修正した結果を部分３次元形状とする部分３次元形状生成部と、前記部分３次元形状を合成して前記３次元形状を生成する３次元形状合成部とをさらに有することを特徴とする請求項１から請求項４のいずれか一項に記載の自由視点画像撮像装置。
【００２６】
本発明の自由視点画像撮像装置は、前記３次元形状合成部が、前記共通対応点を結ぶ三角形のメッシュと、前記仮部分３次元形状とを比較し、前記メッシュに対して前記撮像装置方向に近い前記仮部分３次元形状の領域を削除し、前記仮部分３次元形状の修正を行うことを特徴とする。
【００２７】
本発明の自由視点画像撮像装置は、前記３次元形状合成部が、前記第１撮像画像の全ての組み合わせから得られた前記部分３次元画像を重ね合わせ、予め設定された閾値以上の当該部分３次元画像が重なった領域から前記３次元形状を生成することを特徴とする。
【００２８】
本発明の自由視点画像撮像装置は、前記撮像装置が２台であり、当該撮像装置が配置された線上に前記仮想カメラが配置されており、前記仮想カメラの配置された座標Ｅｖが、撮像装置ｉ（１≦ｉ≦２）の座標Ｅｉを用い、Ｅｖ＝（１−α）Ｅ１＋αＥ２，（０≦α≦１）の式で表される際、前記仮想カメラの前記第３撮像画像における画素の座標Ｐｖが、前記座標Ｐｖの第１対応点が座標Ｐｉであり、前記第３撮像画像の座標系における前記第１対応点がＰｉと、前記テンプレートマッチングにおけるテンプレートとしての第１撮像画像のＰｊと、Ｐｉに対するＰｊの差分Ｄｉｊ（ｉ＝１，２、ｊ＝１，２、ｉ≠ｊ）との組み合わせで表現される場合、前記第３撮像画像の座標系における前記座標Ｐｖに対する撮像装置１の第１対応点がＰ１＋αＤ１２、撮像装置２の第１の対応点がＰ２＋（１−α）Ｄ２１となることを特徴とする。
【００２９】
本発明の自由視点画像撮像装置は、前記撮像装置が３台であり、当該撮像装置が配置された面上に前記仮想カメラが配置されており、前記仮想カメラの配置された座標Ｅｖが、撮像装置ｉ（１≦ｉ≦３）の座標Ｅｉを用い、Ｅｖ＝（１−α−β）Ｅ１＋αＥ２＋βＥ３，（０≦α、０≦β、α＋β≦１）の式で表される際、前記仮想カメラの前記第３撮像画像における画素の座標Ｐｖが、前記座標Ｐｖの第１対応点が座標Ｐｉであり、前記第３撮像画像の座標系における前記第１対応点がＰｉと、前記テンプレートマッチングにおけるテンプレートとしての第１撮像画像のＰｊと、Ｐｉに対するＰｊの差分Ｄｉｊ（ｉ＝１，２，３、ｊ＝１，２，３、ｉ≠ｊ）との組み合わせで表現される場合、前記第３撮像画像の座標系における前記座標Ｐｖに対する撮像装置１の第１対応点がＰ１＋αＤ１２＋βＤ１３、撮像装置２の第１対応点がＰ２＋（１−α−β）Ｄ２１＋βＤ２３、撮像装置３の第１対応点がＰ３＋（１−α−β）Ｄ３１＋αＤ３２となることを特徴とする。
【００３０】
本発明の自由視点画像撮像装置は、前記撮像装置が４台であり、当該撮像装置が配置された面上に前記仮想カメラが配置されており、前記仮想カメラの配置された座標Ｅｖが、撮像装置ｉ（１≦ｉ≦４）の座標Ｅｉを用い、Ｅｖ＝（１−α−αβ）Ｅ１＋α（１−β）Ｅ２−αβＥ３＋αβＥ４，（０≦α、０≦β、α＋β≦１）の式で表される際、前記仮想カメラの前記第３撮像画像における画素の座標Ｐｖが、前記座標Ｐｖの第１対応点が座標Ｐｉであり、前記第３撮像画像の座標系における前記第１対応点がＰｉと、前記テンプレートマッチングにおけるテンプレートとしての第１撮像画像のＰｊと、Ｐｉに対するＰｊの差分Ｄｉｊ（ｉ＝１，２，３，４、ｊ＝１，２，３，４、ｉ≠ｊ）との組み合わせで表現される場合、前記第３撮像画像の座標系における前記座標Ｐｖに対する撮像装置ｉの対応点が（１−α＋αβ）Ｐ’ｉ１＋α（１−β）Ｐ’ｉ２−αβＰ’ｉ３＋αＰ’ｉ４（ただし、Ｐ’ｉｉ＝Ｐｉ）となることを特徴とする。
【００３１】
本発明の自由視点画像撮像装置は、前記撮像装置各々が、前記被写体までの距離が同様となるように、当該被写体を中心とした球の面上に、撮像方向を前記被写体として配置されることを特徴とする。
【００３２】
本発明の自由視点画像撮像方法は、撮像制御部が、複数の撮像装置の各々から被写体の第１撮像画像を取得する撮像制御過程と、対応点探索部が、前記第１撮像画像から再生された前記被写体の３次元形状を用い、前記撮像装置から取得した第２撮像画の対応点である第１対応点を検索する対応点探索過程と、テンプレートマッチング部が、前記第２撮像画像間の前記第１対応点のテンプレートマッチングを行うテンプレートマッチング過程と、仮想カメラ画像生成部が、複数の前記撮像装置の間に配置された仮想カメラから撮像される第３撮像画像を、前記第２撮像画像のモーフィング処理により生成する仮想カメラ画像生成過程とを含むことを特徴とする。
【発明の効果】
【００３３】
この発明によれば、複数枚の撮像画像をモーフィング処理することで自由視点画像を生成する際、モーフィング処理において局所領域でテンプレートマッチングを行い、撮像画像間における第１対応点の修正を行うことにより、モーフィングによるぼけを低減させ、被写体を観察する視点に応じ、その視点に対応する仮想カメラの撮像画像を、フォトリアルな自由視点画像として撮像する事ができる。
【図面の簡単な説明】
【００３４】
【図１】この発明の一実施形態による自由視点画像撮像装置に用いるドーム型撮像装置の構成例を示す図である。
【図２】自由視点画像撮像装置の構成例を示し、枠５００のうち支柱５０１＿３のみを示した概念図である。
【図３】ドーム枠５００を構成する各支柱における撮像装置の取り付け例を示す図である。
【図４】図２における自由視点画像撮像部１０の構成例を示す図である。
【図５】第１撮像画像の色情報からシルエット画像を生成する処理を説明する図である。
【図６】撮像方向の異なる被写体の複数のシルエット画像からの３次元形状の生成を示す図である。
【図７】２台以上からなる撮像装置の組の生成を説明する図である。
【図８】ステレオマッチング部１０５がＳＡＤ（Sum of Absolute Difference）を用いて行った共通対応点の抽出の結果を示す図である。
【図９】図８（ｂ）に示す共通対応点を頂点とし、ドロネー三角分割法を用いて作成した三角形のメッシュを示す図である。
【図１０】３次元形状生成部１０６が生成した３次元空間における三角形のメッシュを示す図である。
【図１１】３次元形状生成部１０６が行った仮３次元形状とメッシュの形成する３次元形状との比較結果に基づき生成された部分３次元形状を示す図である。
【図１２】ドーム型撮像装置に設けられた１６台の撮像装置を、４台ずつ組み合わせて、９個の第１撮像装置組を生成し、第１撮像装置組の各々の部分３次元形状を用い、被写体の３次元形状の生成を示す図である。
【図１３】オクルージョン領域探索部１０９が行うオクルージョン領域を探索する処理を説明する図である。
【図１４】テンプレートマッチング部１１０が行う第１撮像画像間のテンプレートマッチングの処理を説明する図である。
【図１５】第１撮像装置組を構成する撮像装置において、仮想カメラの撮像画像である仮想撮像画像を生成するモーフィング処理を行う際、仮想カメラの配置可能範囲を示す図である。
【図１６】図３に示すドーム型撮像装置における撮像装置の配置に対応したモーフィング処理に用いる撮像装置の選択について説明する図である。
【図１７】撮像装置１、撮像装置２及び撮像装置３の３台の撮像装置を用いた場合における仮想カメラｖの座標Ｅｖを示す図である。
【図１８】仮想カメラｖの仮想撮像画像の画素Ｐｖの色Ｃｖを求める（２０）式における重み係数を説明する図である。
【図１９】撮像装置１、２及び３の各々の撮像した第１撮像画像と、仮想カメラｖの撮像した仮想撮像画像とにおける対応点の関係を示す図である。
【図２０】撮像装置１、撮像装置２及び撮像装置３の３台の撮像装置を用いた場合における仮想カメラｖの座標Ｅｖを示す図である。
【図２１】仮想撮像画像の２次元平面における撮像装置１、２、３及び４の各々の第１撮像画像における第１共通点の対応を示す図である。
【図２２】仮想カメラｖの仮想撮像画像の画素Ｐｖの色Ｃｖを求める（２７）式における重み係数を説明する図である。
【図２３】本実施形態による自由視点画像撮像装置が複数の第１撮像画像をモーフィング処理することにより自由視点画像を生成する動作例を示すフローチャートである。
【図２４】ドーム型撮像装置の第１撮像装置組により撮像された第１撮像画像を示す図である。
【図２５】オープンソースのライブラリにあるＯｐｅｎＣＶ（登録商標）で実装されているＶｉｅｗ Ｍｏｒｐｈｉｎｇ（登録商標）を使用して生成した自由視点画像を示す図である。
【図２６】ステレオマッチングの手法としてＳＡＤを使用し、ドロネー三角分割法によるメッシュを作成し、このメッシュを合成して生成した自由視点画像を示す図である。
【図２７】Ｖｉｓｕａｌ Ｈｕｌｌで３次元形状を求めた結果に対し、モーフィング処理により生成した自由視点画像を示す図である。
【図２８】Ｖｉｓｕａｌ Ｈｕｌｌで３次元形状を求め、この３次元形状と第１撮像画像各々とのステレオマッチングを行って、共通対応点を求めて行ったモーフィング処理により生成した自由視点画像を示す図である。
【図２９】Ｖｉｓｕａｌ Ｈｕｌｌで３次元形状を求め、この３次元形状と第１撮像画像各々とのステレオマッチングを行って、共通対応点を求めた後の３次元形状を用い、第１撮像画像間のテンプレートマッチングを行って得られた第１対応点を用いたモーフィング処理により生成した自由視点画像を示す図である。
【発明を実施するための形態】
【００３５】
本発明による実施形態においては、課題を解決するため、以下の３つの条件を満たす構成となっている。
ａ．モーフィングを行う撮像画像間において、対応点探索の結果によらず外れ値を含まない、密な対応点を得る。
ｂ．オクルージョン撮像に用いる各撮像装置のオクルージョン領域の検出を行い、自由視点画像を描画可能である。
ｃ．仮想カメラの撮像結果としての自由視点画像を、この仮想カメラ近傍の撮像装置で撮像した撮像画像からモーフィング処理により生成する。
【００３６】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による自由視点画像撮像装置に用いるドーム型撮像装置の構成例を示す図である。
半球状のドーム枠５００の中央に撮像対象の被写体６００が配置されている。このドーム枠５００は、被写体６００が中心点となる半球状の面に、撮像装置５３＿１から撮像装置５９＿４を配置する構造となっている。ドーム枠５００は、複数の支柱、本実施形態においては、支柱５００＿１から支柱５００＿１２の１２本から構成されている。また、複数の撮像装置（本実施形態においては４個の撮像装置）が、支柱５００＿３、５００＿５、５００＿７、５００＿９各々に、各支柱の垂直方向に沿って所定の間隔を開けて設けられている。したがって、ドーム枠５００には１６台の撮像装置が設けられている。また、支柱５００＿１から支柱５００＿ｎの各々は、被写体６００を中心とする半球上のドーム枠５００において１５度間隔で設けられている。
【００３７】
図２は、自由視点画像撮像装置の構成例を示し、枠５００のうち支柱５００＿３のみを示した概念図である。本実施形態における自由視点画像撮像装置は、図１のドーム型撮像装置と自由視点画像撮像部１０とから構成されている。この図２において、ＬＥＤ（Light Emitting Diode）光源８００は、支柱５００＿３に設けられたライトガイド８５０＿３により被写体６００に対して光を照射する。
ブルーバック９００は、被写体を挟んでドーム枠５００の側に配置され、各撮像装置により被写体を撮像した際、撮像画像における被写体６００の背景が青色となるように設けられている。
【００３８】
撮像装置５３＿１、５３＿２、５３＿３及び５３＿４の各々は、被写体６００を中心とする円弧状の支柱５０１＿３に設けられており、撮像面と被写体６００との距離が同様である。図示していないが、撮像装置５３＿１、５３＿２、５３＿３及び５３＿４の各々は、自由雲台を介して支柱５００＿３に取り付けられている。このため、各撮像装置の光軸の微調整が容易に行え、各撮像装置の光軸を被写体６００に容易に向けて揃える処理が容易に行える。また、各撮像装置は、取り付け位置及び撮像方向の角度が予めキャリブレーションされて既知となっているため、共通の３次元空間における世界座標系を有している。以降で説明する３次元形状の座標値は世界座標系における座標である。
【００３９】
また、撮像装置５３＿１、５３＿２、５３＿３及び５３＿４の各々は、自由視点画像撮像部１０により撮像画像の撮像が制御される。
自由視点画像撮像部１０は、撮像装置５３＿１、５３＿２、５３＿３及び５３＿４の各々を含め、図１のドーム型撮像装置に設けられた撮像装置による撮像画像から自由視点画像を生成する。
本実施形態における自由視点画像撮像装置は、図１のドーム型撮像装置と自由視点画像撮像部１０とから構成されている。
【００４０】
図３は、ドーム枠５００を構成する各支柱における撮像装置の取り付け例を示す図である。図３（ａ）は、１６個の撮像装置を略等間隔に４個ずつ、１本おきに４本の支柱それぞれに取り付けて配置した構成を示す。すなわち、図３（ａ）は、図１に示す支柱５００＿３、５００＿５、５００＿７及び５００＿９の各々に、それぞれ４台ずつの撮像装置が配置されている。支柱５０３には撮像装置５３＿１、５３＿２、５３＿３及び５３＿４が配置されている。支柱５０５には撮像装置５５＿１、５５＿２、５５＿３及び５５＿４が配置されている。支柱５０７には撮像装置５７＿１、５７＿２、５７＿３及び５７＿４が配置されている。支柱５０９には撮像装置５９＿１、５９＿２、５９＿３及び５９＿４が配置されている。
【００４１】
また、図３（ｂ）は、１６個の撮像装置を２個ずつ、隣接した支柱１本毎に、千鳥状となるように取り付けて配置した構成を示す。すなわち、図３（ｂ）は、図１に示す支柱５００＿３、５００＿４、５００＿５、５００＿６、５００＿７、５００＿８及び５００＿９の各々に、それぞれ２台ずつの撮像装置が配置されている。支柱５００＿３には撮像装置５３＿１及び５３＿２が配置されている。支柱５００＿４には撮像装置５４＿１及び５４＿２が配置されている。支柱５００＿５には撮像装置５５＿１及び５５＿２が配置されている。支柱５００＿６には撮像装置５６＿１及び５６＿２が配置されている。支柱５００＿７には撮像装置５７＿１及び５７＿２が配置されている。支柱５００＿８には撮像装置５８＿１及び５８＿２が配置されている。支柱５００＿９には撮像装置５９＿１及び５９＿２が配置されている。また、１つの支柱に設けられた撮像装置の間隔は、各々の支柱に取り付けられた撮像装置の間隔と同様である。支柱５００＿３に取り付けられた２つの撮像装置のそれぞれの取り付けられた高さは、支柱５００＿５、５００＿７及び５００＿９に取り付けられた２つの撮像装置の取り付けられた高さと同様である。また、支柱５００＿４に取り付けられた２つの撮像装置のそれぞれの取り付けられた高さは、支柱５００＿６及び５００＿８に取り付けられた２つの撮像装置の取り付けられた高さと同様である。
【００４２】
図４は、図２における自由視点画像撮像部１０の構成例を示す図である。この図４において、自由視点画像撮像部１０は、撮像制御部１０１、シルエット画像生成部１０２、ＶＦ処理部１０３、撮像装置選択部１０４、ステレオマッチング部１０５、３次元形状生成部１０６、３次元形状合成部１０７、対応点探索部１０８、オクルージョン領域探索部１０９、テンプレートマッチング部１１０、仮想カメラ設定部１１１、モーフィング用撮像装置選択部１１２、仮想カメラ画像生成部１１３及びデータベース１１４を備えている。
【００４３】
撮像制御部１０１は、ドーム枠５００の各支柱に設けられた撮像装置からの撮像画像を読み込み、一旦、対応する撮像装置の撮像装置の識別情報とともに、データベース１１４に書き込んで記憶させる。ここで、撮像制御部１０１は、各撮像装置からの撮像画像の画素を間引いて低解像度の第１撮像画像と、画素を間引かない撮像画像と同様の解像度の第２撮像画像とを組として記憶させる。
【００４４】
シルエット画像生成部１０２は、第２撮像画像の各々から、色フィルタを用いてシルエット画像の生成を、全ての第１撮像画像に対して行う。ここで、図３で説明したように、撮像装置における撮像の際、背景にブルーバック９００が設けられており、背景を切り抜く必要性のために、撮像画像の背景がブルーバックの青色として撮像されている。
シルエット画像生成部１０２は、シルエット画像の生成の際、撮像画像の背景がブルーバックの青色として撮像されているため、容易に背景の色情報を用いて切り抜く処理が行える。
【００４５】
図５は、第１撮像画像の色情報からシルエット画像を生成する処理を説明する図である。図５（ａ）は、第１撮像画像を示しており、被写体６００の背景が青色となっていることを示している。図５（ｂ）は、青色の色情報に基づいて、色フィルタを用いることにより、背景を切り抜いて被写体６００のシルエットのみとなったシルエット画像を示している。この図５（ｂ）のシルエット画像を、ドーム枠５００の各支柱に設けられた撮像装置の撮像画像全て、本実施形態においては１６枚の第１撮像画像全てから生成する。
【００４６】
図４に戻り、ＶＦ処理部１０３は、Ｖｉｓｕａｌ＿Ｈｕｌｌの手法を用い、シルエット画像生成部１０２の生成した１６枚のシルエット画像から仮３次元形状を生成する。このＶｉｓｕａｌ＿Ｈｕｌｌは、多数の方向から撮像した撮像画像から生成したシルエット画像と、各撮像装置の光軸によって形成される錐体の積集合空間であるため、被写体６００の大まかな３次元形状としての仮３次元形状が生成される。また、Ｖｉｓｕａｌ＿Ｈｕｌｌは、撮像条件に大きく左右されずに、安定して仮３次元形状を得ることができる。
【００４７】
図６は、撮像方向の異なる被写体の複数のシルエット画像からの３次元形状の生成を示す図である。図６（ａ）は、シルエット画像生成部１０２が生成した、撮像方向の異なる複数の被写体のシルエット画像を示している。図６（ｂ）は、図６（ａ）のシルエット画像から生成した仮３次元形状を示している。このＶｉｓｕａｌ＿Ｈｕｌｌで求まる仮３次元形状は、特徴点の精度が低い。このため、この仮３次元形状を元に、モーフィング処理を行う第１撮像画像間の対応点を求めても、モーフィング処理に必要な精度を得ることはできない。
【００４８】
このため後述するステレオマッチング法によって、仮３次元形状の修正を行う。しかしながら、一般にステレオマッチングの結果見つかる対応点は、疎な対応点であり、外れ値を含んでいるため、そのままでは仮３次元形状の修正に利用できない。そこで、次に示すステレオマッチングの処理が行われる。
【００４９】
図４に戻り、撮像装置選択部１０４は、ドーム枠５００に設けられた複数台の撮像装置を２台以上を一組として、複数の撮像装置の組を生成する。
図７は、２台以上からなる撮像装置の組である第１撮像装置組の生成を説明する図である。図７（ａ）は、隣接する４台の撮像装置を一組をした場合を示している。このため、本実施形態の場合、撮像装置が１６台であるため、９組の組み合わせが生成される。この図７（ａ）は、図３（ａ）に示すドーム枠５００の支柱における撮像装置の配置に対応している。また、図７（ｂ）は、隣接する３台の撮像装置を一組の第１撮像装置組とした場合を示している。このため、本実施形態の場合、撮像装置が１６台であるため、１５組の組み合わせが生成される。この図７（ｂ）は、図３（ｂ）に示すドーム枠５００の支柱における撮像装置の配置に対応している。撮像装置の組み合わせについては自由に選択することができるが、ステレオマッチングに用いる撮像画像はできれば近い位置にある撮像装置の撮像したものが良い結果が得られるため、図７（ａ）及び図７（ｂ）に示すように隣接している撮像装置が第１撮像装置組として選択される。
【００５０】
ステレオマッチング部１０５は、撮像装置選択部１０４が生成した第１撮像装置組毎に、この第１撮像装置組に含まれる撮像装置の撮像した第１撮像画像間における共通対応点のステレオマッチングを行う。すなわち、ステレオマッチング部１０５は、第１撮像装置組に含まれる撮像装置の撮像した第１撮像画像から、いずれか一枚の第１撮像画像をテンプレートとして選択し、他の一枚の第１撮像画像とにおいてマッチングを行い対応点の検出を行い共通対応点とする。このステレオマッチングは、撮像装置を組み合わせた第１撮像装置組ごとに、それぞれの撮像した第１撮像画像間において行う。また、ステレオマッチングには、様々な方法が提案されており、高精度なマッチング法を用いた方が良い結果が得られる。
しかしながら、本実施形態においては、対応点が疎であり、かつ、外れ値も含んでいても構わない手法となっている。このため、本実施形態のロバスト性を示すため、ドーム型撮像装置を使った実験においては、もっとも基本的なマッチング法の一つであるＳＡＤ(Sum of Absolute Difference)を用いた。
【００５１】
ＳＡＤは、一枚の撮像画像の局所領域を切り出してテンプレートとし、このテンプレートの画素と他の撮像画像の画素の輝度差を画素単位で比較し、上記局所領域における画素の輝度差の絶対値の和が最も小さい局所領域を対応点とする。このＳＡＤにより、ステレオマッチング部１０５は、第１撮像装置組ごとに、この組に含まれる全ての撮像画像に対して共通対応点を抽出する。
例えば、第１撮像装置組が３台の撮像装置として、図７（ｂ）に示す撮像装置５３＿Ａ、５３＿Ｂ及び５３＿Ｃから構成されている場合、ステレオマッチング部１０５は、これら３台の撮像装置のなかから２台、撮像装置５３＿Ａ及び５３＿Ｂと、撮像装置５３＿Ａ及び５３＿Ｃとを選択する。
【００５２】
ステレオマッチング部１０５は、撮像装置５３＿Ａ及び５３＿Ｂのいずれかをテンプレートとし、エピポーラ線上において共通対応点の探索を行う。ここで、ステレオマッチング部１０５は、テンプレートを撮像装置５３＿Ａの第１撮像画像から生成し、撮像装置５３＿Ｂ及び５３＿Ｃの各々との間でＳＡＤを実行し、対応点を抽出する。このとき、ステレオマッチング部１０５は、抽出された共通対応点が撮像装置５３＿Ｂ及び５３＿Ｃの各々の第１撮像画像におけるエピポーラ線上に乗っていた（存在していた）場合、抽出した対応点を共通対応点とする。
【００５３】
また、図７（ａ）に示すように、４台の撮像装置５３＿Ａ、５３＿Ｂ、５３＿Ｃ及び５３＿Ｄの各々から第１撮像装置組が構成されている場合も、すでに述べた３台の撮像装置から第１撮像装置組の場合と同様の処理を行う。すなわち、ステレオマッチング部１０５は、撮像装置５３＿Ａの第１撮像画像からテンプレートを生成し、このテンプレートによって撮像装置５３＿Ｂ、５３＿Ｃ及び５３＿Ｄの各々との間でＳＡＤを実行し、対応点を抽出する。そして、ステレオマッチング部１０５は、撮像装置５３＿Ｂ、５３＿Ｃ及び５３＿Ｄの各々の第１撮像画像から抽出した対応点がエピポーラ線上に乗っていた場合、抽出した対応点を共通対応点とする。
【００５４】
図８は、ステレオマッチング部１０５がＳＡＤを用いて行った共通対応点の抽出の結果を示す図である。図８（ａ）は、撮像装置５３＿Ａ、５３＿Ｂ、５３＿Ｃ及び５３＿Ｄの各々の第１撮像画像２００Ａ、２００Ｂ、２００Ｃ、２００Ｄを示している。図８（ｂ）は、第１撮像画像２００Ａからテンプレートを生成し、第１撮像画像２００Ｂ、２００Ｃ及び２００Ｄの各々と比較して抽出した第１撮像画像２００Ａにおける共通対応点を示している。また、図８（ｂ）において、第１撮像画像２００Ａ上における第１撮像画像２００Ｂ、２００Ｃ及び２００Ｄの各々との共通対応点が黒丸で示されている。この図８（ｂ）からは、共通対応点が疎の状態でしか抽出できないことが分かる。この図８（ｂ）に示される共通対応点は、第１撮像装置組ごとに生成される。
【００５５】
図４に戻り、３次元形状生成部１０６は、図８（ｂ）の共通対応点を用い、ＶＦ処理部１０３がＶＨ（Visual Hull）により生成した図６（ｂ）の仮３次元形状の修正を行い、部分３次元形状の生成を行う。
３次元形状生成部１０６は、ステレオマッチングにより得られた共通対応点を頂点とし、ドロネー三角分割法を用いて三角形のメッシュを作成する。
図９は、図８（ｂ）に示す共通対応点を頂点とし、ドロネー三角分割法を用いて作成した三角形のメッシュを示す図である。図９においては、第１撮像画像２００Ａがテンプレートを生成した撮像画像であるため、この第１撮像画像２００Ａ上の共通対応点を頂点とした三角形のメッシュが生成されている。
【００５６】
図４に戻り、３次元形状生成部１０６は、データベース１１４のカメラパラメータテーブルからカメラパラメータを読み出し、このカメラパラメータ（撮像装置の位置及び焦点距離など）から、３台の撮像装置の第１撮像画像から三角測量によって共通対応点の３次元空間における座標を求める。このカメラパラメータテーブルは、異なる種類の撮像装置及びドーム型撮像装置における撮像装置の配置の組み合わせ毎に、予めデータベース１１４に対して書き込まれて記憶されている。
【００５７】
そして、３次元形状生成部１０６は、図９における三角形のメッシュを、３次元空間における座標を求めた共通対応点に対応させ、３次元空間に対して三角形のメッシュを配置する。
図１０は、３次元形状生成部１０６が生成した３次元空間における三角形のメッシュを示す図である。この図１０において、上述した三角形のメッシュの形成する３次元形状は、ＶＦ処理部１０３の生成した仮３次元形状を囲む殻の形状となっている。
【００５８】
図４に戻り、３次元形状生成部１０６は、図１０に示す三角形のメッシュの形成する３次元形状と、図６（ｂ）に示す仮３次元形状とを比較する。ここで、３次元形状生成部１０６は、メッシュの３次元形状に対し、撮像装置方向において、仮３次元形状のある領域が撮像装置に近い場合、そのメッシュの３次元形状（三角形のメッシュの形成する殻形状の図形）から撮像装置に方向に突出した領域を仮３次元形状から取り除く。そして、３次元形状生成部１０６は、この突出した領域を取り除いた仮３次元形状を、修正した仮３次元形状である部分３次元形状として生成する。ここで、撮像装置が３次元空間の位置座標においてすべてキャリブレーション済みと言う前提であるため、すべての撮像装置の座標や向きの相対値は既知となっている。このため、すべての撮像装置は共通の座標系（世界座標系）を有しており、第１撮像装置組毎の共通対応点は、共通座標点からなる３次元形状の頂点の座標として世界座標系にマッピングされることになる。
【００５９】
図１１は、３次元形状生成部１０６が行った仮３次元形状とメッシュの形成する３次元形状との比較結果に基づき生成された部分３次元形状を示す図である。図１１（ａ）、図１１（ｂ）及び図１１（ｃ）の各々の部分３次元形状は、ステレオマッチングの結果において、対応点に外れ値が含まれているため、形状の一部分が欠けた形状となる。
この図１１に示す部分３次元形状のデータは、すでに述べたように、第１撮像装置組の数だけ生成される。すなわち、部分３次元形状のデータは、第１撮像装置組の数だけ存在する。ｎ組の第１撮像装置組の各々においてステレオマッチングを行えば、ｎ個の部分３次元形状のデータが作成されることになる。この図１１（ａ）、図１１（ｂ）及び図１１（ｃ）の各々の示す部分３次元形状は、それぞれ異なる第１撮像装置組で生成されており、組によって形状が違うことがわかる。
【００６０】
図４に戻り、３次元形状合成部１０７は、３次元形状生成部１０６が第１撮像装置組毎に生成した部分３次元形状の合成を行う。
３次元形状合成部１０７は、３次元形状生成部１０６が生成した全ての部分３次元形状を、上述した世界座標系において、同一の座標値を有する共通対応点を重ね合わせ、部分３次元形状を重ねる処理を行う。このとき、３次元形状合成部１０７は、重ね合わせた部分３次元画像の空間を細分化し、細分化した領域毎に何個の部分３次元形状が重なって存在するかを検出する。
【００６１】
そして、３次元形状合成部１０７は、細分化した領域毎に、それぞれの領域において重なっている部分３次元形状の数が予め設定された閾値以上であるか否かの判定を行う。ここで、３次元形状合成部１０７は、細分化された領域において重なっている部分３次元形状の数が閾値以上である場合、その領域に３次元形状が存在していると判定する。一方、３次元形状合成部１０７は、細分化された領域において重なっている部分３次元形状の数が閾値未満である場合、その領域に３次元形状が存在していないと判定する。そして、３次元形状合成部１０７は、複数の仮３次元形状を重ねた合成画像において、３次元形状が存在していると判定された領域の画素を元に、３次元形状の合成を行う。
【００６２】
図１２は、ドーム型撮像装置に設けられた１６台の撮像装置を、４台ずつ組み合わせて、９個の第１撮像装置組を生成し、第１撮像装置組の各々の部分３次元形状を用い、被写体の３次元形状の生成を示す図である。図１２（ａ）は、各第１撮像装置組で生成された部分３次元形状を示している。図１２（ｂ）は、９個の部分３次元画像を重ね合わせて、細分化した領域に閾値である２個以上の部分３次元画像が重なっている場合に、合成された３次元形状を示している。この、部分３次元画像を重ね合わせて、閾値以上の３次元形状のデータが存在する領域を組み合わせて、３次元形状の生成を行うことにより、仮３次元形状と三角形のメッシュの形成する３次元形状の比較を含め、多くの外れ値を除去することができる。
【００６３】
図４に戻り、対応点探索部１０８は、図１２（ｂ）に示す合成された３次元形状を用いて、第２撮像画像における対応点である第１対応点の探索を行う。この第１対応点に基づいて第２撮像画像を用いたモーフィングを行うため、第１対応点の探索はモーフィングに用いる高解像度の第２撮像画像に対して行う。この第２撮像画像は、第１撮像画像より解像度が高いものであり、ドーム型撮像装置に設けられた撮像装置の撮像した状態（解像度）の撮像画像である。後述するモーフィング処理には、この第２撮像画像が用いられる。
対応点探索部１０８は、各撮像装置のカメラパラメータを、データベース１１４から読み出し、３次元幾何学的な計算（三角測量の計算）により、各撮像装置の第２撮像画像間における対応点を抽出する。ここで、対応点探索部１０８は、第１対応点の探索において、３次元形状を各撮像装置の撮像方向に垂直な２次元平面、すなわち各撮像装置の撮像面に対応した２次元平面に対し、３次元形状の各画素を投影した仮想第１撮像画像を用いて行う（後述）。
【００６４】
上述した第１対応点の探索を行い、この第２対応点の探索結果を用いることで、モーフィングが可能となる。しかしながら、合成して得られた３次元形状の精度が高くないため、この３次元形状と第２撮像装置とにおける正確な対応点を求めることができない。ここで、不正確な対応点を用いたモーフィング処理を行うと、対応点の誤差に起因してモーフィング処理を行った後に、モーフィング処理で生成した画像がぼやけてしまったり、あるいはぶれてしまうという問題が発生する。
【００６５】
この問題を解決するため、対応点探索部１０８は、第１対応点を探索するため、局所領域におけるテンプレートマッチングを、３次元形状と第２撮像画像との間において行う。ここで、合成された３次元形状の精度は、第１撮像画像を用いているため、高くはないものの、外れ値がすでに説明した手法により除去されているので、大きな誤差が生じている訳ではない。このため、対応点探索部１０８が第１撮像画像と３次元形状とにおいて探索する第１対応点との誤差も大きい値ではなく、局所領域においてテンプレートマッチングを行うことにより、この誤差を修正することができる。
【００６６】
図４に戻り、対応点探索部１０８は、３次元形状とのテンプレートマッチングを、図７に示す第１撮像装置組に含まれる全ての撮像装置の撮像した第１撮像画像に対して行う。ここで、対応点探索部１０８は、第１撮像装置組に含まれる撮像装置各々の撮像方向に平行な２次元平面に対して、３次元形状を投影させ、仮想的な第１撮像画像である仮想第１撮像画像を生成する。これにより、対応点探索部１０８は、第１撮像装置組に含まれる撮像装置の各々が撮像した第１撮像画像に対応させた、合成された３次元形状を仮想的に撮像した仮想第１撮像画像のそれぞれを生成する。対応点探索部１０８は、撮像装置の撮像した第１撮像画像とこの撮像装置に対応する仮想第１撮像画像との局所的なテンプレートマッチングを行う。
【００６７】
これにより、対応点探索部１０８は、第１撮像画像の画素の各々と、仮想第１撮像画像の画素の各々とのテンプレートマッチングにより、第１撮像画像の画素の各々と、仮想第１撮像画像の画素の各々との対応関係を抽出する。このとき、対応点探索部１０８は、仮想第１撮像画像に投影されている各画素の３次元空間における座標が分かっているため、第１撮像画像の画素各々の３次元空間における座標を検出することができる。対応点探索部１０８は、全ての第１撮像装置組に対して上述した処理を行い、３次元画像の各画素と第１撮像画像の各画素との対応関係を抽出する。
【００６８】
オクルージョン領域探索部１０９は、対応点探索部１０８が３次元形状の表面の点に対し、対応点の探索を行う際、オクルージョン領域の探索を行う。このオクルージョン領域は、障害物により対応点が抽出されない場合を指している。このため、オクルージョン領域探索部１０９は、２個の第２撮像画像間における第１対応点の探索を行う際、いずれか一方の撮像装置と３次元形状の対応点の間に遮るもの（３次元形状そのもの）の存在の有無によりオクルージョン領域を検出する。このとき、オクルージョン領域探索部１０９は、いずれの撮像装置では撮像することができ、いずれの撮像装置では撮像できないかを記録しておくことにより、どこでオクルージョンが発生しているかを検出している。
【００６９】
すなわち、オクルージョン領域探索部１０９は、対応点探索部１０８が３次元形状を投影した仮想第１撮像画像毎に、３次元形状に存在して仮想第１撮像画像に存在しない画素を検出し、撮像装置毎にデータベース１１４に書き込んで記憶させる。これにより、モーフィングを行う際、撮像装置の撮像する第１撮像画像に撮像されていない３次元形状における画素を検出することができる。
【００７０】
図１３は、オクルージョン領域探索部１０９が行うオクルージョン領域を探索する処理を説明する図である。図１３において、第１対応点の探索の際、第１対応点７０（画素）が撮像装置５３＿Ａからは撮像される。一方、撮像装置５３＿Ｂからは第１対応点７０に対して、３次元形状６００’の一部分が障害物となり（上述した仮想第１撮像画像から容易に検出）、撮像装置５３＿Ｂと第１対応点７０とを結ぶ線分上にある撮像装置の光軸が遮られ、撮像装置５３＿Ｂからは第１対応点７０は撮像されない。
【００７１】
図４に戻り、テンプレートマッチング部１１０は、第１撮像装置組の各々において、それぞれの第１撮像装置組に含まれる撮像装置全てが撮像した第１撮像画像間のテンプレートマッチングを行う。ここで、テンプレートマッチング部１１０は、撮像装置の幾何学的な整合性を考慮に入れないため、ステレオマッチングを行うのではなく、第１撮像画像間におけるテンプレートマッチングのみを行う。これにより、幾何学的な整合性を追求した場合、この整合性の制約のために、対応する画素が検出できなかったり、画素間の色（例えば、ＲＧＢ（Red／Green／Blue）の階調度）が合わなくなる問題を低減することができる。幾何学的な整合性をとれれば望ましいが、幾何学的な整合性を満足させ、撮像画像間における画素毎の対応点を検出することは、一般的に困難である。
【００７２】
例えば、第１撮像装置組が図５（ｂ）に示すように、撮像装置５３＿Ａ、５３＿Ｂ及び５３＿Ｃの３台から構成されている場合、テンプレートマッチング部１１０は、各撮像装置の撮像した第１撮像画層間のテンプレートマッチングを、以下の組み合わせにより行う。すなわち、テンプレートマッチング部１１０は、
Ｆ１：撮像装置５３＿Ａの第１撮像画像をテンプレートとして、撮像装置５３＿Ｂの第１撮像画像に対するテンプレートマッチング
Ｆ２：撮像装置５３＿Ｂの第１撮像画像をテンプレートとして、撮像装置５３＿Ａの第１撮像画像に対するテンプレートマッチング
Ｆ３：撮像装置５３＿Ａの第１撮像画像をテンプレートとして、撮像装置５３＿Ｃの第１撮像画像に対するテンプレートマッチング
Ｆ４：撮像装置５３＿Ｃの第１撮像画像をテンプレートとして、撮像装置５３＿Ａの第１撮像画像に対するテンプレートマッチング
Ｆ５：撮像装置５３＿Ｂの第１撮像画像をテンプレートとして、撮像装置５３＿Ｃの第１撮像画像に対するテンプレートマッチング
Ｆ６：撮像装置５３＿Ｃの第１撮像画像をテンプレートとして、撮像装置５３＿Ｂの第１撮像画像に対するテンプレートマッチング
したがって、第１撮像装置組を構成する撮像装置の数が２台の場合には２回、撮像装置の数が３台の場合には６回、撮像装置の数が４台の場合には１２回のテンプレートマッチングを、第１撮像装置組毎に行う。
【００７３】
また、テンプレートマッチング部１１０は、テンプレートを対応点（すでに対応点探索部１０８が抽出した画素）を中心とした所定領域とし、探索の範囲を対応点近傍のみとする。ここで、すでに示したように、対応点探索部１０８がすでに３次元形状と第１撮像画像との対応点の抽出を行っているため、第１検出画像の画素がいずれの３次元形状の画素と対応しているかが判明している。このため、テンプレートマッチング部１１０は、テンプレートマッチングを行う際、対応点探索部１０８が検出した３次元形状の対応点の画素の座標を基準とする。
【００７４】
図１４は、テンプレートマッチング部１１０が行う第１撮像画像間のテンプレートマッチングの処理を説明する図である。この図１４において、例えば、第１撮像画像６０１は撮像装置５３＿Ａが撮像した第１撮像画像であり、第１撮像画像６０１は撮像装置５３＿Ｂが撮像した第１撮像画像である。第１撮像画像６０１にはテンプレート枠６１１が示され、第２撮像画像６０２には探索範囲（局所領域）が示されている。また、テンプレート枠６１１は、対応点６２１を中心に所定の範囲の矩形状の枠で設定されている。また、探索範囲６１２は、対応点６２２を中心にテンプレート枠６１１より大きな範囲の矩形状の枠で設定されている。この対応点６２１及び６２２の各々は、それぞれ対応点探索部１０８が抽出した第１撮像画像６０１、６０２の３次元形状において抽出した同一の座標である対応点（画素）である。これにより、テンプレートマッチング部１１０は、第１撮像装置組に含まれる撮像装置各々の撮像した第１撮像画像における共通の対応点である第１対応点を検出する。
【００７５】
図４に戻り、仮想カメラ設定部１１１は、複数の異なる種類の撮像装置のカメラパラメータを、データベース１１４に記憶されているカメラパラメータテーブルから選択する。この仮想カメラのカメラパラメータには理論上の制限は無い。
しかしながら、モーフィング処理を行うため、第１撮像画像を撮影した撮像装置と大きく異なる条件では良い結果を得ることはできない。したがって、内部パラメータ（焦点距離、光学中心、レンズの歪みなど）は撮影に用いた撮像装置に近い値とする。また、外部パラメータ（３次元空間における位置など）は、仮想カメラの撮像画像を得るためにモーフィングに用いる第１撮像画像を撮像した撮像装置間を結ぶ線分もしくは面に近い位置とすることにより、モーフィング処理の結果をより良くすることができる。
【００７６】
モーフィング用撮像装置選択部１１２は、図示しない入力手段により、上記仮想カメラの位置がユーザにより設定されると、モーフィングに用いる撮像装置の設定を行う。すなわち、いずれの撮像方向（視点方向）から被写体の３次元形状を、仮想カメラの撮像面（すなわち２次元平面）に投影するかが設定されると、モーフィング用撮像装置選択部１１２は、モーフィングに用いる第１撮像画像を撮像した撮像装置の設定を行う。ここで、仮想カメラは、ドーム型撮像装置に配置された撮像装置において、撮像装置を結ぶ線分上、あるいは撮像装置が形成する面（２次元平面）上に配置される。言い換えると、モーフィング処理に用いる撮像装置の各々は、それぞれが形成する線分上、あるいは複数の撮像装置が形成する面上にあるものに限られる。また、仮想カメラのカメラパラメータは、仮想カメラの配置位置に依存する。ある撮像装置と仮想カメラとの配置位置が一致した場合、仮想カメラのカメラパラメータは、配置位置が一致した撮像装置と同一の値となる。
【００７７】
図１５は、第１撮像装置組を構成する撮像装置において、仮想カメラの撮像画像である仮想撮像画像を生成するモーフィング処理を行う際、仮想カメラの配置可能範囲を示す図である。図１５において、例えば、第１撮像装置組が撮像装置５３＿Ａ、５３＿Ｂ及び５３＿Ｃの３台で構成されている場合、仮想カメラ５５を配置する範囲は、撮像装置５３＿Ａ、５３＿Ｂ及び５３＿Ｃが形成する三角形上の二次元平面７６０上となる。この面上から３次元形状への方向が仮想カメラ５５の撮像方向となる。この二次元平面７６０上においては、撮像装置５３＿Ａ、５３＿Ｂ及び５３＿Ｃの各々の撮像した第１撮像画像から、仮想カメラ５５の撮像する仮想撮像画像をモーフィングにより生成することができる。
【００７８】
図１６は、図３に示すドーム型撮像装置における撮像装置の配置に対応したモーフィング処理に用いる撮像装置の選択について説明する図である。図１６（ａ）は、ドーム型撮像装置の各支柱における撮像装置の図３（ａ）の構成において、仮想カメラ５５の配置位置を示している。仮想カメラは、第１撮像装置組の撮像装置５３＿Ａ、５３＿Ｂ、５３＿Ｃ及び５３＿Ｄの４台の撮像装置が形成する２次元平面７０１上に配置されている場合、モーフィング用撮像装置として、撮像装置５３＿Ａ、５３＿Ｂ、５３＿Ｃ及び５３＿Ｄがモーフィング用撮像装置選択部１１２により選択される。
また、図１６（ｂ）は、ドーム型撮像装置の各支柱における撮像装置の図３（ｂ）の構成において、仮想カメラ５５の配置位置を示している。仮想カメラは、第１撮像装置組の撮像装置５３＿Ａ、５３＿Ｂ及び５３＿Ｃの３台の撮像装置が形成する２次元平面７０２上に配置されている場合、モーフィング用撮像装置として、撮像装置５３＿Ａ、５３＿Ｂ及び５３＿Ｃがモーフィング用撮像装置選択部１１２により選択される。
【００７９】
図４に戻り、仮想カメラ画像生成部１１３は、選択された撮像装置の撮像した第１撮像画像を用い、仮想カメラの撮像する仮想撮像画像を生成するモーフィング処理を行う。以下の仮想カメラ画像生成部１１３の動作の説明において、第１撮像装置組が撮像装置１及び撮像装置２の２台から構成されているとする。このとき、仮想カメラｖは、撮像装置１及び撮像装置２の各々を結ぶ線上に配置されている。また、対応点探索部１０８が探索する仮想カメラｖの撮像する仮想撮像画像のある画素の座標をＰｖとした場合、撮像装置ｉ（ｉ＝１，２）の撮像する第１撮像画像における対応点の画素の座標をＰｉとする。また、撮像装置ｉの画素の座標ｘにおける色（ＲＧＢの階調度のデータ）をＣｉ（ｘ）とし、撮像装置ｉの座標をＥｉとする。この場合、世界座標系における仮想カメラｖの座標Ｅｖは、パラメータα（０≦α≦１）を用いて以下の（１）式により表すことができる。以下の説明における位置及び座標は、仮想カメラｖの撮像する仮想撮像画像の２次元平面上における座標である。この２次元座標に対して、第１撮像画像の２次元平面上における座標点Ｅ１、Ｅ２、座標点Ｐ１、Ｐ２などを座標変換してマッピングを行う。
Ｅｖ＝（１−α）Ｅ１＋αＥ２                              …（１）
【００８０】
また、座標Ｐｖは、対応点の座標Ｐｉ及び撮像装置ｉのカメラパラメータから幾何学的に求めることができる。撮像装置１及び撮像装置２のカメラパラメータは定数であり、仮想カメラのカメラパラメータは位置Ｅｖに依存する。位置Ｅｖがパラメータαに依存するため、座標Ｐｖは対応点の座標Ｐｉとαに依存する関数Ｆを用いて、以下の（２）式により求められる。
Ｐｖ＝Ｆ（Ｐ１，Ｐ２，α）                                …（２）
【００８１】
ここで、（２）式が成り立つ前提条件として、Ｅｖ＝Ｅ１の場合、仮想カメラｖは撮像装置１と同一のカメラパラメータを有することになり、Ｐｖ＝Ｅ１となる。同様に、Ｅｖ＝Ｅ２の場合、仮想カメラｖは撮像装置２と同一のカメラパラメータを有することになり、Ｐｖ＝Ｅ２となる。このため、以下の（３）式及び（４）式が成り立つことになる。
Ｐｖ＝Ｆ（Ｐ１，Ｐ２，０）                                …（３）
Ｐｖ＝Ｆ（Ｐ１，Ｐ２，１）                                …（４）
【００８２】
このため、仮想カメラ画像生成部１１３は、上述した場合のモーフィング処理する色Ｃｖを、仮想カメラの位置Ｅｖに依存するとして、以下の（５）式により求める。
Ｃｖ（Ｐｖ）＝（１−α）Ｃ１（Ｐ１）＋αＣ２（Ｐ２）      …（５）
【００８３】
しかしながら、実際には対応点として座標Ｐ１及び座標Ｐ２に誤差が生じているため、「Ｐｖ，Ｐ１，Ｐ２」は正確な対応点の位置の関係にはない。このため、すでに説明したように、テンプレートマッチング部１１０がモーフィングに用いる第１撮像画像間における第１対応点のテンプレートマッチングを行っている。
【００８４】
次に、テンプレートマッチングによる撮像装置１及び撮像装置２の各々が撮像した第１撮像画から、仮想カメラ画像生成部１１３が、テンプレートマッチング部１１０の行ったテンプレートマッチングの結果により、仮想カメラの撮像する仮想撮像画像の各画素の色Ｃｖを求める処理について説明する。
撮像装置ｊが撮像した第１撮像画像をテンプレートとして撮像装置ｉの撮像した第１撮像画像とテンプレートのテンプレートマッチングが行われた場合、撮像装置ｊにおける対応点が座標Ｐ’ｉｊとする。また、座標Ｐ’ｉｊと座標Ｐｉとの座標の差（距離）の値をＤｉｊ（＝Ｐ’ｉｊ−Ｐｉ）とする。例えば、撮像装置１の撮像した第１撮像画像をテンプレートとし、撮像装置２の撮像した第１撮像画像とのテンプレートマッチングが行われた場合、座標Ｐ１の対応点として座標Ｐ’２１が検出され、座標Ｐ２と座標Ｐ’２１との距離がＤ２１となる。
【００８５】
この結果、テンプレートマッチング部１１０が行うテンプレートマッチングの結果、２つの対応点の組が生成される。すなわち、撮像装置１の撮像した第１撮像画像をテンプレートとし、撮像装置２の撮像した第１撮像画像とのテンプレートマッチングを行った場合、座標Ｐ１の対応点として座標Ｐ’２１が得られ、対応点組（Ｐ１，Ｐ’２１）が得られる。一方、撮像装置２の撮像した第１撮像画像をテンプレートとし、撮像装置１の撮像した第１撮像画像とのテンプレートマッチングを行った場合、座標Ｐ２の対応点として座標Ｐ’１２が得られ、対応点組（Ｐ２，Ｐ’１２）が得られる。
【００８６】
この対応点組（Ｐ１，Ｐ’２１）及び対応点組（Ｐ２，Ｐ’１２）の各々は、以下の（６）式及び（７）式に示すように、（２）式がなりたたないため、座標Ｐｖと対応する位置関係にはない。
Ｐｖ≠Ｆ（Ｐ１，Ｐ’２１，α）                          …（６）
Ｐｖ≠Ｆ（Ｐ２，Ｐ’１２，α）                          …（７）
【００８７】
（６）式及び（７）式に示すように、求めようとしている座標Ｐｖに対応する対応点の組が存在しないことが分かる。上述した座標Ｐｖに対応する対応点組を、例えば（Ｐ１＋δ，Ｐ２＋δＰ２）で表した場合、以下の（８）式が成り立つ。
Ｐｖ＝Ｆ（Ｐ１＋δ，Ｐ２＋δＰ２，α）                  …（８）
【００８８】
また、（３）式及び（４）式で示した前提条件からα＝０、つまり仮想カメラｖが撮像装置１と重なる場合、Ｐｖ＝Ｐ１となり、一方、α＝１、つまり仮想カメラｖが撮像装置２と重なる場合、以下の（９）式及び（１０）式が成り立つ。
Ｐ１＝Ｆ（Ｐ１＋δ，Ｐ２＋δＰ２，０）                  …（９）
Ｐ２＝Ｆ（Ｐ１＋δ，Ｐ２＋δＰ２，１）                  …（１０）
【００８９】
そして、仮想カメラｖと撮像装置１とが重なる場合、仮想カメラｖの対応点の座標Ｐｖと撮像装置１の対応点の座標Ｐ１とは同一の座標となるため、以下の（１１）式が成り立つ。
Ｐｖ＝Ｐ１＋δＰ１＝Ｐ１                                …（１１）
上記（１１）式により、α＝０の場合、δＰ１＝０となる。同様に、α＝１の場合、δＰ２＝０となる。
【００９０】
また、座標Ｐ１と座標Ｐ’２１とが対応点の関係にあり、座標Ｐ２と座標Ｐ’１２とが対応点関係にあるため、
・α＝０の場合、Ｐ２＋δＰ２＝Ｐ’２１、すなわちδＰ２＝Ｄ２１
・α＝１の場合、Ｐ１＋δＰ１＝Ｐ’１２、すなわちδＰ１＝Ｄ１２
となる。
【００９１】
以上の条件を満たす式として、以下の（１２）式を用いる。
δＰ１＝αＤ１２，  δＰ１＝（１−α）Ｄ２１            …（１２）
この（１２）式により、座標Ｐｖは以下の（１３）式により求まる。
Ｐｖ＝Ｆ（Ｐ１＋αＤ１２，Ｐ２＋（１−α）Ｄ２１，α）  …（１３）
この場合、仮想カメラｖの座標Ｐｖにおける色Ｃｖ（Ｐｖ）は、以下の（１４）式により求められる。
Ｃｖ（Ｐｖ）＝（１−α）Ｃ１（Ｐ１＋αＤ１２）
＋αＣ２（Ｐ２＋（１−α）Ｄ２１）        …（１４）
【００９２】
また、仮想カメラｖの撮像する仮想撮像画像を生成するモーフィング処理を、３台以上の撮像装置を用いた場合であっても、上述した撮像装置が２台の場合と同様に行うことができる。すなわち、モーフィング処理に用いる撮像装置、すなわち第１撮像装置組が撮像装置１、撮像装置２及び撮像装置３の３台から構成されている場合、パラメータα及びβとを用いて、以下の（１５）式から仮想カメラｖの座標Ｅｖを求めることができる。ここで、α≧０、β≧、０≦α＋β≦１である。
Ｅｖ＝（１−α−β）Ｅ１＋αＥ２＋βＥ３                …（１５）
【００９３】
図１７は、撮像装置１、撮像装置２及び撮像装置３の３台の撮像装置を用いた場合における仮想カメラｖの座標Ｅｖを示す図である。この図１７において、撮像装置１の座標がＥ１であり、撮像装置２の座標がＥ２であり、撮像装置３の座標がＥ３であり、仮想カメラｖの座標がＥｖである。このように、仮想カメラｖは、撮像装置１、撮像装置２及び撮像装置３の形成する三角形の２次元平面上に配置される。また、図１７に示されるように、座標Ｅｖは、座標Ｅ２から座標Ｅ１を減算した距離ベクトルに対しαを乗じたα（Ｅ２−Ｅ１）と、座標Ｅ３から座標Ｅ１を減算した距離ベクトルに対しβを乗じたβ（Ｅ３−Ｅ１）とにより、座標Ｅ１を２次元平面上において平面的に移動させることにより求まる。
【００９４】
この場合の仮想カメラｖの仮想撮像画像の画素の座標Ｐｖと、この座標Ｐｖとの対応点となる撮像装置１の第１撮像画像の画素の座標Ｐ１、撮像装置２の第１撮像画像の画素の座標Ｐ２及び撮像装置３の第１撮像画像の画素の座標Ｐ３との対応関係は、撮像装置が２台の場合と同様の考え方から、以下の（１６）式により求められる。
Ｐｖ＝
Ｆ（Ｐ１＋δＰ１，Ｐ２＋δＰ２，Ｐ３＋δＰ３，α，β）  …（１６）
【００９５】
上記（１６）式において、α＝０、β＝０のとき、仮想カメラと撮像装置１との座標とが一致しＥｖ＝Ｅ１となり、α＝１、β＝０のとき、仮想カメラと撮像装置２との座標とが一致しＥｖ＝Ｅ２となり、α＝０、β＝１のとき、仮想カメラと撮像装置３との座標とが一致しＥｖ＝Ｅ３となる。これらの初期条件から、以下の（１７）式が成り立つ。
α＝０、β＝０の場合、δＰ１＝０、δＰ２＝Ｄ２１、δＰ３＝Ｄ３１
α＝１，β＝０の場合、δＰ１＝Ｄ１２、δＰ２＝０、δＰ３＝Ｄ３２
α＝０、β＝１の場合、δＰ１＝Ｄ１３、δＰ２＝Ｄ２３、δＰ３＝０
…（１７）
【００９６】
上記（１７）式が成り立つ条件として、以下の（１８）式の関係を用いた。
δＰ１＝αＤ１２＋βＤ１３
δＰ２＝（１−α−β）Ｄ２１＋βＤ２３
δＰ３＝（１−α−β）Ｄ３１＋αＤ３２                  …（１８）
【００９７】
上記（１８）式により、仮想カメラｖの仮想撮像画像の画素Ｐｖは、以下の（１９）式により求められる。
Ｐｖ＝Ｆ（Ｐ１＋αＤ１２＋βＤ１３，Ｐ２＋（１−α−β）Ｄ２１＋βＤ２３，Ｐ３  ＋（１−α−β）Ｄ３１＋αＤ３２，α，β）              …（１９）
【００９８】
上記（１９）式を用いた場合、仮想カメラｖの仮想撮像画像の画素の座標Ｐｖの色Ｃｖは、座標Ｐｖに対応する第１対応点である、撮像装置１、２及び３における画素各々の座標を仮想撮像画像の座標系に座標変換した座標Ｐ１＋δＰ１、Ｐ２＋δＰ２及びＰ３＋δＰ３を用いて、以下の（２０）式により求められる。
Ｃｖ（Ｐｖ）＝ｗ１Ｃ１（Ｐ１＋αＤ１２＋βＤ１３）＋ｗ２Ｃ２（Ｐ２＋（１−α−β）Ｄ２１＋βＤ２３）＋ｗ３Ｃ３（Ｐ３＋（１−α−β）Ｄ３１＋αＤ３２）
…（２０）
上記（２０）式において、ｗｉ（ｉ＝１，２，３）は重み係数であり、ｗ１＋ｗ２＋ｗ３＝１である。
また、Ｃ１、Ｃ２及びＣ３の各々は、撮像装置１、２及び３の各々の撮像した第１撮像画像における第１対応点であるＰ１、Ｐ２、Ｐ３のそれぞれの色を表している。
【００９９】
図１８は、仮想カメラｖの仮想撮像画像の画素Ｐｖの色Ｃｖを求める（２０）式における重み係数を説明する図である。この図１８において、撮像装置１の座標がＥ１であり、撮像装置２の座標がＥ２であり、撮像装置３の座標がＥ３であり、仮想カメラｖの座標がＥｖである。ここで、重み係数ｗ１、ｗ２及びｗ３の各々は、座標Ｅ１、Ｅ２及びＥ３が頂点となり形成する三角形を、座標Ｅ１、Ｅ２及びＥ３の各々と座標Ｅｖを頂点とした三角形により分割した各々の面積比である。例えば、座標Ｅ１、Ｅ２及びＥ３が頂点となり形成する三角形の面積がＳであり、座標Ｅ２、Ｅ３及びＥｖを頂点とする三角形の面積がＳｗ１であり、座標Ｅ１、Ｅ３及びＥｖを頂点とする三角形の面積がＳｗ２であり、座標Ｅ１、Ｅ２及びＥｖを頂点とする三角形の面積がＳｗ３である。すなわち、Ｓ＝Ｓｗ１＋Ｓｗ２＋Ｓｗ３である。
この場合、重み係数としては、ｗ１＝Ｓｗ１／Ｓであり、ｗ２＝Ｓｗ２／Ｓであり、ｗ３＝Ｓｗ３／Ｓである。また、重み係数ｗｉは、座標Ｅｉに対して座標Ｅｖを介して対抗する位置にある三角形の面積ＳＷｉの面積Ｓに対する比に設定される。これにより、座標Ｅｖに最も近い座標Ｅｉの撮像装置ｉの重みが最も大きくなり、一方、Ｅｖに最も遠い座標Ｅｉの撮像装置ｉの重みが最も小さくなる。
【０１００】
図４に戻り、上記（２０）式において、撮像装置１及び２の各々が撮像した第１撮像画像と仮想カメラの撮像する仮想撮像画像との対応点の組は、［Ｐ１＋αＤ１２＋βＤ１３，Ｐ２＋（１−α−β）Ｄ２１＋βＤ２３，Ｐ３＋（１−α−β）Ｄ３１＋αＤ３２］となり、この組により、仮想撮像画像の座標Ｐｖの画素のモーフィング処理が仮想カメラ画像生成部１１３により行われる。
すなわち、差分Ｄｉｊが生成する局所領域（例えば差分Ｄｉｊを辺とする立方体状の領域）がお互いの対応点を含んでいるとして、仮想カメラｖの仮想撮像画像の画素Ｐｖの色Ｃｖが算出される。
【０１０１】
図１９は、撮像装置１、２及び３の各々の撮像した第１撮像画像と、仮想カメラｖの撮像した仮想撮像画像とにおける対応点の関係を示す図である。
図１９（ａ）は、仮想カメラｖが撮像した仮想撮像画像の座標Ｐｖに対応する、撮像装置１が撮像した第１撮像画像の画素が座標変換された座標Ｐ１＋δＰ１の求め方を示している。図１９（ａ）において、座標Ｐ１は、撮像装置１の撮像した撮像画像における画素の座標を、仮想カメラｖの仮想撮像画像に座標変換した座標を示している。座標Ｐ’１２は、撮像装置２の撮像した第１撮像画像をテンプレートとし、撮像装置１の撮像した第１撮像画像をテンプレートマッチングして第１対応点として抽出された画素の座標を座標変換した座標を示している。座標Ｐ’１３は、撮像装置３の撮像した第１撮像画像をテンプレートとし、撮像装置１の撮像した第１撮像画像をテンプレートマッチングして第１対応点として抽出された画素の座標を座標変換した座標を示している。距離ベクトルＤ１２は座標Ｐ’１２から座標Ｐ１を減算して生成され、距離ベクトルＤ１３は座標Ｐ’１３から座標Ｐ１を減算して生成されている。座標Ｐ１＋δＰ１は、上記（１８）式に基づいて、距離ベクトルＤ１２に対しαを乗じたαＤ１２と、距離ベクトルＤ１３に対しβを乗じたβＤ１３とにより、座標Ｐ１を２次元平面上において平面的に移動させることにより求まる。
【０１０２】
図１９（ｂ）は、仮想カメラｖが撮像した仮想撮像画像の座標Ｐｖに対応する、撮像装置２が撮像した第１撮像画像の画素が座標変換された座標Ｐ２＋δＰ２の求め方を示している。図１９（ｂ）において、座標Ｐ２は、撮像装置２の撮像した撮像画像における画素の座標を、仮想カメラｖの仮想撮像画像に座標変換した座標を示している。座標Ｐ’２１は、撮像装置１の撮像した第１撮像画像をテンプレートとし、撮像装置２の撮像した第１撮像画像をテンプレートマッチングして第１対応点として抽出された画素の座標を座標変換した座標を示している。座標Ｐ’２３は、撮像装置３の撮像した第１撮像画像をテンプレートとし、撮像装置２の撮像した第１撮像画像をテンプレートマッチングして第１対応点として抽出された画素の座標を座標変換した座標を示している。距離ベクトルＤ２１は座標Ｐ’２１から座標Ｐ２を減算して生成され、距離ベクトル（Ｄ２３−Ｄ２１）は、距離ベクトルＤ２３から距離ベクトルＤ２１を減算して生成されている。座標Ｐ２＋δＰ２は、上記（１８）式に基づいて、距離ベクトルＤ２１に対しαを乗じたαＤ２１と、距離ベクトルＤ２３−Ｄ２１に対しβを乗じたβ（Ｄ２３−Ｄ２１）とにより、座標Ｐ’２１を２次元平面上において平面的に移動させることにより求まる。
【０１０３】
図１９（ｃ）は、仮想カメラｖが撮像した仮想撮像画像の座標Ｐｖに対応する、撮像装置３が撮像した第１撮像画像の画素が座標変換された座標Ｐ３＋δＰ３の求め方を示している。図１９（ｃ）において、座標Ｐ３は、撮像装置３の撮像した撮像画像における画素の座標を、仮想カメラｖの仮想撮像画像に座標変換した座標を示している。座標Ｐ’３１は、撮像装置１の撮像した第１撮像画像をテンプレートとし、撮像装置３の撮像した第１撮像画像をテンプレートマッチングして第１対応点として抽出された画素の座標を座標変換した座標を示している。座標Ｐ’３２は、撮像装置２の撮像した第１撮像画像をテンプレートとし、撮像装置３の撮像した第１撮像画像をテンプレートマッチングして第１対応点として抽出された画素の座標を座標変換した座標を示している。距離ベクトルＤ３１は座標Ｐ’２１から座標Ｐ２を減算して生成され、距離ベクトル（Ｄ３２−Ｄ３１）は、距離ベクトルＤ３２から距離ベクトルＤ３１を減算して生成されている。座標Ｐ３＋δＰ３は、上記（１８）式に基づいて、距離ベクトルＤ３１に対してβを乗じたβＤ３１と、距離ベクトルＤ３２−Ｄ３１に対しαを乗じたα（Ｄ３２−Ｄ３１）とにより、座標Ｐ’３１を２次元平面上において平面的に移動させることにより求まる。
【０１０４】
また、仮想カメラｖの撮像する仮想撮像画像を生成するモーフィング処理を、３台を超える複数の撮像装置を用いた場合であっても、上述した撮像装置が３台の場合と同様に行うことができる。本実施形態においては、モーフィング処理に用いる撮像装置、すなわち第１撮像装置組が撮像装置１、撮像装置２、撮像装置３及び撮像装置４の４台から構成されている場合、パラメータα及びβを用いて、以下の（２１）式から仮想カメラｖの座標Ｅｖを求めることができる。ここで、０≦α≦１、０≦β≦１である。
Ｅｖ＝（１−α＋αβ）Ｅ１＋α（１−β）Ｅ２
−αβＥ３＋αβＥ４                              …（２１）
【０１０５】
図２０は、撮像装置１、撮像装置２、撮像装置３及び撮像装置４の４台の撮像装置を用いた場合における仮想カメラｖの座標Ｅｖを示す図である。この図２０において、撮像装置１の座標がＥ１であり、撮像装置２の座標がＥ２であり、撮像装置３の座標がＥ３であり、撮像装置４の座標がＥ４であり、仮想カメラｖの座標がＥｖである。ここで、座標Ｅｖは、座標Ｅ２と座標Ｅ１とをα：１−αの比で分割して生成した座標Ｅ１２と、座標Ｅ３と座標Ｅ４とをα：１−αで分割して生成した座標３４とを求める。そして、座標Ｅ１２と座標３４との間をβ：１−βの比で分割した座標β（α（Ｅ４−Ｅ３）−α（Ｅ２−Ｅ１））を座標Ｅｖとしている。
【０１０６】
また、撮像装置１、撮像装置２、撮像装置３及び撮像装置４の各々の撮像する第１撮像画像における対応点は、撮像装置が３台の場合と同様に考えると、以下の（２２）式により表すことができる。以下の式においてｉ＝１、２、３、４である。
Ｐｉ＋δＰｉ＝（１−α＋αβ）Ｐ’ｉ１
＋α（１−β）Ｐ’ｉ２−αβＰ’ｉ３＋αβＰ’ｉ４
…（２２）
【０１０７】
図２１は、仮想撮像画像の２次元平面における撮像装置１、２、３及び４の各々の第１撮像画像における第１対応点の対応を示す図である。この図２１において、座標Ｐｉ１は撮像装置１の撮像した第１撮像画像をテンプレートとして、撮像装置Ｐｉの撮像した第１撮像画像の第１対応点を、仮想撮像画像の座標系に座標変換した座標である。座標Ｐｉ２は撮像装置２の撮像した第１撮像画像をテンプレートとして、撮像装置Ｐｉの撮像した第１撮像画像の第１対応点を、仮想撮像画像の座標系に座標変換した座標である。座標Ｐｉ３は撮像装置１の撮像した第１撮像画像をテンプレートとして、撮像装置Ｐｉの撮像した第１撮像画像の第１対応点を、仮想撮像画像の座標系に座標変換した座標である。座標Ｐｉ４は撮像装置１の撮像した第１撮像画像をテンプレートとして、撮像装置Ｐｉの撮像した第１撮像画像の第１対応点を、仮想撮像画像の座標系に座標変換した座標である。例えば、ｉ＝１の場合、撮像装置１の撮像した第１撮像画像における第１共通点がＰ’１１＝Ｐ１となり、この座標Ｐ１に対応する対応点が、撮像装置２、３及び４の各々をテンプレートとした場合、それぞれ座標Ｐ’１２、座標Ｐ’１３及び座標Ｐ’１４となる。
【０１０８】
また、図２１において、仮想カメラｖの撮像する仮想撮像における対応点Ｐｉ＋δＰｉは、図２０の仮想カメラｖの座標を求めた場合と同様に、座標Ｐ’ｉ２と座標Ｐ’ｉ１とをα：１−αの比で分割して生成した座標Ｐａ（＝α（Ｐ’ｉ２−Ｐ’ｉ１））と、座標Ｐ’ｉ４と座標Ｐ’ｉ３とをα：１−αの比で分割して生成した座標Ｐｂ（＝α（Ｐ’ｉ４−Ｐ’ｉ３））とを求める。そして、座標Ｐａと座標Ｐｂとの間をβ：１−βの比で分割した座標β（α（Ｐ’ｉ４−Ｐ’ｉ３）−α（Ｐ’ｉ２−Ｐ’ｉ１））を座標Ｐｉ＋δＰｉとしている。この座標Ｐｉ＋δＰｉが仮想カメラの撮像する仮想撮像画像における撮像装置ｉの撮像した第１撮像画像における第１対応点の座標Ｐｉとなる。
【０１０９】
ただし、上記（２２）式において、Ｐ’ｉｉ＝Ｐｉとする。例えば、ｉ＝３の場合、上記（２２）式の結果は、以下の（２３）式となる。
Ｐ３＋δＰ３＝（１−α＋αβ）Ｐ’３１
＋α（１−β）Ｐ’３２−αβＰ’３＋αβＰ’３４
…（２３）
【０１１０】
上記（２３）式においては、以下に示す（２４）式に示す関係がある。
Ｐ’３１＝Ｐ３＋Ｄ３１
Ｐ’３２＝Ｐ３＋Ｄ３２
Ｐ’３４＝Ｐ３＋Ｄ３４                                  …（２４）
【０１１１】
したがって、（２３）式に対して（２４）式を代入することにより、δＰ３は、以下に示す（２５）式として表すことができる。
δＰ３＝（１−α＋αβ）Ｄ３１＋α（１−β）Ｄ３２＋αβＤ３４
…（２５）
【０１１２】
したがって、撮像画像における第１対応点の座標Ｐｖは、以下の（２６）式により表すことができる。
Ｐｖ＝Ｆ（Ｐ１＋α（１−β）Ｄ１２−αβＤ１３＋αβＤ１４，Ｐ２＋（１−α＋αβ）Ｄ２１−αβＤ２３＋αβＤ２４，Ｐ３＋（１−α＋αβ）Ｄ３１＋α（１−β）Ｄ３２＋αβＤ３４，Ｐ４＋（１−α＋αβ）Ｄ４１＋α（１−β）Ｄ４２−αβＤ４３，α，β）                                                  …（２６）
【０１１３】
上記（２６）式を用いた場合、仮想カメラｖの仮想撮像画像の画素の座標Ｐｖの色Ｃｖは、座標Ｐｖに対応する第１対応点である、撮像装置１、２、３及び４における画素各々の座標を仮想撮像画像の座標系に座標変換した座標Ｐ１＋δＰ１、Ｐ２＋δＰ２、Ｐ３＋δＰ３及びＰ４＋δＰ４を用いて、以下の（２７）式により求められる。
Ｃｖ（Ｐｖ）＝ｗ１Ｃ１（Ｐ１＋α（１−β）Ｄ１２−αβＤ１３＋αβＤ１４）＋ｗ２Ｃ２（Ｐ２＋（１−α＋αβ）Ｄ２１−αβＤ２３＋αβＤ２４）＋ｗ３Ｃ３（Ｐ３＋（１−α＋αβ）Ｄ３１＋α（１−β）Ｄ３２＋αβＤ３４）＋ｗ４Ｃ４（Ｐ４＋（１−α＋αβ）Ｄ４１＋α（１−β）Ｄ４２−αβＤ４３）        …（２７）
上記（２０）式において、ｗｉ（ｉ＝１，２，３，４）は重み係数であり、ｗ１＋ｗ２＋ｗ３＋ｗ４＝１である。
また、Ｃ１、Ｃ２、Ｃ３及びＣ３の各々は、撮像装置１、２、３及び４の各々の撮像した第１撮像画像における第１対応点である座標Ｐ１、Ｐ２、Ｐ３、Ｐ４の画素それぞれの色を表している。
【０１１４】
図２２は、仮想カメラｖの仮想撮像画像の画素Ｐｖの色Ｃｖを求める（２７）式における重み係数を説明する図である。この図１８において、撮像装置１の座標がＥ１であり、撮像装置２の座標がＥ２であり、撮像装置３の座標がＥ３であり、撮像装置４の座標がＥ４であり、仮想カメラｖの座標がＥｖである。ここで、重み係数ｗ１、ｗ２、ｗ３及びｗ４の各々は、座標Ｅ１、Ｅ２、Ｅ３及びＥ４が頂点となり形成する四角形を、４つに分割した面積比となっている。すなわち、座標Ｅ２と座標Ｅ１とをα：１−αで分割した座標Ｅ１２と、座標Ｅ４と座標Ｅ３とをα：１−αで分割した座標Ｅ３４とを生成する。また、座標Ｅ３と座標Ｅ１とをβ：１−βで分割した座標Ｅ１３と、座標Ｅ４と座標Ｅ２とをβ：１−βで分割した座標Ｅ２４とを生成する。
【０１１５】
そして、座標Ｅ１、Ｅ２、Ｅ３及びＥ４を頂点とする面積Ｓの四角形を、座標１２及び座標３４間を結ぶ線分と、座標Ｅ１３及び座標Ｅ２４間を結ぶ線分とで４分割する。ここで、座標Ｅ１、Ｅ１２、Ｅｖ及びＥ１３を頂点とする四角形の面積をＳｗ４とし、座標Ｅ１２、Ｅ２、Ｅ２４及びＥｖを頂点とする四角形の面積をＳｗ３とし、座標Ｅ１３、Ｅｖ、Ｅ３４及びＥ３を頂点とする四角形の面積をＳｗ２とし、座標Ｅｖ、Ｅ２４、Ｅ４及びＥ３４を頂点とする四角形の面積をＳｗ１とする。すなわち、Ｓ＝Ｓｗ１＋Ｓｗ２＋Ｓｗ３＋Ｓｗ４である。
この場合、重み係数としては、ｗ１＝Ｓｗ１／ｓであり、ｗ２＝Ｓｗ２／Ｓであり、ｗ３＝Ｓｗ３／Ｓであり、ｗ４＝Ｓｗ４／Ｓである。また、重み係数ｗｉは、座標Ｅｉに対して座標Ｅｖを介して対抗する位置にある四角形の面積ＳＷｉの面積Ｓに対する比に設定される。これにより、座標Ｅｖに最も近い座標Ｅｉの撮像装置ｉの重みが最も大きくなり、一方、Ｅｖに最も遠い座標Ｅｉの撮像装置ｉの重みが最も小さくなる。
【０１１６】
上記（２７）式の０≦ｉ≦ｎとした一般式は、以下の（２８）式である。
Ｃｖ（Ｐｖ）＝ΣｗｉＣｉ（Ｐｉ＋δＰｉ）        …（２８）
上記（２８）式において、ｗｉは、撮像装置ｉの撮像した第１撮像画像の第１対応点の画素の色の重み係数を示している。また、Ｃｉ（Ｐｉ＋δＰｉ）は、仮想カメラｖの撮像する仮想撮像座標Ｐｉ＋δＰｉに座標変換される、撮像装置ｉの撮像した第１撮像画像の第１対応点の画素の色を示している。
【０１１７】
次に、図を用いて本実施形態による自由視点画像撮像装置において、複数の第１撮像画像をモーフィング処理することにより自由視点画像を生成する動作を説明する。図２３は、本実施形態による自由視点画像撮像装置が複数の第１撮像画像をモーフィング処理することにより自由視点画像を生成する動作例を示すフローチャートである。
ステップＳ１：
撮像制御部１０１は、ドーム枠５００の各支柱に設けられた撮像装置の各々からの撮像画像を読み込み、一旦、対応する撮像装置の撮像装置の識別情報とともに、データベース１１４に書き込んで記憶させる。このとき、撮像制御部１０１は、各撮像装置からの撮像画像の画素を間引いた低解像度の第１撮像画像と、画素を間引かない、すなわち撮像画像と同様の解像度の第２撮像画像とを組として、データベース１１４に対して書き込んで記憶させる。
【０１１８】
ステップＳ２：
シルエット画像生成部１０２は、データベース１１４から第２撮像画像を読み出し、図５に示すように、この読み出した第２撮像画像の各々から、色フィルタを用いてシルエット画像の生成を行う。このとき、シルエット画像生成部１０２は、撮像画像の背景がブルーバックの青色として撮像されているため、容易にシルエット画像を生成する処理が行える。
【０１１９】
ステップＳ３：
ＶＨ処理部１０３は、シルエット画像生成部１０２の生成したシルエット画像を用い、Ｖｉｓｕａｌ＿Ｈｕｌｌの手法を用い、たとえば、本実施形態の場合、図６に示すように、１６枚のシルエット画像から仮３次元形状を生成する。
【０１２０】
ステップＳ４：
撮像装置選択部１０４は、ドーム枠５００に設けられた複数台の撮像装置を２台以上を一組として、複数の撮像装置の組を、たとえば図７に示すように、３台あるいは４台の撮像装置の組である第１撮像装置組を生成する。
【０１２１】
ステップＳ５：
ステレオマッチング部１０５は、撮像装置選択部１０４が生成した第１撮像装置組毎に、この第１撮像装置組に含まれる撮像装置の撮像した第１撮像画像間における共通対応点のステレオマッチングを行う。
【０１２２】
ステップＳ６：
３次元形状生成部１０６は、ステレオマッチング部１０５が抽出した対応点である、各撮像装置の第１撮像画像間の共通対応点を用い、ＶＦ処理部１０３がＶＨ（Visual Hull）により生成した仮３次元形状の修正を行い、部分３次元形状の生成を行う。
すなわち、３次元形状生成部１０６は、この突出した領域を取り除いた仮３次元形状を、修正した仮３次元形状である部分３次元形状として生成する。ここで、３次元形状生成部１０６は、各第１撮像装置組の共通座標点を、世界座標系においてマッピングして重ね合わせる。ここで、異なる第１撮像装置組間の共通座標点は同一座標であれば、重ね合わさることになる。
【０１２３】
ステップＳ７：
３次元形状合成部１０７は、３次元形状生成部１０６が第１撮像装置組毎に生成した部分３次元形状を全て重ね合わせる。このとき、３次元形状合成部１０７は、共通対応点を基準とし、部分３次元形状の各々の画素単位における座標位置を合わせ、部分３次元形状を重ねる処理を行う。
また、対応点探索部１０８は、３次元形状合成部１０７により合成された３次元形状を用い、第２撮像画像における対応点である第１対応点の探索を行う。
【０１２４】
対応点探索部１０８は、この第１対応点に基づいて第２撮像画像を用いたモーフィング処理を行うため、第１対応点の探索はモーフィングに用いる高解像度の第２撮像画像に対して行う。ここで、対応点探索部１０８は、データベース１１４から第２撮像画像を読み出す。対応点探索部１０８は、第１対応点の探索において、３次元形状を各撮像装置の撮像方向に垂直な２次元平面、すなわち各撮像装置の撮像面に対応した２次元平面に対し、３次元形状の各画素を投影した仮想第１撮像画像を用いて行う。
また、オクルージョン領域探索部１０９は、対応点探索部１０８が３次元形状を投影した仮想第１撮像画像毎に、３次元形状に存在して仮想第１撮像画像に存在しない画素を検出し、撮像装置毎にデータベース１１４に書き込んで記憶させる。
【０１２５】
ステップＳ８：
テンプレートマッチング部１１０は、第１撮像装置組の各々において、それぞれの第１撮像装置組に含まれる撮像装置全てが撮像した第１撮像画像間のテンプレートマッチングを行う。ここで、テンプレートマッチング部１１０は、撮像装置の幾何学的な整合性を考慮に入れないため、ステレオマッチングを行うのではなく、第１撮像画像間におけるテンプレートマッチングのみを行う。
【０１２６】
ステップＳ９：
仮想カメラ設定部１１１は、ドーム型撮像装置において用いられている撮像装置のカメラパラメータを、データベース１１４に記憶されているカメラパラメータテーブルから選択して読み出す。
【０１２７】
ステップＳ１０：
モーフィング用撮像装置選択部１１２は、図示しない入力手段により、上記仮想カメラの位置がユーザにより設定されると、仮想カメラの撮像する仮想撮像画像を生成するモーフィング処理に用いる撮像装置の設定を行う。
すなわち、いずれの撮像方向（視点方向）から被写体の３次元形状を、仮想カメラの撮像面（すなわち２次元平面）に投影するかが設定されると、モーフィング用撮像装置選択部１１２は、仮想撮像画像を生成するモーフィング処理に用いる第１撮像画像を撮像した撮像装置の設定、すなわち第１撮像装置組の選定を行う。このとき、モーフィング用撮像装置選択部１１２は、仮想カメラの位置を含む空間の範囲を有する第１撮像装置組を、データベース１１４における各撮像装置のカメラパラメータから位置情報を読み出して選択する。
【０１２８】
ステップＳ１１：
仮想カメラ画像生成部１１３は、モーフィング用撮像装置選択部１１２が選択した撮像装置の第１撮像画像をデータベース１１４から読み出す。この説明においては、例えば、第１撮像装置組が３台の撮像装置から構成されている。
次に、仮想カメラ画像生成部１１３は、テンプレートマッチングを行った撮像装置１、２及び３の各々の第１対応点それぞれを、自身の第１撮像画像の座標系から仮想撮像画像の座標系に座標変換する。
そして、仮想カメラ画像生成部１１３は、仮想撮像画像の座標系における撮像装置１、２及び３の各々の撮像画像における第１対応点の画素の座標Ｐ１＋δＰ１、Ｐ２＋δＰ２及びＰ３＋δＰ３の画素の色から、これらの第１対応点に対応する仮想撮像画像に座標Ｐｖの画素の色を、上記（２０）式によりモーフィング処理を行って求める。
【０１２９】
仮想カメラ画像生成部１１３は、上述した処理を全ての仮想撮像画像における各画素の座標Ｐｖに対して行い、仮想撮像画像を生成する。
また、このとき、仮想カメラ画像生成部１１３は、仮想撮像画像の座標系に対して３次元形状を投影し、オクルージョンにより見えない座標を検出した場合、この座標の色の生成を行わない。
また、仮想カメラ画像生成部１１３は、モーフィング処理を行う第１撮像装置組においてオクルージョンにより第１撮像画像に第１対応点がない撮像装置が存在する場合、第１撮像装置組におけるこの撮像装置以外の座標以外の撮像装置の第１撮像画像を用いてモーフィング処理を行う。
ここで、オクルージョンにより第１対応点がない撮像装置の重みを０とする。例えば、ある画素Ｐｖの色を決定する際に、撮像装置１から撮像装置４を用いた際、撮像装置２がオクルージョンとなっている場合、段落番号０１１４〜段落番号０１１６に記載した処理において、Ｓｗ２の値を０にする。これにより、Ｓ＝Ｓｗ１+Ｓｗ３+Ｓｗ４となり、重みは、ｗ２＝０、ｗ１＋ｗ３＋ｗ４＝１となる。この重みを用いて式（２８）を計算する。
【０１３０】
上述したように、本実施形態によれば、複数の撮像装置の各々が撮像した撮像画像から、第１撮像画像及び第１撮像画像より解像度の高い第２撮像画像を生成し、第１撮像画像により被写体の３次元形状を生成し、この３次元形状を元にテンプレートマッチングを行い、仮想カメラの撮像する仮想撮像画像を生成する際、この仮想撮像画像の各画素に対応する第１対応点を各撮像装置の第２撮像画像から容易に、かつロバストで密な状態で抽出することができる。
また、本実施形態によれば、各撮像装置の第２撮像画像における、仮想撮像画像の画素の対応点の位置を、仮想撮像画像の座標に座標変換するため、モーフィング処理における各第２撮像画像の各画素の色の重み付けを正確に算出することができ、精度の高いモーフィング処理を行うことができる。
【０１３１】
また、本実施形態によれば、３次元形状を仮想像画像の座標系に投影するため、仮想撮像画像上にオクルージョンにより見えない座標が存在する場合、あるいはモーフィング処理に見えない座標のある第２撮像画像が存在する場合でも、画像に穴が開くことやぼけることがないように、それらの座標の画素の取り扱いについて容易に対処することができるため、オクルージョン領域の形状を仮想撮像画像に反映することができる。
上述したように、本実施形態によれば、視点変化に対応して、撮像装置の撮像した第２撮像画像をモーフィング処理することで自由視点画像（仮想撮像画像）を生成する際、モーフィング処理において局所領域でテンプレートマッチングを行い、撮像画像間における第１対応点の修正を、仮想撮像画像の座標系において行っている。このため、本実施形態によれば、モーフィングによるぼけを低減させ、被写体を観察する視点に応じ、その視点に対応する仮想カメラの撮像画像を、フォトリアルな自由視点画像として撮像することができる。
【０１３２】
以下、本実施形態による自由視点画像撮像装置と、従来との各々において生成された自由視点画像の比較を示す。
図２４は、ドーム型撮像装置の第１撮像装置組により撮像された第１撮像画像を示す図である。この図２４においては、第１撮像装置組が４台の撮像装置から構成されている例を示しているため、第２撮像画像は４枚となっている。
【０１３３】
図２５は、オープンソースのライブラリにあるＯｐｅｎＣＶ（登録商標）で実装されているＶｉｅｗ Ｍｏｒｐｈｉｎｇ（登録商標）を使用して生成した自由視点画像を示す図である。この図２５の自由視点画像は、図２４の第２撮像画像を用い、Ｖｉｅｗ Ｍｏｒｐｈｉｎｇ（登録商標）を使用してモーフィング処理を行って生成した。
【０１３４】
図２６は、ステレオマッチングの手法としてＳＡＤを使用し、ドロネー三角分割法によるメッシュを作成し、このメッシュを合成して生成した自由視点画像を示す図である。この図２６においては、オクルージョン領域８６０或いは８６１においては対応点が見つからないため、輪郭が描画されずに一部がぼけてしまっていることが分かる。
【０１３５】
図２７は、Ｖｉｓｕａｌ Ｈｕｌｌで３次元形状を求めた結果に対し、モーフィング処理により生成した自由視点画像を示す図である。すなわち、この図２７においては、Ｖｉｓｕａｌ Ｈｕｌｌで求めた３次元形状を、仮想カメラの視点（撮像方向）に対応する仮想撮像画像に投影して、自由視点画像を生成している。Ｖｉｓｕａｌ Ｈｕｌｌの３次元形状の精度が低いため、モーフィング処理において対応点が取得できず、画像がぼやけていることが分かる。
【０１３６】
図２８は、Ｖｉｓｕａｌ Ｈｕｌｌで３次元形状を求め、この３次元形状と第１撮像画像各々とのステレオマッチングを行って、共通対応点を求めて行ったモーフィング処理により生成した自由視点画像を示す図である。すなわち、この図２８は、本実施形態における第２撮像画像間の各画素のテンプレートマッチングを行っていない。図２８（ａ）は、得られた自由視点画像を示し、図２８（ｂ）、図２８（ｃ）及び図２８（ｄ）の各々は、それぞれ図２８（ａ）における領域８５１、８５２、８５３の拡大図を示している。
【０１３７】
図２９は、Ｖｉｓｕａｌ Ｈｕｌｌで３次元形状を求め、この３次元形状と第１撮像画像各々とのステレオマッチングを行って、共通対応点を求めた後の３次元形状を用い、第１撮像画像間のテンプレートマッチングを行って得られた第１対応点を用いたモーフィング処理により生成した自由視点画像を示す図である。
【０１３８】
また、図４における自由視点画像生成１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより自由視点画像（仮想撮像画像）の生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１３９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１４０】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１４１】
１０…自由視点画像撮像部
５３＿１，５３＿２，５３＿３…撮像装置
１０１…撮像制御部
１０２…シルエット画像生成部
１０３…ＶＦ処理部
１０４…撮像装置選択部
１０５…ステレオマッチング部
１０６…３次元形状生成部
１０７…３次元形状合成部
１０８…対応点探索部
１０９…オクルージョン領域探索部
１１０…テンプレートマッチング部
１１１…仮想カメラ設定部
１１２…モーフィング用撮像装置選択部
１１３…仮想カメラ画像生成部
１１４…データベース
５００＿１，５００＿２，５００＿３，５００＿４，５００＿５，５００＿６，５００＿７，５００＿８，５００＿９，５００＿１０，５００＿１１，５００＿１２…支柱
６００…被写体
８００…ＬＥＤ光源
８５０＿３…ライトガイド
９００…ブルーバッグ
【図１】
2015022510.tif 000003
【図２】
2015022510.tif 000004
【図３】
2015022510.tif 000005
【図４】
2015022510.tif 000006
【図７】
2015022510.tif 000007
【図１３】
2015022510.tif 000008
【図１５】
2015022510.tif 000009
【図１６】
2015022510.tif 000010
【図１７】
2015022510.tif 000011
【図１８】
2015022510.tif 000012
【図１９】
2015022510.tif 000013
【図２０】
2015022510.tif 000014
【図２１】
2015022510.tif 000015
【図２２】
2015022510.tif 000016
【図２３】
2015022510.tif 000017
【図５】
2015022510.tif 000018
【図６】
2015022510.tif 000019
【図８】
2015022510.tif 000020
【図９】
2015022510.tif 000021
【図１０】
2015022510.tif 000022
【図１１】
2015022510.tif 000023
【図１２】
2015022510.tif 000024
【図１４】
2015022510.tif 000025
【図２４】
2015022510.tif 000026
【図２５】
2015022510.tif 000027
【図２６】
2015022510.tif 000028
【図２７】
2015022510.tif 000029
【図２８】
2015022510.tif 000030
【図２９】
2015022510.tif 000031