(57)【要約】【課題】  複数のカメラにより互いに異なる視点から撮像した画像を相対的な位置情報に応じて再構成する際に、特にカメラ間のキャリブレーションを高精度でリアルタイムに実現する。【解決手段】  撮影対象５を互いに異なる視点から少なくとも２以上の撮像素子を介して撮像するとともに、撮影対象５を含む実空間において規則的に配置された既知のパターンからの情報光を同時に受光し、また撮像した各画像を受光した情報光に基づいて補正し、補正した各画像間において撮影対象５と関連させつつ画素位置毎に対応付けを行い、仮想的に設置される仮想カメラにおける光学中心の上記各撮像素子の光学中心に対する相対的な位置関係を示す相対位置情報を生成し、互いに対応付けした画素位置並びにその輝度成分から、生成された相対位置情報に応じて仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。【選択図】図１
2005174148.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象を互いに異なる視点から撮像する少なくとも２以上のカメラにそれぞれ設けられる撮像処理手段と、
上記撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する受光手段と、
上記各撮像処理手段により撮像された各画像を上記受光手段により受光した情報光に基づいて補正する画像補正手段と、
上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備えること
を特徴とする撮像装置。
【請求項２】
上記情報光に基づいて、上記各カメラの特性を示す内部パラメータ、及び／又は上記各カメラ間の幾何学的な位置関係を示す外部パラメータを推定するパラメータ推定手段をさらに備え、
上記画像補正手段は、上記パラメータ推定手段において推定された各パラメータに応じた射影変換行列により上記撮像された各画像を仮想的に設定された仮想平面へ射影すること
を特徴とする請求項１記載の撮像装置。
【請求項３】
上記パラメータ推定手段は、上記情報光に基づいて、上記撮像時に生じる歪み要因を示す歪曲収差パラメータを推定し、
上記画像補正手段は、上記パラメータ推定手段において推定された歪曲収差パラメータに応じて上記各撮像処理手段により撮像された各画像の歪みを除去すること
を特徴とする請求項２記載の撮像装置。
【請求項４】
上記受光手段は、上記パターンから上記情報光として発せられた赤外光を受光すること
を特徴とする請求項１記載の撮像装置。
【請求項５】
上記受光手段は、上記パターンに応じた点滅信号が重畳された上記情報光を受光し、
上記画像補正手段は、上記各カメラにより撮像された各画像を、上記情報光に重畳された点滅信号に基づいて補正すること
を特徴とする請求項１記載の撮像装置。
【請求項６】
上記撮像処理手段と、上記受光手段とは、同一のカメラ内に設けられてなること
を特徴とする請求項１記載の撮像装置。
【請求項７】
上記カメラユニットは、上記撮影対象を撮像するための撮像光と上記情報光を分離するための分離手段を備えること
を特徴とする請求項６記載の撮像装置。
【請求項８】
上記撮像処理手段と、上記受光手段とは、同一のセンサとして構成されてなること
を特徴とする請求項６記載の撮像装置。
【請求項９】
撮影対象を互いに異なる視点から少なくとも２以上の撮像素子を介して撮像する撮像ステップと、
撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する受光ステップと、
上記撮像ステップにおいて撮像した各画像を上記受光ステップにおいて受光した情報光に基づいて補正する画像補正ステップと、
上記画像補正ステップにより補正した各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、
仮想的に設置される仮想カメラにおける光学中心の上記各撮像素子の光学中心に対する相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、
上記マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップとを有すること
を特徴とする撮像方法。
【請求項１０】
上記撮像素子を搭載する各カメラの特性を示す内部パラメータ、及び／又は上記各カメラ間の幾何学的な位置関係を示す外部パラメータを、上記情報光に基づいて推定するパラメータ推定ステップをさらに有し、
上記画像補正ステップでは、上記パラメータ推定ステップにおいて推定した各パラメータに応じた射影変換行列により上記撮像された各画像を仮想的に設定された仮想平面へ射影すること
を特徴とする請求項９記載の撮像方法。
【請求項１１】
上記パラメータ推定ステップでは、上記情報光に基づいて、上記撮像時に生じる歪み要因を示す歪曲収差パラメータを推定し、
上記画像補正ステップでは、上記パラメータ推定ステップにおいて推定した歪曲収差パラメータに応じて上記各撮像処理手段により撮像された各画像の歪みを除去すること
を特徴とする請求項１０記載の撮像方法。
【請求項１２】
上記受光ステップでは、上記パターンから上記情報光として発せられた赤外光を受光すること
を特徴とする請求項９記載の撮像方法。
【請求項１３】
上記受光ステップでは、上記パターンに応じた点滅信号が重畳された上記情報光を受光し、
上記画像補正ステップでは、上記各撮像素子を介して撮像された各画像を、上記情報光に重畳された点滅信号に基づいて補正すること
を特徴とする請求項９記載の撮像方法。
【請求項１４】
撮影対象を互いに異なる視点から撮像する少なくとも２以上のカメラにそれぞれ設けられる撮像処理手段と、
上記撮影対象を含む実空間において規則的に配置された既知のパターンと、
上記パターンからの情報光を上記撮像と同時に受光する受光手段と、
上記各撮像処理手段により撮像された各画像を上記受光手段により受光した情報光に基づいて補正する画像補正手段と、
上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備えること
を特徴とする撮像システム。
【請求項１５】
上記パターンは、点滅信号を重畳した情報光を発振する光源が規則的に配置されていること
を特徴とする請求項１４記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点から撮像した画像を相対的な位置情報に応じて仮想視点画像を構成する撮像装置及び方法、撮像システムに関する。
【背景技術】
【０００２】
サッカー等のスポーツ中継の臨場感を高めるために、任意の視点で映像中継することができる撮像システムが近年において望まれている。即ち、スポーツ興業等を行うスタジアムにおける三次元実空間中の任意地点にカメラを設置し、試合展開に応じてそのカメラの視点を変えていくことにより、中継そのもののリアリティを向上させることができる。
【０００３】
しかしながら、物理的な制約により、実際に三次元空間中の任意地点にカメラを設定することや、膨大なカメラを同時に使用することは困難である。このため、任意視点から被写体を撮像したのと同様な効果を得るべく、設置された最小限のカメラにより撮像された画像に基づいて被写体の仮想視点画像を再構成する撮像システムが必要となる。特に従来において、モデルベースの手法や映像ベースの手法による仮想視点画像生成技術を用いた撮像システムが提案されている（例えば、非特許文献１〜４参照。）。
【０００４】
ところで、上述の如き複数のカメラを用いることにより違和感のない仮想視点画像を作り出すためには、各カメラ間につき高精度のキャリブレーションが必要となる。かかるキャリブレーションは、所望の被写体画像を撮像する前に、チェッカパターン等に代表される特殊な画像パターンを用いることにより実行する（例えば、非特許文献５参照。）。即ち、当該被写体を含む実空間において規則的に配置された画像パターンから情報を取得し、取得した情報に基づいて、カメラの焦点距離,レンズ歪み,歪み中心,アスペクト比等を反映させた内部パラメータや、カメラの位置や姿勢等を反映させた外部パラメータを推定することにより、キャリブレーションを行う。
【０００５】
しかしながら、上記従来の技術では、事前に行ったキャリブレーションを基にカメラの位置や倍率等を固定した上で撮像を行わなければならない。このため、被写体や周囲の環境の変化にリアルタイムに対応することができず、臨場感の高い仮想視点画像やそれを利用した魅力的なコンテンツを作成することができないという問題点があった。
【０００６】
また、各カメラにより撮像された画像から自動的に判別した特徴点を用いることによりカメラ間のキャリブレーションのリアルタイム化を図らんとした手法が提案されている（例えば、非特許文献６参照。）。
【０００７】
しかしながら、実際に撮像された画像から特徴点を随時判別しなければならないためシステム全体の負担が過大となり、またこれら特徴点を高精度に検出することにより、撮影環境へリアルタイムに対応したキャリブレーションを実現することは困難を極めていた。
【０００８】
【非特許文献１】多視点画像の融合によるスポーツシーンの自由視点画像生成、画像の認識・理解シンポジウム（MIRU2000）
【非特許文献２】Spatio-Temporal View Interpolation, Tech Report CMU-RI-TR-01-35, Robotics Institute, CMU
【非特許文献３】View Morphing,Siggraph'96 Processing,pp.21-30, (1996)
【非特許文献４】Light Field Rendering,Siggraph'96 Processing,pp.31-42, (1996)
【非特許文献５】An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision, Proc. Of IEEE Conference on Computer Vision and Pattern Recognition, pp. 364-374,(1996)
【非特許文献６】Determining the Epipolar Geometry and its Uncertainty: A Review,INRIA Research Report,(1996)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
そこで、本発明は上述した問題点に鑑みて案出されたものであり、その目的とするところは、複数のカメラにより互いに異なる視点から撮像した画像を相対的な位置情報に応じて再構成する際に、特にカメラ間のキャリブレーションをリアルタイムに実現することができる撮像装置及び方法、撮像システムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明を適用した撮像装置及び方法、撮像システムでは、上述した課題を解決するために、撮影対象を互いに異なる視点から少なくとも２以上の撮像素子を介して撮像するとともに、撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を同時に受光し、また撮像した各画像を受光した情報光に基づいて補正し、補正した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、仮想的に設置される仮想カメラにおける光学中心の上記各撮像素子の光学中心に対する相対的な位置関係を示す相対位置情報を生成し、互いに対応付けした画素位置並びにその輝度成分から、生成された相対位置情報に応じて仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。
【００１１】
即ち、本発明を適用した撮像装置は、撮影対象を互いに異なる視点から撮像する少なくとも２以上のカメラにそれぞれ設けられる撮像処理手段と、上記撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する受光手段と、上記各撮像処理手段により撮像された各画像を上記受光手段により受光した情報光に基づいて補正する画像補正手段と、上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備える。
【００１２】
また、本発明を適用した撮像方法では、撮影対象を互いに異なる視点から少なくとも２以上の撮像素子を介して撮像する撮像ステップと、撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する受光ステップと、上記撮像ステップにおいて撮像した各画像を上記受光ステップにおいて受光した情報光に基づいて補正する画像補正ステップと、上記画像補正ステップにより補正した各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、仮想的に設置される仮想カメラにおける光学中心の上記各撮像素子の光学中心に対する相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、上記マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップとを有する。
【００１３】
また、本発明を適用した撮像システムでは、撮影対象を互いに異なる視点から撮像する少なくとも２以上のカメラにそれぞれ設けられる撮像処理手段と、上記撮影対象を含む実空間において規則的に配置された既知のパターンと、上記パターンからの情報光を上記撮像と同時に受光する受光手段と、上記各撮像処理手段により撮像された各画像を上記受光手段により受光した情報光に基づいて補正する画像補正手段と、上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、  上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備える。
【発明の効果】
【００１４】
本発明では、複数のカメラにより互いに異なる視点から画像を撮像するとともに、規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する。そして、撮像した各画像を情報光に基づいて補正する。これにより、本発明では、パターンを利用したキャリブレーションを得られる画像毎に高精度でリアルタイムに行うことができる。
【００１５】
また本発明では、事前に行ったキャリブレーションを基にカメラの位置や倍率等を固定することなく、被写体や周囲の環境の変化にリアルタイムに対応したキャリブレーションを実現することができるため、臨場感の高い仮想視点画像やそれを利用した魅力的なコンテンツを作成することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
【００１７】
本発明を適用した撮像システム１は、例えば図１に示すように、複数台のカメラを有する撮像装置２により所望の撮影対象５を撮像し、更に撮影対象５を含む実空間において規則的に配置された既知のパターン６からの情報光を上記撮像と同時に取得する。
【００１８】
この撮像装置２は、互いに異なる視点から同一の撮影対象５を撮像するｎ台（ｎは２以上）のカメラ１１＿１〜１１＿ｎと、各カメラ１１＿１〜１１＿ｎより撮像された画像Ｐａ１,Ｐａ２,・・,Ｐａｎが供給されるＩＤ画像収録部１８と、ＩＤ画像収録部１８に接続されてなる画像補正部２０並びにＩＤ情報検出部２５と、ＩＤ情報検出部２５並びに画像補正部２０に接続されるパラメータ推定部２６と、画像補正部２０に接続されるマッチング部２９と、さらにこのマッチング部２９に接続される仮想視点画像生成部３０と、仮想視点画像生成部３０により生成された仮想視点画像Ｉｍａを図示しないディスプレイ上に表示し、又はネットワークを介して他の端末装置へ送信するための出力制御部３１と、各カメラ１１＿１〜１１＿ｎに対する仮想カメラの相対的な位置関係を示す相対位置情報を生成する情報生成部３３とを備えている。
【００１９】
カメラ１１＿１〜１１＿ｎは、図示しないカメラ制御部から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、このカメラ１１＿１〜１１＿ｎは、撮像した撮影対象５の光学像を、そのままＣＣＤへ入射させることにより、これを電気信号に変換する。このカメラ１１＿１〜１１＿ｎは、変換した電気信号により表される画像Ｐａ１,Ｐａ２,・・,ＰａｎをそれぞれＩＤ画像収録部１８へ供給する。
【００２０】
また、このカメラ１１＿１〜１１＿ｎは、パターン６からの情報光を上記撮像と同時に受光し、これを光電変換する。カメラ１１＿１〜１１＿ｎは、光電変換した電気信号として表されるＩＤ信号をそれぞれＩＤ画像収録部１８へ供給する。ちなみに、カメラ１１＿１〜１１＿ｎは、所望の撮影対象５に応じて撮影方向、撮影画角が固定された状態で設置されるが、固定視点である場合に限定されるものではなく、例えば、ユーザから入力される情報に基づき、これら撮影方向、撮影画角を自在に変更するようにしてもよい。
【００２１】
図２は、この撮影対象５を含む実空間を互いに異なる撮影方向から撮像するカメラ１１＿１〜１１＿ｎの配置例を示している。この図２に示すように、カメラ１１＿１〜１１＿ｎは、固定視点とする場合において、撮影対象５を中心として互いに円弧を描くように配設される。これにより、各カメラ１１＿１〜１１＿ｎの光軸を同一の撮影対象５における同一位置に合わせる場合においても、撮像距離を揃えることができ、後段における画像内挿により生成される画像の違和感を解消することができる。ちなみに、このカメラ１１＿１〜１１＿ｎは、図２の如く１列に並べて配設する場合のみならず、２列以上に並べてもよい。
【００２２】
ＩＤ画像収録部１８は、各カメラ１１＿１〜１１＿ｎから送信される画像Ｐａ１〜ＰａｎやＩＤ信号をそれぞれ図示しないメモリ等に格納する。ＩＤ画像収録部１８は、所定のタイミングに基づいて画像Ｐａ１〜Ｐａｎを後段の補正部２０へ送信する。また、ＩＤ画像収録部１８は、所定のタイミングに基づいてＩＤ信号をＩＤ情報検出部２５へ送信する。
【００２３】
補正部２０は、各カメラ１１＿１〜１１＿ｎから送信される画像Ｐａ１〜Ｐａｎにつき幾何学的な画像補正を施すための幾何学的画像補正部２１＿１,２１＿２,・・,２１＿ｎと、これら幾何学的画像補正部２１＿１〜２１＿ｎにより画像補正が施された画像を正規化するための正規化処理部２４とを備えている。
【００２４】
幾何学的画像補正部２１＿１〜２１＿ｎは、パラメータ推定部２６から送信される、上記カメラ１１＿１〜１１＿ｎの幾何学的な位置関係を含むパラメータに基づいて、各画像Ｐａ１〜Ｐａｎを補正する。
【００２５】
正規化処理部２４は、各幾何学的画像補正部２１＿１〜２１＿ｎにおいて補正された画像がそれぞれ供給され、これらにつき幾何学的正規化処理を施す。この正規化処理部２４は、各カメラにより撮像された各画像Ｐａ１〜Ｐａｎの法線方向を合わせる。即ち、この正規化処理部２４は、各画像Ｐａ１〜Ｐａｎの法線方向を仮想的に設定された仮想平面πの法線方向に合わせることによりこれを正規化し、それぞれ正規化画像Ｐｍ１,Ｐｍ２,・・,Ｐｍｎを生成する。かかる場合において、正規化処理部２４は、各カメラ１１＿１〜１１＿ｎにより撮像された各画像Ｐａ１〜Ｐａｎを上記仮想平面πへ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面πの法線方向に合わせる。
【００２６】
ＩＤ情報検出部２５は、ＩＤ画像収録部１８から送信されるＩＤ信号から各種情報を取得する。また、このＩＤ情報検出部２５は、この取得したＩＤ信号間の対応付けを行う。ＩＤ情報検出部２５は、これらの対応付け処理の結果をカメラパラメータ推定部２６へ通知する。
【００２７】
カメラパラメータ推定部２６は、ＩＤ情報検出部２５からの対応付け処理の結果に基づいて、各カメラ１１＿１〜１１＿ｎの特性を示す内部パラメータ、及び／又は上記各カメラ間の幾何学的な位置関係を示す外部パラメータを推定する。カメラパラメータ推定部２６は、上記撮像時に生じる歪み要因を示す歪曲収差パラメータを推定する。カメラ推定部２６は、これら推定した各パラメータを補正部２０へ送信する。
【００２８】
ちなみに、これらＩＤ情報検出部２５並びにカメラパラメータ推定部２６は、カメラ１１＿１〜１１＿ｎとしていわゆる固定視点カメラを適用する場合には、予め画像Ｐａ１〜Ｐａｎの法線方向を取得するようにしてもよい。また、各カメラ１１＿１〜１１＿ｎの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、ＩＤ情報検出部２５並びにカメラパラメータ推定部２６においてこれらをデータ化し、画像を正規化する際にこれらのデータを制御情報に含めるようにしてもよい。これにより、仮想カメラの位置に応じて撮影方向等を順次変更しつつ撮像を行う場合においても柔軟に対応することができる。
【００２９】
また、このＩＤ情報検出部２５並びにカメラパラメータ推定部２６において、これらのデータを図示しないＲＯＭやＲＡＭへ格納しておくことにより、補正部２０は、状況に応じて随時これらを参照することができ、高速な補正処理を実現することができる。
【００３０】
マッチング部２９は、正規化処理部２４において生成された正規化画像Ｐｍ１〜Ｐｍｎがそれぞれ供給される。このマッチング部２９は、これら正規化画像Ｐｍ１〜Ｐｍｎを構成する各画素位置につき対応関係を求める。
【００３１】
このマッチング部２９では、例えば、上記撮影対象５としてユーザａの顔を捉えているときに、これら対応付けは、ユーザａの顔を構成する同一の箇所にある画素位置と輝度成分を正規化画像Ｐｍｎ間で抽出して対応をとるようにする。例えば正規化画像Ｐｍ１,Ｐｍ２間で対応付けを行う場合には、図３に示すように、正規化画像Ｐｍ１のエピポーラ線Ｌ１上にある画素Ｐ１１の対応点については、正規化画像Ｐｍ２のエピポーラ線Ｌ１’上に存在することとなり、そのＬ１’上を探索することにより、最も類似する画素位置Ｐ１１’を対応点として検出することができる。ちなみにマッチング部２９は、この対応付けにつき特徴抽出した箇所のみについて実行してもよいし、正規化画像Ｐｍ１,Ｐｍ２を構成する全ての画素に対して実行してもよい。
【００３２】
情報生成部３３は、画素位置毎に対応関係を求める際に必要な情報を生成し、これをマッチング部２９へ供給する。情報生成部３３は、この生成すべき相対位置情報をカメラ１１＿１〜１１＿ｎから被写体としてのユーザａに至るまでの距離を識別し、これに基づく視差情報を生成するようにしてもよい。かかる距離の識別については、各カメラ１１＿１〜１１＿ｎにより生成された画像情報からDepth情報を取得することにより実行してもよい。
【００３３】
また、この情報生成部３３は、生成すべき相対位置情報をユーザａのディスプレイ５ａに対する視線方向に基づいて生成してもよい。かかる場合において情報生成部３０は、カメラ１１＿１〜１１＿ｎから供給される画像Ｐａ１〜Ｐａｎからユーザａの視線方向を取得し、これに基づいて相対位置情報を生成する。これにより、いわば仮想カメラの撮影方向をユーザａの視線方向に合わせ込むことと同様の処理を実現することができる。
【００３４】
仮想視点画像生成部３０は、マッチング部２９により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部３０は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部３３より生成された相対位置情報に応じて、新たに生成すべき仮想視点画像Ｉｍａを構成する画素位置並びにその輝度成分を求める。仮想視点画像生成部３０は、求めた画素位置並びにその輝度成分により構成される仮想視点画像Ｉｍａを出力制御部３１へ供給する。
【００３５】
パターン６は、図４に示すように、白黒の市松模様等に代表されるような所定の幾何学的形状に対応させて規則的に配列された光ビーコン６１により構成されている。即ち、このパターン６を白黒の市松模様として構成した場合には、かかる白黒領域の境界や交点等にこの光ビーコン６１を設置する。そして、この市松模様に応じた情報光を各光ビーコン６１から発振させる。
【００３６】
ここで、光ビーコン６１を図４に示すようにパターン６上にある白黒領域の交点に配列した場合に、それぞれ光ビーコン６１ａ,・・,６１ｈと定義する。各光ビーコン６１ａ〜６１ｈは、かかる交点位置の座標に応じた情報光を発振する。これら情報光を受信したカメラ１１＿１〜１１＿ｎは、結果として白黒の市松模様からなるパターン画像を取得することと同等の効果を得ることができる。
【００３７】
図５(a)は、パターン６の実空間設置時までにＩＤ信号を予め蓄積しておく光ビーコン６１ａの構成を示している。この光ビーコン６１ａは、データ保存用メモリ６２と、このデータ保存用メモリ６２に接続されてなる点滅制御部６３と、点滅制御部６３に接続される光源６４とを備えている。
【００３８】
データ保存用メモリ６２は、光ビーコン６１ａの情報光として重畳するためのＩＤ信号を所定のアドレスに格納する。このデータ保存用メモリ６２に格納されているＩＤ信号は、図示しない制御部による制御の下、順次読み出されて点滅制御部６３へ供給されることになる。
【００３９】
点滅制御部６３は、データ保存メモリ６２から供給されるＩＤ信号の内容に基づいて光源を点滅させるためのデバイスである。また、光源６４は、点滅制御部６３による制御に基づいて高速に点滅する光源であり、可視光に限定されることなく、赤外光を発光するようにしてもよい。この光源６４からＩＤ信号の内容が重畳された情報が発振されることになる。ちなみにこの情報光の点滅周期は、カメラ１１＿１〜１１＿ｎにおいてこれを受光するセンサの周波数に支配されることになる。なお、シャノンの標本化定理により、カメラ１１＿１〜１１＿ｎのセンサのサンプリングレートは、光源の点滅周期の２倍以上が必要とされることから、以下の説明では、光源の点滅周期がセンサのサンプリングレートの３倍である場合を例にとり説明をする。
【００４０】
図５(b)は、撮影中においても送信するＩＤ信号を順次変更可能な光ビーコン６１ｂを示している。この光ビーコン６１ｂは、外部通信を実現するためのデータ送受信部６５と、このデータ送受信部６５に接続されてなる点滅制御部６３と、点滅制御部６３に接続される光源６４とを備えている。なお、上述した光ビーコン６１ａと同一の構成については同一の番号を付して説明を省略する。
【００４１】
データ送受信部６５は、データ通信用のドライバやＩＣ等により構成され、通信路６７を介してＩＤ信号を受信する。このデータ送受信部６５により受信されたＩＤ信号は、そのまま点滅制御部６３へ出力され、上述の如く光源６４を点滅させることになる。
【００４２】
通信路６７は、有線又は無線による通信回線であり、例えば電話回線、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）、ＲＳ−４２２、ＲＳ−２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４等である。
【００４３】
このような構成からなる光ビーコン６１をパターン６上に設けることにより、事前に格納されたＩＤ信号に加えて、通信路６７を介して随時供給されるＩＤ信号を情報光に重畳させることができる。また、これらＩＤ信号を白黒の市松模様からなるパターン画像が構成されるように定義することにより、これらを含む情報光を受信したカメラ１１＿１〜１１＿ｎは、当該パターン画像を撮影中においてもリアルタイムに取得することができる。このため、状況に応じてパターン画像を変化させる必要が生じた場合であっても、カメラ１１＿１〜１１＿ｎ側において、これを随時取得することができる。
【００４４】
図６は、これら情報光を受光するとともに画像を撮像するためのカメラ１１の構成を示している。
【００４５】
カメラ１１＿１〜１１＿ｎは、受光部４１と、この受光部４１に接続される画像信号処理部４２とを備えており、画像信号処理部４２は、受光部４１により光電変換された電気信号を増幅するための増幅部４３と、この増幅部４３に接続されてなる画像処理部４４並びにフレームメモリ４５と、フレームメモリ４５に対して順次接続される比較部４６,デコード処理部４７とを備えている。
【００４６】
受光部４１は、ＣＣＤ等に代表されるようなイメージセンサの２次元の受光アレイであるが、かかる場合に限定されるものではなく、例えばＣＭＯＳ(Complementary Metal-Oxide Semicondactor)等のように低消費電力であり演算回路を持たせることができるセンサを適用することにより、点滅周期の短い情報光を高速に受光するとともに、増幅部４３,フレームメモリ４５,比較部４６のような演算回路をこれに実装することにより、回路構成をより簡略化することができる。
【００４７】
図７(a)は、かかる受光部４１の詳細な構成を示している。この受光部４１は、レンズ系４１１と、同時撮像センサ４１２と、制御部４１３とを備えている。互いに同一方向から受光部４１に対して入射される上記画像Ｐｍを構成するための撮像光並びに情報光は、レンズ系４１１を介して光束を制御され、それぞれ同一の同時撮像センサ４１２により光電変換される。ちなみに、レンズ系４１１におけるズームや撮像時における同期については、制御部４１３により随時制御されることになる。
【００４８】
図７(b)は、かかる撮像光並びに情報光が互いに異なる方向から入射される受光部４１の詳細な構成を示している。この受光部４１は、レンズ系４１１と、同時撮像センサ４１２と、制御部４１３に加え、さらにプリズム４１４を備えている。
【００４９】
プリズム４１４は、互いに異なる方向から入射される撮像光及び情報光が入射される。この図７(b)に示す例では、入射された撮像光をそのまま直進させ、情報光の伝搬方向を折り曲げることにより、同一のレンズ系４１１に入射されるように制御される。即ち、この受光部４１は、情報光や撮像光の入射角が異なる場合であっても、このプリズム４１４を配設することにより対応することが可能となる。なお、このプリズム４１４を例えばハーフミラー等に代替してもよいことは勿論である。
【００５０】
カメラ１１＿１〜１１＿ｎの構成の説明に戻る。増幅部４３は、センサにより光電変換された電気信号を増幅する。この増幅部４３により増幅された電気信号により表される画像Ｐａ１〜Ｐａｎを画像処理部４４及びフレームメモリ４５へ供給し、また増幅部４３により増幅された電気信号として表されるＩＤ信号をフレームメモリ４５へ供給する。
【００５１】
画像処理部４４は、増幅部４３より供給される画像Ｐａ１〜Ｐａｎにつきカラーの復元処理（デモザイク処理）、ガンマ補正、オートホワイトバランス処理等を施す。画像処理部４４は、これらの各処理が施された画像Ｐａ１〜Ｐａｎを上述したＩＤ画像収録部１８へ送信する。
【００５２】
フレームメモリ４５は、２フレーム以上の画像間においてＩＤ信号等の比較演算を行うべく、増幅部４３より供給される画像Ｐａ１〜Ｐａｎを格納するためのメモリである。このフレームメモリ４５は、例えば４フレームを格納することができるように構成される。
【００５３】
比較部４６は、フレームメモリ４５から読み出した複数フレーム間につきＩＤ信号の差分値を求める。この比較部４６は、求めた差分値を所定の閾値と比較した結果を出力する。本実施の形態においては、この比較部４６において４フレーム間で差分値を比較する。
【００５４】
デコード処理部４７は、比較部４６における比較結果が通知される。このデコード処理部４７は、ＩＤ信号の復元及びエラー検出処理を行う。デコード処理部４７は、これら復元したＩＤ信号並びにその座標に関する情報をＩＤ画像収録部１８へ送信する。
【００５５】
なお、上述したカメラ１１＿１〜１１＿ｎの構成では、あくまで同一の同時撮像センサ４１２により撮像光と情報光を取得する場合を例にとり説明をしたが、かかる場合に限定されるものではなく、例えば図８に示すように互いに異なるセンサによりそれぞれの光を受光する受光部１４１を適用するようにしてもよい。
【００５６】
この受光部１４１は、例えば図８(a)に示すように、レンズ系４１１と、プリズム４１５と、画像撮像センサ４１６と、ＩＤ撮像センサ４１７と、受光部全体を制御する制御部４１３を備えている。互いに同一方向から受光部１４１に対して入射される撮像光並びに情報光は、レンズ系４１１を介して光束を制御された後、プリズム４１５によりそれぞれ分離される。ここで撮像光はこのプリズム４１５をそのまま直進して画像撮像センサ４１６により光電変換される。また情報光はプリズム４１５により光路が折り曲げられＩＤ撮像センサ４１７により光電変換される。
【００５７】
図８(b)は、かかる撮像光並びに情報光が互いに異なる方向から入射される受光部１４１の詳細な構成を示している。この受光部１４１は、レンズ系４１１と、プリズム４１５と、画像撮像センサ４１６と、ＩＤ撮像センサ４１７と、制御部４１３に加え、さらにプリズム４１８を備えている。
【００５８】
プリズム４１８は、互いに異なる方向から入射される撮像光及び情報光が入射される。この図８(b)に示す例では、入射された撮像光をそのまま直進させ、情報光の伝搬方向を折り曲げることにより、同一のレンズ系４１１に入射されるように制御される。即ち、この受光部１４１は、情報光や撮像光の入射角が異なる場合であっても、このプリズム４１８を配設することにより対応することが可能となる。
【００５９】
次に、この撮像装置２における具体的な動作につき説明をする。
【００６０】
撮影対象５（ユーザａ）は、カメラ１１＿１〜１１＿ｎにより互いに異なる角度から撮影される。このような画像Ｐａ１〜Ｐａｎは、カメラ１１＿１〜１１＿ｎ内の同時撮像センサ４１２を介して取得される。その結果、カメラ１１＿１〜１１＿ｎにより生成される画像Ｐａ１〜Ｐａｎ上の撮影対象５の向きや明るさは、互いに異なる状態となる。
【００６１】
また、この撮影対象５の撮像と同時にパターン６上に配置された光ビーコン６１からＩＤ信号が重畳された情報光が発振される。かかる情報光に重畳されるＩＤ信号は、カメラ１１＿１〜１１＿ｎ側において安定した受信を実現できるように、光ビーコン６１においてマンチェスタ符号化される。このマンチェスタ符号化は、例えば、データ“０”に対してＩＤ信号を“１０”とし、またデータ“１”に対してＩＤ信号を“０１”とする符号化であり、これを用いることにより、光ビーコン６１が有効なＩＤ信号を送信している間は、必ず光の輝度変化が生じていることになる。
【００６２】
例えば固定長８ビットのデータからなるＩＤ信号をフレーム単位で送信する場合には、図９に示すように、１フレームの先頭であることを受信側に知らせるためのスタートコード領域６８にビット“０００１”を割り当てる。またＩＤ信号は、上述したスタートコード領域６８に続く送信データ領域６９において“１００１００１０”からなる８ビットデータをマンチェスタ符号化した１６ビットデータで割り当てる。
【００６３】
図１０は、これら１６ビットデータとしてのＩＤ信号に基づいて、上記情報光に重畳させるための点滅信号を生成する例を示している。この図１０に示すように、固定長８ビットのデータをマンチェスタ符号化した１６ビットデータは、“Ｈｉ”と“Ｌｏｗ”からなる点滅信号に変換される。これら点滅信号が重畳された情報光を受光する同時撮像センサ４１２のサンプリングレートは、光源の点滅周期よりも大きいことから、情報光を受光することにより得られるセンサ出力としてこれを捉えることができる。
【００６４】
同時撮像センサ４１２により光電変換される各画像Ｐａ１〜ＰａｎやＩＤ信号は、例えば図１１に示すように、１／３０秒毎のフレーム単位で切り替えられて構成される。画像Ｐａ１〜画像Ｐａｎが割り当てられる画像フレームと、ＩＤ信号が割り当てられるＩＤフレームとを１対１で対応させることにより、画像Ｐａ１〜Ｐａｎの１フレーム毎に応じたＩＤ信号を割り当てることができる。ちなみに、これら各画像Ｐａ１〜Ｐａｎ並びにＩＤ信号は、この図１１に示すように時間で区切る場合に限定されるものではない。
【００６５】
同時撮像センサ４１２により、各画像Ｐａ１〜Ｐａｎを１５ｆｐｓで、またＩＤ信号を１５ｆｐｓで取得することになる。なお、このＩＤ信号については、図１１に示すように、ＩＤデコード処理区間５０１とＩＤ重心区間５０２の２つに分けられる。
【００６６】
これらＩＤ信号は、デコード処理部４７において上述したＩＤデコード処理区間５０１を介してデコードされる結果、図１０に示すようなｂ０,ｂ１,ｂ２,ｂ３,ｂ４,ｂ５,ｂ６,ｂ７の各ビットにおいて“１００１００１０”からなる８ビットデータを復元することができる。
【００６７】
このように復元されたＩＤ信号は、ＩＤ画像収録部１８を介してＩＤ情報検出部２５へ送信される。このＩＤ情報検出部２５において、各カメラ１１＿１〜１１＿ｎにおいて取得されたＩＤ信号は、互いに対応付けされる。例えばカメラ１１＿１により取得されたＩＤ信号と、カメラ１１＿２により取得されたＩＤ信号との間で対応付けを行う場合には、例えば図１２に示すように、カメラ１１＿１により取得されたＩＤ信号に基づくＩＤ観測画像と、カメラ１１＿２により取得されたＩＤ信号に基づくＩＤ観測画像を生成する。得られるＩＤ観測画像の光ビーコン６１ａ〜６１ｈに応じた位置６２ａ〜６２ｈの輝度データは、互いに異なるＩＤ信号が上記情報光に重畳される結果、互いに異なるものとなる。
【００６８】
次に、各ＩＤ観測画像につき、カメラ１１＿１によるＩＤ観測画像上の各位置８１ａ〜８１ｈに割り振られたＩＤ信号並びにその座標を検出する。同様に、カメラ１１＿１によるＩＤ観測画像上の各位置８１ａ’〜８１ｈ’に割り振られたＩＤ信号並びにその座標を検出する。そして検出したＩＤ信号につき、互いのＩＤ観測画像における同一座標位置８１ａ〜８１ｈ、８１ａ’〜８１ｈ’毎に対応付けを行う。
【００６９】
カメラパラメータ推定部２６では、これらＩＤ観測画像における対応付け処理の結果に基づき、例えば特開２０００−３５０２３９号公報や、特開平１１−５３５４９号公報に示されているカメラキャリブレーション手法に基づくパラメータ化を行う。カメラパラメータ推定部２６は、歪曲収差パラメータとして歪み係数κ、歪み中心（ｃｘ,ｃｙ）アスペクト比ｓｘを求める。また、このカメラパラメータ推定部２６は、内部パラメータとして、換言すればカメラ１１＿１〜１１＿ｎ固有のパラメータとして、ｕ軸スケール因子αと、ｖ軸スケール因子βと、画像中心（ｕ０,ｖ０）を求める。更に、このカメラパラメータ推定部２６は、外部パラメータＲｔとして、回転行列Ｒや並進ベクトルｔを求める。これら推定された各パラメータを補正部２０へ送信される。
【００７０】
このような各パラメータが送信される補正部２０では、これらに基づいて、ＩＤ画像収録部１８から供給される各画像Ｐａ１〜Ｐａｎを補正する。即ち、幾何学的画像補正部２１において、各画像Ｐａ１〜Ｐａｎは、送信されたパラメータに基づいて、各カメラ１１＿１〜１１＿ｎからの画像Ｐａ１〜Ｐａｎを射影変換することにより基準となる画像へ合わせ込まれる。輝度成分等についても同様にカメラ１１＿１〜１１＿ｎからの画像Ｐａ１〜Ｐａｎ間において輝度の誤差が最小となるような射影変換行列を用いることにより互いの調整が図られることになる。
【００７１】
これら幾何学的画像補正部２１において補正された各画像Ｐａ１〜Ｐａｎは、正規化処理部２４へ供給されると以下に示される方法に基づいて正規化されることになる。
【００７２】
図１３は、各カメラ１１＿１〜１１＿ｎにより撮像した画像Ｐａ１〜Ｐａｎのうち、画像Ｐａ１,Ｐａ２を正規化する場合につき示している。この図１３に示されるように、各カメラ１１ａ,１２ａの光学中心Ｃ１,Ｃ２により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行うと、これにより生成される画像Ｐａ１,Ｐａ２は、各カメラ１１ａ,１２ａの撮像面に対して平行となる。ここで各カメラ１１ａ,１２ａと、Ｍ点を結ぶ直線の方向は、各カメラにより撮像された各画像Ｐａ１,Ｐａ２の法線方向ｋ１,ｋ２に一致するが、これらは互いに異なる方向を指している。これら各画像Ｐａ１,Ｐａ２の法線方向ｋ１,ｋ２が同一方向となるように幾何学的正規化を行うことにより、画像面が互いに平行な正規化画像Ｐｍ１,Ｐｍ２を作り出す。
【００７３】
この幾何学的正規化は、パラメータ推定部２６において求められた射影行列Ｐ１,Ｐ２を用いて、内部パラメータＡ、回転行列Ｒ、転移行列ｔを推定することにより実現する。その結果、補正後の画像撮像面の法線方向ｋ１’,ｋ２’が平行化された正規化画像Ｐｍ１,Ｐｍ２を生成することができる。
【００７４】
正規化処理部２４において上述の如く射影変換された正規化画像Ｐｍ１,Ｐｍ２は、マッチング部２９において撮影対象と関連させつつ、画素位置毎に対応付けされる。本発明においては、マッチング部２９の前段にある正規化処理部２４において予め正規化され、エピポーラ線が平行化されているため、画素探索のロバスト性を向上させることができる。
【００７５】
ちなみに、これら正規化画像Ｐｍ１とＰｍ２につき、このマッチング部２９において対応付けを行う場合において、図１３に示すように正規化画像Ｐｍ１のエピポーラ線Ｌ１上にある画素Ｐ１１の対応点については、正規化画像Ｐｍ２のエピポーラ線Ｌ１’上に存在することとなり、そのＬ１’上を探索することにより、対応点としての画素Ｐ１１’を検出することができる。
【００７６】
例えば図１４(a)に示すように、被写体としてのユーザａがそれぞれ写し出された正規化画像Ｐｍ１におけるエピポーラ線Ｌ１上の画素と、正規化画像Ｐｍ２におけるエピポーラ線Ｌ１’上の画素とを対応付けする場合に、エピポーラ線Ｌ１上の特徴点の点列Ｒ１を左から順に｛ａ１,ａ２,ａ３,ａ４,ａ５｝とし、またエピポーラ線Ｌ１’の特徴点の点列Ｒ２を左から順に｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とする。ここで、互いのエピポーラ線Ｌ１,Ｌ１’上にある特徴点Ｒ１,Ｒ２を被写体との関係において対応付けるとき、先ず、ａ１に対してＬ１’上の特徴点はｂ１が該当し１：１で対応することとなるが、ユーザａの右耳を構成する特徴点ａ２,ａ３に対してＬ１’上の特徴点はｂ２が該当し、２：１で対応することとなる。同様に、ユーザａの左耳を構成する特徴点ａ４に対してＬ１’上の特徴点はｂ３,ｂ４が該当し、１：２で対応することとなる。なお、ａ５に対してＬ１’上の特徴点はｂ５が該当し１：１で対応することとなる。
【００７７】
このように、異なる視点から撮像することにより得られる正規化画像Ｐｍ１,Ｐｍ２では、被写体からカメラに至るまでの距離に基づく視差により、ユーザａの耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の正規化画像に表示されている被写体の対応点が他方の正規化画像にて隠れてしまうため、従来と同様に、｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けてしまうと、誤差が生じることになる。
【００７８】
このため、本発明を適用した画像処理装置２ａにおけるマッチング部２９では、かかる視差を識別することにより、図１４(a)に示される正規化画像の特徴点の点列Ｒ１,Ｒ２を、結果的に図１４(b)に示されるように｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ２）、（ａ４, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けられるように制御する。
【００７９】
具体的には、各正規化画像Ｐｍ１,Ｐｍ２におけるエピポーラ線上にある全ての画素につき、図１４(c)に示すようなDynamic Programming（ＤＰ：最短経路探索）を利用した動的な対応付けを行う。
【００８０】
この図１４(c)におけるｘ軸にエピポーラ線Ｌ１上の特徴点の点列Ｒ１｛ａ１,ａ２,ａ３,ａ４,ａ５｝を配列し、またｙ軸をエピポーラ線Ｌ１’上の特徴点の点列Ｒ２｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とするとき、図１４(b)に示される対応関係をこのグラフにあてはめると、図１４(c)に示される太線で示される経路をとることになる。以下、この太線で示される対応点を結ぶ直線を最適経路という。
【００８１】
この最適経路において右上に線形増加する場合には、エピポーラ線Ｌ１,Ｌ１’上を左から右へシフトさせて対応付けする際に、互いの特徴点を１：１で順次シフトさせて対応させることを示している。右上に線形増加する最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ１, ｂ１）から左から右へそれぞれ一つずつシフトさせることにより特徴点（ａ２, ｂ２）を正確に対応付けすることができる。
【００８２】
また、この最適経路において水平方向にシフトする場合には、正規化画像Ｐｍ１,Ｐｍ２間において視差が生じた結果、正規化画像Ｐｍ１において示されている特徴点が正規化画像Ｐｍ２において隠れてしまったことを示唆している。かかる場合には、正規化画像Ｐｍ２上にある１の特徴点に対して、正規化画像Ｐｍ１上にある複数の特徴点を対応付ける。この水平方向にシフトする最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ２, ｂ２）においてユーザａの右耳を示すｂ２は、上述した視差により更にａ３とも対応するため、ｂ２をそのまま維持しつつこれにａ３を対応付ける。
【００８３】
また、この最適経路において垂直方向へシフトする場合には、正規化画像Ｐｍ１,Ｐｍ２間において視差が生じた結果、正規化画像Ｐｍ２において示されている特徴点が正規化画像Ｐｍ１において隠れてしまったことを示唆している。かかる場合には、正規化画像Ｐｍ１上にある１の特徴点に対して、正規化画像Ｐｍ２上にある複数の特徴点を対応付ける。この垂直方向にシフトする最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ４, ｂ３）においてユーザａの左耳を示すａ４は、上述した視差により更にｂ４とも対応するため、ａ４をそのまま維持しつつこれにｂ４を対応付ける。
【００８４】
マッチング部２９は、これら対応付けを、互いの正規化画像Ｐｍ１,Ｐｍ２を構成する全てを構成する、或いは一部を構成するエピポーラ線Ｌ１,Ｌ１’間において実行する。そしてエピポーラ線Ｌ１,Ｌ１’毎に上述した最適経路を求めることにより、特徴点の点列Ｒ１,Ｒ２間における対応付けを行う。
【００８５】
図１５は、エピポーラ線Ｌ１,Ｌ１’上の任意の特徴点（ｘ,ｙ）に至るまでの最適経路を求める場合につき示している。
【００８６】
この特徴点（ｘ,ｙ）に至る最適経路は、特徴点（ｘ−１,ｙ−１）から左から右へそれぞれ一つずつシフトさせることにより図１５に示されるグラフにおいて右上に線形増加し、或いは特徴点（ｘ−１,ｙ）においてｙをそのまま維持しつつ水平方向に１シフトさせることにより図１５に示されるグラフにおいて特徴点（ｘ−１,ｙ）から水平方向へ移動する。さらに、この特徴点（ｘ,ｙ）に至る最適経路は、特徴点（ｘ,ｙ−１）においてｘをそのまま維持しつつ垂直方向へ１シフトさせることにより図１５に示されるグラフにおいて特徴点（ｘ,ｙ−１）から垂直方向へ移動することになる。
【００８７】
即ち、特徴点（ｘ,ｙ）を通る最適経路は、図１５に示すグラフにおいて、その左,左下,下に位置する特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）の何れかを経ることになる。本発明マッチング部２９は、何れの特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）を経て特徴点（ｘ,ｙ）へ至るのかにつき、以下に説明する関数を順次求めてゆくことにより決定する。
【００８８】
マッチング部２９は、以下に示すマッチングコスト関数ｄ（ｘ,ｙ）と、動的なオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求め、求めた各関数に応じて上述した最適経路を求める。マッチングコスト関数ｄ（ｘ,ｙ）は、対応関係を求める各画素位置間における輝度成分及び色成分の類似度を示す関数であり、またオクリュージョンコスト関数ｄｘ（ｘ,ｙ）は、正規化画像Ｐｍ１の正規化画像Ｐｍ２に対する被写体画像の隠れ度合いを示す関数であり、またオクリュージョンコスト関数ｄｙ（ｘ,ｙ）は、正規化画像Ｐｍ２の正規化画像Ｐｍ１に対する被写体画像の隠れ度合いを示す関数である。これらオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、被写体の各画像間における視差が反映される形となる。
【００８９】
先ず、マッチングコスト関数ｄ（ｘ,ｙ）を求める方法につき説明をする。
【００９０】
ｄ（ｘ,ｙ）につき、比較する輝度成分又は色成分のうち何れに重み付けをするか決定する。この重み付けは、重み付け係数αを用いて、以下の式（１）に基づいて行う。
ｄｋ（ｓ,ｔ）＝α×ｄＹｋ（ｓ,ｔ）＋（１−α）ｄＣｋ（ｓ,ｔ）・・・・・（１）
ここで（ｓ,ｔ）は、特徴点（ｘ,ｙ）に対応する正規化画像Ｐｍ１、正規化画像Ｐｍ２における画素位置を表している。またｋは、正規化画像Ｐｍ１、正規化画像Ｐｍ２の何行目に該当するかを示している。この式（１）においてｄＹｋ（ｓ,ｔ）は、正規化画像Ｐｍ１と正規化画像Ｐｍ２との座標（ｓ,ｔ）間における輝度成分の差分絶対値を表し、以下の（２）式で定義される。
ｄＹｋ（ｓ,ｔ）＝｜Ｙ１ｋ（ｓ,ｔ）−Ｙ２ｋ（ｓ,ｔ）｜・・・・・（２）
また、この式（１）においてｄＣｋ（ｓ,ｔ）は、正規化画像Ｐｍ１と正規化画像Ｐｍ２との間における色成分の差分絶対値を表し、以下の（３）式で定義される。
ｄＣｋ（ｓ,ｔ）＝｜Ｃ１ｋ（ｓ,ｔ）−Ｃ２ｋ（ｓ,ｔ）｜・・・・・（３）
即ち、上記式（１）においてαをより高く設定することにより、求めるｄｋ（ｓ,ｔ）につき、輝度成分の差分絶対値ｄＹｋ（ｓ,ｔ）の成分をより反映させることができる。また上記式（１）においてαをより小さく設定することにより、求めるｄｋ（ｓ,ｔ）につき、色成分の差分絶対値ｄＣｋ（ｓ,ｔ）の成分をより反映させることができる。ちなみに、このαについては、色成分のマッチングコストと、輝度成分のマッチングコストとの平均値を割り当てるようにしてもよい。
【００９１】
ｄ（ｘ,ｙ）は、（１）式により求められるｄｋ（ｓ,ｔ）に基づいて、更に以下の（４）式により求められる。
ｄ（ｘ,ｙ）＝（Σｄｋ（ｓ,ｔ））／２Ｋ      ｋ＝−Ｋ，・・，Ｋ−１
・・・・・・・・・（４）
この（４）式は、エピポーラ線の上下に位置する各画素との間で平均をとることにより、ｄ（ｘ,ｙ）を求めることができることを意味している。この（４）式により、求めるｄ（ｘ,ｙ）につきエピポーラ線の上下に位置する各画素との相関関係を反映させることができる。これにより対応付け精度を大幅に向上させることが可能となる。
【００９２】
即ち、上述の方法により求められるマッチングコストｄ（ｘ,ｙ）は、正規化画像Ｐｍ１と正規化画像Ｐｍ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差分絶対値が大きくなるにつれて増加する。換言すれば、正規化画像Ｐｍ２と正規化画像Ｐｍ１の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差異が大きくなるにつれて増加し、またこれらが類似するにつれて小さくなる。即ち、このマッチングコストｄ（ｘ,ｙ）により、正規化画像Ｐｍ１と正規化画像Ｐｍ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度を識別することが可能となる。
【００９３】
次にオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求める方法につき説明をする。
【００９４】
これら各オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、情報生成部３３におより生成される視差情報に基づいて生成される。カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が小さくなるにつれて（視差が大きくなるにつれて）、オクリュージョン領域の発生する確率が高くなる。かかる場合において、マッチング部２９は、オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を下げることにより対応する。一方、カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が長くなるにつれて（視差が小さくなるにつれて）、オクリュージョン領域の発生する確率が小さくなる。かかる場合において、マッチング部２９は、オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を上げることにより対応する。
【００９５】
各オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、以下の式（５）、（６）に基づいて求めることができる。
ｄｘ（ｘ,ｙ）＝β×ｄｐ（ｘ,ｙ）＋Ｔ０・・・・・・・・（５）
ｄｙ（ｘ,ｙ）＝γ×ｄｐ（ｘ,ｙ）＋Ｔ１・・・・・・・・（６）
ここで、ｄｐ（ｘ,ｙ）は、上記取得される視差情報に支配され、視差がより大きくなるにつれて減少し、また視差がより小さくなるにつれて増加する。β、γは、ｄｐ（ｘ,ｙ）の変化率を表しており、予め実験的に求めることができる。またＴ０、Ｔ１は、初期オクリュージョンコスト定数であり、これについても予め実験的に求めることができる。
【００９６】
マッチング部２９は、これら各関数ｄｘ（ｘ,ｙ）,ｄ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求めた後、それぞれ以下の式（７）〜式（９）に基づいて累積マッチングコストＣ（ｘ−１,ｙ）,Ｃ（ｘ−１,ｙ−１）,Ｃ（ｘ,ｙ−１）を加算し、総コストｋ１,ｋ２,ｋ３を算出する。
ｋ１＝Ｃ（ｘ−１,ｙ）＋ｄｘ（ｘ,ｙ）・・・・・・・・（７）
ｋ２＝Ｃ（ｘ−１,ｙ−１）＋ｄ（ｘ,ｙ）・・・・・・・（８）
ｋ３＝Ｃ（ｘ,ｙ−１）＋ｄｙ（ｘ,ｙ）・・・・・・・・（９）
ここでＣ（ｘ−１,ｙ）,Ｃ（ｘ−１,ｙ−１）,Ｃ（ｘ,ｙ−１）は、それぞれ特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）において求められた累積マッチングコストを示している。ちなみに、特徴点（ｘ,ｙ）における累積マッチングコストＣ（ｘ,ｙ）は、以下の式（１０）に示すように、求めたｋ１,ｋ２,ｋ３の中から最小となるものが割り当てられる。
Ｃ（ｘ,ｙ）＝ｍｉｎ｛ｋ１,ｋ２,ｋ３｝・・・・・・・（１０）
マッチング部２９は、求めた総コストｋ１,ｋ２,ｋ３の中から最小となるものを選択することにより最適経路を求める。
【００９７】
ここで、ｋ１が最小となる場合には、視差が大きくなることにより、正規化画像Ｐｍ１において示されている特徴点が正規化画像Ｐｍ２において遮蔽されたことを意味している。かかる場合には、図１５矢印Ｊ１に示すように特徴点（ｘ−１,ｙ）から水平方向にシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。
【００９８】
またｋ３が最小となる場合には、視差が大きくなることにより、正規化画像Ｐｍ２において示されている特徴点が正規化画像Ｐｍ１において遮蔽されたことを意味している。かかる場合には、図１５矢印Ｊ３に示すように、特徴点（ｘ,ｙ−１）から垂直方向にシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。
【００９９】
即ち、このマッチング部２９では、上記各正規化画像Ｐｍ１,Ｐｍ２間における対応関係を求める際に、識別した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付ける。これにより、オクリュージョン領域が存在する場合においてもより正確な対応付けを行うことができる。また、上述の手法に基づいて対応付けを行うことにより、例えば両目部分等の繰り返しパターンや、輝度変化が殆ど生じないいわゆる非特徴点（例えば壁の部分）においても対応付けの精度を向上させることができる。
【０１００】
仮想視点画像生成部３０では、上述の如くマッチング部２９において求められた対応関係に基づいて、仮想視点画像Ｉｍａを生成する。例えばマッチング部２９において、正規化画像Ｐｍ１における画素位置Ｐ１１に対して、正規化画像Ｐｍ２における画素位置Ｐ１１’がその対応点として特定されていた場合に、かかる画素位置Ｐ１１の座標を図１６に示すように（ｘ１,ｙ１）とし、また画素位置Ｐ１１’の座標を（ｘ２,ｙ２）とする。仮想視点画像生成部３１は、かかる画素位置Ｐ１１、Ｐ１１’に対応する仮想視点画像Ｉｍａ上の画素位置の座標（ｘｔ,ｙｔ）を、相対位置情報としてのｍに基づいて以下の式（１１）により決定することができる。
（ｘｔ,ｙｔ）＝（１−ｍ）×（ｘ１,ｙ１）＋ｍ×（ｘ２,ｙ２）・・・（１１）
また画素位置Ｐ１１、Ｐ１１’における輝度成分をそれぞれＪ１１, Ｊ１１’としたときに、かかる仮想視点画像Ｉｍａ上の画素位置Ｐｈにおける輝度成分Ｐｔを以下の式（１２）により決定することができる。
【０１０１】
Ｐｔ＝（１−ｍ）×Ｊ１１＋ｍ×Ｊ１１’ ・・・（１２）
このように仮想視点画像生成部３１は、仮想視点画像Ｉｍａを構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのｍに応じて決定することができる。
【０１０２】
ここでｍは、仮想カメラにおける仮想視点がカメラ１１ａに近くなるにつれて小さくなり、また仮想視点がカメラ１２ａに近くなるにつれて大きくなる。
【０１０３】
このため、式（１１）に基づいて決定される座標（ｘｔ,ｙｔ）は、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の座標（ｘ１,ｙ１）に近づき、また仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１２の座標（ｘ２,ｙ２）に近づくことになる。即ち、座標（ｘｔ,ｙｔ）を、仮想カメラの位置に応じて自在に決定することができるため、仮想視点画像Ｉｍａ上に表示させるユーザａの位置を自在に変化させることができる。
【０１０４】
また、式（１２）に基づいて決定される輝度成分Ｐｔは、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の輝度成分Ｊ１１に近づき、仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１１’の輝度成分Ｊ１１’に近づくことになる。即ち、仮想カメラの位置に応じて、仮想視点画像Ｉｍａ上のユーザａを構成する画素を輝度成分Ｊ１１、又は輝度成分Ｊ１１’に近づけることができる。
【０１０５】
特に、カメラ１１ａとカメラ１２ａは互いに撮影方向が異なるため、正規化画像Ｐｍ１上にある画素位置Ｐ１１と、これに対応する正規化画像Ｐｍ２上にある画素位置Ｐ１１’との間では、輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのｍに応じて輝度成分Ｐｔを線形に増減させることにより、仮想カメラの位置に応じて仮想視点画像Ｉｍａ上に表示させるユーザａを構成する画素の輝度成分を決定することが可能となる。また、この生成される仮想支点画像Ｉｍａは、上述したマッチング部２９において対応付けられた関係に基づいて生成されるため、得られる画像の画質劣化をより減少させることができる。
【０１０６】
上述のようにして画素位置Ｐｈにおける座標（ｘｔ,ｙｔ）並びにその輝度成分Ｐｔを順次決定することにより、生成した仮想視点画像Ｉｍａは、表示されるユーザａの視線方向、顔の向き等は互いに異なっていた正規化画像Ｐｍ１,Ｐｍ２に対して、常時正面を向いている状態となる。
【０１０７】
即ち、本発明を適用した撮像システム１においては、複数のカメラ１１＿１〜１１＿ｎにより互いに異なる視点から画像Ｐａ１〜Ｐａｎを撮像するとともに、規則的に配置された既知のパターン６からの情報光を上記撮像と同時に受光する。そして、撮像した各画像を情報光に基づいて補正する。これにより、本発明を適用した撮像システム１では、パターン６を利用したキャリブレーションを得られる画像Ｐａ１〜Ｐａｎ毎にリアルタイムに行うことができる。
【０１０８】
これにより、事前に行ったキャリブレーションを基にカメラの位置や倍率等を固定することなく、被写体や周囲の環境の変化にリアルタイムに対応したキャリブレーションを実現することができるため、臨場感の高い仮想視点画像やそれを利用した魅力的なコンテンツを作成することが可能となる。
【０１０９】
また本発明を適用した撮像システム１では、実際に撮像された画像から特徴点を随時判別することなく、光ビーコン６１から発せられるＩＤ信号に基づきキャリブレーションを行うことができるため、得られる画像から特徴点を抽出するステップを省略することができることから、撮影環境へのリアルタイムに対応を実現することができる。
【０１１０】
本発明を例えばテレビ会議システムに適用する場合に、図１７に示すＡ地点に設置された撮像装置２において生成された仮想視点画像Ｉｍａは、出力制御部３１による制御の下、ネットワーク７へ送出される。そしてＢ地点にある相手側の画像処理装置１２０へ送信された仮想視点画像Ｉｍａは、ディスプレイ５ｂ上へ表示されることになる。ユーザｂは、ディスプレイ５ｂに表示される仮想視点画像Ｉｍａ上のユーザａを視認しつつ対話をすることになるが、ユーザａの顔、視線方向は正面を向いている状態にあるため、あたかも画面中央付近に設置された仮想カメラで撮像されたような画像を視認しているような感覚を味わうことができる。ユーザａについても同様にディスプレイ５ａに表示される仮想視点画像Ｉｍｂ上のユーザｂを視認しつつ対話をすることになるが、正面を向いているユーザｂを視認することができる。即ち、この通信システム１では、いわば対話するユーザ間において常時視線を一致させたビジュアルコミュニケーションを実現することができ、よりリアルで臨場感のある遠隔対話を実現することができる。
【０１１１】
また、本発明では、ハーフミラーやホログラムスクリーン、更にはプロジェクタ等のような特殊装置を用いる必要もなく、簡易で安価なシステムを構成することができる。
【０１１２】
なお、本発明を適用した通信システムは、上述した実施の形態に限定されるものではなく、例えば図１８に示すように、得られた画像につき複眼立体視を可能とすべく処理を施すための撮像システム７に適用してもよい。この撮像システム７において上述した通信システム１と同一の構成については、当該同一の番号を付して説明を省略する。
【０１１３】
この撮像システム７は、互いに異なる視点から同一の撮影対象５を撮像するｎ台（ｎは２以上）のカメラ１１＿１〜１１＿ｎと、各カメラ１１＿１〜１１＿ｎより撮像された画像Ｐａ１〜Ｐａｎが供給されるＩＤ画像収録部１８と、ＩＤ画像収録部１８に接続されてなる画像補正部２０並びにＩＤ情報検出部２５と、ＩＤ情報検出部２５並びに画像補正部２０に接続されるパラメータ推定部２６と、画像補正部２０に接続されるマッチング部２９と、さらにこのマッチング部２９に接続される仮想視点画像生成部３０と、立体視ディスプレイ８０を視認するユーザの頭部位置を検出し、これに基づいてユーザの相対的な視点位置を推定するための両眼位置推定部７５と、両眼位置推定部７５により推定されたユーザの視点位置に応じて、立体視ディスプレイ８０に対するユーザの視点位置における相対的な位置関係を示す相対位置情報を生成する情報生成部７６と、マッチング部２９並びに情報生成部７６にそれぞれ接続されてなり、ユーザの左眼により視認される左眼用視差画像と、ユーザの右眼により視認される右眼用視差画像とを生成する仮想視点画像生成部３０と、仮想視点画像生成部３０により生成された左眼用視差画像と右眼用視差画像とを、接続された立体視ディスプレイ８０上へ表示させるための表示制御部７９とを備えている。
【０１１４】
両眼位置推定部７５は、立体視ディスプレイ８０を視認するユーザの頭部における３次元的な位置やサイズを、当該立体視ディスプレイ８０との間で相対的に検出する。この両眼位置推定部７５は、例えばステレオ視方式やレンジファインダ方式に基づいてリアルタイムな位置検出を行う距離計測装置等により適用される。この両眼位置推定部７５は、検出したユーザの頭部における３次元的な位置やサイズに基づき、三次元空間座標の下、ユーザの左眼位置並びに右眼位置を推定する。この両眼位置の推定については、例えば、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照しつつリアルタイムに実行するようにしてもよい。
【０１１５】
情報生成部７６は、両眼位置推定部７５において推定された、ユーザの左眼位置並びに右眼位置をパラメータ化した相対位置情報を生成し、これを仮想視点画像生成部３０へ送信する。
【０１１６】
仮想視点画像生成部３０は、マッチング部２９により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部３０は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部７６より生成された相対位置情報に応じて、上記仮想視点画像Ｉｍａの代替として、左眼用視差画像並びに右眼用視差画像を生成する。
【０１１７】
表示制御部７９は、仮想視点画像生成部３０により生成された左眼用視差画像と右眼用視差画像につき、立体視ディスプレイ８０における表示方法に応じて、各画素位置における輝度レベル（ＲＧＢ）を割り当てる。
【０１１８】
立体視ディスプレイ８０は、液晶パネル上に光学素子を組み合わせ、互いに異なる左眼用視差画像と右眼用視差画像を表示させる表示面であり、ユーザに対して専用眼鏡の着用を義務付ける必要がない点において優れている。
【０１１９】
図１９(a)は、点線で示される撮影対象５に対する各カメラ７１の相対的な位置関係を、実線で示される立体視ディスプレイ８０に対するユーザの視点の位置関係にそのまま重ね合わせて表示したものである。立体視ディスプレイ８０では、この撮影対象５に対する各カメラ７１の光学中心の相対的な位置関係が、立体視ディスプレイ８０を視認するユーザの左眼、右眼の視点位置の位置関係に合致する場合のみ立体視が実現されることになる。
【０１２０】
ここで、座標（０,０,０）上に位置する撮影対象５のＭ点へカメラ７１＿１〜７１＿８の光軸を合わせて撮像を行う場合に、これに立体視ディスプレイ８０の中心を重ね合わせることにより、その中心の座標が原点（０,０,０）に位置するように設定する。また両眼位置推定部７５により計測されたユーザの頭部位置の座標（ｘｎ,ｙｎ,ｚｎ）をこの原点座標（０,０,０）に基づき特定する。ちなみにユーザの頭部位置をいかに定義するかについては、撮像システム７側において任意に決定することができるが、例えば、ユーザの眉間中心を頭部位置として定義するようにしてもよい。
【０１２１】
仮にユーザの頭部が位置Ａにあるとき、両眼位置推定部７５はその座標（ｘａ,ｙａ,ｚａ）を特定する。またユーザの頭部が位置Ｂにあるとき、両眼位置推定部７５はその座標（ｘｂ,ｙｂ,ｚｂ）を特定する。またユーザの頭部が位置Ｃにあるとき、両眼位置推定部７５はその座標（ｘｃ,ｙｃ,ｚｃ）をそれぞれ特定する。ちなみに両眼位置推定部７５は、かかる座標の特定と同時に、ユーザの頭部のサイズを同時に識別する。
【０１２２】
両眼位置推定部７５は、これら特定したユーザの頭部位置（ｘｎ,ｙｎ,ｚｎ）の座標に基づき、ユーザの左眼位置並びに右眼位置を推定する。この推定は、例えば頭部位置Ａにつき特定した座標（ｘａ,ｙａ,ｚａ）と、識別したユーザ頭部のサイズに基づき、統計的な計測データを参照しつつ、図１９(b)に示すように、ユーザの左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）並びに右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）を推定する。これにより、立体視ディスプレイ２０の中心座標（０,０,０）に基づいた左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）並びに右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）を相対的に求めることが可能となる。
【０１２３】
ちなみに、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、それぞれ図１９(a)の点線で示されるカメラ７１＿１〜７１＿８の光学中心に位置している場合には、かかるカメラから取得される画像をそのまま左眼用視差画像と右眼用視差画像とすれば立体視が実現されることになる。しかし、それ以外の場合には、撮影対象５に対する各カメラ７１の相対的な位置関係から外れることになり、ユーザによる立体視の実現が困難となる。
【０１２４】
ここで、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、カメラ７１＿１〜７１＿８の光学中心以外に位置している場合であって、かつ図１９(a)に示すカメラ７１間の光学中心を結ぶラインＬｃ上に位置している場合には、左眼用視差画像（右眼用視差画像）を構成することのみで、かかる位置関係の調整を図る。
【０１２５】
例えば図２０に示すように、ユーザの頭部が位置Ｄにあり、また推定した左眼位置,右眼位置がそれぞれＶｃＬ１,ＶｃＲ１にあるとき、このＶｃＬ１,ＶｃＲ１に仮想的にカメラを設置して撮影対象５のＭ点（立体視ディスプレイ２０の中心座標（０,０,０）に相当する）を撮像した結果得られる画像が左眼用視差画像（右眼用視差画像）となるように調整する。
【０１２６】
かかる場合において、情報生成部７６は、上述の如く両眼位置推定部７５により推定された左眼位置ＶｃＬ１,右眼位置ＶｃＲ１をそれぞれ取得する。そして、この取得した左眼位置ＶｃＬ１を仮想的にカメラを設置する仮想位置ＷＬ１とし、これを実際に撮影対象５との間で相対的な位置関係を保ちつつ設置されているカメラ７１＿１〜カメラ７１＿８の位置関係に当てはめる。同様にして、取得した右眼位置ＶｃＲ１を仮想的にカメラを設置する仮想位置ＷＲ１とし、これを実際に撮影対象５との間で相対的な位置関係を保ちつつ設置されているカメラ７１＿１〜カメラ７１＿８の位置関係に当てはめる。
【０１２７】
例えば図２０に示すように、左眼位置ＶｃＬ１,右眼位置ＶｃＲ１の双方がカメラ７１＿４、７１＿５の間にある場合に、情報生成部７６は、カメラ７１＿４、７１＿５に対する左眼位置ＶｃＬ１並びに右眼位置ＶｃＲ１の位置関係を相対的に識別し、これに応じた相対位置情報としてｋＬ１、ｋＲ１をそれぞれ生成する。この相対位置情報としてのｋＬ１は、仮想位置ＷＬ１が、カメラ７１＿４から７１＿５にかけてｋＬ１：１−ｋＬ１の位置にあることを意味している。同様に、この相対位置情報としてのｋＲ１は、仮想位置ＷＲ１が、カメラ７１＿４から７１＿５にかけてｋＲ１：１−ｋＲ１の位置にあることを意味している。即ち、この相対位置情報としてのｋＬ１、ｋＲ１が小さくなるにつれて、仮想位置ＷＬ１,仮想位置ＷＲ１はカメラ７１＿４に近づき、またこの相対位置情報としてのｋＬ１、ｋＲ１が大きくなるにつれて仮想位置ＷＬ１,仮想位置ＷＲ１はカメラ７１＿５に近づくことになる。
【０１２８】
このため仮想視点画像生成部１８において、式（１１）に基づいて決定される左眼用視差画像（右眼用視差画像）上の画素ｍｖ’の座標（ｘｔ,ｙｔ）は、仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿４に近づくにつれて（ｘ１,ｙ１）に近づき、また仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿５に近づくにつれて（ｘ２,ｙ２）に近づくことになる。
【０１２９】
また、式（１２）に基づいて決定される左眼用視差画像（右眼用視差画像）上の画素ｍｖ’における輝度成分Ｐｔは、仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿４に近づくにつれてＪ１１に近づき、また仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿５に近づくにつれてＪ１１’に近づくことになる。
【０１３０】
得られた左眼用視差画像（右眼用視差画像）は、ＶｃＬ１（ＶｃＲ１）に仮想的にカメラを設置した結果得られる画像に相当する。これらを表示制御部７９を介して立体視ディスプレイ８０へ表示させることにより、推定した左眼位置,右眼位置ＶｃＬ１,ＶｃＲ１にカメラを設置した結果得られる画像を左眼用視差画像,右眼用視差画像として出力することができる。
【０１３１】
図２１は、これら左眼用視差画像（右眼用視差画像）の構成例につき示している。仮に撮影対象５が人物の顔である場合において、カメラ７１＿４,７１＿５においてこれを撮影する。かかる場合にカメラ７１＿４は、撮影範囲の右端付近において捉えた撮影対象５としての人物を撮像し、またカメラ７１＿５は、撮影範囲の左端付近において捉えた撮影対象５としての人物を、カメラ７１＿４と異なる視点から撮像することになる。その結果、カメラ７１＿４により撮像される画像は、図２１に示すように右端付近において右側を向いている人物が示されている状態となり、またカメラ７１＿５により撮像される画像は、左端付近において左側を向いている人物が示されている状態となる。
【０１３２】
相対位置情報としてのｋが小さい場合（ｋ１の場合）において、仮想位置ＷＬ１a（仮想位置ＷＲ１a）は、カメラ７１＿４により近くなる。またこの仮想位置ＷＬ１aにつき、上記（１１）,（１２）式から求められる左眼用視差画像（右眼用視差画像）は、カメラ７１＿４に近い内容となる。
【０１３３】
また相対位置情報がｋ２からｋ４へと徐々に大きくなるにつれて、仮想位置は、ＷＬ１b（仮想位置ＷＲ１b）からＷＬ１d（仮想位置ＷＲ１d）へと、徐々にカメラ７１＿５へ近くなる。これに伴って、左眼用視差画像（右眼用視差画像）に示される画像は、右端付近から左端付近へ徐々に移り、また人物が向いている方向も右から左へ徐々に変化することになる。
【０１３４】
なお、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、ラインＬｃ上に位置していない場合には、構成した左眼用視差画像（右眼用視差画像）の視野を拡大又は縮小することにより位置関係の調整を図るようにしてもよい。
【０１３５】
このような立体視を実現する撮像システム１において、視差によるオクリュージョン領域が発生する場合であっても、マッチング部２９により精度良く対応付けを行うことができる。このため、立体視ディスプレイ２０を視認するユーザの視点位置に支配されることなく、視差のズレを高精度かつスムーズに解消することができ、ユーザに対してより自然な立体画像を常時提供することが可能となる。
【０１３６】
また、上述したカメラ中心を結ぶ線上での任意の仮想視点画像生成を利用することにより、視差のズレ等を解消させたホログラム立体写真を作成することも可能となる。
【０１３７】
また、本発明を適用した撮像システム１を更に図２２に示すようなスポーツ興業等を行うスタジアムに設置してもよいことは勿論である。かかる場合において、グラウンドに上述した光ビーコン６１を埋め込み、各カメラ１１＿１〜１１＿ｎにより、実際のプレーを撮影するとともに、これら光ビーコン６１からの情報光を受光する。もちろん、グラウンドではなく、例えば、スタジアムの天井に上述した光ビーコン６１を埋め込み、図７に示すようなカメラユニットで光ビーコン６１からの情報光と選手を同時に撮影することも可能である。これにより、事前に行ったキャリブレーションを基にカメラの位置や倍率等を固定することなく、試合展開にリアルタイムに対応したキャリブレーションを実現することができるため、臨場感のスポーツ中継を実現することが可能となる。
【図面の簡単な説明】
【０１３８】
【図１】本発明を適用した撮像装置の構成を示す図である。
【図２】カメラの配列につき説明するための図である。
【図３】マッチング部における画像間対応付けにつき説明するための図である。
【図４】本発明を適用した撮像システムにおいて配置されるパターンにつき説明するための図である。
【図５】光ビーコンの構成の詳細につき説明するための図である。
【図６】カメラのシステム構成につき示す図である。
【図７】受光部の構成例につき説明するための図である。
【図８】受光部の他の構成例につき説明するための図である。
【図９】ＩＤ信号の詳細につき説明するための図である。
【図１０】１６ビットデータとしてのＩＤ信号に基づいて、情報光に重畳させるための点滅信号を生成する例を示す図である。
【図１１】各画像やＩＤ信号をフレームで構成する例につき説明するための図である。
【図１２】ＩＤ信号間の対応付け並びに各パラメータを推定するまでの手順につき示す図である。
【図１３】各画像Ｐａ１,Ｐａ２の法線方向を合わせる正規化につき説明するための図である。
【図１４】エピポーラ線Ｌ１,Ｌ１’上の任意の特徴点（ｘ,ｙ）に至るまでの最適経路を求める場合につき示す図である。
【図１５】正規化画像Ｐｍ１と正規化画像Ｐｍ２におけるエピポーラ線Ｌ１,Ｌ１’上にある各特徴点の画素成分（輝度又は色成分）の対応関係を示す図である。
【図１６】仮想視点画像を作成する方法につき説明するための図である。
【図１７】本発明を双方向のテレビ会議、テレビ電話システムに適用する例を示す図である。
【図１８】３Ｄ画像を生成する撮像システムにおける構成につき示す図である。
【図１９】立体視を実現する例につき説明するための図である。
【図２０】ユーザの視点位置に応じて仮想的にカメラを設置する例につき説明するための図である。
【図２１】左眼用視差画像（右眼用視差画像）の構成例につき説明するための図である。
【図２２】本発明を適用した撮像システムをスポーツ興業等を行うスタジアムに設置する例を示す図である。
【符号の説明】
【０１３９】
１  撮像システム、２  撮像装置、５  撮影対象、６  パターン、１１  カメラ、１８  ＩＤ画像収録部、２０画像補正部、２５  ＩＤ情報検出部、２６  パラメータ推定部、２９  マッチング部、３０  仮想視点画像生成部、３１  出力制御部、３３  情報生成部
【図１】
2005174148.tif 000003
【図２】
2005174148.tif 000004
【図３】
2005174148.tif 000005
【図４】
2005174148.tif 000006
【図５】
2005174148.tif 000007
【図６】
2005174148.tif 000008
【図７】
2005174148.tif 000009
【図８】
2005174148.tif 000010
【図９】
2005174148.tif 000011
【図１０】
2005174148.tif 000012
【図１１】
2005174148.tif 000013
【図１２】
2005174148.tif 000014
【図１３】
2005174148.tif 000015
【図１４】
2005174148.tif 000016
【図１５】
2005174148.tif 000017
【図１６】
2005174148.tif 000018
【図１７】
2005174148.tif 000019
【図１８】
2005174148.tif 000020
【図１９】
2005174148.tif 000021
【図２０】
2005174148.tif 000022
【図２１】
2005174148.tif 000023
【図２２】
2005174148.tif 000024