(57)【要約】【課題】魚眼カメラを用いて特徴点の３次元位置を算出する３次元位置算出装置を提供する。【解決手段】３次元位置算出装置１０は、等距離射影方式の２台の魚眼カメラで撮影された画像から、それぞれ特徴点を抽出する特徴点抽出手段１２と、抽出された特徴点における画像特徴量が両画像間で最も類似する特徴点対において、両画像上を極座標で表したときのそれぞれの特徴点の動径の差である動径距離が所定の閾値よりも小さく、かつ、偏角の差である角度距離が所定の閾値よりも小さい特徴点対を同じ特徴点を指し示す特徴点対としてフィルタリングする特徴点フィルタリング手段１３と、フィルタリングされた特徴点対の両画像上の位置と、魚眼カメラの距離とにより、当該特徴点の３次元位置を計算する特徴点３次元位置計算手段１５と、を備える。【選択図】図２
2016114445.tif 000002
【特許請求の範囲】
【請求項１】
等距離射影方式の魚眼レンズを備えた２台の魚眼カメラで撮影された画像から、当該画像中の特徴点の３次元位置を算出する３次元位置算出装置であって、
前記２台の魚眼カメラで撮影された一方の画像と他方の画像とから、それぞれ画像特徴の変化する特徴点を抽出する特徴点抽出手段と、
この特徴点抽出手段で抽出された特徴点における画像特徴量が両画像間で最も類似する特徴点対において、前記両画像を極座標で表したときのそれぞれの特徴点の動径の差である動径距離が所定の閾値よりも小さく、かつ、偏角の差である角度距離が所定の閾値よりも小さい特徴点対を同じ特徴点を指し示す特徴点対としてフィルタリングする特徴点フィルタリング手段と、
この特徴点フィルタリング手段でフィルタリングされた特徴点対の両画像上の位置と、前記魚眼カメラの距離とにより、当該特徴点の３次元位置を計算する特徴点３次元位置計算手段と、
を備えることを特徴とする３次元位置算出装置。
【請求項２】
前記特徴点フィルタリング手段でフィルタリングされた複数の特徴点対の両画像上の位置から、前記他方の画像を前記一方の画像と平行化するための基本行列を求め、前記他方の画像の特徴点を前記基本行列により変換する校正手段を、さらに備え、
前記特徴点３次元位置計算手段が、変換後の特徴点対によって前記３次元位置を計算することを特徴とする請求項１に記載の３次元位置算出装置。
【請求項３】
前記特徴点３次元位置計算手段は、前記魚眼カメラの主点位置を通り、前記特徴点対のそれぞれの画像上の位置で特定される天頂角および偏角からなる方向ベクトルで表される２つの直線が最も近接する３次元位置を前記特徴点の３次元位置として計算することを特徴とする請求項１または請求項２に記載の３次元位置算出装置。
【請求項４】
コンピュータを、請求項１から請求項３のいずれか一項に記載の３次元位置算出装置として機能させるための３次元位置算出プログラム。
【請求項５】
照明環境を撮影するための等距離射影方式の魚眼レンズを備えた２台の魚眼カメラで撮影された画像から、前記照明環境で撮影される実写映像と合成するためのＣＧオブジェクトを生成するＣＧ合成装置であって、
前記２台の魚眼カメラで撮影された画像から、当該画像中の特徴点の３次元位置を算出する請求項１から請求項３のいずれか一項に記載の３次元位置算出装置と、
この３次元位置算出装置で算出された３次元位置を頂点とする三角メッシュごとに、当該三角メッシュ内の領域を、前記魚眼カメラのいずれかで撮影された画像中の当該三角メッシュの各頂点である特徴点で囲まれる領域に対応付けて、前記照明環境をモデル化した光源分布マップを生成する光源分布マップ生成手段と、
この光源分布マップ生成手段で生成された光源分布マップに基づいて、素材ＣＧデータを陰影処理して、前記ＣＧオブジェクトを生成する陰影処理手段と、
を備えることを特徴とするＣＧ合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼カメラを用いた３次元空間上のオブジェクトの位置を算出する３次元位置算出装置およびそのプログラム、ならびに、ＣＧ合成装置に関する。
【背景技術】
【０００２】
近年、ＣＧ（Computer Graphics）技術の発達に伴い、映画、テレビ番組等で、ＣＧオブジェクトと実写映像とを合成したＣＧ合成映像が用いられている。
このように、ＣＧオブジェクトと実写映像とを合成する場合、ＣＧオブジェクトを実写映像の照明条件に合わせる必要がある。
【０００３】
従来、実世界において、できるだけ広範囲からの光を取り込むため、２台の魚眼カメラで撮影された画像から、実光源環境をモデル化し、その環境でＣＧ合成を行う手法（以下、実光源計測手法）が開示されている（特許文献１、非特許文献１）。
この実光源計測手法は、まず、２台の魚眼カメラを光源方向に向け、光源の分布を撮影する。そして、この手法は、撮影された２つの画像から、マッチングする特徴点の３次元位置を求め、その特徴点を頂点とする三角メッシュを生成する。そして、この手法は、それぞれの三角メッシュごとに、撮影された画像から輝度を計算することで、光源分布の情報を、三角メッシュをつなぎ合わせたモデルで近似的に求めている。
なお、実光源計測手法は、それぞれの画像中心から３次元空間上の特徴点までの２直線の交差誤差が最小となる特徴点を、画像間でマッチングする特徴点として選択し、交差誤差が最小となる特徴点が複数存在する場合は、画像上のピクセル座標が最も近い特徴点を選択している。
【０００４】
このように複数の魚眼カメラで撮影された画像間で特徴点のマッチングをとる手法は、特許文献１、非特許文献１以外にも、種々提案されている（例えば、特許文献２，３、非特許文献２，３等）。
なお、特許文献２の手法は、特徴点の対応付けに、ＲＡＮＳＡＣ（RANdom SAmpleConsensus）を用いている。また、特許文献３の手法は、魚眼カメラで撮影された魚眼画像（全天画像）を平面展開し、ＳＳＤ（Sum of Squared Difference）の演算により特徴点のマッチングを行っている。また、非特許文献２の手法は、全特徴点を対象として、ＺＮＣＣ（正規化相互相関：Zero-mean Normalized Cross-Correlation）の演算により特徴点のマッチングを行っている。また、非特許文献３の手法は、特徴点の対応の誤差を最小化するためバンドル調整のアルゴリズムを用いている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１７５７６２号公報
【特許文献２】国際公開第２０１２／０６３４６７号
【特許文献３】国際公開第２００６／０７５５２８号
【非特許文献】
【０００６】
【非特許文献１】佐藤いまり, 佐藤洋一, 池内克史, “全方位ステレオによる実光源環境の計測とそれにもとづく仮想物体の実画像への重ね込み”, 電子情報通信学会論文誌D-II, J81-DII, No.5, pp.861-871, 1998年5月
【非特許文献２】M. Lhuillier, “Automatic Structure and Motion using a Catadioptric Camera”, Proc. IEEE Workshop OMNIVIS’05, 2005
【非特許文献３】E. Mouragnon, M. Lhuillier, M. Dhome, F. Dekeyser, P. Sayd,“Generic and Real-Time Structure from Motion”, Proc. BMVC, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、前記した実光源計測手法のように、魚眼カメラで撮影された画像上では、実世界で計測される距離が必ずしもそのまま反映されない。すなわち、魚眼カメラで撮影された画像（全天画像）は、画像中心と画像周縁とで画像上の距離が同じであっても、実世界の距離が異なっている。
そのため、従来のように、全天画像上の距離を指標として、特徴点のマッチングを行うと、誤マッチングを生じさせる可能性が高いという問題がある。
【０００８】
また、従来の手法は、特徴点マッチングを行う際に、全天画像を平面展開する必要があったり、多くの特徴点を対象としてＲＡＳＮＳＡＣ、ＳＳＤ、ＺＮＣＣ等の演算を行う必要があったり等、前処理や計算対象の多さによって、計算コストがかかってしまうという問題がある。
【０００９】
本発明は、このような問題に鑑みてなされたものであり、魚眼カメラを用いて特徴点の３次元位置を算出する際に、従来よりも、正確、かつ、計算コストの低い３次元位置算出装置およびそのプログラム、ならびに、魚眼カメラを用いたＣＧ合成装置を提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明に係る３次元位置算出装置は、等距離射影方式の魚眼レンズを備えた２台の魚眼カメラで撮影された画像から、当該画像中の特徴点の３次元位置を算出する３次元位置算出装置であって、特徴点抽出手段と、特徴点フィルタリング手段と、特徴点３次元位置計算手段と、を備える構成とした。
【００１１】
かかる構成において、３次元位置算出装置は、特徴点抽出手段によって、２台の魚眼カメラで撮影された一方の画像と他方の画像とから、それぞれ画像特徴の変化する特徴点を抽出する。この特徴点は、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）等によって抽出することができる。
【００１２】
そして、３次元位置算出装置は、特徴点フィルタリング手段によって、特徴点抽出手段で抽出された特徴点における画像特徴量が両画像間で最も類似する特徴点対において、両画像を極座標で表したときのそれぞれの特徴点の動径距離が所定の閾値よりも小さく、かつ、角度距離が所定の閾値よりも小さい特徴点対を同じ特徴点を指し示す特徴点対としてフィルタリングする。
なお、動径距離は、特徴点対の画像上の極座標における動径の差である。また、角度距離は、特徴点対の画像上の極座標における偏角の差である。
これによって、特徴点フィルタリング手段は、画像の中心から離れるほど、両画像間の視差が大きくなるという、魚眼カメラの特性に合わせた特徴点のマッチング判定を行うことができる。
【００１３】
そして、３次元位置算出装置は、特徴点３次元位置計算手段によって、特徴点フィルタリング手段を用いた後で、正しい特徴点のマッチングであると判定された特徴点対の両画像上の位置と、魚眼カメラ中心の距離とにより、三角測量の原理により、当該特徴点の３次元位置を計算する。
なお、３次元位置算出装置は、照明環境を撮影し、算出された特徴点の３次元位置により、照明環境をモデル化し、ＣＧオブジェクトを生成するＣＧ合成装置に組み込むことができる。
【発明の効果】
【００１４】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、２つの魚眼カメラで撮影された画像において、魚眼カメラの特性に合わせて、特徴点のマッチングを判定することができるため、誤マッチングを減らすことができ、特徴点の精度の高い３次元位置を求めることができる。
また、本発明によれば、特徴点のマッチング判定において、閾値判定を行うという簡易な方法であるため、計算コストを低く抑えることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る映像合成システムの全体構成を示す構成図である。
【図２】本発明の実施形態に係る３次元位置算出装置（３次元位置算出手段）を含むＣＧ合成装置の構成を示すブロック構成図である。
【図３】魚眼カメラで撮影された画像（全天画像）の座標系を説明するための説明図である。
【図４】閾値による特徴点のマッチング判定を説明するための説明図であって、（ａ）は本発明における動径および偏角の差を閾値とする例を示す図、（ｂ）は従来の単純距離を閾値とする例を示す図である。
【図５】２つの魚眼カメラで検出された特徴点の３次元位置を計算する三角測量の原理を説明するための説明図である。
【図６】三角測量の原理で使用する特徴点方向ベクトルを説明するための説明図であって、（ａ）は特徴点方向ベクトルの天頂角を説明するための図、（ｂ）は特徴点方向ベクトルの偏角を説明するための図である。
【図７】光源分布マップの役割を説明するための模式図である。
【図８】本発明の実施形態に係る３次元位置算出装置（３次元位置算出手段）を含むＣＧ合成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。
≪映像合成システムの全体構成≫
最初に、図１を参照して、本発明の実施形態に係る映像合成システムＳの全体構成について説明する。
【００１７】
映像合成システムＳは、スタジオカメラＣｓで撮影されるスタジオＳＴ内の実写映像と、ＣＧオブジェクトとを実写映像における照明条件に合わせて合成し、合成映像Ｄを生成するものである。ここでは、映像合成システムＳは、ＣＧ合成装置１と、実写ＣＧ合成装置３と、を備える。
【００１８】
ＣＧ合成装置１は、スタジオＳＴ内に予め設置した魚眼レンズを使用したセンサカメラ（以下、魚眼カメラＣＬ，ＣＲ）で撮影された画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）から、光源Ｌ等の照明環境をモデル化するとともに、合成対象となる素材ＣＧデータＣＧＤをその照明環境においてレンダリングすることで、ＣＧオブジェクト（ＣＧ画像）を生成するものである。なお、本明細書中、それぞれの魚眼カメラやその撮影画像を表すために、図面に合わせて便宜上“左”、“右”と表現しているが、これは単に“一方”、“他方”の意味を表しているにすぎない。
【００１９】
ここで、魚眼カメラＣＬ，ＣＲは、照明環境を撮影するため、天頂を撮影対象として、撮影画像が平行になるように所定の間隔で配置される。また、魚眼カメラＣＬ，ＣＲは、等距離射影方式のレンズを用い、同じ解像度であることとする。ここで、等距離射影方式とは、撮影した画像の中心からの距離と天頂角とが比例する方式である。
このＣＧ合成装置１は、生成したＣＧオブジェクトを実写ＣＧ合成装置３に出力する。このＣＧ合成装置１の構成および動作については、後で詳細に説明する。
【００２０】
実写ＣＧ合成装置３は、スタジオカメラＣＳで撮影された映像に、ＣＧ合成装置１で生成されたＣＧオブジェクトを合成するものである。なお、この実写ＣＧ合成装置３は、映像のフレームごとに、ＣＧオブジェクトを合成する一般的な合成装置である。
また、実写ＣＧ合成装置３に入力される映像を撮影するスタジオカメラＣＳは、スタジオＳＴ内で被写体を映像として撮影する、放送局等で使用される一般的なカメラである。
このように、映像合成システムＳは、ＣＧ合成装置１によって、実際の照明環境をＣＧオブジェクトに適用することで、視覚的に違和感のないＣＧを実写映像に合成することができる。
なお、ここでは、映像合成システムＳは、スタジオＳＴ内のシステムとして構成した例を示しているが、一般的な建物内部、あるいは、室外において構成することとしても構わない。
以下、ＣＧ合成装置１の構成および動作について詳細に説明する。
【００２１】
≪ＣＧ合成装置の構成≫
まず、図２を参照（適宜図１参照）して、本発明の実施形態に係るＣＧ合成装置１の構成について説明する。
図２に示すように、ＣＧ合成装置１は、３次元位置算出手段１０と、レンダリング手段２０と、を備える。
【００２２】
３次元位置算出手段１０は、魚眼カメラＣＬ，ＣＲで撮影されたそれぞれの画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）を入力し、画像内の特徴点を対応付けて、その特徴点の３次元位置を算出するものである。
ここでは、３次元位置算出装置１０は、画像入力手段１１と、特徴点抽出手段１２と、特徴点フィルタリング手段１３と、校正手段１４と、特徴点３次元位置計算手段１５と、を備える。
【００２３】
画像入力手段１１は、魚眼カメラＣＬ，ＣＲが撮影した画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）を入力するものである。ここでは、画像入力手段１１は、入力する魚眼カメラＣＬ，ＣＲに対応した左画像入力手段１１Ｌと、右画像入力手段１１Ｒと、を備える。すなわち、左画像入力手段１１Ｌは、魚眼カメラＣＬが撮影した左カメラ画像ＧＬを入力し、右画像入力手段１１Ｒは、魚眼カメラＣＲが撮影した右カメラ画像ＧＲを入力する。
この左画像入力手段１１Ｌおよび右画像入力手段１１Ｒは、入力した画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）を特徴点抽出手段１２に出力する。
【００２４】
特徴点抽出手段１２は、画像入力手段１１から入力された画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）から、それぞれの特徴点を抽出するものである。ここでは、特徴点抽出手段１２は、入力する画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）に対応した左画像特徴点抽出手段１２Ｌと、右画像特徴点抽出手段１２Ｒと、を備える。すなわち、左画像特徴点抽出手段１２Ｌは、左カメラ画像ＧＬから特徴点（左画像特徴点）を抽出し、右画像特徴点抽出手段１２Ｒは、右カメラ画像ＧＲから特徴点（右画像特徴点）を抽出する。
【００２５】
ここで、特徴点は、撮影された画像内の画像特徴の変化する点であって、例えば、隣接画素に対する画素値あるいは輝度値が変化する点である。なお、この特徴点は、一般的な手法を用いて抽出することができる。例えば、左画像特徴点抽出手段１２Ｌおよび右画像特徴点抽出手段１２Ｒは、ＳＩＦＴ、ＳＵＲＦ（Speeded Up Robust Features）等によって特徴点を抽出する。
この左画像特徴点抽出手段１２Ｌおよび右画像特徴点抽出手段１２Ｒは、抽出した特徴点（画像上の位置および特徴量）を特徴点フィルタリング手段１３に出力する。なお、特徴量は、例えば、ＳＩＦＴで特徴点を検出した場合、１２８次元のＳＩＦＴ特徴量である。
【００２６】
特徴点フィルタリング手段１３は、特徴点抽出手段１２の左画像特徴点抽出手段１２Ｌおよび右画像特徴点抽出手段１２Ｒで抽出された左画像特徴点と右画像特徴点との間の動径距離および角度距離に基づいて、対応する特徴点をフィルタリングするものである。
この特徴点フィルタリング手段１３は、左画像特徴点抽出手段１２Ｌおよび右画像特徴点抽出手段１２Ｒのそれぞれで抽出された特徴量（画像特徴量）が最も類似する左画像特徴点と右画像特徴点とに対して、動径距離および角度距離がそれぞれ所定の閾値を基準に、当該閾値を上回っているか、あるいは、下回っているかにより、特徴点をフィルタリングする。ここでは、特徴点フィルタリング手段１３は、動径距離が所定の閾値よりも小さく、かつ、角度距離が所定の閾値よりも小さい対応を、正しいマッチングとして採用する。
【００２７】
なお、特徴量が最も類似するとは、例えば、左画像特徴点と右画像特徴点との間の特徴量（例えば、ＳＩＦＴ特徴量）のユークリッド距離が最小となることをいう。
また、動径距離とは、画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）を極座標系で表したときの動径の距離（差）である。また、角度距離とは、画像を極座標系で表したときの偏角の距離（差）である。
これによって、特徴点フィルタリング手段１３は、予めＳＩＦＴ等によって特徴量が最も類似するとして対応している特徴点群から、誤マッチングを除去する。
そして、特徴点フィルタリング手段１３は、フィルタリングした、対応する特徴点（画像上の位置および特徴量）を、校正手段１４に出力する。
【００２８】
ここで、図３を参照して、特徴点フィルタリング手段１３が、マッチングの判定を行う基準となる動径距離および角度距離について説明する。図３は、左カメラ画像ＧＬ（全天画像）の座標系を示す図である。なお、右カメラ画像ＧＲについても同様である。
図３に示すように、左カメラ画像ＧＬの特徴点（左画像特徴点）の座標は、直交座標系で表した場合、ｐ＝（ｐｘ，ｐｙ）、極座標系で表した場合、動径ｒ、偏角θとして、ｐ＝（ｒｃｏｓθ，ｒｓｉｎθ）となる。
【００２９】
すなわち、特徴点フィルタリング手段１３は、左カメラ画像ＧＬおよび右カメラ画像ＧＲにおいて、極座標系で用いられる動径ｒおよび偏角θの距離により、特徴点のフィルタリングを行う。
ここで、距離計算を行う対象となる、左カメラ画像ＧＬの特徴点の座標をｐ＝（ｐｘ，ｐｙ）、図示を省略しているが、右カメラ画像ＧＲの特徴点の座標をｑ＝（ｑｘ，ｑｙ）とする。
このとき、特徴点フィルタリング手段１３は、２点間の動径の距離（動径距離ｒｄ）を、以下の式（１）により求める。
【００３０】
【数１】
2016114445.tif 000003
【００３１】
また、特徴点フィルタリング手段１３は、２点間の偏角の距離（角度距離θｄ）を、以下の式（２）により求める。
【００３２】
【数２】
2016114445.tif 000004
【００３３】
そして、特徴点フィルタリング手段１３は、以下の式（３）に示すように、動径距離ｒｄが閾値ｒｔｈｒｅｓｓｈｏｌｄよりも小さく、かつ、角度距離θｄが閾値θｔｈｒｅｓｓｈｏｌｄよりも小さい２点ｐ，ｑをマッチングする点とする。
【００３４】
【数３】
2016114445.tif 000005
【００３５】
なお、閾値ｒｔｈｒｅｓｓｈｏｌｄおよび閾値θｔｈｒｅｓｓｈｏｌｄは、以下の式（４）および式（５）で計算される値とする。
【００３６】
【数４】
2016114445.tif 000006
【００３７】
ここで、ｐｗｉｄｔｈは、画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）の横幅（画素数）、ｐｈｅｉｇｈｔは、同画像の縦幅（画素数）を示す（図３参照）。
また、ｒｐａｒｔｉｔｉｏｎは、画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）を極座標で表したときの動径ｒの分割数（動径分割数）を示し、θｐａｒｔｉｔｉｏｎは、同画像を極座標で表したときの偏角θの分割数（偏角分割数）を示す。
この動径分割数ｒｐａｒｔｉｔｉｏｎおよび偏角分割数θｐａｒｔｉｔｉｏｎは、画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）を動径および偏角で区分する細かさを示す指標であって、画像の解像度等に基づいて予め定められる。もちろん、これらの分割数は、外部から設定されることとしてもよい。
また、動径分割数ｒｐａｒｔｉｔｉｏｎは、閾値ｒｔｈｒｅｓｓｈｏｌｄが少なくとも魚眼カメラＣＬ，ＣＲの離間距離に相当する左カメラ画像ＧＬ，右カメラ画像ＧＲの視差以上となる値とする。
なお、特徴点フィルタリング手段１３は、さらに、対応する特徴点から、最小メジアン法等によって外れ値を除外しておくことが望ましい。
【００３８】
ここで、図４を参照して、特徴点フィルタリング手段１３が行う閾値によるマッチング判定について視覚的に説明する。なお、図４は、左カメラ画像ＧＬおよび右カメラ画像ＧＲを同一座標上で表している。
図４（ａ）に示すように、特徴点フィルタリング手段１３は、特徴点ｑａが特徴点ｐａにマッチングするか否かは、動径および偏角の差が、領域Ｂａの範囲であるか否かにより行う。
また、特徴点フィルタリング手段１３は、特徴点ｐａよりも動径が小さい位置に存在する特徴点ｐｂについては、領域Ｂａよりも範囲を狭くて、動径および偏角の差が、領域Ｂｂの範囲であるか否かにより行う。
これによって、特徴点フィルタリング手段１３は、動径が小さいほど、同じ特徴点であると判定する面積範囲を狭くし、動径が大きいほど、当該面積範囲を広げて、特徴点のマッチング判定を行う。
【００３９】
なお、参考までに、図４（ｂ）に、従来の画像上の単純距離によってマッチング判定を行う場合の閾値範囲について説明しておく。図４（ｂ）に示すように、従来は、たとえ動径距離が異なる特徴点ｐｃ，ｐｄであっても、同一の距離（同一半径の円領域Ｂｃ，Ｂｄ）の範囲で、特徴点のマッチングを行っていた。
このように、特徴点フィルタリング手段１３は、画像中心から離れる（動径が大きい）ほど、より多くの画素をマッチング判定の画素とすることで、魚眼カメラの特性に合わせて、対応する特徴点を精度よくフィルタリングすることができる。
図２に戻って、ＣＧ合成装置１の構成について説明を続ける。
【００４０】
校正手段１４は、特徴点フィルタリング手段１３でフィルタリングされた特徴点に基づいて、カメラ校正を行うものである。すなわち、校正手段１４は、左カメラ画像ＧＬと右カメラ画像ＧＲとが、魚眼カメラＣＬ，ＣＲの光軸が平行し、魚眼カメラ内の撮像素子の水平軸が一致するように、一方の画像（例えば、左カメラ画像ＧＬ）の特徴点を基準として、他方の画像（例えば、右カメラ画像ＧＲ）の特徴点の画像上の位置補正を行う。
【００４１】
この校正手段１４は、特徴点フィルタリング手段１３でフィルタリングされた対応（マッチング）する特徴点群から、一方の画像と他方の画像とが平行になるような基本行列を求め、両方の画像の特徴点の位置を基本行列により変換（回転）する。
この基本行列は、例えば、対応する少なくとも８点の特徴点により求めることができる。この基本行列を求める８点アルゴリズムについては、一般的なものであるため、ここでは説明を省略する。
この校正手段１４は、校正した後の対応する特徴点の位置（画像上の位置）を、特徴点３次元位置計算手段１５に出力する。
【００４２】
特徴点３次元位置計算手段１５は、校正後の画像上の対応する２点の特徴点の位置と、魚眼カメラＣＬ，ＣＲ間の距離とから、特徴点の３次元空間内での位置（特徴点３次元位置）を計算するものである。
【００４３】
具体的には、特徴点３次元位置計算手段１５は、図５に示すように、魚眼カメラＣＬ，ＣＲの主点位置から３次元空間上の特徴点（特徴点３次元位置Ｐ）までのベクトル（単位方向ベクトル）ｕ，ｖを求める。そして、特徴点３次元位置計算手段１５は、予め３次元空間上の位置が既知である魚眼カメラＣＬ，ＣＲ間の距離ｗと、ベクトルｕ，ｖとにより三角測量の原理で、特徴点の３次元空間内での位置（特徴点３次元位置Ｐ）を計算する。
なお、それぞれのベクトルは、魚眼カメラＣＬ，ＣＲで撮影された左カメラ画像ＧＬ，右カメラ画像ＧＲ（校正されている場合は、校正後の画像）の特徴点の座標から求めることができる。
【００４４】
ここで、図６を参照して、特徴点３次元位置計算手段１５が算出するベクトルについて説明する。なお、魚眼カメラＣＬ，ＣＲのベクトル算出は同じ手法であるため、ここでは、魚眼カメラＣＬを始点とするベクトルｕについて説明する。
魚眼カメラＣＬは等距離射影方式のカメラであることから、魚眼カメラＣＬの焦点距離をｆとしたとき、図６（ａ）に示すように、魚眼カメラＣＬの天頂方向のベクトルＴとベクトルｕとの角（天頂角Ｌθ１）と、画像（左カメラ画像ＧＬ）上の特徴点の座標ｐの動径ｒとには、以下の式（６）の関係が成り立つ。
【００４５】
【数５】
2016114445.tif 000007
【００４６】
また、図６（ｂ）に示すように、ベクトルｕを画像（左カメラ画像ＧＬ）上に投影したときの偏角Ｌθ２は、図３で説明したように、画像（左カメラ画像ＧＬ）を極座標系で表したときの偏角と同じである。
よって、特徴点３次元位置計算手段１５は、魚眼カメラＣＬに対応するベクトルｕを、天頂角Ｌθ１および偏角Ｌθ２で特定する。同様に、特徴点３次元位置計算手段１５は、魚眼カメラＣＲに対応するベクトルｖを、天頂角Ｒθ１および偏角Ｒθ２で特定する。
【００４７】
そして、特徴点３次元位置計算手段１５は、図５に示すように、魚眼カメラＣＬ，ＣＲ間の距離ｗと、ベクトルｕ（Ｌθ１，Ｌθ２），ｖ（Ｒθ１，Ｒθ２）とにより三角測量の原理で、特徴点の３次元空間内での位置（特徴点３次元位置Ｐ）を計算する。
なお、３次元空間内では、ベクトルｕ，ｖはねじれの関係になり、交点をもたない場合がある。そこで、特徴点３次元位置計算手段１５は、ベクトルｕ，ｖの最接近点を特徴点３次元位置Ｐとして計算する。
図２に戻って、ＣＧ合成装置１の構成について説明を続ける。
【００４８】
特徴点３次元位置計算手段１５は、計算で求めた特徴点３次元位置を、レンダリング手段２０に出力する。また、ここでは、特徴点３次元位置計算手段１５は、特徴点３次元位置に対応する魚眼カメラの画像（例えば、左カメラ画像ＧＬ）の特徴点の位置を、レンダリング手段２０に出力する。
【００４９】
これによって、３次元位置算出手段１０は、特徴点マッチングを行う際に、全天画像を平面画像に展開するような前処理を必要とせず、動径距離、角度距離の単純な閾値判定により、対応する特徴点のフィルタリングを行うため、計算コストを抑えることができる。また、３次元位置算出手段１０は、魚眼カメラの特性を考慮した距離（動径距離、角度距離）を用いるため、画像内の実際の距離により特徴点をフィルタリングする従来の手法に比べて、特徴点のマッチングを精度よく行うことができる。
【００５０】
レンダリング手段２０は、３次元位置算出手段１０で算出された特徴点３次元位置によって特定される照明環境をモデル化し、素材ＣＧデータからその照明環境に応じたＣＧ画像（ＣＧオブジェクト）を生成するものである。
ここでは、レンダリング手段２０は、光源分布マップ生成手段２１と、陰影処理手段２２と、を備える。
【００５１】
光源分布マップ生成手段２１は、３次元位置算出手段１０で算出された特徴点３次元位置から、照明環境の光源分布の情報を、特徴点３次元位置を頂点とする三角メッシュに対応付けて、光源分布マップを生成するものである。
すなわち、光源分布マップ生成手段２１は、特徴点３次元位置を頂点とする三角メッシュごとに、当該三角メッシュ内の領域を、光源分布画像（ここでは、左カメラ画像ＧＬのものとする）中の当該三角メッシュの各頂点である特徴点で囲まれる領域に対応付ける。
【００５２】
これによって、光源分布マップ生成手段２１は、三角メッシュごとに画像領域を対応付けて、照明環境となる光源分布マップを生成することができる。
この光源分布マップ生成手段２１は、モデル化した照明環境のデータである光源分布マップを陰影処理手段２２に出力する。
【００５３】
陰影処理手段２２は、光源分布マップ生成手段２１でモデル化された光源分布マップに基づいて、素材ＣＧデータＣＧＤを陰影処理して、実写映像に合成するためのＣＧオブジェクトを生成するものである。
この陰影処理手段２２は、ＣＧオブジェクトを配置する実空間（３次元空間）上の位置で、カメラ（スタジオカメラＣＳ）を視点位置とするＣＧオブジェクトを生成する。このとき、陰影処理手段２２は、素材ＣＧデータＣＧＤに、光源分布マップのそれぞれの三角メッシュ領域で特定される光源輝度に基づいて、陰影処理を施す。
【００５４】
この陰影処理手段２２において、陰影処理を行う際の光源分布マップの役割について簡単に説明する。
図７に示すように、光源分布マップＭは、照明環境を三角メッシュでモデル化したもので、個々の三角メッシュには、例えば、光源Ｌそのものの輝度情報や、光源Ｌの間接光の輝度情報が対応対けられている。
【００５５】
すなわち、陰影処理手段２２は、ＣＧ形状およびその形状に照射する光の方向に対応する三角メッシュの光源情報に基づいて、ＣＧオブジェクトの画素値を決定する。
この陰影処理手段２２における陰影処理は、一般的な手法を用いればよく、例えば、ＩＢＬ（Image Based Lighting）等の手法を用いればよい。
この陰影処理手段２２は、生成したＣＧオブジェクトを、実写ＣＧ合成装置３に出力する。
【００５６】
これによって、レンダリング手段２０は、３次元位置算出手段１０で算出された特徴点の３次元位置から、光源分布マップを生成し、実際の照明環境に合ったＣＧオブジェクトを生成することができる。
【００５７】
以上説明したように、ＣＧ合成装置１を構成することで、ＣＧ合成装置１は、魚眼カメラの特性に応じた特徴点のフィルタリングにより、特徴点のマッチングの精度を高め、より正確な照明環境をモデル化することができる。これによって、ＣＧ合成装置１は、実写映像に合成しても、違和感のないＣＧオブジェクトを生成することができる。
【００５８】
≪ＣＧ合成装置の動作≫
次に、図８を参照（適宜図１，図２参照）して、本発明の実施形態に係るＣＧ合成装置１の動作について説明する。
まず、ＣＧ合成装置１は、３次元位置算出手段１０の画像入力手段１１（左画像入力手段１１Ｌ，右画像入力手段１１Ｒ）によって、照明環境を撮影した魚眼カメラＣＬ，ＣＲから、撮影画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）を入力する（ステップＳ１）。
【００５９】
そして、ＣＧ合成装置１は、特徴点抽出手段１２（左画像特徴点抽出手段１２Ｌ，右画像特徴点抽出手段１２Ｒ）によって、ステップＳ１で入力された画像からＳＩＦＴ等により特徴点を抽出する（ステップＳ２）。
すなわち、左画像特徴点抽出手段１２Ｌが、左カメラ画像ＧＬから特徴点（左画像特徴点）を抽出し、右画像特徴点抽出手段１２Ｒが、右カメラ画像ＧＲから特徴点（右画像特徴点）を抽出する。
そして、ＣＧ合成装置１は、特徴点フィルタリング手段１３によって、ステップＳ２で抽出された、特徴量が最も類似する左画像特徴点と右画像特徴点とに対して、動径距離が所定の閾値よりも小さく、かつ、角度距離が所定の閾値よりも小さい対応を、正しいマッチングとして採用（フィルタリング）する（ステップＳ３）。
これによって、特徴点フィルタリング手段１３は、魚眼カメラの特性に合わせて、対応する特徴点を精度よくフィルタリングすることができる。
【００６０】
そして、ＣＧ合成装置１は、校正手段１４によって、カメラ校正による特徴点の位置補正を行う（ステップＳ４）。
すなわち、校正手段１４は、ステップＳ３でフィルタリングされたマッチングする特徴点群から、位置補正を行うための基本行列を求め、両画像（左カメラ画像ＧＬおよび右カメラ画像ＧＲ）の特徴点の画像上の位置補正を行う。
【００６１】
そして、ＣＧ合成装置１は、特徴点３次元位置計算手段１５によって、ステップＳ４の校正後の画像上の対応する２点の特徴点の位置と、魚眼カメラＣＬ，ＣＲ間の距離とから、特徴点の３次元空間内での位置（特徴点３次元位置）を計算する（ステップＳ５）。
このステップＳ５までの動作によって、魚眼カメラＣＬ，ＣＲが撮影した画像（左カメラ画像ＧＬ，右カメラ画像ＧＲ）から、特徴点の３次元位置を算出することができる。
【００６２】
その後、ＣＧ合成装置１は、レンダリング手段２０の光源分布マップ生成手段２１によって、ステップＳ５までの動作で算出された特徴点の３次元位置から、照明環境の光源分布の情報を、特徴点３次元位置を頂点とする三角メッシュに対応付けて、光源分布マップを生成する（ステップＳ６）。
これによって、実空間における照明環境がモデル化されることになる。
【００６３】
そして、ＣＧ合成装置１は、陰影処理手段２２によって、ステップＳ６で生成された光源分布マップに基づいて、素材ＣＧデータに陰影処理を施して、実写映像に合成するためのＣＧオブジェクトを生成する（ステップＳ７）。
これによって、ＣＧ合成装置１は、実空間の照明環境に合った、実写映像に合成されても違和感のないＣＧオブジェクトを生成することができる。
【００６４】
以上、本発明の実施形態に係るＣＧ合成装置１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、ＣＧ合成装置１の構成として、３次元位置算出手段１０と、レンダリング手段２０と、を備える構成としたが、これらは独立して構成してもよい。
すなわち、３次元位置算出手段１０を３次元位置算出装置、レンダリング手段２０をレンダリング装置として分離して構成してもよい。
【００６５】
また、ここでは、ＣＧ合成装置１の３次元位置算出手段１０は、校正手段１４を備える構成としたが、予め魚眼カメラＣＬ，ＣＲが校正された状態で配置されたものであれば、校正手段１４を構成から省略しても構わない。
また、逆に、魚眼カメラＣＬ，ＣＲが無校正な状態で配置されたものであれば、画像入力手段１１と特徴点抽出手段１２との間に、カメラ校正を行う第２の校正手段を備えることとしてもよい。
この場合、第２の校正手段は、例えば、一方の画像（例えば、左カメラ画像ＧＬ）を基準として、他方の画像（例えば、右カメラ画像ＧＲ）が最も類似するように、当該他方の画像を回転させることとする。
【００６６】
以上説明したＣＧ合成装置１およびその変形例は、コンピュータを前記した各手段として機能させるプログラム（ＣＧ合成プログラム）で動作させることができる。
また、ＣＧ合成装置１を、３次元位置算出装置およびレンダリング装置として分離して構成する場合、３次元位置算出装置は、コンピュータを、先に説明した３次元位置算出手段１０の各手段として機能させるプログラム（３次元位置算出プログラム）で動作させることができる。また、レンダリング装置は、コンピュータを、先に説明したレンダリング手段２０の各手段として機能させるプログラム（レンダリングプログラム）で動作させる。また、これらのプログラムは、記録媒体に記録して配布したり、通信回線を介して配布したりすることも可能である。
【符号の説明】
【００６７】
Ｓ      映像合成システム
１      ＣＧ合成装置
１０    ３次元位置算出手段（３次元位置算出装置）
１１    画像入力手段
１１Ｌ  左画像入力手段
１１Ｒ  右画像入力手段
１２    特徴点抽出手段
１２Ｌ  左画像特徴点抽出手段
１２Ｒ  右画像特徴点抽出手段
１３    特徴点フィルタリング手段
１４    校正手段
１５    特徴点３次元位置計算手段
２０    レンダリング手段（レンダリング装置）
２１    光源分布マップ生成手段
２２    陰影処理手段
ＣＬ    魚眼カメラ
ＣＲ    魚眼カメラ
【図１】
2016114445.tif 000008
【図２】
2016114445.tif 000009
【図３】
2016114445.tif 000010
【図４】
2016114445.tif 000011
【図５】
2016114445.tif 000012
【図６】
2016114445.tif 000013
【図７】
2016114445.tif 000014
【図８】
2016114445.tif 000015