(57)【特許請求の範囲】
【請求項１】
複数の撮像手段により取得した複数の映像からなる多視点映像と、基準となる撮像手段の位置姿勢を推定可能なセンサが出力するセンサ情報を使用して複数の撮像手段の位置姿勢の推定を行う映像データ処理方法であって、
前記センサ情報を使用して、前記基準となる撮像手段により取得した映像の一つの時刻の画像である基準フレームと、該基準フレームと異なる時刻の画像である参照フレームとの間の前記撮像手段の位置姿勢変位を推定する位置姿勢変位推定ステップと、
前記基準フレーム上の点の三次元情報を前記参照フレーム上の対応する点の位置と前記位置姿勢変位に基づき推定する三次元情報推定ステップと、
前記基準フレームと、他の撮像手段により取得した映像中の前記基準フレームと同じ時刻の画像である対象フレームの間で、前記三次元情報を使用して前記他の撮像手段の位置姿勢を推定する位置姿勢推定ステップと
を有することを特徴とする映像データ処理方法。
【請求項２】
前記位置姿勢推定ステップは、
前記基準フレームと、前記対象フレームとの間で、前記基準となる撮像手段と前記他の撮像手段との間のスケール不定の相対位置姿勢を推定し、前記三次元情報に基づき前記スケール不定の相対位置姿勢のスケールを決定することを特徴とする請求項１に記載の映像データ処理方法。
【請求項３】
前記位置姿勢推定ステップは、
前記基準フレームと、前記対象フレームとの間で、前記三次元情報に基づく前記基準となる撮像手段から前記他の撮像手段への投影誤差が最小となる相対位置姿勢を推定することを特徴とする請求項１に記載の映像データ処理方法。
【請求項４】
前記三次元情報は深度情報であり、
前記三次元情報推定ステップは、
前記基準フレームと前記参照フレーム上の対応する点の深度情報を前記位置姿勢変位に基づく三角測量によって推定することを特徴とする請求項１から３のいずれか１項に記載の映像データ処理方法。
【請求項５】
複数の撮像手段により取得した複数の映像からなる多視点映像と、基準となる撮像手段の位置姿勢を推定可能なセンサが出力するセンサ情報を使用して複数の撮像手段の位置姿勢の推定を行う映像データ処理装置であって、
前記センサ情報を使用して、前記基準となる撮像手段により取得した映像の一つの時刻の画像である基準フレームと、該基準フレームと異なる時刻の画像である参照フレームとの間の前記撮像手段の位置姿勢変位を推定する位置姿勢変位推定手段と、
前記基準フレーム上の点の三次元情報を前記参照フレーム上の対応する点の位置と前記位置姿勢変位に基づき推定する三次元情報推定手段と、
前記基準フレームと、他の撮像手段により取得した映像中の前記基準フレームと同じ時刻の画像である対象フレームの間で、前記三次元情報を使用して前記他の撮像手段の位置姿勢を推定する位置姿勢推定手段と
を備えることを特徴とする映像データ処理装置。
【請求項６】
コンピュータに、請求項１から４のいずれか１項に記載の映像データ処理方法を実行させるための映像データ処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データ処理方法、映像データ処理装置及び映像データ処理プログラムに関する。
【背景技術】
【０００２】
スマートフォンを始めとするカメラ付きデバイスの普及に伴い、個人が気軽に写真・動画を撮影・公開することがますます容易になってきており、そのように撮影されＷｅｂ上にアップロードされた動画像によって膨大なアーカイブが形成されつつある。それに伴い、こうした膨大な数の動画像をただ視聴するだけでなく、新たな用途に向けて活用しようとする動きが近年急速に高まってきている。
【０００３】
代表的なアプリケーションでは、個人が撮像した観光地のランドマークなどの画像を被写体毎に収集し、それらを使用して被写体の三次元構造を推定し、仮想的な三次元物体として任意の視点で閲覧可能とするものがある。
【０００４】
このようなアプリケーションは概ね古典的な画像処理の手法に基づき画像群から三次元情報を復元するものである。基本的には画像中の特徴点抽出と異なる画像上での対応点探索によって、撮像に使用したカメラの位置姿勢を推定するとともに被写体の三次元構造を復元する（例えば、非特許文献１参照）。すなわち、この方法で復元可能なものは画像間で位置姿勢形状が変わらない被写体に限られている。一方、画像群は通常非同期に撮影されている。そのため、静止した被写体のみが復元対象となる。
【０００５】
また、動画をデータソースとするべく拡張した技術の研究も進められている（例えば、非特許文献２参照）。これらの方法では、動画中に存在する被写体を背景を主とした静止物体とそれ以外の動物体に分け、まず静止物についてのみ先述の方法を使用して三次元構造を復元しつつ、カメラ位置姿勢を推定する。動物体については三次元構造を復元せずに、映像視聴時に視点を切り替えるときのみ簡易的な補間処理を行うことでスムーズな視点移動を可能としている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】E. Mouragnon, M. Lhuillier, M. Dhome, F. Dekeyser, and P. Sayd, “Generic and real-time structure from motion using local bundle adjustment,” Image Vis. Comput., vol. 27, no. 8, pp. 1178-1193, Jul. 2009.
【非特許文献２】L. Ballan, G. J. Brostow, J. Puwein, and M. Pollefeys, “Unstructured Video-Based Rendering: Interactive Exploration of Casually Captured Videos,” in ACM SIGGRAPH 2010 papers, 2010, pp. 1-11.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像を使用して複数のカメラの位置姿勢を推定するためには、非特許文献１に示される方法等でカメラ間の相対的な姿勢を表す基礎行列や回転行列と並進ベクトルの組などを決定する。ただし、画像を用いる方法で計算される相対位置のスケールは不定であり、並進ベクトルの値は実空間上の距離尺度とは無関係の値となる。そのため、例えば３つのカメラＡ、Ｂ、Ｃのうち、カメラＡＢ間の姿勢ＦＡＢとカメラＢＣ間の姿勢ＦＢＣとが決定されたとしても、それらだけからカメラＡＣ間の姿勢ＦＡＣを求めることはできない。上記のようなアプリケーションでは、全てのカメラの組み合わせでそれぞれ姿勢を決定するか、カメラ間で共通する被写体の大きさを基準とするなどの方法で各姿勢のスケールを合わせることで問題に対処している。
【０００８】
しかしながら、各カメラが十分な共通の領域を撮影していない場合や、共通領域は存在するがその上に信頼できる対応点を十分取ることができない場合などにはこうした対処方法をとることができないという問題がある。また、例え複数のカメラ間でスケールを合わせることができる場合でも、それを実空間上の距離尺度と合わせるためには、被写体の実際の大きさが既知であるかカメラからの距離が既知であるなど、厳しい条件が必要とされる。
【０００９】
本発明は、このような事情に鑑みてなされたもので、得られた映像と、センサ情報とから、被写体の絶対的な三次元情報と、２つ以上のカメラ間における位置姿勢とを推定することができる映像データ処理方法、映像データ処理装置及び映像データ処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、複数の撮像手段により取得した複数の映像からなる多視点映像と、基準となる撮像手段の位置姿勢を推定可能なセンサが出力するセンサ情報を使用して複数の撮像手段の位置姿勢の推定を行う映像データ処理方法であって、前記センサ情報を使用して、前記基準となる撮像手段により取得した映像の一つの時刻の画像である基準フレームと、該基準フレームと異なる時刻の画像である参照フレームとの間の前記撮像手段の位置姿勢変位を推定する位置姿勢変位推定ステップと、前記基準フレーム上の点の三次元情報を前記参照フレーム上の対応する点の位置と前記位置姿勢変位に基づき推定する三次元情報推定ステップと、前記基準フレームと、他の撮像手段により取得した映像中の前記基準フレームと同じ時刻の画像である対象フレームの間で、前記三次元情報を使用して前記他の撮像手段の位置姿勢を推定する位置姿勢推定ステップとを有することを特徴とする。
【００１２】
本発明は、前記位置姿勢推定ステップは、前記基準フレームと、前記対象フレームとの間で、前記基準となる撮像手段と前記他の撮像手段との間のスケール不定の相対位置姿勢を推定し、前記三次元情報に基づき前記スケール不定の相対位置姿勢のスケールを決定することを特徴とする。
【００１３】
本発明は、前記位置姿勢推定ステップは、前記基準フレームと、前記対象フレームとの間で、前記三次元情報に基づく前記基準となる撮像手段から前記他の撮像手段への投影誤差が最小となる相対位置姿勢を推定することを特徴とする。
【００１４】
本発明は、前記三次元情報は深度情報であり、前記三次元情報推定ステップは、前記基準フレームと前記参照フレーム上の対応する点の深度情報を前記位置姿勢変位に基づく三角測量によって推定することを特徴とする。
【００１６】
本発明は、複数の撮像手段により取得した複数の映像からなる多視点映像と、基準となる撮像手段の位置姿勢を推定可能なセンサが出力するセンサ情報を使用して複数の撮像手段の位置姿勢の推定を行う映像データ処理装置であって、前記センサ情報を使用して、前記基準となる撮像手段により取得した映像の一つの時刻の画像である基準フレームと、該基準フレームと異なる時刻の画像である参照フレームとの間の前記撮像手段の位置姿勢変位を推定する位置姿勢変位推定手段と、前記基準フレーム上の点の三次元情報を前記参照フレーム上の対応する点の位置と前記位置姿勢変位に基づき推定する三次元情報推定手段と、前記基準フレームと、他の撮像手段により取得した映像中の前記基準フレームと同じ時刻の画像である対象フレームの間で、前記三次元情報を使用して前記他の撮像手段の位置姿勢を推定する位置姿勢推定手段とを備えることを特徴とする。
【００１７】
本発明は、コンピュータに、前記映像データ処理方法を実行させるための映像データ処理プログラムである。
【発明の効果】
【００１８】
本発明によれば、得られた映像と、センサ情報とから、被写体の絶対的な三次元情報と、２つ以上のカメラ間における位置姿勢とを推定することができるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態による映像データ処理装置の構成を示すブロック図である。
【図２】図１に示す映像データ処理装置１００の処理動作を示すフローチャートである。
【図３】三角測量で画像上の点の深度情報を求める方法を示す図である。
【図４】受光素子に直行する面と第ｉ番目画素に入る光線がなす角γを示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明の一実施形態による映像データ処理装置を説明する。図１は同実施形態による映像データ処理装置の構成を示すブロック図である。映像データ処理装置１００は、図１に示すように、映像入力部１０１、入力画像メモリ１０２、センサ情報入力部１０３、センサ情報メモリ１０４、基準カメラ位置姿勢変位推定部１０５、基準カメラ三次元情報推定部１０６、カメラ間位置姿勢推定部１０７、およびスケール推定部１０８を備えている。
【００２１】
映像入力部１０１は、処理対象となる多視点映像、特に基準となるカメラの映像と別のカメラの映像を入力する。以下の説明では、この処理対象となる多視点映像を処理対象多視点映像、特に基準となるカメラを基準カメラ、その映像を基準映像、別のカメラを対象カメラ、その映像を対象映像と称する。また、特に処理を行う時刻の基準映像のフレームを基準フレーム、同じ時刻の対象映像のフレームを対象フレームと称する。また、基準映像の処理対象時刻の前後の別の時刻におけるフレームを参照フレームと称する。入力画像メモリ１０２は、映像入力部１０１において入力された処理対象多視点映像を記憶する。
【００２２】
センサ情報入力部１０３は、基準カメラに対応するセンサ情報を入力する。センサ情報メモリ１０４は、センサ情報入力部１０３において入力されたセンサ情報を記憶する。
【００２３】
基準カメラ位置姿勢変位推定部１０５は、センサ情報メモリ１０４に記憶されたセンサ情報を使用して、基準フレームと参照フレームとの間の位置姿勢変位を推定する。基準カメラ三次元情報推定部１０６は、推定された位置姿勢変位と、入力画像メモリ１０２に記憶された基準フレームと参照フレームを使用して、基準フレームの一部の三次元情報を推定する。
【００２４】
カメラ間位置姿勢推定部１０７は、入力画像メモリ１０２に記憶された基準フレームと対象フレームを使用して、スケール不定カメラ間位置姿勢を推定する。スケール推定部１０８は、基準フレーム三次元情報を使用してスケール不定カメラ間相対位置姿勢のスケールを推定し、カメラ間相対位置姿勢を決定する。
【００２５】
次に、図２を参照して、図１に示す映像データ処理装置１００の処理動作を説明する。図２は、図１に示す映像データ処理装置１００の処理動作を示すフローチャートである。ここでは、基準映像及び対象映像は多視点映像のうちの同じシーンを撮像した異なるカメラに対応する２つの映像であることとする。
【００２６】
まず、映像入力部１０１は、基準映像と対象映像とを入力し、入力画像メモリ１０２に記憶する。また、センサ情報入力部１０３は、基準カメラに対応するセンサ情報を入力し、センサ情報メモリ１０４に記憶する（ステップＳ１０１）。センサ情報は基準カメラに付帯する加速度センサやジャイロセンサ等のセンサで取得された情報である。本実施形態では、センサ情報に基づいて基準カメラの自己位置姿勢の変位が決定されるものであるとし、センサは基準カメラと同じデバイスに属しその位置・姿勢は基準カメラと同一であるとしてもよいし、基準カメラに固定され基準カメラに対する相対位置姿勢が既知である物であるとしてもよい。
【００２７】
また、センサ情報は映像と同じフレームレートでセンサの取得情報を記録したものであってもよいし、別のフレームレートで取得情報を記録したものであってもよい。フレームレートが異なる場合には、映像のフレームレートに合わせてセンサ情報を補間し使用することとしてもよいし、近傍の時刻の情報を使用することとしてもよい。以下では、簡単のために映像とセンサ情報のフレームレートが同じであり、センサ情報は映像の各フレームと同じ時刻の情報の集合であるとする。
【００２８】
以下では映像中のある１フレームについてカメラ間の相対位置姿勢を推定する処理について説明するが、この処理を全フレームについて行う（ステップＳ１０２〜Ｓ１０７のループ）ことで、映像全体についてカメラ間の相対位置姿勢を決定することができる。または、特定のフレームについてのみ実施し、残りのフレームについては補間処理に基づき相対位置姿勢を決定することなどもできる。
【００２９】
各フレームに対する処理においては、まず、入力画像メモリ１０２に記憶された処理対象のフレームである基準フレームと参照フレームについて、センサ情報メモリ１０４に記憶された対応するセンサ情報に基づいて、フレーム間でのカメラ位置姿勢の変位を推定する（ステップＳ１０３）。参照フレームの記録時刻は基準フレームと異なる時刻であれば前の時刻でも後の時刻でもよい。使用するセンサ情報は、上述した加速度センサやジャイロセンサの他に、地磁気センサやＧＰＳ（Global Positioning System）センサなど、フレーム間でカメラ位置姿勢の変位を推定可能なものであればどのようなものでもよい。位置姿勢の変異としては回転行列と併進ベクトルの組み合わせなどを使用してもよいし、三次元情報推定の方法によって併進ベクトルのみを使用してもよい。
【００３０】
以下では加速度センサを使用する場合について説明する。基準カメラＯの基準フレームの時刻をｔ０、参照フレームの時刻をｔ１として、時刻ｔにおける加速度センサの値をａ（ｔ）であるとすると、このフレーム間の相対位置姿勢変位ΔＦ０ｔ１，ｔ０は以下の式で表される。ここで、τは、時間に関する変数で、積分変数である。
【数１】
0006306996.tif 000002
【数２】
0006306996.tif 000003
【００３１】
位置姿勢変位を推定したら、基準カメラ三次元情報推定部１０６は、推定された位置姿勢変位と、入力画像メモリ１０２に記憶された基準フレームと参照フレームを使用して、基準フレームの三次元情報を推定する（ステップＳ１０４）。三次元情報はどのようなものでもよい。ある点のカメラからの距離である深度情報でもよいし、基準カメラの座標系における三次元座標でもよいし、その他の座標系における座標値などでもよい。以下では、深度情報を使用する場合について説明する。
【００３２】
深度情報を求める方法はどのような方法でもよい。一般的な方法では、この２つのフレーム間で対応する点が有り、その点が両フレームの間で運動せず静止している、または無視できる程度に小さい運動をしていることと仮定すれば、三角測量等の方法によってその点の深度情報を求めることができる。
【００３３】
ここで、三角測量で画像上の点の深度情報を求める場合の例を図３を参照して説明する。図３は、三角測量で画像上の点の深度情報を求める方法を示す図である。簡単のために基準フレームの左右方向をＸ軸、カメラの上下方向をＹ軸、カメラの奥行き方向をＺ軸とし、参照フレームの基準フレームに対する位置姿勢変位はＸ方向への平行移動であり変位量はｌメートルであるとして説明する。
【００３４】
まず、基準フレームと参照フレームの間で対応する点の組（ｘ０，ｘｒ）を推定する。（ｘ０，ｘｒ）は実空間上の点Ｘの各フレームにおける観測であり、この点Ｘの基準フレームにおけるカメラからの距離Ｄが求める深度情報である。対応点の推定方法はどのような方法でもよい。ここで、カメラの画角がφ、横方向の解像度がＷであるとすると、カメラの受光素子はφの画角をＷ画素で等間隔に記録する。図４に示す通り、受光素子に直行する面と第ｉ番目画素に入る光線がなす角γは
【数３】
0006306996.tif 000004
で表される。
【００３５】
また、同じ光線と受光素子に平行な平面とのなす角αは
【数４】
0006306996.tif 000005
で表される。このとき、ｘ０が基準フレームにおいて第ｉ番目画素に位置し、ｘｒが参照フレームにおいて第ｉ＋ｄ番目画素に位置するなら、参照フレームにおいて受光素子に直行する面とこの画素に入る光線がなす角δは
【数５】
0006306996.tif 000006
となる。
【００３６】
また同様に、角βは
【数６】
0006306996.tif 000007
で表される。これにより、点ＸからＰ０までの距離ｒについて
【数７】
0006306996.tif 000008
【数８】
0006306996.tif 000009
が成立する。
【００３７】
したがって、求めるＤは
【数９】
0006306996.tif 000010
となる。位置姿勢変位が６自由度である場合にも同様の方法で深度情報を求めることができる。また、この点がフレーム間で動いているものと仮定して、その動きと深度情報を推定するなどしてもよい。深度情報はどのように表現されていてもよい。カメラからの距離を表す実数値でもよいし、離散値でもよいし、カメラ間の視差を表す値などでもよい。
【００３８】
また、例として三次元情報として基準カメラの座標系におけるある点の三次元座標を使用する場合についても説明する。まず基準フレームと参照フレームの投影行列を位置姿勢変位に基づいて定義する。位置姿勢変位が回転行列Ｒと併進ベクトルｔで表されるとき、二つのフレームの投影行列Ｐ０とＰｒは次のように定義できる。
【数１０】
0006306996.tif 000011
【数１１】
0006306996.tif 000012
ここで、ｆは任意の定数であり、（ｆ０，ｆｔ）はカメラの焦点距離である。このとき、対応点の組（ｘ０，ｙ０）、（ｘｒ，ｙｒ）の三次元座標値は以下の連立方程式の解として与えられる。
【数１２】
0006306996.tif 000013
ここで使用される併進ベクトルはセンサの値から求められたものであるため、画像から三次元情報を復元する場合と異なり三次元座標値は実世界における値と同じスケールを持つ。
【００３９】
また、加速度センサなどによって求めた移動距離を位置姿勢変位と定義し、基準フレームと参照フレームとの間で画像に基づいて位置姿勢を推定し、その不定なスケールを位置姿勢変位に基づき決定してもよい。画像に基づきカメラ間の位置姿勢を推定する場合にも、上述の連立方程式によって三次元座標値を決定できる。ただし併進ベクトルの大きさは不定であり、一般的には‖ｔ‖＝１となる解を求める。このときカメラ間の実距離ｌを位置姿勢変位によって与えると、実空間スケールでの三次元座標は‖ｔ‖＝１の場合の値にｄをかけた値として決定できる。
【００４０】
その他、どのような三次元情報を定義し、推定してもよい。三次元情報は画像上のすべての点について推定してもよいし、特徴点のみを抽出しそれらの特徴点についてのみ推定してもよい。また、後述のカメラ間位置姿勢推定に使用する点についてのみ推定してもよいし、カメラ間位置姿勢推定に使用する点とは別の点について三次元情報を推定した後に、改めて使用する点の三次元情報を補間等の方法によって決定するなどしてもよい。
【００４１】
また、２つのフレーム間での対応する点はどのような方法で決定してもよい。それぞれ特徴点を抽出し特徴の相関の高い点同士を対応点としてもよいし、小さな領域毎に画素の自乗誤差総和を最小化するようにもう一方の画像上での対応する領域の位置を決定するなどしてもよい。また、基準フレーム上での後述のカメラ間位置姿勢推定に使用する点を対応点の一方とし、その点に対して最も相関の高い参照フレーム上の点をもう一方の対応点とするなどしてもよい。
【００４２】
三次元情報を推定したら、カメラ間位置姿勢推定部１０７は、入力画像メモリ１０２に記憶された基準フレームと対象フレームを使用して、スケール不定カメラ間相対位置姿勢を推定する（ステップＳ１０５）。位置姿勢を推定する方法はどのような方法でもよい。また、推定される位置姿勢はどのように表現されてもよい。カメラ間の変換行列であってもよいし、各カメラ毎の投影行列であってもよいし、内部パラメータと回転行列及び並進ベクトルの組み合わせなどでもよい。
【００４３】
位置姿勢推定の一般的な方法では、バンドルアジャスメントと呼ばれる方法がある（非特許文献１）。この方法では、異なるカメラ間の対応関係を表す基礎行列を、二つの画像上に存在する複数の対応点の組から決定する。基準フレームと対象フレームの画像上の対応する点（ｘ０，ｘｔ）の組と基礎行列Ｆとの間には以下の関係がある。
（ｘ０，Ｆｘｔ）＝０
【００４４】
二台のカメラの相対的な併進ベクトルｔと回転行列は基礎行列とカメラの焦点距離（ｆ０，ｆｔ）とから推定することができる。また、焦点距離は基礎行列から推定することができる。ただしこのとき併進ベクトルｔのスケールは不定であり、一般的には‖ｔ‖＝１となる解を求めることになっている。併進ベクトルｔは、以下の基本行列Ｅを求め
【数１３】
0006306996.tif 000014
対象行列ＥＥＴの最小固有値に対する単位固有ベクトルをｔとすることで求められる。ｆは任意の定数であり、基礎行列導出から焦点距離導出・回転並進導出の過程において計算を安定化させるために存在する。このとき回転行列Ｒは−ｔ×Ｅの特異値分解を経て計算されるが、ｔのスケールには影響を受けない。
【００４５】
最後に、スケール推定部１０８は、基準フレーム三次元情報を使用してスケール不定カメラ間相対位置姿勢のスケールを推定し、カメラ間相対位置姿勢を決定する（ステップＳ１０６）。スケール推定の方法はどのような方法でもよい。例えば、基準フレーム上の深度推定済みのある点について対象フレーム上の対応する点を推定し、また同じ点について深度情報と投影行列によって対象フレーム上の対応する点を決定した場合に、両者の誤差を小さくするように投影行列のスケールを決定するようにしてもよい。
【００４６】
またあるいは、基準フレームにおける三次元座標値推定済みの点について、対象フレームとの間の位置姿勢に基づく三次元座標値との誤差が小さくなるように座標のスケールを決定してもよい。また、決定したスケールに基づく三次元座標値は実空間の値である必要はなく、本願を多数のカメラ間のスケールを固定するために使用する場合などは、実空間上の値に更に任意の係数をかけたスケールを使用するなどしてもよい。
【００４７】
また、スケール不定カメラ間相対位置姿勢を推定せず、三次元情報を使用して直接固定スケールのカメラ間相対位置姿勢を決定してもよい。例えば、カメラ間の位置姿勢を決定する際に使用する対応点に三次元情報推定済みの点を使用することで、スケールを固定してカメラ間の位置姿勢を決定することができる。以上説明したように、多視点映像におけるカメラ位置姿勢推定問題において、基準カメラについてセンサ情報を利用して基準カメラの一部の三次元情報を推定し、推定した三次元情報を利用して別のカメラとの間の位置姿勢のスケールを決定することによって、２つのカメラ間で実世界上のスケールで位置姿勢を推定したり、多視点映像の各カメラの位置姿勢を整合性を保ちつつ推定することができる。
【００４８】
なお、図２に示す一部の処理は、その順序が前後しても構わない。
【００４９】
以上説明したように、複数のカメラで取得した画像を使用してカメラ間の相対位置姿勢を求めるに当たり、ある基準カメラにおいて前後のフレーム間での姿勢変位をカメラに付随する加速度センサやジャイロセンサ等の各種センサを使用して実スケールで推定し、推定された実空間スケールの姿勢変位に基づき基準カメラの画像上の点について三次元情報を推定することで、三次元情報を利用して基準カメラと別のカメラの間のスケール不定の相対位置姿勢のスケールを絶対的な値に合わせることができる。
【００５０】
前述した実施形態における映像データ処理装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００５１】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００５２】
２つのカメラ間で実世界上のスケールで位置姿勢を推定する用途や、多視点映像の各カメラの位置姿勢を推定する場合において、全てのカメラ間に十分な共通領域が存在しない場合や、共通領域は存在するが信頼できる対応点を十分取ることができない場合などに相対位置姿勢の整合性をとる事が不可欠な用途に適用できる。
【符号の説明】
【００５３】
１０１・・・映像入力部、１０２・・・入力画像メモリ、１０３・・・センサ情報入力部、１０４・・・センサ情報メモリ、１０５・・・基準カメラ位置姿勢変位推定部、１０６・・・基準カメラ三次元情報推定部、１０７・・・カメラ間位置姿勢推定部、１０８・・・スケール推定部
【図１】
0006306996.tif 000015
【図２】
0006306996.tif 000016
【図３】
0006306996.tif 000017
【図４】
0006306996.tif 000018