(57)【要約】【課題】時系列画像から得た被写体の全体像の物体形状を、フレームイン・アウトする映像シーンからでも、広域、かつ、シームレスに復元することを可能とする。【解決手段】計測行列データベース部１は、カメラを使って取得した時系列画像からあるフレーム分重複する画像系列より求めた計測行列を格納する。計測行列入力部２は、計測行列データベース部１から重複して隣接する画像系列の各計測行列を読み込む。重心座標算出部３は、読み込んだ計測行列から各重心を算出する。形状行列入力部５は、３次元情報データベース部４から各画像系列の被写体の物体形状を読み込む。並進ベクトル復元部６は、これらのデータとカメラ運動生成部７で生成したカメラ運動を使って、ある基準点からの各物体形状の重心への並進ベクトルを求める。３次元情報変換部８は、これら並進ベクトルから各物体形状をある基準座標系での３次元情報に変換して統合する。【選択図】図１
2005030956.tif 000002
【特許請求の範囲】
【請求項１】
画像入力手段を使って取得した時系列画像から物体である被写体の形状を獲得、復元する方法であって、
画像入力手段を使って取得した時系列画像から、画像系列Ａと、あるフレーム分を重複して得た次の画像系列Ｂを取り出す画像系列取り出しステップと、
画像系列Ａから画像系列Ａ中の被写体Ａの３次元形状と、画像系列Ｂから画像系列Ｂ中の被写体Ｂの３次元形状を復元するステップと、
画像系列Ａにおける被写体Ａの画像上での２次元の動き情報と、画像系列Ｂにおける被写体Ｂの画像上での２次元の動き情報から、あるフレーム分重複するフレームでの、各画像系列での動き情報である計測行列Ａと計測行列Ｂを取り出し、その重複するフレームでの２次元の動き情報から、被写体Ａと被写体Ｂの重心Ｏの動きを得るステップと、
前記取り出した計測行列Ａ、計測行列Ｂと、前記復元した被写体Ａの３次元形状、前記復元した被写体Ｂの３次元形状、並びに、被写体Ａと被写体Ｂを映した画像系列において重複するフレーム分に対応する画像入力手段の運動情報を与えて、重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を、因子分解法により求める並進ベクトル復元ステップと、
重心Ｏを基準点として、重心Ｏから重心Ｏaまでの並進量を被写体Ａの３次元情報に加味し、同様に、重心Ｏから重心Ｏbまでの並進量を被写体Ｂの３次元情報に加味することで、被写体Ａの３次元情報と被写体Ｂの３次元情報を統合し、各画像系列から復元した３次元情報を統合するステップと、を有する
ことを特徴とする３次元情報復元方法。
【請求項２】
画像入力手段を使って取得した時系列画像から物体である被写体の形状を獲得、復元する方法であって、
画像入力手段を使って取得した時系列画像から、画像系列Ａと、あるフレーム分を重複して得た次の画像系列Ｂを取り出す画像系列取り出しステップと、
画像系列Ａから画像系列Ａ中の被写体Ａの３次元形状と、画像系列Ｂから画像系列Ｂ中の被写体Ｂの３次元形状、並びに、両画像系列において重複するフレーム分の画像入力手段の運動を復元するステップと、
画像系列Ａにおける被写体Ａの画像上での２次元の動き情報と、画像系列Ｂにおける被写体Ｂの画像上での２次元の動き情報から、あるフレーム分重複するフレームでの、各画像系列での動き情報である計測行列Ａと計測行列Ｂを取り出し、その重複するフレームでの２次元の動き情報から、被写体Ａと被写体Ｂの重心Ｏの動きを得るステップと、
前記取り出した計測行列Ａ、計測行列Ｂと、前記復元した被写体Ａの３次元形状、前記復元した被写体Ｂの３次元形状、並びに、前記復元した被写体Ａと被写体Ｂを映した画像系列において重複するフレーム分に対応する画像入力手段の運動情報を与えて、重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を、因子分解法により求める並進ベクトル復元ステップと、
重心Ｏを基準点として、重心Ｏから重心Ｏaまでの並進量を被写体Ａの３次元情報に加味し、同様に、重心Ｏから重心Ｏbまでの並進量を被写体Ｂの３次元情報に加味することで、被写体Ａの３次元情報と被写体Ｂの３次元情報を統合し、各画像系列から復元した３次元情報を統合するステップと、を有する
ことを特徴とする３次元情報復元方法。
【請求項３】
並進ベクトル復元ステップにおいて、
復元した重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量を被写体Ａの３次元形状情報に加味し、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を被写体Ｂの３次元形状情報に加味し、重複したフレームヘの再投影を行い、計測行列Ａと計測行列Ｂとの誤差が一定値、または、収束していないと判定する場合は、その誤差に応じて計測行列Ａと計測行列Ｂを更新するステップと、
更新された計測行列Ａと計測行列Ｂを用いて重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を求めるステップと、を有する
ことを特徴とする請求項１または請求項２に記載の３次元情報復元方法。
【請求項４】
画像系列取り出しステップにおいて、
画像入力手段を使って取得した時系列画像から、対象とする物体である被写体の３次元形状を獲得・復元するため、画像系列（ｉ）と、あるフレーム分を重複して得た次の画像系列（ｉ＋１）を取り出し、画像系列（ｉ）を画像系列Ａに、画像系列（ｉ＋１）を画像系列Ｂとし、
以降のステップにおいて、
逐次、３次元形状を統合しながら、全画像系列において、ある基準点からの相対的な３次元形状に変換して、全画像系列の被写体の統合的な３次元形状情報を復元する
ことを特徴とする請求項１ないし３のいずれかに記載の３次元情報復元方法。
【請求項５】
画像入力手段を使って取得した時系列画像から物体である被写体の形状を獲得、復元する装置であって、
画像入力手段を使って取得した時系列画像から、画像系列Ａと、あるフレーム分を重複して得た次の画像系列Ｂを取り出す画像系列取り出し手段と、
画像系列Ａから画像系列Ａ中の被写体Ａの３次元形状と、画像系列Ｂから画像系列Ｂ中の被写体Ｂの３次元形状を復元する手段と、
画像系列Ａにおける被写体Ａの画像上での２次元の動き情報と、画像系列Ｂにおける被写体Ｂの画像上での２次元の動き情報から、あるフレーム分重複するフレームでの、各画像系列での動き情報である計測行列Ａと計測行列Ｂを取り出し、その重複するフレームでの２次元の動き情報から、被写体Ａと被写体Ｂの重心Ｏの動きを得る手段と、
前記取り出した計測行列Ａ、計測行列Ｂと、前記復元した被写体Ａの３次元形状、前記復元した被写体Ｂの３次元形状、並びに、被写体Ａと被写体Ｂを映した画像系列において重複するフレーム分に対応する画像入力手段の運動情報を与えて、重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を、因子分解法により求める並進ベクトル復元手段と、
重心Ｏを基準点として、重心Ｏから重心Ｏaまでの並進量を被写体Ａの３次元情報に加味し、同様に、重心Ｏから重心Ｏbまでの並進量を被写体Ｂの３次元情報に加味することで、被写体Ａの３次元情報と被写体Ｂの３次元情報を統合し、各画像系列から復元した３次元情報を統合する手段と、を有する
ことを特徴とする３次元情報復元装置。
【請求項６】
画像入力手段を使って取得した時系列画像から物体である被写体の形状を獲得、復元する装置であって、
画像入力手段を使って取得した時系列画像から、画像系列Ａと、あるフレーム分を重複して得た次の画像系列Ｂを取り出す画像系列取り出し手段と、
画像系列Ａから画像系列Ａ中の被写体Ａの３次元形状と、画像系列Ｂから画像系列Ｂ中の被写体Ｂの３次元形状、並びに、両画像系列において重複するフレーム分の画像入力手段の運動を復元する手段と、
画像系列Ａにおける被写体Ａの画像上での２次元の動き情報と、画像系列Ｂにおける被写体Ｂの画像上での２次元の動き情報から、あるフレーム分重複するフレームでの、各画像系列での動き情報である計測行列Ａと計測行列Ｂを取り出し、その重複するフレームでの２次元の動き情報から、被写体Ａと被写体Ｂの重心Ｏの動きを得る手段と、
前記取り出した計測行列Ａ、計測行列Ｂと、前記復元した被写体Ａの３次元形状、前記復元した被写体Ｂの３次元形状、並びに、前記復元した被写体Ａと被写体Ｂを映した画像系列において重複するフレーム分に対応する画像入力手段の運動情報を与えて、重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を、因子分解法により求める並進ベクトル復元手段と、
重心Ｏを基準点として、重心Ｏから重心Ｏaまでの並進量を被写体Ａの３次元情報に加味し、同様に、重心Ｏから重心Ｏbまでの並進量を被写体Ｂの３次元情報に加味することで、被写体Ａの３次元情報と被写体Ｂの３次元情報を統合し、各画像系列から復元した３次元情報を統合する手段と、を有する
ことを特徴とする３次元情報復元装置。
【請求項７】
並進ベクトル復元手段は、
復元した重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量を被写体Ａの３次元形状情報に加味し、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を被写体Ｂの３次元形状情報に加味し、重複したフレームヘの再投影を行い、計測行列Ａと計測行列Ｂとの誤差が一定値、または、収束していないと判定する場合は、その誤差に応じて計測行列Ａと計測行列Ｂを更新する手段と、
更新された計測行列Ａと計測行列Ｂを用いて重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を求める手段と、を有する
ことを特徴とする請求項５または請求項６に記載の３次元情報復元装置。
【請求項８】
画像系列取り出し手段は、
画像入力手段を使って取得した時系列画像から、対象とする物体である被写体の３次元形状を獲得・復元するため、画像系列（ｉ）と、あるフレーム分を重複して得た次の画像系列（ｉ＋１）を取り出し、画像系列（ｉ）を画像系列Ａに、画像系列（ｉ＋１）を画像系列Ｂとするものであり、
画像系列取り出し手段以降の手段は、
逐次、３次元形状を統合しながら、全画像系列において、ある基準点からの相対的な３次元形状に変換して、全画像系列の被写体の統合的な３次元形状情報を復元するものである
ことを特徴とする請求項５ないし７のいずれかに記載の３次元情報復元装置。
【請求項９】
請求項１ないし４のいずれかに記載の３次元情報復元方法におけるステップを、コンピュータに実行させるためのプログラムとした
ことを特徴とする３次元情報復元プログラム。
【請求項１０】
請求項１ないし４のいずれかに記載の３次元情報復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする３次元情報復元プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどの画像入力装置等により取得した時系列画像データから、時系列映像に映っている外界の形状、すなわち、被写体（対象物、物体）の外観形状を形成する空間情報（３次元座標値）を計測、獲得、復元する技術に関係する。特に、時系列の画像からシームレスに外界の空間情報を獲得することにおいて好適に利用できるものである。
【背景技術】
【０００２】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ解析を用いた３次元解析手法がある。また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に、計測、または獲得する手法の代表的な手法として、非特許文献１，２，３の因子分解法がある。これらの手法によれば、物体が撮影されている複数の時系列画像から、３次元の形状に関する情報、並びに、カメラ視点に関する運動を獲得、復元することができる。
【０００３】
空中撮影に限定すれば、スリーラインセンサを使って市街地の空間構造を大規模に撮影することで、奥行きのある３次元画像を取得することができる。
【非特許文献１】C.Tomasi and T.Kanade, “Shape and Motion from Image Streams Under Orthography: A Factorization Method&quot”, International Journal of Computer Vision, Vol.9, N0.2, pp.137-154, 1992.
【非特許文献２】C.J Poelman and T.Kanade, “A Paraperspective Factorization Method for Shape and Motion Recovery", IEEE Transactions Pattern Analysis and Machine Intelligence, Vol.19, N0.3, pp.206-218, 1997.
【非特許文献３】S.Christy and R.Horaud, “Euclidean Shape and Motion from Multiple Perspective Views by Affine Iterations", IEEE Transactions Pattern Analysis and Machine Intelligence, Vol.18, N0.11, pp.2495-2503, 1996.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
画像入力装置（カメラ）から取得した時系列画像を使って、その画像に映っている外界の３次元形状を獲得・復元することは重要な課題である。時系列画像から外界の３次元形状を獲得・復元する手法として、上記した非特許文献１，２，３の因子分解法が有名であるが、この手法ではShape From Motionというカメラが被写体に対して運動することで被写体の３次元形状を獲得・復元する原理に基づいている。
【０００５】
しかし、カメラは有限画角を有するため、被写体がカメラからフレームアウトすることもあり、ある量のシーケンス（画像系列）からでしか３次元形状を獲得・復元できなかった。これを、図１６の空中撮影を例にして説明する。空撮は一般にカメラを撮影対象の方向に向けた状態で撮影が行われるため、図１６に視点Ａ→視点Ｂ→視点Ｃと移動しながら空撮する説明がなされている。また、最近のヘリコプターにはスタビライザなどの防振設備も搭載されており、カメラをビル風、突風などの影響があってもほぼ鉛直真下（図１６のカメラアングル）にした姿勢で、空撮映像を取得することができる。
【０００６】
各空撮画像にはマーカーで示す点（特徴点）が移っているものとする。図１７には空撮全域と各視点での撮影範囲が示されている。この場合、空撮ヘリコプターが下方から上方へ飛行して市街地全域を撮影する。有限画角の解像度を有するカメラは市街地シーンを撮影する上でフレームイン・フレームアウトするため、各視点では撮影する範囲が異なる。図１６、図１７では下から上に向けてそれぞれ映っている対象物がフレームイン・アウトする。
【０００７】
図１６において、視点Ａと視点Ｂでは□でマークした部分（特徴点群ａ−ｂ）が共通的に映っており、視点Ｂと視点Ｃでは○でマークした部分（特徴点群ｂ−ｃ）が共通的に映っているとする。この図でマークした特徴点をある一定のシーケンス分追跡し、特徴点の２次元座標値を測定する。因子分解法は、各視点で得た特徴点の各フレームにおける２次元座標値の動き情報（以下では計測行列）からカメラ運動と特徴点の３次元座標値を獲得・復元することができる。また、特徴点追跡で追跡できないものがある。図１６では、地面において△のマークをした場所などである。なぜなら、視点Ｃからでは隣の建物が隠蔽物となり映像中から消失してしまうからである。図１６の△は視点Ａでも視点Ｃでも視界に入らない特徴点を表しており、視点Ｂでしか映っていない、または、視点Ｂでしか追跡できない特徴点を表している。なお、視点Ａでしか追跡できない（映っていない）特徴点、視点Ｃで追跡できない（映っていない）特徴点を●マークで、視点Ｂでしか追跡できない（映っていない）特徴点を△マークで表した。
【０００８】
図１８では、各視点で撮影した映像において、追跡を始める開始フレームと追跡を終える終了フレームを説明する（全体図は図１７の全域の図である）。ここでは、開始フレームにつけた特徴点は終了フレームまで追跡するとする。図１８のそれぞれの各視点Ａ，Ｂ，Ｃでの追跡から分かるように、特徴点も各視点で取得した画像系列からでしか追跡することはできない。これによって、カメラが運動することにより、外界の３次元形状を獲得・復元する手法では、それぞれ特徴点追跡により得た計測行列から、対象としている特徴点の３次元形状を獲得・復元するため、図１７の全域の３次元形状を復元することは難しい（なぜなら、各視点において、特徴点がフレームイン・アウトするからである）。
【０００９】
一方、各視点で共通に映っている特徴点（図１６の特徴点群ａ−ｂと特徴点群ｂ−ｃ）をのりしろ的な扱いをして、各視点で獲得・復元した３次元形状を連結することもできる。図１６と図１８では、視点Ａと視点Ｂでは□の特徴点が両方の視点で映っているため、各シーケンスからの３次元形状において、この共通の□の部分の特徴点の３次元座標値を同じになるようにアフィン変換することで、視点Ａと視点Ｂで獲得・復元した特徴点を統合した１つの３次元形状として復元することができる。同様に、視点Ｂと視点Ｃでは○の特徴点が両方の視点で映っているため、この特徴点をのりしろにして、視点Ｂと視点Ｃで獲得・復元した特徴点を統合した１つの３次元形状として復元することができる。すなわち、視点Ａ、視点Ｂ、視点Ｃで獲得・復元した特徴点を統合した１つの３次元形状として復元することができる。しかし、各視点で共通的に映っている特徴点を画像から認識し検出することは容易ではない。もし、オペレータが介在して、共通に映っている特徴点を指定することも考えられるが、作業効率が悪く、自動的に３次元形状を復元することを考えると、オペレータ介在は自動化の妨げになる。
【００１０】
本発明は、上記従来技術の問題点を解決するためになされたものであり、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）からコンピュータビジョンによる手法により得た対象物の外観を表現する物体形状（被写体の全体像）を、フレームイン・フレームアウトする映像シーンからでも、広域、かつ、シームレスに復元することを可能とする３次元情報復元方法、および装置を提供することを課題とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するための本発明の一手段は、画像入力手段を使って取得した時系列画像から物体である被写体の形状を獲得、復元する方法であって、画像入力手段を使って取得した時系列画像から、画像系列Ａと、あるフレーム分を重複して得た次の画像系列Ｂを取り出す画像系列取り出しステップと、画像系列Ａから画像系列Ａ中の被写体Ａの３次元形状と、画像系列Ｂから画像系列Ｂ中の被写体Ｂの３次元形状を復元するステップと、画像系列Ａにおける被写体Ａの画像上での２次元の動き情報と、画像系列Ｂにおける被写体Ｂの画像上での２次元の動き情報から、あるフレーム分重複するフレームでの、各画像系列での動き情報である計測行列Ａと計測行列Ｂを取り出し、その重複するフレームでの２次元の動き情報から、被写体Ａと被写体Ｂの重心Ｏの動きを得るステップと、前記取り出した計測行列Ａ、計測行列Ｂと、前記復元した被写体Ａの３次元形状、前記復元した被写体Ｂの３次元形状、並びに、被写体Ａと被写体Ｂを映した画像系列において重複するフレーム分に対応する画像入力手段の運動情報を与えて、重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を、因子分解法により求める並進ベクトル復元ステップと、重心Ｏを基準点として、重心Ｏから重心Ｏaまでの並進量を被写体Ａの３次元情報に加味し、同様に、重心Ｏから重心Ｏbまでの並進量を被写体Ｂの３次元情報に加味することで、被写体Ａの３次元情報と被写体Ｂの３次元情報を統合し、各画像系列から復元した３次元情報を統合するステップと、を有することを特徴とする３次元情報復元方法である。
【００１２】
または、画像入力手段を使って取得した時系列画像から物体である被写体の形状を獲得、復元する方法であって、画像入力手段を使って取得した時系列画像から、画像系列Ａと、あるフレーム分を重複して得た次の画像系列Ｂを取り出す画像系列取り出しステップと、画像系列Ａから画像系列Ａ中の被写体Ａの３次元形状と、画像系列Ｂから画像系列Ｂ中の被写体Ｂの３次元形状、並びに、両画像系列において重複するフレーム分の画像入力手段の運動を復元するステップと、画像系列Ａにおける被写体Ａの画像上での２次元の動き情報と、画像系列Ｂにおける被写体Ｂの画像上での２次元の動き情報から、あるフレーム分重複するフレームでの、各画像系列での動き情報である計測行列Ａと計測行列Ｂを取り出し、その重複するフレームでの２次元の動き情報から、被写体Ａと被写体Ｂの重心Ｏの動きを得るステップと、前記取り出した計測行列Ａ、計測行列Ｂと、前記復元した被写体Ａの３次元形状、前記復元した被写体Ｂの３次元形状、並びに、前記復元した被写体Ａと被写体Ｂを映した画像系列において重複するフレーム分に対応する画像入力手段の運動情報を与えて、重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を、因子分解法により求める並進ベクトル復元ステップと、重心Ｏを基準点として、重心Ｏから重心Ｏaまでの並進量を被写体Ａの３次元情報に加味し、同様に、重心Ｏから重心Ｏbまでの並進量を被写体Ｂの３次元情報に加味することで、被写体Ａの３次元情報と被写体Ｂの３次元情報を統合し、各画像系列から復元した３次元情報を統合するステップと、を有することを特徴とする３次元情報復元方法である。
【００１３】
または、並進ベクトル復元ステップにおいて、復元した重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量を被写体Ａの３次元形状情報に加味し、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を被写体Ｂの３次元形状情報に加味し、重複したフレームヘの再投影を行い、計測行列Ａと計測行列Ｂとの誤差が一定値、または、収束していないと判定する場合は、その誤差に応じて計測行列Ａと計測行列Ｂを更新するステップと、更新された計測行列Ａと計測行列Ｂを用いて重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を求めるステップと、を有することを特徴とする上記の３次元情報復元方法である。
【００１４】
または、画像系列取り出しステップにおいて、画像入力手段を使って取得した時系列画像から、対象とする物体である被写体の３次元形状を獲得・復元するため、画像系列（ｉ）と、あるフレーム分を重複して得た次の画像系列（ｉ＋１）を取り出し、画像系列（ｉ）を画像系列Ａに、画像系列（ｉ＋１）を画像系列Ｂとし、以降のステップにおいて、逐次、３次元形状を統合しながら、全画像系列において、ある基準点からの相対的な３次元形状に変換して、全画像系列の被写体の統合的な３次元形状情報を復元することを特徴とする上記の３次元情報復元方法である。
【００１５】
または、画像入力手段を使って取得した時系列画像から物体である被写体の形状を獲得、復元する装置であって、画像入力手段を使って取得した時系列画像から、画像系列Ａと、あるフレーム分を重複して得た次の画像系列Ｂを取り出す画像系列取り出し手段と、画像系列Ａから画像系列Ａ中の被写体Ａの３次元形状と、画像系列Ｂから画像系列Ｂ中の被写体Ｂの３次元形状を復元する手段と、画像系列Ａにおける被写体Ａの画像上での２次元の動き情報と、画像系列Ｂにおける被写体Ｂの画像上での２次元の動き情報から、あるフレーム分重複するフレームでの、各画像系列での動き情報である計測行列Ａと計測行列Ｂを取り出し、その重複するフレームでの２次元の動き情報から、被写体Ａと被写体Ｂの重心Ｏの動きを得る手段と、前記取り出した計測行列Ａ、計測行列Ｂと、前記復元した被写体Ａの３次元形状、前記復元した被写体Ｂの３次元形状、並びに、被写体Ａと被写体Ｂを映した画像系列において重複するフレーム分に対応する画像入力手段の運動情報を与えて、重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を、因子分解法により求める並進ベクトル復元手段と、重心Ｏを基準点として、重心Ｏから重心Ｏaまでの並進量を被写体Ａの３次元情報に加味し、同様に、重心Ｏから重心Ｏbまでの並進量を被写体Ｂの３次元情報に加味することで、被写体Ａの３次元情報と被写体Ｂの３次元情報を統合し、各画像系列から復元した３次元情報を統合する手段と、を有することを特徴とする３次元情報復元装置である。
【００１６】
または、画像入力手段を使って取得した時系列画像から物体である被写体の形状を獲得、復元する装置であって、画像入力手段を使って取得した時系列画像から、画像系列Ａと、あるフレーム分を重複して得た次の画像系列Ｂを取り出す画像系列取り出し手段と、画像系列Ａから画像系列Ａ中の被写体Ａの３次元形状と、画像系列Ｂから画像系列Ｂ中の被写体Ｂの３次元形状、並びに、両画像系列において重複するフレーム分の画像入力手段の運動を復元する手段と、画像系列Ａにおける被写体Ａの画像上での２次元の動き情報と、画像系列Ｂにおける被写体Ｂの画像上での２次元の動き情報から、あるフレーム分重複するフレームでの、各画像系列での動き情報である計測行列Ａと計測行列Ｂを取り出し、その重複するフレームでの２次元の動き情報から、被写体Ａと被写体Ｂの重心Ｏの動きを得る手段と、前記取り出した計測行列Ａ、計測行列Ｂと、前記復元した被写体Ａの３次元形状、前記復元した被写体Ｂの３次元形状、並びに、前記復元した被写体Ａと被写体Ｂを映した画像系列において重複するフレーム分に対応する画像入力手段の運動情報を与えて、重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を、因子分解法により求める並進ベクトル復元手段と、重心Ｏを基準点として、重心Ｏから重心Ｏaまでの並進量を被写体Ａの３次元情報に加味し、同様に、重心Ｏから重心Ｏbまでの並進量を被写体Ｂの３次元情報に加味することで、被写体Ａの３次元情報と被写体Ｂの３次元情報を統合し、各画像系列から復元した３次元情報を統合する手段と、を有することを特徴とする３次元情報復元装置である。
【００１７】
または、並進ベクトル復元手段は、復元した重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量を被写体Ａの３次元形状情報に加味し、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を被写体Ｂの３次元形状情報に加味し、重複したフレームヘの再投影を行い、計測行列Ａと計測行列Ｂとの誤差が一定値、または、収束していないと判定する場合は、その誤差に応じて計測行列Ａと計測行列Ｂを更新する手段と、更新された計測行列Ａと計測行列Ｂを用いて重心Ｏから被写体Ａの３次元情報における重心Ｏaまでの並進量と、重心Ｏから被写体Ｂの３次元情報における重心Ｏbまでの並進量を求める手段と、を有することを特徴とする上記の３次元情報復元装置である。
【００１８】
または、画像系列取り出し手段は、画像入力手段を使って取得した時系列画像から、対象とする物体である被写体の３次元形状を獲得・復元するため、画像系列（ｉ）と、あるフレーム分を重複して得た次の画像系列（ｉ＋１）を取り出し、画像系列（ｉ）を画像系列Ａに、画像系列（ｉ＋１）を画像系列Ｂとするものであり、画像系列取り出し手段以降の手段は、逐次、３次元形状を統合しながら、全画像系列において、ある基準点からの相対的な３次元形状に変換して、全画像系列の被写体の統合的な３次元形状情報を復元するものであることを特徴とする上記の３次元情報復元装置である。
【００１９】
または、上記の３次元情報復元方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とする３次元情報復元プログラムである。
【００２０】
または、上記の３次元情報復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする３次元情報復元プログラムを記録した記録媒体である。
【発明の効果】
【００２１】
本発明によれば、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）からコンピュータビジョンによる手法に得た対象物の外観を表現する物体形状（被写体の全体像）を、従来のように、フレームイン・フレームアウトする映像シーンからでも、広域、かつ、シームレスに復元することが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施するための最良の形態について図を用いて詳細に説明する。
【実施例１】
【００２３】
図１は、請求項１の発明に関する処理構成図であり、図４が、本発明の処理フローである。これらの図をもとに本発明の実施例１を説明する。なお、物体外観を形成する幾何情報は点群としている。点群は３次元情報として獲得対象となりやすい幾何情報であり、画像系列から形状を復元する場合は点群（特徴点）が頻繁に利用されている。そのため、本実施例での２次元座標値は特徴点のｘｙ画像座標値を指し、本発明で復元する３次元情報とは、この特徴点の空間中での３次元座標値（ＸＹＺ）とする。また、本実施例の説明では、画像系列の例として空撮映像を用いているが、これ以外に車載映像、室内映像としてもよい。
【００２４】
図１に示すように、本実施例は、カメラを使って取得した時系列画像からあるフレーム分重複する画像系列より求めた計測行列を格納する計測行列データベース部１、重複して隣接する画像系列の計測行列を計測行列データベース部１からロードする計測行列入力部２、読み込んだ計測行列から重心を算出するための重心座標算出部３、前記画像系列より獲得した物体形状を３次元情報データベース部４から読み込む形状行列入力部５、これらのデータとカメラ運動を使って、ある基準点からの各物体形状の重心への並進ベクトルを求める並進ベクトル復元部６、各フレームでのカメラ姿勢を表す前記カメラ運動を生成するためのカメラ運動生成部７、これら並進ベクトルから各物体形状をある基準座標系での３次元情報に変換して統合する３次元情報変換部８から構成される。また、図２はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部などの記憶装置を必要としない。この場合、統合された３次元情報は形状行列の出力部９より出力する。
【００２５】
まず、図１の計測行列データベース部１から計測行列［Ａ］1と計測行列［Ａ］2を読み込む。各計測行列は、式（１ａ）、式（１ｂ）に示すフォーマットであるとする。
【００２６】
【数１】
2005030956.tif 000003
【００２７】
これからのデータは、画像系列１上でのＦフレームにわたるＰ1個の２次元座標値（ｘ(1)ij，ｙ(1)ij）；ｉ＝１，２，…，Ｆ、ｊ＝１，２，…，Ｐ1と、画像系列２上でのＦフレームにわたるＰ2個の２次元座標値（ｘ(2)ij，ｙ(2)ij）；ｉ＝１，２，…，Ｆ、ｊ＝１，２，…，Ｐ2である。各計測行列が、図３（ａ），（ｂ）に示すようにメモリに配置されているものとする。図３ではＦ／２フレームの重複となっている。このうち、これらの計測行列から重複するフレームの部分をそれぞれ取り出す。つまり、図３（ａ）の四角の枠で示したように計測行列［Ａ］1からＦ／２≦ｉ≦Ｆのフレーム部分に対応する画像座標値だけを取り出す。また、図３（ｂ）の四角の枠で示したように計測行列［Ａ］2から１≦ｉ≦Ｆ／２のフレーム部分に対応する画像座標値だけを取り出す。式（２ａ）、式（２ｂ）は、取り出したサブ計測行列［Ａ1］と［Ａ2］のデータフォーマットである。
【００２８】
【数２】
2005030956.tif 000004
【００２９】
次に、図１の重心座標算出部３において、式（３ａ）、式（３ｂ）の計算をする。すなわち、各サブ計測行列の各フレームでの平均値を求め、式（３）で表される平均値（Ｔｘi，Ｔｙi）、ｉ＝１，２，…，Ｆ／２を算出する（図４では重心Ｏ12の算出）。
【００３０】
【数３】
2005030956.tif 000005
【００３１】
その後、式（４ａ）、式（４ｂ）の計算に従い、先のサブ計測行列［Ａ1］と［Ａ2］の各要素からこの平均値を引き、新たなサブ計測行列［Ａ'1］と［Ａ'2］を用意しておく。
【００３２】
【数４】
2005030956.tif 000006
【００３３】
図１のカメラ運動生成部７では、Ｆ×３サイズの行列［Ｍ］のデータを式（５）のフォーマットにそって準備する。
【００３４】
【数５】
2005030956.tif 000007
【００３５】
なお、この行列［Ｍ］のデータは各３次元ベクトルｍiｎjで構成されており、式（６）のデータフォーマットになっている。
【００３６】
【数６】
2005030956.tif 000008
【００３７】
さらに、図１の３次元情報データベース部４から各画像系列から獲得した３次元形状情報［Ｓ1］と［Ｓ2］を取り出す。３次元形状情報［Ｓ1］と［Ｓ2］は、式（７ａ）、（７ｂ）の形式となっており、各列ベクトルｓ(1)j，ｊ＝１，２，…，Ｐ1，ｓ(2)j，ｊ＝１，２，…，Ｐ2は特徴点の３次元座標値を表している。
【００３８】
【数７】
2005030956.tif 000009
【００３９】
図１の並進ベクトル復元部６では、これらのデータを使って、式（８ａ）、（８ｂ）に示す式により、３次元形状情報［Ｓ1］と［Ｓ2］を合わせた３次元形状情報の重心Ｏ12を原点とした位置から、３次元形状情報［Ｓ2］の重心への並進ベクトルＴ1と、３次元形状情報［Ｓ2］の重心への並進ベクトルＴ2を得る。式（８ａ）、（８ｂ）での行列［Ｍ］＋は行列［Ｍ］のMoore-Penrose型一般逆行列であり、［Ｍ］+＝（［Ｍ］T［Ｍ］）-1［Ｍ］Tで計算できる。
【００４０】
【数８】
2005030956.tif 000010
【００４１】
また、［１１…１］Ｐ1はＰ1個の１が並んだＰ1次元の行ベクトルである。並進ベクトルが得られると、式（９ａ）、（９ｂ）にしたがって３次元形状情報の加算することで、３次元形状情報の［Ｓ1］と［Ｓ2］を統合して、重心を同じにした座標系での３次元形状情報の［Ｓ'1］と［Ｓ'2］が得られる。
【００４２】
【数９】
2005030956.tif 000011
【実施例２】
【００４３】
次に、請求項１を引用した請求項３の実施例について記載する。構成図は図１，２と同じであり、その内部の処理フローを図５に示す。この実施例では、反復的に、実施例１の並進ベクトルＴ1とＴ2を求める。実施例１に対して、反復を行うだけが異なるため、その部分のみを記載する。
【００４４】
実施例１において、並進ベクトルＴ1と並進ベクトルＴ2が得られた後、式（１０ａ）、（１０ｂ）の計算に従い再投影座標値を求める。
【００４５】
【数１０】
2005030956.tif 000012
【００４６】
サブ計測行列［Ａ'1］から得た並進ベクトルＴ1で得られる再投影座標値は（ｘ'(1)ij，ｙ'(1)ij）、並進ベクトルＴ2で得られる再投影座標値は（ｘ'(2)ij，ｙ'(2)ij）としている。次に、再投影誤差Δε1，Δε2を式（１１ａ）、（１１ｂ）に従って計算する。
【００４７】
【数１１】
2005030956.tif 000013
【００４８】
この再投影誤差Δε1，Δε2がある一定値以下、または、収束していると判定されたならば、その時点での並進ベクトルＴ1と並進ベクトルＴ2を出力し、そうでない場合は、式（１２ａ）、（１２ｂ）に従って次のサブ計測行列［Ａ'1］と［Ａ'2］を更新する。
【００４９】
【数１２】
2005030956.tif 000014
【００５０】
さらに、この更新したサブ計測行列［Ａ'1］と［Ａ'2］からこれまでの同様の処理を行い、並進ベクトルＴ1と並進ベクトルＴ2を求め、再投影誤差がある一定値以下、または、１つ前の反復での再投影誤差と比較してある一定値の誤差以内であるとき、収束したと判定して、その時点での並進ベクトルＴ1と並進ベクトルＴ2を出力する。
【実施例３】
【００５１】
図６は、請求項２の発明に関する処理構成図であり、図４が、本発明の処理フローである。
【００５２】
図６に示すように、本実施例は、カメラを使って取得した時系列画像からあるフレーム分重複する画像系列より求めた計測行列を格納する計測行列データベース部１、重複して隣接する時系列画像の計測行列をロードする計測行列入力部２、読み込んだ計測行列から重心を算出するための重心座標算出部３、前記画像系列より獲得した物体形状を３次元情報データベース部４から読み込む形状行列入力部５、３次元情報データベース部４から各フレームでのカメラ姿勢を表すカメラ運動を読み込むカメラ運動入力部１０、これらのデータを使って、ある基準点からの各物体形状の重心への並進ベクトルを求める並進ベクトル復元部６、これら並進ベクトルから各物体形状をある基準座標系での３次元情報に変換して統合する３次元情報変換部８から構成される。図７はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部などの記憶装置を必要としない。この場合、統合された３次元情報は形状行列の出力部９より出力する。
【００５３】
まず、図６の計測行列データベース部１から計測行列［Ａ］1と計測行列［Ａ］2を読み込む。各計測行列は、式（１ａ）、式（１ｂ）に示すフォーマットであるとする。これからのデータは、画像系列１上でのＦフレームにわたるＰ1個の２次元座標値（ｘ(1)ij，ｙ(1)ij）；ｉ＝１，２，…，Ｆ、ｊ＝１，２，…，Ｐ1と、画像系列２上でのＦフレームにわたるＰ2個の２次元座標値（ｘ(2)ij，ｙ(2)ij）；ｉ＝１，２，…，Ｆ、ｊ＝１，２，…，Ｐ2である。各計測行列が、図３（ａ），（ｂ）に示すようにメモリに配置されているものとする。図３ではＦ／２フレームの重複となっている。このうち、これらの計測行列から重複するフレームの部分をそれぞれ取り出す。つまり、図３（ａ）の四角の枠で示したように計測行列［Ａ］1からＦ／２≦ｉ≦Ｆのフレーム部分に対応する画像座標値だけを取り出す。また、図３（ｂ）の四角の枠で示したように計測行列［Ａ］2から１≦ｉ≦Ｆ／２のフレーム部分に対応する画像座標値だけを取り出す。式（２ａ）、式（２ｂ）は、取り出したサブ計測行列［Ａ1］と［Ａ2］のデータフォーマットである。
【００５４】
次に、図６の重心座標算出部３において、式（３ａ）、式（３ｂ）の計算をする。すなわち、各サブ計測行列の各フレームでの平均値を求め、式（３）で表される平均値（Ｔｘi，Ｔｙi），ｉ＝１，２，…，Ｆ／２を算出する（図４では重心Ｏ12の算出）。その後、式（４ａ）、式（４ｂ）の計算に従い、先のサブ計測行列［Ａ1］と［Ａ2］の各要素からこの平均値を引き、新たなサブ計測行列［Ａ'1］と［Ａ'2］を用意しておく。
【００５５】
一方、図６の３次元情報データベース部４から、因子分解法などのコンピュータビジョン手法により復元した、各サブ計測行列からＦ×３サイズのカメラ運動行列［Ｍ1］と［Ｍ2］を得る。このときのデータフォーマットを、式（１３ａ）、（１３ｂ）に示す。
【００５６】
【数１３】
2005030956.tif 000015
【００５７】
これらのサブカメラ運動行列から、式（１４）に示すカメラ運動行列［Ｍ］を得る。
【００５８】
【数１４】
2005030956.tif 000016
【００５９】
さらに、図６の３次元情報データベース部４から各画像系列から獲得した３次元形状情報［Ｓ1］と［Ｓ2］を取り出す。３次元形状情報［Ｓ1］と［Ｓ2］は、式（７ａ）、（７ｂ）の形式となっており、各列ベクトルｓ(1)j，ｊ＝１，２，…，Ｐ1、ｓ(2)j，ｊ＝１，２，…，Ｐ2は特徴点の３次元座標値を表している。
【００６０】
図６の並進ベクトル復元部６では、これらのデータを使って、式（８ａ）、（８ｂ）に示す式により、３次元形状情報［Ｓ1］と［Ｓ2］を合わせた３次元形状情報の重心Ｏ12を原点とした位置から、３次元形状情報［Ｓ1］の重心への並進ベクトルＴ1と、３次元形状情報［Ｓ2］の重心への並進ベクトルＴ2を得る。式（８ａ）、（８ｂ）での行列［Ｍ］＋は行列［Ｍ］のMoore-Penrose型一般逆行列であり、［Ｍ］+＝（［Ｍ］T［Ｍ］）-1［Ｍ］Tで計算できる。また、［１１…１］Ｐ1はＰ1個の１が並んだＰ1次元の行ベクトルである。並進ベクトルが得られると、式（９ａ）、（９ｂ）にしたがって３次元形状情報を加算することで、３次元形状情報の［Ｓ1］と［Ｓ2］を統合して、重心を同じにした座標系での３次元形状情報の［Ｓ'1］と［Ｓ'2］が得られる。
【実施例４】
【００６１】
次に、請求項２を引用した請求項３の実施例について記載する。構成図は図６，７と同じであり、その内部の処理フローを図５に示す。この実施例では、反復的に、実施例１の並進ベクトルＴ1とＴ2を求める。実施例３に対して、反復を行うだけが異なるため、その部分のみを記載する。
【００６２】
実施例３において、並進ベクトルＴ1と並進ベクトルＴ2が得られた後、式（１０ａ）、（１０ｂ）の計算に従い再投影座標値を求める。サブ計測行列［Ａ'1］から得た並進ベクトルＴ1で得られる再投影座標値は（ｘ'(1)ij，ｙ'(1)ij）、並進ベクトルＴ2で得られる再投影座標値は（ｘ'(2)ij，ｙ'(2)ij）としている。次に、再投影誤差Δε1，Δε2を式（１１ａ）、（１１ｂ）に従って計算する。
【００６３】
この再投影誤差Δε1，Δε2がある一定値以下、または、収束していると判定されたならば、その時点での並進ベクトルＴ1と並進ベクトルＴ2を出力し、そうでない場合は、式（１２ａ）、（１２ｂ）に従って次のサブ計測行列［Ａ'1］と［Ａ'2］を更新する。
【００６４】
さらに、この更新したサブ計測行列［Ａ'1］と［Ａ'2］からこれまでの同様の処理を行い、並進ベクトルＴ1と並進ベクトルＴ2を求め、再投影誤差がある一定値以下、または、１つ前の反復での再投影誤差と比較してある一定値の誤差以内であるとき、収束したと判定して、その時点での並進ベクトルＴ1と並進ベクトルＴ2を出力する。
【実施例５】
【００６５】
請求項１を引用した請求項４の実施例について記載する。この実施例は、先の実施例と異なり、３つ以上のサブ計測行列から、１つの形状行列［Ｓ］を復元する実施例である。つまり、空撮映像から抽出したＮシーケンスから被写体の空間情報［Ｓ］を復元する発明である。構成図は図８である。本実施例は、画像系列をＮ分割して、その各シーケンスから、これまでの実施例を使って、隣接するシーケンスからの３次元情報を獲得し、全シーケンスを連結した３次元情報を復元するものである。図１０に、画像系列をＮ分割して、個々のシーケンスから３次元情報を復元する処理フローを示す。図９はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部などの記憶装置を必要としない。この場合、全画像系列の被写体の統合的な３次元情報は形状行列出力部９から出力する。
【００６６】
まず、図８の画像系列処理部１２では、時系列画像データベース部１１から、どれだけの画像枚数があるのかをカウントし、分割するシーケンスの数Ｎmaxを算出する。このとき、同時に、カウンタ値を初期化して、Ｎ＝０と置く。この実施例では、撮影手段の速度や動きに合わせて、この枚数を調整することにも対応できるが、説明の便宜上、シーケンスでの枚数を固定してＦ枚とする。このＦ枚の画像シーケンスの生成は、図１１にその概要を詳細に記載した。空撮映像などの画像系列が図１１に示すように、時刻ｔ1から時刻ｔxまでの間で各画像が取得されたとする。この画像系列において、時刻ｔ1から時刻ｔ3までのシーケンス１を取り出し、時刻ｔ2から時刻ｔ4までのシーケンス２を取り出して、Ｎmax個のシーケンスを得たとする（ちょうど割り切れる場合は少ないが、その場合は、最後のシーケンスで取り出すときに、オーバーラップを調整することで対処すれば問題ない）。ただし、各シーケンスをＦ／２枚重複するように、Ｆ枚単位で画像シーケンスｉ（ｉ＝１，２，…，Ｎmax）を取り出す。このオーバーラップするフレーム数も、フレーム数の変化、すなわち、撮影手段の速度や動きに合わせて、この枚数を調整することも可能である。図１０の開始フレーム番号ＴＣ１のセットでは、先の画像シーケンスの開始フレーム番号からＦ／２だけシフトしたフレーム番号を、処理対象の画像シーケンスの開始フレーム番号としてセットし、そのフレームからＦ枚の画像を取り出すように、終了フレーム番号ＴＣ２をセットする。これらのフレーム番号をセットすることで、シーケンスｉ（ｉ＝１，２，…，Ｎmax）として、画像を取り出すのである。
【００６７】
画像シーケンスを取り出すと、図８の特徴点追跡処理部１３において、特徴点追跡やオプティカルフローにより、特徴点の２次元座標値をフレームＦ枚から求める（式（１ａ）、（１ｂ）の計測行列は、この方法で求めることもできる）。これにより得た計測行列から、因子分解法を利用して、特徴点の３次元座標値を獲得し（式（７ａ）、（７ｂ）の３次元情報の形状行列は、この方法で求めることもできる）、一時的に、図８の３次元情報データベース部４に蓄積しておく。これを画像シーケンスｉ（ｉ＝１，２，…，Ｎmax）だけ続けて、逐次、図８の３次元情報データベース部４に格納する。
【００６８】
次に、画像シーケンスｉと画像シーケンスｉ＋１を、双方のシーケンスで共通するＦ／２フレーム部分において、実施例１で処理の対象としたシーケンス１とシーケンス２に置き換えて、各サブ計測行列、各３次元情報、並びにカメラ運動行列から、並進ベクトルＴaとＴa+1を求める（ａ＝１，２，…，Ｎmax−１）。ここで画像シーケンス１の重心の位置Ｏ1を基準位置（例えば、原点とする）として、全並進ベクトルを、その基準位置からの並進ベクトルに再計算する（図１２）。すなわち、基準位置Ｏ1から、各画像シーケンスの重心の位置Ｏa（ａ＝２，…，Ｎmax）への並進ベクトルＴ1,a（ａ＝１，２，…，Ｎmax−１）を式（１５）にしたがって得る。
【００６９】
【数１５】
2005030956.tif 000017
【００７０】
この並進ベクトルＴ1,a（ａ＝１，２，…，Ｎmax−１）を逐次求めることで、式（１６）に示すように各画像シーケンスから獲得した特徴点の３次元座標値のセット：［Ｓa］，ａ＝１，２，…，Ｎmaxに、この並進ベクトルＴ1,aの各成分を、式（１７）にしたがって加算することで、画像シーケンス１の重心を原点とした基準位置からの全３次元座標値［Ｓ'a］，ａ＝１，２，…，Ｎmaxを求めることができる。
【００７１】
【数１６】
2005030956.tif 000018
【００７２】
【数１７】
2005030956.tif 000019
【００７３】
なお、基準位置は、他の３次元座標値［Ｓa］の重心位置Ｏa（ａ＝２，…，Ｎmax）としてもよい。空撮映像では、図１２に示すように、各シーケンスに対応するエリアの３次元座標値を得る。並進ベクトルＴ1,aの各成分を式（１７）にしたがって加算し、画像シーケンス１の重心を原点とした基準位置からの全３次元座標値を求めることは、各シーケンスから別々に獲得した３次元座標値を、基準位置をＯ1として同じ座標系（ＸＹＺ）上に復元することを表している。
【００７４】
さらに、この実施例と実施例２、実施例３、実施例４と組み合わせることで、基準位置からの全３次元座標値を求めることができる（請求項４に対応する下記の実施例６，７，８）。なお、処理構成図、処理フローはこれまでの図で構成されるために省略した。
【実施例６】
【００７５】
実施例２＋実施例５→実施例６（請求項３を引用した請求項４の一実施例）：
処理構成図は図８と同じである。リアルタイム処理は図９と同じである。ただし、処理フロー図は、図１０において、逐次、図５の処理を繰り返して、３次元情報を復元する。
【実施例７】
【００７６】
実施例３＋実施例５→実施例７（請求項２を引用した請求項４の一実施例）：
図１３に処理構成図、図１４はリアルタイム処理型の処理構成図、図１５に処理フロー図を示す。
【実施例８】
【００７７】
実施例４＋実施例５→実施例８（請求項３を引用した請求項４の一実施例）：
処理構成図は図１３と同じである。リアルタイム処理は図１４と同じである。ただし、処理フロー図は、図１５において、逐次、図５の処理を繰り返して、３次元情報を復元する。
【実施例９】
【００７８】
図１，２，６〜９，１３，１４を用いて説明した各実施例の装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成して、そのプログラムをコンピュータを用いて実行することにより、本発明を実現することができること、あるいは、図４，５，１０，１５を用いて説明した各実施例の方法における処理のステップをコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることにより、本発明を実現することができることは言うまでもない。
【００７９】
これらの、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このようにして、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることによって、本発明が実施可能となる。
【図面の簡単な説明】
【００８０】
【図１】実施例１，２の発明に関する蓄積処理型の基本構成図
【図２】実施例１，２の発明に関するリアルタイム型の基本構成図
【図３】（ａ），（ｂ）は重複するＦ／２フレーム部分からのサブ計測行列の生成を示す図
【図４】実施例１の発明に関する処理フロー図
【図５】実施例２の発明に関する処理フロー図
【図６】実施例３，４の発明に関する蓄積処理型の基本構成図
【図７】実施例３，４の発明に関するリアルタイム型の基本構成図
【図８】実施例５，６の発明に関する蓄積処理型の基本構成図
【図９】実施例５，６の発明に関するリアルタイム型の基本構成図
【図１０】実施例５，６の発明に関する処理フロー図
【図１１】画像系列を逐次生成する説明図
【図１２】各画像系列から復元した３次元情報を逐次連結する説明図
【図１３】実施例７，８の発明に関する蓄積処理型の基本構成図
【図１４】実施例７，８の発明に関するリアルタイム型の基本構成図
【図１５】実施例７，８の発明に関する処理フロー図
【図１６】空撮映像において各視点での被写体の移り変わりを説明する図
【図１７】被写体全体の図に対する各視点で映像シーンの例を示す図
【図１８】（ａ），（ｂ），（ｃ）は各映像シーンでの特徴点フローを説明する図
【符号の説明】
【００８１】
１…計測行列データベース部
２…計測行列入力部
３…重心座標算出部
４…３次元情報データベース部
５…形状行列入力部
６…並進ベクトル復元部
７…カメラ運動生成部
８…３次元情報変換部
９…形状行列の出力部
１０…カメラ運動入力部
１１…時系列画像データベース部
１２…画像系列処理部
１３…特徴点追跡処理部
１４…３次元形状復元処理部
【図１】
2005030956.tif 000020
【図２】
2005030956.tif 000021
【図３】
2005030956.tif 000022
【図４】
2005030956.tif 000023
【図５】
2005030956.tif 000024
【図６】
2005030956.tif 000025
【図７】
2005030956.tif 000026
【図８】
2005030956.tif 000027
【図９】
2005030956.tif 000028
【図１０】
2005030956.tif 000029
【図１１】
2005030956.tif 000030
【図１２】
2005030956.tif 000031
【図１３】
2005030956.tif 000032
【図１４】
2005030956.tif 000033
【図１５】
2005030956.tif 000034
【図１６】
2005030956.tif 000035
【図１７】
2005030956.tif 000036
【図１８】
2005030956.tif 000037