(57)【要約】【課題】カメラ運動または対象物の物体形状を高速に獲得・復元する。【解決手段】特徴点追跡により計測した計測行列を蓄積してある計測行列データベース１から計測行列を取得して分割するための情報を計測行列データ入力部２で抽出する。計測行列分割部３は指定されたサブ計測行列に分割する。因子分解処理部４はサブ計測行列から因子分解法によりカメラ運動と物体形状を獲得・復元する。カメラ運動抽出部５はサブ計測行列から獲得・復元されたカメラ運動から共通的なカメラ運動を抽出して、これを対象とする時系列におけるカメラ運動として復元する。物体形状行列統合部７はサブ計測行列から獲得・復元されたサブ物体形状行列を統合して物体外観全体の特徴点の３次元座標値を獲得・復元する。ＧＰＳセンサなどからカメラ運動を復元し、カメラ運動行列を与えた因子分解法で物体形状を獲得・復元することも含む。【選択図】  図１
2004347332.tif 000002
【特許請求の範囲】
【請求項１】
カメラなどの画像入力装置、手段を使って取得した時系列画像から、カメラの運動と被写体の物体形状を獲得、復元する装置であって、
カメラの運動に伴って相対的に変化する時系列画像上での物体外観を形成する特徴点、線分などの幾何情報の時系列２次元計測データにおいて、その計測データ量がある規定値を超えたときに、計測データをサブ計測データに分割する分割手段と、
前記サブ計測データからカメラの運動とサブ物体形状を獲得する獲得手段と、
前記獲得手段で各サブ計測データから獲得・復元した各カメラ運動の中で共通的なカメラ運動を抽出して、対象とする時系列でのカメラ運動を復元する復元手段と、
前記獲得手段で得たサブ物体形状を、前記計測データを分割した順番に統合して物体形状全体の３次元情報を復元する復元手段と、
を有することを特徴とするカメラ運動・物体形状の復元装置。
【請求項２】
カメラなどの画像入力装置、手段を使って取得した時系列画像から、カメラの運動と被写体の物体形状を獲得、復元する装置であって、
カメラの運動に伴って相対的に変化する時系列画像上での物体外観を形成する特徴点、線分などの幾何情報の時系列２次元計測データにおいて、その計測データ量がある規定値を超えたときに、計測データをサブ計測データに分割する分割手段と、
姿勢センサなどのセンサ装置によりカメラの時間的動きを取得し、この情報からカメラ運動を再現するカメラ運動生成手段と、
前記サブ計測データと前記カメラ運動生成手段で得たカメラ運動により、サブ物体形状を獲得する獲得手段と、
前記獲得手段で得たサブ物体形状を、前記計測データを分割した順番に統合して物体形状全体の３次元情報を復元する復元手段と、
を有することを特徴とするカメラ運動・物体形状の復元装置。
【請求項３】
カメラなどの画像入力装置、手段を使って取得した時系列画像から、カメラの運動と被写体の物体形状を獲得、復元する方法であって、
カメラの運動に伴って相対的に変化する時系列画像上での物体外観を形成する特徴点、線分などの幾何情報の時系列２次元計測データにおいて、その計測データ量がある規定値を超えたときに、計測データをサブ計測データに分割する分割ステップと、
前記サブ計測データからカメラの運動とサブ物体形状を獲得する獲得ステップと、
前記獲得ステップで各サブ計測データから獲得・復元した各カメラ運動の中で共通的なカメラ運動を抽出して、対象とする時系列でのカメラ運動を復元する復元ステップと、
前記獲得ステップで得たサブ物体形状を、前記計測データを分割した順番に統合して物体形状全体の３次元情報を復元する復元ステップと、
を有することを特徴とするカメラ運動・物体形状の復元方法。
【請求項４】
カメラなどの画像入力装置、手段を使って取得した時系列画像から、カメラの運動と被写体の物体形状を獲得、復元する方法であって、
カメラの運動に伴って相対的に変化する時系列画像上での物体外観を形成する特徴点、線分などの幾何情報の時系列２次元計測データにおいて、その計測データ量がある規定値を超えたときに、計測データをサブ計測データに分割する分割ステップと、
姿勢センサなどのセンサ装置によりカメラの時間的動きを取得し、この情報からカメラ運動を再現するカメラ運動生成ステップと、
前記サブ計測データと前記カメラ運動生成ステップで得たカメラ運動により、サブ物体形状を獲得する獲得ステップと、
前記獲得ステップで得たサブ物体形状を、前記計測データを分割した順番に統合して物体形状全体の３次元情報を復元する復元ステップと、
を有することを特徴とするカメラ運動・物体形状の復元方法。
【請求項５】
請求項３、４のいずれか１項に記載のカメラ運動・物体形状の復元方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
【請求項６】
請求項３、４のいずれか１項に記載のカメラ運動・物体形状の復元方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ等の画像入力装置等により取得した時系列画像データから、時系列映像に映っている外界の形状、すなわち、被写体（対象物、物体）の外観形状を形成する空間情報（３次元座標値）を計測、獲得、復元すること、並びに、画像入力装置の光学的視点の運動を復元、獲得する技術に関係する。
【０００２】
特に、時系列画像上の膨大な特徴点の時系列画像情報から高速な処理を行って被写体の外観形状を形成する空間情報と、画像入力装置のカメラ視点の運動を同時に復元することにおいて好適に利用できるものである。
【０００３】
また、本発明は、屋内撮影画像、車載映像、船上からの海上映像、空撮などの時系列画像全般に対して利用可能である。
【０００４】
【従来の技術】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ解析を用いた３次元解析手法がある。また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に計測または獲得する手法の代表的な手法として、因子分解法がある。これらの手法によれば、物体が撮影されている複数の時系列画像から、３次元の形状に関する情報、並びに、カメラ視点に関する運動を獲得、復元することができる。
【０００５】
因子分解法は、３次元空間座標値と２次元画像座標値間の光学的射影モデルに基づいて、特異値分解や雑音除去を行い、カメラ運動に関する幾何的拘束条件のもとで雑音にロバストにカメラ運動と物体形状を同時に復元する手法である。これまで、因子分解法アルゴリズムは線形演算が主体の手法が多く、実際の透視投影モデルに対して、正射影、弱透視投影、平行透視投影などの線形近似の投影モデルが用いられてきた（例えば、非特許文献１、２、３参照）。
【０００６】
特に、非特許文献１、２、３は、線形なアフィンカメラモデルを用いて、反復的に透視投影の投影モデルに漸近させる手法として存在している。これらの文献１、２、３の方法は、数回程度の反復的な因子分解法を繰り返すだけで、カメラ運動と物体形状を、透視投影モデルに近い状態で同時に復元することができ、３次元獲得手法、カメラ運動推定などに利用されている。
【０００７】
【非特許文献１】
Ｃ．Ｔｏｍａｓｉ  ａｎｄ  Ｔ．Ｋａｎａｄｅ，“Ｓｈａｐｅ  ａｎｄ  Ｍｏｔｉｏｎ  ｆｒｏｍ  Ｉｍａｇｅ  Ｓｔｒｅａｍｓ  Ｕｎｄｅｒ  Ｏｒｔｈｏｇｒａｐｈｙ：  Ａ  Ｆａｃｔｏｒｉｚａｔｉｏｎ  Ｍｅｔｈｏｄ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．９，Ｎｏ．２，ｐｐ．１３７−１５４．１９９２．
【０００８】
【非特許文献２】
Ｃ．Ｊ  Ｐｏｅｌｍａｎ  ａｎｄ  Ｔ．Ｋａｎａｄｅ，“Ａ  Ｐａｒａｐｅｒｓｐｅｃｔｉｖｅ  Ｆａｃｔｏｒｉｚａｔｉｏｎ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｓｈａｐｅ  ａｎｄ  Ｍｏｔｉｏｎ  Ｒｅｃｏｖｅｒｙ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１９，Ｎｏ．３，ｐｐ．２０６−２１８．１９９７．
【０００９】
【非特許文献３】
Ｓ．Ｃｈｒｉｓｔｙ  ａｎｄ  Ｒ．Ｈｏｒａｕｄ，”Ｅｕｃｌｉｄｅａｎ  Ｓｈａｐｅ  ａｎｄ  Ｍｏｔｉｏｎ  ｆｒｏｍ  Ｍｕｌｔｉｐｌｅ  Ｐｅｒｓｐｅｃｔｉｖｅ  Ｖｉｅｗｓ  ｂｙ  Ａｆｆｉｎｅ  Ｉｔｅｒａｔｉｏｎｓ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１８，Ｎｏ．１１，ｐｐ．２４９５−２５０３．１９９６．
【００１０】
【発明が解決しようとする課題】
従来、画像入力装置（カメラ）から取得した時系列画像に混入するランダム雑音の影響においても、撮影時のカメラの微小な動きをロバストに復元し、同時に、物体の形状も正確に復元する代表的な手法として、非特許文献１、２の因子分解法がある。
【００１１】
しかし、特徴点の数、並びに、フレーム数の増大により、処理する対象のデータ（計測行列）が大きくなるにつれて、その処理コストは大きくなる。例えば、ある特定のビデオレートのシーンにおいて１００（＝Ｆ）フレームの画像を用いる場合、特徴点が１０，０００（＝Ｐ）点ある場合は、因子分解法では、２００×１００００（＝２Ｆ×Ｐ）サイズの計測行列を処理することになる。このような場合、因子分解法では、特異値分解（ＳＶＤ：Ｓｉｎｇｕｌａｒ  Ｖａｌｕｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）の処理コストが大きくなり、特に、１０００点以上を超える計測行列では、処理を実行するのに多くの時間を必要とする。
【００１２】
さらに、非特許文献３の透視投影型因子分解法においては、反復的に因子分解法を行うため、その反復処理の回数に応じて特異値分解処理も行われる。このため、非特許文献３の透視投影型因子分解法では、さらに処理時間を要する問題があった。
【００１３】
本発明の目的は、上記の課題を解決したカメラ運動・物体形状の復元装置、復元方法、この方法のプログラムおよびこのプログラムを記録した記録媒体を提供することにある。
【００１４】
【課題を解決するための手段】
本発明は、前記の課題を解決するため、カメラ運動および物体形状の復元処理において、分割した計測データからカメラ運動およびサブ物体形状を獲得し、得られたサブ物体形状を統合することにより、全体の物体形状を復元するようにしたもので、以下の装置、方法、プログラムおよび記録媒体を特徴とする。
【００１５】
（１）カメラなどの画像入力装置、手段を使って取得した時系列画像から、カメラの運動と被写体の物体形状を獲得、復元する装置であって、
カメラの運動に伴って相対的に変化する時系列画像上での物体外観を形成する特徴点、線分などの幾何情報の時系列２次元計測データにおいて、その計測データ量がある規定値を超えたときに、計測データをサブ計測データに分割する分割手段と、
前記サブ計測データからカメラの運動とサブ物体形状を獲得する獲得手段と、
前記獲得手段で各サブ計測データから獲得・復元した各カメラ運動の中で共通的なカメラ運動を抽出して、対象とする時系列でのカメラ運動を復元する復元手段と、
前記獲得手段で得たサブ物体形状を、前記計測データを分割した順番に統合して物体形状全体の３次元情報を復元する復元手段と、
を有することを特徴とするカメラ運動・物体形状の復元装置。
【００１６】
（２）カメラなどの画像入力装置、手段を使って取得した時系列画像から、カメラの運動と被写体の物体形状を獲得、復元する装置であって、
カメラの運動に伴って相対的に変化する時系列画像上での物体外観を形成する特徴点、線分などの幾何情報の時系列２次元計測データにおいて、その計測データ量がある規定値を超えたときに、計測データをサブ計測データに分割する分割手段と、
姿勢センサなどのセンサ装置によりカメラの時間的動きを取得し、この情報からカメラ運動を再現するカメラ運動生成手段と、
前記サブ計測データと前記カメラ運動生成手段で得たカメラ運動により、サブ物体形状を獲得する獲得手段と、
前記獲得手段で得たサブ物体形状を、前記計測データを分割した順番に統合して物体形状全体の３次元情報を復元する復元手段と、
を有することを特徴とするカメラ運動・物体形状の復元装置。
【００１７】
（３）カメラなどの画像入力装置、手段を使って取得した時系列画像から、カメラの運動と被写体の物体形状を獲得、復元する方法であって、
カメラの運動に伴って相対的に変化する時系列画像上での物体外観を形成する特徴点、線分などの幾何情報の時系列２次元計測データにおいて、その計測データ量がある規定値を超えたときに、計測データをサブ計測データに分割する分割ステップと、
前記サブ計測データからカメラの運動とサブ物体形状を獲得する獲得ステップと、
前記獲得ステップで各サブ計測データから獲得・復元した各カメラ運動の中で共通的なカメラ運動を抽出して、対象とする時系列でのカメラ運動を復元する復元ステップと、
前記獲得ステップで得たサブ物体形状を、前記計測データを分割した順番に統合して物体形状全体の３次元情報を復元する復元ステップと、
を有することを特徴とするカメラ運動・物体形状の復元方法。
【００１８】
（４）カメラなどの画像入力装置、手段を使って取得した時系列画像から、カメラの運動と被写体の物体形状を獲得、復元する方法であって、
カメラの運動に伴って相対的に変化する時系列画像上での物体外観を形成する特徴点、線分などの幾何情報の時系列２次元計測データにおいて、その計測データ量がある規定値を超えたときに、計測データをサブ計測データに分割する分割ステップと、
姿勢センサなどのセンサ装置によりカメラの時間的動きを取得し、この情報からカメラ運動を再現するカメラ運動生成ステップと、
前記サブ計測データと前記カメラ運動生成ステップで得たカメラ運動により、サブ物体形状を獲得する獲得ステップと、
前記獲得ステップで得たサブ物体形状を、前記計測データを分割した順番に統合して物体形状全体の３次元情報を復元する復元ステップと、
を有することを特徴とするカメラ運動・物体形状の復元方法。
【００１９】
（５）上記の（３）、（４）のいずれか１項に記載のカメラ運動・物体形状の復元方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
【００２０】
（６）上記の（３）、（４）のいずれか１項に記載のカメラ運動・物体形状の復元方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
【００２１】
【発明の実施の形態】
（実施形態１）
図１は、本発明の請求項１等に係る復元装置の構成図である。この図および図２、図３等をもとに本発明の実施形態を説明する。なお、画像入力装置としてカメラを、時系列画像として空撮画像の場合を説明する。さらに、物体外観を形成する時系列画像の幾何情報を特徴点（点群）とする。
【００２２】
本実施形態では、計測行列データベースにある計測行列は、下記文献のＫＬＴ法（Ｋａｎａｄｅ・Ｌｕｃａｓ・Ｔｏｍａｓｉ法の略称であり、画像中の特徴点を追跡するロバストな手法として知られる代表的なものである）を利用した特徴点追跡処理により特徴点の時系列的動きを計測して取得したものであり、計測データは計測行列となる。この計測行列からカメラ運動と物体形状を獲得・復元する手法として前記の非特許文献１、２、３の因子分解法を利用している。
【００２３】
ＫＬＴ法文献「Ｊ．Ｓｈｉ  ａｎｄ  Ｃ．Ｔｏｍａｓｉ，“Ｇｏｏｄ  ｆｅａｔｕｒｅｓ  ｔｏ  ｔｒａｃｋ”，Ｉｎ  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｎｆ．ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ９４），Ｓｅａｔｔｌｅ，Ｊｕｎｅ  １９９４．」
本実施形態は、特徴点追跡により計測した計測行列を蓄積してある計測行列データベース１と、このデータベースから計測行列を取得して分割するための情報を抽出する計測行列データ入力部２と、指定されたサブ計測行列に分割する計測行列分割部３と、サブ計測行列から因子分解法によりカメラ運動と物体形状を獲得・復元する因子分解処理部４と、サブ計測行列から獲得・復元されたカメラ運動から共通的なカメラ運動を抽出して、これを対象とする時系列におけるカメラ運動として復元するカメラ運動抽出部５と、このカメラ運動のデータを格納しておくカメラ運動データベース６、サブ計測行列から獲得・復元されたサブ物体形状行列を統合して物体外観全体の特徴点の３次元座標値を獲得・復元する物体形状行列統合部７と、この物体外観全体の３次元座標値データを格納しておく物体形状データベース８から構成される。
【００２４】
なお、データベース１、６、８などの記憶装置にデータを格納しておくのに代えて、図２に示すように、計測行列データ入力部２Ａ、カメラ運動出力部６Ａ、物体形状出力部８Ａによるリアルタイム処理を行う構成とすることもできる。
【００２５】
本実施形態の復元処理手順を図３の処理フローを参照して説明する。まず、計測行列データベース１から対象とする計測行列［Ａ］を取得する（Ｓ１）。この計測行列［Ａ］は、式（１）のフォーマットに従って特徴点の画像座標値（ｘｉｊ，ｙｉｊ）が配列されている。すなわち、行方向は各特徴点（ｊ＝１，２，…，ｐ；全特徴点をＰ個とする）の画像座標値が各フレームｉ＝１，２，…，Ｆに対して配置しており、列方向には、ある特徴点ｊ＝１，２、…、Ｐの時系列画像での座標値が配置されている。ただし、列方向は２Ｆサイズ（フレーム数をＦ枚とする）となっており、第１行から第Ｆ行までが画像座標でのｘ座標値、第Ｆ＋１行から第２Ｆ行までが画像座標でのｙ座標値となっている。
【００２６】
【数１】
2004347332.tif 000003
【００２７】
計測行列データベース１から取り出した計測行列［Ａ］の特徴点の数をカウントする（Ｓ２）。特徴点の数Ｐ個が規定値（図３ではＬ個）を超えている場合（Ｓ３）、分割数Ｎを算出する（Ｓ４）。このときの分割数ＮはＰ／Ｌで得るときの小数点以下を切り捨てた整数値＋１とする。また、処理回数の初期値ｋ＝１を設定しておく（Ｓ５）。
【００２８】
一方、計測行列の各行列要素から、式（２）により各フレームでの重心座標値（Ｔｘｉ，Ｔｙｉ）；ｉ＝１，２，…，Ｆを算出する（Ｓ６）。
【００２９】
【数２】
2004347332.tif 000004
【００３０】
次いで、式（３）に示す座標変換を行い、全特徴点の座標値（ｘｉｊ，ｙｉｊ）；ｉ＝１，２，…，Ｆ、ｊ＝１，２，…，Ｐを重心座標値（Ｔｘｉ，Ｔｙｉ）からの相対座標値（ｘ’ｉｊ，ｙ’ｉｊ）；ｉ＝１，２，…，Ｆ、ｊ＝１，２，…，Ｐを計算する（Ｓ７）。
【００３１】
【数３】
2004347332.tif 000005
【００３２】
この相対座標値を要素とする２Ｆ×Ｐサイズの計測行列［Ａ’］を一時的に確保しておく（Ｓ８）。図４の上に示す枠を計測行列［Ａ’］の各要素を一時的に確保しているメモリとする。
【００３３】
この状態で、分割数Ｎ＞処理回数ｋの場合（Ｓ９）は、各サブ計測行列［Ａｋ］；ｋ＝１，２，…，Ｎを計測行列［Ａ’］から分割して取り出す（Ｓ１０）。ここで、各サブ計測行列の各特徴点数Ｐｋ；ｋ＝１，２，…，Ｎ−１はＬ個としており、最後のサブ計測行列［ＡＮ］の特徴点ＰＮは、Ｐ／Ｌの剰余としている。
【００３４】
このように、計測行列分割部３において、サブ計測行列として得られた各計測行列データを入力データとして、因子分解処理部４において処理を行う（Ｓ１１）。この因子分解処理では、カメラ運動行列［Ｍｋ］；ｋ＝１，２，…，Ｎ（式（４））とサブ物体形状行列［Ｓｋ］；ｋ＝１，２，…，Ｎ（式（４Ａ））を得る（Ｓ１２，Ｓ１３）。これら因子分解処理は、処理回数ｋがＮに達するまで繰り返す（Ｓ１４）。
【００３５】
【数４】
2004347332.tif 000006
【００３６】
この因子分解処理にて獲得したカメラ運動［Ｍｋ］；ｋ＝１，２，…，Ｎは、各フレームに対して、式（５）の平均化処理を行い、式（６）の時系列に関するカメラ運動行列［Ｍ］を得る（Ｓ１５）。一方、物体形状［Ｓｋ］；ｋ＝１，２，…，Ｎは、図５に示すように、分割する前の計測行列と同じＰ個の容量のある行列［Ｓ］に、逐次取り出した順番で［Ｓｋ］；ｋ＝１，２，…，Ｎのデータを入れて物体形状行列を得る（Ｓ１６）。
【００３７】
【数５】
2004347332.tif 000007
【００３８】
【数６】
2004347332.tif 000008
【００３９】
このように、重心座標値（Ｔｘｉ，Ｔｙｉ）；ｉ＝１，２，…，Ｆを１つにした相対座標値（ｘ’ｉｊ，ｙ’ｉｊ）；ｉ＝１，２，…，Ｆ、ｊ＝１，２，…，Ｐを要素とする２Ｆ×Ｐｋ；ｋ＝１，２，…，Ｎサイズのサブ計測行列［Ａｋ］；ｋ＝１，２，…，Ｎに分割しておき、個々のサブ計測行列から個々にカメラ運動［Ｍｋ］；ｋ＝１，２，…，Ｎとサブ物体形状行列［Ｓｋ］；ｋ＝１，２，…，Ｎを獲得・復元することで、計算機パワーに負担をかけることなく、カメラ運動と物体形状の復元に必要な処理時間を大幅に削減することができる。
【００４０】
以上のことから、本実施形態では、２Ｆ×Ｐサイズの計測行列［Ａ］を入力データとして、因子分解処理部にて処理を行い、カメラ運動［Ｍ］と物体形状［Ｓ］を獲得・復元するよりも、膨大な特徴点を要素とする計測行列から、カメラ運動と膨大な特徴点から形成される物体外観の形状を高速に獲得・復元することが可能となる。
【００４１】
（実施形態２）
図６は、請求項２等に係る復元装置の構成図である。この図および図７、図８等をもとに本発明の実施形態を説明する。本実施形態が実施形態１と異なる点は、空撮画像の場合、カメラの姿勢をジャイロセンサ、姿勢センサ、ＧＰＳセンサなどを利用して姿勢情報を得ることができ、この姿勢情報をもつデータベース１６の姿勢情報を使って、カメラ運動生成部１５がカメラ運動行列［Ｍ］を復元する。
【００４２】
また、計測行列からカメラ運動と物体形状を獲得・復元する手法として、カメラ運動行列を与えた場合の因子分解法には、例えば、下記特許文献の技術を利用することができる。
【００４３】
文献「特開２０００−６７２１６：３次元構造獲得方法及び装置ならびにその方法の記録媒体」。この方法は、物体をカメラ撮影した２次元計測データ（計測行列）から、物体の構造を構成する特徴点座標値を時系列に追跡し、この時系列の特徴点の２次元計測データを因子分解法を用いて物体の構造または形状を獲得する３次元構造獲得方法において、雑音成分を除去した獲得方法である。
【００４４】
文献「特願２００２−５５２１２：物体形状復元・移動物体検出方法、物体形状復元・移動物体検出装置、物体形状復元・移動物体検出プログラム、およびこのプログラムを記録した記録媒体」。この方法は、計測行列データを、カメラの運動、物体の形状、物体の移動速度を表現する部分行列に分解し、カメラの姿勢情報からその運動行列を生成する。また、カメラの運動を表現する行列と姿勢情報から生成した運動行列との間の変換行列を算出し、この行列を物体の形状および速度の行列に作用させて、物体形状行列、物体の移動速度行列を復元する。
【００４５】
文献「特願２００２−０３９２１７：カメラ運動・物体形状復元方法、装置、プログラム、同プログラムを記録した記録媒体」。
【００４６】
図６において、特徴点追跡により計測した計測行列を蓄積してある計測行列データベース１１と、このデータベースから計測行列を取得して分割するための情報を抽出する計測行列データ入力部１２と、指定されたサブ計測行列に分割する計測行列分割部１３と、物体形状行列を格納する物体形状データベース１８は、実施形態１と同様になる。
【００４７】
また、図７は、図６のデータベースなどの記憶装置を必要としないリアルタイム型の装置構成であり、図７における計測行列データ入力部１２Ａ、物体形状出力部１８Ａおよび後述のカメラ姿勢情報データベース１６に代えたカメラ姿勢情報をリアルタイムで入力する姿勢情報入力部１６Ａとする。
【００４８】
また、図８における処理Ｓ２１〜Ｓ３０は図３における処理Ｓ１〜Ｓ１０に対応した処理になる。
【００４９】
本実施形態では、因子分解処理Ｓ３１に際して、カメラの姿勢情報を蓄積した姿勢情報データベース１６から時系列画像に対応するカメラの姿勢（αｉ、βｉ、γｉ）、すなわち、Ｒｏｌｌ回転αｉ，Ｐｉｔｃｈ回転βｉ，Ｙａｗ回転γｉ、並びに、ある基準面からの奥行きＴｚｉ（空撮映像の場合は、ＧＰＳセンサを利用して計測したカメラの海抜水平面からの標高値）を取り出し（Ｓ３２）、カメラ運動生成部１５では式（７）（８）に示す行列を計算し、これらからカメラの運動行列［Ｍ］を獲得する（Ｓ３３）。
【００５０】
【数７】
2004347332.tif 000009
【００５１】
【数８】
2004347332.tif 000010
【００５２】
この姿勢情報から復元したカメラ運動行列［Ｍ］を使って、特許文献１および特願２００２−５５２１２５、特願２００２−０３９２１７の技術を利用する。
【００５３】
以上のように、実施形態１との違いは、カメラの姿勢情報からカメラ運動行列［Ｍ］を求め、これを上記の文献による因子分解処理法を利用して因子分解し（Ｓ３１）、サブ物体形状行列［Ｓｋ］；ｋ＝１，２，…，Ｎを獲得・復元し（Ｓ３４）、この処理を繰り返して物体形状行列を得る（Ｓ３５，Ｓ３６）。これにより、カメラ運動と物体形状を獲得・復元するのに必要な全体の処理時間を大幅に削減することができ、計算機パワーにも負担を与えることなく高速に処理することができる。
【００５４】
以上のことから、本実施形態は、カメラ運動を姿勢情報などから復元した手法と併用させることで、膨大な特徴点を要素とする計測行列から、カメラ運動と膨大な特徴点から形成される物体外観の形状を高速に獲得・復元することが可能となる。
【００５５】
なお、本発明は、図３等に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現することができる。また、コンピュータでその各部の処理機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００５６】
【発明の効果】
以上のとおり、本発明によれば、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）から、カメラ運動、または対象物に関する物体形状を高速に獲得・復元することが可能となる。
【００５７】
また、これまでの測量技術並の高精度な３次元立体視が可能である。
【図面の簡単な説明】
【図１】本発明の実施形態１に係る蓄積処理型の装置構成図。
【図２】実施形態１に係るリアルタイム型の装置構成図。
【図３】実施形態１の復元処理フロー。
【図４】計測行列分割部での分割説明図。
【図５】物体形状統合部での統合説明図。
【図６】実施形態２に係る蓄積処理型の装置構成図。
【図７】実施形態２に係るリアルタイム型の装置構成図。
【図８】実施形態２の復元処理フロー。
【符号の説明】
１、１１…計測行列データベース
２、１２…計測行列データ入力部
３、１３…計測行列分割部
４、１４…因子分解処理部
５…カメラ運動抽出部
６…カメラ運動データベース
７、１７…物体形状行列統合部
８、１８…物体形状データベース
１５…カメラ運動生成部
１６…姿勢情報データベース
【図１】
2004347332.tif 000011
【図２】
2004347332.tif 000012
【図３】
2004347332.tif 000013
【図４】
2004347332.tif 000014
【図５】
2004347332.tif 000015
【図６】
2004347332.tif 000016
【図７】
2004347332.tif 000017
【図８】
2004347332.tif 000018