(57)【要約】  【課題】  得られた時系列画像から画像系列を取り出してカメラ運動と３次元形状を復元するとき、復元するのに十分な画像系列かどうかを自動的に判断する。  【解決手段】  カメラから取得した画像を時系列画像データベース部１１に格納する。次に、そのデータベース部１１からあるフレーム間の画像系列を画像系列取得部１２で取得する。取り出した画像系列間で特徴点を特徴点抽出部１３で抽出し、抽出した特徴点を特徴点追跡処理部１４によりフレーム間に亘って追跡する。追跡により得られた画像情報から、カメラ運動の有無をカメラ運動検出部１５で検出し、カメラ運動判定部１６でカメラ運動と相対的に動く特徴点に惑わされることなく、それ以外の特徴点から、用いるフレーム数がカメラ運動と３次元形状を復元するのに十分かどうかを判定する。  【選択図】  図１
2006090916.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラなどの画像入力装置を使って視点位置を移動しながら取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列におけるカメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元するために必要な画像フレーム数を決定する方法であって、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手順と、
取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手順と、
２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解により特異値を得る手順と、
得られた特異値において、特定の特異値が小さいと判定された場合は、画像系列からより多くのフレーム数を取り出し、特定の特異値が適当な大きさとなるまで、フレーム数を変化させて画像系列を取得する手順と、を備える
ことを特徴とする画像系列取得方法。
【請求項２】
請求項１に記載の画像系列取得方法において、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手順と、
取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手順と、
２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解を行い、高次なランク成分を取り出す手順と、
その高次なランク成分の大きさが閾値より大きい場合はその特徴点を除去することで、高次なランク成分を低減させた行列データを生成する手順と、を備える
ことを特徴とする画像系列取得方法。
【請求項３】
請求項１に記載の画像系列取得方法において、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手順と、
取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手順と、
各フレームでの２次元座標情報が指定した領域内に存在するかを判定する手順と、
判定の結果、領域外となる特徴点が存在する場合は、フレーム数を減らして再び画像系列を取り出す手順と、を備える
ことを特徴とする画像系列取得方法。
【請求項４】
請求項１に記載の画像系列取得方法において、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手順と、
取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する第１手順と、
各フレームでの２次元座標情報が指定した領域内に存在するかを判定する手順と、
判定の結果、領域外となる特徴点が存在する場合は、フレーム数を減らして再び画像系列を取り出す手順と、
得られた画像系列のフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する第２手順と、
２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解を行い、高次なランク成分を取り出す手順と、
その高次なランク成分の大きさが閾値より大きい場合はその特徴点を除去することで、高次なランク成分を低減させた行列データを生成する手順と、を備える
ことを特徴とする画像系列取得方法。
【請求項５】
ビデオカメラなどの画像入力装置を使って視点位置を移動しながら取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列におけるカメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元するために必要な画像フレーム数を決定する装置であって、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手段と、
取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手段と、
２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解により特異値を得る手段と、
得られた特異値において、特定の特異値が小さいと判定された場合は、画像系列からより多くのフレーム数を取り出し、特定の特異値が適当な大きさとなるまで、フレーム数を変化させて画像系列を取得する手段と、を備える
ことを特徴とする画像系列取得装置。
【請求項６】
請求項５に記載の画像系列取得装置において、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手段と、
取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手段と、
２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解を行い、高次なランク成分を取り出す手段と、
その高次なランク成分の大きさが閾値より大きい場合はその特徴点を除去することで、高次なランク成分を低減させた行列データを生成する手段と、を備える
ことを特徴とする画像系列取得装置。
【請求項７】
請求項５に記載の画像系列取得装置において、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手段と、
取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手段と、
各フレームでの２次元座標情報が指定した領域内に存在するかを判定する手段と、
判定の結果、領域外となる特徴点が存在する場合は、フレーム数を減らして再び画像系列を取り出す手段と、を備える
ことを特徴とする画像系列取得装置。
【請求項８】
請求項５に記載の画像系列取得装置において、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手段と、
取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する第１手段と、
各フレームでの２次元座標情報が指定した領域内に存在するかを判定する手段と、
判定の結果、領域外となる特徴点が存在する場合は、フレーム数を減らして再び画像系列を取り出す手段と、
得られた画像系列のフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する第２手段と、
２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解を行い、高次なランク成分を取り出す手段と、
その高次なランク成分の大きさが閾値より大きい場合はその特徴点を除去することで、高次なランク成分を低減させた行列データを生成する手段と、を備える
ことを特徴とする画像系列取得装置。
【請求項９】
請求項１から４のいずれかに記載の画像系列取得方法における手順を、コンピュータに実行させるためのプログラムとした
ことを特徴とする画像系列取得方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラを使って取得した車載画像、室内画像、歩行撮影、船上からの海上画像、空撮、さらに全方位カメラで取得した時系列画像などの時系列画像全般に対して、カメラの運動（カメラの視点に関するロール、ピッチ、ヨー回転から構成されるカメラ座標軸周りの回転運動、三軸方向の並進運動）または、物体形状を表す３次元情報を復元する場合に、用いる画像の枚数が適切かどうかを判定するのに利用可能である画像系列取得方法、装置及びその方法を実行するプログラムに関するものである。
【背景技術】
【０００２】
コンピュータビジョンでは、ビデオカメラで取得した画像から、カメラ運動と３次元形状を復元する技術は、ロボット視覚としての機能やロボットナビゲーションに応用されている。画像からカメラ運動や３次元形状を復元するには、多くの技術においてカメラが動くことにより外界の３次元形状を復元するという“Shape From Motion”の原理が使われている。
【０００３】
因子分解法でもShape From Motionの原理に基づいており、シーン中のフレーム区間において特徴点の画像座標値（ｘij，ｙij）を観測し、その画像座標値を式（Ａ１）左辺に示すように特定の行列形式に並べた２Ｆ×Ｐの行列データからカメラ運動（式（Ａ１）右辺左側の行列）と３次元形状（式（Ａ１）右辺右側の行列）に因子分解することができる。
【０００４】
【数１】
2006090916.tif 000003
【０００５】
上記の方法では、用いるフレーム数はＦであり、Ｆフレーム区間においてＰ個の特徴点の画像座標値を観測することを前提としている。したがって、この手法では、Ｆフレーム区間においてカメラが動いていたかどうかを事前に識別することができず、カメラが十分に移動しないときは高精度なカメラ運動と３次元形状を復元することができない。
【０００６】
上記の技術の応用例として、ビデオカメラを搭載した車両を使って、市街地を移動観測し、得られた市街地景観画像から市街地の景観を３次元構造化する技術がある。時系列画像はカメラが移動していることを前提としている。
【０００７】
下記特許文献１では、画像取得の段階で距離線形となるように画像取得装置を工夫している。簡単に述べると、車速センサを利用して車両の移動量を検出し、ある一定量の移動量がないときはカメラのシャッターを切らず、一定量を超えた時点で画像を取得するという方式に基づいている。
【０００８】
これにより、カメラが常に移動した条件での時系列画像が取得できる。このように、従来の技術では、車両に取り付けたセンサを利用することで、画像取得の際に距離線形な時系列画像を取得することができるため、因子分解法などのShape From Motion原理に基づく方法を使って、得られた時系列画像からカメラ運動と３次元形状を高精度に復元することができる。
【特許文献１】特開２００２−２２４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
車両の移動観測により市街地景観の３次元構造を復元する場合では、距離線形な画像を取得するために、車速センサにより車両の動きを検出して、区間一定の画像系列を取得していたが、撮影システムとして複雑になりやすく、センサ間の時間同期が正確でない場合もある。
【００１０】
また、市街地走行では、交差点内での一時停止、自然渋滞、信号や通行人待ちなどによる停止があり、距離センサや車速センサを用いる場合、車両が緩やかに運動する場合は、その移動量を正確に検出することが困難である。このため、車両移動に応じた距離線形な時系列画像の取得はあまり効果的に機能しない場合もある。
【００１１】
このような状況で取得した時系列画像からカメラ運動と３次元形状を復元するとき、その際に用いるフレーム数においては、カメラ運動と３次元形状を復元するだけの十分なフレーム数かどうかは因子分解法を使っても分からないという問題があった。
【００１２】
本発明は、上記の事情に鑑みてなされたもので、得られた時系列画像から画像系列を取り出してカメラ運動と３次元形状を復元するとき、復元するのに十分な画像系列かどうかを自動的に判断することができ、また、サンプリング処理により冗長な画像系列を低減することができるため、時系列画像を格納しておく記憶装置の資源を有効に活用することができる画像系列取得方法、装置及びその方法を実行するプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を達成するために、本発明は、ビデオカメラなどの画像入力装置を使って視点位置を移動しながら取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列におけるカメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元するために必要な画像フレーム数を決定する方法であって、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手順と、取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手順と、２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解により特異値を得る手順と、得られた特異値において、特定の特異値が小さいと判定された場合は、画像系列からより多くのフレーム数を取り出し、特定の特異値が適当な大きさとなるまで、フレーム数を変化させて画像系列を取得する手順と、を備えることを特徴とする。
【００１４】
あるいは、取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手順と、取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手順と、２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解を行い、高次なランク成分を取り出す手順と、その高次なランク成分の大きさが閾値より大きい場合はその特徴点を除去することで、高次なランク成分を低減させた行列データを生成する手順と、を備えることを特徴とする。
【００１５】
あるいは、取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手順と、取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手順と、各フレームでの２次元座標情報が指定した領域内に存在するかを判定する手順と、判定の結果、領域外となる特徴点が存在する場合は、フレーム数を減らして再び画像系列を取り出す手順と、を備えることを特徴とする。
【００１６】
あるいは、取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手順と、取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する第１手順と、各フレームでの２次元座標情報が指定した領域内に存在するかを判定する手順と、判定の結果、領域外となる特徴点が存在する場合は、フレーム数を減らして再び画像系列を取り出す手順と、得られた画像系列のフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する第２手順と、２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解を行い、高次なランク成分を取り出す手順と、その高次なランク成分の大きさが閾値より大きい場合はその特徴点を除去することで、高次なランク成分を低減させた行列データを生成する手順と、を備えることを特徴とする。
【００１７】
また、本発明は、ビデオカメラなどの画像入力装置を使って視点位置を移動しながら取得した時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列におけるカメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元するために必要な画像フレーム数を決定する装置であって、
取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手段と、取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手段と、２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解により特異値を得る手段と、得られた特異値において、特定の特異値が小さいと判定された場合は、画像系列からより多くのフレーム数を取り出し、特定の特異値が適当な大きさとなるまで、フレーム数を変化させて画像系列を取得する手段と、を備えることを特徴とする。
【００１８】
あるいは、取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手段と、取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手段と、２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解を行い、高次なランク成分を取り出す手段と、その高次なランク成分の大きさが閾値より大きい場合はその特徴点を除去することで、高次なランク成分を低減させた行列データを生成する手段と、を備えることを特徴とする。
【００１９】
あるいは、取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手段と、取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する手段と、各フレームでの２次元座標情報が指定した領域内に存在するかを判定する手段と、判定の結果、領域外となる特徴点が存在する場合は、フレーム数を減らして再び画像系列を取り出す手段と、を備えることを特徴とする。
【００２０】
あるいは、取得した時系列画像の中から、適当なフレーム数の画像系列を取り出す手段と、取り出したフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する第１手段と、各フレームでの２次元座標情報が指定した領域内に存在するかを判定する手段と、判定の結果、領域外となる特徴点が存在する場合は、フレーム数を減らして再び画像系列を取り出す手段と、得られた画像系列のフレーム間においてシーン中の各点の画像上での動き（２次元座標情報）を観測する第２手段と、２次元座標情報を特定の行列データ形式に並べ替え、その行列データに対して特異値分解を行い、高次なランク成分を取り出す手段と、その高次なランク成分の大きさが閾値より大きい場合はその特徴点を除去することで、高次なランク成分を低減させた行列データを生成する手段と、を備えることを特徴とする。
【００２１】
あるいは、画像系列取得方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする。
【００２２】
次に、上記のようにして課題を達成した本発明について、さらに詳細にのべる。本発明は車速センサを利用した画像取得方式により距離線形な画像系列を取得するのではなく、時系列で取得した画像からカメラ運動と３次元形状の復元に十分かどうかを自動判定する手段により、画像系列からカメラ運動と３次元形状を復元するために必要なフレーム数の過不足を検出する。以下は、その手段に関する説明である。
【００２３】
前述した式（Ａ１）左辺の行列を行列［Ａ］と称する。２Ｆ×Ｐの行列［Ａ］を特異値分解すると以下を得る。
【００２４】
【数２】
2006090916.tif 000004
【００２５】
式（Ａ２）の行列［Ｗ］は特異値行列と呼ばれており、対角要素の昇降順に特異値が並んでいる。この特異値行列のＷ33に着目する。この成分は行列［Ｗ］の（３，３）要素である。もし、カメラの移動量が少なく、カメラ運動と３次元形状を復元するには不十分なとき、成分Ｗ33は小さくなる。
【００２６】
本発明はこの成分の大小によりカメラ移動量が十分かどうかを自動判定する。これにより、用いたフレーム数がカメラ運動と３次元形状を復元するのに十分かどうかを機械的に判定することが可能となる。
【００２７】
一方、カメラが動かなくても、対象物が動く場合は、成分Ｗ33は小さくならず、相対的にカメラが動いたかのような挙動を示す。すなわち、特徴点が動いていない場合は式（Ａ２）の特異値分解において、Ｗ44以降の成分はＷ33に比べて微小なため雑音として除去されるが、特徴点がカメラ運動と相対的に運動する場合、Ｗ44以降の成分はＷ33と比較して微小とはならず、無視できない値となっている。そこで、行列［Ｗ］のＷ44以降の成分と行列の積の関係にある行列［Ｖ］の要素のうち、Ｗ44からＷ66の成分と掛け合わされる行列要素を次式（Ａ３）から取り出す。
【００２８】
【数３】
2006090916.tif 000005
【００２９】
ここで、特徴点のカメラ運動に対する相対的な運動を表す量として、次式（Ａ４）を求め、Ｖj（ｊ＝１，２，・・・，Ｐ）の大きさにより特徴点が動いていたかどうかを判定する。
【００３０】
【数４】
2006090916.tif 000006
【００３１】
このとき、Ｖj（ｊ＝１，２，・・・，Ｐ）全体の標準偏差σVを計算して、その値にある係数γを掛けたγσVを閾値とする。各特徴点のＶj（ｊ＝１，２，・・・，Ｐ）の大きさ：｜Ｖj｜がγσVより大きい場合、その特徴点がカメラ運動と相対的に動いていたと判定し、そうでない場合は静止していた点と見なす。
【００３２】
この方法により、カメラ運動と相対的に運動する特徴点を除去することで、カメラ運動と相対的に動く特徴点に惑わされることなく、それ以外の特徴点から、用いるフレーム数がカメラ運動と３次元形状を復元するのに十分かどうかを自動的に判定することができる。
【発明の効果】
【００３３】
以上述べたように、本発明によれば、車速センサを利用した距離線形な画像系列取得とは異なり，得られた時系列画像から画像系列を取り出してカメラ運動と３次元形状を復元するとき、復元するのに十分な画像系列かどうかを自動的に判断することができる。
【００３４】
また、サンプリング処理により冗長な画像系列を低減することができるため、時系列画像を格納しておくハードディスクなどの記憶装置の資源を無駄に占有することなく、資源を有効に活用することにも効果がある。
【発明を実施するための最良の形態】
【００３５】
以下本発明の実施の形態を図面に基づいて説明する。図１に本実施の第１形態の処理ブロック図を示す。本実施の第１形態は、取得した画像を格納する時系列画像データベース部１１、そのデータベース部１１からあるフレーム間の画像系列を取得する画像系列取得部１２、取り出した画像系列間で特徴点を抽出する特徴点抽出部１３、抽出した特徴点をフレーム間にわたって追跡処理する特徴点追跡処理部１４、追跡して得られた画像情報から、カメラ運動の有無を検出するカメラ運動検出部１５、検出されたカメラ運動と相対的に動く特徴点に惑わされることなく、それ以外の特徴点から、用いるフレーム数がカメラ運動と３次元形状を復元するのに十分かどうかを判定するカメラ運動判定部１６から構成される。
【００３６】
最終的に出力されたフレーム数Ｆの画像系列は、カメラ運動と３次元形状を復元するのに十分な情報量を有しているものとなっている。
【００３７】
図２は、本実施の第１形態において、時系列画像データベース部１１からある数フレーム分の画像系列を取り出し、特徴点追跡をするまでの説明するためのフロー図である。
【００３８】
時系列画像データベース部１１には、図２のように時系列方向に画像１１ａが蓄積されている。この画像１１ａの中から、あるフレームＦ分の画像系列１１ｂを取り出す（１２ａ）。この取り出した画像系列１１ｂにおいて、特徴点抽出（１３ａ）、特徴点追跡（１４ａ）処理を行う。
【００３９】
図１に示す特徴点抽出部１３は、従来法で使われている手順である特徴点を抽出する処理手順で、以下この処理手順を示す。
【００４０】
まず、図１０（ａ）左図に示すように対象画像の領域１において、（１）各画素に対する２×２のヘッセ行列を求める。次に、（２）各点の３×３近傍領域において極大点かどうか判定し、極大点以外の点を削除する（non-maxima suppression）。さらに、（３）得られた各点のヘッセ行列の固有値σl，σs（σs≦σl）を求め、σsがσp以上となる点を抽出する。最後に、（４）抽出した点のσsの大きさの順にソートし、上位の点から順番に、その点（ｐl）より上位の点（ｐh）がσd画素以内の距離に存在するかどうかを判定し、もし、存在する場合は下位の点ｐlを削除する。
【００４１】
さらに、上記で抽出した特徴点を、図１の特徴点追跡処理部１４ではＫＬＴ法（Kanade-Lucas-Tomasi）を使ってフレーム間（ｉ＝１，２，・・・，Ｆ）にわたって、各特徴点ｊ（ｊ＝１，２，・・・，Ｐ）を追跡し、画像座標値（ｘij，ｙij）を観測する。このようにして得られた特徴の画像座標値を式（Ａ１）左辺に示す配列に並べた２Ｆ×Ｐの行列データ（行列データ［Ａ］）を用意する。
【００４２】
図３は行列データ［Ａ］からカメラ運動と３次元形状を復元するのに、フレーム数が十分かどうかの判定を行う処理フロー図である。まず、式（Ａ２）に示すように、ステップＳ１で行列データ［Ａ］を入力し、この行列データ［Ａ］を特異値分解なる数学的手法により３つのユニークな行列に分解する（Ｓ２）。
【００４３】
このとき、特異値行列と呼ばれる対角行列［Ｗ］の対角要素に対してステップＳ３で要素Ｗ33を抽出し、この（３，３）要素の行列要素Ｗ33が閾値αより小さい場合はフレーム数が不十分と判定し、それ以上ならば十分と判定する（Ｓ４）。フレーム数が不十分と判定された場合は、時系列画像データベース部１１からステップＳ５でＦ＋β（β＞０）のフレーム数の画像系列を取り出し、これまでと同様の処理を繰り返し、カメラ運動判定部１６でフレーム数が十分と判定されるまで、用いるフレーム数を増加させる。
【００４４】
カメラ運動判定部１６でフレーム数が十分と判定された画像系列では、基線長も十分に確保されている。このため、得られた画像系列に対して従来の因子分解法を応用することができ、カメラ運動と３次元形状を高精度に復元することができる。
【００４５】
ところが、上記の処理で得られる画像系列のフレーム数は非常に大きくなる可能性もある。例えば、ほとんどが静止しているシーンの画像系列の場合ではβによるフレーム加算が増加し、処理に無駄な画像系列が多く含まれることになる。
【００４６】
そこで、図４の構成の場合、サンプリング処理部１７では、カメラ運動判定部１６で得られた画像系列から適当にサンプリングして、極力、無駄な画像系列とならないようにする。これで得られた画像系列から、処理に無駄な画像系列が低減されるためフレーム数の増加を防ぐことができる。これにより、画像系列からカメラ運動と３次元形状を復元する前に、特異値分解などの計算処理のコストを抑えることができる。
【００４７】
図５は本実施の第２形態を示すブロック図である。処理構成として実施の第１形態と比べて特徴点追跡処理部１４で得られる行列データ［Ａ］を入力として各点がカメラ運動と相対的に運動していたかどうかを判定し、動いていたと判定された点を行列データ［Ａ］から除去する処理を行う特徴点フィルタ処理部１８が加わっている。以下では、この処理部１８の説明を行う。
【００４８】
図６は特徴点フィルタ処理部１８の処理フロー図である。ステップＳ１１で行列データ［Ａ］を入力すると、式（Ａ２）に示したように特異値分解なる数学的手法により、２Ｆ×Ｐの行列［Ｕ］、Ｐ×Ｐの行列［Ｗ］、Ｐ×Ｐの行列［Ｖ］を得る（Ｓ１２）。
【００４９】
高次成分データ抽出（Ｓ１３）では、行列［Ｗ］のＷ44以降の成分と行列の積の関係にある行列［Ｖ］の要素のうち、Ｗ44からＷ66の成分と掛け合わされる行列要素を取り出す。動き成分算出（Ｓ１４）では、取り出した行列要素から、特徴点のカメラ運動に対する相対的な運動を表す量として式（Ａ４）を求める。さらに、特徴点の分散計算（Ｓ１５）では、次式（Ａ５）を求め、３×３の行列Σを得る。
（数５）  Σ＝［Ｖ1 Ｖ2・・・Ｖp］［Ｖ1 Ｖ2・・・Ｖp］T    式（Ａ５）
次に、行列Σを固有値分解し、次式（Ａ６）から各成分の固有値σX，σY，σZを得る。
【００５０】
【数６】
2006090916.tif 000007
【００５１】
ここで、［Ｅσ］は各固有値に属する固有ベクトルからなる。除去判定処理（Ｓ１６）は、Ｖj＝（ＶjX，ＶjY，ＶjZ），ｊ＝１，２，・・・，Ｐの大きさにより特徴点が動いていたかどうかを判定する。すなわち、次式（Ａ７）となる特徴点はカメラ運動と相対的に動いていたと判定して行列データ［Ａ］から除去する。
【００５２】
【数７】
2006090916.tif 000008
【００５３】
ここで、γはユーザが適当に設定するパラメータであり、σは各特徴点のＶjの各成分を固有値σX，σY，σZでそれぞれ正規化したときの標準偏差である。
【００５４】
上記の処理で残った特徴点から再び行列データ［Ａ］を構成し、図５のカメラ運動検出部１５の処理に入る。また、図７は、図５に対してサンプリング処理部１７を加えたブロック図である。
【００５５】
図８は、本実施の第３形態の処理構成図である。本実施の第３形態は実施の第１形態と比べて特徴点領域判定部１９を追加しているため、ここでは、この処理部分について記載する。図９は、特徴点領域判定部１９の処理フロー図である。
【００５６】
図８の特徴点追跡処理部１４にて全特徴点の全フレームに関する２次元画像情報が得られると、各特徴点ずつ画像座標値を取り出す（Ｓ２１）。図１０（ａ）左図の枠は、第１フレームにおいて特徴点を抽出する領域１を示しており、画像座標値（ｘlj，ｙlj），ｊ＝１，２，・・・，Ｐが抽出した各特徴点の画像座標値となっている。
【００５７】
この特徴点を第ｉフレーム（ｉ＝１，２，・・・，Ｆ）まで追跡した結果、図１０（ｂ）右図には第ｉフレームでの画像座標値（ｘij，ｙij）を表す。図９では第ｉフレームでの特徴点の画像座標値が図１０（ｂ）右図の破線で示した領域ｉ内にあるかどうかを判定する（Ｓ２２）。
【００５８】
領域ｉ内の場合は、黒丸印●で、領域ｉ外の場合は、白丸印○で示している。領域ｉ外となる点が存在する場合は、フレーム数が多すぎる（破線枠を超えた特徴点がある場合、フレームアウトする可能性がある）と判定し、最初に取り出したフレーム数Ｆに対してＦ−δ（δ＞０）を新たなＦ（Ｓ２３）として、再度、時系列画像データベース１１からＦフレーム分の画像系列を取り出す（Ｓ２４）。
【００５９】
これを全特徴点の２次元画像座標情報が領域ｉ内となるまで繰り返す。領域Ｆは全フレームに対して設定するが、本実施の第３形態では同じ領域（破線枠）を設定するが、フレーム数により設定枠を変更することもできる。
【００６０】
以上により、カメラ運動検出部１５において十分なフレーム数の確保が可能となるが、逆に、追跡できる特徴点に関して制限を与えることで、過剰に特徴点を消失させず、特徴点が十分に追跡できる範囲内でフレーム数の過不足を判定することができる。
【００６１】
なお、上記各実施の形態において、特徴点抽出部１３や特徴点追跡処理部１４などで得られた例えば、ヘッセ行列の固有値、行列データ、特異値行列などは、図示しない記憶装置に格納されるなどハードウェア資源が活用されている。
【００６２】
また、上述した、図１、図４、図５、図７及び図８に示した各取得部、抽出部、処理部、検出部や判定部などをコンピュータのプログラムで構成したり、あるいは図２、図３、図６及び図９に示したフローチャートの処理ステップをコンピュータのプログラムで構成したりして、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータでその処理ステップを実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、ＣＤ，ＤＶＤ，ＭＯ，ＲＯＭ、メモリカード、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。
【００６３】
さらに、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。これらの記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の第１形態の処理構成図である。
【図２】第１形態の時系列画像からＦフレームの画像を取り出す説明図である。
【図３】第１形態におけるカメラ運動検出部とカメラ運動判定部の処理フロー図である。
【図４】第１形態に画像系列サンプリング部を導入した処理構成図である。
【図５】本発明の実施の第２形態の処理構成図である。
【図６】第２形態の特徴点フィルタ処理部の処理フロー図である。
【図７】第２形態に画像系列サンプリング部を導入した処理構成図である。
【図８】本発明の実施の第３形態に特徴点判定部を導入した処理構成図である。
【図９】第３形態において特徴点が設定範囲外となった場合にフレーム数を減らす処理フロー図である。
【図１０】画面内の特徴点の設定と追跡状況を説明する図である。
【符号の説明】
【００６５】
１１…時系列画像データベース
１２…画像系列取得部
１３…特徴点抽出部
１４…特徴点追跡処理部
１５…カメラ運動検出部
１６…カメラ運動判定部
１７…画像系列サンプリング部
１８…特徴点フィルタ処理部
１９…特徴点領域判定部
【図１】
2006090916.tif 000009
【図２】
2006090916.tif 000010
【図３】
2006090916.tif 000011
【図４】
2006090916.tif 000012
【図５】
2006090916.tif 000013
【図６】
2006090916.tif 000014
【図７】
2006090916.tif 000015
【図８】
2006090916.tif 000016
【図９】
2006090916.tif 000017
【図１０】
2006090916.tif 000018