(57)【特許請求の範囲】
【請求項１】
物体の動きを抽出する動き抽出処理方法であって，
対象物体に近似する１または複数の部位の三次元の形状と構造とを特定する物体モデルのデータを記憶する手段を有し，
前記対象物体を撮影する２台以上の画像撮影装置により撮影した画像からそれぞれ所定数以上の特徴点を抽出し，
前記画像撮影装置により同時刻に撮影した複数の画像と撮影位置とから三角測量の原理によって前記特徴点の三次元位置を計算し，
各時刻において算出された複数の特徴点の三次元位置と前記物体モデルにおける三次元の形状を持つ部位の表面との距離の総和を最小化あるいは極小化する物体モデルの三次元位置と姿勢とを求めることにより，前記物体モデルの各部位と前記対象物体を撮影した画像から抽出した複数の特徴点の三次元位置とを対応付けて前記物体モデルに前記対象物体を当てはめ，
前記対象物体が当てはめられた物体モデルの所定時刻ごとの三次元位置と姿勢の時間的な推移から動きデータを生成する
ことを特徴とする動き抽出処理方法。
【請求項２】
請求項１記載の動き抽出処理方法において，
前記物体モデルのデータは，対象物体の概形を記述したデータであって，楕円体で近似される複数の部位を各関節で連結した構造を表すデータである
ことを特徴とする動き抽出処理方法。
【請求項３】
請求項１または請求項２記載の動き抽出処理方法において，
前記物体モデルに前記対象物体を当てはめる過程では，
各時刻において三次元位置を求めた特徴点に対し，前時刻の三次元位置と姿勢にある物体モデルにおいて表面までの距離が所定値以下となる部位に対応するラベルを付け，
各部位の表面とそれに対応するラベルの付いた点の距離の総和を最小化あるいは極小化して物体モデルの三次元位置と姿勢を求める
ことを特徴とする動き抽出処理方法。
【請求項４】
請求項１，請求項２または請求項３記載の動き抽出処理方法において，
前記画像から所定数以上の特徴点を抽出する過程では，特徴点の抽出に用いるしきい値を変化させることにより所定数以上の点を抽出する
ことを特徴とする動き抽出処理方法。
【請求項５】
物体の動きを抽出する動き抽出処理装置であって，
対象物体に近似する１または複数の部位の三次元の形状と構造とを特定する物体モデルのデータを記憶する手段と，
前記対象物体を撮影する２台以上の画像撮影装置により撮影した画像からそれぞれ所定数以上の特徴点を抽出する特徴点抽出手段と，
前記画像撮影装置により同時刻に撮影した複数の画像と撮影位置とから三角測量の原理によって前記特徴点の三次元位置を計算する三次元座標計算手段と，
各時刻において算出された複数の特徴点の三次元位置と前記物体モデルにおける三次元の形状を持つ部位の表面との距離の総和を最小化あるいは極小化する物体モデルの三次元位置と姿勢とを求めることにより，前記物体モデルの各部位と前記対象物体を撮影した画像から抽出した複数の特徴点の三次元位置とを対応付けて前記物体モデルに前記対象物体を当てはめる手段と，
前記対象物体が当てはめられた物体モデルの所定時刻ごとの三次元位置と姿勢の時間的推移から動きデータを生成する手段とを備える
ことを特徴とする動き抽出処理装置。
【請求項６】
物体の動きを抽出する動き抽出処理装置を構成するコンピュータに実行させるためのプログラムを記憶するコンピュータ読み取り可能な記憶媒体であって，
前記コンピュータを，
対象物体に近似する１または複数の部位の三次元の形状と構造とを特定する物体モデルのデータを記憶する手段と，
前記対象物体を撮影する２台以上の画像撮影装置により撮影した画像からそれぞれ所定数以上の特徴点を抽出する特徴点抽出手段と，
前記画像撮影装置により同時刻に撮影した複数の画像と撮影位置とから三角測量の原理によって前記特徴点の三次元位置を計算する三次元座標計算手段と，
各時刻において算出された複数の特徴点の三次元位置と前記物体モデルにおける三次元の形状を持つ部位の表面との距離の総和を最小化あるいは極小化する物体モデルの三次元位置と姿勢とを求めることにより，前記物体モデルの各部位と前記対象物体を撮影した画像から抽出した複数の特徴点の三次元位置とを対応付けて前記物体モデルに前記対象物体を当てはめる手段と，
前記対象物体が当てはめられた物体モデルの所定時刻ごとの三次元位置と姿勢の時間的推移から動きデータを生成する手段として
機能させるためのプログラムを格納したプログラム記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，テレビカメラのような入力装置で対象を撮影した画像から対象にマーカを付けることなく動きデータを抽出する方式に関する。
【０００２】
近年，映画やテレビゲーム等でＣＧ（コンピュータグラフィクス）を使うことは一般的になってきており，ＣＧで表現した物体を自然に見えるように動かしたいという要求は強い。そのため，ＣＧで表現した物体を自然に動かすための動きデータを，実際に動いている物体から抽出することが望まれている。
【０００３】
また，人間の動きデータを抽出することができれば，現在コンピュータへの入力手段として使用されているキーボードやマウスの操作の代わりに，人間の動作自体を入力手段として用いるような，新しいヒューマン・マシン・インタフェースを構築できる。さらに，画像通信の分野では，動画像を伝送する際に画像内に存在する物体の動きデータのみを伝送することにより，非常に大きな情報の圧縮が実現できる。
【０００４】
【従来の技術】
図１０は，従来の動き抽出方式を示す図である。画像から対象の動きデータを抽出する場合，従来技術では以下のようにして抽出している。
【０００５】
（１）所定の時間間隔で，マーカを付けた対象を異なる位置に設置した複数のカメラで同時に撮影する（図１０（Ａ），（Ｂ）参照）。
（２）各時刻ｔ，ｔ＋１において各カメラで撮影した画像９１ｔ，９２ｔ，９１ｔ＋１，９２ｔ＋１から，それぞれ同一マーカの位置を求め，その位置の違いから三角測量の原理に基づいて，マーカの三次元位置を算出する（図１０（Ｃ），（Ｄ）参照）。
【０００６】
（３）同一カメラで異なる時刻ｔ，ｔ＋１に撮影された画像９１ｔと９１ｔ＋１および画像９２ｔと９２ｔ＋１とから，同一マーカを対応づける。
（４）上記（２）と（３）の結果から，各マーカの三次元位置の軌跡を求める（図１０（Ｅ），（Ｆ）参照）。
【０００７】
（５）マーカの三次元位置の軌跡を対象の動きデータとする。
【０００８】
【発明が解決しようとする課題】
以上のような従来の方式では，安全性や美観等の問題点から，マーカが付けられないような対象の動きは抽出できなかった。また，マーカと似た色や明るさを持つマーカ以外のものが画像内に存在しないようにしなければならない。そのため，照明や背景などを整備した環境で対象を撮影する必要があり，専用のスタジオのような場所以外では動きデータを精度よく抽出することができなかった。
【０００９】
本発明は上記問題点の解決を図り，対象にマーカを付けることなく，対象の動きデータを抽出する手段を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するため，本発明は図１に示すような手段を用いる。
図１は，本発明のブロック構成例を示す図である。１１，１２は画像撮影装置（以下，カメラという），２は画像記憶装置，３は物体モデルデータ，４はＣＰＵおよびメモリ等からなる処理装置，４１は特徴点抽出部，４２は三次元座標計算部，４３は物体モデル当てはめ初期化部，４４は物体モデル当てはめ部，４５は動きデータ算出部，５は画像から抽出した対象の動きデータを表す。
【００１１】
カメラ１１，１２は，対象を撮影する手段である。カメラ１１，１２は異なる位置に設けられ，所定の時間間隔で同時に対象を撮影する。ここでは，説明を簡単にするために２台のカメラを用いた例を説明するが，カメラの台数は多いほどよい。
【００１２】
画像記憶装置２は，カメラ１１，１２で撮影した対象の画像を記憶する手段である。
物体モデルデータ３は，対象となる物体の構造と形状を記述したモデルのデータであり，対象に合わせて予め用意される。具体的には，その物体の各部位の形状，各部位間の接続関係，各部位間の位置関係等のデータからなる。
【００１３】
特徴点抽出部４１は，画像記憶装置２に記憶されている画像から，処理装置４が他の点と識別できる何らかの特徴のある点（これを特徴点という）を抽出する処理手段である。この特徴点は，必ずしも人間が識別できるようなものでなくてもよい。
【００１４】
三次元座標計算部４２は，特徴点抽出部４１で抽出した特徴点を用いて，その特徴点の各時刻における三次元座標を計算する処理手段である。
物体モデル当てはめ初期化部４３は，特徴点抽出部４１で求めた多数の特徴点と物体モデルデータ３の各部位の位置とを対応付ける処理手段である。
【００１５】
物体モデル当てはめ部４４は，特徴点抽出部４１で求めた多数の特徴点を包含するように，予め用意した物体モデルデータ３の各部位の位置を移動変形し，物体モデルに対象物体を当てはめる処理手段である。
【００１６】
動きデータ算出部４５は，物体モデル当てはめ部４４により対象物体が当てはめられた物体モデルの所定時刻ごとの三次元位置と姿勢の時間的推移を求めて動きデータ５とする処理手段である。
【００１７】
図２は，本発明による動き抽出の概念を説明する図である。
本発明は，所定の時間間隔で同時に２台以上のカメラ１１，１２により対象を撮影することを前提とする。
【００１８】
画像から物体の動きデータを抽出する場合に，マーカのような特定の目印となるものを使用しないと，画像から特定の点を抽出することも，特定の点を時間方向に追跡し続けることも一般的には非常に困難である。しかし，本発明では，マーカを付けた場合のように対象上に設定した特定の点の動きから対象の動きを求めるのではなく（図１０参照），図２（Ａ）および（Ｂ）に示すように，画像から画像処理で抽出し易い点（特徴点）を多数選び出し，選出した特徴点の１点ずつではなく，図２（Ｃ）および（Ｄ）に示すように，それらの特徴点の三次元座標を計算して，点全体の動きから対象の動きを求めるようにする。
【００１９】
さらに，多数の特徴点を一つのまとまりのある集合として扱うために，予め対象の構造と概形を近似した物体モデルを用意する。そして，図２（Ｅ）および（Ｆ）に示すように，画像から求めた多数の特徴点を包含するように物体モデルを自動的に移動・変形させる。この処理を，各時刻ｔ，ｔ＋１の画像において行い，図２（Ｅ）から図２（Ｆ）へ示すように，求めた物体モデルの位置・姿勢の変化（時間的推移）を対象の動きデータとする。
【００２０】
【発明の実施の形態】
以下，本発明の実施の形態の一例を説明する。
初めに，物体モデルを用意する。
【００２１】
物体モデルは，対象をいくつかの部位に分割し，それぞれを適当な立体で近似することにより形状を表現する。さらに，各部位間の接続関係を木構造で表し，各部位ごとにローカル座標系を設定し，回転と平行移動により接続した部位間の位置を表現する。回転と平行移動のパラメータの一部または全部を可変にすることにより，対象の変形を表現する。
【００２２】
図３は，対象が人間である場合の物体モデルの例を示している。図３では，胴体，頭，上腕，下腕，上肢，下肢の概形をそれぞれ楕円体で近似し，各楕円体を，首，肩，肘，股，膝の各関節で連結した構造を持たせたモデルを，人間を表現した一つのモデルとしている。
【００２３】
具体的には，図３に示すように，物体モデルの全身を胴，頭，右上腕，右下腕，左上腕，左下腕，右上肢，右下肢，左上肢，左下肢の１０個のパーツに分割し，各パーツの概形をそれぞれ楕円体で近似する。そして，各パーツを，首，肩，肘，股，膝の各関節で連結した木構造を作る。各関節部において特定の軸周りの関節角度を可変にする。物体上の各パーツの座標系および各パーツのラベルを，胴，頭，右上腕，右下腕，左上腕，左下腕，右上肢，右下肢，左上肢，左下肢の順に，ラベル１，ラベル２，…，ラベル１０と定める。例えばローカル座標系における胴〔ラベル１〕の位置は〔ｘ１，ｙ１，ｚ１〕の座標軸で表され，その軸まわりの回転は〔κ１，θ１，φ１〕で表される。
【００２４】
図４は，物体モデルのデータ構造の例を示す図である。
物体モデルのデータとして，パーツ数Ｎ，関節数Ｍ，各関節において連結されるパーツ番号Ａ1 ，…，ＡM とＢ1 ，…，ＢM の組，各パーツのｘ，ｙ，ｚ軸方向の半径，平行移動量，回転角が定義される。
【００２５】
実際に撮影した画像から人間の動きを抽出する場合，異なるカメラ１１，１２で同時刻に撮影した画像間で同一点の対応付けを行い，三角測量の原理により各点の三次元位置を求める。このとき，三次元位置の正確さは各点の対応付けに大きく依存し，対応付けの誤っている点の三次元位置は大きな誤差を含むことになる。そこで，対応付けが誤りにくい点のみを自動的に抽出し，それらの点についてだけ三次元位置を計算するようにする。
【００２６】
２台のカメラで撮影した画像から三角測量の原理により三次元位置を求めるには，二つの画像間で同一点の対応付けが必要である。二つの画像間で見え方の差が小さければ，対応する点の周囲の輝度分布は似ているので，一方の画像上の点を中心にウインドウを設定し，他方の画像上でウインドウ内の輝度の差（ウインドウ内の対応する画素の輝度値の差の絶対値をウインドウ内の全画素について合計したもの）が最も小さくなる点を対応する点とする。このとき，同一点の対応付けが正確であるほど求める三次元位置も正確になる。そこで，正確に同一点の対応付けができる点のみを画像から選び出し，選んだ点についてだけ三次元位置を計算する。
【００２７】
ここで，対応付けの正確さを見積もる尺度として対応の一意性を用いる。一つの画像上の点を他の画像上の点に対応付ける際に，１点に対してのみウインドウ内の輝度の差が小さくなり，他の点に対しては大きくなる場合には，一意性が高いとする。
【００２８】
図５は，画像から正確な三次元位置を求めることができる点を選択する方法の例を説明するための図である。図５（Ａ）に示すように，一方の画像６１上の点Ｐを中心に所定の大きさのウインドウ６２を設定して，他方の画像（図示省略）上で同じ大きさのウインドウを走査し，ウインドウ内の輝度の差が最も小さくなる点を求める。さらに，その点Ｐから所定の範囲内にウインドウ内の輝度の差がしきい値Ｔh 以下になる点がないかどうかをチェックし，ない場合には，その点Ｐは一意性が高く対応付けできる点として選択する。逆に，図５（Ｂ）に示すように，所定の範囲内にウインドウ内の輝度の差がしきい値Ｔh 以下になる点Ｑ，Ｒがある場合には，その点Ｐは，一意性が高い点ではないので選択しない。
【００２９】
この処理を画像上の各点について行い，一意性の高い特徴点を抽出する。しかし，このようにして求めた特徴点の数が少なかった場合には，以後の処理における物体モデルの正確な当てはめが難しくなる。そこで，必要な点数を確保するために，以下の処理を行う。
【００３０】
各画像において，三次元位置データの数が所定数以上となるように，画像から点を抽出する際のしきい値Ｔh を調整する。例えば，前述した一意性のある点の数が所定値Ｎより少ない場合には，しきい値Ｔh の値を所定値ΔＴh 分だけ大きくして，再度点を選び直す。これを点の数が所定値Ｎよりも大きくなるまで繰り返す。あるいは，一意性のある点の数が所定値Ｎより少ない場合には，ウインドウの大きさを所定値分だけ大きくして，再度点を選び直し，これを点の数が所定値Ｎよりも大きくなるまで繰り返す。
【００３１】
以上のような処理を，各時刻で撮影した画像上の各点について行うことにより，各時刻の画像に対して正確に三次元位置を計算できる点を抽出し，各時刻における特徴点の三次元位置データを求める。図６は画像から求めた点の三次元座標データの例を示す。各時刻０〜Ｔごとに，各点のｘ，ｙ，ｚ座標が求められる。特徴点の数は，時刻ごとに異なっていてもよい。
【００３２】
具体例として，図２に従って，２台のカメラで撮影した画像から人の動きを抽出する場合について説明する。なお，図２では，見やすくするために右上腕と右下腕部分のみを示している。時刻ｔにおいてカメラｎで撮影した画像をＩntとする。
【００３３】
時刻ｔにおいて，画像Ｉ1tと画像Ｉ2tとの間で同一点の対応付けを行う。対応付けの間違いを減らすため，対応付けのし易い点のみを画像から抽出し，三角測量の原理により三次元位置を求める。さらに画像Ｉ1tとＩ1t+1，画像Ｉ2tとＩ2t+1との間でも同様に同一点の対応付けを行う。画像Ｉ1t上の点ｐ1tと，画像Ｉ2t上の点ｐ2tとが対応づけられ，さらに点ｐ1tと画像Ｉ1t+1上の点ｐ1t+1，および点ｐ2tと画像Ｉ2t+1上の点ｐ2t+1が，それぞれ対応づけられ，かつ，時刻ｔ＋１において点ｐ1t+1と点ｐ2t+1とが対応付けられれば，点ｐ1tと点ｐ2tとから計算した三次元位置Ｐt ，およびｐ1t+1とｐ2t+1から計算した三次元位置Ｐt+1 を同一点として記録する。上記の処理を全ての時刻について行う。なお，抽出した特徴点の中で対応づけることができなかった点のデータは無視する。
【００３４】
こうして求めた各時刻における三次元の点から，物体モデルの位置と姿勢を求める。ここで，物体モデルの各部位を，画像から求めた三次元位置データに合わせて移動・変形させるために，各点の三次元位置データと物体モデルの表面との距離を計算し，距離の和Ｄを最小あるいは極小にする方法を用いる。その実現方法としては，下記の（１）〜（３）の方法がある。
【００３５】
（１）第１の方法は，各点の三次元位置が対象上の点のみである場合に適用できる方法である。
まず，各時刻において，全ての三次元位置データに対して物体モデルの表面との距離を計算する。物体モデルと特徴点の三次元位置との距離は，物体モデルの各パーツの表面から三次元位置までの距離の最小値とする。次に，距離の和Ｄを最小化するように，物体モデルの位置と姿勢を変更することにより，各時刻の物体モデルの位置と姿勢を求める。求めた位置と姿勢の時間的な変化を動きデータとする。
【００３６】
（２）第２の方法は，各点の三次元位置が対象以外の点を含む場合に適用できる方法である。
まず，カメラで撮影した時刻ｔ＝０における画像をディスプレイに表示し，その画像上で，物体モデルの位置と姿勢をマウス等の適当な入力装置を用いて，オペレータに指定させる。ｔ＝０における各点の三次元位置データに対して，物体モデルの各パーツの表面との距離を計算し，所定値ｄ以下となるパーツのラベルを付ける。
【００３７】
次に，時刻ｔ＝１において，点の三次元位置データの中で一つ前の時刻であるｔ＝０のデータと対応づけられているものについては，ｔ＝０と同じラベルを付ける。そして，時刻ｔ＝０とｔ＝１とで対応づけられている点について，時刻ｔ＝０における物体上の位置と時刻ｔ＝１における物体上の位置のずれの和を最小化することにより，物体モデルの位置と姿勢を求める。
【００３８】
その後，ラベル付けのされていない三次元位置データに対して，物体モデルの各パーツに対して所定値ｄ以下となる場合は距離の小さい方のパーツのラベルを付ける。
【００３９】
この処理を順次時刻を進めながら次々と繰り返すことにより，各時刻における物体モデルの位置と姿勢を求める。こうして求めた位置と姿勢の時間的な変化を動きデータとする。
（３）第３の方法は，異なる時刻間で，全く同一の対応づけができない場合にも適用できる方法である。
【００４０】
まず，前記（２）の方法と同様にして時刻ｔ＝０における点の三次元位置データに対して物体モデルの各パーツのラベルを付ける。
次に，時刻ｔ＝１における各点の三次元位置データに対して，時刻ｔ＝０で決定した物体モデルの各パーツからの距離を計算し，距離が所定値ｄ以下となるパーツのラベルをつける。複数のパーツに対して所定値ｄ以下となる場合は距離の小さい方のパーツのラベルを付ける。そして，ラベルの付けられた三次元位置データとラベルに対応する物体モデルの各パーツの表面との距離の和Ｄを最小化することにより，物体モデルの位置と姿勢を求める。
【００４１】
この処理を順次時刻を進めながら次々と繰り返すことにより，各時刻における物体モデルの位置と姿勢を求める。こうして求めた物体モデル位置と姿勢の時間的な変化を動きデータとして出力する。
【００４２】
図７は，出力データの例を示す図である。動きデータは，例えば図７に示すように，各時刻のパーツごとのｘ，ｙ，ｚ軸方向の平行移動量と回転角として求められる。
【００４３】
図８は，本発明の実施の形態における全体の処理フローチャートである。
ステップＳ１１では，物体モデルを設定する。ここで，予め用意された物体モデルの中から対象となる物体に近似した図４に示すようなデータを物体モデルとして入力する。
【００４４】
ステップＳ１２では，時刻ｔ＝０とする。
ステップＳ１３では，画像から図５で説明した方法を用いて点を抽出する。
ステップＳ１４では，抽出した点の数が所定値Ｎより大きいかどうかを判断し，抽出した点の数が所定値Ｎより大きい場合にはステップＳ１５へ進み，大きくない場合にはステップＳ２２へ進む。
【００４５】
ステップＳ１５では，抽出した点の三次元位置を計算する。
ステップＳ１６では，物体モデルの表面と計測した点との距離の和Ｄを計算する。
【００４６】
ステップＳ１７では，物体モデルの位置・姿勢を変更する。
ステップＳ１８では，ステップＳ１６で求めた距離の和Ｄが所定値ｄより小さいかどうかを判断し，距離の和Ｄが所定値ｄより小さい場合にはステップＳ１９へ進み，所定値ｄより小さくない場合にはステップＳ１６へ戻る。
【００４７】
ステップＳ１９では，前述した距離の和Ｄが所定値ｄより小さいときの物体モデルの位置・姿勢を決定する。
ステップＳ２０では，時刻ｔ＝ｔ＋１として，次の時刻に処理を進める。
【００４８】
ステップＳ２１では，時刻ｔが最終時刻Ｔを超えたかどうかを判断し，超えている場合には処理を終了し，超えていない場合にはステップＳ１３へ戻り，同様に次の時刻の画像について処理を繰り返す。
【００４９】
ステップＳ２２では，ステップＳ１４の処理で，抽出した点の数が所定値Ｎより小さい場合に，一意性の高い特徴点であるかどうかを判断するためのしきい値Ｔh を変更する。
【００５０】
図９は，物体モデルの位置・姿勢を決定する方法の詳細て処理フローチャートである。
ステップＳ３１では，点のインデックスｉと，物体モデルのパーツに対するインデックスを，それぞれｉ＝０，ｊ＝０と初期化する。
【００５１】
ステップＳ３２では，最小距離を記憶する変数ｄmin を所定値ｄs1とする。
ステップＳ３３では，点Ｐｉと物体モデルのパーツｊの表面との距離ｄ１を計算する。
【００５２】
ステップＳ３４では，ｄ１がｄmin より小さいかどうかを判断する。小さい場合にはステップＳ３５へ進み，小さくない場合にはステップＳ３７へ進む。
ステップＳ３５では，ｄmin にｄ１を代入する。
【００５３】
ステップＳ３６では，点Ｐｉにラベルｊを付ける。
ステップＳ３７では，ｊ＝ｊ＋１とする。
ステップＳ３８では，ｊが全パーツ数より大きいかどうか（全パーツについて処理したかどうか）を判断する。大きい場合にはステップＳ３９へ進み，大きくない場合にはステップＳ３２へ戻る。
【００５４】
ステップＳ３９では，ｉ＝ｉ＋１とする。
ステップＳ４０では，ｉが全点数より大きいかどうか（全点について処理したかどうか）を判断し，大きい場合にはステップＳ４１へ進み，大きくない場合にはステップＳ３２へ戻る。
【００５５】
ステップＳ４１では，点のインデックスｉと距離の和Ｄを，ｉ＝０，Ｄ＝０と初期化する。
ステップＳ４２では，点Ｐｉのラベルｋを調べる。
【００５６】
ステップＳ４３では，ｋが１より大きくかつ全パーツ数より小さいかどうかを判断する。ｋが１より大きくかつ全パーツ数より小さい場合にはステップＳ４４へ進み，そうでない場合には，ステップＳ４６へ進む。
【００５７】
ステップＳ４４では，点Ｐｉとパーツｋの表面との距離ｄ２を計算する。
ステップＳ４５では，Ｄ＝Ｄ＋ｄ２とする。
ステップＳ４６では，ｉ＝ｉ＋１とする。
【００５８】
ステップＳ４７では，ｉが全点数より大きいかどうかを判断し，大きい場合にはステップＳ４８へ進み，大きくない場合にはステップＳ４２へ戻る。
ステップＳ４８では，距離の和Ｄが所定値ｄs2より小さいかどうかを判断し，小さい場合にはステップＳ５０へ進み，小さくない場合にはステップＳ４９へ進む。
【００５９】
ステップＳ４９では，距離の和Ｄが小さくなるように，パーツの回転角θ１〜θＮ，φ１〜φＮ，κ１〜κＮや，パーツの位置Ｘ，Ｙ，Ｚを変更し，ステップＳ４１へ戻る。
【００６０】
ステップＳ５０では，各パーツの回転角θ１〜θＮ，φ１〜φＮ，κ１〜κＮと，各パーツの位置Ｘ，Ｙ，Ｚを決定して処理を終了する。
【００６１】
【発明の効果】
以上説明したように，本発明によれば，対象にマーカを付けることなく，複数のカメラで対象を撮影した画像から対象の物体の動きを抽出することが可能となる。したがって，例えば従来困難であった自然の環境における動物の動きなども，画像から容易に抽出することができるようになる。
【図面の簡単な説明】
【図１】本発明のブロック構成例を示す図である。
【図２】動き抽出の概念を説明する図である。
【図３】物体モデルの例を示す図である。
【図４】物体モデルのデータ構造の例を示す図である。
【図５】三次元位置を求める点を選択する方法の例を示す図である。
【図６】画像から求めた点の三次元座標データの例を示す図である。
【図７】出力データの例を示す図である。
【図８】実施の形態における全体の処理フローチャートである。
【図９】物体モデルの位置・姿勢決定方法の処理フローチャートである。
【図１０】従来方式を説明する図である。
【符号の説明】
１１，１２  画像撮影装置（カメラ）
２    画像記憶装置
３    物体モデルデータ
４    処理装置（ＣＰＵ／メモリ）
４１  特徴点抽出部
４２  三次元座標計算部
４３  物体モデル当てはめ初期化部
４４  物体モデル当てはめ部
４５  動きデータ算出部
５    動きデータ
【図１】
0003860287.tif 000002
【図２】
0003860287.tif 000003
【図３】
0003860287.tif 000004
【図４】
0003860287.tif 000005
【図５】
0003860287.tif 000006
【図６】
0003860287.tif 000007
【図７】
0003860287.tif 000008
【図８】
0003860287.tif 000009
【図９】
0003860287.tif 000010
【図１０】
0003860287.tif 000011