(57)【特許請求の範囲】
【請求項１】
移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測方法において、
前記移動物体の初期画像に少なくとも前記計測点を設定し、
その後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付けるといった処理を繰り返し、
新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入らないときには、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分散が大きな部分を補助計測点に設定して、当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、
新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する、
ことを特徴とする移動物体の運動計測方法。
【請求項２】
移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測方法において、
前記移動物体の初期画像に少なくとも前記計測点を設定し、
その後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付けるといった処理を繰り返し、
新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入らないときには、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分布と周囲のそれとの差分が大きな部分を補助計測点に設定して、当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、
新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する、
ことを特徴とする移動物体の運動計測方法。
【請求項３】
前記計測点のそれぞれと、当該計測点同士を接続するリンクとの関係を定義しておき、
前記所定範囲として、旧時刻の前記計測点とそれにリンクしている計測点との間の画素範囲を用いる、
ことを特徴とする請求項１又は２記載の移動物体の運動計測方法。
【請求項４】
前記計測点のそれぞれと、当該計測点同士を接続するリンクとの関係を定義しておき、
前記計測点の位置データに基づいて前記リンクや当該計測点の移動態様を示す動作記述パラメータを算出し、
この動作記述パラメータが、あらかじめ設定されている動作定義パラメータと一致する場合には、この動作定義パラメータに対応した音を発生させる、
ことを特徴とする請求項１乃至３記載の移動物体の運動計測方法。
【請求項５】
移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測装置において、
前記移動物体の初期画像に少なくとも前記計測点を設定する入力部と、
その後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付けるといった処理を繰り返す対応付け部と、
新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入らないときには、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分散が大きな部分を補助計測点に設定し、当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する対応付け補助部とを有する、
ことを特徴とする移動物体の運動計測装置。
【請求項６】
移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測装置において、
前記移動物体の初期画像に少なくとも前記計測点を設定する入力部と、
その後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付けるといった処理を繰り返す対応付け部と、
新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入らないときには、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分布と周囲のそれとの差分が大きな部分を補助計測点に設定し、当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する対応付け補助部とを有する、
ことを特徴とする移動物体の運動計測装置。
【請求項７】
前記計測点のそれぞれと、当該計測点同士を接続するリンクとの関係を定義したテーブルを備え、
前記対応付け補助部は、前記所定範囲として、旧時刻の前記計測点とそれにリンクしている計測点との間の画素範囲を用いる、
ことを特徴とする請求項５又は６記載の移動物体の運動計測装置。
【請求項８】
移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測に用いられるプログラムを格納したコンピュータ読み取り可能なプログラム記憶媒体であって、
前記移動物体の初期画像に少なくとも前記計測点が設定された後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付ける処理と、
新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入っているかどうかを判断する処理と、
前記判断処理において基準範囲外と判断した場合、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分散が大きな部分を補助計測点に設定して当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する処理と、
をコンピュータに実行させるための移動物体の運動計測用のプログラムを格納したことを特徴とするコンピュータ読み取り可能なプログラム記憶媒体。
【請求項９】
移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測に用いられるプログラムを格納したコンピュータ読み取り可能なプログラム記憶媒体であって、
前記移動物体の初期画像に少なくとも前記計測点が設定された後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付ける処理と、
新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入っているかどうかを判断する処理と、
前記判断処理において基準範囲外と判断した場合、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分布と周囲のそれとの差分が大きな部分を補助計測点に設定して当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する処理と、
をコンピュータに実行させるための移動物体の運動計測用のプログラムを格納したことを特徴とするコンピュータ読み取り可能なプログラム記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、移動物体の運動計測方法ならびにそのための運動計測装置およびそのためのプログラムを格納したコンピュ−タ読み取り可能な記憶媒体に関し、特に移動する物体をＴＶカメラなどの画像入力装置によって順次撮影するときの初期画像に設定した計測点の位置がその後の撮影画像でどのように変化していくかを計測し、また、その計測結果に基づいて移動物体の運動に対応する音などを出すようにした移動物体の運動計測システムに関する。
【０００２】
なお、本発明は、移動物体の初期画像に設定した計測点の位置の変化を求めるものであって、この位置変化が何次元のものかは任意であるが、以下の記載では、説明の便宜上、計測点の３次元位置の変化を求めるものとする。
【０００３】
一般に、テレビ、映画、ゲームなどで利用されるコンピュータグラフィックの分野においては、表示画面上で、対象物体を違和感のない形で自然に動かすことが非常に重要となる。
【０００４】
このときの動きデ−タを計算により作成することは困難であるため、現実の世界で実際に移動している物体（例えば人）を連続撮影してそのときの画像から所定部位（計測点）の動きデ−タを自動作成することが望まれており、また、動きデ−タ作成に際して撮影対象物体の所定部位の部分にマーカを付けなくても済むようにすることが望ましい。
【０００５】
本発明は、このような要請に応え、さらにはこの動きデ−タに基づいて移動物体の部分的な運動をいわば類推してそれに対応した音を発生させようとするものである。
【０００６】
【従来の技術】
図１３は、一般的な、移動物体の撮影画像からその３次元位置デ−タを求めるためのシステム概要を示す説明図であり、６１は移動物体、６２および６３は撮影対象の３次元空間に固定されたカメラ、６４はプロセッサをそれぞれ示している。
【０００７】
２台のカメラ６２および６３はその光軸をｚ軸と平行にした状態でｘ軸方向にＬだけ離れた位置に設置され、初期画像の撮影時刻ｔから１／３０秒毎に移動物体６１を撮影している。
【０００８】
図１４は、各カメラの連続時刻の表示画面を示す説明図であり、
・カメラ６２が時刻ｔと時刻ｔ＋１とで移動物体６１を撮影したときの画像６５、６６
・カメラ６３が時刻ｔと時刻ｔ＋１とで移動物体６１を撮影したときの画像６７、６８
をそれぞれ示している。
【０００９】
図１５は、移動物体の撮影画像からその特定部位の３次元位置デ−タを求めるときの処理手順を示す説明図であり、その内容は次のようになっている。
（６１）マウス操作などにより、初期時刻ｔのときの画像６５と画像６７の同一部位、例えばそれぞれの左手首７１、７２を計測点とする。実際には、左手首だけではなく、例えば頭、胸、右肘、左肘、右手首、腰、右膝、左膝、右足首、左足首などの多数の計測点が設定されるが、ここでは左手首だけが計測点に設定されているものとして説明する。
（６２）プロセッサ６４は、計測点７１、７２の各表示画面での位置デ−タと、カメラ６２、６３それぞれの３次元空間での位置デ−タとを用いた三角測量の原理により、左手首の初期時刻ｔにおける３次元位置デ−タを求める。
（６３）マウス操作などにより、時刻ｔ＋１のときの画像６６と画像６８それぞれの計測点（左手首）の位置を特定する。
（６４）プロセッサ６４は、これら測定点の各表示画面での位置デ−タと、カメラ６２、６３それぞれの３次元空間での位置デ−タとを用いた三角測量の原理により、当該測定点の時刻ｔ＋１における３次元位置デ−タを求める。
【００１０】
これ以降の各時刻においても２台のカメラ６２、６３で撮影した移動物体６１の画像中の（時刻ｔで設定した）測定点の位置を特定した上で、その３次元位置デ−タを求めるといった処理を繰り返すことにより、移動物体６１の初期計測点のそれぞれについての動きを、その撮影画像から求めることができる。
【００１１】
以上の処理では、移動物体の初期画像で設定した測定点が、それ以降の各時刻に撮影した画像中のどの位置に移動しているかを特定することが前提となっており、従来、この特定手法としては、
・各時刻の移動物体の撮影画像を表示した画面上でマウスなどを用いて人手により特定する方法
・移動物体自体にあらかじめマーカを付けておき、このマーカの位置を読み取っていく方法
などがある。
【００１２】
【発明が解決しようとする課題】
このような従来の特定手法では、
・人手による方法の場合、作業量が膨大化し、測定点の特定精度にばらつきが生じやすく、
・マーカによる方法の場合、マーカが移動物体の他の部分の後側に位置している時刻ではそれが画面上に表示されないので当該マーカを利用することができず、またマーカを移動物体に付けることの安全性、コストや美観などの点からそもそもこの方法を適用できないことがある、
などの問題点があった。
【００１３】
そこで、本発明では、移動物体の初期画像に測定点とこれを囲む形の窓を設定し、その後の新時刻の画像に対しては、旧時刻の当該窓またはこれに相当する画素領域の輝度分布との相関値に基づいて新たな窓を求め、その中に旧時刻の測定点を対応付けるといった処理を繰り返し、また、本来の測定点が移動物体の他の部位に隠れているなどのために、所定の相関値を持つ画素領域が新時刻の画像から得られない場合には、旧時刻の画像に補助測定点を設定してこれらを新時刻の画像に対応付けた上で、新旧時刻の各補助測定点からの距離計算に基づいて新時刻における計測点を特定することにより、移動物体の各撮影時刻での測定点の位置デ−タを効率的に、かつ確実に求めることを目的とする。
【００１４】
さらには、移動物体上の各測定点の経時的な位置変化だけではなく、各測定点や、測定点同士を結ぶ各リンクの移動動作時間、平行移動量、回転角、平行移動速度、回転角速度などを求めて、これが、測定対象である移動物体の動きについてあらかじめ定義されている動作（例えば両手で拍手する動作）のパラメータと一致する場合にはその動作に合致した音（例えば「パチパチ」という音）を発生させるなどの利用法を可能にすることを目的とする。
【００１５】
【課題を解決するための手段】
これを達成するために、本発明では、次の構成からなる移動物体の運動計測方法を用いている。
（１）移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測方法において、前記移動物体の初期画像に少なくとも前記計測点を設定し、その後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付けるといった処理を繰り返し、新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入らないときには、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分散が大きな部分を補助計測点に設定して、当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する。
（２）移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測方法において、前記移動物体の初期画像に少なくとも前記計測点を設定し、その後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付けるといった処理を繰り返し、新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入らないときには、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分布と周囲のそれとの差分が大きな部分を補助計測点に設定して、当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する。
（３）上記（１），（２）において、前記計測点のそれぞれと、当該計測点同士を接続するリンクとの関係を定義しておき、前記所定範囲として、旧時刻の前記計測点とそれにリンクしている計測点との間の画素範囲を用いる。
（４）上記（１），（２），（３）において、前記計測点のそれぞれと、当該計測点同士を接続するリンクとの関係を定義しておき、前記計測点の位置データに基づいて前記リンクや当該計測点の移動態様を示す動作記述パラメータを算出し、この動作記述パラメータが、あらかじめ設定されている動作定義パラメータと一致する場合には、この動作定義パラメータに対応した音を発生させる。
【００１６】
また、次の構成からなる移動物体の運動計測装置を用いている。
（５）移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測装置において、前記移動物体の初期画像に少なくとも前記計測点を設定する入力部と、その後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付けるといった処理を繰り返す対応付け部と、新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入らないときには、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分散が大きな部分を補助計測点に設定して、当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する対応付け補助部と、を有する。
（６）移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測装置において、前記移動物体の初期画像に少なくとも前記計測点を設定する入力部と、その後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付けるといった処理を繰り返す対応付け部と、新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入らないときには、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分布と周囲のそれとの差分が大きな部分を補助計測点に設定して、当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する対応付け補助部と、を有する。
（７）上記（５），（６）において、前記計測点のそれぞれと、当該計測点同士を接続するリンクとの関係を定義したテーブルを備え、前記対応付け補助部は、前記所定範囲として、旧時刻の前記計測点とそれにリンクしている計測点との間の画素範囲を用いる。
【００１７】
また、次の構成からなる記憶媒体を用いている。
（８）移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測に用いられるプログラムを格納したコンピュータ読み取り可能なプログラム記憶媒体であって、当該プログラムが、前記移動物体の初期画像に少なくとも前記計測点が設定された後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付ける処理と、新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入っているかどうかを判断する処理と、前記判断処理において基準範囲外と判断した場合、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分散が大きな部分を補助計測点に設定して当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する処理と、をコンピュータに実行させる。
（９）移動する物体に設定した計測点の位置の経時的変化を、各時刻の当該物体の撮影画像に基づいて求めるようにした移動物体の運動計測に用いられるプログラムを格納したコンピュータ読み取り可能なプログラム記憶媒体であって、当該プログラムが、前記移動物体の初期画像に少なくとも前記計測点が設定された後の前記撮影画像に対して、前記計測点を囲む形の窓に対応の、複数の画素からなる第１の画素領域を順次その位置をずらしながら設定するとともに、新時刻におけるこれら各画素領域の画像情報と旧時刻の前記窓のそれとの相関値に基づいて所定の画素領域を選択した上で、この新たな窓の中に前記計測点を対応付ける処理と、新時刻の窓候補である前記画素領域の前記相関値が基準範囲に入っているかどうかを判断する処理と、前記判断処理において基準範囲外と判断した場合、旧時刻の前記撮影画像の所定範囲内において、複数の画素からなる任意の第２の画素領域の中で、その構成要素の輝度分布と周囲のそれとの差分が大きな部分を補助計測点に設定して当該補助計測点のそれぞれと旧時刻の前記計測点との距離を算出し、新時刻の前記撮影画像における前記補助計測点それぞれの位置を前記対応付けにより求めた上で、この位置データと前記距離データとに基づいて新時刻の前記計測点の位置を特定する処理と、をコンピュータに実行させる。
【００１８】
本発明は、このように移動物体の初期画像に測定点とこれを囲む形の窓を設定し、その後の新時刻の画像に対しては、旧時刻の当該窓またはこれに相当する画素領域の輝度分布との相関値に基づいて新たな窓を求め、その中に旧時刻の測定点を対応付けるといった処理を繰り返し、また、本来の測定点が移動物体の他の部位に隠れているなどのために、所定の相関値を持つ画素領域が新時刻の画像から得られない場合には、旧時刻の画像に補助測定点を設定してこれらを新時刻の画像に対応付けた上で、新旧時刻の各補助測定点からの距離計算に基づいて新時刻における計測点を特定している。
【００１９】
さらには、移動物体上の各測定点の経時的な位置変化だけではなく、各測定点や、測定点同士を結ぶ各リンクの移動動作時間、平行移動量、回転角、平行移動速度、回転角速度などを求めて、これが、測定対象である移動物体の動きについてあらかじめ定義されている動作（例えば両手で拍手する動作）のパラメータと一致する場合にはその動作に合致した音（例えば「パチパチ」という音）を発生させている。
【００２０】
【発明の実施の形態】
図１乃至図１２を参照して本発明の実施の形態を説明する。
以下の説明では、対応付けに用いる画像情報の一例として対象画素領域の輝度分布を用い、また、必要に応じて各カメラの旧時刻の画像に関するものを「旧・・・」と、新時刻の画像に関するものを「新・・・」と記載し、また、カメラ１の画像に関するものを「第１の・・・」と、カメラ２の画像に関するものを「第２の・・・」と記載する。
【００２１】
図１は、移動物体の初期画像に設定した計測点のその後の画像への対応付けの様子を示す説明図であり、
１１は、時刻ｔにおけるカメラ１の画像（第１の初期画像）
１２は、時刻ｔにおけるカメラ２の画像（第２の初期画像）
１３は、時刻ｔ＋１におけるカメラ１の画像
１４は、時刻ｔ＋１におけるカメラ２の画像
１５は、撮影対象としての移動物体
１６は、第１の初期画像１１に対するマウスなどの入力操作によって移動物体１５の左手首部分に初期設定された旧計測点
１７は、旧計測点１６の回りに自動設定、またはマウスなどの入力操作によって設定される窓
１８は、旧計測点１６を第２の初期画像１２に対応付けるときに用いる探索範囲
１９は、探索範囲１８に対する対応付け処理により特定された窓
２０は、窓１９の所定位置、例えばその中心に自動設定された旧計測点
２１は、第１の初期画像１１の旧計測点１６を第１の画像１３に対応付けるときに用いる探索範囲
２２は、探索範囲２１に対する対応付け処理によって特定された窓
２３は、窓２２の所定位置、例えばその中心に自動設定された新計測点
２４は、第２の初期画像１２の旧計測点２０を第２の画像１４に対応付けるときに用いる探索範囲
２５は、探索範囲２４に対する対応付け処理により特定された窓
２６は、窓２５の所定位置、例えばその中心に自動設定された新計測点
をそれぞれ示している。
【００２２】
なお、第１の初期画像１１に初期設定される計測点は移動物体の構成を特徴付けるための複数の点であり（図３参照）、図１の場合、説明の便宜上、旧計測点１６のみを用いている。
【００２３】
ここで、人手によって設定される計測点は第１の初期画像１１に対する旧計測点１６のみとし、それ以外の画像１２〜１４の計測点２０、２３、２６はすべてそれぞれの基準計測点の対応付けにより求めている。
【００２４】
この基準計測点は、
・旧計測点２０および新計測点２３を求めるときは第１の初期画像１１の旧計測点１６
・新計測点２６を求めるときは第２の初期画像１２の旧計測点２０
である。
【００２５】
第２の初期画像１２の旧計測点２０を、
・このように基準計測点の対応付けにより設定するか、
・旧計測点１６のように人手によって設定するか、
は任意である。
【００２６】
また、同一カメラで撮影した任意の時刻ｔ＋ｎ（ｎは正の整数）の画像に対する基準計測点にはその撮影時刻より前の任意の画像の計測点を用いればよく、必ずしも初期画像のそれを用いなくてもよい。
【００２７】
図２は、第１の初期画像の基準計測点を第１の新画像に対応付けるときの手順を示す説明図であり、その内容は次のようになっている。この手順は、第１の初期画像の基準計測点を第２の初期画像に対応付けるときや、第２の初期画像の基準計測点を第２の新画像に対応付けるときにも同じように適用可能である。
（１）  第１の初期画像１１の旧計測点１６（基準計測点）の回りに所定サイズの窓１７を自動設定し、その中の画素ごとの輝度分布を求めて保持する。
（２）  第１の新画像１３の探索範囲２１に、例えばその左上部から窓１７と同じ形状の画素領域を順にずらしながら設定し、それぞれの画素領域の輝度分布を求めて保持する。
（３）  窓１７の輝度分布と、ステップ（２）  で求めた各画素領域の輝度分布との相関値を算出して、これが最小となる画素領域に窓２２を設定する。なお、ここでの相関値には対応画素ごとの輝度の差分の二乗値を加算したものを用いているので、両者の相関が高いほど相関値は小さくなる。
（４）  窓２２の中心に、基準計測点に対応した新計測点２３を設定する。
【００２８】
このようにして、第１の初期画像１１で指定した旧計測点１６は第２の初期画像１２ならびにその後の第１の新画像および第２の新画像のそれぞれに対応付けられていく。
【００２９】
また、各時刻の第１および第２の画像中での計測点の位置と２台のカメラ自体の３次元位置とを用いたいわゆる三角測量の手法により、各時刻における移動物体の計測点そのものの３次元位置デ−タが算出される。
【００３０】
探索範囲１８、２１および２４の中、
・探索範囲１８は、カメラ１およびカメラ２それぞれの設定位置および視線方向に基づいて、窓１７に対応した領域に自動設定され、
・探索範囲２１および２４はそれぞれより前の時刻の画像で設定済の窓、図示の場合は初期画像１１、１２の窓１７、１９の周りの領域に自動設定される。
【００３１】
図３は、移動物体の初期画像で指定される計測点およびリンクを示す説明図であり、Ｍ０〜Ｍ１０は計測点、Ｌ０〜Ｌ９はリンクをそれぞれ示している。
この指定はオペレータが例えば表示画面上でマウスを操作することにより行ない、続いてアプリケーションプログラムによる各計測点の座標デ−タの算出や、この座標デ−タに基づく各リンクの長さの算出の処理に移行する。
【００３２】
図４は、計測点デ−タテーブルおよびリンクデ−タテーブルを示す説明図であり、
・計測点デ−タは、各計測点の３次元位置デ−タの経時変化およびその計測点につながるリンクの番号
・リンクデ−タは、各リンクの長さおよびその両端の計測点の番号
からなっている。なお、計測点デ−タテーブルに、カメラ１およびカメラ２で撮影した画像それぞれにおける各計測点の位置デ−タの経時変化を付加するようにしてもよい。
【００３３】
図５は、補助計測点の設定の様子を示す説明図であり、３１は背景領域、３２は移動物体の構成部位領域、３３および３４は旧計測点、３５は旧補助計測点の探索範囲、Ｐ１〜Ｐ４は旧補助計測点をそれぞれ示している。
【００３４】
なお、図５乃至図７においても、前述のように、各カメラの旧時刻の画像に関するものを「旧・・・」と、新時刻の画像に関するものを「新・・・」と記載し、また、カメラ１の画像に関するものを「第１の・・・」と、カメラ２の画像に関するものを「第２の・・・」と記載する。
【００３５】
補助計測点を用いるのは、例えばある時刻（新時刻）にカメラからみた移動物体の一部が他の部分に隠れてしまい、それより前の時刻（旧時刻）にこの隠れ部分に設定されていた旧計測点の対応付けが期待できない場合、すなわちこの対応付けにおける最小相関値〔図２のステップ（３）  参照〕が所定値を越えている場合などである。ここでは、旧計測点３３の対応付けが期待できず、これに対応の新計測点を特定するための旧補助計測点Ｐ１〜Ｐ４を求めるものとする。
【００３６】
図６および図７は、補助計測点の設定、およびこれに基づく計測点の設定の手順を示す説明図であり、その内容は次のようになっている。
以下の手順は、旧計測点３３にリンクしているすべての計測点を対象とするものであるが、ここでは、説明の便宜上、旧計測点３４のみを処理対象とする。
【００３７】
（１１）リンクデ−タテーブルなどを参照して設定処理対象の旧計測点３３が旧計測点３４とリンクしていることを確認し、次のステップに進む。
（１２）第１の旧画像の旧計測点３３と旧計測点３４との間に探索範囲３５を設定して、次のステップに進む。
（１３）所定サイズの画素領域〔図２のステップ（１）  参照〕をこの探索範囲３５の例えば左上部から順にずらしながら設定し、それぞれの画素領域の輝度分散値を求めて保持した上で、次のステップに進む。
（１４）この輝度分散値が最も高い画素領域を選択し、これを補助計測点設定の第１の旧候補領域に設定して、次のステップに進む。
（１５）第２の旧画像の探索範囲（当該旧画像の旧計測点３３と旧計測点３４との間に設定された範囲）にステップ（１３）と同様の方法で画素領域を順に設定し、それぞれの画素領域と第１の旧候補領域との輝度相関値を求めて、次のステップに進む。なお、輝度相関値は、前述のように相関の程度が高いほどその値は低くなる。
（１６）次の要件
・この輝度相関値の最小値が所定値以上である
・この輝度相関値の最小値とその次に小さい値との差が所定値以下である
のいずれかに該当するかどうかを判断し、「ＹＥＳ  」の場合は次のステップに進み、「ＮＯ」の場合はステップ（１８）に進む。
（１７）ステップ（１４）で設定した第１の旧候補領域を取消すとともに、以降の選択対象から外して、ステップ（１４）に戻る。
（１８）ステップ（１５）で求めた輝度相関値が最小値となる画素領域を第２の旧候補領域に設定して、次のステップに進む。
（１９）第１の新画像および第２の新画像の対応付け範囲（例えば旧画像それぞれの探索範囲と同じ範囲）にステップ（１３）と同様の方法で画素領域を順に設定し、この各画素領域と、第１の旧候補領域および第２の旧候補領域との輝度相関値をそれぞれ求めて、次のステップに進む。
（２０）次の要件
・この輝度相関値の最小値が所定値以上である
・この輝度相関値の最小値とその次に小さい値との差が所定値以下である
のいずれかに該当するかどうかを判断し、「ＹＥＳ  」の場合は次のステップに進み、「ＮＯ」の場合はステップ（２２）に進む。
（２１）ステップ（１４）で設定した第１の旧候補領域およびステップ（１８）で設定した第２の旧候補領域のそれぞれを取消すとともに、以降の選択対象から外して、ステップ（１４）に戻る。
（２２）ステップ（１９）で求めた輝度相関値が最小値となる画素領域をそれぞれ第１の新候補領域および第２の新候補領域として、次のステップに進む。
（２３）第１の旧候補領域および第２の旧候補領域にそれぞれ旧補助計測点を設定した上で、これらの旧候補領域を取り消して、次のステップに進む。
（２４）前述の三角測量の原理により、この旧補助計測点の３次元位置デ−タを算出して、次のステップに進む。
（２５）第１の新候補領域および第２の新候補領域にそれぞれ新補助計測点を設定した上で、これらの新候補領域を取り消して、次のステップに進む。
（２６）前述の三角測量の原理により、この新補助計測点の３次元位置デ−タを算出して、次のステップに進む。
（２７）設定済の補助計測点の個数が所定値、例えば「４個」になったかどうかを判断し、「ＹＥＳ  」の場合は次のステップに進み、「ＮＯ」の場合はステップ（１４）に戻る。
（２８）ステップ（２４）で算出した旧補助計測点Ｐ１〜Ｐ４それぞれの３次元位置と旧計測点３３のそれとの距離を求め、またリンクデ−タテーブルから旧計測点３３と旧計測点３４との間のリンクの長さデ−タを取り出して、次のステップに進む。
（２９）ステップ（２６）で算出した新補助計測点Ｐ１′〜Ｐ４′それぞれの３次元位置、および新計測点３４′の３次元位置からの距離と、これらに対応のステップ（２８）の距離との差分の二乗の合計値が最小となる点を求めて、それを新計測点３３′に設定する。
【００３８】
なお、ステップ（２３）、（２５）で設定した旧補助計測点および新補助計測点の３次元位置デ−タをステップ（２４）、（２６）で算出することなしに、第１の新旧画像と、第２の新旧画像とで、別々に、それぞれの画像上での新旧補助計測点に対してステップ（２８）、（２９）と同様の距離計算処理を行なうことにより、第１および第２の新画像における新計測点３３′の各位置を求めるようにしてもよい。
【００３９】
この手法を用いる場合には、この新画像それぞれに設定した新計測点３３′の各位置に対して前述の三角測量の原理が適用され、その３次元位置デ−タを算出することになる。
【００４０】
また、第１および第２の新画像の中の一方についてのみ、その旧画像からの計測点の十分な対応付けが期待できない場合には、この新旧画像に対してのみ当該手順・手法の必要部分を適用すればよい。
【００４１】
ステップ（１６）、（２０）の要件は、
・第１の旧画像に、ステップ（１４）で選択した補助計測点設定の第１の旧候補領域を対応付けるに値する画素領域が存在するか〔ステップ（１６）〕
・第１の新画像に、ステップ（１４）で選択した補助計測点設定の第１の旧候補領域を対応付けるに値する画素領域が存在するか〔ステップ（２０）〕
・第２の新画像に、ステップ（１８）で設定した補助計測点設定の第２の旧候補領域を対応付けるに値する画素領域が存在するか〔ステップ（２０）〕
を判断するためのものである。
【００４２】
この要件の後者のねらいは、対応付け先画像の画素領域の中で輝度相関値が最小のものとそれに続いて低いものとの差分が小さいとき、すなわちそれほど差がない輝度相関値を有する画素領域が少なくとも二つあるときに、その中の一方へ旧候補領域を対応付けることは避けたいということである。
【００４３】
なお、ステップ（１３）で設定した画素領域の輝度分散値を求めることに代え、これら画素領域の輝度分布と周辺のそれとの類似度を求めてその差分が最大のものをステップ（１４）における補助計測点設定の第１の旧候補領域に設定するようにしてもよい。
【００４４】
また、補助計測点設定の各候補領域（第１の旧候補領域、第２の旧候補領域、、第１の新候補領域、第２の新候補領域）の設定に際して、
・その輝度分布が背景領域のそれである場合
・候補領域間の距離が所定値以下となる場合
には、その候補領域（後者の場合にはいずれか一方）および関連の候補領域を取り消して、新たな候補領域を求めるようにしてもよい。
【００４５】
図８は、各計測点の各時刻における３次元座標デ−タに基づいて移動物体の動作を推定し、それに対応した音を発生する手順を示す説明図であり、その内容は次のようになっている。
（３１）計測点デ−タやリンクデ−タをテーブルから取り出して、次のステップに進む。
（３２）これらのデ−タに基づいて、
・計測点の移動距離
・計測点の移動速度
・リンクの角度
・リンクの角速度
などの動作記述パラメータを算出して、次のステップに進む。
（３３）この動作記述パラメータと、あらかじめ定められている動作定義パラメータとを比較し、一致するものがあるかどうかを判断し、「ＹＥＳ  」の場合は次のステップに進み、「ＮＯ」の場合は一連の処理を終了する。
（３４）一致する動作定義パラメータに対応する音を発生して、一連の処理を終了する。
【００４６】
図９は、動作定義パラメータを示す説明図であり、例えば「たたく」という動作を、
・肘を示す計測点につながるリンク間の角度が極小値から極大値に変化し、
・かつ、その間の当該リンクの角速度が所定値以上である
と定義している。なお、動作定義パラメータ中の所定値１、２・・・はそれぞれ第１の所定値、第２の所定値・・・の意で用いている。
【００４７】
図１０は、運動計測システムの全体構成を示す説明図であり、
４１および４２は、移動物体を撮影するためのカメラ
４３および４４は、カメラの出力に対するＡ／Ｄ変換部
４５は、Ａ／Ｄ変換部の出力を例えばフレームごとに保持する画像メモリ
４６は、移動物体の初期画像に計測点などを設定するための入力部
４７は、撮影画像を表示する表示部
４８は、旧時刻の計測点を新時刻の画像に対応付けるための対応付け部
４９は、補助計測点を用いて旧時刻の計測点を新時刻の画像に対応付けるための対応付け補助部
５０は、各計測点の３次元位置デ−タを算出するための３次元位置計算部
５１は、動作記述パラメータを算出し、これと動作定義パラメータとを比較して移動物体の動作を特定する動作認識部
５２は、この特定動作に対応の音を発生し、またその大きさや高さを変化させるための音発生部
５３は、入力部４６や３次元位置計算部５０からのデ−タで構成される計測点デ−タおよびリンクデ−タに関するテーブル（図４参照）
５４は、動作定義パラメータテーブル（図９参照）
をそれぞれ示している。
【００４８】
ここで、入力部４６のマウス操作などによって移動物体の初期画像に計測点などが設定されると、対応付け部４８および対応付け補助部４９は、当該入力部からその位置デ−タを受け取って各計測点に関する前述の対応付け処理を開始する。
【００４９】
３次元位置計算部５０は、各時刻における対応付け後の各計測点の３次元位置デ−タを求め、続いて動作認識部５１は前述の動作記述パラメータを算出してこれと一致する内容のものが動作定義パラメータの中に存在するかどうか調べる。
【００５０】
音発生部５２は、この一致する動作定義パラメータに対応した音を発生し、また動作認識部５１から通知される計測点の移動速度やリンクの角度変化量に応じて音の大きさや高さを変化させることにより、移動物体の動作、例えばたたくという動作の大きさを表現することができる。
【００５１】
さらには、移動物体の現実の動作と音発生との時間差をなくすため、動作認識部５１はそれまでの動作記述パラメータからｔ時間後のそれを予測して、この予測値が動作定義パラメータに一致する場合にはその時点で音発生部５２を起動するようにしてもよい。この予測は、例えばパラメータごとにスプライン曲線などを当てはめることにより行なう。
【００５２】
図１１は、運動計測の全体手順を示す説明図であり、その内容は次のようになっている。
（４１）計測点（初期計測点）を設定して、次のステップに進む（図３参照）。
（４２）計測点間のリンクを設定して、次のステップに進む（図３参照）。
（４３）異なるカメラ間での計測点（初期計測点）の対応付けを行なって、次のステップに進む（図１参照）。
（４４）所定数の画像を処理したかどうかを判断し、「ＹＥＳ  」の場合は一連の処理を終了し、「ＮＯ」の場合は次のステップに進む。
（４５）連続した時刻間での計測点の対応付けを行なって、次のステップに進む（図１参照）。
（４６）対応付けの信頼性が閾値を越えているかどうかを判断し、「ＹＥＳ  」の場合はステップ（４９）に進み、「ＮＯ」の場合は次のステップに進む。この判断は個々の計測点ごとに行なう。
（４７）補助計測点を設定して、次のステップに進む（図５参照）。
（４８）補助計測点による計測点の対応付けを行なって、次のステップに進む。
（４９）３次元位置を計算して、次のステップに進む。
（５０）移動物体の動作認識を行なって、すなわち動作記述パラメータを算出して、次のステップに進む。
（５１）適合する動作があるかどうか、すなわちこの動作記述パラメータに合致するものが動作定義パラメータテーブル５４に存在するかどうかを判断し、「ＹＥＳ  」の場合は次のステップに進み、「ＮＯ」の場合はステップ（４４）に戻る。
（５２）この動作にあった音を発生して、ステップ（４４）に戻る。
【００５３】
図１２は、コンピュ−タ読み取り可能な記録媒体からプログラムを読み取って実行するコンピュ−タシステムの概要を示す説明図であり、８０はコンピュ−タシステム、８１はＣＰＵやディスクドライブ装置などを内蔵した本体部、８２は本体部８１からの指示により画像を表示するディスプレイ、  ８２ａは表示画面、８３はコンピュ−タシステム８０に種々の情報を入力するためのキ−ボ−ド、８４は表示画面８２ａ  上の任意の位置を指定するマウス、８５は外部のデ−タベ−ス（ＤＡＳＤなどの回線先メモリ）、８６は外部のデ−タベ−ス８５にアクセスするモデム、８７はＣＤ−ＲＯＭやフロッピ−ディスクなどの可搬型記憶媒体をそれぞれ示している。
【００５４】
プログラムを格納する記憶媒体としては、
・プログラム提供者側のデ−タベ−ス８５（回線先メモリ）
・可搬型記憶媒体８７
・本体部８１の側のメモリ
などのいずれでもよく、当該プログラムは本体部８１にロ−デイングされてその主メモリ上で実行される。
【００５５】
【発明の効果】
本発明は、このように、移動物体の初期画像に測定点とこれを囲む形の窓を設定し、その後の新時刻の画像に対しては、旧時刻の当該窓またはこれに相当する画素領域の例えば輝度分布との相関値に基づいて新たな窓を求め、その中に測定点を対応付けるといった処理を繰り返し、また、所定の相関値を持つ画素領域が新時刻の画像から得られない場合には、旧時刻の画像に補助測定点を設定してこれらを新時刻の画像に対応付けた上で、新旧時刻の各補助測定点からの距離計算に基づいて新時刻における計測点を特定しているので、移動物体の各撮影時刻での測定点の位置デ−タを効率的に、かつ確実に求めることができる。
【００５６】
さらには、移動物体上の各測定点の経時的な位置変化だけではなく、各測定点や、測定点同士を結ぶ各リンクの移動動作時間、平行移動量、回転角、平行移動速度、回転角速度などを求めて、これが移動物体の動作定義パラメータに一致する場合には当該動作に合致した音を発生するようにしているので、移動物体の運動計測をより効果的なものにすることができる。
【図面の簡単な説明】
【図１】本発明の、移動物体の初期画像に設定した計測点のその後の画像への対応付けの様子を示す説明図である。
【図２】本発明の、第１の初期画像の基準計測点を第１の画像に対応付けるときの手順を示す説明図である。
【図３】本発明の、移動物体の初期画像で指定される計測点およびリンクを示す説明図である。
【図４】本発明の、計測点デ−タテーブルおよびリンクデ−タテーブルを示す説明図である。
【図５】本発明の、補助計測点の設定の様子を示す説明図である。
【図６】本発明の、補助計測点の設定、およびこれに基づく計測点の設定の手順を示す説明図（その１）である。
【図７】本発明の、補助計測点の設定、およびこれに基づく計測点の設定の手順を示す説明図（その２）である。
【図８】本発明の、各計測点の各時刻における３次元座標デ−タに基づいて移動物体の動作を推定し、それに対応した音を発生する手順を示す説明図である。
【図９】本発明の、動作定義パラメータを示す説明図である。
【図１０】本発明の、運動計測システムの全体構成を示す説明図である。
【図１１】本発明の、運動計測の全体手順を示す説明図である。
【図１２】本発明の、コンピュ−タ読み取り可能な記録媒体からプログラムを読み取って実行するコンピュ−タシステムの概要を示す説明図である。
【図１３】一般的な、移動物体の撮影画像からその３次元位置デ−タを求めるためのシステム概要を示す説明図である。
【図１４】一般的な、各カメラの連続時刻の表示画面を示す説明図である。
【図１５】従来の、移動物体の撮影画像からその特定部位の３次元位置デ−タを求めるときの処理手順を示す説明図である。
【符号の説明】
図１において
１１・・・時刻ｔにおけるカメラ１の画像（初期画像）
１２・・・時刻ｔにおけるカメラ２の画像（初期画像）
１３・・・時刻ｔ＋１におけるカメラ１の画像
１４・・・時刻ｔ＋１におけるカメラ２の画像
１５・・・移動物体
１６・・・旧計測点（基準計測点）
１７・・・窓
１８・・・探索範囲
１９・・・窓
２０・・・旧計測点
２１・・・探索範囲
２２・・・窓
２３・・・新計測点
２４・・・探索範囲
２５・・・窓
２６・・・新計測点
【図１】
0003613579.tif 000002
【図２】
0003613579.tif 000003
【図３】
0003613579.tif 000004
【図４】
0003613579.tif 000005
【図５】
0003613579.tif 000006
【図６】
0003613579.tif 000007
【図７】
0003613579.tif 000008
【図８】
0003613579.tif 000009
【図９】
0003613579.tif 000010
【図１０】
0003613579.tif 000011
【図１１】
0003613579.tif 000012
【図１２】
0003613579.tif 000013
【図１３】
0003613579.tif 000014
【図１４】
0003613579.tif 000015
【図１５】
0003613579.tif 000016