(57)【特許請求の範囲】
【請求項１】
身体の動作を動画像から測定する方式であって、最初の画像における身体の姿勢、最後の画像における身体の姿勢及び連続する画像間の動作を測定し、それぞれ初期姿勢(R0)、最終姿勢(Rn)及び姿勢の変位(Q1、Q2、・・・、Qn)を得、前記初期姿勢(R0)に前記姿勢の変位(Q1、Q2、・・・、Qn)及び修正変位(X1、X2、・・・、Xn)を累積した新たな最終姿勢(R0Q1X1Q2X2・・・QnXn)が前記最終姿勢(Rn)と一致するように前記修正変位(X1、X2、・・・、Xn)を求めて、前記姿勢の変位を修正することを特徴とする動作測定方式。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、動画像を使って身体に接することなく動作を測定する方式に関するものである。
【０００２】
【従来の技術】
身体の動作を測定するモーションキャプチャは、光学式、磁気式、機械式、画像式など様々な方式が提案されている。これらのうち、身体にあらかじめ機材を取り付けたり、マーカを貼り付けたりする方式は接触型と呼ばれている（例えば、公開特許公報「特開平10-074249号」、「特開平10-222668」、「特開2001-054507 」）。接触型では、被験者の動作が制限されたり、被験者が機材やマーカに気をとられたりして自然な動作を測定することが難しい。また、特殊なスタジオを必要とすることが多い。
【０００３】
これに対して、ビデオ映像のみの利用は非接触型と呼ばれ、ビデオカメラさえあれば被験者に負担をかけることなく自然な動作を測定することができる。非接触型では、身体の構造を表すモデルを使うことが一般的となっている。モデルを画面上で身体像に一致させたとき、モデルから身体の姿勢を知ることができる。モデルを画像ごとに一致させれば、動作が測定できる。しかし、画像ごとのモデルの当てはめには多くの計算量を必要とする。
【０００４】
これに対し、姿勢の変位分は連続する画像間の差分値を使って容易に推定できることが知られている。したがって、動画像の最初の画像でモデルを当てはめ、初期姿勢を得た後、これに姿勢の変位を逐次累積すれば任意の時刻の姿勢を求めることができる。
【０００５】
ところが、姿勢変位の推定誤差も累積され、測定した姿勢は実際の姿勢から時間とともに大きくずれてしまうという欠点がある。
【０００６】
【発明が解決しようとする課題】
解決しようとする課題は、累積による姿勢推定のずれの解消である。
【０００７】
【課題を解決するための手段】
画像間の姿勢の変位に適当な修正変位を加えることにより、変位の累積によって得られた姿勢を与えられた最終姿勢に一致させる。
【０００８】
【発明の実施の形態】
【０００９】
動画像の１コマをフレームと呼ぶ。各フレームは時刻順に番号が割り振られている。最初のフレームを0フレーム、最後のフレームをnフレームとする。
【００１０】
身体の構造を多関節モデルで表す。このモデルは、図１に示されるように身体を胴体や手足などの部位に分け、各部位を剛体とみなし、剛体がジョイントで結合されたリンク構造である。身体の姿勢や動きは各剛体物体の姿勢や運動で表される。したがって、姿勢の修正は部位ごとに行うことができる。
【００１１】
物体の姿勢及び運動を直交行列で表す。まず、物体の初期姿勢をR0、最終姿勢をRnとする。図２には物体の位置と姿勢が実線で描かれている。物体の運動、すなわち姿勢の変位をQ1、Q2、・・・、Qnとする。これらは全て与えられているものとする。なお、添え字はフレーム番号である。
【００１２】
最終姿勢は、初期姿勢に姿勢の変位を累積することによって、 R0Q1Q2・・・Qnと計算することができる。推定された姿勢の変位に誤差が含まれると、累積された姿勢は次第に物体から離れてゆく。図２には累積により計算されたモデルの姿勢が点線で描かれている。
【００１３】
この累積された最終姿勢が与えられた最終姿勢Rnに等しくなるためには、修正変位Xiを姿勢の変位に加える。累積によって得られた新たな最終姿勢が、与えられた最終姿勢に等しくなるように修正変位Xiを決定すればよい。すなわち、
(1)      R0Q1X1Q2X2・・・QnXn=Rn
をXiについて解けばよい。
【００１４】
ところが、姿勢の修正には３つの自由度を持つ修正変位で十分であるが、各修正変位Xiは３自由度を持つため、方程式全体の自由度の総数は3nとなり冗長である。
【００１５】
そこで、各フレームでの修正変位を、修正量は微小であるとして、
0004427684.tif 000002
と表す。ここでwiは重み定数で、a、b、cは変数である。さらに、R0-1Rn=Rとすれば、修正変位の推定式(1)は、
(2)      Q1X1Q2X2・・・QnXn=R
となる。このとき、修正変位Xiは方程式(2)をa、b、cについて解くことにより得られる。ここで、wiは、各フレームごとの修正変位を調節する定数である。wiを全て等しくすれば、修正変位も全て等しくなる。
【００１６】
しかしながら、方程式(2)はa、b、cの高次方程式であるので解くのが難しい。そこで、左辺をXiの1次式で近似し1次方程式を解く。まず、修正変位Xiを、Xi=I+wiYと分解する。ただし、Iは単位行列であり、Yは
0004427684.tif 000003
である。
【００１７】
このとき、式(2)の左辺は
(3)       Q1(I+w1Y)Q2(I+w2Y)…Qn(I+wnY)=
Q1Q2…Qn + w1Q1YQ2…Qn+…+ wnQ1Q2…QnY + O(2)
となる。ただし、行列O(2)の要素は、Yの要素に関する２次以上の積項からなる多項式となる。Xiを微小な回転とすれば、Yの要素は微小量であるので、２次以上の積項は無視することができ、行列O(2)も無視することができる。したがって、Yに関する1次方程式
(4)       Q1Q2…Qn + w1Q1YQ2…Qn+…+ wnQ1Q2…QnY =R
をa、b、cについて解けばよい。得られたYからXiを得る。
【００１８】
解Xiを各変位Qiにかけ姿勢の修正を行ったQiXiを姿勢の新たな変位Qiとみなし、再度、以上の手続きを繰り返す。この手続きを繰り返すことにより、累積によって得られた最終姿勢が与えられた最終姿勢に収束する。
【００１９】
ここで、位置の修正についても述べておく。位置の修正は姿勢の修正に比べて容易である。物体の初期位置をT0、最終位置をTnとし、それぞれ与えられたものとする。また、画像間の位置の変位s1、s2、…、snも与えられたものとする。
【００２０】
変位の累積により計算される最終位置は、T0+s1+s2+…+snとなる。これをTn'としたとき、ずれはTn-Tn'である。このずれを比率、r1、r2、・・・、rn、で按分し位置の変位に加えれば、累積した最終位置は与えられた最終位置に一致する。比率riが全て等しければ、修正量はずれをフレーム数で等分したことになる。図２の2、3、4、5、6のように他の部位に関節でつながっている部位は、位置の修正は必要ない。
【００２１】
【発明の効果】
初期姿勢に姿勢変位の累積によって得られた最終姿勢が、与えられた最終姿勢とずれている場合には、実施の形態で示した修正法により姿勢変位が修正され姿勢列が動作として得られる。この姿勢列の最終姿勢は与えられた最終姿勢と一致するが、途中の姿勢は必ずしも実際の姿勢と一致しているとは限らない。
【００２２】
そこで、姿勢列上で画像間の差分値から身体の姿勢の変位分を推定する。ずれた位置・姿勢を使って変位分を推定しているので、この推定された変位の累積によって得られた最終姿勢は、与えられた最終姿勢に一致するとは限らない。しかし、新しい姿勢列は正しい姿勢列に近づいているので、ずれは少なくなっているはずである。したがって、この新たな姿勢の変位に対して、実施の形態で示した修正法により再度修正を行う。この変位の修正と画像からの変位の測定をどのフレームでもモデルが身体像に一致するまで交互に繰り返す。その結果、正しく動作を推定することができる。なお、位置の修正も同様に行う。
【００２３】
初期姿勢と最終姿勢が与えられたとき、その間の動作を決定する問題はロボットの動作計画問題とみなすこともできる。しかし、動作計画によって得られた解は、一般に実際の身体の動作とは異なっている。本発明により得られた動作は、実際の身体の動作を忠実に再現できるのが特徴である。
【図面の簡単な説明】
【図１】身体の多関節モデル。
【図２】物体の位置・姿勢及び運動。
【符号の説明】
１  胴体
２  頭部
３  上腕
４  下腕
５  上脚
６  下脚
７  物体とモデルの一致
８、９  物体
10、11  モデル
【図１】
0004427684.tif 000004
【図２】
0004427684.tif 000005