(57)【要約】【課題】ビデオカメラからの映像を使った非接触型動作計測において、動画像から測定された姿勢の変位を累積することによる姿勢推定のずれを解消する。【解決手段】初期姿勢の他に最終姿勢も与えておく。姿勢の変位に修正変位を加えることにより累積された最終姿勢が、与えられた最終姿勢と一致するような修正変位を求める。この修正変位はニュートン法により容易に得られる。修正変位を加えたことによって得られた姿勢列に対し、動画像から姿勢の変位を測定する。この変位の測定と変位の修正をモデルが身体に一致するまで交互に繰り返す。結果としてずれの無い姿勢列が得られる。【選択図】なし【特許請求の範囲】
【請求項１】
身体の動作を動画像から測定する際に、最初の画像における身体の姿勢、最後の画像における身体の姿勢及び連続する画像間の動作が、それぞれ初期姿勢、最終姿勢及び姿勢の変位として測定されているとしたとき、初期姿勢に姿勢の変位を累積することにより得た最終姿勢が与えられた最終姿勢と異なった場合、両者が一致するように姿勢の変位を修正することを特徴とする動作測定方式。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、動画像を使って身体に接することなく動作を測定する方式に関するものである。
【０００２】
【従来の技術】
身体の動作を測定するモーションキャプチャは、光学式、磁気式、機械式、画像式など様々な方式が提案されている。これらのうち、身体にあらかじめ機材を取り付けたり、マーカを貼り付けたりする方式は接触型と呼ばれている（例えば、公開特許公報「特開平１０−０７４２４９号」、「特開平１０−２２２６６８」、「特開２００１−０５４５０７  」）。接触型では、被験者の動作が制限されたり、被験者が機材やマーカに気をとられたりして自然な動作を測定することが難しい。また、特殊なスタジオを必要とすることが多い。
【０００３】
これに対して、ビデオ映像のみの利用は非接触型と呼ばれ、ビデオカメラさえあれば被験者に負担をかけることなく自然な動作を測定することができる。非接触型では、身体の構造を表すモデルを使うことが一般的となっている。モデルを画面上で身体像に一致させたとき、モデルから身体の姿勢を知ることができる。モデルを画像ごとに一致させれば、動作が測定できる。しかし、画像ごとのモデルの当てはめには多くの計算量を必要とする。
【０００４】
これに対し、姿勢の変位分は連続する画像間の差分値を使って容易に推定できることが知られている。したがって、動画像の最初の画像でモデルを当てはめ、初期姿勢を得た後、これに姿勢の変位を逐次累積すれば任意の時刻の姿勢を求めることができる。
【０００５】
ところが、姿勢変位の推定誤差も累積され、測定した姿勢は実際の姿勢から時間とともに大きくずれてしまうという欠点がある。
【０００６】
【発明が解決しようとする課題】
解決しようとする課題は、累積による姿勢推定のずれの解消である。
【０００７】
【課題を解決するための手段】
画像間の姿勢の変位に適当な修正変位を加えることにより、変位の累積によって得られた姿勢を与えられた最終姿勢に一致させる。
【０００８】
【発明の実施の形態】
【０００９】
動画像の１コマをフレームと呼ぶ。各フレームは時刻順に番号が割り振られている。最初のフレームを０フレーム、最後のフレームをｎフレームとする。
【００１０】
身体の構造を多関節モデルで表す。このモデルは、図１に示されるように身体を胴体や手足などの部位に分け、各部位を剛体とみなし、剛体がジョイントで結合されたリンク構造である。身体の姿勢や動きは各剛体物体の姿勢や運動で表される。したがって、姿勢の修正は部位ごとに行うことができる。
【００１１】
物体の姿勢及び運動を直交行列で表す。まず、物体の初期姿勢をＲ０、最終姿勢をＲｎとする。図２には物体の位置と姿勢が実線で描かれている。物体の運動、すなわち姿勢の変位をＱ１，Ｑ２，・・・，Ｑｎとする。これらは全て与えられているものとする。なお、添え字はフレーム番号である。
【００１２】
最終姿勢は，初期姿勢に姿勢の変位を累積することによって、
Ｒ０Ｑ１Ｑ２・・・Ｑｎと計算することができる。推定された姿勢の変位に誤差が含まれると、累積された姿勢は次第に物体から離れてゆく。図２には累積により計算されたモデルの姿勢が点線で描かれている。
【００１３】
この累積された最終姿勢が与えられた最終姿勢Ｒｎに等しくなるためには、修正変位Ｘｉを姿勢の変位に加える。累積によって得られた新たな最終姿勢が、与えられた最終姿勢に等しくなるように修正変位Ｘｉを決定すればよい。すなわち、
（１）      Ｒ０Ｑ１Ｘ１Ｑ２Ｘ２・・・ＱｎＸｎ＝Ｒｎ
をＸｉについて解けばよい。
【００１４】
ところが、姿勢の修正には３つの自由度を持つ修正変位で十分であるが、各修正変位Ｘｉは３自由度を持つため、方程式全体の自由度の総数は３ｎとなり冗長である。
【００１５】
そこで、各フレームでの修正変位を、修正量は微小であるとして、
2005017117.tif 000002
と表す。ここでｗｉは重み定数で、ａ，ｂ，ｃは変数である。さらに、Ｒ０−１Ｒｎ＝Ｒとすれば、修正変位の推定式（１）は、
（２）      Ｑ１Ｘ１Ｑ２Ｘ２・・・ＱｎＸｎ＝Ｒ
となる。このとき、修正変位Ｘｉは方程式（２）をａ，ｂ，ｃについて解くことにより得られる。ここで、ｗｉは、各フレームごとの修正変位を調節する定数である。ｗｉを全て等しくすれば、修正変位も全て等しくなる。
【００１６】
しかしながら、方程式（２）はａ，ｂ，ｃの高次方程式であるので解くのが難しい。そこで、左辺をＸｉの１次式で近似し１次方程式を解く。まず、修正変位Ｘｉを、Ｘｉ＝Ｉ＋ｗｉＹと分解する。ただし、Ｉは単位行列であり、Ｙは
2005017117.tif 000003
である。
【００１７】
このとき、式（２）の左辺は
（３）
Ｑ１（Ｉ＋ｗ１Ｙ）Ｑ２（Ｉ＋ｗ２Ｙ）…Ｑｎ（Ｉ＋ｗｎＹ）＝
Ｑ１Ｑ２…Ｑｎ  ＋  ｗ１Ｑ１ＹＱ２…Ｑｎ  ＋…＋  ｗｎＱ１Ｑ２…ＱｎＹ  ＋  Ｏ（２）
となる。ただし、行列Ｏ（２）の要素は、Ｙの要素に関する２次以上の積項からなる多項式となる。Ｘｉを微小な回転とすれば、Ｙの要素は微小量であるので、２次以上の積項は無視することができ、行列Ｏ（２）も無視することができる。したがって、Ｙに関する１次方程式
（４）
Ｑ１Ｑ２…Ｑｎ  ＋  ｗ１Ｑ１ＹＱ２…Ｑｎ  ＋…＋  ｗｎＱ１Ｑ２…ＱｎＹ  ＝Ｒ
をａ，ｂ，ｃについて解けばよい。得られたＹからＸｉを得る。
【００１８】
解Ｘｉを各変位Ｑｉにかけ姿勢の修正を行ったＱｉＸｉを姿勢の新たな変位Ｑｉとみなし、再度、以上の手続きを繰り返す。この手続きを繰り返すことにより、累積によって得られた最終姿勢が与えられた最終姿勢に収束する。
【００１９】
ここで、位置の修正についても述べておく。位置の修正は姿勢の修正に比べて容易である。物体の初期位置をＴ０、最終位置をＴｎとし、それぞれ与えられたものとする。また、画像間の位置の変位ｓ１，ｓ２，…，ｓｎも与えられたものとする。
【００２０】
変位の累積により計算される最終位置は、Ｔ０＋ｓ１＋ｓ２＋…＋ｓｎとなる。これをＴｎ’としたとき、ずれはＴｎ−Ｔｎ’である。このずれを比率、ｒ１，ｒ２，・・・，ｒｎ、で按分し位置の変位に加えれば、累積した最終位置は与えられた最終位置に一致する。比率ｒｉが全て等しければ、修正量はずれをフレーム数で等分したことになる。図２の２，３，４，５，６のように他の部位に関節でつながっている部位は、位置の修正は必要ない。
【００２１】
【発明の効果】
初期姿勢に姿勢変位の累積によって得られた最終姿勢が、与えられた最終姿勢とずれている場合には、実施の形態で示した修正法により姿勢変位が修正され姿勢列が動作として得られる。この姿勢列の最終姿勢は与えれた最終姿勢と一致するが、途中の姿勢は必ずしも実際の姿勢と一致しているとは限らない。
【００２２】
そこで、姿勢列上で画像間の差分値から身体の姿勢の変位分を推定する。ずれた位置・姿勢を使って変位分を推定しているので、この推定された変位の累積によって得られた最終姿勢は、与えられた最終姿勢に一致するとは限らない。しかし、新しい姿勢列は正しい姿勢列に近づいているので、ずれは少なくなっているはずである。したがって、この新たな姿勢の変位に対して、実施の形態で示した修正法により再度修正を行う。この変位の修正と画像からの変位の測定をどのフレームでもモデルが身体像に一致するまで交互に繰り返す。その結果、正しく動作を推定することができる。なお、位置の修正も同様に行う。
【００２３】
初期姿勢と最終姿勢が与えられたとき、その間の動作を決定する問題はロボットの動作計画問題とみなすこともできる。しかし、動作計画によって得られた解は、一般に実際の身体の動作とは異なっている。本発明により得られた動作は、実際の身体の動作を忠実に再現できるのが特徴である。
【図面の簡単な説明】
【図１】身体の多関節モデル。
【図２】物体の位置・姿勢及び運動。
【符号の説明】
１  胴体
２  頭部
３  上腕
４  下腕
５  上脚
６  下脚
７  物体とモデルの一致
８、９  物体
１０、１１  モデル
【図１】
2005017117.tif 000004
【図２】
2005017117.tif 000005