【手続補正書】
【提出日】平成16年6月10日(2004.6.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モーションキャプチャのためにパラメトリックな動力学モルを人間の行為者のサイズに自動的に適応させるための、コンピュータで実現される方法であって、
人間の行為者の身体部品に付けられたマーカの、それぞれのローカル身体部品座標系における、コンピュータ読取可能な位置データの組と、グローバル身体座標系に対するローカル身体座標系の位置と向きとを準備するステップと、
人間の行為者の身体部品に付けられたマーカの位置を表す、コンピュータ読取可能なモーションキャプチャデータの第一の組を準備するステップとを含み、前記モーションキャプチャデータは人間の行為者がある一組の動きを行なう間にキャプチャされ、さらに
前記位置データと前記コンピュータ読取可能なモーションキャプチャデータの第一の組とを用いて、人間の行為者の身体部品の関節軸の位置をコンピュータに推定させるステップを含み、
前記コンピュータに推定させるステップは、
コンピュータ読取可能な前記マーカの位置データと、コンピュータ読取可能な前記モーションキャプチャデータの第一の組と、パラメトリックな動力学モデルの連鎖中で先行する関節軸の組の位置とを用いて、前記パラメトリックな動力学モデルの連鎖内での現在の関節軸の組の位置を計算するステップをコンピュータに自動的に行なわせるステップを含み、前記先行する関節軸の組は、前記先行する関節軸の組のまわりの動きが現在の関節軸の組の位置に影響を与えるような様態で動力学的な連鎖中に配置されている、方法。
【請求項２】
前記関節軸の現在の組の位置を計算するステップは
（ａ）モーションキャプチャデータの第一の組の全ての測定時間について、各測定時間での人間の行為者の身体の位置および向き、ならびにもしあれば、その時点での連鎖中で先行する軸の組の関節角度を、コンピュータ読取可能なマーカの位置データと、モーションキャプチャデータの第一の組と、もしあれば先行するステップで計算された先行する関節軸の組の位置とを用いて、推定するステップと、
（ｂ）コンピュータ読取可能なマーカの位置データと、モーションキャプチャデータの第一の組と、もしあれば先行するステップで計算された先行する関節軸の組の位置と、身体の位置および向きと、もしあれば、ステップ（ａ）で計算された先行する関節軸の組に関連する関節角度とを用いて、連鎖内の現在の関節軸の組の位置と、関連した関節軸の角度とを推定するステップとを含む、請求項１に記載の方法。
【請求項３】
前記ステップ（ａ）は、モーションキャプチャデータの第一の組と、位置データと、身体の位置および向きと、先行する関節軸の組の関節角度と、先行するステップで計算された先行する関節軸の組の位置とによって規定される好適な指標関数を最適化することによって、前記先行する関節軸の組の関節角度を推定するステップを含む、請求項２に記載の方法。
【請求項４】
前記ステップ（ｂ）は、モーションキャプチャデータの第一の組と、位置データと、身体の位置および向きと、先行する関節軸の組および現在の関節軸の組の関節角度と、先行するステップで計算された先行する関節軸の組の位置および現在の関節軸の組の位置とによって規定される好適な指標関数を最適化することによって、現在の関節軸の組の位置を推定するステップを含む、請求項２または請求項３に記載の方法。
【請求項５】
コンピュータ読取可能なマーカの位置データの組を準備する前記ステップは、人間の行為者が予め定められた基準姿勢にある間に、人間の行為者の身体部品に付けられたマーカの位置を表すコンピュータ読取可能なモーションキャプチャデータの第二の組を準備するステップを含む、請求項１から４のいずれかに記載の方法。
【請求項６】
前記予め定められた基準姿勢においては、人間の行為者は手足を伸ばした直立姿勢で立っている、請求項５に記載の方法。
【請求項７】
モーションキャプチャのために、パラメトリックな動力学モデルを人間の行為者のサイズに自動的に適応させるための、コンピュータで実行可能なプログラムであって、
人間の行為者の身体部品に付けられたマーカの、それぞれのローカル身体部品座標系における、コンピュータ読取可能な位置データの組と、グローバル身体座標系に対するローカル身体座標系の位置と向きとを準備するための第一のプログラム部分と、
人間の行為者の身体部品に付けられたマーカの位置を表すコンピュータ読取可能なモーションキャプチャデータの第一の組を準備するための第二のプログラム部分とを含み、前記モーションキャプチャデータは人間の行為者がある一組の動きを行なう間にキャプチャされ、さらに
位置データとコンピュータ読取可能なモーションキャプチャデータの第一の組とを用いて人間の行為者の身体部品の関節軸の位置を推定する第三のプログラム部分を含み、前記第三のプログラム部分は
コンピュータ読取可能なマーカの位置データと、コンピュータ読取可能なモーションキャプチャデータの第一の組と、パラメトリックな動力学モデルの連鎖において先行する関節軸の組の位置とを用いて、パラメトリックな動力学モデルの連鎖における関節軸の現在の組の位置を計算する第四のプログラム部分を含み、先行する関節軸の組は、先行する関節軸の組の周囲の動きが現在の関節軸の組の位置に影響を与えるような様態で動力学的な連鎖中に配置されている、コンピュータで実行可能なプログラム。
【請求項８】
前記第四のプログラム部分は
モーションキャプチャデータの第一の組の全ての測定時間について、各測定時間での人間の行為者の身体の位置および向き、ならびにもしあれば、その時点での連鎖中における先行する軸の組の関節角度を、コンピュータ読取可能なマーカの位置データと、モーションキャプチャデータの第一の組と、もしあれば先行するステップで計算された先行する関節軸の組の位置とを用いて、推定するプログラム部分（ａ）と、
コンピュータ読取可能なマーカの位置データと、モーションキャプチャデータの第一の組と、もしあれば先行するステップで計算された先行する関節軸の組の位置と、身体の位置および向きと、もしあれば、プログラム部分（ａ）で計算された先行する関節軸の組に関連する関節角度とを用いて、連鎖内における現在の関節軸の組の位置と、関連した関節角度とを推定するプログラム部分（ｂ）とを含む、請求項７に記載のコンピュータで実行可能なプログラム。
【請求項９】
前記プログラム部分（ａ）は、モーションキャプチャデータの第一の組と、位置データと、身体の位置および向きと、先行する関節軸の組の関節角度と、第四のプログラム部分で計算された先行する関節軸の組の位置とによって規定される好適な指標関数を最適化することによって、身体の位置および向きと、前記先行する関節軸の組の関節角度を推定するためのプログラム部分を含む、請求項８に記載のコンピュータで実行可能なプログラム。
【請求項１０】
前記プログラム部分（ｂ）は、モーションキャプチャデータの第一の組と、位置データと、身体の位置および向きと、先行する関節軸の組および現在の関節軸の組の関節角度と、第四のプログラム部分で計算された先行する関節軸の組の位置および現在の関節軸の組の位置とによって規定される好適な指標関数を最適化することによって、現在の関節軸の組の位置を推定するプログラム部分を含む、請求項８または９に記載のコンピュータで実行可能なプログラム。
【請求項１１】
前記第一のプログラム部分は、人間の行為者が予め定められた基準姿勢にある間に、人間の行為者の身体部品に付けられたマーカの位置を表すモーションキャプチャデータの第二の組を準備するプログラム部分を含む、請求項７から１０のいずれかに記載のコンピュータで実行可能なプログラム。
【請求項１２】
前記基準姿勢においては、人間の行為者は手足を伸ばした直立姿勢で立っている、請求項１１に記載のコンピュータで実行可能なプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
ヒューマノイドエージェントの何らかの動きはこの場合、ある時間でのこの選択された身体座標系の位置および向きを特定する軌跡と、関節角度の軌跡とによって与えられる。この明細書では、身体の位置および向きをまとめて「身体の姿勢」と呼ぶ。ある程度の正確さで、人間の動きは、このようにしてもモデル化することができる。この発明の実施例に従った方法は、人間の動きとヒューマノイドエージェントの動きとをともに記述できる、パラメトリックな動力学モデルの同期化のための自動技術を提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図２は図１に示されたヒューマノイドロボットの動力学的構造を示し、ここで我々が目標とするのは、図２のようなヒューマノイドロボットの特定の動力学的構造によって、人間の動きをモデル化することである。図２に示されるように、この構造は関節４、６、８、１０および１２等の、ロボット２の右腕に位置づけられた多数の関節１６を含む。この構造はさらに、左腕、右足、左足、首および腰の関節を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
【数３】
2004163990.tif 000001
ここでεi１…,εinはマーカの動きyｊを生じさせる動力学的連鎖を記述するひねりであり、Ｇｘはマーカが付されるローカル身体部品座標系の位置および向きを、基本構成でのグローバル身体座標系に対して関連付ける同次行列である。（図１に示したヒューマノイドロボットの場合、ｘ＝上体、骨盤、頭、左上腕、左下腕、左手、右上腕、右下腕、右手、左上脚、左下脚、左足、右上脚、右下脚、右足である。）ｒおよびｄは世界座標に対するグローバル身体座標系の回転ベクトルおよび位置によって表される向き、ｇ（ｒ，ｄ）はｒおよびｄに対応する同次行列である。なお、マーカの動きに影響を与えるひねりの組は、マーカが付される身体部品が何であるかによって変わる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
グローバル身体座標系の原点は、二つの肩関節（または二つの特別に位置づけられた肩マーカ）を結ぶ線の中間にあると仮定される。これは上体に固定される。基本構成では、グローバル身体座標系とすべてのローカル身体部品座標系とが整列している。この仮定を用いて、グローバル身体座標系（式（３）のＧx）における基本構成での各身体部品の位置と向きを計算し、マーカの世界座標系をローカル座標系（式（３）の〜yｊおよびyｊ）に変換することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
【数８】
2004163990.tif 000002
ここで、ｎｘは身体部品に付けられたマーカの数である。最後に、マーカｙjの
ローカル座標が数式（５）の逆をとることにより得られる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
［好ましい実施例］
図３はこの実施例の全体図を示す。図３を参照して、システムは人間の行為者１８のさまざまな身体部品に付されたマーカの３−Ｄ位置を測定するための光学トラッカ３０と、測定データの演算を行なってモーションキャプチャのためにパラメトリックな動力学モデルを人間の行為者のサイズに適応させるためにパラメータを最適化するコンピュータシステム２０とを含む。コンピュータシステム２０によってこうして計算された適応パラメータ８０を、光学トラッカ３０がキャプチャした同じ行為者１８の動きデータに基づきロボットを制御するためのデータを生成する動き生成システム８２で用いることができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
図４はコンピュータシステム２０を示し、図５はシステム２０をブロック図で示す。図４を参照して、コンピュータシステム２０は、ＦＤ（フレキシブルディスク）ドライブ５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ５０を有するコンピュータ４０と、キーボード４６と、マウス４８と、モニタ４２とを含む。光学トラッカ３０はコンピュータ４０に接続される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
図５を参照して、コンピュータ４０は、ＦＤドライブ５２およびＣＤ−ＲＯＭドライブ５０に加えて、ＣＰＵ（中央処理装置）５６と、ＣＰＵ５６、ＦＤドライブ５２およびＣＤ−ＲＯＭドライブ５０に接続されたバス６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）５８と、ＣＰＵ５６に接続され、プログラム命令、システムプログラム、およびデータを記憶するランダムアクセスメモリ（ＲＡＭ）６０とを含む。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
図６はこの実施例の方法を実現するプログラムのための全体的な制御構造を示す。図６を参照して、人間の行為者の身体にマーカが付けられた後（９０）、プログラムが開始する。肩の離れた位置に２個のマーカが位置付けられるので、基本構成においてこれら２個のマーカを結ぶ線によってグローバル身体座標系の水平軸が規定できる。まず始めに、コンピュータ４０は行為者が基本構成の姿勢で立っている間にモーションキャプチャデータ９２からマーカの３−Ｄデータをキャプチャする（９４）。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
次に、行為者は一組の動きをするよう求められ、これが光学トラッカ３０によって測定されて、キャプチャされたデータ１１０がコンピュータシステムに送られる（９８）。この方法があいまいさのない回答を返す必要があるのであれば、行為者は適切な自由度全てについて動きを行なわなければならない。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
［実験］
動力学的モデルの自動生成のためのこの方法を試験するため、複数の実験を行い、人間の行為者の全身運動を含むいくつかの動きの軌跡をキャプチャした。図９はデータ収集プロセスの例を示す。マーカベースの光学トラッカ３０がこの目的で用いられた。光学トラッカ３０は特定可能なアクティブマーカを用いる。全身運動の場合にはマーカのうちいくつかがオクルージョンをこうむることがしばしばあるので、アクティブマーカを用いると有利である。このような場合、パッシブなマーカを用いるシステムはよりマッチング誤差に弱い。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】符号の説明
【補正方法】変更
【補正の内容】
【符号の説明】
２  ロボット、４、６、８、１０、１２  関節、２０  コンピュータシステム、３０  光学トラッカ、４０  コンピュータ
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2004163990.tif 000003