(57)【要約】接触情報と動作情報とを統合することで、従来のモーションキャプチャ装置では知ることのできなかった様々な情報を得る。環境と接触しながら自動あるいは他動で動作する対象物のモーションキャプチャ装置であって、対象物に設けられ、対象物が環境と接触した時の触覚情報を取得するための１つ以上の触覚センサと、対象物に設けられ、対象物の動作情報を取得するためのモーションキャプチャ手段と、前記触覚情報及び前記動作情報を受信して、これらの情報を対応付けて格納する情報統合装置と、を備えている。
2010027015.tif 000002
【特許請求の範囲】
【請求項１】
環境と接触しながら自動あるいは他動で動作する対象物のモーションキャプチャ装置であって、
対象物に設けられ、対象物が環境と接触した時の触覚情報を取得するための１つ以上の触覚センサと、
対象物に設けられ、対象物の動作情報を取得するためのモーションキャプチャ手段と、
前記触覚情報及び前記動作情報を受信して、これらの情報を対応付けて格納する情報統合装置と、
を備えた、モーションキャプチャ装置。
【請求項２】
前記情報統合装置は、前記触覚センサにより取得された触覚情報を用いて幾何拘束条件を取得する、請求項１に記載のモーションキャプチャ装置。
【請求項３】
前記幾何拘束条件の取得は、前記触覚情報に加えて、対象物の幾何形状情報、動力学情報、環境情報の少なくとも１つを用いる、請求項２に記載のモーションキャプチャ装置。
【請求項４】
前記情報統合装置は、前記幾何拘束条件を用いて、前記モーションキャプチャ手段によって取得された動作情報を補正する、請求項２、３いずれかに記載のモーションキャプチャ装置。
【請求項５】
前記触覚情報には、接触の有無を示す接触情報が含まれる、請求項１乃至４いずれかに記載のモーションキャプチャ装置。
【請求項６】
前記情報統合装置は、前記接触情報を用いて、前記対象物の予め選択した１つ以上の部位の接触の有無を判定する、請求項５に記載のモーションキャプチャ装置。
【請求項７】
前記情報統合装置は、前記１つ以上の部位の接触の有無によって決定される接触状態が変化した時を動作の区切りとして、前記動作情報を複数の動作単位に分割する、請求項６に記載のモーションキャプチャ装置。
【請求項８】
前記情報統合装置は、前記触覚情報を用いて、前記動作情報を分類する、請求項５乃至７いずれか記載のモーションキャプチャ装置。
【請求項９】
前記動作情報の分類は、前記１つ以上の部位の接触の有無によって決定される接触状態の遷移の情報に基づいて行なわれる、請求項５乃至８いずれかに記載のモーションキャプチャ装置。
【請求項１０】
前記モーションキャプチャ手段は、姿勢センサを用いた内界式モーションキャプチャ手段である、請求項１乃至９いずれかに記載のモーションキャプチャ装置。
【請求項１１】
前記姿勢センサは、加速度センサ、及び、ジャイロあるいは／および地磁気センサ、及び、各センサ情報から６軸情報を取得するマイクロコンピュータと、を含む姿勢センサモジュールである、請求項１０に記載のモーションキャプチャ装置。
【請求項１２】
前記姿勢センサモジュールは、３軸の加速度センサと、２軸のジャイロからなるジャイロセンサと、からなり、
前記対象物を構成する各リンクに、２個以上の前記姿勢センサモジュールを設けてなる、請求項１１に記載のモーションキャプチャ装置。
【請求項１３】
前記情報統合装置は、接触位置情報を取得するものである、請求項１乃至１２いずれかに記載のモーションキャプチャ装置。
【請求項１４】
前記接触位置情報は、前記動作情報から取得される前記対象物の姿勢情報と、前記対象物の姿勢に対する前記触覚センサの相対的な位置情報と、から取得される、請求項１３に記載のモーションキャプチャ装置。
【請求項１５】
前記触覚センサは、対象物の表面の一部あるいは全部に亘って設けられている、請求項１乃至１４いずれかに記載のモーションキャプチャ装置。
【請求項１６】
前記触覚センサは、複数の触覚センサモジュールから構成されており、各触覚センサモジュールは、複数のセンサエレメントを備えている、請求項１３に記載のモーションキャプチャ装置。
【請求項１７】
各触覚センサモジュールにおける各センサエレメントの相対的な位置が既知である、請求項１６に記載のモーションキャプチャ装置。
【請求項１８】
各触覚センサモジュールに対応して姿勢センサが設けてあり、当該姿勢センサは、対象物の動作に伴う各触覚センサモジュールの装着位置の変化を検出する、請求項１６、１７いずれかに記載のモーションキャプチャ装置。
【請求項１９】
対象物の動作情報を取得する姿勢センサが、各触覚センサモジュールに対応する姿勢センサを兼用する、請求項１８に記載のモーションキャプチャ装置。
【請求項２０】
前記触覚情報には、圧力情報、せん断情報の少なくとも一方が含まれる、請求項１乃至１９いずれかに記載のモーションキャプチャ装置。
【請求項２１】
対象物が被着するためのベーススーツと、
触覚情報を取得するためにベーススーツに設けられた複数の触覚センサと、
動作情報を取得するためにベーススーツに設けられた複数の姿勢センサと、
触覚情報及び動作情報を受信するためにベーススーツに設けられた処理部と、
触覚センサ、姿勢センサと処理部とを電気的に接続するためにベーススーツに設けられた配線部と、
処理部、触覚センサ、姿勢センサへ電力を供給するための１つ以上の電源部と、
を有するモーションキャプチャスーツを備えた請求項１に記載のモーションキャプチャ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モーションキャプチャ装置に係り、詳しくは、対象物の動作情報に加えて対象物が環境に接触した時の接触情報を取得するモーションキャプチャ装置に関するものである。
【背景技術】
【０００２】
モーションキャプチャ技術は、スポーツ工学やロボット工学、医学、CG アニメーション等の多岐の分野で用いられている。より具体的には、スポーツ工学では技能の向上のための運動解析に、ロボット工学ではヒューマノイドロボットの動作生成や動作入力などに用いられる。医学ではリハビリテーション等に活用され、CG アニメーションの分野ではキャラクタの動作入力及び動作生成に用いられている。このようにモーションキャプチャは計測対象の運動計測、運動解析、運動データの再利用など、様々な目的に用いられている。【０００３】
計測対象の動作時の触覚の情報に着目してみると、人は常に環境と接触しており、運動時に起こる環境との接触の変化をとらえることは、その運動を理解する上で重要である。なぜなら、歩く、座る、物を持つなどといった動作は人の動作が接触を引き起こし、転ぶ、跳ね返る、殴られるなどといった動作は接触が動作を引き起こす。このように接触と動作の間には密接な関係があるといえる。接触が重要な意味を持つ動作の具体例として、物体操作や他者との身体的インタラクションが挙げられる。物体操作は物を持つ、押す、物に乗る、座るなど多様であるが、いずれもその物体との接触が人と物体とを関連づけている。物体操作においてモーションデータのみが得られた場合、本当に物体を操作しているのか知ることはできない。ここに接触情報を加えることで物体の存在を知ることができる。他者との身体的インタラクションは日常生活や介護動作、救助動作、スポーツの場面において多く存在する。このような動作において接触情報は自らの身体と他者の身体を関連づける。自らの身体と他者の身体との接触がどのように動作に影響しているか、また動作によってどのような接触が生じるかを知ることができるという意味で大変意義がある。モーションデータと同時に接触情報が得られれば様々な可能性を生み出すことができる。【０００４】
しかしながら、従来のモーションキャプチャ装置は、接触運動を計測することには不向きであった。モーションキャプチャとしては、個体にマーカや模様をつけ、外からカメラなどで計測することで関節位置・姿勢を測定する光学式モーションキャプチャ装置が良く知られている。しかしながら、光学式モーションキャプチャ装置は、接触動作を計測する場合には、マーカや模様が隠れるため計測ができないという問題がある。光学式モーションキャプチャの他にも、個体およびその関節にGPSや加速度センサ、ジャイロセンサなど位置・姿勢測定装置を取り付け、個体の移動や動きを計測する内界式モーションキャプチャ装置が知られている（特許文献１〜３）。しかしながら、内界式モーションキャプチャ装置においては、関節の角速度や加速度を積分することで位置や姿勢を計測するため誤差が大きく、接触動作を測定する場合に、個体と個体、個体と環境がめり込むなどの起こりえない計測結果を出力してしまうという問題がある。【０００５】
また、従来のモーションキャプチャ装置は、対象物の動作情報と同時に例えば筋電位情報を取得するようなハイブリッド式のものはあるが、面接触や転がり接触などの多様な接触を伴う動作における接触位置とその運動を同時に計測するものはない。日常動作の計測のために、姿勢センサと足裏触覚センサをもつウェアラブルモーションキャプチャも提案されている（非特許文献１）。ここでは、足裏の触覚センサにより環境の情報を取得し、動きの情報と環境情報の関連付けが試みられているが、触覚センサが足裏平面内の数点に限定され、拘束条件も点拘束に限定されている。このため、非常に限定的な状況でしか動作の意味付けをすることができない。【０００６】
すなわち、従来のモーションキャプチャシステムは、見た目には等しい運動情報を取得することを可能としているが、物理的インタラクションに伴う接触情報がないことによって、計測した動作の本質をとらえることができない。物体を持つという動作は、腕を前に出す動作とは本質的に異なるが、表面的な動きとしては同じということがある。柔道やダンスのような複数人の物理的インタラクションを伴う動作を計測する場合にも、相互に働く力情報がその動作の成立に本質的な情報であり、このような接触情報なしでは、計測した動作をアニメーションなどに再利用する際に、実際とは全く異なる動きを生成することになる。【０００７】
また、従来のモーションキャプチャから得られる情報は、動きの時間変化であり、それらを意味あるカテゴリに分類するための指標は存在しない。そのため、とりためたデータは未整理の状態で蓄積されるのに対し、接触情報を用いて運動情報を意味付け、分節化することで、計測された動作情報を自動的に分類・整理することが可能となる。
【特許文献１】特開２００１−１９８１１０
【特許文献２】特開２００４−１８４３５１
【特許文献３】特表２００７−５０８５４１
【非特許文献１】Haradaet.al. 「Development of Wireless Networked Tiny OrientationDevice for Wearable Motion Capture and Measurement of Walking Around, WalkingUp and Down, and Jumping Tasks 」,Proc. Of the 2007IEEE/RSJ Int. Conf. on Intelligent Robots and Systems,2007.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述のとおり、従来のモーションキャプチャ装置には、以下のような欠点を有していた。
見た目の動き情報のみを取得するため、物理的・力学的整合性が考慮されていない。
環境や他者、自己との接触に関する情報は、運動を意味付けする重要な情報であるが、全く、あるいは局所的にしか用いられていない。
運動情報の時系列は、明確な基準で切り分け、分類をすることができないため、計測されたモーションデータの意味付け、解釈のすべてが人手に頼られていた。
本発明は、上記課題の一つないし複数を解決することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明は、環境と接触しながら自動あるいは他動で動作する対象物のモーションキャプチャ装置であって、
対象物に設けられ、対象物が環境と接触した時の触覚情報を取得するための１つ以上の触覚センサと、
対象物に設けられ、対象物の動作情報を取得するためのモーションキャプチャ手段と、
前記触覚情報及び前記動作情報を受信して、これらの情報を対応付けて格納する情報統合装置と、を備えている。
対象物は、自動あるいは他動で運動する物体であれば限定されない。一つの態様では、対象物は、人体等の多関節リンク構造体である。【００１０】
一つの態様では、前記情報統合装置は、前記触覚センサにより取得された触覚情報を用いて幾何拘束条件を取得する。
一つの態様では、前記幾何拘束条件の取得は、前記触覚情報に加えて、対象物の幾何形状情報、動力学情報、環境情報の少なくとも１つを用いる。
幾何拘束計算は、事前知識として与えられる環境モデル、身体幾何モデル、身体動力学モデル等に基づいて適宜設定され得る。
一つの態様では、前記情報統合装置は、前記幾何拘束条件を用いて、前記モーションキャプチャ手段によって取得された動作情報を補正する。幾何拘束と関節姿勢は、情報統合装置によって整合性を評価される。例えば、計算された関節角と幾何拘束情報との間に矛盾が生じた場合には、矛盾度を表す評価関数を最小とするように関節角を微小変位させ、補正する。
動作情報の補正は、非常にたくさんのバリエーションを考えられる。特に従来のモーションキャプチャ手段であると不自然であった動作のキャプチャがうまくできるようになることが期待される。姿勢情報と同時に全身の接触情報を得ることで、推定される姿勢空間にさらなる制約条件を加えることができる。例えば、環境の情報が既知であれば、その時の接触情報から、取りうる姿勢を知ることができる。より具体的な例として、平な床面に寝ている時、背中や腕、脚が床面にめりこむことはないという前提知識から、姿勢空間に制約条件を与えることができる。
幾何拘束条件を用いて動作情報を補正するためには、接触位置情報（例えば、触覚センサの身体表面上の位置）が必要となる。また、環境モデルを補正するような場合には、環境モデルにおける接触位置情報が必要となる。【００１１】
一つの態様では、前記触覚情報には、接触の有無を示す接触情報が含まれる。
一つの態様では、前記情報統合装置は、前記接触情報を用いて、前記対象物の予め選択した１つ以上の部位の接触の有無を判定する。
一つの態様では、前記情報統合装置は、前記１つ以上の部位の接触の有無によって決定される接触状態が変化した時を動作の区切りとして、前記動作情報を複数の動作単位に分割する。例えば、対象物の１つ以上の部位の接触が「有」から「無」、「無」から「有」となったときの両方が切り分けの基準となる。ここでの動作単位には、姿勢も含まれる。
動作の分割、すなわち、運動のセグメンテーションのみであれば、必要な情報は、複数の触覚センサの情報をいくつかにクラスタリングし、ベクトルデータとして接触有り／無しという情報が与えられれば、切り分ける基準とすることができる。触覚情報としては、「接触の有無」情報しか必要とせず、触覚センサのグループ化さえできていれば、表面のモデルも不要である。運動のセグメンテーションのためには、各可動部位（例えば、リンク）に1個以上の触覚センサが実装されて、可動部位1の接触か、可動部位2の接触か、可動部位1、2の両方接触なしか、可動部位1，2の両方が接触しているか等によって動きを切り分けることができる。【００１２】
一つの態様では、前記情報統合装置は、前記触覚情報を用いて、前記動作情報を分類する。
一つの態様では、前記動作情報の分類は、前記１つ以上の部位の接触の有無によって決定される接触状態の遷移の情報に基づいて行なわれる。
例えば、対象物の異なる２つの可動部位Ａ、Ｂにそれぞれ触覚センサが設けてある場合には、接触状態としては、Ａ「有」Ｂ「有」、Ａ「有」Ｂ「無」、Ａ「無」Ｂ「有」、Ａ「無」Ｂ「無」の４パターンとなり、遷移パターンは１２種類となる。このような遷移パターン、すなわち遷移情報に基づいて動作情報を分類することができる。【００１３】
前記触覚情報には、接触の有無を示す接触情報に加えて、あるいは、代えて、圧力情報、せん断情報の少なくとも一方を含んでもよい。圧力情報に基づいて拘束の強さを変えたりすることができる。せん断力に基づいてすべりの有無を知ることで、滑り拘束を設定できる。モーションセンサの場合、並進方向の精度が出しにくいので、このような滑り検知は有用である。【００１４】
一つの態様では、前記モーションキャプチャ手段は、姿勢センサを用いた内界式モーションキャプチャ手段であるが、モーションキャプチャ手段は、対象物や動作の種類によって適宜選択され得る。モーションキャプチャ手段は、光学式、磁気式、機械式、超音波式であってもよい。【００１５】
内界式モーションキャプチャ手段として用いられる姿勢センサには、幾つかの種類が知られている。例えば、MEMSの技術によって小型化したジャイロセンサで各リンクの角速度値を取得しその積分値として姿勢角を得ることができる。さらに、加速度センサ、地磁気センサなどのセンサを組み合わせることで姿勢推定の精度を向上することもできる。
一つの態様では、前記姿勢センサは、加速度センサ、及び、ジャイロあるいは／および地磁気センサ、及び、各センサ情報から６軸情報を取得するマイクロコンピュータと、を含む姿勢センサモジュールである。
一つの態様では、前記姿勢センサモジュールは、３軸の加速度センサと、２軸のジャイロからなるジャイロセンサと、からなり、
前記対象物を構成する各リンクに、２個以上の前記姿勢センサモジュールを設けてなる。【００１６】
光学式モーションキャプチャでは、カメラで囲まれた空間に座標原点を仮定して、そこからの絶対的な位置を測定できるのに対して、姿勢センサによるモーションキャプチャの場合、位置の情報は、積分によってのみ得られる。すなわち、どこからかの変化量であるので相対位置の推定にとどまる。尚、内界式のシステムに加えて、身体と環境との拘束条件を用いることで、内界式のみでは計測できない位置情報を計測することもできる。【００１７】
一つの態様では、前記情報統合装置は、接触位置情報を取得するものである。
一つの態様では、前記接触位置情報は、前記動作情報から取得される前記対象物の姿勢情報と、前記対象物の姿勢に対する前記触覚センサの相対的な位置情報と、から取得される。【００１８】
一つの態様では、前記触覚センサは、複数の触覚センサモジュールから構成されており、各触覚センサモジュールは、複数のセンサエレメントを備えている。
一つの態様では、各触覚センサモジュールにおける各センサエレメントの相対的な位置が既知である
一つの態様では、各触覚センサモジュールに対応して姿勢センサが設けてあり、当該姿勢センサは、対象物の動作に伴う各触覚センサモジュールの装着位置の変化を検出する。一つの態様では、対象物の動作情報を取得する姿勢センサが、各触覚センサモジュールに対応する姿勢センサを兼用する。
複数の触覚センサと姿勢センサをモジュール化して、触覚センサモジュール自体の位置・姿勢を測定する。身体の表面モデルと対応付けることで、動作と接触情報を取得できる。
また、姿勢センサと触覚センサは独立して装着されてもよい。例えば、姿勢センサを全身に実装して、触覚センサは、足裏と手先だけ、あるいは、全身に触覚センサをつけて、姿勢センサは腰だけのような構成も考えられる。【００１９】
後述する実施例では、人の動作、及びその人の周りの環境や状況を同時に計測できるモーションキャプチャシステムの具体的な実現方法として、全身分布触覚センサと姿勢角センサを統合したモーションキャプチャスーツを提案する。全身に触覚センサを分布することで、全身の環境への接触関係を知ることができ、従来の内界式のシステムで用いられている姿勢角センサに触覚センサからの情報を加えることによって、内界式システムの短所である測定精度の問題や、位置変化の測定ができないといった問題を解決し得る。
【発明の効果】
【００２０】
本発明では、接触情報と動作情報とを統合することで、従来のモーションキャプチャ装置では知ることのできなかった様々な情報を得ることができる。
環境は動作に直接影響を及ぼすものであることから、運動情報と接触情報からそのときの環境情報を得ることが可能であり、逆に環境情報が既知の場合は運動情報と接触情報を補正することも可能となる。本発明では、動作情報と接触情報を統合することで、実際には起こりえない出力を排除することで、質の高い接触動作の計測データを出力することができる。【００２１】
運動情報と接触情報との統合により、運動に意味づけを行い、動作情報を動作単位に分割することができる。この動作単位を用いることで動作認識や動作の分類、検索などが可能となる。したがって、対象物の動作計測データの自動分類が可能となる。【００２２】
接触情報と運動情報を同時に計測し、保存することで、力学的・物理的整合性を考慮した自然なモーションの再構成を可能とする。【００２３】
運動情報と接触情報によって得られたいわゆる行動情報をロボットに入力することで、ヒトの支援をするロボットシステムが可能となる。ロボットがヒトのような賢い行動を行う上で触覚情報は重要な情報となるため、ヒトの接触情報と運動情報とを統合して得られた行動情報をロボットに適用することでロボットがより知的な行動を行うことができると考えられる。【００２４】
CGアニメーションの分野においても動作情報と接触情報を統合して得られた動作情報は重要である。環境や他者との物理的インタラクションを伴うような運動は、相互に働く接触情報がその運動の成立に本質的な情報であり、動作情報と接触情報を統合することで、より正しい動作表現が可能となる。また、２つの運動を合成しようとするとき、運動を接触情報によって動作単位に分節化し、触覚のタイミングによって時間方向に正規化することで運動の同期を自動的に行うことができる。このように接触情報を利用することで、アニメーション作成の自動化を進めることができる。
【発明を実施するための最良の形態】
【００２５】
本発明の一つの実施形態は、接触情報を取得するための触覚センサと対象物の運動情報を取得するための姿勢センサと通信機能をモジュール化し、通信機能によって情報統合装置と接続する。情報統合装置は、接触情報から拘束条件を計算し、この拘束条件を用いて、運動情報の補正、身体モデルや環境モデルの補正、動作のセグメンテーション、動作の分類等を行う。また、拘束条件と運動情報を同時にデータベースに蓄積することで、力学的・物理的に矛盾のない動作の復元（アニメーション生成）を可能とする。【００２６】
モーションキャプチャ装置の基本構成は、図１に示すように、対象物が環境と接触したときの触覚情報を取得する触覚センサと、対象物の運動情報を取得するモーションキャプチャ手段としての姿勢センサと、情報統合装置とを含み、触覚センサと情報統合装置、姿勢センサと情報統合装置は、それぞれ通信機能によって接続されている。通信機能は、有線でも無線でもよいが、省配線の理由から、一つの好ましい態様ではシリアル通信を用いる。触覚センサおよび姿勢センサは、対象物に装着される。情報統合装置は、一つの態様では対象物に装着されるが、必ずしも対象物に装着される必要はない。【００２７】
姿勢センサは、対象物の位置・姿勢などの運動情報を計測するセンサである。剛体の位置・姿勢を計測するためには、一つの態様では、姿勢センサは、加速度センサ、ジャイロセンサ、地磁気センサから回転・並進の６軸の情報を取得する必要がある。【００２８】
触覚センサは、物理的インタラクションに伴う接触情報を取得するためのセンサである。本明細書においては、触覚センサは、対象物が環境と接触した時に働く力を何らかの形で取得できるセンサを意味し、力覚センサも含むものとして扱う。
触覚センサを用いて、接触及び接触部位を検知することで、位置に関する拘束条件を得ることが可能となる。曲面に分布した圧力センサを用いることで、転がり拘束を得ることが可能となる。また、せん断力センサを用いることで、すべり拘束を検知することができる。身体の全身の触覚センサを実装する技術に関しては、特開2007-078382「触覚センサ用モジュールおよび触覚センサの実装方法」に開示された技術を用いることができる。
一つの態様では、触覚センサは、柔軟軽量で接触運動の邪魔にならない分布触覚センサであり、例えば、感圧ゴム、感圧繊維等から構成される。
触覚センサの種類の例としては、感圧抵抗、キャパシタ、撮像素子、光拡散方式、インダクタンス、EIT方式、ひずみゲージ、MEMSセンサが挙げられるが、これらに限定されない。光拡散方式は、特開2007-078382に開示されている方式である。EIT方式は、圧力によって抵抗が変化する材質（感圧ゴム、感圧ファブリック）の周辺に電極を実装し、任意の2点の間に電圧をかけたときの、その他の電極の電圧を測定し、逆問題解析を行うことで圧力分布を再構成する方法。伸縮性の高い触覚センサを実現可能であり、人体への実装に適している。【００２９】
＜接触情報と姿勢情報を統合した接触動作の計測・分類・復元＞
一つの態様では、図２に示すように、情報統合装置は、触覚センサにより取得された触覚情報を用いた幾何拘束計算、姿勢センサにより取得された動作情報を用いた関節姿勢計算、これらの計算結果を用いて総合計算（例えば最尤推定）が行われる。【００３０】
（接触情報からの拘束条件の決定）
一つの態様では、接触情報は拘束条件計算に用いられる。幾何拘束とは、足裏が地面に接地している、臀部がイスに接地しているなどの接触位置に関する情報、足裏がすべっている、背中で転がっているなどの接触面の運動情報である。【００３１】
（拘束条件の表現と運動情報の修正）
対象物と環境との接触情報から得られる拘束条件は、対象物に実装された触覚センサの絶対座標系からの位置ｘｉを用いて次のように表現される。
【数１】
2010027015.tif 000003
ｄｘｉは接触点の位置の変化であり、Ｗは重み行列である。重み行列によって、拘束の強さや拘束の方向を表現する。例えば、対象物の表面の法線方向の拘束を強くし、接線方向の拘束を弱くすることで、滑り方向の動きを許容する拘束を表現できる。
一つの態様では、特開平１０−３４０３５４「動作生成装置、動作制御方法、および、これを実行するためのプログラムを記憶した記憶媒体」に記された拘束を満たすように多リンク系の位置・姿勢を補正する方法を用いることで、接触情報と姿勢情報の両方を考慮した運動情報を取得することができる。【００３２】
＜拘束条件の分類・同定＞
触覚センサから得られる接触情報を用いて、接触部位情報や、接触部位の遷移の方向から拘束条件を分類・同定することができる。例えば、身体のどの部位（腕、脚等）が接触しているかによって拘束条件を分類する。また、同じ部位（たとえば背中）がついている条件でも、転がる方向（前方、横方向）などの違い（接触情報と動作情報の両方によってわかる）によって拘束条件を分類することができる。【００３３】
＜拘束条件に基づくモデル修正＞
対象物が運動した時の位置・姿勢情報と、運動中の対象物が環境に接触した時の触覚情報が同時に得られることで、身体モデル、環境モデル、姿勢推定値の補正が可能となる。姿勢情報によって、個体の各部位が環境に対して、どのような位置にあるかを計算できる。このとき、環境モデル、身体モデルによって、起こりうる接触を推定できるが、これが実際と異なる場合には、身体モデル、環境モデル、姿勢推定値のいずれかに誤りがある。身体モデル、環境モデル、姿勢推定値の信頼度を定義し、信頼度で重みづけされたエラーｅと、モデルパラメータｐとの関係を、ｅ＝ｆ（ｐ）とあらわし、ｄｐ＝Ｊ#ｅによって各モデルパラメータの修正を行う。ここでＪ#はヤコビアンの擬似逆行列である。モデルパラメータは、モデルを決定する変数で、多次元ベクトルの形をとる。身体モデルであれば、姿勢が与えられたときに全身の皮膚の形状を決定するために必要となるモデルであり、単純なモデルパラメータとしては、リンクの長さや太さの情報が例示される。環境モデルとは、３次元の幾何モデルであり、環境中の凹凸情報を備えている。空間をボクセルで表現して、その空間を物体が占めるかどうかという情報を格納する。【００３４】
＜運動情報の意味付けとセグメンテーション・分類＞
接触部位の違い、拘束条件の違いによって運動を切り分ける。接触の変化は動作を切り分ける際の明確な基準となる。
切り分けた単位に対して、拘束条件とその遷移に基づいて動作単位を分類する。大枠を接触の変化について分類し、さらに動き情報に基づいて再分化する。このことによって、動きの分類が容易となる。【００３５】
＜接触情報運動情報を統合した動作の表現＞
従来のモーションキャプチャのデータは、スケルトンモデルの関節姿勢の計測にとどまっていたため、動作において本質的な接触情報については、人手による補正に頼るしかなかった。接触情報と姿勢情報を同時に保存しデータベース化することで、動作において不可欠な接触条件を満たすアニメーション生成やロボット制御が可能となる。
これを実現するためには、接触情報を身体のどの部位のどのような拘束かという情報に変換する必要がある。
接触情報が得られる身体部位を同定するための方法として、１．触覚センサをスーツに固定して触覚センサの位置に関するモデルを立てる方法、２．触覚センサとそれに対応する姿勢センサをモジュール化することで触覚センサの位置・姿勢を計測し、身体表面のモデルと対応づける方法がある。【００３６】
＜接触情報と力学的整合性を考慮した運動の再構成＞
得られた動作情報から、個体と環境との接触部位が計測できる。個体の動力学パラメータを有する場合には、環境から受ける外力・モーメントに関する制約に基づいて、物理学的な整合性のとれた動作に変換することができる。例えば、特許第3944566 号「リンク機構において動力学的に関節加速度を求める方法」を用いる。【００３７】
＜動作の切り分け＞
モーションキャプチャから得られる動きの情報を接触情報を用いて、「動作」の最小単位に切り分ける。このような動作単位に対して、動作認識を行ったり、遷移関係をグラフにしたり、動作の分類を行ったりすることができる。最小単位は、通常は、動作情報であるが、最小単位は、１フレームデータ、すなわち姿勢データであってもよい。
身体表面をリンクごとに分ける。リンクｉに対する身体表面に存在する触覚センサがＯＮのとき１、ＯＦＦのときに０とする。すると、全身の触覚センサパーツ数Ｎのベクトルを定義できる。
【数２】
2010027015.tif 000004
触覚情報をこのように表現したとき、各時刻ｔにＴｖｔを得ることができる。
パーツｉの値をＴｖｔ(i)としたときに、
【数３】
2010027015.tif 000005
という条件式によって、接触部位の変化を抽出し動作の切り分けを行う。【００３８】
（分布触覚センサからの接触判定）
１．リンク内の各センサエレメントに対して、閾値を設定し、それを超えた圧力のかかった、エレメントの数を数え、エレメント数に関する閾値を超えたときに、リンクの接触を検知する。
２．リンク内の各センサエレメントの出力の総和をもとめ、ある閾値を超えたときにリンクの接触とする【００３９】
＜ブレンディング＞
複数のモーションデータを混合して、新しいモーションを生成する技術であるブレンディングにおいて、接触情報と動き情報を同時に計測し、蓄積することで、時間の長さや動き方の異なるデータを接触のタイミングで正規化し、混合することができる。たとえば、複数の歩行データを組み合わせるとき、立脚と遊脚の左右や接触の切り替えのタイミングを合わせることができる。このような、処理が、自動的に、データのみから可能となる。【００４０】
＜触覚情報と動作情報の蓄積＞
複数のタイプが考えられる
姿勢情報としては、各センサの生データ；各センサモジュールの位置・姿勢；関節の位置・姿勢；スケルトンモデルの一つあるいは複数が含まれ得る。
触覚情報（位置に関して）としては、触覚センサの生データ（各エレメントには固有のIDが割り振られる）；触覚センサの各エレメントのIDに対して、トポロジが既知（相対的な位置関係）；触覚センサの各エレメントの位置・姿勢が既知；の一つあるいは複数が含まれ得る。
触覚情報の種類としては、接触情報（2値）；圧力情報；圧力＋せん断；6軸情報（力とモーメント）；の一つあるいは複数が含まれ得る。【００４１】
＜接触位置の情報＞
対象物の表面に複数の触覚センサが配置されている場合に、動作中の対象物が環境に接触した時の「接触位置」の情報を得るためには、「どの触覚センサが反応しているか？」、「その触覚センサがどこにあるか？」の情報が必要となる。通常、触覚センサには、各触覚センサを識別するための固有のＩＤを備えており、ＩＤによってどの触覚センサが反応しているかを知ることができる。触覚センサのＩＤが「触覚センサがどの位置にあるか」という情報と統合されないと接触位置は特定されない。触覚センサの位置を特定できる幾つかの場合を以下に例示する。
１．環境や身体の幾何的なモデルを持たない場合：
この場合、各触覚センサのＩＤが、右腕、左腕、あるいは、物体Aなどのシンボルと対応付けられている時には、シンボルによって特定される位置の範囲において接触位置が特定される。この場合、接触位置は、触覚センサの触覚情報のみから取得することができるが、３次元的な位置を有していない。この場合では、接触位置情報は、対象物の動作のセグメンテーションに用いることができる。
２．対象物上で触覚センサの位置・姿勢が分かる場合：
この場合、触覚センサの３次元位置は特定できるが、触覚センサが環境のどこに接触しているかの対応は特定できない。
３．２に追加して環境のモデルがある場合：
例えば、床の位置、物体の位置とその接触部位まですべてわかる場合には、３次元位置でもっとも近い接触を対応付けることができて、接触位置がわかる。
このように、１は触覚センサのみ、２、３は触覚センサとモデル、姿勢センサ（物体、身体など動くため）が必須になる。
姿勢から触覚センサの位置を推定する場合、関節の位置・姿勢がわかると触覚の位置がわかるとする場合、触覚センサの位置はずれない、皮膚は変形しないなどの仮定をおいている。
以下の記載では、皮膚の多少の変形や触覚センサの位置ずれを考慮に入れるために、触覚センサモジュールに対応した姿勢センサを実装することで、触覚センサ自体の位置・姿勢を測定する。【００４２】
＜触覚モジュールの姿勢を測定する姿勢センサ＞
分布触覚センサを対象物に装着する場合において、分布触覚センサの位置・姿勢の推定をする手段がなかった。触覚センサスーツからは圧力分布、力分布が得られるが、その２次元分布から、３次元空間上の圧力分布を再構成するためには、触覚センサモジュール自体の位置・姿勢情報を得る必要がある。
そこで、複数の触覚センサと姿勢センサをモジュール化し、触覚センサモジュールの姿勢を推定し、個体・物体のモデルと統合することで、位置・姿勢の情報を得る。【００４３】
（システム構成）
複数の触覚センサと姿勢センサと通信機能をモジュール化する。姿勢センサモジュールは、必ず３軸の加速度センサを持つ。それに加えて、１軸以上のジャイロまたは、１軸以上の地磁気センサを有する。分布触覚センサと統合するために、ジャイロや地磁気の数を最小限の構成とし小型化・薄型化を実現する。
拘束のない剛体の位置・姿勢を計測するためには、３軸の加速情報と３軸の角速度情報の６軸の情報が必要である。上記構成では、軸が不足しているために、位置・姿勢の推定を行うことができない。
この問題を解決するために、上記姿勢センサモジュールを剛体上に複数分布させる。各姿勢センサモジュールの取り付け姿勢を調整することで、独立の６軸情報を得られるようにする。
分布した姿勢センサの情報を統合することで、剛体の位置・姿勢の変化を計算することができる。さらに、各モジュールの持つ３軸加速度センサの情報を用いることで、各モジュールが剛体内でどのようにとりついているか計算することができる。この情報は触覚センサの姿勢情報を同時に意味する。
上記では、便宜上剛体を仮定したが、変形が小さい場合には、各姿勢センサの位置・姿勢変化として許容できる。【００４４】
（姿勢推定アルゴリズム）
単一リンク内に複数の３軸加速度センサと２軸ジャイロセンサの組が実装された場合の姿勢推定アルゴリズム。
各姿勢センサモジュールはリンク座標に対して回転しているため、それぞれのセンサ値に回転行列をかけることで、カルマンフィルタ・パーティクルフィルタに入力する観測値を得る。カルマンフィルタ・パーティクルフィルタは、関節姿勢を状態として持ち、観測値と整合性の高い姿勢推定値を出力する。出力値とセンサ出力を比較することで、それぞれのモジュールの回転行列を補正する。これによって、姿勢センサモジュールの姿勢とそれに対応する触覚センサの姿勢を同時推定する。
カルマンフィルタ・パーティクルフィルタには、カルマンフィルタ、拡張カルマンフィルタ、アンセンテッドカルマンフィルタ、非線形カルマンフィルタ、パーティクルフィルタが含まれる。【００４５】
（定式）
剛体の姿勢を、リンク座標系から観測される重力ベクトルｇｋ、地磁気ベクトルｈｋで表現し、状態変数とする。状態方程式は、角速度ベクトルωｋとサンプリングタイムＴを用いて、
【数４】
2010027015.tif 000006
と表す。Ｉは単位行列。ｗは誤差ベクトル。τはハイパスフィルタの時定数である。
観測方程式を、各センサモジュールの剛体座標系における姿勢行列Ｒｉ、観測ノイズＲとして、
【数５】
2010027015.tif 000007
として、線形カルマンフィルタによって剛体の姿勢を推定する。剛体の姿勢行列と各センサモジュールの姿勢行列から各センサモジュールの姿勢が推定できる。また、加速度センサの出力から重力成分を差し引き、積分することで位置の変化も計算する。【００４６】
＜分布姿勢センサ＞
物体の位置・姿勢を推定する際に、普通は、６軸情報をすべて取得可能なモジュールを用いるが、３軸加速度センサと、１軸ジャイロ、２軸ジャイロ、３軸地磁気センサから適宜選択したセンサを組み合わせをと同じ通信規格をモジュール化し、計測したい対象のモデルや実装スペースに応じて、組み合わせて用いる。組み合わせの態様としては、３軸加速度＋１軸ジャイロ、３軸加速度＋２軸ジャイロ、３軸加速度＋３軸ジャイロ、３軸加速度＋３軸地磁気が例示される。姿勢センサモジュールの省スペース化を考えると、ジャイロの軸数が少ない方が有利である。このように、複数センサに分離することで、モデルに適したセンサ構成を実現し、実装スペースを有効活用できる。
センサの冗長性を用いることで、姿勢推定や位置推定の精度を向上させることもできる。全身に分布させて身体曲面の位置・姿勢を計測する場合に、必ずしも6軸情報を持っていない姿勢センサモジュールを分布させても、ゆるい拘束条件によって、統合して、位置・姿勢情報を取得できる。
ここで述べた分布姿勢センサは、姿勢を測定するための６軸情報を分割実装し、統合する点に特徴を備えている。
また、この分布姿勢センサは、触覚センサから独立して成立し得る技術思想として捉えることが可能である。【００４７】
＜指用グローブ＞
図８に示すように、手袋内に、姿勢センサモジュールと触覚センサのセットを多数分布させることで、手で動作をする際の接触の利用を計測する。一つの態様では、３軸加速度と３軸地磁気センサと複数の触覚センサを、複数の関節に亘って実装し、これらの情報を通信機能で統合装置に送信する機能をもつグローブである。指の動き・姿勢と接触情報を同時に得ることができる。統合装置は、指間の接触拘束、物体との間の接触拘束を利用して、位置・姿勢の最尤推定を行う。【００４８】
［１］実施例１：姿勢センサに触覚センサを統合
従来の姿勢センサを用いたモーションキャプチャは、リンクモデルに基づいて、リンクの姿勢情報のみから動きの再構成を行っていた。このため、見た目に似ていても全く異なる動作を区別することはできなかった。触覚センサと対象物である個体や物体の表面モデルに基づいた拘束条件の同定を姿勢センサ式モーションキャプチャと統合することで、動作の分類、動作のデータベース化、力学的整合性のとれたモーションの生成、モデルの補正などを行うシステムを構成する。以下に、システム構成について説明する。
身体の各部に姿勢センサを実装し、とりたい動作に応じて触覚センサを姿勢センサとは独立に実装する。各姿勢センサモジュールは、独立に姿勢推定の計算を行う。そのために、各姿勢センサモジュールには、６軸情報を取得するためのセンサと計算のためのコンピュータが実装され、リアルタイムの処理がなされる。このような姿勢センサモジュールを対象物に実装することで、位置・姿勢の推定を行う。
触覚センサについては、各触覚センサエレメントの情報を通信によって統合機に伝達する。統合機では、姿勢センサと触覚センサ情報を用いて、個体や物体の表面モデルの位置・姿勢に変換する。この際、触覚センサから得られる複数種類の拘束条件を分類し、処理を行う。【００４９】
＜システム詳細＞
各姿勢センサモジュールは、３軸の加速度センサ、３軸のジャイロ、３軸の地磁気センサ、計算のためのマイクロコントローラ、シリアル通信機能を有する。各姿勢センサモジュールは、独立に位置・姿勢の変化を計算し、通信を介して統合機に伝達する。【００５０】
＜姿勢推定アルゴリズム＞
（姿勢推定：拡張カルマンフィルタ）
本実施例では、姿勢角推定のために原田ら（非特許文献１）の手法を用いる。非特許文献１では、拡張カルマンフィルタを用いて、加速度情報と角速度情報から姿勢角を推定している。そのアルゴリズムを図５、図６に示す。以下で具体的なアルゴリズムを記述する。【００５１】
（姿勢表現）
姿勢表現には回転行列を用いる方法や、オイラー角を用いる方法、ユニットクォータニオンを用いる方法が一般的に用いられる（Joao Luis Marins, Xiaopoing Yun, Eric R. Bachmann, Robert B.McGhee，and Michael J.Zyda. An extended kalman filter for quaternion-based orientation
estimation using marg sensors. In Proceedings of the 2001 IEEE/RSJ  International Conference on Intelligent Robots and Systems, 2001.）が、ここでは、ユニットクォータニオンによる姿勢表現を行う。ユニットクォータニオンｑは次のように定義される。
【数６】
2010027015.tif 000008
また、次の式を用いて、回転軸と回転量に簡単に直すことができる。
【数７】
2010027015.tif 000009
ユニットクォータニオンは一つの値にたいして一つの姿勢が表現できるので、他の表現で問題になっている特異点が存在せず、連続な姿勢の変化が、ユニットクォータニオンの連続な変化によって記述できるため、扱いやすい。【００５２】
（システムモデル）
姿勢角推定におけるシステム方程式は以下のように記述される。
【数８】
2010027015.tif 000010
(1.1) においてＵ（ｑｋ）は以下の式で表される：
【数９】
2010027015.tif 000011
【００５３】
（観測モデル）
観測値として加速度センサから得られる加速度値、および地磁気センサから得られる地磁気値がある。地磁気値は金属の影響を受けるなどで信頼がおけないことが多いので加速度値のみを観測値として用いたものと、加速度値と地磁気値の両方を観測値として用いたもととの二通りを用いる。加速度値は重力方向を表すリファレンスとして用いるが、センサ自体が動いた場合に観測される加速度値は、重力成分に加速度運動の成分が足された状態で得られる。これではリファレンスとして用いることができない。そこで、加速度値を重力方向のリファレンスとして用いることができる場合（このとき重力方向に信頼がおけると定義する）と、できない場合（このとき重力方向に信頼がおけないと定義する）で観測モデルを切り替える方法を用いる。【００５４】
(1)重力方向に信頼がおける場合
ここではまず加速度値のみを観測値として用いた場合の説明をする。このとき観測方程式は以下のように記述される。
【数１０】
2010027015.tif 000012
1.4 においてＲ（ｑ）は以下の式で表される：
【数１１】
2010027015.tif 000013
地磁気値を観測値として使う場合はｚｋとして次の値を用いる．
【数１２】
2010027015.tif 000014
(2)重力方向に信頼がおけない場合
この場合観測方程式を利用することはできない。姿勢角はシステム方程式1.1 のみを用いて推定する。【００５５】
（拡張カルマンフィルタ）
上述したシステム方程式と観測方程式を用いて拡張カルマンフィルタを構成する。以下にその方法を記述する。
(1)重力方向の信頼度の算出
まず、前節で述べた重力方向の信頼度の算出方法について記述する。
【数１３】
2010027015.tif 000015
あるいは、加速度の絶対値と方向の両方を考慮する以下の式、
2010027015.tif 000016
とする。θは、ｚｋとｗｇとの間の角度である。
式1.6あるいは1.6Aにおいてフラグが１のとき重力方向に信頼がおけると判断する。この場合(3)のステップへ。一方、フラグが０のとき重力方向に信頼がおけないと判断する。この場合(2)のステップへ。【００５６】
(2)観測モデルを利用しない姿勢角推定
重力方向に信頼がおけない場合、重力方向のリファレンスとして加速度値を用いることはできないのでシステム方程式1.1のみを用いて姿勢角推定を行う。
【数１４】
2010027015.tif 000017
誤差共分散行列は一つ前の時刻のものをそのまま用いる。
【数１５】
2010027015.tif 000018
このあと(4)のステップへ。
(3)観測モデルを利用した姿勢角推定
(3.1)推定値の時間更新
【数１６】
2010027015.tif 000019
(3.2)カルマンゲインの更新
【数１７】
2010027015.tif 000020
(3.3)推定値の観測更新
【数１８】
2010027015.tif 000021
このあと(4)のステップへ。ここで、観測値（加速度情報）ｚｋを正規化すると良い結果が得られる。
(4)正規化
クォータニオンをユニットクォータニオンにするために正規化を行う。
【数１９】
2010027015.tif 000022
このあと時刻を1ステップ進めて(1)のステップへ戻り、繰り返す。【００５７】
＜接触拘束の計算＞
触覚センサの出力の総和を計算し、閾値を超えた場合に幾何拘束を計算する（図３参照）。与える前提知識の量に基づいて、計算可能な接触拘束が異なる。身体幾何形状情報を用いることで、身体のどの部位とどの部位が接触し、どの部位は接触していないかという拘束を計算する。動力学情報（身体各部位の質量情報など）を用いることで、バランスをとりえない（物理学的にありえない）というＺＭＰ拘束を計算することができる。環境情報を用いることで、環境と干渉してとりえない、あるいは環境の特定の部位と接触しているといった拘束を計算する。
図３において、環境モデルは、環境の幾何形状の情報、その位置や姿勢に関する情報を意味する。
身体モデルには、以下のようなモデルが含まれる。
スケルトンモデル：関節リンク系を仮定し、リンク長さ、関節の種類（拘束）とその接続関係によって規定される。
身体表面モデル１：各リンクに対して、対応する表面形状（微小変形を仮定）を定義し、リンクに付随して動くものとする。
身体表面モデル２：関節付近の皮膚が伸び縮みすることで、屈曲伸展時の身体表面に生じる隙間を埋めるモデル。
また、動力学モデルは、関節リンク系において、各リンクのもつ質量、慣性モーメント、重心の位置に関する情報である。
また、身体形状モデルとしては、人体の形状を測定する技術やそれをアニメーション化する技術や、物体の3次元スキャンの技術が存在し、これらの技術を用いることができる。【００５８】
＜統合計算＞
統合計算では、幾何拘束を満たすように関節姿勢推定値を微小修正する（図４参照）。幾何拘束と関節姿勢推定値との間の整合性を評価する評価関数を定義し、関節位置姿勢との間のヤコビアンを計算し、修正量を計算する。繰り返し計算を行い、姿勢位置姿勢の推定値とする。
【数２０】
2010027015.tif 000023
後はこれを用いてNewton-Raphson法によって逆運動学計算を行う。【００５９】
＜計測例＞
スポーツ科学やリハビリテーションの分野における動作解析において、身体のどの部分がどういったタイミングで環境や他者と接触しているかを解析することによって、新たな知見を得ることができると考えられる。
計測例を図７に示す。
(1)歩行
歩行時の足裏の接触を用いることで、関節位置の変化を補正し移動量を得ることができる。
(2)着座
環境情報（イスの形状）と比較することで、臀部がイスにめり込んだり、浮いたりしないように関節姿勢を修正することができる。
(3)ヨガ
自己干渉して、腕と腕がめり込むようなありえない関節位置姿勢出力を補正することで、複雑な接触を伴う動作に対しても運動計測できる。
(4)柔道
２人の人間が接触するような運動においても、互いの身体がめり込んだりしないように補正を行い、接触運動を計測できる。同様に、二人の協調動作が重要な社交ダンスにおいても、動作のみならずお互いの接触状況を計測することで、スキル向上の重要な指標を得ることができる。【００６０】
従来のモーションキャプチャ装置は、さまざまな接触を伴う動作を計測することができなかった。従来の姿勢センサのみを個体に装着させる方法は、接触動作時の接触情報を得る手段を持たないため、実際にはありえない動作を出力する。これに対して、本実施例では、姿勢センサと触覚センサをモジュール化し、個体に装着することで、接触動作時の接触した部位とその位置・姿勢を計測することができる。これらの情報を統合し、実際には起こりえない出力を排除することで、質の高い接触動作の計測データを出力することができる。より具体的には、従来計測が困難であった、レスリング・柔道・ダンスなどの接触を多く伴う運動、介護動作・救助動作などを行う人間の動作を計測し、コンピュータに取り込むことができる。得られたデータは、CG・アニメーション、シミュレーション、ロボット運動制御などさまざまなコンテンツに利用可能となる。【００６１】
［２］実施例２：全身分布触覚センサを統合したモーションキャプチャスーツ
モーションキャプチャ技術の重要性は、スポーツ工学やロボット工学、CGアニメーションの分野など多岐に亘り主張されている。モーションキャプチャシステムに関する研究は幅広く行われているが、それらは測定対象の周囲に他者や物体が雑多に存在する環境での自然な動作の測定には不向きである。例えば、光学式システムは精度の高い運動計測ができることで重宝されているが、雑多な環境ではマーカの隠れが生じ、適切に計測ができない。機械式のシステムは全身の動きを阻害するため、自然な動作の計測には向いていない。姿勢角センサを用いたシステムでは、動きの阻害が少なく、より自然な動作を雑多な環境で測定可能である。このシステムは光学式システムに比べ精度の面で劣るが、いくつかのセンサ情報を組み合わせて精度向上を目指す研究が多くなされている。しかし、位置変化の情報を得るためには加速度情報の二回積分を用いる方法に頼る必要があり、一般的にこれは大きな誤差を含む。【００６２】
原田ら（非特許文献１）はこの問題に対して、姿勢角情報とともに足裏触覚センサの情報を利用することで、位置情報の測定が可能であることを示唆している。雑多な環境中での自然な動作は、足裏の接触に限らず、椅子に座る、ベッドに寝ころぶ、他者と接触する、など身体の様々な部位での接触が起こり得る。そこで、全身に分布した触覚センサからの情報を利用することで、原田らの手法をより一般化することができると考えられる。【００６３】
さらに環境の幾何情報が既知である場合、それらの情報を有効に利用することで本来姿勢角センサが不得手であった測定精度の面でも改善の可能性が考えられる。また、多数の他者や物体が存在する雑多な環境中を広く動き回る場合、測定装置やその配線が被験者の身体にすべて取り付けられている必要がある。【００６４】
このような観点から、本実施例では姿勢角センサと全身分布触覚センサを統合したウェアラブルなモーションキャプチャスーツを開発し、これらセンサ情報を統合することで全身の位置と姿勢を推定するアルゴリズムを提案し、その有効性を示す。【００６５】
＜姿勢角情報に触覚情報を統合した位置・姿勢推定アルゴリズム＞
姿勢角センサから得られる姿勢情報はドリフトやノイズの影響によって、一般的に光学式などのシステムよりも精度の面で劣る。また位置の情報を加速度情報の二回積分に頼る必要があるため、精度の高い位置情報を得るのは困難である。位置情報の問題を解決する方法として、原田ら（非特許文献１）は足裏の接触情報から位置変化情報を得ることに成功している。しかし足裏の接触に限定していることと、同時に多リンクが接触することを許していないため、得られる接触情報を完全に利用できてはいない。そこで、本実施例では全身に拡張した触覚センサ情報を用いて、位置変化の情報を得ると同時に、多点接触が検知された際に、その情報を利用してより尤もらしい位置と姿勢を推定するアルゴリズムを提案する。触覚センサから得られる接触情報からリンクの位置や姿勢に関する拘束条件を導き出し、姿勢角センサから得られる姿勢情報と統合する。このモーションキャプチャシステムのコンセプトを図９に示す。システムは、人間モデルと、環境モデルと、対象者が環境に接した時の触覚情報を取得するための全身触覚センサと、対象者の動作情報を取得するためのモーションセンサと、を備える。全身触覚センサ、人間モデル、環境モデルからの情報が全身拘束条件推定モジュールに入力される。モーションセンサからの情報が運動学評価モジュールに入力される。全身拘束条件推定モジュールにより推定された拘束条件を運動学評価モジュールに与えることで、対象者の動作を推定する。さらに、床面が水平であるなどの環境情報を事前知識として与えることで、より精度の高い動作計測が可能になる。【００６６】
（接触拘束算出器）
ここで、接触拘束条件の算出方法について述べる。接触拘束情報は触覚センサエレメント一つ一つの情報を用いることや、それらの情報を圧縮した圧力中心点や近傍との平均を見て拘束点とする方法、接触に平面を仮定し、平面中の３点を拘束条件として扱う方法など様々に考えられる。本研究では得られた触覚情報からこのような接触点を割り出す関数を接触拘束算出器と呼ぶことにする。この算出器から割り出された接触リンクの拘束条件が点拘束の場合、リンクは位置のみの拘束を受け、面拘束の場合位置と姿勢の両方が拘束される。主成分分析などにより、線接触を検出できれば、ある軸周りの回転のみ許すような線拘束を与えることもできる。動作計測時に利用可能な環境情報や測定対象のモデル情報などによって扱うべき算出器が異なり、この算出器を適切に選ぶことにより、より精度の良い位置・姿勢推定ができると考えられる。
本実施例では最も基本的な拘束として、各リンクの触覚データの総和が閾値を越えたらそのリンクの位置を拘束するという方法を用いる。ここでは閾値の決め方が重要となる。本実施例では以下の式によって閾値を決定した。
【数２１】
2010027015.tif 000024
ただしｉはリンクのインデックス、Ｔは触覚データ、ｔは時刻、ｋはリンクｉにおける触覚エレメントの個数を表す。ｍａｘ，ｍｉｎはそれぞれ全時刻内での最大値、最小値を表す。【００６７】
（姿勢拘束と接触拘束条件に基づく位置・姿勢推定）
接触拘束算出器から一点の接触拘束条件のみが得られた場合について記述する。この接触点の絶対座標をｒとすると、ｒを固定してその点から順運動学計算を行うことで全身の位置と姿勢が推定できる。また、接触点が増えた場合は山根らの手法が有効であると考えられる。山根らはヒューマンフィギュアにユーザが多数の目標位置や目標関節角度を与えたとき、それらを尤も矛盾なく満たす位置と姿勢を計算することに成功している（山根克, 中村仁彦. ヒューマンフィギュアの全身運動生成のための協応構造化インタフェース. 日本ロボット学会誌, Vol. 20, No. 3, 2002.）。この手法を応用して、接触拘束算出器から得られる拘束条件に加え、姿勢拘束の与えられていないリンクに関しては姿勢角センサから得られる姿勢情報を拘束条件として与えることで、それらを満たす尤もらしい位置と姿勢を推定できると考えられる。【００６８】
＜システムの要求機能と実現方法＞
（要求機能）
周囲に雑多に他者や物体が存在するような環境で動作計測を行うには、計測範囲が制限されず、オクルージョン問題がないということが要求される。また、動作測定は姿勢だけでなく、位置の変化も重要な情報となるため、それらをともに計測できることが求められる。さらに雑多な環境中を動き回る自然な動作を測定する場合、測定装置や配線が被験者や環境に大きな影響を与えてはいけない。以上の要求を満たすモーションキャプチャシステムを開発するために姿勢角センサと全身分布触覚センサを統合したウェアラブルなモーションキャプチャスーツを開発する。【００６９】
（全身分布触覚皮膚モジュールの構成）
雑多な環境中における日常の自然な動作は、全身での接触を伴うため、全身に起こり得る接触拘束を検出するためには全身に触覚センサを分布させる必要がある。
１つの態様では、特開2007-078382に開示された触覚センサ用モジュールを用いる。触覚センサ用モジュールは、複数の帯状部を有するフレキシブル基板と、フレキシブル基板を構成する複数の帯状部に配置された複数のセンサエレメントと、フレキシブル基板に設けた１つ以上の通信用端子と、フレキシブル基板に設けられ、フレキシブル基板を延出する配線によってセンサエレメント及び通信用端子に電気的に接続されており、各センサエレメントにより取得された情報を受信し、当該情報を通信用端子に送信する通信機能を有する１つ以上の電子回路部と、からなる。複数の帯状部の少なくともいずれか１つは、折り曲げ可能領域、あるいは／および、切断可能領域を有しており、１つあるいは複数の帯状部を折り曲げることで、センサエレメントの位置を調整したり、１つあるいは複数の帯状部を切断することで、センサエレメントの数を減らしたり、帯状部の折り曲げあるいは／および切断によって、センサエレメントの密度調整、あるいは／および、実装領域の調整、を行うことが可能となっている。各触覚センサ用モジュールは、通信用端子を介して互いに接続可能である。１つの態様では、通信用端子はシリアル通信用端子である。１つの態様では、電子回路部と通信用端子間の配線はシリアルバスである。１つの態様では、電子回路部は、プロセッサユニットを備えており、シリアル通信用端子を介して外部装置とシリアル通信可能であり、センサエレメントにより取得された情報を、外部装置へ送信可能なように構成されている。１つの態様では、電子回路部は、アナログ・デジタル変換手段を備えており、センサエレメントにより取得されたアナログ情報をデジタル情報としてプロセッサユニットが取り込む。１つの態様では、センサエレメントは圧力検知器である。
図１２、図１３に示すように、特開2007-078382に開示された触覚センサ用モジュールを身体の各部位の形状に合わせて用意する。用意された各触覚センサ用モジュールはそれぞれ弾性シートに挟み込まれている。図示の態様では、９個のモジュールから背中モジュールが形成され、３つのモジュールから腰モジュールが形成され、３つのモジュールから胸モジュールが形成され、左右の足モジュールは、それぞれ１つのモジュールからなる。複数のモジュールにおいて、各モジュール間に隙間を設けることで身体の形状変化を許容する。また、測定したい部位のみにモジュールを取り付けることで、動きの阻害を少なくすることを可能とした。モジュール化した触覚センサを面ファスナーを用いてベーススーツに着脱可能に装着することで、触覚センサの固定を行う。足裏のように特に大きな荷重がかかる部位に対応するために、感度の異なるウレタンと、センサ保護のためのゴムシートを用いた。さらに足裏部を環境との強い接触から保護し、同時に身体に固定するために上履きの中にこのセンサを入れて使用した。【００７０】
（各センサ内で姿勢角計算が可能な姿勢角センサ）
ウェアラブルなシステムを実現するには、処理系となるＰＣや電源系、配線部をすべて被験者の身体にとりつける必要がある。無線を用いて処理系を外部に置くことも考えられるが、その場合測定範囲が限られてしまう。処理系のＰＣを身体に取り付ける場合、動きの阻害を最小限にするため、小型のＰＣを用いる必要がある。そのため計算能力をＰＣに頼ることができない。一方、姿勢角センサによる姿勢角計算にはリアルタイム性が求められ、さらに人の動作を測定する場合、多数のリンクの姿勢を同時に計算する必要がある。本実施例では、姿勢角計算を各姿勢角センサに搭載するＣＰＵで計算することでこれらの問題を解決する。これにより、姿勢角センサでリアルタイム性を確保し、ＰＣはデータの収集に専念することができる。姿勢角センサの作成にあたり、ジャイロセンサ、加速度センサ、地磁気センサ、CPU、など各部品の選定を行い、回路設計、基板設計を行った。姿勢角センサの構造及びシステムを図１０、図１１に示す。この姿勢角センサは３軸の角速度、加速度値、地磁気値が測定可能で、CPUを搭載することで、センサ内部で姿勢角計算を行う。姿勢角計算には原田ら（非特許文献１）の用いた拡張カルマンフィルタを用いる。【００７１】
（ウェアラブルモーションキャプチャスーツ）
ウェアラブルにするためにセンサ部、電源系、処理系、配線をすべて搭載したスーツを作成する。処理系には小型のPCを用いた。PC と電源系、を全て腰に装着したポーチの中に収納することで、動きの阻害を軽減した。姿勢角センサの通信方式は省配線かつ高信頼度のCANを採用した。以上の方法により、本実施例では図１２乃至１４に示すモーションキャプチャスーツを作製した。全身の１０リンクに姿勢角センサを搭載し、背中、胸、尻、足裏に触覚センサを分布させて配置し、処理PCや電源部を腰の収納部（ポーチ）に収納した。電源部は処理部への電源とセンサ部への電源に分類できる。１つの態様では、処理部の電源にはＰＣ専用のバッテリパックを用い、センサ部への電源供給はＵＳＢのバスパワーを用いる。
図１２、図１４に示すように、触覚センサモジュールは、背部モジュールと、腰部モジュールと、胸部モジュールと、足部モジュールと、からなり、背部モジュール、腰部モジュール、胸部モジュールは、面ファスナーによってベーススーツの表面に着脱可能に装着されている。足部モジュールは、靴の中敷として構成されている。各触覚センサモジュールは、SMBusを介してポーチに収納された処理部(PC)に電気的に接続されている。図示の例では、ベーススーツと、ベーススーツに対して着脱可能に装着される複数の触覚センサモジュールを示したが、触覚センサモジュールをベーススーツに組み込んで一体的に形成してもよい。触覚センサモジュールはベーススーツの表面あるいは内部に設けられる。また、必要に応じて、脚部（大腿部や下肢部等）にも触覚センサモジュールを設けてもよい。
触覚センサモジュールを図１５Ａ〜Ｄに示す。
背中部に作成した触覚センサモジュールを用いて、起き上がり動作を行った。その際の接触点の変化の様子を図１６に示す。一マス一マスが触覚センサエレメントを表し、接触のない状態では白色で示される。接触が強くなるにつれ、黄色から赤色（図では濃度の変化）へと変化する。測定結果として、起きあがり動作時の触覚情報の移り変わりを取得することができた。この方法を用いて全身に触覚センサを分布させることで、全身における接触情報を得ることができることを確かめた。【００７２】
＜開発したシステムの動作実験＞
開発したシステムを用いて、突きとばされる際と起き上がる際の測定実験を行った。前者をpush and bang動作、後者をroll and rise動作と呼ぶことにする。前者の実験は人の自然な振舞を測定することを目的とし、後者の実験は人のダイナミックな運動を位置の変化もふくめて測定することを目的としている。【００７３】
（push and bang動作）
push and bang動作の計測結果を示す。図１８に計測されたデータによって構築された動画のスナップをいくつか示す。図１８の下段において、白い点によって触覚エレメントの一つ一つ表示されている。図１８のフレーム1において、右胸を押されるとそこに対応する触覚エレメントが反応したことを確認した。フレーム3において背中が他者にぶつかった際に背中の触覚エレメントが反応したことを確認した。【００７４】
（roll and rise動作）
roll and rise動作の計測結果を示す。図１９に計測されたデータによって構築された動画のスナップをいくつか示す。中段(A)で動作が正しく計測されていることが確認できる。下段(B)で起き上がる際の背中の接触情報が検知されていることが確認できる。この接触情報から圧力中心点を算出し、その点を接触拘束条件として用いることで位置変化の情報の取得に成功した。その結果を図２０と図２１に示す。図２１は起き上がり開始時のベースリンク位置の鉛直方向成分を表した図であり、鉛直方向にベースリンクの位置が変化していることがわかる。【００７５】
（接触拘束条件を用いた位置情報の獲得）
全身に取り付けた触覚センサから得られる触覚情報から、接触拘束条件を算出し、その接触拘束条件によって拘束点を切り替える。この拘束点の情報とその時の運動情報から行動の再構築を行った。実験の結果を図２２に示す。触覚情報によって拘束点を切り替える。フレーム1、５においては足が、フレーム２、４おいては臀部が、フレーム3においては背中が接触拘束点として算出され、それぞれの間で拘束点が切り替わることによって結果に示すように鉛直方向の位置の変化が検出できた。一方、従来の最下点拘束ではベッドに上がるところで、足が地面に拘束されてしまい、身体がベッドにめり込んでしまった。この実験により、触覚情報から接触拘束条件を割出すことの有用性が示すことができた。【００７６】
本実施例では他者や物体が雑多に存在するような環境で、様々な接触変化を伴う人の自然な動作を計測可能なモーションキャプチャシステムを開発した。測定範囲に制約がなく、オクルージョンの問題のない姿勢角センサを用いたウェアラブルなシステムを採用することで雑多な環境中での計測を可能にした。さらに、このような環境下で頻繁に生じる接触情報を全身に分布させた触覚センサから得ることによって本来姿勢角センサに取得困難な位置の情報を取得することを可能にした。全身の接触情報は、環境の情報と組み合わせることで位置の情報を与える。本実施例では起き上がり動作における接触情報によって鉛直方向の位置変化の情報を得ることができることを示した。この他に、床の幾何情報が既知の場合接触情報と統合することで、姿勢や位置の誤差を軽減できると考えられる。また、椅子への着座のような動作を考えた場合、椅子の環境中での位置情報が既知の場合にも位置情報の補正が行える。このように触覚情報と環境情報をうまく利用することで、従来姿勢角センサのみでは測定不可能であった位置に関する情報を取得することができる。環境の情報を有効に利用することで、雑多な環境下における人の自然な動作をより精度よく測定できるシステムを構築することができる。【００７７】
［３］実施例３：ヒトの接触スキルを測定するためのモーションキャプチャデバイスの開発
少子高齢化社会の到来によって、今後介護者の増大と被介護者の不足が問題となることが懸念され、ロボット技術の貢献が期待される。多くの作業ロボットは、手先の軌道のコントロールや衝突回避を目的とするが、介護動作の場合には、全身の体の形や接触部位を巧みにコントロールすることが要求されるため、全身での接触やその検知が不可欠である。介護においては、そのヒトがどのような姿勢になりたいのか、無理な力がかかっていないか、無理な姿勢ではないかなどの情報が必要であり、これらの情報を視覚、聴覚、全身の触覚・力覚から推定し、巧みに運動生成を行なうスキルが必要となる。このような状況に応じた巧みな接触制御を接触スキルと呼ぶ。【００７８】
ヒトは接触状態を巧みに制御する接触スキルを持っているが、それをロボットに実現することが要望されている。接触スキルの計測のためには、実際に介護動作を行なう人間の接触状態、姿勢情報、視覚情報を計測する必要がある。本実施例では、触覚センサから得られる接触情報とモーションキャプチャシステムから得られる姿勢情報を統合するのに適したモーションキャプチャシステムについて説明する。【００７９】
＜接触スキル計測方法＞
接触スキルは、状況に応じた接触の巧みな使用方法であるため、体のどの部位が接触しているか、それが３次元空間上でどのように遷移するかが重要と考える。これを計測するためには、局所的な力情報や位置情報ではなく、全身の接触情報ならびに接触センサの位置・姿勢情報が不可欠である。全身の接触情報の取得に関しては、特開2007-078382に開示された任意曲面に容易に実装可能な触覚センサを用いることができる。触覚センサシートは、複数のセンサエレメントと通信機能がモジュール化され、複数枚の接続やエレメント切り取りによる実装領域調整、折り曲げによる位置調整機能、曲面適応機能を有し、任意の曲面の形状・曲率にあわせた触覚皮膚を構成することができる(図２３参照)。リンク形状にあわせて触覚皮膚を作成し、締めつけとメカニカルファスナによって固定することで実装する。実際に触覚センサシートを用いてロボット用の着脱可能な触覚皮膚を構成し、全身に1800個以上のアナログの圧力センサを実装した(Y. Ohmura, A.
Nagakubo, and Y. Kuniyoshi, “Conformable and scalable tactile sensor skin for
curved surface”, In Proc. of the IEEE Int. Conf. on Robotics and Automation,
pp.1348.1353, 2006.）。このように、触覚センサを任意の曲面へ実装する方法は確立されつつあるが、人間に実装する場合には、ロボットへの実装と異なる困難がある。【００８０】
＜人への実装時の問題点＞
接触スキル計測のためには、さまざまな人の接触動作を測定する必要があるが、人ごとの異なる体型に適応する必要があるという問題がある。触覚センサシートは、任意の曲面に適した触覚センサ皮膚を構成できるが、伸縮性は高くないため、１つの触覚センサ皮膚ですべての人の体型に適応することはできない。そのため、触覚センサ皮膚をいくつかに分割して伸縮性の高い布などで接続する必要がある。このように触覚センサ皮膚を形成した場合、接触スキル測定時の触覚センサの実装位置を同定することは困難である。【００８１】
触覚センサモジュールとモーションキャプチャデバイスを組み合わせることで、触覚センサ皮膚の姿勢を測定可能とする。触覚センサモジュールとモーションキャプチャデバイスを組み合わせたモジュールを触覚皮膚モジュールと呼ぶ。このモジュールをゴムなどで接続した触覚サポータを構成し、人体に巻き付ける。【００８２】
触覚センサシートとモーションキャプチャデバイスとの間の位置・姿勢が固定され、触覚センサシート内のエレメントの位置関係の変化が無視できるほど小さい場合、触覚センサシート内のセンサエレメント位置は、着用した人の身体曲面とモジュールの実装位置・姿勢によって一意に決まる。身体曲面の形状が既知の場合には、触覚皮膚モジュールの姿勢情報とモジュール間の拘束条件から実装位置の尤度が計算できる。計測前に、サポート内の単一触覚皮膚モジュールの位置・姿勢のキャリブレーションを行なうことで、幾何拘束により触覚センサが身体にどのように実装されているか推定可能である。【００８３】
触覚皮膚モジュールの姿勢と着用した人の関節角・姿勢を同時に計測することで、着用した人の体型が既知の条件では、すべての触覚センサエレメントの位置・姿勢が推定可能である。【００８４】
＜モーションキャプチャデバイスの選定＞
モーションキャプチャに関しては、人間の運動計測ならびにアニメーション、CG応用のために広く研究がなされている。その高い精度から広く用いられている光学式モーションキャプチャシステムは、オクルージョンの影響によってマーカをトラッキングできないため、限られた状況でしかよい結果を得ることができない。接触スキルの計測にはオクルージョンが不可避であるため、光学式モーションキャプチャシステムは相性がよくない。接触スキルの計測において最も重要なのは、計測デバイスが接触運動を妨げないことであるので、機械式システムも適さない。そこで、近年小型化が目覚しいMEMS式の加速度センサおよびジャイロセンサを用いた内界式のセンサを用いる。【００８５】
MEMSを用いた姿勢センサは、加速度センサ、ジャイロセンサ、地磁気センサを統合したものとして幾つかのものが知られている。例えば、
E. Foxlin,M.Harrington，and Y.Alshuler, “Miniture 6-dof inertial system for HMDs”, In SPICE Volume:3362,
Helmet and Head-Mounted Displays III, pp. 214.228,1998.;
J.L.Marins，X.Yun, E.R. Bachmann, R. B. McGhee, and M. J. Zyda,“An extended kalman
filter for quaternion-based orientation estimation using marg sensors”, In Proc.
Of the 2001 IEEE/RSJ Int. Conf. on Interlligent Robots and Systems, pp. 2003.2011,
2001.;
に開示されている。
姿勢を表すクォータニオンの状態方程式を表現し、カルマンフィルタなどの確率フィルタを用いた姿勢推定についても盛んに研究がなされている（R. Zhu, D. Sun, Z. Zhou, and D. Wang, “A linear fusion algorithm for
attitude determination using low cost mems-based sensors”, Measurement, Vol 40,
pp.322.328, 2007.）。
これらの姿勢センサでは、静的な姿勢の推定を重力情報および地磁気情報により行ない、姿勢の動的な回転をジャイロセンサによって推定するもので、光学式に比較すると精度は低い。特にジャイロセンサは、振動子に働くコリオリ力(加速度)を検出するセンサであるため加速度センサに比較して小型化や高性能化が困難である。そのため、実用的な姿勢センサモジュールを構成する場合には、小型化と高性能化のトレードオフが問題となる。また、地磁気センサは磁場の乱れの影響を強く受けるため、正しい姿勢推定を妨げることが多い。【００８６】
接触スキルを計測するための姿勢センサは接触動作の妨げになってはならないことから、特に、小型・軽量で薄型であることが要求される。それには、ジャイロの高性能化と小型化のトレードオフが課題となる。研究レベルでは、2軸ジャイロと1軸ヨー軸ジャイロ、加速度センサ、地磁気センサを1つのシリコンウェハ上に実装した10mm角のものも提案されている（J. J. Allen, R. D. Kinney,
J. Sarsfield, M.R. Daily J.R. Ellis, J.H. Smith, and S.Montague, “Integrated
micro-electro-mechanical sensor development for inertial applications”, In Position
Location and Navigation Symposium 98, pp. 9.16, 1998.）。このような小型のジャイロセンサは、安定した性能を保証することが困難であり、高性能化のためにはある程度大きくならざるを得ない。水晶を用いたジャイロは性能がよく、シリコンでしばしば問題になる温度ドリフトが極めて小さいが、ヨー軸ジャイロのみしか開発されていない。【００８７】
このような背景から、従来の姿勢センサモジュールは、３軸の加速度センサ、３軸の地磁気センサは小型であるが、１軸のジャイロを直交３軸に傾けて使用するためにモジュールが大きく厚い(7mm以上)ため接触動作に適していない。そこで、本実施例では新規に小型で薄いことを重視した姿勢センサモジュールを開発する。小型で性能がよいとはいえないジャイロセンサを用いるため、
それを補うための処理アルゴリズムも新規に開発する。【００８８】
＜姿勢センサモジュールの設計＞
小型と薄さを重視した設計を行なうために、２軸ジャイロ、３軸加速度センサ、通信機能付きマイクロコントローラを最小構成として設計を行なう。地磁気センサは室内、特に介護ベッドの近くでの実験には不向きであるので使用しない。ジャイロセンサは２軸のジャイロを用いることで薄型化を行なう。ジャイロセンサの直交２軸が、モジュール間で独立になるように実装することで、リンクの任意の角速度を測定可能となる。【００８９】
＜姿勢センサモジュールの開発＞
姿勢センサモジュールの概要を図２４に示す。平面２軸ジャイロと３軸加速度センサおよび小型のマイクロコントローラを薄い基板に実装するのを基本とし、オプショナルで裏面にヨー軸ジャイロを実装する。このようにすることで、小型で薄型のセンサモジュールを構成する。省配線のためにセンサデータをデジタル化しシリアルバスを用いて通信する。使用した部品は、2軸ジャイロ(InvenSenseTM IDG- 300[6mmx6mmx1.4mm])、3軸加速度センサ(Bosch BMA140[3mmx3mmx0.9mm])、小型マイコン(Silicon Laboratories C8051F300[3mmx3mmx0.9mm])である。基板形状は15mmx15mmx0.6mmである。最小構成では、15mmx15mmx3mmと非常に小型で薄い。
加速度の検出範囲は、±4Gであり、角速度の検出範囲は±500[deg/sec]である。これらの値は、接触動作においては十分な検出範囲であると考える。【００９０】
＜姿勢計測アルゴリズム＞
１リンクに最低２個の姿勢モジュールを実装することで、リンクの姿勢を推定する。図２５に単一リンクに固定される姿勢センサモジュールの座標系とリンク自体の座標系を示す。【００９１】
姿勢推定は、Zhuらの手法（R. Zhu, D. Sun, Z. Zhou,
and D. Wang, “A linear fusion algorithm for attitude determination using low
cost mems-based sensors”, Measurement, Vol. 40, pp. 322.328, 2007.）を拡張して用いる。Zhuらの手法と本実施例との手法との違いは、観測できる変数が異なる点、ジャイロセンサのドリフトを除去する項を追加した点（ハイパスフィルタ）、観測変数と状態変数との間に姿勢の変換がある点、である。リンク座標で観測される重力ベクトルｇおよび地磁気ベクトルｈを状態変数とし、リンク座標での角速度ベクトルωを用いて状態方程式を次のようする。角速度ベクトルの状態方程式はジャイロのドリフト項を打ち消すためのハイパスフィルタとなっており、重力ベクトルと地磁気ベクトルの回転としてリンクの姿勢をモデル化する。
【数２１】
2010027015.tif 000025
観測方程式は、各姿勢センサモジュールのリンク座標から見た姿勢行列Ｒｉを用いて、
【数２２】
2010027015.tif 000026
とする。地磁気センサとジャイロセンサのヨー軸方向のいくつかは観測できないことに注意する。この方程式を用いてカルマンフィルタにより、重力ベクトルおよび地磁気ベクトルを推定し、姿勢の推定を行なう。このとき、初期状態ｇ0,ｈ0,ω0を与える必要がある。さらに、上記の定式化ではＲｉを与えなければ姿勢の推定を行なうことができない。【００９２】
＜触覚皮膚モジュールの姿勢推定＞
触覚皮膚モジュールのリンク座標からの姿勢Ｒｉに関しては初期値が十分真の値に近ければ補正することができる。Ｒｉは計測中大きく変化しないと仮定すると、回転によって生じる加速度が無視できるときにはｇｉ＝Ｒ-1ｉｇｋが常に成り立つ。ｇが単位ベクトルに十分近いときの幾つかのサンプリングデータからＲｉを推定し、平均化することでＲｉは統計的に真の値に近付く。これは、すなわちリンク座標系からの相対的な触覚皮膚モジュールの姿勢を推定できることを意味する。
３軸の加速度センサと２軸ジャイロという構成のモジュールを複数用いた場合でも、３軸加速度センサと３軸地磁気センサという一般的な構成と同等の姿勢推定が可能である。本手法は、冗長センサを用いることによって、薄型・小型化のために性能の低いセンサを使用しているという欠点を補うことができる。【００９３】
本実施例では、人の接触スキルを計測するためのシステムとして、触覚センサ皮膚モジュールに姿勢センサを統合することで、触覚センサ皮膚の姿勢を推定することを提案した。単一リンクを複数のモジュールで覆うことで、リンクの姿勢を推定することも可能となる。また、リンク姿勢と触覚センサモジュールの姿勢を線形カルマンフィルタにより同時に推定する方法を提案した。
【産業上の利用可能性】
【００９４】
本発明は、動作計測装置、具体的には、モーションキャプチャ装置、コンピュータ・ゲーム入力インタフェース、人間工学における評価装置等に利用することができる。
【図面の簡単な説明】
【００９５】
【図１】本発明の基本構成を示す。
【図２】本発明の一つの態様を示すブロック図である。
【図３】接触拘束計算の一つの態様を示すブロック図である。
【図４】統合計算の一つの態様を示すブロック図である。
【図５】姿勢推定アルゴリズムを示すフロー図である。
【図６】姿勢推定方法を示すブロック図である。
【図７】幾つかの接触を伴う動作を例示する。
【図８】本発明に係るモーションキャプチャ装置を指用グローブとして構成したものを示す。
【図９】触覚情報を統合した位置・姿勢推定システムを示す。
【図１０】姿勢角センサの立体構造を示す。
【図１１】姿勢角センサのシステム図である。
【図１２】触覚センサモジュールの実装方法を示す。
【図１３】左図、右図はそれぞれ触覚センサモジュールの構成を示す。
【図１４】モーションキャプチャスーツのシステム図である。
【図１５Ａ】背中部のセンサＩＤとその配置を示す。
【図１５Ｂ】腰部（臀部）のセンサＩＤとその配置を示す。
【図１５Ｃ】胸部のセンサＩＤとその配置を示す。
【図１５Ｄ】両足裏部のセンサＩＤとその配置を示す。
【図１６】起き上がり動作時の接触点変化の様子を示す。
【図１７】位置・姿勢推定方法を示すブロック図である。
【図１８】push and bang動作の計測結果を示す。上段は計測時の実画像、下段は計測されたデータから構築した画像である。
【図１９】roll and rise動作の計測結果を示す。上段は計測時の実画像、下段Ａ、Ｂは共に、計測されたデータから構築した画像である。下段Ａは正面図、下段Ｂは底面図である。
【図２０】起き上がり時の位置変化の検出を示す。
【図２１】ベースリンク位置の起き上がり時の鉛直方向成分を示す。
【図２２】上図は、実験風景を示す。中央図は、本発明の手法にしたがって接触拘束条件を用いた位置情報の獲得結果を示す。下図は、従来手法（最も低い点が拘束条件）による結果を示す。
【図２３】触覚センサ皮膚の製作法を示す。
【図２４】姿勢センサモジュールの構造を示す。
【図２５】単一リンクに固定される姿勢センサモジュールの座標系とリンク自体の座標系を示す。
【図２６】姿勢推定アルゴリズムの一つの態様を示すブロック図である。
【図１】
2010027015.tif 000027
【図２】
2010027015.tif 000028
【図３】
2010027015.tif 000029
【図４】
2010027015.tif 000030
【図５】
2010027015.tif 000031
【図６】
2010027015.tif 000032
【図９】
2010027015.tif 000033
【図１１】
2010027015.tif 000034
【図１５Ａ】
2010027015.tif 000035
【図１５Ｂ】
2010027015.tif 000036
【図１５Ｃ】
2010027015.tif 000037
【図１５Ｄ】
2010027015.tif 000038
【図１７】
2010027015.tif 000039
【図２１】
2010027015.tif 000040
【図２６】
2010027015.tif 000041
【図７】
2010027015.tif 000042
【図８】
2010027015.tif 000043
【図１０】
2010027015.tif 000044
【図１２】
2010027015.tif 000045
【図１３】
2010027015.tif 000046
【図１４】
2010027015.tif 000047
【図１６】
2010027015.tif 000048
【図１８】
2010027015.tif 000049
【図１９】
2010027015.tif 000050
【図２０】
2010027015.tif 000051
【図２２】
2010027015.tif 000052
【図２３】
2010027015.tif 000053
【図２４】
2010027015.tif 000054
【図２５】
2010027015.tif 000055
【国際調査報告】
2010027015.tif 000056
2010027015.tif 000057
2010027015.tif 000058
2010027015.tif 000059