(57)【要約】      （修正有）【課題】光学式モーションキャプチャとセンサーモジュールによる同時計測を有効に用いることで、より簡易な構成で仮想マーカーを設定し、仮想マーカーの位置情報取得方法を提供する。【解決手段】補正用光学式マーカー１’と、少なくとも３軸ジャイロセンサー２を備えたセンサーモジュールと、を備えた動作計測において、仮想マーカーＭＨが設定される剛体５上にセンサーモジュールを設け、センサーモジュールと仮想マーカーが設定される仮想点の位置関係が記憶されており、仮想点に設定された仮想マーカーの座標値を、位置関係と、センサーモジュールの座標値と、センサーモジュールの姿勢情報と、を用いて取得する。【選択図】図３
2016011951.tif 000002
【特許請求の範囲】
【請求項１】
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
仮想マーカーが設定される剛体上にセンサーモジュールを設け、前記センサーモジュールと前記仮想マーカーが設定される仮想点の位置関係が記憶されており、
前記仮想点に設定された仮想マーカーの座標値を、前記位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて取得する、
仮想マーカーの位置情報の取得方法。
【請求項２】
世界座標系における前記仮想マーカーの座標値を、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュール座標系における仮想点座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得する、
請求項１に記載の仮想マーカーの位置情報の取得方法。
【請求項３】
前記センサーモジュール座標系における仮想点座標値は、仮想マーカー設定時の世界座標系における仮想点座標値と、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得される、
請求項２に記載の仮想マーカーの位置情報の取得方法。
【請求項４】
センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報が得られており、前記変換情報は、前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて取得される、
請求項２、３いずれか１項に記載の仮想マーカーの位置情報の取得方法。
【請求項５】
前記センサーモジュールは３軸加速度センサーを備え、
前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される、
請求項１〜４いずれか１項に記載の仮想マーカーの位置情報の取得方法。
【請求項６】
前記センサーモジュールに対して位置関係が特定された１つあるいは複数の光学式マーカーを前記剛体上に設け、
前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の光学式マーカーの座標値と、前記位置関係と、を用いて取得される、
請求項１〜４いずれか１項に記載の仮想マーカーの位置情報の取得方法。
【請求項７】
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測システムにおいて、
仮想マーカーが設定される剛体上に設けたセンサーモジュールと、
前記センサーモジュールと前記仮想マーカーが設定される仮想点の位置関係を記憶する記憶手段と、
前記仮想点に設定された仮想マーカーの座標値を、前記位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて取得する演算手段と、
を備えた、仮想マーカーの位置情報の取得装置。
【請求項８】
前記演算手段は、世界座標系における前記仮想マーカーの座標値を、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュール座標系における仮想点座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得する、
請求項７に記載の仮想マーカーの位置情報の取得装置。
【請求項９】
前記センサーモジュール座標系における仮想点座標値は、仮想マーカー設定時の世界座標系における仮想点座標値と、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得される、
請求項８に記載の仮想マーカーの位置情報の取得装置。
【請求項１０】
センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報が得られており、前記変換情報は、前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて取得される、
請求項８、９いずれか１項に記載の仮想マーカーの位置情報の取得装置。
【請求項１１】
前記センサーモジュールは３軸加速度センサーを備え、
前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される、
請求項７〜１０いずれか１項に記載の仮想マーカーの位置情報の取得装置。
【請求項１２】
前記センサーモジュールに対して位置関係が特定された１つあるいは複数の光学式マーカーを前記剛体上に設け、
前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の光学式マーカーの座標値と、前記位置関係と、を用いて取得される、
請求項７〜１０いずれか１項に記載の仮想マーカーの位置情報の取得装置。
【請求項１３】
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーと３軸加速度センサーを備えたセンサーモジュールと、
を備えた動作計測において、
仮想マーカーとしての仮想点が設定される剛体上に１つのセンサーモジュールを設け、
世界座標系におけるセンサーモジュールの座標値は、当該センサーモジュールの加速度センサーによって取得された加速度データを用いて計算され、
センサーモジュール座標系における仮想点座標値を、仮想マーカー設定時の世界座標系における仮想点座標値と、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得し、
計測時の世界座標系における前記仮想点座標値を、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュール座標系における仮想点座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得し、
仮想マーカーの設定及び動作計測時の仮想マーカーの位置の追跡を、１つのセンサーモジュールによって実行する、
動作計測方法。
【請求項１４】
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
仮想マーカーとしての仮想点が設定される剛体上に１つのセンサーモジュールを設け、
前記センサーモジュールと同一剛体上に設けられ、前記センサーモジュールに対して位置関係が特定された光学式マーカーを用意し、
世界座標系における前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記光学式マーカーの座標値と、前記位置関係と、を用いて取得され、
センサーモジュール座標系における仮想点座標値を、仮想マーカー設定時の世界座標系における仮想点座標値と、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得し、
計測時の世界座標系における前記仮想点座標値を、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュール座標系における仮想点座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得し、
仮想マーカーの設定及び動作計測時の仮想マーカーの位置の追跡を、１つのセンサーモジュールと１つの光学式マーカーによって実行する、
動作計測方法。
【請求項１５】
前記剛体上には、１つあるいは複数の計測用の光学式マーカーが設けてあり、
前記仮想マーカーは、前記１つあるいは複数の計測用の光学式マーカーの位置を仮想点として設定されており、
仮想点に位置する前記１つあるいは複数の計測用の光学式マーカーが隠れている時に、当該隠れている計測用の光学式マーカーの座標値として前記仮想マーカーの座標値が用いられる、
請求項１〜６いずれか１項に記載の仮想マーカーの位置情報の取得方法。
【請求項１６】
前記剛体上には、１つあるいは複数の計測用の光学式マーカーが設けてあり、
前記仮想マーカーは、前記１つあるいは複数の計測用の光学式マーカーの位置を仮想点として設定されており、
仮想点に位置する前記１つあるいは複数の計測用の光学式マーカーが隠れている時に、当該隠れている計測用の光学式マーカーの座標値として前記仮想マーカーの座標値が用いられる、
請求項７〜１２いずれか１項に記載の仮想マーカーの位置情報の取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想マーカーの位置情報の取得方法及び装置に係り、詳しくは、光学式モーションキャプチャによる動作計測と慣性センサーモジュールによる動作計測とを同時に行うことで、センサーモジュールの位置情報を用いて仮想マーカーを設定し、動作計測時の仮想マーカーの位置情報を取得する技術に関するものである。このような慣性センサーモジュールとしては、９軸センサー、６軸センサーを例示することができる。
【背景技術】
【０００２】
三次元動作分析の計測方式としては、光学式モーションキャプチャ（典型的には、赤外線反射方式が採用される）による動作分析システムが良く知られている。光学式モーションキャプチャでは、複数の光学マーカー（赤外線反射マーカー）を被験者の所定部位に取り付け、複数のカメラで被験者の動作を撮影することで、光学マーカーの移動軌跡から被験者の動作を計測する。光学式モーションキャプチャシステムは、医療、スポーツ、ロボティックス、コンピュータグラフィックス等の分野で広く用いられている。
【０００３】
しかしながら、三次元動作計測はそもそも移動する人や物体等を計測するものであるため、ある時刻においてカメラで撮影できたマーカーが、他のある時刻ｔで隠れてしまい、マーカーの位置情報を取得できない場合がある。カメラの台数を増やすことで、各時刻において各マーカーの位置情報を取得することも検討し得るが、カメラ台数を増やすことはシステム全体のコストアップを招いてしまうという不具合がある。また、マーカーの位置情報を取得できなかった時刻ｔの前後のフレームｔ−１、フレームｔ＋１におけるマーカーの位置情報からフレームｔにおける隠れたマーカーの位置情報を推定して補間することも考えられるが、計算処理が複雑となり、また、複数のフレームに亘って継続して隠れているマーカーの位置情報を補間することは困難である。
【０００４】
このような不具合を解決する手段として、仮想マーカーを用いる場合がある。仮想マーカーは、被験者等に実際に取り付けられたマーカー（実マーカー）ではなく、複数の実マーカーに対する相対的位置によって位置が特定される仮想的なマーカーである。より具体的には、「仮想マーカー」は、３点あるいはそれより多い個数の実マーカーから一定の距離にあり、マーカーが３つの場合には３つのマーカーが作る面の表と裏面のうち一方の点を設定し、実マーカーの座標値と前記設定から座標値が計算され、計算された座標値をマーカーとして扱ったものである。仮想マーカーを用いることで、マーカーが隠れてデータを取得できなくなる現象を回避することができる。また、設置されたカメラからでは見えない場所の座標値の時系列データを取得することも可能となる。仮想点の決定入力を行う。仮想点設定及び仮想点の決定入力の方法については、特許文献１に開示されており、その内容を参照することができる。
【０００５】
ここで、従来、仮想的にマーカーを設定するためには、光学的マーカーが３個必要となっていた（図８参照）。このことは、体節の数が多くなると、マーカーの数が多くなることを意味し、マーカーの取り付けの手間や、マーカーの誤認識が生じ得るため、マーカーの数が少ないことが望ましい。
【０００６】
一方、三次元動作分析において、加速度センサーやジャイロスコープ等の慣性センサーを用いて動作計測を行うことも知られており、近年、６軸センサー（３軸加速度センサー、３軸ジャイロスコープを備えたセンサーモジュール）や９軸センサー（３軸加速度センサー、３軸ジャイロスコープ、３軸地磁気センサーを備えたセンサーモジュール）を用いた動作分析が行われ始めている。
【０００７】
ここで、光学式モーションキャプチャの動作分析と、慣性センサーを用いた動作分析を組み合わせることで、それぞれの長所を活かした相乗的な計測を行うことが期待される。しかしながら、単に被験者に光学式モーションキャプチャ用の光学マーカーと９軸センサー等のセンサーモジュールを取り付けただけでは、得られる計測データが増加するだけであり、両システムの欠点を解決することはできない。光学式モーションキャプチャと慣性センサーによる計測をいかに協働させて、有効な同時計測を行うかが重要である。
【０００８】
光学式モーションキャプチャと慣性センサーによる計測を同時に行うという視点は、特許文献２に記載されているが、その開示内容は、光学式モーションキャプチャ装置と慣性センサーの双方からの情報を同期させる手段を提供するものに留まる。
【特許文献１】特開２０１３−１６４４１３
【特許文献２】特開２０１３−１９２５９１
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、光学式モーションキャプチャとセンサーモジュールによる同時計測を有効に用いることで、より簡易な構成で仮想マーカーを設定し、仮想マーカーの位置情報を取得することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明が採用した第１の技術手段は、
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
仮想マーカーが設定される剛体上にセンサーモジュールを設け、前記センサーモジュールと前記仮想マーカーが設定される仮想点の位置関係が記憶されており、
前記仮想点に設定された仮想マーカーの座標値を、前記位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて取得する、
仮想マーカーの位置情報の取得方法、である。
１つの態様では、世界座標系における前記仮想マーカーの座標値を、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュール座標系における仮想点座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得する。
１つの態様では、前記センサーモジュール座標系における仮想点座標値は、仮想マーカー設定時の世界座標系における仮想点座標値と、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得される。
１つの態様では、前記剛体上には１つあるいは複数の光学式マーカーが設けてあり、前記仮想点は、前記１つあるいは複数の光学式マーカーの位置であり、前記仮想マーカーは、前記１つあるいは複数の光学式マーカーの位置に設定される。
こうすることで、仮想マーカーが設定された光学式マーカー（実マーカー）が空間的あるいは時間的に隠れた場合に、実マーカーの座標値として仮想マーカーの座標値を採用することができる。
【００１１】
１つの態様では、前記センサーモジュールは３軸加速度センサーを備え、
前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される。
１つの態様では、前記センサーモジュールに対して位置関係が特定された１つあるいは複数の光学式マーカーを前記剛体上に設け、
前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の光学式マーカーの座標値と、前記位置関係と、を用いて取得される。
より具体的には、前記センサーモジュールの座標値は、センサーモジュール座標系における当該光学式マーカーの座標値と、前記光学式モーションキャプチャによって取得した世界座標系における前記光学式マーカーの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得される。
１つの態様では、１つの剛体上に、センサーモジュール、複数個の光学式マーカーが設けられ、各光学式マーカーとセンサーモジュールの位置関係が記憶されている。少なくとも１つの見えている光学式マーカーの座標値からセンサーモジュールの座標値を計算することができる。
複数の光学式マーカーを利用して、仮想マーカーの座標値を推定する場合の計算方法については当業者において適宜選択される。例えば、得られた複数個の仮想マーカーの推定座標値の平均を仮想マーカーの座標値とする。あるいは、得られた複数個のセンサーモジュールの座標値の平均をセンサーモジュールの座標値とし、その座標値を用いて仮想マーカーの座標値を推定してもよい。
【００１２】
センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報が得られており、前記変換情報は、前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて取得される。
【００１３】
１つの態様では、仮想マーカー設定時の世界座標系における仮想点座標値は、仮想点を指し示す指示部、当該指示部の座標値を決定可能なマーカーを備えたデバイスを用い、光学式モーションキャプチャによって取得される。
１つの態様では、仮想マーカー設定時の世界座標系における仮想点座標値は、所定部位に装着した実マーカーを用い、光学式モーションキャプチャによって取得された実マーカーの座標値である。
【００１４】
本発明が採用した第２の技術手段は、
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測システムにおいて、
仮想マーカーが設定される剛体上に設けたセンサーモジュールと、
前記センサーモジュールと前記仮想マーカーが設定される仮想点の位置関係を記憶する記憶手段と、
前記仮想点に設定された仮想マーカーの座標値を、前記位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて取得する演算手段と、
を備えた、仮想マーカーの位置情報の取得装置、である。
【００１５】
本発明が採用した第３の技術手段は、
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーと３軸加速度センサーを備えたセンサーモジュールと、
を備えた動作計測において、
仮想マーカーとしての仮想点が設定される剛体上に１つのセンサーモジュールを設け、
世界座標系におけるセンサーモジュールの座標値は、当該センサーモジュールの加速度センサーによって取得された加速度データを用いて計算され、
センサーモジュール座標系における仮想点座標値を、仮想マーカー設定時の世界座標系における仮想点座標値と、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得し、
計測時の世界座標系における前記仮想点座標値を、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュール座標系における仮想点座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得し、
仮想マーカーの設定及び動作計測時の仮想マーカーの位置の追跡を、１つのセンサーモジュールによって実行する、動作計測方法である。
第３の技術手段は、装置の発明（動作計測システム）としても規定することができる。
【００１６】
本発明が採用した第４の技術手段は、
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
仮想マーカーとしての仮想点が設定される剛体上に１つのセンサーモジュールを設け、
前記センサーモジュールと同一剛体上に設けられ、前記センサーモジュールに対して位置関係が特定された光学式マーカーを用意し、
世界座標系における前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記光学式マーカーの座標値と、前記位置関係と、を用いて取得され、
センサーモジュール座標系における仮想点座標値を、仮想マーカー設定時の世界座標系における仮想点座標値と、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得し、
計測時の世界座標系における前記仮想点座標値を、世界座標系における前記センサーモジュールの座標値と、前記センサーモジュール座標系における仮想点座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得し、
仮想マーカーの設定及び動作計測時の仮想マーカーの位置の追跡を、１つのセンサーモジュールと１つの光学式マーカーによって実行する、動作計測方法である。
第４３の技術手段は、装置の発明（動作計測システム）としても規定することができる。
【００１７】
本発明に係る動作計測システムの基本的なハードウェアは、光学式モーションキャプチャを構成するものとして光学式マーカー、複数のカメラ、コンピュータであり、センサーモジュールによる動作計測を構成するものとして、９軸センサー等のセンサーモジュール、コンピュータとなる。動作計測システムに用いられるコンピュータは１台でも複数台でもよい。各フレームで時系列に取得された計測データ（カメラ画像、加速度データ、角速度データ等）はコンピュータの記憶部に記憶され、コンピュータの演算部において計測データを用いて所定の演算が実行され、演算結果は記憶部に記憶される。記憶部にはまた、計測に先立って取得した情報が記憶されている。
光学式マーカーとしては、赤外線反射マーカーや赤外線ＬＥＤを例示することができる。
後述する実施形態では、計算に用いられる各種情報を主として行列で示しているが、行列表現は１つの態様に過ぎないものであり、各種情報を他の表現形式で規定することが可能であることが当業者に理解される。
【発明の効果】
【００１８】
本発明は、仮想マーカーが設定される剛体上に９軸センサーを設け、仮想点決定時の仮想点の位置を９軸センサーを用いて規定することで、３個の光学式マーカーを必要としない仮想マーカーの設定手法を提供する。
従来手法では、仮想マーカーを決定・追跡するためには光学式マーカーが最低３個必要であったのに対して、本発明では、仮想マーカーの設定及び動作計測時の仮想マーカーの位置の追跡を、１つのセンサーモジュール（加速度センサーを備えた）によって、あるいは、１つのセンサーモジュールと１つの光学式マーカーによって実行することができる。
【図面の簡単な説明】
【００１９】
【図１】光学式モーションキャプチャによる動作計測とセンサーモジュールによる動作計測の同時計測を示す概念図である。
【図２】仮想マーカーの設定の第１の実施形態の概念図である。
【図３】仮想マーカーの設定の第２の実施形態の概念図である。
【図４】センサーモジュール上に装着された光学式マーカー（補正用マーカー）を示す。
【図５】同一の剛体リンク上に装着された光学式マーカー（補正用マーカー）とセンサーモジュールを示す。
【図６】９軸センサーのセンサー座標系と世界座標系との一致に用いられる治具を示す。
【図７】体節の座標系とセンサーの座標系を合わせる方法を示す図である。
【図８】仮想マーカーの従来の設定を説明する図である。
【図９】同一の剛体リンク（体節）上に装着されたセンサーモジュールと２つのマーカーを示す。
【図１０】マーカー治具（３つのマーカーとセンサーモジュールを備える）を用いた仮想点の設定・推定について説明する図である。
【発明を実施するための形態】
【００２０】
［Ａ］光学式モーションキャプチャによる動作計測とセンサーモジュールによる動作計測
［Ａ−１］光学式モーションキャプチャシステムによる動作計測
光学式モーションキャプチャシステムは、被験者の複数の所定部位（頭、首、肩、肘、手首等）や道具等に装着した複数の光学式マーカー１（例えば、赤外線反射マーカー）と、光学式マーカー１を装着した被験者の運動を複数角度から同時に撮影する複数台のカメラ３と、各カメラ３で取得したマーカーの画像情報中のマーカーの二次元位置を再構成して当該マーカーの三次元位置を計算し、光学式マーカーの三次元位置と身体の三次元モデルから身体の各部位の三次元位置（被験者の姿勢）を取得する処理部と、計測データや計測データに基づいて計算されたデータを記憶する記憶部と、処理部による処理結果（被験者の姿勢の時系列データとして取得される運動データ）等を表示する表示部と、からなる。
【００２１】
処理部、記憶部、表示部は、コンピュータ（例えば、入力部、出力部、演算部、記憶部、表示部等を備える汎用コンピュータ）４から構成され、具体的には、カメラ３によって取得された画像情報および画像処理部で計算された情報を記憶する記憶部、画像情報や測定結果、分析結果を表示する表示部、画像情報に対して画像処理を施すための画像処理部、光学式マーカー１の三次元位置の時系列データを計算する演算部を備えている。
【００２２】
［Ａ−２］センサーモジュールを用いた動作計測システム
センサーモジュールを用いた動作計測システムは、被験者の所定部位に装着した９軸センサー２と、９軸センサー２からの計測データを受信する受信機（図示せず）と、受信機で得られた各種データに基づく計算を実行するコンピュータ４と、から構成される。９軸センサー２は、３軸加速度センサー、３軸ジャイロスコープ、３軸地磁気センサー、制御部（ＭＣＵ等）、バッテリ、無線通信機能（ブルートゥース等）を備えたセンサーモジュールである。センサーモジュールは、被験者の身体の所定部位（例えば、左上腕、右上腕、左前腕、右前腕、左手首、右手首、体幹等）や道具等に装着される。加速度データ、角速度データは、地磁気データは、各センサーモジュールが持つ通信機能を介してデータ蓄積・計算用コンピュータ４に送信され、計測データを解析し運動を再構成する。
【００２３】
コンピュータ４は、受信機より得たセンサーデータを保存し、被験者の姿勢を再構成して、動作分析を行う。コンピュータ４は、入力部、出力部、演算部、記憶部、表示部等を備える汎用コンピュータから構成することができる。入力部から入力されたセンサーデータ（加速度データ、角速度データ、地磁気データ）は記憶部に記憶され、演算部によって所定の計算が実行されて（例えば、加速度データの積分による位置情報、角速度データの積分による角度情報）、計算結果は記憶部に記憶されると共に、必要に応じて、出力部から出力、あるいは／および表示部で表示される。光学式モーションキャプチャによる計測と９軸センサー２による計測を同期して実行し、同期して計測データを取得することで、各時刻（フレーム）において、光学式マーカー１の位置情報と、９軸センサー２から取得される各データが対応して得られ、記憶部に記憶される。
【００２４】
［Ｂ］９軸センサーを用いた仮想マーカーの設定
［Ｂ−１］概要
光学式モーションキャプチャにおいて、カメラから隠れて見えないような位置に光学式マーカーを取り付ける方法として、実マーカーに代えて仮想的にマーカーを設定するという方法がある。図８に示すように、従来、このような仮想マーカーＭＨを設定するためには、光学的マーカーｍ１、ｍ２、ｍ３が３個以上必要となっていた。このことは、体節の数が多くなると、マーカーの数が多くなることを意味し、マーカーの取り付けの手間や、マーカーの誤認識が生じ得るため、マーカーの数が少ないことが望ましい。
【００２５】
本実施形態では、仮想マーカーが設定される剛体上に１つの９軸センサー２を設け、同一剛体上で、ある姿勢にある９軸センサー９から一定距離にある位置に仮想点を決定し、当該仮想点に仮想マーカーを設定することで、３個の光学式マーカーを必要としない仮想マーカーの設定手法を提供する。
【００２６】
図２に示す態様では、仮想マーカーＭＨを設定する剛体（体節等）５と同じ剛体５上に１つの９軸センサー２を設け、仮想マーカーが設定される剛体上の仮想点（図示の態様では、ポインタＰの先端座標）と９軸センサー２との位置関係を用いて、仮想マーカーＭＨを設定すると共に、動作計測時には、前記位置関係を用いて、仮想マーカーＭＨの位置を追跡する。すなわち、仮想マーカーの設定及び動作計測時の仮想マーカーの位置の追跡を、１つの９軸センサーによって実行する。
【００２７】
図３に示す態様では、仮想マーカーＭＨを設定する剛体（体節等）５と同じ剛体５上に９軸センサー２及び９軸センサー２上に装着した補正用マーカー１´を設け、仮想マーカーが設定される剛体上の仮想点（図示の態様では、ポインタＰの先端座標）と９軸センサー２との位置関係を用いて、仮想マーカーＭＨを設定すると共に、動作計測時には、前記位置関係を用いて、仮想マーカーＭＨの位置を追跡する。すなわち、仮想マーカーの設定及び動作計測時の仮想マーカーの位置の追跡を、１つの９軸センサーと１つの光学式マーカー（補正用マーカー１´）によって実行する。
【００２８】
［Ｂ−２］９軸センサーの位置情報の取得
９軸センサーの位置情報に基づく仮想マーカーの設定には、９軸センサーの位置情報が必要となる。９軸センサーの位置情報の取得には、幾つかの手法を例示することができる。第１に、９軸センサーの加速度センサーによって計測される加速度データを積分することで当該９軸センサーの位置情報を取得することができる。第２に、図４、図５に示すように、９軸センサー２と同一剛体５上に設けられ、９軸センサー２に対して位置関係が特定された補正用マーカー１´を用意し、９軸センサー２の座標値を、光学式モーションキャプチャによって取得した補正用マーカー１´の座標値と、前記位置関係と、を用いて取得する。この第２の手法は、第１の手法に比べて高い精度で９軸センサー２の位置を推定することが期待される。補正用マーカーを用いた９軸センサーの位置の取得手法については、後に詳述する。
【００２９】
［Ｂ−３］仮想点の決定・入力
仮想マーカーＭＨが設定される仮想点を剛体５上の所望部位に決定し、仮想マーカー設定時に決定された仮想点の座標値をコンピュータ４に入力し、記憶部に記憶する。三次元動作計測システムにおいて仮想マーカーＭＨを設定する際は、ポインタＰと呼ばれるデバイスで仮想点を設定することが行われる。１つの態様では、ポインタＰは３つの光学式マーカーＰ１、Ｐ２、Ｐ３を備えており、３つのマーカーＰ１、Ｐ２、Ｐ３の位置によって先端の位置が特定できるようになっている。被験者自身、あるいは、他の者（医師等）がポインタＰの先端で仮想マーカーとして使用する仮想点を指し示した状態で、複数のカメラによって撮影され、画像データがコンピュータに送信される。コンピュータでは、入力された画像データに基づいてポインタ上の３つのマーカーの座標を計算することでポインタ先端の座標を仮想点座標として取得し、コンピュータ４に入力する。仮想点設定及び仮想点の決定入力の方法については、特許文献１に開示されており、必要に応じて、その内容を参照することができる。仮想点座標の入力手段は、ポインタに限定されるものではない。例えば、最初に実マーカーを取り付けた状態で、１ショットのデータ取得を行い、その時の実マーカーの座標値をポインタで決定された座標値の代わりとして用い、その後に実マーカーを外してもよい。
【００３０】
［Ｂ−４］９軸センサーを用いた仮想マーカーの設定
仮想マーカー決定時（ｎ＝ｒ）の世界座標系における仮想マーカーの座標値（ポインタの先端の座標など）を
2016011951.tif 000003
とする。
仮想マーカー決定時（ｎ＝ｒ）の仮想点の世界座標系における座標値（仮想点座標値）
2016011951.tif 000004
は、仮想点を指し示す指示部、当該指示部の座標値を決定可能なマーカーを備えたデバイスを用い、光学式モーションキャプチャによって取得される。
あるいは、仮想マーカー決定時（ｎ＝ｒ）の仮想点の世界座標系における座標値
2016011951.tif 000005
は、所定部位に仮に装着した実マーカーを用い、光学式モーションキャプチャによって取得された実マーカーの座標値を用いてもよい。
【００３１】
仮想マーカー決定時（ｎ＝ｒ）の世界座標系における９軸センサーの座標値を
2016011951.tif 000006
とする。９軸センサーの座標値の決定手法については、［Ｂ−２］の手法を採用することができる。図２に示す態様では、９軸センサー２の加速度センサーにより計測された加速度データに基づいて位置情報が取得される。図３に示す態様では、補正用マーカー１´の座標値に基づいて９軸センサー２の位置情報が取得される。
【００３２】
仮想マーカー決定時（ｎ＝ｒ）の９軸センサーの変換行列を
2016011951.tif 000007
とする。較正時に、９軸センサーのセンサー座標系を世界座標系に一致させた時の９軸センサーの姿勢情報が得られており、前記姿勢情報と、仮想マーカー決定時（ｎ＝ｒ）の９軸センサーのジャイロセンサーによって取得された回転行列と、を用いて世界座標系からセンサー座標系への変換行列が取得される。
【００３３】
仮想マーカーを９軸センサーのセンサー座標系に置いて、センサー位置を原点とした時の仮想的に設定したマーカーの座標値、すなわち、センサー座標系における仮想点の座標値を
2016011951.tif 000008
とすると、センサー座標系における仮想点座標値
2016011951.tif 000009
は次のようにして求めることができる。
2016011951.tif 000010
【００３４】
センサー座標系における仮想点座標値を用いて、第ｎフレームの仮想マーカーの世界座標系における座標値は、次のように求めることができる。
動作計測時の第ｎフレームの世界座標系における９軸センサーの座標値を
2016011951.tif 000011
とし、
第ｎフレームの世界座標系から９軸センサーのセンサー座標系への変換行列を
2016011951.tif 000012
とすると、
第ｎフレームの仮想マーカーの世界座標系における座標値
2016011951.tif 000013
は、
2016011951.tif 000014
から取得される。
９軸センサーの座標値の決定手法については、［Ｂ−２］の手法を採用することができる。
図２に示す態様では、９軸センサー２の加速度センサーにより計測された加速度データに基づいて位置情報が取得される。第ｎフレームにおける世界座標系における前記センサーモジュールの座標値(xs，ys，,zs)は、第ｎフレームにおける９軸センサーの加速度センサーの計測値から計算される。
図３に示す態様では、補正用マーカー１´の座標値に基づいて９軸センサー２の位置情報が取得される。第ｎフレームにおける世界座標系における前記センサーモジュールの座標値(xs，ys，,zs)は、第ｎフレームにおける前記補正用マーカーの世界座標系における座標値を前記光学式モーションキャプチャによって取得し、第ｎフレームにおける世界座標系からセンサーモジュール座標系への変換行列、補正用マーカー１´と９軸センサー２の位置関係を用いて計算される（［Ｃ］参照）。
第ｎフレームの世界座標系から９軸センサーのセンサー座標系への変換行列MW→Sは、較正時に９軸センサーのセンサー座標系を世界座標系に一致させた時の９軸センサーの姿勢情報と、第ｎフレームの９軸センサーのジャイロセンサーによって取得された回転行列と、を用いて計算される（［Ｄ］参照）。
【００３５】
［Ｃ］光学式モーションキャプチャを用いた９軸センサーの位置情報の取得
［Ｃ−１］概要
９軸センサーはその加速度センサーにより計測された加速度データを用いて位置情報を取得することができるが、位置情報を取得するためには加速度データを２回積分した値を足し合わせていく必要があるため、誤差が累積されてしまい、位置の精度が光学式モーションキャプチャに比べて劣る傾向にある。そこで、光学式モーションキャプチャを利用して、隠れ光学式マーカー１の位置情報取得に用いられる９軸センサー２の位置精度を向上させ、得られた９軸センサー２の位置情報を用いて仮想マーカーを設定する。図４、図５に示すように、補正用の光学式マーカー１´を用意し、補正用マーカー１´と同一剛体（体節等）５上に９軸センサー２を設け、９軸センサー２に対する補正用マーカー１´の位置関係を記憶しておき、その位置関係を用いて、補正用マーカー１´の位置情報（光学式モーションキャプチャで取得する）から９軸センサー２の位置情報を取得する。図４に示す態様では、補正用マーカー１´は、所定の剛体（体節等）に設けた９軸センサー２上に装着されており、９軸センサー２を所定の剛体に取り付けることで、９軸センサー２と補正用マーカー１´は同一の剛体に設けられる。図５に示す態様では、補正用マーカー１´と９軸センサー２は、同一の剛体（体節等）５上に離間して装着されている。位置関係が一意に決定されていれば、補正用マーカー１´と９軸センサー２は、接触していても、離間していてもよい。
【００３６】
［Ｃ−２］センサーの位置とマーカーの位置関係の決定
補正用マーカー１´を９軸センサー２と同一剛体（体節等）５に固定した状態で、９軸センサー２を回転させて９軸センサー２のジャイロセンサーを用いて回転行列を取得する。この回転情報を用いて、計測前に９軸センサー２の位置と補正用マーカー１の位置関係を決定し、記憶部に記憶しておく。以下に計算方法を示す。
【００３７】
第nフレームでの、９軸センサーの世界座標系における座標値を
2016011951.tif 000015
とする（この値は未知数である。）。ここでは、より精度の高い９軸センサーの位置情報を取得することを目的とし、９軸センサーの位置情報の取得に、当該９軸センサーの加速度センサーから得られる加速度データを用いない。
【００３８】
第nフレームでの、絶対座標系から９軸センサー座標系への変換行列を
2016011951.tif 000016
とする。この変換行列は、センサー座標系を世界座標系に一致させた時（較正時）の９軸センサーの姿勢情報を記憶しておき、この姿勢情報と、９軸センサーのジャイロセンサーによって時刻ｔｎで取得された回転行列と、を用いて計算することができる。
【００３９】
第nフレームでの、補正用マーカーの世界座標における座標値を
2016011951.tif 000017
とする。補正用マーカーの世界座標系における座標値は、光学式モーションキャプチャのカメラ画像から取得することができる。
【００４０】
世界座標系と９軸センサーの座標系を一致させ、９軸センサーの位置を原点に位置させた際の補正用マーカーの座標値を
2016011951.tif 000018
とする。この値はセンサー座標系における補正用マーカーの位置と同義であり、この値も未知数である。
【００４１】
このとき次の関係が成り立っている。
2016011951.tif 000019
となる。この時、右辺は補正用マーカーが原点に来るように移動したときの９軸センサーの位置になる。
【００４２】
第iフレーム、第jフレーム、第kフレームにおいて、原点から補正用マーカーまでの距離は一定であることから次の関係が成り立つ。
2016011951.tif 000020
この連立方程式を解くことで、センサー座標系における補正用マーカーの座標値
2016011951.tif 000021
を求めることができる。
【００４３】
要約すると、センサーモジュール（９軸センサー）座標系における補正用マーカーの座標値は、
前記センサーモジュール（９軸センサー）の３つ以上の異なる姿勢において、各姿勢における変換情報（変換行列）を、前記センサーモジュール（９軸センサー）のジャイロセンサーによって取得された回転情報（回転行列）を用いて取得し、
各姿勢において、前記センサーモジュール（９軸センサー）から前記補正用マーカーへの距離が同一であることを利用して取得する。
計算は、コンピュータ４の演算部によって実行され、計算結果は、コンピュータ４の記憶部に記憶される。
【００４４】
［Ｃ−３］補正用マーカー位置を用いた９軸センサーの位置の取得
計測中に９軸センサー２の位置精度向上用に取り付けた補正用マーカー１´がカメラで撮影される時に、次のような計算を行って、９軸センサー２の座標値を計算する。計測中の補正用マーカー１´の位置から９軸センサー２の座標値を計算するときの計算式は次のようになる。
【００４５】
求める９軸センサーの絶対座標系での位置を
2016011951.tif 000022
とする。
【００４６】
センサー座標系における補正用マーカーの位置を
2016011951.tif 000023
とする。この位置情報は、［Ｃ−２］で取得されている。
【００４７】
補正用マーカーの絶対座標系での位置を
2016011951.tif 000024
とする。補正用マーカーの三次元座標値は、光学式モーションキャプチャによって取得される。
【００４８】
絶対座標系から９軸センサーのセンサー座標系への変換行列を
2016011951.tif 000025
とすると
2016011951.tif 000026
より
2016011951.tif 000027
となる。
計算は、コンピュータ４の演算部によって実行され、計算結果は、コンピュータ４の記憶部に記憶される。
【００４９】
［Ｄ］絶対座標系から９軸センサー座標系への変換行列をＭｗ→ｓの決定
［Ｄ−１］概要
９軸センサーの座標系と世界座標系（三次元動作分析の座標系）は一致していないため、計測前に座標系を一致させるための較正作業が必要となる。計測前に図６に示すような治具６を使って、各９軸センサーの座標系と世界座標系（カメラ座標系）との間の関係を計算するための変換行列を作成する。治具６は、平面視長方形状を有し、上面６０には、縦横方向に間隔を存して方形状の凹部６１が形成されており、各凹部６１に９軸センサー２を嵌め込むようになっている。この治具６には直角三角形の頂点を形成するように３つの光学式マーカー１Ａ、１Ｂ、１Ｃが３つ設けてある。３つのマーカー１Ａ、１Ｂ、１Ｃの作る直角三角形の直角の点につけられたマーカー１Ａと長辺側につけられたマーカー１Ｂの方向を一つ目の軸とし、直角の点につけられたマーカー１Ａと短辺側につけられたマーカー１Ｃの方向をもう一つの軸とする。この軸をそれぞれ、前後軸・左右軸とすると、９軸センサー２の前後軸・左右軸をこの治具６の前後軸・左右軸と一致するように置く。前後軸と左右軸が決まっているため、上下軸は計算により求めることができる。
【００５０】
［Ｄ−２］
あるタイミングで、光学式モーションンキャプチャによる動作計測と、９軸センサー２による動作計測を同時に行う。３つのマーカー１Ａ、１Ｂ、１Ｃの座標値をそれぞれ
2016011951.tif 000028
とし、
2016011951.tif 000029
とするとき、
2016011951.tif 000030
が３つのマーカー１Ａ、１Ｂ、１Ｃの回転行列となる。この時に９軸センサー２から得られる回転行列をＲsとする（Ｒsはセンサー内で直接計算されて出力される）。
【００５１】
上記の作業によって、９軸センサー２の座標系からマーカー１Ａ、１Ｂ、１Ｃの座標系に変換する行列
2016011951.tif 000031
は
2016011951.tif 000032
となる。ここで、rは図５の治具を用いて行列を作成するために用いるデータを取得する参照となるフレームを意味する添え字である。
上記の行列とフレーム番号nで取得されたセンサーの回転行列を
2016011951.tif 000033
としたとき、
フレーム番号ｎにおける９軸センサーのセンサー座標系から世界座標系に変換する行列
2016011951.tif 000034
は
2016011951.tif 000035
となり、世界座標系から９軸センサーのセンサー座標系への変換行列は
2016011951.tif 000036
となる。
【００５２】
このように、計測前の較正において、センサーモジュール（９軸センサー）座標系を世界座標系に一致させた時のセンサーモジュール（９軸センサー）の姿勢情報を求めておき、前記姿勢情報と、前記センサーモジュール（９軸センサー）のジャイロセンサーによって取得された回転情報（回転行列）と、を用いて、センサーモジュール（９軸センサー）座標系と世界座標系間の変換情報（変換行列）が取得される。
【００５３】
９軸センサー座標系を世界座標系に一致させるための９軸センサーの軸の較正手法は、上記の治具６を用いる手法には限定されず、当業者において他の手法が適宜採用し得るものである。例えば、世界座標系の左右と前後に線を引いておき、図６の治具からマーカーを外したうえで、治具の長辺と世界座標系の前後軸、治具の短辺と世界座標系の左右軸を合わせたうえで、センサーのオフセット取得機能を使用して、センサーの座標系をマーカーの座標系を一致させることも可能である。
【００５４】
［Ｅ］体節の座標系とセンサーの座標系を合わせる方法
光学式モーションキャプチャとセンサーモジュールによる同時計測の他の態様について説明する。生体に９軸センサーを取り付ける場合には、９軸センサーのセンサー座標系と体節の座標系が異なってしまい、誤差の原因となる。図７に示すように、同じ剛体（体節）５上に３つの赤外線反射マーカー１と、１つの９軸センサー２を取り付け、それぞれの姿勢行列を計算しておくことによって、互いの座標系への変換ができるようにしておく。この変換によって、体節の座標系と一致するように９軸センサーを付けられないことによる誤差を小さくすることができる。なお、すべてのマーカーが見えていてもこの計算は可能であるが、９軸センサーの座標系とマーカーの座標系を合わせる必要はないため、この方法が使われる場面としては、マーカーが見えなくなってしまった場合や、仮想マーカーを利用した場合を例示することができる。以下に具体的な計算方法を述べる。
【００５５】
参照となるフレームにおけるｒにおいて、３つのマーカーの座標値をそれぞれ
2016011951.tif 000037
とし、
2016011951.tif 000038
とするとき、
2016011951.tif 000039
が３つのマーカーの回転行列となり、これが体節の座標系を表現する行列となる。
【００５６】
第ｎフレームにおいて、仮想マーカーを使用するなどしているために、マーカーの座標値が得られない場合に
2016011951.tif 000040
を、
2016011951.tif 000041
から計算することで、体節の座標系を求める。
ここで、
2016011951.tif 000042
は、第ｎフレームにおける世界座標系からセンサー座標系への変換行列であり、
2016011951.tif 000043
は、参照フレームｒにおける世界座標系からセンサー座標系への変換行列、である。
【００５７】
［Ｅ］９軸センサーを用いたカメラの計測精度向上
仮想マーカーは、１つあるいは複数の実マーカーの位置を仮想点として設定してもよい。具体的には、剛体上に、１つあるいは複数の計測用の光学式マーカー（光学式モーションキャプチャによって座標が取得される）を設け、仮想マーカーを、前記１つあるいは複数の計測用の光学式マーカーの位置を仮想点として設定し、仮想点に位置する前記１つあるいは複数の計測用の光学式マーカーが隠れている時に、当該隠れている計測用の光学式マーカーの座標値として前記仮想マーカーの座標値が用いられる。
【００５８】
光学式マーカーがカメラから隠れて見えない場合に、９軸センサーから得られる情報を用いて隠れた光学式マーカーの位置を推定することができる。より具体的には、光学式モーションキャプチャによる計測と９軸センサー２による計測を同期して実行し、同期して計測データを取得することで、各時刻（各フレーム）において、光学式マーカー１の位置情報と、９軸センサー２から取得される各データが対応して得られる。例えば、ある時刻において、光学式マーカーがカメラから隠れてしまった場合には、隠れた光学式マーカー（仮想マーカー）の座標を、その時刻において９軸センサーから取得された情報を用いて推定することができる。
【００５９】
上記推定方法では、カメラの計測周波数と９軸センサーの計測周波数は同一もしくは同程度であることを前提としていた。ここで、９軸センサーの計測周波数のほうが高い場合には、ある時刻において、９軸センサーで計測され、カメラでは計測されない点については隠れマーカーとして扱うことができる。この時に、カメラから空間的に隠れマーカーの座標値推定と同一の計算を行うことで、光学式マーカーが計測されていない点で、データ取得ができるようになり、光学式マーカーの位置をより正確に補間することができる。既述の「９軸センサーを利用した隠れマーカーの推定」が空間的に隠れている状態であるとすると、計測周波数の異なるデバイスを用いた補間は時間的な隠れマーカーの推定と考えることができる。センサーの計測周波数には、実際には、加速度センサーの計測周波数、３軸ジャイロセンサーの計測周波数があり、これらの両方がカメラの計測周波数よりも高い。１つの態様では、加速度センサーの計測周波数、３軸ジャイロセンサーの計測周波数は同程度であるが、かならずしも同じでなくてもよい。
【００６０】
すなわち、
９軸センサーのジャイロセンサーの単位時間当たりの計測回数及び加速度センサーの単位時間当たりの計測回数は、前記光学モーションキャプチャのカメラの単位時間当たりのデータ取得回数（フレームレート）よりも多く、
前記時間的に隠れた光学式マーカーの座標値を、前記センサーモジュールに対する前記光学式マーカーの位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する。
ここで、センサーモジュールの座標値は、加速度センサーによって取得され、センサーモジュールの姿勢情報は、ジャイロセンサーによって取得される。
【００６１】
このように、９軸センサーの計測データを用いて、光学式マーカーの補間を行うことによって、低速（低価格）のカメラでも、高速のカメラを使用して計測することと同様の効果が得られ高精度の計測を行うことができ、もって、低コストで高精度の計測が可能となる。なお、本実施形態では、実際のカメラ計測周波数は通常100Hz（50Hz、25Hzの設定も可能）のカメラを使用しており、９軸センサーの計測周波数はこれよりも高いものとする。
【００６２】
［Ｆ］計測用のマーカーを用いた隠れマーカー推定
光学式モーションキャプチャを利用して、隠れマーカーを推定するためには、常に３個以上の光学式マーカーが映っている必要がある。一つの体節に常に３個のマーカーが映るようにマーカーを貼り付けるとなると、カメラからの死角を少なくするためにカメラの台数を増やしたり、マーカー数を増やしたりすることで、３個以上のマーカーが常に映るようにしている。しかしながら、多数のマーカーを貼り付けて、多数のカメラを利用することはコストがかかる。
【００６３】
これを防ぐための方法として、ポインタや３点のマーカーを付けた治具（３点マーカー）を用いるものが知られている。仮想的にマーカーを設定することで、マーカーが隠れることを抑えることができるが、３点マーカー自体が隠れてしまった場合には仮想的なマーカーの計算もできない。
【００６４】
本明細書において、センサーマーカー（赤外線反射マーカー）の位置情報を用いて９軸センサーの位置を取得することについて述べたが、長時間、当該マーカーが消えて隠れているような場合には、当該マーカーの位置を精度良く求めることはできず、精度の高い９軸センサーの位置情報の取得ができない。
【００６５】
このような問題を解決するための方法として、同じ体節上に９軸センサーと、複数の光学式マーカーを設定する。複数の光学式マーカーは、センサーマーカーにもなり得るし、推定対象のマーカーにもなり得る。例えば、図６に示すように、同一体節上に、９軸センサーと、マーカーＡ、マーカーＢを取り付ける。９軸センサーとマーカーＡの位置関係、９軸センサーとマーカーＢの位置関係を記憶しておく。マーカーＡの位置情報が取得できれば、マーカーＡと９軸センサーの位置関係、９軸センサーの姿勢情報から９軸センサーの位置情報を取得することができ、また、取得した９軸センサーの位置情報、マーカーＢと９軸センサーの位置関係、９軸センサーの姿勢情報からマーカーＢの位置を推定することができる。すなわち、マーカーＢが隠れてしまったような場面では、マーカーＡをセンサーマーカーとして、マーカーＢの位置の推定に利用することができ、また、マーカーＡが隠れてしまったような場面では、マーカーＢをセンサーマーカーとして、マーカーＡの位置の推定に利用することができる。ここで、例えば、マーカーＡあるいは／およびマーカーＢの位置を仮想点として仮想マーカーを設定してもよい。
【００６６】
こうすることで、同一体節上の任意の１つのマーカーの位置は、他の１つのマーカーの位置から推定可能であり、すなわち、同一体節上の１個のマーカーが見えていれば（そのマーカーの位置が取得できれば）、他の同一体節上のマーカー位置の推定が可能となる。これにより、カメラの死角に対するロバストネスを大幅に向上させることができ、もって、カメラの台数を減らすこと、計測に必要なマーカー個数を減らすことを可能とし、動作分析にかかる人的・金銭的コストの低減を図ることができる。
【００６７】
図９では、同一体節上に２個のマーカーを設けることを例示したが、３個以上のマーカー（９軸センサーとの位置関係が記憶されている）を設けてもよい。この場合、１つあるいは複数個のセンサーマーカーの位置情報に基づいて、他の１つあるいは複数個のマーカーの位置を推定することになる。例えば、複数のセンサーマーカーを利用して、隠れた光学式マーカーを推定する場合に、得られた複数個の隠れたマーカーの推定位置の平均を隠れたマーカーの推定位置としてもよい。
【００６８】
より具体的な態様について説明する。大腿部上に装着する光学式マーカーとして、大腿部外側上顆、大転子に光学式マーカーを取り付けて計測を行う場合があり、歩行計測では、大転子上の光学式マーカーが腕振り動作によって隠れてしまうことがしばしば生じる。そこで、大腿部（剛体）上に９軸センサー、大腿部外側上顆マーカー、大転子マーカー、を取り付け、９軸センサーと大腿部外側上顆マーカーの位置関係、９軸センサーと大転子マーカーの位置関係を記憶しておく。大腿部外側上顆マーカーを、９軸センサーの位置情報を取得するセンサーマーカーとして選択し、大転子マーカーを、その位置情報が推定される推定マーカーとして選択することで、大転子マーカーが隠れた際に、大転子マーカーの座標値を、大転子マーカーと９軸センサーの位置関係、大腿部外側上顆マーカーの座標値、９軸センサーと大腿部外側上顆マーカーの位置関係に基づいて取得された９軸センサーの座標値、９軸センサーの姿勢情報と、を用いて推定することができる。
【００６９】
他の具体的な態様について説明する。前腕部（剛体）上に９軸センサー、尺骨突起マーカー、橈骨突起マーカー、を取り付け、９軸センサーと尺骨突起マーカーの位置関係、９軸センサーと橈骨突起マーカーの位置関係を記憶しておく。ある場面では、尺骨突起マーカーがセンサーマーカー、橈骨突起マーカーが推定マーカーとなり、また、ある場面では、尺骨突起マーカーが推定マーカー、橈骨突起マーカーがセンサーマーカーとなる。回内動作をすると、橈骨突起マーカーが隠れるが、橈骨突起マーカーの座標値を、橈骨突起マーカーと９軸センサーの位置関係、尺骨突起マーカーの座標値、９軸センサーと尺骨突起マーカーの位置関係に基づいて取得された９軸センサーの座標値、９軸センサーの姿勢情報と、を用いて推定することができる。逆に回外動作の際は、尺骨突起のマーカーが隠れるが、尺骨突起のマーカーの座標値を、尺骨突起のマーカーと９軸センサーの位置関係、橈骨突起マーカーの座標値、９軸センサーと橈骨突起マーカーの位置関係に基づいて取得された９軸センサーの座標値、９軸センサーの姿勢情報と、を用いて推定することができる。
【００７０】
このように、人間の体の部位で、ほとんどの動作において、体節の表面すべてが隠れることはないので、体節上に複数のマーカーを設け、体節上の見えているマーカーをセンサーマーカーとして、見えなくなったマーカーの位置を推定することは有効である。また、上記態様では、９軸センサー＋２つのマーカーについて説明したが、３つ以上のマーカーを用いてもよい。例えば、骨盤において、左右上前腸骨棘、大転子の4点をそれぞれ、隠れマーカーの推定対象およびセンサーマーカーとしてもよい。
【００７１】
さらに他の具体的な態様として、仮想マーカーの設定および位置の推定について説明する。仮想点の設定時及び計測時に、３つの光学式マーカーを備えたマーカー治具上に９軸センサーを取り付ける。各光学式マーカーと９軸センサーとの位置関係を記憶しておく。センサーマーカーとして、マーカー治具上の３つのマーカーを利用する。こうすることで、マーカー治具上の少なくとも１個のマーカーが見えていれば、９軸センサーとの位置関係、９軸センサーの姿勢情報から、マーカー治具上の他のマーカー位置を推定することができ、設定した仮想点を決定することが可能となる。仮想点の設定時においても、体節上のマーカーが１つ見えていれば、他の体節マーカーを推定することができ、仮想点を設定することができる。
【００７２】
図１０を参照しつつ説明すると、仮想マーカー1の設定・推定の際に、従来は３つの体節マーカー１〜３が見えている必要があった。しかしながら、３つのマーカーのうち１つが見ていれば、他の２つの体節マーカーの推定ができる。例えば、体節マーカー１のみが見えていれば、体節マーカー２、３が隠れていても、体節マーカー２、３の位置を推定することができる。したがって、３つの体節マーカーの位置が計算できるので、仮想マーカー1を計算するためには、体節マーカー１〜３のうち１つが見えていればよいこととなる。同様に、仮想点決定時も３つの体節マーカー１〜３のうち１つが見えていればよい。
【符号の説明】
【００７３】
１  光学式マーカー
１´  補正用の光学式マーカー
２  ９軸センサー
３  カメラ
４  コンピュータ
５  剛体
ＭＨ  仮想マーカー
Ｐ  ポインタ
【図１】
2016011951.tif 000044
【図６】
2016011951.tif 000045
【図８】
2016011951.tif 000046
【図２】
2016011951.tif 000047
【図３】
2016011951.tif 000048
【図４】
2016011951.tif 000049
【図５】
2016011951.tif 000050
【図７】
2016011951.tif 000051
【図９】
2016011951.tif 000052
【図１０】
2016011951.tif 000053