(57)【特許請求の範囲】
【請求項１】
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
光学式マーカーと同一剛体上にセンサーモジュールを設け、前記センサーモジュールに対する前記光学式マーカーの位置関係が記憶されており、
隠れた光学式マーカーの座標値を、前記位置関係と、センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定するものであり、
前記位置関係を規定するセンサーモジュール座標系における前記光学式マーカーの座標値を、
前記センサーモジュールの３つ以上の異なる姿勢において、各姿勢におけるセンサーモジュール座標系から世界座標系への各変換情報を、前記センサーモジュールのジャイロセンサーによって取得された各姿勢における各回転情報を用いて取得し、
各姿勢において、前記センサーモジュールから前記光学式マーカーへの距離が同一であることを利用し、前記取得した各変換情報を用いてセンサーモジュール座標系における前記光学式マーカーの座標値を算出することで取得する、
光学式マーカーの位置の推定方法。
【請求項２】
前記センサーモジュールは、３軸加速度センサーを備え、
前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される、
請求項１に記載の光学式マーカーの位置の推定方法。
【請求項３】
前記センサーモジュールと同一剛体上に設けられ、前記センサーモジュールに対して位置関係が特定された１つあるいは複数の補正用光学式マーカーを用意し、
前記位置関係には、前記センサーモジュールに対する前記補正用光学式マーカーの位置関係が含まれており、
前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の補正用光学式マーカーの座標値と、前記位置関係と、を用いて取得される、
請求項１に記載の光学式マーカーの位置の推定方法。
【請求項４】
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測システムにおいて、
光学式マーカーと同一剛体上に設けたセンサーモジュールと、
前記センサーモジュールに対する前記光学式マーカーの位置関係を取得する手段と、
前記位置関係を記憶する記憶手段と、
隠れた光学式マーカーの座標値を、前記位置関係と、センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する演算手段と、
を備え、
前記位置関係を取得する手段は、
前記センサーモジュールの３つ以上の異なる姿勢において、各姿勢におけるセンサーモジュール座標系から世界座標系への各変換情報を、前記センサーモジュールのジャイロセンサーによって取得された各姿勢における各回転情報を用いて取得する手段と、
各姿勢において、前記センサーモジュールから前記光学式マーカーへの距離が同一であることを利用し、前記取得した各変換情報を用いてセンサーモジュール座標系における前記光学式マーカーの座標値を算出する手段と、
からなる、
光学式マーカーの位置の推定装置。
【請求項５】
前記センサーモジュールは、３軸加速度センサーを備え、
前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される、
請求項４に記載の光学式マーカーの位置の推定装置。
【請求項６】
前記センサーモジュールと同一剛体上に設けられ、当該センサーモジュールに対して位置関係が特定された１つあるいは複数の補正用光学式マーカーを備え、
前記位置関係には、前記センサーモジュールに対する前記補正用光学式マーカーの位置関係が含まれており、
前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の補正用光学式マーカーの座標値と、前記位置関係と、を用いて取得される、
請求項４に記載の光学式マーカーの位置の推定装置。
【請求項７】
前記隠れた光学式マーカーは、ある時点において撮影されない時間的に隠れた光学式マーカーであり、
前記ジャイロセンサーの単位時間当たりの計測回数及び前記加速度センサーの単位時間当たりの計測回数は、前記光学モーションキャプチャのカメラの単位時間当たりのデータ取得回数よりも多く、
前記時間的に隠れた光学式マーカーの座標値を、前記位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する、
請求項２に記載の光学式マーカーの位置の推定方法。
【請求項８】
前記隠れた光学式マーカーは、ある時点において撮影されない時間的に隠れた光学式マーカーであり、
前記ジャイロセンサーの単位時間当たりの計測回数及び前記加速度センサーの単位時間当たりの計測回数は、前記光学モーションキャプチャのカメラの単位時間当たりのデータ取得回数よりも多く、
前記演算手段は、前記時間的に隠れた光学式マーカーの座標値を、前記位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する、
請求項５に記載の光学式マーカーの位置の推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置に係り、詳しくは、光学式モーションキャプチャによる動作計測と慣性センサーモジュールによる動作計測とを同時に行うことで、光学式マーカーの位置を推定する技術に関するものである。このような慣性センサーモジュールとしては、９軸センサー、６軸センサーを例示することができる。
【背景技術】
【０００２】
三次元動作分析の計測方式としては、光学式モーションキャプチャ（典型的には、赤外線反射方式が採用される）による動作分析システムが良く知られている。光学式モーションキャプチャでは、複数の光学マーカー（赤外線反射マーカー）を被験者の所定部位に取り付け、複数のカメラで被験者の動作を撮影することで、光学マーカーの移動軌跡から被験者の動作を計測する。光学式モーションキャプチャシステムは、医療、スポーツ、ロボティックス、コンピュータグラフィックス等の分野で広く用いられている。
【０００３】
一方、加速度センサーやジャイロスコープ等の慣性センサーを用いて動作計測を行うことも知られており、近年、６軸センサー（３軸加速度センサー、３軸ジャイロスコープを備えたセンサーモジュール）や９軸センサー（３軸加速度センサー、３軸ジャイロスコープ、３軸地磁気センサーを備えたセンサーモジュール）を用いた動作分析が行われ始めている。
【０００４】
９軸センサー等のセンサーモジュールを用いて位置を推定する場合には、初期位置に対して、センサーモジュールの加速度センサーによって取得された加速度を２回積分した値を足し合わせていく必要があるため、誤差が累積されてしまい、位置の精度が光学式モーションキャプチャに比べて劣る傾向にある。
【０００５】
一方、光学式モーションキャプチャによる動作分析は、位置の計測精度は９軸センサー等よりも良いという特徴があるが、光学マーカーがカメラから見えている必要があるため、カメラの設置態様や光学式マーカーの取り付け位置・動作によって、カメラから光学式マーカーが隠れてしまうことがある。光学式マーカーが短時間だけ隠れているだけであれば、補間で補うことが可能であるが、長時間隠れて見えていないと正しいデータを取得することが困難である。光学式マーカーを常にカメラで撮影できるようにカメラの台数を増やすことも考えられるが、動作計測システム全体のコストが上昇してしまうというデメリットがある。
【０００６】
ここで、光学式モーションキャプチャの動作分析と、慣性センサーモジュールを用いた動作分析を組み合わせることで、それぞれの長所を活かした相乗的な計測を行うことが期待される。しかしながら、単に被験者に光学式モーションキャプチャ用の光学マーカーと９軸センサー等のセンサーモジュールを取り付けただけでは、得られる計測データが増加するだけであり、両システムの欠点を解決することはできない。光学式モーションキャプチャと慣性センサーによる計測をいかに協働させて、有効な同時計測を行うかが重要である。
【０００７】
光学式モーションキャプチャと慣性センサーによる計測を同時に行うという視点は、特許文献１に記載されているが、その開示内容は、光学式モーションキャプチャ装置と慣性センサーの双方からの情報を同期させる手段を提供するものに留まる。
【特許文献１】特開２０１３−１９２５９１
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、慣性センサーモジュールによる動作計測と光学式モーションキャプチャによる動作計測の同時計測を行うことで、光学式マーカーがカメラから隠れた場合であっても、当該光学式マーカーの位置を推定できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明が採用した第１の技術手段は、
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測において、
光学式マーカーと同一剛体上にセンサーモジュールを設け、前記センサーモジュールに対する前記光学式マーカーの位置関係が記憶されており、
隠れた光学式マーカーの座標値を、前記位置関係と、センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する、
光学式マーカーの位置の推定方法、である。
１つの態様では、世界座標系における隠れた光学式マーカーの座標値を、前記位置関係と、世界座標系におけるセンサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて推定する、
光学式マーカーの位置の推定方法、である。
【００１０】
１つの態様では、センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報が得られており、前記変換情報は、前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて取得される。
【００１１】
１つの態様では、前記センサーモジュールは、３軸加速度センサーを備え、
世界座標系における前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される。
【００１２】
１つの態様では、前記センサーモジュールと同一剛体上に設けられ、前記センサーモジュールに対して位置関係が特定された１つあるいは複数の補正用マーカーを用意し、
世界座標系における前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の補正用マーカーの座標値と、前記位置関係と、を用いて取得される。
より具体的には、世界座標系における前記センサーモジュールの座標値は、センサーモジュール座標系における当該補正用マーカーの座標値と、前記光学式モーションキャプチャによって取得した世界座標系における前記補正用マーカーの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得される。
１つの態様では、１つの剛体上に、センサーモジュール、複数個の光学式マーカーが設けられ、各光学式マーカーとセンサーモジュールの位置関係が記憶されている。複数個の光学式マーカーは、いずれか１つが隠れた光学式マーカーとなり、他の１つ以上の見えている光学式マーカーが補正用マーカー(センサーマーカー)となる。
複数の補正用マーカーを利用して、隠れた光学式マーカーを推定する場合の計算方法については当業者において適宜選択される。例えば、得られた複数個の隠れたマーカーの推定位置の平均を隠れたマーカーの推定位置とする。あるいは、得られた複数個のセンサーモジュールの座標値の平均をセンサーモジュールの座標値とし、その座標値を用いて隠れたマーカーの位置を推定してもよい。
【００１３】
本発明が採用した第２の技術手段は、
光学式モーションキャプチャと、
少なくとも３軸ジャイロセンサーを備えたセンサーモジュールと、
を備えた動作計測システムにおいて、
光学式マーカーと同一剛体上に設けたセンサーモジュールと、
前記センサーモジュールに対する前記光学式マーカーの位置関係を記憶する記憶手段と、
隠れた光学式マーカーの座標値を、前記位置関係と、センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する演算手段と、
を備えた、光学式マーカーの位置の推定装置、である。
１つの態様では、前記演算手段は、世界座標系における隠れた光学式マーカーの座標値を、前記位置関係と、世界座標系におけるセンサーモジュールの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて推定するものである。
【００１４】
１つの態様では、センサーモジュール座標系を世界座標系に一致させた時のセンサーモジュールの姿勢情報を記憶する記憶手段と、
前記姿勢情報と、前記センサーモジュールのジャイロセンサーによって取得された回転情報と、を用いて前記変換情報を計算する手段と、
を備えている。
【００１５】
１つの態様では、前記センサーモジュールは、３軸加速度センサーを備え、
世界座標系における前記センサーモジュールの座標値は、前記センサーモジュールの加速度センサーの計測値から計算される。
【００１６】
１つの態様では、前記センサーモジュールと同一剛体上に設けられ、当該センサーモジュールに対して位置関係が特定された１つあるいは複数の補正用マーカーを備え、
世界座標系における前記センサーモジュールの座標値は、前記光学式モーションキャプチャによって取得した前記１つあるいは複数の補正用マーカーの座標値と、前記位置関係と、を用いて取得される。
より具体的には、世界座標系における前記センサーモジュールの座標値は、センサーモジュール座標系における当該補正用マーカーの座標値と、前記光学式モーションキャプチャによって取得した世界座標系における前記補正用マーカーの座標値と、前記センサーモジュールのジャイロセンサーによって取得された回転情報を用いて計算されるセンサーモジュール座標系と世界座標系間の変換情報と、を用いて取得される。
【００１７】
本発明に係る動作計測システムの基本的なハードウェアは、光学式モーションキャプチャを構成するものとして光学式マーカー、複数のカメラ、コンピュータであり、センサーモジュールによる動作計測を構成するものとして、９軸センサー等のセンサーモジュール、コンピュータとなる。動作計測システムに用いられるコンピュータは１台でも複数台でもよい。各フレームで時系列に取得された計測データ（カメラ画像、加速度データ、角速度データ等）はコンピュータの記憶部に記憶され、コンピュータの演算部において計測データを用いて所定の演算が実行され、演算結果は記憶部に記憶される。記憶部にはまた、計測に先立って取得した情報が記憶されている。
後述する実施形態では、計算に用いられる各種情報を主として行列で示しているが、行列表現は１つの態様に過ぎないものであり、各種情報を他の表現形式で規定することが可能であることが当業者に理解される。
【発明の効果】
【００１８】
本発明では、光学式モーションキャプチャによる動作計測と、慣性センサーモジュールによる動作計測を同時に行い、カメラ画像を用いずに取得できるセンサーモジュールの位置情報に基づいて光学式マーカーの位置を推定するようにしたので、光学式マーカーが隠れた場合にも（長時間隠れていた場合であっても）、当該光学式マーカーの位置データを推定して取得することができ、この推定値を用いることで、隠れている光学式マーカーの時系列座標を取得して、当該光学式マーカーの移動軌跡を追跡することができ、計測の精度を高めることができる。
【図面の簡単な説明】
【００１９】
【図１】光学式モーションキャプチャによる動作計測とセンサーモジュールによる動作計測の同時計測を示す概念図である。
【図２】光学式マーカー位置推定を説明する概念図である。
【図３】センサーモジュール上に装着された補正用マーカーを示す。
【図４】同一の剛体リンク上に装着された補正用マーカーとセンサーモジュールを示す。
【図５】９軸センサーのセンサー座標系と世界座標系との一致に用いられる治具を示す。
【図６】同一の剛体リンク（体節）上に装着されたセンサーモジュールと２つのマーカーを示す。
【図７】マーカー治具（３つのマーカーとセンサーモジュールを備える）を用いた仮想点の設定・推定について説明する図である。
【発明を実施するための形態】
【００２０】
［Ａ］光学式モーションキャプチャによる動作計測とセンサーモジュールによる動作計測
［Ａ−１］光学式モーションキャプチャシステムによる動作計測
光学式モーションキャプチャシステムは、被験者の複数の所定部位（頭、首、肩、肘、手首等）や道具等に装着した複数の光学式マーカー１（例えば、赤外線反射マーカー）と、光学式マーカー１を装着した被験者の運動を複数角度から同時に撮影する複数台のカメラ３と、各カメラ３で取得したマーカーの画像情報中のマーカーの二次元位置を再構成して当該マーカーの三次元位置を計算し、光学式マーカーの三次元位置と身体の三次元モデルから身体の各部位の三次元位置（被験者の姿勢）を取得する処理部と、計測データや計測データに基づいて計算されたデータを記憶する記憶部と、処理部による処理結果（被験者の姿勢の時系列データとして取得される運動データ）等を表示する表示部と、からなる。
【００２１】
処理部、記憶部、表示部は、コンピュータ（例えば、入力部、出力部、演算部、記憶部、表示部等を備える汎用コンピュータ）４から構成され、具体的には、カメラ３によって取得された画像情報および画像処理部で計算された情報を記憶する記憶部、画像情報や測定結果、分析結果を表示する表示部、画像情報に対して画像処理を施すための画像処理部、光学式マーカー１の三次元位置の時系列データを計算する演算部を備えている。
【００２２】
［Ａ−２］センサーモジュールを用いた動作計測システム
センサーモジュールを用いた動作計測システムは、被験者の所定部位に装着した９軸センサー２と、９軸センサー２からの計測データを受信する受信機（図示せず）と、受信機で得られた各種データに基づく計算を実行するコンピュータ４と、から構成される。９軸センサー２は、３軸加速度センサー、３軸ジャイロスコープ、３軸地磁気センサー、制御部（ＭＣＵ等）、バッテリ、無線通信機能（ブルートゥース等）を備えたセンサーモジュールである。センサーモジュールは、被験者の身体の所定部位（例えば、左上腕、右上腕、左前腕、右前腕、左手首、右手首、体幹等）や道具等に装着される。加速度データ、角速度データは、地磁気データは、各センサーモジュールが持つ通信機能を介してデータ蓄積・計算用コンピュータ４に送信され、計測データを解析し運動を再構成する。
【００２３】
コンピュータ４は、受信機より得たセンサーデータを保存し、被験者の姿勢を再構成して、動作分析を行う。コンピュータ４は、入力部、出力部、演算部、記憶部、表示部等を備える汎用コンピュータから構成することができる。入力部から入力されたセンサーデータ（加速度データ、角速度データ、地磁気データ）は記憶部に記憶され、演算部によって所定の計算が実行されて（例えば、加速度データの積分による位置情報、角速度データの積分による角度情報）、計算結果は記憶部に記憶されると共に、必要に応じて、出力部から出力、あるいは／および表示部で表示される。光学式モーションキャプチャによる計測と９軸センサー２による計測を同期して実行し、同期して計測データを取得することで、各時刻（フレーム）において、光学式マーカー１の位置情報と、９軸センサー２から取得される各データが対応して得られ、記憶部に記憶される。
【００２４】
［Ｂ］光学式モーションキャプチャにおける光学式マーカーの位置の推定
［Ｂ−１］概要
光学式モーションキャプチャでは、被験者に装着した光学式マーカーの画像を複数台のカメラで撮影し、光学式マーカーの三次元位置を再構成することで、被験者の動作データを取得する。したがって、被験者の姿勢等によって光学式マーカーがカメラから隠れてしまうと、動作データの取得に支障を来すことになる。この問題を解決するために、図２に示すように、同一剛体（剛体には、体節等の剛体、被験者が用いる道具等が含まれる）５上に９軸センサー２と光学式マーカー１を取り付け、位置関係を記憶部に記録しておく。光学式マーカー１が隠れて見えなくなった時に、９軸センサー２の位置情報と、９軸センサー２の姿勢を表す行列（回転行列）と、光学式マーカー１と９軸センサー２の位置関係を表す行列と、を用いて、隠れている光学式マーカー１の位置を推定する。
【００２５】
［Ｂ−２］隠れた光学式マーカーの位置の推定
隠れた光学式マーカーの位置の推定の１つの実施例について説明する。以下の手法は、本発明の１つの実施例に過ぎないものであり、本発明の内容を限定するものではない。また、以下に幾つかの計算式を示すが、単なる式の形式が異なるのみであり、当業者において等価であると認識できる式を用いる手法は、以下に述べる手法の範疇に属するものである。
【００２６】
光学式モーションキャプチャによる動作計測によって、光学式マーカーのフレーム毎の時系列位置データが取得される。光学式モーションキャプチャによる動作計測と同時に９軸センサーによる動作計測を行うことで、フレーム毎に加速度データが得られ、加速度データを積分することで、フレーム毎の時系列位置データが取得される。このようにして、各フレームにおいて、光学式マーカーの位置情報、９軸センサーの位置情報が対応して取得され、記憶される。
【００２７】
光学式マーカーが隠れる直前の９軸センサーの世界座標系（カメラ座標系）における座標値を
0006288858.tif 000002
とする。時刻ｔで光学式モーションキャプチャのカメラから光学式マーカーが消えたとすると、時刻ｔ−１における９軸センサーの世界座標系における座標値に着目する。９軸センサーの世界座標系における座標値は、上述のように、９軸センサーの加速度センサーから取得した加速度データを積分することで取得することができる。また、後述するように、補正マーカーを用いて９軸センサーの世界座標系における座標値を取得することができる。
【００２８】
光学式マーカーが隠れる直前の当該光学式マーカーの世界座標（カメラ座標系）における座標値を
0006288858.tif 000003
とする。時刻ｔで光学式モーションキャプチャのカメラから光学式マーカーが消えたとすると、時刻ｔ−１における当該光学式マーカーの世界座標系における座標値に着目する。光学式マーカーの世界座標系における座標値は、上述のように、光学式モーションキャプチャのカメラ画像から取得することができる。
【００２９】
光学式マーカーが隠れた後の任意の時ｔｎにおける９軸センサーの世界座標系（カメラ座標系）における座標値を
0006288858.tif 000004
とする。９軸センサーの世界座標系における座標値は、上述のように、９軸センサーの加速度センサーから取得した加速度データを積分することで取得することができる。また、後述するように、補正マーカーを用いて９軸センサーの世界座標系における座標値を取得することができる。
【００３０】
光学式マーカーが隠れた後の任意の時刻ｔｎにおける当該光学式マーカーの世界座標系（カメラ座標系）における座標値の推定値を
0006288858.tif 000005
とする。
【００３１】
光学式マーカーが隠れる直前（時刻ｔ−１）における世界座標系からセンサー座標系への変換行列を
0006288858.tif 000006
とする。この変換行列は、センサー座標系を世界座標系に一致させた時（較正時）の９軸センサーの姿勢情報を記憶しておき、この姿勢情報と、９軸センサーのジャイロセンサーによって時刻ｔ−１で取得された回転行列と、を用いて計算することができる。較正手法については後述する。
【００３２】
光学式マーカーが隠れた後の任意の時間ｔｎにおける世界座標系からセンサー座標系への変換行列を
0006288858.tif 000007
とする（任意の時間を示すｎが省略されている）。この変換行列は、センサー座標系を世界座標系に一致させた時（較正時）の９軸センサーの姿勢情報を記憶しておき、この姿勢情報と、９軸センサーのジャイロセンサーによって時刻ｔｎで取得された回転行列と、を用いて計算することができる。
【００３３】
ここで、光学式マーカーが隠れる直前（時刻ｔ−１）のセンサー座標系における当該光学式マーカーの位置は
0006288858.tif 000008
である。
すなわち、時刻ｔ−１におけるセンサーモジュール座標系における光学式マーカーの位置情報は、時刻ｔ−１における世界座標系におけるセンサーモジュールの座標値と、時刻ｔ−１における世界座標系における光学式マーカーの座標値と、時刻ｔ−１における前記センサーモジュールのジャイロセンサーによって取得された回転行列を用いて計算されるセンサーモジュール座標系と世界座標系間の変換行列と、を用いて取得する。
センサー座標系における光学式マーカーの位置は、すなわち、同一剛体（体節等）上に設けた光学式マーカーと９軸センサーの位置関係を表している。
同一剛体（体節等）上に設けた光学式マーカーと９軸センサーの位置関係は変わらないので、上記位置関係を取得するタイミングは、光学式マーカーが隠れる直前（時刻ｔ−１）に限定されない。例えば、同一剛体（体節等）上に設けた光学式マーカーと９軸センサーを取り付けた時に、予め位置関係を取得して記憶部に記憶しておいてもよい。
【００３４】
上記の要素を用いて、光学式マーカーの座標の推定値は次のように計算できる。
0006288858.tif 000009
すなわち、光学式マーカーが隠れた後の時刻ｔｎにおける世界座標系における当該光学式マーカーの推定座標値を、時刻ｔ−１におけるセンサーモジュール座標系における光学式マーカーの位置情報と、時刻ｔｎにおける世界座標系におけるセンサーモジュールの座標値と、時刻ｔｎにおける前記センサーモジュールのジャイロセンサーによって取得された回転行列を用いて計算されるセンサーモジュール座標系と世界座標系間の変換行列と、を用いて取得する、
【００３５】
［Ｃ］光学式モーションキャプチャを用いた９軸センサーの位置情報の取得
［Ｃ−１］概要
９軸センサーはその加速度センサーにより計測された加速度データを用いて位置情報を取得することができるが、位置情報を取得するためには加速度データを２回積分した値を足し合わせていく必要があるため、誤差が累積されてしまい、位置の精度が光学式モーションキャプチャに比べて劣る傾向にある。そこで、光学式モーションキャプチャを利用して、隠れ光学式マーカー１の位置情報取得に用いられる９軸センサー２の位置精度を向上させることを考える。図３、図４に示すように、補正用の光学式マーカー１´を用意し、補正用マーカー１´と同一剛体（体節等）５上に９軸センサー２を設け、９軸センサー２に対する補正用マーカー１´の位置関係を記憶しておき、その位置関係を用いて、補正用マーカー１´の位置情報（光学式モーションキャプチャで取得する）から９軸センサー２の位置情報を取得する。図３に示す態様では、補正用マーカー１´は、所定の剛体（体節等）に設けた９軸センサー２上に装着されている。図４に示す態様では、補正用マーカー１´と９軸センサー２は、同一の剛体（体節等）５上に装着されている。位置関係が一意に決定されていれば、補正用マーカー１´と９軸センサー２は、接触していても、離間していてもよい。
【００３６】
［Ｃ−２］センサーの位置とマーカーの位置関係の決定
補正用マーカー１´を９軸センサー２と同一剛体（体節等）５に固定した状態で、９軸センサー２を回転させて９軸センサー２のジャイロセンサーを用いて回転行列を取得する。この回転情報を用いて、計測前に９軸センサー２の位置と補正用マーカー１の位置関係を決定し、記憶部に記憶しておく。以下に計算方法を示す。
【００３７】
第nフレームでの、９軸センサーの世界座標系における座標値を
0006288858.tif 000010
とする（この値は未知数である。）。ここでは、より精度の高い９軸センサーの位置情報を取得することを目的とし、９軸センサーの位置情報の取得に、当該９軸センサーの加速度センサーから得られる加速度データを用いない。
【００３８】
第nフレームでの、絶対座標系から９軸センサー座標系への変換行列を
0006288858.tif 000011
とする。この変換行列は、センサー座標系を世界座標系に一致させた時（較正時）の９軸センサーの姿勢情報を記憶しておき、この姿勢情報と、９軸センサーのジャイロセンサーによって時刻ｔｎで取得された回転行列と、を用いて計算することができる。
【００３９】
第nフレームでの、補正用マーカーの世界座標における座標値を
0006288858.tif 000012
とする。補正用マーカーの世界座標系における座標値は、光学式モーションキャプチャのカメラ画像から取得することができる。
【００４０】
世界座標系と９軸センサーの座標系を一致させ、９軸センサーの位置を原点に位置させた際の補正用マーカーの座標値を
0006288858.tif 000013
とする。この値はセンサー座標系における補正用マーカーの位置と同義であり、この値も未知数である。
【００４１】
このとき次の関係が成り立っている。
0006288858.tif 000014
となる。この時、右辺は補正用マーカーが原点に来るように移動したときの９軸センサーの位置になる。
【００４２】
第iフレーム、第jフレーム、第kフレームにおいて、原点から補正用マーカーまでの距離は一定であることから次の関係が成り立つ。
0006288858.tif 000015
この連立方程式を解くことで、センサー座標系における補正用マーカーの座標値
0006288858.tif 000016
を求めることができる。
【００４３】
要約すると、センサーモジュール座標系における補正用マーカーの座標値は、
前記センサーモジュールの３つ以上の異なる姿勢において、各姿勢における変換情報（変換行列）を、前記センサーモジュールのジャイロセンサーによって取得された回転情報（回転行列）を用いて取得し、
各姿勢において、前記センサーモジュールから前記補正用マーカーへの距離が同一であることを利用して取得する。
【００４４】
［Ｃ−３］補正用マーカー位置を用いた９軸センサーの位置の取得
計測中に９軸センサー２の位置精度向上用に取り付けた補正用マーカー１´がカメラで撮影される時に、次のような計算を行って、９軸センサー２の座標値を計算する。計測中の補正用マーカー１´の位置から９軸センサー２の座標値を計算するときの計算式は次のようになる。
【００４５】
求める９軸センサーの絶対座標系での位置を
0006288858.tif 000017
とする。
【００４６】
センサー座標系における補正用マーカーの位置を
0006288858.tif 000018
とする。この位置情報は、［Ｃ−１］で取得されている。
【００４７】
補正用マーカーの絶対座標系での位置を
0006288858.tif 000019
とする。補正用マーカーの三次元座標値は、光学式モーションキャプチャによって取得される。
【００４８】
絶対座標系から９軸センサーのセンサー座標系への変換行列を
0006288858.tif 000020
とすると
0006288858.tif 000021
より
0006288858.tif 000022
となる。
補正用マーカー１´がカメラで撮影できる場合には、隠れ光学式マーカー１の位置の推定計算において、補正用マーカー１´に基づいて計算された９軸センサー２の位置を用いることができる。
【００４９】
［Ｄ］絶対座標系から９軸センサー座標系への変換行列をＭｗ→ｓの決定
［Ｄ−１］概要
９軸センサーの座標系と世界座標系（三次元動作分析の座標系）は一致していないため、計測前に座標系を一致させるための較正作業が必要となる。計測前に図５に示すような治具６を使って、各９軸センサーの座標系と世界座標系（カメラ座標系）との間の関係を計算するための変換行列を作成する。治具６は、平面視長方形状を有し、上面６０には、縦横方向に間隔を存して方形状の凹部６１が形成されており、各凹部６１に９軸センサー２を嵌め込むようになっている。この治具６には直角三角形の頂点を形成するように３つの光学式マーカー１Ａ、１Ｂ、１Ｃが３つ設けてある。３つのマーカー１Ａ、１Ｂ、１Ｃの作る直角三角形の直角の点につけられたマーカー１Ａと長辺側につけられたマーカー１Ｂの方向を一つ目の軸とし、直角の点につけられたマーカー１Ａと短辺側につけられたマーカー１Ｃの方向をもう一つの軸とする。この軸をそれぞれ、前後軸・左右軸とすると、９軸センサー２の前後軸・左右軸をこの治具６の前後軸・左右軸と一致するように置く。前後軸と左右軸が決まっているため、上下軸は計算により求めることができる。
【００５０】
［Ｄ−２］
あるタイミングで、光学式モーションンキャプチャによる動作計測と、９軸センサー２による動作計測を同時に行う。３つのマーカー１Ａ、１Ｂ、１Ｃの座標値をそれぞれ
0006288858.tif 000023
とし、
0006288858.tif 000024
とするとき、
0006288858.tif 000025
が３つのマーカー１Ａ、１Ｂ、１Ｃの回転行列となる。この時に９軸センサー２から得られる回転行列をＲsとする（Ｒsはセンサー内で直接計算されて出力される）。
【００５１】
上記の作業によって、９軸センサー２の座標系からマーカー１Ａ、１Ｂ、１Ｃの座標系に変換する行列
0006288858.tif 000026
は
0006288858.tif 000027
となる。ここで、rは図５の治具を用いて行列を作成するために用いるデータを取得する参照となるフレームを意味する添え字である。
上記の行列とフレーム番号nで取得されたセンサーの回転行列を
0006288858.tif 000028
としたとき、
フレーム番号ｎにおける９軸センサーのセンサー座標系から世界座標系に変換する行列
0006288858.tif 000029
は
0006288858.tif 000030
となり、世界座標系から９軸センサーのセンサー座標系への変換行列は
0006288858.tif 000031
となる。
【００５２】
このように、計測前の較正において、センサーモジュール（９軸センサー）座標系を世界座標系に一致させた時のセンサーモジュール（９軸センサー）の姿勢情報を求めておき、前記姿勢情報と、前記センサーモジュール（９軸センサー）のジャイロセンサーによって取得された回転情報（回転行列）と、を用いて、センサーモジュール（９軸センサー）座標系と世界座標系間の変換情報（変換行列）が取得される。
【００５３】
９軸センサー座標系を世界座標系に一致させるための９軸センサーの軸の較正手法は、上記の治具６を用いる手法には限定されず、当業者において他の手法が適宜採用し得るものである。例えば、世界座標系の左右と前後に線を引いておき、図６の治具からマーカーを外したうえで、治具の長辺と世界座標系の前後軸、治具の短辺と世界座標系の左右軸を合わせたうえで、センサーのオフセット取得機能を使用して、センサーの座標系をマーカーの座標系を一致させることも可能である。
【００５４】
［Ｅ］９軸センサーを用いたカメラの計測精度向上
９軸センサーを利用した隠れマーカーの推定において、光学式マーカーがカメラから隠れて見えない場合に、９軸センサーから得られる情報を用いて隠れた光学式マーカーの位置を推定する方法について説明した。より具体的には、光学式モーションキャプチャによる計測と９軸センサー２による計測を同期して実行し、同期して計測データを取得することで、各時刻（各フレーム）において、光学式マーカー１の位置情報と、９軸センサー２から取得される各データが対応して得られる。例えば、ある時刻において、光学式マーカーがカメラから隠れてしまった場合には、隠れた光学式マーカーの座標を、その時刻において９軸センサーから取得された情報を用いて推定することができる。
【００５５】
上記推定方法では、カメラの計測周波数と９軸センサーの計測周波数は同一もしくは同程度であることを前提としていた。ここで、９軸センサーの計測周波数のほうが高い場合には、ある時刻において、９軸センサーで計測され、カメラでは計測されない点については隠れマーカーとして扱うことができる。この時に、カメラから空間的に隠れマーカーの座標値推定と同一の計算を行うことで、光学式マーカーが計測されていない点で、データ取得ができるようになり、光学式マーカーの位置をより正確に補間することができる。既述の「９軸センサーを利用した隠れマーカーの推定」が空間的に隠れている状態であるとすると、計測周波数の異なるデバイスを用いた補間は時間的な隠れマーカーの推定と考えることができる。センサーの計測周波数には、実際には、加速度センサーの計測周波数、３軸ジャイロセンサーの計測周波数があり、これらの両方がカメラの計測周波数よりも高い。１つの態様では、加速度センサーの計測周波数、３軸ジャイロセンサーの計測周波数は同程度であるが、かならずしも同じでなくてもよい。
【００５６】
すなわち、
光学式マーカーの位置の推定において、
前記光学式マーカーは、ある時点において撮影されない時間的に隠れた光学式マーカーであり、
９軸センサーのジャイロセンサーの単位時間当たりの計測回数及び加速度センサーの単位時間当たりの計測回数は、前記光学モーションキャプチャのカメラの単位時間当たりのデータ取得回数（フレームレート）よりも多く、
前記時間的に隠れた光学式マーカーの座標値を、前記センサーモジュールに対する前記光学式マーカーの位置関係と、前記センサーモジュールの座標値と、前記センサーモジュールの姿勢情報と、を用いて推定する。
ここで、センサーモジュールの座標値は、加速度センサーによって取得され、センサーモジュールの姿勢情報は、ジャイロセンサーによって取得される。
【００５７】
このように、９軸センサーの計測データを用いて、光学式マーカーの補間を行うことによって、低速（低価格）のカメラでも、高速のカメラを使用して計測することと同様の効果が得られ高精度の計測を行うことができ、もって、低コストで高精度の計測が可能となる。なお、本実施形態では、実際のカメラ計測周波数は通常100Hz（50Hz、25Hzの設定も可能）のカメラを使用しており、９軸センサーの計測周波数はこれよりも高いものとする。
【００５８】
［Ｆ］計測用のマーカーを用いた隠れマーカー推定
光学式モーションキャプチャを利用して、隠れマーカーを推定するためには、常に３個以上の光学式マーカーが映っている必要がある。一つの体節に常に３個のマーカーが映るようにマーカーを貼り付けるとなると、カメラからの死角を少なくするためにカメラの台数を増やしたり、マーカー数を増やしたりすることで、３個以上のマーカーが常に映るようにしている。しかしながら、多数のマーカーを貼り付けて、多数のカメラを利用することはコストがかかる。
【００５９】
これを防ぐための方法として、ポインタや３点のマーカーを付けた治具（３点マーカー）を用いるものが知られている。仮想的にマーカーを設定することで、マーカーが隠れることを抑えることができるが、３点マーカー自体が隠れてしまった場合には仮想的なマーカーの計算もできない。
【００６０】
本明細書において、センサーマーカー（赤外線反射マーカー）の位置情報を用いて９軸センサーの位置を取得することについて述べたが、長時間、当該マーカーが消えて隠れているような場合には、当該マーカーの位置を精度良く求めることはできず、精度の高い９軸センサーの位置情報の取得ができない。
【００６１】
このような問題を解決するための方法として、同じ体節上に９軸センサーと、複数の光学式マーカーを設定する。複数の光学式マーカーは、センサーマーカーにもなり得るし、推定対象のマーカーにもなり得る。例えば、図６に示すように、同一体節上に、９軸センサーと、マーカーＡ、マーカーＢを取り付ける。９軸センサーとマーカーＡの位置関係、９軸センサーとマーカーＢの位置関係を記憶しておく。マーカーＡの位置情報が取得できれば、マーカーＡと９軸センサーの位置関係、９軸センサーの姿勢情報から９軸センサーの位置情報を取得することができ、また、取得した９軸センサーの位置情報、マーカーＢと９軸センサーの位置関係、９軸センサーの姿勢情報からマーカーＢの位置を推定することができる。すなわち、マーカーＢが隠れてしまったような場面では、マーカーＡをセンサーマーカーとして、マーカーＢの位置の推定に利用することができ、また、マーカーＡが隠れてしまったような場面では、マーカーＢをセンサーマーカーとして、マーカーＡの位置の推定に利用することができる。
【００６２】
こうすることで、同一体節上の任意の１つのマーカーの位置は、他の１つのマーカーの位置から推定可能であり、すなわち、同一体節上の１個のマーカーが見えていれば（そのマーカーの位置が取得できれば）、他の同一体節上のマーカー位置の推定が可能となる。これにより、カメラの死角に対するロバストネスを大幅に向上させることができ、もって、カメラの台数を減らすこと、計測に必要なマーカー個数を減らすことを可能とし、動作分析にかかる人的・金銭的コストの低減を図ることができる。
【００６３】
図６では、同一体節上に２個のマーカーを設けることを例示したが、３個以上のマーカー（９軸センサーとの位置関係が記憶されている）を設けてもよい。この場合、１つあるいは複数個のセンサーマーカーの位置情報に基づいて、他の１つあるいは複数個のマーカーの位置を推定することになる。例えば、複数のセンサーマーカーを利用して、隠れた光学式マーカーを推定する場合に、得られた複数個の隠れたマーカーの推定位置の平均を隠れたマーカーの推定位置としてもよい。
【００６４】
より具体的な態様について説明する。大腿部上に装着する光学式マーカーとして、大腿部外側上顆、大転子に光学式マーカーを取り付けて計測を行う場合があり、歩行計測では、大転子上の光学式マーカーが腕振り動作によって隠れてしまうことがしばしば生じる。そこで、大腿部（剛体）上に９軸センサー、大腿部外側上顆マーカー、大転子マーカー、を取り付け、９軸センサーと大腿部外側上顆マーカーの位置関係、９軸センサーと大転子マーカーの位置関係を記憶しておく。大腿部外側上顆マーカーを、９軸センサーの位置情報を取得するセンサーマーカーとして選択し、大転子マーカーを、その位置情報が推定される推定マーカーとして選択することで、大転子マーカーが隠れた際に、大転子マーカーの座標値を、大転子マーカーと９軸センサーの位置関係、大腿部外側上顆マーカーの座標値、９軸センサーと大腿部外側上顆マーカーの位置関係に基づいて取得された９軸センサーの座標値、９軸センサーの姿勢情報と、を用いて推定することができる。
【００６５】
他の具体的な態様について説明する。前腕部（剛体）上に９軸センサー、尺骨突起マーカー、橈骨突起マーカー、を取り付け、９軸センサーと尺骨突起マーカーの位置関係、９軸センサーと橈骨突起マーカーの位置関係を記憶しておく。ある場面では、尺骨突起マーカーがセンサーマーカー、橈骨突起マーカーが推定マーカーとなり、また、ある場面では、尺骨突起マーカーが推定マーカー、橈骨突起マーカーがセンサーマーカーとなる。回内動作をすると、橈骨突起マーカーが隠れるが、橈骨突起マーカーの座標値を、橈骨突起マーカーと９軸センサーの位置関係、尺骨突起マーカーの座標値、９軸センサーと尺骨突起マーカーの位置関係に基づいて取得された９軸センサーの座標値、９軸センサーの姿勢情報と、を用いて推定することができる。逆に回外動作の際は、尺骨突起のマーカーが隠れるが、尺骨突起のマーカーの座標値を、尺骨突起のマーカーと９軸センサーの位置関係、橈骨突起マーカーの座標値、９軸センサーと橈骨突起マーカーの位置関係に基づいて取得された９軸センサーの座標値、９軸センサーの姿勢情報と、を用いて推定することができる。
【００６６】
このように、人間の体の部位で、ほとんどの動作において、体節の表面すべてが隠れることはないので、体節上に複数のマーカーを設け、体節上の見えているマーカーをセンサーマーカーとして、見えなくなったマーカーの位置を推定することは有効である。また、上記態様では、９軸センサー＋２つのマーカーについて説明したが、３つ以上のマーカーを用いてもよい。例えば、骨盤において、左右上前腸骨棘、大転子の4点をそれぞれ、隠れマーカーの推定対象およびセンサーマーカーとしてもよい。
【００６７】
さらに他の具体的な態様として、仮想マーカーの設定および位置の推定について説明する。仮想点の設定時及び計測時に、３つの光学式マーカーを備えたマーカー治具上に９軸センサーを取り付ける。各光学式マーカーと９軸センサーとの位置関係を記憶しておく。センサーマーカーとして、マーカー治具上の３つのマーカーを利用する。こうすることで、マーカー治具上の少なくとも１個のマーカーが見えていれば、９軸センサーとの位置関係、９軸センサーの姿勢情報から、マーカー治具上の他のマーカー位置を推定することができ、設定した仮想点を決定することが可能となる。仮想点の設定時においても、体節上のマーカーが１つ見えていれば、他の体節マーカーを推定することができ、仮想点を設定することができる。
【００６８】
図７を参照しつつ説明すると、仮想マーカー1の設定・推定の際に、従来は３つの体節マーカー１〜３が見えている必要があった。しかしながら、３つのマーカーのうち１つが見ていれば、他の２つの体節マーカーの推定ができる。例えば、体節マーカー１のみが見えていれば、体節マーカー２、３が隠れていても、体節マーカー２、３の位置を推定することができる。したがって、３つの体節マーカーの位置が計算できるので、仮想マーカー1を計算するためには、体節マーカー１〜３のうち１つが見えていればよいこととなる。同様に、仮想点決定時も３つの体節マーカー１〜３のうち１つが見えていればよい。
【符号の説明】
【００６９】
１  光学式マーカー
１´  補正用の光学式マーカー
２  ９軸センサー
３  カメラ
４  コンピュータ
５  剛体
【図１】
0006288858.tif 000032
【図２】
0006288858.tif 000033
【図３】
0006288858.tif 000034
【図４】
0006288858.tif 000035
【図５】
0006288858.tif 000036
【図６】
0006288858.tif 000037
【図７】
0006288858.tif 000038