(57)【要約】      （修正有）【課題】被検体の３次元的な複雑な動きを高精度に検知することができるモーションキャプチャー方法を提供する。【解決手段】複数のカメラ３を用い、被検体１を撮影し、各カメラ３で得られた撮影画像よりモーションキャプチャーシステムを利用して、被検体１に設けた複数のマーカー２の３次元位置座標を時系列的に検出し、被検体１に設けた複数のマーカー２のうち１つのマーカーの過去の２つの時刻における３次元位置座標を求め、過去の２つの時刻における位置座標よりマーカーの速度ベクトルを求め、求めた速度ベクトルを用いてマーカーの次の時刻における推定中心位置を求め、求めた推定中心位置に最も近いマーカーをマッチングして求めて、これを次の時刻におけるマーカーの位置座標として検出する。【選択図】図１
2014211404.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラを用い、被検体を撮影し、各カメラで得られた撮影画像よりモーションキャプチャーシステムを利用して、被検体に設けた複数のマーカーの３次元位置座標を時系列的（各時刻毎）に検出する３次元座標検出工程、
被検体に設けた複数のマーカーのうち１つのマーカー１の過去の２つの時刻ｔ１、ｔ２における３次元位置座標ｘ１、ｘ２を求める位置検出工程、
時刻ｔ１、ｔ２における位置座標ｘ１、ｘ２よりマーカー１の速度ベクトルを求める速度ベクトル検出工程、
求めた速度ベクトルを用いてマーカー１の次の時刻ｔ３における推定中心位置ｙ３を求め、推定中心位置ｘａを求める推定中心位置検出工程、
求めた推定中心位置に最も近いマーカーをマッチングして求め、これをマーカー１の位置座標として検出するマーカーの検出工程、
を有することを特徴とするモーションキャプチャー方法。
【請求項２】
複数のカメラを用い、被検体を撮影し、各カメラで得られた撮影画像よりモーションキャプチャーシステムを利用して、被検体に設けた複数のマーカーの３次元位置座標を時系列的（各時刻毎）に検出する３次元座標検出工程、
被検体に設けた複数のマーカーのうち１つのマーカー１の過去の２つの時刻ｔ１、ｔ２における３次元位置座標ｘ１、ｘ２を求める位置検出工程、
時刻ｔ１、ｔ２における位置座標ｘ１、ｘ２よりマーカー１の速度ベクトルと加速度ベクトルを求める速度ベクトル検出工程、
求めた速度ベクトルと加速度ベクトルを用いてマーカー１の次の時刻ｔ３における推定中心位置ｙ３を求め、推定中心位置ｘａを求める推定中心位置検出工程、
求めた推定中心位置に最も近いマーカーをマッチングして求め、これをマーカー１の位置座標として検出するマーカーの検出工程、
を有することを特徴とするモーションキャプチャー方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はモーションキャプチャー方法に関し、被検体の一部に装着したマーカーを複数のカメラで撮影し、該複数のカメラで得られた撮影画像に基いてマーカーの３次元座標を求める際に好適なものである。
【背景技術】
【０００２】
モーションキャプチャーシステムは、人物や物体等の被検体の動きをデジタル的に記録する技術であり、例えばスポーツ分野、医学分野などに適用されている。モーションキャプチャー方式のうち、光学式キャプチャーシステムでは被検体に複数のマークをマーキングし、角度の異なる複数のカメラで撮影し、カメラで得られた撮影情報よりマーカーの動きを三角測量の原理で計測し、３次元のデータを生成している（特許文献１，２）。
【０００３】
例えば被検体の各特徴点に複数のマーカーを設定し、複数のカメラ（トラッカー）で撮影したときに得られる画像より複数のマーカーを時系列的に受信して、マーカーの位置を３次元座標に変換して被検体の各特徴点の動きを３次元的に検出し、記録している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４５１６１号公報
【特許文献２】特開２０１１−２５８１６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
光学式のモーションキャプチャーシステムによる被検体の３次元計測の多くでは、被検体に設けたマーカーの検出に際して時系列で検出するときマーカーの連続性が保証されないときがある。この為に時系列的にマーカーの入れ替わりが発生し、被検体の動作を正しく検出することができないという問題がある。
【０００６】
モーションキャプチャーシステムを被検体の３次元計測における計測器として使用するにはこの問題を解決する必要がある。
【０００７】
従来の方法を図９を用いて説明する。被検体の１つの計測部位に対して複数のマーカーを取り付けてグループ化し、複数のマーカーの重心点を時刻ｔ１，ｔ２で計測部位の座標値として取り扱う。これによりグループを構成するマーカー群単位でマッチングすることで時系列の連続性を確保している。
【０００８】
この手法のメリットは次のとおりである。
・被検体の計測部位（グループ）毎に複数のマーカーの取付け配置を変えることでユニークな形状を持ち、時系列のマッチングが容易となる。
・グループ内のマーカーの一部が認識できなくても相互補間して重心座標を取得することが出来るため、計測点が消失しにくい。
【０００９】
一方、この手法のデメリットは次のとおりである。
・１つの計測部位に関して多くのマーカーが必要となり、準備時間や構成が複雑になる。
・マーカーの数が多い為、被検体の取り付ける箇所が限定される。特に変形する箇所に取付けることが困難である。
・被検体の計測部位毎にマーカーの取付け配置（形状）が異なるように設定する必要がある。
・複数のマーカーの重心が計測点となる為、真の計測部位とずれる場合がある。
【００１０】
このように従来のモーションキャプチャーでは被検体の１つの位置情報を検出するのに被検体に設けた複数のマーカーを事前にグループ化し、瞬時におけるマーカーの位置情報からグループ毎にラベリングを行っている。この為、マーカー単体での時系列ラベルを行うことができなく計測を行うにあたり多くの制限があった。
【００１１】
また従来、光学式のモーションキャプチャーでは被検体の動きを３次元データ化し、ＣＧ等に用いるとき被検体の各部位が瞬時にどの位置にいたか（被検体がどのような姿
勢をしていたか）を検出していた。そこには時系列的な概念はなかった。
【００１２】
マーカーのラベル情報は位置関係と可動域情報から得る方法もあるが、複雑な動きをするもの（たとえば被検体として人の指先）を計測する事は困難であった。
【００１３】
本発明は、被検体の３次元的な複雑な動きを高精度に検知（ナンバリング）することができるモーションキャプチャー方法の提供を目的とする。
【課題を解決するための手段】
【００１４】
本発明のモーションキャプチャー方法は、複数のカメラを用い、被検体を撮影し、各カメラで得られた撮影画像よりモーションキャプチャーシステムを利用して、被検体に設けた複数のマーカーの３次元位置座標を時系列的（各時刻毎）に検出する３次元座標検出工程、
被検体に設けた複数のマーカーのうち１つのマーカー１の過去の２つの時刻ｔ１、ｔ２における３次元位置座標ｘ１、ｘ２を求める位置検出工程、
時刻ｔ１、ｔ２における位置座標ｘ１、ｘ２よりマーカー１の速度ベクトルを求める速度ベクトル検出工程、
求めた速度ベクトルを用いてマーカー１の次の時刻ｔ３における推定中心位置ｙ３を求め、推定中心位置ｘａを求める推定中心位置検出工程、
求めた推定中心位置に最も近いマーカーをマッチングして求め、これをマーカー１の位置座標として検出するマーカーの検出工程、
を有することを特徴としている。
【００１５】
この他、本発明のモーションキャプチャー方法は、複数のカメラを用い、被検体を撮影し、各カメラで得られた撮影画像よりモーションキャプチャーシステムを利用して、被検体に設けた複数のマーカーの３次元位置座標を時系列的（各時刻毎）に検出する３次元座標検出工程、
被検体に設けた複数のマーカーのうち１つのマーカー１の過去の２つの時刻ｔ１、ｔ２における３次元位置座標ｘ１、ｘ２を求める位置検出工程、
時刻ｔ１、ｔ２における位置座標ｘ１、ｘ２よりマーカー１の速度ベクトルと加速度ベクトルを求める速度ベクトル検出工程、
求めた速度ベクトルと加速度ベクトルを用いてマーカー１の次の時刻ｔ３における推定中心位置ｙ３を求め、推定中心位置ｘａを求める推定中心位置検出工程、
求めた推定中心位置に最も近いマーカーをマッチングして求め、これをマーカー１の位置座標として検出するマーカーの検出工程、
を有することを特徴としている。
【発明の効果】
【００１６】
本発明によれば、被検体の３次元的な複雑な動きを高精度に検知（ナンバリング）することができるモーションキャプチャー方法が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明のモーションキャプチャー方法の実施例１の説明図
【図２】本発明のモーションキャプチャー方法のフローチャート
【図３】本発明のモーションキャプチャー方法におけるマーカー検出の説明図
【図４】本発明のモーションキャプチャー方法における３次元座標の位置の推定の説明図
【図５】本発明のモーションキャプチャー方法における３次元座標の位置の推定の説明図
【図６】本発明のモーションキャプチャーにおける探索エリアの説明図
【図７】本発明のモーションキャプチャーにおける消失点の線形補間の説明図
【図８】本発明のモーションキャプチャーにおける消失点のスプライン補間の説明図
【図９】従来の本発明のモーションキャプチャーの説明図
【発明を実施するための形態】
【００１８】
以下、本発明のモーションキャプチャー方法の実施例について説明する。
【００１９】
本発明のモーションキャプチャー方法では、被検体に取り付けたマーカーの三次元座標を、時系列的に検出するとき過去時刻の情報を元にした位置の推定によってマーカー単位でマッチングする。そしてマーカーを時系列的に並べ換えることで時系列の連続性を確保する。
【００２０】
図１は本発明に係るモーションキャプチャー方法を用いるモーションキャプチャーシステムの要部概略図である。図１において１は被検体であり、運動する人体を例にとり示している。２は被検体１の特徴点に装着されたマーカーである。３はマーカー２を時系列的に撮影するカメラ（撮像装置）であり、被検体１の可動範囲を囲むよう被検体１の周囲に複数台設けている。各カメラ３には撮像素子（撮影部）３ａと被検体１に光束を照射する照明装置３ｂが装着されている。３ｃはカメラ３に設けた撮影レンズである。
【００２１】
４はカメラ３で得られた撮影画像を時系列的に受信し、複数のカメラ３より得られた受信情報より被検体１に装着したマーカー２の各時間（フレーム毎）における３次元情報を演算し求める画像処理装置である。５は画像処理装置４で得られた被検体１のマーカー２に基づく特徴点の軌跡を表示する表示装置である。
【００２２】
本実施例においてカメラ３は三脚やクランプ等、カメラ間の関係を保持し続けることが出来る治具に固定されている。複数のカメラは被検体１に関する、計測空間を中心にしてカメラ３間の距離が最低１５度以上の角度になるように配置されている。
【００２３】
また各カメラからの視野中心がほぼ同一になり、被検体１の移動に対して、カメラ３が水平に並ばないように配置されている。
【００２４】
被検体１に装着したマーカー２をトラッキングするためには、複数台のカメラ３を撮影視野が重複するように配置している。こうすることによって、「キャプチャーボリューム」と呼ばれるトラッキング可能な領域を作成している。カメラはしっかり固定し、動いてしまうことによるキャリブレーションのやり直しを防止している。また良好なキャリブレーションとトラッキング結果を得るために、すべてのカメラ３が同一平面上に配置されないようにしている。
【００２５】
カメラ３の撮像部３ａのセンサー（撮像素子）で受光した画像を用いて画像処理を行い被検体１に装着したマーカー２の座標を画像処理装置４で算出する。算出方法は二値化した画像に対してラベリングを行うことでマーカー２の３次元空間内の座標を算出する。３次元座標を算出する方法は、例えばエピポーラマッチングアルゴリズムを利用している。
【００２６】
尚、照明装置３ｂからの光束であって、マーカー２からの反射光のみが撮像部３ａで検出されるように撮像部３ａの光入射面には照明装置３ｂから放射される光束の分光特性に対応した光学フィルターが装着されている。
【００２７】
本発明のモーションキャプチャー方法の特徴は、被検体に関し、算出されたマーカーに対し、それぞれ単体で同一マーカーを時系列にナンバリングするアルゴリズムにある。
【００２８】
本発明では、光学式のモーションキャプチャーシステムを用いて、取得された全てのマーカーを時系列の移動ベクトル情報に変換する。そしてこの移動ベクトル情報を用いて、時系列にリアルタイムでラベリング（ラベル化）するアルゴリズムを用いて被検体の３次元計測を行っている。
【００２９】
そしてラベル化されたマーカーの位置情報より、被検体の変位量、速度、加速度、点間距離、角度等の物理量を算出する。
【００３０】
また本発明は、ロードセルや加速度計、変位計、温度等の計測機と同期計測を行い、荷重値に対する変位量や温度変化に対する角度変化等をリアルタイムでグラフ描写する。
【００３１】
この他、被検体に関する３次元座標からリアルタイムで算出された物理量を基に、他機器へリアルタイムで信号を発信し制御するようにしている。
【００３２】
この他、本発明は３次元座標の一部を指定し、原点変更する事により、指定された座標を固定した場合の相対変位をリアルタイムで計測する。
【００３３】
次に本発明のモーションキャプチャー方法のアルゴリズムについて順次説明する。図２は本発明のモーションキャプチャー方法のフローチャートである。図３は本発明のモーションキャプチャー方法の概略を示す説明図である。
【００３４】
本発明は、複数台のモーションキャプチャー専用のカメラで被検体の位置座標データを得る（ステップ１）。そして複数のカメラから出力された二元座標データを三次元座標データに計算した後（ステップ２）で、メモリに記憶する（ステップ３）。そして三次元空間内で時系列のマッチングを行う（ステップ４，５）。ステップ４，５を実現するための具体的な技術的内容は以下の通りである。
【００３５】
被検体に設けたマーカーの三次元座標の位置を推定する（ステップ４）。ステップ４の工程は次のとおりである。被検体１のマーカー１の過去時刻（時刻１）における既知の三次元座標Ｚ１を元に、現在の時刻２での三次元座標Ｚ１ａを推定し、その座標に最も近いものをマッチングさせる。このときマッチングしたマーカーはマーカー１ｂである。
【００３６】
マーカー１の三次元座標の位置の推定の手法図４，図５を参照して説明する。
【００３７】
手法Ａ．過去の一時刻ｔ１の座標ｘ１を推定位置とする。
【００３８】
手法Ｂ．過去の二時刻ｔ１，ｔ２の座標ｘ１，ｘ２から速度ベクトルを求める。そして一時刻前（直前）ｔ２の座標ｘ２に速度ベクトルを加算した座標点を求め、推定中心位置として探査エリアＰａを決定する。ただし第二時刻においては過去時刻が一時刻しか存在しないときは、手法Ａを用いる。
【００３９】
手法Ｃ．過去の三時刻ｔ１，ｔ２，ｔ３の座標ｘ１，ｘ２，ｘ３から速度ベクトル及び、加速度ベクトルを求め、一時刻前ｔ３の座標ｘ３に速度ベクトル及び加速度ベクトルを加算した座標点ｘｂを求め、推定中心位置として探査エリアＰｂを決定する。ただし第二時刻ｔ２においては過去時刻が一時刻しか存在しないときは、手法Ａを用いる。また、第三時刻目においては過去時刻が二時刻しか存在しないときは、手法Ｂを用いる。
【００４０】
本実施例における探索エリアの設定を図６を用いて説明する。
【００４１】
マーカー１の推定位置ｘ３から最近傍のマーカーをマッチングさせる際に、推定位置を中心とした探索エリアＰｃを設定することで対象を絞り込む。探索エリアＰｃ内にマーカーがひとつも見つからなかった場合はマーカーの消失点とする。探索エリアＰｃの指定方法は、三次元座標空間の水平（Ｘ）、垂直（Ｙ）、奥行き（Ｚ）の各軸方向に対してそれぞれに範囲を設定する。
【００４２】
特定の方向へ動作する被検体（計測点）については、探索エリアＰｃを絞り込む事でミスマッチングを軽減させる。
【００４３】
次に本実施例におけるマッチング対象の重複処理について説明する。
【００４４】
複数のマーカーが、次時刻における同一のマーカーへ重複してマッチングした場合は、より近いものをマッチング対象とする。この場合に非マッチング対象となったマーカーは、推定位置から二番目に近いマーカーをマッチング候補とする。二番目に近いマーカーも非マッチング対象となった場合は、三番目に近いマーカーをマッチング候補とする。三番目の候補もマッチングしなかった場合は消失点となる。
【００４５】
前述した手法において、マーカー１が認識できずに計測点が消失した場合、その前後自国の座標を用いて座標を補間演算する方法を図７，図８を用いて説明する。
【００４６】
座標の補間は以下の手法を用いる。
【００４７】
Ａ．消失点ｘｃの時系列ｔｃ上における前後の座標値ｘ１，ｘ２によって線形補間し、消失点の座標ｘｃとする。
【００４８】
Ｂ．消失点ｘｃの時系列ｔｃ上における前後の座標値ｘ１，ｘ２によってスプライン曲線で補間し、消失点ｘｃ’の座標とする。
【００４９】
Ｃ．以上によりマーカー１の座標値ｘｃ’を求める。
【００５０】
以上により被検体に設けたマーカー１の３次元座標によりマーカー１の物理量を算出する（ステップ５）。ステップ５で得られたマーカー１の物理量を表示手段に表示する（ステップ６）。
【００５１】
以上のように本発明のモーションキャプチャー方法では、
・被検体に設けたマーカーＩＤを光学式のモーションキャプチャー技術を用いて３次元座標データとして取得後、時系列的に一括で並べ替えを行う
・マーカーＩＤの位置座標を光学式モーションキャプチャーにてリアルタイムで並べ替えを行いながらマーカーの位置に関する３次元座標を取得する
・光学式のモーションキャプチャーを行いながらリアルタイムで表示手段にマーカーの３次元座標を表示する
・光学式のモーションキャプチャーを行い取得された被検体の各位置の３次元情報を基に、他の計測器へトリガを発信する
こと等ができる。
【００５２】
本発明によれば、
・被検体の１つの計測部位につき１つのマーカーを取り付けるだけで済む
・被検体の計測部位に１つのマーカーを取り付けるスペースがあれば良いため、計測対象の制限が少ない
・被検体に対する目的の計測部位とのズレが少ない
等の効果が得られる。
【００５３】
以上のように本発明のモーションキャプチャー方法では、例えば振動している被検体を非接触で３次元計測するとき、振動しているその時刻で必要な物理量を確認しながら計測を行うことができる。また、座標から取得する事が困難な温度や荷重値等を他のセンサーから取得した複合計測を行うこともできる。
【００５４】
また、計測対象物としての被検体が計測開始地点で計測空間のどこから出現するか不明な計測においても計測を行う事ができる。
【００５５】
この他、本発明に係るモーションキャプチャー方法では、例えば患者のリハビリ現場における歩行訓練の際、リハビリを行いながら瞬時の角度や高さ、速度を指導者と患者が認識することが最小限の負担で行う事が出来る。この結果、効果的な指導を行う事が容易となる。
【００５６】
また、動作に呼応した形で筋肉等に刺激を与えるトリガとしての利用も行うことができる。
【００５７】
具体的には指先のわずかな動きを認識し、その動きに応じて必要な筋肉に自動的に刺激を与える診療器具を開発することが容易となる。
【符号の説明】
【００５８】
１  被検体
２  マーカー
３  カメラ
４  画像処理装置
５  表示装置
【図１】
2014211404.tif 000003
【図２】
2014211404.tif 000004
【図３】
2014211404.tif 000005
【図４】
2014211404.tif 000006
【図５】
2014211404.tif 000007
【図６】
2014211404.tif 000008
【図７】
2014211404.tif 000009
【図８】
2014211404.tif 000010
【図９】
2014211404.tif 000011