(57)【要約】      （修正有）【課題】被検体の運転動作等の各特徴点の動きを、カメラ撮影視野の死角部となる特徴点の動きを含めて三次元的に検出し表示することができるモーションキャプチャーシステムを提供する。【解決手段】カメラ撮影視野の死角となる位置マーカー２ａと、カメラ撮影視野内にあって位置マーカーを補完する３個の位置補完マーカー２ｂとを被検体１に装着し、各マーカーの相対位置情報を取得し、位置補完マーカーを角度の異なる位置に配置した複数のカメラで時系列的に撮影し、複数のカメラ３で時系列的に得られた撮影情報より、位置補完マーカーの動きを三角測量の原理で計測して位置補完マーカーの三次元時系列位置情報を得、取得された各マーカーの相対位置情報とカメラより得られる現在時点での位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し位置マーカーの三次元時系列位置情報を算出する。【選択図】図１
2019144024.tif 000002
【特許請求の範囲】
【請求項１】
カメラ撮影視野の死角となる位置マーカーと、カメラ撮影視野内にあって該位置マーカーを補完する少なくとも３個の位置補完マーカーとを被検体に装着するステップと、各マーカーの相対位置情報を取得するステップと、該位置補完マーカーを角度の異なる位置に配置した複数のカメラで時系列的に撮影するステップと、該複数のカメラで時系列的に得られた撮影情報より、該位置補完マーカーの動きを三角測量の原理で計測して位置補完マーカーの三次元時系列位置情報を得るステップと、取得された各マーカーの相対位置情報とカメラより得られる現在時点での該位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し該位置マーカーの三次元時系列位置情報を算出するステップと、各マーカーの三次元時系列位置情報と各マーカーの動きを表示するステップと、を含むモーションキャプチャー方法。
【請求項２】
上記位置マーカーは、関節位置マーカーであり、上記位置補完マーカーは、関節位置補完マーカーであることを特徴とする、請求項１に記載のモーションキャプチャー方法。
【請求項３】
カメラ撮影視野の死角となる関節位置マーカーと、カメラ撮影視野内にあって関節位置と同一の身体剛体部に配置され該関節位置マーカーを補完する少なくとも３個の関節位置補完マーカーとを被検体に装着するステップと、各マーカーの相対位置情報を取得するステップと、該関節位置補完マーカーを角度の異なる位置に配置した複数のカメラで時系列的に撮影するステップと、該複数のカメラで時系列的に得られた撮影情報より、該関節位置補完マーカーの動きを三角測量の原理で計測して該関節位置補完マーカーの三次元時系列位置情報を得るステップと、取得された各マーカーの相対位置情報とカメラより得られる現在時点での該関節位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し該関節位置マーカーの三次元時系列位置情報を算出するステップと、各マーカーの三次元時系列位置情報と被検体の各マーカーの動きを表示するステップと、を含むモーションキャプチャー方法。
【請求項４】
カメラ撮影視野の死角となる位置マーカーとカメラ撮影視野内にあって該位置マーカーを補完する少なくとも３個の位置補完マーカーとを装着した被検体と、角度の異なる位置に配置し、該位置補完マーカーの動きを三角測量の原理で計測して時系列的に撮影する複数のカメラと、該複数のカメラで時系列的に得られた撮影情報より該位置補完マーカーの三次元時系列位置情報を得る画像処理装置と、各マーカーの相対位置情報とカメラより得られる現在時点での該位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し該位置マーカーの三次元時系列位置情報を算出するマーカー位置計算部を含み、各マーカーの三次元時系列位置情報と各マーカーの動きを表示する表示装置と、を備えたモーションキャプチャーシステム。
【請求項５】
上記位置マーカーは、関節位置マーカーであり、上記位置補完マーカーは、関節位置補完マーカーであることを特徴とする、請求項４に記載のモーションキャプチャーシステム。
【請求項６】
カメラ撮影視野の死角となる関節位置マーカーとカメラ撮影視野内にあって関節位置と同一の身体剛体部に配置され該関節位置マーカーを補完する少なくとも３個の関節位置補完マーカーとを装着した被検体と、角度の異なる位置に配置し、該関節位置補完マーカーの動きを三角測量の原理で計測して時系列的に撮影する複数のカメラと、該複数のカメラで時系列的に得られた撮影情報より該関節位置補完マーカーの三次元時系列位置情報を得る画像処理装置と、各マーカーの相対位置情報とカメラより得られる現在時点での該関節位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し関節位置マーカーの三次元時系列位置情報を算出するマーカー位置計算部を含み、各マーカーの三次元時系列位置情報と各マーカーの動きを表示する表示装置と、を備えたモーションキャプチャーシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モーションキャプチャー方法及びモーションキャプチャーシステムに関し、特に光学式のモーションキャプチャー方法及びモーションキャプチャーシステムに関するものである。
【背景技術】
【０００２】
モーションキャプチャー技術は、人物や物体等の被検体の動きをデジタル的に記録する技術であり、例えばスポーツ分野、医学分野などに適用されている。
【０００３】
モーションキャプチャー技術のうち光学式のモーションキャプチャー技術では、被検体に複数のマークを装着し、これを角度の異なる複数のカメラで撮影し、カメラで得られた撮影情報よりマーカーの動きを三角測量の原理で計測し、三次元の位置情報を得る。そして、被検体の各特徴点の動きを三次元的に検出し、記録している。
また、モーションキャプチャー技術の改良技術についても、例えば特許文献１ないし４にも開示されているとおり、これまでに多数の提案がなされている。
【０００４】
本発明の前提となる、従来のモーションキャプチャーシステムの一例の模式図を図３に示す。
図３において１は被検体であり、運転する人体を例にとり示している。
また、図３において２ａは、被検体１の関節位置に装着された関節位置マーカー（以下、「マーカー２ａ」という）であり、２ｂは、被検体１のカメラ撮影視野内に装着された位置マーカー（以下、「マーカー２ｂ」という）である。
図３において３は、マーカー２ｂを時系列的に撮影するカメラであり、被検体１の可動範囲を囲むように被検体１の周囲に複数台設けている。各カメラ３には、撮影素子３ａと被検体１に光束を照射するＬＥＤ等の照明装置３ｂが装着されている。３ｃは、カメラ３に設けた撮影レンズである。
【０００５】
カメラ３は、三脚やクランプ等、カメラ間の関係を保持し続けることができる治具に固定されている。各カメラは、被検体１に関する計測空間を中心にして、カメラ間の距離が最低１５度以上の角度になるようにそれぞれ配置されている。
また、各カメラからの視野中心がほぼ同一になり、被検体１の移動に対して、カメラが水平に並ばないように考慮して配置されている。
【０００６】
被検体１に装着したマーカー２ｂをトラッキングするためには、複数のカメラ３を撮影視野が重複するように配置している。こうすることによって、「キャプチャーボリューム」と呼ばれるトラッキング可能な領域を作成している。
被検体１に装着したマーカー２ａのトラッキングは、カメラの設置位置及び設置可能台数に物理的な制限があり、また取り除く事が不可能な車内の物理的構造物によりカメラ撮影視野の死角も多くなることから撮影が困難である。
カメラ３はしっかり固定し、動いてしまうことによるキャリブレーションのやり直しを防止している。また良好なキャリブレーションとトラッキング結果を得るために、すべてのカメラ３が同一平面上に配置されないようにしている。
【０００７】
なお、照明装置３ｂからの光束であって、マーカー２ａ及び２ｂからの反射光のみが撮影素子３ａで検出されるように、撮影素子３ａの光入射面には、照明装置３ｂから放射される光束の分光特性に対応した光学フィルターが装着されている。
【０００８】
図３において４は、カメラ３で得られた撮影画像を時系列的に受信し、複数のカメラ３より得られた受信情報より、被検体１に装着したマーカー２ａ及び２ｂの各時間（フレーム毎）における三次元情報を求める画像処理装置である。算出方法は、二値化した画像に対してラベリングを行い、マーカー２ａ及び２ｂの三次元空間内の座標を、例えばエピポーラマッチングアルゴリズムを利用して算出する。
【０００９】
図３において５は、画像処理装置４で得られた被検体１のマーカー２ａ及び２ｂに基づく特徴点の動きを表示する表示装置である。
図４は、その表示例の写真である。カメラ撮影視野内のマーカー２ｂに基づく特徴点が表示され、カメラ撮影視野の死角部のマーカー２ａに基づく特徴点は表示されていないことが分かる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−３４５１６１号公報
【特許文献２】特開２０１４−９８５７６号公報
【特許文献３】特開２０１４−２１１４０４号公報
【特許文献４】特開２０１７−５３７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来のモーションキャプチャー技術では、被検体の関節位置等に装着したマーカーを複数台のカメラから撮影することが前提であるため、カメラの設置位置及び設置可能台数に物理的な制限があり、また取り除く事が不可能な車内の物理的構造物等によりカメラ撮影視野の死角も多くなることで、車内での運転動作等の計測は限定的にしか行えなかった。
例えば、頭の位置及び姿勢や、ハンドル操作時の腕の動きなど人体の限られた部位の限られた動作のみでしか計測することができなかった。
本発明は、被検体の運転動作等の各特徴点の動きを、カメラ撮影視野の死角部となる特徴点の動きを含めて三次元的に検出し表示することができるモーションキャプチャー方法及びモーションキャプチャーシステムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の課題を解決するための手段は、次のとおりである。
（１）カメラ撮影視野の死角となる位置マーカーと、カメラ撮影視野内にあって該位置マーカーを補完する少なくとも３個の位置補完マーカーとを被検体に装着するステップと、各マーカーの相対位置情報を取得するステップと、該位置補完マーカーを角度の異なる位置に配置した複数のカメラで時系列的に撮影するステップと、該複数のカメラで時系列的に得られた撮影情報より、該位置補完マーカーの動きを三角測量の原理で計測して位置補完マーカーの三次元時系列位置情報を得るステップと、取得された各マーカーの相対位置情報とカメラより得られる現在時点での該位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し該位置マーカーの三次元時系列位置情報を算出するステップと、各マーカーの三次元時系列位置情報と各マーカーの動きを表示するステップと、を含むモーションキャプチャー方法。
（２）上記位置マーカーは、関節位置マーカーであり、上記位置補完マーカーは、関節位置補完マーカーであることを特徴とする、上記（１）に記載のモーションキャプチャー方法。
（３）カメラ撮影視野の死角となる関節位置マーカーと、カメラ撮影視野内にあって関節位置と同一の身体剛体部に配置され該関節位置マーカーを補完する少なくとも３個の関節位置補完マーカーとを被検体に装着するステップと、各マーカーの相対位置情報を取得するステップと、該関節位置補完マーカーを角度の異なる位置に配置した複数のカメラで時系列的に撮影するステップと、該複数のカメラで時系列的に得られた撮影情報より、該関節位置補完マーカーの動きを三角測量の原理で計測して該関節位置補完マーカーの三次元時系列位置情報を得るステップと、取得された各マーカーの相対位置情報とカメラより得られる現在時点での該関節位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し該関節位置マーカーの三次元時系列位置情報を算出するステップと、各マーカーの三次元時系列位置情報と被検体の各マーカーの動きを表示するステップと、を含むモーションキャプチャー方法。
（４）カメラ撮影視野の死角となる位置マーカーとカメラ撮影視野内にあって該位置マーカーを補完する少なくとも３個の位置補完マーカーとを装着した被検体と、角度の異なる位置に配置し、該位置補完マーカーの動きを三角測量の原理で計測して時系列的に撮影する複数のカメラと、該複数のカメラで時系列的に得られた撮影情報より該位置補完マーカーの三次元時系列位置情報を得る画像処理装置と、各マーカーの相対位置情報とカメラより得られる現在時点での該位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し該位置マーカーの三次元時系列位置情報を算出するマーカー位置計算部を含み、各マーカーの三次元時系列位置情報と各マーカーの動きを表示する表示装置と、を備えたモーションキャプチャーシステム。
（５）上記位置マーカーは、関節位置マーカーであり、上記位置補完マーカーは、関節位置補完マーカーであることを特徴とする、上記（４）に記載のモーションキャプチャーシステム。
（６）カメラ撮影視野の死角となる関節位置マーカーとカメラ撮影視野内にあって関節位置と同一の身体剛体部に配置され該関節位置マーカーを補完する少なくとも３個の関節位置補完マーカーとを装着した被検体と、角度の異なる位置に配置し、該関節位置補完マーカーの動きを三角測量の原理で計測して時系列的に撮影する複数のカメラと、該複数のカメラで時系列的に得られた撮影情報より該関節位置補完マーカーの三次元時系列位置情報を得る画像処理装置と、各マーカーの相対位置情報とカメラより得られる現在時点での該関節位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し関節位置マーカーの三次元時系列位置情報を算出するマーカー位置計算部を含み、各マーカーの三次元時系列位置情報と各マーカーの動きを表示する表示装置と、を備えたモーションキャプチャーシステム。
なお、上記（１）、（３）、（４）及び（６）において、「各マーカー」は、位置マーカーあるいは関節位置マーカーと少なくとも３個の位置補完マーカーあるいは関節位置補完マーカーのそれぞれを指す。
【発明の効果】
【００１３】
本発明によれば、被検体の運転動作等の各特徴点の動きを、カメラ撮影視野の死角部となる特徴点の動きを含めて三次元的に検出し表示することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明のモーションキャプチャーシステムの模式図である。
【図２】本発明のモーションキャプチャーシステムに係る表示装置の表示例を示す写真である。
【図３】従来のモーションキャプチャーシステムの模式図である。
【図４】従来のモーションキャプチャーシステムに係る表示装置の表示例を示す写真である。
【発明を実施するための形態】
【００１５】
本発明に係るモーションキャプチャー技術は、カメラ撮影視野の死角となる位置マーカーと、カメラ撮影視野内にあって位置マーカーを補完する位置補完マーカーとを被検体に装着し、各マーカーの相対位置情報を取得し、位置補完マーカーを角度の異なる位置に配置した複数のカメラで時系列的に撮影し、複数のカメラで時系列的に得られた撮影情報より、位置補完マーカーの動きを三角測量の原理で計測して位置補完マーカーの三次元時系列位置情報を得、取得された各マーカーの相対位置情報とカメラより得られる現在時点での位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し位置マーカーの三次元時系列位置情報を算出し、各マーカーの三次元時系列位置情報と各マーカーの動きを表示することを要旨とするものである。
【００１６】
以下、本発明のモーションキャプチャー方法及びモーションキャプチャーシステムについて、運転動作を例示して詳細に説明する。
実施例のモーションキャプチャーシステムは、図１のモーションキャプチャーシステムの模式図に示すとおりであるが、図３に示す従来のモーションキャプチャーシステムと根本的に異なることはないので、前提になるシステム構成については簡略に説明する。また、図１の符号は図３の符号と共通とする。
さらに、カメラ等に関する詳細説明は、従来のモーションキャプチャーシステムの模式図である図３のものと重複するので省略する。
【００１７】
図１において、１は被検体であり、運転する人体を例にとり示している。
また、図１において２ａは、被検体１の関節位置に装着された関節位置マーカー（以下、「マーカー２ａ」という）であり、２ｂは、関節位置マーカーを補完することを目的とした、対象となる関節位置と同一の身体剛体部であって、カメラから撮影可能な位置に装着された少なくとも３個の関節位置補完マーカー（以下、「マーカー２ｂ」という）である。
なおここで、２ｃは、マーカー２ａ及びマーカー２ｂからなるマーカー群を示す。
【００１８】
図１において、３は、マーカー２ｂを時系列的に撮影するカメラであり、被検体１の可動範囲を囲むように被検体１の周囲に複数台設けている。各カメラ３には、撮影素子３ａと被検体１に光束を照射するＬＥＤ等の照射装置３ｂが装着されている。３ｃは、カメラ３に設けた撮影レンズである。
また、図１において４は、カメラ３で得られた撮影画像を時系列的に受信し、複数のカメラ３により得られた受信情報より被検体１に装着したマーカー２ｂの各時間（フレーム毎）における三次元情報を演算し求める画像処理装置である。
【００１９】
画像処置装置４では、カメラ３の撮像素子３ａで受光した画像を用いて画像処理を行い被検体１に装着したマーカー２ｂの三次元空間内の座標、すなわち三次元位置情報を算出する。算出方法は、二値化した画像に対してラベリングを行い、マーカー２ｂの三次元空間内の座標を、例えばエピポーラマッチングアルゴリズムを利用して算出する。
【００２０】
画像処理装置４からの情報は、表示装置５に入力される。
本発明では、表示装置５にはマーカー位置計算部６が設けられている。
マーカー位置計算部６では、事前に記憶したマーカー２ａ及び少なくとも３個のマーカー２ｂの相対位置情報と、カメラより得られる現在時点での少なくとも３個のマーカー２ｂの三次元時系列位置情報を最小二乗法の原理で計算し、カメラ撮影視野の死角となる関節位置マーカー２ａの三次元時系列位置情報を算出する。
【００２１】
本実施例では、左膝関節位置に装着したマーカー２ａと左大腿部に装着した３個のマーカー２ｂとの相対位置情報を記憶し、マーカー２ａ及び３個のマーカー２ｂの相対位置情報と、カメラより得られる現在時点での３個のマーカー２ｂの三次元時系列位置情報を最小二乗法の原理で計算してカメラ撮影視野の死角となる関節位置マーカー２ａの三次元時系列位置情報を算出し、左膝関節位置の動きを推定する。
【００２２】
表示装置５では、マーカー位置計算部６からの出力情報を表示する。
図２は、その表示例の写真である。図２から、カメラ撮影視野内の３個のマーカー２ｂに基づく特徴点及びカメラ撮影視野の死角部のマーカー２ａに基づく特徴点が表示されていることが分かる。
【００２３】
なお、本明細書に開示した実施例は、本発明の理解を容易にするために例示したものであって、本発明はこれに限定されない。
すなわち、本発明は、特許請求の範囲を逸脱しない限り、モーションキャプチャー方法及びモーションキャプチャーシステムについて、適宜の設計変更が可能であることは言うまでもないことである。
【符号の説明】
【００２４】
１  被検体
２ａ  関節位置マーカー
２ｂ  位置マーカー（図３）、関節位置補完マーカー（図１）
２ｃ  マーカー群
３  カメラ
３ａ  撮像素子
３ｂ  照明装置
３ｃ  撮影レンズ
４  画像処置装置
５  表示装置
６  マーカー位置計算部
【図１】
2019144024.tif 000003
【図２】
2019144024.tif 000004
【図３】
2019144024.tif 000005
【図４】
2019144024.tif 000006