(57)【要約】      （修正有）【課題】移動体に装着した複数のカメラの位置、又はその装着部位の位置をより高い信頼性で推定することが可能となるモーション・キャプチャ装置を提供する。【解決手段】モーション・キャプチャ装置は、移動体Ｐの複数の部位に各々装着される複数のカメラ１と、カメラ１のそれぞれの位置をそれぞれの撮影画像に基づいて逐次推定する位置推定部１１と、カメラ１のそれぞれの撮影画像のうちの移動体Ｐの画像に基づいて移動体Ｐの姿勢を推定する移動体姿勢推定部１２とを備える。位置推定部１１は、推定された移動体Ｐの姿勢により規定されるカメラ１の相互の相対的な位置関係を拘束条件として用いて、カメラ１の位置推定を行う。【選択図】図１
2020052758.tif 000002
【特許請求の範囲】
【請求項１】
複数の関節を有する移動体の運動環境における動きを観測するモーション・キャプチャ装置であって、
前記移動体の運動に伴い相対的に動く該移動体の複数の部位に、各々あらかじめ装着される複数のカメラと、
前記移動体の運動時に、前記運動環境における前記複数のカメラのそれぞれの位置又は該複数のカメラのそれぞれの装着部位の位置である対象位置を該複数のカメラのそれぞれの撮影画像に基づいて逐次推定する位置推定部と、
前記移動体の運動時に、前記複数のカメラのそれぞれの撮影画像のうちの前記移動体の画像に基づいて、前記移動体の画像に対応する該移動体の姿勢を推定する移動体姿勢推定部とを備えており、
前記位置推定部は、前記推定された前記移動体の姿勢により規定される前記複数のカメラの相互の相対的な位置関係を、前記複数のカメラのそれぞれに対応する前記対象位置の相互の相対的な位置関係に関する拘束条件として用いて、該対象位置の推定を行うように構成されていることを特徴とする移動体のモーション・キャプチャ装置。
【請求項２】
請求項１記載の移動体のモーション・キャプチャ装置において、
前記位置推定部は、ＳＬＡＭ（Simultaneous Localization and Mapping）の手法により、前記運動環境のマップの作成と、前記対象位置の推定とを行うように構成されていると共に、該ＳＬＡＭの手法に含まれる閉じ込み処理の実行時に前記拘束条件を用いるように構成されていることを特徴とする移動体のモーション・キャプチャ装置。
【請求項３】
請求項２記載のモーション・キャプチャ装置において、
前記位置推定部は、前記閉じこみ処理の実行時に、前記複数のカメラから選定した２つのカメラをステレオカメラとして用いるステレオ画像処理により前記マップの作成用の深度マップを作成すると共に、該ステレオ画像処理を、前記推定された前記移動体の姿勢から特定した当該２つのステレオカメラの距離の値を用いて実行するように構成されていることを特徴とするモーション・キャプチャ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人等の移動体の動きを観測するモーション・キャプチャ装置に関する。
【背景技術】
【０００２】
複数の関節を有する人等の移動体の動きを観測する（モーション・キャプチャを行う）技術としては、例えば、移動体の手足等の複数の可動部位にマーカを取り付けておき、これらのマーカを、移動体の運動環境に設置したカメラにより撮影することで、移動体の動きを観測する技術が従来より一般に知られている。
【０００３】
しかしながら、かかる技術では、マーカがカメラの死角に位置する状況が発生しやすく、当該状況では、移動体の動きを正しく観測することができない。また、移動体の運動環境にカメラを設置するために、移動体の動きを観測し得る環境が制限されやすい。
【０００４】
一方、このような不都合を解消し得る技術として、例えば特許文献１に見られるように、移動体に複数の広角カメラを装着し、これらのカメラの撮影映像から、移動体の動きを観測する技術も従来より知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２３１６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に見られる技術では、移動体に装着した各カメラ毎に、外部の固定的な特徴部の撮影画像を基に、各カメラの位置を行うので、各カメラの推定位置の精度が各カメラと特徴部との位置関係の影響を受けやすい。このため、各カメラの位置、あるいは、移動体の各部の位置を、安定的に高い信頼性で観測することが困難である。
【０００７】
本発明はかかる背景に鑑みてなされたものであり、移動体に装着した複数のカメラの位置、又はその装着部位の位置をより高い信頼性で推定することが可能となるモーション・キャプチャ装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のモーション・キャプチャ装置は、上記の目的を達成するために、複数の関節を有する移動体の運動環境における動きを観測するモーション・キャプチャ装置であって、
前記移動体の運動に伴い相対的に動く該移動体の複数の部位に、各々あらかじめ装着される複数のカメラと、
前記移動体の運動時に、前記運動環境における前記複数のカメラのそれぞれの位置又は該複数のカメラのそれぞれの装着部位の位置である対象位置を該複数のカメラのそれぞれの撮影画像に基づいて逐次推定する位置推定部と、
前記移動体の運動時に、前記複数のカメラのそれぞれの撮影画像のうちの前記移動体の画像に基づいて、前記移動体の画像に対応する該移動体の姿勢を推定する移動体姿勢推定部とを備えており、
前記位置推定部は、前記推定された前記移動体の姿勢により規定される前記複数のカメラの相互の相対的な位置関係を、前記複数のカメラのそれぞれに対応する前記対象位置の相互の相対的な位置関係に関する拘束条件として用いて、該対象位置の推定を行うように構成されていることを特徴とする。
【０００９】
なお、本発明おける「移動体の姿勢」というのは、移動体の各部（移動体の各関節又は各関節に連なるリンク要素）の相互の相対的な位置及び姿勢の関係を示すものを意味する。
【００１０】
本発明によれば、前記位置推定部は、移動体姿勢推定部により移動体の画像に基づいて推定された移動体の姿勢により規定される複数のカメラの相互の相対的な位置関係を、該複数のカメラのそれぞれに対応する前記対象位置の相互の位置関係に関する拘束条件として用いて、該対象位置の推定を行う。このため、各カメラに対応する対象位置の推定値が、移動体の実際の姿勢に適合しない位置に乖離しないように、各カメラに対応する対象位置を推定することが可能となる。
【００１１】
よって、本発明によれば、移動体に装着した複数のカメラの位置、又はその装着部位の位置をより高い信頼性で推定することが可能となる。
【００１２】
かかる本発明では、前記位置推定部は、ＳＬＡＭ（Simultaneous Localization and Mapping）の手法により、前記運動環境のマップの作成と、前記対象位置の推定とを並行して行うように構成されていると共に、該ＳＬＡＭの手法に含まれる閉じ込み処理の実行時に前記拘束条件を用いるように構成されていることが好ましい。
【００１３】
これによれば。移動体の運動環境によらずに、該運動環境のマップの作成と、各カメラに対応する対象位置（運動環境における対象位置）の推定とを効率よく行うことができる。加えて、前記閉じ込み処理で前記拘束条件を用いることで、該閉じ込み処理により修正する対象位置の推定値の信頼性を高めることが可能となる。
【００１４】
さらに、前記位置推定部は、前記閉じこみ処理の実行時に、前記複数のカメラから選定した２つのカメラをステレオカメラとして用いるステレオ画像処理により前記マップの作成用の深度マップを作成すると共に、該ステレオ画像処理を、前記推定された前記移動体の姿勢から特定した当該２つのステレオカメラの距離の値を用いて実行するように構成されていることが好ましい。
【００１５】
これによれば、前記ステレオ画像処理でステレオカメラとして用いる２つのカメラの間の距離の値として、移動体姿勢推定部により推定された移動体の姿勢から特定した値を用いるので、信頼性の高い深度マップを作成し、ひいては、移動体の運動環境の信頼性の高いマップを作成することが可能となる。その結果、該運動環境における対象位置（運動環境に設定した座標系で見た対象位置）の推定値の信頼性をより一層高めることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態のモーション・キャプチャ装置の全体構成を概略的に示す図。
【図２】図１に示す外部処理装置の処理を示すフローチャート。
【図３】図２のＳＴＥＰ２で使用する移動体のリンクモデルを例示する図。
【発明を実施するための形態】
【００１７】
本発明の一実施形態を図１〜図３を参照して以下に説明する。図１を参照して、本実施形態のモーション・キャプチャ装置（以下、単にＭＣ装置という）の観測対象の移動体は、例えば人Ｐであり、各脚の股関節、膝関節及び足首関節と、各腕の肩関節、肘関節及び手首関節、首関節等の複数の関節を有する。
【００１８】
そして、本実施形態のＭＣ装置は、人Ｐの複数の部位に各々装着された複数のカメラ１と、外部処理装置１０とを備える。複数のカメラ１は、いずれも広角カメラであり、人Ｐの頭部に、ヘルメット、帽子等の適宜の取付け用部材を介して装着されたカメラ１ａと、人Ｐの左右の腕の手のそれぞれに、手袋等の適宜の取付け用部材を介して装着された２つのカメラ１ｂＬ，１ｂＲと、人Ｐの左右の脚の足のそれぞれに、靴等の適宜の取付け用部材を介して装着された２つのカメラ１ｃＬ，１ｃＲとを含む。
【００１９】
この場合、本実施形態では、カメラ１ａは、頭部を正面に向けた状態（図１に示す状態）で、光軸が上方に向くように頭部に装着されている。また、カメラ１ｂＬ，１ｂＲは、それぞれの光軸が、手の甲部の表面にほぼ垂直な方向に向くように、左右の各手の甲部側で各手に装着されている。また、カメラ１ｃＬ，１ｃＲは、各足部を水平面に接地させた状態（図１に示す状態）で、それぞれの光軸が上方に向くように、左右の各足の爪先寄りで各足に装着されている。
【００２０】
また、各カメラ１は、無線通信機能を有しており、撮影画像を無線通信を介して外部に出力することが可能である。なお、人Ｐへの複数のカメラ１の装着部位は、上記の部位に限られない。例えば、上記の部位に加えて、あるいは、上記の部位のうちのいずれかの部位の代わりに、人Ｐの胴体、各腕の途中部、各脚の途中部等にカメラを装着してもよい。
【００２１】
外部処理装置１０は、例えば、パソコン等の１つ以上のコンピュータ装置、あるいは、マイコン、メモリ、インターフェース機器等を含む１つ以上の電子回路ユニット、あるいは、これらの複合体により構成され、各カメラ１と無線通信を行うことが可能である。
【００２２】
そして、外部処理装置１０は、実装されたハードウェア構成とプログラム（ソフトウェア構成）との両方又は一方により実現される機能として、人Ｐの移動等の運動時に、人Ｐの運動環境のマップ（以降、環境地図という）を作成しつつ、該運動環境での各カメラ１の位置を逐次推定する位置推定部１１としての機能と、人Ｐの姿勢（人Ｐの各関節の動作状態により規定される人Ｐの全体的な姿勢）を推定する移動体姿勢推定部１２としての機能とを有する。なお、外部処理装置１０の一部の機能を有する処理装置を人Ｐに装着しておくことも可能である。
【００２３】
次に、外部処理装置１０のより具体的な処理を説明する。外部処理装置１０を起動すると、該外部処理装置１０が各カメラ１と無線通信を行い得る状態になり、外部処理装置１０と各カメラ１とで時刻を互いに同期させる等の初期処理が実行される。
【００２４】
そして、外部処理装置１０は、図２のフローチャートに示す如き処理を繰り返す。ＳＴＥＰ１で、外部処理装置１０は、各カメラ１の撮影画像を取得する。この場合、外部処理装置１０は、各カメラ１に対して撮影画像を要求する。この要求に応じて各カメラ１は撮影を実行して撮影画像を取得し、その撮影画像を、撮影時刻を示す時刻情報と共に、外部処理装置１０に送信する。そして、外部処理装置１０は、各カメラ１から受信した撮影画像を時刻情報と共にメモリに保存する。
【００２５】
次いで、外部処理装置１０は、移動体姿勢推定部１２の処理（ＳＴＥＰ２、３）と、位置推定部１１の処理（ＳＴＥＰ１１〜１４）とを並行して実行する。
【００２６】
移動体姿勢推定部１２は、ＳＴＥＰ２において、各カメラ１から取得した撮影画像のうち、人Ｐが写っている各撮影画像中の人の画像を、学習済の深層学習識別器に入力する。
【００２７】
ここで、上記深層学習識別器は、多層構造のニューラルネットワークにより構成されるものであり、人の画像が入力されると、該画像中の人の各関節の位置を表すPart Confidence Mapという情報（以降、ＰＣＭという）と、該画像中の関節の相互の繋がりを表すPart Affinity Fieldsという情報（以降、ＰＡＦという）とを出力し得るように、事前学習により構築されている。
【００２８】
さらに、深層学習識別器は、人Ｐの幾何学モデル（剛体リンクモデル）があらかじめ登録されており、人Ｐのうちの、各カメラ１の撮影画像に写っていない部分については、該幾何学モデルを使用した逆運動学の演算処理により各関節の位置を推定し得るように、事前学習により構築されている。この場合、該逆運動学の演算処理では、位置推定部１１による推定済の各カメラ１の位置により規定される人Ｐの頭部、左右の手及び左右の足の推定位置と、撮影画像から得られた前記ＰＣＭにより示される関節位置とが用いられる。
【００２９】
また、幾何学モデルとしては、例えば図３に例示する如き幾何学モデルＬＭを使用し得る。図示例の幾何学モデルＬＭは、人Ｐの左脚の股関節、膝関節、足首関節にそれぞれ対応する関節Ｊ１Ｌ，Ｊ２Ｌ，Ｊ３Ｌと、人Ｐの右脚の股関節、膝関節、足首関節にそれぞれ対応する関節Ｊ１Ｒ，Ｊ２Ｒ，Ｊ３Ｒと、人Ｐの腰部の関節に対応する関節Ｊ４と、人Ｐの左腕の肩関節、肘関節、手首関節にそれぞれ対応する関節Ｊ５Ｌ，Ｊ６Ｌ．Ｊ７Ｌと、人Ｐの右腕の肩関節、肘関節、手首関節にそれぞれ対応する関節Ｊ５Ｒ，Ｊ６Ｒ．Ｊ７Ｒと、人Ｐの首関節に対応する関節Ｊ８とを有する幾何学モデルであり、各関節の回転自由度と、各関節に連なるリンクの長さはあらかじめ定められている。
【００３０】
ＳＴＥＰ２では、各カメラ１に撮影された撮影画像のうちの人Ｐの画像が、事前学習によって上記の如く構築されている深層学習識別器に入力される。このとき、ＳＴＥＰ３において、深層学習識別器は、人Ｐの姿勢の推定情報を出力する。
【００３１】
すなわち、深層学習識別器は、人Ｐの画像から前記ＰＣＭ及びＰＡＦを生成し、さらに、撮影画像に写っていない人Ｐの各関節の位置を、逆運動学の演算処理を用いて推定する。これにより、人Ｐの姿勢が推定される。
【００３２】
なお、移動体姿勢推定部１２が推定する人Ｐの姿勢は、より詳しくは、人Ｐに対して設定された座標系（例えばいずれかのカメラ１に対して固定された座標系）で見た姿勢である。
【００３３】
本実施形態では、移動体姿勢推定部１２は、上記のＳＴＥＰ１〜３の処理を繰り返すことで、人Ｐの姿勢を時系列的に推定する。
【００３４】
また、位置推定部１１は、ＳＴＥＰ１１において、各カメラ１の撮影画像を基に、ＳＬＡＭ（Simultaneous Localization and Mapping）の手法により、環境地図を作成する処理と、人Ｐの運動環境での各カメラ１の位置（詳しくは、人Ｐの運動環境に設定したワールド座標系で見た各カメラ１の位置）を推定する処理とを、各カメラ１毎に実行する。
【００３５】
この場合、本実施形態でのＳＬＡＭは、より詳しくは、ＤＳＯ（Direct Sparse Odometry）という手法を用いるビジュアルＳＬＡＭであり、各カメラ１の位置を、環境地図を表す深度マップを作成しながら、逐次推定することができる。
【００３６】
さらに位置推定部１１は、ＳＴＥＰ１２において、人Ｐの運動によって、いずれかのカメラ１が既に通過した位置の近辺位置に戻るというループが検出されたか否かを判断し、この判断結果が否定的である場合には、ＳＴＥＰ１、１２の処理を繰り返す。
【００３７】
いずれかのカメラ１について、前記ループが検出されることによって、ＳＴＥＰ１２の判断結果が肯定的になった場合には、位置推定部１１は、ＳＴＥＰ１３において、移動体姿勢推定部１２から人Ｐの現在の姿勢の推定情報を取得する。
【００３８】
さらに、ＳＴＥＰ１４において、位置推定部１１は、ＳＬＡＭにおけるループ閉じ込みの処理を実行することで、ループが検出されたカメラ１の推定位置（ＤＳＯの手法による推定位置）を修正する。
【００３９】
この場合、位置推定部１１は、人Ｐの現在の姿勢の推定情報により示される各カメラ１の相互の相対的な位置関係を拘束条件として、ループ閉じ込みの処理を実行する。すなわち、位置推定部１１は、ループ閉じ込み処理の結果として得られる各カメラ１の相互の相対的な位置関係（ループが検出されたカメラ１の修正後の推定位置と、他のカメラ１の推定位置とから規定される相互の位置関係）を、移動体姿勢推定部１２により得られた人Ｐの現在の姿勢により規定される位置関係に極力一致させるように、ループが検出されたカメラ１についてのループ閉じ込みの処理（該カメラ１の推定位置の修正）を実行する。
【００４０】
ＳＴＥＰ１４ではさらに、位置推定部１１は、人Ｐの現在の姿勢の推定情報により示される各カメラ１の相互の相対的な姿勢関係に基づいて、複数のカメラ１のうち、光軸方向が概ね同方向となっている２つのカメラ１の対をステレオカメラとして選定する。そして、位置推定部１１は、選定した２つのカメラ１の撮影画像から、ステレオ画像処理の手法により人Ｐの運動環境の深度マップ（環境地図の作成用の深度マップ）を作成する。この場合、位置推定部１１は、人Ｐの現在の姿勢の推定情報から、選定した２つのカメラ１の間の距離を特定し、その距離を用いてステレオ画像処理の実行する。その後、位置推定部１１は、ＳＴＥＰ１からの処理を繰り返す。
【００４１】
本実施形態では、位置推定部１１の処理は上記の如く実行される。この場合、各カメラ１の位置推定でループが検出された場合に、ＳＴＥＰ１４において、人Ｐの現在の姿勢の推定情報に基づく上記の拘束条件を用いてループ閉じ込みの処理を行うことで、当該拘束条件を使用せずに、ループ閉じ込みの処理を実行する場合よりも、環境地図を精度よく作成できると共に、各カメラ１の推定位置の誤差蓄積を好適に防止して、該推定位置の精度を高めることができる。
【００４２】
加えて、ＳＴＥＰ４では、人Ｐの現在の姿勢の推定情報から、ステレオカメラを構成する２つのカメラ１の対を選定すると共に、該２つのカメラ１の間の距離を特定した上で、ステレオ画像処理の手法により深度マップを作成することで、信頼性の高い深度マップを作成することができる。ひいては、該深度マップを、各カメラ１の位置の推定処理（ＤＳＯの手法による推定処理）に用いることで、人Ｐの運動環境における各カメラ１の位置をより高い信頼性で精度よく推定することができる。
【００４３】
なお、以上説明した実施形態では、位置推定部１１は、各カメラ１の位置を推定するようにしたが、人Ｐの各カメラ１の装着部位の位置を推定するようにしてもよい。また、カメラの装着部位と装着する個数も前記実施形態に限定されない。例えば、カメラ１を足ではなく腿や脛に取り付けることも可能である。カメラの個数も実施形態に示される５つに限らず、増減させることも可能である。また、前記実施形態での移動体は、人Ｐであるが、本発明における移動体は、例えば複数の関節を有する移動ロボットであってもよい。
【符号の説明】
【００４４】
１…カメラ、１１…位置推定部、１２…移動体姿勢推定部、Ｐ…人（移動体）。
【図１】
2020052758.tif 000003
【図２】
2020052758.tif 000004
【図３】
2020052758.tif 000005