(57)【要約】個人の筋肉活動を取得および分析するシステムおよび対応する方法を開示する。システムは、それぞれのセンサを通じて、個人の筋肉グループの第１の電気信号と少なくとも筋肉グループの第２のデジタルビデオ信号とを少なくとも取得するのに適合された、少なくとも筋電図取得セクション（Ａ）およびビデオ取得セクション（Ｂ）と、コンピュータプロセッサ（６）と、コンピュータプロセッサ（６）によって処理された出力を提供するユーザインタフェース（１２）とを含む。コンピュータプロセッサはさらに、筋電図セクション（Ａ）およびビデオセクション（Ｂ）と通信するインタフェースと、推論規則のデータベース（１１）と、推論モータを使用するエキスパートシステム（１０）と共に提供される分析処理手段（９）とを含み、データベース（１１）内に配置されている人工知能の方法およびツールに特有の推論規則を適用することにより、筋電図取得セクション（Ａ）の第１および第２の信号と、ビデオセクション（Ｂ）の第１および第２の信号とが関連付けられる。筋電図取得セクション（Ａ）のセンサの利得の修正パラメータとして使用するインピーダンス値を決定するように適合された、少なくとも１つの、個人の皮膚インピーダンスの検出センサをさらに備える。
2015514467.tif 000002
【特許請求の範囲】
【請求項１】
それぞれのセンサを通じて、個人の筋肉グループの第１の電気信号と少なくとも前記筋肉グループの第２のデジタルビデオ信号とを少なくとも取得するのに適合された、少なくとも筋電図取得セクション（Ａ）およびビデオ取得セクション（Ｂ）と、コンピュータプロセッサ（６）と、前記コンピュータプロセッサ（６）によって処理された出力を供給するユーザインタフェース（１２）とを含む、個人の筋肉活動の取得および分析用のシステムであって、
前記コンピュータプロセッサがさらに、前記筋電図セクション（Ａ）および前記ビデオセクション（Ｂ）と通信するインタフェースと、推論規則のデータベース（１１）と、推論モータを使用するエキスパートシステム（１０）と共に提供される処理分析手段（９）とを含み、前記推論モータが、前記データベース（１１）内に提供されている人工知能の方法およびツールに特有の前記推論規則を適用することにより、前記筋電図取得セクション（Ａ）の前記第１および第２の信号と、前記ビデオセクション（Ｂ）の前記第１および第２の信号とが関連付けられ、
筋電図取得セクション（Ａ）の前記センサの利得の修正パラメータとして使用するインピーダンス値を決定するように適合された、少なくとも１つの、前記個人の皮膚インピーダンスの検出センサをさらに備えることを特徴とするシステム。
【請求項２】
推論モータを使用する前記エキスパートシステム（１０）の上流に、参照クロックを有する同期手段を備え、該同期手段により、前記第１および第２デジタル信号が時間フレームに分割され時間的に同期される、請求項１に記載のシステム。
【請求項３】
前記分析処理手段（９）が、同期した前記デジタル信号を時間シフトの方式で操作する、請求項１または２に記載のシステム。
【請求項４】
前記筋電図セクション（Ａ）が、ユーザの筋肉器官に接触して適用される少なくとも複数の電極センサ（２）を含む、請求項１〜３のいずれか１つに記載のシステム。
【請求項５】
前記皮膚インピーダンスセンサが前記コンピュータプロセッサ（６）に接続されて、対応する信号が、前記筋電図セクション（Ａ）の前記センサ（２）の各チャンネルの利得の調節パラメータとして使用される、請求項１〜４のいずれか１つに記載のシステム。
【請求項６】
不整合パラメータが、前記第１および第２の信号の組合せと、前記データベース（１１）内に格納された参照値との間の比較として決定され、前記不整合パラメータを通じて、前記システムの物理的な構成の自己調整手段のための出力が提供される請求項１〜５のいずれか１つに記載のシステム。
【請求項７】
個人の筋肉活動の取得および分析用の方法であって、請求項１〜６のいずれか１つに記載のシステムを使用するステップである、
筋電図取得セクション（Ａ）およびビデオ取得セクション（Ｂ）を通じて、時間的に同期した方法において、個人の筋肉グループの第１の電気信号と、少なくとも前記筋肉グループの第２のデジタルビデオ信号とを少なくともそれぞれ取得する取得ステップと、
推論モータを使用するエキスパートシステム（１０）を備えるコンピュータプロセッサ（６）へ、前記第１および第２の信号を同期させて送信する送信ステップであって、前記推論モータが、前記コンピュータプロセッサ（６）に接続されたデータベース（１１）内に提供されている推論規則を適用することにより、前記第１および第２デジタル信号が関連付けられる、送信ステップと、
前記相関性の結果をユーザインタフェース（１２）へ発行する発行ステップとを含む、方法。
【請求項８】
ユーザの皮膚のインピーダンス値を検出する検出ステップであって、前記筋電図取得セクションの複数のセンサ（２）に対応して、前記インピーダンス値に正比例する方式で、前記センサ（２）の利得を引き続き調節する、検出ステップを含む、請求項７に記載の方法。
【請求項９】
前記相関性に基づいて、前記エキスパートシステム（１０）が前記ユーザの筋肉活動の特徴を分類する、請求項７または８に記載の方法。
【請求項１０】
前記データベース（１１）内に格納される比較モデルを構築するように、ユーザによって行なわれた既知の筋肉活動に対応する前記第１および第２の信号を取得する、前記エキスパートシステム（１０）の予備トレーニングステップを含む、請求項７〜９のいずれか１つに記載の方法。
【請求項１１】
前記システムの物理的な構成の自己調整手段のための出力を提供するための不整合パラメータを決定するように、前記相関性に基づいて、前記第１および第２の信号の組合せが、前記データベース（１１）内に格納された参照値と比較される、請求項７〜１０のいずれか１つに記載の方法。
【請求項１２】
前記ユーザのスケルトンを提供するように、前記筋電図取得セクション（Ａ）の前記信号と前記ビデオ取得セクション（Ｂ）の前記信号とが関連付けられる、請求項７〜１１のいずれか１つに記載の方法。
【請求項１３】
スポーツ選手の動作を表すデジタル信号を取得するステップと、
修正アクションを表す出力を提供するように適合されたユーザインタフェース（１２）に対して実行される、比較するステップとを含み、
前記修正アクションが、前記スポーツ選手が特定のスポーツの実行を達成するために適用される、スポーツのトレーニング方法であって、
請求項７〜１２のいずれか１つに記載されたステップを含むことを特徴とする、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、筋肉活動の取得および分析用のシステム、並びにその動作方法に関する。
【背景技術】
【０００２】
スポーツまたは医学の分野において、個人の筋肉の働きを検出し記録を行うことへのニーズが存在する。そのような目的にしばしば使用される道具は、筋肉の活動中に筋肉によって生成された電気信号をサンプリングすることができる筋電計センサから成る。筋電計センサによって得られる情報は、それ自身が筋肉の働きおよびローカルな反応性を理解するのに適切であるが、複数の筋肉が複数の神経質な刺激および種々の外部の力（外部反応、および同様に、個人自身のダイナミクスに由来する慣性力）にさらされる状態に配置される、複雑な人間として意味される個人のすべての特性を記述するには、多くの場合不十分である。
【０００３】
個人の四肢または骨配置の位置を取得するためのイメージセンサもまた知られている。この技術は、例えばビデオゲームの分野において、操縦装置をコントロールすることができるように、あるいは、人体（おそらく検出精度を増加させるマーカの援助と共に）に対して治療的に動作することに使用される。
【０００４】
上記目的のために筋電計センサまたはイメージセンサを使用するいくつかの公知の装置は、例えば特許文献１、特許文献２および特許文献３に記述されている。
【０００５】
さらに、筋電計センサおよびイメージセンサによって取得した２つのタイプの情報をなんとかして組み合わせることも示唆されている。先行技術の例は、特許文献４および特許文献５に記述されている。しかしながら、これらのケースでは、異なるタイプのセンサから到来する２つの異種信号が別々に処理され、これは、エキスパートではないユーザが直接使用可能な自動的な結果物を供給しない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１０／１０４８７９号
【特許文献２】欧州特許第３１０９０１号明細書
【特許文献３】国際公開第２０１０／９５６３６号
【特許文献４】特開２００９−２７３５５１号公報
【特許文献５】米国特許出願公開第２０１２／００４５７９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、本発明の目的は、完全で、信頼でき、エキスパートではないユーザが直接使用可能な個人の筋肉活動についての情報を、自動的に提供するような、先行技術の欠点を克服する装置および関連する方法を提供することにある。
【課題を解決するための手段】
【０００８】
そのような目的は、必須の用語によって請求項１に記述された特徴によって達成される。従属請求項は、本発明の選択的な特徴を記述する。
【０００９】
本発明に係るシステムは、運動学的なおよび動的な視点の両方から、２つの別個の取得セクションと、ユーザによって行なわれたアクションを認識することができる処理装置とを含む。したがって、システムは、ビデオカメラと、他の生物測定の補助センサによって援助された、好ましくはユーザの感情の状態について理解するための処理技術を開発する（アフェクティブ・コンピューティング）ために十分なタイプおよび量の、ユーザの身体に適用された筋電計センサと、のシステムを利用することにより、ユーザのアクションを理解することができる。
【００１０】
ビデオカメラ（第１の取得セクション）の使用を通じて、システムは、ユーザの様々な身体パーツの位置、速度および加速度の特徴を得ることができ、筋電計技術（他の生物測定のセンサによって援助された）による間、同じユーザの努力、疲労および筋肉の緊張についての情報が得られる。
【発明の効果】
【００１１】
したがって、システムは、人工知能技術を通じて、ユーザのアクションについての情報を抽出し、この情報についての知識および理解を通じて積極的にユーザと対話するために、これら信号のすべてをリアルタイムで認識し、それらを合併することができる。特に、システムは、筋肉活動およびユーザのアクションについての運動学を測定することができ、したがって、例えばスポーツ分野、リハビリテーション分野およびゲーム分野といった、様々な異なる分野における所与のアクションの十分な測定を行うために、ユーザの運動（ユーザの身体パーツの位置、速度および加速度）と共に、様々な筋肉グループ（燃焼速度、疲労、運動単位の活性化の幅および速度）の活性化の量を決定することができる。
【００１２】
本発明のさらなる特徴および利点は、発明を制限しない例として単に与えられる添付の図面において例示され、いかなる場合においても以下の発明を実施するための形態から明白である。
【図面の簡単な説明】
【００１３】
【図１Ａ】本発明に係るシステムの全般的なフローチャートである。
【図１Ｂ】本発明に係る取得および分析システムについての概略図である。
【図２】本発明に係るシステムにおいて行なわれる動作プロセスのフローチャートである。
【図３】本発明に係るシステムにおいて行われる第１のキャリブレーションステップのフローチャートである。
【図４】本発明に係るシステムにおいて行われる第２の取得ステップのフローチャートである。
【図５】本発明に係るシステムにおいて行われる第３の処理ステップのフローチャートである。
【図６】本発明に係るシステムにより時間に依存して取得されるいくつかの筋電計およびビデオ時間に基づく信号についての一連の例示的なダイヤグラムを表す。
【図７】筋電計信号の処理についての例示的なフローチャートである。
【図８】ビデオ信号の処理についての例示的なフローチャートである。
【図９】本発明に係るシステムの可能な応用例を示す例示的な図面である。
【発明を実施するための形態】
【００１４】
図面を参照すると、個人の筋肉活動の取得および分析システムは、筋電計信号を取得するための第１のセクションＡと、ビデオ信号を取得するための第２のセクションＢとの、２つの主な信号取得セクションから構成される。実質的には、一方では、ビデオ装置がユーザの動いているイメージを取得して、対応するビデオ信号を供給し、他方では、筋電計装置の複数の電極が、ユーザの身体のプリセットされた位置に適用され、ＥＭＧカードを通じて筋電計信号（すなわち、筋肉中の電気的な活動の信号）を取得する。
【００１５】
本発明によると、２つのセクションＡおよびＢにおいて取得した信号は、２つの信号の単純な合計から与えられないが一方で２つの信号のものの相関の結果である出力信号を提供するために、処理および相互に調整され、それはしたがって、２つのセクションにおいて取得した信号の合計から入手可能なものに関する相乗作用的な成果を提供する。
【００１６】
図１Ａの下側には、２つの信号の処理が簡潔に表される。ビデオ信号「モーションキャプチャ」および筋電計信号「ＥＭＧ」を取得し時間的に同期させる。続いて、同期したビデオ特徴および同期したＥＭＧ特徴を抽出し、個人の身体の動的なアクションが分割されている複数のフレームにそれらを重ね合わせる。続いて、アクションに関して分割された同期したビデオ特徴および同期したＥＭＧ特徴は、コンテキストを考慮に入れる調整または重みファクターを使用して共に合併され、そのような意味では、提供する測定はパラメトリックなタイプである。
【００１７】
したがって、処理は、２つの別個の取得セクションに由来する２つのオリジナルの信号によって決定される出力を供給することができ、この出力はさらに、コンテキストと、ビデオ信号およびＥＭＧ信号の間の相互の影響とによって影響を受けることができる。その出力信号は、個人のアクション（例えば特定の注文を行なうための）をキャリブレーションして包括的に認識するために、また、個人のアクションモード（例えば、スポーツ・エクササイズの際または力を適用する際のアクションを調整する目的のための）におけるエラーを検出するためなどに、アバター（例えばビデオゲームコンソール上の）の動作のコントロールに使用することができる。
【００１８】
図１Ｂは、本発明に係るシステムにおいて使用され得るハードウェア構成の概略を示す。
【００１９】
第１の取得セクションＡには、電極２および表面筋電図取得カード（ＳＥＭＧ）３と共に提供されるガーメント１（バンド、セーター、ウェットスーツ、ズボンなど）が属する。表面筋電図取得カード（ＳＥＭＧ）３は、各電極２または電極２のペアについて、１または好ましくは複数のチャンネルを有し、筋収縮中に発生する電気信号を取得し、フィルタリングし、サンプリングすることができる。腕の活動を参照すると、本発明のシステムに適した有利な構成は、二頭筋上に１対の電極２ｉを有し、腕橈骨筋上に１対の電極２ｉｉを有し、肘の上に参照電極２ｉｉｉを有し、三頭筋上に１対の電極２ｉｖを有することを示している。
【００２０】
第２の取得セクションＢには、ビデオセンサ（ＲＧＢカメラ、深度マップカメラ、マーカを用いるＩＲモーションキャプチャカメラ、モーション感知入力装置）５が属する。ビデオセンサ５は、個人の動きのダイナミクスまたは個人の身体（図示する例では、腕の動き）の特定部分のイメージ・シーケンス（プリセットされた周波数では例えば３０Ｈｚ）を得ることができる。
【００２１】
システムはさらに処理装置６を備え、処理装置６には、例えばケーブルまたは無線方式（無線周波数、赤外線など）を用いた任意の公知の方法により、筋電計カード３およびビデオセンサ５が接続される。
【００２２】
順番に、コンピュータユニットまたはプロセッサ６は、筋電計センサ３およびビデオセンサ５からの信号の取得についての、単一の参照時間信号（参照クロック）生成手段８と共に、信号同期装置７を備える。したがって、それは、参照クロックにより提供され各センサによって各データ取得に割り当てられるタイムマーカ（タイムスタンプ）を通じて、２つの信号の取得を同期させるために提供される。コンピュータプロセッサ６はさらに、分析処理手段９を備え、分析処理手段９は、分析を行い、ディスジョイント処理（すなわち、センサのタイプに基づいて各信号をフィルタリングおよびクリーニングする）、および／または、取得した信号のジョイント処理（ジョイント情報を用いた情報の併合およびアクションの分割）を行う。これら分析処理手段９は、取得した信号について、リアルタイムまたは時間シフトの方式で動作することができる。
【００２３】
さらに本発明によると、人工知能の応用が分析処理手段９と関連付けられる（人工知能法およびツールは、典型的には、マシンラーニング、ＡＮＮ、ＳＶＭ、ＨＭＭなどである）。人工知能の応用として、例えばエキスパートシステム１０を使用することができ、それは、活動の或る分野において熟練した１人または複数人の能力を再現することができるコンピュータシステムであり、推論モータを備え、推論モータにより、分析処理手段９から到来するデータに対して、データベース１１内に適切に格納されている推論規則が適用される。表現「推論モータ」により、取得センサから到来するデータを通じて検出されるユーザのアクションに基づいた、論理的な結論を引き出すことが可能なアルゴリズムをインプリメントする、標準的または所有者固有の応用が理解される。
【００２４】
推論モータを通じて、２つの取得セクションＡおよびＢに由来する信号は、人工知能（マシンラーニング、ＡＮＮ、ＳＶＭ、ＨＭＭなどのような）の方法およびツールに典型的な推論規則を適用することにより関連付けられる。
【００２５】
処理装置６はさらに、ユーザインタフェース１２に接続された出力を備え、これにより、ユーザは、エキスパートシステム１０によって検出され、取得され、抽出された筋肉活動の特徴の分類を得る。ユーザインタフェース１２は、グラフィック方式（例えばモニタ）、オーディオ方式（例えばスピーカ）、または触覚の方式で、処理の結果をユーザに示す。ユーザインタフェース１２を通じて表現されたそのような結果は、システムが専門としている応用のタイプ（リハビリテーション、ゲーム、スポーツ）に依存する。
【００２６】
エキスパートシステム１０が情報を得ているデータベース１１のコンテンツは、参照コンテキストに依存し、例えば、ジムでの応用については、持ち上げられるロードについての情報が提供され、ビデオゲームでの応用については、コントロールのプレーについての情報が提供される、など。データベースは、典型的には、ユーザの体重、体脂肪量、身長、年齢、性別といったユーザの情報を含み、これらは、ユーザによって行なわれたアクションに関する論理的な結論を引き出すために、エキスパートシステム内において使用される。データベース１１はさらに、以前のアクションの結果を含み、その結果、エキスパートシステムは、異なるアクション間の比較、または異なる時間において行なわれた同じアクション間の比較（すなわち、エクササイズにおける改善および進捗を示す）を実行し、ユーザに供給することができる。
【００２７】
データベース１１では、ユーザの生理学的パラメータ（ボディマス指数、脂肪量指数、身長、体重、人体測定学的な測定値など）に関する情報とそれのアクションについての情報とを、例えば格納することができる。
【００２８】
より一般的な言い方では、信号の測定および取得は、パラメトリックな方式で、さらにセンサの選択に基づいて行われることが理解される。言い替えると、センサ精度（結果として追加のコスト）と測定を行う際の精度との両方が、応用のタイプに依存して選択および／または調節される。一例として、プロフェッショナルのスポーツ選手用に開発されたシステムとアマチュアのスポーツ選手用のそれとは、同じ推論モータと、信号処理についての同じ規則およびモデルとを共有することが可能であるが、しかしそれらはハードウェアおよびソフトウェア装置に関して異なる選択を提供する。その結果、発展した応用例によると、処理時間、精度、およびシステムによって提供される情報量に関して違いがある。
【００２９】
さらなる実施形態によると、システムはさらに、筋電計センサ３およびビデオセンサ５から到来する情報と、対象とする筋肉器官の有意な量の動的な動きを検出する、１または複数の追加のセンサから到来する他の情報とを統合することにより、動作することができる。そのような追加のセンサは、加速度計、ジャイロスコープ、エンコーダ、移動センサ、位置センサ、スピードセンサ、近接センサ、接触センサ、少なくとも追加のディスプレイセンサなどであり得る。同様に、システムは、セクションＡおよびＢから到来する情報と、ユーザによって発揮された有意な量の筋力を検出する、１または複数の追加のセンサから到来する情報とを統合することができる。
【００３０】
特に、本発明に係るシステムにおいて使用することが非常に有利であると分かったセンサは、ＧＳＲ（ガルバニック電気皮膚抵抗）センサである。このセンサによる測定を通じて、システムは、皮膚インピーダンス変化（例えば発汗による）の測定値を得て、この測定値を用いて、システムは、標準化されかつ信頼できる出力データを提供するために、ユーザの特定の状態に調整されることができる。特に、検出されたインピーダンス値は、ＥＭＧセンサの利得をリアルタイムで変化させるためにシステムによって使用され、追加の情報として推論モータに入力される。
【００３１】
筋電計センサ３の任意のチャンネルについて使用される他のセンサは、力覚センサ（ロードセル）およびその他同種類のもの、または、ユーザの他の生理学的パラメータの量を検出するためのセンサ（例えば、心拍センサや、血圧、体温、瞳孔拡張用のセンサ等）である。
【００３２】
特に好ましい実施形態では、本発明に係るシステムは、それ自身が「アフェクティブ・コンピューティング」として知られている特別な方法を通じて、ユーザの感情の状態（ストレスレベル、興奮、冷静さなど）に特有の情報を供給するのに十分な数の、或るタイプの複数のセンサを使用することを提供する。これにより、システムはさらに、使用している間のユーザの感情の状態を測定することができる。この検出は、様々な応用分野において重要であり、例えばゲームセッションの間、システム（おそらくゲームも）は、データベースに感情データを記録し、および／または、検出された感情の状態に応じて、ゲームの反応またはエクササイズの運営管理を変更することができる。
【００３３】
図３は、本発明に係るシステムの動作概念のフローチャートを示す。ちょうど記述されている装置部（ハードウェア）は、第１のキャリブレーションステップにしたがって動作し、取得した情報をキャリブレーションし、特別なコンテキストについてエキスパートシステムをおそらくトレーニングするために引き起こされ、エキスパートシステムでは、後続のデータ処理および結果データの出力ステップと共に、型（regimen）取得の第２のステップが動作する。そのような結果データを用いて、取得ステップにおいてフィードバックと共に望ましく振る舞うことが可能である。
【００３４】
続いて、本発明に係るプロセスの様々なステップが詳細に述べられる。
【００３５】
予備的な事項として、その動作中に筋肉によって発生した電気信号をピックアップする役目をする電極２が、ユーザの測定対象とする身体パーツに配置される。電極２は、例示するケースではガーメントに含まれているが、ガーメントの援助無しにユーザの皮膚上に直接接触させてもよい。電極２は筋電図取得カード３に接続され、それはガーメント内に順番に含まれてもよい。システムは複数の取得カードおよび複数の電極を含むことができる。筋電計カード３は、ケーブルおよび／または無線によって、電子プロセッサ６に接続される。その後、ユーザ、あるいは表面に電極２が取り付けられている少なくとも特定の筋肉器官が適切にフレームに捉えるように、ビデオセンサ５が配置される。コンピュータシステムによるビデオイメージの認識能力を改善するために、光学マーカ１４（すなわち、シーンの休止に関して、ビデオセンサ５がオブジェクトをユニークに認識する）の適用がおそらく提供されてもよい。ビデオセンサ５が光学マーカ１４を使用する図１Ｂにおいて示されるケースでは、当該マーカは、身体パーツと統合された既知のポイント（光学マーカ１４と一致する）のトラッキングを通じて、ビデオセンサ５がユーザの複雑な動作を得ることを可能にするように、ユーザの身体に配置されるか、またはガーメント内のプリセットされた位置に挿入されなければならない。マーカを使用しないビデオセンサ５の場合には、ユーザの身体パーツの移動は、適切な光学の認識アルゴリズム（例えば、マイクロソフト株式会社によるkinectR（登録商標）またはソニー・コンピュータ・エンタテインメント社によるPlaystation Move R（登録商標）コントローラのような、いくつかのゲームコンソールにおいて使用されたもの）を通じて、コンピュータシステムにより認識および再構成される。
【００３６】
２つの取得セクションＡおよびＢを通じて、ユーザの身体パーツ（例えば一方の腕の）の運動と、電極２が取り付けられている筋肉中で生成される電気的なインパルスとの両方の信号（直接的なディジタル、または続いてディジタルに変換されるアナログ）が取得される。図６は、例示的な方式において時間にわたって取得した７つの信号のダイヤグラムを示し、最初の３つは、筋電計センサの３つの異なるチャンネルを参照し、その続きの４つは、ビデオセンサを参照する。特に図６からは、ビデオセンサから動きの動的なイメージを得ることができることを理解することができ、それからその後多数のパラメータを抽出することが可能であり、例えば、各チャンネル（一方は手で、他方は肘）から、時間情報（データ）で位置および速度が抽出される。
【００３７】
特に、最初の３つの象限では、３つのそれぞれの電極チャンネルによって取得した電気信号の振幅が示され、４番目および５番目の象限では、参照軸に沿った手の位置信号および速度信号が、時間でそれぞれ示され、６番目および７番目の象限では、参照軸のまわりの肘の角位置信号および角速度信号が、時間でそれぞれ示される。
【００３８】
図７は、筋電図取得セクションにおいて行なわれる例示的な取得プロセスを示す。
【００３９】
１または複数の電極は、筋肉中の電気的な活動の信号をアナログ的な方式で、好ましくは複数のチャンネル（Ｎ）で取得する。信号は、ＥＭＧカードの内部で所定の利得で適切に増幅され、その後、ハイパスフィルタおよびアンチエイリアシングフィルタが適用される。処理装置に信号を転送する前に、信号はディジタル形式（Ａ／Ｄコンバータ）に変換され、ケーブルまたは無線によって通信モジュールに送られ、それを通じて、汎用パーソナルコンピュータの形態でもある処理装置へ送られる。
【００４０】
図８は、ビデオ取得セクションにおいて行われる例示的な取得プロセスを示す。
【００４１】
１または複数のディジタル映像装置（ウェブカメラ、ビデオカメラ、マルチセンサカメラ）は、個人の身体の一部分または全体をフレームに捉え、それ自身が知られているアルゴリズムを通じて、例えば任意のマーカの位置、および／または深度マップ、および／またはｒｇｂイメージ、および／またはその部分（例えば腕＋肘）のスケルトンのような、より複雑な情報を構築するのに役立つデータを取得する。この複雑な情報は、処理装置に情報を転送する通信モジュールに送られる。
【００４２】
システムが動作中に追加のセンサから到来する他の信号もまた、上に言及されたもののように取得することができる。
【００４３】
信号は、コンテキストに依存して、プリセットされた時間フレームでリアルタイムにサンプリングされる。したがって、参照時間フレームは、取得した様々な信号の時間同期が得られる参照クロックを定義する。
【００４４】
それにより、信号同期装置によって供給される単一の参照時間信号に続いて、同期したセンサの読み取りを、時間に沿って得ることが可能である。
【００４５】
２つの取得セクションＡおよびＢのセンサからの情報と、そしておそらく他のセンサ（しかし少なくともＧＳＲセンサから）からの情報とは、任意のセンサによるすべての取得物が、既に述べられた単一の時間クロック（タイムスタンプ）を参照するという事実により、ユーザのアクションに関する情報を後で抽出するために、処理装置において続いて合併される。したがって、例えば、ユーザがアイソメトリックな努力（すなわち特定の動きを伴わないアクション）をしているか否かを、または、同じ速度および加速度のコンポーネントで行われる複数の運動が、異なる筋力を要求するか否かを決定することができ、例えばリフティングエクササイズのケースでは、それは同じ速度および加速度で行われるが、異なるロード（＝ウェイト）で行われる。
【００４６】
図３において示されたように、第１のキャリブレーションステップでは、上述したようにデータ取得および同期操作が生じるが、ユーザは、ユーザ自身の生理学的パラメータ（身長、体重、性別、年齢など）のうちのいくつかを入力し、いくつかのワークパラメータを初期化するためにいくつかのプリセットされた活動を行なうよう、予め促される。特に、システムの取得スケールをチューニングするために、ユーザは、プリセットされた動作を行ない、プリセットされた努力をするよう促されて、例えば電極の劣化またはその不正確な配置（この後者のケースでは、ユーザは不正確な配置に関する警告を受けるであろう）に起因するノイズにより生じるオフセットを除去する。したがって、このステップでは、システムは、システムが意味論的に意味を知っている、参照コンテキスト（例えば、ジムでの運動中にウェイトを持ち上げること、またはコントロールのシミュレーションなどのために、腕を右側へシフトさせるアクションを行なうこと）中のユーザのアクションを分析することができる。この活動は、システムが知っている標準的なアクションを代表する信号のチューニングを可能にする。
【００４７】
アクションを分析するために、分析処理手段９は、検出された生データから、参照コンテキスト中で分析されたアクションに正確な意味を割り振るために必要なすべての情報を抽出する。このようにサンプリングされた各信号について、分析処理手段９は、時間フレーム内の信号の関連する特徴情報を表すデータ片またはデータセットを抽出する。特徴情報を得るために、信号値の演算または抽出が行なわれ、例えば特徴情報は、平均値、絶対値、位置の導関数などであり得る。
【００４８】
本発明によると、キャリブレーションステップにおいて、重要な役割が、上述のＧＳＲセンサを通じた皮膚インピーダンスの取得によって演じられる。特に、システムでは、インピーダンスセンサは皮膚インピーダンスを測定するために提供される。
【００４９】
そのようなインピーダンスセンサは、コンピュータプロセッサ６に接続されて、筋電図取得セクションにおいて統合されてもされなくてもよく、少なくとも２つの検出電極を通じて皮膚インピーダンスを測定することを可能にする。
【００５０】
そのようなインピーダンス測定は、筋電計センサの各チャンネルの利得をリアルタイムで調節するために有利に使用される。特に、利得は、対応するスケールをキャリブレーションするために、検出されたインピーダンス値に正比例する方式で変更され、例えば、筋電計データの取得であって、皮膚の発汗と共に行なわれたものと、等しいアクション（努力（速度など）で乾燥した皮膚と共に行なわれたものとでは、それら自体が本質的に非常に異なる読み取りを供給し、したがって、２つのエクササイズを比較可能にしないであろう。その代わりに、それらエクササイズは、動的および運動学的な視点では等しい。皮膚インピーダンスの検出は、２つの異なる条件の認識を可能にし、したがって、取得したデータを標準化して異なる皮膚状態において比較可能にするために、取得したデータの修正を可能にする。さらに、皮膚インピーダンス信号は、発汗の基準を提供し、したがって、アクション間におけるユーザの疲労を測定する際の補助的な値である。
【００５１】
分析処理手段９によって抽出されたこの特徴情報は、その後、キャリブレーションステップの終わりにおいて保存され、ランタイムステップにおいて行われたアクションを、コンテキスト（データベースに含まれている情報）に基づいて分類するために、エキスパートシステム１０によって使用される。
【００５２】
図４は、ランタイム取得ステップのフローチャートを示す。キャリブレーションステップでのように、センサ検出、信号取得、およびデータ同期を含む最初の部分が生じる。後続の処理部分は、キャリブレーションステップ中に保存されたデータに依存する。
【００５３】
図５にさらに示されているように、ランタイム処理ステップでは、取得した信号から特徴情報（特徴１、．．．特徴Ｎ）を抽出する。次に、キャリブレーションステップ中に保存されたパラメータに基づいて信号の分類が行われ、その後、特定の応用に適した出力（装置のコントロール、ディスプレイ上でのオブジェクトの表現のコントロール、および処理された統計データ）を供給することが可能となる。
【００５４】
特に、取得した同期信号は分析および処理され、次に、分析および処理に由来するデータが、筋肉活動の特徴情報の分類を行なうエキスパートシステム１０に送信される。特に、異なるセンサから到来する同期信号は、フィルタリングされて、起こり得る可能性のあるノイズが除去されてクリーンになる。続いて、そのような生の情報から、身体コンポーネントの例えば平均、頻度、位置、速度、加速度、痙攣のような、より複雑な様々な特徴が引き出される。
【００５５】
以下に報告する表１に、ＥＭＧ信号から引き出すことが可能な特徴のうちのいくつかをリストする。
【００５６】
【表１−１】
2015514467.tif 000003
【００５７】
【表１−２】
2015514467.tif 000004
【００５８】
【表１−３】
2015514467.tif 000005
【００５９】
【表１−４】
2015514467.tif 000006
【００６０】
運動学的な特徴は、共通のクロックにより、ＥＭＧおよびＧＳＲ信号によって提供される情報に常に関連する方式で、システムにおいて提供される他のすべての任意のセンサによって、いかなる場合であってもエキスパートシステムに入力される。ＥＭＧ信号から情報を抽出する方法はそれ自体が公知であり、例として、Md. R. Ahsan, Muhammad I. Ibrahimy, Othman O. Khalifa, らによる「EMG Signal Classification for Human Computer Interaction: A Review」, European Journal of Scientific Research  Vol.33 No.3 (2009年発行), 第480-501ページの記載内容を参照されたい。
【００６１】
分析および処理に由来する同じデータは、エキスパートシステム１０のトレーニングに使用されてもよい。
【００６２】
この取得および分析システムおよび方法によって、作用を受けた筋肉または筋肉区域の収縮のレベルを記述することができ、筋肉または筋肉区域の疲労、筋肉活性化の同期、動作の同期、アクションの運動学（位置、速度、加速度）を記述してもよい。よって、各アクションをサブアクションに分割することが可能であり、それらのタイプに従って、相互にそれらを区別することが可能である。例えば、動作（提示されたときの）と、それに関連する筋肉活性化との両方の視点から、動力学と静力学との間で動作を区別することが可能である。よって、活性化された筋肉グループの認識のために、筋肉活性化を異なるタイプのサブアクションに参照させることが可能であり、アクションを認識し、アクションの間の疲労のレベルを検出し、異なるタイプの収縮を識別し、与えられたエクササイズ／ジェスチャの実行をユーザが改善することを可能にし、エクササイズの正確な実行に関する異常を検出し、トレーニング／リハビリテーションの進捗のモニタリングを可能にする。
【００６３】
とりわけ、本発明は、例えばビデオゲーム（コントロールは動作＋筋力という言葉で表現される）について、新たなヒューマン−マシン（コンピュータ）相互作用のインプリメントを可能にする。
【００６４】
既に述べられたように、出力情報は、異なるハードウェア／ソフトウェアプラットフォーム上や、モバイルまたは据え付けの装置（例えば、スマートフォン、タブレット、デスクトップＰＣなど）上に、異なる方法でユーザに供給されてもよい。この情報は、さらにビデオ装置、および／またはオーディオ装置、および／または触覚装置を通じて供給することができる。
【００６５】
システム出力データは、典型的にはシステム構成を自己調整するために、フィードバックチェックにも有利に使用することができる。実際には、別のセクションから到来する情報に基づいて期待されるものに関する不整合性を証明すべきである取得セクションデータの検出が、自己調整手段のアクションを引き起こしてもよい。
【００６６】
同様に、自己調整は、筋電計信号およびビデオ信号の組合せと、予備知識の基礎的なアーカイブとの比較に由来する不整合信号から、自動的に介入してもよい。
【００６７】
したがって、装置は自身の物理的な構成を適応させることができ上述のセンサによって抽出された情報に基づいて、取得品質を改善することができる。特に、ビデオ信号および／または筋電計信号から抽出された情報に基づいて、システムは、主題の動作に関する以前の知識（知識ベース）に基づき、信号の異常処理を識別することができる。
【００６８】
整合した筋電計信号と不整合なビデオ信号とが得られた場合、システムは、例えば、ズームのレベル、および／またはパノラマ（ＰＡＮ）、および／またはビデオセンサの傾斜角（ＴＩＬＴ）といったビデオ取得についての動作モードを変更（もちろん特定の構成がそれを許可すれば）して動作してもよい。このように、ビデオシステムは、正確な筋電図取得に基づいて、異常な方法において検出された部分に注意を集中することを命じられる。
【００６９】
したがって、ロバスト性があり、かつ信頼できる取得を可能とするように、装置は異常を解決することができて自身を正確に構成することができ、発動と共にそれらの部分はおそらく無視されるであろう。
【００７０】
反対に、身体の動作を強調するビデオ信号が得られる場合、それらは、データベース内に記録された情報に基づいて、エキスパートモータ１０の推論モータを用いて解釈されて、１または複数の筋肉グループの活性化の結果から生じているに違いないが、筋電計信号はそのような活性化を検出するべきではなく、筋電計信号の正確な表示を得るために、装置は、筋電計センサの各チャンネルについて、その利得をリアルタイムで変化させることができる。
【００７１】
上述したように、さらに、筋電計センサの利得は、対応する皮膚センサによって検出されたインピーダンス値に従って変更される。
【００７２】
本発明のシステムは、ビデオ信号を使用して、３次元において人間のフィギュア（専門用語ではスケルトンとして知られている）を再構成することを可能にする。スケルトンは、３次元空間における主題の動き（例えば、速度、四肢の加速度、動きの軌跡など）を計算することを可能にする。
【００７３】
このコンテキストでは、システムを用いたユーザの身体およびその相互作用の表現は、用語スケルトンによって、定性的および定量的な用語で指し示すように意図されており、典型的には、スケルトンは、ユーザの身体の幾何学的なイメージに加えて、さらに相対運動、努力、疲労の状態、エラーおよび他のユーザ状態を含んでいる表現である。スケルトン表現は、グラフィック（ビデオ）、オーディオ（スピーカ）、または触覚であり得るインタフェースと共に供給されてもよい。
【００７４】
ビデオ信号からのスケルトンの抽出は、文献において公知のアルゴリズムを通じて可能である。いかなる異常な動作も、そのような動作に関連する上記したスケルトンおよびＥＭＧ信号を使用して識別される。システムは、エキスパートシステムの以前のトレーニングと既知の動作のタイムシーケンスとに照らして、知識ベースに一致しない動作を自動的に識別することができる。例えば、エキスパートシステムは、ダイナミクスおよび筋力を識別して、それらが正確ではないと評価し、よって動作が不正確か否かと、どの程度まで／どのようにそれが不正確であるか（例えば、動作が前もって行われるかあるいは他のものに関して遅れて行われる場合は、それゆえ正確な調和を提供しない）とが識別される。あるいは、エキスパートシステムは、セットトレーニング／ゲームのタイプに関して、ユーザの動作／エクササイズ（すなわち、ウェイト、反復の数、疲労、およびアフェクティブ・コンピューティング用の任意のセンサが提供される場合にはストレス）のタイプが正確ではないと決定することができる。
【００７５】
上述のように、本発明のシステムは、例えば、スポーツ（プロフェッショナル用には、ジム用に装置内に統合されて、家庭／趣味用には、ホームトレーニング用に、パーソナルコンピュータ／コンソールにインストールされた適切なソフトウェアを通じて）、リハビリテーション（病院／物理療法センター用には、家庭用に、パーソナルコンピュータ／コンソールにインストールされた適切なソフトウェアを通じて）、および遊び（コンピュータおよびコンソール上でのゲーム）といった、様々な分野において有利に使用することができる。
【００７６】
ジムまたは物理療法の分野では、システムは、ユーザのアクションの運動学およびダイナミクスを含むことができて、スポーツジェスチャの正確な実行をユーザにガイドすることができる。これによって、外傷後のリハビリエクササイズの正確な実行において、専門家（例えば理学療法士）の補助なしで、技術およびユーザの健康の両方を改善するために、またはユーザを独立してガイドするために、ユーザのアクションの位置、実行時間、および身体の正確な使用を修正することができる。さらにシステムは、処理の終わりにユーザに実行レベルマークを供給してもよく、これにより、ユーザは希望する実行モデルに対してそれを容易に直感的に比較することができる。
【００７７】
ビデオゲームのコンテキストでは、本発明のシステムを用いて、ユーザの動作に加えてさらに、力のレベル、筋肉疲労のレベル、動作の同期、および筋肉の活性化速度を考慮に入れたアウトプットコントロールを定義することができる。その結果として、これまでのところ市場に存在せず、ユーザが関与するレベルを著しく向上させ、新しいビデオゲームカテゴリーの創設を可能にする、相互作用の新しい方法を再現することができる。
【００７８】
これらすべてのコンテキストにおいて、ソーシャルネットワークにおけるシステム処理のいくつかの結果を共有することは、実現可能である。
【００７９】
図９は、本発明に係るシステムの肉体的な運動用およびスポーツトレーニング用の設備への可能な応用例を示す。
【００８０】
ユーザが筋肉トレーニングマシンにおいて肉体的な運動を行なっている間、ビデオ装置は動いているスケルトンのイメージを得る。同時に、ユーザのトレーニング用品に埋め込まれている一連の電極は、例えば、腕の筋肉、背中の筋肉、および肩の筋肉にそれぞれ対応する複数のチャンネルそれぞれについての一連の信号を取得する。本発明のシステムを用いたデータ処理は、予期されたモデルに基づいて、出力として、筋電計信号と共に、動作の一致の指標を供給することを可能にする。反対に、万が一、２つの取得セクションから取得したデータと、予期されるものとの間の関連性に、不一致または相違をシステムが発見すれば、システムは、修正の指標（例えば、ディスプレイ上への視覚的な警告の形式で）を発行し、それによりユーザが希望する、システムデータベース内に予め格納されたモデル、またはキャリブレーションステップにおいて構築されたモデルへの到達に整合が取れた方法で、ユーザに姿勢または努力を変更させる。
【００８１】
もっとも、上記図示された特定の配置は単に実施形態を例示しており、本発明はそれらの態様に限定されて解釈されてはならず、次に記載する請求項によって定義されるように、本発明の技術的思想の範囲から逸脱することなく、種々の変形が可能であることが理解される。
【００８２】
特に、本発明において例示的に述べられている構成の多くは、技術的に等価な構成と取り替えられてもよい。実際、サイズと同様に、要求事項および技術の到達水準に依存して、使用する物質は任意のものであってもよい。
【００８３】
推論モータを有するエキスパートシステムと共に提供される分析処理手段が含まれている処理装置の特徴について、特定の表示は提供されないけれども、それは、計算能力を有するパーソナルコンピュータまたはモバイル装置であってもよい。あるいはそれは、（２つのデータ取得セクションに関して）ローカルに配置されたまたは遠隔位置に配置されたサーバであってもよく、これらを通じて、一連の同様のネットワーク化されたシステムに計算能力が分配される。
【図１Ａ】
2015514467.tif 000007
【図１Ｂ】
2015514467.tif 000008
【図２】
2015514467.tif 000009
【図３】
2015514467.tif 000010
【図４】
2015514467.tif 000011
【図５】
2015514467.tif 000012
【図７】
2015514467.tif 000013
【図８】
2015514467.tif 000014
【図６】
2015514467.tif 000015
【図９】
2015514467.tif 000016
【国際調査報告】
2015514467.tif 000017
2015514467.tif 000018
2015514467.tif 000019