(57)【要約】 【課題】現実の人体の動作を、当該動作に伴う力の大きさの変化とともに検出してベクトルデータに変換し、遠隔操作ロボット等の制御、あるいは、コンピュータゲーム等の映像上のキャラクターの動作及びその動作がもたらす映像上の効果として反映させることを可能とする。【解決手段】人体の一つ又は複数の特定の筋肉の表面筋電位を測定して筋電信号として出力可能な筋電信号検出装置と、人体の任意の特定部位の動作を検出して該人体各部位の３次元座標を透視射影による射影座標系の座標に射影変換した後にその位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とから成り、制御装置は、射影座標系内において、人体の特定の筋肉の筋電信号の変化を力の大きさの変化、人体の特定部位の座標変位の方向を力の方向とするベクトル量を定義するベクトルデータを算出して出力可能とする。【選択図】  図１
2015204091.tif 000002
【特許請求の範囲】
【請求項１】
人体の一つ又は複数の特定の筋肉の表面筋電位を測定して筋電信号として出力可能な筋電信号検出装置と、人体の任意の特定部位の動作を検出して該人体各部位の３次元座標の位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とから成り、前記制御装置は、前記３次元座標系内において、前記人体の特定の筋肉の筋電信号の変化を力の大きさの変化、前記人体の特定部位の座標変位の方向を力の方向とするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする、ベクトルデータ出力システム。
【請求項２】
人体の一つ又は複数の特定の筋肉の表面筋電位を測定して筋電信号として出力可能な筋電信号検出装置と、人体の任意の特定部位の動作を検出して該人体各部位の３次元座標を透視射影による射影座標系の座標に射影変換した後にその位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とから成り、前記制御装置は、前記射影座標系内において、前記人体の特定の筋肉の筋電信号の変化を力の大きさの変化、前記人体の特定部位の座標変位の方向を力の方向とするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする、ベクトルデータ出力システム。
【請求項３】
人体の任意の一つ又は複数の筋肉の表面筋電位を測定して随意筋収縮強度を筋電信号として出力可能な筋電信号検出装置と、人体の任意の特定部位と基準部位の動作を検出して該特定部位の３次元座標を透視射影による射影座標系の座標に射影変換した後にその位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とから成り、前記制御装置は、前記随意筋収縮強度の値が所定の第１の閾値以上となった状態が所定時間以上継続した後、前記随意筋収縮強度の値が最初に前記第１の閾値未満に低下した時点において、前記特定部位の座標を始点、前記基準部位の座標から始点に向かう方向を力の方向、前記第１の閾値を力の大きさとするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする、ベクトルデータ出力システム。
【請求項４】
人体の任意の一つ又は複数の筋肉の表面筋電位を測定して随意筋収縮強度を筋電信号として出力可能な筋電信号検出装置と、人体の任意の特定部位と基準部位の動作を検出して該特定部位の３次元座標を透視射影による射影座標系の座標に射影変換した後にその位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とから成り、前記制御装置は、前記随意筋収縮強度の値が所定の第１の閾値以上となった状態が所定時間以上継続した後、前記随意筋収縮強度の値が最初に前記第１の閾値未満に低下し、かつ、前記特定部位の座標が前記基準部位の座標に対して変位した時点において、変位後の前記特定部位の座標を始点、前記基準部位の座標から始点に向かう方向を力の方向、前記第１の閾値を力の大きさとするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする、ベクトルデータ出力システム。
【請求項５】
人体の任意の一つ又は複数の筋肉の表面筋電位を測定して随意筋収縮強度を筋電信号として出力可能な筋電信号検出装置と、人体の任意の２か所の特定部位の動作を検出して該特定部位の３次元座標を透視射影による射影座標系の座標に射影変換した後にその位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とから成り、前記制御装置は、前記随意筋収縮強度の値が所定の第１の閾値以上、かつ、前記２か所の特定部位の距離の値が所定の第２の閾値以下となった状態が所定時間以上継続した後、前記随意筋収縮強度の値が最初に前記第１の閾値未満に低下し、かつ、前記２か所の特定部位の中間点の座標が任意の方向に変位した時点において、変位後の前記中間点の座標を始点、変位の方向を力の方向、前記第１の閾値を力の大きさとするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする、ベクトルデータ出力システム。
【請求項６】
請求項４乃至６に記載のベクトルデータ出力システムであって、前記ベクトル量の力の大きさは、前記随意筋収縮強度の値が前記第１の閾値以上となった時点から最初に第１の閾値未満に低下する時点までの経過時間により前記随意筋収縮強度の値を積分して得られる筋電積分値として定義されるベクトルデータを算出して出力可能としたことを特徴とする、ベクトルデータ出力システム。
【請求項７】
請求項２乃至６のいずれかに記載のベクトルデータ出力システムと、映像出力装置とから成り、該映像出力装置は、前記ベクトルデータ出力システムから出力された前記ベクトルデータにより定義されるベクトル量を前記射影座標系の映像上に任意の表示形態で出力可能としたことを特徴とする、映像表示システム。
【請求項８】
前記映像出力装置は、格闘系又は射撃系のゲームソフトウェアを搭載したゲーム機又はコンピュータであることを特徴とする、請求項７に記載の映像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人体の特定の筋肉の表面筋電位を測定して得られる筋電信号とモーションキャプチャ装置により検出した人体の特定部位の座標変位とから、人体の動作とその力の大きさをベクトルデータとして算出し出力可能とするベクトルデータ出力システム、及び該ベクトルデータ出力システムからのベクトルデータをコンピュータゲーム等の映像上に任意の図形等として出力可能とする映像表示システムに関するものである。
【背景技術】
【０００２】
現実の人体の動作を検出して、これを映像上の人物等のキャラクターの動作に反映させる技術としてモーションキャプチャ技術が知られており、映画やゲームソフトウェアにおける映像制作に導入されている。モーションキャプチャを導入することにより、コンピュータグラフィックスのみで制作する映像に比べて、人物等のより自然な動作を再現でき、映像制作の工程の効率化においても効果を発揮している。
【０００３】
モーションキャプチャ技術には、光学式、機械式、磁気式などがあるが、映像制作には一般的に光学式が利用されており、マーカーを装着した特殊なスーツを着用した人間が演技を行い、人体の動作に伴うマーカーの動きをトラッカーで光学的に検出して、その座標の変位をデジタルデータとして記録する方式が一般的である。
【０００４】
近年は、非特許文献１（ＵＲＬ  http://www.xbox.com/ja-JP/kinect）に掲載されている製品のように、ＲＧＢカメラと深度センサとを組み合わせることにより、カメラ視野内の人体の主要な関節部位までの距離を計測しつつ骨格の動きを検出し、コンピュータゲームの映像上のキャラクターの動作にリアルタイムに反映させるモーションキャプチャ装置も開発されている。かかる装置をゲームの入力装置として使用すれば、前述のマーカー付スーツの着用は不要であり、プレーヤーがボタンやスティックを操作する従来のゲームコントローラ以上の自由度や臨場感を実現できる。そのため、今後、モーションキャプチャ装置をゲームコントローラとして使用するコンピュータゲームが、本格的に普及していくことが考えられる。
【非特許文献１】マイクロソフト社のゲームデバイス「キネクト」（登録商標）
【０００５】
ところで、モーションキャプチャ装置は、３次元座標系内における人体の特定部位の座標を検出して、これを透視射影による射影座標系の座標に射影変換し、その変位を座標変位データとして出力するものである。従って、変位に伴う力の大きさ、具体的には、人体が当該変位に用いた筋力を直接に検出することはできない。そのため、いわゆる格闘系ゲームにおけるパンチやキック等の打撃力の強弱は、拳や脚の変位の速度又は加速度をパラメータとして表現するしかなく、実際にプレーヤーが拳や脚に加えた筋力をキャラクターに反映させることはできず、表現上のリアルさには制限がある。
【０００６】
また、多くのゲームでは、キャラクターが「必殺技」として、ターゲットに向けて指向性エネルギー（いわゆる「ビーム」等）を発射するという演出が取り入れられている。この場合、その「破壊力」は、発射に先立ってキャラクターが自らの筋力負荷によりエネルギーのチャージ（いわゆる「溜め」）を行い、チャージできたエネルギーの量に応じて変動するよう設定されることが多いが、モーションキャプチャでは人体内部の筋力負荷は検出できないため、かかる「溜め」を表現することはできず、やはり表現上のリアルさには制限がある。
【０００７】
こうした人体、特にその筋力負荷の状態を検出する技術としては、検出対象の筋肉近傍の皮膚表面に設置した電極を通じて筋肉が随意運動時に発する表面筋電位を測定する方法が知られており、筋電計として医療やスポーツ科学上の目的で普及している。近年では、高齢者や障害者の歩行支援装置としてのいわゆる装着型ロボットの分野において、筋電センサにより装着者の所定の筋肉の表面筋電位からその動作を検出してモーター等のアクチュエータを制御する方法が実用化されており、特許文献１に示す如く、ロボットやゲーム映像上のキャラクターの操作に適用する技術も提案されている。
【特許文献１】特開２００９−２２６１２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、現実の人体の動作を、当該動作に伴う力の大きさの変化とともに検出して力の方向、始点、大きさからなるベクトル量を定義するベクトルデータに変換し、遠隔操作ロボット等の制御、あるいは、コンピュータゲーム等の映像上のキャラクターの動作及びその動作がもたらす映像上の効果として反映させることを可能とすることを課題とするものである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１に記載したベクトルデータ出力システムは、人体の一つ又は複数の特定の筋肉の表面筋電位を測定して筋電信号として出力可能な筋電信号検出装置と、人体の任意の特定部位の動作を検出して該人体各部位の３次元座標の位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とからなり、前記制御装置は、前記３次元座標系内において、前記人体の特定の筋肉の筋電信号の変化を力の大きさの変化、前記人体の特定部位の座標変位の方向を力の方向とするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする。
【００１０】
現実の人体の特定部位の動作は、モーションキャプチャにより三次元座標系内における該特定部位の座標変位により計測できる。一方、該特定部位を動作させる筋肉の随意筋収縮強度の変化を検出することにより、当該動作に係る筋力負荷の変化を計測できる。そして、これらを組み合わせることにより、人体の特定部位の動作は、随意筋収縮強度の変化を力の大きさの変化、座標変位の始点を力の始点、座標変位の方向を力の方向とする動的なベクトル量として表すことができる。
【００１１】
本発明に係るベクトルデータ出力システムが出力した動的なベクトル量を定義するベクトルデータは、たとえば、遠隔操作ロボットの制御データとして利用することができる。具体的には、操作員の身体の特定部位と遠隔操作ロボットの特定部位とを関連付け、前者の三次元座標系内における座標変位を定義するベクトルデータを遠隔操作ロボット側の制御装置に送信する。そして、該制御装置で後者が存在する三次元座標系における座標変位に変換し、遠隔操作ロボットの特定部位の変位に必要なアクチュエータ等の動作緒元データを算出してアクチュエータ等を作動させる。この際、操作員の所定の筋肉の随意筋収縮強度の変化をアクチュエータ等の出力（モーターのトルク等）の変化に対応させて制御することにより、遠隔操作ロボットの特定部位を作動させる力の大きさに反映させることができる。これにより、遠隔操作ロボットは、たとえば、単に操作員の腕の動きを反映してアーム等を動作させるだけでなく、操作員が腕の筋肉に込めた力の大きさをもアームの動作に反映させられるので、遠隔操作ロボットのより繊細な制御が可能となる。
【００１２】
次に、請求項２に記載したベクトルデータ出力システムは、人体の一つ又は複数の特定の筋肉の表面筋電位を測定して筋電信号として出力可能な筋電信号検出装置と、人体の任意の特定部位の動作を検出して該人体各部位の３次元座標を透視射影による射影座標系の座標に射影変換した後にその位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とからなり、前記制御装置は、前記射影座標系内において、前記人体の特定の筋肉の筋電信号の変化を力の大きさの変化、前記人体の特定部位の座標変位の方向を力の方向とするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする。
【００１３】
前述の通り、モーションキャプチャ装置で検出した人体の動作を２次元座標系であるゲーム映像上のキャラクター等の動作に反映させるには、３次元座標系内における人体の特定部位の座標を検出し、これを透視射影による射影座標系における座標変位データへと射影変換する。そして、前記人体の特定の筋肉の筋電信号の変化を力の大きさの変化、前記人体の特定部位の座標変位の方向を力の方向とするベクトル量を定義するベクトルデータとして、ゲーム機等の制御装置に出力する。
【００１４】
かかる構成により、たとえば、キャラクターがターゲット（対戦キャラクター等）に対してパンチ攻撃を加える場合、プレーヤーの拳の座標変位をキャラクターの拳の動きとして動画表示した上で、拳がターゲットにヒットした位置の座標を力の始点、拳の座標変位の方向を力の方向、そして、ヒットした時点における腕の筋肉の随意筋収縮強度の値を力の大きさ（すなわちパンチの威力）とするベクトル量を定義できる。これにより、ヒットした位置やパンチの方向に基づきパンチの有効性、言い換えればターゲットに与えたダメージを算出してゲーム映像上の動画又は数値等により表示すれば、格闘系ゲームのリアルさを向上させることができる。また、このほかに、サッカーのシュートを行う脚の筋力、野球のバット、テニスのラケット、ゴルフのクラブを握る腕の筋力も随意筋収縮強度の値として計測可能であるから、前記ベクトルデータは格闘技以外のこれら球技のゲームにも適用可能である。
【００１５】
次に、請求項３に記載したベクトルデータ出力システムは、人体の任意の一つ又は複数の筋肉の表面筋電位を測定して随意筋収縮強度を筋電信号として出力可能な筋電信号検出装置と、人体の任意の特定部位と基準部位の動作を検出して該特定部位の３次元座標を透視射影による射影座標系の座標に射影変換した後にその位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とからなり、前記制御装置は、前記随意筋収縮強度の値が所定の第１の閾値以上となった状態が所定時間以上継続した後、前記随意筋収縮強度の値が最初に前記第１の閾値未満に低下した時点において、前記特定部位の座標を始点、前記基準部位の座標から始点に向かう方向を力の方向、前記第１の閾値を力の大きさとするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする。
【００１６】
前述のように、ゲーム上の設定としての指向性エネルギーの発射に適用した場合は、たとえば、プレーヤーの特定の身体部位の動作（ジェスチャー）を座標変位として検出して動画表示した上で、ジェスチャー時におけるプレーヤーの所定の筋肉の随意筋収縮強度の値の変化を検出し、その変化パターンをトリガーとして、ゲーム映像上で指向性エネルギーの発射を動画表示させることができる。
【００１７】
具体的には、ジェスチャー終了時におけるプレーヤーの特定の２点の身体部位（たとえば肘と手首の２点）の座標の位置関係により指向性エネルギー発射の照準を定め、ジェスチャー開始後に腕の筋肉の随意筋収縮強度の値が所定の閾値を超えた状態が一定時間継続した後に閾値を下回った状態、すなわち筋肉を弛緩させた瞬間を発射のトリガーとする。かかる構成により、ゲーム映像中のキャラクターが、腕の筋肉に力を入れながらターゲットに手首を指向し、力を緩めた瞬間に指向性エネルギーが発射される動画を表示することが可能となる。
【００１８】
次に、請求項４に記載したベクトルデータ出力システムは、人体の任意の一つ又は複数の筋肉の表面筋電位を測定して随意筋収縮強度を筋電信号として出力可能な筋電信号検出装置と、人体の任意の特定部位と基準部位の動作を検出して該特定部位の３次元座標を透視射影による射影座標系の座標に射影変換した後にその位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とからなり、前記制御装置は、前記随意筋収縮強度の値が所定の第１の閾値以上となった状態が所定時間以上継続した後、前記随意筋収縮強度の値が最初に前記第１の閾値未満に低下し、かつ、前記特定部位の座標が前記基準部位の座標に対して変位した時点において、変位後の前記特定部位の座標を始点、前記基準部位の座標から始点に向かう方向を力の方向、前記第１の閾値を力の大きさとするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする。
【００１９】
ゲーム上の設定としての指向性エネルギーの発射を表現する場合、キャラクターの特定のジェスチャーを発射のトリガーとすることも多い。本構成では、随時筋収縮強度が所定の第１の閾値となった状態が所定時間以上継続した時点で指向性エネルギー発射の準備が整い（すなわち「エネルギー充填状態」となり）、その後、キャラクターが特定のジェスチャーを行った瞬間に指向性エネルギーが発射される。かかるジェスチャーとしては、プレーヤーの片手の人差し指が引き金を引くように動くという文字通り拳銃のトリガーを引く動作であってもよいし、頭上に振り上げた二の腕をターゲットの方向に向けて振り下ろすといった動作でもよい。その際の照準の方向は、たとえば、プレーヤーの肘を基準部位、手首を特定部位とすることで、肘と手首を結ぶ線分の延長線の方向によって定め、ベクトル量の始点を手首付近としておけば、キャラクターが二の腕で指向した方向にキャラクターの手から指向性エネルギーが発射される動画を描写できるベクトルデータが得られる。
【００２０】
次に、請求項５に記載したベクトルデータ出力システムは、人体の任意の一つ又は複数の筋肉の表面筋電位を測定して随意筋収縮強度を筋電信号として出力可能な筋電信号検出装置と、人体の任意の２か所の特定部位の動作を検出して該特定部位の３次元座標を透視射影による射影座標系の座標に射影変換した後にその位置変化を座標変位データとして出力可能なモーションキャプチャ装置と、前記筋電信号と前記座標変位データを入力可能な制御装置とからなり、前記制御装置は、前記随意筋収縮強度の値が所定の第１の閾値以上、かつ、前記２か所の特定部位の距離の値が所定の第２の閾値以下となった状態が所定時間以上継続した後、前記随意筋収縮強度の値が最初に前記第１の閾値未満に低下し、かつ、前記２か所の特定部位の中間点の座標が任意の方向に変位した時点において、変位後の前記中間点の座標を始点、変位の方向を力の方向、前記第１の閾値を力の大きさとするベクトル量を定義するベクトルデータを算出して出力可能としたことを特徴とする。
【００２１】
ゲーム上の設定としての指向性エネルギーの発射を表現する場合、キャラクターのさらに複雑なジェスチャーをエネルギーの充填及び発射のトリガーとすることもある。たとえば、キャラクターが全身に力を込めながら両手を次第に近づけることでエネルギーを充填した後、両手をターゲットに向けて突き出した瞬間に指向性エネルギーが発射されるような「技」を表現する場合である。本構成では、たとえば、両手首の２か所を特定部位としてその距離及び中間点を検出し、片腕又は両腕の随意筋収縮強度を検出してこれが所定の第１の閾値を超え、かつ、両手首の距離が所定の第２の閾値以下となった状態が一定時間継続した場合をエネルギーの充填完了とする。その後、プレイヤーが両手首をターゲットに向けて突き出しつつ力を緩める（すなわちエネルギーを「解放」する）ことをトリガーとすることで、前記両手首の中間点を始点、中間点の座標変位の方向を照準方向として指向性エネルギーが発射される動画を描写できるベクトルデータが得られる。
【００２２】
次に、請求項６に記載したベクトルデータ出力システムは、請求項３乃至６に記載のベクトルデータ出力システムであって、前記ベクトル量の力の大きさは、前記随意筋収縮強度の値が前記第１の閾値以上となった時点から最初に第１の閾値未満に低下する時点までの経過時間により前記随意筋収縮強度の値を積分して得られる筋電積分値として定義されるベクトルデータを算出して出力可能としたことを特徴とする。
【００２３】
請求項３乃至６に記載のベクトルデータ出力システムでは、出力されるベクトル量のうち力の大きさについては前記第１の閾値によって定まるため、発射される指向性エネルギーの大きさ（ゲーム上の表現では「破壊力」に相当する）は、常に一定に固定された状態となる。しかし、前述の通り、ゲーム上の面白みの観点からは、発射に先立ってキャラクターが自らの筋力負荷によりエネルギーのチャージ（いわゆる「溜め」）を行い、そのチャージ量に応じて指向性エネルギーの「破壊力」が変動するよう表現できることが好ましい。
【００２４】
本構成では、プレーヤーが所定のジェスチャー中に、特定の筋肉の随意筋収縮強度の値が閾値を超えた状態の経過時間により随意筋収縮強度の値を積分して得られる筋電積分値をベクトル量における力の大きさとして設定できる。そのため、たとえば、プレーヤーが腕の筋肉に力を入れた状態を維持した時間に応じて指向性エネルギーの大きさ、すなわち「破壊力」を変化させることができるため、前述の「溜め」を表現することが可能となる。
【００２５】
次に、請求項７に記載の映像表示システムは、請求項２乃至６のいずれかに記載のベクトルデータ出力システムと、映像出力装置とからなり、該映像出力装置は、前記ベクトルデータ出力システムから出力された前記ベクトルデータにより定義されるベクトル量を前記射影座標系の映像上に任意の表示形態で出力可能としたことを特徴とする。
【００２６】
映像出力装置は、ベクトルデータ出力システムから入力されたベクトルデータを処理して前記射影座標系の二次元映像として表示できる処理装置及びソフトウェアを搭載したコンピュータゲーム機をはじめ、あらゆる映像モニター装置である。ベクトルデータの表示形態は、キャラクターの動作に加えて、発射された指向性エネルギーをターゲット（ターゲット）に向かうベクトル量の力の大きさに応じたビーム状、発射波状、球状、砲弾状等の図形アニメーションとして表示してもよいし、指向性エネルギー自体を表示せず、ヒットしたターゲットがダメージを受けるアニメーションとして表示するものであってもよい。また、ベクトル量の力の大きさを発射する指向性エネルギー量の状態として映像上のインジケータ等に表示する構成としてもよい。また、格闘系のコンピュータゲーム機においては、ベクトル量の力の大きさを指向性エネルギーの発射ではなく、キャラクターが繰り出すパンチやキック等の技の威力とし、技がヒットしたターゲットに与えるダメージをアニメーションやインジケータ等で表示してもよい。
【００２７】
最後に、請求項８に記載の映像表示システムは、請求項７に記載した映像表示システムであって、前記映像出力装置は、格闘系又は射撃系のゲームソフトウェアを搭載したゲーム機又はコンピュータであることを特徴とする。
【発明の効果】
【００２８】
本発明の構成によれば、モーションキャプチャ装置で検出した人体の動作に加えて人体の特定の筋肉の表面筋電位の値の変化から前記人体の動作の際の力の大きさを含むベクトル量をベクトルデータとして出力可能であるため、たとえば、遠隔操作ロボットの制御用情報に力の大きさをパラメータとして付加し、より繊細な制御を可能とできる。また、格闘系又はシューティング系のコンピュータゲームに適用した場合には、映像上のキャラクターの動作及びその動作がもたらす効果にプレーヤーの動作に伴う力の大きさを反映させることが可能となり、ゲームの表現をよりリアルかつ多彩なものとし、臨場感を高めることができる。
【発明を実施するための最良の形態】
【００２９】
以下では、本発明を、格闘系のコンピュータゲームを操作するための入力装置として実施する場合を想定した実施形態について図面を参照して説明する。なお、筋電位や特定部位の座標変位の検出対象とする人体については、以下「プレーヤー」と記す。
【００３０】
図１は、本発明に係るベクトルデータ出力システムに出力装置を接続した構成を示す構成図である。ベクトルデータ出力システムは、筋電信号検出装置１、モーションキャプチャ装置２、制御装置３とからなり、本構成図では、筋電信号検出装置１は無線でデータ送信を行うものとして受信装置１３を介して制御装置３と接続している。一方、モーションキャプチャ装置２は有線で制御装置３と接続している。また、制御装置３は、外部の出力装置４に接続されている。出力装置４は、コンピュータゲーム機である。
【００３１】
筋電信号検出装置１は、プレーヤーの任意の筋肉近傍の皮膚に装着する表面筋電位を検出する電極から成る筋電センサ１０と、筋電センサ１０が検出した表面筋電位から随意筋収縮強度を測定して筋電信号に変換する筋電変換部１１と、筋電信号データを受信装置１３に無線送信する送信部１２とから構成される。また、制御装置３は、入出力部３０、制御部３１、記憶部３２、メモリ３３から構成される。入出力部３０は、受信装置１３が受信した筋電信号データ及びモーションキャプチャ装置２からの座標変位データの入力、並びに制御部３１からのベクトルデータの出力装置４への出力を行うインターフェイスである。制御部３１は、筋電信号データと座標変位データをアルゴリズムに基づき処理してベクトルデータの生成及び出力を制御するプロセッサである。記憶部３２は、ベクトルデータ生成及び出力のための各種緒元設定データ等を記憶し、メモリ３３はベクトルデータ生成過程に利用される各種データの一時的保存に用いられる。
【００３２】
図２は、前記モーションキャプチャ装置２とプレーヤーに筋電信号検出装置１を装着した状態とを示す模式図である。モーションキャプチャ装置２は、たとえば、マイクロソフト社が市販している「Ｋｉｎｅｃｔ（キネクト）（登録商標）」のようにＲＧＢ画像認識用カメラと深度（奥行き）測定用の赤外線カメラである深度センサー、ＩＲエミッタ（赤外線レーザー照射部）から成る光学センサ（図示せず）を備え、専用ソフトウェアを動作させるプロセッサを内蔵する装置が使用できるが、同様の機能を有する他の構成の光学センサを用いてもよく、専用ソフトウェアやプロセッサを有する外部の制御装置に光学センサを接続したものでもよい。
【００３３】
モーションキャプチャ装置２は、前述の「Ｋｉｎｅｃｔ（キネクト）（登録商標）」の場合、赤外線レーザーで所定のパターン（具体的にはドットの分布パターン）の不可視光をプレーヤーの身体に投射した状態を赤外線カメラで撮影して、所定のパラメータを用いてカメラから身体各部の表面までの距離を算出し、ＲＧＢ画像認識用カメラで撮影した画像を専用ソフトウェアで画像認識して得た画像データと距離データとを対応させて射影座標系の座標に変換する処理を映像のフレームごとに連続的に行う。一方、筋電信号検出装置１は、たとえば、図２のようにプレーヤーの腕の特定の筋肉の筋電位を検出できる位置にベルト等で装着し、プレーヤーの動きを制約しないように筋電信号を送信部１２から無線で受信装置１３へと送信させる。
【００３４】
（第１実施形態）
図３は、本発明の第１実施形態に関し、制御装置３における筋電信号データと座標変位データの処理手順を示すアルゴリズムである。第１実施形態は、たとえば、プレーヤーがゲーム映像内のキャラクターにターゲットに向けて指向性エネルギーを放つ際に、肘から手首の方向により照準を定め、腕の特定の筋肉（たとえば上腕二頭筋あるいは腕橈骨筋）に込めた力の解放（弛緩）をトリガーとする場合を想定している。
【００３５】
なお、本実施形態では、ベクトルデータの算出に先立ち、個々のプレーヤーの特定の筋肉について、あらかじめ最大随意筋収縮値ＭＶＣを計測する筋電位キャリブレーションを行う。コンピュータゲーム上のキャラクターは仮想存在であるから、現実のプレーヤーの体力すなわち筋力の絶対値をゲーム上に反映させるよりも、個々のプレーヤーごとの最大随意筋収縮値ＭＶＣに対する相対値としての随意筋収縮強度％ＭＶＣを筋電信号として計測することが適当だからである。
【００３６】
筋電位キャリブレーションは、具体的には、ゲーム開始前にプレーヤーが腕の筋肉の安静状態の筋電位値を計測した後、可能な限り力を入れた状態での筋電位値を所定時間計測し、ローパスフィルタを通して異常値を排除することにより最大随意筋収縮値ＭＶＣを設定する。ゲーム開始後は、筋電信号検出装置１が当該腕の筋肉の筋電位値を連続的に検出し、ＭＶＣに対する比率である随意筋収縮強度％ＭＶＣを計測して筋電信号として出力させる（図中の「ＭＥ」以降）。なお、任意の時点で計測される随意筋収縮強度％ＭＶＣは、数式１に示すように、最大随時筋収縮値ＭＶＣと安静時の筋電位値ＥＭＧrelaxの差に対する検出時における筋電位値ＥＭＧと安静時の筋電位値ＥＭＧrelaxの差の比率として算出される。
【数１】
2015204091.tif 000003
【００３７】
一方、モーションキャプチャ装置２は、常時プレーヤーの骨格全体を検出し、主要な関節すべての３次元座標を射影座標系に変換して座標変位を連続的に計測可能であるが、ここでは、手首関節の座標Ｐ１と肘関節の座標Ｐ２を特定部位として設定し、その相対的な座標の位置関係を後述の照準方向を定めるパラメータとして測定する（図中の「ＭＣ」以降）。
【００３８】
ゲーム開始後、筋電信号検出装置１がプレーヤーの随意筋収縮強度％ＭＶＣを連続的に計測し、これが所定の閾値Ｔ１以上となった場合、すなわち、プレーヤーが腕の筋肉に意図的に一定以上の力を込め始めた場合に、制御装置３内の時間カウンタＣをスタートさせる。そして、随意筋収縮強度％ＭＶＣが閾値Ｔ１以上の状態が所定の時間Ｔ２以上継続し、かつ、随意筋収縮強度％ＭＶＣが閾値Ｔ１未満に低下した場合に、制御装置３は、その時点における肘関節の座標Ｐ２から手首関節の座標Ｐ１の方向をベクトルの方向、手首関節の座標Ｐ１をベクトルの始点とするベクトルＲdirを定義するベクトルデータを出力させる。その後、時間カウンタＣはリセットされ、再び随意筋収縮強度％ＭＶＣの計測に戻る。
【００３９】
以上の過程により出力されたベクトルデータをゲーム機に送信することにより、プレーヤーの全身の動作を反映してゲーム映像上で動くキャラクターが、腕の筋肉に力を込めてエネルギーをチャージしつつ、手首をターゲットに向けてエネルギーを解放した瞬間に、手首から指向性エネルギーを発射するアニメーションを表示するように構成できる。
【００４０】
図４は、第２実施形態を説明するアルゴリズムである。なお、図４以下のアルゴリズムでは、「ＭＥ」及び「ＭＣ」より以前の処理工程は共通であるため記載を省略している。第１実施形態では、ベクトルデータが定義するベクトルの力の大きさは随意筋収縮強度％ＭＶＣが閾値Ｔ１以上の状態の継続時間に関わらず一定であるが、本実施形態では、前記継続時間に応じてベクトルの力の大きさを変更可能としている。
【００４１】
随意筋収縮強度％ＭＶＣが閾値Ｔ１以上の状態となって時間カウンタＣがスタートした後、本実施形態では、制御装置３は、数式２に示すように随意筋収縮強度％ＭＶＣをカウンタＣのスタート時点ｔ１から閾値Ｔ１を最初に下回った時点ｔ２までの経過時間で積分して得られる筋電積分値Ｓを算出する。すなわち、腕の筋肉に力を込めた状態で時間が経過するほど、チャージされるエネルギーが累積的に増大することになる。
【数２】
2015204091.tif 000004
【００４２】
そして、随意筋収縮強度％ＭＶＣが閾値Ｔ１以上の状態が所定の時間Ｔ２以上継続し、かつ、随意筋収縮強度％ＭＶＣが閾値Ｔ１未満に低下した場合、制御装置３は、その時点における肘関節の座標Ｐ２から手首関節の座標Ｐ１の方向をベクトルの方向、手首関節の座標Ｐ１をベクトルの始点、さらに筋電積分値Ｓを力の大きさとするベクトルＲdirを定義するベクトルデータを出力させる。その後、時間カウンタＣはリセットされ、再び随意筋収縮強度％ＭＶＣの計測に戻るのは第１実施形態と同様である。
【００４３】
以上により、ゲーム映像上のキャラクターが、腕の筋肉に力を込めてエネルギーをチャージする時間が長くなるほど、手首からターゲットに向けて発射される指向性エネルギーの破壊力がより大きくなるような表現が可能となる。
【００４４】
図５は、第３実施形態を説明するアルゴリズムである。本実施形態では、第２実施形態と同様に、随意筋収縮強度％ＭＶＣを経過時間で積分して得られる筋電積分値ＳによりベクトルＲdirの力の大きさを可変とするとともに、ベクトルデータを出力する際のトリガーを筋肉の弛緩ではなく、一旦弛緩させた筋肉に再度緊張させることに置き換えたものである。
【００４５】
ゲーム開始後、随意筋収縮強度％ＭＶＣが閾値Ｔ１以上となることで時間カウンタCがスタートし、筋電積分値Ｓが増加する。その状態が所定の時間Ｔ２以上継続した後に随意筋収縮強度％ＭＶＣが閾値Ｔ１未満に低下した場合、その時点までに累積された筋電積分値Ｓがメモリ３３に保存される。その後、再び随意筋収縮強度％ＭＶＣが閾値Ｔ１となった場合、その時点における肘関節の座標Ｐ２から手首関節の座標Ｐ１の方向を力の方向、手首関節の座標Ｐ１を力の始点、保存されている筋電積分値Ｓを力の大きさとするベクトルＲdirがベクトルデータとして出力され、その後、時間カウンタＣがリセットされて、再び随意筋収縮強度％ＭＶＣの計測に戻る。
【００４６】
かかるアルゴリズムの構成により、ゲーム映像上のキャラクターが腕の筋肉に力を込めてエネルギーのチャージを完了した後、手首をターゲットに向けて照準を行い、再度腕の筋肉に力を込めることをトリガーとして指向性エネルギーを発射する、というアニメーションを表示するように構成することができる。本実施形態では、一旦チャージされたエネルギーはメモリ３３に保存されているため、チャージ完了後、時間が経過してもキャラクターは任意のタイミングで指向性エネルギーを発射できる状態を維持できる。
【００４７】
図６は、第４実施形態を説明するアルゴリズムである。本実施形態では、指向性エネルギー発射のトリガーとして、たとえば肘関節の座標Ｐ２を基準とする手首関節の座標Ｐ１の変位を用いる。
【００４８】
ゲーム開始後、随意筋収縮強度％ＭＶＣが閾値Ｔ１以上となることで時間カウンタCがスタートし、筋電積分値Ｓが増加するところまでは第２実施形態と同様であるが、その状態が所定の時間Ｔ２以上継続した後に随意筋収縮強度％ＭＶＣが閾値Ｔ１未満に低下し、さらに手首関節の座標Ｐ１が肘関節の座標Ｐ２に対して変位した場合に、変位後の肘関節の座標Ｐ２から手首関節の座標Ｐ１の方向を力の方向、手首関節の座標Ｐ１を力の始点、随意筋収縮強度％ＭＶＣが閾値Ｔ１未満に低下した時点での筋電積分値Ｓを力の大きさとするベクトルＲdirがベクトルデータとして出力され、その後、時間カウンタＣがリセットされて、再び随意筋収縮強度％ＭＶＣの計測に戻る。
【００４９】
かかるアルゴリズムの構成により、ゲーム映像上のキャラクターが腕の筋肉に力を込めて所定の時間以上エネルギーをチャージし、任意のタイミングで手首をターゲットに向けて振り下ろすと同時に腕の筋肉を弛緩させてエネルギーを解放するというジェスチャーを行った場合にのみ、指向性エネルギーが発射されるというアニメーションを表示するように構成することができる。
【００５０】
最後に、図７は、第５実施形態を説明するアルゴリズムである。本実施形態では、指向性エネルギーのチャージの条件及び発射のトリガーとして、距離が変化する身体の二つの部位によるジェスチャー、たとえば、右手首関節の座標Ｐ３と左手首関節の座標Ｐ４の距離の変化やそれらの座標の変位を加えている。具体的には、モーションキャプチャ装置２は、プレーヤーの両手首の座標Ｐ３、Ｐ４を特定部位として検出し、両座標の距離Ｄと中間点の座標Ｍを連続的に計測するように構成する。
【００５１】
ゲーム開始後、随意筋収縮強度％ＭＶＣが閾値Ｔ１以上となり、かつ、前記距離Ｄが所定の閾値Ｔ３以下となることで時間カウンタCがスタートし、時間とともに筋電積分値Ｓが累積的に増大する。そして、所定の時間Ｔ２を経過した後に、筋収縮強度％ＭＶＣが閾値Ｔ１未満に低下し、かつ、前記中間点の座標Ｍが変位した場合に、座標Ｍの変位方向を力の方向、変位後の座標Ｍを力の始点、筋収縮強度％ＭＶＣが閾値Ｔ１未満に低下した時点での筋電積分値Ｓを力の大きさとするベクトルＲdirがベクトルデータとして出力され、その後、時間カウンタＣがリセットされて、再び随意筋収縮強度％ＭＶＣの計測に戻る。
【００５２】
かかるアルゴリズムの構成により、ゲーム映像上のキャラクターが腕の筋肉に力を込めつつ両手首（又は両掌）を近づけてゆきながら所定の時間以上エネルギーをチャージし、任意のタイミングで両手首（又は両掌）をターゲットに向けて突き出すと同時に腕の筋肉を弛緩させてエネルギーを解放するというジェスチャーを行った場合にのみ、指向性エネルギーが発射されるというアニメーションを表示するように構成することができる。本実施形態では、両手首のように距離や相対位置が三次元的に変化する身体の二つの特定部位の位置関係及び変位により指向性エネルギーの発射点や照準が定まるため、ターゲットに指向性エネルギーをヒットさせることの難易度がより高くなり、また、両手首（又は両掌）を近づけてエネルギーをチャージする間、キャラクターは防御姿勢が取れず無防備になるため、ゲーム演出上の面白みを向上させることができる。
【００５３】
なお、本実施形態では、２つの筋電信号検出装置１をプレーヤーの両腕の腕の筋肉の表面筋電位を検出できる箇所にそれぞれ装着し、両方又はいずれかの筋電信号検出装置１が検出する表面筋電位と閾値Ｔ１との関係を計測するよう構成できるが、他の実施形態と同様に片腕にだけ装着してもよい。
【００５４】
以上、本発明に係るベクトルデータ出力システムの具体的な構成について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想の範囲内において改良又は変更が可能であり、それらは本発明の技術的範囲に属するものである。
【００５５】
たとえば、筋電信号検出装置１による表面筋電位の検出対象とする筋肉は上腕二頭筋や腕橈骨筋に限られず、適宜他の筋肉を検出対象としてもよいし、モーションキャプチャ装置２によりジェスチャーによる座標変位を検出する人体の特定部位も、手首や肘に限られず、他の部位としてもよい。
【産業上の利用可能性】
【００５６】
本発明は、本発明は、コンピュータゲームにおけるゲーム映像上のキャラクターを操作するためのゲームコントローラ、あるいは、遠隔操作ロボット等の制御用コントローラへの適用が可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明の構成図
【図２】前記モーションキャプチャ装置２とプレーヤーに筋電信号検出装置１を装着した状態とを示す模式図
【図３】第１実施形態を説明するアルゴリズム
【図４】第２実施形態を説明するアルゴリズム
【図５】第３実施形態を説明するアルゴリズム
【図６】第４実施形態を説明するアルゴリズム
【図７】第５実施形態を説明するアルゴリズム
【符号の説明】
【００５８】
１        筋電入力装置
１０      筋電センサ
１１      筋電変換部
１２      送信部
１３      受信装置
２        モーションキャプチャ装置
３        制御装置
３０      入出力部
３１      制御部
３２      記憶部
３３      メモリ
４        出力装置
Ｈ        プレーヤー（人体）
Ｐ１      特定部位（手首）
Ｐ２      基準部位（肘）
Ｐ３、Ｐ４       特定部位（手首）
Ｄ        両手首の距離
Ｍ        両手首の中間点
【図１】
2015204091.tif 000005
【図２】
2015204091.tif 000006
【図３】
2015204091.tif 000007
【図４】
2015204091.tif 000008
【図５】
2015204091.tif 000009
【図６】
2015204091.tif 000010
【図７】
2015204091.tif 000011