1(57)【特許請求の範囲】【請求項１】 オペレータの操作により必要な情報を計算機に入力するためのヒューマンインタフェース装置であって、前記オペレータの複数の筋肉の活動に応じた信号を検出するために、該オペレータの身体に装着される表面電極、前記表面電極の各検出出力を各筋肉が発生する張力に対応する擬似張力を表わす信号に変換し、その信号に基づいて運動軌道や力軌道を推定する非線形ダイナミクスモ 10デル、および前記非線形ダイナミクスモデルの出力に応じて、前記推定された運動軌道や力軌道で動作する仮想身体を備えた、ヒューマンインタフェース装置。
【請求項２】 前記非線形ダイナミクスモデルは、神経2回路を含み、前記神経回路は、前記表面電極から入力される複数の筋肉の活動に応じた信号をフィルタリングし、各筋肉が発生する張力に対応する擬似張力を表わす信号を出力する前段の回路と、前記前段の回路からの信号を受け、擬似張力，位置，速度からトルク，外界へ及ぼす力および加速度信号を推定する複数層からなる後段の回路とを含む、請求項１のヒューマンインタフェース装置。
【請求項３】 前記神経回路は、パラメータを決定するために所定の学習則を用いて学習することを特徴とする、請求項２のヒューマンインタフェース装置。
【請求項４】 前記神経回路は、前記推定されたトルクを身体の力学を記述する非線形方程式に代入して数値積分を行なって軌道を推定するか、前記推定された加速度

(2)3を巡回結合で数値積分して軌道を推定し、前記仮想身体を制御することを特徴とする、請求項３のヒューマンインタフェース装置。
【請求項５】 前記神経回路は、前記位置，速度から静止中と運動中における加速度，トルク，力などを推定する部分に分割されていることを特徴とする、請求項４のヒューマンインタフェース装置。
【発明の詳細な説明】【０００１】【産業上の利用分野】この発明はヒューマンインタフェース装置に関し、たとえば、計算機の一般的使用環境において現在広く用いられているマウスやトラックボールなどに代わり、より操作性と自然度に優れた仮想腕や仮想手など計算機環境の中で身体の分身として機能する仮想身体を実現するようなヒューマンインタフェース装置に関する。
【０００２】【従来の技術】従来の計算機とオペレータの間のヒューマンインタフェース装置は、マウスやジョイスティックやトラックボールやケーブルによる三次元マウス，三次元磁気位置計測装置，ゴニオメータ，マスタアーム，データグローブ，データスーツなどに代表されるように、身体の一部または全体である手，腕，体幹などの運動の結果として生じた物理的変化を位置や力として様々な手段で計測し、それを計算機世界の中のカーサや手，腕などの動きに反映するものである。
【０００３】マウスのような簡単な二次元位置変化計測装置は、従来のキーボードに比べれば、格段に自然性の高いヒューマンインタフェースを提供するが、位置計測だけのインタフェース装置は、たとえデータグローブやデータスーツのように自由度を増しても使用感が不自然で、力フィードバックがかからず、速度や加速度，力の制御が行なえないために、使用中に激しい疲労感を覚えるという欠点がある。
【０００４】一方、力を計測することもできるテレオペ
レーションシステムのマスタロボットアームやゴニオメータは機械装置として、大変大がかりで高価なものとなり、かつ暴走時には極めて危険であるため、原子炉内の作業など特殊な用途以外にはその安全性，利便性，価格，スペースユーティリティなどの点で汎用のヒューマンインタフェース装置としては成立しにくい。
【０００５】【発明が解決しようとする課題】ところで、従来より筋電信号を用いたコンピュータとのインタフェース装置が、たとえば特開昭６３−１７２３２２号公報において提案されている。これは、人体の任意の動作時に得られる筋電信号パターンと予め設定された特定の情報を持った複数の基準パターンとを比較し、最も近い基準パターンに設定された情報のデータを入力して、キーボードを操作することなく、所望のデータ入力を可能とする。し1020304050

特許２５５７７８９4
かし、このようなパターン認識によるクラス分けの方法
では、アルファベットや小数の動作などの限られた数の離散データの入力は行なえても、マウスやデータグローブに代わるような高速で多数の自由度を持つベクトル入力値を連続的に変更するようなヒューマンインタフェー
ス装置を構成することができないという欠点がある。
【０００６】それゆえに、この発明の主たる目的は、運動を生じさせる原因である脳，神経系の活動を何らかの非侵襲的な方法で計測し、それに基づいて計算機内の世界で身体の一部または全部のモデルである仮想身体をあたかも自分の分身であるかのように自然に制御し、位置のみならず力，速度，加速度を自由に操れるようなヒューマンインタフェース装置を提供することである。
【０００７】この発明の他の目的は、安全性，利便性，価格，スペースユーティリティなどの点で従来のマウス，データグローブと同等で機械式の力計測インタフェース装置に比べてはるかに優れたヒューマンインタフェース装置を提供することである。
【０００８】【課題を解決するための手段】請求項１に係る発明は、オペレータの操作により必要な情報を計算機に入力するためのヒューマンインタフェース装置であって、オペレータの複数の筋肉の活動に応じた信号を検出するために、オペレータの身体に装着される表面電極と、表面電極の各検出出力を各筋肉か発生する張力に対応する擬似張力を表わす信号に変換し、その信号に基づいて運動軌道や力軌道を推定する非線形ダイナミクスモデルと、この非線形ダイナミクスモデルの出力に応じて、推定された運動軌道や力軌道で動作する仮想身体とを備えて構成される。
【０００９】【００１０】請求項２に係る発明では、請求項１の非線形ダイナミクスモデルは、神経回路を含み、この神経回路は、表面電極から入力される複数の筋肉の活動に応じた信号をフィルタリングし、各筋肉が発生する張力に対応する擬似張力を表わす信号を出力する前段の回路と、前段の回路からの信号を受け、擬似張力，位置，速度からトルク，外界へ及ぼす力および加速度信号を推定する複数層からなる後段の回路を含む。
【００１１】請求項３に係る発明では、請求項２の神経回路は、パラメータを決定するために所定の学習則を用いて学習する。
【００１２】請求項４に係る発明では、請求項３の神経回路は、推定されたトルクを身体の力学を記述する非線形方程式に代入して数値積分を行なって軌道を推定するか、あるいは推定された加速度を巡回結合で数値積分して軌迫を推定し、仮想身体を制御する。
【００１３】請求項５に係る発明では、請求項４の神経回路は、位置，速度から静止中と運動中における加速度，トルク，力などを推定する部分に分割される。

(3)

特許２５５７７８９56【００１４】＊ えられ、擬似張力が身体ダイナミクスモデル４に与えら【作用】この発明に係るヒューマンインタフェース装置
れる。身体ダイナミクスモデルはその擬似張力に基づいは、オペレータの複数の筋肉の活動に応じた信号を表面て、運度軌道や力軌道を推定する。この推定された運動電極によって検出し、その検出信号を各筋肉が発生する
パターンはコンピュータ５に与えられ、内蔵されている張力に対応する擬似張力を表わす信号に変換した後、非プログラムに基づいて、仮想身体を推定した軌道に基づ線形ダイナミクスモデルによって運動軌道や力軌道を推いて運動シミュレーションし、ディスプレイに表示す定し、その推定した運動軌道や力軌道で仮想身体を動作る。そして、使用を終了していなければ初期状態に戻させる。
り、上述の動作を繰り返す。
【００１５】【００１７】図３は筋電信号を計測する１０個の筋肉と【実施例】図１はこの発明の一実施例の概略ブロック図 10 表面電極の大まかな位置を示す図である。この発明の一である。図１において、表面電極１はオペレータの筋肉実施例では、腕の１０個の筋肉から筋電信号が測定されの活動に応じた信号、たとえば筋電信号を検出するものる。すなわち、図３に示すように、肩関節の伸筋，屈筋であり、オペレータの身体に装着される。検出された筋として三角筋前部ＤＬＳ，三角筋上部ＤＬＡ，三角筋後
電信号は筋電信号増幅器２に与えられて増幅され、フィ部ＤＬＣ，大胸筋ＰＭＪ，大円筋ＴＥＭ，肩，肘の２関ルタ３に与えられる。フィルタ３は、増幅された筋電信節筋として上腕二頭筋長頭ＢＩＬ，上腕三頭筋長頭ＴＲ号をフィルタリングし、擬似張力を表わす信号に変換
Ｌ，肘関節の伸筋，屈筋として上腕筋ＢＲＣ，上腕三頭し、身体ダイナミクスモデル４に与える。身体ダイナミ
筋内側頭ＴＲＭ，上腕三頭筋外側頭ＴＲＡである。図１
クスモデル４はたとえば非線形神経回路が用いられ、擬に示した表面電極は、たとえば１対の銀塩化銀表面電極
似張力を表わす信号に基づいて、運動軌道や力軌道を推を用いて、表面筋電位を双極誘導し、筋電信号増幅器２定し、コンピュータ５に与える。コンピュータ５は身体 20 で差動増幅した後、その筋電信号を２ｋＨｚのサンプリ
ダイナミクスモデル４から与えられた運動軌道や力軌道ングクロックにより１２ｂｉｔサンプリングされる。表のパターンに応じて、内蔵されているソフトプログラム
面電極１の直径は約１０ｍｍで、筋線維に沿って電極間に基づいて仮想身体６を制御する。の距離を１５ｍｍで身体に張付けられる。この信号を全【００１６】図２はこの発明の一実施例の動作を説明す
波整流した後に１０点ごとの平均（ＥＭＧａｖｅ）をとるためのフローチャートである。次に、図２を参照しり、さらに第（１）式のように５点ごとの移動平均をとて、図１の動作について説明する。表面電極１を使用者って平滑化される。この信号を平均筋電信号（ＥＭＧｍの身体に装着し、使用者が身体を動かしたり力を発生しａ）と呼ぶ。
たりすると、筋電信号が筋電信号増幅器２に与えられ、【００１８】増幅される。この増幅された筋電信号はフィルタ３に与＊【数１】【００１９】したがって、２００Ｈｚサンプリングしたことになる。随意運動では、上位中枢からの制御信号が脊髄のα運動ニューロンを介して各筋肉に伝えられ、筋肉が収縮し、各関節にトルクを生じさせ、望みの運動が起こる。人で上位中枢からの制御信号を計測しようとした場合、非侵襲では表面筋電信号が考えられる。筋収縮時の膜の興奮電位を皮膚上で計測した信号が表面筋電信号である。表面筋電信号は、中枢神経系からの随意的な 40信号だけでなく、末梢のフィードバックも含めて筋肉に伝えられた信号が、時間的，空間的に重ね合されたものである。
【００２０】中枢神経系からの随意的な信号だけでなく、末梢のフィードバックも含めて筋肉に伝えられた信号を運動指令と呼ぶ。表面筋電信号は筋の活動をまとまった単位で記録していることから、身体運動を解析するには適している。筋肉の発生する張力は同じ運動指令であっても筋長が長くなると増加する。この変化の仕方は非線形であり、長さ−張力曲線と呼ばれている。また、 50

同じ運動指令であっても、筋長の短縮速度が大きくなると張力が減少する。この変化の仕方も非線形であり、短縮速度−張力曲線と呼ばれている。
【００２１】人の場合、筋肉を直接取出して張力を計測できないため、従来からも、筋電信号から筋肉の発生する張力を推定することが試みられてきた。筋電信号の信号処理としては、全波整流した後に、一定時間平均をとる方法，ローパスフィルタを通す方法，積分する方法などがある。ローパスフィルタを用いる方法は、筋肉の収縮が遅い場合にはよく筋張力を推定する。しかし、速い伸縮の場合は正確に推定できないし、長さ−張力曲線のような筋肉の非線形な性質は考慮できない。しかし、ローパスフィルタを通った出力信号を擬似張力と呼び、α運動ニューロンの発火頻度を反映していると期待されるのでかなり真の張力に近いと考えられる。このローパスフィルタは二次系で十分なことが知られている。つまり、伝達関数は次の第（２）式で表わされる。
【００２２】

(4)

特許２５５７７８９78【数２】【００２３】このインパルス応答は、第（３）式で表わ＊ 【００２４】
すことができ、入力ｕ，出力ｙとしてＦＩＲフィルタで【数３】実現すると第（４）式のようになる。
＊【００２５】この係数は等尺性収縮において表面筋電信※ 肩の関節角速度θs2 ，肘の関節角速度θe2 が入力され号からトルクを推定する最適化によって求めることがでる。第２層４２と第３層４３はシナプス結合４５されてきる。
おり、さらに第３層４３と第４層４４とはシナプス結合【００２６】図４は図１に示した身体ダイナミクスモデ
４６によって結合されている。
ル４の一例を示す４層構造のパーセプトロンを示し、図【００２８】この図４に示した身体ダイナミクスモデル５は図４の基本回路の精度を上げるためにモジュール構４は以下の原理により、運動軌道や力軌道を推定する。
造を導入した２層から４層までのブロック図であり、図すなわち、筋肉は張力のみを発生するので、関節の角度６は図５のネットワークをリカレント接続して運動軌道 20 を変えるためには、関節の両側に拮抗的に働く１対の筋を筋電信号から推測するようにした非線形ダイナミカルを配置する必要がある。関節を伸ばす筋を伸筋，曲げるシステムモデルを示す図である。
筋を屈筋と呼ぶ。関節の回転軸と筋肉の作用線との距離【００２７】次に、図４ないし図６を参照して、図１にがモーメントアームである。関節を曲げ伸ばしすると、示した身体ダイナミクスモデル４を具体的に説明する。
筋肉は皮膚や骨によって曲げられるため、この距離は一図４において、身体ダイナミクスモデル４は第１層４定でなく、トルクと張力の関係が関節角度に非線形に依１，第２層４２，第３層４３および第４層４４とを含存する。関節トルクは伸筋と屈筋の発生するトルクの差み、第１層４１には過去から現在に至る筋電信号ＥＭＧによって生じ、張力とモーメントアームに依存して決まｍａ（ｎ）…ＥＭＧｍａ（ｎ−Ｎ＋１）が入力される。
ることになる。この関節トルクは次の第（５）式で表わ
第１層４１から第２層４２までの変換によって、上述のされる。
ＦＩＲフィルタ３を実現しており、フィルタ３の出力と 30 【００２９】して擬似張力１１が第２層４２に与えられる。また、第【数４】
２層４２には、肩の関節角度θs1 ，肘の関節角度θe1 ，※【００３０】ここで、τs は肩のトルク，τe は肘のトルク，θs1 は肩の関節角度，θe1 は肘の関節角度である。αis （θ），αie （θ）はｉ番目の筋肉のモーメントアーム（単関節筋なら関与しない関節については０），Ｔi はｉ番目の筋肉の筋張力，Ｔi ′はｉ番目の筋肉の擬似張力を表わす。

【００３１】平面内の２関節運動における関節トルクと軌道の関係は、次の第（７）式に示す運動方程式に従う。
【００３２】
【数５】

(5)
9

特許２５５７７８９10【００３３】ここで、τi ，θi1 ，θi2 ，θi3 は各関節＊ るときの加速度を推定すると、加速度の小さいところ、の駆動トルク，関節角，関節角速度，関節角加速度を表 10 つまりほとんど止まっているような状態では、動いてい
わし、Ｍi ，Ｌi ，ｌgi ，Ｉi ，ｂi は、各リンクの質るときに比べ加速度の値が小さいため、相対的に誤差が量，長さ，関節から質量中心までの長さ，関節まわりの小さく評価されてしまう。このため、リカレントネット
慣性モーメント，粘性抵抗の係数を表わす。
ワークを用いて軌道を生成するときに誤差の蓄積が起こ【００３４】神経回路モデルにより、表面筋電信号かり、正しい軌道を生成できない場合がある。以上の考察
ら、各関節の角加速度を推定することを考える。表面筋に基づき、図５に示したモジュール構造を取入れること
電信号は膜の興奮電位が時間的，空間的に重畳されていによって問題を解決する。すなわち、図５に示すようる信号である。図４で示したとおり、二次のローパスフに、ネットワークを２つのエキスパートネットワーク２ィルタを通すことにより、表面筋電信号から擬似張力を１，２２に分割し、これらのエキスパートネットワーク計算することができる。人が運動を行なっているときの２１，２２の出力はゲートネットワーク２３によって切各関節に発生しているトルクを自然な状態で計測するこ 20 換えられる。エキスパートネットワーク２１，２２の入とはできない。したがって、上述のごとく、軌道から運力には、筋肉の張力Ｔと肩の関節角度θs1 ，肘の関節角
動方程式を用いた逆ダイナミクス計算でトルクを推定す
度θe1 と肩の関節角速度θs2 と肘の関節角速度θe2 が入ることになる。しかし、必要なパラメータの値を推定す力され、ゲートネットワーク２３の入力には、筋肉の張る必要がある。
力Ｔと肩の関節角度θs1 と肘の関節角度θe1 と肩の関節【００３５】一方、擬似張力から直接関節角加速度を推角速度θs2 の絶対値，肘の関節角速度θe2 の絶対値と、定できれば、張力やトルクを陽に計算することなしに軌
肩の関節角加速度θs3 の絶対値と、肘の関節角加速度θ道を生成することもできる。そこで、この発明の一実施e3 の絶対値とが入力される。
例では、筋電信号，関節角度と関節角速度とから各関節【００３８】図５に示すように、２つのエキスパートネの角加速度を第１層４１〜第４層４４のネットワークをットワーク２１，２２を用いることにより、学習がうま用いて推定している。擬似張力は、筋肉の非線形な性質 30 く行なわれると、ゲートネットワーク２３は入力信号にを含んではいないため、筋肉骨格系の非線形な性質や腕よりエキスパートネットワーク２１，２２のいずれか一のダイナミクスをネットワークの第２層４２から第４層方を選ぶことになる。今の場合、２つのエキスパートネ４４の間で学習により獲得することになる。
ットワーク２１，２２のうちの一方が止まっていると【００３６】腕をある位置に静止させているときでも、き、他方が動いているときに正しい加速度を推定するこリラックスしていたり、伸筋と屈筋を同時に活性化させとができる。このように、ゲートネットワーク２３は入ることにより腕を固くしたり、筋肉の発生する張力で比力信号によっていずれか一方のエキスパートネットワー
較するといろいろな場合が考えられる。しかし、腕が静クがどのくらい確率的に正しい出力を出すかを判断する
止しているときは加速度は０であり、加速度だけを見ることになるので、ゲートネットワーク２３の出力はすべと違いはわからない。また、このとき、関節角度が変わて正で合計が１であることが必要である。このため、第らないため、短縮速度−張力曲線の影響は受けていな
40 （７）式に示すように、ｊ番目のエキスパートネットワ
い。
ークに対応するゲートネットワーク２３の出力ｇj は正【００３７】逆に、運動しているときは、運動指令の中規化されている。に伸張反射などのローカルなフィードバックの影響があ【００３９】
る。１つのネットワークで静止しているときと動いてい＊【数６】【００４０】ここで、ｘi はゲートネットワーク２３の入力信号によって決まる値であり、Ｎはゲートネットワ 50

ーク２３の出力の数である。そして、最終的な出力は、第（８）式に示すように、各エキスパートネットワーク

(6)

特許２５５７７８９11の出力θi3 ′にゲートネットワーク２３の出力を掛けて＊ 【００４１】
和がとられる。
＊【数７】

12【００４２】個々のエキスパートネットワークは、対数※ 【００４３】
尤度ｌｎＬを最大化するように、第（９）式の誤差逆伝【数８】搬を利用して学習を行なう。
※【００４４】加速度推定ネットワークは、現在の筋電信号，関節角度と角速度から単位時間後の速度の変化（加速度）を推定できるので、入力の関節角度，角速度と出力の角速度から単位時間後の関節角度，角速度を計算することができる。この関節角度，角速度と次の時刻の筋電信号から次の単位時間後の関節角度，角速度を計算していくことを繰り返していくと、初期の関節角度，角速度と全運動時間の筋電信号だけから軌道を生成することができる。この場合の神経回路モデルとしては、図６に示すようなリカレント型となる。
【００４５】図６において、筋電信号ＥＭＧはモデル３１に入力される。モデル３１は筋電信号に基づいて加速度信号を出力する。この加速度信号は加算器３２によって一単位時間の遅れ要素３３の出力と加算され、速度信号が出力される。この速度信号は一単位時間の遅れ要素３３と３４に入力され、一単位時間の遅れ要素３３の出力は上述の加算器３２に与えられるとともに、モデル３１にフィードバックされる。一単位時間の遅れ要素３４の出力は加算器３６によって一単位時間の遅れ要素３５の出力と加算される。加算器３６の出力は位置信号となり、一単位時間の遅れ要素３５にあたえられ、一単位時間の遅れ要素３５の出力はモデル３１にフィードバックされる。
【００４６】図７は図６に示したモデルを用いて仮想腕をある点からある点まで動かしたときの軌道の様子を示している。図７（ａ）は肩の位置の時間変化を示し、（ｂ）は肩の速度の時間変化を示し、（ｃ）は肩の加速度の時間変化を示している。ただし、点線は実際の腕の運動であり、実線が仮想腕の運動を示している。図７（ｄ）は肩のための２つのゲートネットワークの出力を示しており、点線が運動中であり、実線が静止中の出力である。さらに、図７（ｅ）は肘の位置の時間変化を示し、（ｆ）は肘の速度の時間変化を示し、（ｇ）は肘の加速度の時間変化を示している。この場合においても、点線が実際の腕の運動であり、実線が仮想腕の運動を示している。図７（ｈ）は肘のゲートネットワーク２３の出力を示したものであり、点線が運動中であり、実線が静止中の出力である。
【００４７】図７（ｄ），（ｈ）から明らかなように、20304050

止まっているときにはエキスパートネットワーク２１，２２がほぼ同じ確率で出力しており、運動しているときにはエキスパートネットワーク２２が主に出力している。また、運動の初めと終りの部分でゲートネットワーク２３が切換わるところでも遅れがなく、加速度の変化をよく推定している。
【００４８】【発明の効果】以上のように、この発明によれば、オペレータの複数の筋肉の活動に応じた信号を検出し、その検出信号を各筋肉が発生する張力に対応する擬似張力を表わす信号に変換し、その信号に基づいて運動軌道や力軌道を推定して仮想身体を制御するようにしたので、計算機内の世界で身体の一部または全部のモデルである仮想身体をあたかも自分の分身であるかのように自然に制御し、位置のみならず力，速度，加速度を自由に操ることができるようなヒューマンインタフェース装置を実現できる。しかも、安全性や利便性や価格性やスペースユーティリティなどの点で従来のマウスやデータグローブと同等で、機械式力計測インタフェース装置に比べてはるかに優れた装置を実現できる。
【図面の簡単な説明】【図１】この発明の一実施例の概略ブロック図である。
【図２】図１の動作を説明するためのフローチャートである。
【図３】筋電信号を計測した１０個の筋肉と表面電極の大まかな位置を示す図である。
【図４】筋電信号と位置，速度から関節角加速度を推定する基本的な４層構造のパーセプトロンを示す図である。
【図５】図４に示した基本回路の精度を上げるためにモジュール構造を導入した２層から４層までのネットワー
クのブロック図である。
【図６】図５のネットワークをリカレント接続して運動軌道を筋電信号から推測するようにした非線形のダイナミカルシステムモデルを示す図である。
【図７】図６のモデルを用いて仮想腕をある点からある点まで動かしたときの軌道の様子を示す図である。
【符号の説明】
１ 表面電極(7)13２ 筋電信号増幅器
３ フィルタ４ 身体ダイナミクスモデル
５ コンピュータ
４１ 第１層４２ 第２層４３ 第３層特許２５５７７８９
14＊ ４４ 第４層
２１，２２ エキスパートネットワーク
２３ ゲートネットワーク
３１ モデル３２，３６ 加算器
３３，３４，３５ 一単位時間の遅れ要素

＊
【図１】

【図２】

【図４】

【図３】

【図５】

(8)

【図６】

特許２５５７７８９【図７】