(57)【特許請求の範囲】
【請求項１】
生体信号を収集する生体信号収集部と、前記生体信号から特徴パターンを抽出する生体信号処理部と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部と、各部で使用するパラメータを読み出し可能に保存するパラメータ保存部と、を含むポインティングデバイスにおいて、
前記ニューラルネット部は、リカレント構造を有する対数線形化混合正規分布ネットワークR-LLGMN（Recurrent Log-Linearized Gaussian Mixture Network）を有し、該R-LLGMNの学習時、推定時に入力する特徴パターンの時系列長を調節することにより該R-LLGMNの事後確率の出力の曖昧さを調節することを特徴とするポインティングデバイス。
【請求項２】
前記生体信号収集部は、入力として筋電位、脳波、手足の加速度、接触圧を選択・組み合わせて受けることが可能であることを特徴とする請求項１に記載のポインティングデバイス。
【請求項３】
前記生体信号処理部では、整流処理、フィルタリング処理、正規化処理、ピーク検出処理が行われることを特徴とする請求項１に記載のポインティングデバイス。
【請求項４】
前記生体信号処理部では、整流処理、フィルタリング処理、周波数解析処理、正規化処理、ピーク検出処理が行われることを特徴とする請求項１に記載のポインティングデバイス。
【請求項５】
ニューラルネット部には、使用する生体信号に含まれる個人差に適応するために、ニューラルネットを利用した学習機構を備えることを特徴とする請求項１に記載のポインティングデバイス。
【請求項６】
ニューラルネット部は、得られた特徴パターンに対してポインタが左右、上下などの複数の基準方向に移動する確率を計算することを特徴とする請求項１に記載のポインティングデバイス。
【請求項７】
移動方向決定部では、ニューラルネット部で計算した各基準方向に対するポインタ移動確率に基づいて移動方向を決定することを特徴とする請求項６に記載のポインティングデバイス。
【請求項８】
ポインタ制御部では、使用者が意図する力をポインタの移動方向と前記生体信号の平均的強度から計算し、慣性、粘性からなる物理モデルにしたがってポインタの移動量を算出することを特徴とする請求項１に記載のポインティングデバイス。
【請求項９】
ポインタ制御部では、使用者が意図する力をポインタの移動方向と前記生体信号の平均的強度から計算し、慣性、粘性、弾性からなる物理モデルにしたがってポインタの移動量を算出することを特徴とする請求項１に記載のポインティングデバイス。
【請求項１０】
ポインタ制御中の各部の処理状況を使用者に提示するフィードバック部をさらに有することを特徴とする請求項１に記載のポインティングデバイス。
【請求項１１】
前記フィードバック部では、計測した生体信号、特徴パターン部、ニューラルネット部の出力、移動方向推定結果、移動量の中の少なくとも一つをグラフィカルに使用者に提示することを特徴とする請求項１０に記載のポインティングデバイス。
【請求項１２】
パラメータ保存部に格納されるデータには、前記生体信号収集部において選択された信号の種類、生体信号処理部での特徴パターン抽出の際に用いられるフィルタのカットオフ周波数、信号のピーク値に係るしきい値、ニューラルネット部における重み係数などのニューラルネットに係るパラメータ、ポインタ制御部における慣性、粘性などのパラメータの中の一つまたは複数が含まれることを特徴とする請求項１に記載のポインティングデバイス。
【請求項１３】
パラメータ保存部に格納されるニューラルネット部において用いられるパラメータは、使用者毎に保存されることを特徴とする請求項１に記載のポインティングデバイス。
【請求項１４】
システム全体は、ウエアラブルに構成されていることを特徴とする請求項１に記載のポインティングデバイス。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、重度の障害者などでも使用することのできる筋電位（ＥＭＧ）、脳波（ＥＥＧ）、手足の動き（加速度）、呼気、接触圧などの生体信号を利用して制御が可能な全方位型のポインティングデバイスに関するものである。
【０００２】
【従来の技術】
生体信号を利用したポインティングデバイスに関しては、平滑筋電位信号の強度情報からカーソル座標を直接指定する方法などが既に提案されている（例えば、特許文献１参照）。また、生体信号の識別に関しては、ニューラルネットを利用した筋電位特徴パターンからの意図推定などが提案されている（例えば、特許文献２参照）。また、生体信号を利用したインタフェース装置に関しては、重度障害者が自身の筋電位、脳波、眼電位などを利用して意思伝達を行なうための装置などが提案されている（例えば、特許文献3参照）。
【０００３】
しかしながら従来手法による生体信号の利用は、特許文献１に記載されているような信号の強度に依存した制御か、特許文献２ないし３に記載されているような特徴パターンをあらかじめ決められた有限数のクラスに識別する方法に限られていた。このため、ポインティングデバイスにおいて全方位に自由にカーソルを移動するような制御を実現することは極めて困難であった。また、従来のシステムには、使用者へのフィードバック機能やカーソルの運動を決める物理モデルなどが無いなど構成が不十分であり、操作性に問題があった。
【０００４】
ところで、人間の筋収縮レベルに応じて発生するＥＭＧ信号などの生体信号には、どのような動作をどのくらいの力で行おうとしているのか、筋の粘弾性はどの程度かなどの有益な情報が含まれており、これらの情報を効率よく抽出することができれば、これまでにない新しいインタフェース装置を実現できる可能性がある。
ＥＭＧ信号から人間の運動意志を推定する研究は、主に電動義手の制御法に関して従来から試みられており、本発明者らもこれまでに、ニューラルネットによるＥＭＧパターンの識別を利用した電動義手やマニピュレータの制御を行ってきた（例えば、非特許文献１〜５参照）。しかしながら、これらの研究では、電動義手の多自由度制御問題をEMGパターンの動作識別問題に帰着させて考えているため、駆動関節などの自由度はパターン識別のクラス数に限定されていた。これらの手法をポインティングデバイスの操作に直接利用し、例えばポインタの移動方向をパターン識別問題に帰着させた場合、ポインタの移動可能方向の総数をあらかじめ設定しなければならず、この数が増えるにつれて膨大な学習サンプル数、学習時間が必要となる。
そこで、本発明者らはこれまでに、無限に存在するポインタの移動可能方向を、有限個の基準方向の組み合わせで表現することにより、この問題を解決してきた（例えば、非特許文献６参照）。この方式は、移動方向の推定には本発明者らが提案したLog-Linearized Gaussian Mixture Network（対数線形化混合正規分布ネットワーク：以下、LLGMNと記す）を利用して各基準方向に対する事後確率を計算し、それを各々ベクトルと考えて合成することにより、360°全方位へのポインタの移動を可能とするものである。この際、LLGMNは設定した基準方向に対する事後確率だけ推定すればよく、学習の負担軽減やネットワーク構造の単純化が実現できる。しかしながら、この方法は時刻毎に得られるパターン、すなわち信号の静的な特性だけしかモデル化できないため、信号の変動が激しい場合には識別精度の低下が見られた。また、基準方向以外の学習していない方向にはカーソル移動が困難となる場合があった。
【０００５】
一方、本発明者らは、LLGMNにリカレント構造を持たせたニューラルネットRecurrent Log-Linearized Gaussian Mixture Network（再帰性LLGMN：以下、R-LLGMNと記す）を提案した（例えば、非特許文献７参照）。このネットワークは、統計モデルの一つである混合正規分布モデルと、動的な確率モデルの一つである隠れマルコフモデル（Hidden Markov Model : HMM）を内包した構造を有しており、使用者のEMG信号の時系列的な特性を学習により獲得することができる。
【０００６】
而して、EMG信号、EEG信号を利用したヒューマンインタフェースに関する研究がこれまでに数多く試みられている。例えば、Rosenbergは、ウエアラブルコンピュータのインタフェースとして、EMG信号を用いた二次元ポインティングデバイスの研究を行っている（例えば、非特許文献８参照）。しかしながら、この方法はBPNN （Back Propagation Neural Network）を用いており、Fittsの法則（例えば、非特許文献９参照）に基づき操作性を評価すると、通常のマウスの１４％ほどのパーフォーマンスしか実現できていない。一方、Barretoらは、障害者支援用に、EEG信号とEMG信号を用いたコンピュータインタフェースを開発した（例えば、非特許文献１０参照）。この方法では、EEG信号の周波数情報と、表面筋から計測されたEMG信号を用い、４方向へのポインティングとクリック操作を実現している。また、Robertsら、MasonらによりEMG信号のみを用いたポインティングの研究が報告されている（例えば、非特許文献１１、１２参照）。Robertsらは1chのEEG信号から２種類のコマンドの識別を行った。これに対し、Masonらは、EEG信号の特徴を利用しスイッチング操作を行った。しかしながら、これらのシステムでは、個人差、疲労、発汗などによる信号の変化に対してシステムを適応させることはできなかったため、臨床で適用することは困難であった。
【０００７】
【特許文献１】
特開平8-36459号公報
【特許文献２】
特開2002-345862号公報
【特許文献３】
特開平11-203022号公報
【非特許文献１】
辻敏夫、森大一郎、伊藤宏司：「統計構造を組み込んだニューラルネットによるEMG動作識別法」、電気学会論文誌C,Vol.112-C,No.8,465/473,(1992)
【非特許文献２】
辻敏夫、市延弘行、金子真:「混合正規分布モデルを用いたフィードフォワード型ニューラルネット」電子情報通信学会論文誌、D-II,Vol.77,No.10,2093/2100,(1994)
【非特許文献３】
福田修、辻敏夫、金子真:「EMG信号を利用した手動制御人間支援マニュピュレータ」、日本ロボット学会誌、Vol.18,No.3,387/394,(2000)
【非特許文献４】
O.Fukuda,T.Tsuji and M.Kaneko:「An EMG Controlled Robotic Manipulator Using Neural Networks」, Proceedings of IEEE International Workshop on Robot and Human Communication,442/447,(1997)
【非特許文献５】
O.Fukuda,T.Tsuji,A.Otsuka and M.Kaneko:「An EMG-based Human Robot Interface for Rehabilitation Aid」, Proceedings of IEEE International Conference on Robotics and Automation,3492/3497,(1998)
【非特許文献６】
辻敏夫,福田修,村上満,金子真:「ニューラルネットを利用したEMG制御型ポインティングデバイス」、計測自動制御学会論文集、Vol.1,No.1,1/7,(2000)
【非特許文献７】
T.Tsuji, N.Bu,Fukuda, and M.Kaneko: 「A Recurrent Log-Linearized Gaussian Mixture Network」,IEEE Trans. On Neural Networks,(in press)
【非特許文献８】
R.Rosenberg: 「The Biofeedback Pointer :EMG Control of a Two Dimensional Pointer」, Proceedings of the 2nd. International Symposium on Wearable Computers,162/163, (1998)
【非特許文献９】
P.M.Fitts :「The information capacity of the motor system in controlling the amplitude of movement」, Journal of Experimental Psychology, vol.47,381/391, (1954)
【非特許文献１０】
A.B.Barreto, S. D. Scargle and M. Adjouadi:「A Practical EMG-based Human-computer Interface for Users with Motor Disabilities」, Journal of Rehabilitation Research and Development, 37(1),53-63,(2000)
【非特許文献１１】
S.J.Roberts, W.D. Penny:「Real-time Brain-Computer Interfacing: a Preliminary Study Using Bayesian Learning, Medical,Biological Engineering and Computing, Vol.38,56/61, (2000)
【非特許文献１２】
S. J. Mason,G. E. Birch:「A Brain-Computer Switch for Asynchronous Control Applications」, IEEE Transactions on Biological Engineering, Vol.47,No.10,1297/1307, (2000)
【０００８】
【発明の解決しようとする課題】
本発明は、上記の問題に鑑みなされたものであって、その目的は、筋電位、脳波、手足の動き（加速度）、呼気、接触圧などを利用して、変化の激しい信号に大しても精度よく制御が可能な、未学習の方向に対しても容易に移動が可能なポインティングデバイスを提供できるようにすることである。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、本発明によれば、生体信号を収集する生体信号収集部と、前記生体信号から特徴パターンを抽出する機能、および、前記生体信号の平均的強度を算出する機能を有する生体信号処理部と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部と、各部で使用するパラメータを保存・読み出し可能なパラメータ保存部と、を含むポインティングデバイスにおいて、前記ニューラルネット部がリカレント構造を有する対数線形化混合正規分布ネットワークR-LLGMNを利用するものであることを特徴とするポインティングデバイス、が提供される。
【００１０】
【発明の実施の形態】
次に、本発明の実施の形態を図面を参照して詳細に説明する。図１は、本発明の一実施の形態の概略の構成を示すブロック図である。本発明に係るポインティングデバイスは、上肢切断者等の身体障害者において有利に利用されるものであるが、健常者においても利用可能なものであり、ディスプレイを除いて、若しくはディスプレイをも含めてウエアラブルに構成可能なものである。
本発明のポインティングデバイスは、操作者によって発せられる複数のEMG信号に対して所定の処理を施してEMG信号の特徴量を抽出するEMG信号処理部と、入力された特徴量から移動方向の確率を算出するニューラルネット部と、ポインタの移動量を算出するポインタ制御部との３ブロックにて構成され、さらにフィードバック部を構成するディスプレイを備えている。ディスプレイには、計測した生体信号、算出された特徴パターン、ニューラルネット部の出力、移動方向推定結果、ポインタの移動量などをグラフィカルに使用者に提示することができる。上記の３ブロックは、中央処理部(CPU)と各種のデータやパラメータが格納されるメモリとを備えた情報処理装置により構成されており、この情報処理装置は外部との信号の授受のためのインターフェース（I/F）を備えている。メモリに格納されるパラメータとしては、入力部において選択した信号の種類、EMG信号処理部での特徴抽出の際に用いられるフィルタのカットオフ周波数、信号のピーク値に係るしきい値、ニューラルネット部における重み係数などのニューラルネットのパラメータ、ポインタ制御部における慣性、粘性、弾性などのパラメータなどが含まれ、これらのパラメータの内少なくともニューラルネット部に係るパラメータは使用者毎に保存されている。
以下、各部の動作について詳細に説明する。
【００１１】
〔EMG信号処理部〕
EMG信号処理部においては、複数の筋から得られるEMG信号から筋力の協調パターンを特徴量として抽出する。例えば、マルチテレメータ（Web5000:（株）日本光電製）で計測した（L+1）チャネル分のEMG信号をA/D変換し，チャネル毎に全波整流した後、２次のディジタルバタワースフィルタ（カットオフ周波数：1Hz）で平滑化する。さらにこの信号をサンプリング周波数100Hzで再サンプリングし、この時系列信号をEMGｌ(t)(l=1,2,…,L+1)とする。このEMGｌ(t)のうちLチャンネル(l=1,2,…,L)は、方向と速度、1チャネル (l=L+1) はクリックイベントの処理に利用する。
【００１２】
EMGｌ(t)(l=1,2,…,L)に関しては、Lチャンネルの和が１となるように(1)式に従って正規化したものを特徴パターンx(t)=[x1(t),x2(t),…,x L(t)]としてニューラルネット部へ入力する。ここで、x(t)はベクトルである。図２おいて、x1(t),x2(t),…,x L(t)は、x1,x2,…,xｄと表記されている。
【００１３】
【数１】
0004078419.tif 000002
ここで、EMGｌstbarは安静時におけるEMGｌ(t)の時間平均である。
EMGL+1(t)に関しては計測部位をLチャンネルとは別の部位（例えば首部）とし、この値を最大筋収縮時の値で正規化したものをクリック信号β(t)とする。この値が設定したしきい値を越えた時にクリックイベントが発生したと判定する。
【００１４】
EMG信号処理部では、またピーク値の検出が行われ、ピーク値がしきい値が越えたか否かが判定される。しきい値を越えた場合には、ポインタ移動の動作が行われたものと判定され、ニューラルネット部への特徴パターンの出力が行われ、ニューラルネット部での処理が行われる。また、このピーク値がしきい値を越えた場合にポインタ制御部においてポインタの移動が行われるようにしてもよい。ピーク値がしきい値が越えたか否かの判定は、EMGｌ(t)(l=1,2,…,L)の和または二乗和がしきい値が越えたか否かで判定する。あるいは、EMGｌ(t)(l=1,2,…,L)の中の何れかがあるしきい値が越えた場合にピーク値がしきい値が越えたと判定してもよい。
EMG信号処理部では、また周波数解析処理を行うようにしてもよい。例えば、EMG信号に対してFFT（Fast Fourier Transform）処理を加え、周波数軸についての信号変化を解析するようにしてもよい。
【００１５】
〔ニューラルネット部〕
ニューラルネット部では、ＥＭＧ信号処理部で計算した使用者のEMGパターン（ベクトル）x(n)(n=t-T+1,…,t)からポインタの各基準方向への事後確率を推定する。ここでＴは入力パターンの時間方向への長さとする。この計算には本発明者らが提案したR-LLGMNを用いる。このネットワークは、統計モデルの一つである混合正規分布と、動的な確率モデルの一つである隠れマルコフモデルを構造として内包しており、使用者のEMG信号の時系列的な特性を学習により獲得することができる。まずポインタの制御を行う前に、R-LLGMNを利用してEMG信号の時系列パターンとポインタの移動方向の関係を学習する。学習後のR-LLGMNは各基準方向に対してポインタが移動する事後確率をモデルに基づいて推定することができ、基準方向に対応する出力層の各ユニットからそれぞれの方向に対する事後確率(5)Oc(t)(c=1,…,C)を出力する。
前向き計算では、まず、入力ベクトルx(t)を次の（２）式に従って非線形変換し、新たな入力ベクトルとして用いる。
【００１６】
【数２】
0004078419.tif 000003
第1層はH=1+L(L+3)/2個のユニットから構成され、恒等関数を入出力関数として用いている。この新たな入力ベクトルXh(t)（h=1,2,…,H）はそのまま(1)Oh(t)として出力される。なお、図２においてXh(t)（h=1,2,…,H）はXh（h=1,2,…,H）と表記されている。
第２層のユニット｛c,k,k’,m｝(c=1,…,C;k,k’=1,…,Kc;m=1,…,Mc,k)は第１層のユニットの出力に重み係数wck’,k,m,h が掛け合わされたものを受け取る。第2層の入出力関係は、次の（３）、（４）式により与えられる。
【００１７】
【数３】
0004078419.tif 000004
ただし、Cは基準方向数、Kcは隠れマルコフモデルの状態数に対応するパラメータ、Mc,kは基準方向c、状態ｋに対応する混合ガウス分布モデルのコンポーネント数を表す。
【００１８】
第３層のユニット｛c,k,k’｝への入力は、第２層のユニット｛c,k,k’,m｝(m=1,…Mc,k）の出力を統合したものである。また、その入力に１時刻前の第４層の出力を乗じた値が第３層の出力となる。第３層の入出力関係は、次の（５）、（６）式により与えられる。
【００１９】
【数４】
0004078419.tif 000005
ただし、初期状態は(4)Ock’(0)=1.0とする。
さらに第４層は第３層のユニット｛c,k,k’｝の出力を統合したものを受け取る。
入出力関係は、次の（７）、（８）式により与えられる。
【００２０】
【数５】
0004078419.tif 000006
【００２１】
最後に、第５層のユニットcは第４層のKcユニット｛c,k｝（k=1,…,Kc）の出力を統合したものである。入出力関係は、次の（９）、（１０）式により与えられる。
【００２２】
【数６】
0004078419.tif 000007
この出力(5)Oc(t)が基準方向cに対する事後確率となる。
以上のように、このネットワークは、第３層と第４層の間にリカレント結合を有することで、 １時刻前の出力を考慮することができる。また、第１層と第２層の間の重み係数wを学習的に調節するだけで、基準方向に対する事後確率を混合正規分布モデルに基づいてモデル化することができる。
【００２３】
学習時には、まずシステムから使用者に対してポインタの目標移動方向φ（０≦φ＜２π）をランダムに提示する。ただし、 φは図１のx軸方向を０とし、反時計回りに増加するように定義する。使用者は指定された方向へのポインタ移動を意図して各筋を収縮する。そしてこのときのEMG信号と目標移動方向φをN組採取し、学習用サンプルデータセットとして使用する。
いま、時刻Tにおいて、n 番目の入力ベクトルx(t)(n)に対応する教師ベクトルT(n)(φ)=(T1(n)(φ),…,Tc(n)(φ) ,…,Tc(n)(φ))T(n=1,…,N)を（１１）式により計算する。
【００２４】
【数７】
0004078419.tif 000008
ただしφcは、下記の（１２）式のように定義する。
φc=2πc／C             （１２）
この教師信号は、目標移動方向φを、その方向を挟む2つの基準方向に分解したときの成分に対応する。もちろん確率であるから、その和は常に1である。例として、基準方向をφ=0,π/2,π,3/2πradの4方向とした場合の教師信号を図３に示す。
図から分かるように、目標移動方向が基準方向と一致しない場合にはφに近い二つの基準方向が選択され、その方向に対応する出力ユニットに教師信号が与えられている。この方法により、基準方向以外の方向も学習用データとして用いることが可能となる。
【００２５】
R-LLGMNは、 C個の基準方向それぞれに用意されたL個の時系列信号(N=LxC)を学習データとして学習を行う。
学習用データに対するネットワークの評価関数Jは、下記の（１３）式の通り定義し、
【００２６】
【数８】
0004078419.tif 000009
これを最小化、すなわち対数尤度を最大化するように学習を行う。ただし、Yc(t) は入力ベクトルx(t)(n)に対する時刻Tでの出力を意味している。また、R-LLGMNに含まれるリカレント結合の影響を考慮するため、P.J. Werbos:「Backpropagation through time:what it does and how to do it」, Proceedings of the IEEE, Vol.78,No.10,1550/1560,(1990)に記載された通時的誤差逆伝播方式(BPTT)を用いる。これは時系列中の誤差勾配を蓄積して、重み修正量を計算するという方式である。
ここで、学習の収束時間を待つことになる操作者の精神的負担を少しでも軽減することを目的として、ZakがM. Zak: 「Terminal Attractors for Addressable Memory in Neural Networks」, Physics Letters A, Vol.133,18/22(1988)において提案したターミナルアトラクタ(Terminal Attractor)を学習側に導入し、収束時間の上限値を設定可能とした。
【００２７】
〔ポインタ制御部〕（移動方向決定部）
ここでは、R-LLGMNからの出力および推定した筋活動レベルα(t)を基にポインタの動きを計算する。
R-LLGMNからの出力は、図１に示すように各基準方向cへポインタが移動する可能性を示している。そこで時刻tのEMGパターンによるポインタの移動方向ベクトルe(t)=(eX(t),eY(t))を、以下の（１４）〜（１７）式のように定義する。
【００２８】
【数９】
0004078419.tif 000010
【００２９】
【数１０】
0004078419.tif 000011
ここで、v X(t), v Y(t)は各基準方向へ対応するベクトル成分のx成分、y成分を示す。
【００３０】
〔ポインタ制御部〕（ポインタ移動量算出部）
また筋活動レベルα(t)を以下の（１８）式の通り計算する。
【００３１】
【数１１】
0004078419.tif 000012
ここでEMGcmaxbarは各基準方向に対する最大随意筋収縮時のEMG信号EMGclmax (t)のチャンネル和を時間平均したものである。このような筋活動レベルを利用することで各方向に対する最大随意筋収縮レベルの違いを調節することができ、これをポインタの移動速度の決定に利用する。
【００３２】
使用者の力特性に合ったポインタの操作感覚を実現するためには、我々が日常経験する物理則にしたがったポインタの運動が適すると考えられる。そこで、筋活動レベルα(t)と移動方向ベクトルe(t)に基づき、以下の（１９）式のインピーダンスモデルを用いてポインタがどのように移動するかを計算する。
【００３３】
【数１２】
0004078419.tif 000013
Me,Beはそれぞれ慣性、粘性パラメータでp(t)はポインタの位置ベクトルである。インピーダンスモデルに弾性力を加味してもよい。その場合には、（１９）式左辺にEe p(t)を加える。ここでEeは弾性パラメータである。またF(t)はポインタに加える駆動力で、α(t)、e(t) から0次ホールドを用いて（２０）式の通り計算する。
【００３４】
【数１３】
0004078419.tif 000014
ただし、 gは力ゲインを表す。α0 はポインタ操作の有無を判定するしきい値である。
（１９）式は粘性摩擦Beを有する平面に置かれた質量Meの物体に力F(t)が加わった際の運動方程式を表している。このような物理モデルに従い、数値積分によってポインタの位置、速度を計算することで、操作者の力感覚に対応した自然な操作感が期待できる。
【００３５】
〔実験〕
構築した実施の形態装置の操作性を調べるための実験を行った。被験者は6名で、被験者（Subject）A,B,C,D,Eについては、いずれも健常な男子学生（22才、23 才、22才、22才、24 才）とした。被験者Fは男性（ 45才）で4年前に事故のため右手首から15cm程の部位で前腕部を切断している。 どの被験者も事前に十分な練習を行った。
EMG信号計測用の電極(NT-511G、NT-512G:（株）日本光電製)は材質がAg/AgCl,形状が直径0.012mの円形、双極差動型のものを用いた。使用数は7chで右前腕部に6ch（橈側手根伸筋、橈側手根屈筋、尺側手根伸筋、尺側手根屈筋、 深指屈筋、固有示指伸筋）、左前腕部に1ch（橈側手根伸筋）を装着した。左前腕の電極は、クリックイベント発生用である。ただし、これらの電極の装着位置に関しては、自由に装着してもシステムに導入したニューラルネットによりある程度、適応が可能である。臨床で使用する際には、EMG信号に関して知識不十分 な使用者も想定され、特定の筋の上に電極を装着することが困難と考えられるので、このような適応機能が有効と考えられる。
実験では、ポインタの移動方向を右手首の曲げ方向に対応させてニューラルネットの学習を行った。ただし、切断者の場合は脳内に残された手首の運動イメージによりマウスを操作するように指示した。
データのサンプリング周波数は100[Hz]で、R-LLGMNのパラメータであるコンポーネント数、状態数は、それぞれ、M=1,K=1,学習に用いた基準方向はφ=0からπ/2radきざみの4方向と設定した。なお本実験では、ディスプレイのサイズは１７インチ、解像度は640x480とした。
【００３６】
〔操作例〕
図４、図５に操作の一例として被験者Aが円を描いた際の結果を示す。R-LLGMN学習時の時系列長は20とし、推定時の時系列長は5とした。図４はディスプレイ上のポインタの軌跡を示しており、ポインタの色が濃い区間ではドラッグ操作を行っている。図５は制御中の信号処理の様子を示しており、上から順にEMG信号、筋活動レベルα(t)、クリック信号β(t)、ポインタの移動速度、移動方向を示している。この図から、EMG信号を利用してポインタを随意的に制御可能なことが分かる。
【００３７】
次に、図６、図７に被験者F（上肢切断者）による操作例を示す。ここでは、ディスプレイ上にランダムに幾つかの円を配置し、その円を順番にクリックするタスクを実行している。使用電極数は8chで切断された前腕部の残存筋に7ch、また、左前腕部（橈側手根伸筋）にクリックイベント用の1chを装着した。R-LLGMN学習時の時系列長は20とし、推定時の時系列長は５とした。図６はディスプレイ上のポインタの軌跡、図７は制御中の信号処理の様子を示しており、上から順にEMG信号 、筋活動レベルα(t)、クリック信号β(t)、ポインタの移動速度、移動方向を示している。本システムが、上肢切断者に対してもスムーズなポインティングを提供可能なことが分かる。
【００３８】
〔方向精度の検証〕
開発したシステムの全方位への制御特性を調べるために、方向精度の検証を行った。各被験者には、ディスプレイによるフィードバックの無い状態で、手首をπ/8radきざみの16方向に各方向２秒間動作するよう指示した。そして、このとき計測したEMG信号から推定したポインタ移動方向と操作者への指示方向との誤差を評価指標として計算した。
図８ に実験結果を示す。図８(a)は被験者A、図８(b)は被験者Bの結果であり、
学習時、推定時に入力する特徴パターンの時系列長を、それぞれ1きざみで1から40までの計1600通りに変化させて計算した誤差平均を示している。ただし、誤差平均は全方位に対する誤差の平均値である。図より各被験者とも学習時の時系列長が長く、推定時の時系列長が短くなるに従い誤差が減少していることが分かる。
【００３９】
ここで方向精度には、学習方向、未学習方向で違いが見られたため、図８の実験結果 を学習した４方向と未学習の12方向に分けて再計算した。図９、図１０はそれぞれ学習方向、未学習方向の誤差平均であり、それぞれ(a)は被験者A、 (b)は被験者B、の結果である。この図より、学習時の時系列長が長く、推定時の時系列長が短くなるにつれて、学習した方向では誤差が増加し、未学習の方向では減少することが分かる。これは、推定時の時系列長が学習時のそれよりも短くなることで、情報量が低下し、R-LLGMNからの事後確率の出力が曖昧になったためである。この結果より、全方位への精度を平均的に向上させるためには、学習した方向の誤差が増大してしまうものの、推定信号は短いほうが良いことが分かる。以下では、学習時の時系列長を10、推定時の時系列長を1として操作を行うこととする。
【００４０】
次に、本システムにおけるR-LLGMN の有効性を示すために、LLGMN、Back Propagation Neural Network（以下、BPNNと記す）を利用した場合のシステムとの比較実験を行った。LLGMN は、混合正規分布モデルを構造として導入しており、R-LLGMNからリカレント結合を除いた場合に相当する。被験者にはディスプレイによるフィードバックのある状態で、指定された方向にポインタを移動するように指示し、その際の方向推定精度を求めた。
この実験において、 LLGMN のコンポーネント数、ターミナルアトラクタのパラメータである学習時間、学習率、サンプリングタイムはR-LLGMNのそれらと同数に設定した。BPNNのユニット数に関しては、方向推定精度が高くなるように、入力層６、第２層７、第３層６、出力層４と試行錯誤的に決定した。なお、ポインタの移動方向推定処理では、BPNN 出力の総和が１となるように正規化し、 R-LLGMNの場合と同様のアルゴリズムで方向推定を実施した。学習の評価関数には、教師信号との二乗誤差を利用し、学習率、慣性係数、学習終了誤差しきい値のパラメータをそれぞれ0.01,0.001,0.0003とした。ただし、評価関数の値が5万回の繰り返し計算の後に誤差しきい値以下にならない場合は収束不能とし学習を打ち切った。
図１１に被験者Bによる実験結果を示す。各レーダチャートは各指定方向を示してから2秒間における誤差の平均と標準偏差を表しており、
(a)はLLGMN、(b)はBPNN、(c)は R-LLGMNの結果である。この図から、R-LLGMN は、BPNNやLLGMNに比べて方向精度にばらつきが無く、指示された方向に正しく推定が行えていることが分かる。
【００４１】
〔操作性の検証〕
最後に本発明デバイスの操作性を評価するための実験を行った。実験時に被験者に提示した画面を、図１２に示す。図におけるポインタの大きさ、ターゲットの大きさ、ポインタとターゲットの距離、それぞれの比率はディスプレイに表示されるものと同等にしてある。この図のように、被験者はディスプレイ上に表示された2点間を往復するタスクを実行した。2 点間の距離は400pixels、ポインタの移動方向はπ/6radきざみの6方向とし、往復操作における操作時間、最短軌道からのずれの積分値を計算する。 6方向すべてに対する操作を1セッションとし、5セッションのデータの平均値、標準偏差を求めた。R-LLGMN, LLGMN,BPNNの設定は〔方向精度の検証〕の場合と同様とした。
に実験結果を示す。
図１３、図１４に実験結果を示す。図１３は往復走査の平均時間、図１４は最短起動からのずれの積分値を示している。また、図１４ のR-LLGMNの結果を基準にBPNN, LLGMNの結果を検定した（片側検定）。ここで、危険率、5.1 ％で有意差ありと判定された結果にはそれぞれ、 印を表中に示す。各手法を比較すると、R-LLGMN が平均時間、軌道誤差ともに小さくなる傾向となっており、操作性が最も高いことが確かめられた。
【００４２】
以上好ましい実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の要旨を逸脱することのない範囲内において適宜の変更が可能なものである。例えば、実施の形態では、生体信号にはEMG信号を用いていたが、これに代え若しくはこの信号と併用して脳波、手足の動き（加速度）、接触圧などの信号を用いることができる。
【００４３】
【発明の効果】
以上説明したように、本発明のポインティングデバイスは、Recurrent構造を有するニューラルネットを用いてポインタの移動方向を推定するものであるので、変化の激しい生体信号に対しても精度よく対応することのできる、また、基準方向以外の学習していない方向に対してもスムースな移動が可能な全方位型ポインティングデバイスを提供することができる。
【図面の簡単な説明】
【図１】  本発明のシステムの概略を示すブロック図。
【図２】  本発明のポインティングデバイスにおいて用いられるニューラルネット（R-LLGMN）の動作説明図。
【図３】  本発明のポインティングデバイスにおける学習過程を説明するための、基準方向と教師信号との関係を示す図。
【図４】  本発明のポインティングデバイスの使用結果を示す図（その１）。
【図５】  図４の結果を得た際の各部の信号波形図。
【図６】  本発明のポインティングデバイスの使用結果を示す図（その２）。
【図７】  図６の結果を得た際の各部の信号波形図。
【図８】  学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その１）。
【図９】  学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その２）。
【図１０】  学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その３）。
【図１１】  ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との推定方向の精度を示す図。
【図１２】  本発明のポインティングデバイスの操作性を検証するために用いたディスプレイ上の目標点を示す図。
【図１３】  ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との往復操作の平均時間を示す図表。
【図１４】  ニューラルネット部にR-LLGMNを用いた場合と、他の方式を用いた場合との最短軌道からのずれの積分値を示す図表。
【図１】
0004078419.tif 000015
【図２】
0004078419.tif 000016
【図３】
0004078419.tif 000017
【図４】
0004078419.tif 000018
【図５】
0004078419.tif 000019
【図６】
0004078419.tif 000020
【図７】
0004078419.tif 000021
【図８】
0004078419.tif 000022
【図９】
0004078419.tif 000023
【図１０】
0004078419.tif 000024
【図１１】
0004078419.tif 000025
【図１２】
0004078419.tif 000026
【図１３】
0004078419.tif 000027
【図１４】
0004078419.tif 000028