(57)【要約】【課題】生体信号を用いた、制御が容易で、早い動きにも追随できるポインティングデバイスを提供する。【解決手段】生体信号を収集する生体信号収集部（ＥＭＧ  ｓｉｇｎａｌｓ）と、前記生体信号から特徴パターンを抽出する生体信号処理部（ＥＭＧ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ）と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部（Ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部（Ｐｏｉｎｔｅｒ  ｃｏｎｔｒｏｌ）と、各部で使用するパラメータを読み出し可能に保存するパラメータ保存部と、を含むポインティングデバイス。【選択図】        図１
2005011037.tif 000002
【特許請求の範囲】
【請求項１】
生体信号を収集する生体信号収集部と、前記生体信号から特徴パターンを抽出する生体信号処理部と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部と、各部で使用するパラメータを読み出し可能に保存するパラメータ保存部と、を含むポインティングデバイスにおいて、前記ニューラルネット部がリカレント構造を有する対数線形化混合正規分布ネットワークＲ−ＬＬＧＭＮ（Ｒｅｃｕｒｒｅｎｔ  Ｌｏｇ−Ｌｉｎｅａｒｉｚｅｄ  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｎｅｔｗｏｒｋ）を利用するものであることを特徴とするポインティングデバイス。
【請求項２】
前記生体信号収集部は、入力として筋電位、脳波、手足の動き（加速度）、接触圧を選択・組み合わせて受けることが可能であることを特徴とする請求項１に記載のポインティングデバイス。
【請求項３】
前記生体信号処理部では、整流処理、フィルタリング処理、正規化処理、ピーク検出処理が行われることを特徴とする請求項１に記載のポインティングデバイス。
【請求項４】
前記生体信号処理部では、整流処理、フィルタリング処理、周波数解析処理、正規化処理、ピーク検出処理が行われることを特徴とする請求項１に記載のポインティングデバイス。
【請求項５】
ニューラルネット部には、使用する生体信号に含まれる個人差に適応するために、ニューラルネットを利用した学習機構を備えることを特徴とする請求項１に記載のポインティングデバイス。
【請求項６】
ニューラルネット部は、得られた特徴パターンに対してポインタが左右、上下などの複数の基準方向に移動する確率を計算することを特徴とする請求項１に記載のポインティングデバイス。
【請求項７】
移動方向決定部では、ニューラルネット部で計算した各基準方向に対するポインタ移動確率に基づいて移動方向を決定することを特徴とする請求項６に記載のポインティングデバイス。
【請求項８】
ポインタ制御部では、使用者が意図する力をポインタの移動方向と前記生体信号の平均的強度から計算し、慣性、粘性からなる物理モデルにしたがってポインタの移動量を算出することを特徴とする請求項１に記載のポインティングデバイス。
【請求項９】
ポインタ制御部では、使用者が意図する力をポインタの移動方向と前記生体信号の平均的強度から計算し、慣性、粘性、弾性からなる物理モデルにしたがってポインタの移動量を算出することを特徴とする請求項１に記載のポインティングデバイス。
【請求項１０】
ポインタ制御中の各部の処理状況を使用者に提示するフィードバック部をさらに有することを特徴とする請求項１に記載のポインティングデバイス。
【請求項１１】
前記フィードバック部では、計測した生体信号、特徴パターン部、ニューラルネット部の出力、移動方向推定結果、移動量の中の少なくとも一つをグラフィカルに使用者に提示することを特徴とする請求項１０に記載のポインティングデバイス。
【請求項１２】
パラメータ保存部に格納されるデータには、  前記生体信号収集部において選択された信号の種類、生体信号処理部での特徴パターン抽出の際に用いられるフィルタのカットオフ周波数、信号のピーク値に係るしきい値、ニューラルネット部における重み係数などのニューラルネットに係るパラメータ、ポインタ制御部における慣性、粘性などのパラメータの中の一つまたは複数が含まれることを特徴とする請求項１に記載のポインティングデバイス。
【請求項１３】
パラメータ保存部に格納されるニューラルネット部において用いられるパラメータは、使用者毎に保存されることを特徴とする請求項１に記載のポインティングデバイス。
【請求項１４】
システム全体は、ウエアラブルに構成されていることを特徴とする請求項１に記載のポインティングデバイス。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、重度の障害者などでも使用することのできる筋電位（ＥＭＧ）、脳波（ＥＥＧ）、手足の動き（加速度）、呼気、接触圧などの生体信号を利用して制御が可能な全方位型のポインティングデバイスに関するものである。
【０００２】
【従来の技術】
生体信号を利用したポインティングデバイスに関しては、平滑筋電位信号の強度情報からカーソル座標を直接指定する方法などが既に提案されている（例えば、特許文献１参照）。また、生体信号の識別に関しては、ニューラルネットを利用した筋電位特徴パターンからの意図推定などが提案されている（例えば、特許文献２参照）。また、生体信号を利用したインタフェース装置に関しては、重度障害者が自身の筋電位、脳波、眼電位などを利用して意思伝達を行なうための装置などが提案されている（例えば、特許文献３参照）。
【０００３】
しかしながら従来手法による生体信号の利用は、特許文献１に記載されているような信号の強度に依存した制御か、特許文献２ないし３に記載されているような特徴パターンをあらかじめ決められた有限数のクラスに識別する方法に限られていた。このため、ポインティングデバイスにおいて全方位に自由にカーソルを移動するような制御を実現することは極めて困難であった。また、従来のシステムには、使用者へのフィードバック機能やカーソルの運動を決める物理モデルなどが無いなど構成が不十分であり、操作性に問題があった。
【０００４】
ところで、人間の筋収縮レベルに応じて発生するＥＭＧ信号などの生体信号には、どのような動作をどのくらいの力で行おうとしているのか、筋の粘弾性はどの程度かなどの有益な情報が含まれており、これらの情報を効率よく抽出することができれば、これまでにない新しいインタフェース装置を実現できる可能性がある。
ＥＭＧ信号から人間の運動意志を推定する研究は、主に電動義手の制御法に関して従来から試みられており、本発明者らもこれまでに、ニューラルネットによるＥＭＧパターンの識別を利用した電動義手やマニピュレータの制御を行ってきた（例えば、非特許文献１〜５参照）。しかしながら、これらの研究では、電動義手の多自由度制御問題をＥＭＧパターンの動作識別問題に帰着させて考えているため、駆動関節などの自由度はパターン識別のクラス数に限定されていた。これらの手法をポインティングデバイスの操作に直接利用し、例えばポインタの移動方向をパターン識別問題に帰着させた場合、ポインタの移動可能方向の総数をあらかじめ設定しなければならず、この数が増えるにつれて膨大な学習サンプル数、学習時間が必要となる。
そこで、本発明者らはこれまでに、無限に存在するポインタの移動可能方向を、有限個の基準方向の組み合わせで表現することにより、この問題を解決してきた（例えば、非特許文献６参照）。この方式は、移動方向の推定には本発明者らが提案したＬｏｇ−Ｌｉｎｅａｒｉｚｅｄ  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｎｅｔｗｏｒｋ（対数線形化混合正規分布ネットワーク：以下、ＬＬＧＭＮと記す）を利用して各基準方向に対する事後確率を計算し、それを各々ベクトルと考えて合成することにより、３６０°全方位へのポインタの移動を可能とするものである。この際、ＬＬＧＭＮは設定した基準方向に対する事後確率だけ推定すればよく、学習の負担軽減やネットワーク構造の単純化が実現できる。しかしながら、この方法は時刻毎に得られるパターン、すなわち信号の静的な特性だけしかモデル化できないため、信号の変動が激しい場合には識別精度の低下が見られた。また、基準方向以外の学習していない方向にはカーソル移動が困難となる場合があった。
【０００５】
一方、本発明者らは、ＬＬＧＭＮにリカレント構造を持たせたニューラルネットＲｅｃｕｒｒｅｎｔ  Ｌｏｇ−Ｌｉｎｅａｒｉｚｅｄ  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｎｅｔｗｏｒｋ（再帰性ＬＬＧＭＮ：以下、Ｒ−ＬＬＧＭＮと記す）を提案した（例えば、非特許文献７参照）。このネットワークは、統計モデルの一つである混合正規分布モデルと、動的な確率モデルの一つである隠れマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ  ：  ＨＭＭ）を内包した構造を有しており、使用者のＥＭＧ信号の時系列的な特性を学習により獲得することができる。
【０００６】
而して、ＥＭＧ信号、ＥＥＧ信号を利用したヒューマンインタフェースに関する研究がこれまでに数多く試みられている。例えば、Ｒｏｓｅｎｂｅｒｇは、ウエアラブルコンピュータのインタフェースとして、ＥＭＧ信号を用いた二次元ポインティングデバイスの研究を行っている（例えば、非特許文献８参照）。しかしながら、この方法はＢＰＮＮ  （Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いており、Ｆｉｔｔｓの法則（例えば、非特許文献９参照）に基づき操作性を評価すると、通常のマウスの１４％ほどのパーフォーマンスしか実現できていない。一方、Ｂａｒｒｅｔｏらは、障害者支援用に、ＥＥＧ信号とＥＭＧ信号を用いたコンピュータインタフェースを開発した（例えば、非特許文献１０参照）。この方法では、ＥＥＧ信号の周波数情報と、表面筋から計測されたＥＭＧ信号を用い、４方向へのポインティングとクリック操作を実現している。また、Ｒｏｂｅｒｔｓら、ＭａｓｏｎらによりＥＭＧ信号のみを用いたポインティングの研究が報告されている（例えば、非特許文献１１、１２参照）。Ｒｏｂｅｒｔｓらは１ｃｈのＥＥＧ信号から２種類のコマンドの識別を行った。これに対し、Ｍａｓｏｎらは、ＥＥＧ信号の特徴を利用しスイッチング操作を行った。しかしながら、これらのシステムでは、個人差、疲労、発汗などによる信号の変化に対してシステムを適応させることはできなかったため、臨床で適用することは困難であった。
【０００７】
【特許文献１】
特開平８−３６４５９号公報
【特許文献２】
特開２００２−３４５８６２号公報
【特許文献３】
特開平１１−２０３０２２号公報
【非特許文献１】
辻敏夫、森大一郎、伊藤宏司：「統計構造を組み込んだニューラルネットによるＥＭＧ動作識別法」、電気学会論文誌Ｃ，Ｖｏｌ．１１２−Ｃ，Ｎｏ．８，４６５／４７３，（１９９２）
【非特許文献２】
辻敏夫、市延弘行、金子真：「混合正規分布モデルを用いたフィードフォワード型ニューラルネット」電子情報通信学会論文誌、Ｄ−ＩＩ，Ｖｏｌ．７７，Ｎｏ．１０，２０９３／２１００，（１９９４）
【非特許文献３】
福田修、辻敏夫、金子真：「ＥＭＧ信号を利用した手動制御人間支援マニュピュレータ」、日本ロボット学会誌、Ｖｏｌ．１８，Ｎｏ．３，３８７／３９４，（２０００）
【非特許文献４】
Ｏ．Ｆｕｋｕｄａ，Ｔ．Ｔｓｕｊｉ  ａｎｄ  Ｍ．Ｋａｎｅｋｏ：「Ａｎ  ＥＭＧ  Ｃｏｎｔｒｏｌｌｅｄ  Ｒｏｂｏｔｉｃ  Ｍａｎｉｐｕｌａｔｏｒ  Ｕｓｉｎｇ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ」，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｒｏｂｏｔ  ａｎｄ  Ｈｕｍａｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ，４４２／４４７，（１９９７）
【非特許文献５】
Ｏ．Ｆｕｋｕｄａ，Ｔ．Ｔｓｕｊｉ，Ａ．Ｏｔｓｕｋａ  ａｎｄ  Ｍ．Ｋａｎｅｋｏ：「Ａｎ  ＥＭＧ−ｂａｓｅｄ  Ｈｕｍａｎ  Ｒｏｂｏｔ  Ｉｎｔｅｒｆａｃｅ  ｆｏｒ  Ｒｅｈａｂｉｌｉｔａｔｉｏｎ  Ａｉｄ」，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ，３４９２／３４９７，（１９９８）
【非特許文献６】
辻敏夫，福田修，村上満，金子真：「ニューラルネットを利用したＥＭＧ制御型ポインティングデバイス」、計測自動制御学会論文集、Ｖｏｌ．１，Ｎｏ．１，１／７，（２０００）
【非特許文献７】
Ｔ．Ｔｓｕｊｉ，  Ｎ．Ｂｕ，Ｆｕｋｕｄａ，  ａｎｄ  Ｍ．Ｋａｎｅｋｏ：  「Ａ  Ｒｅｃｕｒｒｅｎｔ  Ｌｏｇ−Ｌｉｎｅａｒｉｚｅｄ  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｎｅｔｗｏｒｋ」，ＩＥＥＥ  Ｔｒａｎｓ．  Ｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，（ｉｎ  ｐｒｅｓｓ）
【非特許文献８】
Ｒ．Ｒｏｓｅｎｂｅｒｇ：  「Ｔｈｅ  Ｂｉｏｆｅｅｄｂａｃｋ  Ｐｏｉｎｔｅｒ  ：ＥＭＧ  Ｃｏｎｔｒｏｌ  ｏｆ  ａ  Ｔｗｏ  Ｄｉｍｅｎｓｉｏｎａｌ  Ｐｏｉｎｔｅｒ」，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２ｎｄ．  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｗｅａｒａｂｌｅ  Ｃｏｍｐｕｔｅｒｓ，１６２／１６３，  （１９９８）
【非特許文献９】
Ｐ．Ｍ．Ｆｉｔｔｓ  ：「Ｔｈｅ  ｉｎｆｏｒｍａｔｉｏｎ  ｃａｐａｃｉｔｙ  ｏｆ  ｔｈｅ  ｍｏｔｏｒ  ｓｙｓｔｅｍ  ｉｎ  ｃｏｎｔｒｏｌｌｉｎｇ  ｔｈｅ  ａｍｐｌｉｔｕｄｅ  ｏｆ  ｍｏｖｅｍｅｎｔ」，  Ｊｏｕｒｎａｌ  ｏｆ  Ｅｘｐｅｒｉｍｅｎｔａｌ  Ｐｓｙｃｈｏｌｏｇｙ，  ｖｏｌ．４７，３８１／３９１，  （１９５４）
【非特許文献１０】
Ａ．Ｂ．Ｂａｒｒｅｔｏ，  Ｓ．  Ｄ．  Ｓｃａｒｇｌｅ  ａｎｄ  Ｍ．  Ａｄｊｏｕａｄｉ：「Ａ  Ｐｒａｃｔｉｃａｌ  ＥＭＧ−ｂａｓｅｄ  Ｈｕｍａｎ−ｃｏｍｐｕｔｅｒ  Ｉｎｔｅｒｆａｃｅ  ｆｏｒ  Ｕｓｅｒｓ  ｗｉｔｈ  Ｍｏｔｏｒ  Ｄｉｓａｂｉｌｉｔｉｅｓ」，  Ｊｏｕｒｎａｌ  ｏｆ  Ｒｅｈａｂｉｌｉｔａｔｉｏｎ  Ｒｅｓｅａｒｃｈ  ａｎｄ  Ｄｅｖｅｌｏｐｍｅｎｔ，  ３７（１），５３−６３，（２０００）
【非特許文献１１】
Ｓ．Ｊ．Ｒｏｂｅｒｔｓ，  Ｗ．Ｄ．  Ｐｅｎｎｙ：「Ｒｅａｌ−ｔｉｍｅ  Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ  Ｉｎｔｅｒｆａｃｉｎｇ：  ａ  Ｐｒｅｌｉｍｉｎａｒｙ  Ｓｔｕｄｙ  Ｕｓｉｎｇ  Ｂａｙｅｓｉａｎ  Ｌｅａｒｎｉｎｇ，  Ｍｅｄｉｃａｌ，Ｂｉｏｌｏｇｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｉｎｇ，  Ｖｏｌ．３８，５６／６１，  （２０００）
【非特許文献１２】
Ｓ．  Ｊ．  Ｍａｓｏｎ，Ｇ．  Ｅ．  Ｂｉｒｃｈ：「Ａ  Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ  Ｓｗｉｔｃｈ  ｆｏｒ  Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｃｏｎｔｒｏｌ  Ａｐｐｌｉｃａｔｉｏｎｓ」，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｂｉｏｌｏｇｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ，  Ｖｏｌ．４７，Ｎｏ．１０，１２９７／１３０７，  （２０００）
【０００８】
【発明の解決しようとする課題】
本発明は、上記の問題に鑑みなされたものであって、その目的は、筋電位、脳波、手足の動き（加速度）、呼気、接触圧などを利用して、変化の激しい信号に大しても精度よく制御が可能な、未学習の方向に対しても容易に移動が可能なポインティングデバイスを提供できるようにすることである。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、本発明によれば、生体信号を収集する生体信号収集部と、前記生体信号から特徴パターンを抽出する機能、および、前記生体信号の平均的強度を算出する機能を有する生体信号処理部と、前記特徴パターンから使用者が意図するポインタ移動方向についての確率を計算するニューラルネット部と、ニューラルネット部が計算した確率からポインタの移動方向を決定する移動方向決定部、および、前記ポインタの移動方向と前記生体信号の平均的強度とからポインタの移動量を物理モデルに基づいて計算するポインタ移動量算出部を有するポインタ制御部と、各部で使用するパラメータを保存・読み出し可能なパラメータ保存部と、を含むポインティングデバイスにおいて、前記ニューラルネット部がリカレント構造を有する対数線形化混合正規分布ネットワークＲ−ＬＬＧＭＮを利用するものであることを特徴とするポインティングデバイス、が提供される。
【００１０】
【発明の実施の形態】
次に、本発明の実施の形態を図面を参照して詳細に説明する。図１は、本発明の一実施の形態の概略の構成を示すブロック図である。本発明に係るポインティングデバイスは、上肢切断者等の身体障害者において有利に利用されるものであるが、健常者においても利用可能なものであり、ディスプレイを除いて、若しくはディスプレイをも含めてウエアラブルに構成可能なものである。
本発明のポインティングデバイスは、操作者によって発せられる複数のＥＭＧ信号に対して所定の処理を施してＥＭＧ信号の特徴量を抽出するＥＭＧ信号処理部と、入力された特徴量から移動方向の確率を算出するニューラルネット部と、ポインタの移動量を算出するポインタ制御部との３ブロックにて構成され、さらにフィードバック部を構成するディスプレイを備えている。ディスプレイには、計測した生体信号、算出された特徴パターン、ニューラルネット部の出力、移動方向推定結果、ポインタの移動量などをグラフィカルに使用者に提示することができる。上記の３ブロックは、中央処理部（ＣＰＵ）と各種のデータやパラメータが格納されるメモリとを備えた情報処理装置により構成されており、この情報処理装置は外部との信号の授受のためのインターフェース（Ｉ／Ｆ）を備えている。メモリに格納されるパラメータとしては、入力部において選択した信号の種類、ＥＭＧ信号処理部での特徴抽出の際に用いられるフィルタのカットオフ周波数、信号のピーク値に係るしきい値、ニューラルネット部における重み係数などのニューラルネットのパラメータ、ポインタ制御部における慣性、粘性、弾性などのパラメータなどが含まれ、これらのパラメータの内少なくともニューラルネット部に係るパラメータは使用者毎に保存されている。
以下、各部の動作について詳細に説明する。
【００１１】
〔ＥＭＧ信号処理部〕
ＥＭＧ信号処理部においては、複数の筋から得られるＥＭＧ信号から筋力の協調パターンを特徴量として抽出する。例えば、マルチテレメータ（Ｗｅｂ５０００：（株）日本光電製）で計測した（Ｌ＋１）チャネル分のＥＭＧ信号をＡ／Ｄ変換し，チャネル毎に全波整流した後、２次のディジタルバタワースフィルタ（カットオフ周波数：１Ｈｚ）で平滑化する。さらにこの信号をサンプリング周波数１００Ｈｚで再サンプリングし、この時系列信号をＥＭＧｌ（ｔ）（ｌ＝１，２，…，Ｌ＋１）とする。このＥＭＧｌ（ｔ）のうちＬチャンネル（ｌ＝１，２，…，Ｌ）は、方向と速度、１チャネル  （ｌ＝Ｌ＋１）  はクリックイベントの処理に利用する。
【００１２】
ＥＭＧｌ（ｔ）（ｌ＝１，２，…，Ｌ）に関しては、Ｌチャンネルの和が１となるように（１）式に従って正規化したものを特徴パターンｘ（ｔ）＝［ｘ１（ｔ），ｘ２（ｔ），…，ｘ  Ｌ（ｔ）］としてニューラルネット部へ入力する。ここで、ｘ（ｔ）はベクトルである。図２おいて、ｘ１（ｔ），ｘ２（ｔ），…，ｘ  Ｌ（ｔ）は、ｘ１，ｘ２，…，ｘｄと表記されている。
【００１３】
【数１】
2005011037.tif 000003
ここで、ＥＭＧｌｓｔｂａｒは安静時におけるＥＭＧｌ（ｔ）の時間平均である。
ＥＭＧＬ＋１（ｔ）に関しては計測部位をＬチャンネルとは別の部位（例えば首部）とし、この値を最大筋収縮時の値で正規化したものをクリック信号β（ｔ）とする。この値が設定したしきい値を越えた時にクリックイベントが発生したと判定する。
【００１４】
ＥＭＧ信号処理部では、またピーク値の検出が行われ、ピーク値がしきい値が越えたか否かが判定される。しきい値を越えた場合には、ポインタ移動の動作が行われたものと判定され、ニューラルネット部への特徴パターンの出力が行われ、ニューラルネット部での処理が行われる。また、このピーク値がしきい値を越えた場合にポインタ制御部においてポインタの移動が行われるようにしてもよい。ピーク値がしきい値が越えたか否かの判定は、ＥＭＧｌ（ｔ）（ｌ＝１，２，…，Ｌ）の和または二乗和がしきい値が越えたか否かで判定する。あるいは、ＥＭＧｌ（ｔ）（ｌ＝１，２，…，Ｌ）の中の何れかがあるしきい値が越えた場合にピーク値がしきい値が越えたと判定してもよい。
ＥＭＧ信号処理部では、また周波数解析処理を行うようにしてもよい。例えば、ＥＭＧ信号に対してＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）処理を加え、周波数軸についての信号変化を解析するようにしてもよい。
【００１５】
〔ニューラルネット部〕
ニューラルネット部では、ＥＭＧ信号処理部で計算した使用者のＥＭＧパターン（ベクトル）ｘ（ｎ）（ｎ＝ｔ−Ｔ＋１，…，ｔ）からポインタの各基準方向への事後確率を推定する。ここでＴは入力パターンの時間方向への長さとする。この計算には本発明者らが提案したＲ−ＬＬＧＭＮを用いる。このネットワークは、統計モデルの一つである混合正規分布と、動的な確率モデルの一つである隠れマルコフモデルを構造として内包しており、使用者のＥＭＧ信号の時系列的な特性を学習により獲得することができる。まずポインタの制御を行う前に、Ｒ−ＬＬＧＭＮを利用してＥＭＧ信号の時系列パターンとポインタの移動方向の関係を学習する。学習後のＲ−ＬＬＧＭＮは各基準方向に対してポインタが移動する事後確率をモデルに基づいて推定することができ、基準方向に対応する出力層の各ユニットからそれぞれの方向に対する事後確率（５）Ｏｃ（ｔ）（ｃ＝１，…，Ｃ）を出力する。
前向き計算では、まず、入力ベクトルｘ（ｔ）を次の（２）式に従って非線形変換し、新たな入力ベクトルとして用いる。
【００１６】
【数２】
2005011037.tif 000004
第１層はＨ＝１＋Ｌ（Ｌ＋３）／２個のユニットから構成され、恒等関数を入出力関数として用いている。この新たな入力ベクトルＸｈ（ｔ）（ｈ＝１，２，…，Ｈ）はそのまま（１）Ｏｈ（ｔ）として出力される。なお、図２においてＸｈ（ｔ）（ｈ＝１，２，…，Ｈ）はＸｈ（ｈ＝１，２，…，Ｈ）と表記されている。
第２層のユニット｛ｃ，ｋ，ｋ’，ｍ｝（ｃ＝１，…，Ｃ；ｋ，ｋ’＝１，…，Ｋｃ；ｍ＝１，…，Ｍｃ，ｋ）は第１層のユニットの出力に重み係数ｗｃｋ’，ｋ，ｍ，ｈ  が掛け合わされたものを受け取る。第２層の入出力関係は、次の（３）、（４）式により与えられる。
【００１７】
【数３】
2005011037.tif 000005
ただし、Ｃは基準方向数、Ｋｃは隠れマルコフモデルの状態数に対応するパラメータ、Ｍｃ，ｋは基準方向ｃ、状態ｋに対応する混合ガウス分布モデルのコンポーネント数を表す。
【００１８】
第３層のユニット｛ｃ，ｋ，ｋ’｝への入力は、第２層のユニット｛ｃ，ｋ，ｋ’，ｍ｝（ｍ＝１
，…Ｍｃ，ｋ）の出力を統合したものである。また、その入力に１時刻前の第４層の出力を乗じた値が第３層の出力となる。第３層の入出力関係は、次の（５）、（６）式により与えられる。
【００１９】
【数４】
2005011037.tif 000006
ただし、初期状態は（４）Ｏｃｋ’（０）＝１．０とする。
さらに第４層は第３層のユニット｛ｃ，ｋ，ｋ’｝の出力を統合したものを受け取る。
入出力関係は、次の（７）、（８）式により与えられる。
【００２０】
【数５】
2005011037.tif 000007
【００２１】
最後に、第５層のユニットｃは第４層のＫｃユニット｛ｃ，ｋ｝（ｋ＝１，…，Ｋｃ）の出力を統合したものである。入出力関係は、次の（９）、（１０）式により与えられる。
【００２２】
【数６】
2005011037.tif 000008
この出力（５）Ｏｃ（ｔ）が基準方向ｃに対する事後確率となる。
以上のように、このネットワークは、第３層と第４層の間にリカレント結合を有することで、  １時刻前の出力を考慮することができる。また、第１層と第２層の間の重み係数ｗを学習的に調節するだけで、基準方向に対する事後確率を混合正規分布モデルに基づいてモデル化することができる。
【００２３】
学習時には、まずシステムから使用者に対してポインタの目標移動方向φ（０≦φ＜２π）をランダムに提示する。ただし、  φは図１のｘ軸方向を０とし、反時計回りに増加するように定義する。使用者は指定された方向へのポインタ移動を意図して各筋を収縮する。そしてこのときのＥＭＧ信号と目標移動方向φをＮ組採取し、学習用サンプルデータセットとして使用する。
いま、時刻Ｔにおいて、ｎ  番目の入力ベクトルｘ（ｔ）（ｎ）に対応する教師ベクトルＴ（ｎ）（φ）＝（Ｔ１（ｎ）（φ），…，Ｔｃ（ｎ）（φ）  ，…，Ｔｃ（ｎ）（φ））Ｔ（ｎ＝１，…，Ｎ）を（１１）式により計算する。
【００２４】
【数７】
2005011037.tif 000009
ただしφｃは、下記の（１２）式のように定義する。
φｃ＝２πｃ／Ｃ              （１２）
この教師信号は、目標移動方向φを、その方向を挟む２つの基準方向に分解したときの成分に対応する。もちろん確率であるから、その和は常に１である。例として、基準方向をφ＝０，π／２，π，３／２πｒａｄの４方向とした場合の教師信号を図３に示す。
図から分かるように、目標移動方向が基準方向と一致しない場合にはφに近い二つの基準方向が選択され、その方向に対応する出力ユニットに教師信号が与えられている。この方法により、基準方向以外の方向も学習用データとして用いることが可能となる。
【００２５】
Ｒ−ＬＬＧＭＮは、  Ｃ個の基準方向それぞれに用意されたＬ個の時系列信号（Ｎ＝ＬｘＣ）を学習データとして学習を行う。
学習用データに対するネットワークの評価関数Ｊは、下記の（１３）式の通り定義し、
【００２６】
【数８】
2005011037.tif 000010
これを最小化、すなわち対数尤度を最大化するように学習を行う。ただし、Ｙｃ（ｔ）  は入力ベクトルｘ（ｔ）（ｎ）に対する時刻Ｔでの出力を意味している。また、Ｒ−ＬＬＧＭＮに含まれるリカレント結合の影響を考慮するため、Ｐ．Ｊ．  Ｗｅｒｂｏｓ：「Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ  ｔｈｒｏｕｇｈ  ｔｉｍｅ：ｗｈａｔ  ｉｔ  ｄｏｅｓ  ａｎｄ  ｈｏｗ  ｔｏ  ｄｏ  ｉｔ」，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，  Ｖｏｌ．７８，Ｎｏ．１０，１５５０／１５６０，（１９９０）に記載された通時的誤差逆伝播方式（ＢＰＴＴ）を用いる。これは時系列中の誤差勾配を蓄積して、重み修正量を計算するという方式である。
ここで、学習の収束時間を待つことになる操作者の精神的負担を少しでも軽減することを目的として、ＺａｋがＭ．  Ｚａｋ：  「Ｔｅｒｍｉｎａｌ  Ａｔｔｒａｃｔｏｒｓ  ｆｏｒ  Ａｄｄｒｅｓｓａｂｌｅ  Ｍｅｍｏｒｙ  ｉｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ」，  Ｐｈｙｓｉｃｓ  Ｌｅｔｔｅｒｓ  Ａ，  Ｖｏｌ．１３３，１８／２２（１９８８）において提案したターミナルアトラクタ（Ｔｅｒｍｉｎａｌ  Ａｔｔｒａｃｔｏｒ）を学習側に導入し、収束時間の上限値を設定可能とした。
【００２７】
〔ポインタ制御部〕（移動方向決定部）
ここでは、Ｒ−ＬＬＧＭＮからの出力および推定した筋活動レベルα（ｔ）を基にポインタの動きを計算する。
Ｒ−ＬＬＧＭＮからの出力は、図１に示すように各基準方向ｃへポインタが移動する可能性を示している。そこで時刻ｔのＥＭＧパターンによるポインタの移動方向ベクトルｅ（ｔ）＝（ｅＸ（ｔ），ｅＹ（ｔ））を、以下の（１４）〜（１７）式のように定義する。
【００２８】
【数９】
2005011037.tif 000011
【００２９】
【数１０】
2005011037.tif 000012
ここで、ｖ  Ｘ（ｔ），  ｖ  Ｙ（ｔ）は各基準方向へ対応するベクトル成分のｘ成分、ｙ成分を示す。
【００３０】
〔ポインタ制御部〕（ポインタ移動量算出部）
また筋活動レベルα（ｔ）を以下の（１８）式の通り計算する。
【００３１】
【数１１】
2005011037.tif 000013
ここでＥＭＧｃｍａｘｂａｒは各基準方向に対する最大随意筋収縮時のＥＭＧ信号ＥＭＧｃｌｍａｘ  （ｔ）のチャンネル和を時間平均したものである。このような筋活動レベルを利用することで各方向に対する最大随意筋収縮レベルの違いを調節することができ、これをポインタの移動速度の決定に利用する。
【００３２】
使用者の力特性に合ったポインタの操作感覚を実現するためには、我々が日常経験する物理則にしたがったポインタの運動が適すると考えられる。そこで、筋活動レベルα（ｔ）と移動方向ベクトルｅ（ｔ）に基づき、以下の（１９）式のインピーダンスモデルを用いてポインタがどのように移動するかを計算する。
【００３３】
【数１２】
2005011037.tif 000014
Ｍｅ，Ｂｅはそれぞれ慣性、粘性パラメータでｐ（ｔ）はポインタの位置ベクトルである。インピーダンスモデルに弾性力を加味してもよい。その場合には、（１９）式左辺にＥｅ  ｐ（ｔ）を加える。ここでＥｅは弾性パラメータである。またＦ（ｔ）はポインタに加える駆動力で、α（ｔ）、ｅ（ｔ）  から０次ホールドを用いて（２０）式の通り計算する。
【００３４】
【数１３】
2005011037.tif 000015
ただし、  ｇは力ゲインを表す。α０  はポインタ操作の有無を判定するしきい値である。
（１９）式は粘性摩擦Ｂｅを有する平面に置かれた質量Ｍｅの物体に力Ｆ（ｔ）が加わった際の運動方程式を表している。このような物理モデルに従い、数値積分によってポインタの位置、速度を計算することで、操作者の力感覚に対応した自然な操作感が期待できる。
【００３５】
〔実験〕
構築した実施の形態装置の操作性を調べるための実験を行った。被験者は６名で、被験者（Ｓｕｂｊｅｃｔ）Ａ，Ｂ，Ｃ，Ｄ，Ｅについては、いずれも健常な男子学生（２２才、２３  才、２２才、２２才、２４  才）とした。被験者Ｆは男性（  ４５才）で４年前に事故のため右手首から１５ｃｍ程の部位で前腕部を切断している。  どの被験者も事前に十分な練習を行った。
ＥＭＧ信号計測用の電極（ＮＴ−５１１Ｇ、ＮＴ−５１２Ｇ：（株）日本光電製）は材質がＡｇ／ＡｇＣｌ，形状が直径０．０１２ｍの円形、双極差動型のものを用いた。使用数は７ｃｈで右前腕部に６ｃｈ（橈側手根伸筋、橈側手根屈筋、尺側手根伸筋、尺側手根屈筋、  深指屈筋、固有示指伸筋）、左前腕部に１ｃｈ（橈側手根伸筋）を装着した。左前腕の電極は、クリックイベント発生用である。ただし、これらの電極の装着位置に関しては、自由に装着してもシステムに導入したニューラルネットによりある程度、適応が可能である。臨床で使用する際には、ＥＭＧ信号に関して知識不十分  な使用者も想定され、特定の筋の上に電極を装着することが困難と考えられるので、このような適応機能が有効と考えられる。
実験では、ポインタの移動方向を右手首の曲げ方向に対応させてニューラルネットの学習を行った。ただし、切断者の場合は脳内に残された手首の運動イメージによりマウスを操作するように指示した。
データのサンプリング周波数は１００［Ｈｚ］で、Ｒ−ＬＬＧＭＮのパラメータであるコンポーネント数、状態数は、それぞれ、Ｍ＝１，Ｋ＝１，学習に用いた基準方向はφ＝０からπ／２ｒａｄきざみの４方向と設定した。なお本実験では、ディスプレイのサイズは１７インチ、解像度は６４０ｘ４８０とした。
【００３６】
〔操作例〕
図４、図５に操作の一例として被験者Ａが円を描いた際の結果を示す。Ｒ−ＬＬＧＭＮ学習時の時系列長は２０とし、推定時の時系列長は５とした。図４はディスプレイ上のポインタの軌跡を示しており、ポインタの色が濃い区間ではドラッグ操作を行っている。図５は制御中の信号処理の様子を示しており、上から順にＥＭＧ信号、筋活動レベルα（ｔ）、クリック信号β（ｔ）、ポインタの移動速度、移動方向を示している。この図から、ＥＭＧ信号を利用してポインタを随意的に制御可能なことが分かる。
【００３７】
次に、図６、図７に被験者Ｆ（上肢切断者）による操作例を示す。ここでは、ディスプレイ上にランダムに幾つかの円を配置し、その円を順番にクリックするタスクを実行している。使用電極数は８ｃｈで切断された前腕部の残存筋に７ｃｈ、また、左前腕部（橈側手根伸筋）にクリックイベント用の１ｃｈを装着した。Ｒ−ＬＬＧＭＮ学習時の時系列長は２０とし、推定時の時系列長は５とした。図６はディスプレイ上のポインタの軌跡、図７は制御中の信号処理の様子を示しており、上から順にＥＭＧ信号  、筋活動レベルα（ｔ）、クリック信号β（ｔ）、ポインタの移動速度、移動方向を示している。本システムが、上肢切断者に対してもスムーズなポインティングを提供可能なことが分かる。
【００３８】
〔方向精度の検証〕
開発したシステムの全方位への制御特性を調べるために、方向精度の検証を行った。各被験者には、ディスプレイによるフィードバックの無い状態で、手首をπ／８ｒａｄきざみの１６方向に各方向２秒間動作するよう指示した。そして、このとき計測したＥＭＧ信号から推定したポインタ移動方向と操作者への指示方向との誤差を評価指標として計算した。
図８  に実験結果を示す。図８（ａ）は被験者Ａ、図８（ｂ）は被験者Ｂの結果であり、
学習時、推定時に入力する特徴パターンの時系列長を、それぞれ１きざみで１から４０までの計１６００通りに変化させて計算した誤差平均を示している。ただし、誤差平均は全方位に対する誤差の平均値である。図より各被験者とも学習時の時系列長が長く、推定時の時系列長が短くなるに従い誤差が減少していることが分かる。
【００３９】
ここで方向精度には、学習方向、未学習方向で違いが見られたため、図８の実験結果  を学習した４方向と未学習の１２方向に分けて再計算した。図９、図１０はそれぞれ学習方向、未学習方向の誤差平均であり、それぞれ（ａ）は被験者Ａ、  （ｂ）は被験者Ｂ、の結果である。この図より、学習時の時系列長が長く、推定時の時系列長が短くなるにつれて、学習した方向では誤差が増加し、未学習の方向では減少することが分かる。これは、推定時の時系列長が学習時のそれよりも短くなることで、情報量が低下し、Ｒ−ＬＬＧＭＮからの事後確率の出力が曖昧になったためである。この結果より、全方位への精度を平均的に向上させるためには、学習した方向の誤差が増大してしまうものの、推定信号は短いほうが良いことが分かる。以下では、学習時の時系列長を１０、推定時の時系列長を１として操作を行うこととする。
【００４０】
次に、本システムにおけるＲ−ＬＬＧＭＮ  の有効性を示すために、ＬＬＧＭＮ、Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（以下、ＢＰＮＮと記す）を利用した場合のシステムとの比較実験を行った。ＬＬＧＭＮ  は、混合正規分布モデルを構造として導入しており、Ｒ−ＬＬＧＭＮからリカレント結合を除いた場合に相当する。被験者にはディスプレイによるフィードバックのある状態で、指定された方向にポインタを移動するように指示し、その際の方向推定精度を求めた。
この実験において、  ＬＬＧＭＮ  のコンポーネント数、ターミナルアトラクタのパラメータである学習時間、学習率、サンプリングタイムはＲ−ＬＬＧＭＮのそれらと同数に設定した。ＢＰＮＮのユニット数に関しては、方向推定精度が高くなるように、入力層６、第２層７、第３層６、出力層４と試行錯誤的に決定した。なお、ポインタの移動方向推定処理では、ＢＰＮＮ  出力の総和が１となるように正規化し、  Ｒ−ＬＬＧＭＮの場合と同様のアルゴリズムで方向推定を実施した。学習の評価関数には、教師信号との二乗誤差を利用し、学習率、慣性係数、学習終了誤差しきい値のパラメータをそれぞれ０．０１，０．００１，０．０００３とした。ただし、評価関数の値が５万回の繰り返し計算の後に誤差しきい値以下にならない場合は収束不能とし学習を打ち切った。
図１１に被験者Ｂによる実験結果を示す。各レーダチャートは各指定方向を示してから２秒間における誤差の平均と標準偏差を表しており、
（ａ）はＬＬＧＭＮ、（ｂ）はＢＰＮＮ、（ｃ）は  Ｒ−ＬＬＧＭＮの結果である。この図から、Ｒ−ＬＬＧＭＮ  は、ＢＰＮＮやＬＬＧＭＮに比べて方向精度にばらつきが無く、指示された方向に正しく推定が行えていることが分かる。
【００４１】
〔操作性の検証〕
最後に本発明デバイスの操作性を評価するための実験を行った。実験時に被験者に提示した画面を、図１２に示す。図におけるポインタの大きさ、ターゲットの大きさ、ポインタとターゲットの距離、それぞれの比率はディスプレイに表示されるものと同等にしてある。この図のように、被験者はディスプレイ上に表示された２点間を往復するタスクを実行した。２  点間の距離は４００ｐｉｘｅｌｓ、ポインタの移動方向はπ／６ｒａｄきざみの６方向とし、往復操作における操作時間、最短軌道からのずれの積分値を計算する。  ６方向すべてに対する操作を１セッションとし、５セッションのデータの平均値、標準偏差を求めた。Ｒ−ＬＬＧＭＮ，  ＬＬＧＭＮ，ＢＰＮＮの設定は〔方向精度の検証〕の場合と同様とした。
に実験結果を示す。
図１３、図１４に実験結果を示す。図１３は往復走査の平均時間、図１４は最短起動からのずれの積分値を示している。また、図１４  のＲ−ＬＬＧＭＮの結果を基準にＢＰＮＮ，  ＬＬＧＭＮの結果を検定した（片側検定）。ここで、危険率、５．１  ％で有意差ありと判定された結果にはそれぞれ、  印を表中に示す。各手法を比較すると、Ｒ−ＬＬＧＭＮ  が平均時間、軌道誤差ともに小さくなる傾向となっており、操作性が最も高いことが確かめられた。
【００４２】
以上好ましい実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の要旨を逸脱することのない範囲内において適宜の変更が可能なものである。例えば、実施の形態では、生体信号にはＥＭＧ信号を用いていたが、これに代え若しくはこの信号と併用して脳波、手足の動き（加速度）、接触圧などの信号を用いることができる。
【００４３】
【発明の効果】
以上説明したように、本発明のポインティングデバイスは、Ｒｅｃｕｒｒｅｎｔ構造を有するニューラルネットを用いてポインタの移動方向を推定するものであるので、変化の激しい生体信号に対しても精度よく対応することのできる、また、基準方向以外の学習していない方向に対してもスムースな移動が可能な全方位型ポインティングデバイスを提供することができる。
【図面の簡単な説明】
【図１】本発明のシステムの概略を示すブロック図。
【図２】本発明のポインティングデバイスにおいて用いられるニューラルネット（Ｒ−ＬＬＧＭＮ）の動作説明図。
【図３】本発明のポインティングデバイスにおける学習過程を説明するための、基準方向と教師信号との関係を示す図。
【図４】本発明のポインティングデバイスの使用結果を示す図（その１）。
【図５】図４の結果を得た際の各部の信号波形図。
【図６】本発明のポインティングデバイスの使用結果を示す図（その２）。
【図７】図６の結果を得た際の各部の信号波形図。
【図８】学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その１）。
【図９】学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その２）。
【図１０】学習時と推定時の時系列長をパラメータとする方向誤差を示すグラフ（その３）。
【図１１】ニューラルネット部にＲ−ＬＬＧＭＮを用いた場合と、他の方式を用いた場合との推定方向の精度を示す図。
【図１２】本発明のポインティングデバイスの操作性を検証するために用いたディスプレイ上の目標点を示す図。
【図１３】ニューラルネット部にＲ−ＬＬＧＭＮを用いた場合と、他の方式を用いた場合との往復操作の平均時間を示す図表。
【図１４】ニューラルネット部にＲ−ＬＬＧＭＮを用いた場合と、他の方式を用いた場合との最短軌道からのずれの積分値を示す図表。
【図１】
2005011037.tif 000016
【図２】
2005011037.tif 000017
【図３】
2005011037.tif 000018
【図４】
2005011037.tif 000019
【図５】
2005011037.tif 000020
【図６】
2005011037.tif 000021
【図７】
2005011037.tif 000022
【図８】
2005011037.tif 000023
【図９】
2005011037.tif 000024
【図１０】
2005011037.tif 000025
【図１１】
2005011037.tif 000026
【図１２】
2005011037.tif 000027
【図１３】
2005011037.tif 000028
【図１４】
2005011037.tif 000029