(57)【特許請求の範囲】
【請求項１】
生体信号を検出する入力部と、前記生体信号から特徴量を抽出する信号前処理を行う生体信号処理部と、前記特徴量に基づいて使用者の意図や状態に対する事後確率を出力するニューラルネットワーク部と、それぞれの登録者に関する情報を保存するデータベース部と、前記ニューラルネットワーク部が出力した事後確率に基づいて使用者の意図や状態の識別を行い、その識別結果に基づいてコマンドを決定する出力信号処理部と、前記出力信号処理部で決定したコマンドを送信する送信部とを含み、
振動、音声、光信号あるいは画像などの信号伝達手段を用いて信号伝達を行うバイオフィードバック部により、計測した生体信号や抽出した特徴量やコントローラの操作についての事後確率あるいは使用者の識別結果などのリモートコントローラで取り扱う情報を使用者にフィードバックする構成を備える、
ことを特徴とするリモートコントローラ。
【請求項２】
上記の生体信号の入力部は、入力手段の異なる複数の入力を切り替える構成をもつことを特徴とする請求項１に記載のリモートコントローラ。
【請求項３】
生体信号処理部では、整流処理、フィルタリング処理、周波数解析処理、正規化処理を実施することにより計測した生体信号から特徴量を抽出することを特徴とする請求項１に記載のリモートコントローラ。
【請求項４】
上記のニューラルネットワーク部には、教師信号の入力部が含まれており、
上記データベース部には、ニューラルネットワーク部の設定に関する情報が含まれ、それぞれの登録者に応じてニューラルネットワーク部の設定を変更する構成を有することを特徴とする請求項１に記載のリモートコントローラ。
【請求項５】
データベース部は、使用者毎の、入力部において計測する生体信号、あるいはそのリモートコントローラの動作に関するパラメータ、生体信号処理部における特徴抽出に関するパラメータ、ニューラルネットワーク部におけるネットワーク構造、ニューラルネットワーク部の学習に関する収束時間や重みなどのパラメータ、出力信号処理部における誤識別回避のための識別保留閾値、あるいは階層メニュー構造に関するパラメータを保存し、それぞれの使用者に応じて読み出す構成をもつことを特徴とする請求項１に記載のリモートコントローラ。
【請求項６】
出力信号処理部は、使用者に応じた識別判定閾値を利用して識別を行う構成を含み、上記のリモートコントローラは、前記識別判定閾値に予め決められた対応関係により決められた数のコマンド群を使用者に呈示する構成を含むことを特徴とする請求項１に記載のリモートコントローラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、重度の障害者などでも使用することのできる筋電位波、脳電位波、あるいは心電位波などの生体信号を利用して装置を制御するリモートコントローラに関するものである。
【０００２】
【従来の技術】
テレビ、ビデオ装置、エアコンなどを制御する一般的なリモートコントローラの入力はスイッチやボタンを用いて入力するものが多い。また、最近では、人の声による命令を受けて家電製品を制御するロボットが登場している。
【０００３】
上記の一般的なリモートコントローラでは、図２に示す様に、キーによる入力部と出力信号処理部とＬＥＤを用いた送信部とを含む構成である。
【０００４】
また、人の声による命令を受けて家電製品を制御するロボットでは、図３に示す様に、各種センサに接続されたセンサ部と、カメラに接続された画像認識部と、マイクに接続された音声認識部を備え、その出力を受ける行動決定部やメカ制御部などを含んでいる。
【０００５】
また、指・手・足・呼気・瞬きなどの動きによる操作が不可能な障害者のための入力スイッチとしては、人の生体信号を利用する製品がある。この製品は、額に装着したデイテクタで、意識的に発生させた頭部の生体信号を検出して変換し、この信号で各種の機器を操作するための制御信号を作るものである。つまり、意識的に生体信号を発生させることによって、一般的なスイッチを押したことと同様の働きをさせるものである。この装置を操作する場合、筋電信号及び眼電インパルスは、発生させるのが比較的容易であるが、脳波・Beta波の発生は少しコツがいり、すぐにはできない場合がある。このため使用者が脳波・Beta波の自分なりの発生方法をマスターすることが必要で、コツが掴めるまでの根気強いトレーニングが求められることが知られている。また、この製品は生体信号を利用するため、使用者の身体の状態や無意識の動作又は雑音等によって誤動作する場合があることも知られている。
【０００６】
このように、生体信号を機器の入力スイッチとして用いる装置やその他義肢などに利用するインタフェース装置などが幾つか発明されている。しかし、使用者毎に生体信号の特性が異なるために複数の人が使用可能なインタフェース装置やリモートコントローラは存在しなかった。
【０００７】
【発明が解決しようとする課題】
上記の様に、従来の複数の人が使用可能なリモートコントローラでは、筋電位波、脳電位波、あるいは心電位波などの生体信号によって、家電製品などを制御するものが無かった。
【０００８】
この発明は上記に鑑み提案されたもので、筋電位波、脳電位波、あるいは心電位波などの生体信号によって、重度の障害者などでも家電製品などを制御することのできるものであって、容易に使用者の変更に対応することができるリモートコントローラを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明における第１の発明は、リモートコントローラに関しており、生体信号を検出する入力部と、前記生体信号から特徴量を抽出する信号前処理を行う生体信号処理部と、前記特徴量に基づいて使用者の意図や状態に対する事後確率を出力するニューラルネットワーク部と、それぞれの登録者に関する情報を保存するデータベース部と、前記ニューラルネットワーク部が出力した事後確率に基づいて使用者の意図や状態の識別を行い、その識別結果に基づいてコマンドを決定する出力信号処理部と、前記出力信号処理部で決定したコマンドを送信する送信部とを含み、振動、音声、光信号あるいは画像などの信号伝達手段を用いて信号伝達を行うバイオフィードバック部により、計測した生体信号や抽出した特徴量やコントローラの操作についての事後確率あるいは使用者の識別結果などのリモートコントローラで取り扱う情報を使用者にフィードバックする構成を備える、ことを特徴としている。
【００１０】
また、本発明における第２の発明は、上記した第１の発明の構成に加えて、上記の生体信号の入力部は、入力手段の異なる複数の入力を切り替える構成をもつことを特徴としている。
【００１１】
また、本発明における第３の発明は、上記した第１の発明の構成に加えて、生体信号処理部では、整流処理、フィルタリング処理、周波数解析処理、正規化処理を実施することにより計測した生体信号から特徴量を抽出することを特徴としている。
【００１２】
また、本発明における第４の発明は、上記した第１の発明の構成に加えて、上記のニューラルネットワーク部には、教師信号の入力部が含まれており、上記データベース部には、ニューラルネットワーク部の設定に関する情報が含まれ、それぞれの登録者に応じてニューラルネットワーク部の設定を変更する構成を有することを特徴としている。
【００１３】
また、本発明における第５の発明は、上記した第１の発明の構成に加えて、データベース部は、使用者毎の、入力部において計測する生体信号、あるいはそのリモートコントローラの動作に関するパラメータ、生体信号処理部における特徴抽出に関するパラメータ、ニューラルネットワーク部におけるネットワーク構造、ニューラルネットワーク部の学習に関する収束時間や重みなどのパラメータ、出力信号処理部における誤識別回避のための識別保留閾値、あるいは階層メニュー構造に関するパラメータを保存し、それぞれの使用者に応じて読み出す構成をもつことを特徴としている。
【００１４】
また、本発明における第６の発明は、上記した第１の発明の構成に加えて、出力信号処理部は、使用者に応じた識別判定閾値を利用して識別を行う構成を含み、上記のリモートコントローラは、前記識別判定閾値に予め決められた対応関係により決められた数のコマンド群を使用者に呈示する構成を含むことを特徴としている。
【００１８】
【発明の実施の形態】
以下にこの発明の実施の形態を図面に基づいて詳細に説明する。図１は、本発明の望ましい実施形態の一例を示すブロック図である。図１に示す構成は、生体信号を検出する入力部と、生体信号から特徴量を抽出するための信号前処理を行う生体信号処理部と、特徴量に基づいて使用者の意図や状態に対する事後確率を出力するニューラルネットワーク（NN）部と、NN部が出力した事後確率に基づいて使用者の意図や状態を識別し、識別の際には事後確率から計算されるエントロピーに基づいて、誤識別を回避し、また、識別した結果に基づいて階層的に整理されたコマンド群から送信するコマンドを決定する出力信号処理部と、出力信号処理部で決定したコマンドを赤外線や電波あるいは超音波により外部の電子機器に送信する送信部と、計測した生体信号、特徴量、事後確率、識別結果などを音声や画像を使って使用者にフィードバックするバイオフィードバック（ＢＦ）部と、生体信号処理部やNN部あるいは出力信号処理部で使用する各種パラメータを使用者個人毎に保存や呼び出しを行うことを可能とするデータベース部とを備えている
【００１９】
このリモートコントローラを使用するに当たっては、まず、リモートコントローラの制御に使用する生体信号に応じたセンサを、使用者の体に装着する。その生体信号は、生体信号の入力部へ入力される。ここで、生体信号として用いるのは、筋肉の筋電位信号や脳電位信号や心臓の筋電位信号あるいは脳の磁界信号などの信号である。これらの信号は、よく知られている様に、それぞれ異なった入力端子あるいは異なった入力装置を用いて入力されるので、これらを使用者に適合する様に選択して入力部を切り換えることが望ましい。選択された入力端子あるいは入力装置からの生体信号は、さらに生体信号処理部で、前記生体信号の特徴量を抽出する。この際、使用者は、バイオフィードバック部からの入力信号や前記特徴量についての信号伝達により、入力信号やリモートコントローラの動作状況や認識状況を知ることができる。
【００２０】
リモートコントローラの使用に先立ち、使用者の障害度など様々な条件・状態にリモートコントローラを適応させるために、使用者の選択した生体信号、それに含まれる個人差、疲労や発汗などによる時間変動、電極を張った位置について、ニューラルネット学習用のデータを抽出する。教師信号入力部へ教師信号を入力してニューラルネット学習を実行した結果、使用者の生体信号から使用者の意図する制御コマンドの推定が可能になる。複数の使用者がいる場合には、それぞれの使用者のデータをそれぞれに抽出してデータベースに保存しておく。
【００２１】
ここで用いるニューラルネットワークとしては、変動の激しい生体信号を入力しても容易に特徴量を抽出できるものが望ましく、そのようなニューラルネットワークとしては、ＬＬＧＭＮ（Log-LinearlizedGaussian Mixture Network）あるいは、さらに改善された Ｒ−ＬＬＧＭＮ（Recurrent Log-LinearlizedGaussian Mixture Network）があることが知られている。
【００２２】
出力信号処理部では、NN部が出力した事後確率に基づいて使用者の意図や状態を識別する。識別の際には、事後確率から計算されるエントロピーに基づいて、誤識別を回避する。具体的には、次の様に行う。
【００２３】
例えば筋電位信号についての入力信号であるのサンプルデータをＥＭＧi（ｎ）（ｉ＝１，…，Ｌ）とし、次式を計算する。
【数１】
0003699996.tif 000002
ここでＥＭＧistは安静時、ＥＭＧimaxは動作ｋを最大随意収縮したときのＥＭＧi（ｎ）の平均値である。αk（ｎ）は、動作ｋを実行した際の最大筋収縮に対する割合を示している。ここでは、この値を筋収縮情報として定義する。また、次式に従ってＥＭＧi（ｎ）の全チャネル和がｌとなるように正規化したベクトルｘ（ｎ）＝［ｘ1（ｎ）、ｘ2（ｎ）、・・・、ｘL（ｎ）］を筋の協調情報として定義する。
【００２４】
また、次のｘi（ｎ）は、電極ｉ付近から計測される筋活動量の割合が、全Ｌ対の電極から得られるその総和に対してどの程度であるかを示している。
【数２】
0003699996.tif 000003
このベクトルｘ（ｎ）は、動作識別のためにＬＬＧＭＮへの入力ベクトルとしても利用する。
【００２５】
更に、ＥＭＧi（ｎ）の全チャネルの２乗和
【数３】
0003699996.tif 000004
を計算し、この値が予め設定したひとつあるいは複数の閾値を超えるようにすることで、リモートコントローラでの選択を行う。
【００２６】
生体信号の変動幅が大きく、多数の閾値を設定できないときには、その選択メニューを階層構造にすることで、多数の制御コマンドの選択を行うことができる。この閾値の設定に関する情報は、利用者毎に異なる場合が多いので、データベースに保存しておき、利用者に応じて読み出し設定することが望ましい。
【００２７】
また、使用者がリモートコントローラを実際に使用する場合は、使用者が使用可能な制御コマンド形態、例えば選択肢の数、をデータベースに記録された情報をもとに決め、それぞれの使用者に適合させた階層メニューから目的の操作を選択する。選択した操作に応じて、機器や環境へ制御信号が発信されることでそれらの制御が可能になる。
【００２８】
この送信に当たっては、既によく知られている様に、赤外線や電波あるいは超音波などを用いることができる。
【００２９】
また、この際、計測した生体信号や抽出した特徴量やコントローラの操作についての事後確率あるいは利用者の識別結果などのリモートコントローラで取り扱う情報をバイオフィードバック部を通じて利用者に伝達する。
【００３０】
上記の説明で生体信号として用いるのは、筋肉の筋電位信号や脳電位信号や心臓の筋電位信号あるいは脳の磁界信号などの信号である。しかし、生体から得られる電気信号は、上記の信号以外にも多数の形態がある事が知られており、本発明は、電気信号に変換可能ないかなる生体信号についても適用することができる。
【００３１】
例えば、生体内部の深層的な情報を得るものとしては、上記の生体信号の他に、皮膚抵抗、血流量、筋音、眼振、抹消部の体温、血圧、心音、脈圧などがあり、これらは、僅かな訓練により、意図的に制御することができるので、本発明の生体信号を利用したリモートコントローラの入力信号として用いることができる。
【００３２】
また、本発明の入力信号は、上記した生体内部の深層的な情報を得ることのできる信号源のみに限定する理由は無く、生体の表層的な信号を入力信号として用いる事ができる。このような生体の表層的な信号としては、１）入力装置にマイクロフォンを用いる音声や単なる発声、２）入力装置に光ファイバを利用した曲げセンサを用いた手足などの部位の形状、３）入力装置にジャイロやひずみセンサあるいは加速度センサなどを用いた体肢の運動姿勢や運動加速度、４）画像の変化を捉えるビジョンセンサを用いた体肢の運動姿勢や運動加速度、５）圧力センサを用いた圧力分布、６）超音波や光による位置センサを用いた体肢の姿勢、７）放射温度計を用いた手のひら等の温度、８）視線センサを用いた眼球位置、９）呼吸による風力や呼吸の温度、等による信号があるが、本発明においては、手足が不自由な状態にあっても、意思により制御できる生体現象による信号であれば、信号源を特に限定する必要はなく、リモートコントローラの入力信号とすることができる。
【００３３】
【発明の効果】
この発明は、生体信号の入力部と、前記生体信号を判別処理するニューラルネットワーク部と、それぞれの登録者に関する情報を保存するデータベースと、前記ニューラルネットワーク部からの出力信号を送信信号に変換する出力信号処理部と、前記の送信信号を送信する送信部とを含む構成にしたので、ニューラルネットを利用した適応学習機能を備えたリモートコントローラを実現することができるようになり、使用者が障害者などの場合であっても遠隔の装置や環境を自在に制御可能とすることが可能となった。
【図面の簡単な説明】
【図１】本発明の望ましい実施形態の一例を示すブロック図。
【図２】一般的なリモートコントローラの構成を示すブロック図。
【図３】人の声による命令を受けて家電製品を制御するロボットの構成を示すブロック図。
【符号の説明】
１  検出した生体信号の流れ
２  生体信号から抽出した特徴量データの流れ
３  NNにより推定した特徴量に対する使用者の意図・状態の事後確率情報の流れ
４  選択したコマンド情報の流れ
５  使用する生体信号やチャンネル数に関するパラメータ情報の流れ
６  特徴抽出に関するパラメータ情報の流れ
７  ニューラルネットの構造や学習に関するパラメータ情報の流れ
８  誤識別回避のための識別保留閾値、階層メニュー構造に関するパラメータ
９  計測した生体信号、特徴量、事後確率、識別結果および階層メニューの情報の流れ
１０  音声や画像によるフィードバック情報の流れ
１１  制御信号の伝搬
【図１】
0003699996.tif 000005
【図２】
0003699996.tif 000006
【図３】
0003699996.tif 000007