(57)【要約】【課題】特別な訓練なく、利用者の頭部から非侵襲で得られた、歯の接触に誘発された脳波に基づいて歯の動きを高い精度で推定し、制御対象物を制御する機器制御装置を提供する。【解決手段】機器制御装置は、利用者の頭皮上の複数箇所で得られた、利用者の歯の動きに誘発された複数チャンネルの脳波から利用者の歯の動きを推定し、推定結果にしたがい対象機器を制御するコマンドを生成する機器制御装置であり、複数チャンネルの脳波の各々から所定の周波数帯域の成分を抽出するバンドパスフィルタと、これら脳波の周波数帯域の成分から、予め定める特徴量のパターンを算出する特徴量算出部１５２と、特徴量算出部１５２から特徴量のパターンが与えられると、当該特徴量に応じて利用者の歯の動きを示す出力が得られるように学習済のパターン分類器１５４と、パターン分類器１５４の出力に応じてコマンドを生成し対象機器に与えるコマンド出力部１５６とを含む。【選択図】        図９
2011076177.tif 000002
【特許請求の範囲】
【請求項１】
利用者の頭皮上の複数箇所においてそれぞれ得られた、利用者の脳の活動を検出する複数チャンネルの脳波信号から利用者の歯の動きを推定し、推定された歯の動きにしたがって対象機器を制御するコマンドを生成するための機器制御装置であって、
上記複数チャンネルの信号の各々から、利用者の歯の動きにより誘発された所定の周波数帯域の成分を抽出するためのフィルタ手段と、
前記フィルタ手段により抽出された、前記複数チャンネルの信号の周波数帯域の成分から、予め定める特徴量のパターンを算出するための特徴量算出手段と、
前記特徴量算出手段から特徴量のパターンが与えられると、当該特徴量に応じて前記利用者の歯の動きを示す出力が得られるように予め学習済のパターン分類手段と、
前記パターン分類手段の出力に応じて予め定められているコマンドを生成して前記対象機器に与えるためのコマンド生成手段とを含む、機器制御装置。
【請求項２】
前記パターン分類手段は、
歯の接触状態を、予め定められた複数通りのうちの一つとなるように維持したときに前記利用者から得られた前記特徴量のパターンによって予め学習済のパターン分類器を含む、請求項１に記載の機器制御装置。
【請求項３】
前記パターン分類器は、サポートベクターマシン（ＳＶＭ）を含む、請求項２に記載の機器制御装置。
【請求項４】
前記フィルタ手段は、前記複数チャンネル信号の各々から、０．５Ｈｚ以上、５００Ｈｚ以下の帯域内の任意の帯域成分を抽出するバンドパスフィルタを含む、請求項１−請求項３のいずれかに記載の機器制御装置。
【請求項５】
前記バンドパスフィルタは、前記複数チャンネル信号の各々から、５０Ｈｚ以上、２５０Ｈｚ以下の帯域成分のみを抽出するバンドパスフィルタを含む、請求項４に記載の機器制御装置。
【請求項６】
前記複数チャンネルの信号は、前記利用者の頭皮上の前部、及び両即頭部に配置された電極から得られる、請求項１−請求項５のいずれかに記載の機器制御装置。
【請求項７】
前記特徴量算出手段は、
前記複数チャンネルの信号の周波数帯域成分を所定長のフレームに分割するためのフレーム化手段と、
前記各チャンネルの各フレームから所定の第１の特徴量を抽出するための特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記第１の特徴量を変換し、脳の活動の異なる状態から得られる特徴量の分散の比が最大となるようにするための特徴量変換手段とを含む、請求項１−請求項６のいずれかに記載の機器制御装置。
【請求項８】
利用者の頭皮上の複数箇所においてそれぞれ得られた、利用者の脳の活動を検出する複数チャンネルの脳波信号から利用者の歯の動きを推定し、推定された歯の動きにしたがって対象機器を制御するコマンドを生成する機器制御方法であって、
前記利用者の頭皮上の前記複数箇所に電極を配置し、前記利用者の脳の活動を検出する複数チャンネルの信号を生成するステップと、
前記複数チャンネルの信号の各々から、利用者の歯の動きにより誘発された所定の周波数帯域の成分を抽出するステップと、
前記抽出するステップにより抽出された、前記複数チャンネルの信号の周波数帯域の成分から、予め定める特徴量のパターンを算出するステップと、
特徴量のパターンが与えられると、当該特徴量に応じて前記利用者の歯の動きを示す出力が得られるように予め学習済のパターン分類手段に、前記パターンを算出するステップにおいて得られた前記特徴量のパターンを与えてその分類結果の出力を受けるステップと、
前記パターン分類手段の出力に応じて予め定められているコマンドを生成して前記対象機器に与えるステップとを含む、機器制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はＢＭＩ（Ｂｒａｉｎ−Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）に関し、特に、利用者に過大な負担をかけることなく、非侵襲で、脳からの信号によりリアルタイムで確実に対象物を制御可能な機器制御装置に関する。
【背景技術】
【０００２】
従来、脳波を精度よく測定するための技術として、電極を頭部に埋め込む技術が知られている。例えば特許文献１にはそのための電極構造が開示されている。しかし、このような侵襲的な手法は被験者にとって負担が大きく、特に人間の場合には適用可能な場面がごく限られている。
【０００３】
それに対し、頭部に電極を埋め込まず、頭皮上から脳の活動に伴う脳内の電気的変化を検出する手法がある。そうした手法は非侵襲的な手法と呼ばれる。非侵襲的な手法は、被験者に大きな負担をかけることがないため、応用範囲が広いという特徴がある。
【０００４】
中でも、非侵襲で測定した人間の脳波により、機械を制御したり、その人間の心理状態を判定したりするＢＭＩが、近年脚光を浴びており、技術的にも大きな進歩を遂げている。この進歩の背景には、現代のコンピュータ技術の発展による情報処理能力の増大、数理科学に基づく機械学習理論の発達、信号処理技術の発達による特定情報の安定した検出などが大きな役割を果たしている。
【０００５】
非侵襲のＢＭＩで有望視されている、脳波から観測できる現象として、ＥＲＤ（Ｅｖｅｎｔ  Ｒｅｌａｔｅｄ  Ｄｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ：事象関連脱同期）、及びＥＲＳ（Ｅｖｅｎｔ  Ｒｅｌａｔｅｄ  Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ：事象関連同期）と呼ばれるものがある。ＥＲＤとは、ある人物がある動きの準備をしているときに、脳波中のミュー波（８−１３Ｈｚ）、ベータ波（１４−３０Ｈｚ）等の特定周波数成分が減少することをいう。ＥＲＳとは、ある人物がある動きをした後に、特定周波数成分が増加することをいう。
【０００６】
ＥＲＤ、ＥＲＳ等は、運動に関連する脳の活動を反映したものである。脳波は、実際にある運動をするときだけでなく、運動をイメージするときにも、実際に運動するときと同様な活動をすることが知られている。したがって、利用者がある動きをすることを想像したときの脳波を使用して、ロボットアーム、コンピュータのマウスカーソル（ポインタ）、電動車椅子、及びその他の種々の装置を制御することが可能ではないかと考えられる。既にいくつかの実験も行なわれ、ある程度の成功を収めている。このように、運動をイメージしたときの脳波を使用する技術を運動イメージパラダイム（Ｍｏｔｏｒ  Ｉｍａｇｉｎａｒｙ  Ｐａｒａｄｉｇｍ）と呼ぶことにする。
【０００７】
運動イメージパラダイムでは、利用者の負担を軽減するために、頭皮外に電極を設けて非侵襲で脳波を測定する。この場合、測定されるのは特定の神経細胞の発火の状態ではなく、ある部分の神経細胞のひとまとまりの動きとなる。そして、神経細胞と電極との間に頭蓋骨があるため、電極で測定される信号は多くのノイズを含んでいる。そのため、頭部内に電極を配置する侵襲式の方式と比較して精度が落ちるという問題がある。精度の問題を克服するため、数学的モデルを利用してノイズを減少させる方法が多く利用されている。しかし、運動イメージパラダイムの場合に、利用者が運動を想像するとき、脳波で検出される信号が毎回一定ではなく、変動の幅が大きいという問題がある。このため、利用者は長期間の反復トレーニング（訓練）を通じて、各想像運動をするときに検出される信号がなるべく一定となり、精度を高めるようにする必要がある。しかしこの場合、利用者のトレーニングには長い時間と多くの努力とが必要とされる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００９−５２７３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の運動イメージパラダイムの場合、前述したとおり、ある程度の精度を得るために利用者に長いトレーニング時間と多くの努力とが要求されるため、負担がかかるという問題がある。しかも、このような長いトレーニング時間と多くの努力とが要求されるにもかかわらず、運動を想像するときに一定の信号を出すことができない利用者が大部分である。そのため、従来の運動イメージパラダイムでは、ＢＭＩを利用できる利用者は大きく制限されている。
【００１０】
それゆえに本発明の目的は、非侵襲で、利用者に特別なトレーニングをさせることなく、利用者の頭部の電気的変動から得られた信号に基づいて高い精度で制御対象物を制御することが可能な機器制御方法及び機器制御装置を提供することである。
【課題を解決するための手段】
【００１１】
本発明の第１の局面に係る機器制御装置は、利用者の頭皮上の複数箇所においてそれぞれ得られた複数チャンネルの電気信号から、利用者の歯の接触状態を推定し、推定された利用者の歯の接触状態にしたがって対象機器を制御するコマンドを生成するための機器制御装置であって、上記複数チャンネルの信号の各々から、所定の周波数帯域の成分を抽出するためのフィルタ手段と、フィルタ手段により抽出された、複数チャンネルの信号の所定の周波数帯域の成分から、予め定める特徴量のパターンを算出するための特徴量算出手段と、特徴量算出手段から特徴量のパターンが与えられると、当該特徴量に応じて、利用者の歯の接触状態を示す出力が得られるように予め学習済のパターン分類手段と、パターン分類手段の出力に応じて予め定められているコマンドを生成して対象機器に与えるためのコマンド生成手段とを含む。
【００１２】
フィルタ手段は、利用者の頭皮上の複数箇所から非侵襲手法により得られた複数チャンネルの信号の各々から、所定の周波数帯域の成分を抽出する。これら、抽出された所定周波数帯域の複数チャンネルの成分から、特徴量算出手段が所定の特徴量を算出し、パターン分類手段に与える。パターン分類手段は予め学習済であり、与えられた特徴量のパターンに応じ、利用者の歯の接触状態を示す出力をコマンド生成手段に与える。コマンド生成手段は、パターン分類手段の出力に応じて予め定められているコマンドを生成し、制御の対象となる機器に与える。
【００１３】
非侵襲で頭部から得られた信号を用い、機器を制御することができる。特別なトレーニングが必要とされることもない。その結果、非侵襲で、利用者に過大な負担をかけることなく、利用者の頭部の電気的変動から得られた信号に基づいて高い精度で制御対象物を制御することが可能な機器制御装置を提供することができる。
【００１４】
好ましくは、パターン分類手段は、歯の接触状態を、予め定められた複数通りの状態の内の一つとなるように維持したときに利用者から得られた特徴量のパターンによって予め学習済のパターン分類器を含む。
【００１５】
パターン分類器を用いることにより、非侵襲手法で得られる空間解像度の低い信号から、利用者の歯の接触状態を精度高く検出できる。
【００１６】
より好ましくは、パターン分類器は、サポートベクターマシン（ＳＶＭ）を含む。
【００１７】
さらに好ましくは、フィルタ手段は、複数チャンネル信号の各々から、０．５Ｈｚ以上、５００Ｈｚ以下の帯域内の任意の帯域成分のみを抽出するバンドパスフィルタを含む。
【００１８】
さらに好ましくは、バンドパスフィルタは、複数チャンネル信号の各々から、５０Ｈｚ以上、２５０Ｈｚ以下の帯域成分のみを抽出するバンドパスフィルタを含む。
【００１９】
複数チャンネルから得られた信号の０．５Ｈｚ以上５００Ｈｚ以下の帯域内の任意の帯域成分、好ましくは５０Ｈｚ以上２５０Ｈｚ以下の帯域成分から特徴量を得ることになる。この特徴量を利用することによって歯の接触状態を脳波から高い精度で推定することができる。歯の接触によって発生する脳波は、周辺ノイズに比べて振幅がはるかに大きく、すべての利用者から一定の信号を得ることが可能なため、誰でも特別なトレーニングなしで高い精度を得ることができる。
【００２０】
複数チャンネルの信号は、利用者の頭皮上の頭部前部、及び両側頭部に配置された電極から得られるものでもよい。
【００２１】
利用者が上下の歯の全てを接触させたとき、上下の歯のいずれも接触させないとき、上下の前歯のみ接触させたとき、右側の歯のみを接触させたとき、及び左側の歯のみを接触させたときを、上記したように頭部前部、及び両側頭部から得られた信号から高い精度で分類することができることが確認できた。
【００２２】
特徴量算出手段は、複数チャンネルの信号の周波数帯域成分を所定長のフレームに分割するフレーム化手段と、各チャンネルの各フレームから所定の第１の特徴量を抽出するための特徴量抽出手段と、特徴量抽出手段により抽出された第１の特徴量を変換し、脳の活動の異なる状態から得られる特徴量の分散の比が最大となるようにするための特徴量変換手段とを含む。
【００２３】
このように特徴量の分散が最大となるように特徴量を変換することで、利用者の頭部から得られた信号から、利用者の状態を効率よく分類することができる。
【００２４】
本発明の第２の局面に係る機器制御方法は、利用者の頭皮上の複数箇所においてそれぞれ得られた複数チャンネルの信号から、利用者の歯の接触状態を推定し、推定された利用者の歯の接触状態にしたがって対象機器を制御するコマンドを生成する機器制御方法であって、利用者の頭皮上の複数箇所に電極を配置し、利用者の脳の活動を検出する複数チャンネルの信号を生成するステップと、複数チャンネルの信号の各々から、所定の周波数帯域の成分を抽出するステップと、抽出するステップにより抽出された、複数チャンネルの信号の所定の周波数帯域の成分から、予め定める特徴量のパターンを算出するステップと、特徴量のパターンが与えられると、当該特徴量に応じて、利用者の歯の接触状態を示す出力が得られるように予め学習済のパターン分類手段に、パターンを算出するステップにおいて得られた特徴量のパターンを与えてその分類結果として利用者の歯の接触状態を示す出力を受けるステップと、パターン分類手段の出力に応じて予め定められているコマンドを生成して対象機器に与えるステップとを含む。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施の形態に係るロボットコントローラシステムの構成を概略的に示す図である。
【図２】利用者が、上下の歯の全体を接触させたときの、頭部の複数箇所から得られた時系列の電極信号の振幅の特性を示すための図である。
【図３】利用者が、上下の歯のいずれについても接触をさせていないときの、頭部の複数箇所から得られた時系列の電極信号の振幅の特性を示すための図である。
【図４】利用者が、上下の歯のうち、中央部分の歯（前歯）のみを接触させたときの、頭部の複数箇所から得られた時系列の電極信号の振幅の特性を示すための図である。
【図５】利用者が、上下の歯のうち、右側の歯を接触させたときの、頭部の複数箇所から得られた時系列の電極信号の振幅の特性を示すための図である。
【図６】利用者が、上下の歯のうち、左側の歯を接触させたときの、頭部の複数箇所から得られた時系列の電極信号の振幅の特性を示すための図である。
【図７】図１に示すロボットコントローラ２４のハードウェアブロック図である。
【図８】図７に示すＰＣ６８のハードウェアブロック図である。
【図９】図８に示すＣＰＵ１２０により実行される、ＢＭＩ実現のためのプログラムのメインルーチンの制御構造を示すフローチャートである。
【図１０】図９のステップ１５２で実行される特徴量抽出処理を実現するプログラムルーチンの制御構造を示すフローチャートである。
【図１１】図９のステップ１５４で使用されるパターン分類器の学習を行うためのプログラムの制御構造を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明をいかにして実現するかについて、実施の形態を例にして説明する。以下の説明では、同一の部品には同一の名称及び参照符号を付してある。それらの機能も互いに同一である。したがってそれらについての詳細な説明は繰返さない。
【００２７】
図１を参照して、この実施の形態に係るロボットコントローラシステムは、制御対象となる、無線操縦可能な、サッカーを行なうロボット２６と、ロボット２６を制御しようとする利用者２０の頭部に装着され、利用者２０の頭部の複数箇所における電気的変化を電気信号に変換し、複数チャネルの時系列信号として出力する頭部電極カバー２２と、頭部電極カバー２２からの複数チャンネルの時系列信号を受け、これら時系列信号から得られる脳波に基づき、利用者２０の心理状態を判定してその心理状態に基づくフィードバックを利用者２０に対して行なうとともに、頭部電極カバー２２からの複数チャンネルの時系列信号に基づき、ロボット２６の制御に関する利用者２０の意図を判定し、判定結果にしたがってロボット２６を制御するためのコマンドを生成して無線によりロボット２６に送信する処理を行なうロボットコントローラ２４とを含む。
【００２８】
本実施の形態では、ロボットコントローラ２４は、利用者２０から得られる複数チャンネルの時系列信号のうち、０−５０Ｈｚの帯域の成分（ＥＥＧ：脳波。本実施の形態では、これを「第１脳波信号」と呼ぶ。）に基づいてフィードバック制御を行ない、５０Ｈｚ−２５０Ｈｚの帯域の成分（これもＥＥＧ（脳波）であるが、本実施の形態ではこれを「第２脳波信号」と呼ぶ。）を用いる。脳波を測定するための頭部電極カバー２２を利用して第２脳波信号を得て、それに基づいてロボット２６を制御する点に本実施の形態の一つの特徴がある。本実施の形態では特に、利用者２０が自分の歯に対してどのような操作を行なうかを頭部電極カバー２２からの脳波信号の変化から判定し、判定結果にしたがったコマンドを生成する。
【００２９】
図２（１）を参照して、利用者が上下の歯の全体を互いに接触させたときには、電極により測定される脳波信号には以下のような特徴がある。ここでは、図２（２）に示す前頭葉Ａ、左側頭葉Ｂ、及び右側頭葉Ｃから得られた脳波信号と、利用者による歯の動きとの関連を示す。すなわち、この場合、前頭葉Ａから得られる脳波信号（図２（３Ａ））の振幅は小さく、左右の側頭葉Ｂ及びＣから得られる脳波信号（図２（３Ｂ）及び（３Ｃ））の振幅は大きい。
【００３０】
図３（１）を参照して、利用者が上下の歯の全てを互いに接触させていないときには、図３（３Ａ）−（３Ｃ）に示すように、前頭葉Ａ、左右の側頭葉Ｂ及びＣから得られる脳波信号はいずれも小さな振幅しか持たない。
【００３１】
図４（１）を参照して、利用者が上下の前歯４２を接触させ、それ以外の歯は接触させていない状態では、図４（３Ａ）に示すように前頭葉から得られる脳波信号は大きな振幅を示す。それに対し、図４（３Ｂ）及び（３Ｃ）に示すように、左右の側頭葉Ｂ及びＣから得られる脳波信号の振幅は小さい。
【００３２】
図５（１）を参照して、利用者が右側の奥歯４４を接触させ、それ以外の歯は接触させていない状態では、図５（３Ｂ）に示すように右側頭葉Ｂから得られる脳波信号は大きな振幅を示す。それに対し、図５（３Ａ）及び（３Ｃ）に示すように、前頭葉Ａ及び左側頭葉Ｃから得られる脳波信号の振幅は小さい。
【００３３】
図６（１）を参照して、利用者が左側の奥歯４６を接触させ、それ以外の歯は接触させていない状態では、図６（３Ｃ）に示すように左側頭葉Ｃから得られる脳波信号は大きな振幅を示す。それに対し、図６（３Ａ）及び（３Ｂ）に示すように、前頭葉Ａ及び右側頭葉Ｂから得られる脳波信号の振幅は小さい。
【００３４】
以上は一般的な傾向であり、実際にはこれらの振幅の相違を見分けるのは簡単なことではない。本実施の形態では、予め利用者にロボット２６を制御することを想像させ、そのときに得られる脳波信号に制御のコマンドに相当するラベルを付すことにより学習データを準備する。この学習データを用いてＳＶＭの学習を行なう。実際の動作時には、このＳＶＭをパターン分類器として用い、利用者の歯の動きから利用者によるロボット２６の制御コマンドを推定する。
【００３５】
従来、歯の動きを頬に装着した電極で測定された筋電信号から判定する例はあったが、歯の動きを本実施の形態のように頭皮上から測定する脳波から推定した例はなかった。
【００３６】
図７を参照して、ロボットコントローラ２４は、頭部電極カバー２２の複数の電極６０からの複数チャンネルの時系列信号を受け、それぞれ別チャンネルのデジタル信号に変換するためのＡ／Ｄ変換器６２と、Ａ／Ｄ変換器６２から出力される複数チャンネルのデジタル信号の各々について、０−５０Ｈｚの周波数帯域の成分のみを通過させるためのバンドパスフィルタ（ＢＰＦ）６４と、Ａ／Ｄ変換器６２から出力される複数チャンネルのデジタル信号の各々について、５０−２５０Ｈｚの周波数帯域の成分のみを通過させるためのＢＰＦ６６と、ＢＰＦ６４から複数チャンネルのデジタルの第１脳波信号を、ＢＰＦ６６から複数チャンネルのデジタルの第２脳波信号を、それぞれ受け、第１脳波信号を利用して利用者の心理的又は肉体的状態（感情、疲労度等）を検出し、ロボットによるサッカーゲームにふさわしいフィードバックを利用者に対して行なうための信号処理、及び第２脳波信号を利用して、利用者２０によるロボット２６の制御の意図を判定し、判定結果をロボット２６を制御するコマンドとして出力する信号処理を行なうためのＰＣ（パーソナル・コンピュータ）ＰＣ６８とを含む。
【００３７】
ロボットコントローラ２４はさらに、ＰＣ６８が第１脳波信号を処理して出力するフィードバック信号にしたがい、利用者２０に対してその状況に応じたフィードバック処理を行なうためのフィードバック装置７０と、ＰＣ６８が第２脳波信号を処理して得られたコマンドを受け、ロボット２６に対して無線通信によりコマンドを送信するための無線通信装置７２とを含む。
【００３８】
図８を参照して、ＰＣ６８は、一般的な構成のＰＣと同様の構成を持ち、ＣＰＵ（中央演算処理装置）１２０と、ＣＰＵ１２０に接続されたバス１３４と、いずれもバス１３４に接続され、所定の範囲のアドレスを指定することによりＣＰＵ１２０がアクセス可能な電気的に読出及び書込可能なＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２２、データの随時書込及び読出が可能なＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２４、Ａ／Ｄ変換器６２からの複数チャンネルの時系列信号を受けるＩ／Ｏインタフェイス１２６、図７に示す無線通信装置７２が接続されるＩ／Ｏインタフェイス１２８、ＣＰＵ１２０により制御され、サッカーゲームのための効果音などを利用者２０へのフィードバックとして出力するサウンドボード１３０、及び着脱可能な半導体メモリ１１６が装着されるメモリポート１３２とを含む。
【００３９】
ここでは示さないが、ＰＣ６８はさらに、ローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。ＰＣ６８をロボットコントローラ２４として機能させるためのコンピュータプログラムは、例えば半導体メモリ１１６に記憶されて流通し、半導体メモリ１１６がメモリポート１３２に装着されたときに、ＣＰＵ１２０の制御によりＲＯＭ１２２にコピーされる。図示しないネットワークアダプタボードを通じ、ネットワーク上の他のコンピュータからＰＣ６８に転送され、ＲＯＭ１２２に書き込まれてもよい。プログラムは実行の際にＲＡＭ１２４にロードされる。
【００４０】
このプログラムは、ＰＣ６８にこの実施の形態に係るロボットコントローラ２４として機能させる複数の命令を含む。この機能の実現のために必要な基本的機能のいくつかはＰＣ６８上で動作するオペレーティングシステム（ＯＳ）もしくはサードパーティのプログラム、またはＰＣ６８にインストールされる各種ツールキットのモジュールにより提供される。従って、このプログラムはこの実施の形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能またはコンピュータ用の一群の関数の集合からなる「ツールセット」内から適切なプログラムである「ツール」を呼出すことにより、上記したロボットコントローラ２４としての機能を実現する命令のみを含んでいればよい。ＰＣ６８の動作は周知であるので、ここではその詳細は繰返さない。
【００４１】
図９を参照して、ＰＣ６８をロボットコントローラ２４のうち、利用者２０の意図にしたがってロボット２６を制御する機能を実現するプログラムは、ＢＰＦ６６から出力される５０−２５０Ｈｚの帯域の複数チャンネルの時系列信号を、互いに重なりのない所定長のフレーム長でフレーム化するステップ１５０と、ステップ１５０に続き、脳波信号の各チャンネルの各フレームからそれぞれ予め定められた特徴量を抽出するステップ１５２と、ステップ１５２に続き、特徴量を入力として、予め学習済のＳＶＭからなるパターン分類器により、利用者２０により意図された、ロボット２６の制御のためのコマンドを生成し出力するステップ１５４と、ステップ１５４に続き、生成されたコマンドを無線通信装置７２を介してロボット２６に対して無線送信するステップ１５６とを含む。ステップ１５６の後、制御はステップ１５０に戻り、以上に述べた一連の処理を繰返す。
【００４２】
既に述べたように、頭部電極カバー２２から得られる時系列信号において、脳の各部から得られる信号の空間解像度は非常に低い。したがって、精度の高い判定を行なうためには、得られた信号から、判定に有効な成分を抽出し、特徴量の次元を削減する必要がある。ステップ１５２では、もとの時系列信号から得られた生の特徴量からなる行列に、後述するＣＳＳＤ（Ｃｏｍｍｏｎ  Ｓｐａｔｉａｌ  Ｓｕｂｓｐａｃｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）（ＣＳＰ（Ｃｏｍｍｏｎ  Ｓｐａｔｉａｌ  Ｐａｔｔｅｒｎ）とも呼ばれる。）という手法を用いて得られたマッピング行列を乗算することにより、判定に最も有効と考えられる一組の特徴量に変換し、同時に特徴量の次元を削減する。このマッピング行列は、予め、ＳＶＭの学習時に同時に算出される。その方法については後述する。
【００４３】
図１０を参照して、ステップ１５２の特徴量抽出処理を実現するためのプログラムルーチンは、各チャンネルの時系列信号の各フレームから、特徴量として各信号の振幅を算出するステップ１７０と、ステップ１７０で各チャンネルの各フレームに対して得られた生の特徴量から各チャンネルについて得られた特徴量行列に対し、予め算出されていたマッピング行列を乗ずることにより、パターン分類器への入力となる特徴量を算出してこのルーチンを終了するステップ１７２とを含む。
【００４４】
既に述べたように、パターン分類器は予め学習データを用いて学習しておく必要がある。本実施の形態ではこの学習時に、特徴量のマッピング行列も算出する。以下、学習処理について説明する。学習は、被験者（利用者）に対し、図２−図６に示すような状態に歯を維持するように求め、その間の頭部電極カバー２２からの出力に対して、図２−図６のいずれかに応じたラベルを付して学習データとする。
【００４５】
図１１を参照して、学習処理のプログラムは、被験者に対してどのような歯の形を取らせたかについてのラベルを入力するステップ２００と、ステップ２００に続き、被験者が指定された歯の形を維持している間に頭部電極カバー２２から得られた所定時間長の時系列信号を、チャンネルごとに、実際の処理時と同じフレーム長でかつ互いに重なりのないフレームにフレーム化するステップ２０２と、ステップ２０２で得られた各チャンネルの各フレームから所定の特徴量（振幅）を算出するステップ２０６と、ステップ２０６で各チャンネルの信号に対して得られた特徴量を、各チャンネル及び各フレームごとに蓄積するステップ２０６と、学習データの収集のための処理が終了したか否かを判定し、判定結果に応じて制御の流れを分岐させるステップ２０８とを含む。ステップ２０８では、学習データの収集のための処理が終了していないときには、制御はステップ２００に戻る。
【００４６】
このプログラムはさらに、ステップ２０８において、学習データの収集のための処理が終了したと判定されたときに実行され、ステップ２００−２０８の処理により収集されたデータに基づき、ＣＳＳＤによるマッピング行列の算出を行なうステップ２１０と、ステップ２１０に続き、ステップ２００−２０８までの処理で蓄積された学習用データを、各行にチャンネルが、各列に各フレームから得られたサンプルが、それぞれ配置された行列形式に変換し、この行列に対してステップ２１０で得られた変換行列を乗算することにより、特徴量の次元数を削減するステップ２１２と、ステップ２１２で得られた特徴量を入力とし、ステップ２００で入力されたラベルを正解データとしてＳＶＭからなるパターン分類器の学習を行なって処理を終了するステップ２１４とを含む。
【００４７】
−ＣＳＳＤによる特徴量の次元数の削減−
ここでは、各データ群を最適に分離するため、空間フィルタリングを用いて生の特徴量の次元を削減する。このフィルタリング技法は、前述のようにＣＳＳＤまたはＣＳＰと呼ばれ、端的に言うと、２つのタスクの脳波を最適に分離できる軸を抽出する処理をいう。この手法は本質的に並列的であり、スカラー積しか使用しないため、計算コストが小さくリアルタイム処理に最適である。
【００４８】
学習時の１回分のデータ収集処理で得られたＥＥＧ信号の測定サンプルをＮ行Ｔ列の行列Ｅで表す。Ｎはチャンネル数（電極数）、Ｔは１チャンネルあたりのサンプル数である。ここでは１フレームから得られた平均振幅が１サンプルである。
【００４９】
例えば左側の歯を接触させたときに得られたサンプルＥｌと右側の歯を接触させたときに得られたサンプルＥｒとについて、ＥＥＧの空間共分散を正規化したものが、次の式から得られる。
【００５０】
【数１】
2011076177.tif 000003
ただし、行列の右肩の「Ｔ」記号は行列の転置を表し、「ｔｒａｃｅ（Ｅ）」は行列Ｅの対角成分の和を表す。Ｅｌ及びＥｒはそれぞれいずれも同じ条件で、歯の接触条件のみを変えて測定されるので、サンプル行列Ｅｌ及びＥｒはは以下のように表すことができる。
【００５１】
【数２】
2011076177.tif 000004
ただしＳｌは左側の歯を接触させることに特有の信号源を表し、Ｃｌは対応する空間パターンを表す。Ｓｒは右側の歯を接触させることに特有の信号源を表し、Ｃｒは対応する空間パターンを表す。Ｓｃはいずれにも共通の信号源を表し、Ｃｃは対応する空間パターンを表す。
【００５２】
ＣＳＳＤの目的は、信号源成分Ｓｌ及びＳｒを抽出するために必要な空間フィルタ（マッピング行列）Ｗｌ及びＷｒを得ることである。すなわち、
【数３】
2011076177.tif 000005
となる。Ｗｌは左側の歯を接触させることに対応する空間フィルタであり、Ｗｒは右側の歯を接触させることに対応する空間フィルタである。この空間フィルタＷｌ及びＷｒはトレーニングデータを用いた学習時にＣＳＳＤにより算出される。
【００５３】
￣Ｃｌ及び￣Ｃｒ（「￣」は直後の文字の直上に記載すべきものである。）をそれぞれ左側及び右側の歯を接触させているときの平均正規化共分散とする。
【００５４】
【数４】
2011076177.tif 000006
ただしＮｌ及びＮｒはそれぞれ、学習時における、左側及び右側の歯を接触させた状態に対応する学習データの収集試行回数を示し、Ｃｌ（ｉ）及びＣｒ（ｉ）はそれぞれ、ｉ回目の学習データの収集試行で得られた、左側及び右側の歯を接触させた状態のときの正規化共分散を示す。
【００５５】
Ｃｌ及びＣｒの和をＣとするとＣは以下のように分解できる。
【数５】
2011076177.tif 000007
ただしＵｃは固有ベクトルからなる行列であり、λｃは固有値からなる対角行列である。以下の説明では、固有値は降順にソートされているものとする。
【００５６】
すると、白色化変換は以下のように定式化される。
【００５７】
【数６】
2011076177.tif 000008
この結果、￣Ｃｌ及び￣Ｃｒは次のように変形できる。
【００５８】
【数７】
2011076177.tif 000009
Ｓｌ及びＳｒはそれぞれ、以下のように分解できる。
【００５９】
【数８】
2011076177.tif 000010
ここで、Ｓｌ及びＳｒは共通の固有ベクトル行列Ｕを持ち、対角固有値行列λｌ及びλｒは以下の関係を満たす。
【００６０】
【数９】
2011076177.tif 000011
ただしＩは単位行列である。行列λｌ内の最大の固有値は、行列λｒ内に、対応する最小の固有値をもち、その逆も成立する。行列Ｕ内において、その最初の固有ベクトルをＵｌ（１行Ｎ列）とし、最後の固有ベクトルをＵｒ（１行Ｎ列）とする。ベクトルＵｌ及びＵｒは２種類の歯の接触条件を識別するための最適化された固有ベクトルとなる。このとき、左側及び右側の歯を接触させた状態にそれぞれ対応する空間フィルタＷｌ及びＷｒは、それぞれ以下のようになる。
【００６１】
【数１０】
2011076177.tif 000012
学習データの収集時のサンプル行列Ｅは、次のように分解（マッピング）される。
【００６２】
【数１１】
2011076177.tif 000013
ただしＷ＝［Ｗｌ；Ｗｒ］であり、ＥはＮ行Ｔ列の行列である。
【００６３】
２つの信号群の分散を最大にするような信号群Ｚｐ（ｐ＝１…２ｍ）が最大固有値λｌ及びλｒに対応する信号群である。これら信号は、行列Ｗの計算によると、マッピング後の行列Ｚの最初のｍ行及び最後のｍ行である。
【００６４】
信号群Ｚｐを選択した後、正規化分散を計算する。次に、以下の式により特徴量ｆｐを算出し、対数をとって正規分布にしたがうようにした上で線形パターン分類器に与える。
【００６５】
【数１２】
2011076177.tif 000014
ＣＳＳＤは、２つの信号群の分類にしか利用できない。複数の信号群を分類するために、２つの信号群の各々に対するＣＳＳＤ特徴量を加算して得られた合計ＣＳＳＤ特徴量を用いる。パターン分類器への入力としてもこの合計ＣＳＳＤ特徴量を用いる。
【００６６】
［動作］
上記実施の形態に係るロボットコントローラ２４は以下のように動作する。ロボットコントローラ２４の動作には２つのフェーズがある。第１フェーズはマッピング行列Ｗの算出及びパターン分類器の学習であり、第２フェーズは、このパターン分類器を用いて、利用者２０による歯の接触の状態を判定し、その状態に応じたコマンドを出力する動作フェーズである。
【００６７】
−学習フェーズ−
学習は以下のようにして行なわれる。被験者（利用者２０）は頭部に頭部電極カバー２２を装着し、頭部電極カバー２２の各電極６０はロボットコントローラ２４のＡ／Ｄ変換器６２の入力に接続される。
【００６８】
学習の指導者が、図２−図６の状態のうちのいずれかを選択し、歯の状態をその状態とするように被験者に指示する。被験者がその状態をとると、実験者はどの状態かを示すラベルを入力する（図１１のステップ２００）。さらに、所定時間、複数の電極６０からの信号のおのおのを読むことを繰返し、それら複数のチャンネルの信号を所定長のフレームでフレーム化する（ステップ２０２）。各チャンネルの各フレームに対して特徴量を算出する（ステップ２０４）。具体的には、各フレームにおける信号の平均振幅を算出する。
【００６９】
続いて、各チャンネルの各フレームについて、ステップ２０６で算出された特徴量を記憶媒体に記憶する（ステップ２０６）。
【００７０】
以上の処理を、十分な学習用デーが得られるまで繰返す。十分な学習データが得られたが、ステップ２１０で、上記したＣＳＳＤ（ＣＳＰ）によるマッピング行列の算出を行ない、記憶媒体に記憶する。さらにステップ２１２で、このマッピング行列を用い、ステップ２０６で得られた特徴量を、各チャンネルについて上記したＣＳＳＤ特徴量に変換する。こうして得られたＣＳＳＤ特徴量を、学習用データとしてステップ２００で入力されたラベルとともに蓄積し、学習データとする。
【００７１】
最後に、パターン分類器（本実施の形態ではＳＶＭ）に対し、ステップ２１２で得られた学習データによる学習を行ない、学習が終了したら処理を終了する（ステップ２１４）。以上で学習処理は終了である。
【００７２】
−動作フェーズ−
動作フェーズでは、学習フェーズでの被験者と同じ利用者２０が頭部電極カバー２２を頭部に装着する。各電極６０はＡ／Ｄ変換器６２に接続される。無線通信装置７２と目的のロボット２６との間の無線通信による接続が確立され、フィードバック装置７０などの初期化が終了するとロボット２６によるゲームが実行可能となる。
【００７３】
ゲームが開始されると、利用者２０はロボット２６に対して行ないたい指示に対応付けられた接触状態となるように歯の状態を変化させる。このとき、各電極６０からは時系列信号がＡ／Ｄ変換器６２に与えられる。Ａ／Ｄ変換器６２はそれら複数チャンネルの時系列信号をデジタル信号に変換し、ＢＰＦ６４及びＡ／Ｄ変換器６２に与える。ＢＰＦ６４はこれら信号のうち、０−５０Ｈｚの帯域成分のみを通過させ第１脳波信号としてＰＣ６８に与える。ＢＰＦ６６は、入力される信号のうち５０−２５０Ｈｚの帯域成分のみを通過させＰＣ６８に第２脳波信号として与える。
【００７４】
ＰＣ６８は、第１脳波信号としてＢＰＦ６４から与えられる信号に基づき、利用者２０の心理状態（感情、疲労度等）を識別し、予めプログラムされた態様で利用者２０に対しフィードバックを与える。例えば得点が入ったにもかかわらず利用者２０が冷静なときにはその興奮を高めるような刺激を与えたり、相手に得点が入り、利用者２０が非常に興奮しているときには逆に冷静にするような音楽をヘッドホン１１４による再生したりする。ＰＣ６８によるフィードバック装置７０の制御については、本発明と直接の関係がないので、その詳細な説明はここでは行なわない。
【００７５】
一方、ＰＣ６８は、ＢＰＦ６６から与えられる第２脳波信号を用い、以下のようにしてロボット２６を制御するためのコマンドを生成する。ＰＣ６８は、ＢＰＦ６６から与えられる、頭部電極カバー２２から得られた複数チャンネルの第２脳波信号の各々に対し、所定長のフレームに分割し（図９のステップ１５０）、各チャンネルのフレームごとに特徴量を算出する（ステップ１５２）。具体的には、ＰＣ６８は、各チャンネルのフレームごとに、その平均振幅を特徴量として算出し（図１０のステップ１７０）、次に、学習時に得られているマッピング行列を用い、この特徴量の次元を削減したＣＳＳＤ特徴量を算出する（ステップ１７２）。
【００７６】
このＣＳＳＤ特徴量を学習済のパターン分類器に与える（図９のステップ１５４）。パターン分類器からは、利用者２０の歯の状態が図２−図６に示すもののうちのどれであるかを示す値が出力される。ＰＣ６８は、予め各状態に対して割当てられていたコマンドを選択し、無線通信装置７２を介してロボット２６に送信する。
【００７７】
ロボット２６は、このコマンドに対応した処理を行ない、サッカーゲームを続行する。  以上のようにこの実施の形態によれば、頭部に装着した電極から利用者の心理状態と疲労度のような情報を得ることも可能で、同時に利用者の歯の接触状態、すなわち利用者の意図を推定することもできる。歯の状態を知る目的で筋電図を得るための電極を頬に装着したりする必要はない。しかも、上記したようにＣＳＳＤを用いた機械学習により利用者の歯の接触状態を推定すると、その精度が非常に高くなることが分かった。従来、第２脳波信号成分は脳波の測定のためには邪魔な成分と考えられ、測定信号から排除されていた。そうした信号成分を用い、利用者の意図を精度高く推定することができるため、特に脳波の測定が行なわれるような場面において、この発明を効率よく適用することができる。ただし、必ず脳波の測定とともに本発明を実施する必要はなく、脳波を利用した処理を行なわなくてもよいことはもちろんである。
【００７８】
上記実施の形態は、利用者２０の頭部から得られた複数チャンネルの電気信号から、利用者２０によるロボットの制御の意図を推定した。しかし本発明はそのような実施の形態にのみ限定的に適用可能なわけではない。手を使用せずに制御対象のものに対して何らかのコマンドを伝達することが求められているような状況では常に本発明を有効に適用することができる。例えば、電動車椅子の制御、ゲームのコントロール、コンピュータにおけるマウスカーソル及び何らかのアクション発生のための制御などにも適用することができることは明らかである。
【００７９】
さらに本発明は、何らかの事情により両手を使用して対象を制御する作業ができない場合にも適用することができる。例えば複雑な機械の整備を行なう場合、仮想現実の技術を使用して、整備士に作業マニュアルなどを提示する応用がありえる。機械の整備を実行しているときには、両手を機械から離すことができない場合もある。そうした状態で例えばマニュアルを次ページに進めたいという状況が発生したときに、本発明を利用可能なことは当業者であれば明らかである。他にも、消防士、警察官、兵士など、両手に何らかの器具を保持しながら他人と通信・通話をしたり、両手に持った装置とは別の装置を操作する必要が生じたりする場合にも、本願発明を適用可能である。
【００８０】
上記実施の形態では、歯の接触状態に伴う脳波信号を頭部電極カバー２２の出力から得て、利用者２０の意図を推定している。しかし本発明はそのような実施の形態には限定されず、利用者２０の頭部において複数の状態を取りえるような器官についても同様に適用することができる。例えば目の片方をつぶる、瞬きを繰返す、など、目の複数通りの状態に対しても同様の原理で利用者２０の意図を推定することが可能と考えられる。
【００８１】
上記実施の形態ではまた、パターン分類器としてＳＶＭを使用した。しかし本発明はＳＶＭを利用したものには限定されない。例えば人工神経回路網（ニューラル・ネットワーク）、カルマンフィルタ、隠れマルコフモデル、及び線形分離器等を用いてもよい。
【００８２】
なお、上記実施の形態では５０Ｈｚ以上２５０Ｈｚ以下の脳波成分から歯の接触状態を推定したが、これは最も精度高く推定できる周波数範囲に過ぎず、５０Ｈｚ以下又は２５０Ｈｚ以上、例えば０．５Ｈｚ以上で５００Ｈｚ以下の任意の帯域の脳波成分からでも歯の接触状態を推定することは可能である。
【００８３】
上記実施の形態では、ＣＳＳＤ法によって求めた空間フィルタを使用して特徴量を抽出し、歯の接触状態を推定したが、本発明はそのような実施の形態には限定されない。電極から測定された脳波信号を特定周波数帯域でフィルタリングし、これを特徴量として利用して直接に人工神経回路網又はＳＶＭのような分離器を利用して歯の接触状態を推定することもできる。
【００８４】
さらに上記実施の形態では、空間フィルタの係数を求めるためにＣＳＳＤ法を利用したが、本発明はそのような実施の形態には限定されず、２つのタスクの脳波を最適に分離できる軸を抽出することが可能であればどのような方法を用いてもよい。
【００８５】
また、複数チャンネルで測定された脳波信号を周波数領域に変換した後に、各チャンネルのパワーを比較して歯の接触状態を推定する方法を採用することもできる。
【００８６】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００８７】
２０  利用者
２２  頭部電極カバー
２４  ロボットコントローラ
２６  ロボット
６０  電極
６２  Ａ／Ｄ変換器
６４，６６  ＢＰＦ
６８  ＰＣ
７２  無線通信装置
１２０  ＣＰＵ
【図１】
2011076177.tif 000015
【図２】
2011076177.tif 000016
【図３】
2011076177.tif 000017
【図４】
2011076177.tif 000018
【図５】
2011076177.tif 000019
【図６】
2011076177.tif 000020
【図７】
2011076177.tif 000021
【図８】
2011076177.tif 000022
【図９】
2011076177.tif 000023
【図１０】
2011076177.tif 000024
【図１１】
2011076177.tif 000025