(57)【要約】  ターゲット選択肢を識別するために脳波波形データを利用する場合において、ユーザに対して煩雑なキャリブレーションの負担をなくし、かつ、脳波に関する識別精度を高く維持する。  脳波識別方法調整装置は、脳波インタフェースシステムに設けられた脳波インタフェース部の識別方法を調整するために用いられる。当該装置は、分類判定部と識別方法調整部とを備えている。分類判定部は、脳波信号の特徴を類型化するための基準データを予め保持しており、複数の選択肢に対する脳波信号に共通する特徴量および基準データを用いて、計測された脳波信号が類型化された複数の分類のいずれに属するかを判定する。識別方法調整部は、分類結果に応じて、ユーザが選択した選択肢に対する脳波信号の識別方法を調整する。
2009139119.tif 000002
【特許請求の範囲】
【請求項１】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる装置であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
脳波信号の特徴を類型化するための基準データを予め保持し、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定する分類判定部と、
前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部と
を備えた脳波識別方法の調整装置。
【請求項２】
前記分類判定部が用いる複数の選択肢に対する脳波信号は、前記出力部で提示した全ての選択肢に対する脳波信号である、請求項１に記載の脳波識別方法の調整装置。
【請求項３】
前記分類判定部は、前記複数の選択肢に対する脳波信号の所定の周波数帯域のパワースペクトルの平均値および／または所定の時間幅と周波数帯域のウェーブレット係数の平均値を、前記複数の選択肢の全てに対する脳波信号に共通する特徴量として保持している、請求項１に記載の調整装置。
【請求項４】
前記分類判定部は、８Ｈｚから１５Ｈｚの周波数帯域のパワースペクトルの平均値を用いて、前記脳波信号のＮ２００成分の大きさを判定する、請求項３に記載の調整装置。
【請求項５】
前記分類判定部は、２００ミリ秒から２５０ミリ秒の時間幅および８Ｈｚから１５Ｈｚの周波数帯域のウェーブレット係数の平均値を用いてＰ２００成分の大きさを判定する、請求項３に記載の調整装置。
【請求項６】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる前記脳波信号のＰ３００成分、Ｐ２００成分およびＮ２００成分に対する重み係数を分類結果に応じて調整する、請求項１に記載の調整装置。
【請求項７】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号の識別に用いられるテンプレートを類型化された前記複数の分類ごとに保持しており、分類結果に応じたテンプレートを利用することにより、前記脳波信号の識別方法を調整する、請求項１に記載の調整装置。
【請求項８】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる教示データを分類結果に応じて採択することにより、前記脳波信号の識別方法を調整する、請求項１に記載の調整装置。
【請求項９】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる方法であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
脳波信号の特徴を類型化するための基準データを用意するステップと、
前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、
前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップと
を包含する、調整方法。
【請求項１０】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられるコンピュータプログラムであって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、
脳波信号の特徴を類型化するための基準データを予め保持するステップと、
前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、
前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップと
を実行させる、コンピュータプログラム。
【請求項１１】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる装置であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
(ｉ)前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択し、
(ｉｉ)基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出する特徴量抽出部と、
前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部と
を備えた脳波識別方法の調整装置。
【請求項１２】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる方法であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択するステップと、
基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、
前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップと
を包含する、脳波識別方法の調整方法。
【請求項１３】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられるコンピュータプログラムであって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、
前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択するステップと、
基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、
前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップと
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳波を利用して機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、本発明は、個人ごとに大きく異なる脳波を的確に解析するために、脳波インタフェースシステムにおいて脳波の識別方法を調整する機能を実現する機器に関する。
【背景技術】
【０００２】
近年、テレビ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザはボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作するなどの入力手段（インタフェース部）を用いて、情報機器を操作している。しかし、たとえば、家事、育児や運転をしているときなど、両手が機器操作以外の作業のために使えない場合は、インタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。【０００３】
このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献１には、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する脳波インタフェース技術が開示されている。非特許文献１に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ミリ秒付近に出現する事象関連電位の波形を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によれば、ユーザは両手が塞がっている状況においても、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択できるため、上述のニーズに合致する機器操作等のインタフェースが実現される。【０００４】
ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象の発生タイミングを起点として計測される、この事象関連電位を利用する。例えば、視覚刺激などに対して発生する事象関連電位のＰ３００という成分を利用すると、メニューの選択肢が選択できるとされている。「Ｐ３００」とは、一般には事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく起点から約３００ミリ秒付近に現れる事象関連電位の陽性の成分を示すものとして扱われることが多い。【０００５】
事象関連電位をインタフェースに応用するためには、対象の事象関連電位（たとえばＰ３００成分）を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。【０００６】
上述の脳波の波形の出方は個人差が大きいため、事象関連電位をインタフェースの入力手段として用いるためにはこの個人差に対応した精度の高い識別を実現する必要がある。非特許文献２の３２頁に掲載されている図を図１９に示す。図１９は、視覚刺激に対する弁別課題を３６名の被験者に対して実施した場合の脳波の個人差の一例を示している。各被験者のグラフには２種類の状況に対する脳波が表示され、それぞれ実線と破線とによって示されている。図１９から明らかなように、個人差によって波形およびピーク位置における振幅が大きく異なるため、単一の基準で全てのユーザの識別を精度良く行うことは困難であるといえる。【０００７】
個人差の大きい脳波を精度良く識別するための方法として、事前に各ユーザに対するシステムの調整を行っておくこと（いわゆるキャリブレーション）が考えられる。図２０（ａ）を用いて具体的に説明する。図２０（ａ）は、キャリブレーションの手順を示している。ユーザには脳波インタフェースを使用する前に、脳波インタフェースを仮想的に操作する作業を実施してもらう。例えば、４つの選択肢の中から脳波インタフェースを用いて１つの選択肢を選択する作業をユーザに実施してもらう場合、４つの選択肢を順次またはランダムにハイライトし、選択肢がハイライトされたタイミングを起点に４つの脳波波形データ（ステップ４１）が得られる。同時にユーザが選択しようとした選択肢（ターゲット選択肢）はどの選択肢だったのかを示す正解データ（ステップ４２）も得られる。そして、その正解データに記述されたターゲット選択肢に対する脳波波形データの特徴を用いて、ユーザごとに最適な識別方法に調整し（ステップ４３）、調整された識別方法によってユーザが実際に脳波インタフェースを使用した際にユーザが選択したいと思っている選択肢を識別する（ステップ４４）。【０００８】
例えば特許文献１では、事象関連電位の成分に現れる個人差を考慮し、ユーザごとに識別方法を調整して識別率を向上させる技術が開示されている。この技術は単一の基準で全てのユーザの識別を行うのではなく、事前のキャリブレーションによって取得したユーザごとの脳波から、識別に際してユーザごとに最適な事象関連電位の成分を抽出・記憶しておき、その成分を用いてユーザが選択したいと思っている選択肢を識別している。ここで、ユーザごとに最適な事象関連電位の成分として、Ｐ３００成分の他に、Ｐ２００成分、Ｎ２００成分、あるいはそれらの組み合わせが挙げられている。特許文献１ではＰ２００成分とは、起点から約２００ミリ秒付近に現れる事象関連電位の陽性の成分とされ、Ｎ２００成分とは、起点から約２００ミリ秒付近に現れる事象関連電位の陰性の成分とされている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３４６２０公報
【特許文献２】特開平７−１０８８４８公報
【非特許文献】
【００１０】
【非特許文献１】エマニュエル・ドンチン（Ｅｍａｎｕｅｌ  Ｄｏｎｃｈｉｎ）、他２名、“Ｔｈｅ  Ｍｅｎｔａｌ  Ｐｒｏｓｔｈｅｓｉｓ  ：  Ａｓｓｅｓｓｉｎｇ  ｔｈｅ  Ｓｐｅｅｄ  ｏｆ  ａ  Ｐ３００  −  Ｂａｓｅｄ  Ｂｒａｉｎ  −  Ｃｏｍｐｕｔｅｒ  Ｉｎｔｅｒｆａｃｅ”、ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ  ＥＮＧＩＮＥＥＲＩＮＧ、Ｖｏｌ．８、Ｎｏ．２、２０００年６月
【非特許文献２】入戸野宏、「心理学のための事象関連電位ガイドブック」、北大路書房、２００５年９月２０日発行、３２頁
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１では、個人差を抽出・記憶するための実験として、１被験者あたり１００回の実験を実施している（００５０段落）。１回の実験に要する時間が約１分であると記述されているため、キャリブレーション全体では約１００分もの時間を要していることになる。例えば、ユーザがある民生機器を購入し、実際に使用しようとした場合、事前に約１００分もの時間を要するキャリブレーションの実行を必須とするのは、ユーザにとって大きな負担であり、手間もかかる。【００１２】
また、個人が占有する機器ではなく、例えば駅の券売機や銀行のＡＴＭ、病院の待合システムなどのような、不特定多数のユーザが利用するシステムや利用時間が限られているシステムにおいて脳波インタフェースを適用する場合、それを利用するユーザ１人１人が時間を要するキャリブレーションを行うことは、ユーザにとっても負担であると同時にシステム運用の観点からも極めて非効率的であり現実的ではない。【００１３】
したがって、脳波インタフェースを民生機器に搭載する際や不特定多数のユーザが利用するシステムに適用する際には、キャリブレーションの手間をなくすことでユーザが気軽に利用でき、かつ精度良く動作して本来の機能を発揮できなければならない。【００１４】
一方、計測した脳波波形データを予め用意した分類体系に分類し、その分類結果に基づいて処理を決定する技術が開発されている。例えば特許文献２では、運転者の脳波波形データから単位時間あたりのα波、速波、徐波の数を計算し、その数値によって、予め用意した分類体系である「正常」、「ぼんやり」、「軽い眠気」、「入眠」のいずれかに分類する。そして、その分類結果に応じて運転者に対する「刺激なし」「刺激あり（香り）」「刺激あり（空気圧）」「刺激あり（ブザー音）」の処理を決定している。【００１５】
ここで、機器操作選択のための脳波インタフェースにおいて、キャリブレーションにおけるユーザの負担をなくし、かつ精度良く識別を行うために、脳波波形データから予め用意した分類体系のいずれかに分類し、その分類結果に応じて識別方法を調整する方法が考えられる。【００１６】
しかしながらその方法には課題が存在する。その課題を、図２０（ｂ）を用いて説明する。図２０（ｂ）は、ユーザの脳波波形データを分類してキャリブレーションを行う手順を示している。例えば、事前のキャリブレーション時ではなく、実際にユーザが脳波インタフェースを用いて４つの選択肢の中から１つの選択肢を選択しようとしている場合、４つの脳波波形データ（ステップ４５）が得られる。この４つの脳波波形データには、ユーザが選択しようとした選択肢（ターゲット選択肢）に対する脳波波形データが１つと、それ以外の選択肢（ノンターゲット選択肢）に対する脳波波形データが３つ含まれているとする。これらの脳波波形データから予め用意した分類体系のいずれかのタイプに分類し（ステップ４６）、その分類結果に応じて最適な識別方法に調整し（ステップ４７）、調整された識別方法によってユーザが選択したいと思っている選択肢を識別する（ステップ４８）。【００１７】
前述のタイプ分類（ステップ４６）は、各々の選択肢に対する脳波波形データ（図２０（ｂ）の例では４つの脳波波形データ）のうち、ターゲット選択肢に対する脳波波形データの特徴を反映した分類であることが必要である。なぜなら、それ以外の脳波波形データの特徴を反映した分類だと、その後の処理であるターゲット選択肢を精度良く識別するための識別方法の調整が的確に実施できなくなるからである。それは、図２０（ａ）の例において正しい正解データを入力しなければ、すなわちターゲット選択肢に対する脳波波形データの特徴を正しく抽出できていなければ、的確な識別方法の調整ができないことからも明らかである。【００１８】
しかしながら、実際に脳波インタフェースを利用する際には、どれがターゲット選択肢に対する脳波波形データなのかを示す正解データが存在しないため、前述のタイプ分類をする時点ではターゲット選択肢に対する脳波波形データを特定することができない。そのため、タイプ分類や識別方法の調整を的確に実施することができず、その結果識別精度を高く維持することができない。したがって、タイプ分類や識別方法の調整を的確に実施するためには、ターゲット選択肢が特定できない複数の選択肢に対する脳波波形データから、ターゲット選択肢に対する脳波波形データの特徴を推定することが必要である。【００１９】
上述の課題は、特許文献２の従来技術のように分類後には脳波波形データを利用しない場合には問題とされない。一方、上述のように、分類後もその分類結果に基づいてターゲット選択肢を識別するために脳波波形データを利用する場合には問題となる。【００２０】
本発明の目的は、ターゲット選択肢を識別するために脳波波形データを利用する場合において、ユーザの脳波波形に基づいてタイプ分類および識別方法の調整を的確に実施して、ユーザに対して煩雑なキャリブレーションの負担をなくし、かつ、脳波に関する識別精度を高く維持することにある。
【課題を解決するための手段】
【００２１】
本発明による調整装置は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記調整装置は、脳波信号の特徴を類型化するための基準データを予め保持し、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定する分類判定部と、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部とを備えている。【００２２】
前記分類判定部が用いる複数の選択肢に対する脳波信号は、前記出力部で提示した全ての選択肢に対する脳波信号であってもよい。【００２３】
前記分類判定部は、前記複数の選択肢に対する脳波信号の所定の周波数帯域のパワースペクトルの平均値および／または所定の時間幅と周波数帯域のウェーブレット係数の平均値を、前記複数の選択肢の全てに対する脳波信号に共通する特徴量として保持する。【００２４】
前記分類判定部は、８Ｈｚから１５Ｈｚの周波数帯域のパワースペクトルの平均値を用いて、前記脳波信号のＮ２００成分の大きさを判定してもよい。【００２５】
前記分類判定部は、２００ミリ秒から２５０ミリ秒の時間幅および８Ｈｚから１５Ｈｚの周波数帯域のウェーブレット係数の平均値を用いてＰ２００成分の大きさを判定してもよい。【００２６】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる前記脳波信号のＰ３００成分、Ｐ２００成分およびＮ２００成分に対する重み係数を分類結果に応じて調整してもよい。【００２７】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号の識別に用いられるテンプレートを類型化された前記複数の分類ごとに保持しており、分類結果に応じたテンプレートを利用することにより、前記脳波信号の識別方法を調整してもよい。【００２８】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる教示データを分類結果に応じて採択することにより、前記脳波信号の識別方法を調整してもよい。【００２９】
本発明による方法は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。本発明による前記方法は、脳波信号の特徴を類型化するための基準データを用意するステップと、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを包含する。【００３０】
本発明によるコンピュータプログラムは、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、脳波信号の特徴を類型化するための基準データを予め保持するステップと、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを実行させる。【００３１】
本発明による調整装置は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記調整装置は、(ｉ)前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択し、(ｉｉ)基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出する特徴量抽出部と、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部とを備えている。【００３２】
本発明による方法は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。本発明による前記方法は、前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択するステップと、基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを包含する。【００３３】
本発明によるコンピュータプログラムは、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択するステップと、基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを実行させる。
【発明の効果】
【００３４】
本発明によれば、複数の選択肢の中からユーザが選択したいと思っている選択肢を、脳波を利用して識別するインタフェースを備えたシステムにおいて、全ての選択肢に対する脳波信号に共通する特徴量を用いて、予め用意した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する。【００３５】
その結果、ユーザに対するキャリブレーションの実行を必須としないため、ユーザへの負担および手間を大幅に軽減することができ、かつ、分類されたタイプに応じて識別方法を調整することにより、識別精度を高く維持することができる。
【図面の簡単な説明】
【００３６】
【図１】テレビと装着型の脳波計とを組み合わせた例による脳波インタフェースシステム１の構成および利用環境を示す図である。
【図２】実施形態１による脳波インタフェースシステム１の機能ブロック構成を示す図である。
【図３】脳波インタフェース１の処理の手順を示すフローチャートである。
【図４】（ａ）〜（ｄ）は、脳波インタフェースシステム１においてユーザ１０が視聴したいジャンルの番組を選ぶときの画面の遷移図である。
【図５】実験の結果、被験者０１〜１３の各々から得られた脳波波形データを、被験者ごとに加算平均した波形を示す図である。
【図６】図５に示した被験者ごとの脳波波形データを、３００ミリ秒以前のＰ２００成分およびＮ２００成分の大きさに基づいて個人の脳波の特徴を類型化した分類体系を示す図である。
【図７】（ａ）〜（ｄ）は、分類したタイプごとの脳波波形データの総加算平均波形を示す図である。
【図８】図６に示した分類体系のＮ２００成分が“Ｌａｒｇｅ”の被験者群（７名）と“Ｓｍａｌｌ”の被験者群（６名）とに対する脳波波形データのパワースペクトルを示す図である。
【図９】図６に示した分類体系のＰ２００成分が“Ｌａｒｇｅ”、“Ｍｉｄｄｌｅ”、“Ｓｍａｌｌ”のレベルと、脳波波形データの所定の時間周波数成分および周波数帯域のウェーブレット係数との関係を被験者ごとにプロットした図である。
【図１０】分類判定部１４の分類処理手順を示す図である。
【図１１】実験結果をもとに作成したタイプ分類用の基準データの一部を示す図である。
【図１２】識別方法調整部１５の処理の手順を示すフローチャートである。
【図１３】タイプごとのＰ３００成分およびＰ２００成分、Ｎ２００成分に対する重み係数を示す図である。
【図１４】（ａ）および（ｂ）は、タイプＡの場合の教示データの例を示す図である。
【図１５】ターゲット選択肢の識別率の全被験者平均値を３つの条件を示す図である。
【図１６】図１５の内訳であるタイプＡの被験者、タイプＤの被験者、その他の被験者のそれぞれの場合の識別率を示す図である。
【図１７】タイプ分類に用いる特徴量を、（ｂ）パワースペクトルとウェーブレット係数の両方を用いる場合、（ｂ−１）パワースペクトルのみを用いる場合、（ｂ−２）ウェーブレット係数のみを用いる場合の３つの条件について、タイプＡとタイプＤの被験者の識別率を示す図である。
【図１８】実施形態２による脳波インタフェースシステム３の機能ブロック構成を示す図である。
【図１９】視覚刺激に対する弁別課題を３６名の被験者に対して実施した場合の脳波の個人差の一例を示す図である。
【図２０】（ａ）は、キャリブレーションの手順を示す図であり、（ｂ）は、ユーザの脳波波形データを分類してキャリブレーションを行う手順を示す図である。
【発明を実施するための形態】
【００３７】
以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の実現形態を説明する。
【００３８】
はじめに、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の主要な特徴の概略を説明する。その後、脳波インタフェースシステムの各実施形態を説明する。
【００３９】
本願発明者らは、将来的には、装着型の脳波計と装着型のディスプレイとを組み合わせた環境で脳波インタフェースシステムが構築されることを想定している。ユーザは脳波計とディスプレイとを常に装着し、装着型ディスプレイを利用してコンテンツの視聴や画面の操作を行うことができる。また、他には、家庭用のテレビと装着型の脳波計とを組み合わせた家庭内などの環境でも脳波インタフェースシステムが構築されることを想定している。ユーザはテレビを見るときに、脳波計を装着してコンテンツの視聴や画面の操作を行うことができる。
【００４０】
例えば図１は、後者の例による、本願発明者らが想定する脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。
【００４１】
脳波インタフェースシステム１は、ユーザ１０の脳波信号を利用してテレビ１１を操作するインタフェースを提供するためのシステムである。テレビ１１に表示された複数の選択肢が１つずつハイライトされると、各ハイライトを起点としてユーザ１０の脳波の事象関連電位に影響が現れる。ユーザ１０の脳波信号はユーザが頭部に装着した脳波計測部１２によって取得され、無線または有線で脳波ＩＦ部１３に送信される。テレビ１１に内蔵された脳波ＩＦ部１３は、ユーザ１０の脳波の事象関連電位を利用して、ユーザが選択したいと思っている選択肢を識別する。その結果、ユーザの意図に応じてチャンネルの切り替えなどの処理を行うことが可能になる。
【００４２】
脳波インタフェースシステム１の脳波インタフェース（ＩＦ）部１３（後述）には、所定の識別方法が予め定められている。この「識別方法」とは、脳波信号が予め定められた基準に合致するか否かに応じて事象関連電位の成分を識別する方法をいう。
【００４３】
ユーザ１０の脳波の事象関連電位を利用して、ユーザが選択したいと思っている選択肢を識別するためには、ユーザに応じて識別方法を最適化することが必要とされる。
【００４４】
本実施形態による、テレビ１１に内蔵された脳波識別方法調整装置２は、脳波波形データから個人の脳波の特徴を類型化した分類体系のいずれかのタイプに分類し、その分類結果に応じて、脳波ＩＦ部１３において利用される識別方法が最適になるよう調整する処理を行う。このとき、特定の選択肢がハイライトされたときの脳波信号だけでなく、全ての選択肢に対する脳波信号に共通する特徴量が用いられる。予め定められた分類体系に対応して、たとえば２つの脳波波形のテンプレート（教示データ）も用意されている。１つは、選択しようとした選択肢がハイライトされたときに現れる教示データであり、他の１つは、選択しようとしていない選択肢がハイライトされたときに現れる教示データである。得られた脳波波形データとこれらの各教示データとを比較して、どちらに近いかを評価することにより、その脳波波形が測定されたときに、ユーザがハイライトされた選択肢を選択したかったか否かを判断できる。
【００４５】
脳波波形の現われ方には個人差が大きいが、本願発明者らは複数ユーザの脳波波形に共通する特徴を見出して、その特徴ごとに分類を行うとともに、その特徴を識別可能にする教示データを分類に応じて設けた。これにより、分類結果に応じてそのユーザにとって最適な識別方法を採用することができる。
【００４６】
本願発明者らは、全ての選択肢毎に１回（または数回程度の少ない回数）の刺激で得られた事象関連電位のＮ２００成分およびＰ２００成分（後述）を利用して分類を行った。本願発明者らは、周波数帯域のパワースペクトルの平均値および周波数帯域のウェーブレット係数の平均値によって分類すると効果があることを見出した。
【００４７】
（実施形態１）
以下、本願発明の実施形態を詳細に説明する。
【００４８】
図２は、本実施形態による脳波インタフェースシステム１の機能ブロック構成を示す。脳波インタフェースシステム１は、出力部１１と、脳波計測部１２と、脳波ＩＦ部１３と、脳波識別方法調整装置２を有している。脳波識別方法調整装置２は、分類判定部１４と、識別方法調整部１５とで構成されている。ユーザ１０のブロックは説明の便宜のために示されているものであり、脳波インタフェースシステム１自体の構成ではない。
【００４９】
出力部１１は、ユーザにコンテンツや脳波インタフェースにおける選択されるべきメニューを出力する。図１に示すテレビ１１は出力部の具体例であるため、以下では参照符号１１を出力部に充てて説明する。出力部１１は、出力される内容が動画や静止画の場合にはディスプレイ画面に対応し、出力される内容に音声が含まれている場合にはディスプレイ画面およびスピーカが出力部１１として併用されることもある。
【００５０】
脳波計測部１２は、ユーザ１０の頭部に装着された電極における電位変化を計測することによって脳波信号を検出する脳波計である。脳波計は図１に示すようなヘッドマウント式脳波計であっても良い。ユーザ１０は予め脳波計を装着しているものとする。
【００５１】
ユーザ１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部１２には電極が配置されている。電極の配置は、例えばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ１０の鼻根部になる。但し、電極は最低２個あれば良く、例えばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
【００５２】
この結果、脳波計測部１２はユーザ１０の脳波を測定することができる。測定されたユーザ１０の脳波は、コンピュータで処理できるようにサンプリングされ、脳波ＩＦ部１３に送られる。なお、脳波に混入するノイズの影響を低減するため、本実施形態の脳波計測部１２において計測される脳波は、予め例えば１５Ｈｚのローパスフィルタ処理がされているものとする。
【００５３】
脳波ＩＦ部１３は、機器操作に関するインタフェース画面を、出力部１１を介してユーザに提示し、インタフェース画面上での複数の選択肢を順次またはランダムにハイライトさせ、脳波計測部１２で計測された脳波波形データからユーザが選択しようとした選択肢を識別する。以下、本実施形態において、ユーザが選択しようとした選択肢を「ターゲット選択肢」といい、ターゲット選択肢以外の選択肢を「ノンターゲット選択肢」という。
【００５４】
なお、以下の説明では、「選択肢」とは、見たい番組の候補であるとして説明している（図４（ｂ）における「野球」、「天気予報」、「アニメ」、「ニュース」）。しかしながらこれは一例である。操作対象機器における選択可能な操作に対応する複数の項目が存在すれば、各項目は本明細書でいう「選択肢」に該当する。「選択肢」の表示態様は任意である。
【００５５】
図３および図４を適宜参照しながら、図２に示した脳波インタフェース１の処理の手順を説明する。図３は、脳波インタフェースシステム１の処理の手順を示すフローチャートである。また図４（ａ）〜（ｄ）は脳波インタフェースシステム１においてユーザ１０が視聴したいジャンルの番組を選ぶときの画面の遷移図である。
【００５６】
ステップＳ６１では、脳波ＩＦ部１３はＳＳＶＥＰを用いて、脳波インタフェースの起動を判断し、出力部１１を介してインタフェース画面を提示する。ＳＳＶＥＰ（Ｓｔｅａｄｙ  Ｓｔａｔｅ  Ｖｉｓｕａｌ  Ｅｖｏｋｅｄ  Ｐｏｔｅｎｔｉａｌ）とは、定常視覚誘発電位を意味する。
【００５７】
例えば、ユーザ１０がコンテンツを視聴している時には、テレビに図４（ａ）のような選択前の画面５１（この場合はニュース）が表示されているとする。右下に表示されたメニュー５２は特定の周波数で点滅している。ユーザ１０がそのメニュー５２を見ると、特定の周波数成分が脳波に重畳されることが知られている。そこで、脳波信号における点滅周期の周波数成分のパワースペクトルを識別することによってそのメニュー５２が見られているかが判別でき、脳波インタフェースを起動できる。脳波インタフェースの起動とは、脳波を用いて選択等を行うためのインタフェースの動作を開始させることを意味する。
【００５８】
なお、ＳＳＶＥＰは、例えば、Ｘｉａｏｒｏｎｇ  Ｇａｏ，“Ａ  ＢＣＩ−Ｂａｓｅｄ Ｅｎｖｉｒｏｎｍｅｎｔａｌ  Ｃｏｎｔｒｏｌｌｅｒ  ｆｏｒ  ｔｈｅ  Ｍｏｔｉｏｎ−Ｄｉｓａｂｌｅｄ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｎｅｕｒａｌ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｒｅｈａｂｉｌｉｔａｔｉｏｎ  Ｅｎｇｉｎｅｅｒｉｎｇ，Ｖｏｌ．１１，Ｎｏ．２，Ｊｕｎｅ  ２００３に記載されているものを示す。
【００５９】
脳波インタフェースが起動されることによって、図４（ｂ）に示すインタフェース画面５３が表示される。画面には「どの番組をご覧になりたいですか？」という質問と、見たい番組の候補である選択肢が提示される。この例では「野球」５３ａ「天気予報」５３ｂ「アニメ」５３ｃ「ニュース」５３ｄの４種類が表示されている。
【００６０】
再び図３を参照する。ステップＳ６２では、脳波ＩＦ部１３が、出力部１１を介してインタフェース画面５３の各々の選択肢を順次またはランダムにハイライトさせる。図４（ｂ）の例では、画面５３の上から「野球」５３ａ、「天気予報」５３ｂ、「アニメ」５３ｃ、「ニュース」５３ｄの順にハイライトしている様子を示している。このときのハイライトの切り替わり時間の間隔は、３５０ミリ秒とする。なお、ハイライトはインタフェース画面上での選択肢の輝度、色相および大きさの変化の少なくとも１つであれば良く、また、ハイライトの代わりに、またはハイライトとともに補助的矢印を用いたポインタで選択肢を提示しても良い。
【００６１】
ステップＳ６３では、脳波ＩＦ部１３が、脳波計測部１２で計測された脳波信号のうち、各選択肢がハイライトされた時点を起点として、−１００ミリ秒から６００ミリ秒までの脳波波形データを切り出す。
【００６２】
ステップＳ６４では、脳波ＩＦ部１３は、切り出した脳波波形データのベースライン補正を行う。例えば、選択肢がハイライトされた時点を起点として、−１００ミリ秒から０ミリ秒までの平均電位でベースラインを補正する。
【００６３】
ステップＳ６５では、脳波ＩＦ部１３が、インタフェース画面５３の全ての選択肢のハイライトが終了したか否かを判別する。終了していない場合はＳ６２に戻り、終了している場合はＳ６６に進む。
【００６４】
なお、事象関連電位の研究では一般的に、同じ選択肢をＮ回（例えば５回、１０回、２０回）ハイライトさせる（たとえば選択肢が４個の場合は合計４×Ｎ回だけハイライトさせる）ことが多い。そして同一選択肢ごとの加算平均を求めてからターゲット選択肢の識別が行われる。これにより、ランダムな脳の活動電位を相殺でき、一定の潜時と極性を持つ事象関連電位（例えばＰ３００成分、Ｐ２００成分、Ｎ２００成分）を検出できる。
【００６５】
なお、同じ選択肢をＮ回（Ｎ：２以上の整数）ハイライトさせると識別精度は高くなるが、その処理の回数に応じた時間が必要になる。そのため、不特定多数のユーザが脳波インタフェースシステム１を利用する場合には、同じ選択肢を多くない回数（たとえば２、３回）だけハイライトさせてもよいし、１回だけハイライトさせてもよい。同一選択肢ごとの加算平均を求める場合において、加算回数（ハイライト回数）は限定されるものではない。
【００６６】
ステップＳ６６では、脳波識別方法調整装置２が、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、個人の脳波の特徴を、類型化した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する処理を行う。処理の詳細は図１０および図１２の分類判定部１４および識別方法調整部１５の処理の手順を参照しながら後述する。
【００６７】
ステップＳ６７では、脳波ＩＦ部１３が、脳波識別方法調整装置２におけるタイプ分類およびそれに応じた識別方法の調整結果を受けて、複数の選択肢の中からターゲット選択肢の識別を行う。ここで、ターゲット選択肢の識別は、タイプ分類に用いた脳波信号と同じ信号を用いる。同じ脳波信号を用いて、タイプ分類と選択肢の識別とを行うことができるため、選択肢の識別を伴わないキャリブレーションを行うことなく、識別精度を向上させることができる。
【００６８】
図４（ｃ）は、４つの選択肢に対する脳波波形データ５４ａ〜５４ｄから、脳波波形データ５４ｂをターゲット選択肢として識別している様子を示している。識別に際して脳波ＩＦ部１３は、ハイライトされた選択肢ごとの、ある区間の脳波波形データの区間平均電位に基づいて選んでも良いし、またテンプレートとの相関係数の値に基づいて選んでも良い。または、線形判別分析または非線形判別分析による事後確率の値に基づいて選んでも良い。上記のそれぞれに方法に関する詳細は、識別方法の調整を行う識別方法調整部１５の説明の後に再度説明する。
【００６９】
図３のステップＳ６８では、脳波ＩＦ部１３は、識別された選択肢の動作を実行させるために、適切な機器に当該動作を実行させる。図４（ｄ）の例では、脳波ＩＦ部１３は出力部（ＴＶ）１１に対してチャンネルを「天気予報」に切り替えるよう指示し、出力部（ＴＶ）１１がその処理を実行している。
【００７０】
分類判定部１４は、図３に示した処理ステップＳ６６において、脳波ＩＦ部１３から分類対象となる脳波波形データを受信することによって処理が開始される。図４（ｃ）の例では、ハイライトされた４つの選択肢に対する脳波波形データ５４ａ〜５４ｄを受信する。更に受信した全ての選択肢に対する脳波信号に共通する特徴量を用いて、個人の脳波の特徴を類型化した分類体系のいずれかのタイプに分類する。「全ての選択肢に対する脳波信号に共通する特徴量」とは、全ての選択肢に対する脳波波形を用いて得られる波形の特徴を示す。具体的な算出処理は、後述する。
【００７１】
識別方法調整部１５は、分類判定部１４の分類結果に応じて、ターゲット選択肢を精度良く識別するための識別方法の調整を行い、調整結果を脳波ＩＦ部１３へ送信する。
【００７２】
ここで、上述のタイプ分類を実施する際の分類体系について、本願発明者らが実施した脳波インタフェースの実験結果をもとに具体的に説明する。
【００７３】
被験者は男性９名、女性４名の合計１３名で、平均年齢は２６±６．５歳である。被験者には図４（ｂ）で示した４つの選択肢を含むインタフェース画面をモニターに提示し、３５０ミリ秒ごとにハイライトされる選択肢を見て、指定された選択肢（ターゲット選択肢）がハイライトされた直後に「それ」と頭の中で思う課題を課した。選択肢のハイライトはランダムな順序で４つの選択肢を各５回（すなわち加算回数が５回）の計２０回繰り返し、これを１試行の実験とした。また、ターゲット選択肢の指定は、上から「野球」５３ａ「天気予報」５３ｂ「アニメ」５３ｃ「ニュース」５３ｄの順とし、それぞれ１０試行（計４０試行）の実験を各被験者に対して実施した。
【００７４】
また、被験者は脳波計（ティアック、ポリメイトＡＰ−１１２４）を装着し、電極の配置は国際１０−２０電極法を用い、導出電極をＰｚ（正中頭頂）、基準電極をＡ１（右耳朶）、接地電極を前額部とした。サンプリング周波数２００Ｈｚ、時定数３秒で計測した脳波波形データに対して１５Ｈｚのローパスフィルタ処理をかけ、選択肢のハイライトを起点に−１００ミリ秒から６００ミリ秒の脳波波形データを切り出し、−１００ミリ秒から０ミリ秒の平均電位でベースライン補正を行った。
【００７５】
図５は、上述の実験の結果、被験者０１〜１３の各々から得られた脳波波形データを、被験者ごとに加算平均した波形を示す。横軸は選択肢のハイライトを０ミリ秒とした時間（潜時）で単位はミリ秒、縦軸は電位で単位はμＶである。実線はターゲット選択肢に対する脳波波形データの平均波形（４０試行分、総加算回数は４０×５＝２００回）であり、点線はノンターゲット選択肢に対する脳波波形データの平均波形（３選択肢の４０試行分、総加算回数は３×４０×５＝６００回）を示している。
【００７６】
図５に示した被験者ごとの脳波波形データから、ターゲット選択肢に対する脳波波形データ（実線）の特徴として、潜時が３００ミリ秒以降の、特に４００ミリ秒付近で陽性になっている点では共通している。しかし、１００ミリ秒から３００ミリ秒までのターゲット選択肢の脳波波形データの特徴は被験者ごとに異なっていることが分かる。例えば、被験者０１のターゲット選択肢に対する脳波波形データは２００ミリ秒後付近で大きな陽性成分が見られるが、被験者１２のターゲット選択肢に対する脳波波形データは２００ミリ秒前付近で大きな陰性成分が見られる。
【００７７】
図６は、図５に示した被験者ごとの脳波波形データを、３００ミリ秒以前のＰ２００成分およびＮ２００成分の大きさに基づいて個人の脳波の特徴を類型化した分類体系を示す。横軸はＰ２００成分の大きさ、縦軸はＮ２００成分の大きさを表している。Ｐ２００成分およびＮ２００成分の大きさは、図５に示すターゲット選択肢およびノンターゲット選択肢の両方から求めている。
【００７８】
具体的には、「Ｐ２００成分」とは、ターゲット選択肢に対する脳波波形の２００ミリ秒から３００ミリ秒までの平均電位から、ノンターゲット選択肢に対する脳波波形の２００ミリ秒から３００ミリ秒までの平均電位を減じたものとした。そのようにして求めたＰ２００成分の大きさが１０μＶ以上になった場合を“Ｌａｒｇｅ”とし、１μＶ以上１０μＶ未満になった場合を“Ｍｉｄｄｌｅ”とし、１μＶ未満になった場合を“Ｓｍａｌｌ”とした。このようにして得られた電位は、「全ての選択肢に対する脳波信号に共通する特徴量」の一例である。
【００７９】
一方、「Ｎ２００成分」とは、ノンターゲット選択肢に対する脳波波形データの１００ミリ秒から２００ミリ秒までの平均電位から、ターゲット選択肢に対する脳波波形データの１００ミリ秒から２００ミリ秒までの平均電位を減じたものとした。そのようにして求めたＮ２００成分の大きさが１．４μＶ以上になった場合を“Ｌａｒｇｅ”とし、１．４μＶ未満になった場合を“Ｓｍａｌｌ”とした。
【００８０】
なお、Ｐ２００成分およびＮ２００成分の算出にあたって、脳波波形の２００ミリ秒から３００ミリ秒を採用したことは一例である。たとえば脳波波形の２００ミリ秒から２５０ミリ秒の脳波波形を採用してＰ２００成分を算出してもよい。同様に、Ｎ２００成分の算出にあたって、脳波波形の１００ミリ秒から２００ミリ秒を採用したことも一例である。
【００８１】
図６はまた、上記の分類基準に則って、図５に示した被験者ごとの脳波波形データを分類した結果を示している。Ｐ２００成分が“Ｌａｒｇｅ”でＮ２００成分が“Ｓｍａｌｌ”に該当する被験者は２名で、これをタイプＡとした。Ｐ２００成分が“Ｍｉｄｄｌｅ”でＮ２００成分が“Ｓｍａｌｌ”に該当する被験者は４名で、これをタイプＢとした。Ｐ２００成分が“Ｍｉｄｄｌｅ”でＮ２００成分が“Ｌａｒｇｅ”に該当する被験者は３名でこれをタイプＣとした。Ｐ２００成分が“Ｓｍａｌｌ”でＮ２００成分が“Ｌａｒｇｅ”に該当する被験者は４名でこれをタイプＤとした。また、Ｐ２００成分とＮ２００成分が両方とも“Ｌａｒｇｅ”または“Ｓｍａｌｌ”に該当する被験者は本実験では存在しなかった。
【００８２】
図７は、上記で分類したタイプごとの脳波波形データの総加算平均波形を示す。横軸は選択肢のハイライトを０ミリ秒とした時間（潜時）で単位はミリ秒、縦軸は電位で単位はμＶである。実線はターゲット選択肢に対する脳波波形データを、点線はノンターゲット選択肢に対する脳波波形データを示している。
【００８３】
図７から、タイプＡではＰ２００成分が大きく出現しており、タイプＤではＮ２００成分が大きく出現していることが分かる。分類判定部１４は、ユーザの脳波波形に基づいて、その波形を上記の分類体系のいずれかのタイプに分類する。
【００８４】
更に本願発明者らが実施した脳波インタフェースの実験結果をもとに新たに特定した、タイプ分類に用いられる特徴量について具体的に説明する。本願発明者らはターゲット選択肢の脳波波形データの特徴に基づいた前述の分類体系と、全ての選択肢の脳波波形データに共通する特徴量との関係について、様々な分析を実施した。その結果、強い相関関係を持つ２つの特徴量を特定することができた。この強い相関関係を持つ特徴量を見出したことにより、特許文献１のように、事前にキャリブレーションを行うことなく精度を向上させることができる。
【００８５】
すなわち、事前のキャリブレーションを行い、複数のターゲット選択肢の波形特徴を抽出して分類する必要がなく、ターゲット選択肢及びノンターゲット選択肢を含むいずれの選択肢に対する脳波信号を利用しても、精度を向上させることができる。
【００８６】
従来は、ターゲット選択肢を特定し、その脳波波形から特徴量を抽出していた。しかし、ノンターゲット選択肢を含む全ての選択肢に対する脳波波形に現れる特徴量を見出したことにより、ターゲット選択肢を特定することなく、いずれの選択肢の脳波波形から抽出したユーザの特徴を利用しても、精度を向上させることができる。以下に詳しく説明する。
【００８７】
まず、図６に示した分類体系のＮ２００成分が“Ｌａｒｇｅ”の被験者群（７名）と“Ｓｍａｌｌ”の被験者群（６名）とに対する脳波波形データのパワースペクトルを図８に示す。横軸は周波数で単位はＨｚ、縦軸はパワースペクトル値で単位は（μＶ）2／Ｈｚである。時系列の脳波波形データからフーリエ変換によって周波数成分データが求められる。パワースペクトル値は周波数成分データとその複素共役との積で算出される。
【００８８】
図８中の実線はＮ２００成分が“Ｌａｒｇｅ”の被験者群を示している。実線上の「○」は、７名分のターゲット選択肢およびノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値を示し、「○」を上下に通る両矢印は被験者ごとのばらつきを表している。点線はＮ２００成分が“Ｓｍａｌｌ”の被験者群を示している。破線上の「×」は、６名分のターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値を示し、「×」を上下に通る両矢印は被験者ごとのばらつきを表している。
【００８９】
図８より、各周波数において、“Ｌａｒｇｅ”の被験者群と“Ｓｍａｌｌ”の被験者群に対して統計的な有意差検定であるｔ検定を行った結果、周波数が８Ｈｚから１５Ｈｚ付近の区間で、Ｎ２００成分が“Ｌａｒｇｅ”の被験者群が“Ｓｍａｌｌ”の被験者群に比べて、ターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値が有意に低くなっていることが分かった（有意水準Ｐ＝０．０５）。５％の有意水準で有意差があるということは、２つの群のデータの間に統計的に９５％の信頼度で意味のある差が存在していることを意味する。
【００９０】
上記の関係を利用することによって、複数の選択肢に対する脳波波形データのうち、ターゲット選択肢に対する脳波波形データが特定できなくても、全ての脳波波形データに対する上述の周波数帯域のパワースペクトルの平均値からＮ２００成分が“Ｌａｒｇｅ”の被験者か“Ｓｍａｌｌ”の被験者かを分類することが可能になる。
【００９１】
図８の例の場合、Ｎ２００成分が“Ｌａｒｇｅ”と“Ｓｍａｌｌ”の被験者における、周波数が８Ｈｚから１５Ｈｚ付近の区間の平均パワースペクトル値がそれぞれ１．６と３．６であるため、閾値を、たとえばその中間値２．６とする。閾値２．６未満の場合は“Ｌａｒｇｅ”の被験者、閾値２．６以上の場合は“Ｓｍａｌｌ”の被験者となる。図６の例では、タイプＡまたはＢの被験者か、タイプＣまたはＤの被験者かを分類することが可能になる。なお、閾値の決定方法は例である。上述の例のように、１．６と３．６の間に存在していれば中間値でなくてもよい。
【００９２】
次に、図６に示した分類体系のＰ２００成分が“Ｌａｒｇｅ”、“Ｍｉｄｄｌｅ”、“Ｓｍａｌｌ”のレベルと、脳波波形データの時間周波数成分、具体的には２００ミリ秒から２５０ミリ秒の時間幅および８Ｈｚから１５Ｈｚ付近の周波数帯域のウェーブレット係数との関係を被験者ごとにプロットしたものを図９に示す。左記のウェーブレット係数はマザーウェーブレットをメキシカンハットとした場合を示している。縦軸はＰ２００成分のレベルであり、“Ｌａｒｇｅ”の場合は３（対象被験者は２名）、“Ｍｉｄｄｌｅ”の場合は２（対象被験者は７名）、“Ｓｍａｌｌ”の場合は１（対象被験者は４名）としている。横軸は被験者ごとにターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのウェーブレット係数の平均値である。
【００９３】
図９において、線形回帰分析を行った結果、近似式ｙ＝０．１５８６ｘ＋１．６６７３に近似され、Ｐ２００成分のレベル（ｙ）とウェーブレット係数（ｘ）との間に強い相関関係があることが分かった（相関係数Ｒ＝０．８３）。相関係数とは、２つの変数の間の相関（類似性の度合い）を示す統計的指標であり、一般的に絶対値が０．７以上の場合に強い相関があることを意味する。
【００９４】
上記の関係を利用することによって、複数の選択肢に対する脳波波形データのうち、ターゲット選択肢に対する脳波波形データが特定できなくても、全ての脳波波形データに対する上述の時間幅および周波数帯域のウェーブレット係数の平均値からＰ２００成分が“Ｌａｒｇｅ”の被験者か“Ｍｉｄｄｌｅ”の被験者か“Ｓｍａｌｌ”の被験者かを分類することが可能になる。
【００９５】
図９の例の場合、前記近似式のＰ２００成分のレベル（ｙ）＝２．５（“Ｌａｒｇｅ：３”と“Ｍｉｄｄｌｅ：２”の中間値）および１．５（“Ｍｉｉｄｌｅ：２”と“Ｓｍａｌｌ：１”の中間値）に対応するｘ＝５．２および−１．０をそれぞれ閾値とした。ウェーブレット係数（ｘ）が閾値５．２以上の場合は“Ｌａｒｇｅ”の被験者、閾値−１．０以上５．２未満の場合は“Ｍｉｄｄｌｅ”の被験者、閾値−１．０未満の場合は“Ｓｍａｌｌ”の被験者となる。なお、上述の例では中間値を閾値として説明したが、これは例である。“Ｌａｒｇｅ：３”と“Ｍｉｄｄｌｅ：２”との間、および、“Ｍｉｉｄｌｅ：２”と“Ｓｍａｌｌ：１”との間であれば、中間値でなくてもよい。
【００９６】
上述の近似式および閾値に基づけば、図６の例では、タイプＡの被験者か、タイプＢまたはＣの被験者か、タイプＤの被験者かを分類することが可能になる。
【００９７】
ここで、上記の関係についての本願発明者らの考察を以下に述べる。従来文献（藤澤清ら、新生理心理学１巻１１９頁、１９９８）によれば、Ｎ２００成分（特にＮ２ｂ）は予期しない刺激に対する注意の焦点化を反映するとされている。また、従来文献（藤澤清ら、新生理心理学２巻１１０頁、１９９８）によれば、覚醒水準が低下すると脳波の８Ｈｚから１３Ｈｚの成分であるα波も次第に減少し、やがては消失して、低振幅のθ波が出現するとされている。これらを考慮すると、Ｎ２００成分が“Ｌａｒｇｅ”だった被験者は、本実験中の覚醒水準が低く（すなわちα波付近の成分が減少し）、本実験の課題遂行に対する集中力が低かったため、ターゲット選択肢のハイライトに対して予期しない刺激に対するような注意の焦点化を起こし、結果Ｎ２００成分が惹起されたと考えることもできる。
【００９８】
一方、Ｐ２００成分が“Ｌａｒｇｅ”だった被験者は、本実験の課題遂行に対する集中力が高かったため、ウェーブレット係数においてα波付近の周波数成分が減少せず、特に２００ミリ秒から２５０ミリ秒の時間幅で大きな値が得られたと考えることもできる。
【００９９】
なお、実際のＮ２００成分やＰ２００成分のレベルと上述のタイプ分類結果とが異なる場合が起こり得る。しかし、図１５〜１７の識別率の試算結果で後述するように、統計的に見れば本発明によるタイプ分類は識別率の維持向上に非常に効果的であると言える。また、図８に示した周波数帯域のパワースペクトルと図９に示した時間幅および周波数帯域のウェーブレット係数を同時に利用することによって、より詳細にかつ正確にタイプ分類を行うことが可能になる。
【０１００】
次に、図１０のフローチャートを参照しながら、上記の特徴量をもとにタイプ分類を行うための分類判定部１４の処理の手順を説明する。
【０１０１】
図１０は、分類判定部１４の分類処理手順を示す。
【０１０２】
ステップＳ１２１では、分類判定部１４は、脳波ＩＦ部１３から分類対象となる脳波波形データを受信する。分類対象となる脳波波形データは、脳波計測部１２で計測された脳波信号から脳波ＩＦ部１３によって切り出され、分類判定部１４に送られている。図４（ｃ）の例では、分類判定部１４はハイライトされた４つの選択肢に対する脳波波形データ５４ａ〜５４ｄを受信する。
【０１０３】
ステップＳ１２２では、分類判定部１４は受信した全ての脳波波形データに対して、以下の特徴量を抽出し、その平均値を算出する。特徴量とは、先の実験結果で述べた、周波数帯域が８Ｈｚから１５Ｈｚ付近のパワースペクトル、時間幅が２００ミリ秒から２５０ミリ秒および周波数帯域が８Ｈｚから１５Ｈｚ付近のウェーブレット係数である。
【０１０４】
ステップＳ１２３では、分類判定部１４はタイプ分類のために用いられる基準データを読み出す。図１１は、前述の実験結果をもとに作成したタイプ分類用の基準データの一部を示す。タイプ分類用の基準データは、脳波波形データの番号、パワースペクトルとウェーブレット係数の特徴パラメータ、当該脳波波形データが属するタイプで構成されている。パワースペクトルとウェーブレット係数の特徴パラメータの数は、それぞれ８Ｈｚから１５Ｈｚの区間にあるサンプルの数だけ存在する。サンプル数は脳波波形データを計測する際のサンプリング周波数や切り出す時間幅などによって決定される。図１１に示した基準データは、分類判定部１４が予め保持しているものとする。図１１に実際に記載される特徴パラメータの値は、前述のような実験を事前に実施することによって準備しておく必要がある。
【０１０５】
ステップＳ１２４では、分類判定部１４はステップＳ１２２で抽出した特徴量を用いてタイプ分類を実施する。タイプ分類は、前記実験結果で述べたＮ２００成分やＰ２００成分のそれぞれの閾値に基づいて分類しても良いし、ステップＳ１２３で読み出したタイプ分類用データに基づいて判別分析を行うことによって分類しても良い。以下、図１１に示すタイプ分類用データに基づく判別分析の場合について具体的に説明する。
【０１０６】
分類判定部１４は、タイプ分類用データのＡ〜Ｄの４つのタイプをそれぞれ順にｋ＝１、２、３および４と対応付けし、また特徴パラメータをＵｉ（ｉ＝１〜８）として、ｋ個のタイプごとの特徴パラメータＵｉの平均を下記数１によって求める。
【数１】
2009139119.tif 000003
【０１０７】
分類判定部１４は、各タイプ共通の分散共分散行列Ｓを下記数２によって求める。
【数２】
2009139119.tif 000004
ｎは総データ数、ｎｋはタイプごとのデータ数、ｉとｊは１〜８の整数である。
【０１０８】
ステップＳ１２２で抽出した周波数帯域が８Ｈｚから１５Ｈｚ付近のパワースペクトルの平均値および時間幅が２００ミリ秒から２５０ミリ秒かつ周波数帯域が８Ｈｚから１５Ｈｚ付近のウェーブレット係数の平均値をＸｉ（ｉ＝１〜８）とすると、次の線形関数Ｚｋを最大にするｋを求めることによって、Ｘｉが属するタイプｋを決定することができる。
【数３】
2009139119.tif 000005
【０１０９】
ステップＳ１２５では、分類判定部１４は、ステップＳ１２４で分類した結果を識別方法調整部１５に送信する。
【０１１０】
識別方法調整部１５の処理の手順を、図１２のフローチャートを参照しながら説明する。
【０１１１】
ステップＳ１４１では、識別方法調整部１５は、分類判定部１４で分類した結果を受信する。
【０１１２】
ステップＳ１４２では、識別方法調整部１５は、識別方法調整データを読み出す。識別方法調整データは、識別方法調整部１５に予め保持しているものとする。詳細は以下に説明する。
【０１１３】
ステップＳ１４３では、識別方法調整部１５は、ステップＳ１４１で受信した分類結果に応じて、脳波ＩＦ部１３へ調整結果として送信すべきデータを、識別方法調整データの中から選択する。
【０１１４】
上述の識別方法調整部１５で読み出される識別方法調整データは、脳波ＩＦ部１３におけるターゲット選択肢の識別方法の種類によって異なる。
【０１１５】
まず、ある区間の脳波波形データの区間平均電位に基づいてターゲット選択肢を識別する場合、識別方法調整部１５は、図１３に示す識別方法調整データを読み出す。図１３はタイプごとのＰ３００成分およびＰ２００成分、Ｎ２００成分に対する重み係数で構成されている割り当て表を示す。例えばタイプ分類の結果がタイプＡの場合は、タイプＡに対するＰ３００成分、Ｐ２００成分、Ｎ２００成分の重み係数（１、１、０）を選択する。
【０１１６】
次にテンプレートとの相関係数の値に基づいてターゲット選択肢を識別する場合、読み出される識別方法調整データは図７（ａ）〜（ｄ）に実線で示したターゲット選択肢に対する脳波波形データとなる。例えばタイプ分類の結果がタイプＡの場合は、図７（ａ）に実線で示された脳波波形データをテンプレートとして選択する。
【０１１７】
最後に線形判別分析または非線形判別分析による事後確率の値に基づいてターゲット選択肢を識別する場合、読み出される識別方法調整データはタイプごとに用意された教示データとなる。図１４はタイプＡの場合の教示データの例を示しており、（ａ）はターゲット選択肢に対する脳波波形データ（データ数８０）で、（ｂ）はノンターゲット選択肢に対する脳波波形データ（データ数２４０）である。タイプ分類の結果がタイプＡの場合は、図１４のデータを教示データとして選択する。
【０１１８】
ステップＳ１４４では、識別方法調整部１５は、ステップＳ１４３で選択したデータを脳波ＩＦ部１３へ調整結果として送信する。
【０１１９】
ここで再び脳波ＩＦ部１３のターゲット選択肢の識別処理（図３のステップＳ６７）を説明する。識別方法調整部１５の調整結果を受けて、以下に示す処理を実施する。
【０１２０】
まず、ある区間の脳波波形データの区間平均電位に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢の脳波波形データごとに次数４で表される計算を行う。
【数４】
2009139119.tif 000006
【０１２１】
ここでＷｐ３、Ｗｐ２、Ｗｎ２とはそれぞれ識別方法調整部１５から受信したＰ３００成分、Ｐ２００成分、Ｎ２００成分の重み係数である。図１３は、当該重み係数を示す。例えば、分類判定部１４がユーザの脳波波形をタイプＡに分類した場合、すなわちターゲット選択肢の脳波波形データにＰ２００成分が大きく、Ｎ２００成分が小さく現れると判定した場合は、識別方法調整部１５は、上記の重み係数を（１、１、０）としてＰ２００成分に重みをつける。
【０１２２】
同様に分類判定部１４がタイプＤと分類した場合、すなわちターゲット選択肢の脳波波形データにＰ２００成分が小さく、Ｎ２００成分が大きく現れると判定した場合、識別方法調整部１５は、上記の重み係数を（１、０、１）としてＮ２００成分に重みをつける。Ｐｐ３、Ｐｐ２、Ｐｎ２とはそれぞれＰ３００成分（３００ミリ秒から５００ミリ秒までの平均電位）、Ｐ２００成分（２００ミリ秒から３００ミリ秒までの平均電位）、Ｎ２００成分（１００ミリ秒から２００ミリ秒までの平均電位）であり、Ｅは評価値を表している。Ｎ２００成分はターゲット選択肢の場合に陰性の電位として現れることを特徴としているため、上式では減算することによって評価値Ｅに反映させている。ハイライトされた選択肢ごとの脳波波形データから評価値Ｅを計算し、その値が最も大きい選択肢をターゲット選択肢として識別する。
【０１２３】
次にテンプレートとの相関係数の値に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢ごとの脳波波形データと識別方法調整部１５から受信したテンプレートとの相関係数、例えばピアソンの積率相関係数を求め、その値が最も大きい選択肢をターゲット選択肢として識別する。
【０１２４】
最後に線形判別分析または非線形判別分析による事後確率の値に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢ごとの脳波波形データに対して、識別方法調整部１５から受信した教示データに基づいて、線形判別分析または非線形判別分析を行う。具体的には、ベイズ推定を用いたターゲット選択肢らしさを表す事後確率を求め、その値が最も大きい選択肢をターゲット選択肢として識別する。
【０１２５】
上述の方法により、識別方法調整部１５における識別方法の調整結果を受けて、複数の選択肢の中からターゲット選択肢の識別を行うことが可能となる。
【０１２６】
上記に説明した分類判定部１４および識別方法調整部１５の処理は、ユーザが脳波インタフェースを利用する際にその都度自動的に実施しても良いし、またユーザの指示によって実施し、その際の調整結果を脳波ＩＦ部１３で保持していても良い。
【０１２７】
上述した本発明の実施形態によって得られた効果を、ターゲット選択肢の識別率の試算結果をもとに具体的に説明する。
【０１２８】
識別率の試算は、前述の実験結果（被験者１３名に対して４つの選択肢の中から脳波を用いて１つ選ぶ実験の結果）に基づいて実施した。図２の分類判定部１４におけるタイプ分類には線形判別分析を用い、特徴量は脳波波形データのパワースペクトルとウェーブレット係数の両方を用いた。図２の脳波ＩＦ部１３におけるターゲット選択肢の識別にも線形判別分析を用い、特徴量は脳波波形データの２５ミリ秒ごとの平均電位とした。
【０１２９】
また、この識別率の試算の目的は、次に示す３つの条件における識別率を比較し、本発明の効果を確認することである。３つの条件とは、（ａ）被験者ごとのキャリブレーションをしない場合、（ｂ）キャリブレーションなしで、かつ本発明によるタイプ分類および識別方法の調整をした場合、（ｃ）被験者ごとのキャリブレーションをした場合である。したがって、ターゲット選択肢の識別に用いる教示データは、（ａ）の場合は全被験者共通の教示データとするため、全被験者の実験結果を教示データとして用いた。（ｂ）の場合は、本発明によるタイプ分類を行い、その分類結果に応じた教示データとするため、例えばタイプＡと分類した場合はタイプＡに属する被験者（図５の例では被験者０１と０８）の実験結果を教示データとして用いた。（ｃ）の場合は、被験者ごとの教示データとするため、例えば被験者０１の場合は被験者０１の実験結果を教示データとして用いた。但し、上記の全ての条件において、評価対象データは常に教示データから除外して、ターゲット選択肢の識別を行う、いわゆるｌｅａｖｅ‐１‐ｏｕｔ法による評価を実施した。
【０１３０】
図１５は、ターゲット選択肢の識別率の全被験者平均値を３つの条件を示している。（ａ）のキャリブレーションなしの場合が最も識別率が低く（７４．６％）、（ｃ）の手間のかかる煩雑なキャリブレーションをした場合が最も識別率が高くなっている（８３．５％）。（ｂ）の本発明を用いた場合は、被験者ごとのキャリブレーションをしていないにも関わらず、（ｃ）のキャリブレーションありの場合に近い精度になっていることが分かる（８１．３％）。
【０１３１】
図１６は、図１５の内訳であるタイプＡの被験者、タイプＤの被験者、その他の被験者のそれぞれの場合の識別率を示す。図１６より、タイプＡの被験者およびタイプＤの被験者の場合、本発明の効果が顕著に現れていることが分かる。つまり、（ｂ）の本発明を用いた場合は（ａ）の場合と比較し、大幅に識別率が向上しており、（ｃ）の場合と比較し、被験者ごとの煩雑なキャリブレーションをしていないにも関わらず、ほぼ同等の識別精度を維持していることが分かる。
【０１３２】
したがって、図１５（ｂ）および図１６（ｂ）から明らかなように、脳波インタフェースシステム１において、本発明による脳波識別方法調整装置２を備えることによって、識別精度を高く維持しつつ、従来ユーザにとって負担となっていた事前のキャリブレーションの手間をなくすことが可能となる。
【０１３３】
更に図１７は、タイプ分類に用いる特徴量を、（ｂ）パワースペクトルとウェーブレット係数の両方を用いる場合、（ｂ−１）パワースペクトルのみを用いる場合、（ｂ−２）ウェーブレット係数のみを用いる場合の３つの条件について、タイプＡとタイプＤの被験者の識別率を示す。ここで図１７（ｂ）と図１６（ｂ）は同じ評価内容を表している。図１７より、（ｂ−１）のパワースペクトルのみを用いる場合および（ｂ−２）のウェーブレット係数のみを用いる場合は、（ｂ）の両方を用いる場合と比較して識別率は多少低下しているものの、図１６（ａ）の場合と比較すればキャリブレーションなしで大幅に識別率が向上していることが分かる。したがって、脳波波形データのパワースペクトルとウェーブレット係数のどちらか一方でも効果があることが分かる。
【０１３４】
本実施形態によれば、少ない回数（たとえば１〜３回程度）の刺激で得られた選択肢ごとの事象関連電位と、上述したＮ２００成分およびＰ２００成分によって分類をする場合には、非常に効果的である。図１５〜図１７によれば、これは特に、周波数帯域のパワースペクトルの平均値および／または周波数帯域のウェーブレット係数の平均値によって分類した場合に顕著であるといえる。
【０１３５】
したがって、タイプ分類の際に用いる特徴量は、前述のように脳波波形データのパワースペクトルとウェーブレット係数の両方を利用しても良いし、どちらか一方でも良い。パワースペクトルのみを利用する場合は、Ｎ２００成分が“Ｌａｒｇｅ”または“Ｓｍａｌｌ”を分類することになり、図６の例ではタイプＣおよびＤかまたはタイプＡおよびＢかの２タイプに分類することになる。同様にウェーブレット係数のみを利用する場合は、Ｐ２００成分が“Ｌａｒｇｅ”または“Ｍｉｄｄｌｅ”または“Ｓｍａｌｌ”を分類することになり、図６の例ではタイプＡかまたはタイプＢおよびＣかまたはタイプＤかの３タイプに分類することになる。
【０１３６】
本実施形態にかかる構成および処理の手順により、複数の選択肢の中からユーザが選択したいと思っている選択肢を、脳波を利用して識別するインタフェースを備えたシステムにおいて、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、より具体的には周波数帯域が８Ｈｚから１５Ｈｚ付近のパワースペクトルの平均値および時間幅が２００ミリ秒から２５０ミリ秒かつ周波数帯域が８Ｈｚから１５Ｈｚ付近のウェーブレット係数の平均値を用いて、予め用意した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する処理を行うことによって、ユーザに対する煩雑なキャリブレーションの負担をなくし、かつ、脳波に関する識別精度を高く維持することができる。
【０１３７】
上述の実施形態に関して、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。識別方法調整装置を構成する全部または一部の構成要素や、脳波ＩＦ部は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。脳波識別方法調整装置の機能を実現するコンピュータプログラムは、脳波ＩＦ部の機能を実現するためのコンピュータプログラムを実行するプロセッサによって実行されてもよいし、脳波インタフェースシステム内の他のプロセッサによって実行されてもよい。
【０１３８】
また本実施形態においては、脳波識別方法調整装置２は脳波ＩＦ部１３とともに出力部（テレビ）１１内に設けられているが、これも例である。いずれか一方または両方がテレビ外に設けられていてもよい。
【０１３９】
(実施形態２)
実施形態１では、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、個人の脳波の特徴を、図６に示す類型化した分類体系のいずれかのタイプに分類した。そして、その分類結果に応じて最適な識別方法に調整する処理を行った（図３のステップ６６）。
【０１４０】
実施形態１において説明したとおり、いずれの選択肢の脳波波形からも特徴量が抽出できることが見出せた。この点に鑑みると、いずれの選択肢の脳波波形からも特徴量が抽出できれば、全ての選択肢のうち２つ以上の選択肢の脳波波形を用いることにより、従来よりも容易に特徴量を抽出し、精度を向上させることができるのは明らかである。
【０１４１】
そこで本実施形態では、全ての選択肢に対する脳波波形を用いず、その一部（ただし３つ以上の全ての選択肢うち少なくとも２つ以上）の選択肢に対する脳波波形を利用する。また、図６に示すようなタイプ分類を用いることなく、当該一部の選択肢に対する脳波波形がＮ２００とＰ２００のいずれの特徴量を有するか判断し、その特徴量に重み付けを行って、ターゲット選択肢を求める。
【０１４２】
図１８は、本実施形態による脳波インタフェースシステム３の機能ブロック構成を示す。脳波インタフェースシステム３は、出力部１１と、脳波計測部１２と、脳波ＩＦ部１３と、脳波識別方法調整装置４を有している。実施形態１による脳波インタフェースシステム１との相違点は、脳波識別方法調整装置の構成および動作である。
【０１４３】
本実施形態による脳波識別方法調整装置４は、特徴量抽出部１１４と、識別方法調整部１１５とで構成されている。以下、実施形態１との相違点のみを説明する。実施形態２にかかる構成のうち、特に言及するものを除いては、実施形態１と同じである。よってそれらの説明は省略する。
【０１４４】
特徴量抽出部１１４は、各選択肢が提示された後の各脳波信号から、２以上の選択肢に対応する脳波信号を選択する。特徴量抽出部１１４は、基準データを予め保持しており、当該基準データおよび選択した脳波信号に共通する特徴量を抽出する。
【０１４５】
識別方法調整部１１５は、特徴量抽出部１１４によって抽出された特徴量に重み付けを行い、ユーザ１０が選択した選択肢に対する脳波信号の識別方法を調整を行う。そして調整結果を脳波ＩＦ部１３へ送信する。これにより、脳波ＩＦ部１３における、事象関連電位の成分を識別するための識別方法が変更される。
【０１４６】
図３のフローチャートは、概ね本実施形態による脳波インタフェースシステム３の処理にも適用できる。ただし、ステップＳ６６が以下の点で異なる。
【０１４７】
本実施形態においては、ステップＳ６６において、脳波識別方法調整装置４の特徴量抽出部１１４が、３以上の選択肢に対応して得られた脳波信号のうち、２以上の選択肢に対応する脳波信号を選択する。特徴量抽出部１１４はさらに、選択した脳波波形を抽出し、それらが、Ｎ２００とＰ２００のいずれの特徴量を有するかを求める。特徴量は、周波数帯域が８Ｈｚから１５Ｈｚ付近のパワースペクトル、時間幅が２００ミリ秒から２５０ミリ秒および周波数帯域が８Ｈｚから１５Ｈｚ付近のウェーブレット係数によって求めることが可能である。
【０１４８】
なお、図６に示されるように、Ｐ２００成分とＮ２００成分とが両方Ｌａｒｇｅと両方Ｓｍａｌｌになることはない。よって、特徴量抽出部１１４は、選択した脳波波形が、Ｎ２００とＰ２００のいずれかの特徴量を有することを確実に判別することができる。本実施形態においては、特徴量抽出部１１４は、図１１に示す基準データを保持しており、Ｎ２００とＰ２００のいずれの特徴量を有するかを求める。
【０１４９】
識別方法調整部１１５は、求めた特徴量に応じた重み付けを行うよう、脳波ＩＦ部１３における識別方法の調整を行う。これにより、図３のステップＳ６７において、ユーザが選択した選択肢に対する脳波信号を識別する際に、ターゲット選択肢を識別することが可能になる。重み付けとは、たとえば図１３に記載されているような重み付け係数を、脳波識別時に脳波信号に課すことを意味する。
【０１５０】
上述のとおり、本実施形態では、脳波信号を図６に示すようなタイプＡ〜Ｄに分類しない。よって、たとえば図１０のステップＳ１２３、Ｓ１２４などの分類に関連する処理は行われなくてもよい。
【０１５１】
なお、本実施形態による処理もまた、コンピュータに実行されるプログラムとして実現され得る。そのようなプログラムの説明は、実施形態１におけるプログラムの説明と同じであるため、省略する。
【産業上の利用可能性】
【０１５２】
本発明にかかる脳波識別方法調整装置およびその装置が組み込まれた脳波インタフェースシステムは、脳波の個人差を反映させて識別方法を向上させる必要のある機器、例えば脳波を用いた機器操作インタフェースが搭載されている情報機器や映像音響機器などや、駅の券売機や銀行のＡＴＭのように不特定多数のユーザが利用するシステムの操作性改善に有用である。
【符号の説明】
【０１５３】
１  脳波インタフェースシステム
２  脳波識別方法調整装置
１１  出力部
１２  脳波計測部
１３  脳波ＩＦ部
１４  分類判定部
１５  識別方法調整部
【図１】
2009139119.tif 000007
【図２】
2009139119.tif 000008
【図３】
2009139119.tif 000009
【図４】
2009139119.tif 000010
【図５】
2009139119.tif 000011
【図６】
2009139119.tif 000012
【図７】
2009139119.tif 000013
【図８】
2009139119.tif 000014
【図９】
2009139119.tif 000015
【図１０】
2009139119.tif 000016
【図１１】
2009139119.tif 000017
【図１２】
2009139119.tif 000018
【図１３】
2009139119.tif 000019
【図１４】
2009139119.tif 000020
【図１５】
2009139119.tif 000021
【図１６】
2009139119.tif 000022
【図１７】
2009139119.tif 000023
【図１８】
2009139119.tif 000024
【図１９】
2009139119.tif 000025
【図２０】
2009139119.tif 000026
【手続補正書】
【提出日】平成21年7月23日(2009.7.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳波を利用して機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、本発明は、個人ごとに大きく異なる脳波を的確に解析するために、脳波インタフェースシステムにおいて脳波の識別方法を調整する機能を実現する機器に関する。
【背景技術】
【０００２】
近年、テレビ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザはボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作するなどの入力手段（インタフェース部）を用いて、情報機器を操作している。しかし、たとえば、家事、育児や運転をしているときなど、両手が機器操作以外の作業のために使えない場合は、インタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。
【０００３】
このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献１には、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する脳波インタフェース技術が開示されている。非特許文献１に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ミリ秒付近に出現する事象関連電位の波形を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によれば、ユーザは両手が塞がっている状況においても、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択できるため、上述のニーズに合致する機器操作等のインタフェースが実現される。
【０００４】
ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象の発生タイミングを起点として計測される、この事象関連電位を利用する。例えば、視覚刺激などに対して発生する事象関連電位のＰ３００という成分を利用すると、メニューの選択肢が選択できるとされている。「Ｐ３００」とは、一般には事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく起点から約３００ミリ秒付近に現れる事象関連電位の陽性の成分を示すものとして扱われることが多い。
【０００５】
事象関連電位をインタフェースに応用するためには、対象の事象関連電位（たとえばＰ３００成分）を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。
【０００６】
上述の脳波の波形の出方は個人差が大きいため、事象関連電位をインタフェースの入力手段として用いるためにはこの個人差に対応した精度の高い識別を実現する必要がある。非特許文献２の３２頁に掲載されている図を図１９に示す。図１９は、視覚刺激に対する弁別課題を３６名の被験者に対して実施した場合の脳波の個人差の一例を示している。各被験者のグラフには２種類の状況に対する脳波が表示され、それぞれ実線と破線とによって示されている。図１９から明らかなように、個人差によって波形およびピーク位置における振幅が大きく異なるため、単一の基準で全てのユーザの識別を精度良く行うことは困難であるといえる。
【０００７】
個人差の大きい脳波を精度良く識別するための方法として、事前に各ユーザに対するシステムの調整を行っておくこと（いわゆるキャリブレーション）が考えられる。図２０（ａ）を用いて具体的に説明する。図２０（ａ）は、キャリブレーションの手順を示している。ユーザには脳波インタフェースを使用する前に、脳波インタフェースを仮想的に操作する作業を実施してもらう。例えば、４つの選択肢の中から脳波インタフェースを用いて１つの選択肢を選択する作業をユーザに実施してもらう場合、４つの選択肢を順次またはランダムにハイライトし、選択肢がハイライトされたタイミングを起点に４つの脳波波形データ（ステップ４１）が得られる。同時にユーザが選択しようとした選択肢（ターゲット選択肢）はどの選択肢だったのかを示す正解データ（ステップ４２）も得られる。そして、その正解データに記述されたターゲット選択肢に対する脳波波形データの特徴を用いて、ユーザごとに最適な識別方法に調整し（ステップ４３）、調整された識別方法によってユーザが実際に脳波インタフェースを使用した際にユーザが選択したいと思っている選択肢を識別する（ステップ４４）。
【０００８】
例えば特許文献１では、事象関連電位の成分に現れる個人差を考慮し、ユーザごとに識別方法を調整して識別率を向上させる技術が開示されている。この技術は単一の基準で全てのユーザの識別を行うのではなく、事前のキャリブレーションによって取得したユーザごとの脳波から、識別に際してユーザごとに最適な事象関連電位の成分を抽出・記憶しておき、その成分を用いてユーザが選択したいと思っている選択肢を識別している。ここで、ユーザごとに最適な事象関連電位の成分として、Ｐ３００成分の他に、Ｐ２００成分、Ｎ２００成分、あるいはそれらの組み合わせが挙げられている。特許文献１ではＰ２００成分とは、起点から約２００ミリ秒付近に現れる事象関連電位の陽性の成分とされ、Ｎ２００成分とは、起点から約２００ミリ秒付近に現れる事象関連電位の陰性の成分とされている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３４６２０公報
【特許文献２】特開平７−１０８８４８公報
【非特許文献】
【００１０】
【非特許文献１】エマニュエル・ドンチン（Ｅｍａｎｕｅｌ  Ｄｏｎｃｈｉｎ）、他２名、“Ｔｈｅ  Ｍｅｎｔａｌ  Ｐｒｏｓｔｈｅｓｉｓ  ：  Ａｓｓｅｓｓｉｎｇ  ｔｈｅ  Ｓｐｅｅｄ  ｏｆ  ａ  Ｐ３００  −  Ｂａｓｅｄ  Ｂｒａｉｎ  −  Ｃｏｍｐｕｔｅｒ  Ｉｎｔｅｒｆａｃｅ”、ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ  ＥＮＧＩＮＥＥＲＩＮＧ、Ｖｏｌ．８、Ｎｏ．２、２０００年６月
【非特許文献２】入戸野宏、「心理学のための事象関連電位ガイドブック」、北大路書房、２００５年９月２０日発行、３２頁
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１では、個人差を抽出・記憶するための実験として、１被験者あたり１００回の実験を実施している（００５０段落）。１回の実験に要する時間が約１分であると記述されているため、キャリブレーション全体では約１００分もの時間を要していることになる。例えば、ユーザがある民生機器を購入し、実際に使用しようとした場合、事前に約１００分もの時間を要するキャリブレーションの実行を必須とするのは、ユーザにとって大きな負担であり、手間もかかる。
【００１２】
また、個人が占有する機器ではなく、例えば駅の券売機や銀行のＡＴＭ、病院の待合システムなどのような、不特定多数のユーザが利用するシステムや利用時間が限られているシステムにおいて脳波インタフェースを適用する場合、それを利用するユーザ１人１人が時間を要するキャリブレーションを行うことは、ユーザにとっても負担であると同時にシステム運用の観点からも極めて非効率的であり現実的ではない。
【００１３】
したがって、脳波インタフェースを民生機器に搭載する際や不特定多数のユーザが利用するシステムに適用する際には、キャリブレーションの手間をなくすことでユーザが気軽に利用でき、かつ精度良く動作して本来の機能を発揮できなければならない。
【００１４】
一方、計測した脳波波形データを予め用意した分類体系に分類し、その分類結果に基づいて処理を決定する技術が開発されている。例えば特許文献２では、運転者の脳波波形データから単位時間あたりのα波、速波、徐波の数を計算し、その数値によって、予め用意した分類体系である「正常」、「ぼんやり」、「軽い眠気」、「入眠」のいずれかに分類する。そして、その分類結果に応じて運転者に対する「刺激なし」「刺激あり（香り）」「刺激あり（空気圧）」「刺激あり（ブザー音）」の処理を決定している。
【００１５】
ここで、機器操作選択のための脳波インタフェースにおいて、キャリブレーションにおけるユーザの負担をなくし、かつ精度良く識別を行うために、脳波波形データから予め用意した分類体系のいずれかに分類し、その分類結果に応じて識別方法を調整する方法が考えられる。
【００１６】
しかしながらその方法には課題が存在する。その課題を、図２０（ｂ）を用いて説明する。図２０（ｂ）は、ユーザの脳波波形データを分類してキャリブレーションを行う手順を示している。例えば、事前のキャリブレーション時ではなく、実際にユーザが脳波インタフェースを用いて４つの選択肢の中から１つの選択肢を選択しようとしている場合、４つの脳波波形データ（ステップ４５）が得られる。この４つの脳波波形データには、ユーザが選択しようとした選択肢（ターゲット選択肢）に対する脳波波形データが１つと、それ以外の選択肢（ノンターゲット選択肢）に対する脳波波形データが３つ含まれているとする。これらの脳波波形データから予め用意した分類体系のいずれかのタイプに分類し（ステップ４６）、その分類結果に応じて最適な識別方法に調整し（ステップ４７）、調整された識別方法によってユーザが選択したいと思っている選択肢を識別する（ステップ４８）。
【００１７】
前述のタイプ分類（ステップ４６）は、各々の選択肢に対する脳波波形データ（図２０（ｂ）の例では４つの脳波波形データ）のうち、ターゲット選択肢に対する脳波波形データの特徴を反映した分類であることが必要である。なぜなら、それ以外の脳波波形データの特徴を反映した分類だと、その後の処理であるターゲット選択肢を精度良く識別するための識別方法の調整が的確に実施できなくなるからである。それは、図２０（ａ）の例において正しい正解データを入力しなければ、すなわちターゲット選択肢に対する脳波波形データの特徴を正しく抽出できていなければ、的確な識別方法の調整ができないことからも明らかである。
【００１８】
しかしながら、実際に脳波インタフェースを利用する際には、どれがターゲット選択肢に対する脳波波形データなのかを示す正解データが存在しないため、前述のタイプ分類をする時点ではターゲット選択肢に対する脳波波形データを特定することができない。そのため、タイプ分類や識別方法の調整を的確に実施することができず、その結果識別精度を高く維持することができない。したがって、タイプ分類や識別方法の調整を的確に実施するためには、ターゲット選択肢が特定できない複数の選択肢に対する脳波波形データから、ターゲット選択肢に対する脳波波形データの特徴を推定することが必要である。
【００１９】
上述の課題は、特許文献２の従来技術のように分類後には脳波波形データを利用しない場合には問題とされない。一方、上述のように、分類後もその分類結果に基づいてターゲット選択肢を識別するために脳波波形データを利用する場合には問題となる。
【００２０】
本発明の目的は、ターゲット選択肢を識別するために脳波波形データを利用する場合において、ユーザの脳波波形に基づいてタイプ分類および識別方法の調整を的確に実施して、ユーザに対して煩雑なキャリブレーションの負担をなくし、かつ、脳波に関する識別精度を高く維持することにある。
【課題を解決するための手段】
【００２１】
本発明による調整装置は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記調整装置は、脳波信号の特徴を類型化するための基準データを予め保持し、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定する分類判定部と、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部とを備えている。
【００２２】
前記分類判定部が用いる複数の選択肢に対する脳波信号は、前記出力部で提示した全ての選択肢に対する脳波信号であってもよい。
【００２３】
前記分類判定部は、前記複数の選択肢に対する脳波信号の所定の周波数帯域のパワースペクトルの平均値および／または所定の時間幅と周波数帯域のウェーブレット係数の平均値を、前記複数の選択肢の全てに対する脳波信号に共通する特徴量として保持する。
【００２４】
前記分類判定部は、８Ｈｚから１５Ｈｚの周波数帯域のパワースペクトルの平均値を用いて、前記脳波信号のＮ２００成分の大きさを判定してもよい。
【００２５】
前記分類判定部は、２００ミリ秒から２５０ミリ秒の時間幅および８Ｈｚから１５Ｈｚの周波数帯域のウェーブレット係数の平均値を用いてＰ２００成分の大きさを判定してもよい。
【００２６】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる前記脳波信号のＰ３００成分、Ｐ２００成分およびＮ２００成分に対する重み係数を分類結果に応じて調整してもよい。
【００２７】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号の識別に用いられるテンプレートを類型化された前記複数の分類ごとに保持しており、分類結果に応じたテンプレートを利用することにより、前記脳波信号の識別方法を調整してもよい。
【００２８】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる教示データを分類結果に応じて採択することにより、前記脳波信号の識別方法を調整してもよい。
【００２９】
本発明による方法は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。本発明による前記方法は、脳波信号の特徴を類型化するための基準データを用意するステップと、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを包含する。
【００３０】
本発明によるコンピュータプログラムは、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、脳波信号の特徴を類型化するための基準データを予め保持するステップと、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを実行させる。
【００３１】
本発明による調整装置は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記調整装置は、(ｉ)前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択し、(ｉｉ)基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出する特徴量抽出部と、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部とを備えている。
【００３２】
本発明による方法は、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。本発明による前記方法は、前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択するステップと、基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを包含する。
【００３３】
本発明によるコンピュータプログラムは、機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、ユーザの脳波信号を計測する脳波計測部と、各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる。前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法である。前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択するステップと、基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップとを実行させる。
【発明の効果】
【００３４】
本発明によれば、複数の選択肢の中からユーザが選択したいと思っている選択肢を、脳波を利用して識別するインタフェースを備えたシステムにおいて、全ての選択肢に対する脳波信号に共通する特徴量を用いて、予め用意した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する。
【００３５】
その結果、ユーザに対するキャリブレーションの実行を必須としないため、ユーザへの負担および手間を大幅に軽減することができ、かつ、分類されたタイプに応じて識別方法を調整することにより、識別精度を高く維持することができる。
【図面の簡単な説明】
【００３６】
【図１】テレビと装着型の脳波計とを組み合わせた例による脳波インタフェースシステム１の構成および利用環境を示す図である。
【図２】実施形態１による脳波インタフェースシステム１の機能ブロック構成を示す図である。
【図３】脳波インタフェース１の処理の手順を示すフローチャートである。
【図４】（ａ）〜（ｄ）は、脳波インタフェースシステム１においてユーザ１０が視聴したいジャンルの番組を選ぶときの画面の遷移図である。
【図５】実験の結果、被験者０１〜１３の各々から得られた脳波波形データを、被験者ごとに加算平均した波形を示す図である。
【図６】図５に示した被験者ごとの脳波波形データを、３００ミリ秒以前のＰ２００成分およびＮ２００成分の大きさに基づいて個人の脳波の特徴を類型化した分類体系を示す図である。
【図７】（ａ）〜（ｄ）は、分類したタイプごとの脳波波形データの総加算平均波形を示す図である。
【図８】図６に示した分類体系のＮ２００成分が“Ｌａｒｇｅ”の被験者群（７名）と“Ｓｍａｌｌ”の被験者群（６名）とに対する脳波波形データのパワースペクトルを示す図である。
【図９】図６に示した分類体系のＰ２００成分が“Ｌａｒｇｅ”、“Ｍｉｄｄｌｅ”、“Ｓｍａｌｌ”のレベルと、脳波波形データの所定の時間周波数成分および周波数帯域のウェーブレット係数との関係を被験者ごとにプロットした図である。
【図１０】分類判定部１４の分類処理手順を示す図である。
【図１１】実験結果をもとに作成したタイプ分類用の基準データの一部を示す図である。
【図１２】識別方法調整部１５の処理の手順を示すフローチャートである。
【図１３】タイプごとのＰ３００成分およびＰ２００成分、Ｎ２００成分に対する重み係数を示す図である。
【図１４】（ａ）および（ｂ）は、タイプＡの場合の教示データの例を示す図である。
【図１５】ターゲット選択肢の識別率の全被験者平均値を３つの条件を示す図である。
【図１６】図１５の内訳であるタイプＡの被験者、タイプＤの被験者、その他の被験者のそれぞれの場合の識別率を示す図である。
【図１７】タイプ分類に用いる特徴量を、（ｂ）パワースペクトルとウェーブレット係数の両方を用いる場合、（ｂ−１）パワースペクトルのみを用いる場合、（ｂ−２）ウェーブレット係数のみを用いる場合の３つの条件について、タイプＡとタイプＤの被験者の識別率を示す図である。
【図１８】実施形態２による脳波インタフェースシステム３の機能ブロック構成を示す図である。
【図１９】視覚刺激に対する弁別課題を３６名の被験者に対して実施した場合の脳波の個人差の一例を示す図である。
【図２０】（ａ）は、キャリブレーションの手順を示す図であり、（ｂ）は、ユーザの脳波波形データを分類してキャリブレーションを行う手順を示す図である。
【発明を実施するための形態】
【００３７】
以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の実現形態を説明する。
【００３８】
はじめに、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の主要な特徴の概略を説明する。その後、脳波インタフェースシステムの各実施形態を説明する。
【００３９】
本願発明者らは、将来的には、装着型の脳波計と装着型のディスプレイとを組み合わせた環境で脳波インタフェースシステムが構築されることを想定している。ユーザは脳波計とディスプレイとを常に装着し、装着型ディスプレイを利用してコンテンツの視聴や画面の操作を行うことができる。また、他には、家庭用のテレビと装着型の脳波計とを組み合わせた家庭内などの環境でも脳波インタフェースシステムが構築されることを想定している。ユーザはテレビを見るときに、脳波計を装着してコンテンツの視聴や画面の操作を行うことができる。
【００４０】
例えば図１は、後者の例による、本願発明者らが想定する脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。
【００４１】
脳波インタフェースシステム１は、ユーザ１０の脳波信号を利用してテレビ１１を操作するインタフェースを提供するためのシステムである。テレビ１１に表示された複数の選択肢が１つずつハイライトされると、各ハイライトを起点としてユーザ１０の脳波の事象関連電位に影響が現れる。ユーザ１０の脳波信号はユーザが頭部に装着した脳波計測部１２によって取得され、無線または有線で脳波ＩＦ部１３に送信される。テレビ１１に内蔵された脳波ＩＦ部１３は、ユーザ１０の脳波の事象関連電位を利用して、ユーザが選択したいと思っている選択肢を識別する。その結果、ユーザの意図に応じてチャンネルの切り替えなどの処理を行うことが可能になる。
【００４２】
脳波インタフェースシステム１の脳波インタフェース（ＩＦ）部１３（後述）には、所定の識別方法が予め定められている。この「識別方法」とは、脳波信号が予め定められた基準に合致するか否かに応じて事象関連電位の成分を識別する方法をいう。
【００４３】
ユーザ１０の脳波の事象関連電位を利用して、ユーザが選択したいと思っている選択肢を識別するためには、ユーザに応じて識別方法を最適化することが必要とされる。
【００４４】
本実施形態による、テレビ１１に内蔵された脳波識別方法調整装置２は、脳波波形データから個人の脳波の特徴を類型化した分類体系のいずれかのタイプに分類し、その分類結果に応じて、脳波ＩＦ部１３において利用される識別方法が最適になるよう調整する処理を行う。このとき、特定の選択肢がハイライトされたときの脳波信号だけでなく、全ての選択肢に対する脳波信号に共通する特徴量が用いられる。予め定められた分類体系に対応して、たとえば２つの脳波波形のテンプレート（教示データ）も用意されている。１つは、選択しようとした選択肢がハイライトされたときに現れる教示データであり、他の１つは、選択しようとしていない選択肢がハイライトされたときに現れる教示データである。得られた脳波波形データとこれらの各教示データとを比較して、どちらに近いかを評価することにより、その脳波波形が測定されたときに、ユーザがハイライトされた選択肢を選択したかったか否かを判断できる。
【００４５】
脳波波形の現われ方には個人差が大きいが、本願発明者らは複数ユーザの脳波波形に共通する特徴を見出して、その特徴ごとに分類を行うとともに、その特徴を識別可能にする教示データを分類に応じて設けた。これにより、分類結果に応じてそのユーザにとって最適な識別方法を採用することができる。
【００４６】
本願発明者らは、全ての選択肢毎に１回（または数回程度の少ない回数）の刺激で得られた事象関連電位のＮ２００成分およびＰ２００成分（後述）を利用して分類を行った。本願発明者らは、周波数帯域のパワースペクトルの平均値および周波数帯域のウェーブレット係数の平均値によって分類すると効果があることを見出した。
【００４７】
（実施形態１）
以下、本願発明の実施形態を詳細に説明する。
【００４８】
図２は、本実施形態による脳波インタフェースシステム１の機能ブロック構成を示す。脳波インタフェースシステム１は、出力部１１と、脳波計測部１２と、脳波ＩＦ部１３と、脳波識別方法調整装置２を有している。脳波識別方法調整装置２は、分類判定部１４と、識別方法調整部１５とで構成されている。ユーザ１０のブロックは説明の便宜のために示されているものであり、脳波インタフェースシステム１自体の構成ではない。
【００４９】
出力部１１は、ユーザにコンテンツや脳波インタフェースにおける選択されるべきメニューを出力する。図１に示すテレビ１１は出力部の具体例であるため、以下では参照符号１１を出力部に充てて説明する。出力部１１は、出力される内容が動画や静止画の場合にはディスプレイ画面に対応し、出力される内容に音声が含まれている場合にはディスプレイ画面およびスピーカが出力部１１として併用されることもある。
【００５０】
脳波計測部１２は、ユーザ１０の頭部に装着された電極における電位変化を計測することによって脳波信号を検出する脳波計である。脳波計は図１に示すようなヘッドマウント式脳波計であっても良い。ユーザ１０は予め脳波計を装着しているものとする。
【００５１】
ユーザ１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部１２には電極が配置されている。電極の配置は、例えばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ１０の鼻根部になる。但し、電極は最低２個あれば良く、例えばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
【００５２】
この結果、脳波計測部１２はユーザ１０の脳波を測定することができる。測定されたユーザ１０の脳波は、コンピュータで処理できるようにサンプリングされ、脳波ＩＦ部１３に送られる。なお、脳波に混入するノイズの影響を低減するため、本実施形態の脳波計測部１２において計測される脳波は、予め例えば１５Ｈｚのローパスフィルタ処理がされているものとする。
【００５３】
脳波ＩＦ部１３は、機器操作に関するインタフェース画面を、出力部１１を介してユーザに提示し、インタフェース画面上での複数の選択肢を順次またはランダムにハイライトさせ、脳波計測部１２で計測された脳波波形データからユーザが選択しようとした選択肢を識別する。以下、本実施形態において、ユーザが選択しようとした選択肢を「ターゲット選択肢」といい、ターゲット選択肢以外の選択肢を「ノンターゲット選択肢」という。
【００５４】
なお、以下の説明では、「選択肢」とは、見たい番組の候補であるとして説明している（図４（ｂ）における「野球」、「天気予報」、「アニメ」、「ニュース」）。しかしながらこれは一例である。操作対象機器における選択可能な操作に対応する複数の項目が存在すれば、各項目は本明細書でいう「選択肢」に該当する。「選択肢」の表示態様は任意である。
【００５５】
図３および図４を適宜参照しながら、図２に示した脳波インタフェース１の処理の手順を説明する。図３は、脳波インタフェースシステム１の処理の手順を示すフローチャートである。また図４（ａ）〜（ｄ）は脳波インタフェースシステム１においてユーザ１０が視聴したいジャンルの番組を選ぶときの画面の遷移図である。
【００５６】
ステップＳ６１では、脳波ＩＦ部１３はＳＳＶＥＰを用いて、脳波インタフェースの起動を判断し、出力部１１を介してインタフェース画面を提示する。ＳＳＶＥＰ（Ｓｔｅａｄｙ  Ｓｔａｔｅ  Ｖｉｓｕａｌ  Ｅｖｏｋｅｄ  Ｐｏｔｅｎｔｉａｌ）とは、定常視覚誘発電位を意味する。
【００５７】
例えば、ユーザ１０がコンテンツを視聴している時には、テレビに図４（ａ）のような選択前の画面５１（この場合はニュース）が表示されているとする。右下に表示されたメニュー５２は特定の周波数で点滅している。ユーザ１０がそのメニュー５２を見ると、特定の周波数成分が脳波に重畳されることが知られている。そこで、脳波信号における点滅周期の周波数成分のパワースペクトルを識別することによってそのメニュー５２が見られているかが判別でき、脳波インタフェースを起動できる。脳波インタフェースの起動とは、脳波を用いて選択等を行うためのインタフェースの動作を開始させることを意味する。
【００５８】
なお、ＳＳＶＥＰは、例えば、Ｘｉａｏｒｏｎｇ  Ｇａｏ，“Ａ  ＢＣＩ−Ｂａｓｅｄ Ｅｎｖｉｒｏｎｍｅｎｔａｌ  Ｃｏｎｔｒｏｌｌｅｒ  ｆｏｒ  ｔｈｅ  Ｍｏｔｉｏｎ−Ｄｉｓａｂｌｅｄ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｎｅｕｒａｌ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｒｅｈａｂｉｌｉｔａｔｉｏｎ  Ｅｎｇｉｎｅｅｒｉｎｇ，Ｖｏｌ．１１，Ｎｏ．２，Ｊｕｎｅ  ２００３に記載されているものを示す。
【００５９】
脳波インタフェースが起動されることによって、図４（ｂ）に示すインタフェース画面５３が表示される。画面には「どの番組をご覧になりたいですか？」という質問と、見たい番組の候補である選択肢が提示される。この例では「野球」５３ａ「天気予報」５３ｂ「アニメ」５３ｃ「ニュース」５３ｄの４種類が表示されている。
【００６０】
再び図３を参照する。ステップＳ６２では、脳波ＩＦ部１３が、出力部１１を介してインタフェース画面５３の各々の選択肢を順次またはランダムにハイライトさせる。図４（ｂ）の例では、画面５３の上から「野球」５３ａ、「天気予報」５３ｂ、「アニメ」５３ｃ、「ニュース」５３ｄの順にハイライトしている様子を示している。このときのハイライトの切り替わり時間の間隔は、３５０ミリ秒とする。なお、ハイライトはインタフェース画面上での選択肢の輝度、色相および大きさの変化の少なくとも１つであれば良く、また、ハイライトの代わりに、またはハイライトとともに補助的矢印を用いたポインタで選択肢を提示しても良い。
【００６１】
ステップＳ６３では、脳波ＩＦ部１３が、脳波計測部１２で計測された脳波信号のうち、各選択肢がハイライトされた時点を起点として、−１００ミリ秒から６００ミリ秒までの脳波波形データを切り出す。
【００６２】
ステップＳ６４では、脳波ＩＦ部１３は、切り出した脳波波形データのベースライン補正を行う。例えば、選択肢がハイライトされた時点を起点として、−１００ミリ秒から０ミリ秒までの平均電位でベースラインを補正する。
【００６３】
ステップＳ６５では、脳波ＩＦ部１３が、インタフェース画面５３の全ての選択肢のハイライトが終了したか否かを判別する。終了していない場合はＳ６２に戻り、終了している場合はＳ６６に進む。
【００６４】
なお、事象関連電位の研究では一般的に、同じ選択肢をＮ回（例えば５回、１０回、２０回）ハイライトさせる（たとえば選択肢が４個の場合は合計４×Ｎ回だけハイライトさせる）ことが多い。そして同一選択肢ごとの加算平均を求めてからターゲット選択肢の識別が行われる。これにより、ランダムな脳の活動電位を相殺でき、一定の潜時と極性を持つ事象関連電位（例えばＰ３００成分、Ｐ２００成分、Ｎ２００成分）を検出できる。
【００６５】
なお、同じ選択肢をＮ回（Ｎ：２以上の整数）ハイライトさせると識別精度は高くなるが、その処理の回数に応じた時間が必要になる。そのため、不特定多数のユーザが脳波インタフェースシステム１を利用する場合には、同じ選択肢を多くない回数（たとえば２、３回）だけハイライトさせてもよいし、１回だけハイライトさせてもよい。同一選択肢ごとの加算平均を求める場合において、加算回数（ハイライト回数）は限定されるものではない。
【００６６】
ステップＳ６６では、脳波識別方法調整装置２が、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、個人の脳波の特徴を、類型化した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する処理を行う。処理の詳細は図１０および図１２の分類判定部１４および識別方法調整部１５の処理の手順を参照しながら後述する。
【００６７】
ステップＳ６７では、脳波ＩＦ部１３が、脳波識別方法調整装置２におけるタイプ分類およびそれに応じた識別方法の調整結果を受けて、複数の選択肢の中からターゲット選択肢の識別を行う。ここで、ターゲット選択肢の識別は、タイプ分類に用いた脳波信号と同じ信号を用いる。同じ脳波信号を用いて、タイプ分類と選択肢の識別とを行うことができるため、選択肢の識別を伴わないキャリブレーションを行うことなく、識別精度を向上させることができる。
【００６８】
図４（ｃ）は、４つの選択肢に対する脳波波形データ５４ａ〜５４ｄから、脳波波形データ５４ｂをターゲット選択肢として識別している様子を示している。識別に際して脳波ＩＦ部１３は、ハイライトされた選択肢ごとの、ある区間の脳波波形データの区間平均電位に基づいて選んでも良いし、またテンプレートとの相関係数の値に基づいて選んでも良い。または、線形判別分析または非線形判別分析による事後確率の値に基づいて選んでも良い。上記のそれぞれに方法に関する詳細は、識別方法の調整を行う識別方法調整部１５の説明の後に再度説明する。
【００６９】
図３のステップＳ６８では、脳波ＩＦ部１３は、識別された選択肢の動作を実行させるために、適切な機器に当該動作を実行させる。図４（ｄ）の例では、脳波ＩＦ部１３は出力部（ＴＶ）１１に対してチャンネルを「天気予報」に切り替えるよう指示し、出力部（ＴＶ）１１がその処理を実行している。
【００７０】
分類判定部１４は、図３に示した処理ステップＳ６６において、脳波ＩＦ部１３から分類対象となる脳波波形データを受信することによって処理が開始される。図４（ｃ）の例では、ハイライトされた４つの選択肢に対する脳波波形データ５４ａ〜５４ｄを受信する。更に受信した全ての選択肢に対する脳波信号に共通する特徴量を用いて、個人の脳波の特徴を類型化した分類体系のいずれかのタイプに分類する。「全ての選択肢に対する脳波信号に共通する特徴量」とは、全ての選択肢に対する脳波波形を用いて得られる波形の特徴を示す。具体的な算出処理は、後述する。
【００７１】
識別方法調整部１５は、分類判定部１４の分類結果に応じて、ターゲット選択肢を精度良く識別するための識別方法の調整を行い、調整結果を脳波ＩＦ部１３へ送信する。
【００７２】
ここで、上述のタイプ分類を実施する際の分類体系について、本願発明者らが実施した脳波インタフェースの実験結果をもとに具体的に説明する。
【００７３】
被験者は男性９名、女性４名の合計１３名で、平均年齢は２６±６．５歳である。被験者には図４（ｂ）で示した４つの選択肢を含むインタフェース画面をモニターに提示し、３５０ミリ秒ごとにハイライトされる選択肢を見て、指定された選択肢（ターゲット選択肢）がハイライトされた直後に「それ」と頭の中で思う課題を課した。選択肢のハイライトはランダムな順序で４つの選択肢を各５回（すなわち加算回数が５回）の計２０回繰り返し、これを１試行の実験とした。また、ターゲット選択肢の指定は、上から「野球」５３ａ「天気予報」５３ｂ「アニメ」５３ｃ「ニュース」５３ｄの順とし、それぞれ１０試行（計４０試行）の実験を各被験者に対して実施した。
【００７４】
また、被験者は脳波計（ティアック、ポリメイトＡＰ−１１２４）を装着し、電極の配置は国際１０−２０電極法を用い、導出電極をＰｚ（正中頭頂）、基準電極をＡ１（右耳朶）、接地電極を前額部とした。サンプリング周波数２００Ｈｚ、時定数３秒で計測した脳波波形データに対して１５Ｈｚのローパスフィルタ処理をかけ、選択肢のハイライトを起点に−１００ミリ秒から６００ミリ秒の脳波波形データを切り出し、−１００ミリ秒から０ミリ秒の平均電位でベースライン補正を行った。
【００７５】
図５は、上述の実験の結果、被験者０１〜１３の各々から得られた脳波波形データを、被験者ごとに加算平均した波形を示す。横軸は選択肢のハイライトを０ミリ秒とした時間（潜時）で単位はミリ秒、縦軸は電位で単位はμＶである。実線はターゲット選択肢に対する脳波波形データの平均波形（４０試行分、総加算回数は４０×５＝２００回）であり、点線はノンターゲット選択肢に対する脳波波形データの平均波形（３選択肢の４０試行分、総加算回数は３×４０×５＝６００回）を示している。
【００７６】
図５に示した被験者ごとの脳波波形データから、ターゲット選択肢に対する脳波波形データ（実線）の特徴として、潜時が３００ミリ秒以降の、特に４００ミリ秒付近で陽性になっている点では共通している。しかし、１００ミリ秒から３００ミリ秒までのターゲット選択肢の脳波波形データの特徴は被験者ごとに異なっていることが分かる。例えば、被験者０１のターゲット選択肢に対する脳波波形データは２００ミリ秒後付近で大きな陽性成分が見られるが、被験者１２のターゲット選択肢に対する脳波波形データは２００ミリ秒前付近で大きな陰性成分が見られる。
【００７７】
図６は、図５に示した被験者ごとの脳波波形データを、３００ミリ秒以前のＰ２００成分およびＮ２００成分の大きさに基づいて個人の脳波の特徴を類型化した分類体系を示す。横軸はＰ２００成分の大きさ、縦軸はＮ２００成分の大きさを表している。Ｐ２００成分およびＮ２００成分の大きさは、図５に示すターゲット選択肢およびノンターゲット選択肢の両方から求めている。
【００７８】
具体的には、「Ｐ２００成分」とは、ターゲット選択肢に対する脳波波形の２００ミリ秒から３００ミリ秒までの平均電位から、ノンターゲット選択肢に対する脳波波形の２００ミリ秒から３００ミリ秒までの平均電位を減じたものとした。そのようにして求めたＰ２００成分の大きさが１０μＶ以上になった場合を“Ｌａｒｇｅ”とし、１μＶ以上１０μＶ未満になった場合を“Ｍｉｄｄｌｅ”とし、１μＶ未満になった場合を“Ｓｍａｌｌ”とした。このようにして得られた電位は、「全ての選択肢に対する脳波信号に共通する特徴量」の一例である。
【００７９】
一方、「Ｎ２００成分」とは、ノンターゲット選択肢に対する脳波波形データの１００ミリ秒から２００ミリ秒までの平均電位から、ターゲット選択肢に対する脳波波形データの１００ミリ秒から２００ミリ秒までの平均電位を減じたものとした。そのようにして求めたＮ２００成分の大きさが１．４μＶ以上になった場合を“Ｌａｒｇｅ”とし、１．４μＶ未満になった場合を“Ｓｍａｌｌ”とした。
【００８０】
なお、Ｐ２００成分およびＮ２００成分の算出にあたって、脳波波形の２００ミリ秒から３００ミリ秒を採用したことは一例である。たとえば脳波波形の２００ミリ秒から２５０ミリ秒の脳波波形を採用してＰ２００成分を算出してもよい。同様に、Ｎ２００成分の算出にあたって、脳波波形の１００ミリ秒から２００ミリ秒を採用したことも一例である。
【００８１】
図６はまた、上記の分類基準に則って、図５に示した被験者ごとの脳波波形データを分類した結果を示している。Ｐ２００成分が“Ｌａｒｇｅ”でＮ２００成分が“Ｓｍａｌｌ”に該当する被験者は２名で、これをタイプＡとした。Ｐ２００成分が“Ｍｉｄｄｌｅ”でＮ２００成分が“Ｓｍａｌｌ”に該当する被験者は４名で、これをタイプＢとした。Ｐ２００成分が“Ｍｉｄｄｌｅ”でＮ２００成分が“Ｌａｒｇｅ”に該当する被験者は３名でこれをタイプＣとした。Ｐ２００成分が“Ｓｍａｌｌ”でＮ２００成分が“Ｌａｒｇｅ”に該当する被験者は４名でこれをタイプＤとした。また、Ｐ２００成分とＮ２００成分が両方とも“Ｌａｒｇｅ”または“Ｓｍａｌｌ”に該当する被験者は本実験では存在しなかった。
【００８２】
図７は、上記で分類したタイプごとの脳波波形データの総加算平均波形を示す。横軸は選択肢のハイライトを０ミリ秒とした時間（潜時）で単位はミリ秒、縦軸は電位で単位はμＶである。実線はターゲット選択肢に対する脳波波形データを、点線はノンターゲット選択肢に対する脳波波形データを示している。
【００８３】
図７から、タイプＡではＰ２００成分が大きく出現しており、タイプＤではＮ２００成分が大きく出現していることが分かる。分類判定部１４は、ユーザの脳波波形に基づいて、その波形を上記の分類体系のいずれかのタイプに分類する。
【００８４】
更に本願発明者らが実施した脳波インタフェースの実験結果をもとに新たに特定した、タイプ分類に用いられる特徴量について具体的に説明する。本願発明者らはターゲット選択肢の脳波波形データの特徴に基づいた前述の分類体系と、全ての選択肢の脳波波形データに共通する特徴量との関係について、様々な分析を実施した。その結果、強い相関関係を持つ２つの特徴量を特定することができた。この強い相関関係を持つ特徴量を見出したことにより、特許文献１のように、事前にキャリブレーションを行うことなく精度を向上させることができる。
【００８５】
すなわち、事前のキャリブレーションを行い、複数のターゲット選択肢の波形特徴を抽出して分類する必要がなく、ターゲット選択肢及びノンターゲット選択肢を含むいずれの選択肢に対する脳波信号を利用しても、精度を向上させることができる。
【００８６】
従来は、ターゲット選択肢を特定し、その脳波波形から特徴量を抽出していた。しかし、ノンターゲット選択肢を含む全ての選択肢に対する脳波波形に現れる特徴量を見出したことにより、ターゲット選択肢を特定することなく、いずれの選択肢の脳波波形から抽出したユーザの特徴を利用しても、精度を向上させることができる。以下に詳しく説明する。
【００８７】
まず、図６に示した分類体系のＮ２００成分が“Ｌａｒｇｅ”の被験者群（７名）と“Ｓｍａｌｌ”の被験者群（６名）とに対する脳波波形データのパワースペクトルを図８に示す。横軸は周波数で単位はＨｚ、縦軸はパワースペクトル値で単位は（μＶ）2／Ｈｚである。時系列の脳波波形データからフーリエ変換によって周波数成分データが求められる。パワースペクトル値は周波数成分データとその複素共役との積で算出される。
【００８８】
図８中の実線はＮ２００成分が“Ｌａｒｇｅ”の被験者群を示している。実線上の「○」は、７名分のターゲット選択肢およびノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値を示し、「○」を上下に通る両矢印は被験者ごとのばらつきを表している。点線はＮ２００成分が“Ｓｍａｌｌ”の被験者群を示している。破線上の「×」は、６名分のターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値を示し、「×」を上下に通る両矢印は被験者ごとのばらつきを表している。
【００８９】
図８より、各周波数において、“Ｌａｒｇｅ”の被験者群と“Ｓｍａｌｌ”の被験者群に対して統計的な有意差検定であるｔ検定を行った結果、周波数が８Ｈｚから１５Ｈｚ付近の区間で、Ｎ２００成分が“Ｌａｒｇｅ”の被験者群が“Ｓｍａｌｌ”の被験者群に比べて、ターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのパワースペクトルの平均値が有意に低くなっていることが分かった（有意水準Ｐ＝０．０５）。５％の有意水準で有意差があるということは、２つの群のデータの間に統計的に９５％の信頼度で意味のある差が存在していることを意味する。
【００９０】
上記の関係を利用することによって、複数の選択肢に対する脳波波形データのうち、ターゲット選択肢に対する脳波波形データが特定できなくても、全ての脳波波形データに対する上述の周波数帯域のパワースペクトルの平均値からＮ２００成分が“Ｌａｒｇｅ”の被験者か“Ｓｍａｌｌ”の被験者かを分類することが可能になる。
【００９１】
図８の例の場合、Ｎ２００成分が“Ｌａｒｇｅ”と“Ｓｍａｌｌ”の被験者における、周波数が８Ｈｚから１５Ｈｚ付近の区間の平均パワースペクトル値がそれぞれ１．６と３．６であるため、閾値を、たとえばその中間値２．６とする。閾値２．６未満の場合は“Ｌａｒｇｅ”の被験者、閾値２．６以上の場合は“Ｓｍａｌｌ”の被験者となる。図６の例では、タイプＡまたはＢの被験者か、タイプＣまたはＤの被験者かを分類することが可能になる。なお、閾値の決定方法は例である。上述の例のように、１．６と３．６の間に存在していれば中間値でなくてもよい。
【００９２】
次に、図６に示した分類体系のＰ２００成分が“Ｌａｒｇｅ”、“Ｍｉｄｄｌｅ”、“Ｓｍａｌｌ”のレベルと、脳波波形データの時間周波数成分、具体的には２００ミリ秒から２５０ミリ秒の時間幅および８Ｈｚから１５Ｈｚ付近の周波数帯域のウェーブレット係数との関係を被験者ごとにプロットしたものを図９に示す。左記のウェーブレット係数はマザーウェーブレットをメキシカンハットとした場合を示している。縦軸はＰ２００成分のレベルであり、“Ｌａｒｇｅ”の場合は３（対象被験者は２名）、“Ｍｉｄｄｌｅ”の場合は２（対象被験者は７名）、“Ｓｍａｌｌ”の場合は１（対象被験者は４名）としている。横軸は被験者ごとにターゲット選択肢とノンターゲット選択肢を含んだ全ての脳波波形データのウェーブレット係数の平均値である。
【００９３】
図９において、線形回帰分析を行った結果、近似式ｙ＝０．１５８６ｘ＋１．６６７３に近似され、Ｐ２００成分のレベル（ｙ）とウェーブレット係数（ｘ）との間に強い相関関係があることが分かった（相関係数Ｒ＝０．８３）。相関係数とは、２つの変数の間の相関（類似性の度合い）を示す統計的指標であり、一般的に絶対値が０．７以上の場合に強い相関があることを意味する。
【００９４】
上記の関係を利用することによって、複数の選択肢に対する脳波波形データのうち、ターゲット選択肢に対する脳波波形データが特定できなくても、全ての脳波波形データに対する上述の時間幅および周波数帯域のウェーブレット係数の平均値からＰ２００成分が“Ｌａｒｇｅ”の被験者か“Ｍｉｄｄｌｅ”の被験者か“Ｓｍａｌｌ”の被験者かを分類することが可能になる。
【００９５】
図９の例の場合、前記近似式のＰ２００成分のレベル（ｙ）＝２．５（“Ｌａｒｇｅ：３”と“Ｍｉｄｄｌｅ：２”の中間値）および１．５（“Ｍｉｉｄｌｅ：２”と“Ｓｍａｌｌ：１”の中間値）に対応するｘ＝５．２および−１．０をそれぞれ閾値とした。ウェーブレット係数（ｘ）が閾値５．２以上の場合は“Ｌａｒｇｅ”の被験者、閾値−１．０以上５．２未満の場合は“Ｍｉｄｄｌｅ”の被験者、閾値−１．０未満の場合は“Ｓｍａｌｌ”の被験者となる。なお、上述の例では中間値を閾値として説明したが、これは例である。“Ｌａｒｇｅ：３”と“Ｍｉｄｄｌｅ：２”との間、および、“Ｍｉｉｄｌｅ：２”と“Ｓｍａｌｌ：１”との間であれば、中間値でなくてもよい。
【００９６】
上述の近似式および閾値に基づけば、図６の例では、タイプＡの被験者か、タイプＢまたはＣの被験者か、タイプＤの被験者かを分類することが可能になる。
【００９７】
ここで、上記の関係についての本願発明者らの考察を以下に述べる。従来文献（藤澤清ら、新生理心理学１巻１１９頁、１９９８）によれば、Ｎ２００成分（特にＮ２ｂ）は予期しない刺激に対する注意の焦点化を反映するとされている。また、従来文献（藤澤清ら、新生理心理学２巻１１０頁、１９９８）によれば、覚醒水準が低下すると脳波の８Ｈｚから１３Ｈｚの成分であるα波も次第に減少し、やがては消失して、低振幅のθ波が出現するとされている。これらを考慮すると、Ｎ２００成分が“Ｌａｒｇｅ”だった被験者は、本実験中の覚醒水準が低く（すなわちα波付近の成分が減少し）、本実験の課題遂行に対する集中力が低かったため、ターゲット選択肢のハイライトに対して予期しない刺激に対するような注意の焦点化を起こし、結果Ｎ２００成分が惹起されたと考えることもできる。
【００９８】
一方、Ｐ２００成分が“Ｌａｒｇｅ”だった被験者は、本実験の課題遂行に対する集中力が高かったため、ウェーブレット係数においてα波付近の周波数成分が減少せず、特に２００ミリ秒から２５０ミリ秒の時間幅で大きな値が得られたと考えることもできる。
【００９９】
なお、実際のＮ２００成分やＰ２００成分のレベルと上述のタイプ分類結果とが異なる場合が起こり得る。しかし、図１５〜１７の識別率の試算結果で後述するように、統計的に見れば本発明によるタイプ分類は識別率の維持向上に非常に効果的であると言える。また、図８に示した周波数帯域のパワースペクトルと図９に示した時間幅および周波数帯域のウェーブレット係数を同時に利用することによって、より詳細にかつ正確にタイプ分類を行うことが可能になる。
【０１００】
次に、図１０のフローチャートを参照しながら、上記の特徴量をもとにタイプ分類を行うための分類判定部１４の処理の手順を説明する。
【０１０１】
図１０は、分類判定部１４の分類処理手順を示す。
【０１０２】
ステップＳ１２１では、分類判定部１４は、脳波ＩＦ部１３から分類対象となる脳波波形データを受信する。分類対象となる脳波波形データは、脳波計測部１２で計測された脳波信号から脳波ＩＦ部１３によって切り出され、分類判定部１４に送られている。図４（ｃ）の例では、分類判定部１４はハイライトされた４つの選択肢に対する脳波波形データ５４ａ〜５４ｄを受信する。
【０１０３】
ステップＳ１２２では、分類判定部１４は受信した全ての脳波波形データに対して、以下の特徴量を抽出し、その平均値を算出する。特徴量とは、先の実験結果で述べた、周波数帯域が８Ｈｚから１５Ｈｚ付近のパワースペクトル、時間幅が２００ミリ秒から２５０ミリ秒および周波数帯域が８Ｈｚから１５Ｈｚ付近のウェーブレット係数である。
【０１０４】
ステップＳ１２３では、分類判定部１４はタイプ分類のために用いられる基準データを読み出す。図１１は、前述の実験結果をもとに作成したタイプ分類用の基準データの一部を示す。タイプ分類用の基準データは、脳波波形データの番号、パワースペクトルとウェーブレット係数の特徴パラメータ、当該脳波波形データが属するタイプで構成されている。パワースペクトルとウェーブレット係数の特徴パラメータの数は、それぞれ８Ｈｚから１５Ｈｚの区間にあるサンプルの数だけ存在する。サンプル数は脳波波形データを計測する際のサンプリング周波数や切り出す時間幅などによって決定される。図１１に示した基準データは、分類判定部１４が予め保持しているものとする。図１１に実際に記載される特徴パラメータの値は、前述のような実験を事前に実施することによって準備しておく必要がある。
【０１０５】
ステップＳ１２４では、分類判定部１４はステップＳ１２２で抽出した特徴量を用いてタイプ分類を実施する。タイプ分類は、前記実験結果で述べたＮ２００成分やＰ２００成分のそれぞれの閾値に基づいて分類しても良いし、ステップＳ１２３で読み出したタイプ分類用データに基づいて判別分析を行うことによって分類しても良い。以下、図１１に示すタイプ分類用データに基づく判別分析の場合について具体的に説明する。
【０１０６】
分類判定部１４は、タイプ分類用データのＡ〜Ｄの４つのタイプをそれぞれ順にｋ＝１、２、３および４と対応付けし、また特徴パラメータをＵｉ（ｉ＝１〜８）として、ｋ個のタイプごとの特徴パラメータＵｉの平均を下記数１によって求める。
【数１】
2009139119.tif 000027
【０１０７】
分類判定部１４は、各タイプ共通の分散共分散行列Ｓを下記数２によって求める。
【数２】
2009139119.tif 000028
ｎは総データ数、ｎｋはタイプごとのデータ数、ｉとｊは１〜８の整数である。
【０１０８】
ステップＳ１２２で抽出した周波数帯域が８Ｈｚから１５Ｈｚ付近のパワースペクトルの平均値および時間幅が２００ミリ秒から２５０ミリ秒かつ周波数帯域が８Ｈｚから１５Ｈｚ付近のウェーブレット係数の平均値をＸｉ（ｉ＝１〜８）とすると、次の線形関数Ｚｋを最大にするｋを求めることによって、Ｘｉが属するタイプｋを決定することができる。
【数３】
2009139119.tif 000029
【０１０９】
ステップＳ１２５では、分類判定部１４は、ステップＳ１２４で分類した結果を識別方法調整部１５に送信する。
【０１１０】
識別方法調整部１５の処理の手順を、図１２のフローチャートを参照しながら説明する。
【０１１１】
ステップＳ１４１では、識別方法調整部１５は、分類判定部１４で分類した結果を受信する。
【０１１２】
ステップＳ１４２では、識別方法調整部１５は、識別方法調整データを読み出す。識別方法調整データは、識別方法調整部１５に予め保持しているものとする。詳細は以下に説明する。
【０１１３】
ステップＳ１４３では、識別方法調整部１５は、ステップＳ１４１で受信した分類結果に応じて、脳波ＩＦ部１３へ調整結果として送信すべきデータを、識別方法調整データの中から選択する。
【０１１４】
上述の識別方法調整部１５で読み出される識別方法調整データは、脳波ＩＦ部１３におけるターゲット選択肢の識別方法の種類によって異なる。
【０１１５】
まず、ある区間の脳波波形データの区間平均電位に基づいてターゲット選択肢を識別する場合、識別方法調整部１５は、図１３に示す識別方法調整データを読み出す。図１３はタイプごとのＰ３００成分およびＰ２００成分、Ｎ２００成分に対する重み係数で構成されている割り当て表を示す。例えばタイプ分類の結果がタイプＡの場合は、タイプＡに対するＰ３００成分、Ｐ２００成分、Ｎ２００成分の重み係数（１、１、０）を選択する。
【０１１６】
次にテンプレートとの相関係数の値に基づいてターゲット選択肢を識別する場合、読み出される識別方法調整データは図７（ａ）〜（ｄ）に実線で示したターゲット選択肢に対する脳波波形データとなる。例えばタイプ分類の結果がタイプＡの場合は、図７（ａ）に実線で示された脳波波形データをテンプレートとして選択する。
【０１１７】
最後に線形判別分析または非線形判別分析による事後確率の値に基づいてターゲット選択肢を識別する場合、読み出される識別方法調整データはタイプごとに用意された教示データとなる。図１４はタイプＡの場合の教示データの例を示しており、（ａ）はターゲット選択肢に対する脳波波形データ（データ数８０）で、（ｂ）はノンターゲット選択肢に対する脳波波形データ（データ数２４０）である。タイプ分類の結果がタイプＡの場合は、図１４のデータを教示データとして選択する。
【０１１８】
ステップＳ１４４では、識別方法調整部１５は、ステップＳ１４３で選択したデータを脳波ＩＦ部１３へ調整結果として送信する。
【０１１９】
ここで再び脳波ＩＦ部１３のターゲット選択肢の識別処理（図３のステップＳ６７）を説明する。識別方法調整部１５の調整結果を受けて、以下に示す処理を実施する。
【０１２０】
まず、ある区間の脳波波形データの区間平均電位に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢の脳波波形データごとに次数４で表される計算を行う。
【数４】
2009139119.tif 000030
【０１２１】
ここでＷｐ３、Ｗｐ２、Ｗｎ２とはそれぞれ識別方法調整部１５から受信したＰ３００成分、Ｐ２００成分、Ｎ２００成分の重み係数である。図１３は、当該重み係数を示す。例えば、分類判定部１４がユーザの脳波波形をタイプＡに分類した場合、すなわちターゲット選択肢の脳波波形データにＰ２００成分が大きく、Ｎ２００成分が小さく現れると判定した場合は、識別方法調整部１５は、上記の重み係数を（１、１、０）としてＰ２００成分に重みをつける。
【０１２２】
同様に分類判定部１４がタイプＤと分類した場合、すなわちターゲット選択肢の脳波波形データにＰ２００成分が小さく、Ｎ２００成分が大きく現れると判定した場合、識別方法調整部１５は、上記の重み係数を（１、０、１）としてＮ２００成分に重みをつける。Ｐｐ３、Ｐｐ２、Ｐｎ２とはそれぞれＰ３００成分（３００ミリ秒から５００ミリ秒までの平均電位）、Ｐ２００成分（２００ミリ秒から３００ミリ秒までの平均電位）、Ｎ２００成分（１００ミリ秒から２００ミリ秒までの平均電位）であり、Ｅは評価値を表している。Ｎ２００成分はターゲット選択肢の場合に陰性の電位として現れることを特徴としているため、上式では減算することによって評価値Ｅに反映させている。ハイライトされた選択肢ごとの脳波波形データから評価値Ｅを計算し、その値が最も大きい選択肢をターゲット選択肢として識別する。
【０１２３】
次にテンプレートとの相関係数の値に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢ごとの脳波波形データと識別方法調整部１５から受信したテンプレートとの相関係数、例えばピアソンの積率相関係数を求め、その値が最も大きい選択肢をターゲット選択肢として識別する。
【０１２４】
最後に線形判別分析または非線形判別分析による事後確率の値に基づいてターゲット選択肢を識別する場合、ハイライトされた選択肢ごとの脳波波形データに対して、識別方法調整部１５から受信した教示データに基づいて、線形判別分析または非線形判別分析を行う。具体的には、ベイズ推定を用いたターゲット選択肢らしさを表す事後確率を求め、その値が最も大きい選択肢をターゲット選択肢として識別する。
【０１２５】
上述の方法により、識別方法調整部１５における識別方法の調整結果を受けて、複数の選択肢の中からターゲット選択肢の識別を行うことが可能となる。
【０１２６】
上記に説明した分類判定部１４および識別方法調整部１５の処理は、ユーザが脳波インタフェースを利用する際にその都度自動的に実施しても良いし、またユーザの指示によって実施し、その際の調整結果を脳波ＩＦ部１３で保持していても良い。
【０１２７】
上述した本発明の実施形態によって得られた効果を、ターゲット選択肢の識別率の試算結果をもとに具体的に説明する。
【０１２８】
識別率の試算は、前述の実験結果（被験者１３名に対して４つの選択肢の中から脳波を用いて１つ選ぶ実験の結果）に基づいて実施した。図２の分類判定部１４におけるタイプ分類には線形判別分析を用い、特徴量は脳波波形データのパワースペクトルとウェーブレット係数の両方を用いた。図２の脳波ＩＦ部１３におけるターゲット選択肢の識別にも線形判別分析を用い、特徴量は脳波波形データの２５ミリ秒ごとの平均電位とした。
【０１２９】
また、この識別率の試算の目的は、次に示す３つの条件における識別率を比較し、本発明の効果を確認することである。３つの条件とは、（ａ）被験者ごとのキャリブレーションをしない場合、（ｂ）キャリブレーションなしで、かつ本発明によるタイプ分類および識別方法の調整をした場合、（ｃ）被験者ごとのキャリブレーションをした場合である。したがって、ターゲット選択肢の識別に用いる教示データは、（ａ）の場合は全被験者共通の教示データとするため、全被験者の実験結果を教示データとして用いた。（ｂ）の場合は、本発明によるタイプ分類を行い、その分類結果に応じた教示データとするため、例えばタイプＡと分類した場合はタイプＡに属する被験者（図５の例では被験者０１と０８）の実験結果を教示データとして用いた。（ｃ）の場合は、被験者ごとの教示データとするため、例えば被験者０１の場合は被験者０１の実験結果を教示データとして用いた。但し、上記の全ての条件において、評価対象データは常に教示データから除外して、ターゲット選択肢の識別を行う、いわゆるｌｅａｖｅ‐１‐ｏｕｔ法による評価を実施した。
【０１３０】
図１５は、ターゲット選択肢の識別率の全被験者平均値を３つの条件を示している。（ａ）のキャリブレーションなしの場合が最も識別率が低く（７４．６％）、（ｃ）の手間のかかる煩雑なキャリブレーションをした場合が最も識別率が高くなっている（８３．５％）。（ｂ）の本発明を用いた場合は、被験者ごとのキャリブレーションをしていないにも関わらず、（ｃ）のキャリブレーションありの場合に近い精度になっていることが分かる（８１．３％）。
【０１３１】
図１６は、図１５の内訳であるタイプＡの被験者、タイプＤの被験者、その他の被験者のそれぞれの場合の識別率を示す。図１６より、タイプＡの被験者およびタイプＤの被験者の場合、本発明の効果が顕著に現れていることが分かる。つまり、（ｂ）の本発明を用いた場合は（ａ）の場合と比較し、大幅に識別率が向上しており、（ｃ）の場合と比較し、被験者ごとの煩雑なキャリブレーションをしていないにも関わらず、ほぼ同等の識別精度を維持していることが分かる。
【０１３２】
したがって、図１５（ｂ）および図１６（ｂ）から明らかなように、脳波インタフェースシステム１において、本発明による脳波識別方法調整装置２を備えることによって、識別精度を高く維持しつつ、従来ユーザにとって負担となっていた事前のキャリブレーションの手間をなくすことが可能となる。
【０１３３】
更に図１７は、タイプ分類に用いる特徴量を、（ｂ）パワースペクトルとウェーブレット係数の両方を用いる場合、（ｂ−１）パワースペクトルのみを用いる場合、（ｂ−２）ウェーブレット係数のみを用いる場合の３つの条件について、タイプＡとタイプＤの被験者の識別率を示す。ここで図１７（ｂ）と図１６（ｂ）は同じ評価内容を表している。図１７より、（ｂ−１）のパワースペクトルのみを用いる場合および（ｂ−２）のウェーブレット係数のみを用いる場合は、（ｂ）の両方を用いる場合と比較して識別率は多少低下しているものの、図１６（ａ）の場合と比較すればキャリブレーションなしで大幅に識別率が向上していることが分かる。したがって、脳波波形データのパワースペクトルとウェーブレット係数のどちらか一方でも効果があることが分かる。
【０１３４】
本実施形態によれば、少ない回数（たとえば１〜３回程度）の刺激で得られた選択肢ごとの事象関連電位と、上述したＮ２００成分およびＰ２００成分によって分類をする場合には、非常に効果的である。図１５〜図１７によれば、これは特に、周波数帯域のパワースペクトルの平均値および／または周波数帯域のウェーブレット係数の平均値によって分類した場合に顕著であるといえる。
【０１３５】
したがって、タイプ分類の際に用いる特徴量は、前述のように脳波波形データのパワースペクトルとウェーブレット係数の両方を利用しても良いし、どちらか一方でも良い。パワースペクトルのみを利用する場合は、Ｎ２００成分が“Ｌａｒｇｅ”または“Ｓｍａｌｌ”を分類することになり、図６の例ではタイプＣおよびＤかまたはタイプＡおよびＢかの２タイプに分類することになる。同様にウェーブレット係数のみを利用する場合は、Ｐ２００成分が“Ｌａｒｇｅ”または“Ｍｉｄｄｌｅ”または“Ｓｍａｌｌ”を分類することになり、図６の例ではタイプＡかまたはタイプＢおよびＣかまたはタイプＤかの３タイプに分類することになる。
【０１３６】
本実施形態にかかる構成および処理の手順により、複数の選択肢の中からユーザが選択したいと思っている選択肢を、脳波を利用して識別するインタフェースを備えたシステムにおいて、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、より具体的には周波数帯域が８Ｈｚから１５Ｈｚ付近のパワースペクトルの平均値および時間幅が２００ミリ秒から２５０ミリ秒かつ周波数帯域が８Ｈｚから１５Ｈｚ付近のウェーブレット係数の平均値を用いて、予め用意した分類体系のいずれかのタイプに分類し、その分類結果に応じて最適な識別方法に調整する処理を行うことによって、ユーザに対する煩雑なキャリブレーションの負担をなくし、かつ、脳波に関する識別精度を高く維持することができる。
【０１３７】
上述の実施形態に関して、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。識別方法調整装置を構成する全部または一部の構成要素や、脳波ＩＦ部は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。脳波識別方法調整装置の機能を実現するコンピュータプログラムは、脳波ＩＦ部の機能を実現するためのコンピュータプログラムを実行するプロセッサによって実行されてもよいし、脳波インタフェースシステム内の他のプロセッサによって実行されてもよい。
【０１３８】
また本実施形態においては、脳波識別方法調整装置２は脳波ＩＦ部１３とともに出力部（テレビ）１１内に設けられているが、これも例である。いずれか一方または両方がテレビ外に設けられていてもよい。
【０１３９】
(実施形態２)
実施形態１では、全ての選択肢に対する脳波波形データに共通する特徴量を用いて、個人の脳波の特徴を、図６に示す類型化した分類体系のいずれかのタイプに分類した。そして、その分類結果に応じて最適な識別方法に調整する処理を行った（図３のステップ６６）。
【０１４０】
実施形態１において説明したとおり、いずれの選択肢の脳波波形からも特徴量が抽出できることが見出せた。この点に鑑みると、いずれの選択肢の脳波波形からも特徴量が抽出できれば、全ての選択肢のうち２つ以上の選択肢の脳波波形を用いることにより、従来よりも容易に特徴量を抽出し、精度を向上させることができるのは明らかである。
【０１４１】
そこで本実施形態では、全ての選択肢に対する脳波波形を用いず、その一部（ただし３つ以上の全ての選択肢うち少なくとも２つ以上）の選択肢に対する脳波波形を利用する。また、図６に示すようなタイプ分類を用いることなく、当該一部の選択肢に対する脳波波形がＮ２００とＰ２００のいずれの特徴量を有するか判断し、その特徴量に重み付けを行って、ターゲット選択肢を求める。
【０１４２】
図１８は、本実施形態による脳波インタフェースシステム３の機能ブロック構成を示す。脳波インタフェースシステム３は、出力部１１と、脳波計測部１２と、脳波ＩＦ部１３と、脳波識別方法調整装置４を有している。実施形態１による脳波インタフェースシステム１との相違点は、脳波識別方法調整装置の構成および動作である。
【０１４３】
本実施形態による脳波識別方法調整装置４は、特徴量抽出部１１４と、識別方法調整部１１５とで構成されている。以下、実施形態１との相違点のみを説明する。実施形態２にかかる構成のうち、特に言及するものを除いては、実施形態１と同じである。よってそれらの説明は省略する。
【０１４４】
特徴量抽出部１１４は、各選択肢が提示された後の各脳波信号から、２以上の選択肢に対応する脳波信号を選択する。特徴量抽出部１１４は、基準データを予め保持しており、当該基準データおよび選択した脳波信号に共通する特徴量を抽出する。
【０１４５】
識別方法調整部１１５は、特徴量抽出部１１４によって抽出された特徴量に重み付けを行い、ユーザ１０が選択した選択肢に対する脳波信号の識別方法を調整を行う。そして調整結果を脳波ＩＦ部１３へ送信する。これにより、脳波ＩＦ部１３における、事象関連電位の成分を識別するための識別方法が変更される。
【０１４６】
図３のフローチャートは、概ね本実施形態による脳波インタフェースシステム３の処理にも適用できる。ただし、ステップＳ６６が以下の点で異なる。
【０１４７】
本実施形態においては、ステップＳ６６において、脳波識別方法調整装置４の特徴量抽出部１１４が、３以上の選択肢に対応して得られた脳波信号のうち、２以上の選択肢に対応する脳波信号を選択する。特徴量抽出部１１４はさらに、選択した脳波波形を抽出し、それらが、Ｎ２００とＰ２００のいずれの特徴量を有するかを求める。特徴量は、周波数帯域が８Ｈｚから１５Ｈｚ付近のパワースペクトル、時間幅が２００ミリ秒から２５０ミリ秒および周波数帯域が８Ｈｚから１５Ｈｚ付近のウェーブレット係数によって求めることが可能である。
【０１４８】
なお、図６に示されるように、Ｐ２００成分とＮ２００成分とが両方Ｌａｒｇｅと両方Ｓｍａｌｌになることはない。よって、特徴量抽出部１１４は、選択した脳波波形が、Ｎ２００とＰ２００のいずれかの特徴量を有することを確実に判別することができる。本実施形態においては、特徴量抽出部１１４は、図１１に示す基準データを保持しており、Ｎ２００とＰ２００のいずれの特徴量を有するかを求める。
【０１４９】
識別方法調整部１１５は、求めた特徴量に応じた重み付けを行うよう、脳波ＩＦ部１３における識別方法の調整を行う。これにより、図３のステップＳ６７において、ユーザが選択した選択肢に対する脳波信号を識別する際に、ターゲット選択肢を識別することが可能になる。重み付けとは、たとえば図１３に記載されているような重み付け係数を、脳波識別時に脳波信号に課すことを意味する。
【０１５０】
上述のとおり、本実施形態では、脳波信号を図６に示すようなタイプＡ〜Ｄに分類しない。よって、たとえば図１０のステップＳ１２３、Ｓ１２４などの分類に関連する処理は行われなくてもよい。
【０１５１】
なお、本実施形態による処理もまた、コンピュータに実行されるプログラムとして実現され得る。そのようなプログラムの説明は、実施形態１におけるプログラムの説明と同じであるため、省略する。
【産業上の利用可能性】
【０１５２】
本発明にかかる脳波識別方法調整装置およびその装置が組み込まれた脳波インタフェースシステムは、脳波の個人差を反映させて識別方法を向上させる必要のある機器、例えば脳波を用いた機器操作インタフェースが搭載されている情報機器や映像音響機器などや、駅の券売機や銀行のＡＴＭのように不特定多数のユーザが利用するシステムの操作性改善に有用である。
【符号の説明】
【０１５３】
１  脳波インタフェースシステム
２  脳波識別方法調整装置
１１  出力部
１２  脳波計測部
１３  脳波ＩＦ部
１４  分類判定部
１５  識別方法調整部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる装置であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
脳波信号の特徴を類型化するための基準データを予め保持し、前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定する分類判定部と、
前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部と
を備えた脳波識別方法の調整装置。
【請求項２】
前記分類判定部が用いる複数の選択肢に対する脳波信号は、前記出力部で提示した全ての選択肢に対する脳波信号である、請求項１に記載の脳波識別方法の調整装置。
【請求項３】
前記分類判定部は、前記複数の選択肢に対する脳波信号の所定の周波数帯域のパワースペクトルの平均値および／または所定の時間幅と周波数帯域のウェーブレット係数の平均値を、前記複数の選択肢の全てに対する脳波信号に共通する特徴量として保持している、請求項１に記載の調整装置。
【請求項４】
前記分類判定部は、８Ｈｚから１５Ｈｚの周波数帯域のパワースペクトルの平均値を用いて、前記脳波信号のＮ２００成分の大きさを判定する、請求項３に記載の調整装置。
【請求項５】
前記分類判定部は、２００ミリ秒から２５０ミリ秒の時間幅および８Ｈｚから１５Ｈｚの周波数帯域のウェーブレット係数の平均値を用いてＰ２００成分の大きさを判定する、請求項３に記載の調整装置。
【請求項６】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる前記脳波信号のＰ３００成分、Ｐ２００成分およびＮ２００成分に対する重み係数を分類結果に応じて調整する、請求項１に記載の調整装置。
【請求項７】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号の識別に用いられるテンプレートを類型化された前記複数の分類ごとに保持しており、分類結果に応じたテンプレートを利用することにより、前記脳波信号の識別方法を調整する、請求項１に記載の調整装置。
【請求項８】
前記識別方法調整部は、前記ユーザが選択した選択肢に対する脳波信号を識別する際に用いる教示データを分類結果に応じて採択することにより、前記脳波信号の識別方法を調整する、請求項１に記載の調整装置。
【請求項９】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる方法であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
脳波信号の特徴を類型化するための基準データを用意するステップと、
前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、
前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップと
を包含する、調整方法。
【請求項１０】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられるコンピュータプログラムであって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、
脳波信号の特徴を類型化するための基準データを予め保持するステップと、
前記基準データおよび前記複数の選択肢に対する脳波信号に共通する特徴量を用いて、計測された前記脳波信号が、類型化された複数の分類のいずれに属するかを判定するステップと、
前記分類結果に応じて、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップと
を実行させる、コンピュータプログラム。
【請求項１１】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる装置であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
(ｉ)前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択し、
(ｉｉ)基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出する特徴量抽出部と、
前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整する識別方法調整部と
を備えた脳波識別方法の調整装置。
【請求項１２】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる方法であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択するステップと、
基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、
前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップと
を包含する、脳波識別方法の調整方法。
【請求項１３】
機器の動作に関連する複数の選択肢を画面上に提示し、各選択肢をハイライトする出力部と、
ユーザの脳波信号を計測する脳波計測部と、
各選択肢がハイライトされた各タイミングを起点とした前記脳波信号の事象関連電位から、前記ユーザが選択したいと考えている選択肢に対する事象関連電位を予め定められた所定の識別方法を用いて識別し、機器の動作を決定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられるコンピュータプログラムであって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、
前記選択肢に対する脳波信号から、２以上の選択肢の脳波信号を選択するステップと、
基準データを予め保持し、前記基準データおよび前記選択した脳波信号に共通する特徴量を抽出するステップと、
前記ユーザが選択した選択肢に対する脳波信号を識別する際に、求めた前記特徴量に応じた重み付けを行うよう、前記ユーザが選択した選択肢に対する脳波信号の識別方法を調整するステップと
を実行させる、コンピュータプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009139119.tif 000031
【図２】
2009139119.tif 000032
【図３】
2009139119.tif 000033
【図４】
2009139119.tif 000034
【図５】
2009139119.tif 000035
【図６】
2009139119.tif 000036
【図７】
2009139119.tif 000037
【図８】
2009139119.tif 000038
【図９】
2009139119.tif 000039
【図１０】
2009139119.tif 000040
【図１１】
2009139119.tif 000041
【図１２】
2009139119.tif 000042
【図１３】
2009139119.tif 000043
【図１４】
2009139119.tif 000044
【図１５】
2009139119.tif 000045
【図１６】
2009139119.tif 000046
【図１７】
2009139119.tif 000047
【図１８】
2009139119.tif 000048
【図１９】
2009139119.tif 000049
【図２０】
2009139119.tif 000050
【国際調査報告】
2009139119.tif 000051
2009139119.tif 000052
2009139119.tif 000053