(57)【要約】【課題】脳波を利用するインタフェースを備えたシステムにおいて、ユーザがメニュー選択のための脳波を出していたかどうかを判定し、ユーザが意図しない機器動作を減少させる。【解決手段】  脳波識別方法の調整装置は、脳波インタフェースシステムに用いられる。当該システムは、脳波信号を取得する生体信号計測部と、操作メニューを構成する複数のメニュー項目の各々を逐次提示し、各メニュー項目がハイライトされた後の脳波信号に含まれる事象関連電位の成分を識別し、識別された事象関連電位に基づいて機器を動作させる脳波インタフェース部とを有する。調整装置は、メニュー項目ハイライト前の事象関連電位の波形の傾きを算出する分析部と、分析部で算出した波形の傾きが閾値よりも大きい場合には、事象関連電位の測定後で、かつ、メニュー項目ハイライト後に得られた事象関連電位を調整する調整部とを備えている。【選択図】図１２
2009199535.tif 000002
【特許請求の範囲】
【請求項１】
機器の操作メニューを視覚的に提示する出力部と、
ユーザの脳波信号を取得する生体信号計測部と、
前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して逐次提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる装置であって、
前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを算出する分析部と、
前記分析部で算出した前記波形の傾きが閾値よりも大きい場合には、前記事象関連電位の測定後であって、かつ、前記メニュー項目がハイライトされた後に得られた事象関連電位を調整する調整部と
を備えた、脳波識別方法の調整装置。
【請求項２】
前記脳波インタフェース部が、前記複数のメニュー項目の各々をランダムに提示するときにおいて、
前記調整部は、前記閾値を０（μＶ／ｓ）として、前記分析部で算出した前記波形の傾きが負であるときは、前記脳波信号を前記脳波インタフェース部における識別対象から除外する、請求項１に記載の調整装置。
【請求項３】
前記分析部は、前記脳波インタフェース部からハイライトの時間間隔ｔ１を示す情報を取得し、前記メニュー項目がハイライトされる時刻ｔよりも予め保持したオフセット値ｔ２だけ前から、前記時刻ｔまでの事象関連電位の波形を切り出す、請求項１に記載の調整装置。
【請求項４】
前記分析部は、切り出した前記事象関連電位の波形の傾きを、最小二乗法によって算出する、請求項３に記載の調整装置。
【請求項５】
前記分析部は、切り出した前記事象関連電位の波形の時間幅に応じて、ローパスフィルタを適用する、請求項４に記載の調整装置。
【請求項６】
前記調整部は、予め計測したユーザごとの閾値を保持し、前記ユーザごとの閾値と、前記分析部で算出された前記波形の傾きとを比較する、請求項１に記載の調整装置。
【請求項７】
前記脳波インタフェース部が、画面上に所定の配列で配置された前記複数のメニュー項目の各々を順に提示するときにおいて、
前記分析部は、前記各メニュー項目のハイライトに対応して、前記各メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを算出し、
前記調整部は、前記分析部で算出した前記波形の傾きの各々と前記閾値とを比較する、請求項１に記載の調整装置。
【請求項８】
前記分析部で算出した前記波形の傾きが所定の負の閾値よりも大きい場合には、前記調整部は、前記事象関連電位の測定後であって、かつ、前記メニュー項目がハイライトされた後に得られた事象関連電位を識別対象から除外するよう前記脳波インタフェース部に指示する、請求項７に記載の調整装置。
【請求項９】
前記調整部は、前記事象関連電位（μＶ）を時間（ｓ）で除算することによって前記波形の傾きを求め、前記負の閾値である−４と比較する、請求項８に記載の調整装置。
【請求項１０】
前記脳波インタフェース部は、パラメータを利用して、前記脳波信号に含まれる事象関連電位の成分を識別しており、
前記分析部で算出した前記波形の傾きが所定の負の閾値よりも小さい場合には、前記調整部は、前記脳波インタフェース部において利用されるパラメータを変更して、前記事象関連電位の測定後であって、かつ、前記メニュー項目がハイライトされた後に得られた事象関連電位の識別基準をより低くする、請求項７に記載の調整装置。
【請求項１１】
前記分析部で算出した前記波形の傾きが所定の負の閾値よりも大きい場合には、前記調整部は、前記脳波インタフェース部において利用されるパラメータを変更して、前記事象関連電位の測定後であって、かつ、前記メニュー項目がハイライトされた後に得られた事象関連電位の識別基準をより高くする、請求項１０に記載の調整装置。
【請求項１２】
前記調整部は、前記分析部で算出した前記波形の傾きが閾値よりも大きい場合には、前記事象関連電位の測定後であって、かつ、前記メニュー項目がハイライトされた後に得られた事象関連電位を識別対象から除外するよう前記脳波インタフェース部に指示する、請求項１に記載の調整装置。
【請求項１３】
機器の操作メニューを視覚的に提示する出力部と、
ユーザの脳波信号を取得する生体信号計測部と、
前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して逐次提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる方法であって、
前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを算出するステップと、
前記算出するステップによって算出された前記波形の傾きが閾値よりも大きい場合には、前記事象関連電位の測定後であって、かつ、前記メニュー項目がハイライトされた後に得られた事象関連電位を調整するステップと
を包含する、調整方法。
【請求項１４】
機器の操作メニューを視覚的に提示する出力部と、
ユーザの脳波信号を取得する生体信号計測部と、
前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して逐次提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられるコンピュータプログラムであって、前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、
前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを算出するステップと、
前記算出するステップによって算出された前記波形の傾きが閾値よりも大きい場合には、前記事象関連電位の測定後であって、かつ、前記メニュー項目がハイライトされた後に得られた事象関連電位を調整するステップと
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳波を利用して機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、ユーザの脳波をリアルタイムで計測し、的確に解析するために、脳波インタフェース使用時のユーザの脳波のうちメニュー項目ハイライト前に出現する陰性成分を用いて、ユーザがメニュー項目の選択のための脳波を出している状態か否かを判定し、選択のための脳波を出していない場合を除去する装置を備えた脳波インタフェースシステムに関する。
【背景技術】
【０００２】
近年、テレビ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザは手を使ってボタン等の入力手段（インタフェース部）を介して入力コマンドを入力し、機器の操作を実現している。しかし、たとえば、家事、育児や運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況ではインタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。
【０００３】
このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献１では、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別するという技術が開示されている。非特許文献１に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ｍｓ後に出現する事象関連電位のＰ３成分を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によって、ユーザは手を使うことなく、選択したいと思った選択肢を特定可能となる。
【０００４】
ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースは、外的な事象として視覚に対する刺激によって得られる事象関連電位を利用する。たとえば、視覚刺激に対する事象関連電位のうちの、いわゆるＰ３成分と呼ばれる成分を利用すると、チャンネルの切り替え、視聴を希望する番組のジャンルの選択、音量の調整などの処理を行うことができる。「Ｐ３成分」とは、事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく標的刺激提示後２５０ｍｓから５００ｍｓの時間帯に出現する陽性成分をいう。
【０００５】
事象関連電位をインタフェースに応用するためには、対象の事象関連電位（たとえばＰ３成分）を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。
【０００６】
識別率が低下する原因は、二つに大別できる。一つ目の原因は、脳波インタフェースに用いる成分（Ｐ３成分等）は脳波に含まれているにも関わらず、Ｓ／Ｎが低いことや識別手法の精度が低いことである。そのため、精度の高い識別が困難になり、識別率が低下する。二つ目の原因は、たとえば被験者の状態に応じて、対象の脳波成分がそもそも出現していないため、識別ができないことである。脳波インタフェースは無理に識別しようとするため、誤った識別結果を出力する。その結果、識別率が低下する。
【０００７】
上述の第一の原因に対しては、脳波に混入するノイズの除去方法、精度の高い識別方法がそれぞれ開発されつつある。たとえば、特許文献１では、バンドパスフィルタを用いて、脳波に含まれるノイズのうち、商用電源ノイズ等の識別対象（事象関連電位）の周波数とは異なる周波数で混入するノイズを除去した後で、識別を行うことで識別率を向上させる技術が開示されている。また、特許文献２では、単純な周波数フィルタでは除去がしにくい眼電等の生体由来のノイズを除去する技術として、眼電が含まれた試行は識別対象から除外することで識別率を向上させる技術が開示されている。
【０００８】
上述の第二の原因に対しては、対象の脳波成分が出現しない環境は排除する、という手法が採られていた。具体的には、従来の実験室条件での実験では、外乱を排除した実験室で課題に集中するよう教示したり、確認ボタンの押下をさせる等によって被験者の状態を統制することで、定常的に反応を出現させるという手法が採られてきた。
【特許文献１】国際公開２００５／００１６７７号パンフレット
【特許文献２】特開平１０−１４６３２３号公報
【非特許文献１】エマニュエル・ドンチン（Ｅｍａｎｕｅｌ  Ｄｏｎｃｈｉｎ）、他２名、“Ｔｈｅ  Ｍｅｎｔａｌ  Ｐｒｏｓｔｈｅｓｉｓ  ：  Ａｓｓｅｓｓｉｎｇ  ｔｈｅ  Ｓｐｅｅｄ  ｏｆ  ａ  Ｐ３００−Ｂａｓｅｄ  Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ  Ｉｎｔｅｒｆａｃｅ”、ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ  ＥＮＧＩＮＥＥＲＩＮＧ、Ｖｏｌ．  ８、２０００年６月
【非特許文献２】入戸野宏、「心理学のための事象関連電位ガイドブック」、北大路書房、２００５年、３２頁
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、テレビやＤＶＤレコーダ等の日常的に用いられる実機の操作に脳波インタフェースを利用する場合には、ユーザが画面表示に集中しているとは限らない。換言すれば、ユーザの脳波には、常にメニュー選択のための脳波が出現しているとは限らない。
【００１０】
たとえば、脳波インタフェースの画面が提示されているにもかかわらずユーザがそれ以外の作業（たとえば家事や育児）を並行して行っている場合に、その作業に気を取られてメニューを見ていないという状況が発生する。このような状況下では、インタフェース画面を常に注視することは難しい。また、ユーザが次に選択するメニュー項目を選んでいる途中にメニュー項目のハイライトが開始されると、メニュー選択のための脳波が出現していないという状況が発生する。ユーザは次に選択するメニュー項目を選ぶために時間を要する。よって脳波インタフェースメニュー提示直後に選択のための脳波が出現すると考えることは難しい。
【００１１】
上述の例は、前述した二つ目の原因である、対象の脳波成分がそもそも出現していないという状況に対応している。このような状況は多く想定し得るため、脳波に基づく識別ができない状況が増加すると考えられる。
【００１２】
ところで、ユーザがメニュー項目を見ていない場合には、ユーザが選択したいと思っているメニュー項目がハイライトされてもＰ３成分は出現しない。しかしながら、たとえばＰ３成分に似た波形のノイズが偶然混入した場合には、ユーザの意図しないメニュー項目が選択されてしまう。これは、実験室条件の実験からは想定されなかった課題であり、脳波を日常的に計測し、インタフェースに利用するとしたときに初めて認識されたものである。
【００１３】
本発明の目的は、日常的に脳波インタフェースが利用され機器が操作される状況下において、ユーザが意図しない機器動作を減少させることにある。
【課題を解決するための手段】
【００１４】
本発明による、脳波識別方法の調整装置は、脳波インタフェースシステムにおいて、脳波インタフェース部の識別方法を調整するために用いられる。前記脳波インタフェースシステムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して逐次提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有しており、前記調整装置は、前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを算出する分析部と、前記分析部で算出した前記波形の傾きが閾値よりも大きい場合には、前記事象関連電位の測定後であって、かつ、メニュー項目がハイライトされた後に得られた事象関連電位を調整する調整部とを備えている。
【００１５】
前記脳波インタフェース部が、複数のメニュー項目の各々をランダムに提示するときにおいて、前記調整部は、前記閾値を０（μＶ／ｓ）として、前記分析部で算出した前記波形の傾きが負であるときは、前記脳波信号を前記脳波インタフェース部における識別対象から除外してもよい。
【００１６】
前記分析部は、前記脳波インタフェース部からハイライトの時間間隔ｔ１を示す情報を取得し、前記メニュー項目がハイライトされる時刻ｔよりも予め保持したオフセット値ｔ２だけ前から、前記時刻ｔまでの事象関連電位の波形を切り出してもよい。
【００１７】
前記分析部は、切り出した前記事象関連電位の波形の傾きを、最小二乗法によって算出してもよい。
【００１８】
前記分析部は、切り出した前記事象関連電位の波形の時間幅に応じて、ローパスフィルタを適用してもよい。
【００１９】
前記調整部は、予め計測したユーザごとの閾値を保持し、前記ユーザごとの閾値と、前記分析部で算出された前記波形の傾きとを比較してもよい。
【００２０】
前記脳波インタフェース部が、画面上に所定の配列で配置された前記複数のメニュー項目の各々を順に提示するときにおいて、前記分析部は、前記各メニュー項目のハイライトに対応して、前記各メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを算出し、前記調整部は、前記分析部で算出した前記波形の傾きの各々と前記閾値とを比較してもよい。
【００２１】
前記分析部で算出した前記波形の傾きが所定の負の閾値よりも大きい場合には、前記調整部は、前記事象関連電位の測定後であって、かつ、メニュー項目がハイライトされた後に得られた事象関連電位を識別対象から除外するよう前記脳波インタフェース部に指示してもよい。
【００２２】
前記調整部は、前記事象関連電位（μＶ）を時間（ｓ）で除算することによって前記波形の傾きを求め、前記負の閾値である−４と比較してもよい。
【００２３】
前記脳波インタフェース部は、パラメータを利用して、前記脳波信号に含まれる事象関連電位の成分を識別しており、前記分析部で算出した前記波形の傾きが所定の負の閾値よりも小さい場合には、前記調整部は、前記脳波インタフェース部において利用されるパラメータを変更して、前記事象関連電位の測定後であって、かつ、メニュー項目がハイライトされた後に得られた事象関連電位の識別基準をより低くしてもよい。
【００２４】
前記分析部で算出した前記波形の傾きが所定の負の閾値よりも大きい場合には、前記調整部は、前記脳波インタフェース部において利用されるパラメータを変更して、前記事象関連電位の測定後であって、かつ、メニュー項目がハイライトされた後に得られた事象関連電位の識別基準をより高くしてもよい。
【００２５】
前記調整部は、前記分析部で算出した前記波形の傾きが閾値よりも大きい場合には、前記事象関連電位の測定後であって、かつ、メニュー項目がハイライトされた後に得られた事象関連電位を識別対象から除外するよう前記脳波インタフェース部に指示してもよい。
【００２６】
本発明による調整方法は、脳波インタフェースシステムにおいて、脳波インタフェース部の識別方法を調整するために用いられる。前記脳波インタフェースシステムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して逐次提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有している。前記方法は、前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを算出するステップと、前記算出するステップによって算出された前記波形の傾きが閾値よりも大きい場合には、前記事象関連電位の測定後であって、かつ、メニュー項目がハイライトされた後に得られた事象関連電位を調整するステップとを包含する。
【００２７】
本発明によるコンピュータプログラムは、脳波インタフェースシステムにおいて、脳波インタフェース部の識別方法を調整するために用いられる。前記脳波インタフェースシステムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して逐次提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有している。前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを算出するステップと、前記算出するステップによって算出された前記波形の傾きが閾値よりも大きい場合には、前記事象関連電位の測定後であって、かつ、メニュー項目がハイライトされた後に得られた事象関連電位を調整するステップとを実行させる。
【発明の効果】
【００２８】
本発明によれば、メニュー項目ハイライト前においてユーザの事象関連電位の波形の傾きが閾値よりも大きい場合に、ユーザがメニュー選択のための脳波を出していないとして、メニュー項目ハイライト後に得られた事象関連電位を識別対象から除外するという方法で識別方法を調整する。これにより、脳波を日常的に計測するインタフェースにおいて問題となる、メニュー項目の見落としによる誤識別がなくなるため、識別率が高く維持できる。よって、脳波の識別ミスによるユーザの意図しない機器動作が減少するため脳波インタフェースの操作性向上を実現できる。
【発明を実施するための最良の形態】
【００２９】
以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェースシステムに組み込まれる識別方法の調整装置の実施形態を説明する。
【００３０】
本願発明者らは、ハイライトされた選択肢（メニュー項目）からユーザがメニュー選択のためにメニュー項目に注目しているときには、メニュー項目ハイライト前の脳波の事象関連電位に陰性シフトが出現することを発見した。事象関連電位の「陰性シフト」とは、事象関連電位が時間を追って正から負の方向へと徐々に値を小さくしていくことをいう。典型的には、事象関連電位の波形を直線近似することにより、その傾きが負になっていることによって確認できる。
【００３１】
本発明では、脳波を利用したインタフェースを備えたシステムにおいて、メニュー項目ハイライト前のユーザ脳波の陰性シフトの有無または陰性シフトの程度に基づき、ユーザがメニュー項目選択のための脳波を出しているかどうかを判定する。そしてユーザがメニュー項目の選択のための脳波を出していない場合には、その後、メニュー項目がハイライトされた後に取得された事象関連電位を識別対象から除外することで、誤識別によるユーザの意図しない機器動作を減少させる。これにより、視線検出装置等を新たに加えることなく、ユーザがメニュー選択のための脳波を出していなかった場合の検出が実現できる。
【００３２】
以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェースシステムに組み込まれる識別方法調整装置の実施形態を説明する。
【００３３】
以下では、まず脳波インタフェースシステムの概要および、ユーザがメニュー選択のための脳波を出しているか否かに特徴的な脳波成分を探索するために、本願発明者らが実施した実験について説明し、その後識別方法調整装置の構成および動作を説明する。
【００３４】
図１は、脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。
【００３５】
脳波インタフェースシステム１は、ユーザ５の脳波信号を利用してＴＶ２を操作するインタフェースを提供するためのシステムである。ユーザ５の脳波信号はユーザが頭部に装着した生体信号計測部５０によって取得され、無線または有線で脳波インタフェース部１００に送信される。ＴＶ２に内蔵された脳波インタフェース部１００は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。
【００３６】
図２は、脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したい番組を見るときの例を示す。
【００３７】
図２（ａ）は、脳波インタフェース部１００がＴＶ２の画面７ａを介してユーザに提示するメニューの例である。図２（ａ）では、画面７ａ−１から画面７ａ−４において、それぞれ「野球」、「天気予報」、「アニメ」、「ニュース」というメニュー項目が順にまたはランダムにハイライトされる様子を示している。本明細書において、図２（ａ）に示した機器操作に関する選択肢群を「メニュー」、選択肢の一つ一つを「メニュー項目」と定義する。メニュー項目をハイライトすることによって、それぞれのメニュー項目がハイライトされた時刻を起点とした事象関連電位が計測可能となる。なお、ハイライトの代わりに、または後述する図６（ｂ）のように、ハイライト７０と共に補助的矢印７１を用いたポインタでメニューを提示してもよい。
【００３８】
図２（ｂ）は、メニュー項目がハイライトされた時刻を起点に計測したユーザの脳波信号の事象関連電位を模式的に示す。今、ユーザは「天気予報」を見たいと考えていたとする。画面７ａ−１から画面７ａ−４までのそれぞれに対応する脳波信号２０１〜２０４のうち、ユーザ５が「天気予報」がハイライトされた画面７ａ−２を見ると、「天気予報」がハイライトされた時刻を起点に潜時約４００−４５０ｍｓに特徴的な陽性の成分が出現する（非特許文献１）。
【００３９】
脳波インタフェース部１００がこのＰ３成分の出現を識別すると、ユーザが選択したいと考えていたメニュー項目「天気予報」の選択が可能となる。図２（ｃ）では、Ｐ３成分を識別した結果、チャンネルが「天気予報」に切り替えられた後の画面７ａ−５を示している。
【００４０】
図３は、脳波インタフェースの処理手順の例を示す（処理手順Ａ）。ステップＳ１０１において、脳波インタフェース部１００はたとえば４つのメニュー項目を含んだ脳波インタフェースメニュー（図２（ａ）の左側）を提示する。ここで、必須ではないが問いかけの文章（図２（ａ）の右側）を脳波インタフェースメニューと共に提示してもよい。ステップＳ１０２において、脳波インタフェース部１００は次にハイライトするメニュー項目を選択する。次にハイライトするメニュー項目はランダムな順序に選択してもよいし、降順に選択してもよい。ステップＳ１０３において、ステップＳ１０２によって選択されたメニュー項目をハイライトする。
【００４１】
ステップＳ１０４において、脳波インタフェース部１００は、ステップＳ１０３においてメニュー項目がハイライトされた時刻を起点に、たとえば５００ｍｓ分のユーザの事象関連電位を計測する。事象関連電位として切り出す区間は、３００−５００ｍｓに出現するＰ３成分が含まれれば、たとえば８００ｍｓ、１０００ｍｓであってもよい。ここでは、図２（ｂ）に模式的に示す脳波信号の事象関連電位２０１〜２０４が計測される。
【００４２】
ステップＳ１０５において、ステップＳ１０４で計測した事象関連電位にＰ３成分が含まれているか否かを識別する。Ｐ３成分の識別は、単純に波形の最大振幅または波形のある区間の平均電位があらかじめ設定した閾値よりも大きいかどうかを判定してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。なお、閾値は、ユーザごとに決定してもよい。ステップＳ１０５でＹｅｓの場合、ステップＳ１０６に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。
【００４３】
ステップＳ１０６において、脳波インタフェース部１００はステップＳ１０５によって選択されたメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行されて、図２（ｃ）に示す画面７ａ−５が表示される。たとえば、図２の例で言えば、天気予報が選択され、天気予報の番組が提示された。
【００４４】
このような脳波インタフェースシステム１によれば、たとえば家事や育児で両手が塞がっている場合にもユーザは手を使わずにＴＶ２等の機器を操作することが可能となる。よって機器の操作性が格段に向上する。
【００４５】
上述の処理では、メニュー項目がハイライトされたタイミングにおいて、ユーザがメニューを見ていない場合や選択するメニュー項目を選ぶ途中段階で選択のための脳波を出していない場合には、ステップＳ１０３においてＰ３成分は計測されない。しかしながら、ステップＳ１０４において取得した事象関連電位にノイズ（たとえば眼電）が混入しＰ３成分に似た波形を示した場合には、ステップＳ１０５においてＰ３成分ありと判定され、ステップＳ１０６においてユーザが意図しないメニュー項目が選択される可能性があった。
【００４６】
別の識別方法として、たとえばそれぞれのメニュー項目がハイライトされた後の事象関連電位を比較し、最もＰ３成分が出現した可能性の高いものを選択するという処理の手順（処理手順Ｂ）を用いたとしても同様にユーザが意図していないメニュー項目が選択される可能性があった。処理手順Ｂを用いた場合には、事象関連電位の比較によってＰ３成分と近いものの選択が可能であるため、多少のノイズが混入しても機器動作が実現できる。
【００４７】
図４に、脳波インタフェースの処理手順Ｂを示す。なお、図３に示す脳波インタフェースの処理手順と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。ステップＳ１０７において、全ての選択項目が少なくとも一度はハイライトされたかどうかにより分岐する。ステップＳ１０７でＹｅｓの場合、ステップＳ１０８に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。
【００４８】
ステップＳ１０８において、ステップＳ１０４で取得したメニュー項目ごとの事象関連電位にＰ３成分が含まれる可能性を計算し、項目ごとに比較をして一番近いメニュー項目をＰ３成分ありと識別し、選択項目として決定する。項目ごとの事象関連電位にＰ３成分が含まれる可能性は、図３中のステップＳ１０４のように、単純に波形の最大振幅値として最大振幅が最大のものを選んでもよいし、ある区間の平均電位の大きさを求め平均電位が最大のものを選んでもよい。また、テンプレートとの相関係数の値が大きいものを選んでもよい。
【００４９】
このように、メニュー項目ごとの事象関連電位を比較し、最もＰ３成分が出現した可能性の高い選択項目を選ぶことで、多少のノイズが混入しても識別が可能な識別方法が実現される。処理手順Ｂを用いた場合も同様である。しかしながら、ユーザがメニューを見ていない場合や選択するメニュー項目を選ぶ途中段階で選択のための脳波を出していない場合にも、Ｐ３成分が含まれている可能性のあるいずれかのメニュー項目が選択されてしまうため、ユーザの意図しないメニュー項目が選択される可能性があった。
【００５０】
これらのユーザが意図しないメニュー項目の選択は、いずれもユーザがメニュー選択のための脳波を出していたかどうかを機器側が判定できないために発生する。メニュー選択のための脳波を出していたか否かの判定が可能であれば、メニュー選択のための脳波を出していない場合には識別対象から除外するなど識別方法の調整によって、これらの意図しない機器動作をなくすことができる。
【００５１】
本願発明者らは、脳波インタフェースを利用するユーザのメニュー項目ハイライト前の脳波が陰性シフトしていたか否かを判定することで、ユーザがメニュー選択のための脳波を出しているかどうかの判定が可能であることを発見した。これにより、視線検出装置等を新たに加えることなく、ユーザがメニュー選択のための脳波を出していなかった場合の検出が実現できる。以下、図５から図１１を参照しながら本願発明者らが実施した実験および実験結果について説明する。
【００５２】
実験は、２名の参加者（男性）に対して、ハイライトの方法を変えて、ランダムな順番でメニュー項目のハイライトを行うランダム実験と、降順にハイライトを行う降順実験の２種類を実施した。脳波は頭皮上Ｐｚ（国際１０−２０法）から右耳朶を基準に計測した。また、視覚刺激は被験者の目前２ｍの３７インチプラズマディスプレイに提示した。
【００５３】
まず、ランダム実験について説明する。ランダム実験では、ユーザが選択のための脳波を出しているか否かによる波形の違いを調べるために、メニュー選択のための脳波を出す条件／出さない条件の２条件で実験を実施し、メニュー項目ハイライト前の波形を比較した。
【００５４】
はじめに、図５を参照しながらランダム実験の機器側のフローを説明する。機器側のフローは、メニュー選択のための脳波を出すか出さないかの条件に関わらず、同様である。
【００５５】
ステップＳ５０は、被験者の脳波計測を開始するステップである。
【００５６】
ステップＳ５１は、脳波インタフェースメニューの４つのメニュー項目を提示し、メニュー項目の種類をユーザに示すステップである。図６（ａ）に実際に被験者に提示したメニュー項目を簡略化して示す。我々の実験では２秒間提示した。なお、ステップＳ５１は、メニュー項目ハイライト開始の前に脳波を安定させ、眼電等のノイズを低減させる効果もある。
【００５７】
ステップＳ５２は、次にハイライトするメニュー項目をランダムに選択するステップである。なお、同一のメニュー項目は連続で選択しないようにした。
【００５８】
ステップＳ５３は、ステップＳ５２で選択したメニュー項目を１０００ｍｓ間ハイライトするステップである。ハイライトの例を図６（ｂ）に示す。
【００５９】
ステップＳ５４は、ステップＳ５３でメニュー項目がハイライトされた時刻を０ｍｓとしてハイライト前の脳波を切り出し、事象関連電位を取得するステップである。切り出す事象関連電位は、一つ前のハイライトに対する影響が少ないハイライト前６００ｍｓからハイライトがされるまでの６００ｍｓ間とした。
【００６０】
ステップＳ５５は、メニュー項目がハイライトされた回数ｎによる分岐で、ハイライトの回数が２０回以下の場合にはステップＳ５２に進み、メニュー項目のハイライトを繰り返す。これによって、メニュー項目ごとに５回（２０回÷４メニュー項目）ずつハイライトを実行する。これは、実験的に事象関連電位を繰り返し加算平均して、成分の確認をより確実に行うためのステップである。なお、実際に脳波インタフェースを利用する場合にはステップＳ５５は必ずしも実行しなくてもよい。
【００６１】
前述のステップＳ５０からステップＳ５５によって、各メニュー項目が５回程度ずつハイライトされたときの、ハイライトを起点とした事象関連電位が２０試行分収録できる。
【００６２】
次に、図７を用いてランダム実験の参加者側のフローを説明する。
【００６３】
図７（ａ）は、メニュー選択のための脳波を出す条件（選択条件）の参加者側のフローを示した図である。
【００６４】
ステップＳ６１は、図５中のステップＳ５１によって提示されたメニューを見るステップである。被験者はメニュー項目の上から順に選択するようあらかじめ指示されており、ここで選択対象のメニュー項目に視線を移動する。選択対象項目の指示は、実際に脳波インタフェースを用いる場合にユーザが実現したいと思う機器動作にあたる。
【００６５】
ステップＳ６２は、選択対象のメニュー項目を注視し、図５（ａ）中のステップＳ５２からＳ５５によって提示されるメニュー項目のハイライトを見て、選択対象のメニュー項目がハイライトされることを待つ状態である。
【００６６】
ステップＳ６３は、ステップＳ６１で選択対象のメニュー項目がハイライトされたかどうかによる分岐で、ステップＳ６３でＹｅｓの場合はステップＳ６４へ、Ｎｏの場合はステップＳ６２に進む。
【００６７】
ステップＳ６４は、ステップＳ６１で選択対象のメニュー項目がハイライトされた回数をメンタルカウントするステップである。メンタルカウントとは、心の中で数をカウントすることである。これにより事象関連電位にＰ３成分が発生することが知られている。
【００６８】
ステップＳ６５は、所定回数のハイライトが終了したかどうかによる分岐で、ステップＳ６５でＹｅｓの場合には終了へ、Ｎｏの場合にはステップＳ６２へそれぞれ進む。
【００６９】
図７（ｂ）は、メニュー選択のための脳波を出さない条件（選択不実行条件）の参加者側のフローを示した図である。図７（ａ）に示す選択条件と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
【００７０】
選択条件との差異は、メニュー選択のための脳波を出すためのステップＳ６３およびステップＳ６４がない点である。これにより、参加者はハイライトされるメニュー項目を選択意図を持たずにただ見ているだけの状態となる。
【００７１】
実験結果の一例を図８に示す。図８は、ハイライト前６００ｍｓの事象関連電位の総加算平均波形である。分析対象の事象関連電位はハイライト前の区間であるため、ハイライトが選択対象項目であったか否かに関わらず、全てのハイライト前の事象関連電位を加算平均した。なお、ハイライト前５０ｍｓの平均電位でベースライン補正を行い、振幅の最大値が１００μＶを超えた試行は眼電等のノイズが混入した可能性があるため、識別対象から除外した。図８中に、選択条件の総加算平均波形および選択不実行条件の総加算平均波形を、それぞれ太実線および細実線で示した。横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。選択条件では、０ｍｓ（次ハイライト開始）に向かって波形が陰性にシフトしているが、選択不実行条件では、陰性シフトは見られない。最小二乗法を用いて総加算平均波形の傾きを求めた結果、選択条件、選択不実行条件において−７．７４μＶ／ｓ、１．６５μＶ／ｓであった。傾きを図８中にそれぞれ太点線、細点線で示す。
【００７２】
この陰性シフトは、次のハイライトに対する準備状態を反映して、選択条件でのみ出現する成分であると考えられる。よって、メニュー項目がランダムにハイライトされる脳波インタフェースでは、ハイライト前の陰性シフトの有無に基づき、ユーザがメニュー選択のための脳波を出していたか否かが判定可能となる。陰性シフトの有無の判定は、算出した傾きの符号によって容易に特定されるが、これは、傾き０を閾値としたときの、閾値と算出した傾きとの比較結果と同義である。
【００７３】
一般的に刺激に対する準備状態を反映する陰性シフトとして、ＣＮＶ（Ｃｏｎｔｉｎｇｅｎｔ  Ｎｅｇａｔｉｖｅ  Ｖａｒｉａｔｉｏｎ）と呼ばれる随伴性陰性電位が出現することが知られている。ＣＮＶ成分は予告刺激の後、命令刺激を待っている状態で記録される穏やかな陰性電位であり、予期、注意、意欲、動機づけなどの心理的要因と強く関連するとされている（例えば、丹羽真一、鶴紀子：「事象関連電位  事象関連電位と神経情報科学の発展」、新興医学出版社、１９９７年、Ｐ１８９参照）。しかしながら、脳波インタフェース利用時にユーザがメニュー選択のための脳波を出していたかどうかに関連して陰性シフト量に差が生じることは知られていなかった。
【００７４】
次に、降順実験について説明する。ランダム実験とは異なり、メニュー項目を降順にハイライトする降順実験では、ユーザは次にハイライトされるメニュー項目の予期が可能で全てのハイライトに対して選択対象であったか否かの判定を行うためにハイライトを待ち構える必要がない。そこで、降順実験では、ユーザがメニュー選択のための脳波を出す条件で実験を実施し、ハイライトに対する構えの違いが陰性シフトに及ぼす影響を調べる。また、ハイライト前の脳波から選択対象のメニュー項目が判定可能か否かを調べる。
【００７５】
はじめに、図９を用いて降順実験の機器側のフローを説明する。図５に示すランダム実験と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
【００７６】
ランダム実験との差異は、メニュー項目を降順に、３５０ｍｓずつハイライトする点である。
【００７７】
ステップＳ７１は、次にハイライトするメニュー項目を降順に選択するステップである。
【００７８】
ステップＳ７２は、ステップＳ７１で選択したメニュー項目を３５０ｍｓ間ハイライトするステップである。
【００７９】
ステップＳ７３は、ステップＳ７２でメニュー項目がハイライトされた時刻を０ｍｓとしてハイライト前５００ｍｓからハイライトがされるまでの５００ｍｓ間の脳波を切り出し、事象関連電位を取得するステップである。
【００８０】
次に、図１０を用いて降順実験の参加者側のフローを説明する。
【００８１】
図１０は、降順実験の参加者側のフローを示した図である。図７に示すランダム実験の参加者側のフローと同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。降順実験では、参加者がメニュー選択のための脳波を出す選択条件で実験を実施した。
【００８２】
図７に示したランダム実験の参加者側のフローとの差異は、降順実験では次にハイライトされるメニュー項目の予期が可能であるため、ランダム実験のように毎回のハイライトに対して選択対象メニュー項目であったか否かの判定（図７（ａ）のステップＳ６３）を実施しない点である。
【００８３】
降順実験では、参加者は選択対象のメニュー項目がいつハイライトされるかのタイミングの予期が可能である。そのため、予期したタイミングの周辺でのみハイライト検出の準備をして選択対象メニュー項目のハイライトを検出すると考えられる。
【００８４】
ステップＳ８１は、選択対象のメニュー項目の一つまたは二つ（複数）前のメニュー項目がハイライトされたかどうかによる分岐で、ステップＳ８１でＹｅｓの場合はステップＳ８２へ、Ｎｏの場合はステップＳ６２へ進む。
【００８５】
ステップＳ８２は、ステップＳ８１で選択対象メニュー項目の一つまたは二つ（複数）前のメニュー項目がハイライトされたことを受け、メンタルカウントの準備をするステップである。
【００８６】
ステップＳ８３は、選択対象のメニュー項目ハイライトを検出する分岐で、ステップＳ８３でＹｅｓの場合はステップＳ６４へ、Ｎｏの場合はステップＳ８２へ進む。
【００８７】
実験結果の一例を図１１に示す。図１１は、各メニュー項目ハイライト前５００ｍｓからハイライトがされるまでの５００ｍｓ間の事象関連電位を選択対象メニュー項目からいくつ前のメニュー項目であったかに基づいて総加算平均（２名）した波形である。なお、ハイライト前５０ｍｓの平均電位でベースライン補正を行い、振幅の最大値が１００μＶを超えた試行は眼電等のノイズが混入した可能性があるため、識別対象から除外した。図１１中には、０ｍｓにおいて選択対象のメニュー項目がハイライトされた場合の総加算平均波形（以下、波形０とする）を太実線で、選択対象項目の一つ前、二つ前、三つ前のメニュー項目がハイライトされた場合の総加算平均波形（以下、波形１、波形２、波形３とする）を細実線で示した。図１１より、０ｍｓにおいて選択対象のメニュー項目がハイライトされる前の総加算平均波形（波形０）のみ陰性にシフトしていることが分かる。また、最小二乗法を用いて、それぞれの総加算平均波形の傾きを求めた結果、波形０の傾きは、−７．８５μＶ／ｓ、波形１から波形３の傾きはそれぞれ、５．５６μＶ／ｓ、−０．７８μＶ／ｓ、２．８２μＶ／ｓであった。傾きを図１１中に重ねて示す。波形０と、波形１〜３とを識別する傾きの閾値として、たとえば−４を採用することができる。
【００８８】
波形０において出現した陰性シフトは、降順実験のようにメニュー項目ハイライトの予期が可能な設定でハイライトを実施する場合に、選択対象のメニュー項目のハイライトに対する準備状態を反映していると考えられる。また、選択対象のメニュー項目以外がハイライトされた場合には、陰性シフトは出現しない。ゆえに、メニュー項目ハイライトの予期が可能な設定において、メニュー項目ハイライト前の事象関連電位が陰性にシフトしていたか否かに基づき、メニュー項目ハイライト前にユーザがどのメニュー項目を選択していたかを判定が可能であると言える。また、メニュー項目ハイライトの予期が可能な設定でハイライトを実施する場合には、少なくとも１つのメニュー項目ハイライト前において、波形が陰性シフトしていれば、ユーザは選択のための脳波を出していると判定してもよい。
【００８９】
以下に、本発明による識別方法調整装置およびその調整装置を含む脳波インタフェースシステムを説明する。識別方法調整装置は、脳波インタフェース使用時のユーザ脳波のメニュー項目ハイライト前の事象関連電位の傾きを算出する。そして、算出した傾きに基づき、ユーザがメニュー選択のための脳波を出していたか否かを判定し、ユーザがメニュー選択のための脳波を出していない場合には識別対象から除外することでユーザが意図しない機器動作を減らすことが可能となる。
【００９０】
（実施形態１）
図１２は、本実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す。脳波インタフェースシステム１は、出力部７と、識別方法調整装置１０と、生体信号計測部５０と、脳波インタフェース（ＩＦ）部１００とを有している。図１２はまた、調整装置１０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。なお、出力部７は、ユーザ５にメニュー等を提示する画面を示す。
【００９１】
ユーザ５は、脳波インタフェース部１００によって出力部７に提示される機器操作に関するメニュー項目がハイライトされるかどうかに注意して見ているだけで操作入力はしないが、脳波インタフェース部１００を介して選択されたメニュー項目に応じて機器が動作するものとする。
【００９２】
識別方法調整装置１０は、有線または無線で生体信号検出部５０および脳波インタフェース部１００と接続され、信号の送信および受信を行う。図１２においては、生体信号検出部５０および脳波インタフェース部１００は識別方法調整装置１０とは別体であるが、これは例である。生体信号検出部５０および脳波インタフェース部１００の一部または全部を、識別方法調整装置１０内に設けてもよい。
【００９３】
生体信号検出部５０は、ユーザ５の生体信号を検出する脳波計であり、生体信号として脳波を計測する。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ５はあらかじめ脳波計を装着しているものとする。
【００９４】
ユーザ５の頭部に装着されたとき、その頭部の所定の位置に接触するよう、生体信号計測部５０には電極が配置されている。電極の配置は、たとえばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ５の鼻根部になる。ただし、電極は最低２個あればよく、たとえばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
【００９５】
この結果、生体信号計測部５０はユーザ５の事象関連電位を測定することができる。測定されたユーザ５の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース部１００および識別方法調整装置１０に送られる。なお、脳波に混入するノイズの影響を低減するため、生体信号計測部５０においては計測される脳波は、あらかじめたとえば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目ハイライト前のたとえば５０ｍｓの平均電位でベースライン補正されているものとする。
【００９６】
脳波インタフェース部１００は、機器操作に関するメニュー項目をランダムな順序でたとえば１秒間隔でユーザに提示し、生体信号計測部５０で計測された脳波を切り出して識別する。そして識別結果に応じて機器動作を制御する。脳波インタフェース部１００における基本的な動作は前述の通りである。
【００９７】
脳波インタフェース部１００を利用して制御する機器が、たとえば図１に示すＴＶ２であるとすると、メニューは出力部７を介してユーザ５に提示される。
【００９８】
脳波インタフェース部１００は、メニュー項目がハイライトされた時刻を起点に、生体信号計測部５０で計測されたユーザ５のメニュー項目ハイライト後の脳波をたとえばＰ３成分のピーク潜時よりも長い５００ｍｓ分を切り出し、波形を識別する。脳波を切り出す時間は波形のピークからも戻りの部分も考慮して１０００ｍｓ分であってもよい。事象関連電位を識別する方法は、単純に波形を閾値処理してもよいし、特許文献２に記載のようにあらかじめユーザごとに計測したＰ３成分の加算平均波形で作成したテンプレートとの相関係数を算出してもよい。識別のためのパラメータは後述する方法によって識別方法調整装置１０によって調整される。
【００９９】
次に、本実施形態による識別方法調整装置１０の詳細な構成を説明する。本発明の主要な特徴のひとつは、識別調整装置１０の構成および動作にある。
【０１００】
識別方法調整装置１０は、陰性シフト量分析部１１と、識別方法調整部１２とを有している。
【０１０１】
陰性シフト量分析部１１は、脳波インタフェース部１００から、メニュー項目ハイライトの間隔を示す情報を取得する。また、陰性シフト量分析部１１は、生体信号計測部５０で計測されたユーザ５のメニュー項目ハイライト前で、かつ、前のメニュー項目ハイライトの影響の少ない時間帯の脳波信号（より詳細には事象関連電位）の情報を受け取り、事象関連電位の波形を切り出して波形の傾きを算出する。
【０１０２】
ここで、「影響の少ない時間帯」とは、たとえばメニュー項目ハイライトの間隔を１秒（１０００ｍｓ）とし、ハイライトされる基準時刻を０ｍｓとすると、陰性シフト量分析部１１は−６００ｍｓから０ｍｓの事象関連電位の波形を切り出す。そして陰性シフト量分析部１１は、さらに２Ｈｚのローパスフィルタをかけた後に波形の傾きを算出する。この「６００ｍｓ」という値については、陰性シフト量分析部１１は、基準時刻から遡って切り出し開始時刻を特定するためのオフセット値として保持しているとする。
【０１０３】
波形の傾きの算出には、たとえば最小二乗法を用いる。波形を切り出す区間は、メニュー項目ハイライトの間隔に応じて、一つ前のメニュー項目ハイライトの影響が少ない時間帯であればよい。なお、陰性シフト量の判定は、ハイライトごとに１試行分の波形から算出してもよいし、これまでのハイライトに対する波形を加算平均した波形から算出してもよい。
【０１０４】
識別方法調整部１２は、陰性シフト量分析部１１から受け取った波形の傾きが、たとえば閾値以下であったかどうかを判定する。閾値は、たとえばユーザごとに算出してもよいし、予め、たとえば０μＶ／ｓとしてもよい。
【０１０５】
波形の傾きが閾値以下の場合、識別方法調整部１２は何も実行しない。脳波インタフェース部１００は、生体信号計測部５０からメニュー項目ハイライト後、所定期間内（たとえば０〜５００ｍｓ）の事象関連電位に基づいて、選択されたメニュー項目を特定する。
【０１０６】
一方、波形の傾きが閾値以上の場合には、識別方法調整部１２は脳波インタフェース部１００における脳波識別方法を調整する。波形の傾きが閾値以上であるということは、ユーザ５はメニュー選択のための状態にない、すなわちメニュー選択を行っている脳波が出現していないと判断されるためである。
【０１０７】
脳波識別方法の調整とは、たとえば脳波インタフェース部１００が識別を実施するかどうかを決定する識別フラグを保持していた場合、そのフラグを更新し、識別対象から除外したり、識別対象に加える処理をいう。識別方法調整部１２は、脳波インタフェース部１００に対してそのような動作を行うよう指示する。
【０１０８】
このように構成することで、ユーザがメニュー項目選択のための脳波を出していたかどうかをハイライト前の脳波の陰性シフト量を指標に判定ができるので、ユーザがメニュー選択のための脳波を出していない場合の試行を識別対象から除外するという識別方法の調整が可能となる。これによって、ユーザが意図しない機器動作を減少し、ユーザにとって使いやすい脳波インタフェースが実現できる。
【０１０９】
次に、図１３のフローチャートを参照しながら、図１２の脳波インタフェースシステム１において行われる全体的な処理手順を説明する。
【０１１０】
図１３は、脳波インタフェースシステム１において、ユーザがメニュー選択のための脳波を出しているかどうかの判定を行い、メニュー選択のための脳波を出していない場合を識別対象から除外するという機能を付加した脳波インタフェースの処理手順を示す。なお、図１３に示すステップＳ１０１からステップＳ１０６は、図３に示す脳波インタフェースの処理手順と同じである。よって、以下ではそれらの説明は省略する。
【０１１１】
図３の脳波インタフェースの処理手順との差異は、ユーザがメニュー項目の選択のための脳波を出していたかどうかを判定するステップＳ２０を設けたことである。ステップＳ２０において、識別方法調整装置１０は生体信号計測部５０で計測したユーザ５のメニュー項目ハイライト前の脳波波形の傾きからユーザ５がメニュー項目の選択のための脳波を出していたかどうかを判定する。ユーザ５がメニュー選択のための脳波を出していたと判定した場合（ステップＳ２０でＹｅｓ）はステップＳ１０５に進み、ステップＳ１０４で計測した事象関連電位にＰ３成分が出現しているかどうかの識別を実施する。また、ユーザ５がメニュー選択のための脳波を出していないと判定した場合（ステップＳ２０でＮｏ）は事象関連電位の識別は実施せず、ステップＳ１０２に進み、次のメニュー項目ハイライトに向けてハイライトする項目を選択する。ステップＳ２０の詳細な処理について、図１４を参照しながら説明する。
【０１１２】
図１４は、識別方法調整装置１０を構成する陰性シフト量分析部１１と識別方法調整部１２によって実現される、ユーザ５がメニュー項目の選択のための脳波を出していたかどうかを判定する詳細な手順を示す。
【０１１３】
すなわち、図１４中の、ステップＳ２１において、陰性シフト量分析部１１は生体信号計測部５０で計測されたユーザ５のメニュー項目ハイライト前の脳波を切り出す。脳波を切り出す区間は、メニュー項目ハイライトの間隔に応じて、一つ前のハイライトの影響が少ないようにたとえばハイライト間隔が１秒の場合には−６００から０ｍｓとしてもよい。
【０１１４】
ステップＳ２２において、陰性シフト量分析部はステップＳ２１で切り出したユーザ５の脳波にローパスフィルタをかける。ハイライト前に出現する陰性シフトはゆるやかな成分であるため、ローパスフィルタの遮断周波数は例えば２Ｈｚとしてもよい。遮断周波数は、ステップＳ２１で切り出した波形の長さ、サンプリング周波数に応じて、例えば０．５Ｈｚや１Ｈｚ、３Ｈｚとしてもよい。
【０１１５】
ステップＳ２３において、陰性シフト量分析部１１はステップＳ２２でローパスフィルタ処理した波形の傾きを算出する。傾きは、最小二乗法を用いて算出してもよいし、単純に切り出した波形の始めと終わりの数十ｍｓのデータを用いて算出してもよい。求めた波形の傾きを識別方法調整部１２に送付する。
【０１１６】
ステップＳ２４において、識別方法調整部１２は、あらかじめ保持した閾値とステップＳ２３で陰性シフト量分析部１１によって算出されたメニュー項目ハイライト前の事象関連電位の傾きとを比較し、閾値よりも小さいかどうかによって分岐する。差分が閾値以下の場合はＹｅｓとしてステップＳ２５に、閾値以上の場合はＮｏとしてＳ２６にそれぞれ進む。閾値は、ユーザごとに求めてもよいし、単純にたとえば０μＶ／ｓとしてもよい。
【０１１７】
ステップＳ２５、ステップＳ２６において、それぞれ、メニュー選択のための脳波を出していると判定、メニュー選択のための脳波を出していないと判定する。
【０１１８】
このような処理によって、ユーザがメニュー選択のための脳波を出しているかどうかによって識別方法が調整され、ユーザの意図しない機器動作の減少が実現できる。
【０１１９】
なお、ユーザがメニュー選択のための脳波を出していない場合に、脳波が出ていないことを示すアラート提示するなど、メニュー選択のための脳波を出していないことの検出によって様々な機器動作は可能となる。
【０１２０】
本実施形態の脳波インタフェースシステム１に識別方法調整装置１０を設けることにより、脳波インタフェースを利用するユーザ５のメニュー項目ハイライト前の脳波波形の傾き（陰性シフト量）からユーザ５がメニュー項目のハイライトのための脳波を出していたかどうかが判定できる。これによって、メニュー選択のための脳波を出していない場合には識別対象から除外するという識別方法の調整が可能となり、ユーザの意図しない機器動作の減少が実現できるため、使いやすいインタフェースが実現できる。
【０１２１】
（実施形態２）
実施形態１による脳波インタフェースシステム１では、脳波インタフェース部１００はメニュー項目をランダムな順序でハイライトし、ハイライト前の陰性シフト量に基づいてユーザがメニュー選択のための脳波を出しているかどうかを判定し、メニュー選択のための脳波を出していない場合には識別対象から除外することで、ユーザの意図しない機器動作の減少を実現していた。しかし、ランダムな順序でハイライトした場合には、ハイライト前の陰性シフトのみに基づいて選択対象のメニュー項目を特定することはできず、必ずハイライト後の事象関連電位により判定する必要があった。
【０１２２】
メニュー項目を降順にハイライトした場合には、前述の降順実験の結果より、ハイライトごとに算出したメニュー項目ハイライト前の陰性シフト量を指標に、ユーザが選択したメニュー項目の推定が可能である。
【０１２３】
本実施形態による脳波インタフェースシステムでは、メニュー項目を降順にハイライトし、ハイライトごとにハイライト前の事象関連電位の傾き（陰性シフト量）を算出し、選択対象のメニュー項目がどれであったかの見当をつけ、脳波インタフェース部１００におけるＰ３成分識別のパラメータを調整する。このように、ハイライト前の陰性シフト量を用いてハイライト後のＰ３成分の識別方法を調整することで、たとえば、ハイライト後の時間帯に眼電等のノイズが混入した場合にも、誤識別が少なく操作性に優れた脳波インタフェースを実現できる。
【０１２４】
図１５は、本実施形態による脳波インタフェースシステム２の機能ブロックの構成を示す。図１５はまた、識別方法調整装置２０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。
【０１２５】
脳波インタフェースシステム２が脳波インタフェースシステム１（図１２）と相違する点は、識別方法調整装置２０の構成のうち陰性シフト量分析部１１を陰性シフト量逐次分析部２１に、識別方法調整部１２を識別パラメータ調整部２２に変更したことにある。
【０１２６】
ただし、変更後の陰性シフト量逐次分析部２１および識別パラメータ調整部２２の基本的な機能は実施形態１と類似している。後述のように、陰性シフト量逐次分析部２１はメニュー項目がハイライトされる前の事象関連電位の波形の傾きを算出する。また、識別パラメータ調整部２２は、算出された波形の傾きが閾値よりも大きい場合には、事象関連電位の測定後であって、かつ、メニュー項目がハイライトされた後に得られた事象関連電位を識別対象から除外するよう脳波インタフェース部に指示する。
【０１２７】
なお、脳波インタフェースシステム２の構成要素のうち、脳波インタフェースシステム１と同じ構成要素については同じ参照符号を付しその説明を省略する。脳波インタフェース部１００では、メニュー項目を降順にハイライトする設定とする。
【０１２８】
陰性シフト量逐次分析部２１は、生体信号計測部５０において計測した脳波のうちハイライト前の脳波を切り出し、ローパスフィルタをかけた後に、ハイライトごとに波形の傾きを逐次算出する。脳波を切り出す時間幅は、脳波インタフェース部１００からメニュー項目のハイライトが一巡する間隔を取得し、たとえばその半分程度としてもよい。メニュー項目のハイライトが一巡する間隔とは、たとえばハイライト間隔が３５０ｍｓでメニュー項目が４項目の場合、３５０×４＝１４００ｍｓである。この場合、脳波を切り出す時間幅は５００ｍｓ程度でよい。ローパスフィルタは、切り出す時間に応じて、たとえば２Ｈｚに設定してもよい。波形の傾きの算出には、たとえば最小二乗法を用いる。
【０１２９】
識別パラメータ調整部２２は、陰性シフト量逐次分析部２１から受け取った波形の傾きが、たとえば閾値よりも小さいかどうかを判定し、脳波インタフェース部１００の判別パラメータを更新する。閾値は、ユーザごとに算出してもよいし、予め、たとえば０μＶ／ｓのように設定してもよい。たとえば、あるハイライト前の波形の傾きが閾値よりも小さい場合、識別パラメータ調整部２２は、脳波インタフェース部１００の判別パラメータを、ハイライト後にＰ３成分が含まれたと判定されやすくなるよう、たとえばＰ３成分識別の閾値を下げる、すなわち識別基準を低くする、などの方法で変更する。逆に、波形の傾きが閾値以上の場合、Ｐ３成分が含まれていないと判定されやすくなるよう、たとえばＰ３成分識別の閾値を上げてもよいし、またはその後の事象関連電位はＰ３成分識別のために利用しないよう、脳波インタフェース部１００に指示する。なお、その後の事象関連電位はＰ３成分識別のために利用しないようにするためには、閾値を十分大きくする、すなわち識別基準を高くすることによっても対応できる。なお、陰性シフト量に応じてＰ３成分識別の閾値変更の程度を調整してもよい。
【０１３０】
このように構成することで、ハイライト前の陰性シフト量に基づき、Ｐ３成分識別のパラメータが更新できる。よって、ハイライト前の陰性シフトおよび、ハイライト後のＰ３成分の両方を用いた判定が可能となるため、ユーザが意図しない機器動作が減少し、ユーザにとって使いやすい脳波インタフェースが実現できる。
【０１３１】
次に、図１６のフローチャートを参照しながら、脳波インタフェースシステム２において行われる全体的な処理の手順を説明する。
【０１３２】
図１６は、本実施形態による脳波インタフェースシステム２の処理手順を示す。図１６では、脳波インタフェースシステム１（図１２）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。なお、ステップＳ１０２における項目選択は降順に行うものとする。
【０１３３】
ステップＳ２０１において、陰性シフト量逐次分析部２１は、ステップＳ１０４において生体信号計測部５０で計測した脳波のうちハイライト前の脳波を切り出し、ローパスフィルタをかけた後に、ハイライトごとに波形の傾きを逐次算出する。脳波を切り出す時間幅は、メニュー項目のハイライトが一巡する間隔の半分程度としてもよい。ローパスフィルタは、切り出す時間に応じて、たとえば２Ｈｚに設定してもよい。波形の傾きの算出には、たとえば最小二乗法を用いる。
【０１３４】
ステップＳ２０２において、識別パラメータ調整部２２は、予め保持した閾値とステップＳ２０１で陰性シフト量逐次分析部２１によって逐次算出されたメニュー項目ハイライト前の波形の傾きとを比較し、閾値よりも小さいかどうかによって、脳波インタフェース部１００の識別パラメータを調整する。波形の傾きが閾値よりも小さい場合には、ハイライト後にＰ３成分が含まれたと判定されやすくなるよう、たとえばＰ３成分識別の閾値を下げるなどの変更を行う。逆に、波形の傾きが閾値以上の場合、Ｐ３成分が含まれていないと判定されやすくなるよう、たとえばＰ３成分識別の閾値を上げるなどの方法で変更する。
【０１３５】
このような処理によって、メニュー項目を降順にハイライトし、ハイライトごとにハイライト前の脳波の陰性シフト量を逐次算出し、陰性シフト量に基づいて脳波インタフェース部１００におけるＰ３成分識別のパラメータの調整が可能となる。
【０１３６】
本実施形態の脳波インタフェースシステム２に識別方法調整装置２０を設けることにより、メニュー項目を降順にハイライトし、ハイライトごとにハイライト前の事象関連電位の傾き（陰性シフト量）を逐次算出し、脳波インタフェース部１００におけるＰ３成分識別のパラメータを調整する。このように、ハイライト前の陰性シフト量を用いてハイライト後のＰ３成分の識別方法を調整することで、たとえば、ハイライト後の時間帯に眼電等のノイズが混入した場合にも、誤識別が少なく操作性に優れた脳波インタフェースを実現できる。
【０１３７】
（実施形態３）
実施形態１による脳波インタフェースシステム１では、識別方法調整装置１０において脳波インタフェースシステム使用時の所定の時間帯（時間窓）におけるユーザの脳波の周波数から、ユーザがメニュー項目を見ていたか否かを判定し、メニュー項目を見ていない場合には識別対象から除外することで、ユーザの意図しない機器動作の減少を実現していた。
【０１３８】
しかし、特に時間窓の長さが十分でない場合、代表周波数は背景脳波や眼電・筋電ノイズの影響を受けやすく、たとえばユーザがハイライトを見ていても見ていないと誤判定してしまう可能性がある。実施形態１では代表周波数を絶対的な指標として用いて、識別の要否を「１」か「０」かで決定するため誤判定の場合には正しい識別ができなかった。
【０１３９】
そこで、本実施形態による脳波インタフェースシステムでは、代表周波数によりハイライト後のＰ３成分の識別用パラメータを調整する。これにより、ハイライトを見ていたか否かを誤判定した場合でもハイライト後のＰ３成分によりユーザの選択意図が検出できる可能性が復活し、より精度の高い識別が実現できる。
【０１４０】
図１７は、本実施形態による脳波インタフェースシステム３の機能ブロックの構成を示す。図１７はまた、識別方法調整装置３０の機能ブロックも示している。ユーザ５のブロックは説明のために示されている。
【０１４１】
脳波インタフェースシステム３が脳波インタフェースシステム１（図９）と相違する点は、脳波インタフェース部１００に代えて、Ｐ３識別用パラメータ３０１に基づきＰ３成分の識別パラメータが可変な脳波インタフェース部３００を設け、識別方法調整装置１０に代えて、代表周波数に基づきＰ３成分の識別パラメータを決定する識別方法調整部３１を構成要素に持つ識別方法調整装置３０を設けたことにある。なお、脳波インタフェースシステム３の構成要素のうち、脳波インタフェースシステム１（図９）と同じ構成要素については同じ参照符号を付しその説明を省略する。
【０１４２】
脳波インタフェース部３００は、脳波インタフェース部１００の機能を拡張したもので内部にＰ３識別用パラメータ３０１を持ち、Ｐ３識別用パラメータ３０１に基づいて識別方法を調整してハイライト後のＰ３成分を識別する。
【０１４３】
Ｐ３識別用パラメータ３０１は、ハイライト後のＰ３成分を識別する際に利用するパラメータである。前述のように（図３中のステップＳ１０５）、Ｐ３成分の識別方法は種々あるが、識別パラメータは識別方法に合わせて、たとえば区間平均電位や相関係数に関する閾値としてもよい。
【０１４４】
識別方法調整部３１は、脳波インタフェース部３００から受け取った切り替え周波数（θｓ）と、代表周波数分析部３２から受け取ったユーザ５の脳波周波数パワーが極大となる代表周波数（θｅ）との相対量（差または比）を算出し、両者が互いに関連しているか否かを判定する。互いに関連しているか否かの判定は、サンプリング周波数、周波数分析の時間窓によって決定される周波数分析精度に基づき、たとえばθｓとθｅとの差は０．２Ｈｚ以内か否か、または、θｓとθｅとの比は０．９３以上１．０７以下の範囲内か否か、によって決定すればよい。
【０１４５】
θｓとθｅが互いに関連していると判断した場合には、識別方法調整部３１は何も実行しない。一方両者が互いに関連していないと判断した場合には、識別方法調整部３１は、脳波インタフェース部３００における識別方法を調整する。識別方法の調整とは、脳波インタフェース部３００が保持するＰ３識別用パラメータ３０１に保持した閾値をＰ３成分が検出されにくくなるように変えることである。例えば、脳波インタフェース部３００において区間平均電位を用いて識別を行う場合には、閾値をプラス方向に変化させる。また、相関係数を用いて識別を行う場合には、閾値を１に近づける方向に変化させる。なお、ここではθｓとθｅの関連性をある／なしの二状態で判断したが、二状態に限らずθｓとθｅの一致度に応じて閾値を変化させても良い。
【０１４６】
このように代表周波数によってＰ３成分識別のパラメータを調整することで、ハイライトを見ていたか否かを誤判定した場合でもハイライト後のＰ３成分によりユーザの選択意図が検出できる可能性が復活し、より精度の高い識別が実現できる。
【０１４７】
次に、図１８のフローチャートを参照しながら、脳波インタフェースシステム３において行われる全体的な処理の手順を説明する。
【０１４８】
図１８は、本実施形態による脳波インタフェースシステム３の処理手順を示す。図１８において、脳波インタフェースシステム１（図１２）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
【０１４９】
ステップＳ３０１において、識別方法調整部３１は脳波インタフェース部３００におけるＰ３識別用パラメータ３０１をＰ３成分が検出されにくくなるように調整する。
【０１５０】
ステップＳ３０２において、脳波インタフェース部３００はＰ３識別用パラメータ３０１を参照してＰ３成分検出の閾値を取得し、取得した閾値に基づいてステップＳ１０４で計測された事象関連電位にＰ３成分が出現しているかどうかの識別を実施する。
【０１５１】
このような処理によって、ハイライトを見ていたか否かを誤判定した場合でもハイライト後のＰ３成分によりユーザの選択意図の検出が可能となる。なお、図１８では代表周波数を用いてユーザがハイライトを見ていたか否かを二状態で判定したが、二状態に限らずθｓとθｅの一致度に応じて閾値を変化させてもよい。
【０１５２】
本実施形態の脳波インタフェースシステム３に識別方法調整装置３０を設けることにより、代表周波数に基づいてＰ３成分識別のパラメータの調整が可能となり、代表周波数とＰ３成分を用いた識別が実現できる。代表周波数とＰ３成分はどちらもノイズの影響を受ける可能性があるが、両方を用いることでノイズの影響に強い識別が可能となり、結果としてユーザの意図しない機器動作の減少が実現できる。
【０１５３】
上述の各実施形態については、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。識別方法調整装置を構成する全部または一部の構成要素や、脳波インタフェース部は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。識別方法調整装置の機能を実現するコンピュータプログラムは、脳波インタフェース部の機能を実現するためのコンピュータプログラムを実行するプロセッサによって実行されてもよいし、脳波インタフェースシステム内の他のプロセッサによって実行されてもよい。
【産業上の利用可能性】
【０１５４】
本発明の識別方法調整装置および識別方法調整装置が組み込まれた脳波インタフェースシステムによれば、脳波インタフェースを操作しているユーザのハイライト前の脳波の陰性シフト量によって、ユーザがメニュー選択のための脳波を出していないことが検出可能になる。視線検出装置等を加える必要が無いため、コストを抑え、システムの規模も抑えることが可能である。
【０１５５】
本発明の識別方法調整装置および脳波インタフェースシステムによれば、ユーザがメニュー選択のための脳波を出していない場合を識別対象から除外することで脳波の識別率が向上し、ユーザが意図しない機器動作の減少が実現できる。例えばウェアラブル機器（ヘッドマウントディスプレイや音楽プレーヤなど）を脳波インタフェースで操作する場合には、筋電・眼電・商用電源に由来するノイズが混入し、脳波の識別が難しくなることが想定されるが、本発明の識別方法調整装置の適用により、ノイズの影響を受けにくい脳波インタフェースが実現できる。なお、このような識別方法調整装置の機能は、たとえばコンピュータプログラムによって実現することも可能であるため、システムの大幅な改変をすることなく、容易に実装できる。
【図面の簡単な説明】
【０１５６】
【図１】脳波インタフェースシステム１の構成および利用環境を示す。
【図２】（ａ）〜（ｃ）は、脳波インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したいジャンルの番組を見るときの例を示す図である。
【図３】脳波インタフェースの処理手順Ａの例を示すフローチャートである。
【図４】脳波インタフェースの処理手順Ｂを示すフローチャートである。
【図５】本願発明者らが実施したランダム実験の機器側のフローである。
【図６】（ａ）はメニュー選択のための脳波を出す条件（選択条件）の参加者側のフローを示した図であり、（ｂ）はメニュー選択のための脳波を出さない条件（不選択条件）の参加者側のフローを示した図である。
【図７】（ａ）および（ｂ）は本願発明者らが実施したランダム実験の参加者側のフローである。
【図８】ハイライト前６００ｍｓの事象関連電位の総加算平均波形である。
【図９】本願発明者らが実施した降順実験の機器側の処理フローである。
【図１０】本願発明者らが実施した降順実験の参加者側の処理フローである。
【図１１】降順実験の結果を示す加算平均波形の図である。
【図１２】実施形態１による脳波インタフェースシステム１の機能ブロックの構成を示す図である。
【図１３】実施形態１による脳波インタフェースシステムの処理フローの図である。
【図１４】ステップＳ２０の詳細な処理フローである。
【図１５】実施形態２による脳波インタフェースシステム２の機能ブロックの構成を示す図である。
【図１６】実施形態２による脳波インタフェースシステムの処理フローの図である。
【図１７】実施形態３による脳波インタフェースシステム３の機能ブロックの構成を示す図である。
【図１８】実施形態３による脳波インタフェースシステム３の処理フローの図である。
【符号の説明】
【０１５７】
１    脳波インタフェースシステム
５    ユーザ
７    出力部
７ａ  画面
１０  識別方法調整装置
１１  陰性シフト量分析部
１２  識別方法調整部
２１  陰性シフト量逐次分析部
２２  識別パラメータ調整部
３１  識別方法調整部
５０  生体信号計測部
１００  脳波インタフェース部
【図１】
2009199535.tif 000003
【図２】
2009199535.tif 000004
【図３】
2009199535.tif 000005
【図４】
2009199535.tif 000006
【図５】
2009199535.tif 000007
【図６】
2009199535.tif 000008
【図７】
2009199535.tif 000009
【図８】
2009199535.tif 000010
【図９】
2009199535.tif 000011
【図１０】
2009199535.tif 000012
【図１１】
2009199535.tif 000013
【図１２】
2009199535.tif 000014
【図１３】
2009199535.tif 000015
【図１４】
2009199535.tif 000016
【図１５】
2009199535.tif 000017
【図１６】
2009199535.tif 000018
【図１７】
2009199535.tif 000019
【図１８】
2009199535.tif 000020