(57)【要約】  脳波を利用したインタフェースを備えたシステムにおいて、ユーザに対し、脳波を正確に計測するためのキャリブレーションの負担をなくし、かつ、脳波の識別精度を高く維持することを可能にする。  脳波インタフェース（ＩＦ）システム１は、脳波でユーザの要求を識別し、要求に応じた機能を特定する脳波ＩＦ部（１３）を有する。脳波識別方法調整装置（２、５０）は、ユーザに与えられる刺激の特徴量の変化を検出することにより、刺激の変化を検出する解析部（１４、５２）と、刺激の変化の検出タイミングから後の期間の事象関連電位の波形を蓄積する蓄積部（１５）と、蓄積波形に基づいてユーザの特徴量を抽出する抽出部（１６）と、抽出された特徴量に基づいて、脳波ＩＦ部（１３）における脳波信号に基づく要求の識別方法を調整する調整部（１７）とを備える。
2008059878.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツのデータに基づいてユーザに前記コンテンツを提示する出力部と、
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる装置であって、
前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定して解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出する解析部と、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積する蓄積部と、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するユーザ特徴抽出部と、
抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整する識別方法調整部と
を備えた、脳波識別方法の調整装置。
【請求項２】
前記刺激が、前記ユーザに提示されるコンテンツの映像および／または音声であるときにおいて、
前記解析部は、前記コンテンツのデータを解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出する、請求項１に記載の調整装置。
【請求項３】
前記出力部は、動画データに基づいて複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示し、
前記解析部は、連続する前記複数の画像の画像特徴量の変化を前記コンテンツの特徴量の変化として検出する、請求項２に記載の調整装置。
【請求項４】
前記解析部は、輝度および色相の少なくとも一方の変化を前記コンテンツの特徴量の変化として検出する、請求項３に記載の調整装置。
【請求項５】
前記出力部は、音声データに基づいて音声のコンテンツを提示し、
前記解析部は、前記音声の出力レベルの変化を前記コンテンツの特徴量の変化として検出する、請求項２に記載の調整装置。
【請求項６】
前記出力部は、複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示し、かつ、音声のコンテンツを提示し、
前記解析部は、連続する前記複数の画像の画像特徴量の変化と、前記音声の出力レベルの変化とが同期するときを、前記コンテンツの特徴量の変化として検出する、請求項２に記載の調整装置。
【請求項７】
前記脳波インタフェース部は、予め保持した閾値と、前記脳波信号の事象関連電位の振幅とに基づいてユーザの要求を識別し、
前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の振幅を前記ユーザの特徴量として抽出し、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記閾値を調整する、請求項２に記載の調整装置。
【請求項８】
前記脳波インタフェース部は、予め保持した少なくとも１つの波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、
前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記少なくとも１つの波形のテンプレートを調整する、請求項２に記載の調整装置。
【請求項９】
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記少なくとも１つの波形のテンプレートの値を変化させて前記脳波インタフェース部に設定し、
前記脳波インタフェース部は設定された前記少なくとも１つの波形のテンプレートに基づいて前記ユーザの要求を識別する、請求項８に記載の調整装置。
【請求項１０】
前記脳波インタフェース部は、複数の波形のテンプレートを保持しており、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記複数の波形のテンプレートのうちのひとつを特定し、前記ユーザの要求を識別するためにテンプレートとして前記脳波インタフェース部に設定するよう指示する、請求項８に記載の調整装置。
【請求項１１】
前記脳波インタフェース部は、予め保持した波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、
前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記ユーザの脳波信号の振幅を調整するよう、前記脳波インタフェース部および前記生態信号計測部の一方に指示する、請求項２に記載の調整装置。
【請求項１２】
前記ユーザ特徴抽出部は、前記蓄積部に蓄積された前記事象関連電位の波形の振幅が予め定められた閾値よりも小さい場合には信号を出力し、
前記識別方法調整部は、前記ユーザ特徴抽出部からの信号に基づいて、前記生体信号計測部による脳波信号の取得に関する警告を出力するよう、前記脳波インタフェース部に指示する、請求項２に記載の調整装置。
【請求項１３】
前記刺激が、前記ユーザが存在する環境中の光および／または音であるときにおいて、
前記解析部は、前記環境中の光および／または音を検出し、前記脳波信号に含まれる事象関連電位に影響を与える前記環境中の光および／または音の特徴量の変化を検出する、請求項１に記載の調整装置。
【請求項１４】
コンテンツのデータに基づいてユーザに前記コンテンツを提示する出力部と、
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる方法であって、
前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、
前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、
抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップと
を包含する方法。
【請求項１５】
コンテンツのデータに基づいてユーザに前記コンテンツを提示する出力部と、
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる脳波識別方法調整装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは前記コンピュータに、
前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、
前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、
抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップと
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳波を利用して機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、本発明はユーザの脳波を利用してユーザの心的状態、感情状態、認知状態等を検出して機器操作や情報取得の意図を検出する脳波インタフェースシステムにおいて、脳波を的確に解析するためのキャリブレーションを行う機能を備えた脳波インタフェースシステムに関する。
【背景技術】
【０００２】
これまで、テレビ、携帯電話、ＰＤＡ（Personal Digital Assistant）等の情報機器に代表される様々な種類の機器が提案されている。ユーザはそれらの機器に囲まれて日頃の生活を送り、機器を操作することで所望の情報やサービスを受けている。機器の数が増加の一途を遂げていること、および、機器を使わないと得られない情報が増加していること等を原因として、機器を操作するためのインタフェースの操作性向上の重要性が年々高まっている。【０００３】
例えば、上述の情報機器に関しては、機器の画面を見ながら実行したい操作の選択肢を選択することによって、機器操作が実現されてきた。その操作入力手段として、たとえばボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作する、などの方法が用いられていた。しかし、例えば家事、育児、自動車の運転中など、両手が機器操作以外の作業のために使えない場合は、操作入力手段を利用した入力が困難となり、機器操作が実現できないことがあった。そのため、両手が塞がっている状況でも情報機器を操作したいというユーザのニーズが高まっている。【０００４】
このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献１では、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する脳波インタフェース技術が開示されている。非特許文献１に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ミリ秒後に出現する事象関連電位の波形を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によれば、ユーザは両手がふさがっている状況においても、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択できるため、上述のニーズに合致する機器操作等のインタフェースが実現される。【０００５】
ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象の発生タイミングを起点として計測される、この事象関連電位を利用する。例えば、視覚刺激などに対して発生する事象関連電位の「Ｐ３００」という成分を利用すると、メニューの選択肢が選択できるとされている。「Ｐ３００」とは、起点から約３００ミリ秒付近に現れる事象関連電位の陽性の成分のことである。【０００６】
上述の脳波の波形の出方は個人差が大きいため、事象関連電位をインタフェースの入力手段として用いるためにはこの個人差に対応した精度の高い識別を実現する必要がある。非特許文献１の３２ページは、個人差の一例を示している。また、図５は、同一の課題を３６名の被験者に対して実施した場合の脳波の個人差の一例を示す。各被験者のグラフには２種類の状況に対する脳波が表示され、それぞれ実線と破線によって示されている。図５から明らかなように、個人差によって波形およびピーク位置における振幅が大きく異なるため単一の基準で全てのユーザの識別を精度良く行うことは困難であるといえる。【０００７】
個人差を補正して脳波（生体信号）を精度良く計測するためには計測機器のキャリブレーションを行い、計測機器で計測されたデータがユーザの生体情報を正確に表すように調整することが必要である。たとえば特許文献１では、ユーザの視線を精度良く計測するために、計測機器を装着した時点、すなわち視線計測の前に計測機器のキャリブレーションを行い、計測機器とユーザの視線の間の座標系を整合させる技術が開示されている。【０００８】
一方、事象関連電位の成分に現れる個人差を考慮した適切な識別方法も考案されている。たとえば特許文献２では、ユーザごとに識別方法を変えて識別率を向上させる技術が開示されている。この技術は単一の基準で全てのユーザの識別を行うのではなく、調べたい状況に対する事象関連電位の加算平均波形から事前に個人ごとのテンプレートを作成しておき、そのテンプレートを用いて事象関連電位の成分を識別している。なお、事象関連電位の個人差については、たとえば非特許文献２が詳しい。【０００９】
従来の脳波インタフェースは、体が自由に動かせない方のための研究として進められており、体が自由に動かせなくても脳波が自由に表出できることを利用して機器操作のインタフェースを実現するものである。上述の非特許文献１においては、事象関連電位のＰ３００成分を用いることで、メニューの選択や文字の入力などが可能であることが示されている。これにより、ベッドの近くに常時使用可能な状態で準備されたメニューの表示された画面に向かって、飲み物や手当ての要求を伝えることができた。【００１０】
上述の脳波インタフェースを一般のユーザが日常で使用する機器の操作に応用する場合であっても、個人差の大きい各ユーザの事象関連電位を正確に識別するためには、各ユーザに対するシステムの調整が不可欠である。一般的なキャリブレーションの思想に従えば、脳波インタフェースを使用する前に脳波インタフェースを仮想的に操作する作業を実施してもらい、そのときの波形を記録することにより、実際に脳波インタフェースを使用した時の識別のための情報として使用する方法が考えられる。
【特許文献１】特開２００５−３１２６０５号公報
【特許文献２】国際公開第０６／０５１７０９号パンフレット（［００６８］段落）
【非特許文献１】エマニュエル・ドンチン（Emanuel Donchin）、他２名、“Ｔｈｅ  Ｍｅｎｔａｌ  Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｉｎｇ  ｔｈｅ  Ｓｐｅｅｄ  ｏｆ  ａ  Ｐ３００−Ｂａｓｅｄ  Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ  Ｉｎｔｅｒｆａｃｅ”、ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ  ＥＮＧＩＮＥＥＲＩＮＧ、Ｖｏｌ．８、Ｎｏ．２、２０００年６月
【非特許文献２】入戸野宏、「心理学のための事象関連電位ガイドブック」、北大路書房、２００５年９月２０日発行、３２頁
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、日常で使用する機器の操作に脳波インタフェースを応用する場合に、本来の機能を発揮するために大仰なキャリブレーションの実行を必須とするのはユーザにとって負担であり、手間もかかる。ユーザの負担を軽減するための脳波インタフェースが逆にユーザに負担となるのは本末転倒である。したがって、脳波インタフェースを日常的な用途に応用する際には、ユーザがいつでも気軽に利用でき、かつ精度良く動作して本来の機能を発揮できなければならない。【００１２】
ただし、脳波インタフェースを日常的な用途に応用するにあたっては、研究や医療用途などの特殊な状況下では問題とされない特徴が存在する。たとえば、チャンネル変更や音量変更などの軽微な操作は、頻繁に行われるものではなく、またいつ行われるかわからないという特徴がある。【００１３】
また、ディスプレイには通常脳波インタフェースのためのメニュー以外の情報が表示されているため、事象関連電位への影響が大きく、かつ不規則に発生するという特徴もある。たとえば脳波インタフェースが起動されていない時間帯には別の情報（テレビ番組、映画等）が表示されている。なお、研究や医療用途であれば、脳波の識別精度を高くするためにインタフェース使用前に十分な時間をかけてキャリブレーションを実施し、十分な補正能力を確保した上で脳波を取得することが可能である。【００１４】
したがって、常時使われるわけではなく、たまに機器を操作する際においても精度良く動作しなければならないという条件は、脳波インタフェースに対して非常に酷である。各ユーザに対して脳波識別方法を的確に調整する方法が必要とされている。【００１５】
本発明の目的の一つは、脳波を利用したインタフェースを備えたシステムにおいて、ユーザに対し、脳波を正確に計測するためのキャリブレーションの負担をなくし、かつ、脳波に関する判別精度を高く維持することにある。
【課題を解決するための手段】
【００１６】
本発明による調整装置は、コンテンツのデータに基づいてユーザに前記コンテンツを提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる。前記調整装置は、前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定して解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出する解析部と、前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積する蓄積部と、蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するユーザ特徴抽出部と、抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整する識別方法調整部とを備えている。【００１７】
前記刺激が、前記ユーザに提示されるコンテンツの映像および／または音声であるときにおいて、前記解析部は、前記コンテンツのデータを解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出してもよい。【００１８】
前記出力部は、動画データに基づいて複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示し、前記解析部は、連続する前記複数の画像の画像特徴量の変化を前記コンテンツの特徴量の変化として検出してもよい。【００１９】
前記解析部は、輝度および色相の少なくとも一方の変化を前記コンテンツの特徴量の変化として検出してもよい。【００２０】
前記出力部は、音声データに基づいて音声のコンテンツを提示し、前記解析部は、前記音声の出力レベルの変化を前記コンテンツの特徴量の変化として検出してもよい。【００２１】
前記出力部は、複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示し、かつ、音声のコンテンツを提示し、前記解析部は、連続する前記複数の画像の画像特徴量の変化と、前記音声の出力レベルの変化とが同期するときを、前記コンテンツの特徴量の変化として検出してもよい。【００２２】
前記脳波インタフェース部は、予め保持した閾値と、前記脳波信号の事象関連電位の振幅とに基づいてユーザの要求を識別し、前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の振幅を前記ユーザの特徴量として抽出し、前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記閾値を調整してもよい。【００２３】
前記脳波インタフェース部は、予め保持した少なくとも１つの波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記少なくとも１つの波形のテンプレートを調整してもよい。【００２４】
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記少なくとも１つの波形のテンプレートの値を変化させて前記脳波インタフェース部に設定し、前記脳波インタフェース部は設定された前記少なくとも１つの波形のテンプレートに基づいて前記ユーザの要求を識別してもよい。【００２５】
前記脳波インタフェース部は、複数の波形のテンプレートを保持しており、前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記複数の波形のテンプレートのうちのひとつを特定し、前記ユーザの要求を識別するためにテンプレートとして前記脳波インタフェース部に設定するよう指示してもよい。【００２６】
前記脳波インタフェース部は、予め保持した波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記ユーザの脳波信号の振幅を調整するよう、前記脳波インタフェース部および前記生態信号計測部の一方に指示してもよい。【００２７】
前記ユーザ特徴抽出部は、前記蓄積部に蓄積された前記事象関連電位の波形の振幅が予め定められた閾値よりも小さい場合には信号を出力し、前記識別方法調整部は、前記ユーザ特徴抽出部からの信号に基づいて、前記生体信号計測部による脳波信号の取得に関する警告を出力するよう、前記脳波インタフェース部に指示してもよい。【００２８】
前記刺激が、前記ユーザが存在する環境中の光および／または音であるときにおいて、前記解析部は、前記環境中の光および／または音を検出し、前記脳波信号に含まれる事象関連電位に影響を与える前記環境中の光および／または音の特徴量の変化を検出してもよい。【００２９】
本発明による方法は、コンテンツのデータに基づいてユーザに前記コンテンツを提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、識別方法を調整するために用いられる。前記方法は、前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップとを包含する。【００３０】
本発明によるコンピュータプログラムは、コンテンツのデータに基づいてユーザに前記コンテンツを提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる脳波識別方法調整装置に実装されたコンピュータによって実行される。前記コンピュータプログラムは、前記コンピュータに、前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップとを実行させる。
【発明の効果】
【００３１】
本発明によれば、ユーザが視聴しているコンテンツや、ユーザが置かれた環境中の環境光や環境音によって、ユーザが光および／または音などの刺激を外部から受けているときに、脳波インタフェースシステムのキャリブレーションに必要な個人差に関する情報が取得される。そして脳波インタフェースの利用時に、収集されたデータを用いてシステム内部でキャリブレーションが実行される。【００３２】
ユーザに対してキャリブレーションの参加を強制することはなく、また明示的にキャリブレーションを行わないため、キャリブレーションに起因するユーザへの負担および手間が大幅に軽減される。その結果、ユーザはキャリブレーションのための待ち時間なくすぐにコンテンツの視聴を開始できる。その一方、キャリブレーションはユーザごとに行われるため、精度良く脳波が判別でき、操作性が向上した脳波インタフェースを提供できる。
【図面の簡単な説明】
【００３３】
【図１】本願発明者らが想定する脳波インタフェースシステム１の構成および利用環境を示す図である。
【図２】実施形態１による脳波インタフェースシステム１の機能ブロックの構成を示す図である。
【図３】脳波インタフェース部１３の処理の手順を示すフローチャートである。
【図４】（ａ）〜（ｄ）は脳波インタフェースシステム１においてＴＶを操作し、ユーザ１０が視聴したいジャンルの番組を見るときの例を示す図である。
【図５】脳波信号の個人差の例を示す図である。
【図６】（ａ）は従来のキャリブレーションを実施したときの画面利用状況を時系列で示す図であり、（ｂ）は実施形態１によるキャリブレーションを実施したときの画面利用状況を時系列で示す図である。
【図７】実施形態１による脳波インタフェースシステム１の処理の手順を示すフローチャートである。
【図８】動画の映像コンテンツを解析する処理の手順を示すフローチャートである。
【図９】事象関連電位の波形に基づくユーザの特徴の抽出処理の手順を示すフローチャートである。
【図１０】（ａ）〜（ｄ）は、ユーザの特徴を抽出する処理に関連する波形の例を示す図である。
【図１１】調整前のテンプレートと調整後のテンプレートを示す図である。
【図１２】映像および音声が混在するコンテンツを解析するコンテンツ解析部１４の処理の手順を示すフローチャートである。
【図１３】音声のコンテンツを解析するコンテンツ解析部１４の処理の手順を示すフローチャートである。
【図１４】実施形態３による脳波インタフェースシステム１の機能ブロックの構成を示す図である。
【図１５】音に関する環境変化を解析する処理の手順を示すフローチャートである。
【符号の説明】
【００３４】
１  脳波インタフェースシステム
２，５０  脳波識別方法調整装置
３  ＣＰＵ
４  ＲＡＭ
５  コンピュータプログラム
１１  出力部
１２  生体信号計測部
１３  脳波インタフェース部
１４  コンテンツ解析部
１５  脳波蓄積部
１６  ユーザ特徴抽出部
１７  識別方法調整部
５１  外部環境検出部
５２  外部環境解析部
【発明を実施するための最良の形態】
【００３５】
以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェースシステムに組み込まれる脳波識別方法調整装置の実施形態を説明する。【００３６】
はじめに、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の主要な特徴の概略を説明する。その後、脳波識別方法調整装置の各実施形態を説明する。【００３７】
本願発明者らは、将来的には、装着型の脳波計と装着型のディスプレイとを組み合わせた環境で脳波インタフェースシステムが構築されることを想定している。ユーザは脳波計とディスプレイとを常に装着し、装着型ディスプレイを利用してコンテンツの視聴や画面の操作を行うことができる。また、他には、家庭用のテレビと装着型の脳波計とを組み合わせた家庭内などの環境でも脳波インタフェースシステムが構築されることを想定している。ユーザはテレビを見るときに、脳波計を装着してコンテンツの視聴や画面の操作等を行うことができる。【００３８】
たとえば図１は、後者の例による、本願発明者らが想定する脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。【００３９】
脳波インタフェースシステム１は、ユーザ１０の脳波信号を利用してＴＶ１１を操作するインタフェースを提供するためのシステムである。ユーザ１０の脳波信号はユーザが頭部に装着した生体信号計測部１２によって取得され、無線または有線で脳波インタフェース部１３に送信される。ＴＶ１１に内蔵された脳波インタフェース部１３は、脳波の一部を構成する事象関連電位のＰ３成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。【００４０】
「Ｐ３成分」とは、事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく標的刺激提示後２５０ミリ秒から５００ミリ秒の時間帯に出現する陽性成分をいう。典型的には標的刺激提示後、３００ミリ秒付近に現れる陽性成分をいう。ただし、以下の実施形態の説明においては、視覚への刺激に起因して発生する事象関連電位のＰ３成分を「視覚Ｐ３成分」などと表す。【００４１】
脳波信号（事象関連電位）中のＰ３成分が実際に出現する時間や振幅はユーザごとに変動しうるため、脳波インタフェースシステム１においては、動作する基準をユーザ１０の脳波信号に合わせて調整する必要がある。この調整を行うための基準を取得するための処理が、いわゆるキャリブレーションである。キャリブレーションは脳波識別方法調整装置２によって行われる。【００４２】
脳波インタフェースシステム１では、インタフェースとして脳波を使用するとき以外の状態でも脳波は計測可能になっており、テレビや映画等のコンテンツを視聴しているときでも、脳波は計測可能である。【００４３】
脳波識別方法調整装置２は、ユーザがコンテンツを視聴している間に、キャリブレーションに必要なデータを収集する。より詳しくは、脳波識別方法調整装置２は出力されるコンテンツのデータを解析し、事象関連電位に影響を与えるコンテンツの変化を検出し、変化が検出されたタイミングを起点とする所定期間にわたって事象関連電位の波形を蓄積する。たとえばＴＶ１１の画面１１ａに提示された動画像の輝度、色相が閾値以上変化したときや、ＴＶ１１のスピーカ１１ｂから出力される音声のレベルが閾値以上変化したとき、コンテンツの変化を検出する。このコンテンツの変化は、事象関連電位に影響を与える変化であると考えられる。【００４４】
収集したデータは、脳波を利用してユーザがＴＶ１１などの機器を操作する時にキャリブレーションのために利用される。ただし、既に必要なデータが収集されているため、ユーザには明示的なキャリブレーションのプロセスは提示されず、ユーザはキャリブレーションのプロセスが行われていることを認識することはない。キャリブレーションはユーザごとに実現されるため、例えば家事や育児で両手が塞がっている場合でも、あらゆるユーザが手を使わずにＴＶ１１等の機器を正確に操作することが可能となる。よって機器の操作性が格段に向上する。【００４５】
このような脳波インタフェースシステム１によれば、ユーザは機器の利用開始時にキャリブレーションのためだけの脳波測定を行う必要はないため、機器利用開始時のユーザへの負担および手間がなくなる。またシステム１の利用開始時のキャリブレーションに割くべき時間が不要であるため、ユーザはコンテンツの視聴をすぐに開始できる。コンテンツの視聴等を目的として機器の利用を開始することに鑑みれば、ユーザの希望に沿った動作を即座に実現できることは非常に有用である。【００４６】
なお、本発明においては、脳波インタフェースシステムのキャリブレーションに必要な個人差に関する情報を取得するために、ユーザに与えられる刺激の変化を検出している。刺激の変化は以下のようにして検出される。すなわち、視覚および／または聴覚の刺激に対応する物理量を、刺激の特徴量として測定して解析し、刺激の特徴量の変化を検出することにより、刺激の変化が検出されている。【００４７】
ただし、具体的な刺激の変化の検出方法については、実施形態１および２と、実施形態３とは異なっている。【００４８】
実施形態１および２では、映像／音声コンテンツや画像をユーザが視聴している間に、ユーザが機器から受けた刺激（映像および／または音声）の変化と、その変化に起因する事象関連電位の変化に基づいて、当該刺激の変化を検出している。【００４９】
一方、実施形態３では、ユーザが置かれた環境で、ユーザが環境から受けた刺激（環境光および／または環境音など）の変化と、その変化に起因する事象関連電位の変化に基づいて、当該刺激の変化を検出している。【００５０】
以下、本発明の実施形態１〜３をそれぞれ説明する。【００５１】
（実施形態１）
図２は、本実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す。脳波インタフェースシステム１は、脳波識別方法調整装置２と、出力部１１と、生体信号計測部１２と、脳波インタフェース（ＩＦ）部１３とを有している。図２はまた、脳波識別方法調整装置２の詳細な機能ブロックも示している。ユーザ１０のブロックは説明の便宜のために示されている。【００５２】
脳波識別方法調整装置２は、有線または無線で、出力部１１、生体信号計測部１２および脳波インタフェース部１３の各々と接続され、信号の送信および受信を行う。図１においては、脳波インタフェース部１３と脳波識別方法調整装置２とは別体であるが、これは例である。これらの一部または全部を一体化してもよい。【００５３】
脳波識別方法調整装置２は、脳波インタフェースシステム１において各ユーザの脳波信号に基づいて脳波インタフェース部１３をキャリブレーションするために設けられている。脳波識別方法調整装置２の詳細な説明は後述する。【００５４】
出力部１１は、ユーザにコンテンツや脳波インタフェースにおける選択されるべきメニューを出力する。図１に示すＴＶ１１は出力部の具体例であるため、以下では参照符号「１１」を出力部に充てて説明する。出力部１１は、出力される内容が動画や静止画の場合にはディスプレイ画面１１ａ（図１）に対応し、出力される内容が音声の場合にはスピーカ１１ｂ（図１）に対応する。なお、ディスプレイ画面１１ａおよびスピーカ１１ｂが出力部１１として併用されることもある。【００５５】
生体信号計測部１２は、ユーザ１０の頭部に装着された電極における電位変化を計測することによって生体信号を検出する脳波計であり、生体信号として脳波を計測する。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ１０はあらかじめ脳波計を装着しているものとする。【００５６】
ユーザ１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、生体信号計測部１２には電極が配置されている。電極の配置は、例えばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ１０の鼻根部になる。ただし、電極は最低２個あればよく、例えばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。【００５７】
この結果、生体信号計測部１２はユーザ１０の脳波を測定することができる。測定されたユーザ１０の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース部１３および脳波識別方法調整装置２に送られる。なお、脳波に混入するノイズの影響を低減するため、生体信号計測部１２においては計測される脳波は、あらかじめ例えば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目や聴覚刺激が提示される前の例えば２００ミリ秒の平均電位でベースライン補正されているものとする。【００５８】
脳波インタフェース部１３は、機器操作に関するメニュー項目をユーザに提示し、生体信号計測部１２で計測された脳波の事象関連電位を切り出して識別する。識別に際しては、脳波インタフェース部１３は波形のテンプレート１８を利用する。テンプレート１８は、たとえば希望に合致したときに現れる脳波の事象関連電位の波形を示すデータが規定されている。脳波インタフェース部１３は、出力部１１を介してメニュー項目などを表示し、その後に取得した事象関連電位の波形がテンプレート１８の波形に近いか否かを評価する。そして近いと評価した場合には、そのメニュー項目に対応する動作の実行を機器に指示する。この結果、出力部１１に提示されるコンテンツの変更や修正が可能になる。なお、脳波インタフェース部１３の動作の詳細は、図３および図４を参照しながら後述する。【００５９】
出力部１１、生体信号計測部１２および脳波インタフェース部１３によって、脳波インタフェースシステム１における主要な機能、すなわち脳波を利用した機器操作を提供するための脳波インタフェース機能が実現される。【００６０】
次に脳波識別方法調整装置２の構成を詳細に説明する。【００６１】
脳波識別方法調整装置２は、ＣＰＵ３と、ＲＡＭ４と、ＨＤＤなどの脳波蓄積部１５とを有している。【００６２】
脳波蓄積部１５は、生体信号計測部１２から脳波の事象関連電位を受け取って、その波形のデータを蓄積する。データの蓄積の開始および終了は、後述するコンテンツ解析部１４（ＣＰＵ３）からの蓄積指示信号を受けたタイミングで行われる。【００６３】
ＲＡＭ４はコンピュータプログラム５を保持している。ＣＰＵ３はそのプログラム５を実行することにより、後述する種々の処理を行う。これらの処理を機能的にみると、ＣＰＵ３があたかも複数の構成要素のように機能することによって各処理が実現されている。図２のＣＰＵ３内には、ＣＰＵ３が行う主要な処理を３つの機能ブロックとして記載している。具体的には、ＣＰＵ３は、コンテンツ解析部１４、ユーザ特徴抽出部１６および識別方法調整部１７として機能する。以下、これらの詳細を説明する。【００６４】
コンテンツ解析部１４は、出力部１１に出力されたコンテンツを受け取り、その内容を解析する。解析は、ユーザ１０の事象関連電位に影響を与えるようなコンテンツの変化が現れたか否かの観点で行われる。たとえば動画像の輝度、色相がある値以上変化すると、一般的に事象関連電位に影響を与えることが知られている。よってコンテンツ解析部１４は、コンテンツのデータに基づいて動画像の輝度や色相などの画像特徴量の変化が予め設定された値（閾値）以上になったか否かを判定する。閾値以上になったときは事象関連電位の波形を蓄積すべきタイミングであるとして、脳波蓄積部１５に対して蓄積指示信号を出力する。【００６５】
コンテンツの変化の程度が大きい状況が現れたときにのみ蓄積指示信号が出力されるため、近似する状況における、そのユーザの特徴が含まれた事象関連電位の波形が蓄積される。【００６６】
ユーザ特徴抽出部１６は、脳波インタフェースシステム１を使用しているユーザ１０の脳波に含まれる特徴を抽出する。脳波の出方は個人差が大きい。ここでいう脳波の個人差とは、事象関連電位の波形上の特徴を意味しており、より具体的には形状やピーク時点での振幅の大きさなどである。【００６７】
この個人差の情報、すなわちユーザ固有の特徴を抽出するためにユーザ特徴抽出部１６が設けられている。たとえばユーザ特徴抽出部１６は、蓄積された事象関連電位の波形の加算平均を求めて、ユーザ固有の特徴を抽出する。【００６８】
識別方法調整部１７は、ユーザ特徴抽出部１６によって抽出された個人差の情報に基づき、そのユーザの特徴を識別できるよう、脳波インタフェース部１３において利用される識別のためのテンプレート１８のデータを調整する。これにより、個人差があっても、脳波インタフェース部１３における識別性能を高く保つことができる。【００６９】
なお、上述のコンテンツ解析部１４、ユーザ特徴抽出部１６および識別方法調整部１７は１つのＣＰＵ３によって実現されなくてもよく、個々の処理チップとして実装されてもよい。【００７０】
次に、図３および図４を参照しながら、図２に示す脳波インタフェースシステム１の主要な処理を概説する。その後、キャリブレーションの必要性を説明する。【００７１】
脳波インタフェースシステム１が設けられる目的は、事象関連電位を用いて、ＴＶ画面等に表示された複数の選択項目からユーザがどの項目を選択したいかを識別することにある。【００７２】
図３は脳波インタフェース部１３の処理の手順を示す。一方、図４（ａ）〜（ｄ）は脳波インタフェースシステム１においてＴＶを操作し、ユーザ１０が視聴したいジャンルの番組を見るときの例を示す。【００７３】
以下、図３に示すフローチャートに沿って、適宜図４を参照しながら脳波インタフェース部１３の動作を説明する。【００７４】
ステップＳ９１では、脳波インタフェース部１３は出力部１１を介してメニューを表示する。たとえばコンテンツ視聴時にはＴＶのディスプレイに図４（ａ）のような選択前の画面２１（この場合はニュース）が表示されているとする。右下に表示された「メニュー」２２は特定の周波数で点滅している。ユーザがその「メニュー」２２を見た場合には、特定の周波数成分が脳波に重畳されるために、その「メニュー」２２が見られているかが判別でき、脳波インタフェースを起動できる。脳波インタフェースの「起動」とは、脳波を用いてメニューの選択等を行うためのインタフェースの動作を開始させることを意味する。【００７５】
脳波インタフェースが起動されることによって、図４（ｂ）に示すメニュー項目画面２３が表示される。画面には「どの番組をご覧になりたいですか？」という質問２４と、見たい番組の候補である選択肢２５が提示される。この例では「野球」２５ａ「天気予報」２５ｂ「アニメ」２５ｃ「ニュース」２５ｄの４種類が表示されている。【００７６】
ステップＳ９２では、脳波インタフェース部１３は項目のひとつを選択する。図４（ｂ）の例ではまず一番上の野球２５ａが選択される。以下、このステップＳ９２が実行されるたびに、次の選択肢が順次選択され、４つ目のニュースの次はまた一番目の野球に戻る。【００７７】
ステップＳ９３では、脳波インタフェース部１３は、ステップＳ９２で選択された項目をハイライト表示する。ハイライト表示とは、他の項目より明るい背景を用いた表示、明るい文字色による表示である。なお、ハイライトの代わりに、またはハイライトと共に補助的矢印を用いたポイントやカーソルで項目を指し示してもよい。ここではユーザ１０が見たときに、システム側が現在どの項目について注意して欲しいかが伝わるようになっていればよい。【００７８】
ステップＳ９４では、脳波インタフェース部１３は、生体信号計測部１２によって計測された脳波から事象関連電位を取得する。事象関連電位の取得を開始する起点は、ステップＳ９３にてハイライト表示された瞬間に設定される。そして、その瞬間から例えば２００ミリ秒前から１秒後までの事象関連電位を取得する。これにより、ハイライト表示された項目に対するユーザの反応が得られる。【００７９】
ステップＳ９５では、脳波識別方法調整装置２によって脳波インタフェース部１３における識別方法が調整される。本実施形態においては、ユーザ特徴抽出部１６で算出されたユーザ１０の特徴に基づいて、識別方法調整部１７が脳波インタフェース部１３内のテンプレート１８を調整する。この処理によって、ユーザの個人差に対応した識別方法に調整することができる。なお、ユーザ特徴抽出および識別方法調整の詳細については、後述する。【００８０】
ステップＳ９６では、脳波インタフェース部１３は、現在取得した事象関連電位を、調整後のテンプレート１８を利用して識別する。識別される内容は、現在取得した事象関連電位の波形が、ユーザ１０が選択したい項目を見たときに現れる波形であるか、または選択したくない項目を見たときに現れる波形であるかである。【００８１】
図４（ｃ）は、各メニュー項目がハイライトされた瞬間から取得された事象関連電位の波形２６ａ〜２６ｄを示す。たとえば、ユーザ１０が天気予報を見たいと思っていると仮定すると、天気予報の項目がハイライトされた場合の波形２６ｂにのみ、特徴的な成分が現れている。これは、事象関連電位の視覚Ｐ３成分と呼ばれる波形成分であり、メニュー項目が切り替わってから約３００ミリ秒後に現れる陽性の特徴的な波形である。脳波インタフェース部１３は、取得した事象関連電位の波形にこの成分が観察されるか否かを判定する。視覚Ｐ３成分が観察された場合にはステップＳ９７に進み、観察されない場合はステップＳ９２に戻る。【００８２】
ステップＳ９７では、ユーザ１０の視覚Ｐ３成分が観察された項目が、ユーザ１０が選択したかった項目であると判定されるとして、脳波インタフェース部１３は選択された項目に対応する処理の実行をＴＶに指示する。図４（ｃ）の例では天気予報の項目２５ｂに対して視覚Ｐ３成分が観察されているため、脳波インタフェース部１３は、ＴＶに対して天気予報のコンテンツを表示するためのチャンネル切り替えを指示する。この指示によってＴＶがチャンネルを切り替えることにより、図４（ｄ）に示すように天気予報が画面２７に表示される。【００８３】
上述の処理によって、ユーザはボタン操作等をすることなく、脳波によってメニュー項目を選択し、希望する項目に対応するコンテンツを視聴できる。【００８４】
なお、ステップＳ９２では、項目は順次選択されるとしたが、ランダムに提示する方法も可能である。これにより、事前にどの項目が選択されるか不明なため、より注意深くメニューが選択される可能性がある。【００８５】
このような脳波インタフェースにおいて、ユーザ１０の意図に即したスムーズな操作を実現するためには、事象関連電位の高い識別性能が必要になる。しかしながら、脳波信号は個人差が大きいため単一の基準によって識別することは困難である。【００８６】
図５は、非特許文献１に記載された脳波信号の個人差の例を示す。図５には、視覚刺激に対する弁別課題に関する３６人の脳波信号の例が示されている。また、非特許文献１によれば、事象関連電位の振幅の個人差は、反応時間の３倍以上の個人差があり、振幅の範囲は４．４Ｖ−２７．７Ｖ（平均１６．６４μＶ、標準偏差６．１７μＶ）であるとされ、個人差は反応時間等の行動指標よりも差が大きいとされている。【００８７】
したがって、脳波インタフェースシステム１を利用するユーザ１０がどのような特徴を持った脳波を産出しているかを把握しなければ、脳波インタフェースシステム１においてスムーズな操作を実現できない。すなわち、動作する基準を各ユーザ１０の脳波信号に合わせて調整するキャリブレーションが必要である。【００８８】
そこで本願発明の特徴をより明確に理解するため、図６を参照しながら、研究や医療用途などの従来の脳波インタフェースシステムにおけるキャリブレーションと、本実施形態による脳波インタフェースシステム１におけるキャリブレーションとを比較して説明する。【００８９】
従来のキャリブレーションでは、まずインタフェースの使用前にインタフェース使用と同様の状況で測定する必要がある。図６（ａ）は、従来のキャリブレーションを実施したときの画面利用状況を時系列で示している。横軸が時間である。【００９０】
脳波計を装着した時刻Ｔ０を起点として時刻Ｔ１までは、画面はキャリブレーションを実施するために利用される。ユーザは画面に向かって、脳波による操作のための脳波信号を算出する必要がある。脳波信号のデータが収集された後、識別方法の調整が行われ、たとえばその調整が行われている旨のメッセージが画面に表示される。【００９１】
キャリブレーション完了後、画面にはメニューが表示され、脳波インタフェースシステムを利用した選択項目の識別が行われる。例えば、選択肢がそれぞれ順番にハイライト表示され、その差異の事象関連電位を測定してユーザの希望の選択肢を決定し、決定された選択肢の動作（タスク）が実行される。【００９２】
なお、研究や医療用途などを含む従来の技術においては、画面に表示されるメニューはコンテンツを選択するためのメニューなどではなく、実行を要求したいタスクの候補を列挙したメニューである。実行されるタスクとしては、たとえば病院において患者が飲み物を要求する場合に、選択肢が決定された後に看護婦等がその選択肢に従って飲み物を持ってくるタスクが相当する。【００９３】
一方、本実施形態においては、コンテンツ視聴時の事象関連電位の振幅から算出したユーザの特徴を用いてキャリブレーションを行う。その原理は以下のとおりである。【００９４】
上述した個人差の要因としては、解剖学的な個人差（頭蓋骨や脳の形）や電極の装着状態、個人内での覚醒度の変化、課題に対する処理方策の違いなどがあげられる。【００９５】
これらの変動のうち、解剖学的な個人差や電極の装着状態、覚醒度の変化に関しては、コンテンツ視聴時の事象関連電位の振幅と、脳波インタフェース実行時の各メニュー項目に対する事象関連電位の振幅の間に相関が見られると考えてよい。なぜなら、これらは課題の種類によらず脳波の形状に影響を及ぼすからである。したがって、少なくともコンテンツ視聴時の事象関連電位の振幅から算出したユーザ特徴を用いることで、キャリブレーションを行い、脳波インタフェース使用時の識別性能を向上させることが可能になる。【００９６】
図６（ｂ）は本実施形態によるキャリブレーションを実施したときの画面利用状況を時系列で示している。横軸が時間である。【００９７】
本実施形態による脳波インタフェースシステム１では、脳波計を装着した時刻Ｔ０からすぐにコンテンツを表示することもできるし、脳波インタフェースによりコンテンツの選択等を行うこともできる。最初から脳波インタフェースを使用する場合には、脳波インタフェースは、所定の値によって選択肢の判別を行えばよい。例えば標準的なＰ３成分の振幅や、前回のそのユーザの事象関連電位の波形などが使用可能である。コンテンツ視聴中は特に脳波インタフェースは使われないが、コンテンツ視聴時にキャリブレーションのデータが収集される。【００９８】
その後、時刻Ｔ３においてコンテンツの視聴が終了すると、図４に示すメニューが表示される。そして、メニューが表示されている間、具体的には図３のステップＳ９５に示す段階において、脳波インタフェースシステム１の内部でキャリブレーションが実行される。時刻Ｔ４でメニューの表示が終了し、その後、脳波インタフェースシステム１を利用した選択項目の識別が行われ、対応する動作が実行される。この結果、時刻Ｔ５以降に選択されたコンテンツが提示される。【００９９】
本実施形態によれば、従来のように明示的にキャリブレーション用のデータを取得する期間を設けることはないため、ユーザはコンテンツの視聴をすぐに開始できる。ユーザはコンテンツの視聴等を目的として機器の利用を開始しているため、ユーザにとって非常に有用である。【０１００】
また、コンテンツ視聴時にキャリブレーションデータを収集し、その後にキャリブレーションを行うため、脳波インタフェースの操作性も向上させることができる。このとき、ユーザは明示的なキャリブレーションのプロセスを認識しないため、ユーザへの負担は全くないといえる。【０１０１】
次に、図７を参照しながら、本実施形態による脳波インタフェースシステム１の処理の手順を説明する。以下では、図３の例と同様、ＴＶに提示されるコンテンツの切換やチャンネルや音量の変更が、脳波インタフェースシステム１を利用して行われることを想定して説明する。以下のステップＳ１０からステップＳ９０の処理を繰り返し行うことで、全体の処理が進行する。【０１０２】
図７は、本実施形態による脳波インタフェースシステム１の処理の手順を示す。【０１０３】
ステップＳ１０において、出力部１１はコンテンツを表示する。通常は、テレビ番組や映画等のコンテンツがＴＶの画面に表示される。【０１０４】
ステップＳ２０において、生体信号計測部１２は脳波を計測する。脳波計はコンテンツ視聴時も脳波インタフェース使用時も装着されているものとする。【０１０５】
ステップＳ３０において、脳波インタフェース部１３はユーザから脳波インタフェースの起動が要請されているか否かを判定する。【０１０６】
脳波インタフェースの起動の要請が確認された場合には、ステップＳ７０の特徴抽出処理へ進み、確認されない場合には、ステップＳ４０のコンテンツ解析処理に進む。【０１０７】
脳波インタフェースの起動の要請があったか否かの判定には、ＳＳＶＥＰもしくはＰ３００を使用できる。ＳＳＶＥＰ（Ｓｔｅａｄｙ  Ｓｔａｔｅ  Ｖｉｓｕａｌ  Ｅｖｏｋｅｄ  Ｐｏｔｅｎｔｉａｌ）とは、定常視覚誘発電位を意味する。【０１０８】
図４（ａ）に関連して説明したように、選択前の画面において、右下に「メニュー」２２が表示され、この「メニュー」２２が特定の周波数で点滅している。ユーザがその「メニュー」２２を見た場合には、特定の周波数成分が脳波に重畳されるために、その「メニュー」２２が見られているかが判別でき、脳波インタフェースを起動できる。なお、脳波に特定の周波数成分が重畳されているか否かによって脳波インタフェース起動の要請の有無を判定すればよいため、キャリブレーションの実行前であっても正確に動作可能である。【０１０９】
なお、ＳＳＶＥＰについては、Ｘｉａｏｒｏｎｇ  Ｇａｏ，  ｅｔ  ａｌ．，“Ａ  ＢＣＩ−Ｂａｓｅｄ  Ｅｎｖｉｒｏｎｍｅｎｔａｌ  Ｃｏｎｔｒｏｌｌｅｒ  ｆｏｒ  ｔｈｅ  Ｍｏｔｉｏｎ−Ｄｉｓａｂｌｅｄ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｎｅｕｒａｌ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｒｅｈａｂｉｌｉｔａｔｉｏｎ  Ｅｎｇｉｎｅｅｒｉｎｇ，  Ｖｏｌ．１１，  Ｎｏ．２，  Ｊｕｎｅ  ２００３に詳しい。【０１１０】
ステップＳ４０からステップＳ６０では、ステップＳ３０において脳波インタフェースが起動されていなかったことが確認されたので、コンテンツの解析を行ってユーザ１０の脳波の特徴を把握するための準備処理を行う。【０１１１】
ステップＳ４０において、コンテンツ解析部１４はコンテンツのデータを解析して、コンテンツに含まれる、ユーザ１０の脳波上の特徴が現れやすい場面を特定する。【０１１２】
脳波インタフェースシステム１においては、メニューがハイライトされたときに発生する事象関連電位波形を使用してユーザの要求を判定するため、コンテンツ解析部１４はコンテンツ視聴時に同様の信号が観測されそうな場面を抽出する。たとえば画面の輝度変化が大きいシーンにおいては、視覚Ｐ３成分と類似の成分が観測できると考えられる。よって、コンテンツ解析部１４は、所定の閾値との関係で、画面の輝度変化が大きいコンテンツのシーンが現れるか否かをコンテンツデータに基づいて解析する。【０１１３】
ステップＳ５０においては、コンテンツ解析部１４は、現在の脳波を蓄積すべきかどうかが判定される。ステップＳ４０の解析の結果、現在の脳波は、ユーザが脳波インタフェースを使用するときの脳波と同様の傾向を含むと判定された場合、すなわち画面の輝度変化が大きいと判定された場合にはステップＳ６０に進み、画面の輝度変化が大きいと判定されなかった場合は処理を終了する。【０１１４】
ステップＳ６０において、脳波蓄積部１５はコンテンツ解析の結果判定された脳波蓄積タイミングの周辺の脳波（事象関連電位）を蓄積する。脳波インタフェースシステム１においては、特定のタイミングからの事象関連電位の波形変化を捉える必要がある。判定のベースラインを揃える必要があるため、脳波蓄積部１５は、たとえば蓄積タイミングの−２００ミリ秒〜１０００ミリ秒を切り取って蓄積する。このように蓄積し、加算することにより、脳波の毎回のずれやノイズの影響を軽減したまま、ユーザの特徴を抽出できる。【０１１５】
ステップＳ７０からステップＳ９０は、ステップＳ３０において脳波インタフェースの起動が要請されたときに実行される。これらの処理において、脳波インタフェース実行の準備および脳波インタフェースの動作が行われる。【０１１６】
ステップＳ７０では、ユーザ特徴抽出部１６は、現在脳波計を装着しているユーザの事象関連電位波形の特徴を抽出する。たとえば、ユーザ特徴抽出部１６は、脳波蓄積部１５に蓄積された事象関連電位波形データを加算平均し、脳波の特徴を抽出する。脳波の特徴とは、例えば、ユーザの波形の振幅の大きさの傾向などを指す。【０１１７】
ステップＳ８０において、識別方法調整部１７は脳波インタフェース部１３で適用される識別方法を調整する。この処理は、ステップＳ７０において抽出された特徴量に基づいて行われる。識別方法を調整する処理については後述する。【０１１８】
ステップＳ９０において、脳波インタフェース部１３は脳波インタフェースの機能を提供する。具体的な処理は、図３および図４を参照しながら説明したとおりである。【０１１９】
以上の処理により、脳波インタフェースが起動されていないコンテンツ視聴時にユーザの個人差の特徴を蓄積しておき、脳波インタフェースが起動されると蓄積されたユーザの個人差特徴のデータを用いて脳波インタフェース部１３の識別方法を調整する。これにより、個人差の大きい脳波を精度よく識別できる能力を提供できる。【０１２０】
次に、上述のステップＳ４０、ステップＳ７０およびステップＳ８０のそれぞれについて、図８から図１１を参照しながらさらに詳細に説明する。【０１２１】
まず、図８を参照しながら、図７のステップＳ４０に記載されたコンテンツ解析処理の詳細を説明する。コンテンツは動画であるとして説明する。【０１２２】
図８は、動画の映像コンテンツを解析する処理の手順を示す。【０１２３】
ステップＳ４１において、コンテンツ解析部１４は映像コンテンツのデータを取得する。例えばコンテンツ解析部１４は、現在表示されている映像をキャプチャすることによって静止画データを取得する。周知のように、動画は複数の静止画像を所定の周波数（例えば３０Ｈｚ）で次々と切り替えて表示することによって実現されている。動画をある瞬間でキャプチャすることにより、一枚の静止画のデータが得られる。【０１２４】
また、現在表示されている映像から静止画データを取得するのではなく、その映像を表示するための動画データに基づいて静止画データを取得することもできる。例えばデジタル放送ではデジタル化された動画データが配信されているため、その動画データから動画を構成する静止画のデータを抽出することができる。【０１２５】
ステップＳ４２において、コンテンツ解析部１４は画像輝度値の平均を計算する。画像そのものは、輝度、色相、彩度などの画像特徴量や画素数などのさまざまな情報を含んでいるが、本実施形態においては、ユーザ１０に対する視覚刺激としての全体の傾向をつかむために、画像の輝度値の平均を使用し、この平均値の変化の動向を調べることにした。【０１２６】
ステップＳ４３において、コンテンツ解析部１４は、ステップＳ４２で計算した平均値と、前回処理されたときの平均値との比較をする。これにより輝度変化が大きいかどうかの判定が可能になる。なお、初めて比較を行う場合には「前回処理されたときの平均値」として任意の値を適用してもよいし、平均値を２回求め、１回目の平均値を「前回処理されたときの平均値」として適用してもよい。【０１２７】
ステップＳ４４において、コンテンツ解析部１４は、ステップＳ４３の輝度変化量が所定の閾値以上であったか否かを判定する。閾値以上であればステップＳ４５に閾値以下であれば処理を終了する。【０１２８】
ステップＳ４５において、コンテンツ解析部１４はその時刻から脳波の事象関連電位波形を蓄積すべきとして、蓄積タイミングを示す蓄積指示信号を脳波蓄積部１５に出力する。ステップＳ４５が実行される状況では、ユーザの脳波には刺激に対する事象関連電位が誘発されていると考えられるため、データの蓄積の必要があると判断できるからである。この結果、画面の輝度変化が大きいシーン付近のユーザの特徴を表す事象関連電位の波形が蓄積される。【０１２９】
なお、画面の輝度変化の大きいシーンとは、テレビ画面では映画等で暗いシーンから突然明るいシーンへ変化したとき、またはテレビ番組からＣＭに切り替わったときなどである。視覚刺激として見ると、これらのシーンはユーザ１０に対して誘発電位を起こしやすいシーンに相当する。このような状況のみを抽出することで、実験室で視覚刺激に対する反応を計測するようなデータ収集と同等の効果を得ることができる。【０１３０】
なお、画像の輝度変化の検出は１フレームごとに行う必要はなく、複数フレームにわたっての変化の大きさを勘案してもよい。また、輝度平均を使わなくても、ユーザへの視覚刺激が特徴的であり、事象関連電位の傾向が把握できるのであれば問題ない。【０１３１】
なお、輝度の変化は同じまたは小さいが、色相の変化が大きい画像の出現を利用して、事象関連電位の波形蓄積タイミングを決定することもできる。したがって、色相のみを利用して蓄積タイミングを判断してもよい。また彩度その他の画像特徴量を利用することも可能である。【０１３２】
脳波蓄積部１５における蓄積量については、十分な量が蓄積されるべきであること、ただし、あまりに古いデータは使用されないことなどを考慮して決定する必要がある。事象関連電位の研究では、一般的に２０回程度のデータの加算が必要とされる。したがって、２０回程度、データを蓄積することが精度上好ましい。【０１３３】
また、脳波の振幅は、同一個人が装着しているという条件でも、時間の経過によって変化することが知られており、かなりの時間が経過したデータは識別に有用な情報とならない場合も考えられる。従って、脳波蓄積部１５は直近の２０回のデータのみを蓄積するように動作してもよいし、所定の時間（例えば１〜２時間）を経過したデータを破棄してもよい。後述の処理において脳波蓄積部１５に蓄積されたデータのうち直近の２０回のデータを使用するとしてもよい。そして脳波計が一旦ユーザから取り外され、再度装着された場合には、それまでのデータを破棄し、データの蓄積を再度初めから行ってもよい。【０１３４】
以上の処理の結果、脳波蓄積部１５には適切な事象関連電位の波形が蓄積される。【０１３５】
次に図９および図１０を参照しながら、図７のステップＳ７０に記載されたユーザ特徴の抽出処理の詳細を説明する。コンテンツは動画であるとして説明する。【０１３６】
図９は、事象関連電位の波形に基づくユーザの特徴の抽出処理の手順を示す。また図１０（ａ）〜（ｄ）は、ユーザの特徴を抽出する処理に関連する波形の例を示す。まず図１０（ａ）に示すように、脳波蓄積部１５には複数の事象関連電位の波形群４１が蓄積されているとする。これは非特許文献１に記載の例であり仮想的に提示している。事象関連電位の波形群４１は、輝度変化が大きいシーンが現われたときに抽出されているため、蓄積された条件は近似している。この前提のもとで図９に示すユーザ特徴抽出部１６の処理が開始される。【０１３７】
ステップＳ７１では、ユーザ特徴抽出部１６は、脳波蓄積部１５に蓄積された事象関連電位の波形群４１の加算平均を計算する。これにより、眼電や背景脳波等各種影響が低減され、注目したい事象関連電位の成分のみが強調されて見やすくなる。図１０（ｂ）は、加算平均した波形４２を例示する。図１０（ａ）では、蓄積された条件は近似しているが画一的に特徴を判断することが困難な波形群４１が認められるが、図１０（ｂ）によれば特徴のみが見やすくなっていると言える。【０１３８】
図９のステップＳ７２では、ユーザ特徴抽出部１６は、ステップＳ７１で算出した加算平均波形に対してＰ３振幅を検出（算出）する。この「Ｐ３振幅」とは事象関連電位のＰ３成分のピーク電位をいう。Ｐ３成分が事象関連電位の起点から３００ミリ秒付近に見られる陽性成分であるとすると、その３００ミリ秒付近における陽性のピーク電位である。【０１３９】
図１０（ｂ）の例では、３００ミリ秒付近の加算平均波形４２に下向き（陽性）の電位のピークが認められる。この位置での電位の大きさ４３を計測すると１２μＶであった。この振幅は個人差が大きいため、この振幅をユーザごとの特徴として利用することが本発明の着眼点である。【０１４０】
振幅の平均的な大きさは設定することが可能であり、例えば非特許文献１の事例であれば、平均１６．６４μＶであった。より正確には、画像の変化に対応した標準値を事前に算出しておけばよい。【０１４１】
図９のステップＳ７３において、ユーザ特徴抽出部１６は、ステップＳ７２で算出したＰ３成分の振幅４３が、想定されるＰ３の平均的な波形４５の振幅と比較して大きいか小さいかを判定する。そして補正用の特徴量が計算される。【０１４２】
例えば、ステップＳ７２で算出したＰ３成分の振幅４３は、平均値と同等の大きさ、平均値より大きい、または平均値より小さいという３種類に分類して特徴づけることができる。【０１４３】
このように分類する理由は、補正用の特徴量を計算するために必要だからである。分類に応じて補正用の特徴量が決定される。すなわち補正用の特徴量は、大、中、小、のようなグループ分けのグループ名に相当する。この分類の精度は、目的や測定精度に応じてさらに細かい分類をすることも可能である。また、平均的な振幅に対する量で判定することも可能である。【０１４４】
図１０（ｃ）において、実線４２が得られた波形であり、破線４５が平均的な波形（標準波形）である。この大きさを比較した分類を図１０（ｄ）に例示する。特徴を「平均波形より小さい」という３分類で記述したり、平均的な振幅を１６μＶとし、今回の振幅を１２μＶとすると、比の０．７５を補正用の特徴量とすることもできる。【０１４５】
このように、コンテンツ視聴時に蓄積された波形を基にユーザの個人差を反映した特徴量が算出できる。ここでの個人差は、個人ごとの波形の振幅の大きさ以外にも、毎回ごとの装着の具合によるもの、その時間の覚醒度の違いなども反映されたものであり、それらの識別に影響を及ぼす要因をすべて含めて補正用の特徴量に含めるものである。なお、コンテンツ視聴時におけるユーザの前記事象関連電位の波形から、単位区間ごとの平均値の分散を計算し、その分散を利用してもよい。【０１４６】
次に、ユーザ特徴抽出部１６にて算出された特徴量を利用して、識別方法調整部１７がどのように脳波インタフェース部１３の識別方法を調整するかを説明する。【０１４７】
脳波インタフェース部１３の処理において、現在ハイライトされているメニューが選択されたかどうかを判定するために、テンプレートを利用するテンプレートマッチングと呼ばれる方法が考えられる。例えば、脳波インタフェース部１３が、標準的なメニューが選択されたときの事象関連電位波形（Ａ）と、メニューが選択されていないときの事象関連電位の波形（Ｂ）をテンプレート１８としてあらかじめ保持しておく。そして、現在観測されている事象関連電位波形が（Ａ）と（Ｂ）のどちらのテンプレートに近いかを識別することで、脳波インタフェース部１３は、現在ハイライトされているメニューが選択されたかどうかを判定することができる。【０１４８】
テンプレートマッチングは、現在のユーザ１０の事象関連電位の振幅の大きさが標準的な場合には標準テンプレートとの単純なマッチングのみで識別が可能であるが、現在のユーザ１０が標準的な振幅とは異なる場合には、テンプレートの補正が必要になる。そこで、ユーザ特徴抽出部１６にて算出された特徴量によってテンプレートを補正する。【０１４９】
ユーザ特徴が大、中、小などで分類される場合には、それぞれに対応するテンプレートを準備しておき、それらを切り換えることで対応できる。また、ユーザ特徴が０．７５倍等の倍率で表現される場合には、標準のテンプレートの各時間帯に対して電位を所定の計数倍（例えば先の例では０．７５倍）をすることによって、調整後のテンプレートを作成できる。図１１は、調整前のテンプレートと調整後のテンプレートを示す。【０１５０】
さらに精度を高めるには、テンプレート波形の時間帯によって個人差が大きく出る部分と小さく出る部分がある場合には、それも考慮してテンプレートを調整することもできる。例えば個人差が電極の装着が十分でない場合や頭部の形状等から来る場合には、全体に振幅の大小が影響する可能性があるが、もしも、認知的な覚醒度が低下している場合には、視覚刺激に直接反応する成分が多いといわれる２００ミリ秒よりも以前には特徴量の反映を少なくし、Ｐ３成分が良く現れている２００ミリ秒〜５００ミリ秒には特徴量の反映を多くするなどの工夫をすればよい。【０１５１】
なお上述の補正はテンプレートの変更を想定しているが、テンプレートはそのままで、生体信号計測部１２からの出力時において、または脳波インタフェース部１３への入力時において、事象関連電位の振幅を増幅させたり減衰させたりしてよい。識別方法調整部１７が脳波インタフェース部１３または生体信号計測部１２に指示することにより、事象関連電位の振幅を増幅させたり、減衰させることができる。【０１５２】
このような構成により、本発明の脳波識別方法調整装置によれば、ユーザがコンテンツを視聴している間に明示的なキャリブレーションをすることなく、キャリブレーションに必要な情報を取得するので、ユーザにキャリブレーションの時間をとらせずに精度良く脳波が判別でき、操作しやすいインタフェースが提供できる。【０１５３】
これまでの説明では、提示されるコンテンツは動画であり、特に音声には言及しなかった。しかし、テレビ等の視聴時においては、ディスプレイに映像が表示されるとともに、音声情報もスピーカ等から提示される場合が多い。【０１５４】
事象関連電位は、映像等の視覚刺激に対しても誘発されるが、音声等の聴覚刺激に対しても誘発されることが知られている。このため、視覚情報からの基準のみで選択された事象関連電位には、様々な音声情報からの誘発電位も重畳されていると考えられ、識別方法の調整の観点からはノイズとしても考えることもできる。事象関連電位の個人差に関連した特徴をより正確に計測するためには、コンテンツ解析部１４において画像の解析だけでなく、音声の解析結果も考慮することで、精度が向上すると考えられる。【０１５５】
以下、図１２を参照しながら、出力部１１から映像と共に音声も出力される場合のコンテンツ解析部１４の処理を説明する。【０１５６】
図１２は、映像および音声が混在するコンテンツを解析するコンテンツ解析部１４の処理の手順を示す。【０１５７】
ステップＳ１４１において、コンテンツ解析部１４は出力部１１によってその時点で提示されている画像データを取得し、そしてステップＳ１４２において、取得した画像データの輝度の平均値を計算する。【０１５８】
一方、ステップＳ１４３において、コンテンツ解析部１４は出力部１１から出力されている音声データを取得し、ステップＳ１４４において、取得した音声データに基づいて出力される音声レベルの平均値を計算する。【０１５９】
ステップＳ１４５において、ユーザ特徴抽出部１６はユーザの個人差を良く反映した事象関連電位が取得できそうなタイミングであるかどうかを判定する。具体的には、上述した画像の変化があり、かつその変化に同期して音声の変化も観察された場合には、ユーザへの刺激の変化に起因してユーザの特徴がよく現れた事象関連電位が取得できると判断される。【０１６０】
画像および音声のそれぞれの変化は、すでに説明したような処理方法で検出可能である。これらの変化が同期しているか否かを判定することによって、画像に対する誘発電位と音声に対する誘発電位の分離をすることなく、ユーザの事象関連電位の振幅を個人差に関する情報として利用可能になる。このステップＳ１４５において画像および音声が同期して変化していると判定された場合はステップＳ１４６へ進み、変化していないと判定された場合は処理を終了する。【０１６１】
ステップＳ１４６において、ユーザ特徴抽出部１６は、現時点の脳波には刺激に対する事象関連電位が誘発されていると考えて、データ蓄積の必要有と判定し、その時刻を蓄積タイミングとして出力する。【０１６２】
以上説明したように、映像と音声が同期して変化することは、テレビのシーンの切り替わりに対応して発生することが多いため、データ収集は十分に可能である。なお、ステップＳ１４１およびＳ１４２と、ステップＳ１４３およびＳ１４４の処理の順序は変更してもよい。【０１６３】
これまでに説明した処理によれば、画像および／または音声の特徴量の変化に起因する事象関連電位の変化の大きさに基づいて、より一般化すれば、コンテンツの特徴量の変化によって誘発された事象関連電位の変化の大きさに基づいて、キャリブレーションに必要な情報を得ることができる。【０１６４】
なお、脳波蓄積部１５では、刺激に対する事象関連電位が見られる場合のみの刺激を抽出したが、刺激が少ない（画面変化の少ない）条件のデータも蓄積することも可能である。こうすることで、刺激があったときの脳波と刺激が少ないときの脳波の両方が蓄積可能になり、その差を用いることで、通常出ている脳波に対する特性の刺激に対する脳波の差を明確に取得できる。【０１６５】
なお、脳波蓄積部１５に蓄積された脳波の波形の振幅を脳波蓄積部１５にて蓄積のたびにチェックしておき、通常の個人差の範囲以上に蓄積されている脳波が小さい場合には、出力部１１より脳波計の装着状態の確認を促す出力をすることができる。例えば、最初に脳波計を装着した時に、装着の具合が悪く、脳波が計測されていないような状況では、「まだ、脳波が測定できていません、再装着をお願いします」等のメッセージが出せる。さらに、定期的に脳波蓄積部のデータをチェックする仕組みがあれば、体の動き等によって脳波計の装着状態が変って、信号が微弱になった場合等も検出でき、その場合にも「脳波計の装着具合をご確認ください」等のメッセージが出力できる。このようにすることで、脳波インタフェースが起動された後に、初めて脳波インタフェースが十分に使えない状況であることに気が付くという状況に陥らずに、脳波インタフェースが自然に使える状況を実現できる。【０１６６】
（実施形態２）
実施形態１においては、主として画面に提示される画像の変化を利用してキャリブレーション用のデータを収集し、識別方法を調整するとして説明した。本実施形態においては、音声を用いたインタフェースに対する音声を用いたキャリブレーションの実施方法を説明する。このようなシステムがたとえば自動車のカーナビゲーションシステムとして応用されると、ユーザは運転中でもシステムの操作が可能になるため利便性が非常に高くなる。【０１６７】
本実施形態では、放送やストリーミングによって提供されるラジオ等のコンテンツ視聴において、音声チャンネルのみを使用する。基本的な脳波インタフェースシステム１の構成は図１に示すとおりであるが、ＴＶに代えて、スピーカのみが設けられていればよい。【０１６８】
出力部１１ではスピーカ等によって音声のコンテンツが提示される。脳波インタフェースは画面を介して提供され、または音声によってメニュー項目が順次読み上げられることによって提供される。後者の場合は、音声のみのインタラクションによる脳波インタフェースになる。【０１６９】
以下、図１３を参照しながら、出力部１１から音声のコンテンツが出力される場合のコンテンツ解析部１４の処理を説明する。【０１７０】
図１３は、音声のコンテンツを解析するコンテンツ解析部１４の処理の手順を示す。【０１７１】
ステップＳ２４１において、コンテンツ解析部１４は音声データを取得する。取得する音声データの範囲は、前回の処理で取得された音声区間の後に続く音声区間である。音声区間は、例えば所定の時間毎のサンプリング等の時間による規定や、無音区間の検出等の信号強度による規定によって定義可能である。【０１７２】
ステップＳ２４２において、コンテンツ解析部１４は取得した音声区間の音声データについて音声レベルの平均値を算出する。【０１７３】
ステップＳ２４３において、コンテンツ解析部１４は、前回算出した音声レベルの平均値と今回の平均値を比較する。これにより音声レベルが大きく変化した区間を検出することができる。【０１７４】
ステップＳ２４４において、コンテンツ解析部１４は、ステップＳ２４３において検出した音声レベルの変化量が所定の閾値以上であるか否かを判定する。閾値以上であればステップＳ２４５に進み、閾値以下であれば処理を終了する。【０１７５】
ステップＳ２４５において、コンテンツ解析部１４は、データの蓄積が必要であると判定し、その時刻を蓄積タイミングとして出力する。ユーザの脳波には音声刺激に対する事象関連電位が誘発されていると考えられるためである。【０１７６】
このように動作することにより、音声を主体にした脳波インタフェースにおいても、音声変化の大きい時にはユーザの特徴を表す事象関連電位が誘発されているため、このタイミングを検出して次の蓄積部１５で波形を蓄積できる。【０１７７】
ここで音声変化が大きいポイントとは、テレビの音声トラックやラジオにおいて、例えばスポーツに関して、サッカー中継でシュートが入った直後の突然の大歓声が起きた場合や、お笑い番組などにおける急に大爆笑が起きた場合や、時報（たとえば「ポッ、ポッ、ポッ、ピー」）などがあげられる。これらのタイミングでの事象関連電位を蓄積することで、聴覚刺激に対する反応が収集できる。【０１７８】
本実施形態にかかる脳波識別方法調整装置によれば、音声を中心にした脳波インタフェースにおいても、ユーザがコンテンツを視聴している間に、明示的にキャリブレーションをすることなく、キャリブレーションに必要な情報を取得するので、ユーザにキャリブレーションの時間をとらずに精度良く脳波が判別でき、操作しやすいインタフェースを提供できる。【０１７９】
（実施形態３）
実施形態１および２においては、テレビ等のコンテンツからキャリブレーションの情報を取得する実施例について説明した。【０１８０】
しかしながら、テレビ等のコンテンツ視聴時であっても、コンテンツ以外の要因によってユーザ１０の脳波が影響を受けることがある。コンテンツ以外の要因の一例を挙げると、外部環境の変化である。具体的には、ドアが閉まる「バタン」という音、時計の時報、来客時の「ピンポーン」の呼び出し音等もユーザ１０の脳波に影響を与えることがあり得る。【０１８１】
本願発明者らは、外部環境からの刺激（ユーザが存在する環境中の光および／または音）をセンシングすることにより、その結果から、キャリブレーション用のデータを取得することが可能であることを見出した。【０１８２】
以下、図１４を参照しながら、本実施形態における脳波識別方法調整装置を説明する。【０１８３】
図１４は、本実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す。脳波インタフェースシステム１は、脳波識別方法調整装置５０を有している。【０１８４】
脳波識別方法調整装置５０が脳波識別方法調整装置２（図２）と異なる点は、脳波識別方法調整装置５０は、脳波識別方法調整装置２のコンテンツ解析部１４に代えて外部環境検出部５１と外部環境解析部５２とを備えていることにある。これは、脳波識別方法調整装置５０と脳波識別方法調整装置２とでは解析対象が異なることを意味する。【０１８５】
以下、脳波識別方法調整装置５０を詳細に説明する。脳波識別方法調整装置５０の構成要素のうち、脳波識別方法調整装置２（図２）と同様の要素については、同じ番号を付与し、説明を省略する。【０１８６】
外部環境検出部５１は、ユーザ１０が置かれた環境の変化を検出する。「ユーザ１０が置かれた環境」とは、図１に示す例では部屋の中を意味する。または、ユーザ１０がウェアラブル型の機器を装着して外出しているときには屋外を意味する。ユーザ１０が車を運転しているときには、車内や道路周辺の状況を意味する。【０１８７】
外部環境検出部５１は、環境の状態を検出し、出力するセンサである。より具体的には、ユーザ１０が置かれた環境中の音の情報を取得して、その情報を出力するマイク、当該環境中のユーザ周辺の視覚的情報を取得して出力するカメラである。ただしこれらは例である。検出したい環境に適したセンサを用いることが可能である。【０１８８】
外部環境解析部５２は、外部環境検出部５１の出力信号と、必要に応じて出力部１１からの出力（提示されたコンテンツ）を受けて、信号解析を行い、脳波蓄積部１５での脳波蓄積タイミングを指示する。【０１８９】
次に、図１５を参照しながら、環境変化の解析処理の詳細を説明する。以下では例として、ユーザがテレビでコンテンツを視聴しているときを想定し、室内環境の音に基づいて環境変化の解析処理を行うとする。【０１９０】
図１５は、図１に示す室内環境の音に関する環境変化を解析する処理の手順を示す。【０１９１】
ステップＳ５２１において、外部環境検出部５１は外部環境音を取得する。例えばユーザ１０の装着する脳波計１２等の近くにマイクを設置すると、ユーザ１０が耳にする外部環境音はマイクによって取得される。【０１９２】
テレビ１１の視聴時に取得された外部環境音には、テレビ１１等からの音声も混在して検出されることが想定される。そのため以下のステップによりテレビ１１の影響を除去する。【０１９３】
ステップＳ５２２において、外部環境解析部５２は、出力部１１からの出力信号のうち、音声に関する情報を取得する。これにより、コンテンツが持つ音声情報を取得できる。【０１９４】
ステップＳ５２３において、外部環境解析部５２は、外部環境検出部５１によって取得された外部環境音の情報から、コンテンツの音声情報を除去する。これによって、外部環境のみに由来する信号を抽出できる。【０１９５】
ステップＳ５２４において、外部環境解析部５２は、外部環境のみに由来する信号を利用して取得された外部環境音に特徴的な音が含まれるか否かを判定する。特徴的な音とは、例えば、ドアが閉まる「バタン」という音や、来客時のインターホンの「ピンポーン」という呼び出し音などである。このような音の物理量（波形、音声レベル等）の特徴は、音声レベルが急激に立ち上がり、その音声レベルが事象関連電位として脳波に影響を与えることにある。このような音の物理量の特徴を備えている限り、その音は外部環境音に特徴的な音ということができる。このときの脳波の事象関連電位を取得することで、キャリブレーション用の情報が得られる。具体的には、音レベルの単位時間あたりの増加量が所定の閾値を超えているかなどが判定条件として使用可能である。もしも、特徴ありと判定されたときには、ステップＳ５２５に進み、特徴ありと判定されなかったときには処理を終了する。【０１９６】
ステップＳ５２５においては、音の変化が閾値以上であったため、ユーザの脳波には、音刺激に対する事象関連電位が誘発されていると考えて、データの蓄積が必要と判定し、その時刻を蓄積タイミングとして出力する。【０１９７】
このような処理によって、コンテンツ情報からだけでなく、外部環境の特徴的な変化からもキャリブレーションに用いる波形を取得できる。【０１９８】
これまでは、室内でテレビ等を視聴しているときの室内環境音に基づくキャリブレーションの例を示した。しかしながら、他の外部環境において検出された物理量の変化を検出することにより、環境の変化を検出し、キャリブレーションに利用することもできる。【０１９９】
例えば、ウェアラブルな脳波計を装着して外出しているときは、屋外で突発的に発生する音、例えば駅のプラットフォームで鳴らされるベルや、店頭での音楽、視覚的には看板等の点滅を物理量の変化として検出し、さらにそのような音や点滅によって誘発された事象関連電位の変化を検出することにより、外部環境変化を検出することができる。同様に、車を運転しているときは、他の車のホーンや、交通信号の点滅や切り替わりなどを物理量の変化として検出し、脳波に影響を与え得る信号として利用できる。【０２００】
このように、本実施形態の脳波識別方法調整装置によれば、明示的にキャリブレーションをすることなく、ユーザの置かれた状況の環境変化からもキャリブレーションに必要な情報が取得できる。よって、ユーザにキャリブレーションの時間を取らずに精度良く脳波が判別でき、操作しやすいインタフェースを提供できる。
【産業上の利用可能性】
【０２０１】
本発明の脳波識別方法調整装置およびその装置が組み込まれた脳波インタフェースシステムによれば、ユーザがコンテンツを視聴している最中に、コンテンツの中からユーザの個人差の特徴を反映する脳波（事象関連電位）を抽出し、判別方法を調整する。これにより、脳波の個人差を反映させて判別方法を向上させる必要のある機器、例えば脳波を用いた機器操作インタフェースが搭載されている情報機器や映像音響機器などの操作性改善に有用である。また、脳波を用いたインタフェース以外にも、ユーザの心的状態、感情状態、認知状態等を検出してその状態に応じて動作するサービス提供機器などの、個人差の補正が必要な機器に対して本装置は有効に機能する。【０２０２】
このような装置の機能は、たとえばコンピュータプログラムによって実現することも可能であるため、システムの大幅な改変をすることなく、容易に実装できる。
【図１】
2008059878.tif 000003
【図２】
2008059878.tif 000004
【図３】
2008059878.tif 000005
【図４】
2008059878.tif 000006
【図５】
2008059878.tif 000007
【図６】
2008059878.tif 000008
【図７】
2008059878.tif 000009
【図８】
2008059878.tif 000010
【図９】
2008059878.tif 000011
【図１０】
2008059878.tif 000012
【図１１】
2008059878.tif 000013
【図１２】
2008059878.tif 000014
【図１３】
2008059878.tif 000015
【図１４】
2008059878.tif 000016
【図１５】
2008059878.tif 000017
【手続補正書】
【提出日】平成20年4月25日(2008.4.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる装置であって、
前記ユーザに提示されるコンテンツ、および、前記ユーザが存在する環境中から前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定して解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出する解析部と、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積する蓄積部と、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するユーザ特徴抽出部と、
抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整する識別方法調整部と
を備えた、脳波識別方法の調整装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１４
【補正方法】変更
【補正の内容】
【請求項１４】
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる方法であって、
前記ユーザに提示されるコンテンツ、および、前記ユーザが存在する環境中から前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、
前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、
抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップと
を包含する方法。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１５
【補正方法】変更
【補正の内容】
【請求項１５】
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる脳波識別方法調整装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは前記コンピュータに、
前記ユーザに提示されるコンテンツ、および、前記ユーザが存在する環境中から前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、
前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、
抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップと
を実行させる、コンピュータプログラム。
【手続補正書】
【提出日】平成20年8月26日(2008.8.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる装置であって、
前記ユーザに提示されるコンテンツ、および、前記ユーザが存在する環境中から前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定して解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出する解析部と、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積する蓄積部と、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するユーザ特徴抽出部と、
抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整する識別方法調整部と
を備えた、脳波識別方法の調整装置。
【請求項２】
前記刺激が、前記ユーザに提示されるコンテンツの映像および／または音声であるときにおいて、
前記解析部は、前記コンテンツのデータを解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出する、請求項１に記載の調整装置。
【請求項３】
前記脳波インタフェースシステムは、動画データに基づいて複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示する出力部を備えており、
前記解析部は、連続する前記複数の画像の画像特徴量の変化を前記コンテンツの特徴量の変化として検出する、請求項２に記載の調整装置。
【請求項４】
前記解析部は、輝度および色相の少なくとも一方の変化を前記コンテンツの特徴量の変化として検出する、請求項３に記載の調整装置。
【請求項５】
前記脳波インタフェースシステムは、音声データに基づいて音声のコンテンツを提示する出力部を備えており、
前記解析部は、前記音声の出力レベルの変化を前記コンテンツの特徴量の変化として検出する、請求項２に記載の調整装置。
【請求項６】
前記脳波インタフェースシステムは、複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示し、かつ、音声のコンテンツを提示する出力部を備えており、
前記解析部は、連続する前記複数の画像の画像特徴量の変化と、前記音声の出力レベルの変化とが同期するときを、前記コンテンツの特徴量の変化として検出する、請求項２に記載の調整装置。
【請求項７】
前記脳波インタフェース部は、予め保持した閾値と、前記脳波信号の事象関連電位の振幅とに基づいてユーザの要求を識別し、
前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の振幅を前記ユーザの特徴量として抽出し、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記閾値を調整する、請求項２に記載の調整装置。
【請求項８】
前記脳波インタフェース部は、予め保持した少なくとも１つの波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、
前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記少なくとも１つの波形のテンプレートを調整する、請求項２に記載の調整装置。
【請求項９】
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記少なくとも１つの波形のテンプレートの値を変化させて前記脳波インタフェース部に設定し、
前記脳波インタフェース部は設定された前記少なくとも１つの波形のテンプレートに基づいて前記ユーザの要求を識別する、請求項８に記載の調整装置。
【請求項１０】
前記脳波インタフェース部は、複数の波形のテンプレートを保持しており、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記複数の波形のテンプレートのうちのひとつを特定し、前記ユーザの要求を識別するためにテンプレートとして前記脳波インタフェース部に設定するよう指示する、請求項８に記載の調整装置。
【請求項１１】
前記脳波インタフェース部は、予め保持した波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、
前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記ユーザの脳波信号の振幅を調整するよう、前記脳波インタフェース部および前記生態信号計測部の一方に指示する、請求項２に記載の調整装置。
【請求項１２】
前記ユーザ特徴抽出部は、前記蓄積部に蓄積された前記事象関連電位の波形の振幅が予め定められた閾値よりも小さい場合には信号を出力し、
前記識別方法調整部は、前記ユーザ特徴抽出部からの信号に基づいて、前記生体信号計測部による脳波信号の取得に関する警告を出力するよう、前記脳波インタフェース部に指示する、請求項２に記載の調整装置。
【請求項１３】
前記刺激が、前記ユーザが存在する環境中の光および／または音であるときにおいて、
前記解析部は、前記環境中の光および／または音を検出し、前記脳波信号に含まれる事象関連電位に影響を与える前記環境中の光および／または音の特徴量の変化を検出する、請求項１に記載の調整装置。
【請求項１４】
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる方法であって、
前記ユーザに提示されるコンテンツ、および、前記ユーザが存在する環境中から前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、
前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、
抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップと
を包含する方法。
【請求項１５】
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる脳波識別方法調整装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは前記コンピュータに、
前記ユーザに提示されるコンテンツ、および、前記ユーザが存在する環境中から前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、
前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、
抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップと
を実行させる、コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳波を利用して機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、本発明はユーザの脳波を利用してユーザの心的状態、感情状態、認知状態等を検出して機器操作や情報取得の意図を検出する脳波インタフェースシステムにおいて、脳波を的確に解析するためのキャリブレーションを行う機能を備えた脳波インタフェースシステムに関する。
【背景技術】
【０００２】
これまで、テレビ、携帯電話、ＰＤＡ（Personal Digital Assistant）等の情報機器に代表される様々な種類の機器が提案されている。ユーザはそれらの機器に囲まれて日頃の生活を送り、機器を操作することで所望の情報やサービスを受けている。機器の数が増加の一途を遂げていること、および、機器を使わないと得られない情報が増加していること等を原因として、機器を操作するためのインタフェースの操作性向上の重要性が年々高まっている。
【０００３】
例えば、上述の情報機器に関しては、機器の画面を見ながら実行したい操作の選択肢を選択することによって、機器操作が実現されてきた。その操作入力手段として、たとえばボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作する、などの方法が用いられていた。しかし、例えば家事、育児、自動車の運転中など、両手が機器操作以外の作業のために使えない場合は、操作入力手段を利用した入力が困難となり、機器操作が実現できないことがあった。そのため、両手が塞がっている状況でも情報機器を操作したいというユーザのニーズが高まっている。
【０００４】
このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献１では、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する脳波インタフェース技術が開示されている。非特許文献１に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ミリ秒後に出現する事象関連電位の波形を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によれば、ユーザは両手がふさがっている状況においても、また病気等により手足が動かせない状況においても選択したいと思った選択肢が選択できるため、上述のニーズに合致する機器操作等のインタフェースが実現される。
【０００５】
ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象の発生タイミングを起点として計測される、この事象関連電位を利用する。例えば、視覚刺激などに対して発生する事象関連電位の「Ｐ３００」という成分を利用すると、メニューの選択肢が選択できるとされている。「Ｐ３００」とは、起点から約３００ミリ秒付近に現れる事象関連電位の陽性の成分のことである。
【０００６】
上述の脳波の波形の出方は個人差が大きいため、事象関連電位をインタフェースの入力手段として用いるためにはこの個人差に対応した精度の高い識別を実現する必要がある。非特許文献１の３２ページは、個人差の一例を示している。また、図５は、同一の課題を３６名の被験者に対して実施した場合の脳波の個人差の一例を示す。各被験者のグラフには２種類の状況に対する脳波が表示され、それぞれ実線と破線によって示されている。図５から明らかなように、個人差によって波形およびピーク位置における振幅が大きく異なるため単一の基準で全てのユーザの識別を精度良く行うことは困難であるといえる。
【０００７】
個人差を補正して脳波（生体信号）を精度良く計測するためには計測機器のキャリブレーションを行い、計測機器で計測されたデータがユーザの生体情報を正確に表すように調整することが必要である。たとえば特許文献１では、ユーザの視線を精度良く計測するために、計測機器を装着した時点、すなわち視線計測の前に計測機器のキャリブレーションを行い、計測機器とユーザの視線の間の座標系を整合させる技術が開示されている。
【０００８】
一方、事象関連電位の成分に現れる個人差を考慮した適切な識別方法も考案されている。たとえば特許文献２では、ユーザごとに識別方法を変えて識別率を向上させる技術が開示されている。この技術は単一の基準で全てのユーザの識別を行うのではなく、調べたい状況に対する事象関連電位の加算平均波形から事前に個人ごとのテンプレートを作成しておき、そのテンプレートを用いて事象関連電位の成分を識別している。なお、事象関連電位の個人差については、たとえば非特許文献２が詳しい。
【０００９】
従来の脳波インタフェースは、体が自由に動かせない方のための研究として進められており、体が自由に動かせなくても脳波が自由に表出できることを利用して機器操作のインタフェースを実現するものである。上述の非特許文献１においては、事象関連電位のＰ３００成分を用いることで、メニューの選択や文字の入力などが可能であることが示されている。これにより、ベッドの近くに常時使用可能な状態で準備されたメニューの表示された画面に向かって、飲み物や手当ての要求を伝えることができた。
【００１０】
上述の脳波インタフェースを一般のユーザが日常で使用する機器の操作に応用する場合であっても、個人差の大きい各ユーザの事象関連電位を正確に識別するためには、各ユーザに対するシステムの調整が不可欠である。一般的なキャリブレーションの思想に従えば、脳波インタフェースを使用する前に脳波インタフェースを仮想的に操作する作業を実施してもらい、そのときの波形を記録することにより、実際に脳波インタフェースを使用した時の識別のための情報として使用する方法が考えられる。
【特許文献１】特開２００５−３１２６０５号公報
【特許文献２】国際公開第０６／０５１７０９号パンフレット（［００６８］段落）
【非特許文献１】エマニュエル・ドンチン（Emanuel Donchin）、他２名、“Ｔｈｅ  Ｍｅｎｔａｌ  Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｉｎｇ  ｔｈｅ  Ｓｐｅｅｄ  ｏｆ  ａ  Ｐ３００−Ｂａｓｅｄ  Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ  Ｉｎｔｅｒｆａｃｅ”、ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ  ＥＮＧＩＮＥＥＲＩＮＧ、Ｖｏｌ．８、Ｎｏ．２、２０００年６月
【非特許文献２】入戸野宏、「心理学のための事象関連電位ガイドブック」、北大路書房、２００５年９月２０日発行、３２頁
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、日常で使用する機器の操作に脳波インタフェースを応用する場合に、本来の機能を発揮するために大仰なキャリブレーションの実行を必須とするのはユーザにとって負担であり、手間もかかる。ユーザの負担を軽減するための脳波インタフェースが逆にユーザに負担となるのは本末転倒である。したがって、脳波インタフェースを日常的な用途に応用する際には、ユーザがいつでも気軽に利用でき、かつ精度良く動作して本来の機能を発揮できなければならない。
【００１２】
ただし、脳波インタフェースを日常的な用途に応用するにあたっては、研究や医療用途などの特殊な状況下では問題とされない特徴が存在する。たとえば、チャンネル変更や音量変更などの軽微な操作は、頻繁に行われるものではなく、またいつ行われるかわからないという特徴がある。
【００１３】
また、ディスプレイには通常脳波インタフェースのためのメニュー以外の情報が表示されているため、事象関連電位への影響が大きく、かつ不規則に発生するという特徴もある。たとえば脳波インタフェースが起動されていない時間帯には別の情報（テレビ番組、映画等）が表示されている。なお、研究や医療用途であれば、脳波の識別精度を高くするためにインタフェース使用前に十分な時間をかけてキャリブレーションを実施し、十分な補正能力を確保した上で脳波を取得することが可能である。
【００１４】
したがって、常時使われるわけではなく、たまに機器を操作する際においても精度良く動作しなければならないという条件は、脳波インタフェースに対して非常に酷である。各ユーザに対して脳波識別方法を的確に調整する方法が必要とされている。
【００１５】
本発明の目的の一つは、脳波を利用したインタフェースを備えたシステムにおいて、ユーザに対し、脳波を正確に計測するためのキャリブレーションの負担をなくし、かつ、脳波に関する判別精度を高く維持することにある。
【課題を解決するための手段】
【００１６】
本発明による調整装置は、コンテンツのデータに基づいてユーザに前記コンテンツを提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる。前記調整装置は、前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定して解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出する解析部と、前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積する蓄積部と、蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するユーザ特徴抽出部と、抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整する識別方法調整部とを備えている。
【００１７】
前記刺激が、前記ユーザに提示されるコンテンツの映像および／または音声であるときにおいて、前記解析部は、前記コンテンツのデータを解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出してもよい。
【００１８】
前記出力部は、動画データに基づいて複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示し、前記解析部は、連続する前記複数の画像の画像特徴量の変化を前記コンテンツの特徴量の変化として検出してもよい。
【００１９】
前記解析部は、輝度および色相の少なくとも一方の変化を前記コンテンツの特徴量の変化として検出してもよい。
【００２０】
前記出力部は、音声データに基づいて音声のコンテンツを提示し、前記解析部は、前記音声の出力レベルの変化を前記コンテンツの特徴量の変化として検出してもよい。
【００２１】
前記出力部は、複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示し、かつ、音声のコンテンツを提示し、前記解析部は、連続する前記複数の画像の画像特徴量の変化と、前記音声の出力レベルの変化とが同期するときを、前記コンテンツの特徴量の変化として検出してもよい。
【００２２】
前記脳波インタフェース部は、予め保持した閾値と、前記脳波信号の事象関連電位の振幅とに基づいてユーザの要求を識別し、前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の振幅を前記ユーザの特徴量として抽出し、前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記閾値を調整してもよい。
【００２３】
前記脳波インタフェース部は、予め保持した少なくとも１つの波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記少なくとも１つの波形のテンプレートを調整してもよい。
【００２４】
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記少なくとも１つの波形のテンプレートの値を変化させて前記脳波インタフェース部に設定し、前記脳波インタフェース部は設定された前記少なくとも１つの波形のテンプレートに基づいて前記ユーザの要求を識別してもよい。
【００２５】
前記脳波インタフェース部は、複数の波形のテンプレートを保持しており、前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記複数の波形のテンプレートのうちのひとつを特定し、前記ユーザの要求を識別するためにテンプレートとして前記脳波インタフェース部に設定するよう指示してもよい。
【００２６】
前記脳波インタフェース部は、予め保持した波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記ユーザの脳波信号の振幅を調整するよう、前記脳波インタフェース部および前記生態信号計測部の一方に指示してもよい。
【００２７】
前記ユーザ特徴抽出部は、前記蓄積部に蓄積された前記事象関連電位の波形の振幅が予め定められた閾値よりも小さい場合には信号を出力し、前記識別方法調整部は、前記ユーザ特徴抽出部からの信号に基づいて、前記生体信号計測部による脳波信号の取得に関する警告を出力するよう、前記脳波インタフェース部に指示してもよい。
【００２８】
前記刺激が、前記ユーザが存在する環境中の光および／または音であるときにおいて、前記解析部は、前記環境中の光および／または音を検出し、前記脳波信号に含まれる事象関連電位に影響を与える前記環境中の光および／または音の特徴量の変化を検出してもよい。
【００２９】
本発明による方法は、コンテンツのデータに基づいてユーザに前記コンテンツを提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、識別方法を調整するために用いられる。前記方法は、前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップとを包含する。
【００３０】
本発明によるコンピュータプログラムは、コンテンツのデータに基づいてユーザに前記コンテンツを提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記脳波信号に基づいてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の識別方法を調整するために用いられる脳波識別方法調整装置に実装されたコンピュータによって実行される。前記コンピュータプログラムは、前記コンピュータに、前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、抽出された前記ユーザの特徴量に基づいて、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップとを実行させる。
【発明の効果】
【００３１】
本発明によれば、ユーザが視聴しているコンテンツや、ユーザが置かれた環境中の環境光や環境音によって、ユーザが光および／または音などの刺激を外部から受けているときに、脳波インタフェースシステムのキャリブレーションに必要な個人差に関する情報が取得される。そして脳波インタフェースの利用時に、収集されたデータを用いてシステム内部でキャリブレーションが実行される。
【００３２】
ユーザに対してキャリブレーションの参加を強制することはなく、また明示的にキャリブレーションを行わないため、キャリブレーションに起因するユーザへの負担および手間が大幅に軽減される。その結果、ユーザはキャリブレーションのための待ち時間なくすぐにコンテンツの視聴を開始できる。その一方、キャリブレーションはユーザごとに行われるため、精度良く脳波が判別でき、操作性が向上した脳波インタフェースを提供できる。
【発明を実施するための最良の形態】
【００３３】
以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェースシステムに組み込まれる脳波識別方法調整装置の実施形態を説明する。
【００３４】
はじめに、本発明による脳波インタフェースシステムおよび脳波識別方法調整装置の主要な特徴の概略を説明する。その後、脳波識別方法調整装置の各実施形態を説明する。
【００３５】
本願発明者らは、将来的には、装着型の脳波計と装着型のディスプレイとを組み合わせた環境で脳波インタフェースシステムが構築されることを想定している。ユーザは脳波計とディスプレイとを常に装着し、装着型ディスプレイを利用してコンテンツの視聴や画面の操作を行うことができる。また、他には、家庭用のテレビと装着型の脳波計とを組み合わせた家庭内などの環境でも脳波インタフェースシステムが構築されることを想定している。ユーザはテレビを見るときに、脳波計を装着してコンテンツの視聴や画面の操作等を行うことができる。
【００３６】
たとえば図１は、後者の例による、本願発明者らが想定する脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。
【００３７】
脳波インタフェースシステム１は、ユーザ１０の脳波信号を利用してＴＶ１１を操作するインタフェースを提供するためのシステムである。ユーザ１０の脳波信号はユーザが頭部に装着した生体信号計測部１２によって取得され、無線または有線で脳波インタフェース部１３に送信される。ＴＶ１１に内蔵された脳波インタフェース部１３は、脳波の一部を構成する事象関連電位のＰ３成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。
【００３８】
「Ｐ３成分」とは、事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく標的刺激提示後２５０ミリ秒から５００ミリ秒の時間帯に出現する陽性成分をいう。典型的には標的刺激提示後、３００ミリ秒付近に現れる陽性成分をいう。ただし、以下の実施形態の説明においては、視覚への刺激に起因して発生する事象関連電位のＰ３成分を「視覚Ｐ３成分」などと表す。
【００３９】
脳波信号（事象関連電位）中のＰ３成分が実際に出現する時間や振幅はユーザごとに変動しうるため、脳波インタフェースシステム１においては、動作する基準をユーザ１０の脳波信号に合わせて調整する必要がある。この調整を行うための基準を取得するための処理が、いわゆるキャリブレーションである。キャリブレーションは脳波識別方法調整装置２によって行われる。
【００４０】
脳波インタフェースシステム１では、インタフェースとして脳波を使用するとき以外の状態でも脳波は計測可能になっており、テレビや映画等のコンテンツを視聴しているときでも、脳波は計測可能である。
【００４１】
脳波識別方法調整装置２は、ユーザがコンテンツを視聴している間に、キャリブレーションに必要なデータを収集する。より詳しくは、脳波識別方法調整装置２は出力されるコンテンツのデータを解析し、事象関連電位に影響を与えるコンテンツの変化を検出し、変化が検出されたタイミングを起点とする所定期間にわたって事象関連電位の波形を蓄積する。たとえばＴＶ１１の画面１１ａに提示された動画像の輝度、色相が閾値以上変化したときや、ＴＶ１１のスピーカ１１ｂから出力される音声のレベルが閾値以上変化したとき、コンテンツの変化を検出する。このコンテンツの変化は、事象関連電位に影響を与える変化であると考えられる。
【００４２】
収集したデータは、脳波を利用してユーザがＴＶ１１などの機器を操作する時にキャリブレーションのために利用される。ただし、既に必要なデータが収集されているため、ユーザには明示的なキャリブレーションのプロセスは提示されず、ユーザはキャリブレーションのプロセスが行われていることを認識することはない。キャリブレーションはユーザごとに実現されるため、例えば家事や育児で両手が塞がっている場合でも、あらゆるユーザが手を使わずにＴＶ１１等の機器を正確に操作することが可能となる。よって機器の操作性が格段に向上する。
【００４３】
このような脳波インタフェースシステム１によれば、ユーザは機器の利用開始時にキャリブレーションのためだけの脳波測定を行う必要はないため、機器利用開始時のユーザへの負担および手間がなくなる。またシステム１の利用開始時のキャリブレーションに割くべき時間が不要であるため、ユーザはコンテンツの視聴をすぐに開始できる。コンテンツの視聴等を目的として機器の利用を開始することに鑑みれば、ユーザの希望に沿った動作を即座に実現できることは非常に有用である。
【００４４】
なお、本発明においては、脳波インタフェースシステムのキャリブレーションに必要な個人差に関する情報を取得するために、ユーザに与えられる刺激の変化を検出している。刺激の変化は以下のようにして検出される。すなわち、視覚および／または聴覚の刺激に対応する物理量を、刺激の特徴量として測定して解析し、刺激の特徴量の変化を検出することにより、刺激の変化が検出されている。
【００４５】
ただし、具体的な刺激の変化の検出方法については、実施形態１および２と、実施形態３とは異なっている。
【００４６】
実施形態１および２では、映像／音声コンテンツや画像をユーザが視聴している間に、ユーザが機器から受けた刺激（映像および／または音声）の変化と、その変化に起因する事象関連電位の変化に基づいて、当該刺激の変化を検出している。
【００４７】
一方、実施形態３では、ユーザが置かれた環境で、ユーザが環境から受けた刺激（環境光および／または環境音など）の変化と、その変化に起因する事象関連電位の変化に基づいて、当該刺激の変化を検出している。
【００４８】
以下、本発明の実施形態１〜３をそれぞれ説明する。
【００４９】
（実施形態１）
図２は、本実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す。脳波インタフェースシステム１は、脳波識別方法調整装置２と、出力部１１と、生体信号計測部１２と、脳波インタフェース（ＩＦ）部１３とを有している。図２はまた、脳波識別方法調整装置２の詳細な機能ブロックも示している。ユーザ１０のブロックは説明の便宜のために示されている。
【００５０】
脳波識別方法調整装置２は、有線または無線で、出力部１１、生体信号計測部１２および脳波インタフェース部１３の各々と接続され、信号の送信および受信を行う。図１においては、脳波インタフェース部１３と脳波識別方法調整装置２とは別体であるが、これは例である。これらの一部または全部を一体化してもよい。
【００５１】
脳波識別方法調整装置２は、脳波インタフェースシステム１において各ユーザの脳波信号に基づいて脳波インタフェース部１３をキャリブレーションするために設けられている。脳波識別方法調整装置２の詳細な説明は後述する。
【００５２】
出力部１１は、ユーザにコンテンツや脳波インタフェースにおける選択されるべきメニューを出力する。図１に示すＴＶ１１は出力部の具体例であるため、以下では参照符号「１１」を出力部に充てて説明する。出力部１１は、出力される内容が動画や静止画の場合にはディスプレイ画面１１ａ（図１）に対応し、出力される内容が音声の場合にはスピーカ１１ｂ（図１）に対応する。なお、ディスプレイ画面１１ａおよびスピーカ１１ｂが出力部１１として併用されることもある。
【００５３】
生体信号計測部１２は、ユーザ１０の頭部に装着された電極における電位変化を計測することによって生体信号を検出する脳波計であり、生体信号として脳波を計測する。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ１０はあらかじめ脳波計を装着しているものとする。
【００５４】
ユーザ１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、生体信号計測部１２には電極が配置されている。電極の配置は、例えばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ１０の鼻根部になる。ただし、電極は最低２個あればよく、例えばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
【００５５】
この結果、生体信号計測部１２はユーザ１０の脳波を測定することができる。測定されたユーザ１０の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース部１３および脳波識別方法調整装置２に送られる。なお、脳波に混入するノイズの影響を低減するため、生体信号計測部１２においては計測される脳波は、あらかじめ例えば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目や聴覚刺激が提示される前の例えば２００ミリ秒の平均電位でベースライン補正されているものとする。
【００５６】
脳波インタフェース部１３は、機器操作に関するメニュー項目をユーザに提示し、生体信号計測部１２で計測された脳波の事象関連電位を切り出して識別する。識別に際しては、脳波インタフェース部１３は波形のテンプレート１８を利用する。テンプレート１８は、たとえば希望に合致したときに現れる脳波の事象関連電位の波形を示すデータが規定されている。脳波インタフェース部１３は、出力部１１を介してメニュー項目などを表示し、その後に取得した事象関連電位の波形がテンプレート１８の波形に近いか否かを評価する。そして近いと評価した場合には、そのメニュー項目に対応する動作の実行を機器に指示する。この結果、出力部１１に提示されるコンテンツの変更や修正が可能になる。なお、脳波インタフェース部１３の動作の詳細は、図３および図４を参照しながら後述する。
【００５７】
出力部１１、生体信号計測部１２および脳波インタフェース部１３によって、脳波インタフェースシステム１における主要な機能、すなわち脳波を利用した機器操作を提供するための脳波インタフェース機能が実現される。
【００５８】
次に脳波識別方法調整装置２の構成を詳細に説明する。
【００５９】
脳波識別方法調整装置２は、ＣＰＵ３と、ＲＡＭ４と、ＨＤＤなどの脳波蓄積部１５とを有している。
【００６０】
脳波蓄積部１５は、生体信号計測部１２から脳波の事象関連電位を受け取って、その波形のデータを蓄積する。データの蓄積の開始および終了は、後述するコンテンツ解析部１４（ＣＰＵ３）からの蓄積指示信号を受けたタイミングで行われる。
【００６１】
ＲＡＭ４はコンピュータプログラム５を保持している。ＣＰＵ３はそのプログラム５を実行することにより、後述する種々の処理を行う。これらの処理を機能的にみると、ＣＰＵ３があたかも複数の構成要素のように機能することによって各処理が実現されている。図２のＣＰＵ３内には、ＣＰＵ３が行う主要な処理を３つの機能ブロックとして記載している。具体的には、ＣＰＵ３は、コンテンツ解析部１４、ユーザ特徴抽出部１６および識別方法調整部１７として機能する。以下、これらの詳細を説明する。
【００６２】
コンテンツ解析部１４は、出力部１１に出力されたコンテンツを受け取り、その内容を解析する。解析は、ユーザ１０の事象関連電位に影響を与えるようなコンテンツの変化が現れたか否かの観点で行われる。たとえば動画像の輝度、色相がある値以上変化すると、一般的に事象関連電位に影響を与えることが知られている。よってコンテンツ解析部１４は、コンテンツのデータに基づいて動画像の輝度や色相などの画像特徴量の変化が予め設定された値（閾値）以上になったか否かを判定する。閾値以上になったときは事象関連電位の波形を蓄積すべきタイミングであるとして、脳波蓄積部１５に対して蓄積指示信号を出力する。
【００６３】
コンテンツの変化の程度が大きい状況が現れたときにのみ蓄積指示信号が出力されるため、近似する状況における、そのユーザの特徴が含まれた事象関連電位の波形が蓄積される。
【００６４】
ユーザ特徴抽出部１６は、脳波インタフェースシステム１を使用しているユーザ１０の脳波に含まれる特徴を抽出する。脳波の出方は個人差が大きい。ここでいう脳波の個人差とは、事象関連電位の波形上の特徴を意味しており、より具体的には形状やピーク時点での振幅の大きさなどである。
【００６５】
この個人差の情報、すなわちユーザ固有の特徴を抽出するためにユーザ特徴抽出部１６が設けられている。たとえばユーザ特徴抽出部１６は、蓄積された事象関連電位の波形の加算平均を求めて、ユーザ固有の特徴を抽出する。
【００６６】
識別方法調整部１７は、ユーザ特徴抽出部１６によって抽出された個人差の情報に基づき、そのユーザの特徴を識別できるよう、脳波インタフェース部１３において利用される識別のためのテンプレート１８のデータを調整する。これにより、個人差があっても、脳波インタフェース部１３における識別性能を高く保つことができる。
【００６７】
なお、上述のコンテンツ解析部１４、ユーザ特徴抽出部１６および識別方法調整部１７は１つのＣＰＵ３によって実現されなくてもよく、個々の処理チップとして実装されてもよい。
【００６８】
次に、図３および図４を参照しながら、図２に示す脳波インタフェースシステム１の主要な処理を概説する。その後、キャリブレーションの必要性を説明する。
【００６９】
脳波インタフェースシステム１が設けられる目的は、事象関連電位を用いて、ＴＶ画面等に表示された複数の選択項目からユーザがどの項目を選択したいかを識別することにある。
【００７０】
図３は脳波インタフェース部１３の処理の手順を示す。一方、図４（ａ）〜（ｄ）は脳波インタフェースシステム１においてＴＶを操作し、ユーザ１０が視聴したいジャンルの番組を見るときの例を示す。
【００７１】
以下、図３に示すフローチャートに沿って、適宜図４を参照しながら脳波インタフェース部１３の動作を説明する。
【００７２】
ステップＳ９１では、脳波インタフェース部１３は出力部１１を介してメニューを表示する。たとえばコンテンツ視聴時にはＴＶのディスプレイに図４（ａ）のような選択前の画面２１（この場合はニュース）が表示されているとする。右下に表示された「メニュー」２２は特定の周波数で点滅している。ユーザがその「メニュー」２２を見た場合には、特定の周波数成分が脳波に重畳されるために、その「メニュー」２２が見られているかが判別でき、脳波インタフェースを起動できる。脳波インタフェースの「起動」とは、脳波を用いてメニューの選択等を行うためのインタフェースの動作を開始させることを意味する。
【００７３】
脳波インタフェースが起動されることによって、図４（ｂ）に示すメニュー項目画面２３が表示される。画面には「どの番組をご覧になりたいですか？」という質問２４と、見たい番組の候補である選択肢２５が提示される。この例では「野球」２５ａ「天気予報」２５ｂ「アニメ」２５ｃ「ニュース」２５ｄの４種類が表示されている。
【００７４】
ステップＳ９２では、脳波インタフェース部１３は項目のひとつを選択する。図４（ｂ）の例ではまず一番上の野球２５ａが選択される。以下、このステップＳ９２が実行されるたびに、次の選択肢が順次選択され、４つ目のニュースの次はまた一番目の野球に戻る。
【００７５】
ステップＳ９３では、脳波インタフェース部１３は、ステップＳ９２で選択された項目をハイライト表示する。ハイライト表示とは、他の項目より明るい背景を用いた表示、明るい文字色による表示である。なお、ハイライトの代わりに、またはハイライトと共に補助的矢印を用いたポイントやカーソルで項目を指し示してもよい。ここではユーザ１０が見たときに、システム側が現在どの項目について注意して欲しいかが伝わるようになっていればよい。
【００７６】
ステップＳ９４では、脳波インタフェース部１３は、生体信号計測部１２によって計測された脳波から事象関連電位を取得する。事象関連電位の取得を開始する起点は、ステップＳ９３にてハイライト表示された瞬間に設定される。そして、その瞬間から例えば２００ミリ秒前から１秒後までの事象関連電位を取得する。これにより、ハイライト表示された項目に対するユーザの反応が得られる。
【００７７】
ステップＳ９５では、脳波識別方法調整装置２によって脳波インタフェース部１３における識別方法が調整される。本実施形態においては、ユーザ特徴抽出部１６で算出されたユーザ１０の特徴に基づいて、識別方法調整部１７が脳波インタフェース部１３内のテンプレート１８を調整する。この処理によって、ユーザの個人差に対応した識別方法に調整することができる。なお、ユーザ特徴抽出および識別方法調整の詳細については、後述する。
【００７８】
ステップＳ９６では、脳波インタフェース部１３は、現在取得した事象関連電位を、調整後のテンプレート１８を利用して識別する。識別される内容は、現在取得した事象関連電位の波形が、ユーザ１０が選択したい項目を見たときに現れる波形であるか、または選択したくない項目を見たときに現れる波形であるかである。
【００７９】
図４（ｃ）は、各メニュー項目がハイライトされた瞬間から取得された事象関連電位の波形２６ａ〜２６ｄを示す。たとえば、ユーザ１０が天気予報を見たいと思っていると仮定すると、天気予報の項目がハイライトされた場合の波形２６ｂにのみ、特徴的な成分が現れている。これは、事象関連電位の視覚Ｐ３成分と呼ばれる波形成分であり、メニュー項目が切り替わってから約３００ミリ秒後に現れる陽性の特徴的な波形である。脳波インタフェース部１３は、取得した事象関連電位の波形にこの成分が観察されるか否かを判定する。視覚Ｐ３成分が観察された場合にはステップＳ９７に進み、観察されない場合はステップＳ９２に戻る。
【００８０】
ステップＳ９７では、ユーザ１０の視覚Ｐ３成分が観察された項目が、ユーザ１０が選択したかった項目であると判定されるとして、脳波インタフェース部１３は選択された項目に対応する処理の実行をＴＶに指示する。図４（ｃ）の例では天気予報の項目２５ｂに対して視覚Ｐ３成分が観察されているため、脳波インタフェース部１３は、ＴＶに対して天気予報のコンテンツを表示するためのチャンネル切り替えを指示する。この指示によってＴＶがチャンネルを切り替えることにより、図４（ｄ）に示すように天気予報が画面２７に表示される。
【００８１】
上述の処理によって、ユーザはボタン操作等をすることなく、脳波によってメニュー項目を選択し、希望する項目に対応するコンテンツを視聴できる。
【００８２】
なお、ステップＳ９２では、項目は順次選択されるとしたが、ランダムに提示する方法も可能である。これにより、事前にどの項目が選択されるか不明なため、より注意深くメニューが選択される可能性がある。
【００８３】
このような脳波インタフェースにおいて、ユーザ１０の意図に即したスムーズな操作を実現するためには、事象関連電位の高い識別性能が必要になる。しかしながら、脳波信号は個人差が大きいため単一の基準によって識別することは困難である。
【００８４】
図５は、非特許文献１に記載された脳波信号の個人差の例を示す。図５には、視覚刺激に対する弁別課題に関する３６人の脳波信号の例が示されている。また、非特許文献１によれば、事象関連電位の振幅の個人差は、反応時間の３倍以上の個人差があり、振幅の範囲は４．４Ｖ−２７．７Ｖ（平均１６．６４μＶ、標準偏差６．１７μＶ）であるとされ、個人差は反応時間等の行動指標よりも差が大きいとされている。
【００８５】
したがって、脳波インタフェースシステム１を利用するユーザ１０がどのような特徴を持った脳波を産出しているかを把握しなければ、脳波インタフェースシステム１においてスムーズな操作を実現できない。すなわち、動作する基準を各ユーザ１０の脳波信号に合わせて調整するキャリブレーションが必要である。
【００８６】
そこで本願発明の特徴をより明確に理解するため、図６を参照しながら、研究や医療用途などの従来の脳波インタフェースシステムにおけるキャリブレーションと、本実施形態による脳波インタフェースシステム１におけるキャリブレーションとを比較して説明する。
【００８７】
従来のキャリブレーションでは、まずインタフェースの使用前にインタフェース使用と同様の状況で測定する必要がある。図６（ａ）は、従来のキャリブレーションを実施したときの画面利用状況を時系列で示している。横軸が時間である。
【００８８】
脳波計を装着した時刻Ｔ０を起点として時刻Ｔ１までは、画面はキャリブレーションを実施するために利用される。ユーザは画面に向かって、脳波による操作のための脳波信号を算出する必要がある。脳波信号のデータが収集された後、識別方法の調整が行われ、たとえばその調整が行われている旨のメッセージが画面に表示される。
【００８９】
キャリブレーション完了後、画面にはメニューが表示され、脳波インタフェースシステムを利用した選択項目の識別が行われる。例えば、選択肢がそれぞれ順番にハイライト表示され、その差異の事象関連電位を測定してユーザの希望の選択肢を決定し、決定された選択肢の動作（タスク）が実行される。
【００９０】
なお、研究や医療用途などを含む従来の技術においては、画面に表示されるメニューはコンテンツを選択するためのメニューなどではなく、実行を要求したいタスクの候補を列挙したメニューである。実行されるタスクとしては、たとえば病院において患者が飲み物を要求する場合に、選択肢が決定された後に看護婦等がその選択肢に従って飲み物を持ってくるタスクが相当する。
【００９１】
一方、本実施形態においては、コンテンツ視聴時の事象関連電位の振幅から算出したユーザの特徴を用いてキャリブレーションを行う。その原理は以下のとおりである。
【００９２】
上述した個人差の要因としては、解剖学的な個人差（頭蓋骨や脳の形）や電極の装着状態、個人内での覚醒度の変化、課題に対する処理方策の違いなどがあげられる。
【００９３】
これらの変動のうち、解剖学的な個人差や電極の装着状態、覚醒度の変化に関しては、コンテンツ視聴時の事象関連電位の振幅と、脳波インタフェース実行時の各メニュー項目に対する事象関連電位の振幅の間に相関が見られると考えてよい。なぜなら、これらは課題の種類によらず脳波の形状に影響を及ぼすからである。したがって、少なくともコンテンツ視聴時の事象関連電位の振幅から算出したユーザ特徴を用いることで、キャリブレーションを行い、脳波インタフェース使用時の識別性能を向上させることが可能になる。
【００９４】
図６（ｂ）は本実施形態によるキャリブレーションを実施したときの画面利用状況を時系列で示している。横軸が時間である。
【００９５】
本実施形態による脳波インタフェースシステム１では、脳波計を装着した時刻Ｔ０からすぐにコンテンツを表示することもできるし、脳波インタフェースによりコンテンツの選択等を行うこともできる。最初から脳波インタフェースを使用する場合には、脳波インタフェースは、所定の値によって選択肢の判別を行えばよい。例えば標準的なＰ３成分の振幅や、前回のそのユーザの事象関連電位の波形などが使用可能である。コンテンツ視聴中は特に脳波インタフェースは使われないが、コンテンツ視聴時にキャリブレーションのデータが収集される。
【００９６】
その後、時刻Ｔ３においてコンテンツの視聴が終了すると、図４に示すメニューが表示される。そして、メニューが表示されている間、具体的には図３のステップＳ９５に示す段階において、脳波インタフェースシステム１の内部でキャリブレーションが実行される。時刻Ｔ４でメニューの表示が終了し、その後、脳波インタフェースシステム１を利用した選択項目の識別が行われ、対応する動作が実行される。この結果、時刻Ｔ５以降に選択されたコンテンツが提示される。
【００９７】
本実施形態によれば、従来のように明示的にキャリブレーション用のデータを取得する期間を設けることはないため、ユーザはコンテンツの視聴をすぐに開始できる。ユーザはコンテンツの視聴等を目的として機器の利用を開始しているため、ユーザにとって非常に有用である。
【００９８】
また、コンテンツ視聴時にキャリブレーションデータを収集し、その後にキャリブレーションを行うため、脳波インタフェースの操作性も向上させることができる。このとき、ユーザは明示的なキャリブレーションのプロセスを認識しないため、ユーザへの負担は全くないといえる。
【００９９】
次に、図７を参照しながら、本実施形態による脳波インタフェースシステム１の処理の手順を説明する。以下では、図３の例と同様、ＴＶに提示されるコンテンツの切換やチャンネルや音量の変更が、脳波インタフェースシステム１を利用して行われることを想定して説明する。以下のステップＳ１０からステップＳ９０の処理を繰り返し行うことで、全体の処理が進行する。
【０１００】
図７は、本実施形態による脳波インタフェースシステム１の処理の手順を示す。
【０１０１】
ステップＳ１０において、出力部１１はコンテンツを表示する。通常は、テレビ番組や映画等のコンテンツがＴＶの画面に表示される。
【０１０２】
ステップＳ２０において、生体信号計測部１２は脳波を計測する。脳波計はコンテンツ視聴時も脳波インタフェース使用時も装着されているものとする。
【０１０３】
ステップＳ３０において、脳波インタフェース部１３はユーザから脳波インタフェースの起動が要請されているか否かを判定する。
【０１０４】
脳波インタフェースの起動の要請が確認された場合には、ステップＳ７０の特徴抽出処理へ進み、確認されない場合には、ステップＳ４０のコンテンツ解析処理に進む。
【０１０５】
脳波インタフェースの起動の要請があったか否かの判定には、ＳＳＶＥＰもしくはＰ３００を使用できる。ＳＳＶＥＰ（Ｓｔｅａｄｙ  Ｓｔａｔｅ  Ｖｉｓｕａｌ  Ｅｖｏｋｅｄ  Ｐｏｔｅｎｔｉａｌ）とは、定常視覚誘発電位を意味する。
【０１０６】
図４（ａ）に関連して説明したように、選択前の画面において、右下に「メニュー」２２が表示され、この「メニュー」２２が特定の周波数で点滅している。ユーザがその「メニュー」２２を見た場合には、特定の周波数成分が脳波に重畳されるために、その「メニュー」２２が見られているかが判別でき、脳波インタフェースを起動できる。なお、脳波に特定の周波数成分が重畳されているか否かによって脳波インタフェース起動の要請の有無を判定すればよいため、キャリブレーションの実行前であっても正確に動作可能である。
【０１０７】
なお、ＳＳＶＥＰについては、Ｘｉａｏｒｏｎｇ  Ｇａｏ，  ｅｔ  ａｌ．，“Ａ  ＢＣＩ−Ｂａｓｅｄ  Ｅｎｖｉｒｏｎｍｅｎｔａｌ  Ｃｏｎｔｒｏｌｌｅｒ  ｆｏｒ  ｔｈｅ  Ｍｏｔｉｏｎ−Ｄｉｓａｂｌｅｄ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｎｅｕｒａｌ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｒｅｈａｂｉｌｉｔａｔｉｏｎ  Ｅｎｇｉｎｅｅｒｉｎｇ，  Ｖｏｌ．１１，  Ｎｏ．２，  Ｊｕｎｅ  ２００３に詳しい。
【０１０８】
ステップＳ４０からステップＳ６０では、ステップＳ３０において脳波インタフェースが起動されていなかったことが確認されたので、コンテンツの解析を行ってユーザ１０の脳波の特徴を把握するための準備処理を行う。
【０１０９】
ステップＳ４０において、コンテンツ解析部１４はコンテンツのデータを解析して、コンテンツに含まれる、ユーザ１０の脳波上の特徴が現れやすい場面を特定する。
【０１１０】
脳波インタフェースシステム１においては、メニューがハイライトされたときに発生する事象関連電位波形を使用してユーザの要求を判定するため、コンテンツ解析部１４はコンテンツ視聴時に同様の信号が観測されそうな場面を抽出する。たとえば画面の輝度変化が大きいシーンにおいては、視覚Ｐ３成分と類似の成分が観測できると考えられる。よって、コンテンツ解析部１４は、所定の閾値との関係で、画面の輝度変化が大きいコンテンツのシーンが現れるか否かをコンテンツデータに基づいて解析する。
【０１１１】
ステップＳ５０においては、コンテンツ解析部１４は、現在の脳波を蓄積すべきかどうかが判定される。ステップＳ４０の解析の結果、現在の脳波は、ユーザが脳波インタフェースを使用するときの脳波と同様の傾向を含むと判定された場合、すなわち画面の輝度変化が大きいと判定された場合にはステップＳ６０に進み、画面の輝度変化が大きいと判定されなかった場合は処理を終了する。
【０１１２】
ステップＳ６０において、脳波蓄積部１５はコンテンツ解析の結果判定された脳波蓄積タイミングの周辺の脳波（事象関連電位）を蓄積する。脳波インタフェースシステム１においては、特定のタイミングからの事象関連電位の波形変化を捉える必要がある。判定のベースラインを揃える必要があるため、脳波蓄積部１５は、たとえば蓄積タイミングの−２００ミリ秒〜１０００ミリ秒を切り取って蓄積する。このように蓄積し、加算することにより、脳波の毎回のずれやノイズの影響を軽減したまま、ユーザの特徴を抽出できる。
【０１１３】
ステップＳ７０からステップＳ９０は、ステップＳ３０において脳波インタフェースの起動が要請されたときに実行される。これらの処理において、脳波インタフェース実行の準備および脳波インタフェースの動作が行われる。
【０１１４】
ステップＳ７０では、ユーザ特徴抽出部１６は、現在脳波計を装着しているユーザの事象関連電位波形の特徴を抽出する。たとえば、ユーザ特徴抽出部１６は、脳波蓄積部１５に蓄積された事象関連電位波形データを加算平均し、脳波の特徴を抽出する。脳波の特徴とは、例えば、ユーザの波形の振幅の大きさの傾向などを指す。
【０１１５】
ステップＳ８０において、識別方法調整部１７は脳波インタフェース部１３で適用される識別方法を調整する。この処理は、ステップＳ７０において抽出された特徴量に基づいて行われる。識別方法を調整する処理については後述する。
【０１１６】
ステップＳ９０において、脳波インタフェース部１３は脳波インタフェースの機能を提供する。具体的な処理は、図３および図４を参照しながら説明したとおりである。
【０１１７】
以上の処理により、脳波インタフェースが起動されていないコンテンツ視聴時にユーザの個人差の特徴を蓄積しておき、脳波インタフェースが起動されると蓄積されたユーザの個人差特徴のデータを用いて脳波インタフェース部１３の識別方法を調整する。これにより、個人差の大きい脳波を精度よく識別できる能力を提供できる。
【０１１８】
次に、上述のステップＳ４０、ステップＳ７０およびステップＳ８０のそれぞれについて、図８から図１１を参照しながらさらに詳細に説明する。
【０１１９】
まず、図８を参照しながら、図７のステップＳ４０に記載されたコンテンツ解析処理の詳細を説明する。コンテンツは動画であるとして説明する。
【０１２０】
図８は、動画の映像コンテンツを解析する処理の手順を示す。
【０１２１】
ステップＳ４１において、コンテンツ解析部１４は映像コンテンツのデータを取得する。例えばコンテンツ解析部１４は、現在表示されている映像をキャプチャすることによって静止画データを取得する。周知のように、動画は複数の静止画像を所定の周波数（例えば３０Ｈｚ）で次々と切り替えて表示することによって実現されている。動画をある瞬間でキャプチャすることにより、一枚の静止画のデータが得られる。
【０１２２】
また、現在表示されている映像から静止画データを取得するのではなく、その映像を表示するための動画データに基づいて静止画データを取得することもできる。例えばデジタル放送ではデジタル化された動画データが配信されているため、その動画データから動画を構成する静止画のデータを抽出することができる。
【０１２３】
ステップＳ４２において、コンテンツ解析部１４は画像輝度値の平均を計算する。画像そのものは、輝度、色相、彩度などの画像特徴量や画素数などのさまざまな情報を含んでいるが、本実施形態においては、ユーザ１０に対する視覚刺激としての全体の傾向をつかむために、画像の輝度値の平均を使用し、この平均値の変化の動向を調べることにした。
【０１２４】
ステップＳ４３において、コンテンツ解析部１４は、ステップＳ４２で計算した平均値と、前回処理されたときの平均値との比較をする。これにより輝度変化が大きいかどうかの判定が可能になる。なお、初めて比較を行う場合には「前回処理されたときの平均値」として任意の値を適用してもよいし、平均値を２回求め、１回目の平均値を「前回処理されたときの平均値」として適用してもよい。
【０１２５】
ステップＳ４４において、コンテンツ解析部１４は、ステップＳ４３の輝度変化量が所定の閾値以上であったか否かを判定する。閾値以上であればステップＳ４５に閾値以下であれば処理を終了する。
【０１２６】
ステップＳ４５において、コンテンツ解析部１４はその時刻から脳波の事象関連電位波形を蓄積すべきとして、蓄積タイミングを示す蓄積指示信号を脳波蓄積部１５に出力する。ステップＳ４５が実行される状況では、ユーザの脳波には刺激に対する事象関連電位が誘発されていると考えられるため、データの蓄積の必要があると判断できるからである。この結果、画面の輝度変化が大きいシーン付近のユーザの特徴を表す事象関連電位の波形が蓄積される。
【０１２７】
なお、画面の輝度変化の大きいシーンとは、テレビ画面では映画等で暗いシーンから突然明るいシーンへ変化したとき、またはテレビ番組からＣＭに切り替わったときなどである。視覚刺激として見ると、これらのシーンはユーザ１０に対して誘発電位を起こしやすいシーンに相当する。このような状況のみを抽出することで、実験室で視覚刺激に対する反応を計測するようなデータ収集と同等の効果を得ることができる。
【０１２８】
なお、画像の輝度変化の検出は１フレームごとに行う必要はなく、複数フレームにわたっての変化の大きさを勘案してもよい。また、輝度平均を使わなくても、ユーザへの視覚刺激が特徴的であり、事象関連電位の傾向が把握できるのであれば問題ない。
【０１２９】
なお、輝度の変化は同じまたは小さいが、色相の変化が大きい画像の出現を利用して、事象関連電位の波形蓄積タイミングを決定することもできる。したがって、色相のみを利用して蓄積タイミングを判断してもよい。また彩度その他の画像特徴量を利用することも可能である。
【０１３０】
脳波蓄積部１５における蓄積量については、十分な量が蓄積されるべきであること、ただし、あまりに古いデータは使用されないことなどを考慮して決定する必要がある。事象関連電位の研究では、一般的に２０回程度のデータの加算が必要とされる。したがって、２０回程度、データを蓄積することが精度上好ましい。
【０１３１】
また、脳波の振幅は、同一個人が装着しているという条件でも、時間の経過によって変化することが知られており、かなりの時間が経過したデータは識別に有用な情報とならない場合も考えられる。従って、脳波蓄積部１５は直近の２０回のデータのみを蓄積するように動作してもよいし、所定の時間（例えば１〜２時間）を経過したデータを破棄してもよい。後述の処理において脳波蓄積部１５に蓄積されたデータのうち直近の２０回のデータを使用するとしてもよい。そして脳波計が一旦ユーザから取り外され、再度装着された場合には、それまでのデータを破棄し、データの蓄積を再度初めから行ってもよい。
【０１３２】
以上の処理の結果、脳波蓄積部１５には適切な事象関連電位の波形が蓄積される。
【０１３３】
次に図９および図１０を参照しながら、図７のステップＳ７０に記載されたユーザ特徴の抽出処理の詳細を説明する。コンテンツは動画であるとして説明する。
【０１３４】
図９は、事象関連電位の波形に基づくユーザの特徴の抽出処理の手順を示す。また図１０（ａ）〜（ｄ）は、ユーザの特徴を抽出する処理に関連する波形の例を示す。まず図１０（ａ）に示すように、脳波蓄積部１５には複数の事象関連電位の波形群４１が蓄積されているとする。これは非特許文献１に記載の例であり仮想的に提示している。事象関連電位の波形群４１は、輝度変化が大きいシーンが現われたときに抽出されているため、蓄積された条件は近似している。この前提のもとで図９に示すユーザ特徴抽出部１６の処理が開始される。
【０１３５】
ステップＳ７１では、ユーザ特徴抽出部１６は、脳波蓄積部１５に蓄積された事象関連電位の波形群４１の加算平均を計算する。これにより、眼電や背景脳波等各種影響が低減され、注目したい事象関連電位の成分のみが強調されて見やすくなる。図１０（ｂ）は、加算平均した波形４２を例示する。図１０（ａ）では、蓄積された条件は近似しているが画一的に特徴を判断することが困難な波形群４１が認められるが、図１０（ｂ）によれば特徴のみが見やすくなっていると言える。
【０１３６】
図９のステップＳ７２では、ユーザ特徴抽出部１６は、ステップＳ７１で算出した加算平均波形に対してＰ３振幅を検出（算出）する。この「Ｐ３振幅」とは事象関連電位のＰ３成分のピーク電位をいう。Ｐ３成分が事象関連電位の起点から３００ミリ秒付近に見られる陽性成分であるとすると、その３００ミリ秒付近における陽性のピーク電位である。
【０１３７】
図１０（ｂ）の例では、３００ミリ秒付近の加算平均波形４２に下向き（陽性）の電位のピークが認められる。この位置での電位の大きさ４３を計測すると１２μＶであった。この振幅は個人差が大きいため、この振幅をユーザごとの特徴として利用することが本発明の着眼点である。
【０１３８】
振幅の平均的な大きさは設定することが可能であり、例えば非特許文献１の事例であれば、平均１６．６４μＶであった。より正確には、画像の変化に対応した標準値を事前に算出しておけばよい。
【０１３９】
図９のステップＳ７３において、ユーザ特徴抽出部１６は、ステップＳ７２で算出したＰ３成分の振幅４３が、想定されるＰ３の平均的な波形４５の振幅と比較して大きいか小さいかを判定する。そして補正用の特徴量が計算される。
【０１４０】
例えば、ステップＳ７２で算出したＰ３成分の振幅４３は、平均値と同等の大きさ、平均値より大きい、または平均値より小さいという３種類に分類して特徴づけることができる。
【０１４１】
このように分類する理由は、補正用の特徴量を計算するために必要だからである。分類に応じて補正用の特徴量が決定される。すなわち補正用の特徴量は、大、中、小、のようなグループ分けのグループ名に相当する。この分類の精度は、目的や測定精度に応じてさらに細かい分類をすることも可能である。また、平均的な振幅に対する量で判定することも可能である。
【０１４２】
図１０（ｃ）において、実線４２が得られた波形であり、破線４５が平均的な波形（標準波形）である。この大きさを比較した分類を図１０（ｄ）に例示する。特徴を「平均波形より小さい」という３分類で記述したり、平均的な振幅を１６μＶとし、今回の振幅を１２μＶとすると、比の０．７５を補正用の特徴量とすることもできる。
【０１４３】
このように、コンテンツ視聴時に蓄積された波形を基にユーザの個人差を反映した特徴量が算出できる。ここでの個人差は、個人ごとの波形の振幅の大きさ以外にも、毎回ごとの装着の具合によるもの、その時間の覚醒度の違いなども反映されたものであり、それらの識別に影響を及ぼす要因をすべて含めて補正用の特徴量に含めるものである。なお、コンテンツ視聴時におけるユーザの前記事象関連電位の波形から、単位区間ごとの平均値の分散を計算し、その分散を利用してもよい。
【０１４４】
次に、ユーザ特徴抽出部１６にて算出された特徴量を利用して、識別方法調整部１７がどのように脳波インタフェース部１３の識別方法を調整するかを説明する。
【０１４５】
脳波インタフェース部１３の処理において、現在ハイライトされているメニューが選択されたかどうかを判定するために、テンプレートを利用するテンプレートマッチングと呼ばれる方法が考えられる。例えば、脳波インタフェース部１３が、標準的なメニューが選択されたときの事象関連電位波形（Ａ）と、メニューが選択されていないときの事象関連電位の波形（Ｂ）をテンプレート１８としてあらかじめ保持しておく。そして、現在観測されている事象関連電位波形が（Ａ）と（Ｂ）のどちらのテンプレートに近いかを識別することで、脳波インタフェース部１３は、現在ハイライトされているメニューが選択されたかどうかを判定することができる。
【０１４６】
テンプレートマッチングは、現在のユーザ１０の事象関連電位の振幅の大きさが標準的な場合には標準テンプレートとの単純なマッチングのみで識別が可能であるが、現在のユーザ１０が標準的な振幅とは異なる場合には、テンプレートの補正が必要になる。そこで、ユーザ特徴抽出部１６にて算出された特徴量によってテンプレートを補正する。
【０１４７】
ユーザ特徴が大、中、小などで分類される場合には、それぞれに対応するテンプレートを準備しておき、それらを切り換えることで対応できる。また、ユーザ特徴が０．７５倍等の倍率で表現される場合には、標準のテンプレートの各時間帯に対して電位を所定の計数倍（例えば先の例では０．７５倍）をすることによって、調整後のテンプレートを作成できる。図１１は、調整前のテンプレートと調整後のテンプレートを示す。
【０１４８】
さらに精度を高めるには、テンプレート波形の時間帯によって個人差が大きく出る部分と小さく出る部分がある場合には、それも考慮してテンプレートを調整することもできる。例えば個人差が電極の装着が十分でない場合や頭部の形状等から来る場合には、全体に振幅の大小が影響する可能性があるが、もしも、認知的な覚醒度が低下している場合には、視覚刺激に直接反応する成分が多いといわれる２００ミリ秒よりも以前には特徴量の反映を少なくし、Ｐ３成分が良く現れている２００ミリ秒〜５００ミリ秒には特徴量の反映を多くするなどの工夫をすればよい。
【０１４９】
なお上述の補正はテンプレートの変更を想定しているが、テンプレートはそのままで、生体信号計測部１２からの出力時において、または脳波インタフェース部１３への入力時において、事象関連電位の振幅を増幅させたり減衰させたりしてよい。識別方法調整部１７が脳波インタフェース部１３または生体信号計測部１２に指示することにより、事象関連電位の振幅を増幅させたり、減衰させることができる。
【０１５０】
このような構成により、本発明の脳波識別方法調整装置によれば、ユーザがコンテンツを視聴している間に明示的なキャリブレーションをすることなく、キャリブレーションに必要な情報を取得するので、ユーザにキャリブレーションの時間をとらせずに精度良く脳波が判別でき、操作しやすいインタフェースが提供できる。
【０１５１】
これまでの説明では、提示されるコンテンツは動画であり、特に音声には言及しなかった。しかし、テレビ等の視聴時においては、ディスプレイに映像が表示されるとともに、音声情報もスピーカ等から提示される場合が多い。
【０１５２】
事象関連電位は、映像等の視覚刺激に対しても誘発されるが、音声等の聴覚刺激に対しても誘発されることが知られている。このため、視覚情報からの基準のみで選択された事象関連電位には、様々な音声情報からの誘発電位も重畳されていると考えられ、識別方法の調整の観点からはノイズとしても考えることもできる。事象関連電位の個人差に関連した特徴をより正確に計測するためには、コンテンツ解析部１４において画像の解析だけでなく、音声の解析結果も考慮することで、精度が向上すると考えられる。
【０１５３】
以下、図１２を参照しながら、出力部１１から映像と共に音声も出力される場合のコンテンツ解析部１４の処理を説明する。
【０１５４】
図１２は、映像および音声が混在するコンテンツを解析するコンテンツ解析部１４の処理の手順を示す。
【０１５５】
ステップＳ１４１において、コンテンツ解析部１４は出力部１１によってその時点で提示されている画像データを取得し、そしてステップＳ１４２において、取得した画像データの輝度の平均値を計算する。
【０１５６】
一方、ステップＳ１４３において、コンテンツ解析部１４は出力部１１から出力されている音声データを取得し、ステップＳ１４４において、取得した音声データに基づいて出力される音声レベルの平均値を計算する。
【０１５７】
ステップＳ１４５において、ユーザ特徴抽出部１６はユーザの個人差を良く反映した事象関連電位が取得できそうなタイミングであるかどうかを判定する。具体的には、上述した画像の変化があり、かつその変化に同期して音声の変化も観察された場合には、ユーザへの刺激の変化に起因してユーザの特徴がよく現れた事象関連電位が取得できると判断される。
【０１５８】
画像および音声のそれぞれの変化は、すでに説明したような処理方法で検出可能である。これらの変化が同期しているか否かを判定することによって、画像に対する誘発電位と音声に対する誘発電位の分離をすることなく、ユーザの事象関連電位の振幅を個人差に関する情報として利用可能になる。このステップＳ１４５において画像および音声が同期して変化していると判定された場合はステップＳ１４６へ進み、変化していないと判定された場合は処理を終了する。
【０１５９】
ステップＳ１４６において、ユーザ特徴抽出部１６は、現時点の脳波には刺激に対する事象関連電位が誘発されていると考えて、データ蓄積の必要有と判定し、その時刻を蓄積タイミングとして出力する。
【０１６０】
以上説明したように、映像と音声が同期して変化することは、テレビのシーンの切り替わりに対応して発生することが多いため、データ収集は十分に可能である。なお、ステップＳ１４１およびＳ１４２と、ステップＳ１４３およびＳ１４４の処理の順序は変更してもよい。
【０１６１】
これまでに説明した処理によれば、画像および／または音声の特徴量の変化に起因する事象関連電位の変化の大きさに基づいて、より一般化すれば、コンテンツの特徴量の変化によって誘発された事象関連電位の変化の大きさに基づいて、キャリブレーションに必要な情報を得ることができる。
【０１６２】
なお、脳波蓄積部１５では、刺激に対する事象関連電位が見られる場合のみの刺激を抽出したが、刺激が少ない（画面変化の少ない）条件のデータも蓄積することも可能である。こうすることで、刺激があったときの脳波と刺激が少ないときの脳波の両方が蓄積可能になり、その差を用いることで、通常出ている脳波に対する特性の刺激に対する脳波の差を明確に取得できる。
【０１６３】
なお、脳波蓄積部１５に蓄積された脳波の波形の振幅を脳波蓄積部１５にて蓄積のたびにチェックしておき、通常の個人差の範囲以上に蓄積されている脳波が小さい場合には、出力部１１より脳波計の装着状態の確認を促す出力をすることができる。例えば、最初に脳波計を装着した時に、装着の具合が悪く、脳波が計測されていないような状況では、「まだ、脳波が測定できていません、再装着をお願いします」等のメッセージが出せる。さらに、定期的に脳波蓄積部のデータをチェックする仕組みがあれば、体の動き等によって脳波計の装着状態が変って、信号が微弱になった場合等も検出でき、その場合にも「脳波計の装着具合をご確認ください」等のメッセージが出力できる。このようにすることで、脳波インタフェースが起動された後に、初めて脳波インタフェースが十分に使えない状況であることに気が付くという状況に陥らずに、脳波インタフェースが自然に使える状況を実現できる。
【０１６４】
（実施形態２）
実施形態１においては、主として画面に提示される画像の変化を利用してキャリブレーション用のデータを収集し、識別方法を調整するとして説明した。本実施形態においては、音声を用いたインタフェースに対する音声を用いたキャリブレーションの実施方法を説明する。このようなシステムがたとえば自動車のカーナビゲーションシステムとして応用されると、ユーザは運転中でもシステムの操作が可能になるため利便性が非常に高くなる。
【０１６５】
本実施形態では、放送やストリーミングによって提供されるラジオ等のコンテンツ視聴において、音声チャンネルのみを使用する。基本的な脳波インタフェースシステム１の構成は図１に示すとおりであるが、ＴＶに代えて、スピーカのみが設けられていればよい。
【０１６６】
出力部１１ではスピーカ等によって音声のコンテンツが提示される。脳波インタフェースは画面を介して提供され、または音声によってメニュー項目が順次読み上げられることによって提供される。後者の場合は、音声のみのインタラクションによる脳波インタフェースになる。
【０１６７】
以下、図１３を参照しながら、出力部１１から音声のコンテンツが出力される場合のコンテンツ解析部１４の処理を説明する。
【０１６８】
図１３は、音声のコンテンツを解析するコンテンツ解析部１４の処理の手順を示す。
【０１６９】
ステップＳ２４１において、コンテンツ解析部１４は音声データを取得する。取得する音声データの範囲は、前回の処理で取得された音声区間の後に続く音声区間である。音声区間は、例えば所定の時間毎のサンプリング等の時間による規定や、無音区間の検出等の信号強度による規定によって定義可能である。
【０１７０】
ステップＳ２４２において、コンテンツ解析部１４は取得した音声区間の音声データについて音声レベルの平均値を算出する。
【０１７１】
ステップＳ２４３において、コンテンツ解析部１４は、前回算出した音声レベルの平均値と今回の平均値を比較する。これにより音声レベルが大きく変化した区間を検出することができる。
【０１７２】
ステップＳ２４４において、コンテンツ解析部１４は、ステップＳ２４３において検出した音声レベルの変化量が所定の閾値以上であるか否かを判定する。閾値以上であればステップＳ２４５に進み、閾値以下であれば処理を終了する。
【０１７３】
ステップＳ２４５において、コンテンツ解析部１４は、データの蓄積が必要であると判定し、その時刻を蓄積タイミングとして出力する。ユーザの脳波には音声刺激に対する事象関連電位が誘発されていると考えられるためである。
【０１７４】
このように動作することにより、音声を主体にした脳波インタフェースにおいても、音声変化の大きい時にはユーザの特徴を表す事象関連電位が誘発されているため、このタイミングを検出して次の蓄積部１５で波形を蓄積できる。
【０１７５】
ここで音声変化が大きいポイントとは、テレビの音声トラックやラジオにおいて、例えばスポーツに関して、サッカー中継でシュートが入った直後の突然の大歓声が起きた場合や、お笑い番組などにおける急に大爆笑が起きた場合や、時報（たとえば「ポッ、ポッ、ポッ、ピー」）などがあげられる。これらのタイミングでの事象関連電位を蓄積することで、聴覚刺激に対する反応が収集できる。
【０１７６】
本実施形態にかかる脳波識別方法調整装置によれば、音声を中心にした脳波インタフェースにおいても、ユーザがコンテンツを視聴している間に、明示的にキャリブレーションをすることなく、キャリブレーションに必要な情報を取得するので、ユーザにキャリブレーションの時間をとらずに精度良く脳波が判別でき、操作しやすいインタフェースを提供できる。
【０１７７】
（実施形態３）
実施形態１および２においては、テレビ等のコンテンツからキャリブレーションの情報を取得する実施例について説明した。
【０１７８】
しかしながら、テレビ等のコンテンツ視聴時であっても、コンテンツ以外の要因によってユーザ１０の脳波が影響を受けることがある。コンテンツ以外の要因の一例を挙げると、外部環境の変化である。具体的には、ドアが閉まる「バタン」という音、時計の時報、来客時の「ピンポーン」の呼び出し音等もユーザ１０の脳波に影響を与えることがあり得る。
【０１７９】
本願発明者らは、外部環境からの刺激（ユーザが存在する環境中の光および／または音）をセンシングすることにより、その結果から、キャリブレーション用のデータを取得することが可能であることを見出した。
【０１８０】
以下、図１４を参照しながら、本実施形態における脳波識別方法調整装置を説明する。
【０１８１】
図１４は、本実施形態による脳波インタフェースシステム１の機能ブロックの構成を示す。脳波インタフェースシステム１は、脳波識別方法調整装置５０を有している。
【０１８２】
脳波識別方法調整装置５０が脳波識別方法調整装置２（図２）と異なる点は、脳波識別方法調整装置５０は、脳波識別方法調整装置２のコンテンツ解析部１４に代えて外部環境検出部５１と外部環境解析部５２とを備えていることにある。これは、脳波識別方法調整装置５０と脳波識別方法調整装置２とでは解析対象が異なることを意味する。
【０１８３】
以下、脳波識別方法調整装置５０を詳細に説明する。脳波識別方法調整装置５０の構成要素のうち、脳波識別方法調整装置２（図２）と同様の要素については、同じ番号を付与し、説明を省略する。
【０１８４】
外部環境検出部５１は、ユーザ１０が置かれた環境の変化を検出する。「ユーザ１０が置かれた環境」とは、図１に示す例では部屋の中を意味する。または、ユーザ１０がウェアラブル型の機器を装着して外出しているときには屋外を意味する。ユーザ１０が車を運転しているときには、車内や道路周辺の状況を意味する。
【０１８５】
外部環境検出部５１は、環境の状態を検出し、出力するセンサである。より具体的には、ユーザ１０が置かれた環境中の音の情報を取得して、その情報を出力するマイク、当該環境中のユーザ周辺の視覚的情報を取得して出力するカメラである。ただしこれらは例である。検出したい環境に適したセンサを用いることが可能である。
【０１８６】
外部環境解析部５２は、外部環境検出部５１の出力信号と、必要に応じて出力部１１からの出力（提示されたコンテンツ）を受けて、信号解析を行い、脳波蓄積部１５での脳波蓄積タイミングを指示する。
【０１８７】
次に、図１５を参照しながら、環境変化の解析処理の詳細を説明する。以下では例として、ユーザがテレビでコンテンツを視聴しているときを想定し、室内環境の音に基づいて環境変化の解析処理を行うとする。
【０１８８】
図１５は、図１に示す室内環境の音に関する環境変化を解析する処理の手順を示す。
【０１８９】
ステップＳ５２１において、外部環境検出部５１は外部環境音を取得する。例えばユーザ１０の装着する脳波計１２等の近くにマイクを設置すると、ユーザ１０が耳にする外部環境音はマイクによって取得される。
【０１９０】
テレビ１１の視聴時に取得された外部環境音には、テレビ１１等からの音声も混在して検出されることが想定される。そのため以下のステップによりテレビ１１の影響を除去する。
【０１９１】
ステップＳ５２２において、外部環境解析部５２は、出力部１１からの出力信号のうち、音声に関する情報を取得する。これにより、コンテンツが持つ音声情報を取得できる。
【０１９２】
ステップＳ５２３において、外部環境解析部５２は、外部環境検出部５１によって取得された外部環境音の情報から、コンテンツの音声情報を除去する。これによって、外部環境のみに由来する信号を抽出できる。
【０１９３】
ステップＳ５２４において、外部環境解析部５２は、外部環境のみに由来する信号を利用して取得された外部環境音に特徴的な音が含まれるか否かを判定する。特徴的な音とは、例えば、ドアが閉まる「バタン」という音や、来客時のインターホンの「ピンポーン」という呼び出し音などである。このような音の物理量（波形、音声レベル等）の特徴は、音声レベルが急激に立ち上がり、その音声レベルが事象関連電位として脳波に影響を与えることにある。このような音の物理量の特徴を備えている限り、その音は外部環境音に特徴的な音ということができる。このときの脳波の事象関連電位を取得することで、キャリブレーション用の情報が得られる。具体的には、音レベルの単位時間あたりの増加量が所定の閾値を超えているかなどが判定条件として使用可能である。もしも、特徴ありと判定されたときには、ステップＳ５２５に進み、特徴ありと判定されなかったときには処理を終了する。
【０１９４】
ステップＳ５２５においては、音の変化が閾値以上であったため、ユーザの脳波には、音刺激に対する事象関連電位が誘発されていると考えて、データの蓄積が必要と判定し、その時刻を蓄積タイミングとして出力する。
【０１９５】
このような処理によって、コンテンツ情報からだけでなく、外部環境の特徴的な変化からもキャリブレーションに用いる波形を取得できる。
【０１９６】
これまでは、室内でテレビ等を視聴しているときの室内環境音に基づくキャリブレーションの例を示した。しかしながら、他の外部環境において検出された物理量の変化を検出することにより、環境の変化を検出し、キャリブレーションに利用することもできる。
【０１９７】
例えば、ウェアラブルな脳波計を装着して外出しているときは、屋外で突発的に発生する音、例えば駅のプラットフォームで鳴らされるベルや、店頭での音楽、視覚的には看板等の点滅を物理量の変化として検出し、さらにそのような音や点滅によって誘発された事象関連電位の変化を検出することにより、外部環境変化を検出することができる。同様に、車を運転しているときは、他の車のホーンや、交通信号の点滅や切り替わりなどを物理量の変化として検出し、脳波に影響を与え得る信号として利用できる。
【０１９８】
このように、本実施形態の脳波識別方法調整装置によれば、明示的にキャリブレーションをすることなく、ユーザの置かれた状況の環境変化からもキャリブレーションに必要な情報が取得できる。よって、ユーザにキャリブレーションの時間を取らずに精度良く脳波が判別でき、操作しやすいインタフェースを提供できる。
【産業上の利用可能性】
【０１９９】
本発明の脳波識別方法調整装置およびその装置が組み込まれた脳波インタフェースシステムによれば、ユーザがコンテンツを視聴している最中に、コンテンツの中からユーザの個人差の特徴を反映する脳波（事象関連電位）を抽出し、判別方法を調整する。これにより、脳波の個人差を反映させて判別方法を向上させる必要のある機器、例えば脳波を用いた機器操作インタフェースが搭載されている情報機器や映像音響機器などの操作性改善に有用である。また、脳波を用いたインタフェース以外にも、ユーザの心的状態、感情状態、認知状態等を検出してその状態に応じて動作するサービス提供機器などの、個人差の補正が必要な機器に対して本装置は有効に機能する。
【０２００】
このような装置の機能は、たとえばコンピュータプログラムによって実現することも可能であるため、システムの大幅な改変をすることなく、容易に実装できる。
【図面の簡単な説明】
【０２０１】
【図１】本願発明者らが想定する脳波インタフェースシステム１の構成および利用環境を示す図である。
【図２】実施形態１による脳波インタフェースシステム１の機能ブロックの構成を示す図である。
【図３】脳波インタフェース部１３の処理の手順を示すフローチャートである。
【図４】（ａ）〜（ｄ）は脳波インタフェースシステム１においてＴＶを操作し、ユーザ１０が視聴したいジャンルの番組を見るときの例を示す図である。
【図５】脳波信号の個人差の例を示す図である。
【図６】（ａ）は従来のキャリブレーションを実施したときの画面利用状況を時系列で示す図であり、（ｂ）は実施形態１によるキャリブレーションを実施したときの画面利用状況を時系列で示す図である。
【図７】実施形態１による脳波インタフェースシステム１の処理の手順を示すフローチャートである。
【図８】動画の映像コンテンツを解析する処理の手順を示すフローチャートである。
【図９】事象関連電位の波形に基づくユーザの特徴の抽出処理の手順を示すフローチャートである。
【図１０】（ａ）〜（ｄ）は、ユーザの特徴を抽出する処理に関連する波形の例を示す図である。
【図１１】調整前のテンプレートと調整後のテンプレートを示す図である。
【図１２】映像および音声が混在するコンテンツを解析するコンテンツ解析部１４の処理の手順を示すフローチャートである。
【図１３】音声のコンテンツを解析するコンテンツ解析部１４の処理の手順を示すフローチャートである。
【図１４】実施形態３による脳波インタフェースシステム１の機能ブロックの構成を示す図である。
【図１５】音に関する環境変化を解析する処理の手順を示すフローチャートである。
【符号の説明】
【０２０２】
１  脳波インタフェースシステム
２，５０  脳波識別方法調整装置
３  ＣＰＵ
４  ＲＡＭ
５  コンピュータプログラム
１１  出力部
１２  生体信号計測部
１３  脳波インタフェース部
１４  コンテンツ解析部
１５  脳波蓄積部
１６  ユーザ特徴抽出部
１７  識別方法調整部
５１  外部環境検出部
５２  外部環境解析部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008059878.tif 000018
【図２】
2008059878.tif 000019
【図３】
2008059878.tif 000020
【図４】
2008059878.tif 000021
【図５】
2008059878.tif 000022
【図６】
2008059878.tif 000023
【図７】
2008059878.tif 000024
【図８】
2008059878.tif 000025
【図９】
2008059878.tif 000026
【図１０】
2008059878.tif 000027
【図１１】
2008059878.tif 000028
【図１２】
2008059878.tif 000029
【図１３】
2008059878.tif 000030
【図１４】
2008059878.tif 000031
【図１５】
2008059878.tif 000032
【手続補正書】
【提出日】平成21年1月8日(2009.1.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいて、予め定められた所定の識別方法を用いてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる装置であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記ユーザが要求しているか否かを識別する方法であり、
前記ユーザに提示されるコンテンツ、および、前記ユーザが存在する環境中から前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定して解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出する解析部と、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積する蓄積部と、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するユーザ特徴抽出部と、
抽出された前記ユーザの特徴量に基づいて、前記脳波信号の振幅および前記予め定められた基準の一方を変更することにより、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整する識別方法調整部と
を備えた、脳波識別方法の調整装置。
【請求項２】
前記刺激が、前記ユーザに提示されるコンテンツの映像および／または音声であるときにおいて、
前記解析部は、前記コンテンツのデータを解析し、前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出する、請求項１に記載の調整装置。
【請求項３】
前記脳波インタフェースシステムは、動画データに基づいて複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示する出力部を備えており、
前記解析部は、連続する前記複数の画像の画像特徴量の変化を前記コンテンツの特徴量の変化として検出する、請求項２に記載の調整装置。
【請求項４】
前記解析部は、輝度および色相の少なくとも一方の変化を前記コンテンツの特徴量の変化として検出する、請求項３に記載の調整装置。
【請求項５】
前記脳波インタフェースシステムは、音声データに基づいて音声のコンテンツを提示する出力部を備えており、
前記解析部は、前記音声の出力レベルの変化を前記コンテンツの特徴量の変化として検出する、請求項２に記載の調整装置。
【請求項６】
前記脳波インタフェースシステムは、複数の画像の各々を所定の周波数で切り替えて表示することによって動画のコンテンツを提示し、かつ、音声のコンテンツを提示する出力部を備えており、
前記解析部は、連続する前記複数の画像の画像特徴量の変化と、前記音声の出力レベルの変化とが同期するときを、前記コンテンツの特徴量の変化として検出する、請求項２に記載の調整装置。
【請求項７】
前記脳波インタフェース部は、前記予め定められた基準である、予め保持した閾値と、前記脳波信号の事象関連電位の振幅とに基づいてユーザの要求を識別し、
前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の振幅を前記ユーザの特徴量として抽出し、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記閾値を調整する、請求項２に記載の調整装置。
【請求項８】
前記脳波インタフェース部は、前記予め定められた基準である、予め保持した少なくとも１つの波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、
前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記脳波インタフェース部が保持する前記少なくとも１つの波形のテンプレートを調整する、請求項２に記載の調整装置。
【請求項９】
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記少なくとも１つの波形のテンプレートの値を変化させて前記脳波インタフェース部に設定し、
前記脳波インタフェース部は設定された前記少なくとも１つの波形のテンプレートに基づいて前記ユーザの要求を識別する、請求項８に記載の調整装置。
【請求項１０】
前記脳波インタフェース部は、複数の波形のテンプレートを保持しており、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記複数の波形のテンプレートのうちのひとつを特定し、前記ユーザの要求を識別するためにテンプレートとして前記脳波インタフェース部に設定するよう指示する、請求項８に記載の調整装置。
【請求項１１】
前記脳波インタフェース部は、前記予め定められた基準である、予め保持した波形のテンプレートと、前記脳波信号の事象関連電位の波形との相関関係に基づいてユーザの要求を識別し、
前記ユーザ特徴抽出部は、蓄積された前記事象関連電位の波形を前記ユーザの特徴量として抽出し、
前記識別方法調整部は、抽出された前記ユーザの特徴量に基づいて前記ユーザの脳波信号の振幅を調整するよう、前記脳波インタフェース部および前記生体信号計測部の一方に指示する、請求項２に記載の調整装置。
【請求項１２】
前記ユーザ特徴抽出部は、前記蓄積部に蓄積された前記事象関連電位の波形の振幅が予め定められた閾値よりも小さい場合には信号を出力し、
前記識別方法調整部は、前記ユーザ特徴抽出部からの信号に基づいて、前記生体信号計測部による脳波信号の取得に関する警告を出力するよう、前記脳波インタフェース部に指示する、請求項２に記載の調整装置。
【請求項１３】
前記刺激が、前記ユーザが存在する環境中の光および／または音であるときにおいて、
前記解析部は、前記環境中の光および／または音を検出し、前記脳波信号に含まれる事象関連電位に影響を与える前記環境中の光および／または音の特徴量の変化を検出する、請求項１に記載の調整装置。
【請求項１４】
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいて、予め定められた所定の識別方法を用いてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる方法であって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記ユーザが要求しているか否かを識別する方法であり、
前記ユーザに提示されるコンテンツ、および、前記ユーザが存在する環境中から前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、
前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、
抽出された前記ユーザの特徴量に基づいて、前記脳波信号の振幅および前記予め定められた基準の一方を変更することにより、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップと
を包含する方法。
【請求項１５】
ユーザの脳波信号を取得する生体信号計測部と、
前記脳波信号に基づいて、予め定められた所定の識別方法を用いてユーザの要求を識別し、前記要求に応じた機能を特定する脳波インタフェース部と
を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる脳波識別方法調整装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記ユーザが要求しているか否かを識別する方法であり、
前記コンピュータプログラムは前記コンピュータに、
前記ユーザに提示されるコンテンツ、および、前記ユーザが存在する環境中から前記ユーザに与えられる視覚および／または聴覚の刺激に対応する物理量を、前記刺激の特徴量として測定するステップと、
前記脳波信号に含まれる事象関連電位に影響を与える前記刺激の特徴量の変化を検出することにより、前記刺激の変化を検出するステップと、
前記刺激の変化が検出されたタイミングを起点として少なくとも後の所定期間にわたって、前記事象関連電位の波形を蓄積するステップと、
蓄積された前記事象関連電位の波形に基づいて前記ユーザの特徴量を抽出するステップと、
抽出された前記ユーザの特徴量に基づいて、前記脳波信号の振幅および前記予め定められた基準の一方を変更することにより、前記脳波インタフェース部における前記脳波信号に基づく要求の識別方法を調整するステップと
を実行させる、コンピュータプログラム。
【国際調査報告】
2008059878.tif 000033
2008059878.tif 000034