(57)【要約】【課題】コンピューターなどへの脳波による文字入力において、γ帯域脳波の時空間同期現象に基づく処理を行うことで、高精度な文字入力機能を実現することを目的とする。【解決手段】コンピューターなどの装置に対する文字入力過程において、使用者の脳波を検出する工程１と、検出された脳波信号のγ帯域（３０〜８０Ｈｚ）の一部または全部を含む信号の時空間同期分布を算出する処理工程と、前記信号処理の結果を基に使用者が入力を意図する文字を判別する処理工程とから構成される。【選択図】        図１
2004236682.tif 000002
【特許請求の範囲】
【請求項１】
使用者の脳波を検出してコンピューターなどの装置に対して文字入力を行う過程において、
検出された脳波信号のγ帯域（３０〜８０Ｈｚ）の一部または全部を含む信号の時空間同期分布を基にして、使用者が入力を意図する文字を判別する処理工程、を有することを特徴とする脳波による文字入力方法。
【請求項２】
コンピューターなどの装置に対する文字入力過程において、使用者から検出する筋電を用いることを特徴とする請求項１に記載の脳波による文字入力方法。
【請求項３】
使用者から検出する筋電は、使用者の口周辺部から検出したものであることを特徴とする請求項２に記載の脳波による文字入力方法。
【請求項４】
使用者の脳波を検出してコンピューターなどの装置に対して文字入力を行う装置において、
検出された脳波信号のγ帯域（３０〜８０Ｈｚ）の一部または全部を含む信号の時空間同期分布を基にして、使用者が入力を意図する文字を判別する処理手段、を有することを特徴とする脳波による文字入力装置。
【請求項５】
コンピューターなどの装置に対する文字入力装置において、使用者から検出する筋電を処理する手段を有することを特徴とする請求項４に記載の脳波による文字入力装置。
【請求項６】
使用者から検出する筋電は、使用者の口周辺部から検出したものであることを特徴とする請求項５に記載の脳波による文字入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピューターなどの装置における文字入力の手段である脳波による文字入力方法、及び装置に関する。
【０００２】
【従来の技術】
従来より、コンピューターなどにおける文字入力に際しては、一般的にキーボードを使用し、使用者が入力を意図する文字をキーボードのキーを押すことで入力する方法がとられている。
【０００３】
また近年では、これに変わる手法として、使用者が入力を意図する文字を音声として発話してそれをマイクで検出し、さらに検出された音声信号を音声認識技術により入力文字として判別し、コンピューターなどに入力する手法が開発され実用化されている。
【０００４】
また最近では、上記手法に変わる全く新しい文字入力手法として、ヒトの脳波を用いた手法の研究も行われている。
【０００５】
脳波を用いた手法には、ＣＲＴ上に文字刺激を提示し、それによって誘発された事象関連電位Ｐ３００を利用する方法、または文字の想起と同時に、発声を伴わずに文字を読み上げて口を動かした時の自発脳波を利用する方法などが報告されている（例えば、非特許文献１、非特許文献２参照）。
【０００６】
【非特許文献１】
Ｌ．Ｆａｒｗｅｌｌ  ａｎｄ  Ｅ．Ｄｏｎｃｈｉｎ著「Ｔａｌｋｉｎｇ  ｏｆｆ  ｔｈｅ  ｔｏｐ  ｏｆ  ｙｏｕｒ  ｈｅａｄ」、Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ  ａｎｄ  Ｃｌｉｎｉｃａｌ  Ｎｅｕｒｏｐｈｙｓｉｏｌｏｇｙ，  ｖｏｌ．７０，  ｐｐ．５１０−５２３，  １９８８．）
【非特許文献２】
渡辺浩志、長谷川孝明著「頭皮表面電位による想起母音の識別について」信学技報ＭＢＥ９２−１１１（１９９３−０２）
【０００７】
【発明が解決しようとする課題】
キーボードによる文字の入力方法は、初心者にとってコンピューターを操作する際の大きな負担であり、また熟練者にとっても両手がふさがることによる不自由性が指摘されている。
【０００８】
また近年では、キーボード操作による疲労の問題も顕著になっている。
【０００９】
また音声による入力方法は、キーボードによる入力方法における問題点はクリアしているものの、文字を音声として発話する必要があるため、静かなオフィスや公共の場所での使用は制限される。
【００１０】
また脳波を用いた手法に関しては、前記の課題はクリアしているものの、脳内での高次な認知過程のメカニズムに基づいてはいないため、認識精度が十分で無いという問題がある。
【００１１】
特に、近年の研究で明らかにされつつある、認知過程におけるγ帯域脳波の時空間同期現象（Ｅｕｇｅｎｉｏ  Ｒｏｄｒｉｇｕｅｚ，  ｅｔ  ａｌ．「Ｐｅｒｃｅｐｔｉｏｎ’ｓ  ｓｈａｄｏｗ：  ｌｏｎｇ−ｄｉｓｔａｎｃｅ  ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  ｏｆ  ｈｕｍａｎ  ｂｒａｉｎ  ａｃｔｉｖｉｔｙ」Ｎａｔｕｒｅ  Ｖｏｌ．３９７，  １９９９）を利用した文字の入力方法は存在しなかった。
【００１２】
本発明は、脳内でのより高次な認知過程メカニズムである、γ帯域脳波の時空間同期現象を観測することにより、発声を伴わない想起による文字音声の認知過程を検出し、この検出結果に基づいてコンピューター等の文字入力を行う方法を提供することを目的としている。
【００１３】
なお、ここで「発声を伴わない想起による文字音声の認知過程」と述べているのは、文字を音として発声すること無く、頭の中だけでその文字の音声化を行うことを指す。
【００１４】
またこれには、発声時の口の動きを全く行わないものと、実際の音は発声していないが口の動きは発声時と同様に行うケースの両方を含む。
【００１５】
【課題を解決するための手段】
上記目的を達成するために、本発明の脳波による文字入力方法においては、検出された脳波信号のγ帯域（３０〜８０Ｈｚ）の一部または全部を含む信号の時空間同期分布を基にして、使用者が入力を意図する文字を判別する処理工程、を有するものである。
【００１６】
また前記文字入力方法において、使用者から検出する筋電を用いることができる。
【００１７】
またその際には、使用者から検出する筋電は、使用者の口周辺部から検出したものであることが効果的である。
【００１８】
また上記目的を達成するために、脳波による文字入力装置においては、検出された脳波信号のγ帯域（３０〜８０Ｈｚ）の一部または全部を含む信号の時空間同期分布を基にして、使用者が入力を意図する文字を判別する処理手段、を有するものである。
【００１９】
また前記文字入力装置は、使用者から検出する筋電を処理する手段を有することができる。
【００２０】
またその際には、使用者から検出する筋電は、使用者の口周辺部から検出したものであることが効果的である。
【００２１】
なお、さらに詳細に説明すれば、本発明は下記の構成によって前記課題を解決できた。
【００２２】
（１）使用者の脳波を検出してコンピューターなどの装置に対して文字入力を行う過程において、検出された脳波信号のγ帯域（３０〜８０Ｈｚ）の一部または全部を含む信号の時空間同期分布を基にして、使用者が入力を意図する文字を判別する処理工程、を有することを特徴とする脳波による文字入力方法。
【００２３】
（２）コンピューターなどの装置に対する文字入力過程において、使用者から検出する筋電を用いることを特徴とする前記（１）に記載の脳波による文字入力方法。
【００２４】
（３）使用者から検出する筋電は、使用者の口周辺部から検出したものであることを特徴とする前記（２）に記載の脳波による文字入力方法。
【００２５】
（４）使用者の脳波を検出してコンピューターなどの装置に対して文字入力を行う装置において、検出された脳波信号のγ帯域（３０〜８０Ｈｚ）の一部または全部を含む信号の時空間同期分布を基にして、使用者が入力を意図する文字を判別する処理手段、を有することを特徴とする脳波による文字入力装置。
【００２６】
（５）コンピューターなどの装置に対する文字入力装置において、使用者から検出する筋電を処理する手段を有することを特徴とする前記（４）に記載の脳波による文字入力装置。
【００２７】
（６）使用者から検出する筋電は、使用者の口周辺部から検出したものであることを特徴とする前記（５）に記載の脳波による文字入力装置。
【００２８】
【発明の実施の形態】
上記のように構成された脳波による文字入力方法及び装置は、脳内でのより高次な認知過程メカニズムである、γ帯域脳波の時空間同期現象を観測することで、発声を伴わない想起による文字音声の認知過程を検出し、この検出結果に基づいた高精度なコンピューター等への文字入力を達成するように機能する。
【００２９】
また、使用者が文字を想起すると同時に、実際の音は発声していないが口の動きは発声時と同様に行う際の、口周辺部から検出した筋電を利用して、脳内での文字想起の認知過程をより反映した脳波の時系列データを特定することで、文字判別精度の向上、および演算装置の負荷低減を達成する様に機能する。
【００３０】
【実施例】
本発明を実施形態に基づいて詳細に説明する。
【００３１】
まず、第一の実施例について説明する。
【００３２】
この第一の実施例は図１に示すように、コンピューター等の機器に文字を入力する使用者（以下使用者）頭部の複数位置での脳波信号を複数端子により検出する工程１と、複数端子で検出した脳波信号からγ帯域（３０〜８０Ｈｚ）の一部または全部を含む帯域（以下γ帯域脳波信号）の同期度を算出する工程２と、算出されたγ帯域脳波信号の同期度の時空間的な分布パターンから使用者が想起した文字音声を判別する工程３と、判別された文字情報をコンピューターに入力する工程４とから構成されている。
【００３３】
また、複数端子で検出した脳波信号からγ帯域脳波信号の同期度を算出する工程２は、複数端子により検出した脳波信号からそれぞれの位相スペクトルを算出する下位工程５と、算出した位相スペクトルにおいてγ帯域脳波信号の平均位相値の時間変動列を算出する下位工程６と、算出された平均位相値の複数端子間での差を算出する下位工程７とから構成される。
【００３４】
まず、使用者頭部の複数位置での脳波信号を複数端子により検出する工程１について、説明する。
【００３５】
使用者の頭部には、図２に示すように１０個の電極８をペースト９を介して装着している。なお、電極８の装着位置は、国際脳波学会標準法（１０／２０法）における測定点から１０点を任意に選択して設定した。
【００３６】
これらの電極８により検出される脳波信号例を図３に示す。
【００３７】
続いて、検出された脳波信号を、図４に示すブロック図におけるプリアンプ及びメインアンプ１１で所定のレベルまで増幅した後に、Ａ／Ｄ変換部１２によりデジタル信号に変換し、順次データ保持部１３に記録する。
【００３８】
このＡ／Ｄ変換処理におけるサンプリング周波数は、本実施の形態においては２．４ＫＨｚとした。
【００３９】
なお、脳波検出方法に関しては、本発明の主眼とする所ではないので、これ以上の説明は省略するが、本発明で必要となるγ帯域脳波信号を含む信号を検出することができる方法であれば、その他の方法を用いても構わない。
【００４０】
ここで、検出されたデジタル信号に変換された時系列脳波信号を以下のように表す。
【００４１】
Ｘｍ＝Ｘｍ１＋Ｘｍ２＋Ｘｍ３＋……＋Ｘｍｎ
（サンプルステップ：ｔ＝１，２，３…ｎ）
（電極番号：ｍ＝１，２，３，…１０）
添え字ｍは、使用者の頭部から脳波を検出する際の電極の番号を示す。すなわち本実施例では、前述したようにｍの取る値は１，２，３，…１０となる。
【００４２】
続いて、複数端子により検出した脳波信号から、演算装置１４によりγ帯域（３０〜８０Ｈｚ）の一部または全部を含む帯域（以下γ帯域脳波信号）の同期度を算出する工程について説明する。
【００４３】
本工程は、図１に示すように次の下位工程により構成される。
【００４４】
すなわち、複数端子により検出した脳波信号からそれぞれの位相スペクトルを算出する下位工程５と、算出した位相スペクトルにおいてγ帯域脳波信号の平均位相値の時間変動列を算出する下位工程６と、算出された平均位相値の複数端子間での差を算出する下位工程７である。
【００４５】
そこで、それぞれの下位工程の処理を図５を用いて詳しく説明していく。
【００４６】
まず、複数端子により検出した脳波信号からそれぞれの位相スペクトルを算出する下位工程５では、抽出されたデジタル信号に変換された脳波信号Ｘｍに対して、事前に任意の算出時間間隔を設定する。
【００４７】
本実施例では、前記の任意の算出時間間隔を３秒と設定した。
【００４８】
従って、データ点数としては７２００個に相当する。
【００４９】
次に、それぞれの電極ごとの脳波信号Ｘｍから、その時間幅に相当するデータ１７を切り出し、演算装置１５により位相スペクトル１８を算出する。
【００５０】
ここで演算装置は、一般的なＦＦＴアルゴリズムに基づいて位相スペクトル１８を算出している。
【００５１】
そしてさらに、上記の演算により算出された位相スペクトルにおいて、事前に設定されたγ帯域の一部または全部を含む帯域（本実施例では３０〜５０Ｈｚ）の位相値Θｍの加算平均θｍ１９を算出する。
【００５２】
続いて図６に示すように、上記の計算過程を事前に設定した所定の時間幅に相当するデータ数分ずらして逐次行う。
【００５３】
本実施例では、前記の所定の時間幅を０．１秒と設定した。
【００５４】
従って、データ点数としては２４０個に相当する。
【００５５】
以上の計算過程を続けることにより、各電極におけるγ帯域の平均位相値の時系列データθＴｍ（Ｔ：算出ステップ）２２を得ることができる。
【００５６】
続いて、上記の工程によりえられた算出ステップＴにおけるγ帯域の平均位相値の時系列データθＴｍを用いて、図７に示すように全ての２つの電極の組合わせ間の位相差を次の式により、算出する。
ΔθＴｉｊ＝θＴｉ−θＴｊ  （ｉ＜ｊ）
【００５７】
以上の演算を平均位相値の時系列データに対して各算出ステップＴごとに繰り返すことにより、２つの電極の間の平均位相差を示す、ｍ×（ｍ−１）／２種類の時系列データを得ることができる。
【００５８】
なお、本実施例ではｍ＝１０であるため、時系列データは４５種類となる。
【００５９】
続いて、以上のように得られたγ帯域脳波信号の同期度の空間的な分布パターンから、使用者が想起した文字音声を判別する工程３について説明する。
【００６０】
本実施例では、２つの電極の間の平均位相差の時系列データから、使用者が想起した文字を判別するために、例えば図８に示すような、４５×２６×２６の三層型ニューラル・ネット（以下ニューラル・ネット）を使用する。
【００６１】
まず使用者は、ニューラル・ネットによって２つの電極の間の平均位相差の時系列データから使用者が想起した文字を判別できるようにするため、事前にニューラル・ネットを学習させることが必要となる。
【００６２】
この際には、例えば使用者が想起する文字であるアルファベット２６文字それぞれを各出力端子に割り当て、使用者が想起した文字と一致する端子の出力値のみが１に近い数値となり、他の端子が０に近い数値を持つように各ニューロン間の結合係数ｗ及びｋを更新する。
【００６３】
すなわち、前記学習を行うことにより、結果として入力値としてのγ帯域脳波の空間的な同期分布がニューラル・ネットの結合係数ｗ及びｋに記憶される。
【００６４】
そして学習後に入力される２つの電極の間の平均位相差の時系列データ、すなわちγ帯域脳波の時空間同期分布に対して、それに対応する適切な文字の判別が可能となる。
【００６５】
なお、上記のニューラル・ネットの学習過程は、一般的な手法を用いたものであり、本発明の主眼とする所では無いので、詳しい説明は省略する。
【００６６】
また、ニューラル・ネットの形態は、入力する２つの電極の間の平均位相差の時系列データから、学習によって得られた各ニューロン間の結合係数に基づいて使用者が想起した文字を判別できるものであれば、本実施例で用いた形態以外のものであっても構わない。
【００６７】
また本実施例では、各使用者ごとの、文字の想起に伴う２つの電極の間の平均位相差の時系列データパターンの判別にニューラル・ネットを用いたが、本目的を達成できるものであれば、これ以外の手法を用いても構わない。
【００６８】
これらの、一般的なデータパターンから情報を判別する手法に関しては、本発明の主眼とする所では無いので、その他の手法に関する説明は省略する。
【００６９】
続いて、学習後の演算装置１４によって判別された文字の情報は（本実施例では、ニューラル・ネットの出力端子の出力値）、文字信号発生装置１５に送られ、文字信号発生装置１５では、判別した文字に対応する、例えば一般的なキーボードで同様の文字キーを押した場合と同じ信号を発生し、その信号をコンピューターのキーボード接続端子からコンピューター１６に入力することにより、判別した文字を入力することが可能となる。
【００７０】
なお、文字信号発生装置１５における文字信号の出力においては、演算装置１４から入力された信号、すなわちニューラル・ネットの出力値２６種類のうち、ある一つの文字に対応する値が０．９以上であり、かつその他の文字に対応する値が０．１以下である場合のみ、使用者が想起した文字の判別に成功したとみなして、コンピューターに信号を出力する。
【００７１】
また、使用者が想起した１文字を連続して入力してしまうのを防ぐために、文字信号発生装置は、ある１文字の入力信号をコンピューターに出力するごとに、一定の時間、信号の出力を停止する。
【００７２】
本実施例では、この一定時間を１秒に設定した。
【００７３】
なおこの一定時間は、演算装置などの計算速度によって決定されるものであり、使用者は、適正な入力が行われるように、この一定時間に対応して入力する文字の想起時間を調節する必要がある。
【００７４】
以上の様に、使用者が想起した文字列を判別した後、図４に示した文字信号発生装置により、例えば一般的なキーボードで対応する文字キーを押した場合と同じ信号を発生し、コンピューターのキーボード接続端子から入力することにより、判別した文字をコンピューター１６に入力することが可能となる。
【００７５】
以上の処理工程をまとめて述べる。
【００７６】
まず使用者は、入力を意図する文字を想起する。
【００７７】
続いて、文字を想起中の使用者の脳波を電極により検出する。
【００７８】
検出した脳波は、デジタル信号に変換されて保持された後、演算装置に入力され、２つの電極間のγ帯域脳波の平均位相値の差の時系列データが算出される。
【００７９】
すなわちこれは、脳内での文字想起の認知過程におけるγ帯域脳波の時空間同期現象の抽出に相当している。
【００８０】
続いて、以上のように算出された２つの電極間のγ帯域脳波の平均位相値の差のデータ列を事前に学習を行ったニューラル・ネットに入力し、使用者が想起した文字の判別を行う。
【００８１】
文字の判別が完了したら、対応する文字の入力信号を文字信号発生装置により生成し、キーボード入力端子からコンピューターなどの装置に入力する。
【００８２】
このように、γ帯域脳波の時空間同期現象に基づく処理を行うことにより、より高精度な、脳波による文字入力を達成することができる。
【００８３】
本実施例では、各文字ごとに５０００回の学習を行うことにより、最終的に約９０％の文字判別精度を得ることができた。
【００８４】
次に第二の実施例について説明する。この第二の実施例は図９に示すように、図１に示す第一の実施例の処理工程とほぼ同様に構成されており、脳波検出工程２４において筋電検出工程２３の情報を用いる点に関してのみ、第１の実施例と異なっている。
【００８５】
そこで、本実施例に関しては、第一の実施例と異なる、筋電検出工程２３と脳波検出工程２４に関して説明を行い、これ以外の処理過程は第一の実施例と同様であるとして省略する。
【００８６】
図１０は本実施例における筋電センサー２５の装着状態を示す。
【００８７】
本実施例では、使用者は入力を意図する文字を想起すると同時に、発声を伴わないで文字を読み上げる際と同様に口を動かす。
【００８８】
その際に発生した筋電が筋電センサー２５により検出され、図１１に示す筋電検出装置２６に入力される。
【００８９】
筋電検出装置２６で検出された筋電の振幅が事前に設定した閾値を越えた場合、トリガ発生装置２７はトリガ信号をデータ保持部１３に入力する。
【００９０】
データ保持部１３では、第一の実施例と同様に、デジタル化された脳波信号の保持を行うのであるが、本実施例では保持動作をトリガが入力された瞬間に開始し、一定時間後（本実施例では１秒後）に終了することとする。
【００９１】
上記の処理を行うことにより、位相スペクトルの算出に用いられた脳波信号は、使用者が想起した文字の認知過程をより強く反映することとなり、結果として使用者が想起した文字の判別精度が向上する。
【００９２】
また、第一の実施例の様に常にデータの保持・演算を行う必要がなくなるため、演算装置の負荷を低減することができる。
【００９３】
以上のように、文字の想起と同時に動かされた口の筋電を脳波信号保持動作のトリガとして用いることにより、脳内での文字想起の認知過程をより反映した脳波の時系列データを特定することが可能となり、最終的な文字判別精度の向上、および演算装置の負荷低減を達成することができる。
【００９４】
以上、第一、第二の実施例によれば、コンピューターなどへの脳波による文字入力において、γ帯域脳波の時空間同期現象に基づく処理を行うことで、高精度な文字判別を実現することができる。
【００９５】
また、使用者が文字を想起すると同時に動かした口の筋電を脳波信号保持動作のトリガとして利用することにより、より高精度な文字判別を実現することができる。
【００９６】
【発明の効果】
以上説明したように、コンピューターなどへの脳波による文字入力において、γ帯域脳波の時空間同期現象に基づく処理を行うことで、高精度な文字判別を実現することが可能となる。
【００９７】
また、使用者が文字を想起すると同時に動かした口の筋電を脳波信号保持動作のトリガとして利用することにより、より高精度な文字判別を実現することが可能となる。
【図面の簡単な説明】
【図１】第一の実施例における処理工程の説明図である。
【図２】第一の実施例における脳波の検出方法の説明図である。
【図３】第一の実施例における測定された脳波信号例である。
【図４】第一実施例における処理装置のブロック回路構成図である。
【図５】第一実施例におけるγ帯域平均位相値の算出過程の説明図である。
【図６】第一実施例におけるγ帯域平均位相値の時系列データ算出過程の説明図である。
【図７】第一実施例におけるγ帯域平均位相値の差を算出する電極の組合わせを示す説明図である。
【図８】第一実施例におけるニューラル・ネットを示す説明図である。
【図９】第二の実施例における処理工程の説明図である。
【図１０】第二の実施例における筋電センサの装着位置を示す説明図である。
【図１１】第二実施例における処理装置のブロック回路構成図である。
【符号の説明】
１    脳波検出工程
２    γ帯域脳波信号の同期度算出工程
３    文字判別工程
４    コンピューターなどへの入力工程
５    位相スペクトル算出下位工程
６    γ帯域脳波信号の平均位相値算出下位工程
７    端子間平均位相値差の算出下位工程
８    電極端子
９    ペースト
１０    脳波検出装置
１１    プリ・メインアンプ
１２    Ａ／Ｄ変換部
１３    データ保持部
１４    演算装置
１５    文字信号発生装置
１６    コンピューター
１７    時系列脳波信号
１８    位相スペクトル：Θｍ
１９    γ帯域位相値加算平均：θｍ
２０    時系列脳波信号
２１    位相スペクトル：ΘＴｍ
２２    位相加算平均値：θＴｍ
２３    筋電検出工程
２４    脳波検出工程
２５    筋電センサー
２６    筋電検出装置
２７    トリガ発生装置
【図１】
2004236682.tif 000003
【図２】
2004236682.tif 000004
【図３】
2004236682.tif 000005
【図４】
2004236682.tif 000006
【図５】
2004236682.tif 000007
【図６】
2004236682.tif 000008
【図７】
2004236682.tif 000009
【図８】
2004236682.tif 000010
【図９】
2004236682.tif 000011
【図１０】
2004236682.tif 000012
【図１１】
2004236682.tif 000013