(57)【特許請求の範囲】
【請求項１】
ユーザの視線方向を示す眼電位信号を出力する眼電位計測装置であって、
ユーザの眼球運動によって生じる眼電位を示す眼電位原信号を測定する眼電位測定部と、
ユーザの視線方向の画像を撮影する撮影部と、
前記眼電位原信号の時間的な基線変動であるドリフト信号を推定するドリフト推定処理部と、
前記眼電位測定部で測定された前記眼電位原信号から前記ドリフト推定処理部で推定された前記ドリフト信号を減算して、眼電位信号を出力する減算部とを備え、
前記ドリフト推定処理部は、
前記減算部から出力された過去の眼電位信号に基づいて、過去の所定時間における眼電位の変化量を示す眼電位変化量を計算する眼電位変化量計算部と、
前記撮影部で撮影された画像に含まれる動物体の、前記過去の所定時間における動きを示す動きベクトルを検出する動きベクトル検出部と、
前記眼電位変化量で示される視線方向の変化が前記動きベクトルで示される動物体の動きに追従していると仮定した場合の、前記過去の所定時間におけるドリフト信号の変化量であるドリフト変化量を推定するドリフト変化量推定部と、
前記ドリフト変化量推定部で推定された前記ドリフト変化量を過去のドリフト信号に加算して、前記ドリフト信号を推定するドリフト推定部とを備える
眼電位計測装置。
【請求項２】
前記ドリフト推定処理部は、さらに、前記減算部から出力された前記過去の眼電位信号に基づいて、前記過去の所定時間に眼球の急速な運動であるサッケード運動が発生したか否かを判定し、サッケード運動が発生したと判定した場合に、サッケード検出信号を前記ドリフト推定部に出力するサッケード検出部を備え、
前記ドリフト推定部は、前記サッケード検出部から前記サッケード検出信号を取得しなかった場合に、前記ドリフト変化量推定部から出力される前記ドリフト変化量を前記過去のドリフト信号に加算する
請求項１に記載の眼電位計測装置。
【請求項３】
前記眼電位変化量計算部は、さらに、計算した前記眼電位変化量が所定の閾値を下回った場合に、前記過去の所定時間にユーザの眼球が停留していることを示す停留検出信号を前記ドリフト推定部に出力し、
前記ドリフト推定部は、前記眼電位変化量計算部から前記停留検出信号を取得しなかった場合に、前記ドリフト変化量推定部から出力される前記ドリフト変化量を前記過去のドリフト信号に加算する
請求項２に記載の眼電位計測装置。
【請求項４】
前記過去の所定時間は、過去の第１の時刻と、前記第１の時刻よりさらに過去の第２の時刻との間の時間であり、
前記動きベクトル検出部は、前記第１の時刻に撮影された第１の画像を構成する複数のブロックそれぞれが、前記第２の時刻に撮影された前記第２の画像のどこに存在したかを示す複数の第１の動きベクトルを算出し、
前記ドリフト変化量推定部は、さらに、
ユーザの視線方向と、当該視線方向において発生する発生眼電位とを対応付けた発生眼電位テーブルを予め保持しており、
前記動きベクトル検出部で検出された前記複数の第１の動きベクトルそれぞれに対して、ユーザの視線方向が当該動きベクトルに沿って移動したと仮定した場合の眼電位の変化量を示す動きベクトル相当眼電位変化量を、前記発生眼電位テーブルを用いて算出し、
前記複数の第１の動きベクトルのうち、対応する前記動きベクトル相当眼電位変化量と前記眼電位変化量計算部で計算された前記眼電位変化量との差が所定の閾値以下である１以上の第１の動きベクトルを抽出し、
前記発生眼電位テーブルに保持されている発生眼電位のうち、抽出された前記１以上の第１の動きベクトルのいずれかの始点位置に対応する発生眼電位と、前記第１の時刻に前記減算部から出力された第１の眼電位信号との差を、前記ドリフト変化量として推定する
請求項１〜３のいずれか１項に記載の眼電位計測装置。
【請求項５】
前記ドリフト変化量推定部は、抽出された前記第１の動きベクトルそれぞれの始点位置に対応する発生眼電位のうち、前記第１の眼電位信号との差の最小値を前記第１の眼電位から減算して前記ドリフト変化量として推定する
請求項４に記載の眼電位計測装置。
【請求項６】
前記ドリフト変化量推定部は、抽出された前記第１の動きベクトルそれぞれの始点位置に対応する発生眼電位のうち、前記第１の眼電位信号との差の中央値を前記第１の眼電位から減算して前記ドリフト変化量として推定する
請求項４に記載の眼電位計測装置。
【請求項７】
前記過去の所定時間は、前記第１の時刻と、前記第２の時刻よりさらに過去の第３の時刻との間の時間であり、
前記動きベクトル検出部は、さらに、前記第２の時刻に撮影された第２の画像を構成する複数のブロックそれぞれが、前記第３の時刻に撮影された前記第３の画像のどこに存在したかを示す複数の第２の動きベクトルを算出し、
前記ドリフト変化量推定部は、さらに、
前記動きベクトル検出部で検出された前記複数の第２の動きベクトルそれぞれに対して、ユーザの視線方向が当該動きベクトルに沿って移動したと仮定した場合の眼電位の変化量を示す動きベクトル相当眼電位変化量を、前記発生眼電位テーブルを用いて算出し、
同一のブロックの動きを表す前記第１及び第２の動きベクトルの組み合わせのうち、対応する前記動きベクトル相当眼電位変化量の推移と、前記眼電位変化量計算部で計算された前記第３の時刻から前記第１の時刻までの前記眼電位変化量の推移との相関係数が所定の閾値以上である１以上の第１の動きベクトルを抽出し、
前記発生眼電位テーブルに保持されている発生眼電位のうち、抽出された前記１以上の第１の動きベクトルのいずれかの始点位置に対応する発生眼電位と、前記第１の時刻に前記減算部から出力された第１の眼電位信号との差を、前記ドリフト変化量として推定する
請求項４〜６のいずれか１項に記載の眼電位計測装置。
【請求項８】
前記ドリフト変化量推定部は、さらに、抽出された前記１以上の第１の動きベクトルのいずれかの始点位置に対応する発生眼電位と、前記第１の時刻に前記減算部から出力された第１の眼電位信号との差に、対応する相関係数を乗じて前記ドリフト変化量を推定する
請求項７に記載の眼電位計測装置。
【請求項９】
前記過去の所定時間は、過去の第１の時刻と、前記第１の時刻よりさらに過去の第２の時刻との間の時間であり、
前記動きベクトル検出部は、前記第１の時刻に撮影された第１の画像を構成する複数のブロックそれぞれが、前記第２の時刻に撮影された前記第２の画像のどこに存在したかを示す複数の前記動きベクトルを算出し、
前記ドリフト変化量推定部は、さらに、
ユーザの視点方向と、当該視線方向において発生する発生眼電位とを対応付けた発生眼電位テーブルを予め保持しており、
前記動きベクトル検出部で検出された前記複数の動きベクトルそれぞれに対して、ユー
ザの視線方向が当該動きベクトルに沿って移動したと仮定した場合の眼電位の変化量を示す動きベクトル相当眼電位変化量を、前記発生眼電位テーブルを用いて算出し、
前記複数の動きベクトルそれぞれに対応する前記動きベクトル相当眼電位変化量のうち、大きさが最も大きい前記動きベクトル相当眼電位変化量と、前記眼電位変化量計算部から出力された前記眼電位変化量との差を、前記ドリフト変化量として推定する
請求項１又は２に記載の眼電位計測装置。
【請求項１０】
前記サッケード検出部は、
前記眼電位信号を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、
前記眼電位信号から前記遅延信号を減算して得られる出力信号を生成する減算部とを備え、
前記出力信号が予め定められた閾値を上回る場合に、前記サッケード検出信号を前記ドリフト推定部に出力する
請求項２に記載の眼電位計測装置。
【請求項１１】
前記所定の遅延時間は、ユーザが対象を固視している時間より短い
請求項１０に記載の眼電位計測装置。
【請求項１２】
前記サッケード検出部は、
前記眼電位信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか一方を施して第１の眼電位信号を出力する第１のフィルタ処理部と、
前記第１の眼電位信号、及び前記眼電位信号から得られる第２の眼電位信号の一方から他方を減算し、出力信号を生成する減算部とを備え、
前記出力信号が予め定められた閾値を上回る場合に、前記サッケード検出信号を前記ドリフト推定部に出力する
請求項２に記載の眼電位計測装置。
【請求項１３】
前記サッケード検出部は、さらに、前記眼電位信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか他方を施して前記第２の眼電位信号を出力する第２のフィルタ処理部を備える
請求項１２に記載の眼電位計測装置。
【請求項１４】
前記サッケード検出部は、さらに、前記第１の眼電位信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか他方を施して前記第２の眼電位信号を出力する第２のフィルタ処理部を備える
請求項１２に記載の眼電位計測装置。
【請求項１５】
請求項１〜１４のいずれか１項に記載の眼電位計測装置と、
前記眼電位計測装置から出力される前記眼電位信号に基づいて、ユーザの眼の状態を診断する診断部とを備える
眼科診断装置。
【請求項１６】
眼電位からユーザの視線方向を検出する視線検出装置であって、
請求項１〜１４のいずれか１項に記載の眼電位計測装置と、
ユーザに対して較正指標を提示する較正指標提示部と、
前記較正指標提示部によって提示された前記較正指標にユーザの視線位置が移動する際の眼球の急速な運動であるサッケード運動を、前記眼電位計測装置から出力される前記眼電位信号から検出し、前記サッケード運動の前後における眼電位の変化量である眼電位変化量を出力するサッケード検出部と、
前記較正指標提示部によって提示された前記較正指標の位置、及び前記サッケード検出
部から出力された前記眼電位変化量に基づいて較正パラメータを計算する較正パラメータ計算部と、
前記較正パラメータに基づいて、前記眼電位信号からユーザの視線方向を検出する較正部とを備える
視線検出装置。
【請求項１７】
ユーザの視線方向の映像を撮像するウェアラブルカメラであって、
撮像部と、
請求項１６に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部とを備える
ウェアラブルカメラ。
【請求項１８】
ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、
画像およびマウスを表示する表示部と、
請求項１６に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部とを備える
ヘッドマウントディスプレイ。
【請求項１９】
ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、
焦点を変化させることができるレンズと、
請求項１６に記載の視線検出装置と、
前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部とを備える
電子めがね。
【請求項２０】
ユーザの視線方向を示す眼電位信号を出力する眼電位計測方法であって、
ユーザの眼球運動によって生じる眼電位を示す眼電位原信号を測定する眼電位測定ステップと、
ユーザの視線方向の画像を撮影する撮影ステップと、
前記眼電位原信号の時間的な基線変動であるドリフト信号を推定するドリフト推定処理ステップと、
前記眼電位測定ステップで測定された前記眼電位原信号から前記ドリフト推定処理ステップで推定された前記ドリフト信号を減算して、眼電位信号を出力する減算ステップとを含み、
前記ドリフト推定処理ステップは、
前記減算ステップから出力された過去の眼電位信号に基づいて、過去の所定時間における眼電位の変化量を示す眼電位変化量を計算する眼電位変化量計算ステップと、
前記撮影ステップで撮影された画像に含まれる動物体の、前記過去の所定時間における動きを示す動きベクトルを検出する動きベクトル検出ステップと、
前記眼電位変化量で示される視線方向の変化が前記動きベクトルで示される動物体の動きに追従していると仮定した場合の、前記過去の所定時間におけるドリフト信号の変化量であるドリフト変化量を推定するドリフト変化量推定ステップと、
前記ドリフト変化量推定ステップで推定された前記ドリフト変化量を過去のドリフト信号に加算して、前記ドリフト信号を推定するドリフト推定ステップとを含む
眼電位計測方法。
【請求項２１】
コンピュータに、ユーザの視線方向を示す眼電位信号を出力させるプログラムであって、
ユーザの眼球運動によって生じる眼電位を示す眼電位原信号を測定する眼電位測定ステップと、
ユーザの視線方向の画像を撮影する撮影ステップと、
前記眼電位原信号の時間的な基線変動であるドリフト信号を推定するドリフト推定処理ステップと、
前記眼電位測定ステップで測定された前記眼電位原信号から前記ドリフト推定処理ステップで推定された前記ドリフト信号を減算して、眼電位信号を出力する減算ステップとを、コンピュータに実行させ、
前記ドリフト推定処理ステップは、
前記減算ステップから出力された過去の眼電位信号に基づいて、過去の所定時間における眼電位の変化量を示す眼電位変化量を計算する眼電位変化量計算ステップと、
前記撮影ステップで撮影された画像に含まれる動物体の、前記過去の所定時間における動きを示す動きベクトルを検出する動きベクトル検出ステップと、
前記眼電位変化量で示される視線方向の変化が前記動きベクトルで示される動物体の動きに追従していると仮定した場合の、前記過去の所定時間におけるドリフト信号の変化量であるドリフト変化量を推定するドリフト変化量推定ステップと、
前記ドリフト変化量推定ステップで推定された前記ドリフト変化量を過去のドリフト信号に加算して、前記ドリフト信号を推定するドリフト推定ステップとを含む
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの眼電位原信号から基線変動ノイズであるドリフト成分を推定することによって、ドリフトの影響を排除した眼電位信号を出力する眼電位計測装置に関するものである。
【背景技術】
【０００２】
近年、人の眼球運動を利用した視線入力インタフェース等が提案されている。人の眼球運動検出方法には、角膜と網膜との間の発生電位を利用するＥＯＧ法、スポットライトを眼球に入射させることによって角膜内部に生じる虚像の動きを検出する角膜反射法、角膜と強膜との反射率の違いを利用する強反射法、およびコンタクトレンズを用いる方法等がある。
【０００３】
ここで、ＥＯＧ法とは、人間の角膜が網膜に対して正に帯電していることを利用した眼球運動検出方法である。具体的には、人間の眼球付近に電極を貼付し、その電極から計測される電位の変化から眼球運動を検出する。図６４Ａ及び図６４ＢにＥＯＧ法を用いた眼球運動検出方法の例を示す。図６４Ａ及び図６４Ｂは、ユーザの右眼の外側と内側との２箇所に、眼球の中心から等距離離して電極を貼付した場合の例である。
【０００４】
外側の電極Ａに発生する眼電位をＶａ、内側の電極Ｂに発生する眼電位をＶｂとすると、図６４Ａのように、ユーザの眼球が真中位置にある場合は、ＶａとＶｂが等しくなり、計測される眼電位Ｖａ−ｂは０Ｖとなる。一方、図６４Ｂのように、ユーザが右を見た場合は、電極Ａの方が右眼の角膜に近くなるため、Ｖａ＞Ｖｂとなり、計測眼電位Ｖａ−ｂは正の値を示す。逆に、ユーザが左を見た場合は、Ｖａ＜Ｖｂとなり、計測眼電位Ｖａ−ｂは負の値を示す。つまり、計測眼電位Ｖａ−ｂが正の値を示すならばユーザは右に眼を動かしたことがわかり、負の値を示すならば左に眼を動かしたことがわかる。ＥＯＧ法では、このような計測眼電位Ｖａ−ｂの変化を利用することにより、ユーザの眼球運動を検出する。
【０００５】
ＥＯＧ法を用いて眼球運動を検出する際には、ドリフトという現象が発生する。ドリフトとは、時間的に眼電位原信号の基線が変化する現象であり、眼電位の計測に用いる電極の材料や、皮膚と電極との接触状況の変化等の要因が挙げられる。
【０００６】
図６５に実際にユーザに電極を貼付して眼電位の計測を試みた結果を示す。図６５は、複数の指標を、図６６に示される順序で１秒毎に表示させたときの計測電位の測定結果である。図６５を参照すれば、時間経過と共に計測電位の基線が変化していることがわかる。より具体的には、ドリフトの影響で、指標（Ｒ４）を注視している際も計測電位に変化が起きる。つまり、ドリフトが発生している計測電位を眼電位として利用すると、ユーザの眼球運動の検出に誤差が生じる。
【０００７】
このドリフトの成分を除去する方法の例として、以下の特許文献１、２に記載の技術がある。
【０００８】
特許文献１に開示されているドリフト成分除去方法では、ユーザに特定の位置（例えば、ディスプレイの中央）を、ドリフトの影響が生じないような十分に短い時間間隔で注視させることにより、ドリフトによる変動値分を随時更新し、ドリフト成分を除去している。
【０００９】
特許文献２に開示されているドリフト成分除去方法では、ディスプレイ画面上に必要に応じて較正用シンボルを発生させ、所定時間内に飛越眼球運動が検出されれば、ユーザが較正用シンボルを注視したと判定し、ドリフト成分による誤差をリセットしている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平１１−８５３８４号公報
【特許文献２】特開平９−３４６３１号公報
【特許文献３】特開平１１−２７６４６１号公報
【特許文献４】特開２００２−２７２６９３号公報
【非特許文献】
【００１１】
【非特許文献１】真鍋宏幸，福本雅朗，“ヘッドフォンを用いた常時装用視線インタフェース”，インタラクション２００６，ｐｐ．２３−２４，２００６
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１では、ユーザに特定位置を定期的に注視させることにより、ドリフト成分を抽出している。しかし、自然な眼球運動を計測する際には、ユーザに定期的に特定位置を注視させることは難しいという課題がある。
【００１３】
特許文献２では、ディスプレイ画面上に出力した較正用シンボルを、所定時間内に発生した飛越眼球運動を用いてユーザが注視したかどうかを判定している。しかし、較正用シンボルの発生によって誘導された飛越眼球運動なのか、他の要因によるものかの判定が難しく、更に、較正用シンボルを出力するディスプレイのない環境ではドリフト成分を除去できないという課題がある。
【００１４】
本発明は、上記課題を解決するためになされたもので、ユーザの眼電位原信号から基線変動であるドリフト成分を推定し、ドリフトの影響を除去した眼電位信号を出力する眼電位計測装置を提供することを目的とする。
【００１５】
具体的には、人間の眼球運動の一つである追従運動は、開眼時には視野中に追従物体が存在しないと発生しないという特徴を利用し、視野画像中の動きベクトルと眼電位の変化量を用いてドリフト成分を推定する。
【課題を解決するための手段】
【００１６】
本発明の一形態に係る眼電位計測装置は、ユーザの視線方向を示す眼電位信号を出力する。具体的には、ユーザの眼球運動によって生じる眼電位を示す眼電位原信号を測定する眼電位測定部と、ユーザの視線方向の画像を撮影する撮影部と、前記眼電位原信号の時間的な基線変動であるドリフト信号を推定するドリフト推定処理部と、前記眼電位測定部で測定された前記眼電位原信号から前記ドリフト推定処理部で推定された前記ドリフト信号を減算して、眼電位信号を出力する減算部とを備える。前記ドリフト推定処理部は、前記減算部から出力された過去の眼電位信号に基づいて、過去の所定時間における眼電位の変化量を示す眼電位変化量を計算する眼電位変化量計算部と、前記撮影部で撮影された画像に含まれる動物体の、前記過去の所定時間における動きを示す動きベクトルを検出する動きベクトル検出部と、前記眼電位変化量で示される視線方向の変化が前記動きベクトルで示される動物体の動きに追従していると仮定した場合の、前記過去の所定時間におけるドリフト信号の変化量であるドリフト変化量を推定するドリフト変化量推定部と、前記ドリフト変化量推定部で推定された前記ドリフト変化量を過去のドリフト信号に加算して、前記ドリフト信号を推定するドリフト推定部とを備える。
【００１７】
上記構成のように、画像（視野画像）の動きベクトルと眼電位変化量とに基づいてドリフト変化量を推定することにより、リアルタイムにドリフト成分を推定することができる。その結果、ドリフトの影響を排除した眼電位信号を計測することができる。
【００１８】
さらに、前記ドリフト推定処理部は、前記減算部から出力された前記過去の眼電位信号に基づいて、前記過去の所定時間に眼球の急速な運動であるサッケード運動が発生したか否かを判定し、サッケード運動が発生したと判定した場合に、サッケード検出信号を前記ドリフト推定部に出力するサッケード検出部を備えてもよい。そして、前記ドリフト推定部は、前記サッケード検出部から前記サッケード検出信号を取得しなかった場合に、前記ドリフト変化量推定部から出力される前記ドリフト変化量を前記過去のドリフト信号に加算してもよい。これにより、ユーザの眼球運動にサッケードが発生する場合でも、動きベクトルと眼電位変化量とを用いて高精度にドリフト変化量を推定することができる。
【００１９】
さらに、前記眼電位変化量計算部は、計算した前記眼電位変化量が所定の閾値を下回った場合に、前記過去の所定時間にユーザの眼球が停留していることを示す停留検出信号を前記ドリフト推定部に出力してもよい。そして、前記ドリフト推定部は、前記眼電位変化量計算部から前記停留検出信号を取得しなかった場合に、前記ドリフト変化量推定部から出力される前記ドリフト変化量を前記過去のドリフト信号に加算してもよい。これにより、ユーザの眼球運動に停留が発生する場合でも、動きベクトルと眼電位変化量とを用いてドリフト変化量を高精度に推定することができる。
【００２０】
一例として、前記過去の所定時間は、過去の第１の時刻と、前記第１の時刻よりさらに過去の第２の時刻との間の時間であってもよい。前記動きベクトル検出部は、前記第１の時刻に撮影された第１の画像を構成する複数のブロックそれぞれが、前記第２の時刻に撮影された前記第２の画像のどこに存在したかを示す複数の第１の動きベクトルを算出してもよい。前記ドリフト変化量推定部は、さらに、ユーザの視線方向と、当該視線方向において発生する発生眼電位とを対応付けた発生眼電位テーブルを予め保持しており、前記動きベクトル検出部で検出された前記複数の第１の動きベクトルそれぞれに対して、ユーザの視線方向が当該動きベクトルに沿って移動したと仮定した場合の眼電位の変化量を示す動きベクトル相当眼電位変化量を、前記発生眼電位テーブルを用いて算出し、前記複数の第１の動きベクトルのうち、対応する前記動きベクトル相当眼電位変化量と前記眼電位変化量計算部で計算された前記眼電位変化量との差が所定の閾値以下である１以上の第１の動きベクトルを抽出し、前記発生眼電位テーブルに保持されている発生眼電位のうち、抽出された前記１以上の第１の動きベクトルのいずれかの始点位置に対応する発生眼電位と、前記第１の時刻に前記減算部から出力された第１の眼電位信号との差を、前記ドリフト変化量として推定してもよい。
【００２１】
上記構成のように、眼電位変化量と動きベクトル相当眼電位変化量とに基づいて動きベクトルを抽出し、抽出した動きベクトルの始点位置（オフセット補正位置）の発生眼電位を用いてドリフト変化量を推定することによって、ドリフトによって蓄積されたオフセットをリセットすることができ、正しい眼電位を計測することができる。
【００２２】
また、前記ドリフト変化量推定部は、抽出された前記第１の動きベクトルそれぞれの始点位置に対応する発生眼電位のうち、前記第１の眼電位信号との差の最小値を前記第１の眼電位から減算して前記ドリフト変化量として推定してもよい。これにより、ドリフト変化量の値が小さくなるので、オフセット補正位置の検出エラー時の影響を小さくできる。
【００２３】
或いは、前記ドリフト変化量推定部は、抽出された前記第１の動きベクトルそれぞれの始点位置に対応する発生眼電位のうち、前記第１の眼電位信号との差の中央値を前記第１の眼電位から減算して前記ドリフト変化量として推定してもよい。これにより、動物体の中心に近い位置をオフセット補正位置として検出でき、ドリフト変化量の推定精度を向上できる。
【００２４】
他の例として、前記過去の所定時間は、前記第１の時刻と、前記第２の時刻よりさらに過去の第３の時刻との間の時間であってもよい。前記動きベクトル検出部は、さらに、前記第２の時刻に撮影された第２の画像を構成する複数のブロックそれぞれが、前記第３の時刻に撮影された前記第３の画像のどこに存在したかを示す複数の第２の動きベクトルを算出してもよい。前記ドリフト変化推定部は、さらに、前記動きベクトル検出部で検出された前記複数の第２の動きベクトルそれぞれに対して、ユーザの視線方向が当該動きベクトルに沿って移動したと仮定した場合の眼電位の変化量を示す動きベクトル相当眼電位変化量を、前記発生眼電位テーブルを用いて算出し、同一のブロックの動きを表す前記第１及び第２の動きベクトルの組み合わせのうち、対応する前記動きベクトル相当眼電位変化量の推移と、前記眼電位変化量計算部で計算された前記第３の時刻から前記第１の時刻までの前記眼電位変化量の推移との相関係数が所定の閾値以上である１以上の第１の動きベクトルを抽出し、前記発生眼電位テーブルに保持されている発生眼電位のうち、抽出された前記１以上の第１の動きベクトルのいずれかの始点位置に対応する発生眼電位と、前記第１の時刻に前記減算部から出力された第１の眼電位信号との差を、前記ドリフト変化量として推定してもよい。
【００２５】
これにより、眼電位変化量と動きベクトル相当眼電位変化量との時間的変動の特徴を利用してオフセット補正位置を決定することができるので、ドリフト変化量の推定精度をさらに向上できる。
【００２６】
さらに、前記変化量推定部は、抽出された前記１以上の第１の動きベクトルのいずれかの始点位置に対応する発生眼電位と、前記第１の時刻に前記減算部から出力された第１の眼電位信号との差に、対応する相関係数を乗じて前記ドリフト変化量を推定してもよい。これにより、眼電位変化量と動きベクトル相当眼電位変化量との相関に応じてドリフト変化量を調整することができる。
【００２７】
さらに他の例として、前記過去の所定時間は、過去の第１の時刻と、前記第１の時刻よりさらに過去の第２の時刻との間の時間であってもよい。そして、前記動きベクトル検出部は、前記第１の時刻に撮影された第１の画像を構成する複数のブロックそれぞれが、前記第２の時刻に撮影された前記第２の画像のどこに存在したかを示す複数の前記動きベクトルを算出してもよい。前記ドリフト変化量推定部は、さらに、ユーザの視点方向と、当該視線方向において発生する発生眼電位とを対応付けた発生眼電位テーブルを予め保持しており、前記動きベクトル検出部で検出された前記複数の動きベクトルそれぞれに対して、ユーザの視線方向が当該動きベクトルに沿って移動したと仮定した場合の眼電位の変化量を示す動きベクトル相当眼電位変化量を、前記発生眼電位テーブルを用いて算出し、前記複数の動きベクトルそれぞれに対応する前記動きベクトル相当眼電位変化量のうち、大きさが最も大きい前記動きベクトル相当眼電位変化量と、前記眼電位変化量計算部から出力された前記眼電位変化量との差を、前記ドリフト変化量として推定してもよい。これにより、視野画像に発生した動きベクトル以上の眼電位変化量をドリフト成分と推定することができ、正しい眼電位を計測することができる。
【００２８】
また、前記サッケード検出部は、前記眼電位信号を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、前記眼電位信号から前記遅延信号を減算して得られる出力信号を生成する減算部とを備えてもよい。そして、前記出力信号が予め定められた閾値を上回る場合に、前記サッケード検出信号を前記ドリフト推定部に出力してもよい。これにより、符号（眼球の移動方向を示す情報）付のサッケード信号を検出することができる。
【００２９】
このとき、前記所定の遅延時間は、ユーザが対象を固視している時間より短いのが好ましい。これにより、サッケード波形の破綻を防止することができる。
【００３０】
また、前記サッケード検出部は、前記眼電位信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか一方を施して第１の眼電位信号を出力する第１のフィルタ処理部と、前記第１の眼電位信号、及び前記眼電位信号から得られる第２の眼電位信号の一方から他方を減算し、出力信号を生成する減算部とを備えてもよい。そして、前記出力信号が予め定められた閾値を上回る場合に、前記サッケード検出信号を前記ドリフト推定部に出力してもよい。
【００３１】
上記構成によってもサッケード信号を検出することができる。なお、上記の「第２の眼電位信号」は、眼電位信号から直接的又は間接的に得られる眼電位信号であり、眼電位信号そのものであってもよい。
【００３２】
さらに、前記サッケード検出部は、前記眼電位信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか他方を施して前記第２の眼電位信号を出力する第２のフィルタ処理部を備えてもよい。これにより、サッケードの発生時刻を含んだサッケード信号を簡易に取得できる。
【００３３】
さらに、前記サッケード検出部は、前記第１の眼電位信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか他方を施して前記第２の眼電位信号を出力する第２のフィルタ処理部を備えてもよい。これにより、まばたき信号を除去すると共に、サッケード信号を検出することができる。
【００３４】
本発明の一形態に係る眼科診断装置は、上記記載の眼電位計測装置と、前記眼電位計測装置から出力される前記眼電位信号に基づいて、ユーザの眼の状態を診断する診断部とを備える。
【００３５】
本発明の一形態に係る視線検出装置は、眼電位からユーザの視線方向を検出する。具体的には、上記記載の眼電位計測装置と、ユーザに対して較正指標を提示する較正指標提示部と、前記較正指標提示部によって提示された前記較正指標にユーザの視線位置が移動する際の眼球の急速な運動であるサッケード運動を、前記眼電位計測装置から出力される前記眼電位信号から検出し、前記サッケード運動の前後における眼電位の変化量である眼電位変化量を出力するサッケード検出部と、前記較正指標提示部によって提示された前記較正指標の位置、及び前記サッケード検出部から出力された前記眼電位変化量に基づいて較正パラメータを計算する較正パラメータ計算部と、前記較正パラメータに基づいて、前記眼電位信号からユーザの視線方向を検出する較正部とを備える。
【００３６】
本発明の一形態に係るウェアラブルカメラは、ユーザの視線方向の映像を撮像する。具体的には、撮像部と、上記記載の視線検出装置と、前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部とを備える。
【００３７】
本発明の一形態に係るヘッドマウントディスプレイは、ユーザの視線方向にマウスを移動させる。具体的には、画像およびマウスを表示する表示部と、上記記載の視線検出装置と、前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部とを備える。
【００３８】
本発明の一形態に係る電子めがねは、ユーザの視線位置に合わせてレンズの焦点を変化させる。具体的には、焦点を変化させることができるレンズと、上記記載の視線検出装置と、前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部とを備える。
【００３９】
本発明の一形態に係る眼電位計測方法は、ユーザの視線方向を示す眼電位信号を出力する方法である。具体的には、ユーザの眼球運動によって生じる眼電位を示す眼電位原信号を測定する眼電位測定ステップと、ユーザの視線方向の画像を撮影する撮影ステップと、前記眼電位原信号の時間的な基線変動であるドリフト信号を推定するドリフト推定処理ステップと、前記眼電位測定ステップで測定された前記眼電位原信号から前記ドリフト推定処理ステップで推定された前記ドリフト信号を減算して、眼電位信号を出力する減算ステップとを含む。前記ドリフト推定処理ステップは、前記減算ステップから出力された過去の眼電位信号に基づいて、過去の所定時間における眼電位の変化量を示す眼電位変化量を計算する眼電位変化量計算ステップと、前記撮影ステップで撮影された画像に含まれる動物体の、前記過去の所定時間における動きを示す動きベクトルを検出する動きベクトル検出ステップと、前記眼電位変化量で示される視線方向の変化が前記動きベクトルで示される動物体の動きに追従していると仮定した場合の、前記過去の所定時間におけるドリフト信号の変化量であるドリフト変化量を推定するドリフト変化量推定ステップと、前記ドリフト変化量推定ステップで推定された前記ドリフト変化量を過去のドリフト信号に加算して、前記ドリフト信号を推定するドリフト推定ステップとを含む。
【００４０】
本発明の一形態に係るプログラムは、コンピュータに、ユーザの視線方向を示す眼電位信号を出力させる。具体的には、ユーザの眼球運動によって生じる眼電位を示す眼電位原信号を測定する眼電位測定ステップと、ユーザの視線方向の画像を撮影する撮影ステップと、前記眼電位原信号の時間的な基線変動であるドリフト信号を推定するドリフト推定処理ステップと、前記眼電位測定ステップで測定された前記眼電位原信号から前記ドリフト推定処理ステップで推定された前記ドリフト信号を減算して、眼電位信号を出力する減算ステップとを、コンピュータに実行させる。前記ドリフト推定処理ステップは、前記減算ステップから出力された過去の眼電位信号に基づいて、過去の所定時間における眼電位の変化量を示す眼電位変化量を計算する眼電位変化量計算ステップと、前記撮影ステップで撮影された画像に含まれる動物体の、前記過去の所定時間における動きを示す動きベクトルを検出する動きベクトル検出ステップと、前記眼電位変化量で示される視線方向の変化が前記動きベクトルで示される動物体の動きに追従していると仮定した場合の、前記過去の所定時間におけるドリフト信号の変化量であるドリフト変化量を推定するドリフト変化量推定ステップと、前記ドリフト変化量推定ステップで推定された前記ドリフト変化量を過去のドリフト信号に加算して、前記ドリフト信号を推定するドリフト推定ステップとを含む。
【発明の効果】
【００４１】
本発明によれば、視野画像に発生した動きベクトルと眼電位変化量とに基づいて、ユーザの眼電位原信号から基線変動であるドリフト成分をリアルタイムに推定するため、ドリフトの影響を排除した眼電位信号を計測可能な眼電位計測装置を得ることができる。
【図面の簡単な説明】
【００４２】
【図１】実施の形態１に係る眼電位計測装置のブロック図である。
【図２】図１の眼電位変化量計算部のブロック図である。
【図３Ａ】ある時刻ｔ及び時刻ｔ−１における視野画像の一例を示す図である。
【図３Ｂ】図３Ａにおける視野画像のある時刻ｔにおける動きベクトルの一例を示す図である。
【図４】実施の形態１において推定したドリフト成分の一例を示す図である。
【図５】図１のドリフト変化量推定部のブロック図である。
【図６】眼球位置と、その位置での発生眼電位との対応関係を示す発生眼電位テーブルの一例を示す図である。
【図７】ブロック位置と、その位置での発生した動きベクトルと、眼電位変化量との対応関係を示す眼電位変化量候補テーブルの一例を示す図である。
【図８】実施の形態１に係るオフセット補正位置決定部の動作を示すフローチャートである。
【図９】実施の形態１においてオフセット補正位置決定時に、中間コストを選択した場合の推定ドリフト成分の一例を示す図である。
【図１０】図１のドリフト推定部のブロック図である。
【図１１】実施の形態２に係るドリフト変化量推定部のブロック図である。
【図１２】実施の形態２における、ある時刻ｔ−２から時刻ｔまでの眼電位変化量候補テーブルを示す一例を示す図である。
【図１３Ａ】実施の形態２における、眼電位変化量ベクトルを示す一例を示す図である。
【図１３Ｂ】実施の形態２における、眼電位変化量候補ベクトルを示す一例を示す図である。
【図１４】実施の形態２に係るオフセット補正位置決定部の動作を示すフローチャートである。
【図１５】実施の形態３に係るドリフト変化量推定部のブロック図である。
【図１６】実施の形態３に係るオフセット補正位置決定部の動作を示すフローチャートである。
【図１７】実施の形態４に係る眼電位計測装置のブロック図である。
【図１８】図１７の眼電位変化量計算部のブロック図である。
【図１９】図１７のドリフト変化量計算部のブロック図である。
【図２０】実施の形態４において推定したドリフト変化量の一例を示す図である。
【図２１】実施の形態４に係る眼電位変化量クリップ部の動作を示すフローチャートである。
【図２２】図１７のドリフト推定部のブロック図である。
【図２３】サッケード信号を含む眼電位信号の一例を示す図である。
【図２４】図２３の眼電位信号に高域通過フィルタ処理を適用して得られた眼電位信号を示す図である。
【図２５】実施の形態５に係るサッケード検出部のブロック図である。
【図２６】図２３の眼電位信号に最大値フィルタ処理（単位処理間隔＝０．２５秒）を適用して得られた眼電位信号を示す図である。
【図２７】図２３の眼電位信号に最大値フィルタ処理（単位処理間隔＝１．０秒）を適用して得られた眼電位信号を示す図である。
【図２８】図２３の眼電位信号に最小値フィルタ処理（単位処理間隔＝０．２５秒）を適用して得られた眼電位信号を示す図である。
【図２９】図２３の眼電位信号に最小値フィルタ処理（単位処理間隔＝１．０秒）を適用して得られた眼電位信号を示す図である。
【図３０】図２３の眼電位信号から抽出されたサッケード検出信号を説明するための図である。
【図３１】実施の形態６に係るサッケード検出部のブロック図である。
【図３２】図２６の眼電位信号から図２３の眼電位信号を減算して得られたサッケード検出信号を示す図である。
【図３３】実施の形態７に係るサッケード検出部のブロック図である。
【図３４】図２３の眼電位信号から図２８の眼電位信号を減算して得られたサッケード検出信号を示す図である。
【図３５】実施の形態８に係るサッケード検出部のブロック図である。
【図３６】遅延信号生成部の遅延時間を０．２５秒としたときのサッケード検出信号を示す図である。
【図３７】遅延信号生成部の遅延時間を１．１秒としたときのサッケード検出信号を示す図である。
【図３８Ａ】電極の貼付パターンの一例を示す図である。
【図３８Ｂ】電極の貼付パターンの他の例を示す図である。
【図３８Ｃ】電極の貼付パターンの他の例を示す図である。
【図３８Ｄ】電極の貼付パターンの他の例を示す図である。
【図３９】まばたき信号を含む眼電位信号の一例を示す図である。
【図４０】図３９の眼電位信号にメディアンフィルタ処理を適用して得られた眼電位信号を示す図である。
【図４１】実施の形態９に係る眼電位計測装置のブロック図である。
【図４２】フィルタ処理内容決定部の動作を示すフローチャートである。
【図４３】図４１のフィルタ処理部のブロック図である。
【図４４】図３９の眼電位信号に最小値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図４５】図４４の眼電位信号に最大値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図４６】実施の形態１０に係る眼電位計測装置のブロック図である。
【図４７】図４６のフィルタ処理部のブロック図である。
【図４８】図４４の眼電位信号を図４７のフィルタ処理部に入力して得られたまばたき信号を示す図である。
【図４９】実施の形態１１に係る眼電位計測装置のブロック図である。
【図５０】図４９のフィルタ処理部のブロック図である。
【図５１】図４４の眼電位信号を図５０のフィルタ処理部に入力して得られたサッケード信号を示す図である。
【図５２】実施の形態１２に係る視線検出装置のブロック図である。
【図５３Ａ】対応する眼電位変化量と眼球移動角との組み合わせを複数保持するテーブルを示す図である。
【図５３Ｂ】対応する眼電位変化量と視線位置との組み合わせを複数保持するテーブルを示す図である。
【図５４】ディスプレイに較正指標が表示されている状態を示す図である。
【図５５】実施の形態１２に係る視線検出装置の動作を示すフローチャートである。
【図５６】実施の形態１３に係るウェアラブルカメラのブロック図である。
【図５７】実施の形態１３に係るウェアラブルカメラをユーザが装着した状態を示す図である。
【図５８】実施の形態１４に係るヘッドマウントディスプレイのブロック図である。
【図５９】実施の形態１４に係るヘッドマウントディスプレイをユーザが装着した状態を示す図である。
【図６０】実施の形態１４に係るヘッドマウントディスプレイの表示部に表示される画像の一例を示す図である。
【図６１】実施の形態１５に係る電子めがねのブロック図である。
【図６２】実施の形態１５に係る電子めがねをユーザが装着した状態を示す図である。
【図６３】実施の形態１６に係る眼科診断装置のブロック図である。
【図６４Ａ】ＥＯＧ法を説明するための図であって、ユーザの眼球が正面を向いている状態を示す図である。
【図６４Ｂ】ＥＯＧ法を説明するための図であって、ユーザの眼球が右側を向いている状態を示す図である。
【図６５】眼電位計測におけるドリフトの例を示す図である。
【図６６】眼電位計測におけるドリフトを説明するための図である。
【発明を実施するための形態】
【００４３】
以下、図面を参照しながら本発明の実施の形態について説明する。なお、下記の各実施の形態は、本発明の効果を減殺しない限り、任意の組み合わせで組み合わせることが出来るものとする。
【００４４】
（実施の形態１）
図１は、本発明の実施の形態１に係る眼電位計測装置１００の構成を表すブロック図である。図１に示される眼電位計測装置１００は、眼電位原信号測定部１１０と、減算器（減算部）１２０と、視野撮影部（撮影部）１５０と、ドリフト推定処理部１９０とを備える。
【００４５】
眼電位原信号測定部１１０は、ユーザの眼の周囲に貼付された電極に生じる眼電位を測定し、眼電位原信号として出力する。この眼電位原信号は、ユーザの眼球運動によって生じる眼電位と、眼電位の時間的な基線変動であるドリフト信号とを含んでいる。
【００４６】
眼電位原信号測定部１１０は、典型的には、ユーザの眼の周辺に貼付される電極である。具体的な貼付方法は特に限定されないが、例えば、図６４Ａ及び図６４Ｂに示されるように、目尻側に貼付される電極Ａと、目頭側に貼付される電極Ｂとを組み合わせて使用してもよい。または、図３８Ａ〜図３８Ｄに示されるように、電極を眼の上下の一方又は両方に貼付してもよい。さらには、電極をこめかみの上下に貼付してもよい。
【００４７】
また、電極の貼付位置は目の周辺に限定されるわけではなく、例えば、額や耳周辺等でも構わない。
【００４８】
減算器１２０は、眼電位原信号測定部１１０によって計測したユーザの眼電位信号を含む眼電位原信号から、ドリフト推定処理部１９０で推定されたドリフト推定信号を減算することにより、眼電位原信号からドリフト信号を除去した眼電位信号を出力する。
【００４９】
視野撮影部１５０は、ユーザの視線方向の画像（視野画像）を撮影する。より具体的には、ユーザが実際に見ている画像と略同一な画像を撮影する。視野撮影部１５０は、典型的には、ユーザの頭部に装着したカメラである。具体的な装着方法は特に限定されないが、例えば、帽子やヘッドバンドに取り付けてもよいし、ヘッドフォンや眼鏡に内蔵してもよい。
【００５０】
ドリフト推定処理部１９０は、眼電位原信号に含まれるドリフト信号を推定する。具体的には、図１に示されるドリフト推定処理部１９０は、サッケード検出部１３０と、眼電位変化量計算部１４０と、動きベクトル検出部１６０と、ドリフト変化量推定部１７０と、ドリフト推定部１８０とを備える。
【００５１】
サッケード検出部１３０は、眼電位信号からサッケード信号を検出する。より具体的には、サッケード検出部１３０は、減算器１２０から出力された過去の眼電位信号に基づいて、過去の所定時間にサッケード運動が発生したか否かを判定する。そして、サッケード検出部１３０は、サッケード運動が発生したと判定した場合に、サッケード検出信号をドリフト推定部１８０に出力する。
【００５２】
なお、サッケード（衝動性眼球運動）とは、解像度の低い周辺網膜に映った対象を、解像度の高い網膜中心窩で捉えるために発生する眼球運動であり、その速度は１００〜５００（°／ｓｅｃ）と非常に大きいことが知られている。
【００５３】
図２３に、サッケード信号を含んだ眼電位信号の波形の例を示す。図２３において、点線で囲った部分がサッケードを示す箇所である。サッケードが発生すると、急峻に電位変化が起こった後、一定時間停留（固視）し、再び元の電位まで戻っている。これは、ある指標Ａからある指標Ｂまで眼球をサッケードによって動かし、再び指標Ｂから指標Ａまで眼球をサッケードによって動かした場合の一例である。一般に人間は０．３秒程度の固視と数十ミリ秒のサッケードとを繰り返すことによって、周囲の情報を取得している。
【００５４】
図２３の様な眼電位信号からサッケード信号を検出する方法の一つとして、眼電位信号に最大値フィルタ処理と最小値フィルタ処理とをそれぞれ適用し、その差分を求める方法がある。この処理の詳細は、後述する。
【００５５】
図２３に示される眼電位信号に最大値フィルタ処理及び最小値フィルタ処理を適用することによって得られる出力信号を図３０に示す。図３０に示されるように、サッケードが発生したときのみ、出力信号にピークが現れる。
【００５６】
サッケード検出部１３０は、出力信号のうちの予め定めた閾値を上回る信号を、サッケード運動を示すサッケード信号と判定し、サッケード信号を検出したことを示すサッケード検出信号をドリフト推定部１８０に出力する。
【００５７】
なお、実施の形態１ではサッケード信号の検出方法として、最小値フィルタと最大値フィルタとを使用したが、高域通過フィルタ等のサッケードを検出するものであればどのような手法でも構わない。
【００５８】
眼電位変化量計算部１４０は、減算器１２０から出力された過去の眼電位信号に基づいて、過去の所定時間における眼電位の変化量を示す眼電位変化量を計算し、ドリフト変化量推定部１７０に出力する。さらに、眼電位変化量計算部１４０は、算出した眼電位変化量を用いて、眼球運動の一つである停留の有無を判定する。そして、眼電位変化量計算部１４０は、停留を検出した場合に、停留検出信号をドリフト推定部１８０に出力する。具体的には、眼電位変化量計算部１４０は、計算した眼電位変化量が所定の閾値を下回った場合に、過去の所定時間にユーザの眼球が停留していると判定する。
【００５９】
実施の形態１における眼電位変化量計算部１４０を、図２を用いて説明する。図２は、実施の形態１における眼電位変化量計算部１４０の構成を表す図である。眼電位変化量計算部１４０は、遅延信号生成部１４１と、減算器１４２と、停留判定部１４３とを備える。
【００６０】
遅延信号生成部１４１は、眼電位信号を所定の時間遅延させて遅延信号を出力する。眼電位変化量計算部１４０に入力する眼電位信号は、２つに分岐する。一方は遅延信号生成部１４１を通過して遅延信号として減算器１４２に入力し、他方は減算器１４２に直接入力する。そして、減算器１４２は、眼電位信号から遅延信号を減算して眼電位変化量を出力する。
【００６１】
遅延信号生成部１４１の処理について説明する。遅延信号生成部１４１は、ある時刻ｔの眼電位信号ＥＯＧ（ｔ）に対し、以下の処理を適用する。
【００６２】
ＥＯＧｄｅｌａｙ（ｔ）＝ＥＯＧ（ｔ−１）
【００６３】
ここで、ＥＯＧｄｅｌａｙ（ｔ）は、遅延処理後の眼電位信号（遅延信号）である。上記の遅延処理を、眼電位信号に適用することによって遅延信号が得られる。そして、減算器１４２によって、ある時刻ｔの眼電位信号ＥＯＧ（ｔ）から遅延信号ＥＯＧｄｅｌａｙ（ｔ）を減算し、眼電位変化量ΔＥＯＧ（ｔ）を出力する。
【００６４】
停留判定部１４３は、眼電位変化量ΔＥＯＧ（ｔ）が次式を満たす場合に、停留検出信号が発生したと判定し、停留検出信号をＨｉｇｈにする。
【００６５】
｜ΔＥＯＧ（ｔ）｜＜ＴＨ＿ＦＩＸ
【００６６】
ＴＨ＿ＦＩＸは予め定めた閾値を表す。上式を満たさなければ、停留検出信号をＬｏｗにする。
【００６７】
なお、本実施の形態１では、遅延信号生成部１４１を設けて眼電位信号の遅延信号を生成し、眼電位信号から減ずることで眼電位変化量を求めたが、時刻ｔ−１の眼電位信号ＥＯＧ（ｔ−１）を常にメモリに格納しておくことによって、眼電位変化量ΔＥＯＧ（ｔ）を求めても構わない。
【００６８】
動きベクトル検出部１６０は、視野撮影部１５０で撮影された画像に含まれる動物体の、過去の所定時間における動きを示す動きベクトルを検出する。より具体的には、動きベクトル検出部１６０は、視野撮影部１５０から出力された視野画像をｎ×ｍ個のブロックに分割し（以後、ｎ−１かつｍ−１番目のブロックを（ｎ−１，ｍ−１）と記載する）、ブロック毎に動きベクトルを検出する。動きベクトル検出の具体例を図３Ａ及び図３Ｂを用いて説明する。
【００６９】
図３Ａの左側を時刻ｔ−１の視野画像、図３Ａの右側を時刻ｔの視野画像とし、時刻ｔにおける動きベクトルを時刻ｔ−１の視野画像を参照して検出する例を示す。すなわち、本発明の一形態に係る動きベクトルとは、時刻ｔ（第１の時刻）に撮影された第１の画像を構成する複数のブロックそれぞれが、時刻ｔ−１（第１の時刻より過去の第２の時刻）に撮影された第２の画像のどこに存在したかを示すベクトルである。
【００７０】
まず、時刻ｔの視野画像をｎ×ｍ個のブロックに分割する。そして、分割したブロック毎に時刻ｔ−１の視野画像と画素値のマッチングを行い、マッチングのコストが最も小さい位置までの画素位置の差を、そのブロックの動きベクトルとする。マッチングのコストとしては、ＳＡＤ（Ｓｕｍ  ｏＦ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などを用いる。図３Ｂに時刻ｔの動きベクトル検出結果の例を示す。図３Ｂに示すように、時刻ｔ−１から時刻ｔにかけて動物体が存在する領域に動きベクトルが検出される。
【００７１】
なお、本実施の形態１では動きベクトルの検出方法として、ブロックマッチングベースの例を示したが、Ｌｕｃａｓ−Ｋａｎａｄｅ法などの動きを検出するものであればどのような手法でも構わない。また、時刻ｔ−１を参照画像として用いたが、時刻ｔ−１以前や時刻ｔ以降を参照しても構わない。
【００７２】
ドリフト変化量推定部１７０は、視野画像中の動きベクトルの変化量と、眼電位変化量とから、眼球運動の一つである追従運動の発生を検出する。そして、検出時に生じる動きベクトル発生位置とその時の推定眼球位置とのずれ（以下、オフセット）をドリフト成分（ドリフト変化量）と推定する。より具体的には、ドリフト変化量推定部１７０は、図４に示されるように、眼電位変化量で示される視線方向の変化が動きベクトルで示される動物体の動きに追従していると仮定した場合の、過去の所定時間におけるドリフト変化量を推定する。
【００７３】
実施の形態１におけるドリフト変化量推定部１７０を、図５を用いて説明する。図５は、実施の形態１におけるドリフト変化量推定部１７０の構成を表す図である。実施の形態１に係るドリフト変化量推定部１７０は、眼電位変化量候補テーブル生成部１７１と、オフセット補正位置決定部１７２と、減算器１７３とを備える。
【００７４】
眼電位変化量候補テーブル生成部１７１は、動きベクトル検出部１６０から出力されたブロック毎の動きベクトルそれぞれを、動きベクトル相当眼電位変化量に変換し、オフセット補正位置を決定するための眼電位変化量候補テーブルを求める。
【００７５】
例えば、図３Ｂに示すようなブロック（０，１）の動きベクトルｍｖ０は、ユーザの眼球が動きベクトルｍｖ０に沿って動いた（この例の場合は、眼球が動きベクトルの方向と反対向きに動いた）と仮定した場合に発生する動きベクトル相当眼電位変化量に変換される。具体的には、動きベクトルｍｖ０の場合は動物体が時刻ｔ−１から時刻ｔの間にブロックＢ（１，３）からブロックＡ（０，１）に移動したことを表すため、眼球も同じようにブロックＢからブロックＡまで移動した場合に発生する眼電位変化量を、動きベクトル相当眼電位変化量として算出する。
【００７６】
具体的な算出方法は特に限定されないが、例えば、図６のように、計測実験前等によりあらかじめ求めておいた発生眼電位テーブルを用いて求めることができる。図６に示される発生眼電位テーブルは、ユーザの視線方向と、当該視線方向において発生する発生眼電位とを対応付けたテーブルである。
【００７７】
図６を用いた本実施の形態１の例の場合は、−１００μＶ（ブロックＡ位置での発生眼電位）−１５０μＶ（ブロックＢでの発生眼電位）＝−２５０μＶが動きベクトルｍｖ０に対する動きベクトル相当眼電位変化量となる。他の動きベクトルに対しても同様の方法で、動きベクトル相当眼電位変化量を求め、図７に示すような眼電位変化量候補テーブルとしてオフセット補正位置決定部１７２に送信する。
【００７８】
なお、本実施の形態１では、図６のような発生眼電位テーブルを用いて動きベクトルの変換を行ったが、眼球位置と発生眼電位とは線形の関係にあると仮定し、線形式（例えば、下記式１等）によって眼電位変化量を求めても構わない。
【００７９】
また、図６のような発生眼電位テーブルを計測実験前等にあらかじめ求めるとしたが、計測中に定期的に更新しても構わない。
【００８０】
オフセット補正位置決定部１７２は、眼電位信号、眼電位変化量、および眼電位変化量候補テーブルを用いて、オフセット補正位置を決定し、対応する眼電位信号を出力する。
【００８１】
具体的には、まず、眼電位変化量と、眼電位変化量候補テーブルの各ブロック位置に対する眼電位変化量のマッチング比較を行う。そして、マッチングのコストがある一定以下であれば、眼球の変化量と動物体の変化量とが近い、つまり、ユーザの眼球が対象ブロック位置の動物体に追従している可能性があると判定し、そのブロック位置をオフセット補正位置候補とする。
【００８２】
すなわち、動きベクトル検出部１６０で検出された複数の動きベクトルのうち、対応する動きベクトル相当眼電位変化量と眼電位変化量計算部１４０で計算された眼電位変化量との差が所定の閾値以下である１以上の動きベクトルを抽出する。そして、抽出された１以上の動きベクトルそれぞれの視点位置がオフセット補正位置候補となる。
【００８３】
次に、図６の発生眼電位テーブルを用いて、決定したオフセット補正位置での発生眼電位を求める。そして、時刻ｔに減算器１２０から出力された眼電位信号とのマッチング比較を行う。そして、マッチングのコストがある一定以下、かつ、最小となるオフセット補正位置候補を、オフセット補正位置として決定する。このような処理を行うことにより、複数のオフセット補正位置候補の中から、眼電位変化量計算部１４０で計算された眼電位信号が表す位置に最も近い補正位置を選択することができ、ドリフトの誤検出の影響を抑えることができる。
【００８４】
なお、本実施の形態１では、マッチングのコストとして差分２乗値を用いた例を示すが、差分２乗平方や差分絶対値等を用いても構わない。
【００８５】
図８にオフセット補正位置決定部１７２の処理手順を示す。まず、変数ＭｉｎＣｏｓｔの初期化（Ｓ１００１）を行う。次に、眼電位変化量の比較対象となるブロック位置を更新する（Ｓ１００２）。比較する順序は特に限定されないが、例えば、ブロック（０，０）、ブロック（０，１）、ブロック（０，２）、・・・、ブロック（１，０）、・・・、ブロック（３，４）の順に行えばよい。
【００８６】
次に、眼電位変化量と、眼電位変化量候補テーブル内の比較対象ブロック位置における動きベクトル相当眼電位変化量とを用いて、マッチングのコストである差分２乗値Ｃｏｓｔ１を求める（Ｓ１００３）。そして、求めた差分２乗値Ｃｏｓｔ１が予め設定した閾値ＴＨ１より小さいかどうかを判定する（Ｓ１００４）。
【００８７】
比較結果が真であれば、比較対象ブロックをオフセット補正位置候補と判定し、比較対象ブロック位置における発生眼電位と、眼電位変化量計算部１４０で計算された眼電位信号との差分２乗値Ｃｏｓｔ２を計算する（Ｓ１００５）。そして、差分２乗値Ｃｏｓｔ２が予め設定した閾値ＴＨ２より小さい、かつ、最小かどうかを判定する（Ｓ１００６）。真であれば、ＭｉｎＣｏｓｔを更新し（Ｓ１００７）、比較対象ブロック位置をオフセット補正位置として設定する（Ｓ１００８）。
【００８８】
すべてのブロックに対する比較が終了すれば（Ｓ１００９）、最終的にオフセット補正位置が設定されたかどうか、つまり、追従運動が検出されたかどうかを判定する（Ｓ１０１０）。真であれば、オフセット補正位置における発生眼電位を出力する（Ｓ１０１１）。一方、偽であれば、補正がかからないように眼電位信号を出力して処理を終了する（Ｓ１０１２）。
【００８９】
オフセット補正位置決定の例として、例えば、時刻ｔに減算器１２０から出力された眼電位信号が−５０μＶ、時刻ｔ−１と時刻ｔとの間の眼電位変化量が−３００μＶ、眼電位変化量候補テーブルとして図７が与えられた場合、図８の処理手順に従うと、眼電位変化量の差分２乗値が小さくなるブロック位置（０，０）、（０，１）がオフセット補正位置候補として選択される。そして、最終的に発生眼電位の最小２乗値が最小となるブロック位置（０，１）がオフセット補正位置と決定され、図６に示されるブロック位置（０，１）における発生眼電位がオフセット補正位置に対応する眼電位として出力される。
【００９０】
なお、本実施の形態１では、比較対象ブロックにおける発生眼電位と、時刻ｔにおける眼電位信号との差分２乗値Ｃｏｓｔ２が最小となる位置をオフセット補正位置としたが、必ずしも最小に限定する必要はない。例えば、複数のオフセット補正位置候補それぞれについて、対応する発生眼電位と時刻ｔにおける眼電位信号との差分２乗値Ｃｏｓｔ２を算出する。そして、算出された差分２乗値Ｃｏｓｔ２のうちの中央値に対応するオフセット補正位置候補をオフセット補正位置として選択してもよい。これにより、図９に示されるように、動物体の中心に補正することも可能である。
【００９１】
減算器１７３は、オフセット補正位置決定部１７２が出力したオフセット補正位置に対応する眼電位から、時刻ｔに減算器１２０から出力された眼電位信号を減算することによって、ドリフト変化量推定信号を生成する。
【００９２】
ドリフト推定部１８０は、ドリフト変化量推定部１７０から出力されたある時刻ｔのドリフト変化量推定信号を、サッケード検出信号、停留検出信号に応じて、時刻ｔ−１のドリフト推定信号に加算することで、時刻ｔのドリフト推定信号を算出する。具体的には、眼球運動がサッケード、かつ、停留でない場合のみ、ドリフト推定信号を更新する。
【００９３】
実施の形態１におけるドリフト推定部１８０を、図１０を用いて説明する。図１０は実施の形態１におけるドリフト推定部１８０の構成を表す図である。ドリフト推定部１８０は、スイッチ１８１と、加算器１８２とを備える。
【００９４】
スイッチ１８１は、サッケード検出部１３０からのサッケード検出信号、および眼電位変化量計算部１４０からの停留検出信号に応じて、加算器１８２への出力を切替える。具体的には、サッケード検出信号がＨｉｇｈ（サッケード検出時）、もしくは、停留検出信号がＨｉｇｈ（停留検出時）の場合は、０を出力するように切り替えられる。一方、サッケード検出信号及び停留検出信号の両方がＬｏｗ（サッケード未検出、かつ、停留未検出時）の場合は、ドリフト変化量推定部１７０から出力されたドリフト変化量推定信号を出力するように切り替えられる。
【００９５】
このような切替を行うことにより、サッケード未検出、かつ、停留未検出、つまり、眼球が追従運動をしている時のみ、ドリフト推定信号を更新することができる。これは、ドリフト変化量推定部１７０が、ユーザの視線が動物体の動きに追従していることを前提として、ドリフト変化量の推定を行っているためである。すなわち、眼球が追従以外の動き（サッケード、停留）をしている場合のドリフト変化量推定信号は、ドリフト成分を正確に表しているとはいえないため、過去のドリフト推定信号への加算は行わない。
【００９６】
加算器１８２は、スイッチ１８１からの時刻ｔの出力信号（０若しくはドリフト変化量推定信号）と、加算器１８２の時刻ｔ−１におけるドリフト推定信号とを加算することによって、時刻ｔのドリフト推定信号を生成する。
【００９７】
以上に示した実施の形態１の構成によれば、視野画像中の動きベクトルと眼電位変化量とから追従運動を検出し、その際に生じる動きベクトル発生位置と推定眼球位置とのずれをドリフト成分と推定し、計測されたユーザの眼電位原信号から減ずる。これにより、ドリフトの影響を排除した眼電位信号を出力することができる。
【００９８】
また、過去の眼電位信号からサッケード、および停留を検出し、サッケード、または停留検出時はドリフト推定信号を更新しない。これにより、ドリフトの誤検出を低減することができる。
【００９９】
なお、本実施の形態１の例では、ユーザから計測した眼電位原信号が１チャンネルの場合を説明したが、特にチャンネル数を限定する必要はなく、多チャンネルの眼電位原信号から各ドリフト推定信号を推定し、多チャンネルの眼電位信号を計測できると拡張することも可能である。その場合には、図８に示されるオフセット補正位置決定部３０２の処理手順におけるマッチングのコストＣｏｓｔ１は、チャンネル毎の眼電位変化量と比較対象ブロック位置における動きベクトル相当眼電位変化量との差分２乗値の総和に拡張される。同様に、Ｃｏｓｔ２は、チャンネル毎の眼電位と比較対象ブロック位置における発生眼電位との差分２乗値の総和に拡張される。このような多チャンネル化への拡張により、オフセット補正位置の誤検出をさらに低減することができる。
【０１００】
（実施の形態２）
図１１は、本発明の実施の形態２に係るドリフト変化量推定部２００の構成を表すブロック図である。
【０１０１】
実施の形態２に係るドリフト変化量推定部２００は、眼電位変化量候補テーブル生成部１７１と、オフセット補正位置決定部２０２と、眼電位変化量メモリ２０４と、眼電位変化量候補テーブルメモリ２０５と、減算器１７３とを備える。すなわち、図５に示されるドリフト変化量推定部１７０に新たに眼電位変化量メモリ２０４と、眼電位変化量候補テーブルメモリ２０５と、オフセット補正位置決定部２０２とを持つ点が実施の形態１と異なる。
【０１０２】
図１１において、図５と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【０１０３】
眼電位変化量メモリ２０４、および眼電位変化量候補テーブルメモリ２０５は、オフセット補正位置決定部２０２から入力された眼電位変化量、および眼電位変化量候補テーブルを、それぞれ所定時間、記憶する。
【０１０４】
オフセット補正位置決定部２０２は、眼電位変化量メモリ２０４、および眼電位変化量候補テーブルメモリ２０５に格納された、所定時間分の眼電位変化量、および眼電位変化量候補テーブルを用いてオフセット補正位置を決定する。
【０１０５】
オフセット補正位置を決定する方法を図１２の具体例を用いて説明する。図１２は、時刻ｔ（第１の時刻）、時刻ｔ−１（第２の時刻）、時刻ｔ−２（第３の時刻）における眼電位変化量候補テーブルと、対応する動きベクトルとを表している。
【０１０６】
オフセット補正位置決定部２０２は、まず、時刻ｔにおける各ブロックに発生した動きベクトルの要因となる動物体の時間的な軌跡を、時刻ｔ、時刻ｔ−１、時刻ｔ−２の眼電位変化量候補テーブルを用いて求める。
【０１０７】
例えば、時刻ｔではブロック（０，１）に動きベクトル（１，２）が発生しており、これは時刻ｔ−１ではブロック（１，３）に動物体が存在したことを表す。同様に、時刻ｔ−１ではブロック（１，３）に動きベクトル（１，０）が発生しており、これは時刻ｔ−２ではブロック（２，３）に動物体が存在したことを表す。つまり、時刻ｔのブロック（０，１）にある動物体は、時刻ｔ−２から時刻ｔの間に、ブロック（２，３）→（１，３）→（０，１）と移動しており、これに相当する眼電位変化量は、眼電位変化量候補テーブルより、１００μＶ→５０μＶ→−２５０μＶとなる。
【０１０８】
同様の処理を、全てのブロック位置に適用することにより、図１３Ｂのような時刻ｔ−２から時刻ｔの間の眼電位変化量候補ベクトルを得ることができる。図１３Ｂに示される眼電位変化量候補ベクトルは、同一のブロックの動きを表す各時刻（時刻ｔ、時刻ｔ−１、時刻ｔ−２）の動きベクトルの組み合わせに対応する動きベクトル相当眼電位変化量の時間変化（推移）を表している。
【０１０９】
次に、眼電位変化量メモリ２０４に格納された時刻ｔ−２から時刻ｔの間の眼電位変化量を用いて、図１３Ａのような眼電位変化量ベクトルを求める。図１３Ａに示される眼電位変化量ベクトルは、眼電位変化量計算部１４０で計算された時刻ｔ−２から時刻ｔまでの眼電位変化量の時間変化（推移）を表している。
【０１１０】
そして、求めた眼電位変化量ベクトルと、各ブロックの眼電位変化量候補ベクトルとを用いて、図１４の処理手順に従ってオフセット補正位置を決定する。具体的には、図１３Ｂに示される複数の眼電位変化量候補ベクトルのうち、図１３Ａに示される眼電位変化量ベクトルとのマッチングコストが所定の閾値以下である１以上の動きベクトルの組み合わせを抽出する。そして、抽出された各組み合わせの中の時刻ｔの動きベクトルの始点位置がオフセット補正位置候補となる。ここからオフセット補正位置を決定する処理は、実施の形態１と共通するので、再度の説明は省略する。
【０１１１】
図１４のオフセット補正位置決定部２０２の処理手順を示す。まず、変数ＭｉｎＣｏｓｔの初期化（Ｓ２００１）を行う。次に、上記記載の眼電位変化量ベクトルおよび眼電位変化量候補ベクトルを求める（Ｓ２００２）。次に、眼電位変化量の比較対象ブロック位置を更新する（Ｓ２００３）。
【０１１２】
次に、眼電位変化量ベクトルと、比較対象ブロック位置における眼電位変化量候補ベクトルとを用いて、マッチングのコストである差分２乗和Ｃｏｓｔ３を求める（Ｓ２００４）。次に、求めた差分２乗和Ｃｏｓｔ３が予め設定した閾値ＴＨ３より小さいかどうかを判定する（Ｓ２００５）。
【０１１３】
比較結果が真であれば、比較対象ブロックをオフセット補正位置候補と判定し、比較対象ブロック位置における発生眼電位と、眼電位変化量計算部１４０で計算された眼電位信号との差分２乗値Ｃｏｓｔ２を計算する（Ｓ２００６）。そして、差分２乗値Ｃｏｓｔ２が予め設定した閾値ＴＨ２より小さい、かつ、最小かどうかを判定する（Ｓ２００７）。真であれば、ＭｉｎＣｏｓｔを更新し（Ｓ２００８）、比較対象ブロック位置をオフセット補正位置として設定する（Ｓ２００９）。
【０１１４】
そして、すべてのブロックに対する比較が終了すれば（Ｓ２０１０）、最終的にオフセット補正位置が設定されたかどうか、つまり、追従運動が検出されたかどうかを判定する（Ｓ２０１１）。真であれば、オフセット補正位置における発生眼電位を出力する（Ｓ２０１２）。一方、偽であれば、補正がかからないように眼電位信号を出力して処理を終了する（Ｓ２０１３）。
【０１１５】
なお、本実施の形態２では、眼電位変化量ベクトルと眼電位変化量候補ベクトルとのマッチングのコストとして差分２乗和を用いたが、差分２乗和平方や差分絶対値和等を用いても構わない。
【０１１６】
なお、本実施の形態２では、比較対象ブロックにおける発生眼電位と、眼電位変化量計算部１４０で計算された眼電位信号との差分２乗値Ｃｏｓｔ２が最小となる位置をオフセット補正位置としたが、実施の形態１と同様に、必ずしも最小に限定する必要はない。
【０１１７】
また、眼電位変化量メモリ２０４、および眼電位変化量候補テーブルメモリ２０５は、オフセット補正位置決定部２０２から入力された眼電位変化量、および眼電位変化量候補テーブルを、それぞれ所定時間分記憶するとしたが、それぞれ、眼電位変化量計算部１４０および眼電位変化量候補テーブル生成部１７１から直接入力する構成でも構わない。
【０１１８】
また、本実施の形態２では、例として時刻ｔ−２から時刻ｔまでの眼電位変化量を用いて説明を行ったが、特に限定する必要はなく、より多くの時間情報を利用しても構わない。
【０１１９】
以上に示した実施の形態２の構成によれば、時間的な眼電位の変化を反映してオフセット補正位置候補を選別できる。その結果、ドリフトの推定を高精度に行うことができる。
【０１２０】
（実施の形態３）
図１５は、本発明の実施の形態３に係るドリフト変化量推定部３００の構成を表すブロック図である。
【０１２１】
実施の形態３に係るドリフト変化量推定部３００は、眼電位変化量候補テーブル生成部１７１と、オフセット補正位置決定部３０２と、眼電位変化量メモリ２０４と、眼電位変化量候補テーブルメモリ２０５と、減算器１７３と、乗算器３０６とを備える。すなわち、図１１に示されるドリフト変化量推定部２００に新たに乗算器３０６と、オフセット補正位置決定部３０２とを持つ点が実施の形態２と異なる。
【０１２２】
図１５において、図１１と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【０１２３】
実施の形態３におけるオフセット補正位置決定部３０２の処理手順を、図１６を用いて説明する。まず、変数ＭｉｎＣｏｓｔの初期化（Ｓ３００１）を行う。次に、眼電位変化量ベクトルおよび眼電位変化量候補ベクトルを求める（Ｓ３００２）。次に、眼電位変化量の比較対象ブロック位置を更新する（Ｓ３００３）。
【０１２４】
次に、眼電位変化量ベクトルと、比較対象ブロック位置における眼電位変化量候補ベクトルとを用いて、相関係数Ｒを求める（Ｓ３００４）。相関係数Ｒの算出方法は特に限定されないが、例えば、ベクトルの内積を利用してもよい。より具体的には、２つのベクトルの内積を２つのベクトルの大きさで除した結果を相関係数Ｒとしてもよい。この場合、２つのベクトルのなす角θが小さい程、相関係数Ｒが大きくなる（１に近づく）。
【０１２５】
次に、求めた相関係数Ｒが予め設定した閾値ＴＨ４より大きいかどうかを判定する（Ｓ３００５）。比較結果が真であれば、比較対象ブロックをオフセット補正位置候補と判定し、比較対象ブロック位置における発生眼電位と、眼電位変化量計算部１４０で計算された眼電位信号との差分２乗値Ｃｏｓｔ２を計算する（Ｓ３００６）。
【０１２６】
そして、差分２乗値Ｃｏｓｔ２が予め設定した閾値ＴＨ２より小さい、かつ、最小かどうかを判定する（Ｓ３００７）。真であれば、ＭｉｎＣｏｓｔを更新し（Ｓ３００８）、比較対象ブロック位置をオフセット補正位置として設定する（Ｓ３００９）。
【０１２７】
すべてのブロックに対する比較が終了すれば（Ｓ３０１０）、最終的にオフセット補正位置が設定されたかどうか、つまり、追従運動が検出されたかどうかを判定する（Ｓ３０１１）。真であれば、オフセット補正位置における発生眼電位、および、対応する相関係数Ｒをオフセット補正位置相関係数として出力する（Ｓ３０１２）。一方、偽であれば、補正がかからないように眼電位信号を出力して処理を終了する（Ｓ３０１３）。
【０１２８】
乗算器３０６は、減算器１７３においてオフセット補正位置における発生眼電位から眼電位信号を減算した出力値に対し、オフセット補正位置決定部３０２から出力されたオフセット補正位置相関係数を乗算し、ドリフト変化量推定信号として出力する。
【０１２９】
なお、本実施の形態３では、比較対象ブロックにおける発生眼電位と、眼電位変化量計算部１４０で計算された眼電位信号との差分２乗値Ｃｏｓｔ２が最小となる位置をオフセット補正位置としたが、実施の形態１、２と同様に、必ずしも最小に限定する必要はない。
【０１３０】
以上に示した実施の形態３の構成によれば、眼電位変化量ベクトルと、決定したオフセット補正位置における眼電位変化量候補ベクトルとの相関係数Ｒに応じて、ドリフト変化量推定信号を調整する。その結果、ドリフトの誤検出時の影響を低減することができる。
【０１３１】
（実施の形態４）
本発明の実施の形態４は、サッケード時以外、つまり、追従運動、および停留時には、眼球移動の変化量は、視野中の動物体の動きの変化量以上とならないという特徴を利用し、追従運動、および停留時に視野中の動きベクトルの最大値を超える眼電位変化量をドリフト変化量と推定することで、ドリフト推定信号を生成する。
【０１３２】
図１７は、実施の形態４に係る眼電位計測装置４００の構成を表すブロック図である。実施の形態４に係る眼電位計測装置４００は、眼電位原信号測定部１１０と、減算器１２０と、視野撮影部１５０と、ドリフト推定処理部４９０とを備える。また、ドリフト推定処理部４９０は、サッケード検出部１３０と、眼電位変化量計算部４４０と、動きベクトル検出部１６０と、ドリフト変化量推定部４７０と、ドリフト推定部４８０とから成る。すなわち、眼電位変化量計算部４４０と、ドリフト変化量推定部４７０と、ドリフト推定部４８０の構成及び動作が実施の形態１と異なる。
【０１３３】
図１７において、図１と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【０１３４】
眼電位変化量計算部４４０は、眼電位信号から眼電位の変化量を計算する。
【０１３５】
実施の形態４における眼電位変化量計算部４４０を、図１８を用いて説明する。図１８は、実施の形態４における眼電位変化量計算部４４０の構成を表す図である。眼電位変化量計算部４４０は、遅延信号生成部１４１と、減算器１４２とから成る。すなわち、図２に示される眼電位変化量計算部１４０から停留判定部１４３を省き、停留検出信号を出力しない点が実施の形態１と異なる。図１８において、図２と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【０１３６】
ドリフト変化量推定部４７０は、眼電位変化量計算部４４０から出力された時刻ｔにおける眼電位変化量を、視野画像中の動きベクトルの変化量の最大値でクリップ処理することにより、ドリフト変化量推定信号を生成する。
【０１３７】
実施の形態４におけるドリフト変化量推定部４７０を、図１９を用いて説明する。図１９は、実施の形態４におけるドリフト変化量推定部４７０の構成を表す図である。ドリフト変化量推定部４７０は、眼電位変化量候補テーブル生成部１７１と、眼電位変化量クリップ処理部４７２から成る。すなわち、図５に示されるドリフト変化量推定部１７０からオフセット補正位置決定部１７２と、減算器１７３とを省き、新たに眼電位変化量クリップ処理部４７２を備える点が実施の形態１と異なる。図１９において、図５と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【０１３８】
眼電位変化量クリップ処理部４７２は、眼電位変化量、および眼電位変化量候補テーブルを用いて、ドリフト変化量を推定する。
【０１３９】
具体的にはまず、眼電位変化量候補テーブルを用いて、各ブロック位置における動きベクトル相当眼電位変化量のうち、最も大きい振幅を持つ動きベクトル相当最大眼電位変化量を探索する。そして、図２０に示されるように、時刻ｔにおける眼電位変化量のうち、動きベクトル相当最大眼電位変化量の大きさを超えた分をドリフト変化量と推定する。
【０１４０】
図２１に眼電位変化量クリップ処理部４７２の処理手順を示す。まず、眼電位変化量候補のうち、最大の振幅を持つ動きベクトル相当最大眼電位変化量ＭａｘＤｅｌｔａを算出する（Ｓ４００１からＳ４００５）。
【０１４１】
そして、時刻ｔにおける眼電位変化量の振幅と、ＭａｘＤｅｌｔａとの比較を行う（Ｓ４００６）。真であれば、眼電位変化量のうちＭａｘＤｅｌｔａを超えた量に眼電位変化量の符号を乗算することでドリフト変化量を算出する（Ｓ４００７）。一方、偽であれば、ドリフト変化量を０として出力する（Ｓ４００８）。なお、図２１中のＳｉｇｎ（眼電位変化量）は眼電位変化量の符号を表し、眼電位変化量が正ならば１を、負ならば−１を表す。
【０１４２】
眼電位変化量クリップ処理の例として、例えば、時刻ｔの眼電位変化量が８００μＶ、眼電位変化量候補テーブルとして図７が与えられた場合、図２１の処理手順に従うと、ＭａｘＤｅｌｔａとしてブロック位置（２，３）に対応する動きベクトル相当眼電位変化量５００μＶが選択され、３００μＶがドリフト変化量として算出される。
【０１４３】
ドリフト推定部４８０は、ドリフト変化推定信号と、サッケード検出信号とから、ドリフト推定信号を生成する。
【０１４４】
実施の形態４におけるドリフト推定部４８０を、図２２を用いて説明する。図２２は、実施の形態４におけるドリフト推定部４８０の構成を表す図である。ドリフト推定部４８０は、スイッチ４８１と、加算器１８２とから成る。すなわち、スイッチ４８１の動作が実施の形態１と異なる。図２２において、図１０と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【０１４５】
スイッチ４８１は、サッケード検出部１３０からのサッケード検出信号に応じて、加算器１８２への出力信号を切替える。具体的には、サッケード検出信号がＨｉｇｈ（サッケード検出時）の場合は、０を出力するように切り替えられる。一方、サッケード検出信号がＬｏｗ（サッケード未検出時）の場合は、ドリフト変化量推定部４７０から出力されたドリフト変化量推定信号を出力するように切り替えられる。
【０１４６】
このような切替を行うことにより、サッケード未検出、つまり、追従運動、および停留時のみ、ドリフト推定信号を更新することができる。
【０１４７】
以上に示した実施の形態４の構成によれば、サッケード時以外、つまり、追従運動、および停留時に視野中の動きベクトルの最大値を超える眼電位変化量をドリフト変化量と推定するため、特に視野中に動物体が存在しない場合に高精度にドリフト成分を推定できる。
【０１４８】
次に、サッケード検出部１３０において、眼電位信号（以降、眼電位原信号と記載）中のサッケード信号の検出方法を詳しく説明する。なお、サッケード信号は、上記の眼電位計測装置１００に限らず、医療機器、運転支援機器、およびユーザインタフェース等の分野において、ユーザの眼球運動や状態を検出する上で広く利用されている。そのため、高精度かつ簡易にサッケード信号を検出することは非常に有効である。
【０１４９】
例えば、眼電位原信号からサッケード信号を検出する方法として、以下の特許文献３〜５に記載の技術がある。
【０１５０】
特開平１１−２７６４６１号公報（特許文献３）には、操作者のサッケード信号を検出し、その発生頻度に基づいて操作者の注意力を判定する技術が開示されている。なお、サッケード信号の検出には、遮断周波数が０．０５〜０．１Ｈｚ程度の高域通過フィルタを用いる。
【０１５１】
特開平９−３４６３１号公報（特許文献２）には、ディスプレイ画面上のポインタと操作者の注視点との手動による位置あわせ作業を不要にするための技術が開示されている。具体的には、ディスプレイ画面上に較正用シンボルを発生させた後の所定時間内にサッケード信号が検出されると、較正用シンボルと操作者の注視点とが一致したと判断してポインタ位置を較正する。なお、サッケード信号の検出には、遮断周波数が０．０５〜０．１Ｈｚ程度の高域通過フィルタを用いる。
【０１５２】
特開２００２−２７２６９３号公報（特許文献４）には、眼球運動信号に基づいてサッケード運動の終了時点を検出する。そして、サッケード運動が終了するごとに、その時点から一定期間内の脳波を単位脳波として脳の複数の部位ごとに順次記憶することにより、眼球停留関連電位を取得する技術が開示されている。なお、サッケード信号の検出には、眼球運動方向が所定時間範囲内で連続して同じであった後に変化したかどうかを判定することにより検出する。
【０１５３】
図１に示されるサッケード検出部１３０に、特許文献３〜５に開示されるようなサッケード検出方法を採用してもよい。しかしながら、特許文献３、４に示す方法では、高域通過フィルタによってサッケード信号を検出している。図２３に示した眼電位信号が広域通過フィルタを通過すると、図２４に示すように、サッケード信号の振幅が小さくなる場合がある。特に、振幅の小さいサッケード信号は、ノイズ成分と区別がつかなくなる場合がある。
【０１５４】
また、特許文献４に示す方法では、眼球運動方向を検出する際にノイズ成分等の影響により、サッケード運動中であっても眼球運動方向が連続して同じだと判定されない等、誤検出のおそれがある。
【０１５５】
そこで、本発明の実施の形態５〜１１では、ユーザの眼電位原信号から高精度かつ簡易に、サッケード信号を検出する方法を説明する。なお、以下の説明では、ユーザに貼付された電極から取得したドリフト信号を含む眼電位原信号からサッケード信号を検出する例を説明するが、実施の形態１〜４に示されるように、ドリフト信号が除去された眼電位信号からサッケード信号を検出する場合も同様である。
【０１５６】
（実施の形態５）
図２５は、本発明の実施の形態５に係るサッケード検出部５００の構成を表すブロック図である。図２５に示されるサッケード検出部５００は、眼電位原信号に最大値フィルタ処理を適用する最大値フィルタ部（第１のフィルタ処理部）５０１と、眼電位原信号に最小値フィルタ処理を適用する最小値フィルタ部（第２のフィルタ処理部）５０２と、減算器５０３とから成る。
【０１５７】
より具体的には、最大値フィルタ部５０１と最小値フィルタ部５０２とが並列に接続されている。最大値フィルタ部５０１は、眼電位原信号に最大値フィルタ処理を施して第１の眼電位信号を出力する。最小値フィルタ部５０２は、眼電位原信号に最小値フィルタ処理を施して第２の眼電位信号を出力する。そして、減算器５０３は、第１の眼電位信号から第２の眼電位信号を減算して出力信号を生成する。
【０１５８】
なお、本発明は、図６４Ａ及び図６４Ｂに示されるように、眼球の左右に電極を貼付する場合や、眼から離れた位置に電極を貼付する計測方法のように、ユーザのまばたき成分が眼電位原信号に混入されない場合を対象としており、そのような計測方法時のサッケード信号の検出に関して説明する。
【０１５９】
次に、図２５の最大値フィルタ部５０１の処理について説明する。最大値フィルタ部５０１は、眼電位原信号ｆ（ｘ）に対し、以下のフィルタ処理を適用する。
【０１６０】
ｆｍａｘ（ｘ）＝ｍａｘ（ｆｍａｘ（ｘ），ｆ（ｘ＋ｉ））
ｎが奇数の場合（−ｎ／２＜ｉ＜ｎ／２）
ｎが偶数の場合（−ｎ／２≦ｉ＜ｎ／２）または（−ｎ／２＜ｉ≦ｎ／２）
【０１６１】
ここで、ｆｍａｘ（ｘ）は最大値フィルタ処理適用後の眼電位信号、ｎはフィルタタップ数、ｉは整数である。また、ｍａｘ（ａ，ｂ）はａ及びｂのうち大きい方の値を返す関数である。つまり、最大値フィルタ処理は、眼電位原信号中の任意のサンプルｆ（ｘ）を中心とするｎサンプルのうちの最も振幅の大きいサンプル値を出力する。この処理を眼電位原信号の全てのサンプルについて実行することにより、第１の眼電位信号を得ることができる。
【０１６２】
上記フィルタ処理を、図２３の眼電位原信号に適用した例を図２６に示す。なお、眼電位原信号からサッケード信号を検出するために、最大値フィルタ処理の単位処理間隔を０．２５秒としている。単位処理間隔は、１回の最大値フィルタ処理の対象となるサンプルが含まれる時間間隔を示す。また、最大値フィルタ部５０１のフィルタタップ数ｎは、単位処理間隔（０．２５秒）に含まれるサンプル数である。すなわち、フィルタタップ数ｎは、単位処理間隔と、眼電位原信号をＡ／Ｄ変換する際のサンプリング周波数とに基づいて算出することができる。
【０１６３】
図２６に示すように、眼電位原信号に最大値フィルタ処理を適用すると、正の信号は時間方向に広がり、負の信号は時間方向に狭くなる。ただし、最大値フィルタ部５０１の単位処理間隔を一般的な１回の固視時間（０．３秒から０．４秒程度）より大きくすると、図２７に示されるように、負の方向のサッケード波形が破綻する。図２７は、単位処理間隔を１．０秒として最大値フィルタ処理を実行した例である。図２７のようにサッケード波形が破綻すると、サッケード信号を検出できなくなるため、最大値フィルタ部５０１の単位処理間隔は、一般的な１回の固視時間より短くする必要がある。
【０１６４】
なお、実施の形態５では、最大値フィルタ処理の単位処理間隔を０．２５秒とした例を示したが、一般的な１回の固視時間より短ければどのような値であってもよい。
【０１６５】
次に最小値フィルタ部５０２の処理について説明する。最小値フィルタ部５０２は、眼電位原信号ｆ（ｘ）に対して、以下のフィルタ処理を適用する。
【０１６６】
ｆｍｉｎ（ｘ）＝ｍｉｎ（ｆｍｉｎ（ｘ），ｆ（ｘ＋ｉ））
ｎが奇数の場合（−ｎ／２＜ｉ＜ｎ／２）
ｎが偶数の場合（−ｎ／２≦ｉ＜ｎ／２）または（−ｎ／２＜ｉ≦ｎ／２）
【０１６７】
ここで、ｆｍｉｎ（ｘ）は最小値フィルタ処理適用後の眼電位信号、ｎはフィルタタップ数、ｉは整数である。また、ｍｉｎ（ａ，ｂ）はａ及びｂのうち小さい方の値を返す関数である。つまり、最小値フィルタ処理は、眼電位原信号中の任意のサンプルｆ（ｘ）を中心とするｎサンプルのうちの最も振幅の小さいサンプル値を出力する。この処理を眼電位原信号の全てのサンプルについて実行することにより、第２の眼電位信号を得ることができる。
【０１６８】
上記フィルタ処理を、図２３の眼電位原信号に適用した例を図２８に示す。
【０１６９】
図２８では、眼電位原信号からサッケード信号を検出するために、最小値フィルタ処理の単位処理間隔を０．２５秒としている。
【０１７０】
図２８に示すように、眼電位原信号に最小値フィルタ処理を適用すると、正の信号は時間方向に狭くなり、負の信号は時間方向に広がる。ここで、最小値フィルタ部５０２の単位処理間隔を一般的な１回の固視時間より大きくすると、図２９に示されるように、正の方向のサッケード波形が破綻する。図２９は、単位処理間隔を１．０秒として最小値フィルタ処理を実行した例である。図２９のようにサッケード波形が破綻すると、サッケード成分を検出できなくなるため、最小値フィルタ部５０２の単位処理間隔は、一般的な１回の固視時間より短くする必要がある。
【０１７１】
なお、実施の形態５では、最小値フィルタ部の単位処理間隔を０．２５秒とした例を示したが、一般的な１回の固視時間より短ければ、どのような値であってもよい。
【０１７２】
次に、減算器５０３の処理について説明する。減算器５０３は、最大値フィルタ部５０１から出力される第１の眼電位信号ｆｍａｘ（ｘ）から、最小値フィルタ部５０２から出力される第２の眼電位信号ｆｍｉｎ（ｘ）を減算することにより、サッケード信号の抽出を行う。
【０１７３】
図２６に示される第１の眼電位信号と、図２８に示される第２の眼電位信号との差分をとった信号を図３０に示す。図３０を参照すれば、サッケードの発生した時間帯を含む検出信号が得られていることがわかる。
【０１７４】
サッケード検出部５００は、図３０に示されるような出力信号に基づいてサッケード検出信号を生成し、ドリフト推定部１８０に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。
【０１７５】
なお、実施の形態５では、最大値フィルタ部５０１及び最小値フィルタ部５０２を用いたが、最大値や最小値に近い値を選択するフィルタを使用しても構わない。その場合、最大値・最小値に対して、９０％程度の値を選択するものであることが望ましい。
【０１７６】
また、実施の形態５では、最大値フィルタ部５０１及び最小値フィルタ部５０２の単位処理間隔（フィルタタップ数）を同じ値に設定した例を示したが、異なる値を設定してもよい。
【０１７７】
以上に示した実施の形態５の構成によれば、眼電位原信号に最大値フィルタ処理と最小値フィルタ処理とをそれぞれ適用し、最大値フィルタ処理適用後の第１の眼電位信号から最小値フィルタ処理適用後の第２の眼電位信号を減算してサッケード信号を検出する。その結果、サッケードの発生時刻を含んだサッケード信号を簡易に取得できる。
【０１７８】
（実施の形態６）
図３１は、本発明の実施の形態６に係るサッケード検出部６００の構成を表すブロック図である。
【０１７９】
実施の形態６に係るサッケード検出部６００は、最大値フィルタ処理部（第１のフィルタ処理部）５０１と、減算器５０３とを備える。すなわち、最小値フィルタ部５０２が省略されている点が実施の形態５と異なる。最小値フィルタ部５０２を省略することによって、処理量を抑えつつ、サッケード信号を簡易に取得できる。
【０１８０】
図３１において、図２５と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。実施の形態６に係るサッケード検出部６００において、眼電位原信号は２つに分岐する。そして、一方は最大値フィルタ部５０１を通過して第１の眼電位信号として減算器５０３に入力し、他方は第２の眼電位信号として減算器５０３に直接入力する。そして、減算器５０３が最大値フィルタ処理適用後の第１の眼電位信号ｆｍａｘ（ｘ）から眼電位原信号ｆ（ｘ）（「第２の眼電位信号」に相当）を減算してサッケード信号を出力する点が実施の形態５と異なる。
【０１８１】
図２６に示される最大値フィルタ処理適用後の第１の眼電位信号と、図２３に示される眼電位原信号との差分をとった信号を図３２に示す。図３２を参照すれば、サッケードの発生時に検出信号が得られていることがわかる。
【０１８２】
このサッケード検出部６００は、図３２に示されるような出力信号に基づいてサッケード検出信号を生成し、ドリフト推定部１８０に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。
【０１８３】
ただし、負の方向のサッケード成分の検出信号は、サッケード発生時の前後に現れる。そのため、時間的な情報を必要としないサッケードの発生頻度等を求める際には、本実施の形態６は処理量において有効である。
【０１８４】
なお、実施の形態６では、最大値フィルタ部５０１を用いたが、最大値に近い値を選択するフィルタを使用しても構わない。その場合、最大値に対して９０％程度の値を選択するものであることが望ましい。
【０１８５】
以上に示した実施の形態６の構成によれば、眼電位原信号に最大値フィルタ処理を適用した第１の眼電位信号から眼電位原信号を減算してサッケード信号を検出するため、サッケード信号を簡易に取得できる。
【０１８６】
（実施の形態７）
図３３は、本発明の実施の形態７に係るサッケード検出部７００の構成を表すブロック図である。
【０１８７】
実施の形態７に係るサッケード検出部７００は、最小値フィルタ部（第１のフィルタ処理部）５０２と、減算器５０３とを備える。すなわち、最大値フィルタ部５０１が省略されている点が実施の形態５と異なる。最大値フィルタ部５０１を省略することによって、処理量を抑えつつ、サッケード信号を簡易に取得できる。
【０１８８】
図３３において、図２５と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。実施の形態７に係るサッケード検出部７００において、眼電位原信号は２つに分岐する。そして、一方は最小値フィルタ部５０２を通過して第１の眼電位信号として減算器５０３に入力し、他方は第２の眼電位信号として減算器５０３に直接入力する。そして、減算器５０３が眼電位原信号ｆ（ｘ）（「第２の眼電位信号」に相当）から最小値フィルタ処理適用後の第１の眼電位信号ｆｍｉｎ（ｘ）を減算してサッケード信号を出力する点が実施の形態５と異なる。
【０１８９】
図２３に示される眼電位原信号と図２８に示される最小値フィルタ処理適用後の第２の眼電位信号との差分をとった信号を図３４に示す。図３４を参照すれば、サッケードの発生時に検出信号が得られていることがわかる。
【０１９０】
このサッケード検出部７００は、図３４に示されるような出力信号に基づいてサッケード検出信号を生成し、ドリフト推定部１８０に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。
【０１９１】
ただし、正の方向のサッケード信号は、サッケード発生時の前後に現れる。そのため、時間的な情報を必要としないサッケードの発生頻度等を求める際には、実施の形態７は処理量において有効である。
【０１９２】
なお、実施の形態７では、最小値フィルタ部５０２を用いたが、最小値に近い値を選択するフィルタを使用しても構わない。その場合、最小値に対して９０％程度の値を選択するものであることが望ましい。
【０１９３】
以上に示した実施の形態７の構成によれば、眼電位原信号（第２の眼電位信号）から、眼電位原信号に最小値フィルタ処理を適用した第１の眼電位信号を減算してサッケード信号を検出するため、サッケード信号を簡易に取得できる。
【０１９４】
（実施の形態８）
次に、実施の形態８に係るサッケード検出部８００のブロック図を図３５に示す。
【０１９５】
実施の形態８に係るサッケード検出部８００は、遅延信号生成部８０１と、減算器５０３とで構成される。遅延信号生成部８０１は、眼電位原信号を所定の時間遅延させて遅延信号を出力する。また、サッケード検出部８００に入力する眼電位原信号は、２つに分岐する。そして、一方は遅延信号生成部８０１を通過して遅延信号として減算器５０３に入力し、他方は減算器５０３に直接入力する。そして、減算器５０３は、眼電位原信号から遅延信号を減算してサッケード信号を出力する。この遅延信号生成部８０１を備えることによって、正負の符号付のサッケード信号を簡易に取得できる。
【０１９６】
図３５に示される遅延信号生成部８０１の処理について説明する。遅延信号生成部８０１は、眼電位原信号ｆ（ｘ）に対し、以下の処理を適用する。
【０１９７】
ｆｄｅｌａｙ（ｘ）＝ｆ（ｘ−ｔ）
【０１９８】
ここで、ｆｄｅｌａｙ（ｘ）は遅延処理後の眼電位信号（遅延信号）、ｔは遅延時間である。上記遅延処理を、図２３に示される眼電位原信号に適用することによって遅延信号が得られる。そして、減算器５０３によって、眼電位原信号から遅延信号を減算した例を図３６に示す。なお、眼電位原信号から符号付のサッケード成分を検出するために、遅延時間ｔ＝０．２５秒としている。図３６を参照すれば、サッケードの発生した時間帯を含む符号付のサッケード信号が得られていることがわかる。
【０１９９】
このサッケード検出部８００は、図３６に示されるような出力信号に基づいてサッケード検出信号を生成し、ドリフト推定部１８０に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。
【０２００】
ここで、遅延時間ｔを一般的な１回の固視時間＝（０．３秒から０．４秒程度）より大きくすると、図３７に示されるように、サッケード信号が破綻する。図３７は、遅延時間ｔとして１．１秒を用いた例である。図３７のようにサッケード信号が破綻すると、サッケード信号を抽出できなくなるため、遅延信号生成部８０１の遅延時間ｔは、一般的な１回の固視時間より短くする必要がある。なお、実施の形態８では、０．２５秒の遅延時間を適用する例を示したが、一般的な１回の固視時間より短い遅延時間であれば、どのような値でも構わない。
【０２０１】
以上に示した実施の形態８の構成によれば、眼電位原信号から遅延信号を生成し、眼電位原信号から遅延信号を減算して符号付のサッケード信号を検出するため、正負のサッケード信号を区別できる点において有効である。
【０２０２】
次に、まばたきの影響を考慮した眼電位の計測方法を説明する。ＥＯＧ法等、眼電位の変化を用いて眼球運動を検出する場合、ユーザのまばたきによる信号（以下、「まばたき信号」と呼ぶ）の影響が課題となる。
【０２０３】
まばたき信号は、眼電位の計測方法によって、常に正の方向に発生する場合や、常に負の方向に発生する場合がある。図３８Ａ〜図３８Ｄに、眼電位測定部の貼付パターンと、眼電位原信号の計測方法の例を示す。
【０２０４】
図３８Ａに示される貼付パターンでは、眼の上下に電極を貼付し、眼の上側の電極Ａで計測した眼電位Ｖａと、眼の下側の電極Ｂで計測した眼電位Ｖｂとの差分電位Ｖａ−Ｖｂを計測する。この場合、まばたき信号は常に正の方向に発生する。人のまばたきは、眼球が毎回上方向に移動するからである。
【０２０５】
図３８Ｂに示される貼付パターンでは、眼の上側に電極Ａを貼付し、もう一方はアースや眼電位の影響を受けにくい箇所に電極を貼付することで、電極Ａの眼電位Ｖａを計測する。この場合も、まばたき信号は常に正の方向（基準値よりも大きい値で）に発生する。
【０２０６】
同様に、図３８Ｃに示される貼付パターンでは、眼の上下に電極Ａ、Ｂを貼付し、眼の下側の電極Ｂで計測した眼電位Ｖｂと、眼の上側の電極Ａで計測した眼電位Ｖａとの差分電位Ｖｂ−Ｖａを計測する。この場合は、まばたき信号は常に負の方向に発生する。図３８Ｄに示される貼付パターンでは、眼の下側に電極Ｂを貼付し、もう一方はアースや眼電位の影響を受けにくい箇所に電極を貼付することで、電極Ｂの眼電位Ｖｂを計測する。この場合も、まばたき信号は常に負の方向に発生する。
【０２０７】
図３８Ａ及び図３８Ｂに示される貼付パターンで計測する場合、ユーザがまばたきを行うと、図３９中の領域（ａ）に示すように、正の方向に急峻な電位（これが「まばたき信号」である）が発生する。このまばたき信号を直接、視線位置の検出に利用すると、視線位置が急激に変化し、正しく視線の追跡が行えない。
【０２０８】
そこで、眼電位原信号からまばたき信号（まばたきによる信号の成分）等の影響を低減する方法として、特開平１１−８５３８４号公報（特許文献１）に記載の技術がある。
【０２０９】
特許文献１に記載の技術では、ユーザの眼電位を検出し、注視位置（カーソル）をリアルタイムに入力できるようにすることを目的とする。その際に、眼電位の変動波形に遅れ要素を導入することによって注視位置（カーソル）の時間的変化を平滑化し、まばたきによる注視位置の急変を低減する。
【０２１０】
また、まばたき信号の影響を提供する技術として、真鍋宏幸，福本雅朗，“ヘッドフォンを用いた常時装用視線インタフェース”，インタラクション２００６，ｐｐ．２３−２４，２００６（非特許文献１）に記載の技術がある。
【０２１１】
非特許文献１に記載の技術では、左右合計８個の電極をヘッドフォンに貼付する。８個の電極から得られる眼電位の変化について、時間的に０．４秒のメディアンフィルタを適用することにより、該時間より短いまばたき信号の変化を除去する。
【０２１２】
しかしながら、特許文献１に示す方法のように、眼電位原信号を単に時間的に平滑化するだけでは、視線の追跡を行う上で重要となるサッケード（人間の眼が１つの注視点から次の注視点に素早く移動する運動（飛越運動））の成分変化を示すサッケード波形まで平滑化してしまうという副作用が発生する。
【０２１３】
また、非特許文献１に示すように、眼電位原信号にメディアンフィルタを適用すれば、図４０に示すように、単発で発生したまばたき信号は除去できるが、所定時間以上、連続的に発生したまばたき信号の影響は完全に除去しきれない。また、サッケード波形が一部破綻するという副作用が発生する。
【０２１４】
即ち、まばたき信号の除去とサッケード信号の保存とを考慮した上で、どのような平滑化フィルタをどの時間分どの順で適用するのが最適かは、上述文献では明らかにされていない。
【０２１５】
そこで、実施の形態９〜１１において、ユーザの眼電位原信号から、高精度かつ簡易に、まばたき信号を除去もしくは検出し、さらに、サッケードの信号を検出する方法を説明する。なお、以下の説明では、ユーザに貼付された電極から取得したドリフト信号を含む眼電位原信号からまばたき信号を除去もしくは検出する例を説明するが、実施の形態１〜４に示されるように、ドリフト信号が除去された眼電位信号からまばたき信号を除去もしくは検出する場合も同様である。
【０２１６】
（実施の形態９）
図４１は、本発明の実施の形態９に係る眼電位計測装置９００の構成を表すブロック図である。
【０２１７】
眼電位計測装置９００は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位原信号を出力する眼電位測定部（図示省略）と、眼電位の測定方法を示す信号（図中：眼電位計測方法）によってフィルタ処理内容を決定するフィルタ処理内容決定部９１０と、フィルタ処理内容決定部９１０から出力されるフィルタ処理内容信号に従って、眼電位原信号にフィルタ処理を適用するフィルタ処理部９２０とから成る。
【０２１８】
まず、眼電位の測定方法は、あらかじめ実験者やユーザが指定してもよいし、眼電位原信号の変化の傾向から推定されたものであってもよい。
【０２１９】
具体的には、図６４Ａ及び図６４Ｂに示したように、眼球の左右に電極Ａ、Ｂを貼付する計測方法であることをユーザが指定したり、ユーザがまばたきを行った際に、眼電位原信号に常に上方向の信号が発生する場合は、図３８Ａ及び図３８Ｂに示したような貼付パターンによる計測方法であると推定したりすればよい。
【０２２０】
図４２は、フィルタ処理内容決定部９１０のフィルタ処理内容決定動作を示すフローチャートである。フィルタ処理内容決定部９１０は、最初にまばたきの影響を除去するためにフィルタ処理部９２０でのフィルタの適用順序（後述）を決定する。また、図示しないが、眼電位計測方法の違いに応じて、必要なタップ数（時間）を決定する。また、予め貼付けられた電極が水平方向か垂直方向に貼り付けられているかに応じて、フィルタの適用の有無を変更する。
【０２２１】
具体的には、図３８Ａ及び図３８Ｂの貼付パターンのように、まばたき信号が常に正の方向に発生する計測方法かどうかを判定する（ステップＳ９００１）。まばたき信号が常に正の電位を示す場合（ステップＳ９００１でＹｅｓ）、フィルタ処理内容として、最小値フィルタ処理、最大値フィルタ処理の順に適用するように決定する（ステップＳ９００２）。
【０２２２】
まばたき信号が正の電位を示さない場合（ステップＳ９００１でＮｏ）、図３８Ｃ及び図３８Ｄの貼付パターンのように、まばたき信号が常に負の方向に発生する計測方法かどうかを判定する（ステップＳ９００３）。まばたき信号が常に負の電位を示す場合（ステップＳ９００３でＹｅｓ）、フィルタ処理内容として、最大値フィルタ処理、最小値フィルタ処理の順に適用するように決定する（ステップＳ９００４）。
【０２２３】
まばたき信号が負の電位を示さない場合（ステップＳ９００３でＮｏ）、計測方法がまばたきの影響を受けない場合だと判定し、まばたき信号除去のためのフィルタ処理を行わないことを決定する（ステップＳ９００５）。なお、計測方法がまばたきの影響を受けない場合の例としては、図６４Ａ及び図６４Ｂのように眼の左右に電極Ａ、Ｂを貼付してその差分を計測する場合や、眼から離れた位置に電極Ａ、Ｂを貼付する場合などが考えられる。
【０２２４】
フィルタ処理内容決定部９１０は、上記の処理で決定されたフィルタの適用順序、及びフィルタのタップ数ｎや単位処理間隔等の情報を含めて、フィルタ処理内容信号（向き、タップ数ｎ、有無（ｎ＝０として出力しても良い））を出力する。尚、上述フローチャートの判定順は一例であり、その判定順は問わない。
【０２２５】
図４３は、フィルタ処理部９２０の構成について示す図である。フィルタ処理部９２０は、フィルタ処理内容決定部９１０からのフィルタ処理内容信号に応じて、眼電位原信号にフィルタ処理を適用する。
【０２２６】
フィルタ処理部９２０は、２つの最小値フィルタ部９２１、９２４と、２つの最大値フィルタ部９２２、９２３と、入力端子から出力端子に至る第１〜第３の経路のうちのいずれに眼電位原信号を出力するかを切り替えるスイッチ９２５とで構成されている。
【０２２７】
第１の経路は、眼電位原信号に最小値フィルタ処理を適用して第１の眼電位信号を出力する最小値フィルタ部（第１のフィルタ処理部）９２１と、第１の眼電位信号に最大値フィルタ処理を適用して第２の眼電位信号（フィルタ処理後信号）を出力する最大値フィルタ部（第２のフィルタ処理部）９２２とが直列に接続されている。第２の経路は、眼電位原信号に最大値フィルタ処理を適用して第１の眼電位信号を出力する最大値フィルタ部（第１のフィルタ処理部）９２３と、第１の眼電位信号に最小値フィルタ処理を適用して第２の眼電位信号（フィルタ処理後信号）を出力する最小値フィルタ部（第２のフィルタ処理部）９２４とが直列に接続されている。第３の経路は、眼電位原信号にフィルタ処理を適用せずに出力する経路である。そして、スイッチ９２５は、フィルタ処理内容決定部９１０で決定したフィルタ処理内容に従って眼電位原信号の出力先を切り替える。
【０２２８】
スイッチ９２５は、図４２のステップＳ９００２で生成されたフィルタ処理内容信号を受け付けた場合、眼電位原信号を第１の経路に出力するように、接続先を図４３の上段に切り替える。また、図４２のステップＳ９００４で生成されたフィルタ処理内容信号を受け付けた場合、眼電位原信号を第２の経路に出力するように、接続先を図４３の中段に切り替える。さらに、図４２のステップＳ９００５で生成されたフィルタ処理内容信号を受け付けた場合、眼電位原信号を第３の経路に出力するように、接続先を図４３の下段に切り替える。
【０２２９】
なお、最小値フィルタ部９２１、９２４及び最大値フィルタ部９２２、９２３の処理内容は実施の形態５の説明と同一であるので、省略する。また、実施の形態９では、最小値フィルタ部９２１、９２４と最大値フィルタ部９２２、９２３とをそれぞれ２組用意したが、それぞれを１組ずつにして、フィルタ処理内容信号に基づいて接続順序を切り替える等によって実現しても構わない。
【０２３０】
次に、眼電位原信号が第１の経路に入力した場合の処理を説明する。まず、図４４は、図３９に示される眼電位原信号に最小値フィルタ部９２１で最小値フィルタ処理を適用することによって得られる第１の眼電位信号を示す図である。
【０２３１】
なお、眼電位原信号からまばたき信号を除去するために、フィルタ処理内容信号で定められた値に従って最小値フィルタ部９２１の単位処理間隔を０．２５秒としている。
【０２３２】
図４４中の領域（ａ）を参照すれば、眼電位原信号に最小値フィルタ処理を適用することによって、連続的なまばたき信号、および単発のまばたき信号を除去できていることがわかる。但し、図４４に示される第１の眼電位信号には、最小値フィルタ処理を適用した副作用として、サッケード波形に変形（時間幅の増加）が生じる。
【０２３３】
なお、実施の形態９では、最小値フィルタ部９２１の単位処理間隔を０．２５秒として最小値フィルタ処理を実行した例を示したが、一般的な１回のまばたきの時間＝（０．１５秒から０．２秒程度）より長く、かつ、１回の固視時間＝（０．３秒から０．４秒程度）より短ければどのような値であってもよい。
【０２３４】
次に、図４５は、図４４に示される第１の眼電位信号に最大値フィルタ部９２２で最大値フィルタ処理を適用することによって得られる第２の眼電位信号（フィルタ処理後信号）を示す図である。なお、最小値フィルタ部９２１と同様に、単位処理間隔を０．２５秒としている。
【０２３５】
図４５に示されるように、第１の眼電位信号に最大値フィルタ処理を適用することによって、図４４のようなサッケード波形の変形を、元の信号波形の幅に復元することができる。
【０２３６】
最大値フィルタ部９２３、および最小値フィルタ部９２４の基本的な処理は、それぞれ最大値フィルタ部９２２と、最小値フィルタ部９２１と同じであり、最大値フィルタ処理、最小値フィルタ処理の順にフィルタ処理を行うことによって、サッケード波形に影響を与えずに、負の方向のまばたき信号を除去することができる。
【０２３７】
なお、実施の形態９では、最小値フィルタ部９２１、９２４、及び最大値フィルタ部９２２、９２３を用いた例を示したが、最小値や最大値に近い値を選択するフィルタを使用しても構わない。その場合、最大値・最小値に対して、９０％程度の値を選択するものであることが望ましい。
【０２３８】
また、実施の形態９では、最小値フィルタ処理及び最大値フィルタ処理のフィルタタップ数は同じ値を用いたが、近い値を用いても構わない。つまり、必ずしも厳密に一致していることまでは必要ない。
【０２３９】
複数のフィルタ処理を連続して適用する場合は、まばたき信号の影響を除去するためのフィルタ処理が先に適用され、その後、サッケードの時間波形を復元するためのフィルタ処理が適用されるようにすればよい。
【０２４０】
また、実施の形態９では、最小値フィルタ処理と最大値フィルタ処理とを連続して適用することによって、まばたき信号を除去すると共にサッケード波形を復元したが、まばたき信号の除去だけを目的とする場合には、どちらか一方のみを適用しても、本発明の範囲を逸脱しない。
【０２４１】
以上に示した実施の形態９の構成によれば、眼電位原信号の計測方法に応じて眼電位原信号に対するフィルタ処理内容を決定し、その内容に従ってフィルタ処理する。その結果、例えば、電極の貼付け向きが逆になったとしても、まばたき信号を適切に除去できる。
【０２４２】
また、眼電位原信号の正の方向にまばたき信号が発生するような計測方法の場合に、最小値フィルタ処理、最大値フィルタ処理の順に連続して適用するようにフィルタ処理内容を決定する。その結果、正の方向のまばたき信号を簡易に除去しつつ、更に、サッケード波形を復元できる。
【０２４３】
また、眼電位原信号の負の方向にまばたき信号が発生するような計測方法の場合は、最大値フィルタ処理、最小値フィルタ処理の順に連続して適用するようにフィルタ処理内容を決定する。その結果、負の方向のまばたき信号を簡易に除去しつつ、更に、サッケード波形を復元できる。
【０２４４】
上記構成の眼電位計測装置９００は、図１に示される眼電位計測装置１００に適用することができる。例えば、減算器１２０から出力される眼電位信号を、眼電位原信号として眼電位計測装置９００に入力し、眼電位計測装置９００から出力されるフィルタ処理信号を眼電位信号として、図１に示されるサッケード検出部１３０、眼電位変化量計算部１４０、およびドリフト変化量推定部１７０に入力する。これにより、眼電位計測装置９００でまばたき信号を含む眼電位信号を計測したとしても、サッケード検出部１３０や眼電位変化量計算部１４０、およびドリフト変化量推定部１７０では、まばたき信号を考慮する必要がなくなる。
【０２４５】
（実施の形態１０）
図４６及び図４７は、本発明の実施の形態１０に係る眼電位計測装置１０００の構成を表すブロック図である。
【０２４６】
実施の形態１０では、眼電位原信号からフィルタ処理後の眼電位信号を減算する減算器１０２６をフィルタ処理部１０２０に備える点が実施の形態９と異なる。この減算器１０２６を備えることによって、フィルタ処理後信号に加えてまばたき信号を出力することができるようになる。
【０２４７】
図４７は、実施の形態１０の眼電位計測装置１０００におけるフィルタ処理部１０２０の一例を示すブロック図である。なお、図４３と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【０２４８】
減算器１０２６は、眼電位原信号と、フィルタ処理後信号との差分を出力する。これがまばたき信号となる。
【０２４９】
図３９の眼電位原信号から図４５の第２の眼電位信号を減算することによって得られるまばたき信号を図４８に示す。図４８を参照すれば、眼電位原信号からまばたき信号のみを検出できていることがわかる。
【０２５０】
以上に示した実施の形態１０の構成によれば、眼電位原信号の計測方法に応じて眼電位原信号に対するフィルタ処理内容を決定し、その内容に従って適切なフィルタ処理を適用する。その結果、どのような計測方法であっても、まばたき信号を検出できる。
【０２５１】
また、眼電位原信号の正の方向にまばたき信号が発生するような計測方法の場合は、最小値フィルタ処理、最大値フィルタ処理の順に連続して適用するようにフィルタ処理内容を決定する。その結果、正の方向のまばたき信号を簡易に検出しつつ、サッケード成分を復元できる。
【０２５２】
また、眼電位原信号の負の方向にまばたき信号が発生するような計測方法の場合は、最大値フィルタ処理、最小値フィルタ処理の順に連続して適用するようにフィルタ処理内容を決定する。その結果、負の方向のまばたき信号を簡易に検出しつつ、サッケード成分を復元できる。
【０２５３】
（実施の形態１１）
図４９及び図５０は、本発明の実施の形態１１に係る眼電位計測装置１１００の構成を表すブロック図である。
【０２５４】
実施の形態１１では、最大値フィルタ処理及び最小値フィルタ処理の両方を適用した信号（第２の眼電位信号）から、最大値フィルタ処理及び最小値フィルタ処理の一方を適用した信号（第１の眼電位信号）を減算する減算器１１２６、１１２７をフィルタ処理部１１２０に備える点が実施の形態９と異なる。この減算器１１２６、１１２７を備えることによって、フィルタ処理後信号に加えてサッケード信号を出力することができるようになる。
【０２５５】
図５０は、実施の形態１１に係る眼電位計測装置１１００におけるフィルタ処理部１１２０の一例を示すブロック図である。なお、図４３と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【０２５６】
減算器１１２６は、最大値フィルタ部９２２の出力信号から最小値フィルタ部９２１の出力信号を減算することにより、サッケード信号を出力する。同様に、減算器１１２７は、最小値フィルタ部９２４の出力信号から最大値フィルタ部９２３の出力信号を減算することにより、サッケード信号を出力する。
【０２５７】
図４５の最大値フィルタ処理適用後の第２の眼電位信号から図４４の最小値フィルタ処理適用後の第１の眼電位信号を減算して得られるサッケード信号を図５１に示す。図５１を参照すれば、眼電位原信号から、サッケード信号のみを検出できていることがわかる。
【０２５８】
以上に示した実施の形態１１の構成によれば、眼電位原信号の計測方法に応じて眼電位原信号に対するフィルタ処理内容を決定し、その内容に従ってフィルタ処理する。その結果、どのような計測方法であっても、サッケード信号を検出できる。つまり、当該フィルタ処理部１１２０を図１に示されるサッケード検出部１３０に適用すれば、まばたき信号の影響を受けずに適切なサッケード検出が可能となる。
【０２５９】
また、眼電位原信号の正の方向にまばたき信号が発生するような計測方法の場合は、最小値フィルタ処理、最大値フィルタ処理の順に連続して適用し、さらに、最大値フィルタ処理後の第２の眼電位信号から最小値フィルタ処理後の第１の眼電位信号を減算するようにフィルタ処理内容を決定する。その結果、正の方向のまばたき信号を除去しつつ、サッケード信号を検出できるという効果を有する。
【０２６０】
また、実施の形態１１において、最大値フィルタ処理のフィルタタップ数を最小値フィルタ処理のフィルタタップ数より大きくすることで、サッケード信号の発生時刻を含んだサッケード信号を検出できるという効果を有する。
【０２６１】
一方、眼電位原信号の負の方向にまばたき信号が発生するような計測方法の場合は、最大値フィルタ処理、最小値フィルタ処理の順に連続して適用し、さらに、最小値フィルタ処理後の第２の眼電位信号から最大値フィルタ処理後の第１の眼電位信号を減算するようにフィルタ処理内容を決定する。その結果、負の方向のまばたき信号を除去しつつ、サッケード信号を検出できるという効果を有する。
【０２６２】
また、実施の形態１１において、最小値フィルタ処理のフィルタタップ数を最大値フィルタ処理のフィルタタップ数より大きくすることで、サッケード信号の発生時刻を含んだサッケード信号を検出できるという効果を有する。
【０２６３】
なお、上述各実施の形態９〜１１では、まばたき信号の除去、まばたき信号の検出、あるいはサッケード信号の検出を主眼とし、先に適用される最小値フィルタ処理および最大値フィルタ処理のフィルタタップ数を説明した。これらは、筋電位やノイズ等の時間幅に合わせることにより、それらを除去する目的で使用することも可能である。
【０２６４】
（実施の形態１２）
図５２は、本発明の実施の形態１２に係る視線検出装置１４１０の構成を表すブロック図である。図５２に示される視線検出装置１４１０は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位信号を出力する眼電位計測部１４００と、眼電位信号を視線位置（「視線方向」と読み替えることができる。以下同じ）に変換する較正部１４１１と、較正パラメータの更新を指示する較正パラメータ更新指示部１４１２と、較正パラメータ更新指示を受けて較正指標を提示する較正指標提示部１４１３と、眼電位信号からサッケード信号を検出するサッケード検出部１４１４と、サッケード検出部１４１４から出力された眼電位変化量および較正指標提示部１４１３によって提示された較正指標の位置に基づいて較正パラメータを算出する較正パラメータ計算部１４１５と、眼電位信号の出力先を較正部１４１１及びサッケード検出部１４１４のいずれかに切り替えるスイッチ１４１６とから成る。
【０２６５】
眼電位計測部１４００には、例えば、実施の形態１〜４に係る眼電位計測装置１００、４００を適用することができる。また、サッケード検出部１４１４には、例えば、実施の形態５〜１１を適用することができる。
【０２６６】
眼電位計測部１４００は、典型的には、ユーザの眼の周辺に貼付される電極から眼電位原信号を取得し、ドリフト信号を除去した眼電位信号を出力する。具体的な貼付方法は特に限定されないが、例えば、図６３Ａ及び図６３Ｂに示されるように、目尻側貼付される電極Ａと、目頭側に貼付される電極Ｂとを組み合わせて使用してもよい。または、図３８Ａ〜図３８Ｄに示されるように、電極を眼の上下の一方又は両方に貼付してもよい。さらには、電極をこめかみの上下に貼付してもよい。なお、本実施例では、ユーザの眼の周辺に電極を貼付するとしたが、電極を耳周辺に貼付する方法や、皮膚に電極を接触する方法等でも構わない。
【０２６７】
較正部１４１１は、予め保持している較正パラメータを用いて、眼電位信号からユーザの視線位置を算出する。ここで、較正パラメータとは、眼電位信号を眼球移動角に変換するためのパラメータであり、そのうちの一つとして、以下の式１で用いられる較正係数αが挙げられる。
【０２６８】
一般的に計測眼電位Ｖａ−ｂは、眼球移動角θが一定の範囲内であれば線形に変化することが知られている。つまり、計測眼電位Ｖａ−ｂは較正係数αと眼球移動角θとを用いて次式１で近似することができる。
【０２６９】
【数１】
0005613528.tif 000002
【０２７０】
ＥＯＧ法を用いた較正時の動作例を説明する。眼電位信号として眼電位Ｖｅが較正部１０１に入力された場合、（式１）を用いて眼球移動角θを求める。そして、移動角θからユーザと注視物体との距離等の情報を用いて視線位置を求める。以上の手順により、眼電位から視線位置を求めることができる。なお、ユーザと注視物体との距離を測定する方法は特に限定されないが、例えば、測距センサ等を用いることができる。
【０２７１】
なお、本発明は式１を用いた較正方法に限定されず、図５３Ａに示すような対応する眼電位変化量と眼球移動角との組み合わせを複数保持するテーブルを、較正パラメータとして用いて構わない。さらに、図５３Ｂに示すような対応する眼電位とディスプレイ座標やカメラ座標等の視線位置との組み合わせを複数保持するテーブルを、較正パラメータとして用いて構わない。
【０２７２】
較正パラメータ更新指示部１４１２は、視線検出開始時等のイベントが発生した場合に、較正指標提示１４１３とスイッチ１４１６とに較正パラメータ更新指示信号を出力する。そして、較正パラメータの更新を終了する際には、較正パラメータ更新指示信号の出力を停止する。
【０２７３】
スイッチ１４１６は、較正パラメータ更新指示に従って、眼電位信号を較正部１４１１及びサッケード検出部１４１４のどちらに送信するかを切り替える。
【０２７４】
較正指標提示部１４１３は、較正パラメータ更新指示を受けると、較正指標をユーザに提示する。そして、サッケード検出部１４１４からのサッケード検出信号に従って、較正指標の提示位置を変化させる。
【０２７５】
一例として、図５４のようなディスプレイ１０を用いて較正を行う場合、較正パラメータ更新指示を受け付けたことに応じてディスプレイ１０の中心に第１の較正指標２０を表示させる。その後、サッケード検出信号を受け付けると、第２の較正指標３０を左上に表示させる。そして、再びサッケード検出信号を受けると、次の較正指標を右上等に表示させる。このように、ユーザのサッケードに応じて較正指標の位置を変化させることにより、ユーザにサッケードを誘発することができる。このようにしてユーザのサッケードに応じて変化させた較正指標の位置は、較正パラメータ計算部１０５に出力される。
【０２７６】
なお、実施の形態１２では、第１及び第２の較正指標２０、３０をディスプレイ１０に表示したが、較正指標を提示する方法はこれに限定されない。例えば、実空間上にレーザポイント等で較正指標を表示させてもよい。さらには、カメラ等を用いて周辺に存在する物体（例えば、人の顔等）から較正指標を選択し、当該較正指標をユーザに認識させるための音声情報を出力するようにしてもよい。つまり、較正指標提示部１４１３は、ユーザが較正指標を特定するための情報を出力するものであればどのようなものであってもよい。
【０２７７】
較正パラメータ計算部１４１５は、サッケード検出部１４１４からのサッケード検出信号を受けると、眼電位変化量と較正指標位置とを用いて較正パラメータの更新を行う。較正パラメータの一つである較正係数αの計算例を示す。まず、較正指標位置と、ユーザと較正指標が表示された物体（典型的には、ディスプレイ）との距離情報等とを用いて、較正指標を見た場合のユーザの眼球移動角θを求める。そして、入力された眼電位変化量Ｖｃおよび眼球移動角θを式１に代入することにより、較正係数αを求めることができる。なお、ユーザとディスプレイとの距離情報の取得方法は特に限定されないが、例えば、測距センサ等を用いてもよいし、ディスプレイから予め定められた距離だけ離れた位置にユーザを立たせてから較正パラメータ更新指示を出力するようにしてもよい。
【０２７８】
次に、図５５を参照して、実施の形態１２に係る視線検出装置１４０１が較正パラメータを更新する手順を説明する。この視線検出装置１４０１は、外部から較正パラメータ更新指示が入力されたことを契機として、新たな較正パラメータを計算する。
【０２７９】
まず、視線検出装置１４０１は、較正パラメータ更新指示の入力を監視する（Ｓ１４００１）。この較正パラメータ更新指示は、較正パラメータ更新指示部１４１２から較正指標提示部１４１３及びスイッチ１４１６に送信される。較正パラメータ更新指示の入力方法は特に限定されないが、例えば、較正パラメータ更新指示部１４１２がユーザからの指示を受け付けてもよいし、視線検出装置１４０１の電源投入時等の所定のタイミングで自動的に当該指示を発行してもよい。
【０２８０】
次に、較正パラメータ更新指示を受け付けた較正指標提示部１４１３（Ｓ１４００１でＹｅｓ）は、ユーザに対して第１の較正指標２０を提示する（Ｓ１４００２）。また、較正指標提示部１４１３は、第１の較正指標２０の位置情報を較正パラメータ計算部１４１５に通知する。同様に、較正パラメータ更新指示を受け付けたスイッチ１４１６は、眼電位信号の出力先を較正部１４１１からサッケード検出部１４１４に切り替える。
【０２８１】
次に、サッケード検出部１４１４は、スイッチ１４１６を経由して入力される眼電位信号中にサッケード信号が含まれているか否かを監視する（Ｓ１４００３）。ディスプレイ１０上に第１の較正指標２０が表示されると、ユーザの視線が任意の位置から第１の較正指標２０に移動する。このときにサッケード信号が現れる。
【０２８２】
なお、サッケード信号の検出方法は特に限定されないが、例えば、最大値フィルタ、最小値フィルタ、遅延器等を利用して検出する方法がある。詳細は既に説明したので省略する。サッケード信号が検出されると（Ｓ１４００３でＹｅｓ）、サッケード検出部１４１４は、較正指標提示部１４１３にサッケード検出信号を出力する。同様に、較正パラメータ計算部１４１５にサッケード検出信号及び眼電位変化量Ｖａ−ｂを出力する。
【０２８３】
次に、サッケード検出信号を受け付けた較正指標提示部１４１３は、ユーザに対して全ての較正指標を提示したか否かを判断する（Ｓ１４００４）。提示すべき較正指標の数は予め定められていてもよいし、ユーザに対して較正指標の提示を継続するか否かを問い合わせるようにしてもよい。なお、実施の形態１２においては、提示すべき較正指標が２個であるとして説明する。
【０２８４】
現時点では第１の較正指標２０しか提示していないので（Ｓ１４００４でＮｏ）、較正指標提示部１４１３は、次の較正指標を提示する（Ｓ１４００２）。具体的には、第１の較正指標２０をディスプレイ１０上から削除すると共に、第２の較正指標３０をディスプレイ１０上に表示させる。また、第２の較正指標３０の位置情報を較正パラメータ計算部１４１５に通知する。
【０２８５】
次に、サッケード検出部１４１４は、眼電位信号中にサッケード信号が含まれているか否かを監視する（Ｓ１４００３）。第２の較正指標３０がディスプレイ１０上に表示されると、ユーザの視線が第１の較正指標２０から第２の較正指標３０に移動する。このときにサッケード信号が現れる。
【０２８６】
サッケード信号を検出したサッケード検出部１４１４は、前回と同様に、サッケード検出信号及び眼電位変化量Ｖａ−ｂを出力する。また、第２の較正指標３０を提示した後のステップＳ１４００４において、較正指標提示部１４１３は、全ての較正指標を提示したと判断する（Ｓ１４００４でＹｅｓ）。
【０２８７】
次に、較正パラメータ計算部１４１５は、較正指標提示部１４１３から受信した第１及び第２の較正指標２０、３０の位置情報と、サッケード検出部１４１４から受信した第２の較正指標３０を出力した後の眼電位変化量Ｖａ−ｂとに基づいて、新たな較正パラメータを計算する。具体的には、第１及び第２の較正指標２０、３０の位置情報から眼球移動角θを算出する。そして、眼電位変化量Ｖａ−ｂと眼球移動角θとを式１に代入して、較正係数αを得る。
【０２８８】
なお、実施の形態１２では較正パラメータの更新例として較正係数αの計算方法について説明したが、較正パラメータの更新方法はこれに限定されない。例えば、較正パラメータ計算部１４１５に入力された眼電位変化量と、眼球移動角や較正指標位置とを用いて、図５３Ａ及び図５３Ｂに示すような対応する眼電位変化量と眼球移動角や視線位置との組み合わせを複数保持するテーブルを更新しても構わない。この場合、提示すべき較正指標の総数を増やすことにより、図５３Ａ及び図５３Ｂのテーブルのレコード数が増加するので、より信頼性の高い較正パラメータを得ることができる。
【０２８９】
以上に示した実施の形態１２の構成によれば、眼電位信号からノイズを低減し、Ｓ／Ｎ向上後の眼電位信号からサッケード信号を検出し、サッケード運動中に発生した眼電位の変化量を用いて較正パラメータの更新を行う。その結果、従来方式の課題であったドリフトの影響を受けずに正しく較正パラメータを求めることができる。
【０２９０】
また、眼電位計測装置におけるノイズ低減によって、眼電位信号のＳ／Ｎが向上するため、視線検出の精度を向上することができる。
【０２９１】
また、ユーザのサッケードを誘発しながら較正パラメータを更新することができる。その結果、ユーザは較正指標を眼で追うだけでよく、較正時のユーザの負担を軽減することができる。
【０２９２】
また、較正パラメータを、図５３Ａ及び図５３Ｂに示されるようなテーブルとして保持することにより、較正時間を短縮することができる。
【０２９３】
また、較正パラメータを眼電位変化量Ｖａ−ｂと眼球移動角θとの関数の傾き（較正係数α）として保持することにより、メモリを削減できる。
【０２９４】
（実施の形態１３）
次に、図５６及び図５７を参照して、本発明の実施の形態１３に係るウェアラブルカメラ１６００を説明する。このウェアラブルカメラ１６００は、例えば、ユーザの側頭部に装着され、ユーザの視線方向の映像を撮像する装置である。具体的には、ウェアラブルカメラ１６００は、撮像部１６０１と、撮像制御部１６０２と、視線検出装置１６０３とを備える。
【０２９５】
ウェアラブルカメラ１６００は、例えば、静止画を撮影するカメラであってもよいし、動画を撮影するビデオカメラであってもよい。視線検出装置１６０３には、例えば、実施の形態１２に係る視線検出装置１４１０を適用することができる。また、実施の形態１〜４における眼電位計測部としての電極は、図５７に示されるように、ユーザの左眼のこめかみの上下に貼付されている。
【０２９６】
そして、撮像制御部１６０２は、視線検出装置１６０３からの出力信号を監視し、ユーザの視線の移動に追従して撮像部１６０１の向きを変えさせる。これにより、撮像部１６０１にユーザの視線方向を撮像させることができる。
【０２９７】
ただし、実施の形態１３に係るウェアラブルカメラ１６００は、上記の用途に限定されない。他の用途としては、撮像部１６０１で撮像された映像上に、視線検出装置１６０３で検出されたユーザの視線位置をプロットするような装置や、運転中のドライバーの視線を検出して危険喚起を行う等の装置に適用することもできる。
【０２９８】
（実施の形態１４）
次に、図５８および図５９を参照して、本発明の実施の形態１４に係るヘッドマウントディスプレイ１７００を説明する。このヘッドマウントディスプレイ１７００は、例えば、めがね形状を有しており、ユーザの眼前に画像を表示し、表示された画像上に示されているマウスをユーザの視線方向に移動させる装置である。具体的には、ヘッドマウントディスプレイ１７００は、表示部１７０１と、表示制御部１７０２と、視線検出装置１７０３とを備える。
【０２９９】
図６０に示すように、表示部１７０１には、各種画像が表示されており、その画像上にマウス１７０４が表示されているものとする。視線検出装置１７０３には、例えば、実施の形態１２に係る視線検出装置１４１０を適用することができる。
【０３００】
そして、表示制御部１７０２は、視線検出装置１７０３からの出力信号を監視し、ユーザの視線の移動に追従して表示部１７０１に表示されているマウス１７０４を移動させる。これにより、例えば、処理実行部（図示せず）は、マウス１７０４が指し示すアイコン１７０５に対応付けられた処理（図６０の例では、映像再生処理）を実行することができる。
【０３０１】
（実施の形態１５）
次に、図６１および図６２を参照して、本発明の実施の形態１５に係る電子めがね１８００を説明する。この電子めがね１８００は、ユーザの視線位置に合わせてレンズの焦点を変化させることができるめがねである。具体的には、電子めがね１８００は、レンズ１８０１と、焦点制御部１８０２と、視線検出装置１８０３とを備える。
【０３０２】
レンズ１８０１は、ユーザの眼前に位置し、電子的に焦点を変化させることができるレンズである。
【０３０３】
視線検出装置１８０３には、例えば、実施の形態１２に係る視線検出装置１４１０を適用することができる。
【０３０４】
そして、焦点制御部１８０２は、視線検出装置１８０３からの出力信号を監視し、ユーザの視線の移動に追従してレンズ１８０１の焦点を変化させる。例えば、ユーザが書籍を読むなどのために近くを見ている場合には、焦点制御部１８０２は、近くに焦点が合うようにレンズ１８０１の焦点を制御する。また、ユーザが遠くの風景を見ている場合には、焦点制御部１８０２は、遠くに焦点が合うようにレンズ１８０１の焦点を制御する。
【０３０５】
なお、本実施の形態においては、ユーザの左眼および右眼は同一点を注視しているものとする。このため、視線検出装置１８０３は、眼電位から視線位置を検出することができる。
【０３０６】
（実施の形態１６）
次に、図６３を参照して、本発明の実施の形態１６に係る眼科診断装置１９００を説明する。この眼科診断装置１９００は、例えば、ユーザの眼の周辺に電極を貼付し、眼電位を計測することによって網膜常存電位の異常を診断する装置である。具体的には、眼科診断装置１９００は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位信号を出力する眼電位測定部１９１０と、診断部１９２０を備える。
【０３０７】
診断部１９２０は、例えば、明順応時の眼電位信号と暗順応時の眼電位信号との比であるＡｒｄｅｎ比を計算し、Ａｒｄｅｎ比の異常から網膜状態を診断することが考えられる。眼電位計測部１９１０には、例えば、実施の形態１〜４に係る眼電位計測装置１００、４００を適用することができる。
【０３０８】
（その他変形例）
なお、本発明を上記各実施の形態１〜１６に基づいて説明してきたが、本発明は、上記の各実施の形態１〜１６に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０３０９】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０３１０】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０３１１】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０３１２】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０３１３】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０３１４】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０３１５】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０３１６】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０３１７】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【０３１８】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【０３１９】
本発明は放送や通信および蓄積の分野において、映像や音声を記録再生する機器等として有用である。また、静止画像記録再生機器等としても適用が可能である。さらに、健康医療機器としても適用が可能である。
【符号の説明】
【０３２０】
１０  ディスプレイ
２０  第１の較正指標
３０  第２の較正指標
１００，４００，９００，１０００，１１００  眼電位計測装置
１１０  眼電位原信号測定部
１２０，１４２，１７３，５０３，１０２６，１１２６，１１２７  減算器
１３０，５００，６００，７００，８００，１４１４  サッケード検出部
１４０，４４０  眼電位変化量計算部
１５０  視野撮影部
１６０  動きベクトル検出部
１７０，２００，３００，４７０  ドリフト変化量推定部
１８０，４８０  ドリフト推定部
１４１，８０１  遅延信号生成部
１４３  停留判定部
１７１  眼電位変化量候補テーブル生成部
１７２，２０２，３０２  オフセット補正位置決定部
１８１，４８１，９２５，１４１６  スイッチ
１８２  加算器
１９０，４９０  ドリフト推定処理部
２０４  眼電位変化量メモリ
２０５  眼電位変化量候補テーブルメモリ
３０６  乗算器
４７２  眼電位変化量クリップ処理部
５０１，９２２，９２３  最大値フィルタ部
５０２，９２１，９２４  最小値フィルタ部
９１０  フィルタ処理内容決定部
９２０，１０２０，１１２０  フィルタ処理部
１４００，１９１０  眼電位計測部
１４１０，１６０３，１７０３，１８０３  視線検出装置
１４１１  較正部
１４１２  較正パラメータ更新指示部
１４１３  較正指標提示部
１４１５  較正パラメータ計算部
１６００  ウェアラブルカメラ
１６０１  撮像部
１６０２  撮像制御部
１７００  ヘッドマウントディスプレイ
１７０１  表示部
１７０２  表示制御部
１７０４  マウス
１７０５  アイコン
１８００  電子めがね
１８０１  レンズ
１８０２  焦点制御部
１９００  眼科診断装置
１９２０  診断部
【図１】
0005613528.tif 000003
【図２】
0005613528.tif 000004
【図３Ａ】
0005613528.tif 000005
【図３Ｂ】
0005613528.tif 000006
【図４】
0005613528.tif 000007
【図５】
0005613528.tif 000008
【図６】
0005613528.tif 000009
【図７】
0005613528.tif 000010
【図８】
0005613528.tif 000011
【図９】
0005613528.tif 000012
【図１０】
0005613528.tif 000013
【図１１】
0005613528.tif 000014
【図１２】
0005613528.tif 000015
【図１３Ａ】
0005613528.tif 000016
【図１３Ｂ】
0005613528.tif 000017
【図１４】
0005613528.tif 000018
【図１５】
0005613528.tif 000019
【図１６】
0005613528.tif 000020
【図１７】
0005613528.tif 000021
【図１８】
0005613528.tif 000022
【図１９】
0005613528.tif 000023
【図２０】
0005613528.tif 000024
【図２１】
0005613528.tif 000025
【図２２】
0005613528.tif 000026
【図２３】
0005613528.tif 000027
【図２４】
0005613528.tif 000028
【図２５】
0005613528.tif 000029
【図２６】
0005613528.tif 000030
【図２７】
0005613528.tif 000031
【図２８】
0005613528.tif 000032
【図２９】
0005613528.tif 000033
【図３０】
0005613528.tif 000034
【図３１】
0005613528.tif 000035
【図３２】
0005613528.tif 000036
【図３３】
0005613528.tif 000037
【図３４】
0005613528.tif 000038
【図３５】
0005613528.tif 000039
【図３６】
0005613528.tif 000040
【図３７】
0005613528.tif 000041
【図３８Ａ】
0005613528.tif 000042
【図３８Ｂ】
0005613528.tif 000043
【図３８Ｃ】
0005613528.tif 000044
【図３８Ｄ】
0005613528.tif 000045
【図３９】
0005613528.tif 000046
【図４０】
0005613528.tif 000047
【図４１】
0005613528.tif 000048
【図４２】
0005613528.tif 000049
【図４３】
0005613528.tif 000050
【図４４】
0005613528.tif 000051
【図４５】
0005613528.tif 000052
【図４６】
0005613528.tif 000053
【図４７】
0005613528.tif 000054
【図４８】
0005613528.tif 000055
【図４９】
0005613528.tif 000056
【図５０】
0005613528.tif 000057
【図５１】
0005613528.tif 000058
【図５２】
0005613528.tif 000059
【図５３Ａ】
0005613528.tif 000060
【図５３Ｂ】
0005613528.tif 000061
【図５４】
0005613528.tif 000062
【図５５】
0005613528.tif 000063
【図５６】
0005613528.tif 000064
【図５７】
0005613528.tif 000065
【図５８】
0005613528.tif 000066
【図５９】
0005613528.tif 000067
【図６０】
0005613528.tif 000068
【図６１】
0005613528.tif 000069
【図６２】
0005613528.tif 000070
【図６３】
0005613528.tif 000071
【図６４Ａ】
0005613528.tif 000072
【図６４Ｂ】
0005613528.tif 000073
【図６５】
0005613528.tif 000074
【図６６】
0005613528.tif 000075