(57)【要約】【課題】本発明は、視線を観察するだけで、被験者の戸惑いを自動的に検出することができる戸惑い検出方法を提供すること。【解決手段】戸惑い検出システム１は、被験者にディスプレー８から回答不能なトラップを含む質問を表示し、キーボード９、マウス１０から入力させる。特定の図形パターンの光源Ｐ１，Ｐ２が被験者の視界に置かれ、この光源が結像した角膜表面を視線検出用カメラ１２で撮像し、コンピュータ２により画像を解析して所定時間間隔で視線に位置を検出する。この視線の位置の変位から視線速度を求め、一連の視線速度の連続である視線速度履歴データを生成する。そして予め戸惑い状態のパターンを学習したニューラルネットワークにより視線速度履歴データをパターンマッチングを行い、戸惑いを判定する。【選択図】      図１
2004321621.tif 000002
【特許請求の範囲】
【請求項１】
入力手段と表示手段とを備えたコンピュータが、
所定時間間隔で視線検出手段により被験者の視線の位置を検出する視線位置検出のステップと、
検出した視線の位置の変化を視線速度データとして生成する視線速度データ生成のステップと、
所定個数の連続して生成された視線速度データを視線速度履歴データとして記憶する視線速度履歴データ記憶のステップと、
前記視線速度履歴データを所定のパターンと比較することで、被験者が戸惑いの状態であるか否かを判断する戸惑い判定のステップと
を実行することを特徴とする戸惑い検出方法。
【請求項２】
前記視線位置検出のステップにおいて、所定時間間隔が、２００分の１秒以上、１５分の１以下であることを特徴とする請求項１に記載の戸惑い検出方法。
【請求項３】
前記視線速度履歴データ記憶のステップにおいて、視線速度履歴データとして連続して検出される視線速度データの所定個数が少なくとも３０以上であることを特徴とする請求項１又は請求項２に記載の戸惑い検出方法。
【請求項４】
前記視線速度履歴データ記憶のステップにおいて、視線速度履歴データとして連続して検出される視線速度データの合計時間長が０．５秒以上５秒以下であることを特徴とする請求項１乃至請求項３のいずれか１項に記載の戸惑い検出方法。
【請求項５】
前記視線速度履歴データ記憶のステップにおいて、前記視線速度データ生成のステップで視線速度データを生成する毎に前記視線速度履歴データを生成し記憶することを特徴とする請求項１乃至請求項４のいずれか１項に記載の戸惑い検出方法。
【請求項６】
前記戸惑い判定のステップは、ニューラルネットワークを用いたパターンマッチングによることを特徴とする請求項１乃至請求項５のいずれか１項に記載の戸惑い検出方法。
【請求項７】
前記戸惑い判定のステップにおいて、前記ニューラルネットワークはフィードフォワード方式の階層型ニューラルネットワークであって、ノード関数がシグモイド関数を用いたことを特徴とする請求項６に記載の戸惑い検出方法。
【請求項８】
前記戸惑い判定のステップにおいて、比較される所定のパターンは、被験者に正解がない若しくは正解が重複する設問により解答を画面上で選択させるトラップを回答させる状態における前記視線速度履歴データに基づいて生成する学習のステップをさらに実行することを特徴とする請求項７に記載の戸惑い検出方法。
【請求項９】
前記学習のステップにおいて、前記トラップが表示されている時間中の特定の時間の視線速度履歴データのみを学習し、前記トラップが表示されている時間中の他の時間の視線速度履歴データは学習しないことを特徴とする請求項８に記載の戸惑い検出方法。
【請求項１０】
前記戸惑い判定のステップにおいて、被験者が戸惑いの状態であるか否かを判断する視線速度履歴データと所定のパターンとの比較は、所定の閾値を基準として一致又は不一致の２値で行われることを特徴とする請求項１乃至請求項９のいずれかに記載の戸惑い検出方法。
【請求項１１】
入力手段と表示手段とを備えたコンピュータに、
所定時間間隔で視線検出手段により被験者の視線の位置を検出する視線位置検出のステップと、
検出した視線の位置の変化を視線速度データとして生成する視線速度データ生成のステップと、
所定個数の連続して生成された視線速度データを視線速度履歴データとして記憶する視線速度履歴データ記憶のステップと、
前記視線速度履歴データを所定のパターンと比較することで、被験者が戸惑いの状態であるか否かを判断する戸惑い判定のステップと
を実行させることを特徴とする戸惑い検出プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、戸惑い検出方法及びプログラムに係り、詳しくは視線の観察のみで戸惑いの状態を自動検出する戸惑い検出方法に関するものである。
【０００２】
【従来の技術】
従来より、人間の感情などを外部観察により検出しようとする試みがなされていた。それは、例えばマン−マシン  インタフェースの改善のために、ユーザが操作上戸惑いを感じる操作をピックアップして問題点を抽出するためなどに用いられる。その方法としては、顔の位置、腕の動作、音声、筋肉の変化、発汗、心拍数、血圧或いは表情など様々なデータを検出して、これらの検出データに基づいて被験者の感情を推測していた。だが、１種類だけの検出データでは推測の精度が上がらず、複数の検出データに基づいて感情を推測するものが多かった。
【０００３】
そこで、特許文献１に示すような視線情報解析装置などが提案された。この視線情報解析装置では、眼球運動検出装置によって眼球の運動を検出し、解析装置によって検出された眼球の時系列変化を周波数領域で解析し、画像入力部画像入力部から入力された表示される画像の内容を表示内容解析装置で解析し、両者を統合解析部で統合処理をすることにより、被験者の心理的な観察状態、画像に対する客観的な評価について信頼性の高いデータを得るものである（要約参照）。このような視線情報解析装置であれば、画像を評価しようとする被験者の意思決定過程を、眼球運動の時間軸上で見た挙動の変化と、提示される画像内容と眼球運動との相関付けから推定し、人の画像に対する客観的な評価結果を得ることができる。なお、特許文献２には、視線の位置の検出の方法の一例が開示されている。
【０００４】
【特許文献１】
特開平６−１６２号公報  図１
【特許文献２】
特開平６−３１９７０１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、この視線情報解析装置では、画像内容が既知で、眼球の挙動が未知の場合、または眼球の挙動が既知で、画像内容が未知の場合、それぞれの未知量を予め記述された予測関数で推定することはできても、実際の戸惑いまでも検出できるものではないという問題があった。
【０００６】
上記課題を解決するため、本発明は、視線を観察するだけで、被験者の戸惑いを自動的に検出できる戸惑い検出方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に係る戸惑い検出方法では、入力手段と表示手段とを備えたコンピュータが、所定時間間隔で視線検出手段により被験者の視線の位置を検出する視線位置検出のステップと、検出した視線の位置の変化を視線速度データとして生成する視線速度データ生成のステップと、所定個数の連続して生成された視線速度データを視線速度履歴データとして記憶する視線速度履歴データ記憶のステップと、前記視線速度履歴データを所定のパターンと比較することで、被験者が戸惑いの状態であるか否かを判断する戸惑い判定のステップとを実行することを要旨とする。
【０００８】
この構成に係る戸惑い検出方法では、視線位置検出のステップで検出した視線の位置を、視線速度データ生成のステップで速度データとして生成し、視線速度履歴データ記憶のステップで視線速度履歴データとして記憶する。この視線速度履歴データを戸惑い判定のステップで所定のパターンと比較することで被験者が戸惑いの状態であるか否かを判断することができるという効果がある。
【０００９】
請求項２に係る戸惑い検出方法では、請求項１に記載の戸惑い検出方法の構成に加え、前記視線位置検出のステップにおいて、所定時間間隔が、２００分の１秒以上、１５分の１以下であることを要旨とする。
【００１０】
この構成に係る戸惑い検出方法では、請求項１に記載の戸惑い検出方法の効果に加え、視線位置検出のステップにおける所定時間間隔を２００分の１秒以上、１５分の１以下とすることで、被験者の戸惑いの検出を実用的な時間の遅れ無しに、かつコンピュータの処理量を過多にせず処理することができるという効果がある。特に３０分の１秒においては、最も好ましい結果を得ることができた。
【００１１】
請求項３に係る戸惑い検出方法では、請求項１又は請求項２に記載の戸惑い検出方法の構成に加え、前記視線速度履歴データ記憶のステップにおいて、視線速度履歴データとして連続して検出される視線速度データの所定個数が少なくとも３０以上であることを要旨とする。
【００１２】
この構成に係る戸惑い検出方法では、請求項１又は請求項２に記載の戸惑い検出方法の効果に加え、視線速度履歴データとして連続して検出される視線速度データの所定個数を少なくとも３０以上とすることで、所定のパターンとの比較をするために必要な情報量を確保することができるという効果がある。
【００１３】
請求項４に係る戸惑い検出方法では、請求項１乃至請求項３のいずれか１項に記載の戸惑い検出方法の構成に加え、前記視線速度履歴データ記憶のステップにおいて、視線速度履歴データとして連続して検出される視線速度データの合計時間長が０．５秒以上５秒以下であることを要旨とする。
【００１４】
この構成に係る戸惑い検出方法では、請求項１乃至請求項３のいずれか１項に記載の戸惑い検出方法の効果に加え、前記視線速度履歴データ記憶のステップにおける視線速度履歴データとして連続して検出される視線速度データの合計時間長を０．５秒以上とすることで精度の信頼性を確保し、５秒以下とすることで処理速度の向上や処理の負担の軽減をはかることで、戸惑いの状態を判断するのに必要かつ十分な時間とすることができるという効果がある。
【００１５】
請求項５に係る戸惑い検出方法では、請求項１乃至請求項４のいずれか１項に記載の戸惑い検出方法の構成に加え、前記視線速度履歴データ記憶のステップにおいて、前記視線速度データ生成のステップで視線の速度データを生成する毎に前記視線速度履歴データを生成し記憶することを要旨とする。
【００１６】
この構成に係る戸惑い検出方法では、請求項１乃至請求項４のいずれか１項に記載の戸惑い検出方法の効果に加え、視線速度履歴データ記憶のステップにおける視線速度履歴データを生成し記憶するタイミングを視線速度データ生成のステップで視線速度データを生成する毎にすることで、検出時間の遅れを生じることなく精度良く戸惑いの状態を判断することができるという効果がある。
【００１７】
請求項６に係る戸惑い検出方法では、請求項１乃至請求項５のいずれか１項に記載の戸惑い検出方法の構成に加え、前記戸惑い判定のステップは、ニューラルネットワークを用いたパターンマッチングによることを要旨とする。
【００１８】
この構成に係る戸惑い検出方法では、請求項１乃至請求項５のいずれか１項に記載の戸惑い検出方法の効果に加え、戸惑い判定のステップを、ニューラルネットワークを用いたパターンマッチングによることで、非線形の複雑なパターンの視線速度履歴をもつ戸惑いの状態でも高速かつ正確に検出することができるという効果がある。
【００１９】
請求項７に係る戸惑い検出方法では、請求項６に記載の戸惑い検出方法の構成に加え、前記戸惑い判定のステップにおいて、前記ニューラルネットワークはフィードフォワード方式の階層型ニューラルネットワークであって、ノード関数がシグモイド関数を用いたことを要旨とする。
【００２０】
この構成に係る戸惑い検出方法では、請求項６に記載の戸惑い検出方法の効果に加え、ノード関数をシグモイド関数とすることで、戸惑い状態の検出精度を高めることができるという効果がある。
【００２１】
請求項８に係る戸惑い検出方法では、請求項７に記載の戸惑い検出方法の構成に加え、前記戸惑い判定のステップにおいて、比較される所定のパターンは、被験者に正解がない若しくは正解が重複する設問により解答を画面上で選択させるトラップを回答させる状態における前記視線速度履歴データに基づいて生成する学習のステップをさらに実行することを要旨とする。
【００２２】
この構成に係る戸惑い検出方法では、請求項７に記載の戸惑い検出方法の効果に加え、戸惑い判定のステップにおいて、比較される所定のパターンを、被験者に対して、正解がない若しくは正解が重複する設問により解答を画面上で選択させるトラップを回答させることで、直ちにかつ確実に被験者に戸惑いの状態を導出させ、この状態を学習することで比較される所定パターンの精度を高めることができるという効果がある。
【００２３】
請求項９に係る戸惑い検出方法では、請求項８に記載の戸惑い検出方法の構成に加え、前記学習のステップにおいて、前記トラップが表示されている時間中の特定の時間の視線速度履歴データのみを学習し、前記トラップが表示されている時間中の他の時間の視線速度履歴データは学習しないことを要旨とする。
【００２４】
この構成に係る戸惑い検出方法では、請求項８に記載の戸惑い検出方法の効果に加え、学習のステップにおいて、トラップが表示されている時間中の特定の時間、例えば最初の視線速度履歴データのみを学習し、トラップが表示されている時間中の他の視線速度履歴データは学習しないことで戸惑いが現に生じている確度の高いデータのみを用いて学習させ、確度の低いデータを排除することで学習効果を高めることができるという効果がある。
【００２５】
請求項１０に係る戸惑い検出方法では、請求項１乃至請求項９のいずれかに記載の戸惑い検出方法の構成に加え、前記戸惑い判定のステップにおいて、被験者が戸惑いの状態であるか否かを判断する視線速度履歴データと所定のパターンとの比較は、所定の閾値を基準として一致又は不一致の２値で行われることを要旨とする。
【００２６】
この構成に係る戸惑い検出方法では、請求項１乃至請求項９のいずれか１項に記載の戸惑い検出方法の効果に加え、戸惑い判定のステップにおける視線速度履歴データのパターンと所定のパターンとのパターンマッチングによる比較を所定の閾値を基準として一致又は不一致の２値で出力させることで、処理量を軽減させ処理を高速化することができるという効果がある。
【００２７】
請求項１１に係る戸惑い検出プログラムでは、入力手段と表示手段とを備えたコンピュータに、所定時間間隔で視線検出手段により被験者の視線の位置を検出する視線位置検出のステップと、検出した視線の位置の変化を視線速度データとして生成する視線速度データ生成のステップと、所定個数の連続して生成された視線速度データを視線速度履歴データとして記憶する視線速度履歴データ記憶のステップと、前記視線速度履歴データを所定のパターンと比較することで、被験者が戸惑いの状態であるか否かを判断する戸惑い判定のステップとを実行させることを要旨とする。
【００２８】
この構成に係る戸惑い検出プログラムでは、コンピュータに視線位置検出のステップで検出させた視線の位置を、視線速度データ生成のステップで視線速度データとして生成させ、視線速度履歴データ記憶のステップで視線速度履歴データとして記憶させる。この視線速度履歴データを戸惑い判定のステップで所定のパターンと比較させることで被験者が戸惑いの状態であるか否かを判断する処理を実行させることができるという効果がある。
【００２９】
【発明の実施の形態】
以下、本発明を具体化した一実施形態である戸惑い検出システム１により実行される人の戸惑い検出方法を図１〜図１１に従って説明する。ここで、「戸惑い」とは、本実施形態においては、人がコンピュータ端末等の操作時において、どのように操作したらよいか判らなくなる困惑状態をいうものとする。図１は、戸惑い検出システム１の構成を示すブロック図である。
【００３０】
（ハード構成）
戸惑い検出システム１は、ＣＰＵ３、ＲＡＭ４、ＲＯＭ５を備えた周知のパーソナルコンピュータから構成されるコンピュータ２を備える。このコンピュータ２には、入出力を制御するインタフェース６を介して、外部記憶装置であるＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）７が接続されている。また、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ  Ｔｕｂｅ）やＬＣ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）からなる出力手段、表示手段であるディスプレー８を備える。なお、図示を省略したが検出を管理するためのモニタを備えてよく、また、出力手段としてプリンタなどを備えてもよい。また、入力手段であるキーボード９、マウス１０を備える。なお、シリアル入力が可能な他の入力手段を用いてもよい。また、被験者の全体を捉えるモニタカメラ１１と、被験者の眼球をアップで映し出す視線検出用カメラ１２と、視線認識対象の眼球Ｅの角膜上に結像させるための幾何学的な特徴を有する図形パターンの光源Ｐ１，Ｐ２を備える。
【００３１】
本実施形態の戸惑い検出システム１を構成するコンピュータ２は、図１では１つのＣＰＵ３を備えた１台のコンピュータ２により構成されているが、複数のＣＰＵを備え、或いは複数のコンピュータを備えて構成されてもよい。特に、ニューラルネットワークの処理は大量の演算を必要とするため、十分な能力を備えたものが望ましい。例えば、本発明者の実験では、動作クロック３ＧＨｚ程度のパーソナルコンピュータ４台で並列処理を行い、動作確認を行っている。また、処理を機能毎に複数のコンピュータに分散化してもよい。
【００３２】
図２はＨＤＤ７の記憶内容を模式的に示す図である。ＨＤＤ７は、ＯＳ（オペレーションシステム）７ａ、本発明の戸惑い検出プログラム７ｂや視線位置検出プログラム７ｃ等のプログラムが記憶される。また、戸惑いを示す視線速度履歴データのパターンが学習されたニューラルネットワーク７ｄ、さらに検出された視線速度データの一時保存ファイル７ｅ、ここから生成された視線速度履歴データのファイル７ｆなどのファイルが記憶される。
【００３３】
視線検出用カメラ１２、光源Ｐ１，Ｐ２は、視線速度検出のために視線の認識を行う。これらが本発明の視線検出手段の一部に相当する。視線認識に使われている特徴点としては、瞳孔、黒目、角膜反射像、水晶体反射像等様々なものが使われている。それらの中でも、角膜反射像は、輝度が高く抽出しやすいことから、非常によく使われている特徴点である。この特徴点を用いた視線認識技術の一つとしてアイマークレコーダがあげられる。これは、眼球の回転中心と眼球を観測する観測系と点光源の位置が固定されているという条件（具体的には、観測系、光源の付いた装置を頭部に固定する。）の下では、角膜反射像は眼球の回転に応じて移動するという性質を用いたものである。角膜上皮が球面の一部としてモデル化されている場合には、複数の角膜反射像の位置から角膜の曲率中心を求めることができる。
【００３４】
また、例えば、上述の特許文献２に開示されている視線認識装置などでは、頭部に検出のための装置を装着しなくても視線を認識することができる。本実施形態ではこの方法を例に視線の認識を説明し、詳細な説明は省略する。この視線の認識方法では、視線認識対象の眼球Ｅの角膜上に結像させるための幾何学的な特徴を有する図形パターンの光源Ｐ１、Ｐ２を被験者の視界の両サイドに被験者の眼球に照射する。角膜上に結像された図形パターンを撮像装置で撮像し、その結像した図形パターンの特徴・位置から眼球Ｅの角膜曲率中心を幾何学的に計算して求める。そして求められた眼球角膜曲率中心情報を用いて視線を認識する。
【００３５】
ここで、本実施態様の被験者の戸惑いの検出のための学習の概略について説明する。図３は、視線の位置を検出する方法を示す図である。まず、被験者はディスプレー８を見ながら、キーボード９、マウス１０が操作可能な状態で着座して待機する。このとき、図３に示すように被験者の眼球Ｅと略同じ高さの前方両サイドには、被験者の視界に入るように光源Ｐ１，Ｐ２が配置される。光源Ｐ１には十字形、光源Ｐ２には円形の光源パターンが形成されており、視線検出用カメラ１２により被験者の眼球に結像した光源パターンの映像を記録する。視線検出用カメラ１２は、例えばＣＣＤビデオカメラで、コンピュータ２に制御されて時刻情報とともにＨＤＤ７に映像のデータが記録される。
【００３６】
撮影された映像から図形パターンの特徴・位置がコンピュータ２によって認識され、眼球Ｅの角膜曲率中心が幾何学的に計算して求められる。そして求められた眼球角膜曲率中心情報を用いて視線を認識する。この際、眼球角膜曲率中心情報に加えて、瞳孔中心位置等の眼球の他の情報を用いて視線を認識する。このようにして本実施形態では、所定間隔、例えば３０分の１秒毎の間隔で視線が認識される。この手順が、本発明の所定時間間隔で視線検出手段により被験者の視線の位置を検出する視線位置検出のステップに相当する。
【００３７】
なお、本発明者の試行錯誤の結果、この視線位置検出のステップにおいては、所定時間間隔が、３０分の１秒が最も好ましいことがわかったが、少なくとも２００分の１秒以上、１５分の１以下の範囲内であればよい。１５分の１秒を超える時間間隔であっても視線の速度を把握できるが、それ以上の間隔であると、その時間間隔内に視線が往復した動きをした場合等の影響が大きくなりやすく、検出する速度の精度が下がり好ましくはない。一方、２００分の１秒以下であると、現状のコンピュータの処理能力では負担が大きくなる。もちろん将来的にコンピュータの処理能力が向上すれば２００分の１秒未満の時間間隔とすることも可能である。なお、眼球の動きは大きく視線を変える動きと、視線方向を保ったまま振動するような動きを示しているため、必ずしも戸惑いを検出するためには、間隔が短ければよいというわけではない。
【００３８】
そして、ここで認識された眼球角膜曲率中心の位置と、その３０分の１秒前に認識された眼球角膜曲率中心の位置の移動距離を視線速度として計測する。あるいは、このとき認識された視線の方向と３０分の１秒前に認識された視線の方向とから視線の角度の差を視線の角速度として計測する。そしてこれが１フレームの視線速度データとなる。この手順が、本発明の検出した視線の位置の変化を視線速度データとして生成する視線速度データ生成のステップに相当する。このとき測定時間は３０分の１秒で一定であるため、計測された角速度若しくは移動距離は、いずれも視線速度に比例する。
本発明でいう「視線速度」は、例えば、所定時間当たりの眼球中心からの角膜曲率中心の移動する角速度、若しくは眼球の角膜曲率中心の移動距離のいずれでもよい。視線速度の変化をパターンで判断するため、時系列に速度変化が把握できればよいからである。眼球全体は概ね球体であるから、いずれの数値であって、速度変化の傾向はほぼ同一となるから同等の精度が期待できるからである。また、眼球の正確な形状の把握の困難さなど、観測値が技術的な問題から理論的な真の数値に対して誤差が含まれていると考えられる場合がある。しかしそのような場合でも本発明では、速度変化のパターンマッチングにより判断するため、そのままの未加工の生データを用いることができ、あえて修正や加工をする必要がない。比較するいずれのパターンにも同等に誤差が含まれることになるからである。したがって、被験者による学習やテストなども、観測条件を同一にする限り極めて簡易な処理とすることができる。
【００３９】
次に、このように検出された視線速度データが視線速度履歴データとしてＨＤＤ７に記憶される。この「視線速度履歴データ」は、連続した５０フレームの視線速度データを１つの塊として「パターン」としたものである。つまり、３０分の１秒毎で５０フレームであるので、１つの視線速度履歴データのパターンは、およそ１．７秒の時間長となる。
【００４０】
３０分の１秒毎に集計する視線速度履歴データをシフトしながら直近の連続する５０フレーム分からこのパターンを生成する。この手順が、本発明の所定個数の連続して生成された視線速度データを視線速度履歴データとして記憶する視線速度履歴データ記憶のステップに相当する。視線速度履歴データ記憶のステップにおいて、視線速度生成のステップで視線の速度データを生成する毎に視線速度履歴データを記憶することが好ましい。ただし、処理の負担などを考慮して、視線の速度データを生成する毎ではなく、１つおき、あるいはそれ以上の間隔で視線速度履歴データを生成するようにすることもできる。戸惑いを検出する被験者から得たパターンを「比較パターン」、戸惑い状態が導出された被験者から学習して得たパターンを「戸惑いパターン」という。但し、「戸惑いパターン」は、ニューラルネットワークにより記憶された概念的なもので、視線速度履歴データとして顕在化されたものではない。
【００４１】
なお、本実施形態では、望ましい例として視線速度履歴データを構成する連続した視線速度データの数を５０フレームとしているが、視線速度履歴データとして連続して検出される速度データの所定個数が少なくとも３０以上であれば、十分な精度となる。また、本実施形態では、望ましい例として、１つの視線速度履歴データのパターンの時間長が、およそ１．７秒の時間長とされているが、視線速度履歴記憶データのステップにおいて、視線速度履歴データとして連続して検出される速度データの時間長が０．５秒以上５秒以下であれば好ましい。視線速度履歴データの時間長が０．５秒未満であるとサンプリングの時間間隔にもよるが、パターンとしてデータ不足になりやすい。一方、時間長が５秒を超えると、時間内に戸惑い状態が解消してしまう場合もあり、却って精度が低下する虞がある。
【００４２】
（トラップの表示）次に、戸惑い状態にある被験者の視線速度履歴データのパターンをニューラルネットワークが記憶するための「戸惑いパターン」を取得する「トラップ」による学習を説明する。本実施形態では、戸惑い判定のステップにおいて、「比較パターン」とパターンマッチングにより比較される戸惑い状態か否かの基準とされる所定のパターンである「戸惑いパターン」は、学習によりニューロネットワークの中にその特徴が取得される。この学習は、被験者に誤操作をしやすい操作をさせたり、「正解がない設問」若しくは「正解が重複する設問」により解答を画面上で選択させるトラップを回答させたりする。そして、戸惑い状態における視線速度履歴データを「教師」として、ニューラルネットワークに入力する。この手順は、本発明の学習のステップに相当する。学習においては、被験者にはコンピュータのモニタを見せながら、「戸惑い」導出用のプログラムが表示させるディスプレー８の画面の指示に従って、キーボード９、マウス１０からキー入力、マウス入力をさせる。本実施形態では、このプログラムで表示させる「戸惑い」導出用の画面を「トラップ」、このプログラムを「トラッププログラム」と呼ぶ。
【００４３】
（トラップＴ０）このトラッププログラムは、例えば、アプリケーションソフトウエアのインストール画面を模した画面を表示させる。被験者が通常馴染んでいるＯＳにより示されるアプリケーションソフトのインストール画面と同様の画面が連続して表示される。ここには、このＯＳで共通な画面が示され、例えば、操作に必要な「次へ」ボタン、「戻る」ボタン、「キャンセル」ボタンも、このＯＳに共通な配列で表示されている。ところが、図４に示すように、このトラップＴ０では、「次へ」ボタンＴ０ａと、「戻る」ボタンＴ０ｂが通常の配列とは逆になっている。同じような正しい配列のメッセージボックスが連続して出現した後で、全体としてはそれまでのメッセージボックスと同じであるが、トラップＴ０では、操作ボタンだけが図４に示すように通常の配列と異なった配列で表示される。そのため、被験者は操作ミスを起こしそうになり戸惑いを生じるか、さらに誤操作をしてしまった場合もやはり戸惑いを生じる。従って確実に「通常状態（戸惑いを生じていない状態）」にある被験者に「戸惑い状態（戸惑いを生じている状態）」を導出できる。
（トラップＴ１）また、図５に示すトラップＴ１では、「目標値」Ｔ１ａと「現在値」Ｔ１ｂが表示され、「現在値」Ｔ１ｂにボタンＴ１ｃ若しくはボタンＴ１ｄを選択してクリックすることでその選択した数が加算されて目標値にするものである。しかし、「現在値９」に対して「＋２」しても「−２」しても、「目標値１０」にはならないため、被験者は戸惑い状態となる。極めて、分かり易い設定であり、かつ被験者は与えられた条件では解決できないことが短時間にわかるため、戸惑い状態の発生が速やかで、発生時間が管理しやすいものである。
【００４４】
（トラップＴ２）図６に示すトラップＴ２では、正解の選択肢がある計算問題が順次示された後にトラップＴ２が表示される。トラップＴ２では問題Ｔ２ａに示された「２＋２＝？」という、瞬時に計算できる問題に対して、解答Ｔ２ｂが「５」、解答Ｔ２ｃが「６」、解答２ｄが「７」と、正解の「４」に当たる解答がない。一定時間後、正解が候補の中に出現する。従って、確実に被験者に戸惑い状態を導出することができる。
【００４５】
（トラップＴ３）図７に示すトラップＴ３では、指示項目Ｔ３ａに示された「次の数字を選択して下さい  ２８」という指示に対して、解答Ｔ３ｂが「２８」、解答Ｔ３ｃが「２８」、解答Ｔ３ｄが「２８」といずれも正解である。そのため、被験者は、これらの解答のいずれを選択すべきか根拠を見いだせず、極めて短時間に被験者に戸惑い状態を導出することができる。
【００４６】
（トラップＴ４）そして、図８に示すトラップＴ４では、図５に示すトラップＴ１と同様に、順次設問が表示されるが、現在値Ｔ４ｂを目標値Ｔ４ａにするための加算又は減算するボタンが表示されるべき設問であるにも拘わらず、解答に必要なボタン表示がなく、解答不能になる。この場合も被験者に直ちに戸惑い状態を導出させることができる。
【００４７】
以上例示したようなトラップＴ０〜トラップＴ４によれば、設定した時間に表示することで被験者に直ちに戸惑い状態を導出できる。そのため、確実に戸惑い状態の視線をサンプリングすることができ、確実に戸惑い状態にある中で視線速度履歴データを採取して入力し、適切な「教師」として学習させることができる。
【００４８】
（トラップ以外の戸惑い）なお、上記トラップは、戸惑い状態を所定時刻に確実に導出させることができるため、学習の効果を高めることができる。ただし、このようなトラップによらなくても、正しい操作であっても経験的に戸惑いを生じる操作、例えば、表示している意味が分かりにくい、或いは誤操作が著しく多い、被験者が操作を停止して考え込む等々明らかな戸惑い状態を生じている操作を再現して学習させることもできる。
【００４９】
このトラップＴ０〜Ｔ４では、短時間のうちに確実に被験者を戸惑い状態にできるが、必ずしもトラップを表示している間、ずっと被験者に戸惑い状態が継続されて導出されている訳ではない。つまり、トラップＴ０乃至トラップＴ４等を表示してから、被験者がこれを理解して戸惑い状態になるまでには被験者の違いやトラップの種類により若干のリードタームの差があり、さらに状況を理解し戸惑い状態が解消するまでにも時間差がある。そこで、学習のステップにおいて、トラップが表示されている時間中の特定の時間、例えば、表示から３秒経過したときを戸惑い状態としてサンプリングする。それ以外は、戸惑い状態か通常状態かの判別が困難であるため、戸惑い状態としても通常状態としても学習のデータとしてサンプリングしないようにする。このような構成とすることで、確実に適切な「教師」のみを学習させることで学習の精度を向上させている。ここで、図９は、学習のステップにおけるニューラルネットワークの学習を示す模式図である。ここでは、「Ｈ  ｉｓｔｏｒｙ  ｏｆ  ｅｙｅ  ｍｏｖｅｍｅｎｔ  ｓｐｅｅｄ」と表示された部分ＥＭが、視線速度を示し、網がけで表示された部分がトラップｔが表示された時間である。その下部の「０  ０  ０…１  」で表示された部分がサンプリングのタイミングを示す。ここに示すようにトラップｔが表示されるまでのサンプリングＳ０では通常状態を示す「０」としてサンプリングしている。また、トラップｔが表示された最初のサンプリングＳ１では、戸惑い状態を示す「１」のサンプルとして学習させるが、その後に続くサンプリングＳ２は、「０」とも「１」ともサンプリングしない。トラップｔの表示が終了した後はサンプリングＳ３で通常状態の「０」としてサンプリングする。
【００５０】
（戸惑い検出）次に、以上のような学習を行ったニューラルネットワークを用いて被験者の戸惑いを検出する方法について説明する。上述のように被験者は視線の検出を行える状態で、戸惑いを検出したい作業を行う。この作業は、パーソナルコンピュータのアプリケーションソフトの操作や、銀行のＡＴＭ（Ａｕｔｏｍａｔｅｄ−Ｔｅｌｌｅｒ  Ｍａｃｈｉｎｅ）の操作、その他機械の操作用コンソールなど、マン−マシン  インタフェースに関わるものが代表的なものである。これらは、操作時に戸惑いを生じないことがマン−マシン  インタフェースの向上に直接関係するためである。また、これらは操作の履歴が時間情報と共に再現しやすいからである。もちろん作業はこれらに限らず、印刷された文書や写真、映像などを見せたときの反応などを調べることもできる。本実施形態では、視線の認識を行うため、被験者が見ている対象物を画面表示しながら、その画像上でアイポイントを表示するようなこともできる。また、モニタカメラ１１により被験者自身の表情や、動作を映像として記録しておくこともできる。
【００５１】
本実施形態では、視線速度履歴データの作成と同時にモニタカメラ１１で被験者のデジタルビデオ映像を記録する。これは、時刻情報とともに記録され、時刻情報は、画面に時刻をスーパインポーズをしたり、視線速度履歴データとの同期をはかるために用いられる。このデジタルビデオ映像からは、被験者の態度、表情などが映し出され、戸惑い状態の発現との関連を観察できる。
【００５２】
もちろん、マルチ画面として、被験者が見ている表示画面、被験者の表情、被験者の眼球、観測された数値・パターン、戸惑いの発現の表示を同一画面に表示することも好ましい。
【００５３】
このような作業を行いつつ、前記視線速度履歴データをニューラルネットワークでパターンマッチングにより比較することで、被験者が戸惑いの状態であるか否かを判断する。この手順が本発明の戸惑い判定のステップに相当する。この手順はニューラルネットワークを用いたパターンマッチングにより、パターンが一致するとの判断、即ち、ニューラルネットワークが「１」を出力した場合は、戸惑い状態が発現していると判断する。また、パターンが一致しないと判断された場合は「０」が出力される。即ち、本実施形態では、戸惑い判定のステップにおいて、被験者が戸惑いの状態であるか否かを判断する視線速度履歴と所定のパターンとの比較は、所定の閾値を基準として一致を示す「１」、又は不一致を示す「０」の２値のいずれかで出力される。
【００５４】
本実施形態の戸惑い判定のステップでは、ニューラルネットワークにより戸惑いの判定をしている。そのため、他の方法に比較してパターンマッチングの精度が高く確実に戸惑いの発現を捉えることができる。本実施形態のニューラルネットワークは、教師あり学習アルゴリズムを備えた階層型ニューラルネットワークであって、入力された信号は内部で前向きのみに流れるフィードフォワード方式で処理される。また、ノード関数はシグモイド関数を用いている（図１１参照）。本発明者らは、トラップＴ０〜Ｔ４を用いた実験を行い、これらのデータを使ってニューラルネットワークによる戸惑い状態検出モデルを作成した。実験データを学習データとして使った結果、収束するモデルが作成された。そして学習後のニューラルネットワークの認識結果を図１０に示す。ここに示すように、全視線速度履歴ＷＨに対して、学習したトラップを示した部分ＰＴでは、検出結果ＤＲに示すように戸惑い状態として検出されている。さらに、実験データに５％のノイズを加えたデータを戸惑い状態検出モデルに与え、戸惑い状態の検出テストを行った。その結果、全ての戸惑い状態ポイントを特定することができた。
【００５５】
次に、作成した戸惑い状態検出ニューラルネットワークモデルを検証するために、未知データとして被験者１０人を対象にトラップＴ２の基本パターン画面を使って検証実験を行った。検証実験データをモデルに入力して戸惑い状態検出を行った。ここで図１２は、検証実験データをモデルに入力して未知の戸惑い状態の検出を行った結果を示す図である。図は、横軸が時間軸であり、上段の枠の部分が、戸惑い状態パターン画面であるトラップｔ１〜ｔ１０が表示されていた時間である。下段の下に伸びている線がモデルが戸惑い状態と判定した箇所を示している。その結果、図１２に示すように戸惑い状態検出モデルは、１０の未知のトラップｔ１〜ｔ１０に対して、ｔ１０以外は戸惑い状態を検出し、９０％の検出率を示した。
【００５６】
上記実施形態の戸惑い検出方法によれば、以下のような特徴を得ることができる。
・  上記戸惑い検出方法では、被験者の視線を観察するだけで、他の要素を含まずに被験者の戸惑いを検出することができるという効果がある。したがって、被験者に負担をかけず、かつ極めて容易に被験者の戸惑いを検出できる。このように戸惑いを正確に検出することで、通常の観察では摘出できない戸惑い状態の発生を客観的かつ確実に検出することで、マン−マシン  インターフェースの問題部分を摘出することができる。
【００５７】
・  また、戸惑い状態の判定にニューラルネットワークを用いているため、複雑な視線速度履歴データを的確に判断し、精度の高い検出をすることができるという効果がある。特に、本実施形態のニューラルネットワークは、パターンマッチングに適した教師あり学習アルゴリズムを備えた階層型ニューラルネットワークである。加えて入力された信号は内部で前向きのみに流れるフィードフォワード方式で処理され、ノード関数はシグモイド関数を用いている。そのため、パーソナルコンピュータなどを用いて、高い精度の判定を行うことができるという効果がある。
【００５８】
・  また、ニューラルネットワークの学習に、トラップＴ０〜Ｔ４を用いているため、精度の高い学習を行わせることができるという効果がある。
なお、上記実施形態は以下のように変更してもよい。
【００５９】
○  本実施形態では、戸惑い判定のステップを、フィードフォワード方式のニューラルネットワークを用いたパターンマッチングにより処理しているが、バックプロパゲーション（誤差逆伝播法）の学習アルゴリズムで行ってもよい。その他にも、ボルツマンマシン、これを簡易化した平均場近似学習マシンや、ＲＢＦネット（放射状基関数ネット）、学習ベクトル量子化、ファジー・アートマップ、コグニトロンなど種々の技法を採用又は応用しうるものである。
【００６０】
○  本実施形態では、戸惑い判定のステップを、入力信号の処理の流れでノード関数がシグモイド関数を用いたニューラルネットワークを用いているが、他にも閾値関数などを用い得る。また、シグモイド関数や閾値関数においても、さらに「ゆらぎ」をプラスした処理をしてもよく、入力和をそのまま出力する線形関数などによることも考えられる。また、ボルツマンマシンであれば傾きを次第に急にする。
【００６１】
【発明の効果】
以上、詳述したように、本願発明では、本発明は、視線を観察するだけで、被験者の戸惑いを自動的にかつ適切に検出できるという効果がある。
【図面の簡単な説明】
【図１】戸惑い検出システム１の構成を示すブロック図。
【図２】ＨＤＤ７の記憶内容を模式的に示す図。
【図３】視線の位置を検出する方法を示す図。
【図４】トラップＴ０を示す図。
【図５】トラップＴ１を示す図。
【図６】トラップＴ２を示す図。
【図７】トラップＴ３を示す図。
【図８】トラップＴ４を示す図。
【図９】ニューラルネットワークの学習を示す模式図。
【図１０】学習後の全視線速度履歴とトラップの位置と戸惑いの検出の関係を示す図。
【図１１】シグモイド関数の例を示す図。
【図１２】検証実験データをモデルに入力して未知の戸惑い状態の検出を行った結果を示す図。
【符号の説明】
１…戸惑い検出装置、２…コンピュータ、３…ＣＰＵ、４…ＲＡＭ、５…ＲＯＭ、６…インタフェース、７…ＨＤＤ、８…ディスプレー、９…キーボード、１０…マウス、１１…モニタカメラ、１２…視線検出用カメラ、Ｐ１，Ｐ２…光源、Ｔ０〜Ｔ４…トラップ
【図１】
2004321621.tif 000003
【図２】
2004321621.tif 000004
【図３】
2004321621.tif 000005
【図４】
2004321621.tif 000006
【図５】
2004321621.tif 000007
【図６】
2004321621.tif 000008
【図７】
2004321621.tif 000009
【図８】
2004321621.tif 000010
【図９】
2004321621.tif 000011
【図１０】
2004321621.tif 000012
【図１１】
2004321621.tif 000013
【図１２】
2004321621.tif 000014