(57)【要約】【課題】マイクロサッカードに基づいて注意レベルを推定する。【解決手段】モデル記憶部１０は、基準注意レベルを表す情報および注意レベルの低下を表す情報を記憶する。眼球情報取得部１１は、対象者の眼の動的な変化を取得する。マイクロサッカード検出部１２は、眼の動的な変化からマイクロサッカードの発生時刻を検出する。推定部１３は、基準注意レベルを表す情報および注意レベルの低下を表す情報に基づいてマイクロサッカードの発生時刻から注意レベルを推定する。【選択図】図２
2019111291.tif 000002
【特許請求の範囲】
【請求項１】
基準注意レベルを表す情報と注意レベルの低下を表す情報とを記憶するモデル記憶部と、
対象者の眼の動的な変化を取得する眼球情報取得部と、
上記眼の動的な変化からマイクロサッカードの発生時刻を検出するマイクロサッカード検出部と、
上記基準注意レベルを表す情報と上記注意レベルの低下を表す情報とに基づいて上記マイクロサッカードの発生時刻から注意レベルを推定する推定部と、
を含む注意レベル推定装置。
【請求項２】
請求項１に記載の注意レベル推定装置であって、
上記基準注意レベルを表す情報は、平均的な注意レベルを表す関数であり、
上記注意レベルの低下を表す情報は、マイクロサッカードの発生に伴う注意レベルの低下を表す関数であり、
上記推定部は、上記平均的な注意レベルを表す関数に対して上記マイクロサッカードの発生時刻において上記注意レベルの低下を表す関数を畳み込んで上記注意レベルを推定するものである、
注意レベル推定装置。
【請求項３】
請求項２に記載の注意レベル推定装置であって、
上記注意レベルの低下を表す関数は、マイクロサッカードが発生した時刻の直後に注意レベルを単調減少させ、その後、時間の経過と共に徐々に注意レベルを単調増加させる関数である、
注意レベル推定装置。
【請求項４】
請求項３に記載の注意レベル推定装置であって、
上記注意レベルの低下を表す関数は、単調減少時の勾配は大きく、単調増加時の勾配は小さい、
注意レベル推定装置。
【請求項５】
表示装置へ所定の画像を表示する表示制御部と、
対象者の眼の動的な変化に関する時系列情報を取得する眼球情報取得部と、
上記眼の動的な変化に関する時系列情報からマイクロサッカードに基づく特徴量を抽出する特徴量抽出部と、
対象者が上記所定の画像に反応して行う所定の入力を受け付ける入力部と、
上記所定の画像が表示された時刻と上記所定の入力があった時刻とから反応速度を表す指標を計測する計測部と、
上記マイクロサッカードに基づく特徴量と上記反応速度を表す指標とに基づいてマイクロサッカードによる注意レベルの低下を表す情報を学習する学習部と、
を含む注意レベル推定モデル学習装置。
【請求項６】
請求項５に記載の注意レベル推定モデル学習装置であって、
上記学習部は、
上記注意レベルの低下を表す情報と上記マイクロサッカードに基づく特徴量とをパラメータとする関数の関数値である注意レベル推定値と、上記反応速度を表す指標に関する広義単調減少関数値である注意レベルの観測値との差が小さくなるように、上記注意レベルの低下を表す情報を繰り返し更新することにより、上記注意レベルの低下を表す情報を学習するものであり、
上記注意レベルの低下を表す情報と上記マイクロサッカードに基づく特徴量とをパラメータとする関数は、所定の注意レベルである基準注意レベルを基準として、直前のマイクロサッカードの発生時刻後に急激に注意レベルを低下させ、時間の経過と共に徐々に注意レベルを単調増加させるものである
ことを特徴とする注意レベル推定モデル学習装置。
【請求項７】
モデル記憶部に、基準注意レベルを表す情報と注意レベルの低下を表す情報とが記憶されており、
眼球情報取得部が、対象者の眼の動的な変化を取得し、
マイクロサッカード検出部が、上記眼の動的な変化からマイクロサッカードの発生時刻を検出し、
推定部が、上記基準注意レベルを表す情報と上記注意レベルの低下を表す情報とに基づいて上記マイクロサッカードの発生時刻から注意レベルを推定する、
注意レベル推定方法。
【請求項８】
表示制御部が、表示装置へ所定の画像を表示し、
眼球情報取得部が、対象者の眼の動的な変化に関する時系列情報を取得し、
特徴量抽出部が、上記眼の動的な変化に関する時系列情報からマイクロサッカードに基づく特徴量を抽出し、
入力部が、対象者が上記所定の画像に反応して行う所定の入力を受け付け、
計測部が、上記所定の画像が表示された時刻と上記所定の入力があった時刻とから反応速度を表す指標を計測し、
学習部が、上記マイクロサッカードに基づく特徴量と上記反応速度を表す指標とに基づいてマイクロサッカードによる注意レベルの低下を表す情報を学習する、
注意レベル推定モデル学習方法。
【請求項９】
請求項１から４のいずれかに記載の注意レベル推定装置または請求項５または６に記載の注意レベル推定モデル学習装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人間の目の動き（マイクロサッカード）に基づいて、注意の状態（注意レベル）を推定する技術に関する。
【背景技術】
【０００２】
非特許文献１には、「文字の識別」という課題におけるマイクロサッカードの方向と提示された課題に対する反応の速さとの間に相関があることが開示されている。具体的には、個々のマイクロサッカードの発生時刻の近傍で、提示された課題に対する対象者の反応速度が遅くなることが報告されている。また、課題が難しくなるとマイクロサッカードの発生頻度が低くなること、および、マイクロサッカードの方向が注意の方向とよく一致することが開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Alexander Pastukho and Jochen Braun, “Rare but precious: Microsaccades are highly informative about attentional allocation”, Vision Research, Vol. 50, Issue 12, pp. 1173-1184, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１にはマイクロサッカードの方向と注意の方向との相関性は開示されているが、注意の状態（注意レベル）とマイクロサッカードとの相関性は明らかにされていない。したがって、マイクロサッカードに基づいて時々刻々と変化する注意の状態とそれに伴う運動特性（反応速度や反応の正確性）を推定することはできなかった。
【０００５】
この発明の目的は、上記のような点に鑑みて、マイクロサッカードに基づいて注意レベルを推定する技術を実現することである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、この発明の第一の態様の注意レベル推定装置は、基準注意レベルを表す情報と注意レベルの低下を表す情報とを記憶するモデル記憶部と、対象者の眼の動的な変化を取得する眼球情報取得部と、眼の動的な変化からマイクロサッカードの発生時刻を検出するマイクロサッカード検出部と、基準注意レベルを表す情報と注意レベルの低下を表す情報とに基づいてマイクロサッカードの発生時刻から注意レベルを推定する推定部と、を含む。
【０００７】
上記の課題を解決するために、この発明の第二の態様の注意レベル推定モデル学習装置は、表示装置へ所定の画像を表示する表示制御部と、対象者の眼の動的な変化に関する時系列情報を取得する眼球情報取得部と、眼の動的な変化に関する時系列情報からマイクロサッカードに基づく特徴量を抽出する特徴量抽出部と、対象者が所定の画像に反応して行う所定の入力を受け付ける入力部と、所定の画像が表示された時刻と所定の入力があった時刻とから反応速度を表す指標を計測する計測部と、マイクロサッカードに基づく特徴量と反応速度を表す指標とに基づいてマイクロサッカードによる注意レベルの低下を表す情報を学習する学習部と、を含む。
【発明の効果】
【０００８】
この発明によれば、マイクロサッカードに基づいて時々刻々と変化する注意レベルを推定することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、注意レベル低下関数を説明するための図である。
【図２】図２は、注意レベル推定装置の機能構成を例示する図である。
【図３】図３は、注意レベル推定方法の処理手続きを例示する図である。
【図４】図４は学習処理および推定処理を例示するための概念図である。
【図５】図５Ａは注視点の移動の様子を説明するための概念図である。図４Ｂは視野角の時系列データをマーク付き点過程に変換する様子を説明するための図である。図４Ｃはマイクロサッカードに基づく特徴量を説明するための図である。
【図６】図６は、注意レベル推定モデル学習装置の機能構成を例示する図である。
【図７】図７は、注意レベル推定モデル学習方法の処理手続きを例示する図である。
【図８】図８Ａは、ある被験者の試行毎の実験結果を示す図である。図８Ｂは、被験者全体の実験結果を示す図である。
【発明を実施するための形態】
【００１０】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１１】
＜原理＞
人間に所定のタスクを実行させたときのタスクに対する反応速度や反応の正確性は、そのタスクへの注意の状態（注意レベル）に依存すると考えられる。つまり、注意レベルが高いほど、タスクに対する反応速度や反応の正確性は高くなる傾向にあると考えられる。一方、注意を向けている状態においても、マイクロサッカードが発生すると、その近傍の時刻では注意レベルが低下し、タスクに対する反応速度や反応の正確性が低下することが知られている。そこで、本発明ではマイクロサッカードに着目して、時々刻々と変化する注意レベルをモデル化する方法を提案する。これにより、時刻毎に注意レベルを推定可能とするものである。
【００１２】
＜注意レベルのモデル化＞
マイクロサッカードを考慮しない平均的な注意レベルを表す関数をf0(t)とする。ここで、tは時刻を表す。以降、f0(t)を基準注意レベル関数と呼ぶこととする。基準注意レベル関数f0(t)は、基準となる注意レベル近傍の値を維持する関数であればよく、例えば、固定値であってもよいし、固定値近傍で増減を繰り返す正弦波のような関数であってもよい。基準注意レベル関数f0(t)の設計（学習）方法については後述する。
【００１３】
マイクロサッカードの発生に伴う注意レベルの低下を表す関数をL(τ)とする。L(τ)はマイクロサッカードが発生した時刻の直後に注意レベルを単調減少させ、その後、時間の経過と共に徐々に注意レベルを単調増加させるような関数である。τは対応するマイクロサッカードの発生時刻からの経過時間を表す。以降、L(τ)を注意レベル低下関数と呼ぶこととする。注意レベル低下関数L(τ)は、図１に示すように、単調減少時の勾配は大きく（すなわち、急激に注意レベルが低下する）、単調増加時の勾配は小さい（すなわち、緩やかに注意レベルが回復する）関数が好ましい。例えば、時刻tiで発生したマイクロサッカードに対応する注意レベル低下関数Li(τ)は以下のような関数である。
【００１４】
【数１】
2019111291.tif 000003
【００１５】
ここで、αおよびlpeakは関数Li(τ)の形を決定するパラメータである。図１に示すように、αはマイクロサッカード発生後注意レベルが最も低下するまでの時間であり、lpeakは注意レベルが最も低下したときの低下幅である。αおよびlpeakはマイクロサッカードのパラメータAi, ζi, ωiを用いた下記の関数により表現される。
【００１６】
【数２】
2019111291.tif 000004
【００１７】
なお、Aiは時刻tiで発生した対象者のマイクロサッカードの振幅、ζiは減衰係数、ωiは固有角振動数を表す。マイクロサッカードのパラメータの詳細は後述する。
【００１８】
例えば、対象者の注意レベルLiは、その直近のマイクロサッカードのパラメータ(τi, Ai, ζi, ωi)を用いて、次式により推定することができる。ここで、直近のマイクロサッカードのパラメータAi, ζi, ωiとは、注意レベルの評価対象となる時刻の最も直近で発生したマイクロサッカードの振幅、減衰係数、固有角振動数であり、τiはそのマイクロサッカードから評価時刻までの時間差を表す。
【００１９】
【数３】
2019111291.tif 000005
【００２０】
αおよびlpeakを決定するパラメータ(c1, c2, …, c8)は、個人毎に設定しておくものであり、例えば後述する学習等により推定した最適値を設定しておけばよい。
【００２１】
すべてのマイクロサッカードを考慮した注意レベルのモデルf(t)は、基準注意レベル関数f0(t)に対して、マイクロサッカードの発生時刻t0, t1, t2, …それぞれにおいて注意レベル低下関数Li(τ)（i=0, 1, 2, …）を畳み込んだ関数を乗算した関数としてモデル化する。
【００２２】
【数４】
2019111291.tif 000006
【００２３】
δ(t)はデルタ関数であり、下記の性質を満たすものとする。
【００２４】
【数５】
2019111291.tif 000007
【００２５】
＜第一実施形態＞
この発明の第一実施形態は、対象者の眼の動的な変化に基づく特徴量と注意レベルとの関係を学習した注意レベル推定モデルを用いて、対象者の眼の動的な変化から対象者の注意レベルを推定する注意レベル推定装置および方法である。
【００２６】
「対象者」は眼が動的に変化する動物であれば、ヒトであってもよいし、ヒト以外の動物であってもよい。「眼の動的な変化」は、眼球自体の動き（眼球の位置の経時変化）であってもよいし、瞳孔の動き（瞳孔径の経時変化）であってもよい。「特徴量」はどのようなものであってもよく、スカラであってもよいし、複数の要素からなるベクトルであってもよい。「特徴量」は、例えば眼球の動きに表れる「サッカード」に基づく特徴量（「サッカード」の特徴に対応する情報）を含む。眼球の動きに表れる「サッカード」に基づく特徴量としては、眼球の運動方向に基づく特徴量、眼球運動の振幅の絶対値に基づく特徴量、眼球運動の減衰係数に基づく特徴量、眼球運動の固有角振動数に基づく特徴量、眼球のサッカードの発生タイミングに基づく特徴量などを例示できる。「サッカード」はマイクロサッカード（micro saccade）とラージサッカード（large saccade）とがあるが、本実施形態ではマイクロサッカードである例を説明する。「特徴量」が、同一の「対象者」の一方の眼（例えば、右眼）の動的な変化に由来する値と他方の眼（例えば、左眼）の動的な変化に由来する値との相対量に基づく特徴量を含んでもよい。「αとβとの相対量」は、例えば、αとβとの差分、αからβを減じた値、βからαを減じた値、αをβで除した値、もしくはβをαで除した値、またはそれらの何れかの関数値である。「相対値に基づく特徴量」は、例えば、「相対値」もしくはその関数値、「相対値」もしくはその関数値を要素としたベクトル、または、それらの何れかの関数値である。
【００２７】
「注意レベル推定モデル」は、「眼の動的な変化」に基づく「特徴量」の変数と「注意レベル」に対応する情報の変数との関係を表すモデルである。「注意レベル推定モデル」は、「推定結果」を得る際に逐次的に更新されてもよいし、「推定結果」を得る前に事前に得られていてもよい。「注意レベル推定モデル」は、例えば統計モデルや確率モデルであり、「特徴量」の変数が与えられた場合における「注意レベル」に対応する情報の変数の条件付き分布を表すモデルであってもよいし、「特徴量」の変数と「注意レベル」に対応する情報との関係を表す状態空間モデルであってもよい。例えば、注意レベル推定モデルは、「注意レベル」に対応する情報がｒであったときに、眼の動的な変化に基づく特徴を表すκ（例えば、マイクロサッカードの持つ特徴を表すマークκ）をもつ事象が発生する頻度h(r, κ)（例えば、単位時間当たりの発生率である条件付強度関数）に基づいて得られる統計モデル（例えば、h(r, κ)そのもの）である。その他、重回帰分析、k-means、サポートベクターマシーン（SVM: Support Vector Machine）、単純クラスタリング、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングなどを利用した「注意レベル推定モデル」が用いられてもよい。
【００２８】
第一実施形態の注意レベル推定装置１は、図２に示すように、モデル記憶部１０、眼球情報取得部１１、マイクロサッカード検出部１２、および推定部１３を備える。この注意レベル推定装置１が図３に示す各ステップの処理を実行することにより、第一実施形態の注意レベル推定方法が実現される。
【００２９】
注意レベル推定装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。注意レベル推定装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。注意レベル推定装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。注意レベル推定装置１の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。注意レベル推定装置１が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
【００３０】
以下、図３を参照して、第一実施形態の注意レベル推定装置１が実行する注意レベル推定方法について説明する。
【００３１】
モデル記憶部１０には、基準注意レベルを表す情報とマイクロサッカードによる注意レベルの低下を表す情報とが記憶されている。基準注意レベルを表す情報とは、上述の基準注意レベル関数f0(t)のパラメータである。マイクロサッカードによる注意レベルの低下を表す情報とは、上述の注意レベル低下関数L(τ)のパラメータである。上述の通り、注意レベル低下関数L(τ)のパラメータαとｌpeakは式(2)(3)により与えられるので、この式(2)(3)のパラメータである(c1, c2, …, c8)をモデル記憶部１０に記憶しておいてもよいし、αとｌpeakを記憶しておいてもよい。基準注意レベルを表す情報とマイクロサッカードによる注意レベルの低下を表す情報とは予め何らかの手法により与えておけばよく、例えば、後述する注意レベル推定モデル学習装置２を用いて学習により求めておくことができる。
【００３２】
ステップＳ１１において、眼球情報取得部１１は、各離散時間tにおける対象者９の眼の動的な変化に関する情報を取得する。「眼の動的な変化」は、眼球自体の動き（眼球の位置の経時変化）であってもよいし、瞳孔の動き（瞳孔径の経時変化）であってもよいし、それら両方であってもよい。眼球情報取得部１１は、両眼の動的な変化に関する時系列情報を取得してもよいし、何れか一方の眼の動的な変化に関する時系列情報を取得してもよい。眼球情報取得部１１は、取得した眼の動的な変化に関する情報をマイクロサッカード検出部１２へ出力する。
【００３３】
対象者９の「眼球自体の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者９の眼を撮影して得られた映像に基づいて得られる。眼球情報取得部１１は、例えば、撮影された映像を画像処理することで、所定の時間区間であるフレーム毎（例えば、1000Hzのサンプリング間隔）の眼球の位置の時系列を眼球の動きに関する時系列情報として取得する。眼球情報取得部１１は、撮像装置と画像処理アルゴリズムを実行するコンピュータなどによって実現されてもよいし、撮像装置を外部装置として、撮像装置から入力された画像を画像処理するアルゴリズムを実行するコンピュータなどによって実現されてもよい。あるいは、眼球情報取得部１１は、電極を用いた電位計測法を用いて眼球の動きを測定し、その測定結果に基づいて「眼球自体の動き」に関する時系列情報を取得してもよい。この場合、眼球情報取得部１１は、測定装置（電極を含む）と測定装置が測定した電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよいし、測定装置を外部装置として、測定装置から入力された電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよい。
【００３４】
対象者９の「瞳孔の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者９の眼を撮影して得られた映像に基づいて得られる。この場合、眼球情報取得部１１は、撮影された映像を画像処理することで、フレーム毎（例えば、1000Hzのサンプリング間隔）の瞳孔の大きさの時系列を瞳孔の動きに関する時系列情報として取得する。眼球情報取得部１１は、例えば瞳孔を撮影した画像に対して、瞳孔に円をフィッティングし、当該フィッティングした円の半径を瞳孔径として用いることができる。瞳孔径は微細に変動するため、眼球情報取得部１１は、所定の時間区間ごとにスムージング(平滑化)した瞳孔径の値を用いれば好適である。眼球情報取得部１１が取得する「瞳孔の動きに関する時系列情報」は、瞳孔の大きさに対応する値の時系列であればどのようなものであってもよい。例えば、「瞳孔の動きに関する時系列情報」は、z-scoreで表現された瞳孔径の時系列であってもよいし、瞳孔径の値そのものの時系列であってもよいし、瞳孔の面積や直径の時系列であってもよい。
【００３５】
ステップＳ１２において、マイクロサッカード検出部１２は、時刻t毎に眼球情報取得部１１が出力した眼の動的な変化に関する情報に基づいて、マイクロサッカードの発生の有無を検出する。マイクロサッカード検出部１２は、マイクロサッカードの発生を検出した場合、その時刻（すなわち、マイクロサッカードの発生時刻）を推定部１３へ出力する。
【００３６】
マイクロサッカードとは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード（フリックといってもよい）を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図４〜５を用いてマイクロサッカードを例示する。図４の最上段の図および図５ＡではマイクロサッカードＭＳ１〜ＭＳ３を太線で強調して示す。マイクロサッカードはある一点を注視している状態において、１〜２秒の間に１回程度、個人の意思とは関係なく（不随意に）表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者９の顔に対しての水平方向（眼球の配列方向であり、横方向、幅方向といってもよい）や眼球情報取得部１１において水平方向と定義された方向を含む概念である。
【００３７】
ステップＳ１３において、推定部１３は、モデル記憶部１０に記憶された基準注意レベルを表す情報と注意レベルの低下を表す情報とに基づいて、マイクロサッカード検出部１２が出力したマイクロサッカードの発生時刻から注意レベルを推定する。具体的には、基準注意レベルを表す情報から基準注意レベル関数f0(t)を、時刻tiにおいて発生したマイクロサッカードによる注意レベルの低下を表す情報から注意レベル低下関数Li(τ)を構成し、マイクロサッカードの発生時刻t0, t1, t2, …それぞれにおいて注意レベル低下関数Li(τ)（i=0, 1, 2, …）を畳み込んだ関数と基準注意レベル関数f0(t)とを用い、式(5)に基づいて、推定したい時刻における注意レベルの推定値f(t)を得る。
例えば、推定部１３は、モデル記憶部１０に(c1, c2, …, c8)と基準注意レベル関数f0(t)とが記憶されている場合には、モデル記憶部１０から読み込んだパラメータ(c1, c2, …, c8)と、基準注意レベル関数f0(t)と、眼球情報取得部１１で取得した対象者９の眼の動的な変化に関する情報から求めたすべてのマイクロサッカードの特徴量Ai, ζi, ωiとから、式(2)〜(6)により注意レベルの推定値fを得る。
【００３８】
＜第二実施形態＞
注意レベル推定装置１のモデル記憶部１０に記憶されている基準注意レベルを表す情報およびマイクロサッカードによる注意レベルの低下を表す情報は予め何らかの手法により与えておけばよいが、例えば、以下で説明する注意レベル推定モデル学習装置２が学習することにより求めることができる。
【００３９】
第二実施形態の注意レベル推定モデル学習装置２は、図６に示すように、表示制御部２１、眼球情報取得部２２、特徴量抽出部２３、入力部２４、計測部２５、学習部２６、およびモデル記憶部１０を備える。この注意レベル推定モデル学習装置２が図７に示す各ステップの処理を実行することにより、第二実施形態の注意レベル推定モデル学習方法が実現される。
【００４０】
注意レベル推定モデル学習装置２は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。注意レベル推定モデル学習装置２は、例えば、中央演算処理装置の制御のもとで各処理を実行する。注意レベル推定モデル学習装置２に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。注意レベル推定モデル学習装置２の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。注意レベル推定モデル学習装置２が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
【００４１】
以下、図７を参照して、第二実施形態の注意レベル推定モデル学習装置２が実行する注意レベル推定モデル学習方法について説明する。
【００４２】
ステップＳ２１において、表示制御部２１は、モニタ等の表示装置８へランダムに対象物の画像を提示するよう制御を行う。表示装置８は、表示制御部２１の制御に従い、所定のタイミングで所定の画像を表示画面内の所定の位置に表示する。提示する画像は予め用意して注意レベル推定モデル学習装置２内に記憶しておく。表示制御部２１は、同時に、対象物の画像を表示装置８へ表示した時刻TOの情報を特徴量抽出部２３、計測部２５、および学習部２６へ出力する。
【００４３】
表示装置８は対象者９の前に設置される。表示制御部２１は、例えば、表示装置８の画面中央に十字の注視点を表示しておき、その注視点上に黒点を所定の時間間隔で所定の時間長だけ表示するように制御する。対象者９は、表示装置８の画面中央を注視しており、黒点が表示されたらできるだけ早く所定のボタン（入力部２４に相当）を押下する。上記のタスクを複数回繰り返し試行する。
【００４４】
表示制御部２１が対象者９へ提示する画像は上記に限定されず、例えば、自動車が道路を走る場面を自動車の後方から撮影した映像としてもよい。この場合、自動車がブレーキを掛けたことを対象者９が知覚したら所定のボタン（入力部２４に相当）を押下するタスクとすればよい。要するに、表示制御部２１は、対象者９に対してランダムな時刻に所定の視覚刺激を提示するよう制御するものであり、対象者９は視覚刺激が提示されたら所定のタスク（上述の例ではボタンを押下する）を行う。このように、対象者９が所定の刺激（この例では視覚刺激）に注意を向けておく必要のあるタスクであって、その反応の速さや正確性を図ることができるものであれば、行わせるタスクは何でも良い。例えば、視覚刺激の代わりに聴覚刺激や触覚刺激を与えてもよいし、行わせるタスクもボタンを押下する以外の所定の動作を行わせるようなものであってもよい。
【００４５】
ステップＳ２２において、眼球情報取得部２２は、注意レベル推定装置１の眼球情報取得部１１と同様に、各離散時間tにおける対象者９の眼の動的な変化に関する情報を取得し、特徴量抽出部２３へ出力する。
【００４６】
ステップＳ２３において、特徴量抽出部２３は、眼球情報取得部２２が出力した眼の動的な変化に関する時系列情報から、表示装置８が対象物の画像を表示画面上に表示した時刻TO近傍の所定時間区間における眼の動的な変化を表す特徴量κ(t)を得る。例えば、特徴量抽出部２３は、各時間区間Ftにおいて、対象者９のマイクロサッカードに基づく特徴を表すマークκt,1, …, κt,dを要素としたスカラまたはベクトルを特徴量κ(t)=(κt,1, …, κt,d)として抽出する（図５Ａおよび図５Ｂ）。ただし、dは1以上の整数であり、特徴量κ(t)がスカラである場合にはd=1であり、特徴量κ(t)がベクトルである場合にはd≧2である。マイクロサッカードをマーク付き点過程で表現する場合、特徴量κ(t)は必ずしも同じ長さ（同じd）となるとは限らない。マーク付き点過程で表現する場合、特徴量κ(t)は時間区間Ft内で発生したマイクロサッカードのマークの集合を表すため、すべての離散時間tでdが同一となることは通常ない。時間区間Ft内でマイクロサッカードが発生しなければd=0となり、この場合には特徴量κ(t)は空集合となる。すなわち、空集合の特徴量κ(t)は、時間区間Ft内でマイクロサッカードが発生しなかったことを表す。あるいは、時間区間Ft内でマイクロサッカードが発生しなかった場合に、特徴量κ(t)を特殊な定数に設定してもよい。特徴量抽出部２３は、得た特徴量κ(t)を学習部２６へ出力する。
【００４７】
本実施形態では、眼球自体の動きに基づく特徴量として、マイクロサッカードに基づく特徴量を用いるものとする。この場合、特徴量抽出部２３は、例えば眼球の位置の時系列について１次階差系列を計算し、１次階差系列の絶対値が所定の第１閾値を上回った時刻を、マイクロサッカードの開始時刻（発生時刻）として検出すればよい。ただし１次階差系列の絶対値が所定の閾値を上回る時間の長さが所定の値（通常３ミリ秒程度）以上持続しない場合は、検出から除外する。また、後述の基準振幅Aが所定の閾値（通常視野角２度程度）以上の場合はラージサッカードとして、検出から除外する。特徴量抽出部２３は、取得された眼球の位置情報にノイズが多く含まれると判定した場合などには、１次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の６倍程度の値を用いることが好ましい。
【００４８】
マイクロサッカードの特徴としては、マイクロサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値|A|、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Aoの絶対値|Ao|、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ωｎ、マイクロサッカードの単位時間（例えば１秒）あたりの発生回数Rmなどを例示でき、これらの少なくとも何れかをマイクロサッカードに基づく特徴量の要素（マーク）とできる。
【００４９】
時間区間Ftで発生したマイクロサッカードの発生タイミングに基づく値Zは、例えば、時間区間Ftの開始時刻Miであってもよいし、基準となる時間区間RFtに対応するマイクロサッカードの発生時刻RMtと開始時刻Miとの時間差|RMt-Mi|であってもよいし、開始時刻Miまたは時間差|RMt-Mi|の関数値g(Mi)またはg(|RMt-Mi|)であってもよい。基準となる時間区間RFtは時間区間Ftに対応し、例えばRFt=Ft-1である。関数値g(Mi)またはg(|RMt-Mi|)に限定はないが、例えば、代表値Miまたは時間差|RMt-Mi|が大きくなるほど小さくなり、負とならず、特異点を持たない関数の関数値を用いることができる。関数値g(Mi)の例は1/Miやexp(-Mi)などである。「exp」はネイピア数を底とする指数関数を表す。g(|RMt-Mi|)の例は1/｜RMt−Mi｜やexp(-|RMt-Mi|)などである。ただし、Miや|RMt-Mi|が0の場合には1/Miや1/|RMt-Mi|は∞となる。そのため、Miや|RMt-Mi|が0となるときにg(Mi)やg(|RMt-Mi|)を0としてもよい。このような時間区間Ftで発生したマイクロサッカードの発生タイミングに基づく値Zを特徴量κ(t)の何れかの要素としてもよい。
【００５０】
時間区間Ftで発生したマイクロサッカードの運動方向に応じた値Dは、当該運動方向ごとに定まる値である。例えば、運動方向に応じた値Dが、左右の運動方向に対応する２値の何れかをとってもよいし、左右上下の運動方向に対応する４値の何れかをとってもよいし、その他ｎ方向の運動方向に対応するｎ値の何れかをとってもよい。一例としては、右方向（左眼から右眼に向かう方向）の運動方向に応じた値Dを第１値（例えば−１）とし、左方向（左眼から右眼に向かう方向）の運動方向に応じた値Dを第２値（例えば１）とする。このような時間区間Ftで発生したマイクロサッカードの運動方向に応じた値Dを特徴量κ(t)の何れかの要素としてもよい。
【００５１】
次に、図５Ｃを参照して、マイクロサッカードの基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λについて説明する。
（１）基準振幅A：マイクロサッカードによる眼球の動きが収束したときの移動量である。
（２）最大速度Vmax：基準振幅A＋オーバーシュートの振幅Aoに達するまでの最大の速度である。
（３）持続時間Dm：マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は１次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
（４）オーバーシュート(overshoot)の振幅Ao：マイクロサッカードによって基準振幅Aを超過した（行き過ぎた）部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
（５）オーバーシュートの速度Vo：基準振幅A＋オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
（６）立ち上がり時間K：基準振幅A＋オーバーシュートの振幅Aoに達する（立ち上がる）までにかかる時間である。なお、基準振幅A＋オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
（７）減衰率λ：基準振幅Aに対するオーバーシュートの振幅Aoの比である。最大速度Vmaxに対するオーバーシュートの速度Voの比としてもよく、
【００５２】
【数６】
2019111291.tif 000008
【００５３】
と表される。
【００５４】
マイクロサッカードの減衰係数ζ、固有角振動数ωｎは、
【００５５】
【数７】
2019111291.tif 000009
【００５６】
と表される。固有角振動数ωｎはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。
【００５７】
特徴量抽出部２３は、マイクロサッカードの減衰係数ζ、固有角振動数ωｎ、基準振幅Aを、マイクロサッカードが起きている間の眼球の位置をフィッティングし、最小二乗法などによって最適化することで計算してもよい。
【００５８】
マイクロサッカードの減衰係数ζは、運動が左右方向に依存して値が変化する傾向があるため、特徴量抽出部２３は、左方向のマイクロサッカードの減衰係数の代表値、右方向のマイクロサッカードの減衰係数の代表値を分けて計算してもよい。
【００５９】
時間区間Ftで発生した上述のようなマイクロサッカードの基準振幅Aの絶対値|A|、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Aoの絶対値|Ao|、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ωｎの少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。
【００６０】
ステップＳ２４において、入力部２４は、対象者９からの所定の入力を受け付ける。対象者９は表示装置８の表示画面を見ており、表示装置８に対象物の画像が表示されたらボタンを押すようなタスクを行うものとする。入力部２４は、所定の入力（ここではボタン押下）を受け付けた時刻TINを計測部２５へ出力する。
【００６１】
ステップＳ２５において、計測部２５は、表示制御部２１から受け取った対象物の画像を表示画面上に表示した時刻TOと、入力部２４から受け取った入力を受け付けた時刻TINとの時間差TO-TINを計算し、その時間差に基づいて反応速度の速さを示す指標を学習部２６へ出力する。
【００６２】
ステップＳ２６において、学習部２６は、計測部２５が出力した反応速度の速さを示す指標から算出した注意レベルを表す指標とそのときの特徴量との組の集合である学習用データから、基準注意レベル関数f0(t)と注意レベル低下関数L(τ)のパラメータとを学習する。ここで、「そのときの特徴量」とは、特徴量抽出部２３から得た時刻TO近傍の特徴量である。
【００６３】
学習用データは、表示装置８へ所定の画像を表示して、対象者９から入力を受け付ける試行を複数回行って、試行毎に反応速度を示す指標と、特徴量抽出部２３から得た時刻TO近傍の特徴量の組を得ておくものとする。これにより、試行毎の特徴量と注意レベルを表す指標との組の集合である学習用データを得ることができる。
【００６４】
上述のとおり、注意レベルが高いほど、反応速度が早くなると考えられる。つまり、反応速度を示す指標と注意レベルを表す指標には負の相関があるものとして、反応速度を示す指標から注意レベルを表す指標を求めることができる。例えば、反応速度を示す指標に関する広義単調減少関数値を、注意レベルを表す指標の指標値とすればよい。あるいは、反応速度を示す指標が所定の値以下であれば注意レベルが高いことを表す指標を注意レベルの指標とし、反応速度を示す指標が所定の値より大きい場合は、注意レベルが低いことを表す指標を注意レベルの指標とすればよい。例えば、次式を計算することにより、反応速度RTを注意レベルLに変換することができる。
【００６５】
【数８】
2019111291.tif 000010
【００６６】
ここで、RTminは学習データ中の反応速度の最小値、RTmaxは学習データ中の反応速度の最大値である。この変換式によれば注意レベルLは必ず0から1の値を取ることになる。こうして得られた注意レベルLを「注意レベルの観測値」とする。
【００６７】
まず、注意レベル低下関数L(τ)のパラメータの学習について説明する。学習部２６は、学習用データを用いて、注意レベル低下関数L(τ)の形を決定するαとlpeakを学習する。この処理は、αとｌpeakを決定する関数のパラメータ(c1, c2, …, c8)を学習することに相当する。このパラメータ(c1, c2, …, c8)は、＜注意レベルのモデル化＞で説明したように、個人毎に設定しておくことができる。例えば、パラメータ(c1, c2, …, c8)に適当な初期値を設定し、式(2)および式(3)により得られるαとlpeakに基づいて式(4)により計算される注意レベルの推定値^Liと、学習用データを式(7)に当てはめることで求めた注意レベルL（これを「注意レベル観測値」とする）との最小二乗誤差が小さくなるように、パラメータ(c1, c2, …, c8)を繰り返し更新していくことで、パラメータ(c1, c2, …, c8)を学習する。ここで、式(2)(3)におけるAi, ζi, ωiは、それぞれi回目の試行において、対象物の画像が表示された時刻の最も直近で生じたマイクロサッカードの振幅、減衰係数、固有角振動数とし、τiはそのマイクロサッカードから対象物の画像が表示されるまでの時間とする。また、学習の基準は最小二乗誤差でなくとも、注意レベル観測値と注意レベルの推定値^Liとの距離等を用いれば良い。要するに、注意レベル観測値と注意レベルの推定値^Liとが近づくようにパラメータ(c1, c2, …, c8)を繰り返し更新させれば良い。
【００６８】
また、学習部２６では、基準注意レベル関数f0(t)のパラメータも学習させておく。例えば、上記のように複数回の試行により得られた各反応速度を示す指標に対応する注意レベルの指標の平均値を、基準となる注意レベルを示すパラメータとする。
【００６９】
学習部２６は、学習により得た基準注意レベル関数f0(t)のパラメータと注意レベル低下関数L(τ)のパラメータをモデル記憶部１０へ記憶する。注意レベル低下関数L(τ)のパラメータは、αとlpeakでもよいし、αとlpeakを特定するパラメータである(c1, c2, …, c8)でも良い。
【００７０】
＜実験結果＞
以下の内容で実験を行い、本発明の効果を評価した。
【００７１】
被験者の前方74cmの位置にスクリーンを設置し、スクリーン中央に黒点を1.5-3.5秒間隔で各0.5秒間表示する。黒点が表示していない場合は、スクリーン中央に十字の注視点が表示されるものとする。被験者は、実験中スクリーン中央の注視点を注視しており、黒点が表示されたらできるだけ早くボタンを押して反応する。黒点の直径は視野角にして2.0度となるように設定する。上記の課題を25名の被験者に対して各32回試行した。なお、眼球運動の計測にはSR Research社製Eyelink CLを用い、サンプリング周波数は1000Hzとした。
【００７２】
収集した実験データは以下のように解析した。まず、各試行において黒点が表示されたタイミングに対して最も直近に生じたマイクロサッカードを１つずつ検出した。黒点の表示開始時刻と最近接のマイクロサッカード発生時刻との時刻差をRTとした。また、マイクロサッカードの振幅、減衰係数、固有角振動数を計算した。ただし、マイクロサッカードが直近3秒以内に生じていなかった試行は除外した。反応時間RTを取得できた各実験データに対して上記式（７）を計算し、反応時間RTを注意レベルLに変換した。
【００７３】
実験結果を、図８に示す。図８Ａは、ある被験者における試行ごとの注意レベルの観測値と推定値とを比較したグラフである。図８Ａの例では、注意レベルの観測値と推定値の相関係数Rは0.6709となった。図８Ｂは、被験者全体の試行ごとの観測値と推定値の散布図である。グラフ中の１点は１回の試行を表している。被験者毎に注意レベルの観測値と推定値の相関係数を計算すると、88％の被験者で有意な相関が認められた。相関係数の平均値はR=0.5221±0.1968であり、最大値は0.8730であった。
【００７４】
以上のように、本発明の注意レベル推定装置によれば、高精度に注意レベルを推定できることが実証された。
【００７５】
＜応用例＞
タスクに対する注意レベルの推定が可能となることにより、以下のようなことが可能となる。例えば、高い正確性を要する作業においては、作業員の注意レベルが低下してくると作業ミスが発生しやすくなり、事故の要因ともなりうる。そこで、本発明により所定時間毎に注意レベルを推定し、注意レベルが所定のレベルを下回ったら休憩を促す等により、事故を未然に防止することが可能になる。乗り物の運転等においても、注意レベルが低下すると事故の要因となりうるので、同様のことが考えられる。
【００７６】
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００７７】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００７８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００７９】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８１】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００８２】
１  注意レベル推定装置
２  注意レベル推定モデル学習装置
８  表示装置
９  対象者
１０  モデル記憶部
１１  眼球情報取得部
１２  マイクロサッカード検出部
１３  推定部
２１  表示制御部
２２  眼球情報取得部
２３  特徴量抽出部
２４  入力部
２５  計測部
２６  学習部
【図１】
2019111291.tif 000011
【図２】
2019111291.tif 000012
【図３】
2019111291.tif 000013
【図４】
2019111291.tif 000014
【図５】
2019111291.tif 000015
【図６】
2019111291.tif 000016
【図７】
2019111291.tif 000017
【図８】
2019111291.tif 000018