(57)【要約】【課題】簡便であり、かつ検出処理量の軽い集中度判定プログラム、集中度判定装置、および集中度判定方法を提供する。【解決手段】以下の処理をコンピュータに実行させる。まず、被検体の眼の情報から前記被検体の視線を検出する。次に、被検体の視線から視覚刺激を含む注視範囲を規定する。次に、注視範囲内において注視領域を決定する。次に、注視領域内の画素値の変化に基づいて、注視領域内の視覚刺激の有無を判定する。次に、視覚刺激が消失したと判定される時点から、被検体の視線が注視領域に停留する停留時間を測定する。そして、閾値情報格納部に格納されている閾値を参照し、前記停留時間が前記閾値を超える場合に集中度が低下したと判定する。【選択図】図６
2014191474.tif 000002
【特許請求の範囲】
【請求項１】
被検体の眼の情報から前記被検体の視線を検出し、
前記被検体の視線から視覚刺激を含む注視範囲を規定し、
前記注視範囲内において注視領域を決定し、
前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定し、
前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定し、
閾値情報格納部に格納されている閾値を参照し、前記停留時間が前記閾値を超える場合に集中度が低下したと判定する、
処理をコンピュータに実行させる集中度判定プログラム。
【請求項２】
前記注視領域内の画素値から前記注視領域内の平均色度を算出し、
前記平均色度の変化に基づいて前記注視領域内の視覚刺激の消失を判定する、
ことを特徴とする付記１に記載の集中度判定プログラム。
【請求項３】
前記視覚刺激の有無の判定は、前記注視領域とその周辺とのエッジの色度差から判定する、
ことを特徴とする請求項２または請求項３に記載の集中度判定プログラム。
【請求項４】
前記画素値の変化として、前記注視領域内の平均ＲＧＢが所定値以上変化する場合に、前記視覚刺激が消失したと判定する、
ことを特徴とする請求項１〜３のいずれか一項に記載の集中度判定プログラム。
【請求項５】
前記注視領域は、所定の視野角度以内である、
ことを特徴とする請求項１〜４のいずれか一項に記載の集中度判定プログラム。
【請求項６】
前記注視領域内の画素値に基づいて、前記注視領域内の対象物を検出し、
前記対象物の変化に基づいて前記注視領域内の視覚刺激の有無を判定する、
ことを特徴とする付記１に記載の集中度判定プログラム。
【請求項７】
前記対象物の検出は輪郭検出法を用いる、
ことを特徴とする請求項６に記載の集中度判定プログラム。
【請求項８】
被検体の眼の情報から前記被検体の視線を検出する視線検出部と、
前記被検体の視線から視覚刺激を含む注視範囲を規定する注視範囲規定部と、
前記注視範囲内において注視領域を決定する注視領域決定部と、
前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定する平均色度算出部と、
前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定する停留時間測定部と、
集中度を判定する際の基準になる閾値を格納する閾値情報格納部と、
前記停留時間が前記閾値を超える場合に集中度が低下したと判定する集中度判定部と、
を含む集中度判定装置。
【請求項９】
コンピュータによって実行される集中度判定方法であって、
被検体の眼の情報から前記被検体の視線を検出し、
前記被検体の視線から視覚刺激を含む注視範囲を規定し、
前記注視範囲内において注視領域を決定し、
前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定し、
前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定し、
閾値情報格納部に格納されている閾値を参照し、
前記停留時間が前記閾値を超える場合に集中度が低下したと判定する、
ことを特徴とする集中度判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、集中度判定プログラム、集中度判定装置、および集中度判定方法に関する。
【背景技術】
【０００２】
教育ビデオや講演映像の中身、または車の運転を対象とする集中度判定方法において、視線検出技術を使ってユーザの集中度を判定する技術が知られている。例えば、ユーザがＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂ（または、テレビジョン）で教育関連または講演用の映像（静止画、動画）を視聴しているときの集中度判定方法が知られている。また、車運転中における運転状態の集中度判定方法が知られている。
【０００３】
例えば、正面の注視方向にある対象物とは異なる場所に追加の刺激用表示（光点の点滅）を与えて、その方向に視線を向けた場合は運転者（被験者）の集中度が低下したと判定する、運転者状態検出装置、意識状態検出方法が知られている。
【０００４】
また、運転者の視線方向が視覚的な刺激を加えた位置に向いているか否かを判定し、視覚的な刺激を加えた位置に向いていれば、運転者が集中していると判定する、運転者状態判定装置が知られている。
【０００５】
また、対象物の検出として、輪郭検出の方法が知られている。輪郭検出の方法としては、アフィン動き分割による領域分割、およびオプティカルフローによる領域分割等の方法が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２３２９４５号公報
【特許文献２】特開２００６−１５８７４０号公報
【非特許文献】
【０００７】
【非特許文献１】「実時間動領域抽出を目的としたアフィン動き推定プロセッサ」松田吉雄，深山正幸，金沢大学工学部広報（２００９年３月号）
【非特許文献２】Ｏｄｏｂｅｚ ｅｔ ａｌ.“Ｄｉｒｅｃｔ Ｉｎｃｒｅｍｅｎｔａｌ Ｍｏｄｅｌ−Ｂａｓｅｄ Ｉｍａｇｅ Ｍｏｔｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ａｎａｌｙｓｉｓ”Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ,６６ ｐｐ.１４３−１５５，１９９８.
【非特許文献３】「視線から何がわかるか―視線測定に基づく高次認知処理の解明」大野健彦，日本認知科学会「認知科学」９巻４号，共立出版，ｐｐ．５６５−５７６，２００２年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、これらの従来技術は、何れの発明も被験者（運転者）に対して意識的に追加刺激表示を与えて、見ている場所と違うところに視線を向けたかどうかで集中度を判定する技術である。そのため、映像視聴中であっても、運転中のシーンであっても、追加刺激を与えるために、別途にＬｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（ＬＥＤ、発光ダイオード）等を光らせるための準備が必要となり、かつ検出処理量が多くなるという問題がある。
【０００９】
そこで、上記事情を鑑みて、簡便であり、かつ検出処理量の軽い集中度判定プログラム、集中度判定装置、および集中度判定方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本明細書で後述する集中度判定プログラムのひとつは、以下の処理をコンピュータに実行させる。まず、被検体の眼の情報から前記被検体の視線を検出する。次に、被検体の視線から視覚刺激を含む注視範囲を規定する。次に、注視範囲内において注視領域を決定する。次に、注視領域内の画素値の変化に基づいて、注視領域内の視覚刺激の有無を判定する。次に、視覚刺激が消失したと判定される時点から、被検体の視線が注視領域に停留する停留時間を測定する。そして、閾値情報格納部に格納されている閾値を参照し、前記停留時間が前記閾値を超える場合に集中度が低下したと判定する。
【発明の効果】
【００１１】
本明細書で後述する集中度判定プログラム、集中度判定装置、および集中度判定方法によれば、簡便であり、かつ検出処理量を軽減することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】従来技術を説明するための図である。
【図２】第１の実施形態に係る集中度判定方法を説明するための図である。
【図３】閾値時間標準データの基準例を示す表である。
【図４】第１の実施形態に係る集中度判定装置の機能ブロック図である。
【図５】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【図６】第１の実施形態に係る集中度判定方法の処理内容を図解したフローチャートである。
【図７】第１の実施形態の変形例Ａに係る集中度判定方法を説明するための図である。
【図８】第１の実施形態の変形例Ｂに係る集中度判定方法を説明するための図である。
【図９】第２の実施形態に係る集中度判定方法を説明するための図である。
【図１０】第２の実施形態における対象物の検出方法を説明するための図である。
【図１１】第２の実施形態に係る集中度判定装置の機能ブロック図である。
【図１２】第２の実施形態に係る集中度判定方法の処理内容を図解したフローチャートである。
【発明を実施するための形態】
【００１３】
まず、図１（a）〜図１（ｃ）を用いて、従来技術について説明する。図１（a）および図１（ｂ）は、被験者（運転者）に対して意識的に追加刺激（ＬＥＤ）表示を与えて、見ている場所と違うところに視線を向けたかどうかで集中度を判定する技術を示す。図１（a）は、被験者が追加刺激１に視線を向けた場合であり、被験者は集中していると判定される。図１（ｂ）は、被験者が「今まで見ていた視覚刺激（対象物）」に視線を向けたままの場合であり、被験者は集中していないと判定される。
【００１４】
図１（ｃ）に示すように、追加刺激を与えない場合、上記の従来技術を拡張して「追加刺激に相当するもの」を探すことで対応する方法が考えられる。この方法では、例えば、車の場合、信号機２の色が青から赤に変わる状態、または、前方車両のブレーキランプの点灯などが追加刺激に相当する。しかし、このような「追加刺激相当」のものがどこにあるのかを検出する必要がある。すなわち、従来技術については、画像全体から「追加刺激に相当するもの」（変化）を探す処理（画像全体を解析する処理）が必要である。一方、本明細書に記載する実施形態は、追加刺激やフレーム全体の画素を必要とせずに、視線が今ある場所の、少ない画素値の変化を利用して、集中度を判定する。これにより、簡便であり、かつ検出処理量の軽い集中度判定プログラム、集中度判定装置、および集中度判定方法を提供する。
【００１５】
本明細書による検出方法は、画面（視界）の中にある何かを見ている状態において、視線が今ある場所の、少ない画素値の変化を利用して、集中度を判定する。すなわち、「追加刺激を与える」のではなく、「今まで見ていた視覚刺激（対象物）」に着目する。今まで見ていた視覚刺激が、「なくなる」、「移動する」に反応しなければ、集中していないことがわかる。「なくなる」、「移動する」への反応であれば、追加刺激の付加が不要となり、ＬＥＤを追加する準備や検出処理量が多くなるという問題が解決する。
【００１６】
さらに、「今まで見ていた視覚刺激」がなくなることや、移動することを判定するため、そのような判定による画像処理は「視線位置」に限定してよく、追加刺激を与えない場合、どこに「追加刺激相当」のものがあるかわからないという問題が解決する。
【００１７】
なお、これらの実施形態において「対象物」とは、背景（または対象物の周囲）と色度またはコントラストが異なり、背景との区別が可能な「図形」のことである。
【００１８】
「図形」は立体物であってもよく、平面図でもよい。立体物には、人、動物、物体が含まれる。例えば、運転中の環境であれば、物体は前方車両でもよく、信号機、道路標識でもよい。また、映像視聴中の環境であれば、自然画の図（写真）で表される人であってもよく、アニメーション（人工画）の人の絵であってもよい。
【００１９】
「対象物」は、人や車のように「動くもの」であってもよく、標識や木のように「動かないもの」であってもよい。ただし、「動かないもの」に対しては、映像の切替わりで今まであったものがなくなる場合や、動かないものが相対的に移動する場合に、本発明が適用される。
【００２０】
＜第１の実施形態＞
次に、第１の実施形態に係る集中度判定方法として、木にいる鳥を人が見ているときの利用シーンを用いて説明する。なお、この集中度判定方法は、プログラムによってコンピュータに処理を行わせるものである。図２（ａ）〜図２（ｄ）は、今まで見ていた視覚刺激として、木にいる鳥を人が見ているシーンを示す。「今まで見ていた視覚刺激」がなくなる場所は、その（画像の）周囲との色度の区別が可能であることを特徴とする。すなわち、「今まで見ていた視覚刺激」が状態変化により色度が変化したにも関わらず、同じ場所を閾値の時間以上見続けている場合、集中度が低下したと判定する。
【００２１】
人がものを見る場合、注目している場所に焦点が合い（中心視）、周辺はぼける（周辺視）。焦点が合う領域の注視領域の範囲は概ね視野角度２°以内である。そこで、図２（a）に示すように、このように木にいる鳥に注目していた場合、「今まで見ていた視覚刺激」の注視領域（視野角度２°以内）の平均色度を算出する。その後、平均色度変化後の視線が同じ場所を見ているかどうかを、停留時間を測定することによって判定する。
【００２２】
被検体の眼の情報から被検体の視線を検出するには、一般的な視線検出方法を用いることができる。例えば、非特許文献３に記載される方法、または一般的な角膜反射法による検出方法を用いることができる。
【００２３】
例えば、角膜反射法は、ＰＣに内蔵可能である汎用的な小型カメラで撮影した画像から検出することができる。瞳孔は眼の中で他部分に比べて暗いこと、角膜反射は逆に他部分に比べて明るいことなどを特徴とするので、撮影した画像を元に画像処理を行い、眼領域の中からこのような特徴を持つ候補を抽出する。抽出した候補の中から、カメラ、顔位置との関係や直前の瞳孔サイズなどの整合性のルールを適用して絞り込むことで、瞳孔と角膜反射の位置関係から視線方向を算出する。
【００２４】
その他に、強膜トラッカー法、Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ（ＥＯＧ）法、サーチコイル等の検出方法を用いてもよい。
なお、ユーザと注視範囲との間の距離に応じて、焦点が合う中心視野領域より広めの周辺視野領域（視野角５°）を注視領域として設定してもよい。例えば、遠距離には視野角５°以内、近距離には２°以内を適用してもよい。
【００２５】
図２（ｂ）に時間Ｔ１経過後に鳥が動いた時の状態を示す。さらに、時間Ｔ２経過後、鳥を集中して見ていた場合は、鳥の移動とともに、視線がこれまで鳥のいた場所とは異なり、図２（ｃ）のように、鳥が動いた場所に視線が移動する。この場合は、視線の位置（座標）が変わることから、集中して見ていることの確認が可能である。一方、時間Ｔ２経過後、集中が低下した場合は、鳥のいた同じ場所を見続けていることが想定される。この場合、視線は図２（ｄ）のように、鳥が動いた後も、同じ場所の木を見たままになり、注視領域の平均色度（緑色系）は、鳥がいたとき（灰色系）に比べて明らかに異なる。よって、集中度判定部により、図２（ｄ）のように色度の変化後も、同じ場所を閾値の時間以上見ていた場合には、集中度が低下したと判定する。
【００２６】
なお、参照する閾値時間は、停留時間から集中度を判定する際のベースになる閾値であり、サーバ等に予め格納されている。閾値として格納する値は、個人単位の値を格納してもよいし、不特定多数の閾値の平均の値を格納してもよい。例えば、利用者の個人データの平均値から決めてもよく、複数人の統計データを使用してもよい。どちらを使用しても構わないが、個人にカスタマイズする場合は、個人データの平均値を使うことが好ましい。
【００２７】
閾値時間については、本実施形態に係る集中度判定方法を利用する人の年齢層、または視力によって、異なることが想定される。例えば、高齢者は若年層に比べて反応が鈍くなるため、閾値時間が長くなると思われる。また、近視度が強くなるとともに、「対象物」のエッジが見えにくくなるため、閾値時間が長くなることが想定される。
【００２８】
年齢層や視力等の規定が難しい一般的な使用環境下では、標準の閾値時間Ｔｔｈ_ｓｔｄを使用すればよい。
【００２９】
ただし、特定の年齢層、または視力等が規定可能な条件下では、例えば、図３（ａ）および図３（ｂ）の表に示すように、閾値時間をそれぞれユーザの条件に対応して設定すればよい。なお、図３（ａ）および図３（ｂ）の表に示した条件および数値は単に例示であって、これらに限定されるものではない。その他の様々な条件設定が可能であり、対応する数値設定も条件に応じて様々に変化させることができる。
【００３０】
次に、本実施形態に係る集中度判定装置について説明する。図４は、集中度判定装置の一実施例のシステム構成図を示す。
この集中度判定装置１００は、視線検出部１０２と、注視範囲規定部１０４と、視線位置画像情報計算部１１０と、閾値情報格納部１１８と、集中度判定部１２０と、ユーザ通知部１２２とを備える。視線検出部１０２は、更に、眼情報撮像部１０６と、視線位置抽出部１０８とを備える。視線位置画像情報計算部１１０は、更に、注視領域決定部１１２と、平均色度算出部（画素値算出部）１１４と、停留時間測定部１１６とを備える。
【００３１】
視線検出部１０２は、被検体の眼の情報から被検体の視線を検出する。例えば、眼情報撮像部１０６が、被検体の眼の画像を取得し、視線位置抽出部１０８が、画像から被検体の視線を検出し、注視範囲規定部１０４に対して、視線がある場所の中心座標を求める。ここで、視線検出方法は、一般的な視線検出方法を用いることができる。例えば、非特許文献３に記載される方法、または一般的な角膜反射法による検出方法を用いることができる。その他に、強膜トラッカー法、ＥＯＧ法、サーチコイル等の検出方法を用いてもよい。
【００３２】
注視範囲規定部１０４は、今まで見ていた視覚刺激の注視を特定し、ユーザが見ている映像の表示領域、または、車運転中であれば、視野範囲内で規定される表示領域を規定する。注視範囲規定部１０４は、例えば、映像用のディスプレイであれば、縦４８０ピクセル、横６４０ピクセルなどの、画素座標範囲に合せて表示領域を決定する画像表示部であってもよい。同様に、車の視野範囲領域においても、仮想の画素座標範囲を決めることで領域を決定する仮想範囲確定部であってもよい。
【００３３】
注視領域決定部１１２は、視線の中心位置から所定の注視領域を決定する。例えば、視線の中心位置から視野角で２°以内の範囲の領域を決定する。視野角２°以内の範囲の領域は、人がものを見る際に注目している場所は焦点が合うという特徴を有することが知られている。なお、ユーザと注視範囲との間の距離に応じて、焦点が合う中心視野領域より広めの周辺視野領域（視野角５°）を注視領域として設定してもよい。例えば、遠距離には視野角５°以内、近距離には２°以内を適用してもよい。
【００３４】
平均色度算出部１１４は、注視領域で決定した領域（エリア）の平均色度を求める。平均色度としては、例えば、画素値を用いて算出することができる。
停留時間測定部１１６は、注視領域で決定した領域の平均色度が変化した直後からの視線が同じ場所に停留する時間を測定する。
集中度判定部１２０は、停留時間測定部により求めた停留時間と閾値とを比較して集中度を判定する。
【００３５】
閾値情報格納部１１８は、停留時間から集中度を判定する際の基準になる閾値を格納する。閾値に格納する値は、個人単位の値を格納してもよいし、不特定多数の閾値の平均の値を格納してもよい。例えば、利用者の個人データの平均値から決めてもよく、複数人の統計データを使用してもよい。どちらを使用しても構わないが、個人にカスタマイズする場合は、個人データの平均値を使うことが好ましい。
【００３６】
なお、本実施形態に係る集中度判定装置１００を利用する人の年齢層、または視力によって、異なることが想定される。例えば、高齢者は若年層に比べて反応が鈍くなるため、閾値時間が長くなると思われる。また、近視度が強くなるとともに、「対象物」のエッジが見えにくくなるため、閾値時間が長くなることが想定される。
【００３７】
そこで、年齢層や視力等の規定が難しい一般的な使用環境下では、標準の閾値時間Ｔｔｈ_ｓｔｄを使用すればよい。ただし、特定の年齢層、または視力等が規定可能な条件下では、例えば、図３（ａ）および図３（ｂ）の表に示すように、閾値時間をそれぞれユーザの条件に対応して設定すればよい。なお、図３（ａ）および図３（ｂ）の表に示した条件および数値は単に例示であって、これらに限定されるものではない。その他の様々な条件設定が可能であり、対応する数値設定も条件に応じて様々に変化させることができる。
【００３８】
ユーザ（状態）通知部１２２は、集中度の判定結果に基づき、特に集中度がないと判定された場合に、ユーザに通知する。
【００３９】
上記のように構成されることで、本実施形態に係る集中度判定装置は、画面（視界）の中にある何かを見ている状態において、視線が今ある場所の、少ない画素値の変化を利用して集中度を判定することができる。そのため、検出処理量を軽減することができるという効果を奏する。
【００４０】
ここで、上記実施の形態による集中度判定装置の動作、および集中度判定方法の処理をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。
【００４１】
図５は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図４に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
【００４２】
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送信する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
【００４３】
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００４４】
続いて、上記の集中度判定装置１００を用いて前述の集中度判定方法をコンピュータに行わせるプログラムについて説明する。図５は、第１の実施形態に係る集中度判定方法の処理内容を図解したフローチャートである。
【００４５】
まず、Ｓ１００では、視線検出部１０２が、被検体の眼の情報から被検体の視線を検出する。例えば、眼情報撮像部１０６が、被検体の眼の画像を取得し、視線位置抽出部１０８が、画像から被検体の視線を検出し、注視範囲規定部１０４に対して、視線がある場所の中心座標を求める。ここで、視線検出方法は、一般的な視線検出方法を用いることができる。例えば、非特許文献３に記載される方法、または一般的な角膜反射法による検出方法を用いることができる。その他に、強膜トラッカー法、Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ（ＥＯＧ）法、サーチコイル等の検出方法を用いてもよい。
【００４６】
続いて、Ｓ１０１では、注視範囲規定部１０４が、今まで見ていた視覚刺激の注視を特定し、視覚刺激を含む注視範囲を規定する。すなわち、ユーザが見ている映像の表示領域、または、車運転中であれば、視野範囲内で規定される表示領域を示す。例えば、映像用のディスプレイであれば、縦４８０ピクセル、横６４０ピクセルなどの、画素座標範囲に合せて表示領域を決定する。同様に、車の視野範囲領域においても、仮想の画素座標範囲を決めることで、表示領域を決定する。
【００４７】
次に、Ｓ１０２では、注視領域決定部１１２が、視線の中心位置から所定の注視領域を決定する。例えば、視線の中心位置から視野角で２°の範囲の領域を決定する。この領域は、人がものを見る際に注目している場所は焦点が合うという特徴に基づいて決める。
【００４８】
続いて、Ｓ１０３では、平均色度算出部１１４が、注視領域で決定した領域（エリア）の平均色度を求める。
そして、Ｓ１０４では、時間Ｔ１において、平均色度算出部１１４が視覚刺激の消失の有無を確認する。
【００４９】
次に、Ｓ１０５では、停留時間測定部１１６が、注視領域で決定した領域の平均色度が変化した直後からの視線が同じ場所に停留する時間を測定する。すなわち、視覚刺激消失後の停留時間を測定する。
【００５０】
続いて、Ｓ１０６では、集中度判定部１２０が、閾値情報格納部１１８から閾値標準データを参照し、停留時間測定部により求めた停留時間と閾値とを比較して集中度を判定する。Ｓ１０６の結果がＹＥＳ、すなわち時間Ｔ２における視線の停留時間が閾値以内ならば、Ｓ１０７に進む。このとき、ユーザは視覚刺激の消失により元の場所から視線が離れているので、Ｓ１０７において、集中度判定部１２０は、ユーザが集中して見ていると判定する。
【００５１】
一方、Ｓ１０６の結果がＮＯ、すなわち時間Ｔ２における視線の停留時間が閾値を超えていれば、Ｓ１０８に進む。そして、Ｓ１０８では、集中度判定部１２０は、ユーザが漠然と見ていると判定する。そして、Ｓ１０９に進み、Ｓ１０８で判定した結果を、状態通知部１２２により、ユーザに直ちに伝えてもよく、Ｓ１０８で判定した結果をデータベースにまとめておいて、データ分析に使用してもよい。
【００５２】
なお、閾値情報格納部１１８に格納する閾値時間は、停留時間から集中度を判定する際の基準になる閾値である。閾値として格納する値は、個人単位の値を格納してもよいし、不特定多数の閾値の平均の値を格納してもよい。例えば、利用者の個人データの平均値から決めてもよく、複数人の統計データを使用してもよい。どちらを使用しても構わないが、個人にカスタマイズする場合は、個人データの平均値を使うことが好ましい。
【００５３】
閾値時間については、本実施形態を利用する人の年齢層、または視力によって、異なることが想定される。例えば、高齢者は若年層に比べて反応が鈍くなるため、閾値時間が長くなると思われる。また、近視度が強くなるとともに、「対象物」のエッジが見えにくくなるため、閾値時間が長くなることが想定される。
【００５４】
年齢層や視力等の規定が難しい一般的な使用環境下では、標準の閾値時間Ｔｔｈ_ｓｔｄを使用すればよい。
【００５５】
ただし、特定の年齢層、または視力等が規定可能な条件下では、例えば、図３（ａ）および図３（ｂ）の表に示すように、閾値時間をそれぞれユーザの条件に対応して設定すればよい。なお、図３（ａ）および図３（ｂ）の表に示した条件および数値は単に例示であって、これらに限定されるものではない。その他の様々な条件設定が可能であり、対応する数値設定も条件に応じて様々に変化させることができる。
【００５６】
上記のように処理を行うことで、画面（視界）の中にある何かを見ている状態において、視線が今ある場所の、少ない画素値の変化を利用して集中度を判定することができる。そのため、簡便であり、かつ検出処理量を軽減することができるという効果を奏する。
【００５７】
＜第１の実施形態の変形例Ａ＞
次に、図７（a）〜図７（ｃ）を用いて、第１の実施形態の変形例Ａについて説明する。なお、この集中度判定方法は、プログラムによってコンピュータに処理を行わせるものである。第１の実施形態と同様に、前述の集中度判定装置１００を用いることができる。
【００５８】
図７（a）〜図７（ｃ）に示すように、第１の実施形態の変形例Ａに係る集中度判定方法では、注視領域決定部１１２により決定される「今まで見ていた視覚刺激」の有無を判定する際に、注視領域の平均色度として、注視領域とその周辺とのエッジの色度差を求め、エッジの色度差に十分な変化があった場合に視覚刺激が消失したとみなす。
【００５９】
図７（a）は、初期の視覚刺激を見ている図を示す。例えば、四角の図形を見ているとする。元の対象が消失すれば、集中ありの場合は、図７（ｂ）のように、消失後の視線は、閾値の時間内で元の場所から離れる。
【００６０】
このように、注視領域（座標）が異なる状態から、集中状態が確認できる。一方、集中度が低下している場合は、図７（ｃ）のように、注視している場所（座標）は元の場所（図７（a））と同じであるが、エッジの色度が変化（例えば青色系→白色系）する。このエッジにおける色度の差から、視覚刺激が消失したか否かを判定する。すなわち、エッジにおける色度に十分な変化があった場合、視覚刺激が消失したとみなし、集中しているか否か（閾値時間以上、色度の異なる同じ場所を注視しているか）の判定を行う。
【００６１】
この集中度判定方法をコンピュータに行わせるプログラムは、図６のフローチャートに示した処理内容と同様である。ただし、Ｓ１０３において、視線位置画像情報計算部１１０は、注視領域の平均色度として、注視領域とその周辺とのエッジの色度を求める。
【００６２】
＜第１の実施形態の変形例Ｂ＞
続いて、図８（a）および図８（ｂ）を用いて、第１の実施形態の変形例Ｂについて説明する。なお、この集中度判定方法は、プログラムによってコンピュータに処理を行わせるものである。第１の実施形態と同様に、前述の集中度判定装置１００を用いることができる。
【００６３】
図８（a）および図８（ｂ）に示すように、第１の実施形態の変形例Ｂに係る集中度判定方法は、注視領域決定部１１２により決定される「今まで見ていた視覚刺激」の有無を判定する際に、視線位置角度２°の画像の平均ＲＧＢの値を求め、平均ＲＧＢが所定の閾値以上変わる場合に視覚刺激が消失したとみなすことによって集中度を判定する。
【００６４】
図８（a）は「今まで見ていた視覚刺激」がある状態であり、図８（ｂ）は「今まで見ていた視覚刺激」がなくなった状態を示す。「今まで見ていた視覚刺激」がなくなったときに、視線が閾値以内の時間で動けば「集中している」と判定する。
【００６５】
このとき、平均ＲＧＢの閾値としては、１０以上が好ましい。なぜならば、人間の目で認識可能なＲＧＢ値の差が１０以上を必要とするためである。
【００６６】
この集中度判定方法をコンピュータに行わせるプログラムは、図６のフローチャートに示した処理内容と同様である。ただし、Ｓ１０３において、平均色度算出部１１４は、注視領域で決定した領域の平均色度として、平均ＲＧＢの値を求める。
【００６７】
＜第２の実施形態＞
本実施形態は、視点中心位置からの注視領域内に含まれる「対象物」が検出対象となる。そのため、注視領域内で「対象物」とその周囲のエッジ（境界）の検出が可能であり、エッジが移動しているにも拘らず、注視位置が元の位置に留まる場合に、集中度が低下していると判定する。なお、この集中度判定方法は、プログラムによってコンピュータに処理を行わせるものである。第１の実施形態と同様に、前述の集中度判定装置１００を用いることができる。
【００６８】
図９（a）〜図９（ｄ）を用いて、第２の実施形態について説明する。第２の実施形態では、注視領域決定部１１２により決定される「今まで見ていた視覚刺激」は、車のような動きを持つ対象物であることを特徴とする。元々は対象物がいた場所を見ており、視線が今ある場所の対象物のみを検出する。時間経過に伴い対象物がいなくなったにも関わらず、同じ場所を閾値の時間以上見続けている場合、集中度が低下したと判定する。
【００６９】
図９（a）は、時間Ｔ１において、対象物（車）３に視線がある状態を示す。この状態から時間Ｔ２（図９（ｂ））、時間Ｔ３（図９（ｃ））、時間Ｔ４（図９（ｄ））と対象物３は動くが、時間Ｔ４のときの視線は時間Ｔ１のときと同じ場所にある。しかし、時間Ｔ１は対象物３があるが、時間Ｔ４では対象物３がなくなる。この差を検出することによって、閾値時間以上視線が元の位置にあれば、集中していない状態と判定する。
【００７０】
（第２の実施形態における対象物の検出方法）
続いて、第２の実施形態における対象物の検出方法について説明する。対象物の検出方法は、例えば、輪郭検出方法を用いることができる。輪郭検出方法としては、アフィン動き分割による領域分割、またはオプティカルフローによる領域分割等の方法を用いればよい。これらの方法によって対象物を検出（区別）する。
【００７１】
アフィン動き分割による領域分割は、例えば、非特許文献１に記載の方法を利用することができる。アフィン動きモデルは、２次元のアフィン変換を用いて対象領域の動きを表現するものである。アフィン動きモデルは6つの動きパラメータで構成される。このパラメータにより、領域内の各画素の動きベクトルを与える。この詳細は、例えば、非特許文献２に記載されたアルゴリズムに基づき領域の分割を行うことができる。
【００７２】
また、オプティカルフローは、画像中の画素の動きを解析し、速度ベクトルによって物体の運動を表す方法であり、これを用いて対象領域を分割することができる。オプティカルフローを使った領域分割アルゴリズムも複数の方法が提案されている。例えば、勾配法、Ｗａｔｅｒｓｈｅｄアルゴリズムを使った方法、ＥＭ（期待値最大化）法を使った方法などである。オプティカルフローを使った領域分割手法はオープンソースソフトウェア（ＯＳＳ）として提供されている技術であり、これをベースに領域分割が可能である。
【００７３】
なお、これらの手法により、領域分割を行うと、例えば、図１０（a）の元画像に対する領域分割後の画像は、図１０（ｂ）のようにあらわされる。以上の検出手法を使って、今見ている場所の対象物（車）に対する領域を検出する。
【００７４】
次に、第２の実施形態に係る集中度判定装置について説明する。図１１は、第２の実施形態に係る集中度判定装置２００の機能ブロック図である。集中度判定装置２００の基本構成は、図４に示した第１の実施形態に係る集中度判定装置１００の基本構成と同様に、視線検出部２０２と、注視範囲規定部２０４と、視線位置画像情報計算部２１０と、閾値情報格納部２１８と、集中度判定部２２０と、ユーザ通知部２２２とを備える。同様に、視線検出部２０２は、更に、眼情報撮像部２０６と、視線位置抽出部２０８とを備える。
【００７５】
しかし、視線位置画像情報計算部２１０は、更に、注視領域決定部２１２と、対象物検出部２１４と、停留時間測定部２１６とを備える。
【００７６】
対象物検出部２１４は、注視領域内の対象物を検出し、その対象物の変化に基づいて注視領域内の視覚刺激の有無を判定する。対象物の検出方法は、例えば、輪郭検出方法を用いることができる。輪郭検出方法としては、アフィン動き分割による領域分割、またはオプティカルフローによる領域分割等の方法を用いればよい。これらの方法によって対象物を検出（区別）する。
【００７７】
続いて、第２実施形態に係る集中度判定方法をコンピュータに行わせるプログラムについて説明する。図１２は、第２の実施形態に係る集中度判定方法の処理内容を図解したフローチャートである。基本的なフローは、図６に示した第１の実施形態と同様であるが、注視領域を決定する際の、対象物の輪郭検出（領域分割）処理が異なる。すなわち、Ｓ１０３の代わりに、Ｓ２０３において、対象物検出部２１４は、注視領域内の対象物を検出し、その対象物の変化に基づいて注視領域内の視覚刺激の有無を判定する。対象物の検出方法は、例えば、輪郭検出方法を用いることができる。輪郭検出方法としては、アフィン動き分割による領域分割、またはオプティカルフローによる領域分割等の方法を用いればよい。これらの方法によって対象物を検出（区別）する。
【００７８】
このように構成することで、本明細書に記載した実施形態に係る集中度判定プログラム、集中度判定装置、および集中度判定方法は、画面（視界）の中にある何かを見ている状態において、視線が今ある場所の少ない画素値の変化を利用して集中度を判定することにより、簡便であり、かつ検出処理量を軽減することができるという効果を奏する。
【００７９】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、他の様々な変更が可能である。
【００８０】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
被検体の眼の情報から前記被検体の視線を検出し、
前記被検体の視線から視覚刺激を含む注視範囲を規定し、
前記注視範囲内において注視領域を決定し、
前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の消失を判定し、
前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定し、
閾値情報格納部に格納されている閾値を参照し、
前記停留時間が前記閾値を超える場合に集中度が低下したと判定する、
処理をコンピュータに実行させる集中度判定プログラム。
（付記２）
前記注視領域内の画素値から前記注視領域内の平均色度を算出し、
前記平均色度の変化に基づいて前記注視領域内の視覚刺激の消失を判定する、
ことを特徴とする付記１に記載の集中度判定プログラム。
（付記３）
前記視覚刺激の有無の判定は、前記注視領域とその周辺とのエッジの色度差から判定する、
ことを特徴とする付記２または付記３に記載の集中度判定プログラム。
（付記４）
前記画素値の変化として、前記注視領域内の平均ＲＧＢが所定値以上変化する場合に、前記視覚刺激が消失したと判定する、
ことを特徴とする付記１〜３のいずれか一項に記載の集中度判定プログラム。
（付記５）
前記注視領域は、所定の視野角度以内である、
ことを特徴とする付記１〜４のいずれか一項に記載の集中度判定プログラム。
（付記６）
前記注視領域内の画素値に基づいて、前記注視領域内の対象物を検出し、
前記対象物の変化に基づいて前記注視領域内の視覚刺激の有無を判定する、
ことを特徴とする付記１に記載の集中度判定プログラム。
（付記７）
前記対象物の検出は輪郭検出法を用いる、
ことを特徴とする付記６に記載の集中度判定プログラム。
（付記８）
被検体の眼の情報から前記被検体の視線を検出する視線位置検出部と、
前記被検体の視線から視覚刺激を含む注視範囲を規定する注視範囲規定部と、
前記注視範囲内において注視領域を決定する注視領域決定部と、
前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定する画素値算出部と、
前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定する停留時間測定部と、
集中度を判定する際の基準になる閾値を格納する閾値情報格納部と、
前記停留時間が前記閾値を超える場合に集中度が低下したと判定する集中度判定部と、
を含む集中度判定装置。
（付記９）
前記画素値算出部は、前記注視領域内の画素値から、前記注視領域内の平均色度を算出する、
ことを特徴とする付記８に記載の集中度判定装置。
（付記１０）
前記視覚刺激の有無の判定は、前記注視領域とその周辺とのエッジの色度差から判定する、
ことを特徴とする付記８または付記９に記載の集中度判定装置。
（付記１１）
前記画素値の変化として、前記注視領域内の平均ＲＧＢが所定値以上変化する場合に、前記視覚刺激が消失したと判定する、
ことを特徴とする付記８〜１０のいずれか一項に記載の集中度判定装置。
（付記１２）
前記注視領域は、所定の視野角度以内である、
ことを特徴とする付記８〜１１のいずれか一項に記載の集中度判定装置。
（付記１３）
前記画素値算出部は、前記注視領域内の画素値に基づいて前記注視領域内の対象物を検出し、前記対象物の変化に基づいて前記注視領域内の視覚刺激の有無を判定する対象物検出部である、
ことを特徴とする付記８に記載の集中度判定装置。
（付記１４）
前記対象物の検出は輪郭検出法を用いる、
ことを特徴とする付記１３に記載の集中度判定装置。
（付記１５）
コンピュータによって実行される集中度判定方法であって、
被検体の眼の情報から前記被検体の視線を検出し、
前記被検体の視線から視覚刺激を含む注視範囲を規定し、
前記注視範囲内において注視領域を決定し、
前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定し、
前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定し、
閾値情報格納部に格納されている閾値を参照し、
前記停留時間が前記閾値を超える場合に集中度が低下したと判定する、
ことを特徴とする集中度判定方法。
（付記１６）
前記注視領域内の画素値から前記注視領域内の平均色度を算出し、
前記平均色度の変化に基づいて前記注視領域内の視覚刺激の消失を判定する、
ことを特徴とする付記１５に記載の集中度判定方法。
（付記１７）
前記視覚刺激の有無の判定は、前記注視領域とその周辺とのエッジの色度差から判定する、
ことを特徴とする付記１５または付記１６に記載の集中度判定方法。
（付記１８）
前記画素値の変化として、前記注視領域内の平均ＲＧＢが所定値以上変化する場合に、前記視覚刺激が消失したと判定する、
ことを特徴とする付記１５〜１７のいずれか一項に記載の集中度判定方法。
（付記１９）
前記注視領域は、所定の視野角度以内である、
ことを特徴とする付記１５〜１８のいずれか一項に記載の集中度判定方法。
（付記２０）
前記注視領域内の画素値に基づいて、前記注視領域内の対象物を検出し、
前記対象物の変化に基づいて前記注視領域内の視覚刺激の有無を判定する、
ことを特徴とする付記１５に記載の集中度判定方法。
（付記２１）
前記対象物の検出は輪郭検出法を用いる、
ことを特徴とする付記１９に記載の集中度判定方法。
【符号の説明】
【００８１】
１００      集中度判定装置
１０２      視線検出部
１０４      注視範囲規定部
１０６      眼情報撮像部
１０８      視線位置抽出部
１１０      視線位置画像情報計算部
１１２      注視領域決定部
１１４      平均色度算出部
１１６      停留時間測定部
１１８      閾値情報格納部
１２０      集中度判定部
１２２      ユーザ通知部
２１４      対象物検出部
【図１】
2014191474.tif 000003
【図２】
2014191474.tif 000004
【図３】
2014191474.tif 000005
【図４】
2014191474.tif 000006
【図５】
2014191474.tif 000007
【図６】
2014191474.tif 000008
【図７】
2014191474.tif 000009
【図８】
2014191474.tif 000010
【図９】
2014191474.tif 000011
【図１０】
2014191474.tif 000012
【図１１】
2014191474.tif 000013
【図１２】
2014191474.tif 000014