(57)【要約】【課題】表示画面上において典型的な視線の移動を行っていないユーザを検出できるようにする。【解決手段】本情報処理装置は、（Ａ）表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された視線の移動履歴から、複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定する特定部と、（Ｂ）複数のユーザの各々について特定された視線の移動方向推移に基づき、複数のユーザのうち少数派のユーザを抽出する抽出部とを有する。【選択図】図６
2015194809.tif 000002
【特許請求の範囲】
【請求項１】
表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定する特定部と、
前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する抽出部と、
を有する情報処理装置。
【請求項２】
前記抽出部が、
前記複数のユーザの前記視線の移動方向推移を各時間帯で比較することで、前記複数のユーザのうち多数派とみなす視線の移動方向推移を特定し、
前記複数のユーザのうち多数派とみなす視線の移動方向推移と非類似となる前記視線の移動方向推移が特定されたユーザを抽出する
請求項１記載の情報処理装置。
【請求項３】
前記抽出部が、
前記複数のユーザの各々について、当該ユーザの前記視線の移動方向推移と他のユーザの前記視線の移動方向推移とを比較して類似度を算出し、
前記複数のユーザの各々について、当該ユーザについて算出された類似度に基づき前記少数派のユーザを抽出する
請求項１記載の情報処理装置。
【請求項４】
前記特定部が、
各視線位置について、当該視線位置からの所定時間内における実質移動量を算出する
請求項１乃至３のいずれか１つ記載の情報処理装置。
【請求項５】
前記特定部が、
各視線位置について、前記表示画面上の各軸方向に、当該視線位置から所定時間内において方向転換を検出した視線位置までの累積移動量を算出する
請求項１乃至３のいずれか１つ記載の情報処理装置。
【請求項６】
前記特定部が、
各前記時間帯において、当該時間帯における各前記視線位置及び各前記累積移動量から特定される矩形の面積と当該矩形の中心座標との少なくともいずれかを算出することで、前記視線の移動方向推移を特定する
請求項５記載の情報処理装置。
【請求項７】
前記矩形が、
各前記軸方向に前記累積移動量に応じて設定される辺を有する第２の矩形と、各前記視線位置を包含する矩形である
請求項６記載の情報処理装置。
【請求項８】
前記特定部が、
各前記時間帯において、当該時間帯における各前記視線位置について算出された前記累積移動量が、所定の範囲内であるか判断し、
前記所定の範囲内である累積移動量が算出された視線位置の個数を前記時間帯における視線位置の個数で除することで信頼度を算出し、
前記所定の範囲内である累積移動量に対して信頼度を乗じることで得られる長さを有する辺を有する前記第２の矩形を配置する
請求項７記載の情報処理装置。
【請求項９】
表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定し、
前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する
処理を含み、コンピュータにより実行される情報処理方法。
【請求項１０】
表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定し、
前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する
処理を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画面上における視線位置の移動に基づく情報処理技術に関する。
【背景技術】
【０００２】
例えば表示画面上に表示されている文書を読んでいるユーザについて、例えば表示画面の上や下に設置された視線センサが高精度であれば、表示中の文章に沿って読んでいることや、文章領域を斜め読みしていることを、計測した視線データそのものから推定できる。
【０００３】
一方、安価な視線センサを用いる場合には、計測した視線データそのものに誤差が含まれており、例えばパーソナルコンピュータの典型的な表示画面上に１点の視線位置が検出されると、その視線位置を含む、画面６分の１程度の領域内に、真の視線位置が含まれているといった検出精度の場合もある。
【０００４】
このような場合、文章に沿って読んだ場合であっても、文章領域と視線データから求めた視点の座標とが一致することは期待できない。また、時系列に計測した視線データそのものの並びによって、あるユーザの視線方向の推移と他のユーザの視線方向の推移との異同を正確に判断するのは難しい。
【０００５】
例えば、同じ文書などのコンテンツを複数人で視聴するケース、例えば書類の記入漏れ確認作業やオンライン教育等において、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしを検出できれば、該当ユーザに警告を行うことができる。しかしながら、安価な視線センサでは、上記のような問題を高精度で検出することができない。
【０００６】
なお、視線位置と視線速度に基づいて、表示部に表示された電子文書が読まれたか否かを判断する技術は存在しているが、視線位置に依存していることから視線センサの精度が高いことが前提となっている。
【０００７】
また、視線センサの精度が低いことを前提とした技術も存在しているが、ある部分を注視しているか否かを、視線の速度と視線の時系列変化から得られる曲率とから判断するものである。このような技術では、他のユーザとの関係は考慮されていない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１３−２５６５６号公報
【特許文献２】特開平５−５６９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従って、本発明の目的は、一側面としては、精度が低い視線センサを用いていても表示画面上において典型的な視線の移動を行っていないユーザを検出できるようにするための技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明に係る情報処理装置は、（Ａ）表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された視線の移動履歴から、複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定する特定部と、（Ｂ）複数のユーザの各々について特定された視線の移動方向推移に基づき、複数のユーザのうち少数派のユーザを抽出する抽出部とを有する。
【発明の効果】
【００１１】
一側面としては、精度が低い視線センサを用いていても、表示画面上において典型的な視線の移動を行っていないユーザを検出できるようになる。
【図面の簡単な説明】
【００１２】
【図１】図１（ａ）乃至（ｃ）は、精度の低い視線センサでの視線検出結果を説明するための図である。
【図２】図２は、視線移動の傾向について説明するための図である。
【図３】図３は、視線の実質移動量を説明するための図である。
【図４】図４は、視線の実質移動量を説明するための図である。
【図５】図５は、実施の形態に係るシステムの概要を示す図である。
【図６】図６は、第１の実施の形態における主情報処理装置の機能ブロック図である。
【図７】図７は、第１の実施の形態における処理フローを示す図である。
【図８】図８は、収集データ格納部に格納されるデータの例を示す図である。
【図９】図９は、収集データ格納部に格納されるデータの例を示す図である。
【図１０】図１０は、収集データ格納部に格納されるデータの例を示す図である。
【図１１】図１１は、収集データ格納部に格納されるデータの例を示す図である。
【図１２】図１２は、収集データ格納部に格納されるデータの例を示す図である。
【図１３】図１３は、移動方向推定処理の処理フローを示す図である。
【図１４】図１４は、移動方向の算出例を示す図である。
【図１５】図１５は、移動方向の算出例を示す図である。
【図１６】図１６は、移動方向の算出例を示す図である。
【図１７】図１７は、移動方向の算出例を示す図である。
【図１８】図１８は、移動方向の算出例を示す図である。
【図１９】図１９は、移動方向の算出例を示す図である。
【図２０】図２０は、算出された実質移動量の一例を示す図である。
【図２１】図２１は、移動方向ラベリングの例を示す図である。
【図２２】図２２は、移動方向ラベルの集約例を示す図である。
【図２３】図２３は、第１の実施の形態における処理フローを示す図である。
【図２４】図２４は、複数人の移動方向ラベルから多数派を決定する処理を説明するための図である。
【図２５】図２５は、第１の実施の形態における類似度の算出の一例を示す図である。
【図２６】図２６は、第２の実施の形態における主情報処理装置の機能ブロック図である。
【図２７】図２７は、第２の実施の形態における処理フローを示す図である。
【図２８】図２８は、包含矩形の一例を示す図である。
【図２９】図２９は、包含矩形の他の例を示す図である。
【図３０】図３０は、矩形処理部の処理結果の一例を示す図である。
【図３１】図３１は、第２の実施の形態における処理フローを示す図である。
【図３２】図３２は、第２の実施の形態における類似度の算出例を示す図である。
【図３３】図３３は、移動方向から特定される矩形を考慮する場合を説明するための図である。
【図３４】図３４は、実質移動量の調整例を示す図である。
【図３５】図３５は、信頼度を反映した矩形の一例を示す図である。
【図３６】図３６は、信頼度を反映した矩形の一例を示す図である。
【図３７】図３７は、信頼度を反映した矩形の一例を示す図である。
【図３８】図３８は、信頼度を反映した矩形の一例を示す図である。
【図３９】図３９は、信頼度を反映した矩形の一例を示す図である。
【図４０】図４０は、信頼度を反映した矩形の一例を示す図である。
【図４１】図４１は、他の実施の形態における包含矩形の一例示す図である。
【図４２】図４２は、他の実施の形態における矩形の設定処理の処理フローを示す図である。
【図４３】図４３は、コンピュータの機能ブロック図である。
【発明を実施するための形態】
【００１３】
［実施の形態１］
本実施の形態では、各ユーザについて視線の移動方向の推移を把握し、それらに基づき典型的な視線の移動方向推移とは異なる視線の移動方向推移が把握されたユーザを検出する。このようなユーザは、書類の記入漏れ確認作業やオンライン教育等において、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしを行った可能性がある。よって、このようなユーザや管理者に警告を発することで、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしなどを抑制させることができる。
【００１４】
但し、上で述べたように、安価な視線センサを用いる場合には、測定された視線位置は誤差を含んでおり、測定された視線位置から単純に視線の移動方向推移を特定するのは好ましくない。一方、安価な視線センサを用いたとしても、図１（ａ）に示すように表示画面の領域Ａあたりを注視している状態から、図１（ｂ）に示すように視線を移動させ、図１（ｃ）に示すように表示画面の領域Ｂあたりを注視している状態へ遷移する様子を特定することはできる。
【００１５】
本実施の形態では、たとえ図１（ａ）や図１（ｃ）に示すような注視の状態においても、その視線移動方向の傾向を抽出できるようにし、当該視線移動方向の傾向から、視線の移動方向推移を表すデータを生成することとする。
【００１６】
より具体的には、図２に示すように、例えば８点の視線位置が検出された状態を想定する。ここで、１番目の視線位置と２番目の視線位置とに着目する。そうすると、１番目の視線位置は誤差を考えると円Ｃの範囲内に存在しており、２番目の視線位置は誤差を考えると円Ｄの範囲内に存在しており、１番目の視線位置から２番目の視線位置へ移動する際には、視線位置は円Ｃと円Ｄが重なった領域Ｅを移動した可能性がある。このような領域Ｅは、誤差を勘案した移動方向の傾向を表しているが、領域Ｅをそのまま取り扱うのは難しいので、本実施の形態では、以下に述べるような方法にて、視線移動方向の傾向を表現するようにする。
【００１７】
すなわち、着目する視線位置と次の視線位置だけではなく、さらに後続の視線位置から実質的な視線の移動方向を算出する。より具体的には、表示画面のｘ軸方向及びｙ軸方向の各々について、着目する視線位置から所定時間内において移動方向の向きの反転を検出するまで移動量を累積することで、実質的な移動量を算出する。
【００１８】
図２における１番目の視線位置に着目し、ｎ（正の整数。例えば６）番目の視線位置までの時間内に、折り返しの有無を判断する。ｘ軸方向については、図３に示すように、１番目の視線位置から２番目の視線位置への移動量はｄｘ＿１であり、２番目の視線位置から３番目の視線位置への移動量はｄｘ＿２であるが、２番目の視線位置から３番目の視線位置への移動において折り返しが発生している。そこで、１番目の視線位置からのｘ軸方向における実質移動量ｍｏｖｘ＿１を、ｄｘ＿１＋ｄｘ＿２で表すことにする。
【００１９】
同様に、ｙ軸方向については、図４に示すように、１番目の視線位置から２番目の視線位置への移動量はｄｙ＿１であり、２番目の視線位置から３番目の視線位置への移動量はｄｙ＿２であり、３番目の視線位置から４番目の視線位置への移動量はｄｙ＿３である。３番目の視線位置から４番目の視線位置への移動において折り返しが発生している。そこで、１番目の視線位置からのｙ軸方向における実質移動量ｍｏｖｙ＿１を、ｄｙ＿１＋ｄｙ＿２＋ｄｙ＿３で表すことにする。
【００２０】
このような計算を各視点位置について繰り返すことで、各視点位置における移動方向の傾向を算出する。このような計算は、表示画面上一点を見ている場合、測定結果として目の微細な動きを除去できないので、全く同じ座標値になることはないが、所定時間内における各視線位置からの移動量の総和はゼロに近づくという性質に基づくものである。
【００２１】
そして、一定時間（以下、時間帯と呼ぶ）毎に、このような移動方向の傾向をまとめることで、視線の移動方向推移を決定する。そして、視線の移動方向推移に基づき、複数のユーザのうち少数派となるユーザを抽出する。
【００２２】
次に、本実施の形態におけるシステムの概要を図５を用いて説明する。
【００２３】
本実施の形態におけるシステムでは、本実施の形態における主要な処理を実行する主情報処理装置１００と、複数のユーザ側情報処理装置３００（図では、３００ａ乃至３００ｎ）と、管理者端末４００とが、ネットワーク２００を介して接続されている。
【００２４】
ユーザ側情報処理装置３００ａは、情報表示装置３０１ａと、情報収集装置３０２ａとを含む。情報表示装置３０１ａは、ユーザに対して表示装置に文書などのデータを表示し、その表示履歴についてのデータを管理する。文書などのデータについては、主情報処理装置１００などから配信される場合もあれば、情報表示装置３０１ａで保持されている場合もある。
【００２５】
さらに、情報収集装置３０２ａは、視線センサを有しており、表示画面上におけるユーザの視線位置に関するセンサデータ等を収集する。例えば、情報収集装置３０２ａは、Ｗｅｂカメラのような装置を含み、Ｗｅｂカメラで撮影された画像から、表示画面上における視線位置を算出するようにしても良い。なお、このような検出技術については、Stylianos Asteriadis et al.,“Estimation of behavioral user state based on eye gaze and head pose-application in an e-learning environment”, Multimed Tools Appl, 2009.などを参照のこと。なお、センサデータから、表示画面上の視点座標を算出する処理については、主情報処理装置１００において実施しても良いし、情報収集装置３０２ａで収集で行っても良い。
【００２６】
また、情報収集装置３０２ａは、情報表示装置３０１ａの表示画面上に表示されているコンテンツの履歴データをも収集する。情報収集装置３０２ａで収集されたデータは、主情報処理装置１００へネットワーク２００を介して送信される。
【００２７】
なお、情報表示装置３０１ａと情報収集装置３０２ａとは、一体となってユーザ側情報処理装置３００ａを成す場合もある。ユーザ側情報処理装置３００ａは、携帯電話機（スマートフォンを含む）、タブレット装置、パーソナルコンピュータなどであっても良い。さらに、他のユーザ側情報処理装置３００ｂ乃至３００ｎについても、ユーザ側情報処理装置３００ａと同様の構成を有する。
【００２８】
ユーザ側情報処理装置３００は、ユーザ一人ずつに用意されている場合もあれば、複数のユーザで共用する場合もある。
【００２９】
管理者端末４００は、例えばシステムの管理者が操作する端末装置であり、典型的な視線の移動方向推移を成さなかったユーザについてのデータが、主情報処理装置１００から通知された場合に、表示装置などに表示する。
【００３０】
次に、主情報処理装置１００の構成例を図６に示す。主情報処理装置１００は、データ収集部１０１と、収集データ格納部１０２と、推移特定部１０３と、推移データ格納部１０４と、抽出部１０５と、抽出データ格納部１０６と、出力部１０７とを有する。
【００３１】
データ収集部１０１は、ユーザ側情報処理装置３００から送信されるセンサデータ及び表示履歴データなどを受信して、収集データ格納部１０２に格納する。センサデータが、表示画面上の視点座標データに変換されていない場合には、データ収集部１０１は、データ変換処理をも実施する。
【００３２】
推移特定部１０３は、移動方向推定部１０３１を有し、視線の移動方向推移を表すデータを生成し、推移データ格納部１０４に格納する。移動方向推定部１０３１は、図３及び図４を用いて説明した実質移動量の算出を行う。
【００３３】
抽出部１０５は、多数派決定部１０５１と、少数派抽出部１０５２とを有し、典型的な視線の移動方向推移を成さなかったユーザについてのデータを抽出して、抽出データ格納部１０６に格納する。多数派決定部１０５１は、複数のユーザについての視線の移動方向推移から、多数派についての視線の移動方向推移を決定する。また、少数派抽出部１０５２は、多数派についての視線の移動方向推移と非類似の視線の移動方向推移を成したユーザを抽出する。
【００３４】
出力部１０７は、抽出データ格納部１０６に格納されている少数派のユーザについてのデータを、例えば管理者端末４００に送信する。その他の装置（ユーザ側情報処理装置３００を含む）に出力するようにしても良い。
【００３５】
次に、図７乃至図２５を用いて、主情報処理装置１００における処理について説明する。まず、データ収集部１０１は、各ユーザ側情報処理装置３００ａ乃至３００ｎから、センサデータ及び表示履歴データなどを受信し、センサデータを視点座標データに変換して、収集データ格納部１０２に格納する（図７：ステップＳ１）。
【００３６】
上でも述べたように、例えば情報表示装置３０１の表示画面上には、文書チェック業務中であればチェック対象文書、オンライン教育であれば受講中のオンライン教材が表示される。この時同時に、情報収集装置３０２は、視線センサからセンサデータを取得し、さらに表示されているコンテンツのデータについても取得して、それらを紐付けた形で主情報処理装置１００へ送信する。
【００３７】
主情報処理装置１００のデータ収集部１０１は、このような視線センサからのセンサデータ及びコンテンツのデータを、各ユーザ側情報処理装置３００から受信し、収集データ格納部１０２に格納する。
【００３８】
図８乃至図１２に、収集データ格納部１０２に格納されるコンテンツデータの一例を示す。まず、図８に、ウィンドウ座標の履歴データの一例を示す。図８の例では、表示時刻と、ユーザＩＤと、スクリーンＩＤと、ウィンドウＩＤと、当該ウィンドウの左上のｘ座標及びｙ座標と、ウィンドウの幅及び高さと、重なり順とを含む。これによって、どのようなウィンドウが表示画面上に表示されているか、どのウィンドウが最前面になっているのかを把握できる。
【００３９】
さらに、図９に、コンテンツとウィンドウとの関係の一例を表す。図９の例では、表示時刻と、ユーザＩＤと、スクリーンＩＤと、ウィンドウＩＤと、コンテンツＩＤと、コンテンツ時間区間とを含む。このようなデータによって、どのようなウィンドウにどのようなコンテンツが表示されているかを把握できる。コンテンツ時間区間は、例えばコンテンツ中における最初からの位置（例えば視聴時間やページ数など）を表す。
【００４０】
なお、図１０に、コンテンツの保存先データの一例を示す。図１０の例では、コンテンツＩＤと、保存先のアドレス（ＵＲＩ（Uniform Resource Identifier））とが含まれる。このデータについては、予め格納しておいても良い。
【００４１】
このように、各ユーザについて、表示画面上に表示されている各ウィンドウがどのような状態で表示され、ウィンドウ中にどのようなコンテンツが表示されたのかを履歴データとして蓄積する。
【００４２】
この時、ウィンドウ中にコンテンツが表示されている場合であってもウィンドウが他のウィンドウの下に隠れ、実際にはユーザが、目視すべきウィンドウ中のコンテンツを一切見ていない場合もあるため、ウィンドウ座標の履歴データ（図８）には、ウィンドウの表示位置、表示サイズを表すデータのみではなく、ウィンドウの重なり順も含むようになっている。
【００４３】
また、収集データ格納部１０２には、視線センサのセンサデータから得られた視点座標データも格納される。図１１に、表示画面の絶対座標として求めた視線座標データの位置例を示す。図１１の例では、計測時刻と、ユーザＩＤと、スクリーンＩＤと、ｘ座標値と、ｙ座標値とが含まれる。
【００４４】
一方、表示画面上に複数のウィンドウが表示されている場合には、ウィンドウの重なりを考慮することで、最前面に表示されたウィンドウを目視しているものとして、当該ウィンドウ内の視点座標データを算出する。このような場合には、図１２に示すようなデータが収集データ格納部１０２に格納される。図１２の例でも、計測時刻と、ユーザＩＤと、スクリーンＩＤと、ｘ座標値と、ｙ座標値とが含まれる。なお、表示画面内における相対的な座標値が記録される。
【００４５】
これ以降の説明では、説明を簡単にするため、表示画面上には１つのウィンドウが全面表示されており、視点座標を最前面のウィンドウ上の座標として求めた場合を例に説明する。
【００４６】
図７の処理の説明に戻って、推移特定部１０３は、現時点が、視線の移動方向推移を特定するための第１のタイミングであるか否かを判断する（ステップＳ３）。例えば、タイマにより計測された所定のタイミングであるか否か、または比較対象のユーザからデータを全て受け取ったといったタイミングであるか否かを判断する。現時点が上で述べたような第１のタイミングではない場合には、処理は端子Ａを介して図２３の処理に移行する。
【００４７】
一方、現時点が上で述べたような第１のタイミングであれば、推移特定部１０３は、収集データ格納部１０２から、処理すべき複数の時間帯における処理対象ユーザについての視点座標データを読み出す（ステップＳ５）。
【００４８】
そして、推移特定部１０３は、読み出した視点座標データにおいて、未処理のユーザを一人特定する（ステップＳ７）。そして、移動方向推定部１０３１は、特定されたユーザについて移動方向推定処理を実行し、処理結果を推移データ格納部１０４に格納する（ステップＳ９）。この移動方向推定処理については、図１３乃至図１９を用いて説明する。
【００４９】
まず、移動方向推定部１０３１は、各視点座標（最後の視点座標を除く）について、ｘ軸方向及びｙ軸方向で、直後の視点座標との差分値ｄｘ及びｄｙを算出する（図１３：ステップＳ２１）。例えば、ｘ軸方向について、１番目の視点座標と２番目の視点座標との差ｄｘ＿１、２番目の視点座標と３番目の視点座標との差ｄｘ＿２、３番目の視点座標と４番目の視点座標との差ｄｘ＿３、４番目の視点座標と５番目の視点座標との差ｄｘ＿４、５番目の視点座標と６番目の視点座標との差ｄｘ＿５、及び６番目の視点座標と７番目の視点座標の差ｄｘ＿６といったように算出される。ｙ軸方向についても同様である。
【００５０】
また、移動方向推定部１０３１は、処理対象の視点座標（ｋ番目の視点座標とする）を１つ特定する（ステップＳ２３）。
【００５１】
そして、移動方向推定部１０３１は、変数ｒを０に初期化する（ステップＳ２５）。その後、移動方向推定部１０３１は、処理対象の視点座標ｋについて、実質移動量ｍｏｖｘ＿ｋに、ｒ番目の差ｄｘ＿（ｋ＋ｒ）を加算する（ステップＳ２７）。
【００５２】
そして、移動方向推定部１０３１は、ｄｘ＿ｋの向きとｄｘ＿（ｋ＋ｒ）の向きが異なる、すなわちｄｘ＿（ｋ＋ｒ）の向きが反転した（符号が反転）か、又はｒが所定値（所定期間に相当する値）となったか否かを判断する（ステップＳ２９）。
【００５３】
このステップＳ２９の条件が満たされない場合には、さらにｄｘ＿（ｋ＋ｒ＋１）をｍｏｖｘ＿ｋに累積加算するために、移動方向推定部１０３１は、ｒを１インクリメントし（ステップＳ３１）、処理はステップＳ２７に戻る。
【００５４】
一方、ステップＳ２９の条件が満たされた場合には、ｘ軸方向については、今回の処理対象となった視点座標についての実質移動量が得られたことになる。そこで、移動方向推定部１０３１は、変数ｒを０に初期化する（ステップＳ３３）。その後、移動方向推定部１０３１は、処理対象の視点座標ｋについて、実質移動量ｍｏｖｙ＿ｋに、ｒ番目の差ｄｙ＿（ｋ＋ｒ）を加算する（ステップＳ３５）。
【００５５】
そして、移動方向推定部１０３１は、ｄｙ＿ｋの向きとｄｙ＿（ｋ＋ｒ）の向きが異なる、すなわちｄｙ＿（ｋ＋ｒ）の向きが反転した（符号が反転）か、又はｒが所定値（所定期間に相当する値）となったか否かを判断する（ステップＳ３７）。
【００５６】
このステップＳ３７の条件が満たされない場合には、さらにｄｙ＿（ｋ＋ｒ＋１）をｍｏｖｙ＿ｋに累積加算するために、移動方向推定部１０３１は、ｒを１インクリメントし（ステップＳ３９）、処理はステップＳ３５に戻る。
【００５７】
一方、ステップＳ３７の条件が満たされた場合には、ｙ軸方向についても、今回の処理対象となった視点座標についての実質移動量が得られたことになる。そこで、移動方向推定部１０３１は、処理すべき視点座標が、ステップＳ５で読み出された視点座標データに存在しているか否かを判断する（ステップＳ４１）。
【００５８】
処理すべき視点座標が存在している場合には、移動方向推定部１０３１は、ｋを１インクリメントして（ステップＳ４３）、処理はステップＳ２３に戻る。一方、処理すべき視点座標が残っていない場合には、処理は呼び出し元の処理に戻る。
【００５９】
例えば図２の例で、ｒの上限値を例えば６として処理した場合には、図１４乃至図１９に示すようなｍｏｖｘ及びｍｏｖｙが得られる。図１４には、ｍｏｖｘ＿１及びｍｏｖｙ＿１を示す。図１５には、ｍｏｖｘ＿２及びｍｏｖｙ＿２を示す。図１６には、ｍｏｖｘ＿３及びｍｏｖｙ＿３を示す。図１７には、ｍｏｖｘ＿４及びｍｏｖｙ＿４を示す。図１８には、ｍｏｖｘ＿５及びｍｏｖｙ＿５を示す。図１９には、ｍｏｖｘ＿６及びｍｏｖｙ＿６を示す。
【００６０】
また、移動方向推定部１０３１の処理結果は、推移データ格納部１０４に格納される。例えば、図２０に示すようなデータが格納される。図２０の例では、ｘ軸及びｙ軸のそれぞれについて、時刻ｔ＝１から６までの各時刻について実質移動量ｍｏｖｘ及びｍｏｖｙが登録される。なお、実質移動量は、その符号によってｘ軸方向及びｙ軸方向の向きを表している。図１４乃至図１９で示したように、ｘ軸方向で正の実質移動量であれば右向き、負の実質移動量であれば左向き、ｙ軸方向で正の実質移動量であれば上向き、負の実質移動量であれば下向きを表す。
【００６１】
図７の処理の説明に戻って、推移特定部１０３は、移動方向推定部１０３１によって算出された推定移動方向から、各時刻の移動方向ラベルを特定し、推移データ格納部１０４に格納する（ステップＳ１１）。
【００６２】
図２０に示すような結果が得られた場合には、図２１に示すようなデータが得られる。なお、右向きはＲと表し、左向きはＬと表し、上向きはＵと表し、下向きはＤと表すものとする。
【００６３】
本実施の形態では、例えば実質移動量の絶対値が１０以下の場合には、誤差として検出されなかったものとする。また、実質移動量の絶対値が、表示画面の枠を超えるような値（ｙ軸方向であれば高さHeight以上、ｘ軸方向であれば横幅width以上）であれば、表示画面以外を見ているものとして、これも検出されなかったものとする。
【００６４】
そうすると、図２１において、ｘ軸方向ｔ＝２及びｙ軸方向ｔ＝５については、実質移動量の絶対値が１０以下なので除外されて「−」で表されている。それ以外は、上で述べたようなルールで、ラベル付けされている。なお、説明の都合上ｔ＝７についてはラベル付けされていない。
【００６５】
さらに、推移特定部１０３は、各時刻の移動方向ラベルを、各時間帯について集約し、その集約結果を推移データ格納部１０４に格納する（ステップＳ１３）。例えば、２秒毎に時間帯を設定するとすると、その２秒間に含まれるラベル（例えば７点）のうち例えば閾値以上（例えば６割以上）を占めるラベルがあれば、そのラベルをその時間帯を代表するラベルとして設定し、そのようなラベルが存在しなければその時間帯を代表するラベルは無し「−」とする。
【００６６】
例えば、図２１に示した例では、ｘ軸方向では全てＲとなっているので、Ｒが選択される。ｙ軸方向では５つのうち４つがＤとなっているので、Ｄが選択される。このような判断を各時間帯について行うことで、図２２に示すようなデータが得られる。この例では、図２１で示したデータが、図２２の時刻０−２の２秒間の時間帯の推移データとして、集約される。
【００６７】
そして、推移特定部１０３は、収集データ格納部１０２において、未処理のユーザが存在するか判断する（ステップＳ１５）。未処理のユーザが存在する場合には、処理はステップＳ７に戻る。一方、未処理のユーザが存在しない場合には、処理は端子Ｂを介して図２３のステップＳ５１に移行する。
【００６８】
図２３のステップＳ５１へ端子Ｂを介して移行して、抽出部１０５は、現時点が、多数派及び少数派を特定するための第２のタイミングになったか判断する（ステップＳ５１）。例えば、タイマにより計測された所定のタイミングであるか否か、または処理すべきデータが揃ったといったタイミングであるか否かを判断する。現時点が上で述べたような第２のタイミングではない場合には、処理を終了する。
【００６９】
一方、現時点が、第２のタイミングであれば、抽出部１０５は、複数のユーザの視点推移データを複数の時間帯を含む一定時間分を、読み出す（ステップＳ５３）。
【００７０】
そして、抽出部１０５の多数派決定部１０５１は、ｘ軸及びｙ軸の各々について、各時間帯の移動方向の多数派を決定する（ステップＳ５５）。
【００７１】
図２４を用いて、多数派決定について説明する。図２４の例では、ｘ軸、ｙ軸それぞれについて、ｎ人のユーザの各々について、各時間帯の移動方向ラベルが列挙されている。そこで、本ステップでは、各時間帯について、最も人数が多い移動方向ラベルを、移動方向の多数派として決定する。例えば、０−２秒の時間帯については、ｘ軸については、「Ｒ」が選択されたユーザの数が多いので「Ｒ」を多数派として特定する。ｙ軸については、例えば「Ｄ」と「Ｕ」とが同数で多数派が特定できないので、多数派なし「−」が登録される。これを各時間帯について行えば、ｘ軸についての最終行、ｙ軸についての最終行が得られるようになる。
【００７２】
その後、抽出部１０５の少数派抽出部１０５２は、読み出したデータのうち未処理のユーザを一人抽出する（ステップＳ５７）。そして、少数派抽出部１０５２は、特定されたユーザについて、時間帯毎に、多数派との類似度を算出する（ステップＳ５９）。
【００７３】
より具体的には、各時間帯について、多数派の移動方向と一致していれば「１」、不一致であれば「０」、それ以外（例えばいずれかが「−」）であれば「０．５」といったように類似度を算出する。図２４に示した例であれば、本ステップを実行することで、１番目のユーザ「ＵｓｅｒＲ１」について、図２５に示すような結果が得られる。この例では、ｘ軸については「１」が多いが、ｙ軸については「１」は多くない。
【００７４】
なお、本ステップにおいて、ｘ軸について類似度の平均値又は総和、及びｙ軸について類似度の平均値又は総和を算出して、総合的な類似度として採用しても良い。さらに、各時間帯について平均値などを計算した後、平均値や総和にて総合的な類似度を算出するようにしても良い。
【００７５】
そして、少数派抽出部１０５２は、読み出したデータのうち未処理のユーザが存在するか否かを判断する（ステップＳ６１）。未処理のユーザが存在する場合には、処理はステップＳ５７に戻る。一方、未処理のユーザが存在しない場合には、少数派抽出部１０５２は、算出された類似度に基づき少数派のユーザを抽出し、当該抽出されたユーザについてのデータを、抽出データ格納部１０６に格納する（ステップＳ６３）。例えば、総合的な類似度が、閾値未満であるユーザを少数派として特定しても良いし、ｘ軸又はｙ軸で類似度「１」の時間帯が、所定数未満であるユーザを少数派として特定しても良い。
【００７６】
その後、出力部１０７は、抽出データ格納部１０６に格納された少数派ユーザのデータを、例えば管理者端末４００へ送信する（ステップＳ６５）。これによって、管理者は、問題のあるユーザを特定できる。なお、少数派ユーザのユーザ側情報処理装置３００へ、警告データを送信するようにしても良い。
【００７７】
このような処理を例えば定期的に又は管理者などからの要求に応じて繰り返すようにすれば、典型的でない視線の移動方向推移をなしたユーザを特定できるようになる。
【００７８】
本実施の形態によれば、低精度の視線センサを用いていても、視線の移動方向をその特性に応じた方法で抽出することで、視線の移動方向推移が特定され、多数派及び少数派を特定できるようになる。
【００７９】
これによって、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしなどを検出、そして抑制させることができる。
【００８０】
［実施の形態２］
本実施の形態では第１の実施の形態とは異なる少数派ユーザの抽出方法を採用する。但し、図５に示したシステムの概要は、本実施の形態でも同様である。
【００８１】
図２６に、本実施の形態に係る主情報処理装置１００ｂの構成例を示す。
【００８２】
本実施の形態に係る主情報処理装置１００ｂの基本構成は、第１の実施の形態と同様であり、推移特定部１０３ｂと抽出部１０５ｂの構成が異なる。
【００８３】
すなわち、推移特定部１０３ｂは、移動方向推定部１０３１に加えて、矩形処理部１０３２を有する。矩形処理部１０３２は、各時間帯における視線の移動方向推移を、数値化するための処理を実行する。
【００８４】
また、抽出部１０５ｂは、類似度算出部１０５３と少数派抽出部１０５２ｂとを有する。類似度算出部１０５３は、矩形処理部１０３２の処理結果に基づき、各ユーザについて、当該ユーザと他のユーザとの類似度を算出する。
【００８５】
少数派抽出部１０５２ｂは、類似度算出部１０５３によって算出された類似度に基づき、少数派ユーザを抽出する。
【００８６】
次に、図２７乃至図３２を用いて、本実施の形態に係る主情報処理装置１００ｂの処理内容について説明する。
【００８７】
まず、データ収集部１０１は、各ユーザ側情報処理装置３００ａ乃至３００ｎから、センサデータ及び表示履歴データなどを受信し、センサデータを視点座標データに変換して、収集データ格納部１０２に格納する（図２７：ステップＳ１０１）。本ステップは、ステップＳ１と同様である。
【００８８】
次に、推移特定部１０３ｂは、現時点が、視線の移動方向推移を特定するための第１のタイミングであるか否かを判断する（ステップＳ１０３）。このステップは、ステップＳ３と同様である。現時点が上で述べたような第１のタイミングではない場合には、処理は端子Ｃを介して図３１に移行する。
【００８９】
一方、現時点が上で述べたような第１のタイミングであれば、推移特定部１０３ｂは、収集データ格納部１０２から、処理すべき複数の時間帯における処理対象ユーザについての視点座標データを読み出す（ステップＳ１０５）。このステップは、ステップＳ５と同様である。
【００９０】
そして、推移特定部１０３ｂは、読み出した視点座標データにおいて、未処理のユーザを一人特定する（ステップＳ１０７）。このステップは、ステップＳ７と同様である。そして、移動方向推定部１０３１は、特定されたユーザについて移動方向推定処理を実行し、処理結果を推移データ格納部１０４に格納する（ステップＳ１０９）。この移動方向推定処理については、図１３に示したものと同様である。
【００９１】
そして、矩形処理部１０３２は、各時間帯について、視点座標と当該視点座標における移動方向（ｘ軸方向の実質移動量及びｙ軸方向の実質移動量）とを包含する包含矩形の矩形面積及び中心点の座標値（又はそれらのうちいずれか）を算出し、推移データ格納部１０４に格納する（ステップＳ１１１）。
【００９２】
例えば、図２の例では、図２８に示すような包含矩形Ｆが特定される。なお、包含矩形Ｆの中心点は、点ｆである。このように、ある領域を注視しているような状態であれば、矩形はおおよそ視線位置の包含矩形と一致する。但し、図１（ｂ）のように視線が大きく移動している時間帯であれば、図２９に示すように、視線位置からの移動方向に応じた移動先座標で包含矩形の形状が決まってくる。なお、図２９において外側の枠は、図１（ｂ）と同じ向きで画面を示した場合の表示領域の外形を示している。
【００９３】
そうすると、図３０に示すようなデータが、推移データ格納部１０４に格納される。図３０の例では、包含矩形の矩形面積と、包含矩形の中心点座標とが、ユーザ毎且つ時間帯毎に格納される。
【００９４】
そして、推移特定部１０３ｂは、ステップＳ１０５で読み出したデータのうち未処理のユーザが存在するか否かを判断する（ステップＳ１１３）。未処理のユーザが存在する場合には、処理はステップＳ１０７に戻る。一方、未処理のユーザが存在しない場合には、処理は端子Ｄを介して図３１の処理に移行する。
【００９５】
図３１の処理の説明に移行して、抽出部１０５ｂは、現時点が、多数派及び少数派を特定するための第２のタイミングになったか判断する（ステップＳ１１５）。本ステップは、ステップＳ５１と同様である。現時点が上で述べたような第２のタイミングではない場合には、処理を終了する。
【００９６】
一方、現時点が、第２のタイミングであれば、抽出部１０５ｂは、複数のユーザの視点推移データを複数の時間帯を含む一定時間分を、読み出す（ステップＳ１１７）。
【００９７】
そして、類似度算出部１０５３は、ステップＳ１１７で読み出したデータにおいて、未処理のユーザを一人特定する（ステップＳ１１９）。また、類似度算出部１０５３は、時間帯毎に、他のユーザ各々との類似度を算出する（ステップＳ１２１）。
【００９８】
例えば、包含矩形の矩形面積については、１−｜第１のユーザの矩形面積−第２のユーザの矩形面積｜／正規化のための基準面積で算出する。第１のユーザが、ステップＳ１１９で特定されたユーザである。正規化のための基準面積には、全てのユーザに対して同一の値を用いるようにしても良いし、第１のユーザの矩形面積であっても良い。
【００９９】
さらに、包含矩形の中心点についての類似度については、１−正規化された中心点距離で算出する。正規化された中心点距離は、｛（第１のユーザのｘ座標値−第２のユーザのｘ座標値）2＋（第１のユーザのｙ座標値−第２のユーザのｙ座標値）2｝0.5／正規化のための基準距離で算出される。正規化のための基準距離は、例えば画面の対角距離、例えば１６００×１２００ピクセルであれば、対角距離は２０００ピクセルとなる。
【０１００】
例えば、図３０の例で、時刻０−２秒の時間帯について各ユーザについて他のユーザとの類似度を、包含矩形の矩形面積及び中心点の各々について算出した例を、図３２に示す。図３２に示すように、他のユーザとの個別の類似度だけではなく、他のユーザ全体との類似度も算出される。他のユーザ全体の類似度は、他のユーザとの類似度の平均値であってもよい。但し、包含矩形の矩形面積の類似度と、包含矩形の中心点についての類似度とを平均して、他のユーザ全体との類似度を算出するようにしても良い。
【０１０１】
そして、図３２に示すようなデータを、各時間帯について生成する。
【０１０２】
また、類似度算出部１０５３は、他ユーザとの総合類似度を算出する（ステップＳ１２３）。具体的には、各時間帯について算出された他のユーザ全体との類似度を複数のユーザ間で平均値を算出するようにしても良いし、各ユーザ毎に算出された他のユーザ全体との類似度の最小値を採用しても良い。包含矩形の矩形面積についての総合類似度と中心点についての総合類似度とをそれぞれ算出しておいてもよいし、それらを平均値等を用いてまとめた１つの総合類似度を算出しても良い。
【０１０３】
そして、類似度算出部１０５３は、ステップＳ１１７で読み出したデータにおいて、未処理のユーザが存在するか否かを判断する（ステップＳ１２５）。未処理のユーザが存在する場合には、処理はステップＳ１１９に戻る。
【０１０４】
一方、未処理のユーザが存在しない場合には、少数派抽出部１０５２ｂは、総合類似度が閾値未満のユーザを少数派として抽出し、抽出結果を抽出データ格納部１０６に格納する（ステップＳ１２７）。例えば、包含矩形の矩形面積についての総合類似度が、第１の閾値未満である場合、又は中心点についての総合類似度が、第２の閾値未満である場合に、少数派ユーザとして抽出するようにしても良い。さらに、矩形面積についての総合類似度と中心点についての総合類似度をさらにまとめた類似度を算出した場合には、そのための第３の閾値未満であれば少数派ユーザとして抽出するようにしても良い。
【０１０５】
なお、多数派ユーザを抽出しておいても良い。
【０１０６】
その後、出力部１０７は、抽出データ格納部１０６に格納された少数派ユーザのデータを、例えば管理者端末４００へ送信する（ステップＳ１２９）。これによって、管理者は、問題のあるユーザを特定できる。なお、少数派ユーザのユーザ側情報処理装置３００へ、警告データを送信するようにしても良い。
【０１０７】
このような処理を例えば定期的に又は管理者などからの要求に応じて繰り返すようにすれば、典型的でない視線の移動方向推移をなしたユーザを特定できるようになる。
【０１０８】
以上のような処理を実行することで、低精度の視線センサを用いていても、視線の移動方向をその特性に応じた方法で抽出して視線の移動方向推移が特定され、類似度として評価した上で多数派及び少数派を特定できるようになる。
【０１０９】
［その他の実施の形態］
第２の実施の形態では、包含矩形を、注目する時間帯における視点座標と当該視点座標における移動方向（ｘ軸方向の実質移動量及びｙ軸方向の実質移動量）とを包含するように定義したが、他の定義を採用しても良い。
【０１１０】
例えば、視点座標と、ｘ軸方向の実質移動量ｍｏｖｘとｙ軸方向の実質移動量ｍｏｖｙで特定される矩形とを包含するように、包含矩形を定義するようにしても良い。このような矩形を、視線の移動範囲として取り扱うためである。
【０１１１】
図３３に模式的に示すように、第１の視線位置から横幅ｍｏｖｘ＿１と縦幅ｍｏｖｙ＿１の矩形Ｇを特定する。このような矩形を、着目する時間帯における各視線位置について生成して、それらをも含む包含矩形を特定するものである。
【０１１２】
また、図２０に示すようなｍｏｖｘ＿１及びｍｏｖｙ＿１が得られた場合に、上で述べたように、例えば実質移動量の絶対値が１０以下の場合には、誤差として検出されなかったものとする。また、実質移動量の絶対値が、表示画面の枠を超えるような値（ｙ軸方向であれば高さHeight以上、ｘ軸方向であれば横幅width以上）であれば、表示画面以外を見ているものとして、これも検出されなかったものとする。
【０１１３】
それだけではなく、視線検出誤差ｒａｄ（図２の円の半径）以上の移動がある場合には、明らかに視線の移動が起こったと判断できるため、実施の形態で行うような視線の移動方向推移を特定するための処理を行うことは、移動方向を特定するという目的においては、冗長と言える。従って、ｒａｄ（例えば３００）以上の値がｍｏｖｘ又はｍｏｖｙとして算出された場合には、ｒａｄを採用するものとする。
【０１１４】
そうすると、図２０のような結果は、図３４に示すように変更される。図３４をそのまま採用して、第２の実施の形態のように包含矩形を特定するようにしても良いし、上で述べたような新たな定義を採用して包含矩形を特定するようにしても良い。
【０１１５】
さらに、このような処理によって採用されたｍｏｖｘ及びｍｏｖｙの数によって、その時間帯の信頼度を算出するようにしても良い。
【０１１６】
図３４では、時刻０−２秒に含まれる８点の視線位置で特定される７つの時間間隔うち６つだけを算出しているが、ｘ軸方向については、６点中４点採用されており、ｙ軸方向については、６点中５点採用されている。従って、ｘ軸方向の信頼度は２／３であり、ｙ軸方向の信頼度は５／６である。なお、ｘ軸及びｙ軸についての信頼度を平均化しても良い。
【０１１７】
このような信頼度を、ｍｏｖｘ及びｍｏｖｙで特定される矩形のサイズに反映させることも考えられる。例えば、ｍｏｖｘ及びｍｏｖｙで特定される矩形の中心に、信頼度を反映させた後の矩形を配置する。
【０１１８】
図３４の例で、仮に信頼度が１／２であるとすると、第１の視線位置については、図３５に示すような矩形Ｈ1が得られる。また、第２の視線位置については、図３６に示すように、ｘ軸方向はｍｏｖｘが無しと取り扱われるので、線となった矩形Ｈ2が得られる。第３の視線位置については、図３７に示すような矩形Ｈ3が得られる。また、第４の視線位置については、図３８に示すように、元々のｍｏｖｘ及びｍｏｖｙが短縮されており、短縮されたｍｏｖｘ及びｍｏｖｙに対して信頼度を反映させて、矩形Ｈ4が得られる。第５の視線位置については、図３９に示すように、ｙ軸方向はｍｏｖｙが無しと取り扱われるので、線となった矩形Ｈ5が得られる。同様に、図４０に示すように、第６の視線位置については、ｘ軸方向はｍｏｖｘが無しと取り扱われるので、線となった矩形Ｈ6が得られる。
【０１１９】
そうすると、図４１に示すような包含矩形Ｊが得られるようになる。この例では、図２８と同様の結果が得られるが、必ず一致するわけではない。
【０１２０】
このような信頼度を用いた矩形の設定処理について、図４２にまとめておく。なお、この処理は、ステップＳ１１１の一部として、矩形処理部１０３２によって実行されるものとする。
【０１２１】
例えば、矩形処理部１０３２は、未処理の時間帯を１つ特定する（ステップＳ２０１）。そして、矩形処理部１０３２は、特定された時間帯に含まれる各視線位置について算出された実質移動量のうち、除外条件を満たす実質移動量を除外し、閾値（上で述べたｒ）以上の実質移動量を閾値に短縮する（ステップＳ２０３）。
【０１２２】
矩形処理部１０３２は、実質移動量の数に対する残った実質移動量の数の割合にて信頼度を算出する（ステップＳ２０５）。さらに、矩形処理部１０３２は、信頼度に応じて実質移動量を調整する（ステップＳ２０７）。そして、矩形処理部１０３２は、調整後の実質移動量に応じた矩形を、調整前の実質移動量で特定される矩形の中心に配置する（ステップＳ２０９）。矩形配置の位置は一例で、視線位置に合せて配置しても良い。
【０１２３】
その後、矩形処理部１０３２は、未処理の時間帯が存在するか判断する（ステップＳ２１１）。未処理の時間帯が存在する場合には、処理はステップＳ２０１に戻る。一方、未処理の時間帯が存在しない場合には、元の処理に戻る。
【０１２４】
なお、このように得られた各矩形、各包含矩形は、少数派ユーザの抽出における１つのパラメータとしてではなく、視線が存在していた可能性の高い領域として、目視領域や目視領域の推移を特定するために用いるようにしても良い。また、これらの目視領域や目視領域の推移を用いて、多数派および少数派に属するユーザの視線の時系列の流れを記録したり、後日記録を再生したりすることで、書類の確認作業や、オンライン教育受講の様子のロギングやログ確認手段として用いても良い。
【０１２５】
以上、本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、主情報処理装置１００及び１００ｂの構成例は、プログラムモジュール構成とは一致しない場合もある。また、処理フローについても、処理結果が変わらない限り、処理順番を入れ替えたり、並列実行するようにしても良い。
【０１２６】
さらに、主情報処理装置１００及び１００ｂは、１台のコンピュータではなく、複数台のコンピュータによって機能分担するようにしても良い。上でも述べたように、ユーザ側情報処理装置３００及び主情報処理装置１００又は１００ｂは、それぞれ上で述べた各機能を分担保持する。
【０１２７】
なお、上で述べた主情報処理装置１００及び１００ｂは、コンピュータ装置であって、図４３に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【０１２８】
以上述べた本実施の形態をまとめると、以下のようになる。
【０１２９】
本実施の形態に係る情報処理装置は、（Ａ）表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された視線の移動履歴から、複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定する特定部と、（Ｂ）複数のユーザの各々について特定された視線の移動方向推移に基づき、複数のユーザのうち少数派のユーザを抽出する抽出部とを有する。
【０１３０】
このようにすれば、書類の部分的な確認作業忘れや、オンライン教育における重要箇所の読み飛ばしなどを行うユーザが少数派ユーザであれば、このような少数派ユーザを抽出でき、少数派ユーザに警告や注意などを行うことができるようになる。
【０１３１】
また、上で述べた抽出部が、（ｂ１）複数のユーザの視線の移動方向推移を各時間帯で比較することで、複数のユーザのうち多数派とみなす視線の移動方向推移を特定し、（ｂ２）複数のユーザのうち多数派とみなす視線の移動方向推移と非類似となる視線の移動方向推移が特定されたユーザを抽出するようにしても良い。時間帯毎に基準となる視線の移動方向推移を特定することで、少数派を特定しやすくなる。
【０１３２】
さらに、上で述べた抽出部が、（ｂ３）複数のユーザの各々について、当該ユーザの視線の移動方向推移と他のユーザの視線の移動方向推移とを比較して類似度を算出し、（ｂ４）複数のユーザの各々について、当該ユーザについて算出された類似度に基づき少数派のユーザを抽出するようにしても良い。このように数値として他のユーザに対する類似度を算出することで、少数派ユーザが抽出できるようになる。
【０１３３】
さらに、上で述べた特定部が、各視線位置について、当該視線位置からの所定時間内における実質移動量を算出するようにしても良い。一方、上で述べた特定部が、各視線位置について、表示画面上の各軸方向に、当該視線位置から所定時間内において方向転換を検出した視線位置までの累積移動量を算出するようにしても良い。このような精度の低いセンサを考慮した特徴的な指標値に基づき処理を行うようにすれば、好ましい判断を行うことができるようになる。
【０１３４】
さらに、上で述べた特定部が、各時間帯において、当該時間帯における各視線位置及び各累積移動量から特定される矩形の面積と当該矩形の中心座標との少なくともいずれかを算出することで、視線の移動方向推移を特定するようにしても良い。このような矩形は、視線移動の傾向を特徴付けるものである。
【０１３５】
また、上で述べた矩形が、各軸方向に累積移動量に応じて設定される辺を有する第２の矩形と、各視線位置を包含する矩形であるようにしても良い。
【０１３６】
さらに、上で述べた特定部が、（ａ１）各時間帯において、当該時間帯における各視線位置について算出された累積移動量が、所定の範囲内であるか判断し、（ａ２）所定の範囲内である累積移動量が算出された視線位置の個数を時間帯における視線位置の個数で除することで信頼度を算出し、（ａ３）所定の範囲内である累積移動量に対して信頼度を乗じることで得られる長さを有する辺を有する第２の矩形を配置するようにしても良い。このようにすれば、累積移動量の有効性を表す信頼度を考慮して類似度を算出できるようになる。
【０１３７】
なお、上で述べたような処理をプロセッサ又はコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭなどの光ディスク、光磁気ディスク、半導体メモリ（例えばＲＯＭ）、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、ＲＡＭ等の記憶装置に一時保管される。
【０１３８】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１３９】
（付記１）
表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定する特定部と、
前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する抽出部と、
を有する情報処理装置。
【０１４０】
（付記２）
前記抽出部が、
前記複数のユーザの前記視線の移動方向推移を各時間帯で比較することで、前記複数のユーザのうち多数派とみなす視線の移動方向推移を特定し、
前記複数のユーザのうち多数派とみなす視線の移動方向推移と非類似となる前記視線の移動方向推移が特定されたユーザを抽出する
付記１記載の情報処理装置。
【０１４１】
（付記３）
前記抽出部が、
前記複数のユーザの各々について、当該ユーザの前記視線の移動方向推移と他のユーザの前記視線の移動方向推移とを比較して類似度を算出し、
前記複数のユーザの各々について、当該ユーザについて算出された類似度に基づき前記少数派のユーザを抽出する
付記１記載の情報処理装置。
【０１４２】
（付記４）
前記特定部が、
各視線位置について、当該視線位置からの所定時間内における実質移動量を算出する
付記１乃至３のいずれか１つ記載の情報処理装置。
【０１４３】
（付記５）
前記特定部が、
各視線位置について、前記表示画面上の各軸方向に、当該視線位置から所定時間内において方向転換を検出した視線位置までの累積移動量を算出する
付記１乃至３のいずれか１つ記載の情報処理装置。
【０１４４】
（付記６）
前記特定部が、
各前記時間帯において、当該時間帯における各前記視線位置及び各前記累積移動量から特定される矩形の面積と当該矩形の中心座標との少なくともいずれかを算出することで、前記視線の移動方向推移を特定する
付記５記載の情報処理装置。
【０１４５】
（付記７）
前記矩形が、
各前記軸方向に前記累積移動量に応じて設定される辺を有する第２の矩形と、各前記視線位置を包含する矩形である
付記６記載の情報処理装置。
【０１４６】
（付記８）
前記特定部が、
各前記時間帯において、当該時間帯における各前記視線位置について算出された前記累積移動量が、所定の範囲内であるか判断し、
前記所定の範囲内である累積移動量が算出された視線位置の個数を前記時間帯における視線位置の個数で除することで信頼度を算出し、
前記所定の範囲内である累積移動量に対して信頼度を乗じることで得られる長さを有する辺を有する前記第２の矩形を配置する
付記７記載の情報処理装置。
【０１４７】
（付記９）
表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定し、
前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する
処理を含み、コンピュータにより実行される情報処理方法。
【０１４８】
（付記１０）
表示画面上における複数のユーザの視線の移動履歴を格納するデータ格納部に格納された前記視線の移動履歴から、前記複数のユーザの各々について、当該ユーザの視線の移動方向推移を特定し、
前記複数のユーザの各々について特定された前記視線の移動方向推移に基づき、前記複数のユーザのうち少数派のユーザを抽出する
処理を、コンピュータに実行させるためのプログラム。
【符号の説明】
【０１４９】
１００  主情報処理装置
１０１  データ収集部
１０２  収集データ格納部
１０３  推移特定部
１０４  推移データ格納部
１０５  抽出部
１０６  抽出データ格納部
１０７  出力部
【図１】
2015194809.tif 000003
【図２】
2015194809.tif 000004
【図３】
2015194809.tif 000005
【図４】
2015194809.tif 000006
【図５】
2015194809.tif 000007
【図６】
2015194809.tif 000008
【図７】
2015194809.tif 000009
【図８】
2015194809.tif 000010
【図９】
2015194809.tif 000011
【図１０】
2015194809.tif 000012
【図１１】
2015194809.tif 000013
【図１２】
2015194809.tif 000014
【図１３】
2015194809.tif 000015
【図１４】
2015194809.tif 000016
【図１５】
2015194809.tif 000017
【図１６】
2015194809.tif 000018
【図１７】
2015194809.tif 000019
【図１８】
2015194809.tif 000020
【図１９】
2015194809.tif 000021
【図２０】
2015194809.tif 000022
【図２１】
2015194809.tif 000023
【図２２】
2015194809.tif 000024
【図２３】
2015194809.tif 000025
【図２４】
2015194809.tif 000026
【図２５】
2015194809.tif 000027
【図２６】
2015194809.tif 000028
【図２７】
2015194809.tif 000029
【図２８】
2015194809.tif 000030
【図２９】
2015194809.tif 000031
【図３０】
2015194809.tif 000032
【図３１】
2015194809.tif 000033
【図３２】
2015194809.tif 000034
【図３３】
2015194809.tif 000035
【図３４】
2015194809.tif 000036
【図３５】
2015194809.tif 000037
【図３６】
2015194809.tif 000038
【図３７】
2015194809.tif 000039
【図３８】
2015194809.tif 000040
【図３９】
2015194809.tif 000041
【図４０】
2015194809.tif 000042
【図４１】
2015194809.tif 000043
【図４２】
2015194809.tif 000044
【図４３】
2015194809.tif 000045