(57)【要約】【課題】映像に対する被験者の注視傾向を映像と共に表示して検証すること。【解決手段】表示装置は、映像に対する被験者の注視点の位置データを記憶する記憶部と、位置データから注視点を視覚的に示す注視情報を算出する演算部と、注視情報を、映像の再生経過時間に応じて映像に重畳して表示部の表示画面に表示する表示制御部と、を備える。【選択図】図１
2020106772.tif 000002
【特許請求の範囲】
【請求項１】
映像に対する被験者の注視点の位置データを記憶する記憶部と、
前記位置データから前記注視点を視覚的に示す注視情報を算出する演算部と、
前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御部と、
を備える、表示装置。
【請求項２】
前記演算部は、表示形態が異なる複数の前記注視情報を算出し、
前記表示制御部は、複数の前記注視情報から、ユーザが設定した条件に応じて、選択された注視情報を前記映像に重畳して表示する、
請求項１に記載の表示装置。
【請求項３】
前記表示制御部は、前記表示画面を格子状に分割し、かつ格子ごとに複数の前記被験者の注視率を所定時間単位で表示する、
請求項１または２に記載の表示装置。
【請求項４】
前記演算部は、更に、所定時間ごとに、前記注視点の重心又は所定数以上の前記注視点の集合の重心を算出し、
前記表示制御部は、前記注視点の重心又は所定数以上の前記注視点の集合の重心を表示する、
請求項１または２に記載の表示装置。
【請求項５】
映像に対する被験者の注視点の位置データから前記注視点を視覚的に示す注視情報を算出する演算ステップと、
前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御ステップと、
を含む、表示方法。
【請求項６】
映像に対する被験者の注視点の位置データから前記注視点を視覚的に示す注視情報を算出する演算ステップと、
前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御ステップと、
をコンピュータに実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、多数の被験者の視線の注視傾向を一度に調べる技術として、計測した注視点の座標データから、視線の分布を調べる技術が知られている。
【０００３】
例えば、特許文献１には、画像データにおける特徴点を含む特定エリアに被験者の注視点が存在した時間を算出することのできる技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１５８８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、画像データの具体的な内容に対する、被験者の注視傾向を検証することが困難であった。そのため、被験者の注視傾向を検証することのできる技術が望まれていた。
【０００６】
本発明は、映像に対する被験者の視線の分布を映像と共に表示して注視傾向を検証することのできる表示装置、表示方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の表示装置は、映像に対する被験者の注視点の位置データを記憶する記憶部と、前記位置データから前記注視点を視覚的に示す注視情報を算出する演算部と、前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御部と、を備える。
【０００８】
本発明の表示方法は、映像に対する被験者の注視点の位置データから前記注視点を視覚的に示す注視情報を算出する演算ステップと、前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御ステップと、を含む。
【０００９】
本発明のプログラムは、映像に対する被験者の注視点の位置データから前記注視点を視覚的に示す注視情報を算出する演算ステップと、前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御ステップと、をコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、画像データに対する被験者の注視傾向を検証することのできる表示装置、表示方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。
【図２】図２は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。
【図３】図３は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。
【図４】図４は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。
【図５】図５は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。
【図６】図６は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。
【図７】図７は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。
【図８】図８は、従来の注視点表示の一例を説明するための模式図である。
【図９】図９は、従来の動的に注視点を示す画面の一例を説明するための模式図である。
【図１０】図１０は、本実施形態に係る被験者の注視データに関するデータセットの一例を示す模式図である。
【図１１Ａ】図１１Ａは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。
【図１１Ｂ】図１１Ｂは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。
【図１１Ｃ】図１１Ｃは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。
【図１１Ｄ】図１１Ｄは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。
【図１１Ｅ】図１１Ｅは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。
【図１２】図１２は、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。
【図１３】図１３は、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。
【図１４】図１４は、映像に注視点を表示させる処理の流れの一例を示すフローチャートである。
【図１５】図１５は、映像に表示させる被験者を選択する方法の一例を説明するための模式図である。
【図１６】図１６は、映像に表示させる注視情報の種類を選択する方法を説明するための模式図である。
【図１７】図１７は、注視点を検出する処理の流れの一例を示すフローチャートである。
【図１８】図１８は、映像に注視点をマルチ表示する処理の流れの一例を示すフローチャートである。
【図１９】図１９は、映像に注視点のヒートマップを表示する処理の流れの一例を示すフローチャートである。
【図２０】図２０は、映像にグリッドごとに注視率を表示する処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【００１３】
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第一軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第二軸と平行な方向をＹ軸方向とし、第１軸および第２軸と直交する第三軸と平行な方向をＺ軸方向とする。本実施形態において、所定面はＸＹ平面である。
【００１４】
［視線検出装置］
図１は、第１実施形態に係る視線検出装置１００の一例を模式的に示す斜視図である。視線検出装置１００は、発達障がいの可能性が高いか低いかの評価を行う評価装置として用いられる。図１に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３とを備える。
【００１５】
表示装置１０１は、液晶ディスプレイ（liquid  crystal  display：ＬＣＤ）または有機ＥＬディスプレイ（organic  electroluminescence  display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０１は、表示部１０１Ｓを有する。表示部１０１Ｓは、画像を表示する。本実施形態において、表示部１０１Ｓは、例えば被験者の視機能を評価するための指標を表示する。表示部１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示部１０１Ｓの左右方向であり、Ｙ軸方向は表示部１０１Ｓの上下方向であり、Ｚ軸方向は表示部１０１Ｓと直交する奥行方向である。
【００１６】
ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、表示装置１０１の表示部１０１Ｓよりも下方に配置される。第１カメラ１０２Ａと第２カメラ１０２ＢとはＸ軸方向に配置される。第１カメラ１０２Ａは、第２カメラ１０２Ｂよりも−Ｘ方向に配置される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
【００１７】
照明装置１０３は、第１光源１０３Ａ及び第２光源１０３Ｂを有する。照明装置１０３は、表示装置１０１の表示部１０１Ｓよりも下方に配置される。第１光源１０３Ａと第２光源１０３ＢとはＸ軸方向に配置される。第１光源１０３Ａは、第１カメラ１０２Ａよりも−Ｘ方向に配置される。第２光源１０３Ｂは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。第１光源１０３Ａ及び第２光源１０３Ｂはそれぞれ、ＬＥＤ（light  emitting  diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、第１光源１０３Ａ及び第２光源１０３Ｂは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。
【００１８】
照明装置１０３は、検出光である近赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに第２カメラ１０２Ｂで眼球１１１の一部（以下、これを含めて「眼球」とする）を撮影し、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに第１カメラ１０２Ａで眼球１１１を撮影する。
【００１９】
第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第１光源１０３Ａ及び第２光源１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。第１カメラ１０２Ａは、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。第２カメラ１０２Ｂは、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。
【００２０】
眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光がステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光がステレオカメラ装置１０２に入射する。
【００２１】
第１カメラ１０２Ａ及び第２カメラ１０２Ｂと第１光源１０３Ａ及び第２光源１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で撮影される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。ステレオカメラ装置１０２は、撮影される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。
【００２２】
図２は、本実施形態に係る視線検出装置１００のハードウェア構成の一例を示す図である。図２に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３と、コンピュータシステム２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０とを備える。
【００２３】
コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０とは、入出力インターフェース装置３０を介してデータ通信する。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。演算処理装置２０Ａは、ＣＰＵ（central  processing  unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read  only  memory）及びＲＡＭ（random  access  memory）のようなメモリまたはストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。
【００２４】
駆動回路４０は、駆動信号を生成して、表示装置１０１、ステレオカメラ装置１０２、及び照明装置１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で撮影された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。
【００２５】
出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボードまたはマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示部に設けられたタッチセンサを含んでもよい。
【００２６】
本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。
【００２７】
図３は、本実施形態に係る視線検出装置１００の一例を示す機能ブロック図である。図３に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。
【００２８】
駆動回路４０は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する表示装置駆動部４０２と、第１カメラ１０２Ａを駆動するための駆動信号を生成して第１カメラ１０２Ａに出力する第１カメラ入出力部４０４Ａと、第２カメラ１０２Ｂを駆動するための駆動信号を生成して第２カメラ１０２Ｂに出力する第２カメラ入出力部４０４Ｂと、第１光源１０３Ａ及び第２光源１０３Ｂを駆動するための駆動信号を生成して第１光源１０３Ａ及び第２光源１０３Ｂに出力する光源駆動部４０６とを有する。また、第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。
【００２９】
コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、表示制御部２０２と、光源制御部２０４と、画像データ取得部２０６と、入力データ取得部２０８と、位置検出部２１０と、曲率中心算出部２１２と、注視点検出部２１４と、領域設定部２１６と、判定部２１８と、演算部２２０と、記憶部２２２と、評価部２２４と、出力制御部２２６とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。
【００３０】
表示制御部２０２は、表示装置駆動部４０２を制御して、被験者に視認させる評価用画像を表示装置１０１の表示部１０１Ｓに表示させる。評価用画像は、静止画と動画とを含む。評価用画像は、例えば複数用意される。表示制御部２０２は、当該複数の評価用画像を表示装置１０１に順次表示する。また、表示制御部２０２は、表示部１０１Ｓ上において所望の位置に注視点Ｐを位置させるためのアイキャッチ映像を表示装置１０１に表示させてもよい。
【００３１】
光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂの作動状態を制御する。光源制御部２０４は、第１光源１０３Ａと第２光源１０３Ｂとが異なるタイミングで検出光を射出するように第１光源１０３Ａ及び第２光源１０３Ｂを制御する。
【００３２】
画像データ取得部２０６は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２によって撮影された被験者の眼球１１１の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。
【００３３】
入力データ取得部２０８は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。
【００３４】
位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１０は、被験者の左右それぞれの眼球１１１について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
【００３５】
曲率中心算出部２１２は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。
【００３６】
注視点検出部２１４は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、被験者の注視点Ｐの位置データを検出する。本実施形態において、注視点Ｐの位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示部１０１Ｓとの交点の位置データをいう。注視点検出部２１４は、眼球１１１の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球１１１の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部２１４は、視線ベクトルと表示部１０１Ｓとの交点を示す注視点Ｐの位置データを検出する。
【００３７】
領域設定部２１６は、表示装置１０１の表示部１０１Ｓに表示された評価用画像に対応した判定領域を設定する。領域設定部２１６は、評価用画像に含まれる人物、物体、模様などに判定領域を設定する。本実施形態では、領域設定部２１６は、表示部１０１Ｓにおいて評価用画像の少なくとも一部に判定領域を設定する。判定領域は、複数設定されることが好ましい。領域設定部２１６は、表示部１０１Ｓにおいて自然画と幾何学画像とが表示される場合、例えば、自然画が表示された領域の少なくとも一部と、幾何学画像が表示された領域の少なくとも一部とにそれぞれ判定領域を設定してもよい。判定領域は、評価用映像に含まれる物体に対して設定されることが好ましい。判定領域は、自然画に対して設定される場合、例えば、人物または人物の顔といった物体毎に設定することが好ましい。判定領域は、表示部１０１Ｓには表示されない。判定領域の形状は、例えば、矩形、円形、楕円形、多角形などであってもよく、限定されない。複数の判定領域の大きさは、異なってもよい。複数の判定領域は、重なって設定されてもよい。判定領域は、ＡＳＤの可能性が高い被験者と、ＡＳＤの可能性が低い被験者とで注視するか否かの傾向に差異が出る、評価用画像中の領域に設定されることが好ましい。
【００３８】
判定部２１８は、注視点Ｐの位置データに基づいて、注視点Ｐが判定領域に存在するか否かをそれぞれ判定し、判定データを出力する。例えば、判定部２１８は、注視点Ｐが判定領域に存在すると判定する場合、当該判定領域の判定値を「１」とし、存在しないと判定する場合、当該判定領域の判定値を「０」とした判定データを出力する。判定部２１８は、注視点Ｐが判定領域に存在すると判定する場合、判定領域を注視した時間および注視した回数によらず、判定値を「１」とする。判定部２１８は、注視した時間が長くても短くても判定値を「１」とする。判定部２１８は、注視点Ｐが判定領域とその他の領域とを往復して、複数回、判定領域に存在すると判定する場合でも、判定値を「１」とする。判定部２１８は、例えば一定時間毎に注視点Ｐが判定領域に存在するか否かを判定する。一定時間としては、例えば第１カメラ１０２Ａ及び第２カメラ１０２Ｂから出力されるフレーム同期信号の周期（例えば２０［ｍｓｅｃ］毎）とすることができる。
【００３９】
演算部２２０は、判定部２１８の判定データに基づいて、所定時間に注視点Ｐが存在する判定領域の総数を算出する。言い換えると、演算部２２０は、所定時間に評価用画像中の判定領域を被験者がいくつ見たかを算出する。演算部２２０は、各判定領域の判定値を積算して、注視点Ｐが存在する判定領域の総数を算出する。
【００４０】
演算部２２０は、映像の再生時間を管理する管理タイマと、表示部１０１Ｓに映像が表示されてからの経過時間を検出する検出タイマを有する。演算部２２０は、判定部２１８の判定結果に基づいて、注視点の位置データに対応した注視情報を算出する。注視情報は、例えば、評価用画像における、被験者の注視点を視覚的に示した情報のことを意味する。具体的には、注視情報は、評価用画像における注視点の位置を示した点などの印、ヒートマップ、注視率を示す棒グラフなどを意味する。ヒートマップは、例えば、評価用画像における被験者の注視点の密集度に関する情報を示す。注視率は、例えば、評価用画像を所定の範囲に分割し、その範囲毎に存在する注視点の割合を示す情報である。
【００４１】
評価部２２４は、演算部２２０が算出した注視点Ｐが存在する判定領域の総数に基づいて、被験者の評価データを求める。評価データは、表示動作において表示部１０１Ｓに表示される判定領域を被験者が注視した数を評価するデータである。評価データは、例えば、判定領域を注視した時間および注視した回数に関わらず、注視した判定領域の数を評価する。評価部２２４は、注視点Ｐが存在する判定領域毎に重みをつけて評価データを求めてもよい。評価部２２４は、さらに評価データが所定のしきい値以上であるか否かを判断し、評価の判定を行う。
【００４２】
記憶部２２２は、上記の判定データ、及び評価データを記憶する。また、記憶部２２２は、画像を表示する処理と、表示部を観察する被験者の注視点Ｐの位置を検出する処理と、表示部において、判定領域を設定する処理と、注視点Ｐの位置データに基づいて、注視点Ｐが判定領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、判定データに基づいて、被験者の評価データを求める処理と、評価データを出力する処理とをコンピュータに実行させる評価プログラムを記憶する。
【００４３】
出力制御部２２６は、表示装置１０１及び出力装置５０の少なくとも一方にデータを出力する。
【００４４】
次に、本実施形態に係る曲率中心算出部２１２の処理の概要について説明する。曲率中心算出部２１２は、眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。図４及び図５は、本実施形態に係る角膜曲率中心１１０の位置データの算出方法を説明するための模式図である。図４は、１つの光源１０３Ｃで眼球１１１が照明される例を示す。図５は、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明される例を示す。
【００４５】
まず、図４に示す例について説明する。光源１０３Ｃは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心１１３Ｃは、角膜反射像１１３の中心である。図４において、瞳孔中心１１２Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの瞳孔中心を示す。角膜反射中心１１３Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの角膜反射中心を示す。角膜反射中心１１３Ｃは、光源１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に存在する。角膜反射中心１１３Ｃは、角膜表面と角膜曲率中心１１０との中間点に位置付けられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。角膜反射中心１１３Ｃの位置データは、ステレオカメラ装置１０２によって検出される。角膜曲率中心１１０は、光源１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に存在する。曲率中心算出部２１２は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２２に記憶されている。
【００４６】
次に、図５に示す例について説明する。本実施形態においては、第１カメラ１０２Ａ及び第２光源１０３Ｂと、第２カメラ１０２Ｂ及び第１光源１０３Ａとは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置に仮想光源１０３Ｖが存在するとみなすことができる。角膜反射中心１２１は、第２カメラ１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、第１カメラ１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。角膜反射中心１２４の位置データは、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２２２に記憶されている。曲率中心算出部２１２は、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部２１２は、三次元グローバル座標系で規定される角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて、三次元グローバル座標系における角膜反射中心１２４の位置データを算出する。角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２１２は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２２に記憶されている。
【００４７】
このように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。
【００４８】
角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置データ及び角膜曲率中心１１０の位置データが算出されることにより、角膜曲率半径１０９が算出される。
【００４９】
次に、本実施形態に係る視線検出方法の一例について説明する。図６は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置１３０が設定される。目標位置１３０は、三次元グローバル座標系において規定される。本実施形態において、目標位置１３０は、例えば表示装置１０１の表示部１０１Ｓの中央位置に設定される。なお、目標位置１３０は、表示部１０１Ｓの端部位置に設定されてもよい。出力制御部２２６は、設定された目標位置１３０に目標画像を表示する。直線１３１は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。直線１３２は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線である。角膜曲率中心１１０は、直線１３１と直線１３２との交点である。曲率中心算出部２１２は、仮想光源１０３Ｖの位置データと、目標位置１３０の位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データとに基づいて、角膜曲率中心１１０の位置データを算出することができる。
【００５０】
次に、注視点検出部２１４の注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部２１４は、眼球１１１の画像データに基づいて、被験者の視線ベクトル及び注視点Ｐの位置データを算出する。図７は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図７において、注視点１６５は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点Ｐを示す。注視点１６６は、キャリブレーション処理で求められた距離１２６を用いて算出された角膜曲率中心から求めた注視点Ｐを示す。瞳孔中心１１２Ｃは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心１１３Ｃは、キャリブレーション処理において算出された角膜反射中心を示す。直線１７３は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。角膜曲率中心１１０は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離１２６は、キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０との距離である。角膜曲率中心１１０Ｈは、距離１２６を用いて角膜曲率中心１１０を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心１１０Ｈは、角膜曲率中心１１０が直線１７３上に存在すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離が距離１２６であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線１７７は、視線１７８に補正される。また、表示装置１０１の表示部１０１Ｓ上の注視点Ｐは、注視点１６５から注視点１６６に補正される。
【００５１】
［表示方法］
次に、本実施形態に係る表示方法について説明する。本実施形態に係る表示方法では、上記の視線検出装置１００を用いることにより、映像に対する被験者の注視点の動向を評価する。
【００５２】
現在、発達障がいの診断を支援するための映像開発などが盛んに行われている。ここで、必要となるのが、映像の感度/特異度の検討である。映像ごとに、定型発達者と発達障がい者の注視パターンに差が出る映像を開発する必要がある。このために、これを評価する装置が望まれていた。
【００５３】
従来の注視点計測装置では、映像を表示して、これに対して被験者がどのように見たかを調べるものであり、多くの被験者の注視点を重畳してその傾向を調べる機能はない。結果として、どの部分を見たかは注視点座標の集計により調べることはできるが、映像の動きなどに関連して、そのように注視点が推移していく傾向があるのかを動的に知ることができなかった。また、その中でも、男女差、年齢などの条件によりどのように差が出るのかも調べることができなかった。そこで、本発明は、被験者が視聴した刺激映像の再生画面に、複数の被験者の注視点を選択的に表示して、動的に注視点の推移を確認できるようにしたものである。
【００５４】
まず、図８と、図９とを用いて、表示画像に対する従来の注視点の表示例について説明する。図８は、従来の注視点表示の一例を説明するための模式図である。図９は、従来の動的に注視点を示す画面の一例を説明するための模式図である。図８と、図９とに示す映像１０００は、人物Ｕ１と、人物Ｕ２とを含む映像である。
【００５５】
図８は、映像の再生開始から終了までの１人に被験者の注視点Ｐ１をまとめて表示した様子を示している。図８では、注視点Ｐ１が人物Ｕ１の顔近くや、ボールＢなどに注視点が集まっていることが示されている。しかしながら、このような従来例の場合、複数の被験者の注視点を同時に表示させると、注視点が重なり合ってしまうので見づらくなり、また注視点の時間的な推移を確認することが困難となる。
【００５６】
図９は、表示画面に対して動的に注視点を表示する従来例の一例を示している。このような従来例は、映像を再生しながら、その上に被験者の注視点座標に基づいて、注視点Ｐ２が移動する様子を観察する。このような従来例では、複数の被験者の注視点の動向を同時に表示することができなかった。
【００５７】
次に、本発明について説明する。本発明では、複数の被験者の注視点に関する注視情報を映像と共に表示することができる。
【００５８】
本実施形態において、注視情報とは、映像において、被験者の注視動向を視覚的に示した情報のことを意味している。例えば、本実施形態における注視情報は、映像と共に表示させる注視点、映像と共に表示させるヒートマップ、映像をグリッドに分割し、グリッドごとに表示させる棒グラフなどを含む。以下では、注視情報として、注視点、ヒートマップ、棒グラフを映像とともに表示させる方法について説明する。なお、注視点、ヒートマップ、棒グラフは注視情報の一例であり、本発明を限定するものではない。
【００５９】
図１０を用いて、本実施形態に係る被験者の注視データに関するデータセットについて説明する。図１０は、本実施形態に係る被験者の注視データに関するデータセットの一例を示す模式図である。
【００６０】
図１０に示すように、データセット４００は、例えば、表示／非表示欄４１０と、被験者番号欄４２０と、第一条件欄４３０と、第二条件欄４４０と、注視点座標欄４５０とを含む。本実施形態において、データセット４００は、例えば、記憶部２２２に記憶されている。
【００６１】
表示／非表示欄４１０には、映像に注視点を表示するか否かの情報が格納される。表示／非表示欄４１０が表示の場合、映像にはその被験者の注視点が表示される。表示／非表示欄４１０が非表示の場合、映像にはその被験者の注視点が表示されない。
【００６２】
被験者番号欄４２０には、被験者を区別するための番号が確認される。データセット４００においては、被験者番号欄４２０には、１から５０までの整数が格納されている。なお、データセット４００では、１から５０までの整数が格納されているが、これは例示であり、本発明を限定するものではない。本発明では、被験者番号欄に数に特に制限はない。
【００６３】
第一条件欄４３０には、被験者ごとに第一条件に関する情報が格納される、第一条件に特に制限はないが、データセット４００における第一条件は性別である。例えば、被験者番号が１の被験者は男性であり、被験者番号２の被験者は女性であることが示されている。
【００６４】
第二条件欄４４０には、被験者ごとに第二条件に関する情報が格納される。第二条件に特に制限はないが、データセット４００における第二条件は発達障がいなどの症例の有無である。例えば、被験者番号が１の被験者は症例があり、被験者番号が２の被験者は症例がないことが示されている。
【００６５】
注視点座標欄４５０は、映像に対する各被験者の注視点座標に関する情報が格納される。本実施形態において、注視点の座標は、表示画面における座標と、時間情報とを含むデータ行列として格納されている。
【００６６】
図１１Ａと、図１１Ｂと、図１１Ｃと、図１１Ｄと、図１１Ｅとを用いて、本実施形態に係る注視点を表示する方法の一例について説明する。図１１Ａから図１１Ｅは、本実施形態に表示画面に注視点を表示する方法の一例を説明するための模式図である。
【００６７】
図１１Ａから図１１Ｅは、表示映像の時間的な推移を示している。具体的には、図１１Ａから図１１Ｅの順番に時間が推移している。
【００６８】
図１１Ａに示すように、映像２０００には、人物Ｕ１と、人物Ｕ２とが含まれている。表示制御部２０２は、映像２０００に対する複数の被験者の注視点に関する情報を、映像２０００に重畳して表示する。映像２０００において、三角印で示されている注視点Ｐ１１は、男性の被験者の注視点を示している。四角印で示されている注視点Ｐ２１は女性の被験者の注視点を示している。すなわち、表示制御部２０２は、男性と、女性との異なる２つの条件の複数の被験者の注視点を同時に表示している。映像２０００では、注視点Ｐ１１と、注視点Ｐ２１とは、人物Ｕ１の顔と、人物Ｕ２との顔の間に点在し、ボールＢの下の近傍の黒帯領域の中央部付近に集中していることが示されている。
【００６９】
図１１Ｂには、人物Ｕ２がボールＢに入っている食べ物をスプーンＳ２ですくった部分に、注視点Ｐ１１と、注視点Ｐ２１とが集中していることが示されている。すなわち、図１１Ｂには、注視点Ｐ１１と、注視点Ｐ２１とが図１１Ａから移動したことが示されている。
【００７０】
図１１Ｃには、人物Ｕ２がスプーンＳ２ですくったボールＢの食べ物を、人物Ｕ１に与えている時に、人物Ｕ１の口元に注視点Ｐ１１と、注視点Ｐ２１とが集中していることが示されている。すなわち、図１１Ｃには、注視点Ｐ１１と、注視点Ｐ２１とが図１１Ｂからさらに移動したことが示されている。
【００７１】
図１１Ｄには、人物Ｕ２が人物Ｕ１に食べ物を与えた後、人物Ｕ２が再度スプーンＳ２でボールＢの食べ物をすくおうとしている時に、人物Ｕ１の顔と、ボールＢとに注視点Ｐ１１と、注視点Ｐ２１とが集中していることが示されている。すなわち、図１１Ｄには、注視点Ｐ１１と、注視点Ｐ２１とが図１１Ｃからさらに移動したことが示されている。
【００７２】
図１１Ｅには、人物Ｕ２が人物Ｕ１に食べ物を与えた後、人物Ｕ１が笑顔になった時、注視点Ｐ１１と、注視点Ｐ２１とが人物Ｕ１の顔に集中していることが示されている。すなわち、図１１Ｅには、注視点Ｐ１１と、注視点Ｐ２１とが図１１Ｄからさらに移動したことが示されている。
【００７３】
図１１Ａから図１１Ｅに示したように、表示制御部２０２は、映像２０００の経過時間に応じて、注視点Ｐ１１と、注視点Ｐ２１とを映像２０００に重畳して表示させる。具体的には、表示制御部２０２は、映像２０００の経過時間による、注視点Ｐ１１と、注視点Ｐ２１の座標位置の推移を表示する。注視点Ｐ１１と、注視点Ｐ２１との座標位置の座標データは例えば、演算部２２０によって算出される。
【００７４】
図１１Ａから図１１Ｅでは、映像に対して、男性と女性との注視点を重畳して表示したが、これは例示であり、本発明を限定するものではない。本発明では、注視情報として、注視点の代わりに映像に対してヒートマップを重畳させてもよい。
【００７５】
図１２を用いて、本実施形態に係る注視点を表示する方法の一例について説明する。図１２は、本実施形態に表示画面に注視点を表示する図１１Ａから図１１Ｅとは別の方法の一例を説明するための模式図である。
【００７６】
図１２に示すように、表示制御部２０２は、映像３０００に対して映像の経過時間に応じて、注視点のヒートマップを重畳して表示させてもよい。この場合、演算部２２０は、記憶部２２２に記憶されている被験者ごとの注視点データに基づいて、映像３０００に対するヒートマップを算出する。
【００７７】
表示制御部２０２は、演算部２２０の演算結果に基づいて、映像３０００に対して、ヒートマップとして注視領域Ｐ１２と、注視領域Ｐ２２とを重畳して表示させる。ここで、斜線で示す注視領域Ｐ１２は男性の被験者の注視領域であり、点で示す注視領域Ｐ２２は女性の被験者の注視領域である。表示制御部２０２は、映像３０００に対して、男性の注視点の重心である第一重心Ｇ１と、女性の注視点の重心である第二重心Ｇ２とを重畳して表示させる。表示制御部２０２は、例えば、注視領域の重なり度合いに応じて、斜線や点で注視領域を表示する場合には、密度を変えて表示する。この場合、表示制御部２０２は、重なり度合いが高いほど密度を高くして表示する。表示制御部２０２は、注視領域Ｐ１２と、注視領域Ｐ２２との色を変えて表示してもよい。この場合、表示制御部２０２は、例えば、注視領域の重なり度合いに応じて、注視領域Ｐ１２と、注視領域Ｐ２２との彩度を変えて表示する。表示制御部２０２は、例えば、注視領域の重なり度合いが高いほど彩度を強くして表示する。これにより、映像３０００における被験者の注視している領域の確認が容易となる。表示制御部２０２は、例えば、注視領域Ｐ１２と、注視領域Ｐ２２とを半透明に映像３０００に重畳させることで、注視領域Ｐ１２と、注視領域Ｐ２２との重なり具合の把握も容易となる。
【００７８】
本発明では、映像に対する注視点の表示として、例えば、表示画面全体を格子状に分割し、格子ごとの注視率を棒グラフなどで表示してもよい。例えば、本発明では、表示画面上において、各格子はグリッド線で描画されている。そのため、以下では、表示画面上の格子のことをグリッドと呼ぶこともある。
【００７９】
図１３を用いて、本実施形態に係る注視点を表示する方法の一例について説明する。図１３は、本実施形態に表示画面に注視点を表示する図１１Ａから図１１Ｅ及び図１２とは別の方法の一例を説明するための模式図である。
【００８０】
図１３に示すように、表示制御部２０２は、映像４０００を表示画面上において、複数のグリッド４１００に分割し、各グリッド４１００に棒グラフ４１１０と、棒グラフ４１２０とを表示させてもよい。棒グラフ４１１０は、そのグリッドの男性の注視率を示しており、棒グラフ４１２０は、そのグリッドの女性の注視率を示している。棒グラフ４１１０と、棒グラフ４１２０とでは、色を変えて表示してもよいし、ハッチングなどを変えて表示してもよい。この場合、演算部２２０は、記憶部２２８に記憶されている被験者ごとの注視点データに基づいて、男性及び女性ごとに各グリッドの注視率を算出する。また、演算部２２０は、男性又は女性の人数で算出した注視率を正規化することが好ましい。
【００８１】
表示制御部２０２は、演算部２２０の演算結果に基づいて、映像４０００に対して、複数のグリッド４１００に分割し、各グリッド４１００に棒グラフ４１１０と、棒グラフ４１２０とを表示する。表示制御部２０２は、映像４０００の再生時間ごとに注視率を算出し、棒グラフ４１１０と、棒グラフ４１２０とを表示する。すなわち、映像４０００に重畳して表示される棒グラフ４１１０と、棒グラフ４１２０とは、映像４０００の再生時間に応じて変化する。表示制御部２０２は、各グリッド４１００に正規化された棒グラフ４１１０と、正規化された棒グラフ４１２０とを表示することで、注視率の比較が容易となる。
【００８２】
図１４を用いて、映像に注視点を表示させる方法について説明する。図１４は、映像に注視点を表示させる処理の流れの一例を示すフローチャートである。
【００８３】
まず、注視点検出部２１４は、被験者の映像に対する注視点を計測する（ステップＳ１０１）。次に、注視点検出部２１４は、ステップＳ１０２において、全ての被験者の映像に対する注視点を計測したか判定する。全ての被験者の映像に対する注視点を計測していない場合（ステップＳ１０２のＮｏ）、注視点検出部２１４は、ステップＳ１０１に戻り、処理を継続する。一方、全ての被験者の映像に対する注視点を計測した場合（ステップＳ１０２のＹｅｓ）、注視点検出部２１４は、ステップＳ１０３に進む。
【００８４】
なお、全ての被験者について予め注視点を計測している場合には、ステップＳ１０１と、ステップＳ１０２とは省略してもよい。
【００８５】
次に、表示制御部２０２は、計測した注視点のうち、選択された表示すべき被験者の注視点の計測データを受け付ける（ステップＳ１０３）。
【００８６】
図１５を用いて、計測データを表示させるべき被験者を選択する方法について説明する。図１５は、映像に表示させる被験者を選択する方法の一例を説明するための模式図である。
【００８７】
図１５には、計測した被験者の計測データのうち、表示の有無を選択するための選択画面５０００が示されている。選択画面５０００には、表示／非表示ボタン５１００が含まれている。この場合、例えば、ユーザは、マウスなどの操作部を操作して、表示／非表示ボタン５１００をクリックすることで、被験者ごとに表示と、非表示とを設定することができる。選択画面５０００では、被検査番号が３と、５と、８との被験者が非表示に設定されている。選択画面５０００に示す例では、表示／非表示ボタン５１００が非表示の場合には、斜線が引かれ、表示の場合とは区別がつきやすく表示される。
【００８８】
再び図１４を参照する。次に、表示制御部２０２は、映像に表示させる注視情報の種類を設定する（ステップＳ１０４）。
【００８９】
図１６を用いて、映像に表示させる注視情報の種類を設定する方法について説明する。図１６は、映像に表示させる注視情報の種類を選択する方法の一例を説明するための模式図である。
【００９０】
インターフェース６０００は、映像に表示させる注視情報の種類を選択するための設定画面の一例である。インターフェース６０００の中央部分には、映像７０００と、複数の被験者の注視点を重畳させた映像が表示される。インターフェース６０００の上部には、注視点マルチ表示スタートボタン６１００と、ヒートマップ表示スタートボタン６２００と、グリッド表示スタートボタン６３００との３つのスタートボタンが配置されている。インターフェース６０００の右部には、重心表示設定部６４００と、再生速度設定部６５００と、条件選択設定部６６００と、速度フィルタ設定部６７００とが示されている。
【００９１】
本実施形態では、ユーザは、インターフェース６０００上で、所望に表示モードを選択することができる。注視点マルチ表示スタートボタン６１００を選択することで、例えば、図１１Ａから図１１Ｅで説明したような映像２０００が表示される。ヒートマップ表示スタートボタン６２００を選択することで、例えば、図１２で説明したような、映像３０００が表示される。グリッド表示スタートボタン６３００を選択することで、例えば、図１３で説明したような、映像４０００が表示される。すなわち、表示制御部２０２は、表示形態が異なる複数の注視情報を、ユーザからの指示に応じて選択的に表示する。
【００９２】
重心表示設定部６４００では、注視点の重心を表示することができる。注視点の重心については後述する。
【００９３】
再生速度設定部６５００では、映像７０００の再生速度を設定することができる。再生速度としては、例えば、２倍速、１倍速、１／２倍速などを設定可能である。再生速度設定部６５００では、再生させる映像に対応して解析する際に、適当な再生速度を設定することができる。
【００９４】
条件選択設定部６６００では、映像７０００に表示する注視点の条件を設定することができる。本実施形態では、第一条件Ｍが選択されると、男性の被験者の注視点が表示される。第二条件Ｆが選択されると、女性の被験者の注視点が表示される。第二条件ありが選択されると、症例がある被験者の注視点が表示される。第二条件なしが選択されると、症例がない被験者の注視点が表示される。
【００９５】
映像７０００において、被験者の注視点を調べる場合、又は注視点の重心を計算する場合に、速度が速い注視点の移動（サッケード）は、悪影響を及ぼす場合がある。このため、速度フィルタ設定部６７００では、所定の速度以上の早い速度で移動する注視点をキャンセルするためのフィルタを設定することができる。
【００９６】
再び図１４を参照する。次に表示制御部２０２は、ステップＳ１０４で選択された表示方式に従って、注視点を映像に重畳させて表示する（ステップＳ１０５）。
【００９７】
次に、出力制御部２２６は、注視点の計算結果をデータファイルとして出力する（ステップＳ１０６）。そして、出力制御部２２６は、映像に注視点を重畳して表示させた映像をビデオファイルとして出力する（ステップＳ１０７）。そして、図１４の処理は終了する。
【００９８】
次に、図１７を用いて、映像に表示させるための注視点を検出する方法について説明する。図１７は、注視点を検出する処理の流れの一例を示すフローチャートである。
【００９９】
まず、演算処理装置２０Ａは、被験者の注視点の計測に関する種々の計測情報を受け付ける（ステップＳ２０１）。具体的には、演算処理装置２０Ａは、図１０に示したデータセット４００に含まれる種々の情報を受け付ける。
【０１００】
次に、演算処理装置２０Ａは、表示制御部２０２によって、映像の再生を開始する（ステップＳ２０２）。演算処理装置２０Ａは、表示制御部２０２によって、映像の再生を開始してからの経過時間を取得する（ステップＳ２０３）。
【０１０１】
演算処理装置２０Ａは、注視点検出部２１４によって、映像に対する被験者の注視点を検出する（ステップＳ２０４）。演算処理装置２０Ａは、注視点検出部２１４によって、ステップＳ２０５において、注視点の検出が成功したか否かを判定する。
【０１０２】
注視点の検出が失敗した場合（ステップＳ２０５のＹｅｓ）、注視点検出部２１４は、ステップＳ２０６に進み、失敗フラグをセットする（ステップＳ２０６）。そして、注視点検出部２１４は、ステップＳ２０７に進む。一方、注視点の検出が成功した場合（ステップＳ２０５のＮｏ）、注視点検出部２１４は、ステップＳ２０７に進む。
【０１０３】
演算処理装置２０Ａは、注視点検出部２１４によって、映像再生経過時間と、検出した注視点座標とを記憶部２２２に保存する（ステップＳ２０７）。注視点検出部２１４は、失敗フラグがセットされている場合には、失敗フラグを記憶部２２２に記憶する。
【０１０４】
次に、演算処理装置２０Ａは、表示制御部２０２によって、ステップＳ２０８において、映像の再生が完了したか否かを判定する。
【０１０５】
映像の再生が完了していない場合（ステップＳ２０８のＮｏ）、表示制御部２０２は、ステップＳ２０３に戻り、上述の処理を繰り返す。一方、映像の再生が完了した場合（ステップＳ２０８のＹｅｓ）、表示制御部２０２は、図１７の処理を終了する。
【０１０６】
次に、図１８を用いて、映像に注視点をマルチ表示する方法について説明する。図１８は、映像に注視点をマルチ表示する処理の流れの一例を示すフローチャートである。
【０１０７】
まず、演算処理装置２０Ａは、注視点を表示するための各種の条件を読み出す（ステップＳ３０１）。各種の条件は、図１０に示したデータセット４００に含まれる各種の情報及び被験者数に関する情報を含む。
【０１０８】
次に、演算処理装置２０Ａは、表示制御部２０２によって、映像の再生を開始する（ステップＳ３０２）。表示制御部２０２は、映像の再生を開始してからの経過時間を取得する（ステップＳ３０３）。
【０１０９】
次に、演算処理装置２０Ａは、被験者番号カウンタをクリアする（ステップＳ３０４）。具体的には、演算処理装置２０Ａは、被験者番号カウンタＨ＝０としてクリアする。ここで、被験者番号カウンタＨは、表示すべき被験者の注視点に関するデータを順次選択して取り出すために用いられるカウンタである。
【０１１０】
次に、演算処理装置２０Ａは、被験者番号カウンタをインクリメントする（ステップＳ３０５）。具体的には、演算処理装置２０Ａは、被験者カウンタＨ＝Ｈ＋１としてインクリメントする。
【０１１１】
次に、演算処理装置２０Ａは、被験者番号カウンタに対応するデータ行列の中から、映像の再生経過時間に対応した注視点の座標データを読み出す（ステップＳ３０６）。演算処理装置２０Ａは、図１０に図示のデータセット４００に基づいて、座標データを読み出すことができる。演算処理装置２０Ａが読み出す座標データには、失敗フラグに関する情報も含まれている。
【０１１２】
次に、演算処理装置２０Ａは、ステップＳ３０７において、失敗フラグ＝１（失敗）であるか否かを判定する。失敗フラグ＝０（成功）である場合（ステップＳ３０７のＮｏ）、演算処理装置２０Ａは、ステップＳ３０８に進む。一方、失敗フラグ＝１である場合（ステップＳ３０７のＹｅｓ）、演算処理装置２０Ａは、ステップＳ３１１に進む。
【０１１３】
次に、演算処理装置２０Ａは、ステップＳ３０８において、速度フィルタが設定されているか否かを判定する。速度フィルタ＝１（設定済み）である場合（ステップＳ３０８のＹｅｓ）、演算処理装置２０Ａは、ステップＳ３０９に進む。一方、速度フィルタ＝０（未設定）である場合（ステップＳ３０８のＮｏ）、演算処理装置２０Ａは、ステップＳ３１０に進む。
【０１１４】
次に、演算処理装置２０Ａは、ステップＳ３０８のＹｅｓの後、速度フィルタを計算する（ステップＳ３０９）。具体的には、演算処理装置２０Ａは、所定時間ごとに計測される注視点座標において、前回計測された注視点の位置（座標）から今回計測された注視点の位置（座標）の距離を算出する。そして、演算処理装置２０Ａは、算出した距離が所定以上の距離であれば、そのデータは表示しないと判定する。
【０１１５】
次に、演算処理装置２０Ａは、映像再生経過時間に対応した注視点座標を所定の色でプロットし、映像に重畳して表示する（ステップＳ３１０）。
【０１１６】
次に、演算処理装置２０Ａは、ステップＳ３１１において、全ての被験者に対して処理が完了したか否かを判定する。具体的には、演算処理装置２０Ａは、被験者数カウンタＨが被験者数以上であるか否かを判定する。
【０１１７】
全ての被験者の処理が完了している場合（ステップＳ３１１のＹｅｓ）、演算処理装置２０Ａは、ステップＳ３１２に進む。一方、全ての被験者に対して処理が完了していない場合（ステップＳ３１１のＮｏ）、演算処理装置２０Ａは、ステップＳ３０５に戻り、上述の処理を繰り返す。
【０１１８】
次に、演算処理装置２０Ａは、注視点の重心を算出する（ステップＳ３１２）。具体的には、演算処理装置２０Ａは、図１６に示す重心表示設定部６４００で設定された重心を算出する。図１６において、第一重心Ｇ１１は、所定の距離内にある注視点が所定数以上ある集合中の注視点の重心である。第一重心Ｇ１１においては、注視点が複数の場所にまとまって点在している場合、点在している位置ごとの重心を求めることが可能である。また、第二重心Ｇ２１は、注視点の点在位置に依らず、表示されている設定条件ごと（例えば、男性や女性）の注視点全体の重心である。第二重心Ｇ２１では、対応する被験者の平均的な注視位置を求めることができる。
【０１１９】
次に、演算処理装置２０Ａは、ステップＳ３１２で算出した重心の位置にプロット表示を行い、映像に重畳して表示する（ステップＳ３１３）。具体的には、演算処理装置２０Ａは、表示制御部２０２によって、注視点の重心又は所定数以上ある集合中の注視点の重心を映像に重畳して表示する。
【０１２０】
次に、演算処理装置２０Ａは、ステップＳ３１４において、映像の再生が完了したか否かを判定する。
【０１２１】
映像の再生が完了していない場合（ステップＳ３１４のＮｏ）、演算処理装置２０Ａは、ステップＳ３０３に戻り、上述の処理を繰り返す。一方、映像の再生が完了している場合（ステップＳ３１４のＹｅｓ）、演算処理装置２０Ａは、図１８の処理を終了する。
【０１２２】
次に、図１９を用いて、映像にヒートマップを表示する方法について説明する。図１９は、映像に注視点のヒートマップを表示する処理の流れの一例を示すフローチャートである。
【０１２３】
ステップＳ４０１からステップＳ４０７の処理については、図１８に図示のステップＳ３０１からステップＳ３０７の処理と同じなので説明は省略する。
【０１２４】
ステップＳ４０７のＮｏの後、演算処理装置２０Ａは、ステップＳ４０９に進む。一方、ステップＳ４０７のＹｅｓの後、演算処理装置２０Ａは、ステップＳ４０８に進む。
【０１２５】
次に、演算処理装置２０Ａは、失敗と判定された注視点の座標データを除外する（ステップＳ４０８）。
【０１２６】
次に、演算処理装置２０Ａは、ステップＳ４０９において、全ての被験者に対して処理が完了したか否かを判定する。
【０１２７】
全ての被験者の処理が完了している場合（ステップＳ４０９のＹｅｓ）、演算処理装置２０Ａは、ステップＳ４１０に進む。一方、全ての被験者に対して処理が完了していない場合（ステップＳ４０９のＮｏ）、演算処理装置２０Ａは、ステップＳ４０５に戻り、上述の処理を繰り返す。
【０１２８】
次に、演算処理装置２０Ａは、設定された情報に従って、注視点のヒートマップを計算する（ステップＳ４１０）。具体的には、演算処理装置２０Ａは、図１２に示した通り、注視点の数に応じてヒートマップの彩度を変更する。
【０１２９】
次に、演算処理装置２０Ａは、算出したヒートマップを映像に重畳して表示する（ステップＳ６１１）。
【０１３０】
ステップＳ４１２からステップＳ４１４については、図１８に図示のステップＳ３１２からステップＳ３１４と同じなので説明は省略する。
【０１３１】
次に、図２０を用いて、映像にグリッドごとに注視率を表示する方法について説明する。図２０は、映像にグリッドごとに注視率を表示する処理の流れの一例を示すフローチャートである。
【０１３２】
ステップＳ５０１からステップＳ５０９は、図１９に図示のステップＳ４０１からステップＳ４０９と同じなので説明は省略する。
【０１３３】
ステップＳ５０９のＹｅｓの後、演算処理装置２０Ａは、映像をグリッドで分割する（ステップＳ５１０）。ここで、各グリッドの大きさ、グリッドの数は任意である。具体的には、演算処理装置２０Ａは、映像において、注視点を評価したい領域ごとにグリッドで分割することができる。
【０１３４】
次に、演算処理装置２０Ａは、設定された情報に従って、各グリッド内の注視点を計算する（ステップＳ５１１）。次に、演算処理装置２０Ａは、注視点のデータ数によって、注視率の正規化を行う（ステップＳ５１２）。例えば、視線検出装置１００は、グリッド内の注視率を男性と女性別に集計し、それぞれの人数で正規化する。これにより、演算処理装置２０Ａは、男性と女性との人数が異なる場合であっても、両者の注視率の比較を実行することが可能となる。
【０１３５】
次に、演算処理装置２０Ａは、算出し正規化した注視率を、グリッドごとに棒グラフで表示する（ステップＳ５１３）。例えば、演算処理装置２０Ａは、図１３に示したように、男性と、女性ごとに棒グラフで注視率を表示する。
【０１３６】
次に、演算処理装置２０Ａは、ステップＳ５１４において、映像の再生が完了したか否かを判定する。
【０１３７】
映像の再生が完了していない場合（ステップＳ５１４のＮｏ）、演算処理装置２０Ａは、ステップＳ５０３に戻り、上述の処理を繰り返す。一方、映像の再生が完了している場合（ステップＳ５１４のＹｅｓ）、演算処理装置２０Ａは、図２０の処理を終了する。
【０１３８】
上述のとおり、本発明では、映像に対する被験者ごとの注視傾向を映像に重畳して表示することができる。具体的には、本発明では、映像において注視点を表示したり、ヒートマップを表示したり、映像をグリッドに分割してグリットごとの注視率を表示したりすることができる。これにより、本発明は、映像に対する被験者の注視傾向を検証することができる。具体的には、映像の変化にともなって、注視点がどのように変化するかを視覚的に容易に把握することができる。
【０１３９】
特に、本発明では、グリッドごとに注視率を表示することで、特定の条件で分類した被験者群同士の注視率を比較することができる。これにより、被験者ごとの映像に対する被験者の注視傾向をより精度よく検証することができる。
【０１４０】
本発明を用いることで、発達障がい者の注視パターンと被験者の注視パターンとを識別して同時に表示することにより、被験者の発達障がいの傾向を評価することができ、発達障がいの診断の一助とすることができる。
【０１４１】
本発明の実施形態では、発達障がいのデータを用いて説明をおこなったが、本発明は発達障がいに限らず、認知機能障害や脳機能障害を始めとする注視点を用いた評価をおこなう際に利用することができる。
【０１４２】
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【０１４３】
２０…コンピュータシステム、１００…視線検出装置、１０１…表示装置、１０１Ｓ…表示部、１０２…ステレオカメラ装置、１０３…照明装置、２０２…表示制御部、２１４…注視点検出部、２１６…領域設定部、２１８…判定部、２２０…演算部、２２２…記憶部、２２４…評価部、２２６…出力制御部
【図１】
2020106772.tif 000003
【図２】
2020106772.tif 000004
【図３】
2020106772.tif 000005
【図４】
2020106772.tif 000006
【図５】
2020106772.tif 000007
【図６】
2020106772.tif 000008
【図７】
2020106772.tif 000009
【図８】
2020106772.tif 000010
【図９】
2020106772.tif 000011
【図１０】
2020106772.tif 000012
【図１１Ａ】
2020106772.tif 000013
【図１１Ｂ】
2020106772.tif 000014
【図１１Ｃ】
2020106772.tif 000015
【図１１Ｄ】
2020106772.tif 000016
【図１１Ｅ】
2020106772.tif 000017
【図１２】
2020106772.tif 000018
【図１３】
2020106772.tif 000019
【図１４】
2020106772.tif 000020
【図１５】
2020106772.tif 000021
【図１６】
2020106772.tif 000022
【図１７】
2020106772.tif 000023
【図１８】
2020106772.tif 000024
【図１９】
2020106772.tif 000025
【図２０】
2020106772.tif 000026