(57)【要約】【課題】検出精度の低下を抑制可能な視線検出装置、視線検出方法及び視線検出プログラムを提供する。【解決手段】視線検出装置は、表示画面の複数の位置に目標画像を順次表示させ、表示画面に表示される目標画像に対応した対応領域を表示画面に順次設定し、それぞれの目標画像が表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域に存在するか否かの判定をそれぞれの目標画像について行い、注視点の位置データが対応領域に存在すると判定された目標画像である有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数が閾値未満の場合、キャリブレーション動作を再度行わせる。【選択図】図１３
2020018470.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示画面と、
被験者の少なくとも一方の眼球に検出光を照射する光源と、
前記検出光が照射される眼球の画像データを取得する画像データ取得部と、
取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する位置検出部と、
前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出する注視点検出部と、
前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせる制御部と
を備える視線検出装置。
【請求項２】
前記制御部は、前記キャリブレーション動作を再度行わせる場合、直近の前記キャリブレーション動作と同一の前記複数の位置にそれぞれ前記目標画像を表示させ、当該再度の前記キャリブレーション動作と直近以前の前記キャリブレーション動作とで同一の位置に表示される前記目標画像が連続して前記有効目標画像と判定される場合、当該連続する前記キャリブレーション動作のうち直近以前の前記キャリブレーション動作における他の全ての前記有効目標画像を、再度の前記キャリブレーション動作において前記有効目標画像と判定する
請求項１に記載の視線検出装置。
【請求項３】
前記制御部は、前記キャリブレーション動作を再度行わせる場合、直前の前記キャリブレーション動作において表示された前記目標画像とは外観が異なる目標画像を表示させる
請求項１又は請求項２に記載の視線検出装置。
【請求項４】
前記制御部は、前記キャリブレーション動作が所定回数行われた場合において、いずれも前記有効目標画像の数が前記閾値未満である場合、前記キャリブレーション動作がエラーである旨を出力する
請求項１から請求項３のいずれか一項に記載の視線検出装置。
【請求項５】
被験者の少なくとも一方の眼球に検出光を照射することと、
前記検出光が照射される眼球の画像データを取得することと、
取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出することと、
前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出することと、
前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせることと
を含む視線検出方法。
【請求項６】
被験者の少なくとも一方の眼球に検出光を照射する処理と、
前記検出光が照射される眼球の画像データを取得する処理と、
取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する処理と、
前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出する処理と、
前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせる処理と
をコンピュータに実行させる視線検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出装置、視線検出方法及び視線検出プログラムに関する。
【背景技術】
【０００２】
操作者または被験者がモニタ画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。顔に装置を取り付けることなく被験者の視線方向を非接触で検出する方法として、被験者の眼球に検出光を照射し、検出光が照射された眼の画像から瞳孔中心と角膜曲率中心とを算出し、角膜曲率中心から瞳孔中心へ向かうベクトルを被験者の視線方向として検出する技術が知られている。このような視線検出装置では、被験者又は操作者の視線をより正確に検出するために、モニタ画面上のある目標位置を操作者または被験者に注視させ、操作者または被験者ごとにキャリブレーションを行う方法が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−３２１９７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、キャリブレーション動作においてエラーが生じた場合、エラーを報知してキャリブレーション動作を再度行うための初期状態に戻るようにしている。しかしながら、その後、再度キャリブレーション動作を行うためには、操作者等が手動で入力する必要がある。このため、被験者によっては、集中力が途切れてしまい、検出精度が低下する可能性がある。
【０００５】
本発明は、上記に鑑みてなされたものであり、検出精度の低下を抑制可能な視線検出装置、視線検出方法及び視線検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る視線検出装置は、画像を表示する表示画面と、被験者の少なくとも一方の眼球に検出光を照射する光源と、前記検出光が照射される眼球の画像データを取得する画像データ取得部と、取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する位置検出部と、前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出する注視点検出部と、前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせる制御部とを備える。
【０００７】
本発明に係る視線検出方法は、被験者の少なくとも一方の眼球に検出光を照射することと、前記検出光が照射される眼球の画像データを取得することと、取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出することと、前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出することと、前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせることとを含む。
【０００８】
本発明に係る視線検出プログラムは、被験者の少なくとも一方の眼球に検出光を照射する処理と、前記検出光が照射される眼球の画像データを取得する処理と、取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する処理と、前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出する処理と、前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせる処理とをコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、検出精度の低下を抑制可能な視線検出装置、視線検出方法及び視線検出プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。
【図２】図２は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。
【図３】図３は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。
【図４】図４は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。
【図５】図５は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。
【図６】図６は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。
【図７】図７は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。
【図８】図８は、表示画面に目標画像を表示する一の表示例を示す図である。
【図９】図９は、キャリブレーション動作によって検出される注視点の検出範囲の一例を示す図である。
【図１０】図１０は、再度のキャリブレーション動作によって検出される注視点の検出範囲の一例を示す図である。
【図１１】図１１は、再度のキャリブレーション動作によって検出される注視点の検出範囲の他の例を示す図である。
【図１２】図１２は、表示画面に目標画像を表示する他の表示例を示す図である。
【図１３】図１３は、本実施形態に係る視線検出方法におけるキャリブレーション処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明に係る視線検出装置、視線検出方法及び視線検出プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
【００１２】
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。
【００１３】
（視線検出装置）  
図１は、第１実施形態に係る視線検出装置１００の一例を模式的に示す斜視図である。図１に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３とを備える。
【００１４】
表示装置１０１は、液晶ディスプレイ（liquid  crystal  display：ＬＣＤ）又は有機ＥＬディスプレイ（organic  electroluminescence  display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０１は、表示画面１０１Ｓを有する。表示画面１０１Ｓは、画像を表示する。本実施形態において、表示画面１０１Ｓは、例えば被験者の視機能を評価するための指標を表示する。表示画面１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示画面１０１Ｓの左右方向であり、Ｙ軸方向は表示画面１０１Ｓの上下方向であり、Ｚ軸方向は表示画面１０１Ｓと直交する奥行方向である。
【００１５】
ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１カメラ１０２Ａと第２カメラ１０２ＢとはＸ軸方向に配置される。第１カメラ１０２Ａは、第２カメラ１０２Ｂよりも−Ｘ方向に配置される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
【００１６】
照明装置（光源）１０３は、第１光源１０３Ａ及び第２光源１０３Ｂを有する。照明装置１０３は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１光源１０３Ａと第２光源１０３ＢとはＸ軸方向に配置される。第１光源１０３Ａは、第１カメラ１０２Ａよりも−Ｘ方向に配置される。第２光源１０３Ｂは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。第１光源１０３Ａ及び第２光源１０３Ｂはそれぞれ、ＬＥＤ（light  emitting  diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、第１光源１０３Ａ及び第２光源１０３Ｂは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。また、ステレオカメラ１０２は、表示装置１０１の表示画面１０１Ｓよりも上方に配置されてもよい。
【００１７】
照明装置１０３は、検出光である近赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに第２カメラ１０２Ｂで眼球１１１の一部（以下、これを含めて「眼球」とする）を撮影し、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに第１カメラ１０２Ａで眼球１１１を撮影する。
【００１８】
第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第１光源１０３Ａ及び第２光源１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。第１カメラ１０２Ａは、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。第２カメラ１０２Ｂは、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。
【００１９】
眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光がステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光がステレオカメラ装置１０２に入射する。
【００２０】
第１カメラ１０２Ａ及び第２カメラ１０２Ｂと第１光源１０３Ａ及び第２光源１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で撮影される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。ステレオカメラ装置１０２は、撮影される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。
【００２１】
図２は、本実施形態に係る視線検出装置１００のハードウェア構成の一例を示す図である。図２に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３と、コンピュータシステム（制御部）２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０とを備える。
【００２２】
コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０とは、入出力インターフェース装置３０を介してデータ通信する。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。演算処理装置２０Ａは、ＣＰＵ（central  processing  unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read  only  memory）及びＲＡＭ（random  access  memory）のようなメモリ又はストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。
【００２３】
駆動回路４０は、駆動信号を生成して、表示装置１０１、ステレオカメラ装置１０２、及び照明装置１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で撮影された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。
【００２４】
出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示画面に設けられたタッチセンサを含んでもよい。
【００２５】
本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。
【００２６】
図３は、本実施形態に係る視線検出装置１００の一例を示す機能ブロック図である。図３に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。駆動回路４０は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する表示装置駆動部４０２と、第１カメラ１０２Ａを駆動するための駆動信号を生成して第１カメラ１０２Ａに出力する第１カメラ入出力部４０４Ａと、第２カメラ１０２Ｂを駆動するための駆動信号を生成して第２カメラ１０２Ｂに出力する第２カメラ入出力部４０４Ｂと、第１光源１０３Ａ及び第２光源１０３Ｂを駆動するための駆動信号を生成して第１光源１０３Ａ及び第２光源１０３Ｂに出力する光源駆動部４０６とを有する。また、第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。
【００２７】
コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、表示制御部２０２と、光源制御部２０４と、画像データ取得部２０６と、入力データ取得部２０８と、位置検出部２１０と、曲率中心算出部２１２と、注視点検出部２１４と、領域設定部２１６と、判定部２１８と、演算部２２０と、キャリブレーション制御部２２２と、記憶部２２４と、出力制御部２２６とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。
【００２８】
表示制御部２０２は、被験者に見せるための画像を表示装置１０１の表示画面１０１Ｓに表示させる。表示制御部２０２は、例えばキャリブレーション動作における目標画像を表示画面１０１Ｓの複数の位置（目標位置）に表示可能である。表示制御部２０２は、目標画像を１箇所ずつ複数の目標位置に順次切り替えて表示してもよいし、目標画像が表示画面１０１Ｓ内で複数の目標位置に順次移動するように表示させてもよい。なお、目標画像を表示させる目標位置の数については、例えば操作者が入力装置６０等により入力することによって設定可能である。
【００２９】
光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂの作動状態を制御する。光源制御部２０４は、第１光源１０３Ａと第２光源１０３Ｂとが異なるタイミングで検出光を射出するように第１光源１０３Ａ及び第２光源１０３Ｂを制御する。
【００３０】
画像データ取得部２０６は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２によって撮影された被験者の眼球１１１の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。
【００３１】
入力データ取得部２０８は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。
【００３２】
位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１０は、検出光が照射される眼球１１１について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
【００３３】
曲率中心算出部２１２は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。
【００３４】
注視点検出部２１４は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示画面１０１Ｓを含む平面との交点の位置データをいう。注視点検出部２１４は、眼球１１１の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球１１１の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部２１４は、視線ベクトルと表示画面１０１Ｓとの交点を示す注視点の位置データを検出する。
【００３５】
領域設定部２１６は、表示画面１０１Ｓに目標画像が表示される表示期間において、表示画面１０１Ｓに表示される目標画像に対応した対応領域を表示画面１０１Ｓに設定する。
【００３６】
判定部２１８は、表示画面１０１Ｓに目標画像が行われる表示期間において、視点の位置データに基づいて、注視点が対応領域に存在するか否かの判定を行う。判定部２１８は、例えば一定時間毎に注視点が対応領域に存在するか否かを判定する。一定時間としては、例えば第１カメラ１０２Ａ及び第２カメラ１０２Ｂから出力されるフレーム同期信号の周期（例えば５０［ｍｓｅｃ］毎）とすることができる。
【００３７】
演算部２２０は、判定部２１８の判定データに基づいて、注視点が対応領域に存在したと判定された判定回数をカウントする。演算部２２０は、対応領域について判定回数をカウントするカウンタを有する。
【００３８】
キャリブレーション制御部２２２は、キャリブレーション動作を行わせる。キャリブレーション動作は、表示画面１０１Ｓの複数の位置に目標画像を表示させることと、表示画面１０１Ｓに表示される目標画像に対応した対応領域を表示画面１０１Ｓに設定することと、それぞれの目標画像が表示される表示期間に注視点の位置データを算出することと、を含む。
【００３９】
また、キャリブレーション制御部２２２は、キャリブレーション動作において算出された注視点の位置データが対応領域に存在するか否かの判定をそれぞれの目標画像について行う。キャリブレーション制御部２２２は、この判定を行う場合、演算部２２０によりカウントされた判定回数に基づいて、各目標画像について注視点が対応領域に存在するか否かの判定を行う。例えばキャリブレーション制御部２２２は、各目標画像について、注視点が対応領域に存在したと判定された判定回数が、注視点の位置データの検出数に対して一定の割合以上の場合、当該目標画像については注視点が対応領域に存在すると判断する。以下、注視点の位置データが対応領域に存在すると判定された目標画像を有効目標画像と表記する。また、キャリブレーション制御部２２２は、各目標画像について、注視点が対応領域に存在したと判定された判定回数が、注視点の位置データの検出数に対して一定の割合未満の場合、当該目標画像については注視点が対応領域に存在しないと判断する。
【００４０】
キャリブレーション制御部２２２は、有効目標画像の数が閾値以上か否かを判定する。なお、閾値については、例えば操作者が入力装置６０等により入力することによって設定可能である。キャリブレーション制御部２２２は、有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力する。また、キャリブレーション制御部２２２は、有効目標画像の数が閾値未満の場合、キャリブレーション動作を再度行わせる。
【００４１】
キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直近のキャリブレーション動作と同一の複数の目標位置にそれぞれ目標画像を表示させ、当該再度のキャリブレーション動作と直近以前のキャリブレーション動作とで同一の目標位置に表示される目標画像が連続して有効目標画像と判定される場合、当該連続するキャリブレーション動作のうち直近以前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。
【００４２】
キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直前のキャリブレーション動作において表示された目標画像とは外観が異なる目標画像を表示させることができる。この場合、例えばキャリブレーション制御部２２２の指令に基づき、表示制御部が複数種類の目標画像の中から１種類を選択して表示させる。
【００４３】
キャリブレーション制御部２２２は、キャリブレーション動作が所定回数行われた場合において、いずれも有効目標画像の数が閾値未満である場合、キャリブレーション動作がエラーである旨を出力する。なお、キャリブレーション動作を行わせる所定回数については、例えば操作者が入力装置６０等により入力することによって設定可能である。
【００４４】
記憶部２２４は、上記の視線検出に関する各種データやプログラムを記憶する。記憶部２２４は、目標画像を表示させる位置の数に応じた表示データ（画像、動画等）を記憶する。なお、記憶部２２４は、例えば外観が異なる複数種類の目標画像について、当該表示データを記憶する。また、記憶部２２４は、各キャリブレーション動作において算出される注視点の位置データを記憶する。
【００４５】
また、記憶部２２４は、被験者の少なくとも一方の眼球に検出光を照射する処理と、検出光が照射される眼球の画像データを取得する処理と、取得された画像データから、検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する処理と、瞳孔中心の位置及び角膜反射中心の位置に基づいて、表示画面を含む平面上での被験者の注視点の位置データを算出する処理と、表示画面の複数の位置に目標画像を順次表示させ、表示画面に表示される目標画像に対応した対応領域を表示画面に順次設定し、それぞれの目標画像が表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域に存在するか否かの判定をそれぞれの目標画像について行い、注視点の位置データが対応領域に存在すると判定された目標画像である有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数が閾値未満の場合、キャリブレーション動作を再度行わせる処理とをコンピュータに実行させる視線検出プログラムを記憶する。
【００４６】
出力制御部２２６は、表示装置１０１及び出力装置５０の少なくとも一方にデータを出力する。
【００４７】
次に、本実施形態に係る曲率中心算出部２１２の処理の概要について説明する。曲率中心算出部２１２は、眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。図４及び図５は、本実施形態に係る角膜曲率中心１１０の位置データの算出方法を説明するための模式図である。図４は、１つの光源１０３Ｃで眼球１１１が照明される例を示す。図５は、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明される例を示す。
【００４８】
まず、図４に示す例について説明する。光源１０３Ｃは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心１１３Ｃは、角膜反射像１１３の中心である。図４において、瞳孔中心１１２Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの瞳孔中心を示す。角膜反射中心１１３Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの角膜反射中心を示す。角膜反射中心１１３Ｃは、光源１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に存在する。角膜反射中心１１３Ｃは、角膜表面と角膜曲率中心１１０との中間点に位置付けられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。角膜反射中心１１３Ｃの位置データは、ステレオカメラ装置１０２によって検出される。角膜曲率中心１１０は、光源１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に存在する。曲率中心算出部２１２は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２４に記憶されている。
【００４９】
次に、図５に示す例について説明する。本実施形態においては、第１カメラ１０２Ａ及び第２光源１０３Ｂと、第２カメラ１０２Ｂ及び第１光源１０３Ａとは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置に仮想光源１０３Ｖが存在するとみなすことができる。角膜反射中心１２１は、第２カメラ１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、第１カメラ１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。角膜反射中心１２４の位置データは、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２２４に記憶されている。曲率中心算出部２１２は、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部２１２は、三次元グローバル座標系で規定される角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて、三次元グローバル座標系における角膜反射中心１２４の位置データを算出する。角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２１２は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２４に記憶されている。
【００５０】
このように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。
【００５１】
角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置データ及び角膜曲率中心１１０の位置データが算出されることにより、角膜曲率半径１０９が算出される。
【００５２】
［視線検出方法］  
次に、本実施形態に係る視線検出方法の一例について説明する。本実施形態に係る視線検出方法では、キャリブレーション処理を行った後、注視点の検出処理を行う。図６は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置１３０が設定される。目標位置１３０は、三次元グローバル座標系において規定される。表示制御部２０２は、設定された目標位置１３０に目標画像を表示する。直線１４１は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。直線１４２は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線である。角膜曲率中心１１０は、直線１４１と直線１４２との交点である。曲率中心算出部２１２は、仮想光源１０３Ｖの位置データと、目標位置１３０の位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データとに基づいて、角膜曲率中心１１０の位置データを算出することができる。そして、注視点検出部２１４は、算出された角膜曲率中心から注視点の位置データを算出することができる。なお、キャリブレーション処理の詳細については、後述する。
【００５３】
次に、注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部２１４は、眼球１１１の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。図７は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図７において、注視点１６５は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点１６６は、キャリブレーション処理で求められた距離１２６を用いて算出された角膜曲率中心から求めた注視点を示す。瞳孔中心１１２Ｃは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心１１３Ｃは、キャリブレーション処理において算出された角膜反射中心を示す。直線１７３は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。角膜曲率中心１１０は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離１２６は、キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０との距離である。角膜曲率中心１１０Ｈは、距離１２６を用いて角膜曲率中心１１０を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心１１０Ｈは、角膜曲率中心１１０が直線１７３上に存在すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離が距離１２６であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線１７７は、視線１７８に補正される。また、表示装置１０１の表示画面１０１Ｓ上の注視点は、注視点１６５から注視点１６６に補正される。
【００５４】
［キャリブレーション処理］  
次に、上記したキャリブレーション処理について説明する。キャリブレーション処理において、表示制御部２０２は、複数の目標位置１３０に目標画像を表示させる。図８は、表示画面１０１Ｓに目標画像を表示する一の表示例を示す図である。図８に示すように、表示制御部２０２は、複数の目標位置１３０に目標画像Ｍを順に表示させる。なお、目標画像Ｍを表示させる目標位置１３０の数については、操作者が予め入力装置６０等により入力することで設定可能である。表示制御部２０２は、設定された数の目標位置１３０に目標画像Ｍを１つずつ順次表示させる。例えば、目標位置１３０の数が「５」と設定される場合、表示制御部２０２は、図８に示すように、表示画面１０１Ｓの第１位置１３１と、第２位置１３２と、第３位置１３３と、第４位置１３４と、第５位置１３５との５箇所の目標位置１３０に１つずつ目標画像Ｍを順次切り替えて表示させる。図８では、５箇所の目標位置１３０に５つの目標画像Ｍが示されているが、実際には、１つの目標画像Ｍが１箇所ずつ順次表示される。表示制御部２０２は、各目標位置１３０において、表示期間が等しくなるように目標画像Ｍを表示させる。
【００５５】
また、領域設定部２１６は、表示画面１０１Ｓに表示される目標画像Ｍに対応した対応領域Ａを表示画面１０１Ｓに設定する。図８に示すように、第１位置１３１から第５位置１３５まで５箇所の目標位置１３０に目標画像Ｍが表示される場合、領域設定部２１６は、各目標位置１３０が表示される表示期間にそれぞれの目標画像Ｍに対応した対応領域Ａを設定する。例えば、領域設定部２１６は、第１位置１３１に目標画像Ｍが表示される表示期間では、第１位置１３１の目標画像Ｍに対応する対応領域Ａ１を設定する。また、領域設定部２１６は、第２位置１３２に目標画像Ｍが表示される表示期間では、第２位置１３２の目標画像Ｍに対応する対応領域Ａ２を設定する。また、領域設定部２１６は、第３位置１３３に目標画像Ｍが表示される表示期間では、第３位置１３３の目標画像Ｍに対応する対応領域Ａ３を設定する。また、領域設定部２１６は、第４位置１３４に目標画像Ｍが表示される表示期間では、第４位置１３４の目標画像Ｍに対応する対応領域Ａ４を設定する。また、領域設定部２１６は、第５位置１３５に目標画像Ｍが表示される表示期間では、第５位置１３５の目標画像Ｍに対応する対応領域Ａ５を設定する。領域設定部２１６は、目標画像Ｍの表示位置が第１位置１３１から第５位置１３５まで順に切り替わるタイミングに同期するように対応領域Ａの設定を対応領域Ａ１から対応領域Ａ５まで順に切り替える。
【００５６】
このようにそれぞれの目標画像Ｍが表示される表示期間に、画像データ取得部２０６により左右の眼球の画像データを取得し、位置検出部２１０により瞳孔中心の位置データ及び角膜反射中心の位置データを検出し、注視点検出部２１４により注視点の位置データを算出する。この処理では、例えば第１カメラ１０２Ａ及び第２カメラ１０２Ｂから出力されるフレーム同期信号の周期で（例えば５０［ｍｓｅｃ］毎に）実施される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂは、同期して撮像する。
【００５７】
図９は、キャリブレーション動作によって検出される注視点の検出範囲の一例を示す図である。図９に示す検出範囲Ｐ１〜Ｐ５は、第１位置１３１から第５位置１３５に目標画像Ｍが表示される各表示期間において、検出された注視点の範囲を模式的に示している。なお、キャリブレーション動作により算出される注視点は、実際には表示画面１０１Ｓには表示されない。
【００５８】
キャリブレーション制御部２２２は、上記のキャリブレーション動作において算出された注視点の位置データが対応領域Ａに存在するか否かの判定をそれぞれの目標画像Ｍについて行う。図９に示すように、第１位置１３１に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ１内に存在している。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ１に存在すると判定する。この場合、第１位置１３１に表示される目標画像Ｍは、有効目標画像となる。
【００５９】
また、第２位置１３２に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ２内に存在している。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ２に存在すると判定する。この場合、第２位置１３２に表示される目標画像Ｍは、有効目標画像となる。
【００６０】
また、第３位置１３３に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ３内に存在していない。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ３に存在しないと判定する。この場合、第３位置１３３に表示される目標画像Ｍは、有効目標画像とはならない。
【００６１】
また、第４位置１３４に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ４内に存在している。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ４に存在すると判定する。この場合、第４位置１３４に表示される目標画像Ｍは、有効目標画像となる。
【００６２】
また、第５位置１３５に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ５内に存在していない。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ５に存在しないと判定する。この場合、第５位置１３５に表示される目標画像Ｍは、有効目標画像とはならない。
【００６３】
この結果、上記のキャリブレーション動作では、３つの有効目標画像が検出されることになる。キャリブレーション制御部２２２は、このように検出された有効目標画像の数が閾値以上か否かを判定する。閾値については、例えば操作者が入力装置６０等により入力することによって設定可能である。
【００６４】
ここでは、有効目標画像の数が３つであるため、例えば閾値が「３」以下に設定される場合、キャリブレーション制御部２２２は、有効目標画像の数が閾値以上であると判定する。キャリブレーション制御部２２２は、有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力する。つまり、キャリブレーション制御部２２２は、第１位置１３１の目標画像Ｍに対応する検出範囲Ｐ１の注視点の位置データをキャリブレーションデータとして出力する。また、キャリブレーション制御部２２２は、第２位置１３２の目標画像Ｍに対応する検出範囲Ｐ２の注視点の位置データをキャリブレーションデータとして出力する。また、キャリブレーション制御部２２２は、第４位置１３４の目標画像Ｍに対応する検出範囲Ｐ４の注視点の位置データをキャリブレーションデータとして出力する。
【００６５】
一方、閾値が「４」以上に設定される場合、キャリブレーション制御部２２２は、有効目標画像の数が閾値未満であると判定する。キャリブレーション制御部２２２は、有効目標画像の数が閾値未満の場合、上記のキャリブレーション動作を再度行わせる。この場合、キャリブレーション制御部２２２は、上記のキャリブレーション動作において検出された注視点の位置データを記憶部２２４に記憶させる。
【００６６】
キャリブレーション動作を再度行わせる場合、表示制御部２０２は、直前のキャリブレーション動作と同一の目標位置１３０に目標画像Ｍを表示させる。つまり、第１位置１３１から第５位置１３５の５箇所の目標位置１３０に目標画像Ｍを表示させる。また、領域設定部２１６は、直前のキャリブレーション動作と同一の処理により各目標位置１３０における目標画像Ｍの表示期間に対応領域Ａを設定する。そして、画像データ取得部２０６により左右の眼球の画像データを取得し、位置検出部２１０により瞳孔中心の位置データ及び角膜反射中心の位置データを検出し、注視点検出部２１４により注視点の位置データを算出する。このように、コンピュータシステム２０により、再度のキャリブレーション動作が自動的に行われるため、視線検出処理の一連の流れを阻害することなく、被験者の集中力を維持したまま、より自然で精度の高い計測結果を効率的に取得可能となる。また、コンピュータシステム２０は、再度のキャリブレーション動作を行う際、その旨を報知することなくキャリブレーション動作に移るため、被験者の集中力が途切れることを抑制できる。
【００６７】
図１０は、再度のキャリブレーション動作によって検出される注視点の検出範囲の一例を示す図である。図１０に示す例では、第１位置１３１、第３位置１３３及び第４位置１３４に目標画像Ｍが表示される表示期間において、算出された注視点の範囲がそれぞれ対応領域Ａ１、Ａ３、Ａ４内に存在している。したがって、再度のキャリブレーション動作では、第１位置１３１、第３位置１３３及び第４位置１３４に表示される３つの目標画像Ｍが有効目標画像として検出される。
【００６８】
上記のキャリブレーション動作では、表示画面１０１Ｓの複数の目標位置１３０に順に表示される目標画像Ｍを追従して注視する方式である。本発明者は、このような方式において、正確に追従及び注視を行う被験者については、キャリブレーション動作を複数回繰り返す際に、各キャリブレーション動作において同様の見方で追従及び注視を行う特性があることを見出した。つまり、複数回のキャリブレーション動作において、注視点の位置データの分布が一致又は近似していれば、同じ見方をしていると推定できる。このため、再度のキャリブレーション動作において有効目標画像と判定された目標画像Ｍと同一の位置に表示される目標画像Ｍが、直近以前のキャリブレーション動作においても連続して有効目標画像であると判定されていれば、同じ見方をしていると考えることができる。
【００６９】
そこで、キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直近のキャリブレーション動作において算出された中心点の位置データを目標位置１３０毎に記憶部２２４に記憶させる。そして、キャリブレーション制御部２２２は、直近のキャリブレーション動作と同一の複数の目標位置１３０、つまり第１位置１３１から第５位置１３５にそれぞれ目標画像Ｍを表示させる。その後、キャリブレーション制御部２２２は、当該再度のキャリブレーション動作と直近以前のキャリブレーション動作とで同一の目標位置１３０に表示される目標画像Ｍが連続して有効目標画像と判定される場合、当該連続するキャリブレーション動作のうち直近以前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。
【００７０】
ここで、図９に示すキャリブレーション動作と、図１０に示す再度のキャリブレーション動作とでは、第１位置１３１及び第４位置１３４に表示される２つの目標画像Ｍが共に有効目標画像として検出されている。したがって、キャリブレーション制御部２２２は、直前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。つまり、直前のキャリブレーション動作で有効目標画像とされた第２位置１３２に表示される目標画像Ｍについても、再度のキャリブレーション動作における有効目標画像として検出される。この結果、図１０に示すキャリブレーション動作では、４つの有効目標画像が検出されることになる。
【００７１】
また、図１０に示す再度のキャリブレーション動作を行った後、更に再度のキャリブレーション動作（以下、再再度のキャリブレーション動作、と表記する）を行う場合、キャリブレーション制御部２２２は、直近のキャリブレーション動作において算出された中心点の位置データを目標位置１３０毎に記憶部２２４に記憶させる。そして、キャリブレーション制御部２２２は、第１位置１３１から第５位置１３５にそれぞれ目標画像Ｍを表示させる。その後、キャリブレーション制御部２２２は、直近以前の２回のキャリブレーション動作と同一の目標位置１３０である第１位置１３１及び第４位置１３４に表示される目標画像Ｍのうち少なくとも一方の目標画像Ｍについて有効目標画像であると判定される場合、当該２回のキャリブレーション動作における他の全ての有効目標画像を、再再度のキャリブレーション動作において有効目標画像と判定する。
【００７２】
このように、キャリブレーション制御部２２２は、各キャリブレーション動作において算出される注視点の位置データを記憶部２２４に記憶させ、再度のキャリブレーション動作の有効目標画像を判定する際、記憶部２２４に記憶させた注視点の位置データをフィードバックさせて用いることができる。
【００７３】
キャリブレーション制御部２２２は、このように検出された有効目標画像の数が閾値以上か否かを判定し、有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力する。また、キャリブレーション制御部２２２は、有効目標画像の数が閾値未満の場合、上記のキャリブレーション動作を再度行わせる。
【００７４】
図１１は、再度のキャリブレーション動作によって検出される注視点の検出範囲の他の例を示す図である。図１１に示す例では、第３位置１３３及び第５位置１３５に目標画像Ｍが表示される表示期間において、算出された注視点の範囲がそれぞれ対応領域Ａ３、Ａ５内に存在している。したがって、再度のキャリブレーション動作では、第３位置１３３及び第５位置１３５に表示される２つの目標画像Ｍが有効目標画像として検出される。
【００７５】
一方、図１１に示す再度のキャリブレーション動作では、直前のキャリブレーション動作である図９に示すキャリブレーション動作との間に、同一の位置に検出される有効目標画像が存在しない。したがって、この場合には、キャリブレーション制御部２２２は、直前のキャリブレーション動作の有効目標画像を再度のキャリブレーション動作における有効目標画像とは判定しない。この結果、図１１に示すキャリブレーション動作では、２つの有効目標画像が検出されることになる。
【００７６】
なお、図１０及び図１１に示す例では、再度のキャリブレーション動作を行う場合、表示制御部２０２は、直前のキャリブレーション動作において表示された目標画像Ｍと外観が同一の目標画像を表示させる態様を説明したが、これに限定されない。図１２は、表示画面１０１Ｓに目標画像を表示する他の表示例を示す図である。図１２に示すように、表示制御部２０２は、キャリブレーション動作を再度行わせる場合、直前のキャリブレーション動作において表示された目標画像Ｍとは外観が異なる目標画像ＭＡを表示させることができる。この場合、表示制御部２０２は、直前のキャリブレーション動作と同一の複数の目標位置１３０に目標画像Ｍを表示させる。このように、直前のキャリブレーション動作の目標画像Ｍとは外観が異なる目標画像ＭＡを再度のキャリブレーション動作で表示させることにより、被験者の飽きによる集中力低下及び注視率低下を抑制できる。
【００７７】
上記のようなキャリブレーション動作が所定回数行われた場合において、いずれも有効目標画像の数が閾値未満である場合、キャリブレーション制御部２２２は、キャリブレーション動作がエラーである旨を出力する。なお、所定回数については、例えば操作者が入力装置６０等により入力することによって設定可能である。
【００７８】
次に、本実施形態に係る視線検出方法の一例について、図１３を参照しながら説明する。図１３は、本実施形態に係る視線検出方法におけるキャリブレーション処理の一例を示すフローチャートである。図１３に示すように、まず、キャリブレーション制御部２２２は、表示画面１０１Ｓに表示する目標位置１３０の数（Ｘ）を設定する（ステップＳ１０１）。キャリブレーション制御部２２２は、例えば入力装置６０における入力結果に基づいて目標位置１３０の数Ｘを設定する。なお、Ｘは、２以上の整数である。
【００７９】
また、キャリブレーション制御部２２２は、有効目標画像の閾値（Ｙ）を設定する（ステップＳ１０２）。キャリブレーション制御部２２２は、例えば入力装置６０における入力結果に基づいて有効目標画像の閾値Ｙを設定する。なお、Ｙは、１以上、Ｘ以下の整数である。
【００８０】
また、キャリブレーション制御部２２２は、再度のキャリブレーション動作を行わせる再試行回数（Ｒ）を設定する（ステップＳ１０３）。キャリブレーション制御部２２２は、例えば入力装置６０における入力結果に基づいて再試行回数Ｒを設定する。なお、Ｒは、１以上の整数である。なお、Ｒを０としてもよい。この場合、再度のキャリブレーションを行わない設定となる。
【００８１】
目標位置１３０の数Ｘ、有効目標画像の閾値Ｙ、及び再度のキャリブレーション動作を行う回数Ｒが設定された後、キャリブレーション動作を行わせる（ステップＳ１０４）。キャリブレーション動作では、設定された目標位置１３０の数Ｘに基づいて目標画像Ｍが複数の目標位置１３０に表示され、各目標画像Ｍの表示期間において目標画像Ｍに対応する対応領域Ａが設定される。そして、目標画像Ｍが表示される表示期間に、画像データ取得部２０６により左右の眼球の画像データを取得し、位置検出部２１０により瞳孔中心の位置データ及び角膜反射中心の位置データを検出し、注視点検出部２１４により注視点の位置データを算出する。
【００８２】
キャリブレーション動作の後、キャリブレーション制御部２２２は、有効目標画像であると判定された目標画像Ｍの数（Ｚ）を求める（ステップＳ１０５）。なお、ステップＳ１０５において、キャリブレーション制御部２２２は、当該再度のキャリブレーション動作と直近以前のキャリブレーション動作とで同一の目標位置１３０に表示される目標画像Ｍが連続して有効目標画像と判定される場合、当該連続するキャリブレーション動作のうち直近以前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。有効目標画像の数Ｚを求めた後、キャリブレーション制御部２２２は、有効目標画像の数Ｚが閾値Ｙ以上であるか否かを判定する（ステップＳ１０６）。有効目標画像の数Ｚが閾値Ｙ以上であると判定された場合（ステップＳ１０６のＹｅｓ）、キャリブレーション制御部２２２は、有効目標画像と判定された注視点の位置データをキャリブレーションデータとして出力して、キャリブレーション動作を終了する。
【００８３】
一方、有効目標画像の数Ｚが閾値Ｙ未満であると判定された場合（ステップＳ１０６のＮｏ）、キャリブレーション制御部２２２は、それまでに再度のキャリブレーション動作を行った再試行回数が、設定された再試行回数Ｒに到達したか否かを判定する（ステップＳ１０７）。判定の結果、キャリブレーション動作の再試行回数が、設定された回数Ｒに到達した場合（ステップＳ１０７のＹｅｓ）、キャリブレーション制御部２２２は、キャリブレーション動作がエラーである旨を出力して（ステップＳ１１０）、処理を終了する。
【００８４】
また、キャリブレーション動作の再試行回数が、設定された回数Ｒに到達しない場合（ステップＳ１０７のＮｏ）、キャリブレーション制御部２２２は、再度のキャリブレーション動作を行わせる。再度のキャリブレーション動作において、目標画像Ｍの種類を外観が異なる目標画像に変更する場合、キャリブレーション制御部２２２は、目標画像Ｍの種類を変更する旨の指示を表示制御部２０２に送信する（ステップＳ１０８）。この場合、再度のキャリブレーション動作において、直前のキャリブレーション動作とは外観が異なる目標画像が表示画面１０１Ｓに表示される。また、再度のキャリブレーション動作を行わせる場合、キャリブレーション制御部２２２は、直前のキャリブレーション動作における検出結果である注視点の位置データを記憶部２２４に記憶させる（ステップＳ１０９）。その後、ステップＳ１０４以降の動作を繰り返し行わせる。
【００８５】
以上のように、本実施形態に係る視線検出装置は、画像を表示する表示画面１０１Ｓと、被験者の少なくとも一方の眼球に検出光を照射する照明装置１０３と、検出光が照射される眼球の画像データを取得する画像データ取得部２０６と、取得された画像データから、検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する位置検出部２１０と、瞳孔中心の位置及び角膜反射中心の位置に基づいて、表示画面１０１Ｓを含む平面上での被験者の注視点の位置データを算出する注視点検出部２１４と、表示画面１０１Ｓの複数の目標位置１３０に目標画像Ｍを順次表示させ、表示画面１０１Ｓに表示される目標画像Ｍに対応した対応領域Ａを表示画面１０１Ｓに順次設定し、それぞれの目標画像Ｍが表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域Ａに存在するか否かの判定をそれぞれの目標画像Ｍについて行い、注視点の位置データが対応領域Ａに存在すると判定された目標画像Ｍである有効目標画像の数Ｚが閾値Ｙ以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数Ｚが閾値Ｙ未満の場合、キャリブレーション動作を再度行わせるコンピュータシステム２０とを備える。
【００８６】
また、本実施形態に係る視線検出方法は、被験者の少なくとも一方の眼球に検出光を照射することと、検出光が照射される眼球の画像データを取得することと、取得された画像データから、検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出することと、瞳孔中心の位置及び角膜反射中心の位置に基づいて、表示画面１０１Ｓを含む平面上での被験者の注視点の位置データを算出することと、表示画面１０１Ｓの複数の目標位置１３０に目標画像Ｍを順次表示させ、表示画面１０１Ｓに表示される目標画像Ｍに対応した対応領域Ａを表示画面１０１Ｓに順次設定し、それぞれの目標画像Ｍが表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域Ａに存在するか否かの判定をそれぞれの目標画像Ｍについて行い、注視点の位置データが対応領域Ａに存在すると判定された目標画像Ｍである有効目標画像の数Ｚが閾値Ｙ以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数Ｚが閾値Ｙ未満の場合、キャリブレーション動作を再度行わせることとを含む。
【００８７】
また、本実施形態に係る視線検出プログラムは、被験者の少なくとも一方の眼球に検出光を照射する処理と、検出光が照射される眼球の画像データを取得する処理と、取得された画像データから、検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する処理と、瞳孔中心の位置及び角膜反射中心の位置に基づいて表示画面１０１Ｓを含む平面上での被験者の注視点の位置データを算出する処理と、表示画面１０１Ｓの複数の目標位置１３０に目標画像Ｍを順次表示させ、表示画面１０１Ｓに表示される目標画像Ｍに対応した対応領域Ａを表示画面１０１Ｓに順次設定し、それぞれの目標画像Ｍが表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域Ａに存在するか否かの判定をそれぞれの目標画像Ｍについて行い、注視点の位置データが対応領域Ａに存在すると判定された目標画像Ｍである有効目標画像の数Ｚが閾値Ｙ以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数Ｚが閾値Ｙ未満の場合、キャリブレーション動作を再度行わせる処理とをコンピュータに実行させる。
【００８８】
このような構成により、再度のキャリブレーション動作がコンピュータシステム２０によって自動的に行われるため、視線検出処理の一連の流れを阻害することなく、被験者の集中力を維持したまま、より自然で精度の高い計測結果を効率的に取得可能となる。これにより、検出精度の低下を抑制可能となる。
【００８９】
また、キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直近のキャリブレーション動作と同一の複数の目標位置１３０である第１位置１３１から第５位置１３５にそれぞれ目標画像Ｍを表示させ、当該再度のキャリブレーション動作と直近以前のキャリブレーション動作とで同一の目標位置１３０に表示される目標画像Ｍが連続して有効目標画像と判定される場合、当該連続するキャリブレーション動作のうち直近以前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。これにより、被験者の特性を利用することで効率的にキャリブレーション動作を行うことができる。
【００９０】
また、キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直前のキャリブレーション動作において表示された目標画像Ｍとは外観が異なる目標画像ＭＡを表示させる。これにより、被験者の飽きによる集中力低下及び注視率低下を抑制できる。
【００９１】
また、キャリブレーション制御部２２２は、キャリブレーション動作が所定回数Ｒ行われた場合において、いずれも有効目標画像の数Ｚが閾値Ｙ未満である場合、キャリブレーション動作がエラーである旨を出力する。これにより、再度のキャリブレーション動作を所定回数Ｒだけ行っても有効目標画像の数Ｚが閾値Ｙ未満である場合に、キャリブレーション動作に区切りをつけることができる。
【００９２】
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【００９３】
Ａ（Ａ１，Ａ２，Ａ３，Ａ４，Ａ５）…対応領域、Ｍ，ＭＡ…目標画像、Ｐ１〜Ｐ５…検出範囲、２０…コンピュータシステム、６０…入力装置、１００…視線検出装置、１０１…表示装置、１０１Ｓ…表示画面、１０３…照明装置、１３０…目標位置、１３１…第１位置、１３２…第２位置、１３３…第３位置、１３４…第４位置、１３５…第５位置、２０２…表示制御部、２０６…画像データ取得部、２０８…入力データ取得部、２１０…位置検出部、２１４…注視点検出部、２１６…領域設定部、２１８…判定部、２２０…演算部、２２２…キャリブレーション制御部、２２４…記憶部、２２６…出力制御部
【図１】
2020018470.tif 000003
【図２】
2020018470.tif 000004
【図３】
2020018470.tif 000005
【図４】
2020018470.tif 000006
【図５】
2020018470.tif 000007
【図６】
2020018470.tif 000008
【図７】
2020018470.tif 000009
【図８】
2020018470.tif 000010
【図９】
2020018470.tif 000011
【図１０】
2020018470.tif 000012
【図１１】
2020018470.tif 000013
【図１２】
2020018470.tif 000014
【図１３】
2020018470.tif 000015