(57)【特許請求の範囲】
【請求項１】
被験者の周辺環境への注視点を検出する注視点検出装置であって、
前記被験者の眼球画像を取得する眼球画像取得手段と、
前記被験者の眼球の光軸方向から到来した光が反射する第１反射点を前記眼球画像から推定する反射点推定手段と、
前記被験者の視線方向と前記眼球の前記光軸方向との差を示す個人パラメータに基づいて前記第１反射点を補正し、前記補正された前記第１反射点である補正反射点を算出する補正反射点算出手段と、
前記補正反射点の光と前記周辺環境の光とに基づいて、前記注視点を検出する注視点検出手段と
を備えた、注視点検出装置。
【請求項２】
前記眼球画像から前記眼球の姿勢を算出する姿勢算出手段を備え、
前記反射点推定手段は、前記眼球の前記姿勢と前記眼球の幾何モデルとに基づいて前記第１反射点を推定する、請求項１に記載の注視点検出装置。
【請求項３】
前記反射点推定手段は、前記被験者の前記視線方向が前記被験者の前記眼球の前記光軸方向に平行であると仮定するモデルに基づいて前記第１反射点を推定する、請求項１又は請求項２に記載の注視点検出装置。
【請求項４】
前記周辺環境の光は、ＬＥＤアレイプロジェクタの光である、請求項１〜請求項３のうちの一項に記載の注視点検出装置。
【請求項５】
前記周辺環境の光は、パターン発光マーカの光である、請求項１〜請求項３のうちの一項に記載の注視点検出装置。
【請求項６】
被験者の周辺環境への注視点を検出する注視点検出方法であって、
前記被験者の眼球画像を取得する眼球画像取得工程と、
前記被験者の眼球の光軸方向から到来した光が反射する第１反射点を前記眼球画像から推定する反射点推定工程と、
前記被験者の視線方向と前記眼球の前記光軸方向との差を示す個人パラメータに基づいて前記第１反射点を補正し、前記補正された前記第１反射点である補正反射点を算出する補正反射点算出工程と、
前記補正反射点の光と前記周辺環境の光とに基づいて、前記注視点を検出する注視点検出工程と
を包含する、注視点検出方法。
【請求項７】
被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出装置であって、
前記被験者の眼球画像を取得する眼球画像取得手段と、
前記眼球の光軸方向から到来した光が反射する第１反射点を前記眼球画像から推定する反射点推定手段と、
前記被験者の注視点から到来した光が反射する第２反射点を前記眼球画像から検出する反射点検出手段と、
前記第１反射点と前記第２反射点とに基づいて、前記被験者の前記個人パラメータを算出する個人パラメータ算出手段と
を備えた、個人パラメータ算出装置。
【請求項８】
前記眼球画像から前記眼球の姿勢を算出する姿勢算出手段を備え、
前記反射点推定手段は、前記眼球の前記姿勢と前記眼球の幾何モデルとに基づいて前記第１反射点を推定する、請求項７に記載の個人パラメータ算出装置。
【請求項９】
前記反射点推定手段は、前記被験者の前記視線方向が前記被験者の前記眼球の前記光軸方向に平行であると仮定するモデルに基づいて前記第１反射点を推定する、請求項７又は請求項８に記載の個人パラメータ算出装置。
【請求項１０】
被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出方法であって、
前記被験者の眼球画像を取得する眼球画像取得工程と、
前記眼球の光軸方向から到来した光が反射する第２反射点を前記眼球画像から推定する反射点推定工程と、
前記被験者の注視点から到来した光が反射する第１反射点を前記眼球画像から検出する反射点検出工程と、
前記第１反射点と前記第２反射点とに基づいて、前記被験者の前記個人パラメータを算出する個人パラメータ算出工程と
を包含する、個人パラメータ算出方法。
【請求項１１】
コンピュータに被験者の周辺環境への注視点を検出する注視点検出処理を実行させるためのプログラムであって、
前記被験者の眼球画像を取得する眼球画像取得ステップと、
前記被験者の眼球の光軸方向から到来した光が反射する第１反射点を前記眼球画像から推定する反射点推定ステップと、
前記被験者の視線方向と前記眼球の前記光軸方向との差を示す個人パラメータに基づいて前記第１反射点を補正し、前記補正された前記第１反射点である補正反射点を算出する補正反射点算出ステップと、
前記補正反射点の光と前記周辺環境の光とに基づいて、前記注視点を検出する注視点検出ステップと
を包含する、プログラム。
【請求項１２】
コンピュータに被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出処理を実行させるためのプログラムであって、
前記被験者の眼球画像を取得する眼球画像取得ステップと、
前記眼球の光軸方向から到来した光が反射する第２反射点を前記眼球画像から推定する反射点推定ステップと、
前記被験者の注視点から到来した光が反射する第１反射点を前記眼球画像から検出する反射点検出ステップと、
前記第１反射点と前記第２反射点とに基づいて、前記被験者の前記個人パラメータを算出する個人パラメータ算出ステップと
を包含する、プログラム。
【請求項１３】
被験者の周辺環境への注視点を検出する注視点検出処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
前記被験者の眼球画像を取得する眼球画像取得ステップと、
前記被験者の眼球の光軸方向から到来した光が反射する第１反射点を前記眼球画像から推定する反射点推定ステップと、
前記被験者の視線方向と前記眼球の前記光軸方向との差を示す個人パラメータに基づいて前記第１反射点を補正し、前記補正された前記第１反射点である補正反射点を算出する補正反射点算出ステップと、
前記補正反射点の光と前記周辺環境の光とに基づいて、前記注視点を検出する注視点検出ステップと
を包含する、コンピュータ読み取り可能な記録媒体。
【請求項１４】
被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
前記被験者の眼球画像を取得する眼球画像取得ステップと、
前記眼球の光軸方向から到来した光が反射する第２反射点を前記眼球画像から推定する反射点推定ステップと、
前記被験者の注視点から到来した光が反射する第１反射点を前記眼球画像から検出する反射点検出ステップと、
前記第１反射点と前記第２反射点とに基づいて、前記被験者の前記個人パラメータを算出する個人パラメータ算出ステップと
を包含する、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の周辺環境への注視点を検出する注視点検出装置と注視点検出方法、被験者の視線方向と被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出装置と個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
被験者の注視点の検出は現代・次世代の情報環境を構築するために重要かつ必須な技術である。注視点情報を用いたユーザーインタフェースやユビキタス・アンビエント環境、人の行動認識・理解やコミュニケーション解析など、注視点検出に関する技術の応用範囲は広い。従って商用製品も含め多くの技術が実用化されている。【０００３】
非特許文献１に記載の技術では、新たな注視点検出法として眼球表面の環境反射像を用いる手法が開示されている。この技術では、眼球表面上で反射する環境の像と環境カメラで撮像したシーン点とを直接対応付けることで注視点検出を実現する。この技術では、（１）システム設置が容易であり、（２）被験者への機器装着が不要となり、（３）奥行の異なる複雑な環境への対応が可能である、等長所が多い。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】「眼球の表面反射と高速アクティブ光投影を用いた非装着・事前校正不要な注視点推定」画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）論文集、第２０１１巻、ｐｐ．４１−４８（２０１１）、中澤，ニチュケ，ラドコフ，竹村
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１に記載の技術では、眼球表面上で視線方向からの到来光を反射する反射点を求める手法が必要である。眼球画像での反射点における画像特徴と環境画像の画像特徴とを比較することにより、環境中の注視点を推定することができる。【０００６】
この技術では、眼球の光軸方向と被験者の視線方向とが同一であると仮定している。しかしながら、現実には眼球の光軸方向と被験者の視線方向とには個人差があるため、注視点の推定精度には限界があった。【０００７】
本発明は上記課題を鑑みてなされたものであり、その目的は、被験者の視線方向と被験者の眼球の光軸方向との差を示す個人パラメータを考慮した注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
本発明による注視点検出装置は、被験者の周辺環境への注視点を検出する注視点検出装置であって、被験者の眼球画像を取得する眼球画像取得手段と、被験者の眼球の光軸方向から到来した光が反射する第１反射点を眼球画像から推定する反射点推定手段と、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第１反射点を補正し、補正された第１反射点である補正反射点を算出する補正反射点算出手段と、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出手段とを備える。【０００９】
ある実施形態において、注視点検出装置は眼球画像から眼球の姿勢を算出する姿勢算出手段を備え、反射点推定手段は、眼球の姿勢と眼球の幾何モデルとに基づいて第１反射点を推定する。【００１０】
ある実施形態において、反射点推定手段は、被験者の視線方向が被験者の眼球の光軸方向に平行であると仮定するモデルに基づいて第１反射点を推定する。【００１１】
ある実施形態において、周辺環境の光は、ＬＥＤアレイプロジェクタの光である。【００１２】
ある実施形態において、周辺環境の光は、パターン発光マーカの光である。【００１３】
本発明による注視点検出方法は、被験者の周辺環境への注視点を検出する注視点検出方法であって、被験者の眼球画像を取得する眼球画像取得工程と、被験者の眼球の光軸方向から到来した光が反射する第１反射点を眼球画像から推定する反射点推定工程と、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第１反射点を補正し、補正された第１反射点である補正反射点を算出する補正反射点算出工程と、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出工程とを包含する。【００１４】
本発明による個人パラメータ算出装置は、被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出装置であって、被験者の眼球画像を取得する眼球画像取得手段と、眼球の光軸方向から到来した光が反射する第１反射点を眼球画像から推定する反射点推定手段と、被験者の注視点から到来した光が反射する第２反射点を眼球画像から検出する反射点検出手段と、第１反射点と第２反射点とに基づいて、被験者の個人パラメータを算出する個人パラメータ算出手段とを備える。【００１５】
ある実施形態において、個人パラメータ算出装置は眼球画像から眼球の姿勢を算出する姿勢算出手段を備え、反射点推定手段は、眼球の姿勢と眼球の幾何モデルとに基づいて第１反射点を推定する。【００１６】
ある実施形態において、反射点推定手段は、被験者の視線方向が被験者の眼球の光軸方向に平行であると仮定するモデルに基づいて第１反射点を推定する。【００１７】
本発明による個人パラメータ算出方法は、被験者の視線方向と被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出方法であって、被験者の眼球画像を取得する眼球画像取得工程と、眼球の光軸方向から到来した光が反射する第１反射点を眼球画像から推定する反射点推定工程と、被験者の注視点から到来した光が反射する第２反射点を眼球画像から検出する反射点検出工程と、第１反射点と第２反射点とに基づいて、被験者の個人パラメータを算出する個人パラメータ算出工程とを包含する。【００１８】
本発明によるプログラムは、コンピュータに被験者の周辺環境への注視点を検出する注視点検出処理を実行させるためのプログラムであって、被験者の眼球画像を取得する眼球画像取得ステップと、被験者の眼球の光軸方向から到来した光が反射する第１反射点を眼球画像から推定する反射点推定ステップと、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第１反射点を補正し、補正された第１反射点である補正反射点を算出する補正反射点算出ステップと、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出ステップとを包含する。【００１９】
本発明によるプログラムは、コンピュータに被験者の視線方向と被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出処理を実行させるためのプログラムであって、被験者の眼球画像を取得する眼球画像取得ステップと、眼球の光軸方向から到来した光が反射する第１反射点を眼球画像から推定する反射点推定ステップと、被験者の注視点から到来した光が反射する第２反射点を眼球画像から検出する反射点検出ステップと、第１反射点と第２反射点とに基づいて、被験者の個人パラメータを算出する個人パラメータ算出ステップとを包含する。【００２０】
本発明によるコンピュータ読み取り可能な記録媒体は、被験者の周辺環境への注視点を検出する注視点検出処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、プログラムは、被験者の眼球画像を取得する眼球画像取得ステップと、被験者の眼球の光軸方向から到来した光が反射する第１反射点を眼球画像から推定する反射点推定ステップと、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第１反射点を補正し、補正された第１反射点である補正反射点を算出する補正反射点算出ステップと、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出ステップとを包含する。【００２１】
本発明によるコンピュータ読み取り可能な記録媒体は、被験者の視線方向と前記被験者の眼球の光軸方向との差を示す個人パラメータを算出する個人パラメータ算出処理をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、プログラムは、被験者の眼球画像を取得する眼球画像取得ステップと、眼球の光軸方向から到来した光が反射する第２反射点を眼球画像から推定する反射点推定ステップと、被験者の注視点から到来した光が反射する第１反射点を眼球画像から検出する反射点検出ステップと、第１反射点と第２反射点とに基づいて、被験者の個人パラメータを算出する個人パラメータ算出ステップとを包含する。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態１に係る注視点検出装置を示す模式図である。
【図２】本発明の実施形態１に係る注視点検出装置の動作を示すフローチャートである。
【図３】（ａ）は眼球の模式図を示し、（ｂ）は眼球の近似幾何モデルを示す模式図である。
【図４】暗瞳孔法による瞳輪郭の検出結果を示す。
【図５】瞳の投影像による眼球姿勢推定を説明するための模式図である。
【図６】眼球の表面反射と反射点との関係を示す模式図である。
【図７】ＬＥＤ−ＡＰを用いたシステム構成とパターン発光マーカを用いたシステム構成とを示す模式図である。
【図８】ＬＥＤ−ＡＰの構成を示す写真である。
【図９】光源となるＬＥＤの同定を説明するための模式図である。
【図１０】パターン発光マーカの構成及び眼球の反射像を示す写真である。
【図１１】本発明の実施形態２に係る個人パラメータ算出装置の模式図である。
【図１２】本発明の実施形態２に係る個人パラメータ算出装置の動作を示すフローチャートである。
【図１３】注視点推定角度誤差を示す表である。
【図１４】条件１での注視点推定結果を示すグラフである。
【図１５】条件２での注視点推定結果を示すグラフである。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明による注視点検出装置、注視点検出方法、個人パラメータ算出装置及び個人パラメータ算出方法の実施形態を説明する。ただし、本発明は以下の実施形態に限定されない。
［実施形態１：注視点検出］
図１は、本発明の実施形態１に係る注視点検出装置１００を示す模式図である。注視点検出装置１００は、被験者Ａの周辺環境への注視点ＰｏＧを検出する。周辺環境とは、被験者Ａの周辺の空間であり、ＸＹ座標で示される空間やＸＹＺ座標で示される空間であり得る。注視点検出装置１００は、被験者Ａの眼球画像を取得する眼球画像取得手段１０２と、反射点推定手段１０４と、補正反射点算出手段１０６と、注視点検出手段１０８とを備える。注視点検出装置１００は、環境光検出装置１１２を更に備え得る。
【００２４】
眼球画像取得手段１０２は、例えば、デジタルカメラ、ＣＣＤカメラ又はパン・チルト・ズームカメラであり、可視光領域の光を検出し得る。眼球画像取得手段１０２は、静止している被験者Ａの眼球又は動いている被験者Ａの眼球の画像を取得する。反射点推定手段１０４は、被験者Ａの眼球の光軸方向から到来した光が反射する第１反射点ＧＲＰ（Ｇａｚｅ Ｒｅｆｌｅｃｔｉｏｎ  Ｐｏｉｎｔ）を眼球画像から推定する。注視点検出装置１００は、眼球画像から眼球の姿勢を算出する姿勢算出手段１１０を更に備え得る。
【００２５】
反射点推定手段１０４は、眼球の姿勢と眼球の幾何モデルとに基づいて第１反射点ＧＲＰを眼球画像から推定する。
【００２６】
補正反射点算出手段１０６は、被験者Ａの視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第１反射点ＧＲＰを補正し、補正された第１反射点である補正反射点ｃＧＲＰ（ｃｏｒｒｅｃｔｅｄ ＧＲＰ）を算出する。
【００２７】
環境光検出装置１１２は、例えば、デジタルカメラ、ＣＣＤカメラ又はパン・チルト・ズームカメラであり、可視光領域の光を検出し得る。環境光検出装置１１２は、被験者Ａが注視する被験者Ａの周辺環境の光を検出し得る。周辺環境の光は周辺環境の画像を形成する。注視点検出手段１０８は、補正反射点ｃＧＲＰの光と周辺環境の光とに基づいて、注視点ＰｏＧを検出する。例えば、注視点検出手段１０８は、補正反射点算出手段１０６によって算出された補正反射点ｃＧＲＰの光と環境光検出装置１１２によって検出された周辺環境の光とを照合して、注視点ＰｏＧを検出する。
【００２８】
反射点推定手段１０４と、補正反射点算出手段１０６と、注視点検出手段１０８と、姿勢算出手段１１０とは、例えばパーソナルコンピュータ等の電子計算機であり得る。
【００２９】
なお、注視点検出手段１０８は、補正反射点ｃＧＲＰの光と周辺環境の光とに基づいて、注視点ＰｏＧを検出するが、周辺環境の光は環境光検出装置１１２によって検出されることに限定されない。
【００３０】
例えば、注視点検出装置１００は、環境光検出装置１１２に替えて投影手段と投影光検出手段とを備え得る。投影手段は光源を有し、周辺環境に光を投影する。投影手段は、例えばプロジェクタである。投影手段は、例えば、周辺環境に景色を示す可視光やグレイコードパターンを示す可視光を投影する。図７を参照して詳細に説明するように、投影手段は、ＬＥＤアレイプロジェクタでもあり得る。周辺環境が部屋の壁である場合は、投影手段は光を部屋の壁に投影する。周辺環境が山の岩壁である場合は、投影手段は光を凹凸の岩壁に投影する。さらに、投影手段が三次元映像装置であれば、空気以外なにも存在しない空間にドットアレイからなるリアルな３次元映像を投影し得る。
【００３１】
投影光検出手段は、投影手段から投影された投影光を検出する。投影光検出手段は、例えば、デジタルカメラやＣＣＤカメラであり、可視光領域の光を検出し得る。注視点検出手段１０８は、補正反射点算出手段１０６によって算出された補正反射点ｃＧＲＰの光と投影光検出手段によって検出された投影光とを照合して、注視点ＰｏＧを検出する。
【００３２】
更に例えば、注視点検出装置１００は、環境光検出装置１１２に替えて表示手段を備え得る。表示手段は、周辺環境の光を表示する。表示手段は、例えば、光を発する表示板やモニター画面である。図７を参照して詳細に説明するように、表示手段は、パターン発光マーカでもあり得る。周辺環境の光は、表示手段に表示された表示像データとして、注視点検出手段１０８に送信される。注視点検出手段１０８は、補正反射点算出手段１０６によって算出された補正反射点ｃＧＲＰの光と表示手段に表示された表示像の光とを照合して、注視点ＰｏＧを検出する。
【００３３】
図２は、注視点検出装置１００の動作を示すフローチャートである。図１と図２とを参照して、注視点検出方法を説明する。下記に示すように注視点検出装置１００によってステップ２０２からステップ２０８を実行することで本発明の実施形態１による注視点検出処理が実現する。
【００３４】
ステップ２０２：眼球画像取得手段１０２は、被験者Ａの眼球画像を取得する。
【００３５】
ステップ２０４：反射点推定手段１０４は、被験者Ａの眼球の光軸方向から到来した光が反射する第１反射点ＧＲＰを眼球画像から推定する。
【００３６】
ステップ２０６：補正反射点算出手段１０６は、個人パラメータに基づいて第１反射点ＧＲＰを補正し、補正された第１反射点である補正反射点ｃＧＲＰを算出する。
【００３７】
ステップ２０８：注視点検出手段１０８は、補正反射点ｃＧＲＰの光と周辺環境の光とに基づいて、注視点ＰｏＧを検出する。
【００３８】
なお、注視点検出処理を実現する装置は、注視点検出装置１００に限定されない。注視点検出装置１００は、眼球画像取得手段１０２、反射点推定手段１０４、補正反射点算出手段１０６及び注視点検出手段１０８の機能を有する装置である限りは任意の装置であり得る。例えば、注視点検出方法は、ＰＣによっても実現し得る。また、注視点検出装置１００の一部を構成するＰＣによっても実現し得る。
【００３９】
ＰＣによって注視点検出方法を実現する場合には、注視点検出処理プログラムの形式で注視点検出方法が実行される。当該ＰＣは、メモリとＣＰＵとを備える。当該メモリには、注視点検出処理プログラムが格納されている。当該ＣＰＵは、当該メモリから注視点検出処理プログラムを読み取り、眼球画像取得手段１０２の機能を有する手段がステップ２０２を実行するように、更に反射点推定手段１０４の機能を有する手段がステップ２０４を実行するように、各々、眼球画像取得手段１０２及び反射点推定手段１０４の機能を有する手段を制御する。
【００４０】
当該ＣＰＵは、更に当該メモリから注視点検出処理プログラムを読み取り、補正反射点算出手段１０６の機能を有する手段がステップ２０６を実行するように、さらに注視点検出手段１０８の機能を有する手段がステップ２０６を実行するように、各々、補正反射点算出手段１０６及び注視点検出手段１０８の機能を有する手段を制御する。
【００４１】
注視点検出処理プログラムを記録したＰＣ外部の記録媒体から注視点検出処理プログラムを読みだすことによって、当該ＰＣのメモリにインストールし得る。ＰＣ外部の記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、ＭＯなどの任意の媒体が使用され得る。また、インターネットなどの任意のネットワークを介して注視点検出処理プログラムをダウンロードすることによって、当該ＰＣのメモリにインストールし得る。
【００４２】
以下、注視点検出装置１００及び注視点検出方法の詳細を説明する。本実施形態において、眼球の幾何モデルを導入する。図３（ａ）は眼球の模式図を示し、図３（ｂ）は眼球の近似幾何モデルを示す。眼球は単一の球面では無く、角膜部分の球面（角膜球面）と眼球本体（眼球面）との２つの異なる球面から近似的に構成される。近似幾何モデルで既定の値（瞳半径ｒL＝５．６ｍｍ、角膜球半径ｒC＝７．７ｍｍ）を用いる。近似幾何モデルは、幾何的に単純であり解析的に扱いやすい。眼球の表面反射解析において十分な精度を持つと考えられる。
【００４３】
本実施形態において、第１反射点ＧＲＰを眼球画像から推定するに先立ち、眼球の姿勢を推定する。姿勢算出手段１１０は瞳孔の輪郭と瞳の輪郭とを検出し、眼球画像から眼球の姿勢を算出する。瞳孔の輪郭と瞳の輪郭との検出は赤外光を用いて実現する。まず、暗瞳孔法を用いて瞳孔領域を抽出する。暗瞳孔法は瞳孔と他の領域との光の反射・吸収特性の違いを利用した手法である。詳細は、下記文献を参考にし得る。
【００４４】
Ｒ．Ｋｏｔｈａｒｉ  ａｎｄ  Ｊ．Ｌ．Ｍｉｔｃｈｅｌｌ："Ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｅｙｅ  ｌｏｃａｔｉｏｎｓ  ｉｎ  ｕｎｃｏｎｓｔｒａｉｎｅｄ  ｖｉｓｕａｌ  ｉｍａｇｅｓ"，Ｐｒｏｃ．Ｉｎｔ．Ｃｏｎｆ．ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  （ＩＣＩＰ），ｐｐ．５１９−５２２（１９９６）．
図４は、暗瞳孔法による瞳輪郭の検出結果を示す。図４（ａ）は第１フレームを示し、図４（ｂ）は第２フレーム（赤外光点灯）を示し、図４（ｃ）は瞳孔および瞳輪郭の検出結果を示す。図４（ｃ）において、白色実線は瞳輪郭を示し、白色実線の内側にある白色点線は暗瞳孔法によって得られた瞳孔輪郭を示し、白○印は瞳輪郭の中心を示し、白×印は角膜球面の中心を示し、白△印は第１反射点ＧＲＰを示す。
【００４５】
眼球画像取得手段１０２に取り付けられた赤外ＬＥＤは、第１フレームではＯＦＦとなり、第２フレームではＯＮとなる。眼球領域の中で、瞳孔は外部からの光を吸収するため両フレームとも黒く写るが、他の領域は光を反射するため第２フレームでは明るく写る。第１フレームと第２フレームとの撮影画像の差分を取ることで、値の小さな領域を瞳孔領域と見なすことができる。
【００４６】
図５は、瞳の投影像による眼球姿勢推定を説明するための模式図である。図５を参照して説明を続ける。瞳孔領域の輪郭に対してＲＡＮＳＡＣによる楕円フィッティングを適用し、楕円Ｂ(ｘ，ｙ，ｃx，ｃy，ａ，ｂ，φ) を得る。ただし（ｃx，ｃy）は中心位置、ａ、ｂは短径および長径、φは回転角である。瞳孔輪郭の推定結果を用いて２ステップの最小化を行い、瞳輪郭を推定する。
【００４７】
ステップＳ１：瞳孔の中心および回転角（ｃx，ｃy，φ）を用い、径のパラメータ（ａ，ｂ）のみを変化させ以下の関数を最小化し、瞳の径の初期パラメータａ0、ｂ0を得る。
【００４８】
【数１】
0005467303.tif 000002
ここでＥx（ｘ，ｙ）は入力画像のｘ微分であり、またａ0＞ａ，ｂ0＞ｂである。画像のｘ微分のみを用いるのは瞼の影響を避けるためである。また、ｓｇｎ（ｃx−ｘ）は、瞳の中心座標から外側方向に黒目から白目への変化があることを評価するためである。
【００４９】
ステップＳ２：得られた径の初期パラメータを用いて、楕円の全パラメータを同じ評価関数で収束させ、瞳輪郭のパラメータ（ｃ'x，ｃ'y，ａ'，ｂ'，φ'）を得る。
【００５０】
これらのパラメータを用いると、視線方向ｇは以下の式（３）で得られる。
【００５１】
【数２】
0005467303.tif 000003
ここでτは瞳の奥行き方向の傾きを表しており、τ＝±ａｒｃｃｏｓ（ｒmin／ｒmax）で求められる。またここから角膜球面の中心点Ｃは、ＬからＣまでの既知の長さｄLC （＝５．６ｍｍ）と視線ベクトルｇを用いて求めることができる。
【００５２】
反射点推定手段１０４は、得られた眼球の３次元姿勢を用いて、注視点ＰｏＧから入射した光を眼球表面で反射する点（第１反射点ＧＲＰ）を推定する。眼球画像取得手段１０２による眼球表面反射像の撮影は反射光学系（Ｃａｔａｄｉｏｐｔｉｃ  ｓｙｓｔｅｍ）と同様であると見なせ、第１反射点ＧＲＰは反射球面である角膜球面の幾何モデルと眼球画像取得手段１０２から得られた眼球姿勢とを用いて求めることができる。非特許文献１では、第１反射点ＧＲＰの推定モデルとして透視投影モデルと弱透視投影モデルとが開示されている。
【００５３】
本実施形態において、第１反射点ＧＲＰのモデルとして弱透視投影モデルを活用した例を述べる。眼球表面での光の入射・反射は、１つの平面内で起こると考えることができる。弱透視投影モデルの場合、この面は、瞳の投影像（楕円）の短軸を含み、画像面に対して垂直な平面である。被験者Ａの注視点ＰｏＧから到来した光が眼球の光軸方向から来た光であると仮定すると、光線の経路は図６（ａ）で示したようになる。図６（ａ）は、被験者Ａの注視点ＰｏＧから視線方向（眼球光軸方向）と平行に入射した光が角膜表面で反射し、眼球画像取得手段１０２に入射する様子を示す。図６（ａ）を参照して、角膜表面での反射の関係を用いて以下の式が得られる。
【００５４】
【数３】
0005467303.tif 000004
ここから，眼球光軸方向を表すτを用いて第１反射点ＧＲＰを表す角度θが得られる。
【００５５】
【数４】
0005467303.tif 000005
また、弱透視投影の局所投影面上における瞳の中心と第１反射点ＧＲＰとの距離｜ＩS−ＩL｜を求めると、
【００５６】
【数５】
0005467303.tif 000006
となる。次に、瞳の中心を物体中心と見なした弱透視投影を考えると、眼球画像での第１反射点ＧＲＰの位置ｉSは以下で求められる。
【００５７】
【数６】
0005467303.tif 000007
ここでｓは弱透視投影のスケール係数であり、ｉLは瞳中心の座標、ｖsmは瞳の投影像（楕円）の短軸を表す２次元ベクトルである。
【００５８】
補正反射点算出手段１０６は、眼球の姿勢推定で得られた瞳中心座標系Ｒｅを個人パラメータ（δｘ、δｙ）だけ回転することによって第１反射点ＧＲＰを補正し、補正された第１反射点である補正反射点ｃＧＲＰを算出する。具体的には、下記のようである。
【００５９】
【数７】
0005467303.tif 000008
ただしＲxおよびＲyはｘ軸、ｙ軸周りの回転を表す行列である。ここで得られたτ*をτとして式（６）に代入し、更にｖ*smをｖsmとして式（７）に代入することで、補正反射点ｃＧＲＰが得られる。
【００６０】
注視点検出手段１０８は、補正反射点ｃＧＲＰの光と周辺環境の光とに基づいて、注視点ＰｏＧを検出する。例えば、注視点検出手段１０８は補正反射点ｃＧＲＰの光を示すデジタルデータと周辺環境の光を示すデジタルデータとを対応付け、対応付けたデジタルデータから周辺環境に含まれる注視点ＰｏＧを検出する。なお、本明細書において、被験者Ａによる注視点ＰｏＧは、被験者Ａが注視する点や領域や部分を示す。
【００６１】
本実施形態において、例えば、アクティブ照明法を活用することによって周辺環境の光を示すデジタルデータを得ることができる。アクティブ照明法は、例えば、ＬＥＤアレイプロジェクタ（ＬＥＤ−ＡＰ）やパターン発光マーカを実装することによって実行し得る。
【００６２】
図７は、ＬＥＤ−ＡＰを用いたシステム構成とパターン発光マーカを用いたシステム構成とを示す。図７（ａ）はＬＥＤ−ＡＰを用いたシステム構成であり、ＬＥＤ−ＡＰにより高速にシーンに光を投影する。眼球表面に写る反射光を眼球画像取得手段１０２で取得することで注視点ＰｏＧを推定し、注視点ＰｏＧをシーン中の任意の点として得ることができる。
【００６３】
図７（ｂ）はパターン発光マーカを用いたシステム構成であり、この構成ではマーカを注視対象物に取り付けることで、その物体を注視しているか否か、あるいは複数の対象物のうち何れを注視しているかを求める。得られる注視情報は対象物体単位であるが、対象物に小型のマーカを取り付けるだけでよいため、より簡易な構成で注視点推定を実現できる。また、得られた注視データの後解析が容易になるというメリットもある。
【００６４】
図８は、ＬＥＤ−ＡＰの構成を示す。図８（ａ）はＬＥＤアレイ（４２ＬＥＤ）ユニットを示し、高輝度ＬＥＤ（可視光あるいは赤外光）および集光のためのフレネルレンズを含む。図８（ｂ）はＬＥＤアレイ（９ＬＥＤ）ユニットを示す。図８（ｃ）及び図８（ｄ）は、実験環境および照光パターンを示す。
【００６５】
ＬＥＤ−ＡＰは、格子状に配置された高輝度ＬＥＤ群、レンズ、コントローラを備える。各ＬＥＤは０．０５ｍｓで点滅をコントロール可能であり、ＬＥＤ毎に異なる時系列の２値パターンを投影することができる。また各ＬＥＤの方向を個別に変えることができるため、広い領域をカバーするように照明光を配置できる。
【００６６】
各々のＬＥＤの時系列照明パターンにユニークなＩＤをもたせる事で、カメラの撮影画像列からＩＤを復元し光源となるＬＥＤを同定することができる（図９）。一方、環境中の空間解像度はＬＥＤの数により決まるため限界がある。この欠点を補うため、線形補間を組み合わせて注視点ＰｏＧを推定する。すなわち、眼球反射画像中において第１反射点ＧＲＰから近い３つのＬＥＤの投影点を求め、３つのＬＥＤの投影点と第１反射点ＧＲＰとの相対的な位置関係を求める。環境画像中からも各ＬＥＤの投影点を求め、既に得られた第１反射点ＧＲＰとの相対位置関係を用いて、環境画像中の注視点ＰｏＧを推定する。処理の流れは以下のようになる。
【００６７】
まず、眼球反射画像列から時系列コード復元を行い、ピクセル毎のＩＤを求める。復元されたＩＤを元にラベリングを行い、一定以上の面積を持つラベルを求め、その重心位置を各ＬＥＤに対する表面反射点とする。ＬＥＤ−ＡＰは可視光ＬＥＤあるいは赤外ＬＥＤで実装している。これにより、被験者Ａが投影光に気づくことなく注視点ＰｏＧを推定することができる。
【００６８】
図１０は、パターン発光マーカの構成及び眼球の反射像を示す。図１０（ａ）に示されるように、パターン発光マーカはＬＥＤ−ＡＰの各ＬＥＤを独立させた様な構成となっており、マイクロコントローラと赤外線ＬＥＤとを備える。パターン発光マーカはマーカ毎に異なった時系列パターンを発光する。マーカを注視対象物に取り付けることで、被験者Ａがその対象物を注視しているか否かを判定することができる。
【００６９】
図１０（ｂ）は、被験者Ａの前面に２種類の対象物体が動く状況を表す。それぞれの対象物体にはパターン発光マーカが取り付けられている。白色の楕円は瞳輪郭を示し、白色の四角枠は第１反射点ＧＲＰを表す。パターン発光マーカのうち１つが第１反射点ＧＲＰと一致していることが理解できる。
【００７０】
各マーカにはマイクロコントローラが実装されているため、リアルタイムクロックで同期させることにより同期した発光パターンを保つ事ができる。このマーカの眼球表面上での第１反射点ＧＲＰと補正反射点ｃＧＲＰとの位置関係から、マーカと視線方向との角度を計算できるため、角度による閾値処理等を行うことで注視しているか否かを判定し得る。
［実施形態２：個人パラメータ算出］
図１１は、本発明の実施形態に係る個人パラメータ算出装置２００の模式図である。個人パラメータ算出装置２００は、被験者Ａの視線方向と被験者Ａの眼球の光軸方向との差を示す個人パラメータを算出する。個人パラメータ算出装置２００は、被験者Ａの眼球画像を取得する眼球画像取得手段１０２と、眼球の光軸方向から到来した光が反射する第１反射点ＧＲＰを眼球画像から推定する反射点推定手段１０４と、被験者Ａの注視点ＰｏＧから到来した光が反射する第２反射点ＣＲＰ（Ｃａｌｉｂｒａｔｉｏｎ  ｒｅｆｌｅｃｔｉｏｎ  ｐｏｉｎｔ）を眼球画像から検出する反射点検出手段２０６と、第１反射点ＧＲＰと第２反射点ＣＲＰとに基づいて、被験者Ａの個人パラメータを算出する個人パラメータ算出手段２０８とを備える。
【００７１】
なお、眼球画像取得手段１０２は図１を参照して説明した眼球画像取得手段１０２と同様の機能を有し、反射点推定手段１０４は、図１を参照して説明した反射点推定手段１０４と同様の機能を有するため、詳細な説明は省略する。
【００７２】
図１２は、個人パラメータ算出装置２００の動作を示すフローチャートである。図１１、図１２を参照して、個人パラメータ算出方法を説明する。下記に示すように個人パラメータ算出装置２００によってステップ３０２からステップ３０８を実行することで本発明の実施形態２による個人パラメータ算出処理が実現する。
【００７３】
ステップ３０２：眼球画像取得手段１０２は、被験者Ａの眼球画像を取得する。
【００７４】
ステップ３０４：反射点推定手段１０４は、第１反射点ＧＲＰを眼球画像から推定する。
【００７５】
ステップ３０６：反射点検出手段２０６は、被験者の注視点ＰｏＧから到来した光が反射する第２反射点ＣＲＰを眼球画像から検出する。
【００７６】
ステップ３０８：個人パラメータ算出手段２０８は、第１反射点ＧＲＰと第２反射点ＣＲＰとに基づいて、被験者Ａの個人パラメータを算出する。
【００７７】
なお、個人パラメータ算出処理を実現する装置は、個人パラメータ算出装置２００に限定されない。眼球画像取得手段１０２、反射点推定手段１０４、反射点検出手段２０６及び個人パラメータ算出手段２０８の機能を有する装置である限りは任意の装置であり得る。例えば、個人パラメータ算出方法は、ＰＣによっても実現し得る。また、個人パラメータ算出装置２００の一部を構成するＰＣによっても実現し得る。
【００７８】
ＰＣによって個人パラメータ算出方法を実現する場合には、個人パラメータ算出処理プログラムの形式で個人パラメータ算出方法が実行される。当該ＰＣは、メモリとＣＰＵとを備える。当該メモリには、個人パラメータ算出処理プログラムが格納されている。当該ＣＰＵは、当該メモリから個人パラメータ算出処理プログラムを読み取り、眼球画像取得手段１０２の機能を有する手段がステップ３０２を実行するように、更に反射点推定手段１０４の機能を有する手段がステップ３０４を実行するように、各々、眼球画像取得手段１０２及び反射点推定手段１０４の機能を有する手段を制御する。
【００７９】
当該ＣＰＵは、更に当該メモリから個人パラメータ算出処理プログラムを読み取り、反射点検出手段２０６の機能を有する手段がステップ３０６を実行するように、さらに個人パラメータ算出手段２０８の機能を有する手段がステップ３０６を実行するように、各々、反射点検出手段２０６及び個人パラメータ算出手段２０８の機能を有する手段を制御する。
【００８０】
個人パラメータ算出処理プログラムを記録したＰＣ外部の記録媒体から個人パラメータ算出処理プログラムを読みだすことによって、当該ＰＣのメモリにインストールし得る。ＰＣ外部の記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、ＭＯなどの任意の媒体が使用され得る。また、インターネットなどの任意のネットワークを介して個人パラメータ算出処理プログラムをダウンロードすることによって、当該ＰＣのメモリにインストールし得る。
【００８１】
以下、個人パラメータ算出装置２００及び個人パラメータ算出方法の詳細を説明する。第１反射点ＧＲＰは、被験者Ａの視線方向が眼球の光軸方向と一致するという仮定に基づいて推定されているが、被験者Ａの視線方向と眼球の光軸方向とは一致しないことが指摘されている。被験者Ａの視線方向と眼球の光軸方向のずれ（個人パラメータ）は個人に依存する値であり、何らかの方法で注視点推定前に取得する必要がある。
【００８２】
そこで、第１反射点ＧＲＰの導出と同様、眼球の表面反射画像を活用することで個人パラメータを算出する方法を開発した。この新たな校正法は従来の校正法と異なり、被験者Ａはシーン中の１点を注視するだけで良く、校正に必要な被験者Ａの負担を大幅に軽減することができる。
【００８３】
個人パラメータは顔座標系で定義される固定パラメータである。顔座標系として顔の前方をｚface、左目から右目への方向をｘface、そしてｙfaceをそれらに直行する軸として定義すると、個人パラメータはｘface（ｔｉｌｔ）軸周りの回転角で１．５〜３度、ｙface（ｐａｎ）軸周りの回転角で４〜５度程度である。
【００８４】
瞳を中心にした座標系をＲｅ＝［ｘe ｙe ｚe］で定義する。ただし、ｘe、ｙeは瞳画像における長軸および短軸方向である。図６（ｂ）に瞳の投影像の短軸方向を通る平面（ｙeｚe−ｐｌａｎｅ）を表す。図６（ｂ）では、眼球光軸方向と視線方向との違いが示される。被験者Ａの視線方向（ｇ'）は光軸方向（ｇ）と一致しない。視線方向から到来した光は補正反射点ｃＧＲＰ（Ｔ）で反射し、画像上のＩTに投影される。
【００８５】
被験者Ａがシーン中の校正点を注視し、眼球画像取得手段１０２は被験者Ａの眼球画像を取得する。反射点推定手段１０４は第１反射点ＧＲＰを眼球画像から推定する。反射点検出手段２０６は眼球画像から第２反射点ＣＲＰを得ると、個人パラメータ算出手段２０８は、この平面内において、第１反射点ＧＲＰと第２反射点ＣＲＰとの間の角度γを以下で求めることができる。
【００８６】
【数８】
0005467303.tif 000009
ただし、ＩT、ｉTは第２反射点ＣＲＰの位置およびその画像中の投影位置である。
【００８７】
第２反射点ＣＲＰにおける眼球表面反射を考えると、この平面内における個人パラメータδｘeは以下で得られる。
【００８８】
【数９】
0005467303.tif 000010
同様に、この面に垂直な面における個人パラメータδｙeは以下で得られる。
【００８９】
【数１０】
0005467303.tif 000011
ただしｖlmは瞳の投影像の長軸方向である。
【００９０】
一般的に眼球画像取得手段１０２は顔の前方方向に設置されているので、以上で得られた顔座標系での個人パラメータを以下の式でカメラ座標系に変換できる。
【００９１】
【数１１】
0005467303.tif 000012
個人パラメータが得られると、補正反射点ｃＧＲＰを求められる。補正反射点ｃＧＲＰは、姿勢算出手段１１０による眼球の姿勢推定で得られた瞳中心座標系Ｒｅを個人パラメータ（δｘ，δｙ）だけ回転させることで得られる。
【００９２】
［実施例］
本発明の実施形態の有効性を確認するため、本発明の実施形態に加え、注視点検出装置の商用システムで良く用いられている補間法による注視点検出を実装し、比較した。補間法による注視点検出は商用システムで良く用いられているシステムであり、２種類の赤外光源を用いる。１種の光源は暗瞳孔法による瞳孔検出に用い、もう１種の点光源（ＣＡＭ−ＬＥＤ）は、眼球の表面反射を得るために用いる。これにより、瞳孔中心とＣＡＭ−ＬＥＤの表面反射点との相対位置関係を用いて視線方向を求める。補間法では４点の校正点によりサンプル点を取り、入力フレームの瞳孔中心とＣＡＭ−ＬＥＤの表面反射点との位置関係を校正点の線形補間として表すことで、注視点を求める。
【００９３】
ＬＥＤ−ＡＰによる実験環境を図８（下段右）に示す。実験は通常の屋内照明環境で行い、被験者Ａは壁面から離れた位置に座り、壁面上の２０点のマーカを注視する。眼球画像取得手段１０２は被験者Ａの顔の少し下に位置し、顔と眼球画像取得手段１０２との距離は約０．６ｍである。環境光検出装置１１２は被験者Ａの後方に位置し、壁面のマーカが全て撮影できるように設置した。
【００９４】
眼球画像取得手段１０２として、Ｐｏｉｎｔ  Ｇｒｅｙ  Ｄｒａｇｏｎｆｌｙ  Ｅｘｐｒｅｓｓ  ｃａｍｅｒａｓ（６４０×４８０ｐｉｘｅｌｓ，Ｂ／Ｗ，３０Ｈｚ）を用い、ＬＥＤ−ＡＰの光源として、９個のＰｈｉｌｉｐｓ社製Ｌｕｘｅｏｎ  Ｒｅｂｅｌ  Ｈｉｇｈ−Ｐｏｗｅｒ  ＬＥＤ（３Ｗ，Ｗｈｉｔｅ）を使用した。パターン光投影、撮影および画像取得はＰＣ（Ｉｎｔｅｌ  Ｃｏｒｅ  ｉ７‐９６０  ３．０６ＧＨｚ，８ＧＢ  ＲＡＭ)によって行い、画像処理は同ＰＣ上のＭａｔｌａｂ  Ｒ２０１０ｂおよびＩｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｔｏｏｌｋｉｔ環境で行った。パターン発光マーカの実験においても、被験者Ａと眼球画像取得手段１０２との位置関係、画像取得および処理機器の構成は同様であるが、低出力（１５ｍＡ）の近赤外ＬＥＤを４個使用した。
【００９５】
奥行きが異なる環境での注視点推定誤差を評価するため、被験者Ａと壁面との距離として、１９００ｍｍ（条件１）、３０００ｍｍ（条件２）の２設定で実験した。条件１で得た被験者Ａの個人パラメータを条件１による推定及び条件２による推定に適用した。また補間法の校正も同様に条件１で行った。
【００９６】
図１３に、被験者Ａの目が（ｘ，ｙ，ｚ）＝（９００，６００，１９００）［ｍｍ］及び（９００，６００，３０００）［ｍｍ］と見なしたときの注視点推定角度誤差（従来手法（補間法）と個人パラメータと導入した本発明の手法との比較）を示す。単位は、「ｄｅｇ（ｄｅｇｒｅｅ）」である。また図１４に、条件１での注視点推定結果を示し、図１５に、条件２での注視点推定結果を示す。図１４及び図１５において、「＋」は注視対象マーカ（Ｇｒｏｕｎｄ  ｔｒｕｔｈ）を示し、「○」、「●」、「△」、「▲」及び「□」の各々は、異なる被験者の本発明手法による推定結果を示す。被験者の数は５ユーザ（５被験者）である。「×」はユーザ１（被験者１）の補間法による結果を表す。
【００９７】
ただし、ＬＥＤ−ＡＰの投影光は本座標系中で（１４９０,１２００）、（８９５,１２００）、（３００,１２００）、（１４３０,７５０）、（８３５,７５０）、（３００,７５０）、（１４５０,３００）、（８２０,３００）、（３２０,３００）［ｍｍ］に投影されている。また眼球は（９００,６００,１９００）［ｍｍ］（条件１）および（９００,６００，３０００）［ｍｍ］（条件２）に位置している。本発明の実施例（本発明の手法）では奥行きが異なる２条件とも１度以下の誤差で推定可能であることが確認できた。補間法は校正を行ったのと同じ条件（条件１）では良い結果が得られたが、異なる奥行きをもつ条件下では精度が悪くなることが理解できる。
【産業上の利用可能性】
【００９８】
本発明によれば、店舗内での顧客の視線を検出し得るので、経済効率のより商品ディスプレイが実現するし、自販機へ搭載し販売の効率化もできる。また、生活空間で被験者Ａの視線の動きを解析し得、被験者Ａに使い易い生活環境を設計することも可能となる。また、ユーザーインタフェースへの応用として、生活空間における視線情報を用いたユビキタス・アンビエントインタフェースを開発し得る。例えば、運転者の注視点を監視・警告し得るので、自動車などの安全運転に貢献し得る。【００９９】
特に子供やお年寄りから得る情報として視線は重要であり、非装着型の視線追跡インタフェースは大きな役割を果たし得る。例えば、自閉症等、子供の発達障害の診断には視線情報が重要であるが、実験室環境で得られた視線情報を用いて子供を診断し得る。本発明の実施形態に係る注視点検出装置、注視点検出方法、個人パラメータ算出装置及び個人パラメータ算出方法の実現により、非装着型で乳幼児の高精度の視線情報を得ることが出来、ライフサイエンス分野、ロボット分野にも大きな貢献が期待できる。【０１００】
更に、本発明によれば、被験者の周辺視の推定が可能になる。すなわち、本発明では、被験者の眼球の表面反射画像を取得する。従って、表面反射画像に基づいて、被験者の周辺視野中にある物体が被験者の注視中心位置からどの程度の角度で被験者に見えていたか判定することができる。その結果、被験者の周辺視野中にある物体が被験者に見えていたか否か判定したり、またどの程度の視野領域に物体が見えていたか計測したりすることができる。例えば、自動車のドライバーには、周辺視の情報（例えば、人の飛び込み等の状況）が重要であるが、周辺視の情報を正確に計測することが可能になる。【０１０１】
更に、従来の注視点検出法によれば、注視点検出の前に、例えば眼球計測カメラに映った被験者の瞳孔の中心位置と被験者の注視点との校正を行っていた。従って、校正後に眼球計測カメラが装着位置からずれた場合、被験者の注視点の推定が不可能になった。本発明によれば、被験者の眼球画像から眼球の姿勢を推定し、推定された眼球の姿勢に基づいて被験者の注視点を推定するため、注視点検出の前に眼球計測カメラの装着位置がずれても注視点推定結果に影響が及ぶことを抑制できる。
【符号の説明】
【０１０２】
Ａ        被験者
ＰｏＧ    注視点
ＧＲＰ    第１反射点
ＣＲＰ    第２反射点
ｃＧＲＰ  補正反射点
１００    注視点検出装置
１０２    眼球画像取得手段
１０４    反射点推定手段
１０６    補正反射点算出手段
１０８    注視点検出手段
１１０    姿勢算出手段
１１２    環境光検出装置
２００    個人パラメータ算出装置
２０６    反射点検出手段
２０８    個人パラメータ算出手段
【要約】
本発明の注視点検出装置は、被験者の周辺環境への注視点を検出する注視点検出装置であって、被験者の眼球画像を取得する眼球画像取得手段と、被験者の眼球の光軸方向から到来した光が反射する第１反射点を眼球画像から推定する反射点推定手段と、被験者の視線方向と眼球の光軸方向との差を示す個人パラメータに基づいて第１反射点を補正し、補正された第１反射点である補正反射点を算出する補正反射点算出手段と、補正反射点の光と周辺環境の光とに基づいて、注視点を検出する注視点検出手段とを備える。【図１】
0005467303.tif 000013
【図２】
0005467303.tif 000014
【図３】
0005467303.tif 000015
【図５】
0005467303.tif 000016
【図６】
0005467303.tif 000017
【図７】
0005467303.tif 000018
【図１１】
0005467303.tif 000019
【図１２】
0005467303.tif 000020
【図１３】
0005467303.tif 000021
【図１４】
0005467303.tif 000022
【図１５】
0005467303.tif 000023
【図４】
0005467303.tif 000024
【図８】
0005467303.tif 000025
【図９】
0005467303.tif 000026
【図１０】
0005467303.tif 000027