(57)【要約】【課題】視線検出におけるキャリブレーション時の検出対象人物の負担を軽減する。【解決手段】視線検出装置は、記憶部と、特徴量算出部と、特徴決定部と、パラメータ算出部と、を備える。記憶部には、カメラと所定の位置関係にある視点から予め定めた複数の注視点のそれぞれを注視したときに検出される眼球の特徴量の組を含む眼球特徴が角膜半径と対応付ける態様で複数登録されている。特徴量算出部は、カメラから取得した複数の注視点のうちの第一の注視点を注視している人物の画像に基づいて、人物の眼球の特徴量を算出する。特徴決定部は、記憶部に登録された複数の眼球特徴のうちの第一の注視点に対応する眼球の特徴量と、算出した人物の眼球の特徴量とに基づいて、人物の眼球特徴を決定する。パラメータ算出部は、決定した眼球特徴に含まれる複数の眼球の特徴量に基づいて、人物の視線に対する較正パラメータを算出する。【選択図】図１
2017213191.tif 000002
【特許請求の範囲】
【請求項１】
カメラと所定の位置関係にある視点から予め定めた複数の注視点のそれぞれを注視したときに検出される眼球の特徴量の組を含む眼球特徴が角膜半径と対応付ける態様で複数登録された記憶部と、
前記複数の注視点のうちの第一の注視点を注視している人物について、前記人物と所定の位置関係にあるカメラによって撮像された画像に基づいて、前記人物の眼球の特徴量を算出する特徴量算出部と、
前記記憶部に登録された複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量と、算出した前記人物の眼球の特徴量とに基づいて、前記人物の眼球特徴を決定する特徴決定部と、
決定した前記眼球特徴に含まれる前記複数の眼球の特徴量に基づいて、前記人物の視線に対する較正パラメータを算出するパラメータ算出部と、
を備えることを特徴とする視線検出装置。
【請求項２】
前記眼球の特徴量は、前記画像に写っている前記人物の眼球における瞳孔の中心と、角膜反射の中心との位置関係を表す値である、
ことを特徴とする請求項１に記載の視線検出装置。
【請求項３】
前記記憶部に登録された複数の前記眼球特徴は、それぞれ、前記カメラから前記視点までの距離を表す情報を更に含み、
前記視線検出装置は、前記画像に基づいて前記カメラから前記人物までの距離を算出し、算出した前記距離と、前記記憶部に登録された前記距離を表す情報とに基づいて、前記特徴量算出部で算出した前記眼球の特徴量を補正する特徴量補正部を、更に備える、
ことを特徴とする請求項２に記載の視線検出装置。
【請求項４】
前記眼球の特徴量は、前記画像に写っている前記人物の眼球における瞳孔の中心と、角膜反射の中心との位置関係を表す値であり、
前記視線検出装置は、取得した前記画像に写っている右眼における前記眼球の特徴量と、左眼における前記眼球の特徴量との差に基づいて、前記特徴量算出部で算出した前記眼球の特徴量を補正する特徴量補正部を、更に備える、
ことを特徴とする請求項１に記載の視線検出装置。
【請求項５】
前記記憶部に登録された複数の前記眼球特徴は、それぞれ、前記眼球の虹彩半径を含み、
前記視線検出装置は、取得した前記画像に基づいて前記人物の眼球の虹彩半径を算出する虹彩半径算出部、を更に備え、
前記特徴決定部は、前記第一の注視点に対応する前記眼球の特徴量と、前記虹彩半径とに基づいて、前記人物の眼球特徴を決定する、
ことを特徴とする請求項１に記載の視線検出装置。
【請求項６】
前記特徴決定部は、
前記記憶部に登録された複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量が、算出した前記人物の眼球の特徴量と一致する眼球特徴、又は算出した前記人物の眼球の特徴量に最も近い眼球特徴を、前記人物の眼球特徴に決定する、
ことを特徴とする請求項１に記載の視線検出装置。
【請求項７】
前記特徴決定部は、
前記記憶部に登録された複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量が、算出した前記人物の眼球の特徴量に近い２個の眼球特徴を抽出し、
抽出した前記眼球特徴の一方の眼球特徴における眼球の特徴量と算出した前記眼球の特徴量との距離、及び抽出した前記眼球特徴の他方の眼球特徴における眼球の特徴量と算出した前記眼球の特徴量との距離、に基づいて、前記人物が前記複数の注視点のそれぞれを注視したときの眼球の特徴量を推定し、
推定した前記眼球の特徴量の組を前記人物の眼球特徴に決定する、
ことを特徴とする請求項１に記載の視線検出装置。
【請求項８】
コンピュータが、
カメラから取得した、予め定めた複数の注視点のうちの第一の注視点を注視している人物の画像に基づいて、前記人物の眼球の特徴量を算出し、
カメラと所定の位置関係にある視点から前記複数の注視点のそれぞれを注視したときに検出される眼球の特徴量の組を含む眼球特徴を、角膜半径と対応付ける態様で記憶装置に複数登録させた登録情報を参照し、複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量と、算出した前記人物の眼球の特徴量とに基づいて、前記人物の眼球特徴を決定し、
決定した前記眼球特徴に含まれる前記複数の眼球の特徴量に基づいて、前記人物の視線に対する較正パラメータを算出する、
処理を実行することを特徴とする視線検出方法。
【請求項９】
カメラから取得した、予め定めた複数の注視点のうちの第一の注視点を注視している人物の画像に基づいて、前記人物の眼球の特徴量を算出し、
カメラと所定の位置関係にある視点から前記複数の注視点のそれぞれを注視したときに検出される眼球の特徴量の組を含む眼球特徴を、角膜半径と対応付ける態様で記憶装置に複数登録させた登録情報を参照し、複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量と、算出した前記人物の眼球の特徴量とに基づいて、前記人物の眼球特徴を決定し、
決定した前記眼球特徴に含まれる前記複数の眼球の特徴量に基づいて、前記人物の視線に対する較正パラメータを算出する、
処理をコンピュータに実行させる視線検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出装置、視線検出方法、及び視線検出プログラムに関する。
【背景技術】
【０００２】
人物の視線を検出する視線検出技術は、視線により情報を入力する入力装置や、車両を運転している人物の運転中の視線の記録等に適用されている。視線の検出方法の一つとして、人物の眼球の画像における瞳孔の位置と角膜反射の位置とに基づいて人物の視線を検出する瞳孔−角膜反射法が知られている。
【０００３】
視線検出技術においては、人物の視線を精度良く検出するため、眼球の特徴に基づいて視線の方向を較正する処理（キャリブレーション）が行われる。
【０００４】
瞳孔−角膜反射法におけるキャリブレーションでは、人物に所定の注視点を注視させた状態での瞳孔の位置と角膜反射の位置とに基づいて検出した視線と、当該人物から見た注視点の方向とに基づいて、視線の較正に用いる較正パラメータを算出する。
【０００５】
キャリブレーションを行って較正パラメータを算出する際には、検出対象である人物に複数の注視点を注視させる。
【０００６】
また、上記の視線検出技術として、複数の観察者に対応して複数のパラメータの組を記憶しておき、現在の観察者における眼球の特徴に基づいて最適なパラメータの組を選択して視線を算出するという技術が知られている（例えば特許文献１を参照）。この種の視線検出技術は、観察者の交代等により検出対象である観察者の眼球の状態が変わっても、これに簡易、迅速かつ正確に対応することを可能にする。
【０００７】
更に、上記の視線検出技術として、初期キャリブレーションを行い視線の検出を開始した後も、動的にキャリブレーションを繰り返すことで、視線の検出精度を高める技術が知られている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平０７−０３５９６６号公報
【特許文献２】特開２０００−０１０７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
キャリブレーションを行って視線に対する較正パラメータを算出する際には、検出対象である人物に複数の注視点（例えば、４〜９点の注視点）を注視させている。すなわち、１回のキャリブレーションにおいて、注視点を指定して人物に注視させ、当該人物が注視点を注視している状態の画像を取得するという処理を複数回行うこととなる。このように複数の注視点を注視させることは、検出対象の人物にとって負担となる。
【００１０】
１つの側面において、本発明は、視線検出におけるキャリブレーション時の検出対象人物の負担を軽減することを目的とする。
【課題を解決するための手段】
【００１１】
１つの態様では、視線検出装置は、記憶部と、特徴量算出部と、特徴決定部と、パラメータ算出部と、を備える。記憶部には、カメラと所定の位置関係にある視点から予め定めた複数の注視点のそれぞれを注視したときに検出される眼球の特徴量の組を含む眼球特徴が角膜半径と対応付ける態様で複数登録されている。特徴量算出部は、カメラから取得した複数の注視点のうちの第一の注視点を注視している人物の画像に基づいて、人物の眼球の特徴量を算出する。特徴決定部は、記憶部に登録された複数の眼球特徴のうちの第一の注視点に対応する眼球の特徴量と、算出した人物の眼球の特徴量とに基づいて、人物の眼球特徴を決定する。パラメータ算出部は、決定した眼球特徴に含まれる複数の眼球の特徴量に基づいて、人物の視線に対する較正パラメータを算出する。
【発明の効果】
【００１２】
上述の態様によれば、視線検出におけるキャリブレーション時の検出対象人物の負担が軽減される。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る視線検出装置の機能的構成を示す図である。
【図２】眼球特徴データベースの例を示す図である。
【図３】眼球の特徴量及び瞳孔間距離を説明する図である。
【図４】データベース作成装置の機能的構成を示す図である。
【図５】第１の実施形態に係る眼球特徴データベースの作成処理を説明するフローチャートである。
【図６】視線検出装置の適用例を示す図である。
【図７】眼球特徴データベース作成時の画像の取得方法を説明する図である。
【図８】第１の実施形態に係る視線検出装置が行う処理を説明するフローチャートである。
【図９】第１の実施形態に係る較正パラメータ決定処理の内容を説明するフローチャートである。
【図１０】視線検出処理の内容を説明するフローチャートである。
【図１１】瞳孔の位置及び角膜反射の位置と角膜半径との相関を説明する図である。
【図１２】画像上における瞳孔の位置及び角膜反射の位置と角膜半径との相関を説明する図である。
【図１３】視線検出装置の別の適用例を示す図である。
【図１４】視線検出システムの変形例を示す図である。
【図１５】第２の実施形態に係る較正パラメータ決定処理の内容を説明するフローチャートである。
【図１６】眼球の特徴量を補正する処理の内容を説明するフローチャートである。
【図１７】顔の向きと眼球の特徴量との関係を説明する図である。
【図１８】顔がカメラと正対していない場合の眼球の特徴量の補正方法を説明する図である。
【図１９】第３の実施形態に係る視線検出装置の機能的構成を示す図である。
【図２０】第３の実施形態に係る眼球特徴データベースの例を示す図である。
【図２１】眼球の特徴量及び虹彩半径を説明する図である。
【図２２】第３の実施形態に係る較正パラメータ決定処理の内容を説明するフローチャートである。
【図２３】虹彩半径と眼球形状との相関を説明する図である。
【図２４】第３の実施形態に係る眼球特徴の決定方法の例を説明する図である。
【図２５】第４の実施形態に係る較正パラメータ決定処理における眼球特徴を決定する処理の内容を説明するフローチャートである。
【図２６】眼球特徴データベースから抽出される複数のレコードの例を示す図である。
【図２７】特徴量の算出方法を説明する図である。
【図２８】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１４】
［第１の実施形態］
図１は、第１の実施形態に係る視線検出装置の機能的構成を示す図である。
【００１５】
図１に示すように、本実施形態に係る視線検出装置１は、画像取得部１０１と、注視指示部１０２と、特徴量算出部１０３と、処理切替部１０４と、特徴量補正部１０５と、特徴決定部１０６と、パラメータ算出部１０７と、視線算出部１０８と、を備える。更に、視線検出装置１は、眼球特徴データベース１２１と、視線記憶部１２２と、を備える。本実施形態の視線検出装置１は、瞳孔−角膜反射法により、視線の検出対象である人物（以下、対象人物という）の視線を検出する。
【００１６】
画像取得部１０１は、赤外線カメラ２０１で撮像した赤外線画像（以下、単に画像という）を取得する。赤外線カメラ２０１は、所定の空間領域、或いは所定の表示装置の表示面を観察する対象人物の眼球を含む画像の撮像に用いる撮像装置である。赤外線カメラ２０１は、例えば、赤外線発光ダイオード（Light Emitting Diode：ＬＥＤ）２０２等の赤外線を発する光源と組み合わせて用いる。赤外線カメラ２０１と赤外線ＬＥＤ ２０２との組（以下、視線センサ２という）において、赤外線ＬＥＤ ２０２は、赤外線カメラ２０１の撮像範囲を含む空間に向けて赤外線を発する態様で、赤外線カメラ２０１の近傍に設置される。赤外線カメラ２０１は、赤外線ＬＥＤ ２０２が発した赤外線を照射された対象人物の眼球を含む画像を撮像し、画像取得部１０１に送信する。
【００１７】
また、視線検出装置１において対象人物の視線を較正する処理（キャリブレーション）を行う場合、画像取得部１０１は、対象人物に注視点を注視させる処理を注視指示部１０２に実行させる。なお、本明細書における視線を較正する処理は、対象人物の視線を検出する処理で用いる較正パラメータを決定する処理を意味する。
【００１８】
画像取得部１０１は、入力装置３から入力された情報に基づいて、対象人物に注視点を注視させる処理を行うか否かを判定する。入力装置３は、釦スイッチやタッチパネル装置等であり、例えば、視線検出装置１に視線検出処理を開始させる命令、視線のキャリブレーションを実行させる命令等の入力に用いる。入力装置３から入力された情報が、視線のキャリブレーションを含む処理を実行させる命令である場合、画像取得部１０１は、対象人物に注視点を注視させる処理を注視指示部１０２に実行させる。
【００１９】
注視指示部１０２は、出力装置４を利用して、対象人物に注視させる位置（注視点）を対象人物に通知する処理を行う。例えば、出力装置４が表示装置である場合、注視指示部１０２は、表示装置の表示面に注視点を示す画像を表示させる。また、出力装置４がスピーカである場合、注視指示部１０２は、予め用意された音声信号をスピーカに出力する。
【００２０】
特徴量算出部１０３は、赤外線カメラ２０１から取得した画像に基づいて、当該画像に写っている対象人物の眼球の特徴量を算出する。特徴量算出部１０３は、右眼及び左眼のそれぞれにおける角膜反射の中心及び瞳孔の中心を画像から抽出し、それらの位置関係を眼球の特徴量として算出する。角膜反射の位置と瞳孔の位置との位置関係は、例えば、画像内における、角膜反射の中心位置から見た瞳孔の中心位置を表す二次元の座標とする。
【００２１】
処理切替部１０４は、入力装置３から入力された情報と、パラメータ算出部１０７から入力される情報とに基づいて、視線を較正する処理と、視線を検出する処理とを切り替える。入力装置３から入力された情報に視線を較正する処理の実行を指示する情報が含まれ、かつ当該情報が入力された後の較正パラメータが決定していない場合、処理切替部１０４は、視線検出装置１で行う処理をキャリブレーション（視線を較正する処理）に切り替える。一方、入力装置３から入力された情報に視線を較正する処理の実行を指示する情報が含まれない場合、又は較正パラメータが既に決定している場合、処理切替部１０４は、視線検出装置１で行う処理を、視線を算出する処理に切り替える。
【００２２】
特徴量補正部１０５は、特徴量算出部１０３で抽出した瞳孔の位置に基づいて両眼の瞳孔間距離を算出した後、必要に応じて眼球の特徴量を補正する。特徴量補正部１０５は、算出した瞳孔間距離と、予め設定された瞳孔間距離とが異なる場合に、算出した瞳孔間距離と、予め設定された瞳孔間距離との比に基づいて、眼球の特徴量を補正する。予め設定された瞳孔間距離は、眼球特徴データベース１２１に登録されている。
【００２３】
特徴決定部１０６は、特徴量算出部１０３で算出した眼球の特徴量（特徴量補正部１０５で補正した場合には補正後の眼球の特徴量）と、眼球特徴データベース１２１とに基づいて、対象人物の眼球特徴を決定する。眼球特徴データベース１２１には、眼球特徴の異なる複数の人物の各々が、複数の注視点のそれぞれを注視したときの眼球の特徴量が登録されている。特徴決定部１０６は、対象人物が複数の注視点のうちのいずれか一点を注視しているときの画像から算出した眼球の特徴量（又は特徴量補正部１０５で補正した眼球の特徴量）と、眼球特徴データベース１２１とに基づいて、対象人物の眼球特徴を決定する。すなわち、特徴決定部１０６は、対象人物が複数の注視点のうちのいずれか一点を注視しているときの眼球の特徴量と、眼球特徴データベース１２１とに基づいて、対象人物が複数の注視点のそれぞれを注視しているときの眼球の特徴量を決定する。
【００２４】
パラメータ算出部１０７は、特徴決定部１０６で決定した眼球特徴に基づいて、対象人物の視線に対する較正パラメータを算出する。パラメータ決定部１０７は、較正パラメータを算出した後、算出した較正パラメータを視線算出部１０８に送信するとともに、較正パラメータを算出したことを処理切替部１０４に通知する。
【００２５】
視線算出部１０８は、特徴量算出部１０３で算出した眼球の特徴量と、較正パラメータとに基づいて、対象人物の視線を算出する。視線算出部１０８は、算出した対象人物の視線を視線記憶部１２２に時系列に記憶させる。
【００２６】
図２は、眼球特徴データベースの例を示す図である。図３は、眼球の特徴量及び瞳孔間距離を説明する図である。
【００２７】
図２に示すように、眼球特徴データベース１２１は、識別子（ＩＤ）と、注視点を注視しているときの眼球の特徴量（ＰＧ１〜ＰＧ５）と、瞳孔間距離（ＰＤ）とを含む。
【００２８】
識別子（ＩＤ）は、眼球特徴データベース１２１に登録された、眼球特徴を含むレコードを識別する値である。図２の眼球特徴データベース１２１では、一人の人物についての眼球特徴を右眼の眼球特徴と左眼の眼球特徴とにわけ、それぞれに別個の識別子を付与している。
【００２９】
注視点を注視しているときの眼球の特徴量は、注視点を注視しているときに撮像した画像における、角膜反射の中心から見た瞳孔の中心の相対位置を表す二次元の座標である。図２の眼球特徴データベース１２１では、１個の識別子（レコード）に対する眼球特徴として、５個の注視点ＰＧ１〜ＰＧ５のそれぞれについての眼球の特徴量が登録されている。
【００３０】
瞳孔間距離（ＰＤ）は、眼球特徴データベース１２１の作成に用いた画像における右眼の瞳孔と左眼の瞳孔との距離である。眼球特徴データベース１２１の作成には、赤外線カメラ２０１から人物までの距離が所定の距離（例えば６００mm）である状態で撮像した人物の画像を用いる。すなわち、眼球特徴データベース１２１における瞳孔間距離は、赤外線カメラ２０１から人物までの距離が所定の距離であるときの瞳孔間距離である。
【００３１】
このように、眼球特徴データベース１２１に登録された複数のレコードは、それぞれ、一人の人物が５個の注視点ＰＧ１〜ＰＧ５のそれぞれを注視したときの眼球の特徴量と、瞳孔間距離とを含む。
【００３２】
視線検出装置１が取得する画像は、上記のように、赤外線を対象人物の顔面に照射した状態で、赤外線カメラ２０１により撮像した対象人物の眼球を含む画像である。そのため、図３の（ａ）に示すように、取得した画像５における眼球６の部分には、赤外線による角膜反射６０１が写っている。
【００３３】
瞳孔−角膜反射法により視線を検出する視線検出装置１では、例えば、角膜反射６０１の中心Ｑ１を基準点とし、基準点Ｑ１から見た瞳孔６０２の中心Ｑ２の相対位置に基づいて、視線を検出する。この際、視線検出装置１は、画像５に基づいて算出した視線と、対象人物の実際の視線との誤差を低減し、精度良く視線を検出するためのキャリブレーションを行う。
【００３４】
本実施形態に係る視線検出装置１では、予め定めた複数の注視点のうちのいずれか１点を対象人物が注視している画像を取得し、当該画像における眼球の特徴量と、眼球特徴データベースとに基づいてキャリブレーションを行う。対象人物に注視させる注視点は、眼球特徴データベースを作成する際に設定した複数の注視点のうちのいずれか１点とする。図２の眼球特徴データベース１２１を利用してキャリブレーションを行う場合、視線検出装置１は、５個の注視点ＰＧ１〜ＰＧ５のうちのいずれか１点を対象人物が注視している画像を取得してキャリブレーションを行う。
【００３５】
視線検出装置１は、対象人物が指定した１点（注視点）を注視している状態で撮像した画像５を取得し、取得した画像５における右眼の特徴量及び左眼の特徴量を算出する。その後、視線検出装置１は、画像５における瞳孔間距離と、眼球特徴データベース１２１の瞳孔間距離とに基づき、必要に応じて画像５における右眼の特徴量及び左眼の特徴量を補正する。図３の（ｂ）に示すように、赤外線カメラ２０１から取得した画像５には、対象人物の右眼６Ｒと左眼６Ｌとが写っている。瞳孔間距離ＰＤは、画像５上における右眼６Ｒの瞳孔６０２Ｒの中心Ｑ２Ｒと、左眼６Ｌの瞳孔６０２Ｌの中心Ｑ２Ｌとの距離（画素差）である。画像５において、右眼６Ｒの瞳孔６０２Ｒの中心Ｑ２Ｒを含む画素が座標（ＰＲｘ，ＰＲｙ）で表され、左眼６Ｌの瞳孔６０２Ｌの中心Ｑ２Ｌを含む画素が座標（ＰＬｘ，ＰＬｙ）で表されるとすると、瞳孔間距離ＰＤは、下記式（１）により算出される。
【００３６】
【数１】
2017213191.tif 000003
【００３７】
例えば、画像５における右眼６Ｒの瞳孔６０２Ｒの中心Ｑ２Ｒを含む画素が座標（１７３，１２４）の画素であり、左眼６Ｌの瞳孔６０２Ｌの中心Ｑ２Ｌを含む画素が座標（２７５，１３１）の画素である場合、瞳孔間距離ＰＤは１０２．２（pix）となる。この場合、画像５から算出した瞳孔間距離は、画像特徴データベース１２１における瞳孔間距離とは異なる。そのため、視線検出装置１（特徴量補正部１０５）は、算出した瞳孔間距離とデータベースの瞳孔間距離との比に基づいて、算出した眼球の特徴量を補正する。例えば、画像５から算出した右眼の特徴量が（０，−２）であった場合、特徴量補正部１０５は、瞳孔間距離の比に基づいて、当該特徴量を（０×１００／１０２．２，−２×１００／１０２．２）≒（０，−１．９５）に補正する。
【００３８】
眼球の特徴量を補正した場合、視線検出装置１（特徴決定部１０６）は、眼球特徴データベース１２１における対象人物に注視させた注視点の眼球の特徴量を参照し、補正後の特徴量と一致する特徴量を含むレコードを抽出する。抽出したレコードは、５個の注視点ＰＧ１〜ＰＧ５を注視したときの眼球の特徴量を含む。このため、特徴決定部１０６は、抽出したレコードに含まれる５個の眼球の特徴量を、それぞれ、対象人物が５個の注視点ＰＧ１〜ＰＧ５を注視したときの眼球の特徴量に決定する。特徴決定部１０６は、右眼及び左眼のそれぞれで、対象人物が５個の注視点ＰＧ１〜ＰＧ５を注視したときの眼球の特徴量に決定する。その後、視線検出装置１（パラメータ算出部１０７）は、決定した右眼についての５個の眼球の特徴量、及び左眼についての５個の眼球の特徴量に基づいて、較正パラメータを算出する。
【００３９】
このように、本実施形態の視線検出装置１では、対象人物が１個の注視点を注視しているときの画像と、画像特徴データベース１２１とに基づいて、対象人物が複数の注視点のそれぞれを注視しているときの眼球の特徴量を決定し、較正パラメータを算出する。すなわち、本実施形態の視線検出装置１において１回のキャリブレーションで対象人物に注視させる注視点は１個（１点）でよい。このため、本実施形態によれば、キャリブレーション時に対象人物に注視点を注視させる負担を軽減することが可能となる。
【００４０】
上記の眼球特徴データベース１２１は、例えば、図４に示したデータベース作成装置７により作成する。
【００４１】
図４は、データベース作成装置の機能的構成を示す図である。
図４に示すように、データベース作成装置７は、注視指示部７０１と、画像取得部７０２と、特徴量算出部７０３と、距離算出部７０４と、登録部７０５と、眼球特徴データベース１２１と、を備える。
【００４２】
注視指示部７０１は、入力装置３から眼球特徴の登録処理を開始する命令が入力されると、対象人物に注視させる注視点を指示する情報を生成し、生成した情報を出力装置４に送信する。注視指示部７０１は、注視点を指示する情報を出力装置４に送信した後、画像取得部７０２に対象人物の画像を取得させる。
【００４３】
画像取得部７０２は、視線センサ２の赤外線カメラ２０１で撮像した、対象人物の眼球を含む画像を取得する。視線センサ２（赤外線カメラ２０１及び赤外線ＬＥＤ ２０２）には、視線検出装置１と組み合わせて用いる視線センサ２と同じ条件で画像を撮像可能なものを用いる。
【００４４】
特徴量算出部７０３は、赤外線カメラ２０１から取得した画像から瞳孔及び角膜反射を抽出し、当該画像に写っている対象人物の眼球の特徴量を算出する。データベース作成装置７の特徴量算出部７０３は、視線検出装置１の特徴量算出部１０３と同様、眼球の特徴量として、右眼及び左眼のそれぞれにおける角膜反射の中心と瞳孔の中心との位置関係を表す値を算出する。角膜反射の中心と瞳孔の中心との位置関係は、例えば、角膜反射の中心から見た瞳孔の中心の相対位置を表す二次元の座標とする。
【００４５】
距離算出部７０４は、画像内における右眼の瞳孔の中心と、左眼の瞳孔の中心との瞳孔間距離（画素差）を算出する。
【００４６】
登録部７０５は、特徴量算出部７０３で算出した眼球の特徴量と、距離算出部７０４で算出した瞳孔間距離との組を眼球特徴データベース１２１に登録する。登録部７０５は、右眼の特徴量と瞳孔間距離との組に右眼用の識別子を付与し、１件のレコードとして眼球特徴データベース１２１に登録する。また、登録部７０５は、左眼の特徴量と瞳孔間距離との組に左眼用の識別子を付与し、１件のレコードとして眼球特徴データベース１２１に登録する。
【００４７】
データベース作成装置７のオペレータ或いは対象人物が入力装置３を操作して眼球特徴の登録処理を開始する命令を入力すると、データベース作成装置７は、図５に示す処理を開始する。
【００４８】
図５は、第１の実施形態に係る眼球特徴データベースの作成処理を説明するフローチャートである。
【００４９】
データベース作成装置７は、まず、複数の注視点のうちの１個の注視点を指定し（ステップＳ１１）、指定した注視点を注視している人物の眼球を含む画像を取得する（ステップＳ１２）。その後、データベース作成装置７は、複数の注視点を全て指定したか否かを判定する（ステップＳ１３）。そして、指定していない注視点がある場合（ステップＳ１３；Ｎｏ）、データベース作成装置７は、ステップＳ１１及びＳ１２の処理を繰り返す。ステップＳ１１の処理は、注視指示部７０１が行う。ステップＳ１２の処理は、画像取得部７０２が赤外線カメラ２０１と協働して行う。ステップＳ１３の判定は、注視指示部７０１又は画像取得部７０２が行う。
【００５０】
ステップＳ１１において、注視指示部７０１は、所定の指定規則に従って、予め定めた複数の注視点のうちの１個の注視点を指定する。指定規則は、例えば、一人の人物に対する処理において指定していない注視点のうち、予め設定された指定順序において１番目となる注視点を指定する、という規則とする。
【００５１】
注視点を指定した後、注視指示部７０１は、出力装置４を用いて指定した注視点を人物に通知して当該注視点を注視させる。例えば、出力装置４がスピーカである場合、注視指示部７０１は、指定した注視点を注視させる音声を含む音声信号を出力装置４に出力する。また、出力装置４が表示装置である場合、注視指示部７０１は、注視点を表す像を含む画像信号を出力装置４に出力する。注視指示部７０１は、出力装置４を用いて人物に注視点を注視させた後、画像取得部７０２に注視点を注視している人物の眼球を含む画像を取得させる。
【００５２】
ステップＳ１２において、画像取得部７０２は、視線センサ２の赤外線カメラ２０１に画像を撮像させ、赤外線カメラ２０１が撮像した画像を取得する。
【００５３】
注視指示部７０１及び画像取得部７０２は、予め定めた複数の注視点の全てを指定し、一人の人物が複数の注視点のそれぞれを注視している複数枚の画像を取得するまで、上記の処理を繰り返す。ステップＳ１３の判定を注視指示部７０１で行う場合、画像取得部７０２は、画像を取得する毎に、画像を取得したことを注視指示部７０１に通知する。画像取得部７０２からの通知を受けると、注視指示部７０１は、ステップＳ１３の判定を行う。指定していない注視点がある場合（ステップＳ１３；Ｎｏ）、注視指示部７０１は、次の注視点を指定して対象人物に当該注視点を注視させるとともに、画像取得部７０２に画像を取得させる。一方、全ての注視点が指定済みである場合（ステップＳ１３；Ｙｅｓ）、データベース作成装置７は、次に、複数枚の画像のそれぞれから瞳孔及び角膜反射を抽出して眼球の特徴量を算出する（ステップＳ１４）。
【００５４】
これに対し、ステップＳ１３の判定を画像取得部７０２で行う場合、画像取得部７０２は、ステップＳ１３の判定として、一人の人物が全ての注視点のそれぞれを注視している画像を取得したか否かの判定をする。画像を取得していない注視点がある場合（ステップＳ１３；Ｎｏ）、画像取得部７０２は、注視指示部７０１に次の注視点を指定させる。一方、全ての注視点を注視させて画像を取得した場合（ステップＳ１３；Ｙｅｓ）、データベース作成装置７は、次に、複数枚の画像のそれぞれから瞳孔及び角膜反射を抽出して眼球の特徴量を算出する（ステップＳ１４）。
【００５５】
ステップＳ１４の処理は、特徴量算出部７０３が行う。特徴量算出部７０３は、既知の瞳孔−角膜反射法における瞳孔及び角膜反射の抽出方法に従って、取得した画像から、右眼の瞳孔及び角膜反射と、左眼の瞳孔及び角膜反射と、を抽出する。その後、特徴量算出部７０３は、右眼の角膜反射の中心と瞳孔の中心との位置関係に基づいて、各注視点を注視しているときの右眼の眼球の特徴量（右眼の特徴量）を算出する。また、特徴量抽出部７０３は、左眼の角膜反射の中心と瞳孔の中心との位置関係に基づいて、各注視点を注視しているときの左眼の眼球の特徴量（左眼の特徴量）を算出する。特徴量算出部７０３は、複数枚の画像のそれぞれから抽出した右眼の特徴量及び左眼の特徴量を、各画像の撮像時に人物が注視している注視点と対応付けて距離算出部７０４に送信する。
【００５６】
ステップＳ１４の処理を終えると、データベース作成装置７は、次に、各画像から抽出した瞳孔の位置に基づいて瞳孔間距離を算出する（ステップＳ１５）。ステップＳ１５の処理は、距離算出部７０４が行う。例えば、距離算出部７０４は、まず、注視点が異なる複数枚の画像のそれぞれで右眼の瞳孔の中心と左眼の瞳孔の中心との瞳孔間距離（画素数）を算出する。その後、距離算出部７０４は、算出した複数の瞳孔間距離の平均値を算出し、これを画像に写っている人物の瞳孔間距離とする。距離算出部７０４は、特徴量算出部７０３から受け取った右眼及び左眼の特徴量と、自身が算出した瞳孔間距離とを、登録部７０５に送信する。
【００５７】
ステップＳ１５の処理を終えると、データベース作成装置７は、次に、登録部７０５において各画像から算出した右眼の特徴量及び左眼の特徴量と、瞳孔間距離とを眼球特徴データベース１２１に登録する処理を行う（ステップＳ１６）。登録部７０５は、各注視点を注視しているときの右眼の特徴量と、瞳孔間距離との組に右眼用の識別子を付与し、１件のレコードとして眼球特徴データベース１２１に登録する。この際、右眼の特徴量は、それぞれ、眼球特徴データベース１２１における複数の注視点のうちの各右眼の特徴量と対応付けられた注視点のフィールドに登録する。また、登録部７０５は、各注視点を注視しているときの左眼の特徴量と、瞳孔間距離との組に左眼用の識別子を付与し、１件のレコードとして眼球特徴データベース１２１に登録する。この際、左眼の特徴量は、それぞれ、眼球特徴データベース１２１における複数の注視点のうちの各左眼の特徴量と対応付けられた注視点のフィールドに登録する。
【００５８】
ステップＳ１６の処理を終えると、データベース作成装置７は、眼球特徴データベースの作成処理を続けるか否かを判定する（ステップＳ１７）。ステップＳ１７の判定では、データベース作成装置７は、例えば、作成処理を続けるか否かを示す情報の入力を待つ。そして、例えば、オペレータが入力装置３を操作して作成処理を続けることを表す情報を入力した場合、すなわち作成処理を続ける場合（ステップＳ１７；Ｙｅｓ）、データベース作成装置７は、ステップＳ１１〜Ｓ１６の処理を行う。一方、オペレータが入力装置３を操作して作成処理を終了することを表す情報を入力した場合、すなわち作成処理を続けない場合（ステップＳ１７；Ｎｏ）、データベース作成装置７は、作成処理を終了する。
【００５９】
上記の手順で作成した眼球特徴データベース１２１は、例えば、フラッシュメモリを搭載したメモリカードや光ディスク等の可搬型記録媒体、或いは伝送ケーブルを介して視線検出装置１に転送して視線検出装置１の記憶部に格納する。
【００６０】
なお、眼球特徴データベース１２１を作成する際には、上記のように、角膜半径（眼球の大きさ）の異なる複数の人物の各々が複数の注視点を注視したときの眼球の特徴量及び瞳孔間距離を算出して登録する。この際、例えば、角膜半径は６．０mm〜９．０mmの範囲を０．１mm間隔で刻み、各角膜半径における眼球の特徴量を眼球登録データベース１２１に登録することが好ましい。角膜半径は、例えば、ケラトメータ等の専用の測定機器により計測可能である。また、眼球特徴データベース１２１に登録する眼球の特徴量は、人物の眼球を撮像した画像から算出する代わりに、例えば、コンピュータ上で再現した眼球モデルを用いて算出してもよい。
【００６１】
また、予め用意しておく、複数の注視点のそれぞれを注視したときの眼球の特徴量の組を含む眼球特徴の情報は、図２に示したデータベース１２１に限らず、それぞれを識別可能な別の態様で記憶部に登録（記憶）させてもよい。
【００６２】
図６は、視線検出装置の適用例を示す図である。
本実施形態の視線検出装置１は、例えば、図６の（ａ）及び（ｂ）に示すように、車両８を運転する対象人物（運転者）９の視線９Ｓを検出する視線検出システムに適用可能である。この種の視線検出システムは、視線検出装置１と、視線センサ２と、入力装置３と、スピーカ４等の出力装置と、を含む。
【００６３】
視線センサ２は、例えば、車両８のダッシュボード８０１上に、対象人物９と向かい合わせとなるよう設置される。視線検出装置１、入力装置３、及びスピーカ４は、例えば、車両８のセンターコンソール等に設置される。なお、視線検出装置１は、例えば、車両８の運転状態や車両８の周囲の情報を記録するドライブレコーダ（イベントデータレコーダ）に組み込まれていてもよい。
【００６４】
車両８を運転しているときの運転者（対象人物９）の視線９Ｓは、車両前方はもちろん、図示しない計器類（インストルメントパネル）、車室内のルームミラー８０２や図示しないドアミラー等にも向けられる。視線検出システムは、例えば、対象人物９の運転中の視線９Ｓを検出し、視線の履歴を保持する。視線検出システムが保持する視線の履歴は、例えば、対象人物９が安全運転のための適切な視線移動を行っているか否かの判定に用いられる。
【００６５】
車両８を運転している運転手（対象人物９）の視線９Ｓを検出する視線検出装置１で用いる眼球特徴データベース１２１は、例えば、車両８の運転席８０３に着座させた人物の画像を取得して作成する。
【００６６】
図７は、眼球特徴データベース作成時の画像の取得方法を説明する図である。
車両８を運転している対象人物９の視線９Ｓの検出し視線検出装置１を用いる場合、眼球特徴データベース１２１は、車両８と同じ車種の車両における運転席８０３に着座した人物が注視点を注視しているときの画像を取得して作成する。このとき、視線センサ２は、視線検出システムにおける視線センサ２の設置位置と略同一となる位置、すなわちダッシュボード８０１上の運転席８０３に着座した人物９と向かい合う位置に設置する。また、運転席８０３は、図７の（ａ）に示すように、視線センサ２の赤外線カメラ２０１から運転席８０３に着座した人物９の眼球６Ｒ，６Ｌまでの距離Ｆが所定の距離（例えば６００mm）になるよう位置を調節する。
【００６７】
この状態で視線センサ２、入力装置３、及びスピーカ４等をデータベース作成装置７に接続し、図５のフローチャートに沿って眼球特徴データベース１２１を作成する。このとき、データベース作成装置７は、例えば、人物９の眼球６Ｒ，６Ｌよりも車両前方となる位置に設定される複数の注視点を順次注視させ、各注視点を注視しているときの人物９の画像を取得する。複数の注視点は、例えば、図７の（ｂ）に示すように、人物９が車両前方を見ているときの視野１０内における４隅ＰＧ１，ＰＧ２，ＰＧ４，及びＰＧ５と、当該視野１０の中心ＰＧ３の５点とする。５個の注視点ＰＧ１〜ＰＧ５は、例えば、それぞれシール状のマーカ１１Ａ〜１１Ｅを車室内の各点に貼り付けて設ける。
【００６８】
データベース作成装置７は、例えば、まず人物９に左上の注視点ＰＧ１を注視させ、その状態で赤外線カメラ２０１により撮像した画像を取得する。次に、データベース作成装置７は、人物９に右上の注視点ＰＧ２を注視させ、その状態で赤外線カメラ２０１により撮像した画像を取得する。その後、データベース作成装置７は、人物９が視野１０の中心ＰＧ３を注視しているときの画像、左下の注視点ＰＧ４を注視しているときの画像、及び右下の注視点ＰＧ５を注視しているときの画像を順次取得する。そして、データベース作成装置７は、取得した５枚の画像のそれぞれから、右眼及び左眼の特徴量を算出するとともに、瞳孔間距離を算出して、眼球特徴データベース１２１に登録する。
【００６９】
なお、図７の（ｂ）に示した注視点ＰＧ１〜ＰＧ５は一例に過ぎず、注視点ＰＧ１〜ＰＧ５の位置や形状、更に注視点の数は、適宜変更可能である。
【００７０】
上記の方法で作成した眼球特徴データベース１２１を備えた視線検出装置１は、例えば、対象人物（運転手）９が入力装置３を操作して視線の検出処理を開始する命令を入力すると、図８に示す処理を開始する。
【００７１】
図８は、第１の実施形態に係る視線検出装置が行う処理を説明するフローチャートである。
【００７２】
図８に示すように、視線検出装置１は、動作を開始すると、まず、較正パラメータ決定処理（ステップＳ１）を行う。ステップＳ１では、視線検出装置１は、眼球特徴データベース１２１を作成する際に設定した複数の注視点のうちのいずれか１個の注視点（第一の注視点）を指定し、対象人物が当該注視点を注視しているときの画像を取得する。その後、視線検出装置１は、指定した１個の注視点を注視している対象人物の画像における瞳孔の中心位置及び角膜反射の中心位置と、眼球特徴データベース１２１とに基づいて対象人物の眼球特徴を決定する。決定した眼球特徴は、対象人物が複数の注視点のそれぞれを注視したときの眼球の特徴量に相当する複数の眼球の特徴量を含む。そのため、眼球特徴を決定した後、視線検出装置１は、瞳孔−角膜反射法における、対象人物に複数の注視点を注視させて較正パラメータを算出する既知の算出方法に従って、較正パラメータを算出する。
【００７３】
ステップＳ１の処理は、画像取得部１０１、注視指示部１０２、特徴量算出部１０３、特徴量補正部１０５、特徴決定部１０６、及びパラメータ算出部１０７が行う。
【００７４】
ステップＳ１で較正パラメータを決定した後、視線検出装置１は、視線検出処理（ステップＳ２）を行う。ステップＳ２では、視線検出装置１は、対象人物の画像における瞳孔の中心位置及び角膜反射の中心位置と、ステップＳ１で決定した較正パラメータとに基づいて、対象人物の視線を検出する（算出する）。ステップＳ２において、視線検出装置１は、瞳孔−膜反射法における既知の視線の算出方法に従って、対象人物の視線の方向や位置等を算出する。
【００７５】
ステップＳ２の処理は、画像取得部１０１、特徴量算出部１０３、及び視線算出部１０８が行う。
【００７６】
図９は、第１の実施形態に係る較正パラメータ決定処理の内容を説明するフローチャートである。
【００７７】
較正パラメータ決定処理（ステップＳ１）において、視線検出装置１は、まず、対象人物が１個の注視点を注視している状態で撮像した、対象人物の眼球を含む画像を取得する（ステップＳ１０１）。ステップＳ１０１の処理は、画像取得部１０１と、注視指示部１０２とが行う。ステップＳ１０１において、画像取得部１０１は、まず、注視指示部１０２に、対象人物を所定の１個の注視点（第一の注視点）に注視させる処理を行わせる。注視指示部１０２は、眼球登録データベース１２１の注視点ＰＧ１〜ＰＧ５のいずれか１点（例えば注視点ＰＧ３）を注視させる音声信号を出力装置（スピーカ）４に出力し、対象人物に注視点ＰＧ３を注視させる。その一方で、画像取得部１０１は、視線センサ２の赤外線カメラ２０１に、対象人物が所定の注視点（注視点ＰＧ３）を注視している状態の画像を撮像させ、赤外線カメラ２０１で撮像した画像を取得する。その後、画像取得部１０１は、取得した画像を特徴量算出部１０３に送信する。
【００７８】
対象人物の画像を取得すると、視線検出装置１は、次に、特徴量算出部１０３において、取得した画像から瞳孔及び角膜反射を抽出して眼球の特徴量を算出する（ステップＳ１０２）。特徴量抽出部１０３は、データベース作成装置７の特徴量抽出部７０３と同様、画像内の右眼及び左眼のそれぞれにおける瞳孔の中心及び角膜反射の中心を抽出し、角膜反射の中心から見た瞳孔の中心の相対位置を眼球の特徴量として算出する。特徴量算出部１０３は、瞳孔−角膜反射法における既知の抽出方法に従って、画像内における瞳孔の中心を含む画素と角膜反射の中心を含む画素とを抽出した後、角膜反射の中心から見た瞳孔の中心の相対位置を算出する。
【００７９】
特徴量算出部１０３は、算出した眼球の特徴量を処理切替部１０４に送信する。処理切替部１０４は、視線検出装置１が行っている処理が較正パラメータ決定処理（ステップＳ１）であるか視線検出処理（ステップＳ２）であるかに応じて、眼球の特徴量の送信先を切り替える。視線検出装置１が行っている処理が較正パラメータ決定処理（ステップＳ１）である場合、処理選択部１０４は、眼球の特徴量を特徴量補正部１０５に送信する。
【００８０】
そのため、較正パラメータ決定処理を行っている場合、視線検出装置１は、次に、特徴量補正部１０５において、画像から抽出した瞳孔の位置に基づいて画像内における瞳孔間距離を算出する（ステップＳ１０３）。特徴量補正部１０５は、取得した１枚の画像における右眼の瞳孔の中心を含む画素の位置を表す座標と、左眼の瞳孔の中心を含む画素の位置を表す座標とに基づいて、式（１）により瞳孔間距離（画素差）を算出する。
【００８１】
次に、特徴量補正部１０５は、算出した瞳孔間距離が眼球特徴データベース１２１の瞳孔間距離と一致するか否かを判定する（ステップＳ１０４）。算出した瞳孔間距離が眼球特徴データベース１２１の瞳孔間距離と一致しない場合（ステップＳ１０４；Ｎｏ）、特徴量補正部１０５は、瞳孔間距離の比に基づいて眼球の特徴量を補正し（ステップＳ１０５）、補正後の眼球の特徴量を特徴決定部１０６に送信する。一方、算出した瞳孔間距離が眼球特徴データベース１２１の瞳孔間距離と一致する場合（ステップＳ１０４；Ｙｅｓ）、特徴量補正部１０５は、ステップＳ１０５の処理をスキップし、ステップＳ１０３で算出した眼球の特徴量を特徴決定部１０６に送信する。
【００８２】
ステップＳ１０３〜Ｓ１０５の処理を終えると、視線検出装置１は、次に、特徴決定部１０６において、眼球特徴データベース１２１を参照して較正に用いる眼球特徴を決定する（ステップＳ１０６）。特徴決定部１０６は、眼球特徴データベース１２１に登録された眼球の特徴量のうちのステップＳ１０１で指定した注視点を注視したときの眼球の特徴量を参照する。そして、特徴決定部１０６は、特徴量補正部１０５から受け取った眼球の特徴量と一致する眼球の特徴量含むレコードを抽出し、当該レコードに含まれる眼球の特徴量の組を較正に用いる眼球特徴に決定する。特徴決定部１０６は、決定した眼球特徴（ある識別子と対応付けられた眼球の特徴量の組）をパラメータ算出部１０７に送信する。
【００８３】
ステップＳ１０６の処理を終えると、視線検出装置１は、次に、パラメータ算出部１０７において、決定した眼球特徴に基づいて較正パラメータを算出し（ステップＳ１０７）、算出した較正パラメータを対象人物の較正パラメータに決定する。パラメータ算出部１０７は、瞳孔−角膜反射法における既知の算出方法に従って、較正パラメータを算出する。
【００８４】
ステップＳ１０７の処理を終えると、パラメータ算出部１０７は、算出した（決定した）較正パラメータを視線検出部１０８に送信するとともに、現在の対象人物についての較正パラメータが決定したことを処理切替部１０４に通知する。これにより、視線検出装置１における較正パラメータ決定処理が終了する。
【００８５】
上記の較正パラメータ決定処理（ステップＳ１０１〜Ｓ１０７）で較正パラメータを決定した後、視線検出装置１は、視線検出処理（ステップＳ２）として、図１０に示す処理を行う。
【００８６】
図１０は、視線検出処理の内容を説明するフローチャートである。
視線検出処理を開始すると、視線検出装置１は、まず、対象人物の眼球を含む画像を取得する（ステップＳ２０１）。ステップＳ２０１の処理は、画像取得部１０１が行う。なお、画像取得部１０１は、図９のステップＳ１０１の処理を終えた後、定期的に赤外線カメラ２０１で撮像した画像を取得し続けていてもよいし、較正パラメータが決定したことを契機に赤外線カメラ２０１で撮像した画像の取得を開始してもよい。画像取得部１０１は、取得した画像を特徴量算出部１０３に送信する。
【００８７】
対象人物の画像を取得すると、視線検出装置１は、次に、特徴量算出部１０３において、取得した画像から瞳孔及び角膜反射を抽出して眼球の特徴量を算出する（ステップＳ２０２）。ステップＳ２０２において、特徴量算出部１０３は、ステップＳ１０２の処理と同様、画像内の右眼及び左眼のそれぞれにおける瞳孔の中心及び角膜反射の中心を抽出し、角膜反射の中心から見た瞳孔の中心の相対位置を眼球の特徴量として算出する。特徴量算出部１０３は、瞳孔−角膜反射法における既知の抽出方法に従って、画像内における瞳孔の中心を含む画素と角膜反射の中心を含む画素とを抽出した後、角膜反射の中心から見た瞳孔の中心の相対位置を算出する。
【００８８】
特徴量算出部１０３は、算出した眼球の特徴量を処理切替部１０４に送信する。処理切替部１０４は、上記のように、視線検出装置１が行っている処理が較正パラメータ決定処理（ステップＳ１）であるか視線検出処理（ステップＳ２）であるかに応じて、眼球の特徴量の送信先を切り替える。視線検出装置１は、上記のように、較正パラメータを決定すると、パラメータ決定部１０７から処理切替部１０４に較正パラメータが決定したことを通知する情報が送信される。処理切替部１０４は、パラメータ決定部１０７からの情報を受け取ると、視線検出装置１が行っている処理が視線検出処理に切り替わったと判断する。そして、視線検出装置１が視線検出処理を行っている場合、処理選択部１０４は、眼球の特徴量を視線算出部１０８に送信する。
【００８９】
そのため、視線検出処理を行っている場合、視線検出装置１は、次に、視線算出部１０８において、算出した眼球の特徴量と、較正パラメータとに基づいて、対象人物の視線を算出する（ステップＳ２０３）。視線算出部１０８は、瞳孔−角膜反射法における既知の視線算出方法に従って、対象人物の視線の方向や位置等を算出する。
【００９０】
対象人物の視線を算出すると、視線算出部１０８は、算出した視線を視線記憶部１２２に記憶させる（ステップＳ２０４）。
【００９１】
ステップＳ２０１〜Ｓ２０４の処理を終えると、視線検出装置１は、検出処理を続けるか否かを判定する（ステップＳ２０５）。例えば、対象人物が入力装置３を操作して検出処理を終了する情報を入力した場合等、検出処理を続けない場合（ステップＳ２０５；Ｎｏ）、視線検出装置１は、視線検出処理を終了する。一方、検出処理を続ける場合（ステップＳ２０５；Ｙｅｓ）、視線検出装置１は、視線検出処理（ステップＳ２０１〜Ｓ２０４）を繰り返す。
【００９２】
図１１は、瞳孔の位置及び角膜反射の位置と角膜半径との相関を説明する図である。
本実施形態の視線検出装置１のように瞳孔−角膜反射法により対象人物の視線を検出する場合、赤外線カメラ２０１で撮像した画像における瞳孔の位置及び角膜反射の位置と、対象人物の角膜半径とには、相関がある。
【００９３】
例えば、図１１に示すように、角膜半径の異なる２個の眼球６１，６２の眼球の中心Ｏを重ねると、眼球の中心Ｏから見た瞳孔の中心Ｑ２１，Ｑ２２の方向（視線９Ｓの方向）は、角膜半径Ｒ１，Ｒ２によらず同一の方向となる。また、眼球の中心Ｏから見た角膜反射の中心Ｑ１１，Ｑ１２の方向は、角膜半径Ｒ１，Ｒ２によらず、赤外線ＬＥＤ ２０２と眼球の中心Ｏとを結ぶ線分と、赤外線カメラ２０１と眼球の中心Ｏとを結ぶ線分とのなす角θを２等分する角度の方向となる。したがって、赤外線カメラ２０１から眼球の中心Ｏまでの距離が同一である場合、角膜反射の中心から瞳孔の中心までの距離は、角膜半径の大きい眼球６１における距離が、角膜半径の小さい眼球６２における距離よりも長くなる。
【００９４】
更に、実空間においては、赤外線カメラ２０１から眼球の中心Ｏまでの距離は、眼球の角膜半径Ｒ１，Ｒ２に比べて非常に長い。そのため、赤外線カメラ２０１の撮像面における角膜反射の中心から瞳孔の中心までの距離と、角膜半径との相関は、図１２のように表すことができる。
【００９５】
図１２は、画像上における瞳孔の位置及び角膜反射の位置と角膜半径との相関を説明する図である。
【００９６】
図１２における赤外線カメラ２０１の撮像面２０３から眼球の中心Ｏまでの距離Ｆは、眼球６１，６２の角膜半径Ｒ１，Ｒ２に比べて非常に長い。そのため、角膜反射の中心Ｑ１１．Ｑ１２から撮像面２０３に向かう赤外線、及び眼球における瞳孔の中心Ｑ２１，Ｑ２２から撮像面２０３に向かう赤外線は、角膜半径Ｒ１，Ｒ２によらず平行であるとみなすことができる。
【００９７】
ここで、眼球の中心Ｏから見た瞳孔の中心Ｑ２１，Ｑ２２の方向（視線９Ｓの方向）が同一であるとする。この場合、撮像面２０３における、眼球６１の角膜反射の中心Ｑ１１から瞳孔の中心Ｑ２１までの距離Ｌ１は、眼球６２の角膜反射の中心Ｑ１２から瞳孔の中心Ｑ２２までの距離Ｌ２よりも長くなる。このように、複数の対象人物が赤外線カメラ２０１から見て同じ位置で同じ方向を見たとしても、各対象人物の角膜半径（眼球の大きさ）に応じて、画像内における眼球の特徴量は異なる値となる。すなわち、赤外線カメラ２０１及び赤外線ＬＥＤ ２０２の設置位置がわかっており、かつ赤外線カメラ２０１から対象人物の眼球までの距離を所定の距離とした場合、角膜反射の中心と瞳孔の中心との位置関係は、角膜半径にのみ依存する。
【００９８】
例えば、撮像面２０３（画像）における角膜反射の中心から瞳孔の中心までの距離がＬ１である場合、対象人物の眼球の角膜半径は、眼球６１の角膜半径Ｒ１と同一であるとみなすことができる。そのため、眼球の角膜半径がＲ１である人物についての眼球の特徴量が眼球特徴データベース１２１に登録されていれば、１個の注視点を注視したときの眼球の特徴量と、眼球特徴データベース１２１とに基づいて、対象人物の眼球の特徴量の組を決定することが可能となる。
【００９９】
すなわち、赤外線カメラ２０１から対象人物の眼球までの距離を所定の距離としたときの角膜反射の中心と瞳孔の中心との位置関係がわかれば、その位置関係に基づいて、対象人物の角膜半径（眼球の大きさ）を推定することができる。そして、対象人物の角膜半径を推定することができれば、ある方向を見ている対象人物の眼球の画像における角膜反射の中心と瞳孔の中心との位置関係を、他の人物の眼球の画像における位置関係から推定することが可能となる。したがって、眼球特徴データベース１２１に眼球の大きさ（角膜半径）の異なる複数の人物のそれぞれが複数の注視点を注視したときの眼球の特徴量の組を登録しておくことにより、１つの注視点に基づいて対象人物の眼球の特徴量を決定することが可能となる。よって、本実施形態によれば、対象人物に１つの注視点を注視させるだけで視線の較正パラメータの決定に必要な複数の特徴量を決定することが可能となり、注視点を注視するという対象人物の負担を軽減することが可能となる。
【０１００】
しかも、本実施形態に係る較正パラメータ決定処理においては、１個の赤外線カメラ２０１と１個の赤外線ＬＥＤ ２０２との組を用いて取得した画像と、眼球特徴パラメータ１２１とに基づいて、較正パラメータを算出することが可能である。そのため、本実施形態によれば、赤外線カメラ２０１及び／又は赤外線照明を複数設ける必要は無く、視線検出装置１、赤外線カメラ２０１、及び赤外線ＬＥＤ ２０２を含む視線検出システムにおける装置の増大を抑制することが可能である。したがって、視線検出システムの導入コストの増大を抑えることが可能となる。更に、視線検出装置１が行う較正パラメータ決定処理は、取得した１枚の画像における眼球の特徴量と一致する特徴量を含むレコード（眼球特徴）を眼球特徴データベース１２１から抽出し、抽出した眼球特徴に基づいて較正パラメータを決定するという処理である。そのため、本実施形態によれば、複雑な処理を行うことなく、較正パラメータを決定することが可能であり、視線検出装置１の処理負荷の増大を抑えることが可能となる。
【０１０１】
なお、赤外線カメラ２０１で撮像した画像から算出する眼球の特徴量は、角膜反射の中心から見た瞳孔の中心の相対位置に限らず、瞳孔の中心から見た角膜半径の中心の相対位置であってもよい。更に、眼球の特徴量を補正するか否かの判定に用いる値は、瞳孔間距離に限らず、両眼の角膜反射の距離であってもよい。
【０１０２】
また、予め用意しておく、複数の注視点のそれぞれを注視したときの眼球の特徴量の組を含む眼球特徴の情報は、上記のように、図２に示したデータベース１２１に限らず、それぞれを識別可能な別の態様で記憶部に登録（記憶）させてもよい。
【０１０３】
また、本実施形態に係る視線検出装置１は、上記の車両８を運転する運転者（対象人物９）の視線を検出する視線検出システムに限らず、種々の視線検出システムに適用可能である。
【０１０４】
図１３は、視線検出装置の別の適用例を示す図である。
本実施形態の視線検出装置１は、図１３に示すように、表示装置１２を見ている人物９の視線９Ｓを検出する視線検出システム１４にも適用可能である。この種の視線検出システム１４では、例えば、表示装置１２に表示させる映像や画像、テキストデータ等の表示制御を含む各種の処理を行う情報処理装置１３に視線検出装置１を組み込むことが可能である。更に、図１３には示していないが、情報処理装置１３には、データベース作成装置７を組み込むことも可能である。
【０１０５】
図１３の視線検出システム１４で用いる眼球特徴データベース１２１を作成する処理は、図５の処理と同じでよく、まず、表示装置１２の表示面１２０１に設定した複数の注視点ＰＧ１〜ＰＧ５のそれぞれを注視している対象人物９の画像を取得する（ステップＳ１１〜Ｓ１３）。この際、表示装置１２の表示面１２０１には、例えば、注視点ＰＧ１のみが表示された画像、注視点ＰＧ２のみが表示された画像、注視点ＰＧ３のみが表示された画像、注視点ＰＧ４のみが表示された画像、注視点ＰＧ５のみが表示された画像を順次表示する。
【０１０６】
複数枚の画像を取得した後、データベース作成装置７は、取得した画像のそれぞれで右眼及び左眼の眼球の特徴量を算出するとともに瞳孔間距離を算出して（ステップＳ１４，Ｓ１５）、眼球特徴データベース１２１に登録する（ステップＳ１６）。
【０１０７】
作成した眼球特徴データベース１２１は、メモリカードや光ディスク等の可搬型記録媒体、或いは伝送ケーブルを介して視線検出装置１（情報処理装置１３）に格納する。視線検出システム１４においても、眼球特徴データベース１２１を格納した視線検出処理１は、図８〜図１０に示した処理を行う。
【０１０８】
図１３の視線検出システム１４は、例えば、視線入力等に利用可能である。対象人物９が表示装置１２の表示面１２０１に表示された所定のオブジェクトを注視した場合に、視線検出装置１が視線を検出することで、情報処理装置１３において、対象人物９が注視しているオブジェクトと対応付けられた処理を実行することが可能となる。
【０１０９】
また、図１３の視線検出システム１４は、例えば、デジタルサイネージ等の各種情報を提供する装置において対象人物９がどの情報に興味を示したか等の調査に利用可能である。
【０１１０】
図１４は、視線検出システムの変形例を示す図である。
本実施形態の視線検出装置１は、上記の視線検出システムに限らず、例えば、図１４の（ａ）に示すように、眼球特徴データベース１２１が視線検出装置１とは別の管理サーバ１５に格納されている視線検出システム１７にも適用可能である。この種の視線検出システム１７は、視線検出装置１と管理サーバ１５とがインターネット等の通信ネットワーク１６で通信可能に接続されている。なお、図１４の（ａ）には示していないが、視線検出装置１には、視線センサ２、入力装置３、スピーカや表示装置１２等の出力装置４が接続されている。
【０１１１】
更に、視線検出装置１を適用した視線検出システム１７は、図１４の（ｂ）に示すように、複数の車両８（８Ａ，８Ｂ）のそれぞれに設置された視線検出装置１が、管理サーバ１５に格納された眼球特徴データベース１２１を共有するシステムであってもよい。この種の視線検出システム１７では、例えば、各車両８の視線検出装置１に無線通信部とアンテナ８０４とを接続し、通信ネットワーク１６を介して各視線検出装置１と眼球特徴データベース１２１との通信を可能にする。また、図１４の（ｂ）に示した視線検出システム１７では、各視線検出装置１で検出した対象人物の視線情報を管理サーバ１５の視線履歴１５０１に転送することが可能である。このため、眼球特徴データベース１２１を複数の視線検出装置１で共有することが可能であるとともに、管理装置１５により複数の対象人物の視線を一括管理することが可能となる。更に、図示は省略するが、図１４の（ｂ）に示した視線検出システム１７では、例えば、上記の較正パラメータ作成処理を管理サーバ上で行ってもよい。この場合、視線検出装置１は、例えば、赤外線カメラ２０１で撮像した画像と、視線検出装置１が設置された車両８の車種情報とを管理サーバ１５に送信し、管理サーバ１５に較正パラメータを算出させる。その後、視線検出装置１は、管理サーバ１５から較正パラメータを取得し、当該較正パラメータに基づいて運転者（対象人物９）の視線を算出する。
【０１１２】
また、図６、図１３、及び図１４に示した視線検出システムは、本実施形態に係る視線検出装置１の適用例に過ぎない。すなわち、視線検出装置１は、これらの視線検出システムに限らず、瞳孔−角膜反射法を利用した種々の視線検出システムに適用可能である。例えば、視線検出装置１は、店舗等で対象人物（顧客）が店舗内に陳列されている商品のうちのどの商品に興味を示しているか等の情報を収集する視線検出システムにも適用可能である。
【０１１３】
また、図１に示した視線検出装置１の機能的構成及び視線検出装置１が行う処理は、それぞれ、一例に過ぎない。本実施形態に係る視線検出装置１は、例えば、人感センサ等で所定の位置に対象人物９が停留したことを検出したことを契機に、較正パラメータ決定処理を開始するものであってもよい。また、本実施形態に係る視線検出装置１を車両８に設置する場合、例えば、対象人物９（運転者）がエンジンを始動させたことを契機に較正パラメータ決定処理を開始し、対象人物９がエンジンを停止させたことを契機に視線検出処理を終了するようにしてもよい。
【０１１４】
［第２の実施形態］
本実施形態では、視線検出装置１において対象人物の顔の向きを考慮して眼球の特徴量を補正し、較正パラメータを決定する処理方法について説明する。
【０１１５】
なお、本実施形態に係る視線検出装置１の機能的構成は、図１に示した構成でよい。また、本実施形態に係る視線検出装置１に格納される眼球特徴データベース１２１は、例えば、図２に示した構成でよい。ただし、本実施形態に係る眼球特徴データベース１２１を作成する際には、人物が赤外線カメラ２０１に顔を正対させた状態で注視点を注視している画像を取得し、当該画像から算出した眼球の特徴量及び瞳孔間距離を眼球特徴データベース１２１に登録する。
【０１１６】
本実施形態に係る視線検出装置１は、図８に示した較正パラメータ決定処理（ステップＳ１）、及び視線検出処理（ステップＳ２）を行う。なお、本実施形態に係る視線検出装置１は、較正パラメータ決定処理として、図１５及び図１６に示した処理を行う。
【０１１７】
図１５は、第２の実施形態に係る較正パラメータ決定処理の内容を説明するフローチャートである。図１６は、眼球の特徴量を補正する処理の内容を説明するフローチャートである。なお、図１５及び図１６のフローチャートの処理ブロックのうち、図９のフローチャートと同じ処理を行うブロックについては、図９と同じステップ番号（例えばＳ１０１，Ｓ１０２等）を付している。
【０１１８】
本実施形態の較正パラメータ決定処理において、視線検出装置１は、まず、対象人物が１個の注視点を注視している状態で撮像した、対象人物の眼球を含む画像を取得する（ステップＳ１０１）。ステップＳ１０１の処理は、画像取得部１０１と、注視指示部１０２とが行う。ステップＳ１０１において、画像取得部１０１及び注視指示部１０２は、それぞれ、第１の実施形態で説明した処理を行う。注視指示部１０２は、出力装置４を用いて対象人物に１個の注視点を注視させる。一方、画像取得部１０１は、赤外線カメラ２０１に１個の注視点を注視している対象人物の眼球を含む画像を撮像させ、撮像した画像を取得する。更に、画像取得部１０１は、取得した画像を特徴量算出部１０３に送信する。
【０１１９】
対象人物の画像を取得すると、視線検出装置１は、次に、特徴量算出部１０３において、取得した画像から瞳孔及び角膜反射を抽出して眼球の特徴量を算出する（ステップＳ１０２）。特徴量算出部１０３は、第１の実施形態で説明したとおり、画像内の右眼及び左眼のそれぞれにおける瞳孔の中心を含む画素及び角膜反射の中心を含む画素を抽出し、角膜反射の中心から見た瞳孔の中心の相対位置を眼球の特徴量として算出する。
【０１２０】
特徴量算出部１０３は、算出した眼球の特徴量を処理切替部１０４に送信する。視線検出装置１が行っている処理が較正パラメータ決定処理である場合、処理切替部１０４は、第１の実施形態で説明したとおり、眼球の特徴量を特徴量補正部１０５に送信する。
【０１２１】
その後、視線検出装置１は、特徴量補正部１０５において、眼球の特徴量を補正する処理（ステップＳ１１０）を行う。ステップＳ１１０において、特徴量補正部１０５は、まず、右眼の特徴量と左眼の特徴量とに基づいて顔の向きを推定する。そして、推定した顔の向きが赤外線カメラ２０１と正対していない場合、特徴量補正部１０５は、右眼及び左眼の特徴量が顔の向きが赤外線カメラ２０１と正対したときの特徴量となるよう特徴量を補正する。続けて、特徴量補正部１０５は、第１の実施形態で説明したステップＳ１０３〜Ｓ１０５の処理、すなわち画像上の瞳孔間距離と、眼球特徴データベース１２１の瞳孔間距離とが異なる場合の眼球の特徴量を補正する処理を行う。特徴量補正部１０５は、補正後の眼球の特徴量を特徴決定部１０６に送信する。なお、ステップＳ１１０において眼球の特徴量を補正しなかった場合、特徴量補正部１０５は、特徴量算出部１０３で算出した眼球の特徴量を特徴決定部１０６に送信する。
【０１２２】
ステップＳ１１０の処理を終えると、視線検出装置１は、次に、特徴決定部１０６において、眼球特徴データベース１２１を参照して較正に用いる眼球特徴を決定する（ステップＳ１０６）。特徴決定部１０６は、眼球特徴データベース１２１に登録された眼球の特徴量のうちのステップＳ１０１で指定した注視点を注視したときの眼球の特徴量を参照する。そして、特徴決定部１０６は、特徴量補正部１０５から受け取った眼球の特徴量と同一の特徴量含む特徴量の組を較正に用いる眼球特徴に決定する。特徴決定部１０６は、決定した眼球特徴（ある識別子と対応付けられた眼球の特徴量の組）をパラメータ算出部１０７に送信する。
【０１２３】
ステップＳ１０６の処理を終えると、視線検出装置１は、パラメータ算出部１０７において、決定した眼球特徴に基づいて較正パラメータを算出する（ステップＳ１０７）。パラメータ算出部１０７は、瞳孔−角膜反射法における既知の算出方法に従って較正パラメータを算出し、算出した較正パラメータを現在の対象人物の較正パラメータに決定する。ステップＳ１０７の処理を終えると、パラメータ算出部１０７は、決定した較正パラメータを視線算出部１０８に送信するとともに、現在の対象人物についての較正パラメータが決定したことを処理切替部１０４に通知する。これにより、視線検出装置１における較正パラメータ決定処理が終了する。
【０１２４】
次に、図１６を参照して、特徴量補正部１０５が行うステップＳ１１０の眼球の特徴量を補正する処理について説明する。
【０１２５】
ステップＳ１１０の処理において、特徴量補正部１０５は、まず、眼球の特徴量に基づいて対象人物の顔の向きを推定し（ステップＳ１１１）、対象人物の顔が赤外線カメラ２０１に正対しているか否かを判定する（ステップＳ１１２）。ステップＳ１１１において、特徴量補正部１０５は、例えば、右眼の特徴量と左眼の特徴量との大小関係に基づいて、顔の向きを推定する。右眼の特徴量と左眼の特徴量とが略同一である場合、特徴量補正部１０５は、対象人物の顔が赤外線カメラ２０１に正対していると推定する。また、右眼の特徴量と左眼の特徴量との差の絶対値が閾値以上である場合、特徴量補正部１０５は、顔の向きが右方又は左方に傾いていると推定する。
【０１２６】
ステップＳ１１１において顔の向きを推定した結果、顔が赤外線カメラ２０１に正対していない場合（ステップＳ１１２；Ｎｏ）、特徴量補正部１０５は、次に、顔の向きに基づいて右眼又は左眼の眼球の特徴量を補正する（ステップＳ１１３）。ステップＳ１０３において、特徴量補正部１０５は、ステップＳ１１１で推定した顔の向きに基づいて、右眼の特徴量と左眼の特徴量とが略同一になるよう、右眼又は左眼の、角膜反射の中心位置と瞳孔の中心位置とを補正する。ステップＳ１１３の後、特徴量補正部１０５は、補正後の右眼の瞳孔の中心位置及び左眼の瞳孔の中心位置に基づいて、瞳孔間距離を算出する（ステップＳ１１４）。
【０１２７】
一方、顔が赤外線カメラ２０１に正対している場合（ステップＳ１１２；Ｙｅｓ）、特徴量補正部１０５は、ステップＳ１１３の処理をスキップしてステップＳ１１４の処理を行う。ステップＳ１１３の処理をスキップした場合、特徴量補正部１０５は、顔の向きの推定に用いた右眼の瞳孔の中心位置及び左眼の瞳孔の中心位置に基づいて、瞳孔間距離を算出する。
【０１２８】
瞳孔間距離を算出すると、特徴量補正部１０５は、次に、算出した瞳孔間距離が眼球特徴データベース１２１の瞳孔間距離と一致するか否かを判定する（ステップＳ１０４）。瞳孔間距離が一致しない場合（ステップＳ１０４；Ｎｏ）、特徴量補正部１０５は、瞳孔間距離の比に基づいて、眼球の特徴量を補正する（ステップＳ１０５）。ステップＳ１０５において特徴量補正部１０５が行う処理は、第１の実施形態で説明したとおりである。ステップＳ１０５の後、特徴量補正部１０５は、補正後の眼球の特徴量を特徴決定部１０６に送信して眼球の特徴量を補正する処理を終了する。
【０１２９】
一方、瞳孔間距離が一致した場合（ステップＳ１０４；Ｙｅｓ）、特徴量補正部１０５は、ステップＳ１０５をスキップし、眼球の特徴量を特徴決定部１０６に送信して眼球の特徴量を補正する処理を終了する。瞳孔間距離が一致した場合、特徴量補正部１０５は、特徴量抽出部１０３において抽出した眼球の特徴量、又はステップＳ１１３で補正した眼球の特徴量を特徴決定部１０６に出力する。
【０１３０】
図１７は、顔の向きと眼球の特徴量との関係を説明する図である。
図１７の（ａ）には、顔の向きＶ１が赤外線カメラ２０１の方向であり（すなわち顔が赤外線カメラ２０１と正対しており）、かつ視線の方向Ｖ２が赤外線カメラ２０１の方向である場合の、眼球の特徴量と、撮像面２０３における瞳孔間距離とを示している。この場合、赤外線カメラ２０１（撮像面２０３）から見た右眼における角膜反射６０１Ｒの中心から瞳孔６０２Ｒの中心までの距離ＰＬと、左眼における角膜反射６０１Ｌの中心から瞳孔６０２Ｌまでの距離ＰＲとは、略同一の値（ＰＲ≒ＰＬ）となる。
【０１３１】
図１７の（ｂ）には、顔の向きＶ１が赤外線カメラ２０１の方向であり、かつ視線の方向Ｖ２が赤外線カメラ２０１の方向である場合の、眼球の特徴量と、撮像面における瞳孔間距離とを示している。そのため、図１７の（ｂ）の場合も、右眼における角膜反射から瞳孔までの距離ＰＬと、左眼における角膜反射から瞳孔までの距離ＰＲとは、略同一の値（ＰＲ≒ＰＬ）となる。
【０１３２】
このように、顔が赤外線カメラ２０１と正対している場合、右眼における角膜反射６０１Ｒから瞳孔６０２Ｒまでの距離ＰＲと、左眼における角膜反射６０１Ｌから瞳孔６０２Ｌまで距離ＰＬとは、略同一の値（ＰＲ≒ＰＬ）となる。
【０１３３】
ただし、図１７の（ｂ）では、赤外線カメラ２０１（撮像面２０３）から眼球（顔）までの距離が、図１７の（ａ）における赤外線カメラ２０１から眼球までの距離よりも長くなっている。そのため、図１７の（ａ）及び（ｂ）において実際の瞳孔間距離ＰＤが同一であっても、（ｂ）の場合の撮像面２０３における瞳孔間距離Ｄ２は、（ａ）の場合の撮像面２０３における瞳孔間距離Ｄ１よりも小さくなる（Ｄ１＞Ｄ２）。
【０１３４】
これに対し、図１７の（ｃ）には、顔の向きＶ１が赤外線カメラ２０１とは異なる方向を向いており、かつ視線の方向Ｖ２が赤外線カメラ２０１の方向である場合の、眼球の特徴量と、撮像面２０３における瞳孔間距離とを示している。図１７の（ｃ）では、赤外線カメラ２０１から右眼までの距離が赤外線カメラ２０１から左眼までの距離よりも長くなっている。そのため、右眼における角膜反射６０１Ｒの中心から瞳孔６０２Ｒの中心までの距離ＰＲは、左眼における角膜反射６０１Ｌの中心から瞳孔６０２Ｌの中心までの距離ＰＬよりも短くなる（ＰＲ＜ＰＬ）。更に、図１７の（ｃ）においては、対象人物の顔の向きＶ１が赤外線カメラ２０１とは異なる方向を向いている。そのため、赤外線カメラ２０１（撮像面２０３）から見た瞳孔間距離Ｄ３は、実際の瞳孔間距離ＰＤと、赤外線カメラ２０１（撮像面２０３）から眼球までの距離とに基づいて算出される瞳孔間距離よりも短くなる。一方、本実施形態で用いる眼球特徴データベース１２１における眼球の特徴量及び瞳孔間距離は、顔が赤外線カメラ２０１に正対している状態で撮像した画像に基づいて算出された値である。したがって、顔が赤外線カメラ２０１に正対していない場合、画像から算出した眼球の特徴量と、眼球特徴データベース１２１の眼球の特徴量とを正しく比較するには、算出した特徴量を顔が赤外線カメラ２０１に正対した状態の特徴量に補正する必要がある。
【０１３５】
図１８は、顔がカメラと正対していない場合の眼球の特徴量の補正方法を説明する図である。
【０１３６】
図１８には、顔が赤外線カメラ２０１と正対していない場合の例として、撮像面２０３から右眼までの距離が、撮像面２０３から左眼までの距離よりも長い場合の眼球の特徴量を示している。この場合、撮像面２０３における右眼の角膜反射６０１Ｒの中心ＫＲｘから瞳孔６０２Ｒの中心ＰＲｘまでの距離は、撮像面２０３における左眼の角膜反射６０１Ｌの中心ＫＬｘから瞳孔６０２Ｌの中心ＰＬｘまでの距離Ｌよりも短くなる。このため、特徴量補正部１０５は、撮像面２０３における右眼の角膜反射６０１Ｒの中心から瞳孔６０２Ｒの中心までの距離が左眼の距離Ｌと一致するよう、角膜反射６０１Ｒの位置及び瞳孔６０２Ｒの位置を補正する（図１６のステップＳ１１３）。すなわち、ステップＳ１１３において、特徴量補正部１０５は、下記式（２）を満たす撮像面２０３上の点ＫＲｘ’，ＰＲｘ’を算出する。
【０１３７】
ＫＲｘ’−ＰＲｘ’＝ＫＬｘ−ＰＬｘ      （２）
【０１３８】
式（２）において、点ＫＲｘ’及び点ＰＲｘ’は、それぞれ、対象人物が左眼の位置を基準として顔を赤外線カメラ２０１と正対させた場合の、撮像面２０３上における仮想的な右眼の角膜反射６０１Ｒ’の中心及び瞳孔６０２Ｒ’の中心である。
【０１３９】
右眼の角膜反射６０１Ｒの位置及び瞳孔６０２Ｒの位置を補正する場合、図１８に示すように、右眼の角膜反射６０１Ｒの中心Ｐｘから瞳孔６０２Ｒの中心Ｋｘまでの距離が左眼の距離Ｌと一致する仮想平面２０５を設定する。ここで、赤外線カメラ２０１のレンズ２０４から撮像面２０３までの距離を距離ｈ、レンズ２０４から仮想平面２０５までの距離を距離Ｈとすると、２つの距離ｈ，Ｈの比ｈ：Ｈは、下記数（３−１）で表される。
【０１４０】
ｈ：Ｈ＝（ＫＲｘ−ＰＲｘ）：（ＫＬｘ−ＰＬｘ）      （３−１）
【０１４１】
したがって、レンズ２０４から仮想平面２０５までの距離Ｈは、下記数（３−２）により算出される。
【０１４２】
Ｈ＝ｄ×｛（ＫＬｘ−ＰＬｘ）／（ＫＲｘ−ＰＲｘ）｝      （３−２）
【０１４３】
一方、２つの距離ｈ，Ｈのｈ；Ｈは、撮像面２０３の中心Ｏｘと、撮像面２０３における補正前の右眼の角膜反射６０１Ｒの位置ＫＲｘと、撮像面２０３における仮想的な右眼の角膜反射６０１Ｒ’の位置ＫＲｘ’とを用いると、下記式（４−１）で表される。
【０１４４】
ｈ：Ｈ＝（ＫＲｘ−Ｏｘ）：（ＫＲｘ’−Ｏｘ）      （４−１）
【０１４５】
したがって、レンズ２０４から仮想平面２０５までの距離Ｈがわかれば、下記数（４−２）に基づいて、撮像面２０３における仮想的な右眼の角膜反射６０１Ｒ’の位置ＫＲｘ’を算出することが可能となる。
【０１４６】
（ＫＲｘ’−Ｏｘ）＝（ＫＲｘ−Ｏｘ）×（Ｈ／ｈ）      （４−２）
【０１４７】
また、２つの距離ｈ，Ｈのｈ；Ｈは、撮像面２０３の中心Ｏｘと、撮像面２０３における補正前の右眼の瞳孔６０２Ｒの位置ＰＲｘと、撮像面２０３における仮想的な右眼の瞳孔６０２Ｒ’の位置ＰＲｘ’とを用いると、下記式（５−１）で表される。
【０１４８】
ｈ：Ｈ＝（ＰＲｘ−Ｏｘ）：（ＰＲｘ’−Ｏｘ）      （５−１）
【０１４９】
したがって、レンズ２０４から仮想平面２０５までの距離Ｈがわかれば、下記数（５−２）に基づいて、撮像面２０３における仮想的な右眼の瞳孔６０２Ｒ’の位置ＰＲｘ’を算出することが可能となる。
【０１５０】
（ＰＲｘ’−Ｏｘ）＝（ＰＲｘ−Ｏｘ）×（Ｈ／ｈ）      （５−２）
【０１５１】
式（３−２）、式（４−２）、及び式（５−２）に基づいて右眼の特徴量を補正した場合、特徴量補正部１０５は、補正後の眼球の特徴量、すなわち撮像面２０３における点ＰＬｘと点ＰＲｘ’との位置関係に基づいて瞳孔間距離を算出する（ステップＳ１１４）。そして、算出した瞳孔間距離と眼球特徴テーブルの瞳孔間距離とが一致しない場合（ステップＳ１０４；Ｎｏ）、特徴量補正部１０５は、瞳孔間距離の比に基づいて眼球の特徴量を再度補正する（ステップＳ１０５）。
【０１５２】
上記の眼球の特徴量を補正する処理を行うことで、画像から算出した眼球の特徴量は、顔の向き及び瞳孔間距離が眼球特徴テーブル１２１の作成時における人物の顔の向き及び瞳孔間距離と一致した特徴量となる。そのため、本実施形態によれば、顔の向きに応じた眼球の特徴量（角膜反射と瞳孔との距離）及び瞳孔間距離の変化により誤った眼球特徴を抽出することを抑制することが可能となり、視線検出の精度をより高くすることが可能となる。
【０１５３】
なお、図１５及び図１６は、本実施形態の視線検出装置１が行う較正パラメータ決定処理の一例に過ぎない。本実施形態の視線検出装置１が行う較正パラメータ決定処理は、適宜変更可能であり、図１５及び図１６に示した手順に限らず、一部の処理の内容を変更したものであってもよい。
【０１５４】
また、予め用意しておく、複数の注視点のそれぞれを注視したときの眼球の特徴量の組を含む眼球特徴の情報は、上記のように、眼球特徴データベースに限らず、それぞれを識別可能な別の態様で記憶部に登録（記憶）させてもよい。
【０１５５】
また、本実施形態の視線検出装置１は、第１の実施形態の視線検出装置１と同様、画像から対象人物の視線を検出する種々の視線検出システムに適用可能である。
【０１５６】
［第３の実施形態］
図１９は、第３の実施形態に係る視線検出装置の機能的構成を示す図である。
【０１５７】
図１９に示すように、本実施形態に係る視線検出装置１は、画像取得部１０１と、注視指示部１０２と、特徴量算出部１０３と、処理切替部１０４と、特徴量補正部１０５と、特徴決定部１０６と、パラメータ算出部１０７と、視線算出部１０８と、を備える。また、視線検出装置１は、眼球特徴データベース１２３と、視線記憶部１２２と、を備える。更に、視線検出装置１は、虹彩半径算出部１０９を備える。
【０１５８】
本実施形態の視線検出装置１における画像取得部１０１、注視指示部１０２、特徴量算出部１０３、処理切替部１０４、パラメータ決定部１０７、及び視線算出部１０８のそれぞれの機能は、第１の実施形態で説明したとおりである。
【０１５９】
虹彩半径算出部１０９は、画像取得部１０１が赤外線カメラ２０１から取得した画像における眼球の虹彩を抽出し、虹彩半径を抽出する。
【０１６０】
特徴量補正部１０５は、画像取得部１０１が取得した画像における瞳孔間距離と、眼球特徴データベース１２３に登録された瞳孔間距離とに基づいて、眼球の特徴量及び虹彩半径を補正する。
【０１６１】
特徴決定部１０６は、取得した画像における眼球の特徴量及び虹彩半径（又は補正後の眼球の特徴量及び虹彩半径）と、眼球特徴データベース１２３とに基づいて、対象人物の眼球特徴（眼球の特徴量の組）を決定する。
【０１６２】
図２０は、第３の実施形態に係る眼球特徴データベースの例を示す図である。図２１は、眼球の特徴量及び虹彩半径を説明する図である。
【０１６３】
図２０に示すように、本実施形態に係る眼球特徴データベース１２３は、識別子（ＩＤ）と、虹彩半径（ＩＲ）と、注視点を注視しているときの眼球の特徴量（ＰＧ１〜ＰＧ５）と、瞳孔間距離（ＰＤ）とを含む。このうち識別子、眼球の特徴量、及び瞳孔間距離は、それぞれ、第１の実施形態で説明した眼球特徴データベース１２１における値と同じ値である。
【０１６４】
虹彩半径（ＩＲ）は、眼球特徴データベース１２３を作成する際に画像から抽出した、各対象人物の虹彩の画像内における半径である。
【０１６５】
図２０の眼球特徴データベース１２３は、例えば、図４のデータベース作成装置７により作成することが可能である。データベース作成装置７により眼球特徴データベース１２３を作成する場合、例えば、特徴量算出部７０３において、眼球の特徴量（角膜反射の中心から見た瞳孔の中心の相対位置）を算出するとともに、虹彩半径を算出する。そして、登録部７０５において、眼球の特徴量と、虹彩半径と、距離算出部７０４で算出した瞳孔間距離との組に１個の識別子を付与し、１個のレコードとして眼球特徴データベース１２３に登録する。
【０１６６】
特徴量算出部７０３は、例えば、図２１に示すように、画像５から瞳孔６０２を囲む環状領域６０３を虹彩として抽出し、瞳孔６０２の中心Ｑ２から環状領域６０３の外周までの平均距離（画素数）を虹彩半径ＩＲとする。また、特徴量算出部７０３において抽出する眼球の特徴量は、第１の実施形態で説明したとおりであり、画像５における角膜反射６０１の中心Ｑ１を含む画素から見た瞳孔６０２の中心Ｑ２を含む画素の相対位置を表す値とする。
【０１６７】
本実施形態の視線検出装置１は、動作を開始すると、図８に示した較正パラメータ決定処理（ステップＳ１）、及び視線検出処理（ステップＳ２）を行う。本実施形態の視線検出装置１は、較正パラメータ決定処理として、図２２に示す処理を行う。
【０１６８】
図２２は、第３の実施形態に係る較正パラメータ決定処理の内容を説明するフローチャートである。なお、図２２のフローチャートの処理ブロックのうち、図９のフローチャートと同じ処理を行うブロックについては、図９と同じステップ番号（例えばＳ１０１，Ｓ１０２等）を付している。
【０１６９】
本実施形態の較正パラメータ決定処理において、視線検出装置１は、まず、対象人物が１個の注視点を注視している状態で撮像した、対象人物の眼球を含む画像を取得する（ステップＳ１０１）。ステップＳ１０１の処理は、画像取得部１０１と、注視指示部１０２とが行う。ステップＳ１０１において、画像取得部１０１及び注視指示部１０２は、それぞれ、第１の実施形態で説明した処理を行う。注視指示部１０２は、出力装置４を用いて対象人物に１個の注視点を注視させる。一方、画像取得部１０１は、赤外線カメラ２０１に１個の注視点を注視している対象人物の眼球を含む画像を撮像させ、撮像した画像を取得する。更に、画像取得部１０１は、取得した画像を特徴量算出部１０３に送信する。
【０１７０】
対象人物の画像を取得すると、視線検出装置１は、次に、特徴量算出部１０３において、取得した画像から瞳孔及び角膜反射を抽出して眼球の特徴量を算出する（ステップＳ１０２）。特徴量算出部１０３は、第１の実施形態で説明したとおり、画像内の右眼及び左眼のそれぞれにおける瞳孔の中心を含む画素及び角膜反射の中心を含む画素を抽出し、角膜反射の中心から見た瞳孔の中心の相対位置を眼球の特徴量として算出する。
【０１７１】
特徴量算出部１０３は、算出した眼球の特徴量及び取得した画像を処理切替部１０４に送信する。視線検出装置１が行っている処理が較正パラメータ決定処理（ステップＳ１）である場合、処理選択部１０４は、眼球の特徴量及び画像を虹彩半径算出部１１０に送信する。
【０１７２】
次に、視線検出装置１は、虹彩半径算出部１１０において、画像から虹彩を抽出して虹彩半径を算出する（ステップＳ１２０）。虹彩半径算出部１１０は、例えば、画像における右眼及び左眼が写っている領域のそれぞれから、瞳孔を囲む環状領域を虹彩として抽出する。続けて、虹彩半径算出部１１０は、瞳孔の中心と、抽出した環状領域の外周との距離の平均値を算出し、これを虹彩半径とする。虹彩半径算出部１１０は、算出した虹彩半径と、特徴量算出部１０３で算出した眼球の特徴量とを、特徴量補正部１０５に送信する。
【０１７３】
ステップＳ１２０の後、視線検出装置１は、特徴量補正部１０５において、画像から抽出した瞳孔の位置に基づいて瞳孔間距離を算出する（ステップＳ１０３）。特徴量補正部１０５は、特徴量算出部１０３で抽出した、画像内における右眼の瞳孔の中心を含む画素の位置と、左眼の瞳孔の中心を含む画素の位置とに基づいて、瞳孔間距離（画素差）を算出する。
【０１７４】
次に、特徴量補正部１０５は、算出した瞳孔間距離が眼球特徴データベース１２３の瞳孔間距離と一致するか否かを判定する（ステップＳ１０４）。算出した瞳孔間距離が眼球特徴データベース１２３の瞳孔間距離と一致しない場合（ステップＳ１０４；Ｎｏ）、特徴量補正部１０５は、瞳孔間距離の比に基づいて眼球の特徴量及び虹彩半径を補正する（ステップＳ１２１）。眼球の特徴量及び虹彩半径を補正した場合、特徴量補正部１０５は、補正後の眼球の特徴量及び虹彩半径を特徴決定部１０６に送信する。一方、算出した瞳孔間距離が眼球特徴データベースの瞳孔間距離と一致する場合（ステップＳ１０４；Ｙｅｓ）、特徴量補正部１０５は、ステップＳ１０３で算出した眼球の特徴量と、ステップＳ１２０で算出した虹彩半径とを特徴決定部１０６に送信する。
【０１７５】
眼球の特徴量及び虹彩半径が特徴決定部１０６に送信されると、視線検出装置１は、特徴決定部１０６において、眼球特徴データベース１２３を参照して較正に用いる眼球特徴を決定する（ステップＳ１０６）。特徴決定部１０６は、眼球特徴データベース１２３に登録された眼球の特徴量のうちのステップＳ１０１で指定した注視点を注視したときの眼球の特徴量と、虹彩半径（ＩＲ）とを参照する。そして、特徴決定部１０６は、眼球特徴データベース１２３における眼球の特徴量と虹彩半径との組み合わせが、特徴量補正部１０５から受け取った眼球の特徴量及び虹彩半径と同一又は最も近いレコードに含まれる特徴量の組を、較正に用いる眼球特徴に決定する。特徴決定部１０６は、決定した眼球特徴（ある識別子と対応付けられた眼球の特徴量の組）をパラメータ算出部１０７に送信する。
【０１７６】
ステップＳ１０６の処理を終えると、視線検出装置１は、パラメータ算出部１０７において、決定した眼球特徴に基づいて較正パラメータを算出する（ステップＳ１０７）。パラメータ算出部１０７は、瞳孔−角膜反射法における既知の算出方法に従って較正パラメータを算出し、算出した較正パラメータを現在の対象人物の較正パラメータに決定する。ステップＳ１０７の処理を終えると、パラメータ算出部１０７は、決定した較正パラメータを視線算出部１０８に送信するとともに、現在の対象人物についての較正パラメータが決定したことを処理切替部１０４に通知する。これにより、視線検出装置１における較正パラメータ決定処理が終了する。
【０１７７】
図２２の較正パラメータ決定処理により較正パラメータを決定した後、本実施形態の視線検出装置１は、視線検出処理として、例えば、図１０に示す処理を行う。
【０１７８】
図２３は、虹彩半径と眼球形状との相関を説明する図である。
眼球のモデルにおける主なパラメータとしては、例えば、図２３に示すように、角膜を形成する球６４の半径（角膜半径ｒ）の他に、目そのものの回転を司る眼球６５の半径Ｒと、角膜を形成する球６４の中心と眼球６５の中心との距離Ｄが考えられる。
【０１７９】
また、眼球のモデルにおいて角膜半径ｒが既知の場合には、角膜を形成する球６４の中心と眼球６５の中心との距離Ｄと、虹彩径Ｉ（虹彩半径ＩＲ）とに相関がある。
【０１８０】
例えば、図２３の（ａ）に示した眼球モデルにおける距離Ｄは、図２３の（ｂ）に示した眼球モデルにおける距離Ｄよりも長い。このとき、図２３の（ａ）の眼球モデルにおける虹彩径Ｉは、図２３の（ｂ）の眼球モデルにおける虹彩径Ｉよりも大きくなる。このように、角膜半径ｒが同一であっても虹彩径Ｉ（虹彩半径ＩＲ）が異なる場合、角膜と眼球６５の中心との距離が異なるため、角膜反射の中心と瞳孔の中心との距離に差異が生じる（例えば、図１１及び図１２を参照）。よって、本実施形態のように、角膜反射の中心と瞳孔の中心との位置関係に加え、虹彩半径も利用することで、眼球特徴をより細かく分類することが可能となり、対象人物にとって最適な眼球特徴を選出することが可能となる。
【０１８１】
図２４は、第３の実施形態に係る眼球特徴の決定方法の例を説明する図である。
図２４には、第３の実施形態に係る眼球特徴データベース１２３を簡略化して示している。また、図２４の眼球特徴データベース１２３には、眼球の特徴量（ＰＧ１〜ＰＧ５）及び虹彩半径（ＩＲ）とともに、角膜半径（ＣＲ）を示している。
【０１８２】
眼球のモデルでは、上記のように、角膜半径が一定であっても、角膜を形成する球の中心と眼球の中心との距離Ｄに応じて虹彩径Ｉ（虹彩半径）が変化する。そして、角膜半径が同じで虹彩半径が異なる複数の人物における眼球の特徴量を抽出すると、眼球の特徴量は、虹彩半径に応じて異なる値となる。
【０１８３】
図２４に示した眼球特徴データベース１２３には、角膜半径がＲｍである人物における眼球の特徴量として、虹彩半径が異なる３通りの眼球の特徴量が登録されている。このとき、虹彩半径がＩＲｍ１の人物における眼球の特徴量と、虹彩半径がＩＲｍ２の人物における眼球の特徴量と、虹彩半径がＩＲｍ３の人物における眼球の特徴量とは、それぞれ、わずかに異なる。例えば、虹彩半径がＩＲｍ１の人物が注視点ＰＧ３を注視したときの特徴量ｍ１３と、虹彩半径がＩＲｍ２の人物が注視点ＰＧ３を注視したときの特徴量ｍ２３とは、わずかに異なる。また、虹彩半径がＩＲｍ２の人物が注視点ＰＧ３を注視したときの特徴量ｍ２３と、虹彩半径がＩＲｍ３の人物が注視点ＰＧ３を注視したときの特徴量ｍ３３とは、わずかに異なる。更に、虹彩半径がＩＲｍ１の人物が注視点ＰＧ３を注視したときの特徴量ｍ１３と、虹彩半径がＩＲｍ３の人物が注視点ＰＧ３を注視したときの特徴量ｍ３３とは、わずかに異なる。
【０１８４】
また、上記のように、角膜半径が異なる複数の人物における眼球の特徴量は、それぞれ異なる。例えば、角膜半径が４である人物が注視点ＰＧ３を注視したときの特徴量ｎ３と、角膜半径がＲｍ（≠４）である人物が注視点ＰＧ３を注視したときの特徴量ｍ１３，ｍ２３，ｍ３３とは、異なる値となる。
【０１８５】
したがって、角膜半径の異なる複数の人物から抽出した眼球の特徴量のみに基づいて対象人物の眼球特徴を特定する場合、角膜半径が同一又は略同一であっても、虹彩半径の違いから眼球の特徴量に違いが生じ、適切な眼球特徴を選出できない可能性がある。
【０１８６】
これに対し、本実施形態で用いる眼球特徴データベース１２３には、角膜半径が同一であり虹彩半径が異なる複数の眼球特徴が登録されている。そのため、眼球特徴を決定する処理では、例えば、角膜半径がＲｍである対象人物に対する眼球特徴として、まず、３通りの眼球特徴が抽出される。この段階では、３通りの眼球特徴の全てが、対象人物の眼球特徴と類似しており、対象人物の眼球特徴に決定し得る。しかしながら、本実施形態においては、３通りの眼球特徴の中から、虹彩半径が同一又は最も近い眼球特徴を対象人物の眼球特徴に決定する。これにより、角膜半径及び虹彩半径が対象人物に最も近い眼球特徴を対象人物の眼球特徴を決定することが可能となり、より適切な眼球特徴に基づいて較正パラメータを決定することが可能となる。
【０１８７】
なお、図２２は、本実施形態の視線検出装置１が行う較正パラメータ決定処理の一例に過ぎない。本実施形態の視線検出装置１が行う較正パラメータ決定処理は、例えば、第２の実施形態で説明したように、顔の向きに応じて眼球の特徴量や虹彩径を補正する処理を含むものであってもよい。
【０１８８】
また、予め用意しておく、複数の注視点のそれぞれを注視したときの眼球の特徴量の組を含む眼球特徴の情報は、上記のように、データベースに限らず、それぞれを識別可能な別の態様で記憶部に登録（記憶）させてもよい。
【０１８９】
また、本実施形態の視線検出装置１は、第１の実施形態の視線検出装置１と同様、画像から対象人物の視線を検出する種々の視線検出システムに適用可能である。
【０１９０】
［第４の実施形態］
本実施形態では、眼球特徴データベース１２１，１２３を参照して対象人物の眼球特徴を決定する処理において、眼球特徴を対象人物の眼球の特徴量により近づける例を説明する。なお、本実施形態に係る視線検出装置１の機能的構成は、例えば、図１に示した較正でよい。また、視線検出装置１に格納される眼球特徴データベースは、例えば、図２の眼球特徴データベース１２１でもよし、図２０の眼球特徴データベース１２３でもよい。
【０１９１】
本実施形態に係る視線検出装置１は、図８に示した較正パラメータ決定処理（ステップＳ１）、及び視線検出処理（ステップＳ２）を行う。その際、視線検出装置１は、較正パラメータ決定処理として、図９又は図１５に示した処理を行う。なお、視線検出装置１は、較正パラメータ決定処理におけるステップＳ１０６の処理、すなわち眼球特徴データベースを参照して眼球特徴を決定する処理として、図２５に示す処理を行う。
【０１９２】
図２５は、第４の実施形態に係る較正パラメータ決定処理における眼球特徴を決定する処理の内容を説明するフローチャートである。
【０１９３】
眼球特徴を決定する処理（ステップＳ１０６）は、視線検出装置１の特徴決定部１０６が行う。特徴決定部１０６は、まず、眼球特徴データベース１２１を参照し（ステップＳ１６１）、算出した特徴量又は補正した特徴量と一致するレコードがあるか否かを判定する（ステップＳ１６２）。ここで、レコードは、１個の識別子と対応付けられた複数個の眼球の特徴量の組である。
【０１９４】
算出した特徴量又は補正した特徴量と一致するレコードがある場合（ステップＳ１６２；Ｙｅｓ）、特徴決定部１０６は、一致したレコードを対象人物の眼球特徴に決定する（ステップＳ１６３）。この場合、特徴決定部１０６は、ステップＳ１６３で決定した眼球特徴をパラメータ決定部１０７に送信し、眼球特徴を決定する処理を終了する。
【０１９５】
一方、算出した特徴量又は補正した特徴量と一致するレコードがない場合（ステップＳ１６２；Ｎｏ）、特徴決定部１０６は、次に、算出した特徴量又は補正した特徴量と近い特徴量を持つ複数のレコードを抽出する（ステップＳ１６４）。
【０１９６】
次に、特徴決定部１０６は、算出した特徴量又は補正した特徴量と、抽出したレコードの特徴量とに基づいて、各注視点の眼球の特徴量を算出する（ステップＳ１６５）。ステップＳ１６５において、特徴決定部１０６は、算出した特徴量又は補正した特徴量と、抽出した複数のレコードの特徴量のそれぞれとの距離の比に基づいて、各注視点の眼球の特徴量を算出する。
【０１９７】
次に、特徴決定部１０６は、ステップＳ１６５で算出した各注視点の眼球の特徴量の組を対象人物の眼球特徴に決定する（ステップＳ１６６）。ステップＳ１６６の後、特徴決定部１０６は、ステップＳ１６３で決定した眼球特徴をパラメータ算出部１０７に送信し、眼球特徴を決定する処理を終了する。
【０１９８】
図２６は、眼球特徴データベースから抽出される複数のレコードの例を示す図である。なお、図２６には、眼球特徴データベース１２１に登録された右眼のレコードの例を示している。
【０１９９】
特徴決定部１０６が行う上記の処理の例として、対象人物が注視点ＰＧ３を注視している画像から算出した右眼の特徴量（０，−１．９）と、図２６の眼球特徴データベース１２１とに基づいて眼球特徴を決定する場合を挙げる。図２６の眼球特徴データベース１２１には、注視点ＰＧ３の特徴量が特徴量（０，−１．９）であるレコードが登録されていない。そのため、特徴決定部１０６は、算出した特徴量と一致するレコードがないと判定し（ステップＳ１６２；Ｎｏ）、次に、算出した特徴量（０．−１．９）と近い特徴量を持つ複数のレコードを抽出する（ステップＳ１６４）。ステップＳ１６４において、特徴決定部１０６は、算出した特徴量と近い特徴量を持つレコードとして、識別子がＲ−ｊのレコードと、識別子がＲ−ｋのレコードとの２つのレコードを抽出する。
【０２００】
次に、特徴量決定部１０６は、算出した特徴量又は補正した特徴量と、抽出したレコードの特徴量とに基づいて、各注視点の眼球の特徴量を算出する（ステップＳ１６５）。
【０２０１】
図２７は、特徴量の算出方法を説明する図である。
ステップＳ１６５において特徴量を算出する際には、例えば、図２７に示すように、特徴量を表現する仮想平面に、算出した特徴量Ｐ（０，−１．９）と、抽出したレコードの特徴量Ｊ（０，−１．８），Ｋ（０．２，−２．２）とをプロットする。
【０２０２】
次に、特徴量Ｐから、抽出したレコードの特徴量Ｊと特徴量Ｋとを結ぶ線分ＪＫに垂線を下ろし、線分ＪＫと垂線との交点Ｎで線分ＪＫを線分ＪＮと線分ＪＫとを分割する。その後、分割した線分ＪＮと線分ＮＫとの比と、識別子がＲ−ｊのレコードと、識別子がＲ−ｋのレコードとに基づいて、対象人物が各注視点を注視したときの眼球の特徴量を算出する。
【０２０３】
線分ＪＰと線分ＪＮとのなす角をθとした場合、下記式（６−１）及び式（６−２）が成り立つ。
【０２０４】
【数２】
2017213191.tif 000004
【０２０５】
式（６−１）において、上部に矢印を付したＪＮは、特徴量Ｊから交点Ｎに向かうベクトルを意味する。式（６−１）及び式（６−２）において、上部に矢印を付したＪＰは、特徴量Ｊから特徴量Ｐに向かうベクトルを意味する。式（６−２）において、上部に矢印を付したＪＫは、特徴量Ｊから特徴量Ｋに向かうベクトルを意味する。
【０２０６】
また、式（６−１）及び式（６−２）から、式（６−３）が成り立つ。
【０２０７】
【数３】
2017213191.tif 000005
【０２０８】
したがって、仮想平面における交点Ｎの座標は、下記式（６−４）により算出することができる。
【０２０９】
【数４】
2017213191.tif 000006
【０２１０】
ここで、特徴量Ｊ＝（０，−１．８）、ベクトルＪＮ＝（Ｎｘ，Ｎｙ＋１．８）、及びベクトルＪＫ＝（０．２，−０．４）を用いて式（６−４）を解くと、交点Ｎの座標（Ｎｘ，Ｎｙ）は（０．０４，−１．８８）となる。よって、線分ＪＮと線分ＮＫとの比｜ＪＮ｜：｜ＮＫ｜は、０．０９：０．３６（＝１：４）となる。
【０２１１】
線分ＪＮと線分ＮＫとの比を求めた後、特徴決定部１０６は、注視点毎に、識別子がＲ−ｊのレコードの特徴量と、識別子がＲ−ｋのレコードの特徴量とを結ぶ線分を１：４で分割する点を算出し、それらの点を対象人物が各注視点を注視したときの特徴量とする。例えば、注視点ＰＧ１を注視したときの特徴量は、識別子がＲ−ｊのレコードでは（−４，−３）であり、識別子がＲ−ｋのレコードでは（−４．５，−４）である。そのため、特徴決定部１０６は、下記式（７−１）及び式（７−２）により、対象人物が注視点ＰＧ１を注視したときの特徴量（Ｘ，Ｙ）を算出する。
【０２１２】
Ｘ＝−４＋｛１／（１＋４）｝・｛−４．５−（−４）｝
＝−４．１                                            （７−１）
Ｙ＝−３＋｛１／（１＋４）｝・｛−４−（−３）｝
＝−３．２                                            （７−２）
【０２１３】
このように、本実施形態においては、算出した特徴量又は補正した特徴量と一致する特徴量が眼球特徴データベースに登録されていない場合、算出した特徴量又は補正した特徴量と近い特徴量を持つレコードに基づいて、対象人物の眼球特徴を決定する。このため、例えば、眼球特徴データベースに登録するレコード数の増大を抑制し、データベースの肥大化による較正パラメータ決定処理の処理負荷の増大を抑制することが可能となる。また、本実施形態においては、算出した特徴量又は補正した特徴量から抽出したレコードの特徴量までの距離に基づいて対象人物の眼球特徴を算出する。そのため、例えば、算出した特徴量又は補正した特徴量に最も近い特徴量を持つレコードを対象人物の眼球特徴に決定する場合に比べ、より対象人物の実際の眼球特徴に近い特徴量を算出することができ、視線検出の精度が向上する。
【０２１４】
なお、図２５のフローチャートは、較正パラメータ決定処理における眼球特徴を決定する処理の一例に過ぎない。眼球特徴を決定する処理は、適宜変更可能であり、図２５に示した手順に限らず、一部の処理の内容を変更したものであってもよいである。
【０２１５】
また、予め用意しておく、複数の注視点のそれぞれを注視したときの眼球の特徴量の組を含む眼球特徴の情報は、上記のように、データベースに限らず、それぞれを識別可能な別の態様で記憶部に登録（記憶）させてもよい。
【０２１６】
また、本実施形態の視線検出装置１は、第１の実施形態の視線検出装置１と同様、画像から対象人物の視線を検出する種々の視線検出システムに適用可能である。
【０２１７】
上記の各実施形態に係る視線検出装置１は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとを用いて実現することが可能である。以下、コンピュータとプログラムとを用いて実現される視線検出装置１について、図２８を参照して説明する。
【０２１８】
図２８は、コンピュータのハードウェア構成を示す図である。
図２８に示すように、コンピュータ２１は、プロセッサ２１０１と、主記憶装置２１０２と、補助記憶装置２１０３と、入力装置２１０４と、出力装置２１０５と、入出力インタフェース２１０６と、通信制御装置２１０７と、媒体駆動装置２１０８と、を備える。コンピュータ２１におけるこれらの要素２１０１〜２１０８は、バス２１１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０２１９】
プロセッサ２１０１は、Central Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ）等である。プロセッサ２１０１は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ２１の全体の動作を制御する。また、プロセッサ２１０１は、例えば、図８〜図１０に示した較正パラメータ決定処理や視線検出処理等を行う。
【０２２０】
主記憶装置２１０２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置２１０２のＲＯＭには、例えば、コンピュータ２１の起動時にプロセッサ２１０１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置２１０２のＲＡＭは、プロセッサ２１０１が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置２１０２のＲＡＭは、例えば、赤外線カメラ２０１から取得した画像、当該画像に基づいて算出した眼球の特徴量、較正パラメータ等の記憶に利用可能である。
【０２２１】
補助記憶装置２１０３は、例えば、フラッシュメモリ等の不揮発性メモリ（Solid State Drive（ＳＳＤ）を含む）やHard Disk Drive（ＨＤＤ）である。補助記憶装置２１０３には、プロセッサ２１０１によって実行される各種のプログラムや各種のデータ等の記憶に利用可能である。補助記憶装置２１０３は、例えば、較正パラメータ決定処理及び視線検出処理を含むプログラム等の記憶に利用可能である。また、補助記憶装置２１０３は、例えば、眼球特徴データベース１２１，１２３、赤外線カメラ２０１から取得した画像、較正パラメータ等の記憶や、検出した視線の履歴等の記憶に利用可能である。
【０２２２】
入力装置２１０４は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ２１のオペレータ（利用者）が入力装置２１０４に対して所定の操作を行うと、入力装置２１０４は、その操作内容に対応付けられている入力情報をプロセッサ２１０１に送信する。入力装置２１０４は、例えば、図１及び図１９の入力装置３として利用可能である。
【０２２３】
出力装置２１０５は、例えば、表示装置やスピーカ等である。出力装置２１０５は、例えば、対象人物への注視する注視点の通知等に利用可能である。すなわち、出力装置２１０５は、図１及び図１９の出力装置４として利用可能である。
【０２２４】
入出力インタフェース２１０６は、コンピュータ２１と、他の電子機器とを接続する。入出力インタフェース２１０６は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。入出力インタフェース２１０６は、例えば、コンピュータ２１と視線センサ２の赤外線カメラ２０１との接続に利用可能である。
【０２２５】
通信制御装置２１０７は、コンピュータ２１を通信ネットワークに接続し、通信ネットワークを介したコンピュータ２１と他の電子機器との各種通信を制御する装置である。通信制御装置２１０７は、例えば、データベース作成装置７で作成した眼球特徴データベースを取得して補助記憶装置２１０３等に記憶させることに利用可能である。また、通信制御装置２１０７は、図１４に示した視線検出システム１７のようなコンピュータ２１（視線検出装置１）と管理サーバ１５との通信に利用可能である。
【０２２６】
媒体駆動装置２１０８は、可搬型記憶媒体２２に記録されているプログラムやデータの読み出し、補助記憶装置２１０３に記憶されたデータ等の可搬型記憶媒体２２への書き込みを行う。媒体駆動装置２１０８として、例えば、１種類又は複数種類の規格に対応したメモリカード用リーダ／ライタが利用可能である。媒体駆動装置２１０８としてメモリカード用リーダ／ライタを用いる場合、可搬型記憶媒体２２としては、メモリカード用リーダ／ライタが対応している規格、例えば、Secure  Digital（ＳＤ）規格のメモリカード（フラッシュメモリ）等を利用可能である。また、可搬型記録媒体２２としては、例えば、ＵＳＢ規格のコネクタを備えたフラッシュメモリが利用可能である。可搬型記録媒体２２は、上記の較正パラメータ決定処理、及び視線検出処理を含むプログラム、眼球特徴データベース１２１，１２３、較正パラメータ、検出した視線等の記憶に利用可能である。
【０２２７】
また、コンピュータ２１が媒体駆動装置２１０８として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体２２として利用可能である。可搬型記録媒体２２として利用可能な光ディスクには、例えば、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等がある。
【０２２８】
コンピュータ２１は、図８の処理を開始する命令を入力すると、プロセッサ２１０１が補助記憶装置２１０３等から較正パラメータ決定処理及び視線検出処理を含むプログラムを読み出して実行する。この際、プロセッサ２１０１は、画像取得部１０１、注視点指示部１０２、特徴量算出部１０３、特徴量補正部１０５、特徴決定部１０６、パラメータ算出部１０７、及び視線算出部１０８として機能する（動作する）。更に、コンピュータ２１が第３の実施形態で説明した処理を実行する場合、プロセッサ２１０１は、虹彩半径算出部１１０としても機能する（動作する）。また、主記憶装置２１０２のＲＡＭや補助記憶装置２１０３等は、眼球特徴データベース１２１，１２３を記憶する記憶部、検出した視線を記憶する視線記憶部１２２として機能する。
【０２２９】
更に、コンピュータ２１は、視線検出装置１として動作させるだけでなく、データベース作成装置７として動作させることも可能である。コンピュータ２１をデータベース作成装置７として動作させる場合、プロセッサ２１０１には、図５の作成処理を含むプログラムを実行させる。この場合、プロセッサ２１０１は、図４に示した注視指示部７０１、画像取得部７０２、特徴量算出部７０３、距離算出部７０４、登録部７０５として機能する（動作する）。また、主記憶装置２１０２のＲＡＭや補助記憶装置２１０３等は、複数の注視点を示す情報を記憶する記憶部、赤外線カメラ２０１から取得した画像を記憶する記憶部、眼球特徴データベース１２１を記憶する記憶部として機能する。
【０２３０】
なお、視線検出装置１又はデータベース作成装置７として動作させるコンピュータ２１は、図２８に示した全ての要素２１０１〜２１０８を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ２１は、通信制御装置２１０７或いは媒体駆動装置２１０８が省略されたものであってもよい。
【０２３１】
以上記載した各実施形態に関し、更に以下の付記を開示する。
（付記１）
カメラと所定の位置関係にある視点から予め定めた複数の注視点のそれぞれを注視したときに検出される眼球の特徴量の組を含む眼球特徴が角膜半径と対応付ける態様で複数登録された記憶部と、
前記複数の注視点のうちの第一の注視点を注視している人物について、前記人物と所定の位置関係にあるカメラによって撮像された画像に基づいて、前記人物の眼球の特徴量を算出する特徴量算出部と、
前記記憶部に登録された複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量と、算出した前記人物の眼球の特徴量とに基づいて、前記人物の眼球特徴を決定する特徴決定部と、
決定した前記眼球特徴に含まれる前記複数の眼球の特徴量に基づいて、前記人物の視線に対する較正パラメータを算出するパラメータ算出部と、
を備えることを特徴とする視線検出装置。
（付記２）
前記眼球の特徴量は、前記画像に写っている前記人物の眼球における瞳孔の中心と、角膜反射の中心との位置関係を表す値である、
ことを特徴とする付記１に記載の視線検出装置。
（付記３）
前記記憶部に登録された複数の前記眼球特徴は、それぞれ、前記カメラから前記視点までの距離を表す情報を更に含み、
前記視線検出装置は、前記画像に基づいて前記カメラから前記人物までの距離を算出し、算出した前記距離と、前記記憶部に登録された前記距離を表す情報とに基づいて、前記特徴量算出部で算出した前記眼球の特徴量を補正する特徴量補正部を、更に備える、
ことを特徴とする付記２に記載の視線検出装置。
（付記４）
前記カメラから前記視点までの距離を表す前記情報、及び前記特徴量補正部で算出する前記距離は、前記画像内における前記人物の両眼の前記瞳孔の距離又は前記角膜反射の距離である、
ことを特徴とする付記３に記載の視線検出装置。
（付記５）
前記眼球の特徴量は、前記画像に写っている前記人物の眼球における瞳孔の中心と、角膜反射の中心との位置関係を表す値であり、
前記視線検出装置は、取得した前記画像に写っている右眼における前記眼球の特徴量と、左眼における前記眼球の特徴量との差に基づいて、前記特徴量算出部で算出した前記眼球の特徴量を補正する特徴量補正部を、更に備える、
ことを特徴とする付記１に記載の視線検出装置。
（付記６）
前記記憶部に登録された前記眼球の特徴量は、顔が前記カメラと正対している状態で前記複数の注視点のそれぞれを注視したときの特徴量であり、
前記特徴量補正部は、前記右眼における前記眼球の特徴量と、前記左眼における前記眼球の特徴量との差が閾値以上である場合に、前記右眼における前記眼球の特徴量及び前記左眼における前記眼球の特徴量のいずれか一方の特徴量を、他方の特徴量と一致させる補正を行う、
ことを特徴とする付記５に記載の視線検出装置。
（付記７）
前記記憶部に登録された複数の前記眼球特徴は、それぞれ、前記眼球の虹彩半径を含み、
前記視線検出装置は、取得した前記画像に基づいて前記人物の眼球の虹彩半径を算出する虹彩半径算出部、を更に備え、
前記特徴決定部は、前記第一の注視点に対応する前記眼球の特徴量と、前記虹彩半径とに基づいて、前記人物の眼球特徴を決定する、
ことを特徴とする付記１に記載の視線検出装置。
（付記８）
前記特徴決定部は、
前記記憶部に登録された複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量が、算出した前記人物の眼球の特徴量と一致する眼球特徴、又は算出した前記人物の眼球の特徴量に最も近い眼球特徴を、前記人物の眼球特徴に決定する、
ことを特徴とする付記１に記載の視線検出装置。
（付記９）
前記特徴決定部は、
前記記憶部に登録された複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量が、算出した前記人物の眼球の特徴量に近い２個の眼球特徴を抽出し、
抽出した前記眼球特徴の一方の眼球特徴における眼球の特徴量と算出した前記眼球の特徴量との距離、及び抽出した前記眼球特徴の他方の眼球特徴における眼球の特徴量と算出した前記眼球の特徴量との距離、に基づいて、前記人物が前記複数の注視点のそれぞれを注視したときの眼球の特徴量を推定し、
推定した前記眼球の特徴量の組を前記人物の眼球特徴に決定する、
ことを特徴とする付記１に記載の視線検出装置。
（付記１０）
コンピュータが、
カメラから取得した、予め定めた複数の注視点のうちの第一の注視点を注視している人物の画像に基づいて、前記人物の眼球の特徴量を算出し、
カメラと所定の位置関係にある視点から前記複数の注視点のそれぞれを注視したときに検出される眼球の特徴量の組を含む眼球特徴を、角膜半径と対応付ける態様で記憶装置に複数登録させた登録情報を参照し、複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量と、算出した前記人物の眼球の特徴量とに基づいて、前記人物の眼球特徴を決定し、
決定した前記眼球特徴に含まれる前記複数の眼球の特徴量に基づいて、前記人物の視線に対する較正パラメータを算出する、
処理を実行することを特徴とする視線検出方法。
（付記１１）
前記登録情報における複数の前記眼球特徴は、それぞれ、右眼と左眼との瞳孔間距離を含み、
前記視線検出方法は、前記人物の眼球の特徴量を算出した後、前記コンピュータが、前記画像に基づいて算出した前記人物の瞳孔間距離と、前記眼球特徴の前記瞳孔間距離とに基づいて、算出した前記人物の眼球の特徴量を補正する処理を含み、
前記眼球の特徴量を補正した場合、前記コンピュータは、前記人物の眼球特徴を決定する処理において、補正した前記眼球の特徴量と、前記登録情報とに基づいて、前記人物の眼球特徴を決定する、
ことを特徴とする付記１０に記載の視線検出方法。
（付記１２）
前記人物の眼球特徴を決定する処理において、前記コンピュータは、
前記登録情報における複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量が、算出した前記人物の眼球の特徴量に近い２個の眼球特徴を抽出し、
抽出した前記眼球特徴の一方の眼球特徴における眼球の特徴量と算出した前記眼球の特徴量との距離、及び抽出した前記眼球特徴の他方の眼球特徴における眼球の特徴量と算出した前記眼球の特徴量との距離、に基づいて、前記人物が前記複数の注視点のそれぞれを注視したときの眼球の特徴量を推定し、
推定した前記眼球の特徴量の組を前記人物の眼球特徴に決定する、
ことを特徴とする付記１０に記載の視線検出方法。
（付記１３）
カメラから取得した、予め定めた複数の注視点のうちの第一の注視点を注視している人物の画像に基づいて、前記人物の眼球の特徴量を算出し、
カメラと所定の位置関係にある視点から前記複数の注視点のそれぞれを注視したときに検出される眼球の特徴量の組を含む眼球特徴を、角膜半径と対応付ける態様で記憶装置に複数登録させた登録情報を参照し、複数の前記眼球特徴のうちの前記第一の注視点に対応する眼球の特徴量と、算出した前記人物の眼球の特徴量とに基づいて、前記人物の眼球特徴を決定し、
決定した前記眼球特徴に含まれる前記複数の眼球の特徴量に基づいて、前記人物の視線に対する較正パラメータを算出する、
処理をコンピュータに実行させる視線検出プログラム。
【符号の説明】
【０２３２】
１  視線検出装置
１０１，７０２  画像取得部
１０２，７０１  注視指示部
１０３，７０３  特徴量算出部
１０４  処理切替部
１０５  特徴量補正部
１０６  特徴決定部
１０７  パラメータ算出部
１０８  視線算出部
１２１，１２３  眼球特徴データベース
１２２  視線記憶部
２  視線センサ
２０１  赤外線カメラ
２０２  赤外線ＬＥＤ
３  入力装置
４  出力装置
５  画像
６  眼球
６０１，６０１Ｒ，６０１Ｌ  角膜反射
６０２，６０２Ｒ，６０２Ｌ  瞳孔
７  データベース作成装置
８，８Ａ，８Ｂ  車両
９  人物
１２  表示装置
１３  情報処理装置
１５  管理サーバ
１６  通信ネットワーク
２１  コンピュータ
２１０１  プロセッサ
２１０２  主記憶装置
２１０３  補助記憶装置
２１０４  入力装置
２１０５  出力装置
２１０６  入出力インタフェース
２１０７  通信制御装置
２１０８  媒体駆動装置
２２  可搬型記録媒体
【図１】
2017213191.tif 000007
【図２】
2017213191.tif 000008
【図３】
2017213191.tif 000009
【図４】
2017213191.tif 000010
【図５】
2017213191.tif 000011
【図６】
2017213191.tif 000012
【図７】
2017213191.tif 000013
【図８】
2017213191.tif 000014
【図９】
2017213191.tif 000015
【図１０】
2017213191.tif 000016
【図１１】
2017213191.tif 000017
【図１２】
2017213191.tif 000018
【図１３】
2017213191.tif 000019
【図１４】
2017213191.tif 000020
【図１５】
2017213191.tif 000021
【図１６】
2017213191.tif 000022
【図１７】
2017213191.tif 000023
【図１８】
2017213191.tif 000024
【図１９】
2017213191.tif 000025
【図２０】
2017213191.tif 000026
【図２１】
2017213191.tif 000027
【図２２】
2017213191.tif 000028
【図２３】
2017213191.tif 000029
【図２４】
2017213191.tif 000030
【図２５】
2017213191.tif 000031
【図２６】
2017213191.tif 000032
【図２７】
2017213191.tif 000033
【図２８】
2017213191.tif 000034