(57)【特許請求の範囲】
【請求項１】
被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得する取得部と、
前記表示画像を区切って分割された区画群の中から、前記取得部によって取得された前記被写体の視線位置を含む区画を検索する検索部と、
前記検索部によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定部と、
前記区画ごとに、前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置とを関連付ける関連付け部と、
前記関連付け部によって関連付けられた前記区画ごとの関連付け結果のうち、複数の区画の関連付け結果に基づいて、前記被写体の視線位置の補正に用いる前記被写体に固有の補正値を算出する補正値算出部と、
を備えることを特徴とする補正値算出装置。
【請求項２】
前記補正値算出部によって算出された前記被写体に固有の補正値に基づいて、前記被写体の視線位置を補正する補正部を備えることを特徴とする請求項１に記載の補正値算出装置。
【請求項３】
前記補正値算出部は、
前記関連付け部によって関連付けられた前記区画ごとの関連付け結果のうち、所定の区画数以上の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出することを特徴とする請求項１または２に記載の補正値算出装置。
【請求項４】
前記関連付け部によって関連付けられた前記区画ごとの関連付け結果を記憶部に登録する登録部を備え、
前記関連付け部は、
前記区画ごとに、前記登録部によって登録された当該区画の関連付け結果が所定数未満の場合、前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置とを関連付けることを特徴とする請求項１〜３のいずれか一つに記載の補正値算出装置。
【請求項５】
前記関連付け部によって関連付けられた前記区画の関連付け結果に基づいて、前記記憶部に登録されている当該区画の関連付け結果を更新する更新部を備えることを特徴とする請求項４に記載の補正値算出装置。
【請求項６】
被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得する取得工程と、
前記表示画像を区切って分割された区画群の中から、前記取得工程によって取得された前記被写体の視線位置を含む区画を検索する検索工程と、
前記検索工程によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された前記被写体の視線位置と、前記決定工程によって決定された前記区画内の注視点の座標位置とを関連付ける関連付け工程と、
前記取得工程、前記検索工程、前記特徴量算出工程、前記決定工程および前記関連付け工程が繰り返し実行された結果、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体の視線位置の補正に用いる前記被写体に固有の補正値を算出する補正値算出工程と、
をコンピュータが実行することを特徴とする補正値算出方法。
【請求項７】
被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得する取得工程と、
前記表示画像を区切って分割された区画群の中から、前記取得工程によって取得された前記被写体の視線位置を含む区画を検索する検索工程と、
前記検索工程によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された前記被写体の視線位置と、前記決定工程によって決定された注視点の座標位置とを関連付ける関連付け工程と、
前記取得工程、前記検索工程、前記特徴量算出工程、前記決定工程および前記関連付け工程が繰り返し実行された結果、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体の視線位置の補正に用いる前記被写体に固有の補正値を算出する補正値算出工程と、
をコンピュータに実行させることを特徴とする補正値算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補正値を算出する補正値算出装置、補正値算出方法および補正値算出プログラムに関する。
【背景技術】
【０００２】
人の視線を検出する技術として、近赤外線を対象者の眼球に照射して、角膜表面における反射像の位置から得られる角膜曲率中心と瞳孔中心から視線を検出するものがある。しかし、角膜表面における反射像を利用して検出される視線（以下、「仮の視線」という）と、実際の視線との間には、対象者に固有の誤差が生じる。
【０００３】
対象者に固有の誤差の発生要因としては、例えば、角膜表面における光の屈折率、眼球形状、眼球中心に対する中心窩のズレなどの個人差がある。そのため、実際の視線と仮の視線との誤差を補正するために、キャリブレーションと呼ばれる仮の視線を補正するための処理が行われる。キャリブレーションでは、対象者に固有の補正値を用いて仮の視線を補正する。
【０００４】
従来、対象者に固有の補正値は、視線検出前の段階に対象者の協力の下で行われる事前手続において求める。事前手続では、画面上に表示される複数のマーカを順に注視するように対象者に指示する。そして、事前手続では、対象者が指示されたマーカを注視した際の仮の視線と、対象者の眼球からマーカに向かう視線との誤差から補正値を算出する。
【０００５】
一方で、事前手続は、対象者の協力の下に行われるため、対象者に負担がかかるとともに、対象者の視線の検出を開始するまでに時間がかかってしまう。そこで、従来において、事前手続を行うことなく、対象者の視線を検出するための技術が各種開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６１７２８号公報
【特許文献２】特開２００３−７９５７７号公報
【特許文献３】特開２００２−３０１０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来技術によれば、画面に表示される任意の画像を見ている対象者の視線検出中に、対象者の個人差にともなう誤差を補正するための補正値を求めることが難しいという問題がある。
【０００８】
本発明は、上述した従来技術による問題点を解消するため、対象者の個人差にともなう視線の誤差を正確に補正するための補正値を求めることができる補正値算出装置、補正値算出方法および補正値算出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するため、開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得し、前記表示画像を区切って分割された区画群の中から、取得された前記被写体の視線位置を含む区画を検索し、検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出し、算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定し、前記区画ごとに、取得された前記被写体の視線位置と、決定された前記区画内の注視点の座標位置とを関連付け、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出する。
【発明の効果】
【００１０】
本補正値算出装置、補正値算出方法および補正値算出プログラムによれば、対象者の個人差にともなう視線の誤差を正確に補正するための補正値を求めることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかる補正値算出装置が適用されるシステムの一実施例を示す説明図である。
【図２】実施の形態１にかかる補正値算出装置の補正値算出処理の一実施例を示す説明図である。
【図３】実施の形態２にかかる視線検出装置のハードウェア構成の一例を示すブロック図である。
【図４】ディスプレイの外観の一例を示す説明図である。
【図５】視線検出に使用する座標系の一例を示す説明図である。
【図６】視線検出装置の機能的構成を示すブロック図である。
【図７】眼球画像の具体例を示す説明図である。
【図８】特徴量テーブルの記憶内容の一例を示す説明図である。
【図９】ベクトルペアテーブルの記憶内容の一例を示す説明図である。
【図１０】パラメータテーブルの記憶内容の一例を示す説明図である。
【図１１】視線検出結果の具体例を示す説明図である。
【図１２】区画内の閉領域の具体例を示す説明図である。
【図１３】閉領域データテーブルの記憶内容の一例を示す説明図である。
【図１４】誤差テーブルの記憶内容の一例を示す説明図である。
【図１５】第１の視線ベクトルＶ１を算出する具体的な処理内容の概要を示す説明図（その１）である。
【図１６】第１の視線ベクトルＶ１を算出する具体的な処理内容の概要を示す説明図（その２）である。
【図１７】視線ベクトルと視線位置との関係を表す説明図である。
【図１８】２値化処理の概要を示す説明図である。
【図１９】輝度・色・形が周囲と異なる領域の一例を示す説明図である。
【図２０】輝度成分に関する顕著度マップ作成処理の概要を示す説明図（その１）である。
【図２１】輝度成分に関する顕著度マップ作成処理の概要を示す説明図（その２）である。
【図２２】色成分に関する顕著度マップ作成処理の概要を示す説明図（その１）である。
【図２３】色成分に関する顕著度マップ作成処理の概要を示す説明図（その２）である。
【図２４】色成分に関する顕著度マップ作成処理の概要を示す説明図（その３）である。
【図２５】方向成分に関する顕著度マップ作成処理の概要を示す説明図（その１）である。
【図２６】方向成分に関する顕著度マップ作成処理の概要を示す説明図（その２）である。
【図２７】方向成分に関する顕著度マップ作成処理の概要を示す説明図（その３）である。
【図２８】表示画像の顕著度マップ作成処理の概要を示す説明図である。
【図２９】顕著度マップの具体例を示す説明図である。
【図３０】視線検出装置の補正値算出処理手順の一例を示すフローチャートである。
【図３１】注視点決定処理の具体的な処理手順の一例を示すフローチャート（その１）である。
【図３２】注視点決定処理の具体的な処理手順の一例を示すフローチャート（その２）である。
【図３３】注視点決定処理の具体的な処理手順の一例を示すフローチャート（その３）である。
【図３４】注視点決定処理の具体的な処理手順の一例を示すフローチャート（その４）である。
【図３５】視線検出装置の補正値算出処理手順の他の一例を示すフローチャート（その１）である。
【図３６】視線検出装置の補正値算出処理手順の他の一例を示すフローチャート（その２）である。
【図３７】視線検出装置の視線検出処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、本発明にかかる補正値算出装置、補正値算出方法および補正値算出プログラムの好適な実施の形態を詳細に説明する。
【００１３】
（実施の形態１）
まず、実施の形態１にかかる補正値算出装置１０１が適用されるシステム１００の一実施例について説明する。図１は、実施の形態１にかかる補正値算出装置が適用されるシステムの一実施例を示す説明図である。
【００１４】
図１において、システム１００は、補正値算出装置１０１と、視線検出装置１０２と、表示装置１０３と、撮影装置１０４と、を含む。システム１００において、補正値算出装置１０１と、視線検出装置１０２と、表示装置１０３と、撮影装置１０４とは、有線または無線のネットワーク１１０を介して通信可能に接続されている。
【００１５】
システム１００は、例えば、商業施設、空港、駅などに設置されるデジタルサイネージ（電子看板）を利用した広告システムや、ｅラーニング（ｅｌｅｃｔｒｏｎｉｃ  ｌｅａｒｎｉｎｇ）を利用した学習システムなどに適用される。
【００１６】
補正値算出装置１０１は、表示装置１０３が有する画面１０５に対向している被写体１２０に固有の補正値を算出する。ここで、被写体１２０とは、撮影装置１０４の撮影対象となる人である。例えば、被写体１２０は、画面１０５を見ながら作業をしているユーザでもよく、また、表示装置１０３の前を通りかかって画面１０５を見ている通行人でもよい。
【００１７】
また、被写体１２０に固有の補正値とは、キャリブレーションに用いるパラメータの値である。キャリブレーションとは、被写体１２０の眼球１２１の角膜表面における光の屈折率、眼球形状、眼球中心に対する中心窩のズレなどの個人差にともなう視線の誤差を補正するための処理である。
【００１８】
視線検出装置１０２は、表示装置１０３が有する画面１０５に対向している被写体１２０の視線位置を検出する。また、視線検出装置１０２は、補正値算出装置１０１によって算出された被写体１２０に固有の補正値を用いて、被写体１２０の視線位置を補正する。ここで、被写体１２０の視線位置とは、被写体１２０の視線と画面１０５の表示画像ＳＰとが交差する表示画像ＳＰ上の点の座標位置である。
【００１９】
被写体１２０の視線は、例えば、被写体１２０の眼球１２１の角膜曲率中心１２２から瞳孔１２３の瞳孔中心１２４に向かうベクトル（以下、「第１の視線ベクトルＶ１」と表記する）によって定義される。ここで、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置には、被写体の個人差にともなう誤差が含まれている可能性がある。そこで、以下の説明では、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置を「仮の視線位置ＶＰ」と表記する。
【００２０】
具体的には、例えば、視線検出装置１０２が、撮影装置１０４によって撮影された被写体１２０の眼の撮影画像に基づいて、被写体１２０の第１の視線ベクトルＶ１を算出する。ここで、被写体１２０の眼とは、被写体１２０の眼球１２１の表面であり、例えば、まぶたの動きに連動して露出する黒眼と白眼を含む眼球１２１の表面である。そして、視線検出装置１０２が、算出された被写体１２０の第１の視線ベクトルＶ１と、画面１０５と被写体１２０の眼球１２１との距離に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する。なお、画面１０５と被写体１２０の眼球１２１との距離は、例えば、予め設定されている。
【００２１】
表示装置１０３は、画面１０５に表示画像ＳＰを表示する。画面１０５に表示される表示画像ＳＰは、例えば、任意の時間間隔で連続的に切り替わる。表示画像ＳＰは、例えば、デジタルサイネージの広告画像でもよく、また、ｅラーニングのための教材画像でもよい。撮影装置１０４は、画面１０５に対向している被写体１２０の眼を撮影する。撮影装置１０４は、画面１０５に対向している被写体１２０の眼を撮影可能な所定の位置に設置されている。
【００２２】
実施の形態１では、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量に基づいて、被写体１２０が注視している注視点Ｇを決定する。そして、実施の形態１では、被写体１２０の実際の視線が注視点Ｇに向いていると仮定して、被写体１２０の眼の撮影画像から得られる仮の視線位置ＶＰを注視点Ｇに略一致させるための被写体１２０に固有の補正値を算出する。
【００２３】
また、実施の形態１では、被写体１２０に固有の補正値を正確に求めるために、表示画像ＳＰ上の仮の視線位置ＶＰと注視点Ｇとのペアを複数求めて、被写体１２０に固有の補正値を統計的に求める。ところが、被写体１２０が注視している注視点Ｇは、表示画像ＳＰ上の特定の領域に偏る場合がある。この場合、被写体１２０に固有の補正値を複数のペアから統計的に求めても、注視点Ｇの位置的な偏りにより、正確な補正値を算出することができない場合がある。
【００２４】
そこで、実施の形態１では、画面１０５の表示画像ＳＰを区切って分割された区画ごとに仮の視線位置ＶＰと注視点Ｇとのペアを求め、複数の区画のペアに基づいて、被写体１２０に固有の補正値を算出する。これにより、被写体１２０に固有の補正値の算出元となるペアが特定の区画に偏ることを防ぎ（すなわち、注視点Ｇの位置的な偏りを防ぎ）、被写体１２０に固有の補正値を正確に求める。以下、図２を用いて、被写体１２０に固有の補正値を算出する補正値算出装置１０１の処理手順（１）〜（７）について説明する。
【００２５】
図２は、実施の形態１にかかる補正値算出装置の補正値算出処理の一実施例を示す説明図である。（１）補正値算出装置１０１は、撮影装置１０４によって撮影された被写体１２０の眼の撮影画像に基づく被写体１２０の仮の視線位置ＶＰを視線検出装置１０２から取得する。具体的には、例えば、補正値算出装置１０１が、被写体１２０の仮の視線位置ＶＰ１を視線検出装置１０２から取得する。
【００２６】
（２）補正値算出装置１０１は、画面１０５の表示画像ＳＰを区切って分割された区画群の中から、取得された被写体１２０の仮の視線位置ＶＰを含む区画を検索する。ここで、区画とは、表示画像ＳＰを任意の大きさに区切って分割された所定範囲の領域である。具体的には、例えば、補正値算出装置１０１が、区画Ｄ１〜Ｄ４の中から、仮の視線位置ＶＰ１を含む区画Ｄ１を検索する。
【００２７】
（３）補正値算出装置１０１は、検索された区画に含まれる画素の画素値に基づいて、区画内の領域ごとの特徴を抽出した特徴量を算出する。ここで、領域とは、例えば、表示画像ＳＰを画素単位で区切って分割した画像領域である。画素値とは、例えば、画素の赤色、緑色、青色ごとの輝度である。
【００２８】
また、特徴量とは、人間の視覚的な注意を引きつける強さを表す指標値である。すなわち、特徴量が大きい領域ほど、人間の視覚的な注意を引きつける強さが大きい領域となる。具体的には、例えば、補正値算出装置１０１が、表示画像ＳＰに含まれる画素の画素値に基づいて、領域ごとの特徴を強調する処理を行うことにより、領域ごとの特徴量を算出する。
【００２９】
（４）補正値算出装置１０１は、算出された区画内の領域ごとの特徴量に基づいて、区画内の複数の領域のいずれかの領域を、被写体１２０が注視している注視点Ｇに決定する。ここで、特徴量が大きい領域ほど、人間の視覚的な注意を引きつける強さが大きくなるため、人間の視線が向きやすい領域として扱うことができる。
【００３０】
そこで、補正値算出装置１０１が、複数の領域のうち他の領域に比べて特徴量が大きい領域を、被写体１２０が注視している注視点Ｇに決定する。具体的には、例えば、補正値算出装置１０１が、区画Ｄ１内の領域ごとの特徴量に基づいて、区画Ｄ１内の領域Ａ１を、被写体１２０が注視している注視点Ｇ１に決定する。
【００３１】
（５）補正値算出装置１０１は、取得された仮の視線位置ＶＰと、決定された注視点Ｇの座標位置とを関連付ける。具体的には、例えば、補正値算出装置１０１が、取得された仮の視線位置ＶＰ１と、決定された注視点Ｇ１の座標位置とをペアＰ１として関連付ける。
【００３２】
（６）補正値算出装置１０１は、上記（１）〜（５）を繰り返した結果、関連付けられた区画ごとの関連付け結果のうち、複数の区画の関連付け結果に基づいて、被写体１２０に固有の補正値を算出する。ここで、被写体１２０の実際の視線は、眼球１２１から注視点Ｇに向かうベクトル（以下、「第２の視線ベクトルＶ２」と表記する）であると推定することができる。そこで、補正値算出装置１０１が、被写体１２０の実際の視線が注視点Ｇに向いていると仮定して、第１の視線ベクトルＶ１を第２の視線ベクトルＶ２に略一致させるための補正値を算出する。
【００３３】
具体的には、例えば、補正値算出装置１０１が、区画Ｄ１〜Ｄ４ごとのペアＰ１〜Ｐ４のうち、少なくとも２以上の区画のペアに基づいて、被写体１２０に固有の補正値を算出する。ペアＰ２は、区画Ｄ２内の仮の視線位置ＶＰ２と注視点Ｇ２の座標位置との関連付け結果である。ペアＰ３は、区画Ｄ３内の仮の視線位置ＶＰ３と注視点Ｇ３の座標位置との関連付け結果である。ペアＰ４は、区画Ｄ４内の仮の視線位置ＶＰ４と注視点Ｇ４の座標位置との関連付け結果である。
【００３４】
（７）補正値算出装置１０１は、算出された被写体１２０に固有の補正値を視線検出装置１０２に出力する。この結果、視線検出装置１０２において、被写体１２０に固有の補正値を用いて、被写体１２０の眼の撮影画像に基づく仮の視線位置ＶＰ（第１の視線ベクトルＶ１）を補正して、被写体１２０の個人差にともなう誤差を補正した視線を検出することができる。
【００３５】
以上説明したように、実施の形態１にかかる補正値算出装置１０１によれば、画面１０５の表示画像ＳＰを区切って分割された区画Ｄ１〜Ｄ４ごとに、仮の視線位置ＶＰと注視点Ｇとを関連付けることができる。これにより、表示画像ＳＰ上の複数の区画の仮の視線位置ＶＰと注視点Ｇとのペア（例えば、ペアＰ１〜Ｐ４）を求めることができる。
【００３６】
また、補正値算出装置１０１によれば、区画ごとのペアのうち、少なくとも２以上の区画のペアに基づいて、被写体１２０に固有の補正値を算出することができる。これにより、被写体１２０に固有の補正値の算出元となるペアが特定の区画に偏ることを防ぎ、被写体１２０に固有の補正値を正確に求めることができる。
【００３７】
これらのことから、実施の形態１にかかる補正値算出装置１０１によれば、視線検出前の段階に被写体１２０の協力の下で行われる事前手続を行うことなく、被写体１２０に固有の補正値を正確に求めることができる。また、補正値算出装置１０１によれば、被写体１２０に固有の補正値を求めるために、特定の画像を予め用意する必要がなく、さらに、特定の画像を被写体１２０に対して呈示する必要がない。
【００３８】
（実施の形態２）
つぎに、実施の形態２にかかる視線検出装置３００について説明する。実施の形態２では、実施の形態１で説明した補正値算出装置１０１を視線検出装置３００に適用した場合について説明する。なお、実施の形態１で説明した箇所と同一箇所については、同一符号を付して説明を省略する。
【００３９】
（視線検出装置３００のハードウェア構成）
まず、実施の形態２にかかる視線検出装置３００のハードウェア構成について説明する。図３は、実施の形態２にかかる視線検出装置のハードウェア構成の一例を示すブロック図である。図３において、視線検出装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０３と、磁気ディスクドライブ３０４と、磁気ディスク３０５と、光ディスクドライブ３０６と、光ディスク３０７と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０８と、キーボード３０９と、マウス３１０と、ディスプレイ３１１と、カメラ３１２と、を備えている。また、各構成部はバス３２０によってそれぞれ接続されている。
【００４０】
ここで、ＣＰＵ３０１は、視線検出装置３００の全体の制御を司る。ＲＯＭ３０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。磁気ディスクドライブ３０４は、ＣＰＵ３０１の制御にしたがって磁気ディスク３０５に対するデータのリード／ライトを制御する。磁気ディスク３０５は、磁気ディスクドライブ３０４の制御で書き込まれたデータを記憶する。
【００４１】
光ディスクドライブ３０６は、ＣＰＵ３０１の制御にしたがって光ディスク３０７に対するデータのリード／ライトを制御する。光ディスク３０７は、光ディスクドライブ３０６の制御で書き込まれたデータを記憶したり、光ディスク３０７に記憶されたデータをコンピュータに読み取らせたりする。
【００４２】
Ｉ／Ｆ３０８は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク３１４に接続され、ネットワーク３１４を介して他の装置に接続される。そして、Ｉ／Ｆ３０８は、ネットワーク３１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ３０８には、例えばモデムやＬＡＮアダプタなどを採用することができる。
【００４３】
キーボード３０９は、文字、数字、各種指示などの入力のためのキーを備え、データの入力を行う。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス３１０は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。
【００４４】
ディスプレイ３１１は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ３１１は、例えば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。カメラ３１２は、ディスプレイ３１１に対向している被写体の眼を撮影するためのデジタルカメラである。カメラ３１２は、例えば、被写体の眼を撮影するための専用カメラであってもよく、また、監視カメラやウェブカメラなどであってもよい。
【００４５】
（ディスプレイ３１１の外観）
つぎに、視線検出装置３００のディスプレイ３１１の外観について説明する。図４は、ディスプレイの外観の一例を示す説明図である。図４において、ディスプレイ３１１には、カメラ３１２と赤外線ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）４０１が設置されている。
【００４６】
カメラ３１２は、ディスプレイ３１１に対向している被写体の眼４０２を撮影可能な位置に設置されている。赤外線ＬＥＤ４０１は、近赤外線を照射する点光源である。赤外線ＬＥＤ４０１は、例えば、カメラ３１２の光軸から外れた位置から、被写体の眼４０２に近赤外線を照射可能な状態で設置されている。
【００４７】
（各種座標系５１０，５２０，５３０）
ここで、被写体の視線検出に使用する各種座標系５１０，５２０，５３０について説明する。図５は、視線検出に使用する座標系の一例を示す説明図である。図５において、画像座標系５１０は、例えば、カメラ３１２によって撮影された被写体の眼の撮影画像（以下、「眼球画像ＥＰ」という）の所定の基準点を原点ＯPとするＸP軸とＹP軸からなる直交座標系である。
【００４８】
カメラ座標系５２０は、例えば、カメラ原点ＯCをカメラ３１２の光学中心とするＸC軸とＹC軸とＺC軸とからなる直交座標系である。世界座標系５３０は、例えば、ディスプレイ３１１上の所定の基準点を原点ＯWとするＸW軸とＹW軸とＺW軸とからなる直交座標系である。
【００４９】
（視線検出装置３００の機能的構成）
つぎに、実施の形態２にかかる視線検出装置３００の機能的構成について説明する。図６は、視線検出装置の機能的構成を示すブロック図である。図６において、視線検出装置３００は、取得部６０１と、視線算出部６０２と、分割部６０３と、検索部６０４と、特徴量算出部６０５と、注視点決定部６０６と、関連付け部６０７と、登録／更新部６０８と、補正値算出部６０９と、補正部６１０と、出力部６１１と、判断部６１２と、誤差算出部６１３と、区画決定部６１４と、を含む。
【００５０】
各機能部（取得部６０１〜区画決定部６１４）は、例えば、図３に示したＲＯＭ３０２、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、Ｉ／Ｆ３０８により、その機能を実現する。なお、各機能部（取得部６０１〜区画決定部６１４）の処理結果は、特に指定する場合を除いて、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶される。
【００５１】
まず、取得部６０１は、例えば、連続的に表示が切り替わるディスプレイ３１１の表示画像ＳＰを取得する。具体的には、例えば、取得部６０１が、ディスプレイ３１１に表示された画面イメージを画像データとしてキャプチャすることにより表示画像ＳＰを取得する。
【００５２】
表示画像ＳＰは、動画像でも任意の時間間隔で表示が切り替わる静止画像でもよい。また、取得部６０１による表示画像ＳＰの取得タイミングは、任意に設定可能である。例えば、取得部６０１は、ディスプレイ３１１の表示が切り替わるごとに表示画像ＳＰを取得してもよい。また、取得部６０１は、一定の時間間隔で表示画像ＳＰを取得してもよい。
【００５３】
取得部６０１は、ディスプレイ３１１に対向している被写体の眼（眼球）の眼球画像ＥＰをカメラ３１２から取得する。ここで、被写体とは、カメラ３１２によって撮影される対象者である。例えば、被写体は、ディスプレイ３１１を見ながら作業をしているユーザでもよく、また、ディスプレイ３１１の前を通りかかってディスプレイ３１１を見ている通行人でもよい。
【００５４】
また、被写体の眼（眼球）とは、被写体の眼球表面であり、例えば、まぶたの動きに連動して露出する黒眼と白眼を含む部分である。なお、以下の説明では、被写体として「人」を例に挙げて説明するが、被写体は眼球を有するゴリラや猿などの「人に準ずる動物」でもよい。
【００５５】
また、取得部６０１による眼球画像ＥＰの取得タイミングは、任意に設定可能である。例えば、取得部６０１は、一定の時間間隔で眼球画像ＥＰを取得してもよい。また、取得部６０１は、表示画像ＳＰの取得タイミングと同期を取って、眼球画像ＥＰを取得してもよい。また、眼球画像ＥＰに写る被写体の眼球は、片眼でも両眼でもよい。
【００５６】
取得された眼球画像ＥＰは、例えば、取得された眼球画像ＥＰの撮影時にディスプレイ３１１に表示中の表示画像ＳＰと関連付けてＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶される。なお、眼球画像ＥＰには、例えば、眼球画像ＥＰの撮影時刻が付加されている。ここで、カメラ３１２によって撮影された眼球画像ＥＰの具体例について説明する。
【００５７】
図７は、眼球画像の具体例を示す説明図である。図７において、眼球画像ＥＰは、カメラ３１２によって人の眼球７００を撮影した画像である。なお、図面では眼球画像ＥＰの一部を抜粋して表示している。ここでは、図４に示した赤外線ＬＥＤ４０１により、眼球７００に向けて近赤外線を照射して撮影している。このため、眼球画像ＥＰにおいて、瞳孔７０１が虹彩７０２と比較して暗くなり、角膜表面にプルキニエ像７０３が現れている。プルキニエ像７０３とは、眼球７００に近赤外線を照射した際に現れる角膜表面における反射像である。
【００５８】
図６の説明に戻り、視線算出部６０２は、取得された眼球画像ＥＰに基づいて、被写体の眼球からディスプレイ３１１に向かう第１の視線ベクトルＶ１を算出する。具体的には、例えば、視線算出部６０２が、人の眼球に近赤外線を照射したときの角膜表面における反射像（例えば、図７に示したプルキニエ像７０３）を利用して、第１の視線ベクトルＶ１を算出する。
【００５９】
ただし、世界座標系５３０におけるディスプレイ３１１と被写体の眼球とのＺW軸方向の距離は、予め設定されている。具体的には、例えば、ディスプレイ３１１を、商業施設、空港、駅などに設置されるデジタルサイネージとして使用する場合、ディスプレイ３１１と被写体の眼球とのＺW軸方向の距離は１００〜１３０［ｃｍ］程度に設定される。また、ディスプレイ３１１を、パーソナル・コンピュータの画面として使用する場合、ディスプレイ３１１と被写体の眼球とのＺW軸方向の距離は３０〜５０［ｃｍ］程度に設定される。
【００６０】
また、世界座標系５３０におけるカメラ３１２の設置位置は、既知の値である。このため、カメラ３１２によって撮影された被写体の眼球画像ＥＰから第１の視線ベクトルＶ１を算出することができる。なお、第１の視線ベクトルＶ１を算出する具体的な処理内容は、図１５および図１６を用いて後述する。
【００６１】
ここで、第１の視線ベクトルＶ１は、例えば、下記式（１）を用いて、極座標系におけるベクトルによって表現される。ただし、Ｖ１は、第１の視線ベクトルである。また、ｒ１は動径であり、世界座標系５３０の原点ＯWから眼球までの距離である。また、θ１は偏角であり、第１の視線ベクトルＶ１と世界座標系５３０の基準軸（例えば、ＺW軸）とのなす角である。また、φ１は偏角であり、第１の視線ベクトルＶ１と世界座標系５３０の基準軸（例えば、ＸW軸）とのなす角である。
【００６２】
【数１】
0005716345.tif 000002
【００６３】
また、視線算出部６０２は、算出された第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する。ここで、仮の視線位置ＶＰは、被写体の眼球からディスプレイ３１１に向かう第１の視線ベクトルＶ１と、ディスプレイ３１１の表示画像ＳＰとが交差する表示画像ＳＰ上の点の座標位置である。
【００６４】
具体的には、例えば、視線算出部６０２が、第１の視線ベクトルＶ１の方向に伸びる直線と表示画像ＳＰとが交わる点の座標位置を、表示画像ＳＰ上の仮の視線位置ＶＰとして算出する。以下の説明では、仮の視線位置ＶＰの座標位置を「（ＸW，ＹW）＝（ｖｘ，ｖｙ）」と表記する。なお、仮の視線位置ＶＰを算出する具体的な処理内容については、図１７を用いて後述する。
【００６５】
分割部６０３は、ディスプレイ３１１の画面に表示された表示画像ＳＰを区切って区画群に分割する。ここで、区画とは、ディスプレイ３１１の画面を区切って分割された所定範囲の領域（例えば、円、三角形、矩形など）である。具体的には、例えば、分割部６０３が、ディスプレイ３１１の画面の縦横をそれぞれＭ等分することにより、画面を区画群に分割することにしてもよい。
【００６６】
以下の説明では、表示画像ＳＰを区切って分割された区画群を「区画Ｄ１〜Ｄｍ」と表記し、区画Ｄ１〜Ｄｍのうち任意の区画を「区画Ｄｉ」と表記する（ｉ＝１，２，…，ｍ）。また、区画Ｄｉを、世界座標系５３０のＸW座標の範囲と、世界座標系５３０のＹW座標の範囲によって指定される矩形領域とする。
【００６７】
検索部６０４は、表示画像ＳＰを区切って分割された区画Ｄ１〜Ｄｍの中から、仮の視線位置ＶＰを含む区画Ｄｉを検索する。具体的には、例えば、検索部６０４が、区画Ｄｉを指定するＸW座標の範囲内に仮の視線位置ＶＰのＸW座標「ｖｘ」を含み、かつ、区画Ｄｉを指定するＹW座標の範囲内に仮の視線位置ＶＰのＹW座標「ｖｙ」を含む区画Ｄｉを検索する。
【００６８】
特徴量算出部６０５は、検索された区画Ｄｉに含まれる画素の画素値に基づいて、区画Ｄｉ内の領域ごとの特徴を抽出した特徴量を算出する。ここで、領域とは、区画Ｄｉを任意の大きさで区切って分割した画像領域である。例えば、領域は、区画Ｄｉを画素単位で区切って分割したものでもよく、また、区画Ｄｉをａ画素×ｂ画素の単位で分割したものでもよい（ａ，ｂ：自然数）。画素の画素値とは、例えば、画素の色（赤、緑、青）ごとの輝度である。輝度とは、各領域の色ごとの明るさの度合いを表す値である。
【００６９】
特徴量とは、人の視覚的な注意を引きつける強さを表す指標値である。すなわち、区画Ｄｉ内の複数の領域のうち特徴量が大きい領域ほど、人の視覚的な注意を引きつける強さが大きい領域となる。ただし、各領域の特徴量は、複数の領域の特徴を相対評価して算出してもよく、また、各領域の特徴を絶対評価して算出してもよい。
【００７０】
具体的には、例えば、特徴量算出部６０５が、表示画像ＳＰの中から、検索された区画Ｄｉの画像を抽出する。そして、特徴量算出部６０５が、抽出された区画Ｄｉの画像上の領域ごとの特徴を抽出した特徴量を算出する。なお、特徴量算出部６０５の具体的な処理内容は、図１８〜図２９を用いて後述する。
【００７１】
また、特徴量算出部６０５が、表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量を算出する。そして、特徴量算出部６０５が、表示画像ＳＰ上の領域ごとの特徴量の中から、区画Ｄｉの領域ごとの特徴量を抽出することにしてもよい。
【００７２】
以下の説明では、領域の一例として、区画Ｄｉ内の各画素を例に挙げて説明する。また、区画Ｄｉ内の複数の画素を「画素ｐ１〜ｐｎ」と表記し、画素ｐ１〜ｐｎのうち任意の画素を「画素ｐｊ」と表記する（ｊ＝１，２，…，ｎ）。また、各画素ｐ１〜ｐｎの特徴量を「特徴量Ｃ１〜Ｃｎ」と表記する。
【００７３】
算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、例えば、図８に示す特徴量テーブル８００に記憶される。特徴量テーブル８００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。ここで、特徴量テーブル８００の記憶内容について説明する。
【００７４】
図８は、特徴量テーブルの記憶内容の一例を示す説明図である。図８において、特徴量テーブル８００は、画素ＩＤ、座標位置および特徴量のフィールドを有し、画素ｐ１〜ｐｎごとの特徴量データ８００−１〜８００−ｎをレコードとして記憶している。
【００７５】
画素ＩＤとは、区画Ｄｉ内の画素ｐｊの識別子である。座標位置は、世界座標系５３０における画素ｐｊのＸW座標およびＹW座標である。ただし、世界座標系５３０における画素ｐｊのＺW座標は「０」とする。特徴量とは、画素ｐｊの人の視覚的な注意を引きつける強さを表す指標値である。
【００７６】
図６の説明に戻り、注視点決定部６０６は、算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎに基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎのいずれかの画素ｐｊを、被写体が注視している注視点Ｇに決定する。ここで、区画Ｄｉ内の画素ｐ１〜ｐｎのうち特徴量が大きい画素ｐｊは、人の視線が向きやすい領域であり、人が注視している可能性が高い領域である。
【００７７】
そこで、注視点決定部６０６が、例えば、特徴量テーブル８００を参照して、画素ｐ１〜ｐｎのうち、特徴量が最大となる画素ｐｊを注視点Ｇに決定することにしてもよい。例えば、特徴量テーブル８００内の特徴量Ｃ１〜Ｃｎのうち特徴量Ｃ１が最大であるとする。この場合、決定部が、画素ｐ１〜ｐｎのうち、特徴量が最大となる画素ｐ１の座標位置「（ＸW，ＹW）＝（ｘ１，ｙ１）」を注視点Ｇに決定する。
【００７８】
これにより、区画Ｄｉ内の画素ｐ１〜ｐｎのうち、人の視覚的な注意を引きつける強さが最も大きく、人の視線が最も向きやすい画素ｐｊ（例えば、画素ｐ１）を注視点Ｇに決定することができる。以下の説明では、世界座標系５３０における注視点ＧのＸW座標を「ｇｘ」とし、ＹW座標を「ｇｙ」とする。ただし、世界座標系５３０における注視点ＧのＺW座標は「０」とする。なお、注視点Ｇを決定する他の決定手法については、図１３を用いて後述する。
【００７９】
また、視線算出部６０２は、被写体の眼球から、決定された注視点Ｇに向かう第２の視線ベクトルＶ２を算出する。具体的には、例えば、視線算出部６０２が、世界座標系５３０における眼球の角膜曲率中心の座標位置と注視点Ｇの座標位置とに基づいて、第２の視線ベクトルＶ２を算出する。なお、第２の視線ベクトルＶ２を算出する具体的な処理内容は、図１７を用いて後述する。
【００８０】
ここで、第２の視線ベクトルＶ２は、例えば、下記式（２）を用いて、極座標系におけるベクトルによって表現される。Ｖ２は、第２の視線ベクトルである。また、ｒ２は動径であり、世界座標系５３０の原点ＯWから眼球までの距離である。また、θ２は偏角であり、第２の視線ベクトルＶ２と世界座標系５３０の基準軸（例えば、ＺW軸）とのなす角である。また、φ２は偏角であり、第２の視線ベクトルＶ２と世界座標系５３０の基準軸（例えば、ＸW軸）とのなす角である。
【００８１】
【数２】
0005716345.tif 000003
【００８２】
関連付け部６０７は、算出された区画Ｄｉ内の仮の視線位置ＶＰと、決定された区画Ｄｉ内の注視点Ｇの座標位置とを関連付ける。具体的には、例えば、関連付け部６０７が、区画Ｄｉごとに、仮の視線位置ＶＰの算出元である第１の視線ベクトルＶ１と、被写体の眼球から注視点Ｇに向かう第２の視線ベクトルＶ２とを関連付けることにしてもよい。
【００８３】
以下の説明では、関連付け部６０７が、区画Ｄｉごとに、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付ける場合を例に挙げて説明する。
【００８４】
登録／更新部６０８は、関連付けられた区画Ｄｉのベクトルペアを図９に示すベクトルペアテーブル９００に登録する。ベクトルペアテーブル９００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。ここで、ベクトルペアテーブル９００の記憶内容について説明する。
【００８５】
図９は、ベクトルペアテーブルの記憶内容の一例を示す説明図である。図９において、ベクトルペアテーブル９００は、ペアＩＤ、区画ＩＤ、θ１、φ１、θ２およびφ２のフィールドを有し、ベクトルペアＰ１〜Ｐ３ごとの偏角データ（例えば、偏角データ９００−１〜９００−３）をレコードとして記憶している。
【００８６】
ここで、ペアＩＤとは、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２のベクトルペアの識別子である。区画ＩＤは、仮の視線位置ＶＰおよび注視点Ｇを含む区画Ｄｉの識別子である。θ１およびφ１は、第１の視線ベクトルＶ１の偏角である。θ２およびφ２は、第２の視線ベクトルＶ２の偏角である。なお、各偏角の単位は［度］である。
【００８７】
図６の説明に戻り、補正値算出部６０９は、関連付けられた区画Ｄｉごとの関連付け結果のうち、複数の区画の関連付け結果に基づいて、被写体に固有の補正値を算出する。ここで、補正値は、被写体の個人差にともなう視線位置の誤差を補正するためのキャリブレーションに用いるパラメータの値である。補正値は、具体的には、例えば、下記式（３）に示す行列Ｗ（以下、「キャリブレーション行列Ｗ」という）に含まれるパラメータω1〜ω4の値である。
【００８８】
【数３】
0005716345.tif 000004
【００８９】
具体的には、例えば、補正値算出部６０９が、下記式（４）を用いて、被写体に固有のパラメータω1〜ω4の値を算出することができる。ただし、Ｖ１は第１の視線ベクトル、Ｖ２は第２の視線ベクトル、Ｗはキャリブレーション行列である。
【００９０】
【数４】
0005716345.tif 000005
【００９１】
より具体的には、例えば、補正値算出部６０９が、関連付けられた区画Ｄｉごとの関連付け結果のうち、所定の区画数Ｎ以上の区画の関連付け結果に基づいて、被写体に固有の補正値を算出する。ここで、所定の区画数Ｎは、２以上ｎ以下の任意の値である。例えば、画面内の全区画数ｎを「ｎ＝１６」とすると、所定の区画数Ｎは、例えば、「Ｎ＝１０」、「Ｎ＝１３」、「Ｎ＝１６」などに設定される。
【００９２】
区画数Ｎの値として、例えば、画面内の全区画数ｎの値を設定することにより、補正値の算出元となる注視点Ｇの座標位置を、画面上に均一に分散させることができる。区画数Ｎは、例えば、ＲＯＭ３０２、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶されている。なお、補正値算出部６０９の具体的な処理内容については後述する。
【００９３】
また、算出された補正値は、例えば、図１０に示すパラメータテーブル１０００に記憶される。パラメータテーブル１０００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。
【００９４】
図１０は、パラメータテーブルの記憶内容の一例を示す説明図である。図１０において、パラメータテーブル１０００は、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4の値を保持している。
【００９５】
図６の説明に戻り、補正部６１０は、被写体に固有の補正値を用いて、表示画像ＳＰ上の仮の視線位置ＶＰを補正する。具体的には、例えば、補正部６１０が、下記式（５）を用いて、仮の視線位置ＶＰの算出元である第１の視線ベクトルＶ１を補正する。ただし、Ｖ１’は補正後の第１の視線ベクトル、Ｖ１は第１の視線ベクトル、Ｗはキャリブレーション行列である。
【００９６】
【数５】
0005716345.tif 000006
【００９７】
より具体的には、例えば、補正部６１０が、パラメータテーブル１０００を参照して、各パラメータω1〜ω4の値を上記式（５）に代入する。さらに、補正部６１０が、第１の視線ベクトルＶ１の動径ｒ１および偏角θ１、φ１を上記式（５）に代入することにより、補正後の第１の視線ベクトルＶ１’を算出することができる。
【００９８】
また、補正部６１０は、補正された補正後の第１の視線ベクトルＶ１’に基づいて、表示画像ＳＰ上の視線位置を算出する。具体的には、例えば、補正部６１０が、補正後の第１の視線ベクトルＶ１’の方向に伸びる直線と表示画像ＳＰとが交わる点の座標位置を、表示画像ＳＰ上の視線位置として算出する。ここで、補正後の第１の視線ベクトルＶ１’に基づく表示画像ＳＰ上の視線位置は、被写体の個人差にともなう誤差が補正された被写体の視線位置（以下、「被写体の視線位置ＲＰ」という）である。
【００９９】
出力部６１１は、表示画像ＳＰ上の被写体の視線位置ＲＰを出力する。具体的には、例えば、出力部６１１が、表示画像ＳＰと、表示画像ＳＰ上の被写体の視線位置ＲＰとを関連付けて示す視線検出結果を出力する。ここで、視線検出結果の具体例について説明する。
【０１００】
図１１は、視線検出結果の具体例を示す説明図である。図１１において、視線検出結果Ｒは、画像ＩＤ、時刻および座標位置を有している。画像ＩＤは、表示画像ＳＰの識別子である。時刻は、眼球画像ＥＰの撮影時刻であり、視線検出時刻を表している。座標位置は、世界座標系５３０における被写体の視線位置ＲＰのＸW座標およびＹW座標である。
【０１０１】
視線検出結果Ｒによれば、時刻ｔｊに表示画像ＳＰｊを見ている被写体の表示画像ＳＰｊ上での視線位置ＲＰ（ｘｊ，ｙｊ）を認識することができる。具体的には、例えば、視線検出結果Ｒは、例えば、表示装置１０３に対する入力インターフェースとして利用することができる。
【０１０２】
なお、出力部６１１の出力形式としては、例えば、ディスプレイ３１１への表示、Ｉ／Ｆ３０８による外部装置への送信がある。また、他の出力形式として、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶することにしてもよい。
【０１０３】
また、出力部６１１は、算出された被写体に固有の補正値を出力することにしてもよい。具体的には、例えば、出力部６１１が、パラメータテーブル１０００内のパラメータω1〜ω4の値を出力することにしてもよい。これにより、以降において、被写体に固有のパラメータω1〜ω4の値を用いて、キャリブレーションを行うことができる。
【０１０４】
判断部６１２は、表示画像ＳＰ上の仮の視線位置ＶＰが停留点か否かを判断する。ここで、停留点とは、被写体の視線位置が停留している点である。ここでは、仮の視線位置ＶＰが所定時間Ｔ以上、所定領域Ｑ内に留まっている場合に、仮の視線位置ＶＰが停留点であると定義する。
【０１０５】
具体的には、例えば、まず、判断部６１２が、表示画像ＳＰにおいて、仮の視線位置ＶＰ（ここでは、「仮の視線位置ＶＰ［１］」という）を中心とする所定領域Ｑを設定する。所定領域Ｑは、例えば、仮の視線位置ＶＰ［１］を中心とする半径ｑ（例えば、ｑ＝３０［ピクセル］）の円である。
【０１０６】
つぎに、視線算出部６０２が、例えば、仮の視線位置ＶＰ［１］の算出元となる眼球画像ＥＰの撮影時刻から一定時間ｔ0経過した後、新たな仮の視線位置ＶＰ［２］を算出する。そして、判断部６１２が、新たな仮の視線位置ＶＰ［２］が所定領域Ｑ内に存在するか否かを判断する。ここで、新たな仮の視線位置ＶＰ［２］が所定領域Ｑ内に存在しない場合、判断部６１２が、表示画像ＳＰ上の仮の視線位置ＶＰが停留点ではないと判断する。
【０１０７】
一方、新たな仮の視線位置ＶＰ［２］が所定領域Ｑ内に存在する場合、判断部６１２が、仮の視線位置ＶＰ［１］を算出した時点から所定時間Ｔ経過したか否かを判断する。ここで、所定時間Ｔ経過した場合、判断部６１２が、表示画像ＳＰ上の仮の視線位置ＶＰ［１］が停留点であると判断する。
【０１０８】
一方、所定時間Ｔ経過していない場合、視線算出部６０２が、仮の視線位置ＶＰ［２］の算出元となる眼球画像ＥＰの撮影時刻から一定時間ｔ0経過した後、新たな仮の視線位置ＶＰ［３］を算出して、上記同様の処理を繰り返す。これにより、表示画像ＳＰ上の仮の視線位置ＶＰが停留点か否かを判断することができる。
【０１０９】
なお、所定領域Ｑの半径ｑ、一定時間ｔ0および所定時間Ｔは、例えば、予め設定されてＲＯＭ３０２、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶されている。
【０１１０】
また、関連付け部６０７は、表示画像ＳＰ上の仮の視線位置ＶＰが停留点であると判断された場合に、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付けることにしてもよい。これにより、被写体が意識的に見た視線位置をもとに、被写体に固有の補正値を算出することができる。換言すれば、被写体の視線移動中の通過点を、補正値の算出元から排除することができる。この結果、被写体の視線の誤差を補正する際の補正精度を向上させることができる。
【０１１１】
また、関連付け部６０７は、登録／更新部６０８によって登録された区画Ｄｉのベクトルペアの数が所定数Ａ未満の場合、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付けることにしてもよい。具体的には、例えば、まず、関連付け部６０７が、ベクトルペアテーブル９００内の区画ＩＤフィールドに「Ｄｉ」が設定されているレコード数を計数することにより、区画Ｄｉのベクトルペアの数を計数する。
【０１１２】
そして、区画Ｄｉのベクトルペアの数が所定数Ａ未満の場合、関連付け部６０７が、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付ける。一方、区画Ｄｉのベクトルペアの数が所定数Ａ以上の場合、関連付け部６０７は、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との関連付けを行わない。これにより、区画Ｄｉごとのベクトルペアの数を平準化して、被写体に固有の補正値の算出元となるベクトルペアが特定の区画Ｄｉに偏ることを防ぐことができる。
【０１１３】
なお、特徴量算出部６０５は、区画Ｄｉのベクトルペアの数が所定数Ａ以上の場合、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出しないことにしてもよい。これにより、画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎの算出処理にかかる負荷を軽減することができる。
【０１１４】
また、注視点決定部６０６は、区画Ｄｉのベクトルペアの数が所定数Ａ以上の場合、区画Ｄｉ内の注視点Ｇを決定しないことにしてもよい。これにより、区画Ｄｉ内の注視点Ｇの決定処理にかかる負荷を軽減することができる。
【０１１５】
また、登録／更新部６０８は、関連付けられた区画Ｄｉのベクトルペアに基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇに決定された画素ｐｊの特徴量Ｃｊを比較する。
【０１１６】
この結果、未登録のベクトルペアの特徴量Ｃｊが大きい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇに決定された画素ｐｊの特徴量Ｃｊが大きくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。
【０１１７】
なお、上述した説明では、世界座標系５３０におけるディスプレイ３１１と被写体の眼球とのＺW軸方向の距離を、予め設定することにしたが、これに限らない。例えば、既存技術を利用して、ディスプレイ３１１に対向している被写体にレーザ光を照射し、レーザ光が反射して戻ってくるまでの時間から、ディスプレイ３１１と被写体の眼球との距離を測定することにしてもよい。
【０１１８】
（注視点Ｇの決定手法）
つぎに、表示画像ＳＰ上の仮の視線位置ＶＰを含む区画Ｄｉ内の注視点Ｇを決定する他の決定手法について説明する。以下に説明する決定手法では、人や地物などのオブジェクトを表す領域は、他の領域に比べて人間の視覚的な注意を引きつける強さが大きくなることを想定する。
【０１１９】
そこで、まず、注視点決定部６０６は、区画Ｄｉ上のオブジェクトを閉領域として抽出することにより、被写体の視線が向いている領域を絞り込む。具体的には、例えば、注視点決定部６０６が、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から複数の閉領域を抽出する。ラベリング処理とは、２値化処理された画像において、連結している画素に同じラベル（番号）を属性として付加することで、閉領域を抽出する処理である。
【０１２０】
以下の説明では、表示画像ＳＰ上の仮の視線位置ＶＰを含む区画Ｄｉ内の閉領域を「閉領域Ｈ１〜ＨＫ」と表記し、閉領域Ｈ１〜ＨＫのうち任意の閉領域を「閉領域Ｈｋ」と表記する（ｋ＝１，２，…，Ｋ）。また、閉領域Ｈｋに含まれる画素群を「画素ｐ［１］〜ｐ［Ｖ］」と表記し、画素ｐ［１］〜ｐ［Ｖ］のうち任意の画素を「画素ｐ［ｖ］」と表記する。ただし、画素ｐ［ｖ］は、区画Ｄｉ内のいずれかの画素ｐｊに対応している。さらに、各画素ｐ［１］〜ｐ［Ｖ］の特徴量を「特徴量Ｃ［１］〜Ｃ［Ｖ］」と表記する。ここで、区画Ｄｉ内の閉領域Ｈｋの具体例について説明する。
【０１２１】
図１２は、区画内の閉領域の具体例を示す説明図である。図１２において、画像１２１０は、表示画像ＳＰ上の仮の視線位置ＶＰを含む区画Ｄｉ内の各画素を「黒」または「白」によって表現する２値化画像である。具体的には、例えば、注視点決定部６０６が、区画Ｄｉの画像に対して２値化処理を施すことにより画像１２１０を作成する。２値化処理の具体的な処理内容は図１８を用いて後述する。
【０１２２】
また、画像１２２０は、画像１２１０の縦方向、横方向に連続している画素に同じラベルが付加された画像である。具体的には、例えば、注視点決定部６０６が、画像１２１０の左上から右方向に走査して、縦方向、横方向に連続している画素に同じラベルを付加することにより画像１２２０を作成する。
【０１２３】
このあと、注視点決定部６０６が、画像１２２０の中から、同じラベル（ただし、「０」を除く）が付加された画素の集合を閉領域Ｈｋとして抽出する。ここでは、画像１２２０の中から、閉領域Ｈ１〜Ｈ３が抽出される。これにより、区画Ｄｉ内のオブジェクトを閉領域Ｈ１〜Ｈ３として抽出することができる。
【０１２４】
以下、図１２に示す複数の閉領域Ｈ１〜Ｈ３の中から、注視点Ｇを含む閉領域を決定する決定手法１〜４について説明する。
【０１２５】
＜決定手法１＞
まず、各閉領域Ｈｋに含まれる画素ｐ［ｖ］ごとの特徴量Ｃ［ｖ］に基づいて、注視点Ｇを含む閉領域を決定する場合について説明する。ここでは、閉領域Ｈｋに含まれる画素ｐ［ｖ］の特徴量Ｃ［ｖ］の最大値が大きくなればなるほど、人間の視覚的な注意を引きつける強さが大きくなることを想定する。
【０１２６】
注視点決定部６０６は、図８に示した特徴量テーブル８００を参照して、区画Ｄｉ内の閉領域Ｈｋごとに、閉領域Ｈｋに含まれる画素ｐ［１］〜ｐ［Ｖ］の特徴量Ｃ［１］〜Ｃ［Ｖ］うち、最大の特徴量（以下、「極大値Ｃmax（ｋ）」と表記する）を特定する。
【０１２７】
特定された閉領域Ｈｋごとの極大値Ｃmax（ｋ）は、例えば、図１３に示す閉領域データテーブル１３００に記憶される。閉領域データテーブル１３００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。ここで、閉領域データテーブル１３００の記憶内容について説明する。
【０１２８】
図１３は、閉領域データテーブルの記憶内容の一例を示す説明図である。図１３において、閉領域データテーブル１３００は、閉領域ＩＤ、極大値、面積、集中度および評価値のフィールドを有し、閉領域Ｈｋごとの閉領域データをレコードとして記憶する。
【０１２９】
閉領域ＩＤは、閉領域Ｈｋの識別子である。極大値は、閉領域Ｈｋの極大値Ｃmax（ｋ）である。面積は、閉領域Ｈｋの面積Ｓｋである。集中度は、閉領域Ｈｋの集中度Ｆｋである。評価値は、閉領域Ｈｋの評価値Ｅｋである。なお、集中度Ｆｋおよび評価値Ｅｋについての詳細な説明は後述する。
【０１３０】
図１３の（１３−１）において、閉領域Ｈ１の閉領域ＩＤ『Ｈ１』が閉領域ＩＤフィールドに設定され、閉領域Ｈ１の極大値『２００』が極大値フィールドに設定されて、閉領域データ１３００−１がレコードとして閉領域データテーブル１３００に記憶されている。同（１３−１）において、閉領域Ｈ２の閉領域ＩＤ『Ｈ２』が閉領域ＩＤフィールドに設定され、閉領域Ｈ２の極大値『２５０』が極大値フィールドに設定されて、閉領域データ１３００−２がレコードとして閉領域データテーブル１３００に記憶されている。同（１３−１）において、閉領域Ｈ３の閉領域ＩＤ『Ｈ３』が閉領域ＩＤフィールドに設定され、閉領域Ｈ３の極大値『１００』が極大値フィールドに設定されて、閉領域データ１３００−３がレコードとして閉領域データテーブル１３００に記憶されている。
【０１３１】
注視点決定部６０６は、閉領域Ｈ１〜ＨＫの中から、極大値Ｃmax（ｋ）が最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定する。具体的には、例えば、注視点決定部６０６が、閉領域データテーブル１３００を参照して、極大値が最大の閉領域Ｈ２を、注視点Ｇを含む閉領域に決定する。
【０１３２】
ここで、閉領域Ｈ１〜ＨＫの中に、極大値Ｃmax（ｋ）が最大の閉領域Ｈｋが複数存在する場合がある。この場合、例えば、注視点決定部６０６が、極大値Ｃmax（ｋ）が最大の各閉領域Ｈｋの重心と仮の視線位置ＶＰとの距離を算出して、仮の視線位置ＶＰとの距離が最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することにしてもよい。
【０１３３】
また、注視点決定部６０６は、決定された閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のいずれかの画素ｐ［ｖ］を、被写体が注視している注視点Ｇに決定する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を注視点Ｇに決定する。
【０１３４】
この際、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素が複数存在する場合、例えば、注視点決定部６０６が、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の任意の画素ｐ［ｖ］を注視点Ｇに決定することにしてもよい。また、注視点決定部６０６は、決定された閉領域Ｈｋの重心の位置を注視点Ｇに決定することにしてもよい。
【０１３５】
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、極大値Ｃmax（ｋ）が最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。
【０１３６】
また、上記登録／更新部６０８は、注視点Ｇを含む閉領域に決定された閉領域Ｈｋの極大値Ｃmax（ｋ）に基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇを含む閉領域に決定された閉領域Ｈｋの極大値Ｃmax（ｋ）を比較する。
【０１３７】
この結果、未登録のベクトルペアの極大値Ｃmax（ｋ）が大きい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇを含む閉領域Ｈｋの極大値Ｃmax（ｋ）が大きくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。
【０１３８】
なお、区画Ｄｉから抽出された閉領域Ｈｋが一つの場合は、注視点決定部６０６は、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が最大の画素ｐ［ｖ］を注視点Ｇに決定することにしてもよい。
【０１３９】
＜決定手法２＞
つぎに、閉領域Ｈｋごとの面積Ｓｋに基づいて、注視点Ｇを含む閉領域を決定する場合について説明する。ここでは、閉領域Ｈｋの面積Ｓｋが大きくなればなるほど、人間の視覚的な注意を引きつける強さが大きくなることを想定する。
【０１４０】
注視点決定部６０６は、区画Ｄｉ内の閉領域Ｈｋごとに、閉領域Ｈｋの面積Ｓｋを算出する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋに含まれる画素ｐ［１］〜ｐ［Ｓ］の画素数を計数することにより、閉領域Ｈｋの面積Ｓｋを算出する。特定された閉領域Ｈｋごとの面積Ｓｋは、例えば、図１３に示した閉領域データテーブル１３００に記憶される。
【０１４１】
図１３の（１３−２）において、閉領域Ｈ１の面積『２６』が面積フィールドに設定されて、閉領域データ１３００−１が更新されている。同（１３−２）において、閉領域Ｈ２の面積『１３』が面積フィールドに設定されて、閉領域データ１３００−２が更新記憶されている。同（１３−２）において、閉領域Ｈ３の面積『３』が面積フィールドに設定されて、閉領域データ１３００−３が更新されている。
【０１４２】
注視点決定部６０６は、閉領域Ｈ１〜ＨＫの中から、面積Ｓｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定する。具体的には、例えば、注視点決定部６０６が、閉領域データテーブル１３００を参照して、面積が最大の閉領域Ｈ１を、注視点Ｇを含む閉領域に決定する。
【０１４３】
ここで、閉領域Ｈ１〜ＨＫの中に、面積Ｓｋが最大の閉領域Ｈｋが複数存在する場合がある。この場合、例えば、注視点決定部６０６が、面積Ｓｋが最大の各閉領域Ｈｋの重心と仮の視線位置ＶＰとの距離を算出して、仮の視線位置ＶＰとの距離が最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することにしてもよい。
【０１４４】
また、注視点決定部６０６は、決定された閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のいずれかの画素ｐ［ｖ］を、被写体が注視している注視点Ｇに決定する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を注視点Ｇに決定する。
【０１４５】
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、面積Ｓｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。
【０１４６】
また、上記登録／更新部６０８は、注視点Ｇを含む閉領域に決定された閉領域Ｈｋの面積Ｓｋに基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇを含む閉領域に決定された閉領域Ｈｋの面積Ｓｋを比較する。
【０１４７】
この結果、未登録のベクトルペアの面積Ｓｋが大きい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇを含む閉領域Ｈｋの面積Ｓｋが大きくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。
【０１４８】
＜決定手法３＞
つぎに、閉領域Ｈｋごとの集中度Ｆｋに基づいて、注視点Ｇを含む閉領域を決定する場合について説明する。ここで、集中度Ｆｋとは、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］の特徴量Ｃ［１］〜Ｃ［Ｖ］の濃度を表す指標である。ここでは、閉領域Ｈｋの集中度Ｆｋが小さくなればなるほど、人間の視覚的な注意を引きつける強さが大きくなることを想定する。
【０１４９】
注視点決定部６０６は、区画Ｄｉ内の閉領域Ｈｋごとに、閉領域Ｈｋの集中度Ｆｋを算出する。具体的には、例えば、注視点決定部６０６が、下記式（６）を用いて、閉領域Ｈｋの集中度Ｆｋを算出することができる。ただし、Ｆｋは、閉領域Ｈｋの集中度である。Ｃ［ｖ］は、閉領域Ｈｋに含まれる画素ｐ［ｖ］の特徴量である。Ｓｋは、閉領域Ｈｋの面積である。
【０１５０】
【数６】
0005716345.tif 000007
【０１５１】
なお、閉領域Ｈｋに含まれる画素ｐ［ｖ］の特徴量Ｃ［ｖ］は、例えば、特徴量テーブル８００から特定される。閉領域Ｈｋの面積Ｓｋは、例えば、図１３に示した閉領域データテーブル１３００から特定される。また、特定された閉領域Ｈｋごとの集中度Ｆｋは、例えば、閉領域データテーブル１３００に記憶される。
【０１５２】
図１３の（１３−３）において、閉領域Ｈ１の集中度『９５』が集中度フィールドに設定されて、閉領域データ１３００−１が更新されている。同（１３−３）において、閉領域Ｈ２の集中度『５０』が集中度フィールドに設定されて、閉領域データ１３００−２が更新されている。同（１３−３）において、閉領域Ｈ３の集中度『１００』が集中度フィールドに設定されて、閉領域データ１３００−３が更新されている。
【０１５３】
注視点決定部６０６は、閉領域Ｈ１〜ＨＫの中から、集中度Ｆｋが最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定する。具体的には、例えば、注視点決定部６０６が、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜Ｈ３の中から、集中度Ｆｋが最小の閉領域Ｈ２を、注視点Ｇを含む閉領域に決定する。
【０１５４】
ここで、閉領域Ｈ１〜ＨＫの中に、集中度Ｆｋが最小の閉領域Ｈｋが複数存在する場合がある。この場合、例えば、注視点決定部６０６が、集中度Ｆｋが最小の各閉領域Ｈｋの重心と仮の視線位置ＶＰとの距離を算出して、仮の視線位置ＶＰとの距離が最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することにしてもよい。
【０１５５】
また、注視点決定部６０６は、決定された閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のいずれかの画素ｐ［ｖ］を、被写体が注視している注視点Ｇに決定する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を注視点Ｇに決定する。
【０１５６】
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、集中度Ｆｋが最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。
【０１５７】
また、上記登録／更新部６０８は、注視点Ｇを含む閉領域に決定された閉領域Ｈｋの集中度Ｆｋに基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇを含む閉領域に決定された閉領域Ｈｋの集中度Ｆｋを比較する。
【０１５８】
この結果、未登録のベクトルペアの集中度Ｆｋが小さい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇを含む閉領域Ｈｋの集中度Ｆｋが小さくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。
【０１５９】
＜決定手法４＞
つぎに、閉領域Ｈｋごとの評価値Ｅｋに基づいて、注視点Ｇを含む閉領域を決定する場合について説明する。ここで、評価値Ｅｋとは、閉領域Ｈｋが注視点Ｇを含む可能性を評価するための指標である。ここでは、閉領域Ｈｋの評価値Ｅｋが大きくなればなるほど、人間の視覚的な注意を引きつける強さが大きくなることを想定する。
【０１６０】
注視点決定部６０６は、区画Ｄｉ内の閉領域Ｈｋごとに、閉領域Ｈｋの評価値Ｅｋを算出する。具体的には、例えば、注視点決定部６０６が、下記式（７）を用いて、閉領域Ｈｋの評価値Ｅｋを算出することができる。ただし、Ｅｋは、閉領域Ｈｋの評価値である。Ｃmax（ｋ）は、閉領域Ｈｋの極大値である。Ｓｋは、閉領域Ｈｋの面積である。Ｆｋは、閉領域Ｈｋの集中度である。
【０１６１】
Ｅｋ＝（Ｃmax（ｋ）×Ｓｋ）／Ｆｋ      ・・・（７）
【０１６２】
上記式（７）によれば、閉領域Ｈｋに含まれる画素ｐ［１］〜ｐ［Ｖ］の特徴量Ｃ［１］〜Ｃ［Ｖ］の総和が大きくなり、閉領域Ｈｋの面積Ｓｋが大きくなり、閉領域Ｈｋの集中度Ｆｋが小さくなれば、閉領域Ｈｋの評価値Ｅｋは大きくなる。
【０１６３】
なお、閉領域Ｈｋに含まれる画素ｐ［１］〜ｐ［Ｖ］の特徴量Ｃ［１］〜Ｃ［Ｖ］は、例えば、特徴量テーブル８００から特定される。閉領域Ｈｋの面積Ｓｋおよび集中度Ｆｋは、例えば、図１３に示した閉領域データテーブル１３００から特定される。また、特定された閉領域Ｈｋごとの評価値Ｅｋは、例えば、閉領域データテーブル１３００に記憶される。
【０１６４】
図１３の（１３−４）において、閉領域Ｈ１の評価値『５５』が評価値フィールドに設定されて、閉領域データ１３００−１が更新されている。同（１３−４）において、閉領域Ｈ２の評価値『６５』が評価値フィールドに設定されて、閉領域データ１３００−２が更新されている。同（１３−４）において、閉領域Ｈ３の評価値『３』が評価値フィールドに設定されて、閉領域データ１３００−３が更新されている。
【０１６５】
注視点決定部６０６は、閉領域Ｈ１〜ＨＫの中から、評価値Ｅｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定する。この際、ノイズ（局所的に一部の領域の特徴量が大きくなるなどの不具合）による影響を排除するために、面積Ｓｋが所定値Ｓ0未満の閉領域Ｈｋは決定対象から除外することにしてもよい。
【０１６６】
例えば、所定値Ｓ0の一例として「Ｓ0＝１０」とする。この場合、例えば、注視点決定部６０６が、閉領域データテーブル１３００を参照して、面積Ｓｋが所定値Ｓ0以上の閉領域Ｈ１，Ｈ２のうち、評価値Ｅｋが最大の閉領域Ｈ２を、注視点Ｇを含む閉領域に決定する。
【０１６７】
ここで、閉領域Ｈ１〜ＨＫの中に、評価値Ｅｋが最大の閉領域Ｈｋが複数存在する場合がある。この場合、例えば、注視点決定部６０６が、評価値Ｅｋが最大の各閉領域Ｈｋの重心と仮の視線位置ＶＰとの距離を算出して、仮の視線位置ＶＰとの距離が最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することにしてもよい。
【０１６８】
また、注視点決定部６０６は、決定された閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のいずれかの画素ｐ［ｖ］を、被写体が注視している注視点Ｇに決定する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を注視点Ｇに決定する。
【０１６９】
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、評価値Ｅｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。また、面積Ｓｋが所定値Ｓ0未満の閉領域Ｈｋは決定対象から除外することにより、ノイズによる影響を排除することができる。
【０１７０】
また、上記登録／更新部６０８は、注視点Ｇを含む閉領域に決定された閉領域Ｈｋの評価値Ｅｋに基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇを含む閉領域に決定された閉領域Ｈｋの評価値Ｅｋを比較する。
【０１７１】
この結果、未登録のベクトルペアの評価値Ｅｋが大きい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇを含む閉領域Ｈｋの評価値Ｅｋが大きくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。
【０１７２】
また、上述した決定手法１〜４において、注視点Ｇに決定された画素ｐ［ｖ］の座標位置が区画Ｄｉの境界付近の場合は、上記関連付け部６０７は、区画Ｄｉ内の仮の視線位置ＶＰと、区画Ｄｉ内の注視点Ｇの座標位置とを関連付けないことにしてもよい。すなわち、関連付け部６０７が、区画Ｄｉの第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との関連付けを行わない。これにより、複数の区画が隣接する境界付近に、各区画Ｄｉの注視点Ｇが偏ってしまうことを防ぐことができる。なお、区画Ｄｉの境界付近とは、例えば、区画Ｄｉの境界に接する画素であってもよく、また、境界から数画素（例えば、３画素）程度の範囲でもよい。
【０１７３】
（区間Ｄｉの大きさの決定手法）
つぎに、分割部６０３によって表示画像ＳＰを分割する際の区画Ｄｉの大きさを決定する決定手法について説明する。ここでは、区画Ｄｉ内の仮の視線位置ＶＰと、区画Ｄｉ内の注視点Ｇの座標位置との誤差を統計的に処理して、区画Ｄｉの適切な大きさを決定する。
【０１７４】
誤差算出部６１３は、関連付けられた区画Ｄｉ内の仮の視線位置ＶＰと、区画Ｄｉ内の注視点Ｇの座標位置との誤差εを算出する。具体的には、例えば、誤差算出部６１３が、下記式（８）を用いて、仮の視線位置ＶＰと、注視点Ｇの座標位置との誤差εを算出することができる。
【０１７５】
ただし、εは仮の視線位置ＶＰと注視点Ｇの座標位置との距離である。ｖｘは仮の視線位置ＶＰのＸW座標であり、ｖｙは仮の視線位置ＶＰのＹW座標である。ｇｘは注視点ＧのＸW座標であり、ｇｙは注視点ＧのＹW座標である。
【０１７６】
ε＝｛（ｖｘ−ｇｘ）2＋（ｖｙ−ｇｙ）2｝1/2    ・・・（８）
【０１７７】
算出された誤差εは、例えば、図１４に示す誤差テーブル１４００に記憶される。誤差テーブル１４００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。ここで、誤差テーブル１４００の記憶内容について説明する。
【０１７８】
図１４は、誤差テーブルの記憶内容の一例を示す説明図である。図１４において、誤差テーブル１４００は、標本ＩＤおよび誤差のフィールドを有し、各フィールドに情報を設定することで誤差データ（例えば、誤差データ１４００−１〜１４００−３）をレコードとして記憶している。
【０１７９】
標本ＩＤは、誤差データの識別子である。誤差は、区画Ｄｉ内の仮の視線位置ＶＰと、区画Ｄｉ内の注視点Ｇの座標位置との誤差εである。上記誤差算出部６１３によって誤差εが算出されると、その都度、標本ＩＤがインクリメントされて新たな誤差データが誤差テーブル１４００に記憶される。
【０１８０】
区画決定部６１４は、算出された誤差εに基づいて、表示画像ＳＰを区切って分割する区画Ｄｉの大きさを決定する。具体的には、例えば、区画決定部６１４が、誤差テーブル１４００を参照して、仮の視線位置ＶＰと注視点Ｇの座標位置との誤差に関する誤差分布を作成する。
【０１８１】
ここで、誤差分布とは、例えば、ｘ軸とｙ軸とからなる２次元座標系において、誤差がｘ以下となる確率ｙを表す確率密度分布である。なお、統計的な処理の精度を向上させるため、誤差テーブル１４００内の標本数が所定数Ｍ（例えば、Ｍ＝１００）以上となった場合に、誤差分布を作成することにしてもよい。
【０１８２】
そして、区画決定部６１４が、作成された誤差分布の値に基づいて、表示画像ＳＰを区切って分割する区画Ｄｉの大きさを決定する。誤差分布の値とは、例えば、誤差分布の平均μ、分散σ2、標準偏差σなどである。ここで、誤差分布において、平均μからのずれが±３σ以下の範囲に誤差が含まれる確率は約９９［％］である。
【０１８３】
そこで、区画決定部６１４が、例えば、表示画像ＳＰを区切って分割する区画Ｄｉの大きさを、１辺の長さが「６σ」の正方形に決定することにしてもよい。この場合、分割部６０３は、決定された区画Ｄｉの大きさにしたがって、ディスプレイ３１１の画面を、１辺の長さが「６σ」の正方形に区切って区画Ｄ１〜Ｄｍに分割する。
【０１８４】
これにより、区画Ｄｉの大きさをできるだけ小さくしつつ、区画Ｄｉ内でベクトルペアを高確率に作ることができる適切な大きさで表示画像ＳＰを分割することができ、補正値の算出元となるベクトルペアをより多く求めることができる。
【０１８５】
（補正値算出部６０９の具体的な処理内容）
ここで、被写体に固有の補正値を算出する補正値算出部６０９の具体的な処理内容について説明する。ここでは、まず、補正値算出部６０９が、２組のベクトルペアを用いて、パラメータω1〜ω4の値を求める場合について説明する。まず、補正値算出部６０９が、上記式（４）を展開することにより、下記式（９）および（１０）の連立方程式を求める。
【０１８６】
θ２＝ω1θ１＋ω2      ・・・（９）
φ２＝ω3φ１＋ω4      ・・・（１０）
【０１８７】
このあと、補正値算出部６０９が、例えば、図９に示したベクトルペアテーブル９００を参照して、偏角データ９００−１，９００−２を上記式（９）および（１０）に代入して、４つの連立方程式を求める。ただし、各偏角θ１、φ１、θ２およびφ２の値は、単位を［度］から［ラジアン］に変換して、上記式（９）および（１０）に代入する。
【０１８８】
そして、補正値算出部６０９が、４つの連立方程式を解くことで、パラメータω1〜ω4の値を求めることができる。偏角データ９００−１，９００−２の例では、各パラメータω1〜ω4の値は『ω1＝１．１８，ω2＝０．０８７，ω3＝９，ω4＝−２．９８』となる。
【０１８９】
つぎに、補正値算出部６０９が、３組以上のベクトルペアを用いて、パラメータω1〜ω4の値を求める場合について説明する。ここでは、最小二乗法を用いて、パラメータω1〜ω4の値を求める場合について説明する。
【０１９０】
まず、補正値算出部６０９が、ベクトルペアがＮ組のときのパラメータω1，ω2についての下記式（１１）の誤差関数を、パラメータω1，ω2それぞれについて偏微分して、下記式（１２）および（１３）の連立方程式を求める。ただし、Ｅ（ω1，ω2）は、ベクトルペアＰｊがＮ組のときのパラメータω1，ω2についての誤差関数である。θ１jは、ベクトルペアＰｊの第１の視線ベクトルＶ１の偏角θ１である。θ２jは、ベクトルペアＰｊの第２の視線ベクトルＶ２の偏角θ２である。
【０１９１】
【数７】
0005716345.tif 000008
【０１９２】
【数８】
0005716345.tif 000009
【０１９３】
同様に、補正値算出部６０９が、ベクトルペアＰｊがＮ組のときのパラメータω3，ω4についての下記式（１４）の誤差関数を、パラメータω3，ω4それぞれについて偏微分して、下記式（１５）および（１６）の連立方程式を求める。ただし、Ｅ（ω3，ω4）は、ベクトルペアＰｊがＮ組のときのパラメータω3，ω4についての誤差関数である。φ１jは、ベクトルペアＰｊの第１の視線ベクトルＶ１の偏角φ１である。φ２jは、ベクトルペアＰｊの第２の視線ベクトルＶ２の偏角φ２である。
【０１９４】
【数９】
0005716345.tif 000010
【０１９５】
【数１０】
0005716345.tif 000011
【０１９６】
このあと、補正値算出部６０９が、例えば、ベクトルペアテーブル９００を参照して、偏角データ９００−１〜９００−３の偏角θ１，θ２を上記式（１２）および（１３）に代入することにより、下記式（１７）を求める。ただし、偏角θ１，θ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１２）および（１３）に代入する。
【０１９７】
【数１１】
0005716345.tif 000012
【０１９８】
また、補正値算出部６０９が、ベクトルペアテーブル９００を参照して、偏角データ９００−１〜９００−３の偏角φ１，φ２を上記式（１５）および（１６）に代入することにより、下記式（１８）を求める。ただし、偏角φ１，φ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１５）および（１６）に代入する。
【０１９９】
【数１２】
0005716345.tif 000013
【０２００】
そして、補正値算出部６０９が、上記式（１７）および（１８）を解くことにより、パラメータω1〜ω4の値を求めることができる。偏角データ９００−１〜９００−３の例では、各パラメータω1〜ω4の値は『ω1＝０．９５，ω2＝０．１４，ω3＝１．１７，ω4＝−０．１２』となる。
【０２０１】
このように、複数のベクトルペアを用いて統計的にパラメータω1〜ω4の値を算出することにより、被写体に固有のパラメータω1〜ω4の値を精度よく求めることができる。
【０２０２】
（視線算出部６０２の具体的な処理内容）
つぎに、第１の視線ベクトルＶ１を算出する視線算出部６０２の具体的な処理内容について説明する。図１５および図１６は、第１の視線ベクトルＶ１を算出する具体的な処理内容の概要を示す説明図である。ここでは、図７に示した眼球７００に近赤外線を照射したときの角膜表面におけるプルキニエ像７０３を利用して、第１の視線ベクトルＶ１を算出する場合について説明する。
【０２０３】
（ｉ）視線算出部６０２は、画像座標系５１０における眼球画像ＥＰ上の瞳孔７０１の瞳孔中心１５０１の位置ベクトルＰ’Pおよびプルキニエ像７０３の位置ベクトルｕPを算出する。そして、視線算出部６０２は、瞳孔中心１５０１の位置ベクトルＰ’Pおよびプルキニエ像７０３の位置ベクトルｕPをカメラ座標系５２０に座標変換する。
【０２０４】
ここで、世界座標系５３０におけるプルキニエ像７０３および瞳孔中心１５０１のＺW座標は、ディスプレイ３１１と被写体の眼球７００との距離として予め設定されている。このため、カメラ座標系５２０における瞳孔中心１５０１の位置ベクトルＰ’Cは、世界座標系５３０における瞳孔中心１５０１のＺW座標と画像座標系５１０における瞳孔中心１５０１の位置ベクトルＰ’Pから求めることができる。また、カメラ座標系５２０におけるプルキニエ像７０３の位置ベクトルｕCは、世界座標系５３０におけるプルキニエ像７０３のＺW座標と画像座標系５１０におけるプルキニエ像７０３の位置ベクトルｕPから求めることができる。
【０２０５】
なお、瞳孔中心１５０１は、例えば、眼球画像ＥＰに写っている眼球表面のうち、周囲に比べて暗い楕円領域（瞳孔７０１）の中心位置である。また、プルキニエ像７０３は、例えば、眼球画像ＥＰに写っている眼球表面のうち、瞳孔７０１の近傍に位置する輝点である。
【０２０６】
（ｉｉ）視線算出部６０２は、プルキニエ像７０３の位置ベクトルｕCから、角膜１５０２の角膜曲率中心１５０３の位置ベクトルｃCを算出する。具体的には、例えば、視線算出部６０２が、下記式（１９）を用いて、角膜曲率中心１５０３の位置ベクトルｃCを算出することができる。
【０２０７】
ただし、ｃCは、カメラ座標系５２０における角膜曲率中心１５０３の位置ベクトルである。Ｃは、角膜曲率半径を表す定数である。‖ｕC‖は、位置ベクトルｕCのノルムである。なお、図１５中、符号１５０４は「房水」である。
【０２０８】
【数１３】
0005716345.tif 000014
【０２０９】
一例として、Ｃ＝７．６［ｍｍ］、プルキニエ像７０３の位置ベクトルｕC（ＸC，ＹC，ＺC）＝（３５．４２，６１．０４，６００）とする。この場合、上記式（１９）から、角膜曲率中心１５０３の位置ベクトルｃCは、『ｃC（ＸC，ＹC，ＺC）＝（３５．４２，６１．０４，６０７．６）』となる。なお、各座標値の単位は［ｍｍ］である。
【０２１０】
（ｉｉｉ）視線算出部６０２は、眼球画像ＥＰ上での瞳孔中心１５０１の位置ベクトルＰ’Cから、角膜表面での瞳孔中心１５０１の位置ベクトルＰCを算出する。具体的には、例えば、視線算出部６０２が、下記式（２０）を用いて、角膜表面での瞳孔中心１５０１の位置ベクトルＰCを算出することができる。
【０２１１】
ただし、ＰCは、角膜表面での瞳孔中心１５０１の位置ベクトルである。Ｐ’Cは、眼球画像ＥＰ上での瞳孔中心１５０１の位置ベクトルである。Ｃは、角膜曲率半径を表す定数である。‖Ｐ’C‖は、位置ベクトルＰ’Cのノルムである。また、Ｍは下記式（２１）となる。ただし、‖Ｐ’C−ｕC‖は、位置ベクトル（Ｐ’C−ｕC）のノルムである。
【０２１２】
【数１４】
0005716345.tif 000015
【０２１３】
【数１５】
0005716345.tif 000016
【０２１４】
一例として、Ｃ＝７．６［ｍｍ］、眼球画像ＥＰ上での瞳孔中心１５０１の位置ベクトルＰ’C（ＸC，ＹC，ＺC）＝（３５．１４，５９．２２，６００）とする。この場合、上記式（２０）および（２１）から、角膜表面での瞳孔中心１５０１の位置ベクトルＰCは、『ＰC（ＸC，ＹC，ＺC）＝（３５．１５，５９．４４，６０７．６）』となる。
【０２１５】
ただし、角膜１５０２に照射した光は、角膜表面で屈折する。したがって、観察された瞳孔７０１も実際の位置からは屈折して見えることになるため、位置ベクトルＰCの補正が必要となる。そこで、視線算出部６０２が、角膜表面での瞳孔中心１５０１の位置ベクトルＰCを補正する。
【０２１６】
（ｉｖ）視線算出部６０２は、角膜表面での瞳孔中心１５０１に入射した光の屈折ベクトルｔCと、角膜曲率中心１５０３から瞳孔中心１５０１までの距離Ｌとに基づいて、角膜表面での瞳孔中心１５０１の位置ベクトルＰCを補正する。具体的には、例えば、視線算出部６０２が、下記式（２２）を用いて、補正後の瞳孔中心１５０１の位置ベクトルｐCを求めることができる。
【０２１７】
ただし、ｐCは、補正後の瞳孔中心１５０１の位置ベクトルである。Ｌは、角膜曲率中心１５０３から瞳孔中心１５０１までの距離を表す定数である。Ｃは、角膜曲率半径を表す定数である。ＰCは、角膜表面での瞳孔中心１５０１の位置ベクトルである。また、ｔCは下記式（２３）となる。ただし、ｎ1は空気の屈折率、ｎ2は房水１５０４の屈折率である。ｒCは、眼球画像ＥＰ上での瞳孔中心１５０１の位置ベクトルＰ’Cの単位ベクトルである。（ｒC，ｎ）は、ｒCとｎとの内積を表す。また、ｎは下記式（２４）となる。
【０２１８】
【数１６】
0005716345.tif 000017
【０２１９】
【数１７】
0005716345.tif 000018
【０２２０】
【数１８】
0005716345.tif 000019
【０２２１】
一例として、Ｃ＝７．６［ｍｍ］、Ｌ＝４．５［ｍｍ］、屈折ベクトルｔC（ＸC，ＹC，ＺC）＝（０．０５７，０．１３，１）とし、単位ベクトルｎ（ＸC，ＹC，ＺC）＝（−０．０３６，−０．２１，−１）とする。この場合、上記式（２２）〜（２４）から、補正後の瞳孔中心１５０１の位置ベクトルｐCは、『ｐC（ＸC，ＹC，ＺC）＝（３５．３，５９．８３，６０３．０７）』となる。
【０２２２】
（ｖ）視線算出部６０２は、補正後の瞳孔中心１５０１の位置ベクトルｐCおよび角膜曲率中心１５０３の位置ベクトルｃCを、カメラ座標系５２０から世界座標系５３０に座標変換する。そして、視線算出部６０２は、世界座標系５３０における補正後の瞳孔中心１５０１の位置ベクトルｐWと、角膜曲率中心１５０３の位置ベクトルｃWとに基づいて、第１の視線ベクトルＶ１Wを算出する。
【０２２３】
具体的には、例えば、視線算出部６０２が、下記式（２５）を用いて、第１の視線ベクトルＶ１Wを求めることができる。ただし、Ｖ１Wは、世界座標系５３０における第１の視線ベクトルＶ１である。
【０２２４】
Ｖ１W＝ｐW−ｃW      ・・・（２５）
【０２２５】
一例として、瞳孔中心１５０１の位置ベクトルｐW（ＸW，ＹW，ＺW）＝（３５．３，５９．８３，６０３．０７）とし、角膜曲率中心１５０３の位置ベクトルｃW（ＸW，ＹW，ＺW）＝（３５．４２，６１．０４，６０７．６）とする。この場合、上記式（２５）から、第１の視線ベクトルＶ１Wは、『Ｖ１W（ＸW，ＹW，ＺW）＝（−０．１２，−１．２１，−４．５３）』となる。
【０２２６】
また、視線算出部６０２が、世界座標系５３０における第１の視線ベクトルＶ１Wを極座標変換することにより、上記式（１）に含まれる動径ｒ１、偏角θ１およびφ１を求めることができる。一例として、第１の視線ベクトルＶ１W（ＸW，ＹW，ＺW）＝（１，１，−７）とすると、極座標系における第１の視線ベクトルＶ１は『ｒ１＝１．７４，θ１＝１６８．５８，φ１＝４５』となる。
【０２２７】
なお、上述した説明では、人の左眼または右眼のいずれか一方の眼球に着目して、第１の視線ベクトルＶ１Wを求めることにしたが、これに限らない。例えば、視線算出部６０２が、左眼および右眼の眼球画像ＥＰから左眼および右眼の第１の視線ベクトルＶ１Wを求めて、左眼および右眼の第１の視線ベクトルＶ１Wの平均値をとることにしてもよい。
【０２２８】
（視線算出部６０２の具体的な処理内容）
第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の仮の視線位置ＶＰを算出する視線算出部６０２の具体的な処理内容について説明する。
【０２２９】
図１７は、視線ベクトルと視線位置との関係を表す説明図である。図１７において、点Ｏは、世界座標系５３０における角膜曲率中心１５０３（図１５参照）の位置ベクトルｃWの先端の点である。点Ａは、世界座標系５３０における第１の視線ベクトルＶ１Wの先端の点である。点Ａ’は、第１の視線ベクトルＶ１Wの方向に伸びる直線と表示画像ＳＰとが交わる点、すなわち、仮の視線位置ＶＰである。
【０２３０】
ここで、三角形ＯＡＢと三角形ＯＡ’Ｂ’は相似関係にある。このため、角膜曲率中心１５０３の位置ベクトルｃWのＺW座標と第１の視線ベクトルＶ１WのＺW座標との比率を利用して、仮の視線位置ＶＰを求めることができる。具体的には、例えば、視線算出部６０２が、下記式（２６）および（２７）を用いて、仮の視線位置ＶＰを求めることができる。
【０２３１】
ただし、ｖｘ，ｖｙは、仮の視線位置ＶＰのＸW座標およびＹW座標である。また、仮の視線位置ＶＰのＺW座標は「０」である。ｘV1，ｙV1は、第１の視線ベクトルＶ１WのＸW座標およびＹW座標である。Ｇは、角膜曲率中心１５０３の位置ベクトルｃWのＺW座標の絶対値である。ｇは、第１の視線ベクトルＶ１WのＺW座標の絶対値である。
【０２３２】
ｖｘ＝（Ｇ／ｇ）×ｘV1      ・・・（２６）
ｖｙ＝（Ｇ／ｇ）×ｙV1      ・・・（２７）
【０２３３】
一例として、世界座標系５３０における第１の視線ベクトルＶ１WをＶ１W（ＸW，ＹW，ＺW）＝（１．１５，１．１５，−７．００）とし、角膜曲率中心１５０３の位置ベクトルｃWをｃW（ＸW，ＹW，ＺW）＝（３０，３０，６０７）とする。この場合、上記Ｇは「Ｇ＝６０７」となり、上記ｇは「ｇ＝７」となる。
【０２３４】
したがって、仮の視線位置ＶＰのＸW座標は、上記式（２６）から「ｖｘ＝９９．７２＝（６０７／７）×１．１５」となる。また、仮の視線位置ＶＰのＹW座標は、上記式（２７）から「ｖｙ＝９９．７２＝（６０７／７）×１．１５」となる。
【０２３５】
つぎに、図１７を用いて、被写体の眼球から注視点Ｇに向かう第２の視線ベクトルＶ２を算出する視線算出部６０２の具体的な処理内容について説明する。図１７において、点Ｃは、世界座標系５３０における第２の視線ベクトルＶ２Wの先端の点である。点Ｃ’は、第２の視線ベクトルＶ２Wの方向に伸びる直線と表示画像ＳＰとが交わる点、すなわち、注視点Ｇである。
【０２３６】
ここで、三角形ＯＣＢと三角形ＯＣ’Ｂ’は相似関係にある。このため、角膜曲率中心１５０３の位置ベクトルｃWのＺW座標と第１の視線ベクトルＶ１WのＺW座標との比率を利用して、第２の視線ベクトルＶ２Wを求めることができる。具体的には、例えば、視線算出部６０２が、下記式（２８）〜（３０）を用いて、第２の視線ベクトルＶ２Wを求めることができる。
【０２３７】
ただし、ｗｘ，ｗｙは、注視点ＧのＸW座標およびＹW座標である。また、注視点ＧのＺW座標は「０」である。ｘV2，ｙV2，ｚV2は、第２の視線ベクトルＶ２WのＸW座標、ＹW座標およびＺW座標である。ｚV1は、第１の視線ベクトルＶ１WのＺW座標である。Ｇは、角膜曲率中心１５０３の位置ベクトルｃWのＺW座標の絶対値である。ｇは、第１の視線ベクトルＶ１WのＺW座標の絶対値である。
【０２３８】
ｘV2＝（ｇ／Ｇ）×ｗｘ      ・・・（２８）
ｙV2＝（ｇ／Ｇ）×ｗｙ      ・・・（２９）
ｚV2＝ｚV1                  ・・・（３０）
【０２３９】
一例として、世界座標系５３０における注視点Ｇを「Ｇ（ＸW，ＹW，ＺW）＝（１００，１００，０）」とし、角膜曲率中心１５０３の位置ベクトルｃWを「ｃW（ＸW，ＹW，ＺW）＝（３０，３０，６０７）」とする。第１の視線ベクトルＶ１WのＺW座標を「ＺW＝−７」とする。この場合、上記Ｇは「Ｇ＝６０７」となり、上記ｇは「ｇ＝７」となる。
【０２４０】
したがって、第２の視線ベクトルＶ２WのＸW座標は、上記式（２８）から「ｘV2＝１．１５」となる。また、第２の視線ベクトルＶ２WのＹW座標は、上記式（２９）から「ｙV2＝１．１５」となる。また、第２の視線ベクトルＶ２WのＺW座標は、上記式（３０）から「ｚV2＝−７」となる。
【０２４１】
そして、視線算出部６０２が、第２の視線ベクトルＶ２Wを極座標変換することにより、第２の視線ベクトルＶ２を求めることができる。一例として、第２の視線ベクトルＶ２Wを「Ｖ２W（ＸW，ＹW，ＺW）＝（１．１５，１．１５，−７）」とすると、第２の視線ベクトルＶ２は「ｒ２＝７．１８，θ２＝１６６．９２，φ２＝４５」となる。
【０２４２】
（特徴量算出部６０５の具体的な処理内容）
つぎに、表示画像ＳＰ内の領域ごとの特徴量（上述した区画Ｄｉ内の画素ｐ１〜〜ｐｎごとの特徴量Ｃ１〜Ｃｎに相当する）を算出する特徴量算出部６０５の具体的な処理内容について説明する。以下、表示画像ＳＰ内の複数の領域を「領域Ａ１〜Ａｎ」とし、領域Ａ１〜Ａｎごとの特徴量を「特徴量Ｃ１〜Ｃｎ」と表記する。ここでは、まず、表示画像ＳＰに対して２値化処理を施すことにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する場合について説明する。
【０２４３】
＜２値化処理＞
図１８は、２値化処理の概要を示す説明図である。図１８において、表示画像輝度テーブル１８１０は、領域ＩＤ、座標位置および輝度のフィールドを有し、領域Ａ１〜Ａｎごとの輝度情報１８１０−１〜１８１０−ｎを記憶している。
【０２４４】
領域ＩＤは、各領域Ａ１〜Ａｎの識別子である。座標位置は、世界座標系５３０における各領域Ａ１〜Ａｎの中心点のＸW座標およびＹW座標である。輝度は、各領域Ａ１〜Ａｎの赤（Ｒ）、緑（Ｇ）、青（Ｂ）ごとの輝度である。ここでは、各色の輝度が「０〜２５５」の２５６階調で表現されている。
【０２４５】
まず、特徴量算出部６０５は、表示画像ＳＰをグレースケール画像ＬＰに変換する。ここで、グレースケール画像ＬＰとは、画像を灰色の濃淡（白から黒までの明暗）だけで表現したものである。具体的には、例えば、特徴量算出部６０５が、表示画像ＳＰの各領域Ａ１〜Ａｎの色ごとの輝度に基づいて、グレースケール画像ＬＰにおける各領域Ａ１〜Ａｎの灰色の輝度を算出する。
【０２４６】
より具体的には、例えば、特徴量算出部６０５が、下記式（３１）を用いて、グレースケール画像ＬＰにおける領域Ａ１〜Ａｎごとの灰色の輝度を算出することができる。ただし、Ｌ（ｉ）は、グレースケール画像ＬＰにおける領域Ａｉの灰色の輝度である。Ｒ（ｉ）は、表示画像ＳＰにおける領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、表示画像ＳＰにおける領域Ａｉの緑色の輝度である。Ｂ（ｉ）は、表示画像ＳＰにおける領域Ａｉの青色の輝度である。
【０２４７】
Ｌ（ｉ）＝｛Ｒ（ｉ）＋Ｇ（ｉ）＋Ｂ（ｉ）｝／３        ・・・（３１）
【０２４８】
すなわち、特徴量算出部６０５は、表示画像輝度テーブル１８１０を参照して、領域Ａｉの輝度Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）を上記式（３１）に代入することにより、領域Ａｉの輝度Ｌ（ｉ）を算出することができる。例えば、領域Ａ４の輝度Ｌ（４）は、『Ｌ（４）＝２００』となる。
【０２４９】
なお、算出された領域Ａ１〜Ａｎごとの灰色の輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、グレースケール画像輝度テーブル１８２０に記憶される。グレースケール画像輝度テーブル１８２０は、領域ＩＤ、座標位置および輝度のフィールドを有し、領域Ａ１〜Ａｎごとの輝度情報１８２０−１〜１８２０−ｎを記憶している。ここで、輝度は、各領域Ａ１〜Ａｎの灰色（Ｌ）の輝度である。
【０２５０】
つぎに、特徴量算出部６０５は、変換後のグレースケール画像ＬＰに対して、２値化処理を実行する。ここで、２値化処理とは、濃淡のある画像を白と黒の２階調に変換する処理である。具体的には、例えば、特徴量算出部６０５は、各領域Ａ１〜Ａｎの灰色の輝度が、所定の閾値Ｌ以上となる場合は「白」、閾値Ｌ未満となる場合は「黒」に置き換える。なお、閾値Ｌは、任意に設定されて、ＲＯＭ３０２、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶されている。
【０２５１】
より具体的には、例えば、特徴量算出部６０５は、グレースケール画像輝度テーブル１８２０を参照して、領域Ａｉの灰色の輝度Ｌ（ｉ）が、閾値Ｌ以上となる場合は、輝度Ｌ（ｉ）を「２５５」に置き換える。一方、特徴量算出部６０５は、領域Ａｉの灰色の輝度Ｌ（ｉ）が、閾値Ｌ未満となる場合は、輝度Ｌ（ｉ）を「０」に置き換える。
【０２５２】
ここで、上記閾値Ｌを『Ｌ＝２００』とする。この場合、例えば、領域Ａ１の輝度Ｌ（１）は、閾値Ｌ未満のため「０」に置き換えられる。また、領域Ａ４の輝度Ｌ（４）は、閾値Ｌ以上のため「２５５」に置き換えられる。
【０２５３】
なお、２値化された領域Ａ１〜Ａｎごとの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、図８に示した特徴量テーブル８００の領域Ａ１〜Ａｎごとの「特徴量」フィールドに記憶される。すなわち、各領域Ａ１〜Ａｎの２値化後の輝度Ｌ（１）〜Ｌ（ｎ）を、人の視覚的な注意を引きつける強さを表す特徴量Ｃ１〜Ｃｎとする。
【０２５４】
このように、各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を２値化して表すことにより、領域Ａ１〜Ａｎの中から輝度・色・形が周囲と異なる領域Ａｉを特定することができる。ここで、輝度・色・形が周囲と異なる領域の一例について説明する。
【０２５５】
図１９は、輝度・色・形が周囲と異なる領域の一例を示す説明図である。なお、図面では、表示画像ＳＰの一部を抜粋して表示している。図１９において、表示画像ＳＰａでは、領域Ａａが周囲と比べて明るくなっている。表示画像ＳＰｂでは、領域Ａｂが周囲と比べて色が異なっている。表示画像ＳＰｃでは、領域Ａｃのみに文字が表示されている（形が周囲と異なる）。
【０２５６】
表示画像ＳＰにおいて、輝度・色・形が周囲と異なる領域Ａｉは、他の領域に比べて人の視線が向きやすい領域といえる。このため、各領域Ａ１〜Ａｎの輝度を２値化して表すことにより、領域Ａａ，Ａｂ，Ａｃのような輝度・色・形が周囲と異なる領域Ａｉを注視点Ｇに決定することができる。
【０２５７】
なお、視線検出装置３００は、領域Ａａ，Ａｂ，Ａｃのような輝度・色・形が周囲と異なる領域Ａｉを含む表示画像ＳＰを、視線検出中の任意のタイミングでディスプレイ３１１に表示することにしてもよい。これにより、表示画像ＳＰの中から注視点Ｇを精度よく決定して、被写体に固有の補正値（パラメータω1〜ω4の値）を高精度に算出することができる。
【０２５８】
＜顕著度マップ作成処理＞
つぎに、表示画像ＳＰに関する顕著度マップを作成することにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する場合について説明する。ここで、顕著度マップとは、表示画像ＳＰ上の領域Ａ１〜Ａｎごとの人の視覚的な注意を引きつける強さを顕著度として表すマップである。
【０２５９】
具体的には、特徴量算出部６０５が、表示画像ＳＰを輝度成分、色成分、方向成分に分離して、各成分に関する顕著度マップＭ１〜Ｍ３を作成する。そして、特徴量算出部６０５が、顕著度マップＭ１〜Ｍ３の線形和をとることにより、表示画像ＳＰの顕著度マップＭを作成する。
【０２６０】
以下、図２０〜図２８を用いて、顕著度マップ作成処理の具体的な処理内容について説明する。ここでは、まず、図２０および図２１を用いて、輝度成分に関する表示画像ＳＰの顕著度マップＭ１を作成する場合について説明する。
【０２６１】
図２０および図２１は、輝度成分に関する顕著度マップ作成処理の概要を示す説明図である。図２０において、（ｉ）特徴量算出部６０５は、表示画像ＳＰをグレースケール画像ＬＰに変換する。ここで、表示画像輝度テーブル２０１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの色（ＲＧＢ）ごとの輝度を記憶するテーブルである。
【０２６２】
具体的には、例えば、特徴量算出部６０５が、表示画像輝度テーブル２０１０を参照して、表示画像ＳＰ上の領域Ａｉの輝度Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）を上記式（３１）に代入する。これにより、グレースケール画像ＬＰ上の領域Ａｉの灰色（Ｌ）の輝度Ｌ（ｉ）を算出することができる。
【０２６３】
グレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、グレースケール画像輝度テーブル２０２０に記憶される。グレースケール画像輝度テーブル２０２０は、グレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６４】
図２０において、（ｉｉ）特徴量算出部６０５は、グレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰを作成する。ここで、ガウシアンフィルタとは、画像を滑らかにして輪郭のボケを少なくすることを目的とした平滑化フィルタである。ダウンサンプリングとは、サンプリング周波数を下げて再サンプリングすることである。
【０２６５】
ダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２０３０に記憶される。ダウンサンプリング画像輝度テーブル２０３０は、ダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６６】
図２０において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰにアップサンプリング（バイリニア補間）を実施して、ピラミッド画像ＰＰを作成する。ここで、アップサンプリングとは、サンプリング周波数を上げて再サンプリングすることである。ピラミッド画像ＰＰとは、解像度の異なる画像の集合である。
【０２６７】
ピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２０４０に記憶される。ピラミッド画像輝度テーブル２０４０は、ピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。ただし、ピラミッド画像輝度テーブル２０４０は、ピラミッド画像ＰＰの低解像度画像の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶している。
【０２６８】
図２１において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰに関する中心周辺差分処理を実施して、輝度成分に関する顕著度マップＭ１を作成する。ここで、中心周辺差分処理とは、ピラミッド画像ＰＰの高解像度画像と低解像度画像との差分を取ることである。ここでは、ピラミッド画像ＰＰの高解像度画像の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）として、グレースケール画像輝度テーブル２０２０内の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を用いる。
【０２６９】
具体的には、特徴量算出部６０５が、ピラミッド画像輝度テーブル２０４０内の領域Ａｉの輝度Ｌ（ｉ）と、グレースケール画像輝度テーブル２０２０内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度成分に関する顕著度を算出する。例えば、領域Ａ２の輝度成分に関する顕著度は、『４７＝｜３３−８０｜』となる。
【０２７０】
表示画像ＳＰ上の各領域Ａ１〜Ａｎの輝度成分に関する顕著度は、例えば、輝度顕著度テーブル２１００に記憶される。輝度顕著度テーブル２１００は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの輝度成分に関する顕著度を記憶するテーブルである。これにより、輝度成分に関する表示画像ＳＰの顕著度マップＭ１を作成することができる。
【０２７１】
なお、上述した各種テーブル２０１０，２０２０，２０３０，２０４０，２１００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。
【０２７２】
つぎに、図２２〜図２４を用いて、色成分に関する表示画像ＳＰの顕著度マップＭ２を作成する場合について説明する。図２２〜図２４は、色成分に関する顕著度マップ作成処理の概要を示す説明図である。
【０２７３】
図２２および図２３において、（ｉ）特徴量算出部６０５は、表示画像輝度テーブル２０１０（図２０参照）を参照して、表示画像ＳＰをＲ成分、Ｇ成分、Ｂ成分およびＹ（黄）成分に分離する。ここで、表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）は、例えば、特徴量算出部６０５が、下記式（３２）を用いて求めることができる。ただし、Ｙ（ｉ）は、領域Ａｉの黄色の輝度である。Ｒ（ｉ）は、領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、領域Ａｉの緑色の輝度である。Ｂ（ｉ）は、領域Ａｉの青色の輝度である。なお、Ｙ（ｉ）が負の値の場合は「Ｙ（ｉ）＝０」とする。
【０２７４】
【数１９】
0005716345.tif 000020
【０２７５】
分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色の輝度Ｒ（１）〜Ｒ（ｎ）は、例えば、Ｒ成分輝度テーブル２２１０に記憶される。Ｒ成分輝度テーブル２２１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色の輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
【０２７６】
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの緑色の輝度Ｇ（１）〜Ｇ（ｎ）は、例えば、Ｇ成分輝度テーブル２２２０に記憶される。Ｇ成分輝度テーブル２２２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの緑色の輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
【０２７７】
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色の輝度Ｂ（１）〜Ｂ（ｎ）は、例えば、Ｂ成分輝度テーブル２３１０に記憶される。Ｂ成分輝度テーブル２３１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色の輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
【０２７８】
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）は、例えば、Ｙ成分輝度テーブル２３２０に記憶される。Ｙ成分輝度テーブル２３２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
【０２７９】
図２２において、（ｉｉ）特徴量算出部６０５は、Ｒ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＲ成分のダウンサンプリング画像ＤＰを作成する。
【０２８０】
Ｒ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）は、例えば、Ｒ成分ダウンサンプリング画像輝度テーブル２２１１に記憶される。Ｒ成分ダウンサンプリング画像輝度テーブル２２１１は、Ｒ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
【０２８１】
図２２において、（ｉｉｉ）特徴量算出部６０５は、Ｒ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｒ成分のピラミッド画像ＰＰを作成する。Ｒ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）は、例えば、Ｒ成分ピラミッド画像輝度テーブル２２１２に記憶される。Ｒ成分ピラミッド画像輝度テーブル２２１２は、Ｒ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
【０２８２】
図２２において、（ｉｉ）特徴量算出部６０５は、Ｇ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＧ成分のダウンサンプリング画像ＤＰを作成する。Ｇ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）は、例えば、Ｇ成分ダウンサンプリング画像輝度テーブル２２２１に記憶される。Ｇ成分ダウンサンプリング画像輝度テーブル２２２１は、Ｇ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
【０２８３】
図２２において、（ｉｉｉ）特徴量算出部６０５は、Ｇ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｇ成分のピラミッド画像ＰＰを作成する。Ｇ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）は、例えば、Ｇ成分ピラミッド画像輝度テーブル２２２２に記憶される。Ｇ成分ピラミッド画像輝度テーブル２２２２は、Ｇ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
【０２８４】
図２３において、（ｉｉ）特徴量算出部６０５は、Ｂ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＢ成分のダウンサンプリング画像ＤＰを作成する。Ｂ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）は、例えば、Ｂ成分ダウンサンプリング画像輝度テーブル２３１１に記憶される。Ｂ成分ダウンサンプリング画像輝度テーブル２３１１は、Ｂ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
【０２８５】
図２３において、（ｉｉｉ）特徴量算出部６０５は、Ｂ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｂ成分のピラミッド画像ＰＰを作成する。Ｂ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）は、例えば、Ｂ成分ピラミッド画像輝度テーブル２３１２に記憶される。Ｂ成分ピラミッド画像輝度テーブル２３１２は、Ｂ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
【０２８６】
図２３において、（ｉｉ）特徴量算出部６０５は、Ｙ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＹ成分のダウンサンプリング画像ＤＰを作成する。Ｙ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）は、例えば、Ｙ成分ダウンサンプリング画像輝度テーブル２３２１に記憶される。Ｙ成分ダウンサンプリング画像輝度テーブル２３２１は、Ｙ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
【０２８７】
図２３において、（ｉｉｉ）特徴量算出部６０５は、Ｙ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｙ成分のピラミッド画像ＰＰを作成する。Ｙ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）は、例えば、Ｙ成分ピラミッド画像輝度テーブル２３２２に記憶される。Ｙ成分ピラミッド画像輝度テーブル２３２２は、Ｙ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
【０２８８】
図２４において、（ｉｖ）特徴量算出部６０５は、Ｒ成分の表示画像ＳＰとＧ成分の表示画像ＳＰに関する中心周辺差分処理を実施する。具体的には、例えば、特徴量算出部６０５が、下記式（３３）を用いて、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色（ＲＧ）の輝度ＲＧ（１）〜ＲＧ（ｎ）を算出する。ただし、ＲＧ（ｉ）は、表示画像ＳＰ上の領域Ａｉの赤色および緑色の輝度である。Ｒ（ｉ）は、表示画像ＳＰ上の領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、表示画像ＳＰ上の領域Ａｉの緑色の輝度である。ＲP（ｉ）は、Ｒ成分のピラミッド画像ＰＰ上の領域Ａｉの赤色の輝度である。ＧP（ｉ）は、Ｇ成分のピラミッド画像ＰＰ上の領域Ａｉの緑色の輝度である。
【０２８９】
ＲＧ（ｉ）＝｜｛Ｒ（ｉ）−Ｇ（ｉ）｝−｛ＧP（ｉ）−ＲP（ｉ）｝｜
・・・（３３）
【０２９０】
なお、輝度Ｒ（ｉ）は、Ｒ成分輝度テーブル２２１０に記憶されている。輝度Ｇ（ｉ）は、Ｇ成分輝度テーブル２２２０に記憶されている。輝度ＲP（ｉ）は、Ｒ成分ピラミッド画像輝度テーブル２２１２に記憶されている。輝度ＧP（ｉ）は、Ｇ成分ピラミッド画像輝度テーブル２２２２に記憶されている。また、算出された表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色の輝度ＲＧ（１）〜ＲＧ（ｎ）は、例えば、ＲＧ成分輝度テーブル２４１０に記憶される。ＲＧ成分輝度テーブル２４１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色の輝度ＲＧ（１）〜ＲＧ（ｎ）を記憶するテーブルである。
【０２９１】
図２４において、（ｉｖ）特徴量算出部６０５は、Ｂ成分の表示画像ＳＰとＹ成分の表示画像ＳＰに関する中心周辺差分処理を実施する。具体的には、例えば、特徴量算出部６０５が、下記式（３４）を用いて、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色（ＢＹ）の輝度ＢＹ（１）〜ＢＹ（ｎ）を算出する。ただし、ＢＹ（ｉ）は、表示画像ＳＰ上の領域Ａｉの青色および黄色の輝度である。Ｂ（ｉ）は、表示画像ＳＰ上の領域Ａｉの青色の輝度である。Ｙ（ｉ）は、表示画像ＳＰ上の領域Ａｉの黄色の輝度である。ＢP（ｉ）は、Ｂ成分のピラミッド画像ＰＰ上の領域Ａｉの青の輝度である。ＹP（ｉ）は、Ｙ成分のピラミッド画像ＰＰ上の領域Ａｉの黄色の輝度である。
【０２９２】
ＢＹ（ｉ）＝｛Ｂ（ｉ）−Ｙ（ｉ）｝−｛ＹP（ｉ）−ＢP（ｉ）｝・・・（３４）
【０２９３】
なお、輝度Ｂ（ｉ）は、Ｂ成分輝度テーブル２３１０に記憶されている。輝度Ｙ（ｉ）は、Ｙ成分輝度テーブル２３２０に記憶されている。輝度ＢP（ｉ）は、Ｂ成分ピラミッド画像輝度テーブル２３１２に記憶されている。輝度ＹP（ｉ）は、Ｙ成分ピラミッド画像輝度テーブル２３２２に記憶されている。また、算出された表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色の輝度ＢＹ（１）〜ＢＹ（ｎ）は、例えば、ＢＹ成分輝度テーブル２４２０に記憶される。ＢＹ成分輝度テーブル２４２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色の輝度ＢＹ（１）〜ＢＹ（ｎ）を記憶するテーブルである。
【０２９４】
図２４において、（ｖ）特徴量算出部６０５は、領域Ａ１〜Ａｎの輝度ＲＧ（１）〜ＲＧ（ｎ）と、領域Ａ１〜Ａｎの輝度ＢＹ（１）〜ＢＹ（ｎ）との線形和をとることにより、色成分に関する顕著度マップＭ２を作成する。具体的には、特徴量算出部６０５が、ＲＧ成分輝度テーブル２４１０内の領域Ａｉの輝度ＲＧ（ｉ）と、ＢＹ成分輝度テーブル２４２０内の領域Ａｉの輝度ＢＹ（ｉ）とを足し合わせて、領域Ａｉの色成分に関する顕著度を算出する。例えば、領域Ａ２の色成分に関する顕著度は、『３４０＝２０＋３２０』となる。
【０２９５】
表示画像ＳＰ上の各領域Ａ１〜Ａｎの色成分に関する顕著度は、例えば、色顕著度テーブル２４３０に記憶される。色顕著度テーブル２４３０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの色成分に関する顕著度を記憶するテーブルである。これにより、色成分に関する表示画像ＳＰの顕著度マップＭ２を作成することができる。
【０２９６】
なお、上述した各種テーブル２２１０〜２２１２，２２２０〜２２２２，２３１０〜２３１２，２３２０〜２３２２，２４１０，２４２０，２４３０は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。
【０２９７】
つぎに、図２５〜図２７を用いて、方向成分に関する表示画像ＳＰの顕著度マップＭ３を作成する場合について説明する。なお、以下に示す各角度（０度、４５度、９０度、１３５度）は、ガボール関数の縞模様の方向である。図２５〜図２７は、方向成分に関する顕著度マップ作成処理の概要を示す説明図である。
【０２９８】
図２５において、（ｉ）特徴量算出部６０５は、グレースケール画像輝度テーブル２０２０を参照して、グレースケール画像ＬＰに対して０度のガボールフィルタによりフィルタリングする。ガボールフィルタとは、画像の局所的な濃淡情報を取り出すものである。０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、０度ガボールフィルタ輝度テーブル２５１０に記憶される。０度ガボールフィルタ輝度テーブル２５１０は、０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２９９】
図２５において、（ｉ）特徴量算出部６０５は、グレースケール画像輝度テーブル２０２０を参照して、グレースケール画像ＬＰに対して４５度のガボールフィルタによりフィルタリングする。４５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、４５度ガボールフィルタ輝度テーブル２５２０に記憶される。４５度ガボールフィルタ輝度テーブル２５２０は、４５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０３００】
図２６において、（ｉ）特徴量算出部６０５は、グレースケール画像輝度テーブル２０２０を参照して、グレースケール画像ＬＰに対して９０度のガボールフィルタによりフィルタリングする。９０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、９０度ガボールフィルタ輝度テーブル２６１０に記憶される。９０度ガボールフィルタ輝度テーブル２６１０は、９０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０３０１】
図２６において、（ｉ）特徴量算出部６０５は、グレースケール画像輝度テーブル２０２０を参照して、グレースケール画像ＬＰに対して１３５度のガボールフィルタによりフィルタリングする。１３５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、１３５度ガボールフィルタ輝度テーブル２６２０に記憶される。１３５度ガボールフィルタ輝度テーブル２６２０は、１３５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０３０２】
図２５において、（ｉｉ）特徴量算出部６０５は、０度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（０度）を作成する。ダウンサンプリング画像ＤＰ（０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２５１１に記憶される。
【０３０３】
図２５において、（ｉｉ）特徴量算出部６０５は、４５度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（４５度）を作成する。ダウンサンプリング画像ＤＰ（４５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２５２１に記憶される。
【０３０４】
図２６において、（ｉｉ）特徴量算出部６０５は、９０度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（９０度）を作成する。ダウンサンプリング画像ＤＰ（９０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２６１１に記憶される。
【０３０５】
図２６において、（ｉｉ）特徴量算出部６０５は、１３５度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（１３５度）を作成する。ダウンサンプリング画像ＤＰ（１３５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２６２１に記憶される。
【０３０６】
図２５において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰ（０度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（０度）を作成する。ピラミッド画像ＰＰ（０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２５１２に記憶される。
【０３０７】
図２５において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰ（４５度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（４５度）を作成する。ピラミッド画像ＰＰ（４５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２５２２に記憶される。
【０３０８】
図２６において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰ（９０度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（９０度）を作成する。ピラミッド画像ＰＰ（９０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２６１２に記憶される。
【０３０９】
図２６において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰ（１３５度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（１３５度）を作成する。ピラミッド画像ＰＰ（１３５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２６２２に記憶される。
【０３１０】
図２７において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰ（０度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部６０５が、０度ガボールフィルタ輝度テーブル２５１０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２５１２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（０度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、０度差分輝度テーブル２７１１に記憶される。
【０３１１】
図２７において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰ（４５度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部６０５が、４５度ガボールフィルタ輝度テーブル２５２０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２５２２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（４５度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、４５度差分輝度テーブル２７１２に記憶される。
【０３１２】
図２７において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰ（９０度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部６０５が、９０度ガボールフィルタ輝度テーブル２６１０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２６１２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（９０度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、９０度差分輝度テーブル２７１３に記憶される。
【０３１３】
図２７において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰ（１３５度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部６０５が、１３５度ガボールフィルタ輝度テーブル２６２０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２６２２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（１３５度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、１３５度差分輝度テーブル２７１４に記憶される。
【０３１４】
図２７において、（ｖ）特徴量算出部６０５は、０度、４５度、９０度、１３５度のガボールフィルタに通したグレースケール画像ＬＰに基づく領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）の線形和をとることにより、方向成分に関する顕著度マップＭ３を作成する。具体的には、特徴量算出部６０５が、差分輝度テーブル２７１１〜２７１４内の領域Ａｉの輝度Ｌ（ｉ）を足し合わせて、領域Ａｉの方向成分に関する顕著度を算出する。例えば、領域Ａ３の方向成分に関する顕著度は、『１７０＝０＋０＋０＋１７０』となる。
【０３１５】
表示画像ＳＰ上の各領域Ａ１〜Ａｎの方向成分に関する顕著度は、例えば、方向顕著度テーブル２７２０に記憶される。方向顕著度テーブル２７２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの方向成分に関する顕著度を記憶するテーブルである。これにより、方向成分に関する表示画像ＳＰの顕著度マップＭ３を作成することができる。
【０３１６】
なお、上述した各種テーブル２５１０〜２５１２，２５２０〜２５２２，２６１０〜２６１２，２６２０〜２６２２，２７１１〜２７１４，２７２０は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。
【０３１７】
つぎに、図２８を用いて、輝度成分、色成分および方向成分に関する表示画像ＳＰの顕著度マップＭ１〜Ｍ３の線形和をとることにより、表示画像ＳＰの顕著度マップＭを作成する場合について説明する。
【０３１８】
図２８は、表示画像の顕著度マップ作成処理の概要を示す説明図である。図２８において、（ｉ）特徴量算出部６０５は、輝度顕著度テーブル２１００（図２１参照）の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、例えば、領域Ａ２の顕著度が「４７」から「１２０」に変換されている。
【０３１９】
図２８において、（ｉ）特徴量算出部６０５は、色顕著度テーブル２４３０の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、例えば、領域Ａ３の顕著度が「７８０」から「２５５」に変換されている。
【０３２０】
図２８において、（ｉ）特徴量算出部６０５は、方向顕著度テーブル２７２０の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、例えば、領域Ａ２の顕著度が「１７０」から「２５５」に変換されている。
【０３２１】
図２８において、（ｉｉ）特徴量算出部６０５は、輝度、色、方向顕著度テーブル２１００，２４３０，２７２０の領域Ａ１〜Ａｎごとの顕著度の線形合成を行うことにより、領域Ａ１〜Ａｎごとの顕著度を算出する。これにより、表示画像ＳＰに関する顕著度マップＭを作成することができる。
【０３２２】
具体的には、特徴量算出部６０５が、輝度、色、方向顕著度テーブル２１００，２４３０，２７２０の領域Ａ１〜Ａｎごとの顕著度の線形和をとる。そして、特徴量算出部６０５が、線形和をとった領域Ａ１〜Ａｎごとの顕著度を最小値が「０」かつ最大値が「２５５」となるように正規化する。算出された領域Ａ１〜Ａｎごとの顕著度は、例えば、図８に示した特徴量テーブル８００内の領域Ａ１〜Ａｎごとの「特徴量」フィールドに記憶される。すなわち、ここでは、各領域Ａ１〜Ａｎの顕著度を、人の視覚的な注意を引きつける強さを表す特徴量Ｃ１〜Ｃｎとしている。
【０３２３】
ここで、領域Ａ１〜Ａｎのうち領域Ａ１〜Ａ４に着目する。この場合、例えば、上記注視点決定部６０６は、特徴量テーブル８００を参照して、領域Ａ１〜Ａ４のうち、特徴量が最大の領域Ａ３を注視点Ｇに決定する。ここで、表示画像ＳＰに関する顕著度マップＭの具体例について説明する。
【０３２４】
図２９は、顕著度マップの具体例を示す説明図である。図２９において、表示画像２９０１は、ディスプレイ３１１に表示された表示画像ＳＰである。また、顕著度マップ２９０２は、表示画像２９０１の顕著度マップＭである。顕著度マップ２９０２では、輝度や色などの特徴が周囲に比べて顕著な部分を強調して表している。
【０３２５】
具体的には、顕著度マップ２９０２において、白い部分は黒い部分に比べて人の視覚的な注意を引きつける強さが大きいことを表している。顕著度マップ２９０２によれば、表示画像２９０１の中から人が注視しやすい注視点Ｇを高精度に決定することができる。
【０３２６】
（視線検出装置３００の補正値算出処理手順）
つぎに、視線検出装置３００の補正値算出処理手順について説明する。ここでは、ベクトルペアテーブル９００に登録する区画Ｄｉのベクトルペアの数が「１」の場合を例に挙げて説明する（すなわち、上記所定数Ａ＝１）。
【０３２７】
図３０は、視線検出装置の補正値算出処理手順の一例を示すフローチャート（その１）である。図３０のフローチャートにおいて、まず、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得したか否かを判断する（ステップＳ３００１）。表示画像ＳＰは、眼球画像ＥＰの撮影時にディスプレイ３１１に表示中のものである。
【０３２８】
ここで、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得するのを待つ（ステップＳ３００１：Ｎｏ）。そして、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得した場合（ステップＳ３００１：Ｙｅｓ）、視線算出部６０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ３００２）。第１の視線ベクトルＶ１は、被写体の眼球からディスプレイ３１１に向かうベクトルである。
【０３２９】
つぎに、視線算出部６０２により、算出された第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する（ステップＳ３００３）。そして、分割部６０３により、ディスプレイ３１１の画面に表示された表示画像ＳＰを区切って区画Ｄ１〜Ｄｍに分割する（ステップＳ３００４）。
【０３３０】
このあと、検索部６０４により、分割された区画Ｄ１〜Ｄｍの中から、仮の視線位置ＶＰを含む区画Ｄｉを検索する（ステップＳ３００５）。そして、特徴量算出部６０５により、区画Ｄｉのベクトルペアがベクトルペアテーブル９００に登録済みか否かを判断する（ステップＳ３００６）。
【０３３１】
ここで、区画Ｄｉのベクトルペアが登録済みの場合（ステップＳ３００６：Ｙｅｓ）、ステップＳ３００１に戻る。一方、区画Ｄｉのベクトルペアが未登録の場合（ステップＳ３００６：Ｎｏ）、注視点決定部６０６により、区画Ｄｉ内の被写体が注視している注視点Ｇを決定する注視点決定処理を実行する（ステップＳ３００７）。
【０３３２】
このあと、視線算出部６０２により、被写体の眼球から、決定された注視点Ｇに向かう第２の視線ベクトルＶ２を算出する（ステップＳ３００８）。つぎに、関連付け部６０７により、ステップＳ３００２において算出された第１の視線ベクトルＶ１と、ステップＳ３００８において算出された第２の視線ベクトルＶ２とを区画Ｄｉのベクトルペアとして関連付ける（ステップＳ３００９）。
【０３３３】
そして、更新部により、区画Ｄｉのベクトルペアをベクトルペアテーブル９００に登録する（ステップＳ３０１０）。つぎに、補正値算出部６０９により、ベクトルペアテーブル９００に登録されているベクトルペアの数ｃが所定の区画数Ｎ以上となったか否かを判断する（ステップＳ３０１１）。ここで、区画数Ｎ未満の場合（ステップＳ３０１１：Ｎｏ）、ステップＳ３００１に戻る。
【０３３４】
一方、区画数Ｎ以上の場合（ステップＳ３０１１：Ｙｅｓ）、補正値算出部６０９により、ベクトルペアテーブル９００を参照して、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4の値を算出する（ステップＳ３０１２）。そして、補正値算出部６０９により、算出されたパラメータω1〜ω4の値をパラメータテーブル１０００に登録して（ステップＳ３０１３）、本フローチャートによる一連の処理を終了する。
【０３３５】
これにより、区画Ｄ１〜Ｄｍのうち、Ｎ個の区画のベクトルペアに基づいて、被写体に固有の補正値を算出することができる。この結果、被写体に固有の補正値の算出元となるベクトルペアが特定の区画Ｄｉに偏ることを防ぐことができ、被写体に固有の補正値を正確に求めることができる。
【０３３６】
なお、上記区画決定部６１４によって区画Ｄｉの大きさが決定されている場合は、ステップＳ３００４において、決定された区画Ｄｉの大きさにしたがって、ディスプレイ３１１の画面を区画Ｄ１〜Ｄｍに分割することにしてもよい。
【０３３７】
＜注視点決定処理の具体的な処理手順＞
つぎに、図３０に示したステップＳ３００７の注視点決定処理の具体的な処理手順について説明する。まず、区画Ｄｉ内の閉領域Ｈｋごとの極大値Ｃmax（ｋ）を用いて、区画Ｄｉ内の注視点Ｇを含む閉領域を決定する場合について説明する。
【０３３８】
図３１は、注視点決定処理の具体的な処理手順の一例を示すフローチャート（その１）である。図３１のフローチャートにおいて、まず、特徴量算出部６０５により、図３０に示したステップＳ３００５において検索された区画Ｄｉ内の画素ｐ１〜ｐｎの画素値に基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ３１０１）。算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、特徴量テーブル８００に記憶される。
【０３３９】
つぎに、注視点決定部６０６により、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から閉領域Ｈｋを抽出する（ステップＳ３１０２）。このあと、注視点決定部６０６により、複数の閉領域Ｈｋが抽出されたか否かを判断し（ステップＳ３１０３）、複数の閉領域Ｈｋが抽出されなかった場合（ステップＳ３１０３：Ｎｏ）、ステップＳ３１０９に移行する。
【０３４０】
一方、複数の閉領域Ｈｋが抽出された場合（ステップＳ３１０３：Ｙｅｓ）、注視点決定部６０６により、閉領域Ｈｋのｋを「ｋ＝１」とする（ステップＳ３１０４）。そして、注視点決定部６０６により、特徴量テーブル８００を参照して、閉領域Ｈｋの極大値Ｃmax（ｋ）を特定する（ステップＳ３１０５）。特定された閉領域Ｈｋの極大値Ｃmax（ｋ）は、閉領域データテーブル１３００に記憶される。
【０３４１】
このあと、注視点決定部６０６により、閉領域Ｈｋのｋをインクリメントして（ステップＳ３１０６）、「ｋ＞Ｋ」となったか否かを判断する（ステップＳ３１０７）。ここで、「ｋ≦Ｋ」の場合（ステップＳ３１０７：Ｎｏ）、ステップＳ３１０５に戻る。
【０３４２】
一方、「ｋ＞Ｋ」の場合（ステップＳ３１０７：Ｙｅｓ）、注視点決定部６０６により、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜ＨＫの中から極大値Ｃmax（ｋ）が最大の閉領域Ｈｋを特定する（ステップＳ３１０８）。
【０３４３】
つぎに、注視点決定部６０６により、特定された閉領域Ｈｋ内の特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を特定する（ステップＳ３１０９）。そして、注視点決定部６０６により、特定された画素ｐ［ｖ］を注視点Ｇに決定して（ステップＳ３１１０）、図３０に示したステップＳ３００８に移行する。
【０３４４】
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、極大値Ｃmax（ｋ）が最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。
【０３４５】
つぎに、区画Ｄｉ内の閉領域Ｈｋごとの面積Ｓｋを用いて、区画Ｄｉ内の注視点Ｇを含む閉領域を決定する場合について説明する。
【０３４６】
図３２は、注視点決定処理の具体的な処理手順の一例を示すフローチャート（その２）である。図３２のフローチャートにおいて、まず、特徴量算出部６０５により、図３０に示したステップＳ３００５において検索された区画Ｄｉ内の画素ｐ１〜ｐｎの画素値に基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ３２０１）。算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、特徴量テーブル８００に記憶される。
【０３４７】
つぎに、注視点決定部６０６により、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から閉領域Ｈｋを抽出する（ステップＳ３２０２）。このあと、注視点決定部６０６により、複数の閉領域Ｈｋが抽出されたか否かを判断し（ステップＳ３２０３）、複数の閉領域Ｈｋが抽出されなかった場合（ステップＳ３２０３：Ｎｏ）、ステップＳ３２０９に移行する。
【０３４８】
一方、複数の閉領域Ｈｋが抽出された場合（ステップＳ３２０３：Ｙｅｓ）、注視点決定部６０６により、閉領域Ｈｋのｋを「ｋ＝１」とする（ステップＳ３２０４）。そして、注視点決定部６０６により、閉領域Ｈｋの面積Ｓｋを算出する（ステップＳ３２０５）。算出された閉領域Ｈｋの面積Ｓｋは、閉領域データテーブル１３００に記憶される。
【０３４９】
このあと、注視点決定部６０６により、閉領域Ｈｋのｋをインクリメントして（ステップＳ３２０６）、「ｋ＞Ｋ」となったか否かを判断する（ステップＳ３２０７）。ここで、「ｋ≦Ｋ」の場合（ステップＳ３２０７：Ｎｏ）、ステップＳ３２０５に戻る。
【０３５０】
一方、「ｋ＞Ｋ」の場合（ステップＳ３２０７：Ｙｅｓ）、注視点決定部６０６により、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜ＨＫの中から面積Ｓｋが最大の閉領域Ｈｋを特定する（ステップＳ３２０８）。
【０３５１】
つぎに、注視点決定部６０６により、特定された閉領域Ｈｋ内の特徴量Ｃ［ｖ］が最大の画素ｐ［ｖ］を特定する（ステップＳ３２０９）。そして、注視点決定部６０６により、特定された画素ｐ［ｖ］を注視点Ｇに決定して（ステップＳ３２１０）、図３０に示したステップＳ３００８に移行する。
【０３５２】
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、面積Ｓｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。
【０３５３】
つぎに、区画Ｄｉ内の閉領域Ｈｋごとの集中度Ｆｋを用いて、区画Ｄｉ内の注視点Ｇを含む閉領域を決定する場合について説明する。
【０３５４】
図３３は、注視点決定処理の具体的な処理手順の一例を示すフローチャート（その３）である。図３３のフローチャートにおいて、まず、特徴量算出部６０５により、図３０に示したステップＳ３００５において検索された区画Ｄｉ内の画素ｐ１〜ｐｎの画素値に基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ３３０１）。算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、特徴量テーブル８００に記憶される。
【０３５５】
つぎに、注視点決定部６０６により、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から閉領域Ｈｋを抽出する（ステップＳ３３０２）。このあと、注視点決定部６０６により、複数の閉領域Ｈｋが抽出されたか否かを判断し（ステップＳ３３０３）、複数の閉領域Ｈｋが抽出されなかった場合（ステップＳ３３０３：Ｎｏ）、ステップＳ３３１０に移行する。
【０３５６】
一方、複数の閉領域Ｈｋが抽出された場合（ステップＳ３３０３：Ｙｅｓ）、注視点決定部６０６により、閉領域Ｈｋのｋを「ｋ＝１」とする（ステップＳ３３０４）。そして、注視点決定部６０６により、閉領域Ｈｋの面積Ｓｋを算出する（ステップＳ３３０５）。算出された閉領域Ｈｋの面積Ｓｋは、閉領域データテーブル１３００に記憶される。
【０３５７】
つぎに、注視点決定部６０６により、閉領域Ｈｋの集中度Ｆｋを算出する（ステップＳ３３０６）。算出された閉領域Ｈｋの集中度Ｆｋは、閉領域データテーブル１３００に記憶される。このあと、注視点決定部６０６により、閉領域Ｈｋのｋをインクリメントして（ステップＳ３３０７）、「ｋ＞Ｋ」となったか否かを判断する（ステップＳ３３０８）。
【０３５８】
ここで、「ｋ≦Ｋ」の場合（ステップＳ３３０８：Ｎｏ）、ステップＳ３３０５に戻る。一方、「ｋ＞Ｋ」の場合（ステップＳ３３０８：Ｙｅｓ）、注視点決定部６０６により、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜ＨＫの中から集中度Ｆｋが最小の閉領域Ｈｋを特定する（ステップＳ３３０９）。
【０３５９】
つぎに、注視点決定部６０６により、特定された閉領域Ｈｋ内の特徴量Ｃ［ｖ］が最大の画素ｐ［ｖ］を特定する（ステップＳ３３１０）。そして、注視点決定部６０６により、特定された画素ｐ［ｖ］を注視点Ｇに決定して（ステップＳ３３１１）、図３０に示したステップＳ３００８に移行する。
【０３６０】
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、集中度Ｆｋが最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。
【０３６１】
つぎに、区画Ｄｉ内の閉領域Ｈｋごとの評価値Ｅｋを用いて、区画Ｄｉ内の注視点Ｇを含む閉領域を決定する場合について説明する。
【０３６２】
図３４は、注視点決定処理の具体的な処理手順の一例を示すフローチャート（その４）である。図３４のフローチャートにおいて、まず、特徴量算出部６０５により、図３０に示したステップＳ３００５において検索された区画Ｄｉ内の画素ｐ１〜ｐｎの画素値に基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ３４０１）。算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、特徴量テーブル８００に記憶される。
【０３６３】
つぎに、注視点決定部６０６により、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から閉領域Ｈｋを抽出する（ステップＳ３４０２）。このあと、注視点決定部６０６により、複数の閉領域Ｈｋが抽出されたか否かを判断し（ステップＳ３４０３）、複数の閉領域Ｈｋが抽出されなかった場合（ステップＳ３４０３：Ｎｏ）、ステップＳ３４１２に移行する。
【０３６４】
一方、複数の閉領域Ｈｋが抽出された場合（ステップＳ３４０３：Ｙｅｓ）、注視点決定部６０６により、閉領域Ｈｋのｋを「ｋ＝１」とする（ステップＳ３４０４）。そして、注視点決定部６０６により、特徴量テーブル８００を参照して、閉領域Ｈｋの極大値Ｃmax（ｋ）を特定する（ステップＳ３４０５）。特定された閉領域Ｈｋの極大値Ｃmax（ｋ）は、閉領域データテーブル１３００に記憶される。
【０３６５】
このあと、注視点決定部６０６により、閉領域Ｈｋの面積Ｓｋを算出する（ステップＳ３４０６）。算出された閉領域Ｈｋの面積Ｓｋは、閉領域データテーブル１３００に記憶される。つぎに、注視点決定部６０６により、閉領域Ｈｋの集中度Ｆｋを算出する（ステップＳ３４０７）。算出された閉領域Ｈｋの集中度Ｆｋは、閉領域データテーブル１３００に記憶される。
【０３６６】
そして、注視点決定部６０６により、閉領域Ｈｋの評価値Ｅｋを算出する（ステップＳ３４０８）。算出された閉領域Ｈｋの評価値Ｅｋは、閉領域データテーブル１３００に記憶される。このあと、注視点決定部６０６により、閉領域Ｈｋのｋをインクリメントして（ステップＳ３４０９）、「ｋ＞Ｋ」となったか否かを判断する（ステップＳ３４１０）。
【０３６７】
ここで、「ｋ≦Ｋ」の場合（ステップＳ３４１０：Ｎｏ）、ステップＳ３４０５に戻る。一方、「ｋ＞Ｋ」の場合（ステップＳ３４１０：Ｙｅｓ）、注視点決定部６０６により、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜ＨＫの中から評価値Ｅｋが最大の閉領域Ｈｋを特定する（ステップＳ３４１１）。
【０３６８】
つぎに、注視点決定部６０６により、特定された閉領域Ｈｋ内の特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を特定する（ステップＳ３４１２）。そして、注視点決定部６０６により、特定された画素ｐ［ｖ］を注視点Ｇに決定して（ステップＳ３４１３）、図３０に示したステップＳ３００８に移行する。
【０３６９】
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、評価値Ｅｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。
【０３７０】
（視線検出装置３００の補正値算出処理手順の他の一例）
つぎに、視線検出装置３００の補正値算出処理手順の他の一例について説明する。ここでは、表示画像ＳＰ上の仮の視線位置ＶＰが停留点であると判断された場合に、関連付け部６０７が、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付ける場合を例に挙げて説明する。
【０３７１】
図３５および図３６は、視線検出装置の補正値算出処理手順の他の一例を示すフローチャート（その２）である。図３５のフローチャートにおいて、まず、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得したか否かを判断する（ステップＳ３５０１）。表示画像ＳＰは、眼球画像ＥＰの撮影時にディスプレイ３１１に表示中のものである。
【０３７２】
ここで、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得するのを待つ（ステップＳ３５０１：Ｎｏ）。そして、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得した場合（ステップＳ３５０１：Ｙｅｓ）、視線算出部６０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ３５０２）。
【０３７３】
つぎに、視線算出部６０２により、算出された第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する（ステップＳ３５０３）。そして、判断部６１２により、ステップＳ３５０１において取得された表示画像ＳＰにおいて、算出された仮の視線位置ＶＰを中心とする所定領域Ｑを設定する（ステップＳ３５０４）。
【０３７４】
このあと、判断部６１２により、ステップＳ３５０１において取得された眼球画像ＥＰの撮影時刻からの経過時間ｔを「ｔ＝０」として（ステップＳ３５０５）、一定時間ｔ0経過したか否かを判断する（ステップＳ３５０６）。ここで、一定時間ｔ0経過するのを待って（ステップＳ３５０６：Ｎｏ）、一定時間ｔ0経過した場合（ステップＳ３５０６：Ｙｅｓ）、取得部６０１により、眼球画像ＥＰを取得する（ステップＳ３５０７）。
【０３７５】
このあと、視線算出部６０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ３５０８）。つぎに、視線算出部６０２により、算出された第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する（ステップＳ３５０９）。
【０３７６】
そして、判断部６１２により、ステップＳ３５０１において取得された表示画像ＳＰにおいて、ステップＳ３５０９において算出された仮の視線位置ＶＰが所定領域Ｑ内に存在するか否かを判断する（ステップＳ３５１０）。ここで、所定領域Ｑ内に存在しない場合（ステップＳ３５１０：Ｎｏ）、ステップＳ３５０１に戻る。
【０３７７】
一方、所定領域Ｑ内に存在する場合（ステップＳ３５１０：Ｙｅｓ）、判断部６１２により、経過時間ｔを「ｔ＝ｔ＋ｔ0」として（ステップＳ３５１１）、経過時間ｔが所定時間Ｔより大きくなったか否かを判断する（ステップＳ３５１２）。ここで、経過時間ｔが所定時間Ｔ以内の場合（ステップＳ３５１２：Ｎｏ）、ステップＳ３５０６に戻る。
【０３７８】
一方、経過時間ｔが所定時間Ｔより大きい場合（ステップＳ３５１２：Ｙｅｓ）、判断部６１２により、ステップＳ３５０３において算出された仮の視線位置ＶＰが停留点であると判断して（ステップＳ３５１３）、図３６に示すステップＳ３６０１に移行する。
【０３７９】
図３６のフローチャートにおいて、まず、分割部６０３により、ディスプレイ３１１の画面に表示された表示画像ＳＰを区切って区画Ｄ１〜Ｄｍに分割する（ステップＳ３６０１）。このあと、検索部６０４により、分割された区画Ｄ１〜Ｄｍの中から、仮の視線位置ＶＰを含む区画Ｄｉを検索する（ステップＳ３６０２）。
【０３８０】
そして、特徴量算出部６０５により、区画Ｄｉのベクトルペアがベクトルペアテーブル９００に登録済みか否かを判断する（ステップＳ３６０３）。ここで、区画Ｄｉのベクトルペアが登録済みの場合（ステップＳ３６０３：Ｙｅｓ）、図３５に示すステップＳ３５０１に戻る。
【０３８１】
一方、区画Ｄｉのベクトルペアが未登録の場合（ステップＳ３６０３：Ｎｏ）、注視点決定部６０６により、区画Ｄｉ内の被写体が注視している注視点Ｇを決定する注視点決定処理を実行する（ステップＳ３６０４）。なお、ステップＳ３６０４の注視点決定処理は、図３０に示したステップＳ３００７の注視点決定処理と同様のため詳細な説明を省略する。
【０３８２】
このあと、視線算出部６０２により、被写体の眼球から、決定された注視点Ｇに向かう第２の視線ベクトルＶ２を算出する（ステップＳ３６０５）。つぎに、関連付け部６０７により、図３５に示したステップＳ３５０２において算出された第１の視線ベクトルＶ１と、ステップＳ３６０５において算出された第２の視線ベクトルＶ２とを区画Ｄｉのベクトルペアとして関連付ける（ステップＳ３６０６）。
【０３８３】
そして、更新部により、区画Ｄｉのベクトルペアをベクトルペアテーブル９００に登録する（ステップＳ３６０７）。つぎに、補正値算出部６０９により、ベクトルペアテーブル９００に登録されているベクトルペアの数ｃが所定の区画数Ｎ以上となったか否かを判断する（ステップＳ３６０８）。ここで、区画数Ｎ未満の場合（ステップＳ３６０８：Ｎｏ）、図３５に示したステップＳ３５０１に戻る。
【０３８４】
一方、区画数Ｎ以上の場合（ステップＳ３６０８：Ｙｅｓ）、補正値算出部６０９により、ベクトルペアテーブル９００を参照して、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4の値を算出する（ステップＳ３６０９）。そして、補正値算出部６０９により、算出されたパラメータω1〜ω4の値をパラメータテーブル１０００に登録して（ステップＳ３６１０）、本フローチャートによる一連の処理を終了する。
【０３８５】
これにより、被写体が意識的に見た視線位置をもとに、被写体に固有の補正値を算出することができる。換言すれば、被写体の視線移動中の通過点を、補正値の算出元から排除することができる。この結果、被写体の視線の誤差を補正する際の補正精度を向上させることができる。なお、ステップＳ３５１３において、仮の視線位置ＶＰが停留点であると判断される前に、表示画像ＳＰが切り替わった場合は、本フローチャートによる一連の処理を最初からやり直すことにしてもよい。
【０３８６】
（視線検出装置３００の視線検出処理手順）
つぎに、視線検出装置３００の視線検出処理手順について説明する。
【０３８７】
図３７は、視線検出装置の視線検出処理手順の一例を示すフローチャートである。図３７のフローチャートにおいて、まず、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得したか否かを判断する（ステップＳ３７０１）。表示画像ＳＰは、眼球画像ＥＰの撮影時にディスプレイ３１１に表示中のものである。
【０３８８】
ここで、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得するのを待つ（ステップＳ３７０１：Ｎｏ）。そして、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得した場合（ステップＳ３７０１：Ｙｅｓ）、視線算出部６０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ３７０２）。
【０３８９】
つぎに、補正部６１０により、パラメータテーブル１０００内のパラメータω1〜ω4の値を用いて、算出された第１の視線ベクトルＶ１を補正する（ステップＳ３７０３）。このあと、補正部６１０により、補正された補正後の第１の視線ベクトルＶ１’に基づいて、表示画像ＳＰ上の被写体の視線位置ＲＰを算出する（ステップＳ３７０４）。
【０３９０】
そして、出力部６１１により、ステップＳ３７０１において取得された表示画像ＳＰと、ステップＳ３７０４において算出された表示画像ＳＰ上の被写体の視線位置ＲＰとを関連付けて示す視線検出結果Ｒを出力して（ステップＳ３７０５）、本フローチャートによる一連の処理を終了する。
【０３９１】
これにより、被写体の個人差にともなう誤差を補正した視線位置ＲＰを精度よく検出することができる。
【０３９２】
以上説明したように、実施の形態２にかかる視線検出装置３００によれば、ディスプレイ３１１の表示画像ＳＰを区切って分割された区画Ｄ１〜Ｄｍのうち、仮の視線位置ＶＰを含む区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出することができる。これにより、眼球画像ＥＰの撮影時にディスプレイ３１１に表示中の表示画像ＳＰ上の仮の視線位置ＶＰを含む区画Ｄｉの中から、被写体の注視点Ｇを決定することができる。
【０３９３】
また、視線検出装置３００によれば、区画Ｄｉごとに、眼球画像ＥＰに基づく第１の視線ベクトルＶ１と、被写体の眼球から注視点Ｇに向かう第２の視線ベクトルＶ２とをベクトルペアとして関連付けることができる。これにより、ディスプレイ３１１の画面上の区画Ｄ１〜Ｄｍのうち、複数の区画のベクトルペアを求めることができる。
【０３９４】
また、視線検出装置３００によれば、区画Ｄ１〜Ｄｍのうち少なくとも２以上の区画のベクトルペアに基づいて、被写体に固有の補正値（パラメータω1〜ω4の値）を算出することができる。これにより、被写体に固有の補正値の算出元となるベクトルペアが特定の区画Ｄｉに偏ることを防ぐことができる。また、複数のベクトルペアを用いて被写体に固有の補正値を統計的に求めることができる。
【０３９５】
また、視線検出装置３００によれば、被写体に固有の補正値を用いて、第１の視線ベクトルＶ１（仮の視線位置ＶＰ）を補正（キャリブレーション）することにより、被写体の個人差にともなう誤差を補正した視線位置ＲＰを精度よく検出することができる。
【０３９６】
また、視線検出装置３００によれば、ベクトルペアテーブル９００に登録される区画Ｄｉのベクトルペアの最大登録数（上記所定数Ａ）を設定することにより、区画Ｄｉのベクトルペアが所定数Ａより多く登録されることを防ぐことができる。これにより、区画Ｄｉごとのベクトルペアの数を平準化して、被写体に固有の補正値の算出元となるベクトルペアが特定の区画Ｄｉに偏ることを防ぐことができる。
【０３９７】
また、視線検出装置３００によれば、ベクトルペアテーブル９００に未登録の区画Ｄｉのベクトルペアと登録済みの区画Ｄｉのベクトルペアとを比較して、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。
【０３９８】
また、視線検出装置３００によれば、表示画像ＳＰ上の仮の視線位置ＶＰが停留点であると判断された場合に、区画Ｄｉのベクトルペアをベクトルペアテーブル９００に登録することができる。これにより、被写体が意識的に見た視線位置をもとに、被写体に固有の補正値を算出することができる。換言すれば、被写体の視線移動中の通過点を、補正値の算出元から排除することができる。この結果、被写体の視線の誤差を補正する際の補正精度を向上させることができる。
【０３９９】
また、視線検出装置３００によれば、被写体の仮の視線位置ＶＰと注視点Ｇの座標位置との誤差を統計的に処理して、ディスプレイ３１１の表示画像ＳＰを区切って分割する区画Ｄｉの大きさを決定することができる。これにより、区画Ｄｉの大きさをできるだけ小さくしつつ、区画Ｄｉ内でベクトルペアを高確率に作ることができる適切な大きさで表示画像ＳＰを分割することができ、補正値の算出元となるベクトルペアをより多く求めることができる。
【０４００】
また、視線検出装置３００によれば、区画Ｄｉの中から複数の閉領域Ｈｋを抽出し、閉領域Ｈｋごとの面積Ｓｋに基づいて、注視点Ｇを含む閉領域を決定することができる。これにより、面積Ｓｋが大きく、他の閉領域に比べて人間の視覚的な注意を引きつける強さが大きくなる閉領域Ｈｋの中から注視点Ｇを決定することができる。
【０４０１】
また、視線検出装置３００によれば、区画Ｄｉの中から複数の閉領域Ｈｋを抽出し、閉領域Ｈｋごとの極大値Ｃmax（ｋ）に基づいて、注視点Ｇを含む閉領域を決定することができる。これにより、極大値Ｃmax（ｋ）が大きく、他の閉領域に比べて人間の視覚的な注意を引きつける強さが大きくなる閉領域Ｈｋの中から注視点Ｇを決定することができる。
【０４０２】
これらのことから、実施の形態２にかかる視線検出装置３００によれば、被写体に固有の補正値を精度よく求めて、キャリブレーションでの補正精度を向上させることができる。この結果、視線検出装置３００によれば、対象者の視線検出中に、対象者に意識させることなく適切なキャリブレーションを行うことが可能となり、対象者の個人差にともなう誤差を補正した視線を検出することができる。
【０４０３】
また、視線検出装置３００を、例えば、デジタルサイネージを利用した広告システムに適用することにより、対象者が見ている広告の内容を正確に特定することができる。この結果、対象者が見ている内容に関連する詳細情報をさらに表示するなどして、より効果的な宣伝広告を行うことができる。
【０４０４】
また、視線検出装置３００を、例えば、ｅラーニングを利用した学習システムに適用することにより、対象者が読み飛ばした部分を顕著に表示するなどして、リアルタイムに対象者の学習をサポートすることができる。
【０４０５】
また、視線検出装置３００を、例えば、パーソナル・コンピュータに適用することにより、ユーザが見たウェブサイト上のバナー広告などを特定することができる。これにより、ユーザに意識させることなく、ウェブサイト上のバナー広告などの閲覧回数を調査することが可能となる。
【０４０６】
また、視線検出装置３００を、例えば、飛行機のフライトシミュレータに適用することにより、熟練パイロットや訓練生の視線を正確に検出することができる。これにより、例えば、パイロット養成において、熟練パイロットの視線と訓練生の視線とを比較して、訓練生に的確なアドバイスを行うことができる。
【０４０７】
なお、本実施の形態で説明した視線算出方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本視線算出プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本視線算出プログラムは、インターネット等のネットワークを介して配布してもよい。
【０４０８】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０４０９】
（付記１）被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得する取得部と、
前記表示画像を区切って分割された区画群の中から、前記取得部によって取得された前記被写体の視線位置を含む区画を検索する検索部と、
前記検索部によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定部と、
前記区画ごとに、前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置とを関連付ける関連付け部と、
前記関連付け部によって関連付けられた前記区画ごとの関連付け結果のうち、複数の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出する補正値算出部と、
を備えることを特徴とする補正値算出装置。
【０４１０】
（付記２）前記補正値算出部によって算出された前記被写体に固有の補正値に基づいて、前記被写体の視線位置を補正する補正部を備えることを特徴とする付記１に記載の補正値算出装置。
【０４１１】
（付記３）前記補正値算出部は、前記関連付け部によって関連付けられた前記区画ごとの関連付け結果のうち、所定の区画数以上の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出することを特徴とする付記１または２に記載の補正値算出装置。
【０４１２】
（付記４）前記関連付け部によって関連付けられた前記区画ごとの関連付け結果を記憶部に登録する登録部を備え、
前記関連付け部は、前記区画ごとに、前記登録部によって登録された当該区画の関連付け結果が所定数未満の場合、前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置とを関連付けることを特徴とする付記１〜３のいずれか一つに記載の補正値算出装置。
【０４１３】
（付記５）前記関連付け部によって関連付けられた前記区画の関連付け結果に基づいて、前記記憶部に登録されている当該区画の関連付け結果を更新する更新部を備えることを特徴とする付記４に記載の補正値算出装置。
【０４１４】
（付記６）前記取得部によって取得された時系列の前記被写体の第１の視線位置および前記被写体の第２の視線位置に基づいて、前記被写体の第１の視線位置が停留点か否かを判断する判断部を備え、
前記関連付け部は、前記判断部によって前記被写体の第１の視線位置が停留点と判断された場合、前記被写体の第１の視線位置と、当該被写体の第１の視線位置を含む区画内の注視点の座標位置とを関連付けることを特徴とする付記１〜５のいずれか一つに記載の補正値算出装置。
【０４１５】
（付記７）前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置との誤差を算出する誤差算出部と、
前記誤差算出部によって算出された算出結果に基づいて、前記表示画像を区切って分割する区画の大きさを決定する区画決定部と、
前記区画決定部によって決定された区画の大きさにしたがって、前記表示画像を区切って区画群に分割する分割部と、を備え、
前記検索部は、前記分割部によって分割された区画群の中から、前記被写体の視線位置を含む区画を検索することを特徴とする付記１〜６のいずれか一つに記載の補正値算出装置。
【０４１６】
（付記８）前記検索部によって検索された区画の中から複数の閉領域を抽出する抽出部を備え、
前記決定部は、前記抽出部によって抽出された閉領域ごとの面積に基づいて、前記複数の閉領域のいずれかの閉領域を、前記被写体が注視している注視点に決定することを特徴とする付記１〜７のいずれか一つに記載の補正値算出装置。
【０４１７】
（付記９）前記決定部は、前記各閉領域に含まれる領域ごとの特徴量に基づいて、前記複数の閉領域のいずれかの閉領域を、前記被写体が注視している注視点に決定することを特徴とする付記８に記載の補正値算出装置。
【０４１８】
（付記１０）被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得する取得工程と、
前記表示画像を区切って分割された区画群の中から、前記取得工程によって取得された前記被写体の視線位置を含む区画を検索する検索工程と、
前記検索工程によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された前記被写体の視線位置と、前記決定工程によって決定された前記区画内の注視点の座標位置とを関連付ける関連付け工程と、
前記取得工程、前記検索工程、前記特徴量算出工程、前記決定工程および前記関連付け工程が繰り返し実行された結果、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
をコンピュータが実行することを特徴とする補正値算出方法。
【０４１９】
（付記１１）被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得する取得工程と、
前記表示画像を区切って分割された区画群の中から、前記取得工程によって取得された前記被写体の視線位置を含む区画を検索する検索工程と、
前記検索工程によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された前記被写体の視線位置と、前記決定工程によって決定された注視点の座標位置とを関連付ける関連付け工程と、
前記取得工程、前記検索工程、前記特徴量算出工程、前記決定工程および前記関連付け工程が繰り返し実行された結果、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
をコンピュータに実行させることを特徴とする補正値算出プログラム。
【符号の説明】
【０４２０】
１００  システム
１０１  補正値算出装置
１０２，３００  視線検出装置
１０３  表示装置
１０４  撮影装置
６０１  取得部
６０２  視線算出部
６０３  分割部
６０４  検索部
６０５  特徴量算出部
６０６  注視点決定部
６０７  関連付け部
６０８  登録／更新部
６０９  補正値算出部
６１０  補正部
６１１  出力部
６１２  判断部
６１３  誤差算出部
６１４  区画決定部
８００  特徴量テーブル
９００  ベクトルペアテーブル
１０００  パラメータテーブル
【図１】
0005716345.tif 000021
【図２】
0005716345.tif 000022
【図３】
0005716345.tif 000023
【図４】
0005716345.tif 000024
【図５】
0005716345.tif 000025
【図６】
0005716345.tif 000026
【図７】
0005716345.tif 000027
【図８】
0005716345.tif 000028
【図９】
0005716345.tif 000029
【図１０】
0005716345.tif 000030
【図１１】
0005716345.tif 000031
【図１２】
0005716345.tif 000032
【図１３】
0005716345.tif 000033
【図１４】
0005716345.tif 000034
【図１５】
0005716345.tif 000035
【図１６】
0005716345.tif 000036
【図１７】
0005716345.tif 000037
【図１８】
0005716345.tif 000038
【図１９】
0005716345.tif 000039
【図２０】
0005716345.tif 000040
【図２１】
0005716345.tif 000041
【図２２】
0005716345.tif 000042
【図２３】
0005716345.tif 000043
【図２４】
0005716345.tif 000044
【図２５】
0005716345.tif 000045
【図２６】
0005716345.tif 000046
【図２７】
0005716345.tif 000047
【図２８】
0005716345.tif 000048
【図２９】
0005716345.tif 000049
【図３０】
0005716345.tif 000050
【図３１】
0005716345.tif 000051
【図３２】
0005716345.tif 000052
【図３３】
0005716345.tif 000053
【図３４】
0005716345.tif 000054
【図３５】
0005716345.tif 000055
【図３６】
0005716345.tif 000056
【図３７】
0005716345.tif 000057