"表示装置の画面を視認するユーザの視線を測定する視線測定装置であって、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、前記ユーザの眼球位置を検出する眼球位置検出手段と、前記眼球位置検出手段によって検出された眼球位置を基準として、前記複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す眼球領域画像切り出し手段と、前記眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する基準位置特定手段と、予め取得した前記撮影装置の撮影方向および撮影範囲を含むカメラパラメータを用いることで、前記基準位置特定手段によって特定された基準位置から、前記ユーザの視線方向を示す視線ベクトルを算出する視線ベクトル算出手段と、前記視線ベクトル算出手段によって算出された視線ベクトルと前記画面との交点の座標を、前記ユーザが注目する注視点として算出する注視点算出手段と、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する注視点統合手段と、を備えることを特徴とする視線測定装置。予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布を、前記複数の撮影装置ごとに記憶する注視点分布記憶手段を備え、前記注視点統合手段は、前記注視点分布記憶手段に記憶された注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項1の視線測定装置。前記ユーザの眼球の特徴的な部位を含むテンプレート画像を記憶するテンプレート画像記憶手段を備え、前記眼球位置検出手段は、前記テンプレート画像記憶手段に記憶されたテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、前記注視点統合手段は、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項1に記載の視線測定装置。予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布を、前記複数の撮影装置ごとに記憶する注視点分布記憶手段と、前記ユーザの眼球の特徴的な部位を含むテンプレート画像を記憶するテンプレート画像記憶手段と、を備え、前記眼球位置検出手段は、前記テンプレート画像記憶手段に記憶されたテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、前記注視点統合手段は、前記注視点分布記憶手段に記憶された前記注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合し、前記注視点分布記憶手段に記憶された前記注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項1に記載の視線測定装置。前記注視点統合手段は、前記注視点分布記憶手段に記憶された注視点分布から、当該注視点分布に含まれる全ての注視点の数に対する前記画面上における個々の座標ごとの注視点の数の割合を示す注視点確率分布を算出し、当該注視点確率分布から、前記注視点算出手段によって算出された複数の注視点の注視点確率をそれぞれ取得する確率取得手段と、前記確率取得手段によって取得された注視点確率が予め定められた所定の閾値を超える場合、当該注視点確率を有する注視点を前記注視点分布記憶手段に書き込むことで、前記注視点分布を更新する更新手段と、を備えることを特徴とする請求項2または請求項4に記載の視線測定装置。前記表示装置の画面上に表示される映像と同じ映像を入力する映像入力手段からの映像を、前記注視点抽出手段および前記注視点統合手段における処理時間に応じて遅延させる映像遅延手段と、前記映像遅延手段によって遅延された映像に対して、前記注視点統合手段によって統合された注視点を重畳させる重畳映像生成手段と、を備えることを特徴とする請求項1から請求項5のいずれか一項に記載の視線測定装置。表示装置の画面を視認するユーザの視線を測定するために、コンピュータを、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、前記ユーザの眼球位置を検出する眼球位置検出手段、前記眼球位置検出手段によって検出された眼球位置を基準として、前記複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す眼球領域画像切り出し手段、前記眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する基準位置特定手段、予め取得した前記撮影装置の撮影方向および撮影範囲を含むカメラパラメータを用いることで、前記基準位置特定手段によって特定された基準位置から、前記ユーザの視線方向を示す視線ベクトルを算出する視線ベクトル算出手段、前記視線ベクトル算出手段によって算出された視線ベクトルと前記画面との交点の座標を、前記ユーザが注目する注視点として算出する注視点算出手段、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する注視点統合手段、として機能させることを特徴とする視線測定装置。前記注視点統合手段は、予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することを特徴とする請求項7に記載の視線測定プログラム。前記眼球位置検出手段は、前記ユーザの眼球の特徴的な部位を含むテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、前記注視点統合手段は、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項7に記載の視線測定プログラム。前記眼球位置検出手段は、前記ユーザの眼球の特徴的な部位を含むテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、前記注視点統合手段は、予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合し、前記注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項7に記載の視線測定プログラム。しかしながら、従来の技術では、カメラが眼球の特徴点を捉えられる範囲に原理的な制限があり、カメラの光軸と眼球の回転中心を結ぶ直線から概ね20度~30度以内が測定範囲と言われている非特許文献2参照。すなわち、瞳孔-角膜反射法では、ユーザがカメラの位置から20度~30度以上離れた位置を注視した場合の視線は測定できず、広範囲にわたるユーザの眼球運動を測定することができないという問題があった。本発明はかかる点に鑑みてなされたものであって、広範囲にわたるユーザの視線を非接触で測定することができる視線測定装置および視線測定プログラムを提供することを課題とする。前記課題を解決するために請求項1に係る視線測定装置は、表示装置の画面を視認するユーザの視線を測定する視線測定装置であって、眼球位置検出手段と、眼球領域画像切り出し手段と、基準位置特定手段と、視線ベクトル算出手段と、注視点算出手段と、注視点統合手段と、を備える構成とした。このような構成によれば、視線測定装置は、眼球位置検出手段によって、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、ユーザの眼球位置を検出する。また、眼球領域画像切り出し手段によって、眼球位置検出手段によって検出された眼球位置を基準として、複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す。また、基準位置特定手段によって、眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する。また、視線ベクトル算出手段によって、予め取得した撮影装置の撮影位置、撮影方向および撮影範囲を含むカメラパラメータを用いることで、基準位置特定手段によって特定された基準位置から、ユーザの視線方向を示す視線ベクトルを算出する。また必要に応じて、視線ベクトル校正手段によって視線ベクトルの個人差を補正し、実際の注視方向と視線ベクトルの方向を一致させる。また、注視点算出手段によって、視線ベクトル校正手段によって補正された視線ベクトルと画面との交点の座標を、ユーザが注目する注視点として算出する。また、注視点統合手段によって、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する。これにより、請求項1に係る視線測定装置は、複数の撮影装置を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像を利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。また、請求項2に係る視線測定装置は、請求項1に係る視線測定装置において、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布を、複数の撮影装置ごとに記憶する注視点分布記憶手段を備える構成とした。このような構成によれば、視線測定装置は、注視点統合手段が、注視点分布記憶手段に記憶された注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する。これにより、請求項2に係る視線測定装置は、各系統複数の撮影装置とこれに対応する注視点抽出手段ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。また、請求項3に係る視線測定装置は、請求項1に係る視線測定装置において、ユーザの眼球の特徴的な部位瞳孔と角膜反射像の両方または角膜反射像を含むテンプレート画像を記憶するテンプレート画像記憶手段を備える構成とした。このような構成によれば、視線測定装置は、眼球位置検出手段が、テンプレート画像記憶手段に記憶されたテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出する。また、注視点統合手段が、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する。これにより、請求項3に係る視線測定装置は、各系統複数の撮影装置とこれに対応する注視点抽出手段ごとに、事前にユーザの眼球の特徴的な部位瞳孔と角膜反射像の両方または角膜反射像を含むテンプレート画像を用意しておき、ユーザの眼球周辺画像からテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標例えば正規化相関値を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。また、請求項4に係る視線測定装置は、請求項1に係る視線測定装置において、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布を、複数の撮影装置ごとに記憶する注視点分布記憶手段と、ユーザの眼球の特徴的な部位瞳孔と角膜反射像の両方または角膜反射像を含むテンプレート画像を記憶するテンプレート画像記憶手段と、を備える構成とした。このような構成によれば、視線測定装置は、眼球位置検出手段が、テンプレート画像記憶手段に記憶されたテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出する。また、注視点統合手段が、注視点分布記憶手段に記憶された注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合し、注視点分布記憶手段に記憶された注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する。これにより、請求項4に係る視線測定装置は、注視点分布記憶手段に記憶されているデータ量注視点の数が少ない場合は、複数の撮影装置によって撮影された眼球周辺画像とテンプレート画像との類似度を示す正規化相関値によって統合処理を行う。また、視線測定装置は、注視点分布記憶手段に記憶されているデータ量注視点の数が一定以上である場合は、眼球周辺画像から抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。また、請求項5に係る視線測定装置は、請求項2または請求項4に係る視線測定装置において、注視点統合手段が、確率取得手段と、更新手段と、を備える構成とした。このような構成によれば、請求項5に係る視線測定装置は、注視点統合手段によって、注視点分布記憶手段に記憶された注視点分布から、当該注視点分布に含まれる全ての注視点の数に対する前記画面上における個々の座標ごとの注視点の数の割合を示す注視点確率分布を算出し、当該注視点確率分布から、注視点算出手段によって算出された複数の注視点の注視点確率をそれぞれ取得する。また、更新手段によって、確率取得手段によって取得された注視点確率が予め定められた所定の閾値を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段に書き込むことで、注視点分布を更新する。また、請求項6に係る視線測定装置は、請求項1から請求項5のいずれか一項に係る視線測定装置において、映像遅延手段と、重畳映像生成手段と、を備える構成とした。このような構成によれば、視線測定装置は、映像遅延手段によって、表示装置の画面上に表示される映像と同じ映像を入力する映像入力手段からの映像を、注視点抽出手段および注視点統合手段における処理時間に応じて遅延させる。また、重畳映像生成手段によって、映像遅延手段によって遅延された映像に対して、注視点統合手段によって統合された注視点を重畳させる。前記課題を解決するために請求項7に係る視線測定プログラムは、ユーザの視線を測定するために、コンピュータを、眼球位置検出手段、眼球領域画像切り出し手段、基準位置特定手段、視線ベクトル算出手段、注視点算出手段、注視点統合手段、として機能させることとした。このような構成によれば、視線測定プログラムは、眼球位置検出手段によって、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、ユーザの眼球位置を検出する。また、眼球領域画像切り出し手段によって、眼球位置検出手段によって検出された眼球位置を基準として、複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す。また、基準位置特定手段によって、眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する。また、視線ベクトル算出手段によって、予め取得した撮影装置の撮影位置、撮影方向および撮影範囲を含むカメラパラメータを用いることで、基準位置特定手段によって特定された基準位置から、ユーザの視線方向を示す視線ベクトルを算出する。また必要に応じて、視線ベクトル校正手段によって視線ベクトルの個人差を補正し、実際の注視方向と視線ベクトルの方向を一致させる。また、注視点算出手段によって、視線ベクトル校正手段によって補正された視線ベクトルと画面との交点の座標を、ユーザが注目する注視点として算出する。また、注視点統合手段によって、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する。これにより、請求項7に係る視線測定プログラムは、複数の撮影装置を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像を利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。また、請求項8に係る視線測定プログラムは、請求項7に係る視線測定プログラムにおいて、注視点統合手段が、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合することとした。これにより、請求項8に係る視線測定プログラムは、各系統複数の撮影装置とこれに対応する注視点抽出手段ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。また、請求項9に係る視線測定プログラムは、請求項7に係る視線測定プログラムにおいて、眼球位置検出手段が、ユーザの眼球の特徴的な部位瞳孔と角膜反射像の両方または角膜反射像を含むテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出することとした。また、注視点統合手段が、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合することとした。これにより、請求項9に係る視線測定プログラムは、各系統複数の撮影装置とこれに対応する注視点抽出手段ごとに、事前にユーザの眼球の特徴的な部位瞳孔と角膜反射像の両方または角膜反射像含むテンプレート画像を用意しておき、ユーザの眼球周辺画像からテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標例えば正規化相関値を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。また、請求項10に係る視線測定プログラムは、請求項7に係る視線測定プログラムにおいて、眼球位置検出手段が、ユーザの眼球の特徴的な部位瞳孔と角膜反射像の両方または角膜反射像を含むテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出することとした。また、注視点統合手段が、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合し、注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合することとした。これにより、請求項10に係る視線測定プログラムは、外部に設けられた注視点分布記憶手段に記憶されているデータ量注視点の数が少ない場合は、複数の撮影装置によって撮影された眼球周辺画像とテンプレート画像との類似度を示す正規化相関値によって統合処理を行う。また、視線測定装置は、外部に設けられた注視点分布記憶手段に記憶されているデータ量注視点の数が一定以上である場合は、眼球周辺画像から抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。請求項1,7に係る発明によれば、1台の撮影装置では特徴点を捉えられなかった領域におけるユーザの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。請求項2,8に係る発明によれば、複数台の撮影装置で特徴点を捉えることができる領域では、複数の注視点の測定結果を確率分布に基づいて統合するため、より精度が高く、頑健な測定が可能となる。請求項3,9に係る発明によれば、複数台の撮影装置で特徴点を捉えることができる領域では、複数の注視点の測定結果をテンプレート画像との類似度に基づいて統合するため、より精度が高く、頑健な測定が可能となる。請求項4,10に係る発明によれば、注視点分布記憶手段に必要量のデータが蓄積された後は、テンプレートマッチングの類似度正規化相関値に基づいた統合から注視点分布による統合へと切り替えることができるため、精度の高い測定が可能となる。請求項5に係る発明によれば、注視点確率が一定以上である注視点、すなわちユーザが注視している可能性の高い座標を示す注視点が算出された場合、当該注視点を注視点分布記憶手段に追加して注視点分布を更新するため、注視点分布記憶手段に記憶された注視点分布の精度を漸次向上させることができる。請求項6に係る発明によれば、ユーザが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザの視線を視覚的に提示することができる。本発明に係る視線測定装置について、図面を参照しながら説明する。ここでは、大きく分けて3つの実施形態について説明する。そこで、以下の説明では、それぞれの実施形態ごとに構成と動作の説明を行うこととする。なお、以下の説明では、各実施形態について、同一の構成については同一の名称及び符号を付し、詳細説明を適宜省略する。<視線測定装置>[第1実施形態]以下、本発明の第1実施形態に係る視線測定装置1について、図1~図9を参照しながら詳細に説明する。視線測定装置1は、表示装置の画面を視認するユーザが当該画面のどこどの座標を見ているのかを測定するものである。視線測定装置1は、図1に示すように、表示装置D、複数の撮影装置カメラC1~C4および発光装置Rとともに用いられ、これらの装置と一つのシステムを構成する。以下、視線測定装置1の説明を行なう前に、システムを構成するその他の要素について簡単に説明する。表示装置Dは、ユーザUに対して映像を表示するものである。表示装置Dは、例えば液晶モニタ等で構成され、図1に示すように、画面がユーザUと正対するように配置される。なお、表示装置DとユーザUとの間隔は、撮影装置C1~C4の設置角度、あるいは発光装置Rの設置場所に応じて適宜調整される。撮影装置C1~C4は、ユーザUの眼球周辺画像を複数の位置および角度から撮影するものである。撮影装置C1~C4は、例えば近赤外領域の感度を有する高解像度カメラ等で構成され、図1に示すように、表示装置Dの4隅に配置されるとともに、それぞれがユーザUの眼球周辺に向けて所定角度で配置される。この撮影装置C1~C4によって撮影されたユーザUの複数この例では4つの眼球周辺画像は、図1に示すように、それぞれ視線測定装置1に出力される。例えば、図1の破線矢印で示すように、ユーザUが表示装置Dの画面の中心付近を注視している場合、撮影装置C1~C4によって撮影されるユーザUの眼球の画像は、図2aに示すようなものとなる。図2aに示すように、撮影装置C1によって撮影された画像は、瞳孔と角膜反射像プルキニエ像が左下に位置し、撮影装置C2によって撮影された画像は、瞳孔と角膜反射像が右下に位置し、撮影装置C3によって撮影された画像は、瞳孔と角膜反射像が左上に位置し、撮影装置C4によって撮影された画像は、瞳孔と角膜反射像が右上に位置するものとなる。なお、角膜反射像プルキニエ像とは、図2aに示すように、眼球の角膜表面で反射した光として画像上に表れる像のことを意味している。一方、例えば、図1の一点鎖線矢印で示すように、ユーザUが表示装置Dの画面の右端付近を注視している場合、撮影装置C1~C4によって撮影されるユーザUの眼球の画像は、図2bに示すようなものとなる。図2bに示すように、撮影装置C1によって撮影された画像は、瞳孔が左下に位置し、撮影装置C2によって撮影された画像は、瞳孔と角膜反射像が下に位置し、撮影装置C3によって撮影された画像は、瞳孔が左上に位置し、撮影装置C4によって撮影された画像は瞳孔が上に位置するものとなる。このように、ユーザUが表示装置Dの画面の中心付近を注視している場合、図2aに示すように、撮影装置C1~C4によって撮影された全ての画像に瞳孔や角膜反射像が写っているため、後記する基準位置瞳孔中心の位置および角膜反射点の位置の特定が容易となる。一方、ユーザUが表示装置Dの画面の右端付近を注視している場合、図2bに示すように、当該ユーザUの視線に近い撮影装置C2,C4によって撮影された画像には瞳孔や角膜反射像がはっきりと写っているが、ユーザUの視線から遠い撮影装置C1,C3によって撮影された画像には角膜反射像が写っておらず、かつ、瞳孔の形状も歪んで写っている。すなわち、撮影装置C1,C3によって撮影された画像のみでは、瞳孔形状の歪から瞳孔中心の測定誤差が大きくなるとともに、後記する角膜反射点の検出が困難となる。発光装置Rは、ユーザUに対して近赤外光を照射するものであり、撮影装置C1~C4による撮影のための照明光源である。発光装置Rは、例えば、発光素子としてLED発光ダイオードを用いたリング照明等で構成され、図1に示すように、ユーザUと表示装置Dとの間に配置されるとともに、ユーザUの眼球周辺を照明するように所定角度で配置される。次に、本発明の第1実施形態に係る視線測定装置1の具体的構成について詳細に説明する。視線測定装置1は、図3に示すように、注視点抽出手段10と、注視点同期手段20と、注視点分布記憶手段30と、注視点統合手段40と、を主な構成として備え、これらに加えて、映像遅延手段60と、重畳映像生成手段70と、を付加的な構成として備えている。注視点抽出手段10は、ユーザUの眼球周辺画像から注視点を抽出するものである。ここで、注視点とは、ユーザUが視線を向けている表示装置Dの画面上における点を意味し、表示装置Dの画面の座標によって特定される。言い換えれば、注視点は、ユーザUの視線視線ベクトルと表示装置Dの画面との交点の座標によって特定される。注視点抽出手段10は、図3に示すように、撮影装置C1~C4それぞれに対応して設けられ、対応する撮影装置C1~C4から入力された眼球周辺画像から、注視点をそれぞれ抽出する。注視点抽出手段10は、具体的には図4に示すように、眼球位置検出手段101と、眼球領域画像切り出し手段102と、基準位置特定手段103と、視線ベクトル算出手段104と、視線ベクトル校正手段105と、注視点算出手段106と、を備えている。眼球位置検出手段101は、ユーザUの眼球周辺画像から、その眼球位置を検出するものである。眼球位置検出手段101は、具体的には図5aに示すように、対応する撮影装置C1~C4から入力された眼球周辺画像Gから、ユーザUの眼球位置を検出する。なお、眼球位置検出手段101は、ユーザUの左右それぞれの眼球位置を検出することが好ましい。但し、後記するように、ユーザUの注視点は左右いずれかの眼球位置を検出できれば算出可能であるため、眼球位置検出手段101は、ユーザUの左右いずれかの眼球位置のみを検出する構成としても構わない。眼球位置検出手段101は、より具体的には、眼球位置情報として、ユーザUの瞳孔の位置と、ユーザUの角膜反射像の位置と、を検出する。眼球位置検出手段101は、入力された眼球周辺画像Gに対して、例えば2値化処理および粒子解析処理を行うことにより、瞳孔に相当する粒子と、角膜反射像に相当する粒子を検出し、これらの粒子の位置情報を眼球位置情報とする。すなわち、眼球位置検出手段101は、外部から入力された明度の閾値に基づいて、この閾値を超える部分明度が高い部分を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を瞳孔として、左右の眼球の少なくとも一方について検出する。また、眼球位置検出手段101は、外部から入力された明度の閾値に基づいて、瞳孔よりもさらに明度が高い部分を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を角膜反射像として、左右の眼球の少なくとも一方について検出する。なお、前記した眼球位置情報は、具体的には、ユーザUの瞳孔の輪郭と角膜反射像の輪郭とを、画像座標系におけるxy座標で示したものである。眼球位置検出手段101には、図3および図4に示すように、対応する撮影装置C1~C4から、眼球周辺画像が入力される。この眼球周辺画像は、前記した発光装置Rによって近赤外光が照射されたユーザUの眼球周辺の画像である。また、この眼球周辺画像には、当該眼球周辺画像を撮影した時刻を示す時刻情報が含まれている図示省略。そして、眼球位置検出手段101は、前記した手法によって、眼球周辺画像Gから眼球位置を検出し、図4に示すように、当該眼球位置と、これに対応する眼球周辺画像G時刻情報を含むと、を眼球領域画像切り出し手段102に出力する。なお、後記するように、視線測定装置1が映像遅延手段60および重畳映像生成手段70を備える場合、図4に示すように、映像入力手段50から眼球位置検出手段101に対して映像のタイムコードが入力されるが、詳細な説明は後記する。眼球領域画像切り出し手段102は、ユーザUの眼球周辺画像Gから、左右の眼球を含む眼球領域画像をそれぞれ切り出すものである。眼球領域画像切り出し手段102は、具体的には図5bに示すように、眼球位置検出手段101から入力された右の眼球位置を基準として、眼球周辺画像Gから、当該右の眼球位置を含む所定面積予め定めた所定幅および所定高さの領域の眼球領域画像GRを切り出す。また、眼球領域画像切り出し手段102は、図5bに示すように、眼球位置検出手段101から入力された左の眼球位置を基準として、眼球周辺画像Gから、当該左の眼球位置を含む所定面積予め定めた所定幅および所定高さの領域の眼球領域画像GLを切り出す。なお、眼球領域画像切り出し手段102は、眼球位置検出手段101から、ユーザUの左右いずれかの眼球位置のみが入力された場合は、左右いずれかの眼球領域画像を切り出す。眼球領域画像切り出し手段102には、図4に示すように、眼球位置検出手段101から、眼球周辺画像Gと、当該眼球周辺画像Gから検出した眼球位置と、が入力される。そして、眼球領域画像切り出し手段102は、前記した手法によって、眼球周辺画像Gから眼球領域画像GR,GLをそれぞれ切り出し、図4に示すように、当該眼球領域画像GR,GLと、これに対応する眼球周辺画像Gの時刻情報図示省略と、を基準位置特定手段103に出力する。基準位置特定手段103は、眼球領域画像から、注視点算出の基準となる基準位置を特定するものである。ここで、基準位置とは、図5cに示すように、左右の眼球の瞳孔中心の位置および角膜反射点の位置のことを意味しており、より具体的には、左右の眼球の瞳孔中心の位置と角膜反射点の位置とを、画像座標系におけるxy座標で示したものである。基準位置特定手段103は、一般的な画像処理技術によって、眼球領域画像GR,GLから画像座標系における瞳孔中心の座標と角膜反射点の座標とを特定する。基準位置特定手段103は、ここでは左右の眼球領域画像GR,GLについて、角膜反射像を含む他の領域よりも明度の高い領域を2値化処理によって探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右の眼球それぞれの瞳孔を抽出し、その中心座標幅、高さの中点や領域の重心座標等を、左右の眼球それぞれの瞳孔中心とする。また、基準位置特定手段103は、左右の眼球領域画像GR,GLについて、瞳孔の明度と角膜反射像の明度との間に閾値を設定し、閾値よりも明度の高い領域を探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右の眼球それぞれの角膜反射像を抽出し、その中心座標幅、高さの中点や領域の重心座標等を、左右の眼球それぞれの角膜反射点とする。なお、基準位置特定手段103は、眼球領域画像切り出し手段102から、ユーザUの左右いずれかの眼球領域画像のみが入力された場合は、左右いずれかの基準位置を特定する。基準位置特定手段103には、図4に示すように、眼球領域画像切り出し手段102から、眼球領域画像GR,GLと、これに対応する眼球周辺画像Gの時刻情報図示省略と、が入力される。そして、基準位置特定手段103は、前記した手法によって、眼球領域画像GR,GLから瞳孔中心および角膜反射点を特定し、図4に示すように、当該瞳孔中心および角膜反射点と、これに対応する眼球周辺画像Gの時刻情報図示省略と、を視線ベクトル算出手段104に出力する。視線ベクトル算出手段104は、ユーザUの眼球の基準位置から視線ベクトルを算出するものである。視線ベクトル算出手段104は、具体的には図4に示すように、予め取得した撮影装置C1~C4のカメラパラメータ例えばパン、チルト、ズーム等のカメラの撮影位置、撮影方向および撮影範囲を含む設定情報を用いることで、眼球領域画像GR,GLから視線ベクトルを算出する。以下、視線ベクトル算出処理の一例について、簡単に説明する。視線ベクトル算出手段104は、まず、校正段階で得られた撮影装置C1~C4の焦点距離と、撮影装置C1~C4の撮像素子のドットピッチとを利用して、基準位置特定手段103によって特定された左右の眼球それぞれの画像座標系における瞳孔中心座標および角膜反射点座標を、左右の眼球それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。次に、視線ベクトル算出手段104は、校正段階で得られた回転マトリクスと、並進ベクトルとを利用して、左右の眼球それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標を、左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標に変換する。次に、視線ベクトル算出手段104は、左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標を、予め取得した角膜表面における屈折率に応じて補正し、補正後の左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標と、角膜曲率半径とを用いて、左右の眼球の角膜曲率中心座標を算出する。そして、視線ベクトル算出手段104は、補正後の左眼の世界座標系における瞳孔中心座標と、左眼の角膜曲率中心座標とを用いて、左眼の視線ベクトルを算出するとともに、補正後の右眼の世界座標系における瞳孔中心座標と、右眼の角膜曲率中心座標とを用いて、右眼の視線ベクトルを算出する。なお、前記したような左右の眼球の基準位置からそれぞれの視線ベクトルを算出する具体的な方法は、例えば特願2009-112298特開2010-259605号公報に記載された方法を用いることができる。また、視線ベクトル算出手段104は、基準位置特定手段103から、ユーザUの左右いずれかの眼球の基準位置のみが入力された場合は、入力された方の眼球の視線ベクトルを特定する。視線ベクトル算出手段104には、図4に示すように、基準位置特定手段103から、眼球の基準位置瞳孔中心および角膜反射点と、これに対応する眼球周辺画像Gの時刻情報図示省略と、が入力される。そして、視線ベクトル算出手段104は、前記した手法によって、眼球の基準位置から視線ベクトルを算出し、図4に示すように、当該視線ベクトルと、これに対応する眼球周辺画像Gの時刻情報図示省略と、を視線ベクトル校正手段105に出力する。視線ベクトル校正手段105は、予め取得した校正データを用いて視線ベクトルを校正するものである。視線ベクトル校正手段105は、具体的には図4に示すように、視線ベクトル算出手段104によって算出された視線ベクトルに校正データを乗算することで校正を行う。なお、視線ベクトル校正手段105は、視線ベクトル算出手段104から、ユーザUの左右いずれかの視線ベクトルのみが入力された場合は、左右いずれかの視線ベクトルを校正する。ここで、校正データとは、ユーザUの眼球形状や眼鏡またはコンタクトレンズによる光学的な歪等の個人差から生じる誤差を補正するためのデータであり、眼球領域画像GR,GLの瞳孔中心座標および角膜反射点座標から視線ベクトルを算出する際に個人差を補正するキャリブレーションデータのことを意味している。また、校正データは、より具体的には、ユーザUが表示装置Dの画面上における所定の座標を注視していると仮定した場合の、視線測定装置1の視線ベクトル算出手段104により算出された視線ベクトルと、実際の視線ベクトル角膜曲率中心と所定の座標を通るベクトルと、の角度のずれを示すデータのことを意味している。なお、前記したような左右の眼球の基準位置からそれぞれの視線ベクトルを算出する具体的な方法は、例えば特願2009-112298特開2010-259605号公報に記載された方法を用いることができる。視線ベクトル校正手段105には、図4に示すように、視線ベクトル算出手段104から、視線ベクトルと、これに対応する眼球周辺画像Gの時刻情報図示省略と、が入力される。そして、視線ベクトル校正手段105は、前記した手法によって、視線ベクトルを校正し、図4に示すように、当該校正後の視線ベクトルと、これに対応する眼球周辺画像Gの時刻情報図示省略と、を注視点算出手段106に出力する。注視点算出手段106は、ユーザUの視線ベクトルから、表示装置Dの画面上における当該ユーザUの注視点を算出するものである。注視点算出手段106は、具体的には、視線ベクトル校正手段105によって校正された視線ベクトルと表示装置Dの画面との交点の座標を、ユーザUが注目する画面上の注視点として算出する。注視点算出手段106は、視線ベクトル校正手段105によって校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれと表示装置Dの画面との交点の平均の位置、または、いずれか一方の視線ベクトルと表示装置Dの画面との交点の座標を注視点として算出する。また、注視点算出手段106は、視線ベクトル算出手段104によって左右の眼球のいずれか一方の視線ベクトルを算出することができなかった場合は、算出できた方についてのみ注視点を算出する。つまり、注視点算出手段106は、左右の眼球の視線ベクトルの両方を用いて注視点を算出してもよいし、いずれか一方のみを用いて注視点を算出してもよい。注視点算出手段106には、図4に示すように、視線ベクトル校正手段105から、校正後の視線ベクトルと、これに対応する眼球周辺画像Gの時刻情報図示省略と、が入力される。そして、注視点算出手段106は、前記した手法によって、視線ベクトルから注視点を算出し、図3および図4に示すように、当該注視点と、これに対応する眼球周辺画像Gの時刻情報図示省略と、を注視点同期手段20に出力する。以下、視線測定装置1の残りの構成について説明を続ける。注視点同期手段20は、複数の注視点を時間的に同期させるものである。注視点同期手段20は、具体的には図6aに示すように、それぞれ撮影装置C1~C4に対応する複数の注視点抽出手段10の注視点算出手段106によって算出された複数の注視点を、これらの注視点を算出する元となった眼球周辺画像Gが撮影装置C1~C4によって撮影された時刻に応じてそれぞれ同期させる。ここで、眼球周辺画像Gは、表示装置Dの画面に流れる映像を注視するユーザUの眼球周辺を、複数の撮影装置C1~C4によって時間的に連続して撮影した画像である。従って、当該眼球周辺画像Gから注視点抽出手段10によって抽出され、注視点同期手段20に入力される複数の注視点の中には、撮影装置C1~C4による撮影時刻が同じ眼球周辺画像Gから抽出された注視点と、撮影装置C1~C4による撮影時刻が異なる眼球周辺画像Gから抽出された注視点と、が存在する。しかし、注視点同期手段20によって時間的な同期処理を行うことで、図6aに示すように、複数の時刻に撮影された眼球周辺画像Gから算出された注視点を撮影装置C1~C4の撮影時刻ごとに分類することができる。ここで、図6aにおける時刻は、撮影装置C1~C4による撮影時刻を示しており、注視点座標1~4およびg1~g4は、それぞれ撮影装置C1~C4によって撮影された眼球周辺画像Gから算出した注視点の座標を示している。また、図6aにおける-は、眼球周辺画像Gから基準位置を検出できなかった等の理由で注視点を算出できなかったことを示している。例えば、図6aに示すように、撮影装置C1~C4によって7:00:00.100に撮影された複数の眼球周辺画像Gから算出された注視点の座標は、それぞれ920,488、955,398、883,451、917,426、となる。なお、後記するように、視線測定装置1が映像遅延手段60および重畳映像生成手段70を備える場合、図6bに示すように、複数の注視点を映像のタイムコードで同期してもよいが、詳細な説明は後記する。注視点同期手段20には、図3および図4に示すように、注視点抽出手段10の注視点算出手段106から、複数の注視点と、これに対応する複数の眼球周辺画像Gの時刻情報図示省略と、が入力される。そして、注視点同期手段20は、前記した手法によって、複数の注視点を時間的に同期し、図3に示すように、同期後の複数の注視点を注視点統合手段40に出力する。注視点分布記憶手段30は、ユーザUの撮影装置C1~C4ごとの注視点分布を記憶するものである。ここで、注視点分布とは、ユーザUの眼球周辺画像Gから抽出した注視点の分布を意味している。注視点分布は、より具体的には、予め撮影装置C1~C4によってユーザUの複数の眼球周辺画像Gを撮影し、これら複数の眼球周辺画像Gから、前記した眼球位置検出手段101、眼球領域画像切り出し手段102、基準位置特定手段103、視線ベクトル算出手段104、視線ベクトル校正手段105必要な場合のみ、注視点算出手段106を経て算出された複数の注視点を、撮影装置C1~C4ごとに分布化したものを意味している。つまり、注視点分布は、視線測定装置1の実際の使用の前に収集された、各系統撮影装置C1~C4およびこれらに対応する注視点抽出手段10ごとに抽出可能なユーザUの注視点の分布のことを意味している。この注視点分布は、例えば図7に示すように図示することができる。図7に示す4つの長方形のグラフは、それぞれが表示装置Dの画面に対応しており、当該グラフにプロットされた複数の点は、撮影装置C1~C4によって撮影されたユーザUの複数の眼球周辺画像Gから算出されたそれぞれの注視点を示している。すなわち、図7に示す注視点分布は、視線測定装置1によるユーザUの注視点の算出可能領域を、4つの系統撮影装置C1~C4および4つの注視点抽出手段10ごとに表わしたものといえる。例えば、図7aに示す注視点分布は、表示装置Dの画面上を自由に見ているユーザUの眼球周辺を撮影装置C1によって予め撮影し、得られた複数の眼球周辺画像Gから算出された注視点複数の眼球周辺画像Gの中で算出できた注視点の分布を示している。この図7aを参照すると、撮影装置C1によって撮影された眼球周辺画像Gからは、表示装置Dの画面の左上領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザUが表示装置Dの画面の左上領域を見ている時に撮影装置C1によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザUが表示装置Dの画面の左上領域以外を見ている時に撮影装置C1によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。また、図7bに示す注視点分布は、表示装置Dの画面上を自由に見ているユーザUの眼球周辺を撮影装置C2によって予め撮影し、得られた複数の眼球周辺画像Gから算出された注視点の分布を示している。この図7bを参照すると、撮影装置C2によって撮影された眼球周辺画像Gからは、表示装置Dの画面の右上領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザUが表示装置Dの画面の右上領域を見ている時に撮影装置C2によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザUが表示装置Dの画面の右上領域以外を見ている時に撮影装置C2によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。また、図7cに示す注視点分布は、表示装置Dの画面上を自由に見ているユーザUの眼球周辺を撮影装置C3によって予め撮影し、得られた複数の眼球周辺画像Gから算出された注視点の分布を示している。この図7cを参照すると、撮影装置C3によって撮影された眼球周辺画像Gからは、表示装置Dの画面の左下領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザUが表示装置Dの画面の左下領域を見ている時に撮影装置C3によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザUが表示装置Dの画面の左下領域以外を見ている時に撮影装置C3によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。また、図7dに示す注視点分布は、表示装置Dの画面上を自由に見ているユーザUの眼球周辺を撮影装置C4によって予め撮影し、得られた複数の眼球周辺画像Gから算出された注視点の分布を示している。この図7dを参照すると、撮影装置C4によって撮影された眼球周辺画像Gからは、表示装置Dの画面の右下領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザUが表示装置Dの画面の右下領域を見ている時に撮影装置C4によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザUが表示装置Dの画面の右下領域以外を見ている時に撮影装置C4によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。注視点分布記憶手段30は、具体的には、データを記憶することができるメモリ、ハードディスク等で具現される。注視点分布記憶手段30は、図7に示すような撮影装置C1~C4ごとの注視点分布を予め記憶しており、図3および図8に示すように、これらをそれぞれ注視点統合手段40の確率取得手段401に出力する。なお、注視点分布記憶手段30は、図3に示すように、視線測定装置1の内部に設けられているが、視線測定装置1の外部に設けられてもよい。また、後記する注視点統合手段40が更新手段402を備えている場合、注視点分布記憶手段30には、図8に示すように、当該更新手段402から注視点が入力され、注視点分布記憶手段30に記憶されている注視点分布が更新される場合があるが、詳細な説明は後記する。注視点統合手段40は、複数の注視点を一つに統合するものである。注視点統合手段40は、具体的には図6に示すように、撮影装置C1~C4の撮影時刻に応じて同期された同一時刻の4つの注視点を、当該複数の注視点ごとに算出された確からしさに従って、1つに統合する。注視点統合手段40は、具体的には図8に示すように、確率取得手段401と、更新手段402と、統合手段403と、を備えることが好ましい。確率取得手段401は、注視点分布記憶手段30に記憶された注視点分布から、注視点確率を取得するものである。ここで、注視点確率とは、ユーザUの眼球周辺画像Gから抽出した注視点が、本当にユーザUが注視していた画面上の座標であるのかの確からしさを示す確率を意味している。注視点確率は、より具体的には、注視点分布に含まれる全ての注視点の数に対する、画面上における個々の座標ごとの注視点の数の割合を示している。例えば、予め視線測定装置1に対して、撮影装置C1~C4によって撮影されたユーザUの眼球周辺画像Gが合計100枚入力されたとする。そして、これらの眼球周辺画像Gから100個の注視点が抽出され、かつ、表示装置Dの画面の座標1,1を示す注視点の数が10個である場合、当該座標1,1の注視点確率は10=10/100×100となる。確率取得手段401は、具体的には図8に示すように、まず注視点分布記憶手段30から注視点分布を取得し、当該注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Dの画面上における個々の座標ごとの注視点確率分布を算出する。そして、この注視点確率分布に対して、注視点同期手段20によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する。確率取得手段401によって算出される注視点確率分布としては、様々な形態のものが挙げられる。例えば、確率取得手段401は、図9に示すように、撮影装置C1~C4ごとの注視点分布を所定のブロックごとに集計し、これらを統合することで、注視点確率分布を算出することができる。この場合、確率取得手段401は、図9の中央に示す撮影装置C1~C4ごとの注視点分布の測定領域画面の大きさ、例えば640ピクセル×480ピクセルを、例えば80ピクセル×80ピクセルのブロックに分け、図9の左右に示すように、当該ブロックごとの注視点確率分布を算出する。なお、図9の左右に示す注視点確率分布は、ハッチングの密度が大きいほど確率が高いことを表わしている。また、図9の左右に示す注視点確率分布では、ブロック内に含まれる座標の注視点確率は同確率となる。そして、確率取得手段401は、図9の下に示すように、撮影装置C1~C4ごとに算出された4つの注視点確率分布を一つに統合する。また、確率取得手段401は、図10に示すように、正規分布を用いた注視点確率分布を算出してもよい。この場合、確率取得手段401は、図10の中央に示す撮影装置C1~C4ごとの注視点分布から、平均値、標準偏差等のパラメータを算出し、図10の左右に示すように、正規分布のモデルを当てはめる。なお、図10の左右に示す正規分布を用いた注視点確率分布は、ハッチングの密度が大きいほど確率が高いことを表わしている。そして、確率取得手段401は、図10の下に示すように、撮影装置C1~C4ごとに算出された4つの正規分布を一つに統合した混合正規分布4つの正規分布の重み付き線形和を算出する。ここで、図10の左右に示す正規分布は、例えば下記式1によって表わすことができ、図10の示す混合正規分布は、例えば下記式2によって表わすことができる。なお、下記式1における太字のxは注視点座標x,y、太字のμは平均値、Σは分散共分散行列、を示している。また、下記式2におけるλmは系統m撮影装置Cmの重み、mは系統識別子、Mは系統数、Nは系統内の注視点の総数、を示している。下記前記式2では、パラメータμm,Σmを測定値からEMアルゴリズム期待値最大化法等により推定する。ここで、各系統撮影装置C1~C4の注視点分布を単独の多次元2次元正規分布fxで当てはめると、誤差が大きくなる場合がある。この場合、確率取得手段401は、下記式3、4に示すように、各系統内の注視点分布を適当な数のクラスタに分けてそれぞれを正規分布に当てはめ、それを混合する混合正規分布gxで当てはめてもよい。なお、下記式3におけるgmは系統m内の混合正規分布、iは系統内のクラスタ識別子、Iは系統内のクラスタ数、を示している。また、下記式3ではI=1となる。確率取得手段401には、図3および図8に示すように、注視点同期手段20から、撮影装置C1~C4に対応した同期後の複数の注視点図6参照が入力される。そして、確率取得手段401は、前記した手法によって当該同期後の複数の注視点の注視点確率をそれぞれ取得し、当該撮影装置C1~C4に対応した複数の注視点確率と、これに対応する同期後の注視点と、を更新手段402に出力する。更新手段402は、注視点分布記憶手段30に記憶されている注視点分布を更新するものである。更新手段402は、具体的には、確率取得手段401によって取得された注視点確率が予め定められた所定の閾値th1を超えるか否かを判定する。そして、更新手段402は、図8に示すように、注視点確率が所定の閾値th1を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段30に書き込む追加することで、注視点分布記憶手段30に記憶されている注視点分布を更新する。これにより、視線測定装置1は、注視点確率が一定以上である注視点、すなわちユーザUが注視している可能性の高い座標を示す注視点が算出された場合、当該注視点を注視点分布記憶手段30に追加して注視点分布を更新するため、注視点分布記憶手段30に記憶された注視点分布の精度を漸次向上させることができる。なお、閾値th1は、外れ値を除外できる程度の値例えば信頼区間の下限であればよい。また、更新手段402による注視点分布の更新のタイミングは、注視点が算出される度に行ってもよく、あるいは、一定数の注視点が算出される度に行なってもよい。なお、後者の場合、更新手段402は、一定数の注視点を記憶する図示しない記憶手段を備えることが好ましい。更新手段402には、図8に示すように、確率取得手段401から、複数の注視点確率と、これに対応する同期後の注視点と、が入力される。そして、更新手段402は、前記した手法によって閾値処理を行い、注視点確率が所定の閾値th1を超える場合は、注視点分布記憶手段30に注視点を出力するとともに、複数の注視点確率と、これに対応する同期後の注視点と、を統合手段403に出力する。また、更新手段402は、注視点確率が所定の閾値th1未満である場合は、複数の注視点確率と、これに対応する同期後の注視点と、を統合手段403に出力する。統合手段403は、撮影装置C1~C4によって同時刻に撮影された複数の眼球周辺画像Gから抽出された複数の注視点を一つに統合するものである。統合手段403は、具体的には注視点分布記憶手段30に記憶された注視点分布に対応した注視点確率、すなわち確率取得手段401によって算出された注視点確率に従って、複数の注視点を統合する。統合手段403は、例えば、前記した注視点確率に従って、撮影装置C1~C4によって同時刻に撮影された複数の眼球周辺画像Gから抽出され、注視点同期手段20によって同期された複数の注視点を加重平均することで、複数の注視点を統合することができる。この場合、統合手段403は、複数の注視点の座標および各注視点に対応した注視点確率をパラメータとする、下記式5に示す統合用関数gintを用いて複数の注視点を統合することができる。なお、下記式5におけるgmは、複数の注視点の座標、pmは、複数の注視点の注視点確率、Mは系統数この例の場合M=4を示している。また、統合手段403は、前記した手法以外にも、注視点同期手段20によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、撮影装置C1~C4によって同時刻に撮影された複数の眼球周辺画像Gから抽出された複数の注視点を統合してもよい。この場合、統合手段403は、下記式6に示す統合用関数gintを用いて複数の注視点を統合する。なお、下記式6におけるgmmaxは、複数の注視点の座標の中で最も注視点確率の高い座標を示している。統合手段403には、図8に示すように、更新手段402から、複数の注視点確率と、これに対応する同期後の注視点と、が入力される。そして、統合手段403は、前記したいずれかの手法によって、複数の注視点を統合し、これを出力する。なお、後記するように、視線測定装置1が重畳映像生成手段70を備える場合、図3および図8に示すように、統合手段403は、統合後の注視点をこれに対応する映像のタイムコードとともに、重畳映像生成手段70に出力するが、詳細な説明は後記する。以下、視線測定装置1の残りの付加的な構成について説明を続ける。映像入力手段50は、表示装置Dの画面上に表示される映像と同じ映像を入力するものである。映像入力手段50は、具体的には図3に示すように、ユーザUが視認する表示装置Dの画面上に表示される映像と同じ映像を、当該ユーザUが視聴するタイミングと同じタイミングで映像遅延手段60に対して入力する。また、映像入力手段50は、図3および図4に示すように、注視点抽出手段10の眼球位置検出手段101に対して、入力した映像のタイムコードを入力する。この場合、注視点同期手段20は、複数の注視点を前記した図6aに示すような撮影装置C1~C4の撮影時刻で同期するのではなく、図6bに示すような映像のタイムコードによって同期することができる。これにより、撮影装置C1~C4によって撮影された複数の眼球周辺画像Gに時刻情報が含まれていない場合であっても、複数の注視点を時間的に同期することができる。なお、この場合、映像入力手段50から眼球位置検出手段101に入力された映像のタイムコードは、図4に示す眼球領域切り出し手段102、基準位置特定手段103、視線ベクトル算出手段104、視線ベクトル校正手段105および注視点算出手段106を介して、注視点同期手段20に入力されることになる。映像遅延手段60は、映像入力手段50から入力された映像を所定時間遅延させるものである。映像遅延手段60は、具体的には図3に示すように、映像入力手段50から入力された映像を注視点抽出手段10における抽出処理時間と、注視点同期手段20における同期処理時間と、注視点統合手段40における統合処理時間と、を合計した処理時間だけ遅延させる。映像遅延手段60は、例えば、注視点統合手段40によって統合された注視点のタイムコード時刻情報と、映像入力手段50によって入力された映像のタイムコード時刻情報と、が合致するように、重畳映像生成手段70に対する映像の出力を遅らせることで、映像を遅延させることができる。あるいは、映像遅延手段60の内部に映像入力手段50から入力された映像を一時的に蓄積するメモリを設け、注視点統合手段40によって統合された注視点のタイムコードに基づいて、当該メモリから該当するフレームを抽出して重畳映像生成手段70に出力することで、映像を遅延させることができる。これにより、後記するように、映像入力手段50から入力された映像に対して、注視点統合手段40によって統合された注視点を重畳させる際に、映像と注視点との時間的なタイミングを合わせることができる。すなわち、ユーザUが映像のどの場面のどの座標を注視していたのかを正確に示す重畳映像を生成することができる。映像遅延手段60には、図3に示すように、映像入力手段50からユーザUが視聴している映像が入力される。そして、映像遅延手段60は、前記した手法によって所定時間だけ映像を遅延させ、図3に示すように、これを重畳映像生成手段70に出力する。重畳映像生成手段70は、映像に注視点を重畳させるものである。重畳映像生成手段70は、図3に示すように、映像遅延手段60によって遅延された映像に対して、注視点統合手段40によって統合された注視点を重畳させることで、重畳映像を生成する。これにより、ユーザUが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を生成することができる。重畳映像生成手段70には、図3に示すように、注視点統合手段40から統合後の注視点が入力され、映像遅延手段60から遅延後の映像が入力される。そして、重畳映像生成手段70は、前記した手法によって映像に統合後の注視点を重畳させ、図3に示すように、これを例えば外部の表示装置等に出力する。以上のような構成を備える視線測定装置1は、複数の撮影装置C1~C4を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Gを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置1を用いることにより、1台の撮影装置では特徴点を捉えられなかった領域例えば図2bの左上図および左下図参照におけるユーザUの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。また、視線測定装置1は、各系統複数の撮影装置C1~C4とこれに対応する注視点抽出手段10ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。このように、視線測定装置1では、複数台の撮影装置C1~C4で特徴点を捉えることができる領域では、複数の注視点の測定結果を確率分布に基づいて統合するため、より精度が高く、頑健な測定が可能となる。また、視線測定装置1が前記した映像遅延手段60および重畳映像生成手段70を備える場合、ユーザUが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザUの視線を視覚的に提示することができる。[視線測定装置1の動作]以下、視線測定装置1の動作について、図11および図12適宜図3、図4および図8を参照を参照しながら簡単に説明する。まず、視線測定装置1は、撮影装置C1~C4から、表示装置Dの画面を視認するユーザUの眼球周辺画像G近赤外光が照射された眼球周辺画像Gが入力されると、眼球位置検出手段101によって、ユーザUの眼球位置を検出するステップS1。次に、視線測定装置1は、眼球領域切り出し手段102によって、前記した眼球位置を基準として、眼球周辺画像Gから眼球領域画像GR,GLをそれぞれ切り出すステップS2。次に、視線測定装置1は、基準位置特定手段103によって、眼球領域画像GR,GLから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定するステップS3。次に、視線測定装置1は、視線ベクトル算出手段104によって、撮影装置C1~C4のカメラパラメータを用いることで、前記した基準位置から、ユーザUの視線方向を示す視線ベクトルを算出するステップS4。次に、視線測定装置1は、視線ベクトル校正手段105によって、必要に応じて視線ベクトルを校正するステップS5。次に、視線測定装置1は、注視点算出手段106によって、視線ベクトルと表示装置Dの画面との交点をユーザUの注視点として算出するステップS6。次に、視線測定装置1は、注視点同期手段20によって、複数の注視点を撮影装置C1~C4の撮影時刻に応じてそれぞれ同期させるステップS7。そして、視線測定装置1は、注視点統合手段40によって、複数の注視点を一つに統合するステップS8。以下、ステップS8における注視点の統合処理の詳細について、図12を参照しながら説明する。注視点の統合処理では、視線測定装置1は、まず、確率取得手段401によって、注視点分布記憶手段30に記憶されている注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Dの画面上における個々の座標ごとの注視点確率分布を算出する。そして、視線測定装置1は、確率取得手段401によって、この注視点確率分布に対して、注視点同期手段20によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得するステップS81。次に、視線測定装置1は、更新手段402によって、確率取得手段401によって取得された注視点確率が予め定められた所定の閾値th1を超えるか否かを判定するステップS82。そして、視線測定装置1は、注視点確率が予め定められた所定の閾値th1を超える場合ステップS82においてYes、更新手段402によって、当該注視点確率を有する注視点を注視点分布記憶手段30に書き込み、注視点分布を更新するステップS83。一方、視線測定装置1は、注視点確率が予め定められた所定の閾値th1未満である場合ステップS82においてNo、注視点分布を更新することなく、ステップS84に進む。次に、視線測定装置1は、統合手段403によって、確率取得手段401によって取得された注視点確率に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合するステップS84。これにより、注視点の統合処理が終了する。なお、視線測定装置1が映像遅延手段60および重畳映像生成手段70を備える場合図3参照は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置1は、まず、映像遅延手段60によって、映像入力手段50から入力された映像を、注視点抽出手段10における抽出処理時間と、注視点同期手段20における同期処理時間と、注視点統合手段40における統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置1は、重畳映像生成手段70によって、映像遅延手段60によって遅延された映像に対して、注視点統合手段40によって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザUが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。[第2実施形態]以下、第2実施形態に係る視線測定装置1Aについて、図13~図15を参照しながら詳細に説明する。視線測定装置1Aは、図13に示すように、注視点抽出手段10の代わりに注視点抽出手段10Aを、注視点統合手段40の代わりに注視点統合手段40Aを、注視点分布記憶手段30の代わりにテンプレート画像記憶手段80を備える以外は、第1実施形態に係る視線測定装置1と同様の構成を備えている。従って、以下の説明では、視線測定装置1との相違点を中心に説明を行い、当該視線測定装置1と重複する構成については詳細説明を省略する。テンプレート画像記憶手段80は、ユーザUの眼球の特徴的な部位を含むテンプレート画像を記憶するものである。ここで、テンプレート画像とは、図14aに示すように、ユーザUの眼球の特徴が含まれる画像であり、例えば図14aに示すように、ユーザUの瞳孔を含む画像や、ユーザUの角膜反射像を含む画像のことを意味している。テンプレート画像としては、例えば、予め表示装置Dの画面を注視するユーザUの眼球を撮影装置C1~C4ごとに撮影した眼球画像から、図14aに示すように、瞳孔を含む画像または角膜反射像を含む画像を抜き出したものを用いることができる。テンプレート画像は、後記するように、眼球位置検出手段101Aにおけるテンプレートマッチングに用いられる。その際に、例えば図14aに示す瞳孔を含む画像または角膜反射像を含む画像をテンプレート画像として用いた場合、図14bの左に示す眼球画像は類似度が大きいと判断され、右に示す眼球画像は類似度が小さいと判断されることになる。テンプレート画像記憶手段80は、具体的には、データを記憶することができるメモリ、ハードディスク等で具現される。テンプレート画像記憶手段80は、図14aに示すようなテンプレート画像を予め記憶しており、図13および図15に示すように、これを注視点抽出手段10Aの眼球位置検出手段101Aに出力する。なお、テンプレート画像記憶手段80は、図13に示すように、視線測定装置1Aの内部に設けられているが、外部に設けられてもよい。注視点抽出手段10Aにおける眼球位置検出手段101Aは、図15に示すように、テンプレート画像記憶手段80に記憶されたテンプレート画像と、撮影装置C1~C4によって撮影された眼球周辺画像Gと、を類似度を示す正規化相関値を指標としてテンプレートマッチングすることで、ユーザUの眼球位置を検出する。ここで、前記した正規化相関値rは、例えば下記式7によって表わすことができる。なお、下記式7におけるIi,jは、眼球周辺画像Gにおける位置i,j画素値、Ti,jは、テンプレート画像における位置i,jの画素値、Iバーは、眼球周辺画像Gの平均画素値、Tバーは、テンプレート画像の平均画素値、を示している。このように算出された眼球周辺画像Gごとの正規化相関値は、図13および図15に示すように、眼球位置検出手段101Aから、眼球領域画像切り出し手段102、基準位置特定手段103、視線ベクトル算出手段104、視線ベクトル校正手段105、注視点算出手段106および注視点同期手段20を介して、注視点統合手段40Aに出力される。そして、注視点統合手段40Aは、それぞれ撮影装置C1~C4に対応する複数の眼球位置検出手段101Aによって算出された複数の正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を一つに統合する。注視点統合手段40Aは、例えば、前記した正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を加重平均することで、複数の注視点を統合することができる。この場合、注視点統合手段40Aは、複数の注視点の座標および正規化相関値をパラメータとする、下記式8に示す統合用関数gintを用いて複数の注視点を統合する。なお、下記式8におけるrmは、各注視点を算出する際に行なったパターンマッチングの正規化相関値を示している。また、注視点統合手段40Aは、前記した手法以外にも、注視点同期手段20によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を統合してもよい。この場合、注視点統合手段40Aは、下記式9に示す統合用関数gintを用いて複数の注視点を統合する。なお、下記式9におけるgmmaxは、複数の注視点の座標の中で最も正規化相関値の高い座標を示している。以上のような構成を備える視線測定装置1Aは、複数の撮影装置C1~C4を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Gを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置1Aを用いることにより、1台の撮影装置では特徴点を捉えられなかった領域例えば図2bの左上図および左下図参照におけるユーザUの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。また、視線測定装置1Aは、各系統撮影装置C1~C4とこれに対応する注視点抽出手段10Aごとに、事前にユーザUの眼球の特徴的な部位を含むテンプレート画像を用意しておき、ユーザUの眼球周辺画像Gからテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標例えば正規化相関値を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。このように、視線測定装置1Aは、複数台の撮影装置C1~C4で特徴点を捉えることができる領域では、複数の注視点の測定結果をテンプレート画像との類似度に基づいて統合するため、より精度が高く、頑健な測定が可能となる。また、視線測定装置1Aが前記した映像遅延手段60および重畳映像生成手段70を備える場合、ユーザUが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザUの視線を視覚的に提示することができる。[視線測定装置1Aの動作]以下、視線測定装置1Aの動作について、図16適宜図13および図15参照を参照しながら簡単に説明する。まず、視線測定装置1Aは、撮影装置C1~C4から、表示装置Dの画面を視認するユーザUの眼球周辺画像G近赤外光が照射された眼球周辺画像Gが入力されると、眼球位置検出手段101Aによって、テンプレート画像との正規化相関値が算出されるとともに、ユーザUの眼球位置を検出するステップS9。次に、視線測定装置1Aは、眼球領域切り出し手段102によって、前記した眼球位置を基準として、眼球周辺画像Gから眼球領域画像GR,GLをそれぞれ切り出すステップS10。次に、視線測定装置1Aは、基準位置特定手段103によって、眼球領域画像GR,GLから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定するステップS11。次に、視線測定装置1Aは、視線ベクトル算出手段104によって、撮影装置C1~C4のカメラパラメータを用いることで、前記した基準位置から、ユーザUの視線方向を示す視線ベクトルを算出するステップS12。次に、視線測定装置1Aは、視線ベクトル校正手段105によって、必要に応じて視線ベクトルを校正するステップS13。次に、視線測定装置1Aは、注視点算出手段106によって、視線ベクトルと表示装置Dの画面との交点をユーザUの注視点として算出するステップS14。次に、視線測定装置1Aは、注視点同期手段20によって、複数の注視点を撮影装置C1~C4の撮影時刻に応じてそれぞれ同期させるステップS15。次に、視線測定装置1Aは、注視点統合手段40によって、眼球位置検出手段101Aによって算出された正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合するステップS16。これにより、注視点の統合処理が終了する。なお、視線測定装置1Aが映像遅延手段60および重畳映像生成手段70を備える場合図13参照は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置1Aは、まず、映像遅延手段60によって、映像入力手段50から入力された映像を注視点抽出手段10Aにおける抽出処理時間と、注視点同期手段20における同期処理時間と、注視点統合手段40における統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置1Aは、重畳映像生成手段70によって、映像遅延手段60によって遅延された映像に対して、注視点統合手段40Aによって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザUが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。[第3実施形態]以下、第3実施形態に係る視線測定装置1Bについて、図17および図18適宜図15参照を参照しながら詳細に説明する。視線測定装置1Bは、図17に示すように、第1実施形態に係る視線測定装置1と同様に、注視点分布記憶手段30を備えるとともに、第2実施形態に係る視線測定装置1Aと同様に、注視点抽出手段10Aと、テンプレート画像記憶手段80と、を備えている。また、視線測定装置1Bは、図17に示すように、視線測定装置1,2の注視点統合手段40,40Aの代わりに、注視点統合手段40Bを備えている。従って、以下の説明では、視線測定装置1,2との相違点を中心に説明を行い、重複する構成については詳細説明を省略する。視線測定装置1Bでは、第2実施形態に係る視線測定装置1Aと同様に、テンプレート画像記憶手段80がユーザUの眼球の特徴的な部位瞳孔と角膜反射像の両方または角膜反射像を含むテンプレート画像を予め記憶しており、眼球位置検出手段101Aが、当該テンプレート画像と、撮影装置C1~C4によって撮影された眼球周辺画像Gと、を類似度を示す正規化相関値を指標としてテンプレートマッチングすることで、ユーザUの眼球位置を検出する図15参照。なお、この正規化相関値は、前記式5で表わされる。このように算出された眼球周辺画像Gごとの正規化相関値は、図15、図17および図18に示すように、眼球位置検出手段101Aから、眼球領域画像切り出し手段102、基準位置特定手段103、視線ベクトル算出手段104、視線ベクトル校正手段105、注視点算出手段106および注視点同期手段20を介して、注視点統合手段40Bの確率取得手段401Bに出力される。確率取得手段401Bは、図17および図18に示すように、注視点同期手段20から、同期後の複数の注視点と、これに対応する正規化相関値が入力されると、注視点分布記憶手段30から、注視点分布に含まれる注視点の数を取得する。そして、確率取得手段401Bは、当該注視点の数が予め定められた所定の閾値th2未満であるか否かを判定する。この閾値処理は、言い換えれば、注視点分布記憶手段30の中に一定量の注視点のデータが記憶されているかを判定することを意味している。なお、閾値th2は、予め実験的または試験的に求めておいたものを用いる。確率取得手段401Bは、前記した注視点の数が所定の閾値th2未満である場合、図18に示すように、注視点分布記憶手段30から注視点分布を取得することなく、同期後の複数の注視点と、これに対応する正規化相関値を更新手段402Bに出力する。そして、更新手段402Bは、確率取得手段401Bから入力された正規化相関値が予め定められた所定の閾値th3を超えるか否かを判定し、正規化相関値が所定の閾値th3を超える場合、当該正規化相関値を有する注視点を注視点分布記憶手段30に書き込むことで、注視点分布記憶手段30に記憶されている注視点分布を更新する。また、更新手段402Bは、図18に示すように、同期後の複数の注視点と、これに対応する正規化相関値を統合手段403Bに出力する。そして、統合手段403Bは、前記した正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する。なお、この場合の統合処理は、視線測定装置1Aと同様である。また、閾値th3は、経験的に求めてもよいし、得られた類似度正規化相関値の標準偏差等の分布を示す統計量に基づいて動的に定めてもよい。一方、確率取得手段401Bは、前記した注視点の数が所定の閾値th2を超える場合、図18に示すように、注視点分布記憶手段30から注視点分布を取得し、当該注視点分布から算出した注視点確率分布から同期後の複数の注視点の注視点確率をそれぞれ取得し、当該複数の注視点確率と、これに対応する同期後の注視点と、を更新手段402Bに出力する。そして、更新手段402Bは、確率取得手段401Bから入力された注視点確率が予め定められた所定の閾値th1を超えるか否かを判定し、注視点確率が所定の閾値th1を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段30に書き込むことで、注視点分布記憶手段30に記憶されている注視点分布を更新する。また、更新手段402Bは、図18に示すように、同期後の複数の注視点と、これに対応する注視点確率を統合手段403Bに出力する。そして、統合手段403Bは、前記した注視点確率に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から注視点分布の最も高いものを選択することで、複数の注視点を一つに統合する。なお、この場合の統合処理は、視線測定装置1と同様である。以上のような構成を備える視線測定装置1Bは、複数の撮影装置C1~C4を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Gを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置1Bを用いることにより、1台の撮影装置では特徴点を捉えられなかった領域例えば図2bの左上図および左下図参照におけるユーザUの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。また、前記した第1実施形態に係る視線測定装置1のように、注視点分布記憶手段30に蓄積されている注視点の分布からモデル例えば混合正規分布モデルを当てはめて精度の高い注視点確率分布を得るには相当量の注視点のデータが必要となる。すなわち、視線測定装置1のように、注視点確率分布を用いることで、精度の高い統合が可能であるが、測定の初期状態ではデータ量が少ないため高い精度での統合が困難な場合がある。一方、視線測定装置1Bは、注視点分布記憶手段30およびテンプレート画像記憶手段80の両方を備えており、注視点分布記憶手段30に記憶されているデータ量注視点の数が少ない場合は、撮影装置C1~C4によって撮影された眼球周辺画像Gとテンプレート画像との類似度を示す正規化相関値によって統合処理を行うとともに、一定以上の正規化相関数を有する注視点を注視点分布記憶手段30に書き込むことで注視点分布を更新する。また、視線測定装置1Bは、注視点分布記憶手段30に記憶されているデータ量注視点の数が一定以上となった場合は、眼球周辺画像Gから抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。従って、視線測定装置1Bは、注視点分布記憶手段30に必要量のデータが蓄積された後は、テンプレートマッチングの類似度正規化相関値に基づいた統合から注視点分布による統合へと切り替えることができるため、精度の高い測定が可能となる。また、視線測定装置1Bが前記した映像遅延手段60および重畳映像生成手段70を備える場合、ユーザUが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザUの視線を視覚的に提示することができる。[視線測定装置1Bの動作]以下、視線測定装置1Bの動作について、図19および図20適宜図15、図17および図18参照を参照しながら簡単に説明する。まず、視線測定装置1Bは、撮影装置C1~C4から、表示装置Dの画面を視認するユーザUの眼球周辺画像G近赤外光が照射された眼球周辺画像Gが入力されると、眼球位置検出手段101Aによって、眼球周辺画像Gのテンプレート画像との正規化相関値を算出するとともに、ユーザUの眼球位置を検出するステップS17。次に、視線測定装置1Bは、眼球領域切り出し手段102によって、前記した眼球位置を基準として、眼球周辺画像Gから眼球領域画像GR,GLを切り出すステップS18。次に、視線測定装置1Bは、基準位置特定手段103によって、眼球領域画像GR,GLから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定するステップS19。次に、視線測定装置1Bは、視線ベクトル算出手段104によって、撮影装置C1~C4のカメラパラメータを用いることで、前記した基準位置から、ユーザUの視線方向を示す視線ベクトルを算出するステップS20。次に、視線測定装置1Bは、視線ベクトル校正手段105によって、必要に応じて視線ベクトルを校正するステップS21。次に、視線測定装置1Bは、注視点算出手段106によって、視線ベクトルと表示装置Dの画面との交点を、ユーザUの注視点として算出するステップS22。次に、視線測定装置1Bは、注視点同期手段20によって、複数の注視点を撮影装置C1~C4の撮影時刻に応じてそれぞれ同期させるステップS23。そして、視線測定装置1Bは、注視点統合手段40Bによって、複数の注視点を一つに統合するステップS24。以下、ステップS24における注視点の統合処理の詳細について、図20を参照しながら説明する。注視点の統合処理では、視線測定装置1Bは、まず、確率取得手段401Bによって、注視点分布記憶手段30から、注視点分布に含まれる注視点の数を取得し、当該注視点の数が予め定められた所定の閾値th2未満であるか否かを判定するステップS241。そして、視線測定装置1Bは、注視点の数が予め定められた所定の閾値th2未満である場合ステップS241においてYes、確率取得手段401Bによって、眼球位置検出手段101Aにより算出された正規化相関値が予め定められた所定の閾値th3を超えるか否かを判定するステップS242。そして、視線測定装置1Bは、正規化相関値が予め定められた所定の閾値th3を超える場合ステップS242においてYes、更新手段402Bによって、当該正規化相関値を有する注視点を注視点分布記憶手段30に書き込み、注視点分布を更新するステップS243。一方、視線測定装置1Bは、正規化相関値が予め定められた所定の閾値th3未満である場合ステップS242においてNo、注視点分布を更新することなく、ステップS244に進む。次に、視線測定装置1Bは、統合手段403Bによって、眼球位置検出手段101Aによって算出された正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合するステップS244。これにより、注視点の統合処理が終了する。一方、視線測定装置1Bは、注視点の数が予め定められた所定の閾値th2を超える場合ステップS241においてNo、確率取得手段401Bによって、注視点分布記憶手段30に記憶されている注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Dの画面上における個々の座標ごとの注視点確率分布を算出する。そして、視線測定装置1Bは、確率取得手段401Bによって、この注視点確率分布に対して、注視点同期手段20によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得するステップS245。次に、視線測定装置1Bは、更新手段402Bによって、確率取得手段401Bによって取得された注視点確率が予め定められた所定の閾値th1を超えるか否かを判定するステップS246。そして、視線測定装置1Bは、注視点確率が予め定められた所定の閾値th1を超える場合ステップS246においてYes、更新手段402Bによって、当該注視点確率を有する注視点を注視点分布記憶手段30に書き込み、注視点分布を更新するステップS247。一方、視線測定装置1Bは、注視点確率が予め定められた所定の閾値th1未満である場合ステップS246においてNo、注視点分布を更新することなく、ステップS248に進む。次に、視線測定装置1Bは、統合手段403Bによって、確率取得手段401Bによって取得された注視点確率に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合するステップS248。これにより、注視点の統合処理が終了する。なお、視線測定装置1Bが映像遅延手段60および重畳映像生成手段70を備える場合図17参照は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置1Bは、まず、映像遅延手段60によって、映像入力手段50から入力された映像を注視点抽出手段10Aにおける抽出処理時間と、注視点同期手段20における同期処理時間と、注視点統合手段40Bにおける統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置1Bは、重畳映像生成手段70によって、映像遅延手段60によって遅延された映像に対して、注視点統合手段40Bによって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザUが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。[視線測定プログラム]ここで、前記した視線測定装置1,1A,1Bは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、CD-ROM等の記録媒体に書き込んで配布することも可能である。以上、本発明に係る視線測定装置および視線測定プログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。例えば、実施形態に係る視線測定装置1,1A,1Bでは、図1に示すように、4台の撮影装置C1~C4を設置する例を示したが、撮影装置の台数は、2台複数台以上であれば特に限定されない。また、図1の例では、撮影装置C1~C4を表示装置Dの画面の4隅に配置する例を示したが、ユーザUの眼球周辺を異なる位置および角度から撮影できるのであれば、撮影装置C1~C4の設置位置は特に限定されない。また、実施形態に係る視線測定装置1,1A,1Bでは、図3、図13及び図17に示すように、注視点抽出手段10,10Aが撮影装置C1~C4の数に対応して複数設けられ、その注視点抽出手段10,10Aのそれぞれで注視点を抽出しているが、この注視点抽出手段10,10Aを一つのみ設け、複数の撮影装置C1~C4から入力された眼球周辺画像Gからそれぞれ注視点を抽出してもよい。また、実施形態に係る視線測定装置1,1A,1Bでは、図4および図15に示すように、視線ベクトル算出手段104によって算出された視線ベクトルを視線ベクトル校正手段105によって校正し、校正後の視線ベクトルを注視点算出手段106に出力する構成としたが、視線ベクトルの校正処理は必要に応じて行うものであるため省略してもよい。この場合、視線測定装置1,1A,1Bは、図4および図15に示す視線ベクトル算出手段104によって算出された視線ベクトルを校正することなく注視点算出手段106に出力する。また、実施形態に係る視線測定装置1,1A,1Bでは、図3、図6、図13及び図17に示すように、注視点同期手段20によって、撮影装置C1~C4によって同時刻に撮影された複数の眼球周辺画像Gに対応する複数の注視点を時間的に同期させているが、注視点抽出手段10,10Aによって抽出された注視点が既に時間的に同期している場合は、注視点同期手段20を設けずに、注視点抽出手段10から注視点統合手段40に直接複数の注視点を出力してもよい。なお、注視点抽出手段10,10Aによって抽出された注視点が既に時間的に同期している場合とは、具体的には、撮影装置C1~C4に対応して設けられた複数の注視点抽出手段10,10Aにおける注視点処理時間が一致する場合を意味している。また、実施形態に係る視線測定装置1,1Bでは、図3、図8、図17および図18に示すように、注視点分布記憶手段30が注視点分布を予め記憶し、確率取得手段401,401Bが当該注視点分布から注視点確率分布を算出する構成としたが、注視点分布記憶手段30が注視点分布と注視点確率分布の双方を記憶する構成としてもよい。この場合、注視点分布記憶手段30は、注視点分布と、当該注視点分布から予め算出された注視点確率分布と、を記憶する。そして、確率取得手段401は、注視点分布記憶手段30から注視点確率分布を取得し、当該注視点確率分布に対して、注視点同期手段20によって同期された注視点を照らし合わせることで、当該注視点の注視点確率を取得する。なお、この場合の注視点確率分布は、例えば確率分布の中心の座標と広がりのパラメータによって表現することができるため、注視点分布記憶手段30はこれらのパラメータを記憶してもよい。また、実施形態に係る視線測定装置1Bでは、確率取得手段401Bが、注視点分布記憶手段30に記憶された注視点の数が所定の閾値th2未満であるか否かを判定することで、テンプレートマッチングの類似度正規化相関値に基づいた統合から注視点分布による統合へと切り替えているが、この切り替えの判定は、前記した注視点の数の他に、モデルの当てはまりの良さを示す指標例えばAIC,BIC等の情報量基準を用いてもよい。なお、注視点確率分布は、個人差補正のための校正作業で得られる注視点のデータに基づいて作成してもよいし、過去にユーザUについて測定した注視点のデータに基づいて作成してもよい。また、注視点確率分布は、代表的な座標における確率を示した表形式で用意しても良いし、パラメトリックなモデルで表現してもよい。また、実施形態に係る視線測定装置1,1A,1Bは、撮影装置C1~C4によって撮影された眼球周辺画像G図5参照を一時的に蓄積するメモリ図示せずをさらに備えていてもよい。視線測定装置1,1A,1Bは、視線ベクトル算出手段104によって算出された視線ベクトルや、注視点算出手段106によって算出された注視点を蓄積するメモリ図示せずをさらに備えていてもよい。この場合、撮影装置C1~C4によって撮影され、図示しないメモリに記憶された眼球周辺画像Gは、眼球位置検出手段101,101Aによって適宜読み出される。また、視線ベクトル算出手段104Aによって算出され、図示しないメモリに記憶された視線ベクトルは、視線ベクトル校正手段105によって適宜読み出される。また、注視点算出手段106によって算出され、図示しないメモリに記憶された注視点は、注視点同期手段20によって適宜読み出される。また、実施形態に係る視線測定装置1,1A,1Bは、予め生成された校正データを記憶するメモリ図示せずを備えていてもよい。このメモリは、半導体メモリ等の一般的な記憶手段とすることができる。なお、このメモリを、例えば、FIFOFirstInFirstOutバッファとし、予め定めた回数の校正データのみを記憶することとし、予め定めた回数を超えて新しい校正データが入力された場合、最も古い校正データを削除し、新しい校正データを記憶するように構成してもよい。これにより、誤った校正データが記憶された場合であっても、再度校正をやり直すことで、正しい校正データが記憶されることとなる。このようなメモリに記憶された校正データは、視線ベクトル校正手段105によって逐次参照されることとなる。"