(57)【要約】【課題】ユーザがキャリブレーションを行うことなく、精度よくユーザの視線位置を計測する。【解決手段】判定手段２０１、５０２、５０１が、コンピュータにより制御されて画面に表示される標識が画面上に出現しているか否かを判定する。取得手段２０１、３０１が、標識が画面上に出現している場合に、標識の出現位置を取得する。補正手段４０１が、ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する出現位置に基づいて補正する。【選択図】図１
2005339103.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにより制御されて画面に表示される標識が画面上に出現しているか否かを判定する判定手段と、
前記標識が前記画面上に出現している場合に、該標識の出現位置を取得する取得手段と、
ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正する補正手段を具備することを特徴とする視線計測装置。
【請求項２】
ユーザの眼球運動に基づいて計測したユーザの視線位置と計測した時刻に対応する前記出現位置とを格納する格納手段と、
前記標識が前記画面上に出現していない場合に、対応して格納されている前記視線位置及び前記出現位置に基づいて補正しユーザの視線位置を算出する算出手段をさらに具備することを特徴とする請求項１記載の視線計測装置。
【請求項３】
ユーザがコンピュータにより制御されて画面に表示される標識を操作しているか否かを判定する判定手段と、
前記標識を操作していると判定された場合に、該標識の出現位置を取得する取得手段と、
ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正する補正手段を具備することを特徴とする視線計測装置。
【請求項４】
ユーザの眼球運動に基づいて計測したユーザの視線位置と計測した時刻に対応する前記出現位置とを格納する格納手段と、
前記標識を操作していないと判定された場合に、対応して格納されている前記視線位置及び前記出現位置に基づいて補正しユーザの視線位置を算出する算出手段をさらに具備することを特徴とする請求項３に記載の視線計測装置。
【請求項５】
コンピュータにより制御されて画面に表示される複数の標識が画面上に出現しているか否かを判定する判定手段と、
前記標識が前記画面上に複数個出現している場合に、該複数の標識の各出現位置を取得する取得手段と、
前記各出現位置に基づいて前記複数の標識の各移動経路を算出する算出手段と、
前記算出された各移動経路に基づいて、ユーザの眼球運動に基づいて計測したユーザの視線位置に最も近い移動経路を有する標識を前記複数の標識から選択する選択手段を具備することを特徴とする視線計測装置。
【請求項６】
ユーザの眼球運動に基づいて計測したユーザの視線位置と計測した時刻に対応する前記出現位置とを格納する格納手段と、
前記標識が前記画面上に出現していない場合に、対応して格納されている前記視線位置及び前記出現位置に基づいて補正しユーザの視線位置を算出する算出手段をさらに具備することを特徴とする請求項５に記載の視線計測装置。
【請求項７】
コンピュータにより制御されて画面に表示される横書き文章が画面上に出現しているか否かを判定する判定手段と、
前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得する取得手段と、
ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も左に位置した場合の左視線位置と前記画面上で最も右に位置した場合の右視線位置とを取得する取得手段と、
ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記左視線位置及び前記右視線位置に基づいて補正する補正手段を具備することを特徴とする視線計測装置。
【請求項８】
コンピュータにより制御されて画面に表示される縦書き文章が画面上に出現しているか否かを判定する判定手段と、
前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得する取得手段と、
ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も上に位置した場合の上視線位置と前記画面上で最も下に位置した場合の下視線位置とを取得する取得手段と、
ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記上視線位置及び前記下視線位置に基づいて補正する補正手段を具備することを特徴とする視線計測装置。
【請求項９】
ユーザの眼球運動に基づいて計測したユーザの視線位置と計測した時刻に対応する標識の出現位置とを格納する格納手段と、
前記標識が前記画面上に出現していない場合に、対応して格納されている前記視線位置及び前記出現位置に基づいて補正しユーザの視線位置を算出する算出手段をさらに具備することを特徴とする請求項７又は請求項８に記載の視線計測装置。
【請求項１０】
コンピュータにより制御されて画面に表示される標識が画面上に出現しているか否かを判定し、
前記標識が前記画面上に出現している場合に、該標識の出現位置を取得し、
ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正することを特徴とする視線計測方法。
【請求項１１】
ユーザの眼球運動に基づいて計測したユーザの視線位置と計測した時刻に対応する前記出現位置とを格納し、
前記標識が前記画面上に出現していない場合に、対応して格納されている前記視線位置及び前記出現位置に基づいて補正しユーザの視線位置を算出することをさらに具備することを特徴とする請求項１０記載の視線計測方法。
【請求項１２】
ユーザがコンピュータにより制御されて画面に表示される標識を操作しているか否かを判定し、
前記標識を操作していると判定された場合に、該標識の出現位置を取得し、
ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正することを特徴とする視線計測方法。
【請求項１３】
ユーザの眼球運動に基づいて計測したユーザの視線位置と計測した時刻に対応する前記出現位置とを格納し、
前記標識を操作していないと判定された場合に、対応して格納されている前記視線位置及び前記出現位置に基づいて補正しユーザの視線位置を算出することをさらに具備することを特徴とする請求項１２に記載の視線計測方法。
【請求項１４】
コンピュータにより制御されて画面に表示される複数の標識が画面上に出現しているか否かを判定し、
前記標識が前記画面上に複数個出現している場合に、該複数の標識の各出現位置を取得し、
前記各出現位置に基づいて前記複数の標識の各移動経路を算出し、
前記算出された各移動経路に基づいて、ユーザの眼球運動に基づいて計測したユーザの視線位置に最も近い移動経路を有する標識を前記複数の標識から選択することを特徴とする視線計測方法。
【請求項１５】
ユーザの眼球運動に基づいて計測したユーザの視線位置と計測した時刻に対応する前記出現位置とを格納し、
前記標識が前記画面上に出現していない場合に、対応して格納されている前記視線位置及び前記出現位置に基づいて補正しユーザの視線位置を算出することをさらに具備することを特徴とする請求項１４に記載の視線計測方法。
【請求項１６】
コンピュータにより制御されて画面に表示される横書き文章が画面上に出現しているか否かを判定し、
前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得し、
ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も左に位置した場合の左視線位置と前記画面上で最も右に位置した場合の右視線位置とを取得し、
ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記左視線位置及び前記右視線位置に基づいて補正することを特徴とする視線計測方法。
【請求項１７】
コンピュータにより制御されて画面に表示される縦書き文章が画面上に出現しているか否かを判定し、
前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得し、
ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も上に位置した場合の上視線位置と前記画面上で最も下に位置した場合の下視線位置とを取得し、
ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記上視線位置及び前記下視線位置に基づいて補正することを特徴とする視線計測方法。
【請求項１８】
ユーザの眼球運動に基づいて計測したユーザの視線位置と計測した時刻に対応する標識の出現位置とを格納し、
前記標識が前記画面上に出現していない場合に、対応して格納されている前記視線位置及び前記出現位置に基づいて補正しユーザの視線位置を算出することをさらに具備することを特徴とする請求項１６又は請求項１７に記載の視線計測方法。
【請求項１９】
コンピュータに、請求項１０から請求項１８のいずれかに記載の視線計測方法の各処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの視線位置を計測するための視線計測装置、視線計測方法及びプログラムに関するものである。
【背景技術】
【０００２】
視線計測装置は、映像コンテンツの分析、ユーザインターフェースの改善、消費者嗜好の分析などに使われている。この視線計測装置には、目の画像を用いるもの、角膜反射像を用いるもの、目周辺の電位を用いるものなどがある。
目の画像を用いる視線計測装置は、ＣＣＤ（charge-coupled device）カメラなどでユーザの目の画像を取得する。この視線計測装置は、ＣＣＤカメラを据置きにするものと、ユーザの頭部に固定するものがある。目の画像を基にして、画像処理で瞳孔位置を計測することで視線の方向を得る。
【０００３】
角膜反射像を用いる視線計測装置は、赤外線を照射し、ＣＣＤカメラなどでユーザの目の画像を取得する。そして、この視線計測装置は、画像処理で瞳孔位置と、赤外線照明が角膜に反射してできた像の位置を求め、その相対位置から視線の方向を得る（例えば、特許文献１参照）。
【０００４】
目周囲の電位を用いる視線計測装置は、目の周辺に電極を張り、目を動かす筋肉の電位を測定することで視線の方向を得る（例えば、特許文献２参照）。
これらの視線計測装置はいずれも、継続的に視線を計測できるがキャリブレーション（calibration、較正）を行う必要がある。キャリブレーションでは、ユーザが視線計測装置を使い始めるときに、位置が既知の数点を注視する。視線計測装置は、ユーザが注視している点の座標と、センサから得られる情報の対応を取り、これをもとに以降の視線方向を算出する。
【０００５】
【特許文献１】特開２００４−１１３７５５公報
【０００６】
【特許文献２】特開平０７−２４８４６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
これら従来の視線計測装置では、キャリブレーションに使う点の数が少ないと計測精度が低くなるという問題がある。また逆に、キャリブレーションに使う点が多いと、ユーザにとって煩雑であるという問題がある。
本発明は、従来における問題点に鑑み、ユーザがキャリブレーションを行うことなく、精度よくユーザの視線位置を計測することが可能な視線計測装置、視線計測方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の視線計測装置によれば、コンピュータにより制御されて画面に表示される標識が画面上に出現しているか否かを判定する判定手段と、前記標識が前記画面上に出現している場合に、該標識の出現位置を取得する取得手段と、ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正する補正手段を具備することを特徴とする。
【０００９】
本発明の視線計測装置によれば、ユーザがコンピュータにより制御されて画面に表示される標識を操作しているか否かを判定する判定手段と、前記標識を操作していると判定された場合に、該標識の出現位置を取得する取得手段と、ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正する補正手段を具備することを特徴とする。
【００１０】
本発明の視線計測装置によれば、コンピュータにより制御されて画面に表示される複数の標識が画面上に出現しているか否かを判定する判定手段と、前記標識が前記画面上に複数個出現している場合に、該複数の標識の各出現位置を取得する取得手段と、前記各出現位置に基づいて前記複数の標識の各移動経路を算出する算出手段と、前記算出された各移動経路に基づいて、ユーザの眼球運動に基づいて計測したユーザの視線位置に最も近い移動経路を有する標識を前記複数の標識から選択する選択手段を具備することを特徴とする。
【００１１】
本発明の視線計測装置によれば、コンピュータにより制御されて画面に表示される横書き文章が画面上に出現しているか否かを判定する判定手段と、前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得する取得手段と、ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も左に位置した場合の左視線位置と前記画面上で最も右に位置した場合の右視線位置とを取得する取得手段と、ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記左視線位置及び前記右視線位置に基づいて補正する補正手段を具備することを特徴とする。
【００１２】
本発明の視線計測装置によれば、コンピュータにより制御されて画面に表示される縦書き文章が画面上に出現しているか否かを判定する判定手段と、前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得する取得手段と、ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も上に位置した場合の上視線位置と前記画面上で最も下に位置した場合の下視線位置とを取得する取得手段と、ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記上視線位置及び前記下視線位置に基づいて補正する補正手段を具備することを特徴とする。
【００１３】
また、本発明の視線計測方法によれば、コンピュータにより制御されて画面に表示される標識が画面上に出現しているか否かを判定し、前記標識が前記画面上に出現している場合に、該標識の出現位置を取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正することを特徴とする。
【００１４】
本発明の視線計測方法によれば、ユーザがコンピュータにより制御されて画面に表示される標識を操作しているか否かを判定し、前記標識を操作していると判定された場合に、該標識の出現位置を取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正することを特徴とする。
【００１５】
本発明の視線計測方法によれば、コンピュータにより制御されて画面に表示される複数の標識が画面上に出現しているか否かを判定し、前記標識が前記画面上に複数個出現している場合に、該複数の標識の各出現位置を取得し、前記各出現位置に基づいて前記複数の標識の各移動経路を算出し、前記算出された各移動経路に基づいて、ユーザの眼球運動に基づいて計測したユーザの視線位置に最も近い移動経路を有する標識を前記複数の標識から選択することを特徴とする。
【００１６】
本発明の視線計測方法によれば、コンピュータにより制御されて画面に表示される横書き文章が画面上に出現しているか否かを判定し、前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も左に位置した場合の左視線位置と前記画面上で最も右に位置した場合の右視線位置とを取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記左視線位置及び前記右視線位置に基づいて補正することを特徴とする。
【００１７】
本発明の視線計測方法によれば、コンピュータにより制御されて画面に表示される縦書き文章が画面上に出現しているか否かを判定し、前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も上に位置した場合の上視線位置と前記画面上で最も下に位置した場合の下視線位置とを取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記上視線位置及び前記下視線位置に基づいて補正することを特徴とする。
【００１８】
さらに、本発明のプログラムによれば、コンピュータに、
コンピュータにより制御されて画面に表示される標識が画面上に出現しているか否かを判定し、前記標識が前記画面上に出現している場合に、該標識の出現位置を取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正することを実行させる。
【００１９】
本発明のプログラムによれば、コンピュータに、
ユーザがコンピュータにより制御されて画面に表示される標識を操作しているか否かを判定し、前記標識を操作していると判定された場合に、該標識の出現位置を取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置を、計測した時刻に対応する前記出現位置に基づいて補正することを実行させる。
【００２０】
本発明のプログラムによれば、コンピュータに、
コンピュータにより制御されて画面に表示される複数の標識が画面上に出現しているか否かを判定し、前記標識が前記画面上に複数個出現している場合に、該複数の標識の各出現位置を取得し、前記各出現位置に基づいて前記複数の標識の各移動経路を算出し、前記算出された各移動経路に基づいて、ユーザの眼球運動に基づいて計測したユーザの視線位置に最も近い移動経路を有する標識を前記複数の標識から選択することを実行させる。
【００２１】
本発明のプログラムによれば、コンピュータに、
コンピュータにより制御されて画面に表示される横書き文章が画面上に出現しているか否かを判定し、前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も左に位置した場合の左視線位置と前記画面上で最も右に位置した場合の右視線位置とを取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記左視線位置及び前記右視線位置に基づいて補正することを実行させる。
【００２２】
本発明のプログラムによれば、コンピュータに、
コンピュータにより制御されて画面に表示される縦書き文章が画面上に出現しているか否かを判定し、前記文章が前記画面上に出現している場合に、該文章の行頭位置及び該文章の行末位置を取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置のうちの、前記画面上で最も上に位置した場合の上視線位置と前記画面上で最も下に位置した場合の下視線位置とを取得し、ユーザの眼球運動に基づいて計測したユーザの視線位置を、前記行頭位置及び前記行末位置と前記上視線位置及び前記下視線位置に基づいて補正することを実行させる。
【００２３】
以上の構成によれば、ユーザに負担をかけるキャリブレーションを行うことなく、視線位置を計測することができる。ユーザに負担がないことから、副次的にキャリブレーションに使う点の数を増やすことができる。
【発明の効果】
【００２４】
本発明の視線計測装置、視線計測方法及びプログラムによれば、ユーザがキャリブレーションを行うことなく、精度よくユーザの視線位置を計測することが可能になる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら本発明の実施形態に係る視線計測装置、視線計測方法及び視線計測プログラムについて詳細に説明する。  
本実施形態の視線計測装置は、図１に示すように、継続視線計測部１０１、無較正視線計測部２０１、計測結果記憶部３０１、計測結果補正部４０１、標識位置計測部５０１、標識位置記憶部５０２、標識経路記憶部５０３、発音標識計測部５０４、書式分析部６０１、行頭位置記憶部６０２、行末位置記憶部６０３、及び操作検出部７０１を備えている。
【００２６】
継続視線計測部１０１は、継続的にユーザの視線位置を計測する。すなわち、継続視線計測部１０１は、常にユーザの視線位置を計測することが可能である。しかし、継続視線計測部１０１は、キャリブレーション（calibration、較正）を行わないと、継続視線計測部１０１が計測した視線位置は誤差が大きい可能性が高い。  
継続視線計測部１０１は、例えば、赤外線をユーザに照射し、赤外線がユーザの眼球内の角膜に反射した角膜反射像を観測してユーザの視線位置を計測する。ユーザの視線位置は、例えば、２次元座標を視線の対称面（例えば、表示画面）に対して設定され、この座標の２次元成分表示（ｘ，ｙ）で表現される。
【００２７】
無較正視線計測部２０１は、後述する標識位置計測部５０１が計測した位置、標識位置計測部５０１が計測した位置を基にして計測した位置の履歴である経路、標識位置計測部５０１が計測した位置を基にして計測した発音標識の位置、書式分析部６０１が計測した位置を入力して、後述の計測結果記憶部３０１及び計測結果補正部４０１に出力する。本実施形態では、標識位置計測部５０１が位置を計測する対象が画面に出現した場合はユーザがこの対象を注視することを利用している。この場合は、標識位置計測部５０１が計測した位置が、ユーザの視線位置に対応することになる。  
無較正視線計測部２０１は、継続視線計測部１０１のように常に計測結果を出力することができるわけではなく。例えば、画面に標識がなく標識位置計測部５０１が標識の位置を計測できない場合には、計測結果を計測結果記憶部３０１及び計測結果補正部４０１に出力することはできない。
【００２８】
計測結果記憶部３０１は、同一のユーザの視線に関して、同一の時刻に計測した視線位置である、継続視線計測部１０１が計測した視線位置と無較正視線計測部２０１が出力した視線位置を対応付けて記憶する。また、後述する行頭位置記憶部６０２が記憶している行頭位置及び行末位置記憶部６０３が記憶している行末位置をそれぞれ測定結果として記憶する。
【００２９】
計測結果補正部４０１は、無較正視線計測部２０１が出力した計測結果に基づき継続視線計測部１０１の計測結果を補正する。通常、計測結果補正部４０１は、計測結果記憶部３０１に記憶されている、継続視線計測部１０１が計測した視線位置と無較正視線計測部２０１が計測した視線位置を基にして、継続視線計測部１０１の計測結果を補正して出力する。また、計測結果補正部４０１は、無較正視線計測部２０１から計測結果を出力することが不可能な場合には、継続視線計測部１０１が過去に計測した視線位置と無較正視線計測部２０１が過去に計測した視線位置を基にして、継続視線計測部１０１の測定結果を補正する。
【００３０】
標識位置計測部５０１は、ユーザが注視するに違いない標識の位置を計測する。この標識はコンピュータによってその出現が制御されているので、標識位置計測部５０１が計測する標識の位置の誤差は、継続視線計測部１０１によるユーザの視線位置測定における誤差に比較してはほとんどない。さらに言えば、各標識の画面上の位置は、あるゲームプログラムの出力として得ることができるので、標識位置計測部５０１と同様に発音標識計測部５０４及び書式分析部６０１が計測する標識の位置の誤差は、継続視線計測部１０１によるユーザの視線位置測定における誤差に比較してはほとんどない。標識としては、例えば、ゲームにおいて、主人公、敵役、発音物質、登場人物の会話又は注釈等を示す文章がある。例えば、テレビゲームをしているユーザの視線は、ゲームの主人公に向いている可能性が高い。そこで、標識位置計測部５０１は、画面上に表示される主人公を標識として、その位置を計測する。
【００３１】
標識位置記憶部５０２は、標識位置計測部５０１が計測した標識の位置を記憶する。標識位置記憶部５０２は、例えば、標識ごとに標識が画面上に存在した時空間座標を記憶する。例えば、標識位置記憶部５０２はある標識が画面上に存在した位置を２次元座標（ｘ，ｙ）で示しこれを記憶し、さらに、この位置の時間履歴も記憶する。
【００３２】
標識経路記憶部５０３は、標識ごとに各標識の移動経路を時間履歴と共に記憶する。この移動経路は、単に、画面上の各標識の存在した位置及び時刻を記録したものでもよいし、これら各位置を所定の関数で近似して滑らかに接続した経路でも構わない。
発音標識計測部５０４は、標識位置計測部５０１と本質的には同様であるが、音声に対応する標識である発音標識の位置のみを計測する。この標識もコンピュータによってその出現が制御されているので、標識位置計測部５０１と同様に発音標識計測部５０４及び書式分析部６０１が計測する標識の位置の誤差は、継続視線計測部１０１によるユーザの視線位置測定における誤差に比較してはほとんどない。
【００３３】
書式分析部６０１は、画面上に表示される文章の書式を分析し、横書き又は縦書きであるかを認識し、各行の行頭と行末の画面上の位置を計測する。この画面上の位置は、例えば、２次元座標で示される。この文章もコンピュータによってその出現が制御されているので、標識位置計測部５０１及び発音標識計測部５０４と同様に書式分析部６０１が分析して計測する行頭及び行末の位置の誤差は、継続視線計測部１０１によるユーザの視線位置測定における誤差に比較してはほとんどない。この計測された複数の位置は無較正視線計測部２０１を経由して計測結果補正部４０１に出力される。
【００３４】
行頭位置記憶部６０２は、画面に表示される文章が横書きである場合は継続視線計測部１０１が計測した位置の中で最も左の位置を記憶し、画面に表示される文章が縦書きである場合は継続視線計測部１０１が計測した位置の中で最も上の位置を記憶する。また、行頭位置記憶部６０２は、画面に表示される文章が横書きであるか縦書きであるかに関係なく、継続視線計測部１０１が計測した位置の中で最も左の位置と最も上の位置の双方を記憶していてもよい。この場合、計測結果補正部４０１で補正する際に、書式分析部６０１から出力される情報である、表示された文章が横書きであるか縦書きであるかに応じて、継続視線計測部１０１が計測した位置の中で最も左の位置及び最も上の位置のいずれかを使用すればよい。
【００３５】
行末位置記憶部６０３は、画面に表示される文章が横書きである場合は継続視線計測部１０１が計測した位置の中で最も右の位置を記憶し、画面に表示される文章が縦書きである場合は継続視線計測部１０１が計測した位置の中で最も下の位置を記憶する。また、行頭位置記憶部６０２は、画面に表示される文章が横書きであるか縦書きであるかに関係なく、継続視線計測部１０１が計測した位置の中で最も右の位置と最も下の位置の双方を記憶していてもよい。この場合、計測結果補正部４０１で補正する際に、書式分析部６０１から出力される情報である、表示された文章が横書きであるか縦書きであるかに応じて、継続視線計測部１０１が計測した位置の中で最も右の位置及び最も下の位置のいずれかを使用すればよい。
【００３６】
操作検出部７０１は、ユーザが何らかの操作を行ったか否かを検出する。この操作は、例えば、画面上の登場人物を移動させるためにコントローラのボタン等（例えば、ジョイスティック）を操作することである。操作検出部７０１が操作を検出した場合は、ユーザは画面上の標識を注視していると見なすことができるので標識位置計測部５０１が計測した標識位置を、無較正視線計測部２０１の計測結果とする。操作検出部７０１が操作を検出しなかった場合は、計測結果補正部４０１が計測結果記憶部３０１の内容を基にして、継続視線計測部１０１の計測結果を補正して出力する。
【００３７】
以下、本実施形態の視線計測装置の動作を具体的な例をいくつか挙げて説明する。  
まず、ユーザがジョイスティックを操作しているか否かを操作検出部７０１が検出したことに応じた視線計測装置の動作を図２を参照して説明する。  
操作検出部７０１が、ユーザがジョイスティックを操作しているか否かを検出する（ステップＳ１）。ユーザがジョイスティックを操作している場合は、ユーザの視線が主人公に向いている可能性が極めて高い。一方、ユーザがジョイスティックを操作していない場合は、ユーザの視線が主人公に向いている可能性は、ユーザがジョイスティックを操作している場合に比較して、低くなる。操作検出部７０１が、ユーザがジョイスティックを操作していることを検出した場合はステップＳ２に進み、ユーザがジョイスティックを操作していないことを検出した場合はステップＳ４に進む。
【００３８】
ステップＳ２では、ユーザの視線が主人公に向いているとして見なして、無較正視線計測部２０１が、標識位置計測部５０１が計測した主人公の位置を記憶してある標識位置記憶部５０２から主人公の位置情報を取得してこの位置情報にある主人公の位置をユーザの視線位置であるとする。計測結果記憶部３０１は、継続視線計測部１０１と無較正視線計測部２０１の結果を対応付けて記憶するが、計測結果補正部４０１は、無較正視線計測部２０１の結果をユーザの視線位置として出力する（ステップＳ３）。
【００３９】
ステップＳ４以降では、無較正視線計測部２０１からの結果が、ユーザの視線がどこに向いているかを示していない可能性があるとして、計測結果補正部４０１は、計測結果記憶部３０１の内容を基にして継続視線計測部１０１の計測結果を補正して出力する。まず、計測結果補正部４０１が、計測結果記憶部３０１から、最も近い過去の、継続視線計測部１０１の計測結果（ｘ１，ｙ１）と無較正視線計測部２０１から出力された標識位置計測部５０１の計測結果（Ｘ１，Ｙ１）を読み出す（ステップＳ４）。
【００４０】
次に、計測結果補正部４０１が、計測結果記憶部３０１から、二番目に近い過去の、継続視線計測部１０１の計測結果（ｘ２，ｙ２）と無較正視線計測部２０１の計測結果（Ｘ２，Ｙ２）を取り出す（ステップＳ５）。
そして、計測結果補正部４０１が、現在の継続視線計測部１０１の計測結果（ｘ３，ｙ３）を次式のとおり線形補間し、（Ｘ３，Ｙ３）をユーザの視線位置として出力する（ステップＳ６）。  
Ｘ３  ＝  （ｘ３−ｘ１）（Ｘ２−Ｘ１）／（ｘ２−ｘ１） ＋ Ｘ１
Ｙ３  ＝  （ｙ３−ｙ１）（Ｙ２−Ｙ１）／（ｙ２−ｙ１） ＋ Ｙ１
次に、画面上に敵役が単体で表示されているか否かを無較正視線計測部２０１が検出したことに応じた視線計測装置の動作を図３を参照して説明する。敵役は、ユーザが操作することはできないものである。  
標識位置計測部５０１の計測結果に基づいて無較正視線計測部２０１が、画面上に敵役が単体で表示されているか否かを検出する（ステップＳ１１）。画面上に敵役が単体で表示されている場合は、ユーザの視線が単体の敵役に向いている可能性が極めて高い。一方、画面上に敵役が単体で表示されていない場合は、ユーザの視線が単体の敵役に向いている可能性は、画面上に敵役が単体で表示されている場合に比較して、低くなる。無較正視線計測部２０１が、画面上に単体で敵役が表示されていることを検出した場合はステップＳ１２に進み、画面上に単体で敵役が表示されていないことを検出した場合はステップＳ１４に進む。
【００４１】
ステップＳ１２では、ユーザの視線が敵役（単数）に向いているとして見なして、無較正視線計測部２０１が、標識位置計測部５０１が計測した敵役（単数）の位置を記憶してある標識位置記憶部５０２から敵役（単数）の位置情報を取得してこの位置情報にある敵役（単数）の位置をユーザの視線位置であるとする。計測結果記憶部３０１は、継続視線計測部１０１と無較正視線計測部２０１の結果を対応付けて記憶するが、計測結果補正部４０１は、無較正視線計測部２０１の結果をユーザの視線位置として出力する（ステップＳ１３）。
【００４２】
ステップＳ１４以降では、無較正視線計測部２０１からの結果が、ユーザの視線がどこに向いているかを示していない可能性があるとして、計測結果補正部４０１は、計測結果記憶部３０１の内容を基にして継続視線計測部１０１の計測結果を補正して出力する。以下は、上述したステップＳ４からステップＳ６と同様である。
【００４３】
次に、画面上に複数の敵役が表示されているか否かを無較正視線計測部２０１が検出したことに応じた視線計測装置の動作を図４を参照して説明する。  
標識位置計測部５０１の計測結果に基づいて無較正視線計測部２０１が、画面上に複数の敵役が表示されているか否かを検出する（ステップＳ２１）。画面上に複数の敵役が表示されている場合は、画面上の敵役が単体である場合と異なりユーザが複数の敵役の中のいずれを注視しているかを判定する必要がある。一方、画面上に敵役が表示されていない場合は、図３のステップＳ１４以降と同様である。無較正視線計測部２０１が、画面上に複数の敵役が表示されていることを検出した場合はステップＳ２２に進み、画面上に敵役が表示されていないことを検出した場合は図３のステップＳ１４に進む。
【００４４】
ステップＳ２２では、継続視線計測部１０１がユーザの視線位置を計測し、計測結果記憶部３０１にこの計測結果を記憶する。次に、標識位置計測部５０１が複数の敵役の位置を計測し、標識位置記憶部５０２にこの位置を各敵役ごとに記憶し、複数の敵役の経路を標識経路記憶部５０３に記憶する（ステップＳ２３）。ゲームの画面上に複数の敵役が登場する場合、ユーザが注視している敵役の位置と、継続視線計測部１０１の計測位置は、類似した経路上を取る可能性が高いので、無較正視線計測部２０１が、ステップＳ２２で計測した視線位置の移動経路に最も近い移動経路を取る敵役を標識経路記憶部５０３を参照して選択する（ステップＳ２４）。そして、ステップＳ２４で選択された敵役の位置をユーザの視線位置として出力する（ステップＳ２５）。この視線位置は、標識位置計測部５０１が計測したものである。以後は、図３のステップＳ４以降に示した動作で継続視線計測部１０１が行った視線計測結果を補正してもよい。  
具体例を一例だけ挙げる。いま、３つの敵役が画面に表示されており、それぞれ、上方向、下方向、右方向へ移動しているとする。継続視線計測部１０１の計測結果が、右方向へ移動している場合、標識経路記憶部５０３は、右方向へ移動している敵役に視線があるものとして、その位置をユーザの視線位置として出力する。
【００４５】
ゲームの画面上には、人物や乗り物など、音声を発する物体が登場することがある。次に、画面上に発音物体が表示されているか否かを無較正視線計測部２０１が検出したことに応じた視線計測装置の動作を図５を参照して説明する。  
発音物体が画面上に表示された場合も、上述した敵役（単数）が画面上に表示された場合と同様に、ユーザはその発音物体を注視している可能性が極めて高いことに基づき、本実施形態の視線計測装置は、その発音物体位置を視線として出力する。すなわち、発音物体が画面に表示されている場合は、発音標識計測部５０４が計測した結果を無較正視線計測部２０１を無較正視線計測部２０１を介して使用し、発音物体が表示されていない場合は、継続視線計測部１０１の計測結果を補正して用いる。
【００４６】
すなわち、発音標識計測部５０４の計測結果に基づいて無較正視線計測部２０１が、画面上に発音物体が表示されているか否かを検出する（ステップＳ３１）。画面上に発音物体が表示されている場合は、ユーザの視線が発音物体に向いている可能性が極めて高い。一方、画面上に発音物体が表示されていない場合は、ユーザの視線が発音物体に向いている可能性は、画面上に発音物体が表示されている場合に比較して、低くなる。無較正視線計測部２０１が、画面上に発音物体が表示されていることを検出した場合はステップＳ３２に進み、画面上に発音物体が表示されていないことを検出した場合はステップＳ３４に進む。
【００４７】
ステップＳ３２では、ユーザの視線が発音物体に向いているとして見なして、無較正視線計測部２０１が、発音標識計測部５０４が計測した発音物体の位置を記憶してある標識位置記憶部５０２から発音物体の位置情報を取得してこの位置情報にある発音物体の位置をユーザの視線位置であるとする。計測結果記憶部３０１は、継続視線計測部１０１と無較正視線計測部２０１の結果を対応付けて記憶するが、計測結果補正部４０１は、無較正視線計測部２０１の結果をユーザの視線位置として出力する（ステップＳ３３）。
【００４８】
ステップＳ３４以降では、無較正視線計測部２０１からの結果が、ユーザの視線がどこに向いているかを示していない可能性があるとして、計測結果補正部４０１は、計測結果記憶部３０１の内容を基にして継続視線計測部１０１の計測結果を補正して出力する。以下は、上述したステップＳ４からステップＳ６と同様である。
【００４９】
次に、画面上に文章が表示されているか否かを無較正視線計測部２０１が検出したことに応じた視線計測装置の動作を図６を参照して説明する。  
文章が画面上に表示された場合は、ユーザはその文章を注視している可能性が極めて高いことに基づき、本実施形態の視線計測装置は、上記の例とは異なり、継続視線計測部１０１が表示画面中の最も左の位置（表示文章が横書きの場合）を計測した場合、及び継続視線計測部１０１が表示画面中の最も右の位置（表示文章が横書きの場合）を計測した場合のみ書式分析部６０１の結果を使用してユーザの視線位置を決定する。その他の場合には継続視線計測部１０１の結果を書式分析部６０１が計測した結果で補正してユーザの視線位置を決定する。
【００５０】
書式分析部６０１の計測結果に基づいて無較正視線計測部２０１が、画面上に文章が表示されているか否かを検出する（ステップＳ４１）。画面上に文章が表示されていて、書式分析部６０１がこの文章は横書きであると判定した場合は、ステップＳ４２に進み、一方、画面上に文章が表示されていない場合は、図３のステップＳ１４以降と同様である。
【００５１】
ステップＳ４２では、継続視線計測部１０１が画面中の最も左を計測した時の計測結果を、行頭位置記憶部６０２が（ｘ１，ｙ１）として記憶する。この時、ユーザの視線は文章の行頭に向いていると見なすことができるので、書式分析部６０１が分析した行頭位置を（Ｘ１，Ｙ１）として計測結果記憶部３０１に記憶する（ステップＳ４３）。  
次に、継続視線計測部１０１が画面中の最も右を計測した時の計測結果を、行末位置記憶部６０３が（ｘ２，ｙ２）として記憶する（ステップＳ４４）。この時、ユーザの視線は文章の行末に向いていると見なすことができるので、書式分析部６０１が分析した行末位置を（Ｘ２，Ｙ２）として計測結果記憶部３０１に記憶する（ステップＳ４５）。
【００５２】
そして、継続視線計測部１０１がユーザの現在の視線位置（ｘ３，ｙ３）を計測し、計測結果記憶部３０１に記憶する（ステップＳ４６）。計測結果補正部４０１が、現在の継続視線計測部１０１の計測結果（ｘ３，ｙ３）を次式のとおり線形補間し、（Ｘ３，Ｙ３）をユーザの視線位置として出力する（ステップＳ４７）。  
Ｘ３  ＝  （ｘ３−ｘ１）（Ｘ２−Ｘ１）／（ｘ２−ｘ１） ＋ Ｘ１
Ｙ３  ＝  （ｙ３−ｙ１）（Ｙ２−Ｙ１）／（ｙ２−ｙ１） ＋ Ｙ１
上記では、画面に表示された文章が横書きである場合について詳述したが、画面に表示された文章が縦書きである場合にも適用することができる。書式分析部６０１が、画面に表示されアンケート文章が縦書きであると検出した場合は、継続視線計測部１０１が表示画面中の最も上の位置を計測した場合、及び継続視線計測部１０１が表示画面中の最も下の位置を計測した場合のみ書式分析部６０１の結果を使用してユーザの視線位置を決定する。その他の場合には継続視線計測部１０１の結果を書式分析部６０１が計測した結果で補正してユーザの視線位置を決定する。
【００５３】
より詳細には、ステップＳ４２では、継続視線計測部１０１が画面中の最も上を計測した時の計測結果を、行頭位置記憶部６０２が（ｘ１，ｙ１）として記憶する。この時、ユーザの視線は文章の行頭に向いていると見なすことができるので、書式分析部６０１が分析した行頭位置を（Ｘ１，Ｙ１）として計測結果記憶部３０１に記憶する（ステップＳ４３）。  
次に、継続視線計測部１０１が画面中の最も下を計測した時の計測結果を、行末位置記憶部６０３が（ｘ２，ｙ２）として記憶する（ステップＳ４４）。この時、ユーザの視線は文章の行末に向いていると見なすことができるので、書式分析部６０１が分析した行末位置を（Ｘ２，Ｙ２）として計測結果記憶部３０１に記憶する（ステップＳ４５）。  
この後のステップは上述した文章が横書きの場合と同様である。
【００５４】
本実施形態の視線計測装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
また、上述の実施形態の中で示した処理手順に示された指示、及び流れ図の各ステップに示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の視線計測装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の視線計測装置と同様な動作を実現することができる。
【００５５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施形態に係る視線計測装置のブロック図。
【図２】ユーザがジョイスティックを操作しているか否かに応じた図１の視線計測装置の動作を示すフロー図。
【図３】画面上に敵役（単数）が表示されているか否かに応じた図１の視線計測装置の動作を示すフロー図。
【図４】画面上に敵役（複数）が表示されているか否かに応じた図１の視線計測装置の動作を示すフロー図。
【図５】画面上に発音物質が表示されているか否かに応じた図１の視線計測装置の動作を示すフロー図。
【図６】画面上に文章が表示されているか否かに応じた図１の視線計測装置の動作を示すフロー図。
【符号の説明】
【００５７】
１０１・・・継続視線計測部、２０１・・・無較正視線計測部、３０１・・・計測結果記憶部、４０１・・・計測結果補正部、５０１・・・標識位置計測部、５０２・・・標識位置記憶部、５０３・・・標識経路記憶部、５０４・・・発音標識計測部、６０１・・・書式分析部、６０２・・・行頭位置記憶部、６０３・・・行末位置記憶部、７０１・・・操作検出部
【図１】
2005339103.tif 000003
【図２】
2005339103.tif 000004
【図３】
2005339103.tif 000005
【図４】
2005339103.tif 000006
【図５】
2005339103.tif 000007
【図６】
2005339103.tif 000008