(57)【要約】【課題】操作者が注視している画面上の位置を特定すること。【解決手段】注視位置特定装置１００は、表示装置１０４に画面を表示する画面表示手段と、撮像装置１０１を制御して、操作者の瞳を含む画像を撮像して、操作者の瞳の画像（以下、「瞳画像」と呼ぶ）を取得する瞳画像取得手段と、瞳画像取得手段によって取得された瞳画像を画像処理して、操作者の瞳に映っている像を対象像として抽出する対象像抽出手段と、画面表示手段によって表示された画面の中から、対象像抽出手段によって抽出された対象像との類似度が高い画像が表示されている位置を操作者による注視位置として特定する注視位置特定手段とを備える。【選択図】図１
2014048775.tif 000002
【特許請求の範囲】
【請求項１】
表示装置に画面を表示する画面表示手段と、
撮像装置を制御して、操作者の瞳を含む画像を撮像して、前記操作者の瞳の画像（以下、「瞳画像」と呼ぶ）を取得する瞳画像取得手段と、
前記瞳画像取得手段によって取得された前記瞳画像を画像処理して、前記操作者の瞳に映っている像を対象像として抽出する対象像抽出手段と、
前記画面表示手段によって表示された前記画面の中から、前記対象像抽出手段によって抽出された前記対象像との類似度が高い画像が表示されている位置を前記操作者による注視位置として特定する注視位置特定手段とを備えることを特徴とする注視位置特定装置。
【請求項２】
請求項１に記載の注視位置特定装置において、
前記注視位置特定手段による特定結果に基づいて、前記画面上における前記操作者による操作を受け付ける操作受付手段をさらに備えることを特徴とする注視位置特定装置。
【請求項３】
請求項２に記載の注視位置特定装置において、
前記注視位置特定手段によって特定された前記注視位置の時間変化を検出し、検出した前記注視位置の時間変化に基づいて、前記操作者による操作内容を特定する操作内容特定手段をさらに備え、
前記操作受付手段は、前記操作内容特定手段によって特定された操作内容に基づく操作を受け付けることを特徴とする注視位置特定装置。
【請求項４】
請求項３に記載の注視位置特定装置において、
前記操作内容特定手段は、前記注視位置特定手段によって特定された前記注視位置が所定時間内に変化した場合には、前記画面内における変化した注視位置方向へのスクロール操作が指示されたことを特定することを特徴とする注視位置特定装置。
【請求項５】
請求項３または４に記載の注視位置特定装置において、
前記操作内容特定手段は、前記注視位置特定手段によって特定された前記注視位置が所定時間以上変化しない場合には、前記画面内におけるその注視位置に対する操作が指示されたことを特定することを特徴とする注視位置特定装置。
【請求項６】
請求項５に記載の注視位置特定装置において、
前記操作内容特定手段は、前記画面内における前記注視位置が操作対象インターフェースが表示されている位置である場合には、前記操作対象インターフェースに対する操作が指示されたことを特定することを特徴とする注視位置特定装置。
【請求項７】
請求項５に記載の注視位置特定装置において、
前記操作内容特定手段は、前記画面内における前記注視位置が操作対象インターフェース以外が表示されている位置である場合には、前記注視位置を中心とした画面の拡大または縮小が指示されたことを特定することを特徴とする注視位置特定装置。
【請求項８】
請求項１〜７のいずれか一項に記載の注視位置特定装置において、
前記撮像装置は、前記表示装置に正対する前記操作者の瞳が画角に入る向きに光軸が設定されることを特徴とする注視位置特定装置。
【請求項９】
請求項１〜８のいずれか一項に記載の注視位置特定装置において、
前記対象像抽出手段は、前記瞳画像から、あらかじめ取得された一様面を見た状態の前記操作者の瞳を撮影した基準画像を減算することにより、前記瞳画像から前記対象像を抽出することを特徴とする注視位置特定装置。
【請求項１０】
請求項９に記載の注視位置特定装置において、
前記撮像装置による撮影モードを前記基準画像を撮影するための基準画像撮影モードに切り替えるモード切替手段と、
前記モード切替手段によって、前記基準画像撮影モードに切り替えられたときに、前記表示装置上に一様な画像を表示する一様画像表示手段と、
前記撮像装置を制御して、前記一様画像が表示されている前記表示装置を見ている前記操作者の瞳の画像を前記基準画像として取得する基準画像取得手段とをさらに備えることを特徴とする注視位置特定装置。
【請求項１１】
請求項１〜１０のいずれか一項に記載の注視位置特定装置において、
前記注視位置特定手段は、前記画面表示手段によって表示された前記画面の画像内で、前記対象像抽出手段によって抽出された前記対象像を所定ピクセルずつずらしながら順次マッチングを行い、最も類似度が高い位置を前記注視位置として特定することを特徴とする注視位置特定装置。
【請求項１２】
表示装置に画面を表示する画面表示手順と、
撮像装置を制御して、操作者の瞳を含む画像を撮像して、前記操作者の瞳の画像（以下、「瞳画像」と呼ぶ）を取得する瞳画像取得手順と、
前記瞳画像取得手順で取得した前記瞳画像を画像処理して、前記操作者の瞳に映っている像を対象像として抽出する対象像抽出手順と、
前記画面表示手順で表示した前記画面の中から、前記対象像抽出手順で抽出した前記対象像との類似度が高い画像が表示されている位置を前記操作者による注視位置として特定する注視位置特定手順とをコンピュータに実行させるための注視位置特定プログラム。
【請求項１３】
請求項１２に記載の注視位置特定プログラムにおいて、
前記注視位置特定手順による特定結果に基づいて、前記画面上における前記操作者による操作を受け付ける操作受付手順をさらに有することを特徴とする注視位置特定プログラム。
【請求項１４】
請求項１３に記載の注視位置特定プログラムにおいて、
前記注視位置特定手順で特定された前記注視位置の時間変化を検出し、検出した前記注視位置の時間変化に基づいて、前記操作者による操作内容を特定する操作内容特定手順をさらに有し、
前記操作受付手順は、前記操作内容特定手順で特定した操作内容に基づく操作を受け付けることを特徴とする注視位置特定プログラム。
【請求項１５】
請求項１４に記載の注視位置特定プログラムにおいて、
前記操作内容特定手順は、前記注視位置特定手順で特定した前記注視位置が所定時間内に変化した場合には、前記画面内における変化した注視位置方向へのスクロール操作が指示されたことを特定することを特徴とする注視位置特定プログラム。
【請求項１６】
請求項１４または１５に記載の注視位置特定プログラムにおいて、
前記操作内容特定手順は、前記注視位置特定手順で特定した前記注視位置が所定時間以上変化しない場合には、前記画面内におけるその注視位置に対する操作が指示されたことを特定することを特徴とする注視位置特定プログラム。
【請求項１７】
請求項１６に記載の注視位置特定プログラムにおいて、
前記操作内容特定手順は、前記画面内における前記注視位置が操作対象ユーザーインターフェースが表示されている位置である場合には、前記操作対象ユーザーインターフェースに対する操作が指示されたことを特定することを特徴とする注視位置特定プログラム。
【請求項１８】
請求項１６に記載の注視位置特定プログラムにおいて、
前記操作内容特定手順は、前記画面内における前記注視位置が操作対象ユーザーインターフェース以外が表示されている位置である場合には、前記注視位置を中心とした画面の拡大または縮小が指示されたことを特定することを特徴とする注視位置特定プログラム。
【請求項１９】
請求項１２〜１８のいずれか一項に記載の注視位置特定プログラムにおいて、
前記撮像装置は、前記表示装置に正対する前記操作者の瞳が画角に入る向きに光軸が設定されることを特徴とする注視位置特定プログラム。
【請求項２０】
請求項１２〜１９のいずれか一項に記載の注視位置特定プログラムにおいて、
前記対象像抽出手順は、前記瞳画像から、あらかじめ取得された一様面を見た状態の前記操作者の瞳を撮影した基準画像を減算することにより、前記瞳画像から前記対象像を抽出することを特徴とする注視位置特定プログラム。
【請求項２１】
請求項２０に記載の注視位置特定プログラムにおいて、
前記撮像装置による撮影モードを前記基準画像を撮影するための基準画像撮影モードに切り替えるモード切替手順と、
前記モード切替手順が前記基準画像撮影モードに切り替えたときに、前記表示装置上に一様な画像を表示する一様画像表示手順と、
前記撮像装置を制御して、前記一様画像が表示されている前記表示装置を見ている前記操作者の瞳の画像を前記基準画像として取得する基準画像取得手順とを有することを特徴とする注視位置特定プログラム。
【請求項２２】
請求項１２〜２１のいずれか一項に記載の注視位置特定プログラムにおいて、
前記注視位置特定手順は、前記画面表示手順が表示した前記画面の画像内で、対象像抽出手順が抽出した前記対象像を所定ピクセルずつずらしながら順次マッチングを行い、最も類似度が高い位置を前記注視位置として特定することを特徴とする注視位置特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注視位置特定装置、および注視位置特定プログラムに関する。
【背景技術】
【０００２】
次のような視線方向特定システムが知られている。この視線方向特定システムは、撮像装置により撮像した画像内の両眼の目尻、両口元、黒目中心を検出し、目尻と口元から顔の位置及び方向を特定し、検出した黒目中心から黒目方向を特定し、特定した顔の位置及び方向並びに黒目方向から視線方向を特定する。そして、表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出して視線方向先のキーを特定したり、使用者の視線方向を検出し、表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるようにして、装置の操作を可能としている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１４１８６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の視線方向特定システムでは、使用者が表示装置のどの位置を注視しているかを特定するためには、撮像した画像内の両眼の目尻、両口元、黒目中心を検出し、目尻と口元から顔の位置及び方向を特定し、検出した黒目中心から黒目方向を特定し、特定した顔の位置及び方向並びに黒目方向から視線方向を特定する必要があった。このため、使用者の視線方向を特定するために検出および特定する要素が多いため、視線方向の検出誤差が生じやすいという問題があった。また、使用者の視線方向を検出するための画像処理の負荷が高く、処理に時間がかかるという問題があった。
【課題を解決するための手段】
【０００５】
本発明による注視位置特定装置は、表示装置に画面を表示する画面表示手段と、撮像装置を制御して、操作者の瞳を含む画像を撮像して、操作者の瞳の画像（以下、「瞳画像」と呼ぶ）を取得する瞳画像取得手段と、瞳画像取得手段によって取得された瞳画像を画像処理して、操作者の瞳に映っている像を対象像として抽出する対象像抽出手段と、画面表示手段によって表示された画面の中から、対象像抽出手段によって抽出された対象像との類似度が高い画像が表示されている位置を操作者による注視位置として特定する注視位置特定手段とを備えることを特徴とする。
本発明による注視位置特定プログラムは、表示装置に画面を表示する画面表示手順と、撮像装置を制御して、操作者の瞳を含む画像を撮像して、操作者の瞳の画像（以下、「瞳画像」と呼ぶ）を取得する瞳画像取得手順と、瞳画像取得手順で取得した瞳画像を画像処理して、操作者の瞳に映っている像を対象像として抽出する対象像抽出手順と、画面表示手順で表示した画面の中から、対象像抽出手順で抽出した対象像との類似度が高い画像が表示されている位置を操作者による注視位置として特定する注視位置特定手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、操作者の瞳に映った対象物を特定するだけで、画面上の操作者が注視している位置を特定することができるため、注視位置の特定精度を向上させることができる。また、処理の負荷を低減して、処理時間を短縮することができる。
【図面の簡単な説明】
【０００７】
【図１】注視位置特定装置１００の一実施の形態の構成を示すブロック図である。
【図２】差分演算処理の具体例を模式的に示した図である。
【図３】注視位置特定装置１００の操作方法の一例を示す図である。
【図４】操作受付処理の流れを示すフローチャート図である。
【図５】変形例における操作者による画面上の注視位置の特定方法の具体例を模式的に示す図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態における注視位置特定装置の一実施の形態の構成を示すブロック図である。注視位置特定装置１００は、例えば、パーソナルコンピュータ、スマートフォン、携帯電話、タブレット端末といった種々の情報端末が用いられ、撮像装置１０１と、制御装置１０２と、記録装置１０３と、表示装置１０４とを備えている。
【０００９】
撮像装置１０１は、レンズ、撮像素子、その他周辺回路によって構成される。撮像素子は、例えばＣＣＤやＣＭＯＳなどのイメージセンサにより構成され、レンズを通過した光束による被写体像を光電変換してアナログ画像信号を生成し、生成したアナログ画像信号を画像データとして制御装置１０２へ出力する。
【００１０】
本実施の形態では、撮像装置１０１は、その光軸が、表示装置１０４に正対する操作者の瞳が画角に入る向きに設定されるように配置される。例えば、表示装置１０４を構成する画面の縁の部分に外付けカメラとして取り付けても良いし、画面の縁に埋め込まれた内蔵カメラとして取り付けてもよい。あるいは、表示装置１０４に正対する操作者の瞳が画角に入るように、表示装置１０４の周辺に設置するようにしてもよい。
【００１１】
制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、注視位置特定装置１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、撮像装置１０１によって取得された画像データは、バッファメモリに一時的に記録される。
【００１２】
記録装置１０３は、注視位置特定装置１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記録装置であり、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等が用いられる。なお、記録装置１０３に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、使用者が取得したプログラムのデータを記録装置１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。
【００１３】
表示装置１０４は、例えば液晶モニタであって、制御装置１０２から出力される種々の表示用データが表示される。
【００１４】
本実施の形態における注視位置特定装置１００では、制御装置１０２は、撮像装置１０１を制御して撮影を行い、表示装置１０４に正対する操作者の瞳を含む画像を取得する。そして、制御装置１０２は、取得した瞳を含む画像の中から、操作者の片方の瞳の画像（以下、「瞳画像」と呼ぶ）を抽出する。このための処理としては、例えば、あらかじめ記録装置１０３に、人物の顔の特徴点に関する情報を記録しておき、該特徴点に関する情報に基づいて、瞳を含む画像から操作者の目の位置を特定して、特定した目の位置の画像を抽出することにより、瞳画像を抽出すればよい。あるいは、あらかじめ記録装置１０３に、瞳の形状を模したテンプレート画像を記録しておき、該テンプレート画像を用いたテンプレートマッチング処理を行って、瞳画像を抽出してもよい。すなわち、制御装置１０２は、瞳を含む画像内で所定ピクセル、例えば１ピクセルずつテンプレート画像をずらしながら各位置での類似度を算出し、最も類似度が高い位置の画像を瞳画像として抽出するようにすればよい。なお、操作者の左右いずれの目の瞳画像を取得するかは、あらかじめ設定しておけばよい。
【００１５】
制御装置１０２は、このように抽出した瞳画像を画像処理して、操作者の瞳に映っている像を対象像として抽出する。ここで、上述したように、撮像装置１０１は、その光軸が、表示装置１０４に正対する操作者の瞳が画角に入る向きに設定されるように配置されているため、操作者の瞳には、表示装置１０４に表示されている画面の像が映っている。このため、対象像としては、表示装置１０４に表示されている画面の像が抽出されることになる。なお、瞳画像から操作者の瞳に映っている像が複数抽出された場合には、瞳の中心、例えば黒目の中心からの距離が最も短い像を対象像として抽出すればよい。
【００１６】
瞳画像から対象像を抽出する方法としては、例えば、次のような方法が考えられる。まず、事前に操作者が一様面を見ている状態の瞳の画像を取得し、これを基準画像として記録装置１０３に記録しておく。一様面を見ている状態の瞳の画像としては、例えば、制御装置１０２は、表示装置１０４に白一色などの一様画像を表示し、撮像装置１０１を制御して、その時の操作者の瞳画像を取得する。なお、基準画像として用いる瞳画像の取得方法は、上述した瞳画像の取得方法と同一である。
【００１７】
制御装置１０２は、上述したように抽出した瞳画像とあらかじめ記録しておいた基準画像との間で差分演算処理（減算処理）を行い、その絶対値を算出する。これにより、両画像の差分として、操作者の瞳に映っている像を対象像として抽出することができる。図２は、この差分演算処理の具体例を模式的に示した図である。図２（ａ）は、操作者の目を撮影した基準画像であり、図２（ｂ）は、モニタ１０４に表示されている五角形の像が映った瞳画像を示している。制御装置１０２は、図２（ａ）に示す基準画像と、図２（ｂ）に示す瞳画像との間で差分演算処理を行い、その絶対値を算出することにより、図２（ｃ）に示す差分画像を得て、対象像２ａを抽出することができる。
【００１８】
制御装置１０２は、抽出した対象像２ａの画像に基づいてテンプレート画像を設定するとともに、モニタ１０４上に表示されている画面の画像を対象画像に設定してテンプレートマッチング処理を行う。具体的には、制御装置１０２は、テンプレート画像を対象画像上で所定ピクセル、例えば１ピクセルずつずらしながら各位置での両画像の類似度を算出し、その中で最も高い類似度が算出された対象画像内の位置を特定する。なお、この対象画像内の位置としては、その類似度が算出されたときのテンプレート画像の中心位置を採用すればよい。
【００１９】
ここで特定された対象画像内の位置は、画面上における対象像の中心位置に相当し、操作者の瞳に映っている対象像の中心位置と一致するため、この位置は、操作者がモニタ１０４上に表示されている画面上で注視している位置とみなすことができる。このため、上記の処理により、制御装置１０２は、モニタ１０４上に表示されている画面上で操作者が注視している位置を特定することができる。
【００２０】
制御装置１０２は、画面上で操作者が注視している位置を特定した場合には、画面上におけるその位置の座標値を取得し、これを注視位置の座標値としてバッファメモリに記録する。なお、画面上における座標値は、例えば、画面の左下を原点として横軸と縦軸を設定することにより求めてもよいし、画面の中央を原点として横軸と縦軸を設定することにより求めてもよい。
【００２１】
制御装置１０２は、上記の処理を所定時間間隔、例えば１秒間隔で繰り返し実行することにより、画面上における操作者の注視位置の変化を監視する。具体的には、制御装置１０２は、バッファメモリに記録しておいた前フレームにおける注視位置の座標値を読み出して、現フレームにおける注視位置の座標値との差を算出することにより、画面上における注視位置の座標値の時間変化を検出する。これにより、画面上における操作者の注視位置の変化を監視することができる。そして、制御装置１０２は、検出した注視位置の時間変化に応じて、注視位置特定装置１００の操作を受け付ける。これにより、操作者は、画面上での注視位置を変化させることにより、注視位置特定装置１００を操作することが可能になる。
【００２２】
図３を用いて、注視位置特定装置１００の操作方法の一例について説明する。操作者は、画面上の一点を所定時間以上注視し続けることにより、その注視位置に対応する操作を行うことができる。例えば、操作者は、画面上に配置された操作対象ユーザーインターフェースを所定時間以上注視することにより、その操作対象ユーザーインターフェースに対する操作を指示することができる。例えば、図３に示すように、画面上の「ＯＫ」ボタン３ａや「キャンセル」ボタン３ｂのような操作対象ユーザーインターフェースを所定時間以上注視することにより、これらのボタンのクリック操作を指示することができる。
【００２３】
すなわち、制御装置１０２は、上述した処理により、画面上における操作者の注視位置の変化を監視した結果、所定時間以上、例えば５秒以上操作者の注視位置が変化せず、その位置が操作対象ユーザーインターフェースの表示位置に対応する場合には、その位置にある操作対象ユーザーインターフェースが操作された場合の処理を実行する。例えば、その操作対象ユーザーインターフェースが「ＯＫ」ボタン３ａであれば、「ＯＫ」ボタン３ａがクリックされた場合に実行すべき処理を実行する。また、その操作対象ユーザーインターフェースが「キャンセル」ボタン３ｂであれば、「キャンセル」ボタン３ｂがクリックされた場合に実行すべき処理を実行する。
【００２４】
また、操作者は、画面上の操作対象ユーザーインターフェース以外の部分を所定時間以上注視することにより、あらかじめ設定されている操作を指示することができる。例えば、操作者が操作対象ユーザーインターフェース以外の部分を所定時間以上注視したときには、その注視位置を中心に画面を拡大表示するように操作が割り当てられている場合には、操作者は、画面上の点３ｃを所定時間以上注視することにより、点３ｃを中心とした画面の拡大表示操作を指示することができる。あるいは、操作者が操作対象ユーザーインターフェース以外の部分を所定時間以上注視したときには、その注視位置を中心に画面を縮小表示するように操作が割り当てられている場合には、操作者は、画面上の点３ｃを所定時間以上注視することにより、点３ｃを中心とした画面の縮小表示操作を指示することができる。また、その他の操作を割り当てるようにしてもよい。
【００２５】
操作者は、画面上の一点から他の点へ注視位置を移動させることにより、その移動方向への画面のスクロール操作を指示することができる。例えば、操作者は、画面上の点３ｄから画面上の点３ｅに注視位置を移動させることにより、矢印３ｆに示す方向、すなわち下方向への画面スクロールを指示することができる。すなわち、制御装置１０２は、上述した処理により、画面上における操作者の注視位置の変化を監視した結果、所定時間の間に操作者の注視位置が画面上のいずれかの方向に移動したことを検出した場合には、その移動方向へ画面をスクロールさせる。
【００２６】
このように、制御装置１０２は、操作者による画面上の注視位置の位置変化を検出し、その検出結果に応じて画面上での操作を受け付けるようにしたので、操作者は、マウスやキーボードなどの既存の操作部材を使用せずに、画面上での見る位置を変えるだけで、直感的に画面上での操作を行うことができる。
【００２７】
図４は、本実施の形態における操作受付処理の流れを示すフローチャートである。図４に示す処理は、注視位置特定装置１００の電源がオンされると起動するプログラムとして、制御装置１０２によって実行される。なお、注視位置特定装置１００の電源は、不図示の電源ボタンを操作することによりオン及びオフすることができるものとする。
【００２８】
ステップＳ１０において、制御装置１０２は、撮像装置１０１を制御して撮影を行い、表示装置１０４に正対する操作者の瞳を含む画像を取得する。その後、ステップＳ２０へ進む。
【００２９】
ステップＳ２０では、制御装置１０２は、上述した処理により、ステップＳ１０で取得した瞳を含む画像の中から、操作者の瞳画像を抽出する。その後、ステップＳ３０へ進む。
【００３０】
ステップＳ３０では、制御装置１０２は、ステップＳ２０で瞳画像が抽出できたか否かを判断する。ステップＳ３０で否定判断した場合には、後述するステップＳ１１０へ進む。これに対して、ステップＳ３０で肯定判断した場合には、ステップＳ４０へ進む。
【００３１】
ステップＳ４０では、制御装置１０２は、上述したように瞳画像を画像処理して、操作者の瞳に映っている像を対象像として抽出する。その後、ステップＳ５０へ進む。
【００３２】
ステップＳ５０では、制御装置１０２は、ステップＳ４０で対象像が抽出できたか否かを判断する。ステップＳ５０で否定判断した場合には、後述するステップＳ１１０へ進む。これに対して、ステップＳ５０で肯定判断した場合には、ステップＳ６０へ進む。
【００３３】
ステップＳ６０では、制御装置１０２は、上述したように、ステップＳ４０で抽出した対象像の画面上における位置を特定することにより、モニタ１０４上に表示されている画面上における操作者の注視位置を特定する。その後、ステップＳ７０へ進む。
【００３４】
ステップＳ７０では、制御装置１０２は、ステップＳ６０で特定した画面上における操作者の注視位置の座標値を取得し、これを注視位置の座標値としてバッファメモリに記録する。その後、ステップＳ８０へ進む。
【００３５】
ステップＳ８０では、制御装置１０２は、上述したように、画面上における操作者の注視位置の時間変化を検出する。その後、ステップＳ９０へ進む。
【００３６】
ステップＳ９０では、制御装置１０２は、図３で上述したように、ステップＳ８０で検出した注視位置の時間変化に応じて、注視位置特定装置１００の操作を受け付ける。
【００３７】
その後、ステップＳ１００へ進み、上述したように、ステップＳ９０で受け付けた操作内容に応じた処理、例えば、ボタンのクリック処理、画面の拡大・縮小処理、スクロール処理等を実行する。その後、ステップＳ１１０へ進む。
【００３８】
ステップＳ１１０では、制御装置１０２は、操作者からの指示に基づいて注視位置特定装置１００の電源がオフされたか否かを判断する。ステップＳ１１０で否定判断した場合には、ステップＳ１０に戻って処理を繰り返す。このとき、制御装置１０２は、不図示のタイマによる計時結果を利用して、操作者の注視位置の変化の検出があらかじめ設定された時間間隔、例えば１秒間隔で繰り替えされるように制御する。一方、ステップＳ１１０で肯定判断した場合には、処理を終了する。
【００３９】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、表示装置１０４に画面を表示し、撮像装置１０１を制御して操作者の瞳の画像を撮像して瞳画像を取得し、取得した瞳画像を画像処理して、操作者の瞳に映っている像を対象像として抽出するようにした。そして、制御装置１０２は、表示装置１０４に表示されている画面の中から、対象像との類似度が高い画像が表示されている位置を操作者による注視位置として特定するようにした。これによって、操作者の瞳に映った対象像を特定するだけで、画面上での操作者が注視している位置を特定することができるため、簡易な処理で、精度高く画面上での操作者が注視している位置を特定することができる
【００４０】
（２）制御装置１０２は、特定した操作者の注視位置の時間変化を検出し、検出した注視位置の時間変化に基づいて、操作者による操作の内容を特定し、特定した操作内容に基づく処理を実行するようにした。これによって、操作者は、画面上での注視位置を変化させることにより、注視位置特定装置１００を直感的に操作することが可能になる。
【００４１】
（３）制御装置１０２は、画面上における操作者の注視位置の変化を監視した結果、所定時間の間に操作者の注視位置が画面上のいずれかの方向に移動したことを検出した場合には、その移動方向へ画面をスクロールさせるようにした。これにより、操作者は、画面上でスクロールしたい方向に注視位置を移動させるだけで、直感的にスクロール操作を行うことができる。
【００４２】
（４）制御装置１０２は、画面上における操作者の注視位置が所定時間以上変化せず、その位置が操作対象ユーザーインターフェースの表示位置に対応する場合には、その位置にある操作対象ユーザーインターフェースに対する操作が指示されたことを特定して、その操作対象ユーザーインターフェースが操作された場合の処理を実行するようにした。これにより、操作者は、画面上で操作したい操作対象ユーザーインターフェースを注視するだけで、直感的に操作対象ユーザーインターフェースを操作することができる。
【００４３】
（５）制御装置１０２は、画面上における操作者の注視位置が所定時間以上変化せず、その位置が操作対象ユーザーインターフェース以外の表示位置に対応する場合には、その注視位置を中心とした表示内容の拡大または縮小が指示されたことを特定して、画面の拡大または縮小処理を実行するようにした。これにより、操作者は、画面上で拡大または縮小したい箇所を注視するだけで、直感的に画面の拡大または縮小を指示することができる。
【００４４】
（６）撮像装置１０１は、その光軸が、表示装置１０４に正対する操作者の瞳が画角に入る向きに設定されるように配置されるようにした。これによって、表示装置１０４に正対する操作者の瞳画像を撮影することが可能となる。
【００４５】
（７）制御装置１０２は、瞳画像から、あらかじめ取得された一様面を見た状態の操作者の瞳を撮影した基準画像を減算することにより、瞳画像から操作者の瞳に映っている対象像を抽出するようにした。これによって、画像同士を減算して差分画像を作成するだけの簡易な処理で、精度高く操作者の瞳に映っている像を抽出することができる。
【００４６】
（８）制御装置１０２は、テンプレート画像を対象画像上で所定ピクセル、例えば１ピクセルずつずらしながら各位置での両画像の類似度を算出し、その中で最も高い類似度が算出された対象画像内の位置を操作者による注視位置として特定するようにした。これによって、操作者による画面上の注視位置を精度高く特定することができる。
【００４７】
―変形例―
なお、上述した実施の形態の注視位置特定装置１００は、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０２は、対象像２ａの画像をテンプレート画像に設定するとともに、モニタ１０４上に表示されている画面の画像を対象画像に設定してテンプレートマッチング処理を行うことにより、最も高い類似度が算出された対象画像上の位置を操作者による画面上の注視位置として特定する例について説明した。しかしながら、操作者による画面上の注視位置の特定方法はこれに限定されない。例えば、スマートフォンやタブレット端末などのように表示装置１０４として小型のモニタを搭載した端末であれば、瞳にモニタ全体の像が映る可能性が高い。このため、制御装置１０２は、瞳画像内から最も大きな矩形像を抽出することにより、モニタの枠の像を抽出する。そして、制御装置１０２は、瞳画像内から操作者の黒目を抽出しその中心位置を特定する。これによって、図５に示すように、モニタの外周に相当する枠の像５ａと、黒目の中心位置５ｂとが特定される。制御装置１０２は、黒目の中心位置５ｂから枠の像５ａの上側辺までの距離Ｓ１と下側辺までの距離Ｓ２との縦方向の比Ａ、および右側辺までの距離Ｓ３と左側辺までの距離Ｓ４との横方向の比Ｂを算出し、表示装置１０４に表示された画面上において、縦方向の比と横方向の比が、上記のＡ及びＢと一致する位置を、操作者が注視している位置として特定するようにしてもよい。
【００４８】
（２）上述した実施の形態では、図３を用いた操作方法の説明として、操作者は、ボタンのクリック操作、画面の拡大・縮小操作、画面のスクロール操作を行うことができる例について説明した。しかしながら、それ以外の操作を行う場合にも本発明は適用可能である。  
【００４９】
例えば、操作対象ユーザーインターフェースとしては、操作ボタン以外のものも存在し、制御装置１０２は、これらの操作対象ユーザーインターフェースについても、操作者が所定時間以上注視したことを検出した場合には、その操作対象ユーザーインターフェースがクリックされた場合と同様の処理を行えばよい。例えば、操作対象ユーザーインターフェースがラジオボタンである場合には、操作者は、画面上のラジオボタンを所定時間以上注視することにより、そのラジオボタンの選択操作を指示することができる。また、操作対象ユーザーインターフェースがチェックボックスである場合には、操作者は、画面上のチェックボックスを所定時間以上注視することにより、そのチェックボックスへのチェック操作を指示することができる。
【００５０】
また、画面上に文字の入力を行うためのテキストボックスが表示されている場合には、制御装置１０２は、操作者によって該テキストボックスを所定時間以上注視されたことを検出した場合には、テキストボックスへの文字の入力受付を開始するとともに、画面上に仮想的なキーボードの画像を表示すればよい。そして、表示されたキーボード上での操作者の注視位置を特定し、その注視位置に配置されているキーの入力を受け付けて、テキストボックス内に文字を表示していけばよい。
【００５１】
（３）上述した実施の形態では、注視位置特定装置１００の電源は、操作者が不図示の電源ボタンを操作することによりオフすることができるものとした。しかしながら、操作者は、画面上の注視位置を変化させることにより、注視位置特定装置１００の電源をオフできるようにしてもよい。例えば、画面上には、電源のオフを指示するためのボタンを配置しておき、制御装置１０２は、上述した処理を行った結果、操作者が所定時間、例えば５秒以上電源のオフを指示するためのボタンを注視していることを検出した場合に、注視位置特定装置１００の電源をオフするようにしてもよい。
【００５２】
（４）上述した実施の形態では、操作者は、あらかじめ一様面を見ている状態の瞳の画像を取得し、これを基準画像として記録装置１０３に記録しておく例について説明し、このために、制御装置１０２は、表示装置１０４に白一色などの一様画像を表示し、撮像装置１０１を制御して、その時の操作者の瞳画像を基準画像として取得する例について説明した。この基準画像の取得処理を注視位置特定装置１００のモードを切り替えることによって行うようにしてもよい。例えば、制御装置１０２は、操作者からの指示に基づいて、撮像装置１０１による撮影モードを基準画像を撮影するための基準画像撮影モードに切り替え、表示装置１０４上に一様な画像を表示するとともに、撮像装置１０１を制御し、そのときの操作者の瞳の画像を取得するようにすればよい。
【００５３】
（５）上述した実施の形態では、制御装置１０２は、画面上での操作者の注視位置の時間変化を検出し、その検出結果に基づいて操作者による操作を受け付ける例について説明した。しかしながら、注視位置特定装置１００にタッチパネル、マウス、キーボードといった操作部材を搭載し、該操作部材を介した操作の受け付けと注視位置の時間変化に基づく操作の受け付けを併用するようにしてもよい。
【００５４】
（６）上述した実施の形態では、所定時間の間に操作者の注視位置が画面上のいずれかの方向に移動したことを検出した場合にはスクロール操作が行われたと判断し、画面上における操作者の注視位置が所定時間以上変化しない場合には、その注視位置に関する操作が指示されたと判断する例について説明した。しかしながら、操作者は、注視位置の移動と固定とを組み合わせて操作を行えるようにしてもよい。例えば、操作者は、画面上のある一点を所定時間以上注視して固定した後に、続けて注視位置を上方向へ移動させることにより、最初に固定した注視位置を中心とした画面の拡大操作を行えるようにし、画面上のある一点を所定時間以上注視して固定した後に、続けて注視位置を下方向へ移動させることにより、最初に固定した注視位置を中心とした画面の縮小操作を行えるようにしてもよい。これにより、操作者は、画面上の注視方法を複数組み合わせて、多くの操作を行うことが可能となる。
【００５５】
（７）上述した実施の形態では、制御装置１０２は、撮像装置１０１を制御して撮影を行い、表示装置１０４に正対する操作者の瞳を含む画像を取得する例について説明した。このとき、制御装置１０２は、操作者の注視位置の特定精度を上げるために、より鮮明な瞳画像を取得するための制御を行うようにしてもよい。例えば、制御装置１０２は、瞳画像を撮影する際に、公知の被写体認識機能を利用して操作者の目を特定し、撮像装置１０１を制御して、特定した目に合焦させるようにすればよい。また、瞳画像内における操作者の目の大きさが一定以上となるように、ズームを行うようにしてもよい。あるいは、制御装置１０２は、撮像装置１０１を制御して取得した瞳を含む画像に対して、拡大処理、輪郭強調処理、先鋭化処理等の画像処理を施してから瞳画像を抽出するようにしてもよい。
【００５６】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００５７】
１００  注視位置特定装置
１０１  撮像装置
１０２  制御装置
１０３  記録装置
１０４  表示装置
【図１】
2014048775.tif 000003
【図２】
2014048775.tif 000004
【図３】
2014048775.tif 000005
【図４】
2014048775.tif 000006
【図５】
2014048775.tif 000007