(57)【要約】【課題】閲覧者が閲覧している位置を精度良く特定する。【解決手段】表示面を閲覧する閲覧者の目領域が撮像されて得られた撮像データを取得するデータ取得部１１０と、撮像データにおける目領域に映っている自機器における所定領域の大きさを検出値として取得する検出値取得部１３０と、撮像データにおける目領域に基づいて閲覧者の視点の座標を検出座標として検出する視点検出部１４０Ａと、自機器における所定領域の大きさである基準値と検出値との比率に基づいて検出座標を補正することにより、表示面における閲覧者の視点座標を算出する算出部１５０と、を備える、閲覧機器１００が提供される。【選択図】図５
2012048358.tif 000002
【特許請求の範囲】
【請求項１】
表示面を閲覧する閲覧者の目領域が撮像されて得られた撮像データを取得するデータ取得部と、
前記データ取得部により取得された前記撮像データにおける前記目領域に映っている自機器における所定領域の大きさを検出値として取得する検出値取得部と、
前記撮像データにおける前記目領域に基づいて前記閲覧者の視点の座標を検出座標として検出する視点検出部と、
あらかじめ登録された自機器における所定領域の大きさである基準値と前記検出値取得部により取得された前記検出値との比率に基づいて、前記視点検出部により検出された前記検出座標を補正することにより、前記表示面における前記閲覧者の視点座標を算出する算出部と、
を備える、閲覧機器。
【請求項２】
自機器における所定領域の大きさを基準値として記憶する基準値記憶部をさらに備え、
前記算出部は、
前記基準値記憶部により記憶されている前記基準値と前記検出値取得部により取得された前記検出値との比率に基づいて、前記視点検出部により検出された前記検出座標を補正する、
請求項１に記載の閲覧機器。
【請求項３】
前記基準値記憶部は、
自機器の大きさを前記基準値として記憶し、
前記検出値取得部は、
前記撮像データにおける前記目領域に映っている自機器の大きさを前記検出値として取得する、
請求項１または２に記載の閲覧機器。
【請求項４】
前記基準値記憶部は、
前記表示面に表示されている所定の画像または文字の大きさを前記基準値として記憶し、
前記検出値取得部は、
前記撮像データにおける前記目領域に映っている前記所定の画像または文字の大きさを前記検出値として取得する、
請求項１に記載の閲覧機器。
【請求項５】
前記閲覧機器は、
前記算出部により算出された前記視点座標に応じた処理を実行する処理部をさらに備える、
請求項１に記載の閲覧機器。
【請求項６】
前記視点検出部は、
前記撮像データにおける前記目領域に映っている前記表示面における所定位置を認識するとともに、前記所定位置を基準とした前記撮像データにおける前記目領域の虹彩または瞳孔の中心座標を認識し、前記目領域の虹彩または瞳孔の中心座標を前記検出座標として検出する、
請求項１に記載の閲覧機器。
【請求項７】
前記閲覧機器は、
前記比率の変化に応じて、前記視点検出部に対して、前記撮像データにおける前記目領域に映っている前記表示面における所定位置を新たに認識させるか、既に認識済みの所定位置を使用させるかを判断する制御部をさらに備える、
請求項６に記載の閲覧機器。
【請求項８】
前記閲覧機器は、
前記視点検出部に対して、既に認識済みの前記所定位置を使用させ、所定時間ごとに前記撮像データにおける前記目領域に映っている前記表示面における所定位置を新たに認識させる制御部をさらに備える、
請求項６に記載の閲覧機器。
【請求項９】
前記閲覧機器は、
前記視点検出部により前記検出座標が検出されない時間が所定時間を超えた場合に、前記閲覧機器の動作を省電力モードに移行させる制御部をさらに備える、
請求項６に記載の閲覧機器。
【請求項１０】
前記閲覧機器は、
前記視点検出部により前記検出座標が検出されない時間が所定時間を超えた場合に、少なくとも、前記検出値取得部、前記視点検出部および前記算出部を実現するためのアプリケーションの実行を制限する制御部をさらに備える、
請求項６に記載の閲覧機器。
【請求項１１】
前記閲覧機器は、
前記視点検出部により前記撮像データにおける前記目領域が３つ以上検出された場合には、所定のメッセージを前記表示面に表示させる制御部をさらに備える、
請求項６に記載の閲覧機器。
【請求項１２】
前記視点検出部は、
前記撮像データにおける前記目領域の位置を基準とした前記目領域の虹彩または瞳孔の中心座標を認識し、所定時間前に検出された前記検出座標を基準として前記目領域の虹彩または瞳孔の中心座標に基づいて移動させた座標を現時点における前記検出座標として検出する、
請求項１に記載の閲覧機器。
【請求項１３】
前記閲覧機器は、
前記目領域に含まれる所定部位の大きさの変化に応じて、前記視点検出部に対して、前記撮像データにおける前記目領域の位置を新たに認識させるか、既に認識済みの前記目領域の位置を使用させるかを判断する制御部をさらに備え、
前記視点検出部は、
前記制御部による判断にしたがって、前記撮像データにおける前記目領域の位置を認識する、
請求項１２に記載の閲覧機器。
【請求項１４】
表示面を閲覧する閲覧者の目領域が撮像されて得られた撮像データを取得するデータ取得部と、
前記データ取得部により取得された前記撮像データにおける前記目領域に映っている自機器における所定領域の大きさを検出値として取得する検出値取得部と、
前記撮像データにおける前記目領域に基づいて前記閲覧者の視点の座標を検出座標として検出する視点検出部と、
あらかじめ登録された自機器における所定領域の大きさである基準値と前記検出値取得部により取得された前記検出値との比率に基づいて、前記視点検出部により検出された前記検出座標を補正することにより、前記表示面における前記閲覧者の視点座標を算出する算出部と、
を備え、
前記視点検出部は、
前記撮像データにおける前記目領域に映っている前記表示面における所定位置を認識するとともに、前記所定位置を基準とした前記撮像データにおける前記目領域の虹彩または瞳孔の中心座標を認識し、前記目領域の虹彩または瞳孔の中心座標を前記検出座標として検出する第１視点検出部と、
前記撮像データにおける前記目領域の位置を基準とした前記目領域の虹彩または瞳孔の中心座標を認識し、所定時間前に検出された前記検出座標を基準として前記目領域の虹彩または瞳孔の中心座標に基づいて移動させた座標を現時点における前記検出座標として検出する第２視点検出部と、
を有し、
前記第１視点検出部による前記検出座標の検出と前記第２視点検出部による前記検出座標の検出との間で切り替えを行う制御部をさらに備える、
閲覧機器。
【請求項１５】
表示面を閲覧する閲覧者の目領域が撮像されて得られた撮像データを取得するステップと、
前記撮像データにおける前記目領域に映っている自機器における所定領域の大きさを検出値として取得するステップと、
前記撮像データにおける前記目領域に基づいて前記閲覧者の視点の座標を検出座標として検出するステップと、
あらかじめ登録された自機器における所定領域の大きさである基準値と前記検出値との比率に基づいて、前記検出座標を補正することにより、前記表示面における前記閲覧者の視点座標を算出するステップと、
を備える、情報処理方法。
【請求項１６】
コンピュータを、
表示面を閲覧する閲覧者の目領域が撮像されて得られた撮像データを取得するデータ取得部と、
前記データ取得部により取得された前記撮像データにおける前記目領域に映っている自機器における所定領域の大きさを検出値として取得する検出値取得部と、
前記撮像データにおける前記目領域に基づいて前記閲覧者の視点の座標を検出座標として検出する視点検出部と、
あらかじめ登録された自機器における所定領域の大きさである基準値と前記検出値取得部により取得された前記検出値との比率に基づいて、前記視点検出部により検出された前記検出座標を補正することにより、前記表示面における前記閲覧者の視点座標を算出する算出部と、
を備える閲覧機器として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、閲覧機器、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、閲覧者による視線を認識することによって閲覧者が要求する操作を特定し、特定した操作に基づいた処理を実行する閲覧機器が様々な場面において活用されている。かかる技術によれば、例えば、閲覧者は、手による操作を行わなくても所望の処理を閲覧機器に実行させることができる。手による操作が不要となることにより、例えば、手が不自由な閲覧者でも容易に所望の操作を行うことができるのは当然のことながら、手を使用することができる閲覧者にとっても容易に所望の操作を行うことができる。
【０００３】
例えば、閲覧者の視線に基づいて閲覧者が注視していると判断した画像を拡大して表示したり、当該画像を他の画像より大きいサイズで表示したりする技術について開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２１３４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、閲覧者が自分の目から閲覧機器をどの程度遠ざけて閲覧機器に表示されている画面を閲覧するかという点については、閲覧者や閲覧者が閲覧する場面に応じて様々に変更され得るのが一般的である。このため、閲覧者の視線に基づいて閲覧者が閲覧している位置を特定する技術では、閲覧者が閲覧している位置を精度良く特定することができないという問題があった。
【０００６】
そこで、本発明は、閲覧者が閲覧している位置を精度良く特定することが可能な、新規かつ改良された技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、表示面を閲覧する閲覧者の目領域を撮像して撮像データを取得するデータ取得部と、上記データ取得部により取得された上記撮像データにおける上記目領域に映っている自機器における所定領域の大きさを検出値として取得する検出値取得部と、上記撮像データにおける上記目領域に基づいて上記閲覧者の視点の座標を検出座標として検出する視点検出部と、自機器における所定領域の大きさである基準値と上記検出値取得部により取得された上記検出値との比率に基づいて、上記視点検出部により検出された上記検出座標を補正することにより、上記表示面における上記閲覧者の視点座標を算出する算出部と、を備える、閲覧機器が提供される。
【０００８】
自機器における所定領域の大きさを基準値として記憶する基準値記憶部をさらに備え、上記算出部は、上記基準値記憶部により記憶されている上記基準値と上記検出値取得部により取得された上記検出値との比率に基づいて、上記視点検出部により検出された上記検出座標を補正することとしてもよい。
【０００９】
上記基準値記憶部は、自機器の大きさを上記基準値として記憶し、上記検出値取得部は、上記撮像データにおける上記目領域に映っている自機器の大きさを上記検出値として取得することとしてもよい。
【００１０】
上記基準値記憶部は、上記表示面に表示されている所定の画像または文字の大きさを上記基準値として記憶し、上記検出値取得部は、上記撮像データにおける上記目領域に映っている上記所定の画像または文字の大きさを上記検出値として取得することとしてもよい。
【００１１】
上記閲覧機器は、上記算出部により算出された上記視点座標に応じた処理を実行する処理部をさらに備えることとしてもよい。
【００１２】
上記視点検出部は、上記撮像データにおける上記目領域に映っている上記表示面における所定位置を認識するとともに、上記所定位置を基準とした上記撮像データにおける上記目領域の虹彩または瞳孔の中心座標を認識し、上記目領域の虹彩または瞳孔の中心座標を上記検出座標として検出することとしてもよい。
【００１３】
上記閲覧機器は、上記比率の変化に応じて、上記視点検出部に対して、上記撮像データにおける上記目領域に映っている上記表示面における所定位置を新たに認識させるか、既に認識済みの所定位置を使用させるかを判断する制御部をさらに備えることとしてもよい。
【００１４】
上記閲覧機器は、上記視点検出部に対して、既に認識済みの上記所定位置を使用させ、所定時間ごとに上記撮像データにおける上記目領域に映っている上記表示面における所定位置を新たに認識させる制御部をさらに備えることとしてもよい。
【００１５】
上記閲覧機器は、上記視点検出部により上記検出座標が検出されない時間が所定時間を超えた場合に、上記閲覧機器の動作を省電力モードに移行させる制御部をさらに備えることとしてもよい。
【００１６】
上記閲覧機器は、上記視点検出部により上記検出座標が検出されない時間が所定時間を超えた場合に、少なくとも、上記検出値取得部、上記視点検出部および上記算出部を実現するためのアプリケーションの実行を制限する制御部をさらに備えることとしてもよい。
【００１７】
上記閲覧機器は、上記視点検出部により上記撮像データにおける上記目領域が３つ以上検出された場合には、所定のメッセージを上記表示面に表示させる制御部をさらに備えることとしてもよい。
【００１８】
上記視点検出部は、上記撮像データにおける上記目領域の位置を基準とした上記目領域の虹彩または瞳孔の中心座標を認識し、所定時間前に検出された上記検出座標を基準として上記目領域の虹彩または瞳孔の中心座標に基づいて移動させた座標を現時点における上記検出座標として検出することとしてもよい。
【００１９】
上記閲覧機器は、上記目領域に含まれる所定部位の大きさの変化に応じて、上記視点検出部に対して、上記撮像データにおける上記目領域の位置を新たに認識させるか、既に認識済みの上記目領域の位置を使用させるかを判断する制御部をさらに備え、上記視点検出部は、上記制御部による判断にしたがって、上記撮像データにおける上記目領域の位置を認識することとしてもよい。
【００２０】
また、本発明の別の実施形態によれば、表示面を閲覧する閲覧者の目領域を撮像して撮像データを取得するデータ取得部と、上記データ取得部により取得された上記撮像データにおける上記目領域に映っている自機器における所定領域の大きさを検出値として取得する検出値取得部と、上記撮像データにおける上記目領域に基づいて上記閲覧者の視点の座標を検出座標として検出する視点検出部と、上記基準値記憶部により記憶された上記基準値と上記検出値取得部により取得された上記検出値との比率に基づいて、上記視点検出部により検出された上記検出座標を補正することにより、上記表示面における上記閲覧者の視点座標を算出する算出部と、を備え、上記視点検出部は、上記撮像データにおける上記目領域に映っている上記表示面における所定位置を認識するとともに、上記所定位置を基準とした上記撮像データにおける上記目領域の虹彩または瞳孔の中心座標を認識し、上記目領域の虹彩または瞳孔の中心座標を上記検出座標として検出する第１視点検出部と、上記撮像データにおける上記目領域の位置を基準とした上記目領域の虹彩または瞳孔の中心座標を認識し、所定時間前に検出された上記検出座標を基準として上記目領域の虹彩または瞳孔の中心座標に基づいて移動させた座標を現時点における上記検出座標として検出する第２視点検出部と、を有し、上記第１視点検出部による上記検出座標の検出と上記第２視点検出部による上記検出座標の検出との間で切り替えを行う制御部をさらに備える、閲覧機器が提供される。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、閲覧者が閲覧している位置を精度良く特定することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態から第３実施形態までの前提となる閲覧機器が有する機能の概要を説明するための図である。
【図２】図１に示した閲覧機器により閲覧機器の大きさを基準として閲覧者の視点を検出する手法について説明するための図である。
【図３】図１に示した閲覧機器により閲覧機器に表示される文字の大きさを基準として閲覧者の視点を検出する手法について説明するための図である。
【図４】図１に示した閲覧機器により閲覧者の視点に応じて実行される処理について説明するための図である。
【図５】本発明の第１実施形態に係る閲覧機器の機能構成を示す図である。
【図６】同実施形態に係る閲覧機器による視点検出の詳細について説明するための図である。
【図７】同実施形態に係る閲覧機器による動作（前半部分）の流れを示すフローチャートである。
【図８】同実施形態に係る閲覧機器による動作（後半部分）の流れを示すフローチャートである。
【図９】本発明の第２実施形態に係る閲覧機器の機能構成を示す図である。
【図１０】同実施形態に係る閲覧機器による視点検出の詳細について説明するための図である。
【図１１】同実施形態に係る閲覧機器による動作（前半部分）の流れを示すフローチャートである。
【図１２】同実施形態に係る閲覧機器による動作（後半部分）の流れを示すフローチャートである。
【図１３】本発明の第３実施形態に係る閲覧機器の機能構成を示す図である。
【図１４】同実施形態に係る閲覧機器による動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２４】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．第１実施形態から第３実施形態までの前提
１−１．  閲覧機器が有する機能の概要
１−２．  閲覧機器の大きさを基準として閲覧者の視点を検出する手法
１−３．  文字の大きさを基準として閲覧者の視点を検出する手法
１−４．  閲覧者の視点に応じて実行される処理
２．第１実施形態
２−１．  閲覧機器の機能構成
２−２．  視点検出の詳細
２−３．  閲覧機器による動作
３．第２実施形態
３−１．  閲覧機器の機能構成
３−２．  視点検出の詳細
３−３．  閲覧機器による動作
４．第３実施形態
４−１．  閲覧機器の機能構成
４−２．  閲覧機器による動作
５．変形例
６．まとめ
【００２５】
＜１．第１実施形態から第３実施形態までの前提＞
［１−１．閲覧機器が有する機能の概要］
図１は、本発明の第１実施形態から第３実施形態までの前提となる閲覧機器が有する機能の概要を説明するための図である。図１を参照して、本発明の第１実施形態から第３実施形態までの前提となる閲覧機器が有する機能の概要について説明する。
【００２６】
図１に示すように、閲覧者Ｖは、閲覧機器１００の表示部１７０により表示された画面を閲覧している。ここで、閲覧者Ｖは、自分の目から閲覧機器１００をどの程度遠ざけて表示部１７０により表示された画面を閲覧するかという点については、閲覧者Ｖや閲覧者Ｖが閲覧する場面に応じて様々に変更され得るのが一般的である。例えば、閲覧者Ｖが近視である場合などには、閲覧者Ｖは閲覧機器１００を比較的自分の目に近づけて閲覧することが想定される。他方、閲覧者Ｖが遠視である場合などには、閲覧者Ｖは閲覧機器１００を比較的自分の目から遠ざけて閲覧することが想定される。閲覧機器１００は、閲覧者Ｖと閲覧機器１００との距離に関わらず、閲覧者Ｖの視点座標ＶＰを検出することができる。
【００２７】
かかる機能を実現するために、閲覧機器１００にはデータ取得部１１０が備えられており、データ取得部１１０により閲覧者Ｖの目領域が撮像される。閲覧機器１００は、データ取得部１１０により撮像して得た撮像データに基づいて、視点座標ＶＰを検出することができる。視点座標ＶＰの検出手法については、以下の第１実施形態から第３実施形態までに示すように様々なものが想定される。また、データ取得部１１０は、ハードウェア的には、例えば、カメラによって実現されるものである。ただし、データ取得部１１０は、必ずしも撮像機能を有している必要はなく、データ取得部１１０とは別に存在するカメラにより閲覧者Ｖの目領域が撮像されて得られた撮像データを取得することとしてもよい。目領域とは、後に説明するように、白目領域と黒目領域とを共に含む領域であるとする。
【００２８】
以下においては、閲覧機器１００が閲覧者Ｖによって携帯され得る端末である場合について主に説明するが、閲覧機器１００は必ずしも閲覧者Ｖによって携帯されるものでなくてもよく、据え置き型の端末などであってもよい。また、図１に示した例では、表示部１７０により、視点座標ＶＰによって示される位置にカーソルＣが表示されることとしているが、カーソルＣは表示されなくてもよい。
【００２９】
また、図１に示した例では、表示部１７０により領域Ａ１１〜Ａ１４、Ａ２１〜Ａ２４が表示され、閲覧者Ｖが視線を移動させることにより、領域Ａ１１〜Ａ１４、Ａ２１〜Ａ２４のいずれかの領域内に視点座標ＶＰを移動させることができることとしている。また、後に説明するように、閲覧機器１００は、視点座標ＶＰが属する領域に応じた処理を実行することとしてもよい。また、以下において、表示部１７０により各種情報が表示される面を表示面Ｄと呼ぶこととする。また、表示面Ｄ上における座標系は（ｘ，ｙ）で表されるものとし、撮像データＩＭにおける座標系は（ｘ’，ｙ’）で表されるものとする。
【００３０】
［１−２．閲覧機器の大きさを基準として閲覧者の視点を検出する手法］
図２は、図１に示した閲覧機器１００により閲覧機器１００の大きさを基準として閲覧者Ｖの視点を検出する手法について説明するための図である。図２を参照して、図１に示した閲覧機器１００により閲覧機器１００の大きさを基準として閲覧者Ｖの視点を検出する手法について説明する。
【００３１】
図２に示すように、データ取得部１１０により取得した撮像データＩＭには目領域Ｅ１が含まれている。目領域Ｅ１は、白目領域と黒目領域との総称するものである。閲覧者Ｖの目は閲覧機器１００からの光を一部反射し、反射した光の一部はデータ取得部１１０に到達する。すなわち、撮像データＩＭにおける目領域Ｅ１には閲覧機器１００’が映っていることとなる。そこで、閲覧機器１００は、撮像データＩＭにおける目領域Ｅ１に映っている自機器の所定領域の大きさを検出値として取得する。図２に示した例では、閲覧機器１００は、自機器の所定領域の大きさとして自機器の大きさを取得することとしている。自機器の大きさは、例えば、図２に示すように、閲覧機器１００’の横の長さｗ’であってもよいが、閲覧機器１００’の縦の長さｈ’であってもよく、他の長さであってもよい。
【００３２】
他方において、閲覧機器１００は、自機器における所定領域の大きさを基準値としてあらかじめ記憶している。この基準値は、例えば、閲覧機器１００を製造する段階において製造者の操作により閲覧機器１００に登録されることとしてもよいし、閲覧者Ｖの操作により他の装置から受信したものが閲覧機器１００に登録されることとしてもよい。基準値としては検出値に対応したものが使用されるため、例えば、検出値として閲覧機器１００’の横の長さｗ’が使用される場合には、基準値として閲覧機器１００の横の長さｗが使用される。また、例えば、検出値として閲覧機器１００’の縦の長さｈ’が使用される場合には閲覧機器１００の縦の長さｈが使用される。
【００３３】
続いて、閲覧機器１００は、基準値と検出値との比率Ｒを算出する。比率Ｒは、例えば、（基準値）／（検出値）により算出される。特に、図２に示すように、検出値として閲覧機器１００’の横の長さｗ’が使用され、基準値として閲覧機器１００の横の長さｗが使用される場合には、比率Ｒは、ｗ／ｗ’により算出される。
【００３４】
その他、閲覧機器１００は、撮像データＩＭにおける目領域Ｅ１に基づいて閲覧者Ｖの視点の座標を検出座標ＶＰ’（ｘ’，ｙ’）として検出する。検出座標ＶＰ’（ｘ’，ｙ’）の検出手法については、以下の第１実施形態から第３実施形態までに示すように様々なものが想定される。
【００３５】
続いて、閲覧機器１００は、検出座標ＶＰ’（ｘ’，ｙ’）を補正することにより、表示面Ｄにおける閲覧者Ｖの視点座標ＶＰ（ｘ，ｙ）を算出する。閲覧機器１００は、例えば、検出座標ＶＰ’（ｘ’，ｙ’）に比率Ｒを乗算することにより当該補正を行うことができる。
【００３６】
［１−３．文字の大きさを基準として閲覧者の視点を検出する手法］
図３は、図１に示した閲覧機器１００により閲覧機器１００に表示される文字の大きさを基準として閲覧者Ｖの視点を検出する手法について説明するための図である。図３を参照して、図１に示した閲覧機器１００により閲覧機器１００に表示される文字の大きさを基準として閲覧者Ｖの視点を検出する手法について説明する。なお、ここでは、図２を参照して説明した手法と同一部分については説明を省略する。
【００３７】
図３に示した例では、閲覧機器１００は、自機器の所定領域の大きさとして表示面Ｄ’に表示されている文字の大きさＦ’を取得することとしている。表示面Ｄ’に表示されている文字の大きさＦ’は、例えば、図３に示すように、閲覧機器１００’の表示面Ｄ’に表示されている文字「Ａ」の縦の長さであってもよいが、文字「Ａ」の横の長さであってもよく、他の長さであってもよい。また、閲覧機器１００は、表示面Ｄ’に表示されている文字の大きさＦ’の代わりに表示面Ｄ’に表示されている所定の画像の大きさを取得することとしてもよい。この場合、所定の画像の大きさとして、所定の画像の縦の長さを取得することとしてもよいし、所定の画像の横の長さを取得することとしてもよい。
【００３８】
また、図２を参照して説明したように、基準値としては検出値に対応したものが使用されるため、例えば、検出値として閲覧機器１００’の表示面Ｄ’に表示されている文字の大きさＦ’が使用される場合には、基準値として閲覧機器１００の表示面Ｄに表示されている文字の大きさＦが使用される。
【００３９】
閲覧機器１００は、検出座標ＶＰ’（ｘ’，ｙ’）を補正することにより、表示面Ｄにおける閲覧者Ｖの視点座標ＶＰ（ｘ，ｙ）を算出する。閲覧機器１００は、例えば、検出座標ＶＰ’（ｘ’，ｙ’）に比率Ｒを乗算することにより当該補正を行うことができる。
【００４０】
［１−４．閲覧者の視点に応じて実行される処理］
図４は、図１に示した閲覧機器１００により閲覧者Ｖの視点に応じて実行される処理について説明するための図である。図４を参照して、図１に示した閲覧機器１００により閲覧者Ｖの視点に応じて実行される処理について説明する。
【００４１】
閲覧機器１００は、上記したような手法により、視点座標ＶＰ（ｘ，ｙ）を算出することが可能である。さらに、閲覧機器１００は、算出した視点座標ＶＰ（ｘ，ｙ）に応じた処理を実行することも可能である。例えば、閲覧機器１００は、視点座標ＶＰ（ｘ，ｙ）が表示面Ｄにおける領域Ａ１１〜Ａ１４、Ａ２１〜Ａ２４のいずれかに属する場合には、当該領域に応じた処理を実行することができる。
【００４２】
図４には、領域Ａ１１〜Ａ１４、Ａ２１〜Ａ２４に対して「効果音Ｓ１を鳴らす」「キャラクターＴ１が画面の隅に登場」「電子書籍のアプリケーション起動」「次のページに進む」「前のページに戻る」「ページを閉じる」といった処理がそれぞれ対応付けられており、視点座標ＶＰ（ｘ，ｙ）が属する領域Ａ１３に対応する処理である「電子書籍のアプリケーション起動」が閲覧機器１００により実行される例が示されている。
【００４３】
＜２．第１実施形態＞
［２−１．閲覧機器の機能構成］
図５は、本発明の第１実施形態に係る閲覧機器１００Ａの機能構成を示す図である。図５を参照して、同実施形態に係る閲覧機器１００Ａの機能構成について説明する。なお、本発明の第１実施形態に係る閲覧機器１００Ａは、撮像データＩＭにおける閲覧者Ｖの視点の座標である検出座標ＶＰ’（ｘ’，ｙ’）と比率Ｒとに基づいて、表示面Ｄにおける視点座標ＶＰを算出する構成を特徴の１つとして有している。
【００４４】
本発明の第１実施形態に係る閲覧機器１００Ａは、少なくとも、データ取得部１１０と、検出値取得部１３０と、視点検出部１４０Ａと、算出部１５０とを備えるものである。さらに、閲覧機器１００Ａは、基準値記憶部１２０、処理部１６０、表示部１７０、制御部１８０Ａなどを備えることとしてもよい。
【００４５】
データ取得部１１０は、表示面Ｄを閲覧する閲覧者Ｖの目領域Ｅ１を撮像して撮像データＩＭを取得する機能を有するものである。しかし、上記したように、データ取得部１１０は、必ずしも撮像機能を備えていなくてもよく、データ取得部１１０とは別に存在するカメラにより表示面Ｄを閲覧する閲覧者Ｖの目領域Ｅ１が撮像されて得られた撮像データを取得するようにしてもよい。表示面Ｄは、閲覧機器１００Ａに備えられていることとしてもよいし、閲覧機器１００Ａから離れたところに備えられていることとしてもよい。データ取得部１１０は、上記したように、例えば、カメラにより実現されるものであるが、そのハードウェア構成については特に限定されるものではない。カメラが取り付けられる位置についても特に限定されるものではないが、その撮像エリアの中に閲覧機器１００Ａを閲覧する閲覧者Ｖの目領域Ｅ１が含まれるような位置に取り付けられる必要がある。
【００４６】
基準値記憶部１２０は、閲覧機器１００Ａにおける所定領域の大きさを基準値として記憶する機能を有するものである。上記したように、この基準値は、例えば、閲覧機器１００Ａを製造する段階において製造者の操作により基準値記憶部１２０に登録されることとしてもよいし、閲覧者Ｖの操作により他の装置から受信したものが閲覧機器１００Ａに登録されることとしてもよい。基準値記憶部１２０は、例えば、不揮発性メモリにより実現されるものであるが、そのハードウェア構成については特に限定されるものではない。
【００４７】
検出値取得部１３０は、データ取得部１１０により取得された撮像データＩＭにおける目領域Ｅ１に映っている閲覧機器１００Ａの所定領域の大きさを検出値として取得する機能を有するものである。ここで、上記したように、検出値取得部１３０は、例えば、閲覧機器１００Ａの処理領域の大きさとして、撮像データＩＭにおける目領域Ｅ１に映っている閲覧機器１００Ａの大きさを取得することができるが、検出値取得部１３０は、撮像データＩＭにおける表示面Ｄ’に表示されている文字の大きさＦ’を代わりに取得することとしてもよいし、撮像データＩＭにおける表示面Ｄ’に表示されている所定の画像の大きさを代わりに取得することとしてもよい。検出値取得部１３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）により構成され、ＣＰＵが閲覧機器１００Ａの備える不揮発性メモリにより記憶されているプログラムをＲＡＭに展開して実行することにより実現されるものであるが、そのハードウェア構成については特に限定されるものではない。
【００４８】
視点検出部１４０Ａは、撮像データＩＭにおける目領域Ｅ１に基づいて閲覧者Ｖの視点の座標を検出座標ＶＰ’（ｘ’，ｙ’）として検出する機能を有するものである。視点検出部１４０Ａによる検出座標ＶＰ’（ｘ’，ｙ’）の検出手法については、図６を参照して後に詳述する。視点検出部１４０Ａは、例えば、ＣＰＵ、ＲＡＭにより構成され、ＣＰＵが閲覧機器１００Ａの備える不揮発性メモリにより記憶されているプログラムをＲＡＭに展開して実行することにより実現されるものであるが、そのハードウェア構成については特に限定されるものではない。
【００４９】
算出部１５０は、閲覧機器１００Ａにおける所定領域の大きさである基準値と検出値取得部１３０により取得された検出値との比率Ｒに基づいて、視点検出部１４０Ａにより検出された検出座標ＶＰ’（ｘ’，ｙ’）を補正することにより、表示面Ｄにおける閲覧者Ｖの視点座標ＶＰ（ｘ，ｙ）を算出する機能を有するものである。算出部１５０は、例えば、基準値として基準値記憶部１２０により記憶されたものを使用することができる。算出部１５０は、例えば、検出座標ＶＰ’（ｘ’，ｙ’）に比率Ｒを乗算することにより当該補正を行うことができる。算出部１５０は、例えば、ＣＰＵ、ＲＡＭにより構成され、ＣＰＵが閲覧機器１００Ａの備える不揮発性メモリにより記憶されているプログラムをＲＡＭに展開して実行することにより実現されるものであるが、そのハードウェア構成については特に限定されるものではない。
【００５０】
閲覧機器１００Ａは、処理部１６０をさらに備えることとしてもよい。処理部１６０は、算出部１５０により算出された視点座標ＶＰ（ｘ，ｙ）に応じた処理を実行する機能を有するものである。処理部１６０は、例えば、視点座標ＶＰ（ｘ，ｙ）に応じた処理として、図４を参照して説明したように、視点座標ＶＰ（ｘ，ｙ）が属する領域に対応付けられている処理を実行することができる。
【００５１】
例えば、領域と処理とが対応付けられてなる情報を閲覧機器１００Ａの備える不揮発性メモリにあらかじめ登録しておけば、処理部１６０は、当該情報により視点座標ＶＰ（ｘ，ｙ）が属する領域に対応付けられている処理を特定することができる。処理部１６０は、例えば、ＣＰＵ、ＲＡＭにより構成され、ＣＰＵが閲覧機器１００Ａの備える不揮発性メモリにより記憶されているプログラムをＲＡＭに展開して実行することにより実現されるものであるが、そのハードウェア構成については特に限定されるものではない。
【００５２】
閲覧機器１００Ａは、表示部１７０をさらに備えることとしてもよい。ただし、表示部１７０は、閲覧機器１００Ａから離れたところに備えられていることとしてもよい。表示部１７０は表示面Ｄを備えており、表示面Ｄに各種情報を表示する機能を有するものである。表示部１７０は、処理部１６０による処理結果を表示する機能を有することとしてもよく、表示面ＤにカーソルＣを表示する必要がある場合には、視点座標ＶＰにカーソルＣを表示する機能を有することとしてもよい。表示部１７０は、例えば、表示面Ｄを有する表示装置により実現されるものであるが、そのハードウェア構成については特に限定されるものではない。
【００５３】
閲覧機器１００Ａは、制御部１８０Ａをさらに備えることとしてもよい。制御部１８０Ａが有する機能についても図６を参照して後に詳述する。制御部１８０Ａは、例えば、ＣＰＵ、ＲＡＭにより構成され、ＣＰＵが閲覧機器１００Ａの備える不揮発性メモリにより記憶されているプログラムをＲＡＭに展開して実行することにより実現されるものであるが、そのハードウェア構成については特に限定されるものではない。
【００５４】
［２−２．視点検出の詳細］
図６は、本発明の第１実施形態に係る閲覧機器１００Ａによる視点検出の詳細について説明するための図である。図６を参照して、同実施形態に係る閲覧機器１００Ａによる視点検出の詳細について説明する。
【００５５】
視点検出部１４０Ａは、撮像データＩＭにおける目領域Ｅ１に映っている表示面Ｄ’における所定位置を認識するとともに、その所定位置を基準とした撮像データＩＭにおける目領域Ｅ１の虹彩Ｅ２または瞳孔Ｅ３の中心座標ＥＣ（ｘ１’，ｙ１’）を認識し、目領域Ｅ１の虹彩Ｅ２または瞳孔Ｅ３の中心座標ＥＣ（ｘ１’，ｙ１’）を検出座標ＶＰ’（ｘ’，ｙ’）として検出する。
【００５６】
所定位置は、例えば、撮像データＩＭにおける表示面Ｄ’の中心Ｏ’であり、視点検出部１４０Ａは、撮像データＩＭに対する画像認識により撮像データＩＭにおける表示面Ｄ’の中心Ｏ’を所定位置として認識することができる。しかしながら、所定位置は撮像データＩＭにおける表示面Ｄ’の中心でなくてもよい。
【００５７】
目領域Ｅ１の虹彩Ｅ２または瞳孔Ｅ３の中心座標ＥＣ（ｘ１’，ｙ１’）を検出座標ＶＰ’（ｘ１’，ｙ１’）として検出する必要があるのは、通常、閲覧者Ｖが表示面Ｄに対する視点を変更した場合、目領域Ｅ１自体はさほど動かずに虹彩Ｅ２や瞳孔Ｅ３が動くからである。すなわち、視点検出部１４０Ａは、虹彩Ｅ２または瞳孔Ｅ３の中心座標ＥＣ（ｘ１’，ｙ１’）を撮像データＩＭにおける視点として取り扱う。
【００５８】
上記したように、算出部１５０は、このように検出された検出座標ＶＰ’（ｘ１’，ｙ１’）を用いて、表示面Ｄにおける閲覧者Ｖの視点座標ＶＰ（ｘ１，ｙ１）を算出するが、視点座標ＶＰ（ｘ１，ｙ１）を算出するための原点Ｏは、撮像データＩＭにおける目領域Ｅ１に映っている表示面Ｄ’における所定位置に対応する位置とする必要がある。すなわち、視点検出部１４０Ａが所定位置として撮像データＩＭにおける表示面Ｄ’の中心Ｏ’を認識する場合には、算出部１５０も表示面Ｄの中心を原点Ｏとして視点座標ＶＰ（ｘ１，ｙ１）を算出する必要がある。算出部１５０は、例えば、検出座標ＶＰ’（ｘ１’，ｙ１’）に比率Ｒを乗じることにより視点座標ＶＰ（ｘ１，ｙ１）を算出することができる。
【００５９】
閲覧機器１００Ａが制御部１８０Ａを備えることとしてもよい点については上記した通りである。制御部１８０Ａは、例えば、比率Ｒの変化に応じて、視点検出部１４０Ａに対して、撮像データＩＭにおける目領域Ｅ１に映っている表示面Ｄ’における所定位置を新たに認識させるか、既に認識済みの所定位置を使用させるかを判断することとしてもよい。その場合、視点検出部１４０Ａは、制御部１８０Ａによる判断にしたがって、撮像データＩＭにおける目領域Ｅ１の中心座標ＥＣ（ｘ１’，ｙ１’）を認識すればよい。
【００６０】
このようにすれば、例えば、制御部１８０Ａは、比率Ｒの変化が比較的大きい場合には、閲覧者Ｖの目と閲覧機器１００Ａとの位置関係の変化が比較的大きいと判断して、視点検出部１４０Ａに対して、撮像データＩＭにおける目領域Ｅ１に映っている表示面Ｄ’における所定位置を新たに認識させることができる。また、例えば、制御部１８０Ａは、比率Ｒの変化が比較的小さい場合には、閲覧者Ｖの目と閲覧機器１００Ａとの位置関係の変化が比較的小さいと判断して、視点検出部１４０Ａに対して、既に認識済みの所定位置を使用させることができる。
【００６１】
制御部１８０Ａは、例えば、比率Ｒの変化の閾値を閲覧機器１００Ａの備える不揮発性メモリにあらかじめ登録しておけば、当該閾値と比率Ｒとの大小関係により上記した判断を行うことができる。すなわち、制御部１８０Ａは、比率Ｒの変化が当該閾値よりも大きい場合には、視点検出部１４０Ａに対して、撮像データＩＭにおける目領域Ｅ１に映っている表示面Ｄ’における所定位置を新たに認識させればよい。また、制御部１８０Ａは、比率Ｒの変化が当該閾値よりも小さい場合には、視点検出部１４０Ａに対して、既に認識済みの所定位置を使用させればよい。当該閾値と比率Ｒとが同一の値である場合にはいずれであると判断してもよい。
【００６２】
比率Ｒの変化は、例えば、算出部１５０により前回算出された比率Ｒを基準とした今回算出された比率Ｒの変化であってもよく、算出部１５０により所定時間前に算出された比率Ｒを基準とした今回算出された比率Ｒの変化であってもよい。
【００６３】
この他にも、制御部１８０Ａが、視点検出部１４０Ａに対して、撮像データＩＭにおける目領域Ｅ１に映っている表示面Ｄ’における所定位置を新たに認識させるか、既に認識済みの所定位置を使用させるかを判断する手法としては様々なものがある。例えば、制御部１８０Ａは、視点検出部１４０Ａに対して、既に認識済みの所定位置を使用させ、所定時間ごとに撮像データＩＭにおける目領域Ｅ１に映っている表示面Ｄ’における所定位置を新たに認識させることとしてもよい。
【００６４】
制御部１８０Ａは、視点検出部１４０Ａにより検出座標ＶＰ’（ｘ１’，ｙ１’）が検出されない時間が所定時間を超えた場合に、閲覧機器１００Ａの動作を省電力モードに移行させることとしてもよい。視点検出部１４０Ａにより検出座標ＶＰ’（ｘ１’，ｙ１’）が検出されない時間が所定時間を超えたということは、閲覧者Ｖが表示面Ｄに対する閲覧を中断した可能性が高いと想定されるからである。
【００６５】
閲覧機器１００Ａの動作を省電力モードに移行させる以外にも、このような場合における動作としては様々なものが想定される。例えば、制御部１８０Ａは、視点検出部１４０Ａにより検出座標ＶＰ’（ｘ１’，ｙ１’）が検出されない時間が所定時間を超えた場合に、少なくとも、検出値取得部１３０、視点検出部１４０Ａおよび算出部１５０を実現するためのアプリケーションの実行を制限することとしてもよい。アプリケーションの実行に対する制限は特に限定されるものではないが、例えば、アプリケーションの実行の全部または一部を終了することが想定される。アプリケーションはプログラムの一例である。
【００６６】
制御部１８０Ａは、視点検出部１４０Ａにより撮像データＩＭにおける目領域Ｅ１が３つ以上検出された場合には、所定のメッセージを表示面Ｄに表示させることとしてもよい。視点検出部１４０Ａにより検出された撮像データＩＭにおける目領域Ｅ１が２つ以下である場合には、その２つ以下の目領域Ｅ１は閲覧者Ｖ自身の目が撮像されたことにより撮像データＩＭに映された可能性が高い。しかし、視点検出部１４０Ａにより検出された撮像データＩＭにおける目領域Ｅ１が３つ以上である場合には、閲覧者Ｖ以外の目も撮像されたことにより撮像データＩＭに映された可能性が高い。
【００６７】
したがって、制御部１８０Ａは、視点検出部１４０Ａにより撮像データＩＭにおける目領域Ｅ１が３つ以上検出された場合には、閲覧者Ｖに警告を発するために、所定のメッセージを表示面Ｄに表示させることとしてもよい。表示面Ｄに表示させる所定のメッセージは、例えば、覗き見を防止するためのメッセージであればよく、例えば、「画面が覗き見されているおそれがあります。」などといったメッセージであればよい。
【００６８】
［２−３．閲覧機器による動作］
図７は、本発明の第１実施形態に係る閲覧機器１００Ａによる動作（前半部分）の流れを示すフローチャートである。図８は、同実施形態に係る閲覧機器１００Ａによる動作（後半部分）の流れを示すフローチャートである。図７および図８を参照して、同実施形態に係る閲覧機器１００Ａによる動作の流れについて説明する。
【００６９】
まず、閲覧機器１００Ａのデータ取得部１１０は、表示面Ｄを閲覧する閲覧者Ｖの目領域を撮像して撮像データＩＭを取得する（ステップＳ１０１）。例えば、閲覧機器１００Ａの起動時や所定のアプリケーション起動時に、表示部１７０により表示面Ｄに「視点検出により動作するアプリケーション（角膜画像認識システム）を起動しますか？」などといったメッセージが表示され、閲覧者Ｖにより「Ｙｅｓ」を意味する操作の入力がなされるとデータ取得部１１０による撮像データの取得が開始される。
【００７０】
このとき、検出値取得部１３０、視点検出部１４０Ａ、算出部１５０などを実現するためのアプリケーションも起動される。また、このときに閲覧者Ｖが左右いずれかの目領域を選択することが可能となっており、閲覧者Ｖが選択した目領域がデータ取得部１１０により撮像されるように位置合わせを行うことができるようになっていてもよい。
【００７１】
検出値取得部１３０は、撮像データＩＭに基づいて検出値を取得する（ステップＳ１０２）。続いて、算出部１５０は、検出値取得部１３０により取得された検出値と基準値記憶部１２０により記憶されている基準値とに基づいて比率Ｒを算出する（ステップＳ１０３）。
【００７２】
制御部１８０Ａは、比率Ｒの変化が閾値より大きいか否かを判断し（ステップＳ１０４）、比率Ｒの変化が閾値以下であると判断した場合（ステップＳ１０４で「Ｎｏ」）、ステップＳ１０６に進む。また、制御部１８０Ａは、比率Ｒの変化が閾値より大きいと判断した場合（ステップＳ１０４で「Ｙｅｓ」）、視点検出部１４０Ａは、撮像データＩＭに基づいて表示面Ｄ’における中心位置を認識する（ステップＳ１０５）。この場合の中心位置は、上記した例では、目領域Ｅ１の中心座標ＥＣ（ｘ１’，ｙ１’）に相当する。
【００７３】
視点検出部１４０Ａは、撮像データＩＭにおける目領域Ｅ１から虹彩Ｅ２または瞳孔Ｅ３を認識し（ステップＳ１０６）、中心位置を基準とした虹彩Ｅ２または瞳孔Ｅ３の中心座標ＥＣ（ｘ１’，ｙ１’）を検出座標ＶＰ’（ｘ１’，ｙ１’）として検出する（ステップＳ１０７）。
【００７４】
制御部１８０Ａは、検出座標ＶＰ’（ｘ１’，ｙ１’）が検出されない時間が所定時間を超えたか否かを判断し（ステップＳ１０８）、検出座標ＶＰ’（ｘ１’，ｙ１’）が検出されない時間が所定時間を超えたと判断した場合には（ステップＳ１０８で「Ｙｅｓ」）、省電力モードに移行させ（ステップＳ１０９）、ステップＳ１０１に戻る。制御部１８０Ａは、検出座標ＶＰ’（ｘ１’，ｙ１’）が検出されない時間が所定時間を超えていないと判断した場合には（ステップＳ１０８で「Ｎｏ」）、ステップＳ１１０に進む。
【００７５】
制御部１８０Ａは、撮像データＩＭに目領域Ｅ１が３つ以上存在するか否かを判断し（ステップＳ１１０）、撮像データＩＭに目領域Ｅ１が３つ以上存在すると判断した場合には（ステップＳ１１０で「Ｙｅｓ」）、表示部１７０に覗き見を防止するためのメッセージを表示させ（ステップＳ１１１）、ステップＳ１０１に戻る。制御部１８０Ａは、撮像データＩＭに目領域Ｅ１が３つ以上存在しないと判断した場合には（ステップＳ１１０で「Ｎｏ」）、ステップＳ１１２に進む。
【００７６】
算出部１５０は、比率Ｒに基づいて検出座標ＶＰ’（ｘ１’，ｙ１’）を補正して視点座標ＶＰ（ｘ１，ｙ１）を算出する（ステップＳ１１２）。処理部１６０は、視点座標ＶＰ（ｘ１，ｙ１）に応じた処理が有るか否かを判断し（ステップＳ１１３）、視点座標ＶＰ（ｘ１，ｙ１）に応じた処理が有ると判断した場合には（ステップＳ１１３で「Ｙｅｓ」）、当該処理を実行し（ステップＳ１１４）、ステップＳ１１５に進む。処理部１６０は、視点座標ＶＰ（ｘ１，ｙ１）に応じた処理が無いと判断した場合には（ステップＳ１１３で「Ｎｏ」）、ステップＳ１１５に進む。
【００７７】
制御部１８０Ａは、アプリケーションの実行を終了させるか否かを判断し（ステップＳ１１５）、アプリケーションの実行を終了させると判断した場合には（ステップＳ１１５で「Ｙｅｓ」）、処理を終了する。制御部１８０Ａは、アプリケーションの実行を継続すると判断した場合には（ステップＳ１１５で「Ｎｏ」）、ステップＳ１０１に戻る。アプリケーションの実行を終了させるか否かの判断は、例えば、閲覧者Ｖによるアプリケーションの終了操作があったか否かを判断することによりなされる。
【００７８】
＜３．第２実施形態＞
［３−１．閲覧機器の機能構成］
図９は、本発明の第２実施形態に係る閲覧機器１００Ｂの機能構成を示す図である。図９を参照して、同実施形態に係る閲覧機器１００Ｂの機能構成について説明する。なお、本発明の第２実施形態に係る閲覧機器１００Ｂは、所定時間前に検出された検出座標を基準として目領域Ｅ１の虹彩Ｅ２または瞳孔Ｅ３の中心座標に基づいて移動させた座標を現時点における検出座標として検出する構成を特徴の１つとして有している。
【００７９】
また、本発明の第２実施形態に係る閲覧機器１００Ｂは、本発明の第１実施形態に係る閲覧機器１００Ａと一部異なる構成を有している。すなわち、本発明の第２実施形態に係る閲覧機器１００Ｂの視点検出部１４０Ｂおよび制御部１８０Ｂが、本発明の第１実施形態に係る閲覧機器１００Ａの視点検出部１４０Ａおよび制御部１８０Ａと異なっている。そのため、本発明の第２実施形態に係る閲覧機器１００Ｂの視点検出部１４０Ｂおよび制御部１８０Ｂについて、主に図１０を参照しながら説明し、その他の構成については説明を省略する。
【００８０】
［３−２．視点検出の詳細］
図１０は、本発明の第２実施形態に係る閲覧機器による視点検出の詳細について説明するための図である。図１０は、本発明の第２実施形態に係る閲覧機器１００Ｂによる視点検出の詳細について説明するための図である。図１０を参照して、同実施形態に係る閲覧機器１００Ｂによる視点検出の詳細について説明する。
【００８１】
視点検出部１４０Ｂは、撮像データＩＭ１における目領域の位置ＥＰを検出する。閲覧者Ｖが表示面Ｄを閲覧している間、虹彩Ｅ２や瞳孔Ｅ３は移動するが目領域Ｅ１自体の位置はほとんど動かないと想定される。したがって、閲覧中にほとんど動かないと想定される目領域の位置ＥＰを基準とする手法を採用する。視点検出部１４０Ｂは、例えば、目領域Ｅ１の中心位置を目領域の位置ＥＰとして検出してもよい。あるいは、閲覧者Ｖが表示面Ｄを正視している状態において虹彩Ｅ２や瞳孔Ｅ３の中心座標を目領域の位置ＥＰとして検出してもよい。ここでは、計算を簡略化するため、目領域の位置ＥＰを（０，０）としている。
【００８２】
閲覧者Ｖが視線を移動させると、主に虹彩Ｅ２または瞳孔Ｅ３が移動し、目領域の位置ＥＰはほとんど移動しない。そこで、視点検出部１４０Ｂは、撮像データＩＭ１における目領域の位置ＥＰを基準とした撮像データＩＭ２における目領域Ｅ１の虹彩Ｅ２または瞳孔Ｅ３の中心座標ＥＣ（ｘ１’，ｙ１’）を認識する。そして、視点検出部１４０Ｂは、所定時間前に検出された検出座標である前回検出座標ＶＰＡ’（ｘａ’，ｙａ’）を基準として目領域Ｅ１の虹彩Ｅ２または瞳孔Ｅ３の中心座標ＥＣ（ｘ１’，ｙ１’）に基づいて移動させた座標を現時点における検出座標である今回検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）として検出する。図１０に示した例では、目領域の位置ＥＰを（０，０）としているため、移動量Ｍは（ｘ１’，ｙ１）と表すことができる。
【００８３】
視点検出部１４０Ｂは、ＶＰＡ’（ｘａ’，ｙａ’）にα×Ｍ（ｘ１’，ｙ１）を加算することにより、今回検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）を検出することができる。係数αの値は自由に設定することができる。例えば、後述する目領域Ｅ１に含まれる所定部位（虹彩Ｅ２や瞳孔Ｅ３）が大きいほど、表示面Ｄと閲覧者Ｖの目は近く、当該所定部位の動きに対する表示面Ｄにおける視点の移動量は小さいと想定される。このため、例えば、後述する目領域Ｅ１に含まれる所定部位（虹彩Ｅ２や瞳孔Ｅ３）が大きいほど、αに大きい値を設定することが想定される。
【００８４】
制御部１８０Ｂは、目領域Ｅ１に含まれる所定部位の大きさの変化に応じて、視点検出部１４０Ｂに対して、撮像データＩＭ１における目領域の位置ＥＰを新たに認識させるか、既に認識済みの目領域の位置ＥＰを使用させるかを判断する。この場合、視点検出部１４０Ｂは、制御部１８０Ｂによる判断にしたがって、撮像データＩＭ１における目領域の位置ＥＰを認識すればよい。所定部位は、閲覧者Ｖによる視線の移動に連動して移動する部位であればよく、例えば、虹彩Ｅ２や瞳孔Ｅ３などが想定される。
【００８５】
このようにすれば、例えば、制御部１８０Ｂは、目領域Ｅ１に含まれる所定部位の大きさの変化が比較的大きい場合には、閲覧者Ｖの目と閲覧機器１００Ｂとの位置関係の変化が比較的大きいと判断して、視点検出部１４０Ｂに対して、撮像データＩＭ１における目領域の位置ＥＰを新たに認識させることができる。また、例えば、制御部１８０Ｂは、目領域Ｅ１に含まれる所定部位の大きさの変化が比較的小さい場合には、閲覧者Ｖの目と閲覧機器１００Ｂとの位置関係の変化が比較的小さいと判断して、視点検出部１４０Ｂに対して、既に認識済みの目領域の位置ＥＰを使用させることができる。
【００８６】
制御部１８０Ｂは、例えば、目領域Ｅ１に含まれる所定部位の大きさの変化の閾値を閲覧機器１００Ｂの備える不揮発性メモリにあらかじめ登録しておけば、当該閾値と目領域Ｅ１に含まれる所定部位の大きさの変化との大小関係により上記した判断を行うことができる。すなわち、制御部１８０Ｂは、目領域Ｅ１に含まれる所定部位の大きさの変化が当該閾値よりも大きい場合には、視点検出部１４０Ｂに対して、撮像データＩＭにおける目領域の位置ＥＰを新たに認識させればよい。また、制御部１８０Ｂは、目領域Ｅ１に含まれる所定部位の大きさの変化が当該閾値よりも小さい場合には、視点検出部１４０Ｂに対して、既に認識済みの目領域の位置ＥＰを使用させればよい。当該閾値と目領域Ｅ１に含まれる所定部位の大きさの変化とが同一の値である場合にはいずれであると判断してもよい。
【００８７】
目領域Ｅ１に含まれる所定部位の大きさの変化は、例えば、算出部１５０により前回算出された目領域Ｅ１に含まれる所定部位の大きさを基準とした今回算出された目領域Ｅ１に含まれる所定部位の大きさの変化であってもよく、算出部１５０により所定時間前に算出された目領域Ｅ１に含まれる所定部位の大きさを基準とした今回算出された目領域Ｅ１に含まれる所定部位の大きさの変化であってもよい。
【００８８】
この他にも、制御部１８０Ｂが、視点検出部１４０Ｂに対して、撮像データＩＭにおける目領域の位置ＥＰを新たに認識させるか、既に認識済みの目領域の位置ＥＰを使用させるかを判断する手法としては様々なものがある。例えば、制御部１８０Ｂは、視点検出部１４０Ｂに対して、既に認識済みの目領域の位置ＥＰを使用させ、所定時間ごとに撮像データＩＭにおける目領域の位置ＥＰを新たに認識させることとしてもよい。
【００８９】
制御部１８０Ｂは、視点検出部１４０Ｂにより今回検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）が検出されない時間が所定時間を超えた場合に、閲覧機器１００Ｂの動作を省電力モードに移行させることとしてもよい。視点検出部１４０Ｂにより今回検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）が検出されない時間が所定時間を超えたということは、閲覧者Ｖが表示面Ｄに対する閲覧を中断した可能性が高いと想定されるからである。
【００９０】
閲覧機器１００Ｂの動作を省電力モードに移行させる以外にも、このような場合における動作としては様々なものが想定される。例えば、制御部１８０Ｂは、視点検出部１４０Ｂにより今回検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）が検出されない時間が所定時間を超えた場合に、少なくとも、検出値取得部１３０、視点検出部１４０Ｂおよび算出部１５０を実現するためのアプリケーションの実行を制限することとしてもよい。アプリケーションの実行に対する制限は特に限定されるものではないが、例えば、アプリケーションの実行の全部または一部を終了することが想定される。アプリケーションはプログラムの一例である。
【００９１】
制御部１８０Ｂは、視点検出部１４０Ｂにより撮像データＩＭ１における目領域Ｅ１が３つ以上検出された場合には、所定のメッセージを表示面Ｄに表示させることとしてもよい。視点検出部１４０Ｂにより検出された撮像データＩＭ１における目領域Ｅ１が２つ以下である場合には、その２つ以下の目領域Ｅ１は閲覧者Ｖ自身の目が撮像されたことにより撮像データＩＭ１に映された可能性が高い。しかし、視点検出部１４０Ｂにより検出された撮像データＩＭ１における目領域Ｅ１が３つ以上である場合には、閲覧者Ｖ以外の目も撮像されたことにより撮像データＩＭ１に映された可能性が高い。
【００９２】
したがって、制御部１８０Ｂは、視点検出部１４０Ｂにより撮像データＩＭ１における目領域Ｅ１が３つ以上検出された場合には、閲覧者Ｖに警告を発するために、所定のメッセージを表示面Ｄに表示させることとしてもよい。表示面Ｄに表示させる所定のメッセージは、例えば、覗き見を防止するためのメッセージであればよく、例えば、「画面が覗き見されているおそれがあります。」などといったメッセージであればよい。
【００９３】
［３−３．閲覧機器による動作］
図１１は、本発明の第２実施形態に係る閲覧機器による動作（前半部分）の流れを示すフローチャートである。図１２は、同実施形態に係る閲覧機器による動作（後半部分）の流れを示すフローチャートである。図１１および図１２を参照して、同実施形態に係る閲覧機器１００Ｂによる動作の流れについて説明する。
【００９４】
まず、閲覧機器１００Ｂのデータ取得部１１０は、表示面Ｄを閲覧する閲覧者Ｖの目領域を撮像して撮像データＩＭ１を取得する（ステップＳ２０１）。例えば、閲覧機器１００Ｂの起動時や所定のアプリケーション起動時に、表示部１７０により表示面Ｄに「視点検出により動作するアプリケーション（角膜画像認識システム）を起動しますか？」などといったメッセージが表示され、閲覧者Ｖにより「Ｙｅｓ」を意味する操作の入力がなされるとデータ取得部１１０による撮像データの取得が開始される。
【００９５】
このとき、検出値取得部１３０、視点検出部１４０Ｂ、算出部１５０などを実現するためのアプリケーションも起動される。また、このときに閲覧者Ｖが左右いずれかの目領域を選択することが可能となっており、閲覧者Ｖが選択した目領域がデータ取得部１１０により撮像されるように位置合わせを行うことができるようになっていてもよい。
【００９６】
視点検出部１４０Ｂは、撮像データＩＭ１における目領域Ｅ１から虹彩Ｅ２または瞳孔Ｅ３を認識し（ステップＳ２０２）、虹彩Ｅ２または瞳孔Ｅ３の大きさの変化が閾値より大きいか否かを判断する（ステップＳ２０３）。
【００９７】
視点検出部１４０Ｂが、虹彩Ｅ２または瞳孔Ｅ３の大きさの変化が閾値より大きいと判断した場合には（ステップＳ２０３で「Ｙｅｓ」）、検出値取得部１３０は、撮像データＩＭ１に基づいて検出値を取得し（ステップＳ２０４）、算出部１５０は、検出値取得部１３０により取得された検出値と基準値記憶部１２０により記憶されている基準値とに基づいて比率Ｒを算出し（ステップＳ２０５）、視点検出部１４０Ｂは、撮像データＩＭ１に基づいて目領域の位置ＥＰを認識する（ステップＳ２０６）。視点検出部１４０Ｂが、虹彩Ｅ２または瞳孔Ｅ３の大きさの変化が閾値以下であると判断した場合には（ステップＳ２０３で「Ｎｏ」）、ステップＳ２０６に進む。
【００９８】
視点検出部１４０Ｂは、撮像データＩＭ２における目領域Ｅ１から虹彩Ｅ２または瞳孔Ｅ３を認識し（ステップＳ２０７）、目領域の位置ＥＰを基準とした虹彩Ｅ２または瞳孔Ｅ３の中心座標ＥＣ（ｘ１’，ｙ１’）を認識する（ステップＳ２０７）。視点検出部１４０Ｂは、所定時間前に検出された検出座標である前回検出座標ＶＰＡ’（ｘａ’，ｙａ’）を基準として中心座標ＥＣ（ｘ１’，ｙ１’）に基づいて移動させた座標を今回検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）として検出する（ステップＳ２０８）。
【００９９】
制御部１８０Ｂは、検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）が検出されない時間が所定時間を超えたか否かを判断し（ステップＳ２０９）、検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）が検出されない時間が所定時間を超えたと判断した場合には（ステップＳ２０９で「Ｙｅｓ」）、省電力モードに移行させ（ステップＳ２１０）、ステップＳ２０１に戻る。制御部１８０Ｂは、検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）が検出されない時間が所定時間を超えていないと判断した場合には（ステップＳ２０９で「Ｎｏ」）、ステップＳ２１１に進む。
【０１００】
制御部１８０Ｂは、撮像データＩＭ１に目領域Ｅ１が３つ以上存在するか否かを判断し（ステップＳ２１１）、撮像データＩＭ１に目領域Ｅ１が３つ以上存在すると判断した場合には（ステップＳ２１１で「Ｙｅｓ」）、表示部１７０に覗き見を防止するためのメッセージを表示させ（ステップＳ２１２）、ステップＳ２０１に戻る。制御部１８０Ｂは、撮像データＩＭ１に目領域Ｅ１が３つ以上存在しないと判断した場合には（ステップＳ２１１で「Ｎｏ」）、ステップＳ２１３に進む。
【０１０１】
算出部１５０は、比率Ｒに基づいて検出座標ＶＰＢ’（ｘｂ’，ｙｂ’）を補正して視点座標ＶＰ（ｘ１，ｙ１）を算出する（ステップＳ２１３）。処理部１６０は、視点座標ＶＰ（ｘ１，ｙ１）に応じた処理が有るか否かを判断し（ステップＳ２１４）、視点座標ＶＰ（ｘ１，ｙ１）に応じた処理が有ると判断した場合には（ステップＳ２１４で「Ｙｅｓ」）、当該処理を実行し（ステップＳ２１５）、ステップＳ２１６に進む。処理部１６０は、視点座標ＶＰ（ｘ１，ｙ１）に応じた処理が無いと判断した場合には（ステップＳ２１４で「Ｎｏ」）、ステップＳ２１６に進む。
【０１０２】
制御部１８０Ｂは、アプリケーションの実行を終了させるか否かを判断し（ステップＳ２１６）、アプリケーションの実行を終了させると判断した場合には（ステップＳ２１６で「Ｙｅｓ」）、処理を終了する。制御部１８０Ｂは、アプリケーションの実行を継続すると判断した場合には（ステップＳ２１６で「Ｎｏ」）、ステップＳ２０１に戻る。アプリケーションの実行を終了させるか否かの判断は、例えば、閲覧者Ｖによるアプリケーションの終了操作があったか否かを判断することによりなされる。
【０１０３】
＜４．第３実施形態＞
［４−１．閲覧機器の機能構成］
図１３は、本発明の第３実施形態に係る閲覧機器の機能構成を示す図である。図１３を参照して、同実施形態に係る閲覧機器１００Ｃの機能構成について説明する。なお、本発明の第３実施形態に係る閲覧機器１００Ｃは、本発明の第１実施形態に係る視点検出部１４０Ａと本発明の第２実施形態に係る視点検出部１４０Ｂとを有しており、視点検出部１４０Ａと視点検出部１４０Ｂとの間で切り替えを行う構成を特徴の１つとして有している。
【０１０４】
また、閲覧機器１００Ｃは、閲覧機器１００Ａおよび閲覧機器１００Ｂと一部異なる構成を有している。すなわち、閲覧機器１００Ｃの視点検出部ＶＤが、閲覧機器１００Ａの視点検出部１４０Ａおよび閲覧機器１００Ｂの視点検出部１４０Ｂを備えており、閲覧機器１００Ｃの制御部１８０Ｃが、閲覧機器１００Ａの制御部１８０Ａおよび閲覧機器１００Ｂの制御部１８０Ｂと異なっている。そのため、閲覧機器１００Ｃの視点検出部ＶＤおよび制御部１８０Ｃについて主に説明し、その他の構成については説明を省略する。
【０１０５】
上記したように、本発明の第３実施形態に係る閲覧機器１００Ｃは、視点検出部１４０Ａおよび視点検出部１４０Ｂを有する視点検出部ＶＤを備えている。また、制御部１８０Ｃは、機能対象を視点検出部１４０と視点検出部１４０Ｂとの間で切り替えることができる。制御部１８０Ｃによる切り替えはどのような基準によりなされることとしてもよい。例えば、閲覧者Ｖにより切り替えの操作がなされたことを検出した場合に切り替えを行うようにしてもよい。また、制御部１８０Ｃは、自動的に切り替えを行うこととしてもよい。
【０１０６】
制御部１８０Ｃによる自動的な切り替えは、例えば、実行対象のアプリケーションの種類に応じて行われることとしてもよい。例えば、電子書籍のアプリケーションなどといった比較的高い精度での座標指定が要求されるアプリケーションを実行しているときには、制御部１８０Ｃは、本発明の第１実施形態に係る視点検出部１４０Ａを機能させるように制御することとすればよい。また、例えば、単なるページめくりなどといった低精度であっても迅速な座標指定が要求されるアプリケーションを実行しているときには、制御部１８０Ｃは、本発明の第２実施形態に係る視点検出部１４０Ｂを機能させるように制御することとすればよい。
【０１０７】
例えば、視点検出部１４０Ａおよび視点検出部１４０Ｂのうちのいずれかを識別するための情報とアプリケーションを識別するための情報とが対応付けられてなる情報を閲覧機器１００Ｃの備える不揮発性メモリにあらかじめ登録しておけばよい。そうすれば、制御部１８０Ｃは、当該情報により実行対象のアプリケーションを識別するための情報に対応付けられている情報により識別される構成により視点検出を行うように制御することができる。
【０１０８】
［４−２．閲覧機器による動作］
図１４は、同実施形態に係る閲覧機器１００Ｃによる動作の流れを示すフローチャートである。図１４を参照して、同実施形態に係る閲覧機器１００Ｃによる動作の流れについて説明する。
【０１０９】
制御部１８０Ｃは、視点座標の検出の手法を切り替えるか否かを判断する（ステップＳ３０１）。かかる判断は、例えば、上記したように、実行対象のアプリケーションの種類に応じて行われることとすればよい。制御部１８０Ｃは、視点座標の検出の手法を切り替えると判断した場合には（ステップＳ３０１で「Ｙｅｓ」）、視点座標の検出の手法を切り替える（ステップＳ３０２）。すなわち、制御部１８０Ｃは、視点検出部１４０Ａと視点検出部１４０Ｂとの間で機能対象を切り替えるように制御する。制御部１８０Ｃは、視点座標の検出の手法を切り替えないと判断した場合には（ステップＳ３０１で「Ｎｏ」）、ステップＳ３０１に戻る。切り替え後に実行される処理、すなわち、視点検出部１４０Ａを機能させた場合に実行される処理の流れおよび視点検出部１４０Ｂを機能させた場合に実行される処理の流れについては、本発明の第１実施形態および本発明の第２実施形態において示した通りである。
【０１１０】
＜５．変形例＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１１１】
＜６．まとめ＞
本発明の第１実施形態から第３実施形態までによれば、閲覧者Ｖが閲覧している位置を精度良く特定することができる。上記したように、視点検出の手法の違いにより、本発明の第１実施形態と本発明の第２実施形態とに大別できる。
【０１１２】
本発明の第１実施形態に係る手法は、撮像データから検出された検出座標を直接的に閲覧機器の表示面における視点に変換するものである。このため、より高精度に座標指定を行うことができると予想される。また、本発明の第２実施形態に係る手法は、撮像データから検出された検出座標を移動量として認識し、この移動量に基づいて撮像データにおける視点を移動させ、移動後の撮像データにおける視点を閲覧機器の表示面における視点に変換するものである。このため、より迅速に座標指定を行うことができると予想される。
【０１１３】
本発明の第３実施形態に係る手法は、本発明の第１実施形態に係る手法と本発明の第２実施形態に係る手法とのいずれを採用するかを選択し、選択した結果に基づいて切り替えを行うものである。このため、座標指定の特性に応じてより好ましい手法を採用することが可能となる。
【符号の説明】
【０１１４】
１００（１００Ａ，１００Ｂ，１００Ｃ）  閲覧機器
１１０  データ取得部
１２０  基準値記憶部
１３０  検出値取得部
１４０Ａ，１４０Ｂ  視点検出部
１５０  算出部
１６０  処理部
１７０  表示部
１８０Ａ，１８０Ｂ，１８０Ｃ  制御部
Ｅ１    目領域
Ｅ２    虹彩
Ｅ３    瞳孔
ＩＭ（ＩＭ１，ＩＭ２）  撮像データ
Ｖ      閲覧者
ＶＰ    視点座標
Ｄ      表示面
Ｒ      比率
ＶＰ’  検出座標
ＥＣ    中心座標
【図１】
2012048358.tif 000003
【図２】
2012048358.tif 000004
【図３】
2012048358.tif 000005
【図４】
2012048358.tif 000006
【図５】
2012048358.tif 000007
【図６】
2012048358.tif 000008
【図７】
2012048358.tif 000009
【図８】
2012048358.tif 000010
【図９】
2012048358.tif 000011
【図１０】
2012048358.tif 000012
【図１１】
2012048358.tif 000013
【図１２】
2012048358.tif 000014
【図１３】
2012048358.tif 000015
【図１４】
2012048358.tif 000016