(57)【特許請求の範囲】
【請求項１】
検出をした角膜反射の座標と該角膜反射を検出した時間とが対応付けて記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを格納した格納部と、
前記反射情報データベースと前記タッチ情報データベースを参照して、角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として特定し、特定した角膜反射に対応付けられたデータを選択する選択部と、
を有することを特徴とする角膜反射検出装置。
【請求項２】
前記格納部は、タッチパネルの向きと、該当する向きでタッチパネルに対する操作がされた場合に照射の角膜への到達が阻害されるであろうとする領域とを関連付けて記録された阻害領域データベースを併せて格納し、
前記タッチ情報データベースは、タッチパネルが操作された時間と操作をされた領域とその領域が操作をされた際のタッチパネルの向きが記録されており、
前記選択部は、前記反射情報データベースと前記タッチ情報データベースと前記阻害領域データベースを参照して、角膜反射のうち、照射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出がされた角膜反射以外の角膜反射を照射に対応する角膜反射として特定し、特定した角膜反射に対応付けられたデータを選択する
ことを特徴とする請求項１に記載の角膜反射検出装置。
【請求項３】
コンピュータが、
記憶装置に記憶された、検出をした角膜反射の座標と該角膜反射を検出した時間とが対応付けて記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを参照し、
角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として特定し、特定した角膜反射に対応付けられたデータを選択する
各処理を実行することを特徴とする角膜反射検出方法。
【請求項４】
コンピュータに、
記憶装置に記憶された、検出をした角膜反射の座標と該角膜反射を検出した時間とが対応付けて記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを参照し、
角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として特定し、特定した角膜反射に対応付けられたデータを選択する
各処理を実行させることを特徴とする角膜反射検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、角膜反射検出装置等に関する。
【背景技術】
【０００２】
利用者の視線を検出し、検出結果を利用してコンピュータを操作する視線インターフェース技術が存在する。視線インターフェースを利用することで、利用者は、マウスやキーボードを操作しなくても、画面上を目視することで、目視した位置に対するズーム操作や、目視した物体の選択操作等を行うことができる。かかる視線インターフェースは、デスクトップ型の端末装置だけでなく、タブレット型の端末装置に対しても適用可能である。
【０００３】
視線インターフェースは、角膜反射法を用いて視線を検出する。角膜反射法は、近赤外線光源を用いて角膜上に反射を発生させ、反射の中心と瞳孔の中心とを画像処理により求める。そして、角膜反射法は、反射の中心と瞳孔の中心との位置関係から、利用者の視線を算出する。
【０００４】
しかし、角膜反射法では、近赤外線以外に光源が存在する場合に、角膜反射が複数出現するため、正しい角膜反射を判定することになる。複数の角膜反射から、正しい角膜反射を判定する従来技術は、例えば、下記の従来技術１、２が存在する。
【０００５】
従来技術１は、反射の形状や位置を手がかりとして、角膜反射を判定する技術である。従来技術１では、閾値以上の輝度を持つ画素に対して２値化処理を実行した後に、ラベリング処理を行うことで角膜反射を特定し、角膜反射の位置と瞳孔の位置との関係から角膜反射を判定する。
【０００６】
従来技術２は、近赤外線の光源の出力を点滅させることで、他の光源による角膜反射と区別する技術である。他の光源による角膜反射は、発生・消滅を繰り返さず、特定したい角膜反射は発生・消滅を繰り返すため、かかる特徴の違いにより、角膜反射を区別可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−２７４２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来技術では、利用者に不快な印象を与えることなく、角膜反射を精度良く判定することができないという問題があった。
【０００９】
例えば、従来技術１では、近赤外線による角膜反射と、他の光源による角膜反射との特徴が類似している場合に、各角膜反射を区別することが困難であった。例えば、各角膜反射の位置と瞳孔の位置とが類似している場合には、正しい角膜反射を特定することが出来ない。
【００１０】
また、従来技術２では、光源として近赤外線を用いた場合でも、可視光領域を含んだ光が出力される場合がある。図１３は、近赤外線の波長と強度との関係を示す図である。図１３に示すように、ブロード型の赤外線では、可視光領域の波長７８０ｎｍに、赤外線の波長が含まれてしまう。このため、従来技術２では、利用者には赤色の光が点滅しているように見えてしまい、利用者に与える印象が良くなかった。
【００１１】
開示の技術は、上記に鑑みてなされたものであって、利用者に不快な印象を与えることなく、角膜反射を精度良く判定することができる角膜反射検出装置、角膜反射検出プログラムおよび角膜反射検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
開示の角膜反射検出装置は、格納部、選択部を有する。格納部は、検出をした角膜反射と該角膜反射を検出した時間とが記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを格納する。選択部は、反射情報データベースとタッチ情報データベースを参照して、角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として選択する。
【発明の効果】
【００１３】
開示の角膜反射検出装置によれば、利用者に不快な印象を与えることなく、角膜反射を精度良く判定することが出来るという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】図１は、本実施例に係る角膜反射検出装置の構成を示す機能ブロック図である。
【図２】図２は、画像データの一例を示す図である。
【図３】図３は、タッチ情報記憶部のデータ構造の一例を示す図である。
【図４】図４は、目の領域の一例を示す図である。
【図５】図５は、反射領域候補の検出結果の一例を示す図である。
【図６】図６は、反射情報記憶部のデータ構造の一例を示す図である。
【図７】図７は、追跡処理部の処理を説明するための図である。
【図８】図８は、追跡情報記憶部のデータ構造の一例を示す図である。
【図９】図９は、選択部の処理を説明するための図である。
【図１０】図１０は、追跡情報を生成する処理の処理手順を示すフローチャートである。
【図１１】図１１は、角膜反射を選択する処理の処理手順を示すフローチャートである。
【図１２】図１２は、角膜反射検出プログラムを実行するコンピュータの一例を示す図である。
【図１３】図１３は、近赤外線の波長と強度との関係を示す図である。
【発明を実施するための形態】
【００１５】
以下に、本願の開示する角膜反射検出装置、角膜反射検出プログラムおよび角膜反射検出方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１６】
本実施例に係る角膜反射検出装置の構成の一例について説明する。図１は、本実施例に係る角膜反射検出装置の構成を示す機能ブロック図である。図１に示すように、この角膜反射検出装置１００は、カメラ１０、近赤外線光源１５、タッチパネル２０に接続される。角膜反射検出装置１００は、タイマ１０５、赤外線制御部１１０、タッチ検出部１２０、タッチ情報記憶部１３０を有する。角膜反射検出装置１００は、画像取得部１４０、画像記憶部１４５、目領域検出部１５０、角膜反射検出部１６０、反射情報記憶部１７０、追跡処理部１８０、追跡情報記憶部１９０、選択部２００を有する。例えば、図１に示す角膜反射検出装置１００は、タブレット端末に内蔵されていても良い。ここでは、タブレット端末に関する図示を省略する。
【００１７】
カメラ１０は、撮像範囲の画像を撮影する撮像装置である。本実施例では、例えば、カメラ１０が撮影した画像には、利用者の顔画像が含まれているものとする。利用者がタブレット端末を操作する場合に、利用者の顔がカメラ１０の撮像範囲に含まれるように、カメラ１０の方向が予め調整されているものとする。カメラ１０は撮影した画像のデータを、角膜反射検出装置１００に順次出力する。以下の説明において、画像のデータを画像データと表記する。
【００１８】
図２は、画像データの一例を示す図である。図２に示すように、画像データ１には、利用者の顔画像１ａが含まれている。
【００１９】
近赤外線光源１５は、近赤外線を照射する光源である。近赤外線光源は、ＬＥＤ（Light  Emitting  Diode）等に対応する。利用者がタブレット端末を操作する場合に、利用者の目に光が照射されるように、近赤外線光源１５の方向が予め調整されているものとする。また、近赤外線光源１５は、タッチパネル２０の下に設置されているものとする。
【００２０】
タッチパネル２０は、表示と入力との２つの機能を備えた装置である。タッチパネル２０は、タブレット端末の制御部から受けた画像情報を画面に表示する。また、タッチパネル２０は、利用者に画面をタッチされた場合に、タッチされた画面上の座標を検出し、画面上の座標の情報を、角膜反射検出装置１００やタブレット端末の制御部に出力する。
【００２１】
ところで、本実施例では、タッチパネル２０の近赤外線光源１５が下側に向けられた状態で、利用者がタッチパネル２０を操作するものとする。このため、利用者がタッチパネル２０を操作する時間帯は、利用者の手や腕によって、近赤外線光源１５の光が遮られ、近赤外線光源１５の光が利用者の目に届かないものとする。
【００２２】
タイマ１０５は、時間情報をタッチ検出部１２０および画像取得部１４０に出力するタイマである。
【００２３】
赤外線制御部１１０は、近赤外線光源１５のオンオフを制御する処理部である。本実施例では、赤外線制御部１１０は、近赤外線光源１５をオン状態にしておくものとする。
【００２４】
タッチ検出部１２０は、利用者がタッチしたタッチパネル２０の画面上の座標と、タッチした時間情報とを対応付けたタッチ情報を生成する処理部である。タッチ検出部１２０は、検出部の一例である。タッチ検出部１２０は、利用者がタッチパネル２０をタッチする度に、タッチ情報を生成し、タッチ情報記憶部１３０にタッチ情報を記憶させる。
【００２５】
タッチ情報記憶部１３０は、タッチ情報を記憶する記憶部である。図３は、タッチ情報記憶部のデータ構造の一例を示す図である。図３に示すように、タッチ情報記憶部１３０は、Ｘ座標、Ｙ座標、時間情報を対応付けて記憶する。図３において、Ｘ座標、Ｙ座標は、利用者がタッチしたタッチパネル２０の画面上の座標に対応する。
【００２６】
例えば、図３の１段目では、利用者が画面上の座標（３００，５００）をタッチした時間が「２０１１年１２月２６日８時５６分５．３５秒」であることを示している。
【００２７】
画像取得部１４０は、カメラ１０から順次画像データを取得し、画像データとタイマ１０５から取得する時間情報とを対応付けて、画像記憶部１４５に記憶する処理部である。
【００２８】
画像記憶部１４５は、画像データと時間情報とを対応付けて記憶する記憶部である。
【００２９】
目領域検出部１５０は、画像データから、目の領域を検出する処理部である。目領域検出部１５０は、目の領域の情報と、画像データの時間情報とを対応付けた情報を、角膜反射検出部１６０に出力する。図４は、目の領域の一例を示す図である。例えば、図２に示した画像データ１からは、図４の２に示すような目の領域の情報が抽出される。
【００３０】
目領域検出部１５０が、目の領域を検出する処理の一例について説明する。目領域検出部１５０は、画像データから円形状の領域を特定し、該円形状周辺の輝度値が、画像データの他の領域の輝度値と比較して低い場合に、該円形状周辺の領域を目の領域として検出する。その他、目領域検出部１５０は、公知の技術を利用して、目の領域を抽出してもよい。例えば、公知技術には＜「部分特徴テンプレートとグローバル制約による顔器官特徴の抽出」電子情報通信学会論文誌．Ｄ−ＩＩ、情報・システム、ＩＩ−情報処理Ｊ７７−Ｄ−２（８）、１６０１−１６０９、１９９４−０８−２５＞がある。
【００３１】
角膜反射検出部１６０は、目の領域から角膜反射領域の候補を検出する処理部である。以下の説明において、角膜反射領域の候補を反射領域候補と表記する。角膜反射検出部１６０は、反射領域候補の座標と、時間情報とを対応付けて、反射情報記憶部１７０に記憶させる。
【００３２】
角膜反射検出部１６０が、反射領域候補を検出する処理の一例について説明する。角膜反射検出部１６０は、目の領域を走査し、輝度値が所定の値以上、かつ、円形状となる部分領域を、反射領域候補として検出する。例えば、角膜反射検出部１６０は、輝度値が２５０以上となる円形状の部分領域を、反射領域候補として検出する。そして、角膜反射検出部１６０は、反射領域候補の重心を求め、求めた重心座標を、反射領域候補の座標とする。
【００３３】
図５は、反射領域候補の検出結果の一例を示す図である。図５に示す例では、反射領域候補３１〜３３が検出される。角膜反射検出部１６０は、各反射領域候補３１〜３３と、時間情報とを対応付けて、反射情報記憶部１７０に記憶させる。同一の目の領域から検出された各反射領域候補の時間情報は、同一のものとなる。角膜反射検出部１６０は、異なる時間毎に、反射領域候補を検出し、時間情報と対応付けて反射情報記憶部１７０に記憶させる。
【００３４】
反射情報記憶部１７０は、反射領域候補の座標と、時間情報とを対応付けて記憶する記憶部である。図６は、反射情報記憶部のデータ構造の一例を示す図である。図６に示すように、反射情報記憶部１７０は、Ｘ座標、Ｙ座標、時間情報を対応付けて記憶する。図６において、Ｘ座標、Ｙ座標は、各反射領域候補の座標に対応する。図６に示す例では、同一の時間情報「２０１１年１２月２６日８時５６分５．３秒」に、３種類の座標が登録されている。このため、係る時間に３種類の反射領域候補が検出されたことを示す。
【００３５】
追跡処理部１８０は、反射情報記憶部１７０を参照し、前フレームの反射領域候補と、現フレームの反射領域候補との結び付けを行う処理部である。追跡処理部１８０は、前フレームの反射領域候補の座標と、現フレームの反射領域候補の座標との距離が閾値未満の場合に、各反射領域候補を結びつける。追跡処理部１８０は、結び付けた各反射領域候補の情報を、追跡情報記憶部１９０に記憶させる。
【００３６】
図７は、追跡処理部の処理を説明するための図である。図７において、各フレームＦ１〜Ｆ３は、連続する時間毎に現れる反射領域候補を含む。フレームＦ１〜Ｆ３は、それぞれ異なる時間毎の反射情報に対応する。フレームＦ１は、反射領域候補３１ａ、３２ａ、３３ａを含む。フレームＦ２は、反射領域候補３１ｂ、３２ｂ、３３ｂを含む。フレームＦ３は、反射領域候補３１ｃ、３２ｃ、３４を含む。
【００３７】
追跡処理部１８０は、フレームＦ１とフレームＦ２とを比較する。反射領域候補３１ａと、３１ｂとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３１ａ、３１ｂとを結び付ける。反射領域候補３２ａと３２ｂとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３２ａと３２ｂとを結び付ける。反射領域候補３３ａと、３３ｂとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３３ａと３３ｂとを結び付ける。
【００３８】
追跡処理部１８０は、フレームＦ２とフレームＦ３とを比較する。反射領域候補３１ｂと、３１ｃとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３１ｂ、３１ｃとを結び付ける。反射領域候補３２ｂと３２ｃとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３２ｂと３２ｃとを結び付ける。
【００３９】
なお、反射領域候補３３ｂとの距離が閾値未満となる反射領域候補がフレームＦ３に存在しない場合には、追跡処理部１８０は、反射領域候補３３ｂに対する結び付けを行わない。また、反射領域候補３４との距離が閾値未満となる反射領域候補がフレームＦ２に存在しない場合には、追跡処理部１８０は、反射領域候補３４に対する結びつけを行わない。
【００４０】
図７に示す処理を実行することで、追跡処理部１８０は、反射領域候補３１ａ、３１ｂ、３１ｃを結び付ける。追跡処理部１８０は、反射領域３２ａ、３２ｂ、３２ｃを結び付ける。追跡処理部１８０は、反射領域３３ａ、３３ｂを結び付ける。
【００４１】
なお、図７では、一例として前後の反射領域候補の座標を比較する場合を示したが、追跡処理部１８０は、所定数先のフレームの反射領域候補の座標と比較し、各反射領域候補を結び付けても良い。
【００４２】
追跡処理部１８０は、結び付けた各反射領域候補に反射ＩＤ（Identification）を割り振る。追跡処理部１８０は、同一の反射ＩＤに分類した反射領域候補の座標と時間情報とを対応付けて、追跡情報を生成する。追跡処理部１８０は、反射ＩＤ毎に追跡情報を生成する。追跡処理部１８０は、反射ＩＤ毎の追跡情報を、追跡情報記憶部１９０に記憶させる。
【００４３】
追跡情報記憶部１９０は、追跡情報を記憶する記憶部である。図８は、追跡情報記憶部のデータ構造の一例を示す図である。図８では一例として、反射ＩＤ「１」の追跡情報を示す。図８に示すように、追跡情報記憶部１９０は、Ｘ座標、Ｙ座標、時間情報を対応付けて記憶する。図８において、各座標は、図７で説明したように、結び付けられた反射領域候補の座標である。ここでは図示を省略するが、追跡情報記憶部１９０は、他の反射ＩＤの反射情報も記憶する。
【００４４】
選択部２００は、タッチ情報記憶部１３０と追跡情報記憶部１９０とを参照する。そして、選択部２００は、各反射領域候補を検出した時間と、利用者がタッチパネル２０をタッチした時間とを基にして、各反射領域候補から、近赤外線光源１５による角膜反射を選択する処理部である。具体的に、選択部２００は、タッチした時間に消滅する反射領域候補を、近赤外線光源１５による角膜反射を選択する。
【００４５】
図９は、選択部の処理を説明するための図である。選択部２００は、反射ＩＤ毎に分類した反射領域候補が出現している時間帯と、タッチされた時間にマージンを持たせた時間帯とを比較する。以下の説明において、反射領域候補が出現している時間帯を、反射候補出現時間帯と表記する。また、タッチされた時間にマージンを持たせた時間帯をタッチ時間帯と表記する。例えば、タッチ時間の前後５０ミリ秒を、タッチ時間帯と表記する。マージンの時間は、任意の時間でよい。
【００４６】
図９に示すように、反射ＩＤ「１」に対応する反射候補補出現時間帯は、８時５６分５秒〜８時５６分５．３秒、８時５６分５．４秒〜８時５６分５．５秒である。反射ＩＤ「２」に対応する反射候補出現時間帯は、８時５６分５．１秒〜８時５６分５．４秒である。反射ＩＤ「３」に対応する反射候補出現時間帯は、８時５６分５秒〜８時５６分５．２秒、８時５６分５．３秒〜８時５６分５．５秒である。また、タッチ時間帯は、８時５６分５．３秒〜８時５６分５．４秒である。
【００４７】
図９において、タッチ時間帯と、各反射候出現時間帯とを比較すると、タッチした時間に消滅する反射領域候補は、反射ＩＤ「１」の反射領域候補となる。このため、選択部２００は、反射ＩＤ「１」に分類された各反射領域候補を、近赤外線光源１５による角膜反射として選択する。選択部２００は、選択した角膜反射の情報を、視線検出処理を行う装置等に出力する。
【００４８】
例えば、角膜反射の情報は、角膜反射の座標と、時間情報とを含む。視線検出を行う装置は、角膜反射の情報と、画像記憶部１４５の画像データの瞳孔中心の位置とを基にして、利用者の視線を検出する。
【００４９】
次に、本実施例に係る角膜反射検出装置１００の処理手順について説明する。まず、角膜反射検出装置１００が、追跡情報を生成する処理の一例について説明する。図１０は、追跡情報を生成する処理の処理手順を示すフローチャートである。例えば、図１０に示す処理は、カメラ１０から画像データを取得することを契機にして実行される。
【００５０】
図１０に示すように、角膜反射検出装置１００は、画像記憶部１４５から画像データを取得し（ステップＳ１０１）、目の領域を検出する（ステップＳ１０２）。
【００５１】
角膜反射検出装置１００は、反射領域候補を検出し、反射情報を生成する（ステップＳ１０３）。角膜反射検出装置１００は、反射情報を反射情報記憶部１７０に記憶する（ステップＳ１０４）。
【００５２】
角膜反射検出装置１００は、各反射領域候補を追跡処理して追跡情報を生成し（ステップＳ１０５）、追跡情報を追跡情報記憶部１９０に登録する（ステップＳ１０６）。
【００５３】
次に、角膜反射検出装置１００が、角膜反射を選択する処理について説明する。図１１は、角膜反射を選択する処理の処理手順を示すフローチャートである。
【００５４】
図１１に示すように、角膜反射検出装置１００は、追跡情報記憶部１９０から追跡情報を取得し（ステップＳ２０１）、タッチ情報記憶部１３０からタッチ情報を取得する（ステップＳ２０２）。
【００５５】
角膜反射検出装置１００は、追跡情報とタッチ情報とを基にして、タッチ時間帯と、各反射候補出現時間帯とを比較する（ステップＳ２０３）。角膜反射検出装置１００は、タッチ中に消滅する反射領域候補を選択する（ステップＳ２０４）。
【００５６】
次に、本実施例に係る角膜反射検出装置１００の効果について説明する。本実施例に係る角膜反射検出装置１００は、画像データに含まれる利用者の目の領域から、反射領域候補を検出すると共に、タッチパネル２０に対するタッチ操作を検出する。角膜反射検出装置１００は、反射領域候補を検出した時間と、タッチ操作を検出した時間とを基にして、各反射領域候補から、赤外線による角膜反射を選択する。このため、角膜反射検出装置１００によれば、利用者に不快な印象を与えることなく、角膜反射を精度良く判定することができる。
【００５７】
なお、図１に示した各記憶部１３０、１４５、１７０、１９０は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子に対応する。または、各記憶部１３０、１４５、１７０、１９０は、ハードディスク、光ディスクなどの記憶装置に対応する。
【００５８】
図１に示した各処理部１１０、１２０、１４０、１５０、１６０、１８０、２００は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）や、ＦＰＧＡ（Field  Programmable  Gate  Array）などの集積装置に対応する。また、各処理部は、例えば、ＣＰＵやＭＰＵ（Micro  Processing  Unit）等の電子回路に対応する。
【００５９】
さて、これまで本発明の実施例について説明したが、本発明はその他の異なる形態にて実施されてよいものである。そこで、以下では、他の実施例を説明する。
【００６０】
（１）他の装置への適用例
図１に示した角膜反射検出装置１００は、タッチ時間帯と、反射候補出現時間帯とを比較して、角膜反射を選択していたがこれに限定されるものではない。例えば、角膜反射検出装置１００は、利用者が所定のジェスチャを行って所定の命令を入力可能な装置にも適用することができる。この場合には、角膜反射検出装置１００は、画像データを解析して、利用者の人体の一部が予め指定された指定領域に入ったことを検出する。利用者の人体の一部は、利用者の手などに対応する。例えば、角膜反射検出装置１００は、画像データに対して、パターンマッチングなどにより人体の一部を検出する。
【００６１】
角膜反射検出装置１００は、指定領域に人体の一部が入った時間帯と、反射候補出現時間帯とを比較して、角膜反射を選択する。例えば、利用者がジェスチャを行っている最中は、赤外線が利用者の目に届かないと考えられるため、指定領域に人体の一部が入っている間に消える反射領域候補を選択する。
【００６２】
（２）タブレット端末が逆さまに利用された場合の例
例えば、上記実施例の角膜反射検出装置１００を搭載したタブレット端末が逆さまの状態で利用者に操作される場合も想定される。このような場合には、利用者がタッチパネル２０を操作する時間帯に、利用者の手によって近赤外線光源１５が遮断されることはない。反対に、利用者が操作している際に、消滅する角膜反射が存在すれば、それは、近赤外線光源１５以外の光源により発生した角膜反射であるといえる。
【００６３】
このため、図１の選択部２００は、タッチパネルの向きと、該当する向きでタッチパネルに対する操作が行われた場合に照射の角膜への到達が阻害されるであろうとする領域を関連付けて記録した阻害領域データベースを利用する。阻害領域データベースは、角膜反射検出装置１００が有しているものとする。また、反射情報検出部１６０は、タッチパネル２０が操作された時間と操作された座標と、その領域が操作された際のタッチパネル２０の向きを対応付けて反射情報記憶部１７０に情報を登録するものとする。
【００６４】
選択部２００は、阻害領域データベースと、反射情報記憶部１７０を参照して、角膜反射を選択する。また、選択部２００は、加速度センサを利用して、タッチパネルの向きを判定する。具体的に、選択部２００は、反射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出された角膜反射以外の角膜反射を、照射に対応する角膜反射として選択して選択する。このような処理を選択部２００が実行することで、例えば、タブレット端末が逆さまに利用される場合でも、正確に角膜反射を検出することができる。
【００６５】
（３）システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００６６】
また、実施例に示した角膜反射検出装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００６７】
図１２は、角膜反射検出プログラムを実行するコンピュータの一例を示す図である。図１２に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、タッチパネル２０２を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０３と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０４とを有する。また、コンピュータ２００は、カメラ２０５と近赤外線光源２０６を有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８を有する。そして、各装置２０１〜２０８は、バス２０９に接続される。
【００６８】
ハードディスク装置２０８は、タッチ検出プログラム２０８ａ、画像取得プログラム２０８ｂ、目領域検出プログラム２０８ｃを記憶する。また、ハードディスク装置２０８は、角膜反射検出プログラム２０８ｄ、追跡処理プログラム２０８ｅ、選択プログラム２０８ｆを記憶する。ＣＰＵ２０１は、各プログラム２０８ａ〜２０８ｆを読み出して、ＲＡＭ２０７に展開する。
【００６９】
タッチ検出プログラム２０８ａは、タッチ検出プロセス２０７ａとして機能する。画像取得プログラム２０８ｂは、画像取得プロセス２０７ｂとして機能する。目領域検出プログラム２０８ｃは、目領域検出プロセス２０７ｃとして機能する。角膜反射検出プログラム２０８ｄは、角膜反射検出プロセス２０７ｄとして機能する。追跡処理プログラム２０８ｅは、追跡処理プロセス２０７ｅとして機能する。選択プログラム２０８ｆは、選択プロセス２０７ｆとして機能する。
【００７０】
例えば、タッチ検出プロセス２０７ａは、タッチ検出部１２０に対応する。画像取得プロセス２０７ｂは、画像取得部１４０に対応する。目領域検出プロセス２０７ｃは、目領域検出部１５０に対応する。角膜反射検出プロセス２０７ｄは、角膜反射検出部１６０に対応する。追跡処理プロセス２０７ｅは、追跡処理部１８０に対応する。選択プロセス２０７ｆは、選択部２００に対応する。
【００７１】
なお、各プログラム２０８ａ〜２０８ｆについては、必ずしも最初からハードディスク装置２０８に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラム２０８ａ〜２０８ｆを読み出して実行するようにしてもよい。
【００７２】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００７３】
（付記１）検出をした角膜反射と該角膜反射を検出した時間とが記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを格納した格納部と、
前記反射情報データベースと前記タッチ情報データベースを参照して、角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として選択する選択部と、
を有することを特徴とする角膜反射検出装置。
【００７４】
（付記２）前記格納部は、タッチパネルの向きと、該当する向きでタッチパネルに対する操作がされた場合に照射の角膜への到達が阻害されるであろうとする領域とを関連付けて記録された阻害領域データベースを併せて格納し、
前記タッチ情報データベースは、タッチパネルが操作された時間と操作をされた領域とその領域が操作をされた際のタッチパネルの向きが記録されており、
前記選択部は、前記反射情報データベースと前記タッチ情報データベースと前記阻害領域データベースを参照して、角膜反射のうち、照射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出がされた角膜反射以外の角膜反射を照射に対応する角膜反射として選択する
ことを特徴とする付記１に記載の角膜反射検出装置。
【００７５】
（付記３）コンピュータが、
記憶装置に記憶された、検出をした角膜反射と該角膜反射を検出した時間とが記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを参照し、
角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として選択する
各処理を実行することを特徴とする角膜反射検出方法。
【００７６】
（付記４）前記記憶装置は、タッチパネルの向きと、該当する向きでタッチパネルに対する操作がされた場合に照射の角膜への到達が阻害されるであろうとする領域とを関連付けて記録された阻害領域データベースを併せて格納し、前記タッチ情報データベースは、タッチパネルが操作された時間と操作をされた領域とその領域が操作をされた際のタッチパネルの向きが記録されており、
前記選択する処理は、前記反射情報データベースと前記タッチ情報データベースと前記阻害領域データベースを参照して、角膜反射のうち、照射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出がされた角膜反射以外の角膜反射を照射に対応する角膜反射として選択する
ことを特徴とする付記３に記載の角膜反射検出方法。
【００７７】
（付記５）コンピュータに、
記憶装置に記憶された、検出をした角膜反射と該角膜反射を検出した時間とが記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを参照し、
角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として選択する
各処理を実行させることを特徴とする角膜反射検出プログラム。
【００７８】
（付記６）前記記憶装置は、タッチパネルの向きと、該当する向きでタッチパネルに対する操作がされた場合に照射の角膜への到達が阻害されるであろうとする領域とを関連付けて記録された阻害領域データベースを併せて格納し、前記タッチ情報データベースは、タッチパネルが操作された時間と操作をされた領域とその領域が操作をされた際のタッチパネルの向きが記録されており、
前記選択する処理は、前記反射情報データベースと前記タッチ情報データベースと前記阻害領域データベースを参照して、角膜反射のうち、照射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出がされた角膜反射以外の角膜反射を照射に対応する角膜反射として選択する
ことを特徴とする付記５に記載の角膜反射検出プログラム。
【符号の説明】
【００７９】
１０    カメラ
１５    近赤外線光源
２０    タッチパネル
１００    角膜反射検出装置
【図１】
0005957996.tif 000002
【図２】
0005957996.tif 000003
【図３】
0005957996.tif 000004
【図４】
0005957996.tif 000005
【図５】
0005957996.tif 000006
【図６】
0005957996.tif 000007
【図７】
0005957996.tif 000008
【図８】
0005957996.tif 000009
【図９】
0005957996.tif 000010
【図１０】
0005957996.tif 000011
【図１１】
0005957996.tif 000012
【図１２】
0005957996.tif 000013
【図１３】
0005957996.tif 000014