(57)【要約】      （修正有）【課題】画面上でユーザーの目が指す地点を検出する方式に比べて誤謬率が非常に少ない、瞳の動きを利用した命令入力装置及び命令入力方法を提供する。【解決手段】瞳の動きを利用した命令入力装置において、各物体の周波数に対応する命令を格納する情報格納部１０、各物体が当該周波数で動くように各物体を画面上に表示する表示部２０、時間帯別ユーザーの瞳の位置を検出する瞳位置検出部３０、上記瞳位置検出部が検出した時間帯別ユーザーの瞳の位置に基づいて周波数を検出する周波数検出部４０、及び上記情報格納部に格納されている各周波数に対応する命令に基づき、上記周波数検出部が検出した周波数に対応する命令を認識する制御部５０を含む。【選択図】図１
2014106962.tif 000002
【特許請求の範囲】
【請求項１】
各物体の周波数に対応する命令を格納する情報格納部；
各物体が当該周波数で動くように各物体を画面上に表示する表示部；
時間帯別ユーザーの瞳の位置を検出する瞳位置検出部；
上記瞳位置検出部が検出した時間帯別ユーザーの瞳の位置に基づいて周波数を検出する周波数検出部；及び
上記情報格納部に格納されている各周波数に対応する命令に基づいて、上記周波数検出部が検出した周波数に対応する命令を認識する制御部；
を含む瞳の動きを利用した命令入力装置。
【請求項２】
上記制御部は、
上記画面上の一側と他側で物体が周期的に交替して現われるように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。
【請求項３】
上記制御部は、
上記画面上で物体の動きが正弦波形（sine wave）を有するように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。
【請求項４】
上記制御部は、
上記画面上で物体の動きが三角波形（triangular wave）を有するように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。
【請求項５】
上記制御部は、
上記画面上で一つ以上の物体が当該周波数を有するように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。
【請求項６】
情報格納部が、各物体の周波数に対応する命令を格納する段階；
表示部が、各物体が当該周波数で動くように各物体を画面上に表示する段階；
瞳位置検出部が、時間帯別ユーザーの瞳の位置を検出する段階；
周波数検出部が、上記検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する段階；及び
制御部が、上記情報格納部に格納されている各周波数に対応する命令に基づいて、上記検出された周波数に対応する命令を認識する段階；
を含む瞳の動きを利用した命令入力方法。
【請求項７】
上記表示段階は、
上記画面上の一側と他側で物体が周期的に交替して現われるように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。
【請求項８】
上記表示段階は、
上記画面上で物体の動きが正弦波形（sine wave）を有するように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。
【請求項９】
上記表示段階は、
上記画面上で物体の動きが三角波形（triangular wave）を有するように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。
【請求項１０】
上記表示段階は、
上記画面上で一つ以上の物体が当該周波数を有するように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞳の動きを利用した命令入力装置及び命令入力方法に関し、より詳しくは、ユーザーの瞳の機械的な動きから検出した周波数に基づいて命令の入力を認識する技術に関する。
【背景技術】
【０００２】
最近、人間の視線追跡技術を利用した多様なアプリケーションなどが開発されたり産業的に実施されたりしており、今後ともその応用方式は無限に拡散するものと予想される。併せて、視線追跡方式に対しては、特に視覚と関連した多様なデバイスが開発され、２次元的に視線を追跡する方式から３次元的に視線を追跡する方式に変化しており、上記の背景に応じて多様な３次元的視線追跡技術が開発されたり研究中であったりする。
【０００３】
３次元的視線追跡技術は、深さ方向（遠近）を含む視線追跡方式とも言い表すことができるが、これは、モニターのような平面上の視線の位置だけではなく、ユーザーの目からどれほど遠く離れた物体を見つめているかも共に把握することにより（すなわち、視線位置の遠近も把握することにより）、２次元座標で表現される視線の位置ではない３次元座標で表現可能な視線の位置を把握する方式を意味する。
【０００４】
このような視線追跡技術を利用して各種機器を制御する方法では、画面上でユーザーの視線が指す地点（位置）を検出した後、当該地点に設定されている命令に対応する動作を行う。
【０００５】
しかしながら、従来の機器制御方法は、具現化の複雑度が高く、且つ、誤謬確率の高い視線追跡技術を利用するため、機器制御の正確性を保証することができないという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のような従来技術の問題点を解決するため、本発明は、画面上で動く物体の周波数及びそれに対応する命令を格納し、上記物体を見つめる瞳の動きから検出した周波数を当該物体の周波数と比べ、検出した周波数が一定範囲に含まれる場合に上記命令の入力と判断することで、画面上でユーザーの視線が指す地点を検出する方式に比べて誤謬率が非常に少ない、瞳の動きを利用した命令入力装置及び命令入力方法を提供することにその目的がある。
【課題を解決するための手段】
【０００７】
上記目的を果たすための本発明の装置は、瞳の動きを利用した命令入力装置において、各物体の周波数に対応する命令を格納する情報格納部；各物体が当該周波数で動くように各物体を画面上に表示（display）する表示部；時間帯別ユーザーの瞳の位置を検出する瞳位置検出部；上記瞳位置検出部が検出した時間帯別ユーザーの瞳の位置に基づいて周波数を検出する周波数検出部；及び上記情報格納部に格納されている各周波数に対応する命令に基づき、上記周波数検出部が検出した周波数に対応する命令を認識する制御部；を含む。
【０００８】
また、上記目的を達成するための本発明の方法は、瞳の動きを利用した命令入力方法において、情報格納部が、各物体の周波数に対応する命令を格納する段階；表示部が、各物体が当該周波数で動くように各物体を画面上に表示する段階；瞳位置検出部が、時間帯別ユーザーの瞳の位置を検出する段階；周波数検出部が、上記検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する段階；及び制御部が、上記情報格納部に格納されている各周波数に対応する命令に基づき、上記検出された周波数に対応する命令を認識する段階；を含む。
【発明の効果】
【０００９】
上記のような本発明は、画面上で動く物体の周波数及びそれに対応する命令を格納し、上記物体を見つめる瞳の動きから検出した周波数を当該物体の周波数と比べ、検出した周波数が一定範囲に含まれる場合に上記命令の入力と判断することにより、画面上でユーザーの視線が指す地点を検出する方式に比べて誤謬率が非常に少ないという効果がある。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明に係る瞳の動きを利用した命令入力装置に対する一実施例の構成図である。
【図２ａ】図２ａないし図２ｃは、物体が所定の周波数を有するように各物体を画面上に表示する方式に対する一例示図である。
【図２ｂ】図２ａないし図２ｃは、物体が所定の周波数を有するように各物体を画面上に表示する方式に対する一例示図である。
【図２ｃ】図２ａないし図２ｃは、物体が所定の周波数を有するように各物体を画面上に表示する方式に対する一例示図である。
【図３】図３は、本発明に係る瞳の動きを利用した命令入力方法に対する一実施例のフロー図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明による好ましい実施例を詳しく説明するようにする。
【００１２】
図１は、本発明による瞳の動きを利用した命令入力装置に対する一実施例の構成図である。
【００１３】
図１に示すように、本発明による瞳の動きを利用した命令入力装置は、情報格納部１０、表示部２０、瞳位置検出部３０、周波数検出部４０、及び制御部５０を含む。
【００１４】
上記の各構成要素などに関し、先ず、情報格納部１０は、各物体の周波数に対応する命令を格納する。この際、各物体は既設定された周波数とマッチングされており、各周波数は各命令とマッチングされている。
【００１５】
表示部２０は、制御部５０の制御の下、各物体が当該周波数で動くように各物体を画面上に表示する。この際、周波数の範囲は、瞳の動きから導出することが可能な０．０５Ｈｚ〜５Ｈｚが好ましい。
【００１６】
一般に、物体が機械的に（例えば、周期的繰り返し）動いているとき、ユーザー（運転者）が上記物体を見つめることになった場合には、瞳は上記物体の動きと類似に動く。したがって、各対象物の動き（周波数）が分かっているとき、瞳の動きを検出してその周波数を確認すれば、如何なる対象物を見つめているのかが分かることになる。
【００１７】
本発明は、画面上で動く物体が特定周波数を有するようにするため、図２ａないし図２ｃに示されたように下記の３つの方式を利用する。この際、画面上で動く物体は一つ以上である。  
１）図２ａに示すように、画面上の一側に位置する物体２１０と他側に位置する物体２２０を周期的に互いに交替して見せる方式。したがって、ユーザーの瞳は、周期的に一側の物体２１０と他側の物体２２０を交替して見つめることになり周波数検出が可能である。  
２）図２ｂに示すように、画面上で特定物体の動きが正弦波形（sine wave）を有するように連続的に動く方式。  
３）図２ｃに示すように、画面上で特定物体の動きが三角波形（triangular wave）を有するように連続的に動く方式。
【００１８】
次に、瞳位置検出部３０は、時間帯別ユーザーの瞳の位置、すなわち、ユーザーの瞳の動きを検出する。この際、瞳位置検出部３０は、「Adaboost」アルゴリズムを通じて瞳の位置を検出することが好ましい。
【００１９】
一実施例として、瞳位置検出部３０は、顔領域検出器、類似度計算機、目位置計算機を含む。
【００２０】
先ず、顔領域検出器は、映像データの入力を受け、上記映像データで顔領域を検出して、その顔領域に該当する顔映像を類似度計算機へ伝達する。
【００２１】
この場合、類似度計算機は、顔領域検出器から伝達を受けた顔映像と瞳ディスクリプタを利用して瞳類似度を計算する。
【００２２】
そして、類似度計算機は、瞳類似度のうち瞳の位置に該当するピクセルを全ての確率に基づいて計算する。この際、瞳ディスクリプタは、データベースに格納されている。
【００２３】
次いで、瞳位置計算機は、類似度計算機で計算された瞳の位置に該当するピクセルが含まれた地点を利用して、ユーザーの瞳が実際に位置した地点の幾何学的な瞳の位置（例えば、瞳の３次元座標）を計算する。すなわち、瞳位置計算機は、カメラから両側瞳方向の角度と両側瞳の間の距離などを利用して幾何学的な瞳の位置を計算する。そして、瞳位置計算機は、計算された実際の幾何学的な瞳の位置に対する瞳の位置データを出力する。
【００２４】
次に、周波数検出部４０は、瞳位置検出部３０で検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する。すなわち、周波数検出部４０は、unequally spaced FFT（Fast Fourier Transform）を利用して瞳の動きでDC（Direct Current）成分を除いた０．０５〜５Ｈｚの間のピーク値を検出する。
【００２５】
次に、制御部５０は、画面上で動く物体が所定の周波数を有するように表示部２０を制御する。
【００２６】
また、制御部５０は、瞳位置検出部３０で検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出するように周波数検出部４０を制御する。
【００２７】
また、制御部５０は、情報格納部１０に格納されている各周波数に対応する命令に基づいて、周波数検出部４０から検出された周波数に対応する命令を認識する。すなわち、制御部５０は、瞳の動きによる周波数を検出して当該周波数に対応する命令の入力及び入力された命令を判別する。
【００２８】
このような本発明は、入力装置を要する全ての機器に適用されることができ、本発明が適用される場合、目の動きによる周波数検出過程だけで容易に命令を入力することができる長所がある。
【００２９】
図３は、本発明による瞳の動きを利用した命令入力方法に対する一実施例のフロー図である。
【００３０】
先ず、情報格納部１０が、各物体の周波数に対応する命令を格納する（３０１）。
【００３１】
次に、表示部２０が、各物体が当該周波数で動くように各物体を画面上に表示する（３０２）。これにより、ユーザーは画面上の物体を見つめることになり、ユーザーの瞳は物体の動きに沿って移動する。
【００３２】
次に、瞳位置検出部３０が、時間帯別ユーザーの瞳の位置を検出する（３０３）。
【００３３】
次に、周波数検出部４０が、瞳位置検出部３０で検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する（３０４）。
【００３４】
次に、制御部５０が、情報格納部１０に格納されている各周波数に対応する命令に基づいて、周波数検出部４０で検出された周波数に対応する命令を認識する（３０５）。
【符号の説明】
【００３５】
１０：情報格納部      ２０：表示部
３０：瞳位置検出部    ４０：周波数検出部
５０：制御部
【図１】
2014106962.tif 000003
【図２ａ】
2014106962.tif 000004
【図２ｂ】
2014106962.tif 000005
【図２ｃ】
2014106962.tif 000006
【図３】
2014106962.tif 000007