(57)【要約】【課題】  視線検出に必要とされる目部位（目尻、目頭、瞳孔中心など）を、人物の位置や姿勢に係わらず安定して抽出することにより、精度よく視線を検出することが可能な視線検出装置を提供する。【解決手段】  人物の顔面の光像を光電変換して画像取り込みを行う複数の画像入力手段と、人物の顔面を照明し、画像入力手段の光軸から離れた位置に配置された複数の照明手段と、画像入力手段の露出制御を行う露出制御手段、または、照明手段の明るさを制御する明るさ制御手段と、画像入力手段で取り込まれた画像データに基づいて視線方向を検出する視線検出手段と、を有する視線検出装置。【選択図】        図２
2007058507.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔の光像を光電変換して画像取り込みを行う複数の画像入力手段と、
前記人物の顔を照明し、前記画像入力手段の光軸から離れた位置に配置された複数の照明手段と、
前記画像入力手段の露出制御を行う露出制御手段、または、前記照明手段の明るさを制御する明るさ制御手段と、
前記画像入力手段で取り込まれた画像データに基づいて、前記人物の視線の方向を検出する視線検出手段と、
を有することを特徴とする視線検出装置。
【請求項２】
前記画像入力手段は、前記露出制御手段により設定された複数種の露出値の下で複数種の画像取り込みを行い、
前記視線検出手段は、前記画像入力手段により取り込まれた露出値の異なる複数種の画像データに基づいて、前記人物の視線の方向を検出することを特徴とする請求項１に記載の視線検出装置。
【請求項３】
前記照明手段は、前記明るさ制御手段により設定された複数種の明るさで照明し、
前記画像入力手段は、前記照明手段により照明された複数種の明るさの下で複数種の画像取り込みを行い、
前記視線検出手段は、前記画像入力手段により取り込まれた明るさの異なる複数種の画像データに基づいて、前記人物の視線の方向を検出することを特徴とする請求項１に記載の視線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識を利用して人間の視線を検出する視線検出装置に関する。
【背景技術】
【０００２】
人間の視線が、その人の意図や注意、関心に基づいて動くものであることに着目し、この視線の動きをキーボードやマウス、またはタッチパネルなどの入力デバイスの代わりに利用する、いわゆるヒューマン・インターフェースの研究が進められている。この様な次世代ヒューマン・インターフェースとも言える視線検出技術は、カメラによって人間の行動を撮影し、人間の意図や注意を認識するもので、カメラを用いて人間の視線を検出できるようにする技術がこれまでも種々検討されてきた。
【０００３】
たとえば、複数台のカメラで撮影された画像を出力するときに目周辺の画像領域の明暗から瞳孔の位置を検出し、検出された瞳孔の中心位置と眼球の中心位置から視線方向を検出する技術（例えば、特許文献１参照）や、また、カメラと同軸で赤外光を照射する同軸落射照明を行って、赤目状態（網膜で反射された光により、あたかも瞳孔が光っている様に観察される現象）を得ることにより瞳孔の位置を検出する技術（例えば、特許文献２参照）などが挙げられる。
【０００４】
この様に、瞳孔の位置検出により、人間の視線を検出しようとする視線検出装置の開発が進められてきた。
【特許文献１】特開２００３−１５８１６号公報（段落００１８等参照）
【特許文献２】特開平７−２４９１９７号公報（段落００３８等参照）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、通常、視線検出を行うには、ステレオカメラで撮影した人物の顔画像より、目尻、目頭、瞳孔などの位置を抽出し、抽出した各々の部位の位置情報に基づいて、視線を検出する。したがって、視線検出を行うには、目尻、目頭、瞳孔などの部位をはっきりと視認できる画像が必要になる。
【０００６】
前述の特許文献１においては、人物がカメラに近接している場合には、人物の顔の細部がはっきりと視認されることより、視線検出に必要とされる目尻、目頭、瞳孔などを容易に抽出することができる。しかしながら、人物がカメラから離れた場所や顔がカメラに対して斜めを向いて位置する場合などには、画像全体に占める目の領域が小さくなり、瞳孔がまぶたや睫の暗部、さらには虹彩と一体化することにより、瞳孔を抽出することは極めて困難であると考えられる。また、特許文献２においては、同軸落射照明により得られた赤目画像より瞳孔の位置を検出する様にしているが、赤目画像を得るには、人物の頭部位置や視線方向をカメラの光軸と一致させる必要がある。すなわち、人物の状態がカメラに対して特定の位置にある場合にしか瞳孔を検出できないといった問題を有している。
【０００７】
したがって、従来技術により精度のよい安定した視線検出を実現させるには、特別な部品等が必要で、装置の複雑化や価格の上昇を避けることは困難だった。
【０００８】
本発明は、上記課題を鑑みてなされたもので、装置の複雑化や高価格化を招くことなく、視線検出に必要な目尻、目頭、瞳孔中心などの目部位を、人物の位置や姿勢に係わらず安定して抽出し、精度よく視線検出を行える視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的は、下記の（１）乃至（３）のいずれか１項に記載の発明によって達成される。
【００１０】
（１）
人物の顔の光像を光電変換して画像取り込みを行う複数の画像入力手段と、
前記人物の顔を照明し、前記画像入力手段の光軸から離れた位置に配置された複数の照明手段と、
前記画像入力手段の露出制御を行う露出制御手段、または、前記照明手段の明るさを制御する明るさ制御手段と、
前記画像入力手段で取り込まれた画像データに基づいて、前記人物の視線の方向を検出する視線検出手段と、
を有することを特徴とする視線検出装置。
【００１１】
（２）
前記画像入力手段は、前記露出制御手段により設定された複数種の露出値の下で複数種の画像取り込みを行い、
前記視線検出手段は、前記画像入力手段により取り込まれた露出値の異なる複数種の画像データに基づいて、前記人物の視線の方向を検出することを特徴とする前記（１）に記載の視線検出装置。
【００１２】
（３）
前記照明手段は、前記明るさ制御手段により設定された複数種の明るさで照明し、
前記画像入力手段は、前記照明手段により照明された複数種の明るさの下で複数種の画像取り込みを行い、
前記視線検出手段は、前記画像入力手段により取り込まれた明るさの異なる複数種の画像データに基づいて、前記人物の視線の方向を検出することを特徴とする前記（１）に記載の視線検出装置。
【発明の効果】
【００１３】
請求項１に記載の発明は、複数の照明手段を複数の画像入力手段の光軸から離れた位置に配置し、画像入力手段は露出制御手段によって設定された露出値、または、明るさ制御手段によって設定された明るさの下で画像を取得するので、目尻、目頭、瞳孔などの視線検出に必要な部位を、人物の位置や姿勢に係わらず安定して抽出することができる。その結果、たとえば、人物がカメラから離れた場所や顔がカメラに対して斜めを向いて位置する場合などのように、視線検出に必要な部位を抽出しにくい場合でも視線の検出を精度よく行うことが可能になる。
【００１４】
すなわち、従来技術では人物がカメラから離れた場所にいたり、顔がカメラに対して斜めを向いて位置する場合、画像全体に占める目の領域が小さくなり、瞳孔がまぶたや睫の暗部、さらには虹彩と一体化してしまい、瞳孔を抽出することが困難であった。
【００１５】
請求項１に係る発明では、照明手段を画像入力手段の光軸から離れた位置に配置することにより、適正露出で撮影した画像より目尻や目頭の位置を検出し、オーバー露出での撮影により瞳孔が暗点となった画像を得ることで瞳孔の抽出を容易に行えるようにした。その結果、視線検出に必要な部位を安定して抽出することができるようになり、視線検出を精度よく行える様になった。
【００１６】
請求項２に記載の発明では、画像入力手段は露出制御手段により設定された複数種の露出値の下で複数種の画像を取り込める様にしているので、目尻や目頭、または、瞳孔の抽出に最適な画像をそれぞれ取得することができる様になった。
【００１７】
請求項３に記載の発明では、照明手段が明るさ制御手段により設定された複数種の明るさで照明し、画像入力手段は照明手段による複数種の明るさの下で撮影された複数種の画像を取り込める様にしたので、目尻や目頭、または、瞳孔の抽出に最適な露出（明るさ）条件の下での画像をそれぞれ取得することができる様になった。
【発明を実施するための最良の形態】
【００１８】
以下、図面に基づいて、本発明の実施形態に係る視線検出装置について説明する。
【００１９】
最初に、図１を用いて、本発明に係わる視線検出装置を備えた実施形態の１つであるＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ；コピー、スキャナー、ファックスなどが一体となった複合機）の外観を説明する。
【００２０】
図１（ａ）は、本発明に係るＭＦＰ１の外観模式図、図１（ｂ）は操作パネル３の正面図である。図１（ａ）に示す様に、ＭＦＰ１はＭＦＰ本体２および操作パネル３から構成される。
【００２１】
操作パネル３は、タッチパネル３０１、および、たとえばＣＣＤ撮像素子からなる２個のＣＣＤカメラ３０３ａ、３０３ｂや近赤外線ＬＥＤからなる２個の近赤外線投光機３０４ａ、３０４ｂなどを有し、ＭＦＰ１に行わせる各種動作の選択や実行、あるいは、操作者からの視線検出によるパネル操作を行うための画像入力などの動作を行う。
【００２２】
図１（ｂ）に示す様に、操作パネル３の略中央部には、表示された各種情報を操作者が指で触れて選択するタッチパネル３０１が設けられている。また、操作パネル３の右端下部には、コピーなどの出力動作を実行するスタートボタン３０２が設けられている。
【００２３】
タッチパネル３０１の上部左右、すなわち撮影対象の操作者の前方左右には、操作者の顔をステレオ視して撮影する２個のＣＣＤカメラ３０３ａ、３０３ｂが設けられている。すなわち、２個のＣＣＤカメラ３０３ａ、３０３ｂは、本発明に係る視線検出装置における画像入力手段として機能するものである。
【００２４】
また、操作パネル３の左右端には、操作者を照明する２個の近赤外線投光機３０４ａ、３０４ｂが設けられている。２個の近赤外線投光機３０４ａ、３０４ｂは、図１（ｂ）に示す様に、タッチパネル３０１や２個のＣＣＤカメラ３０３ａ、３０３ｂの光軸から離れた位置に設けられ、操作者がタッチパネル３０１を操作する際に、顔が位置する方向に向けて拡散光を照射する様に設定されている。すなわち、２個の近赤外線投光機３０４ａ、３０４ｂは、本発明に係る視線検出装置における照明手段として機能するものである。
【００２５】
次に、ＭＦＰ１に搭載された視線検出装置の制御系について図２を用いて説明する。図２は、本発明に係わる視線検出装置の制御系のブロック図である。なお、図２では、図１に示した部材と同じ部材には同一の番号を付与した。
【００２６】
視線検出装置は、図２に示す様に、２個のＣＣＤカメラ（右ＣＣＤカメラ３０３ａ、左ＣＣＤカメラ３０３ｂ）、２個のカメラコントロールユニット（２０３ａ、２０３ｂ）、２個の近赤外線投光機（右近赤外線投光機３０４ａ、左近赤外線投光機３０４ｂ）、２個の赤外線コントロールユニット（２０４ａ、２０４ｂ）、および画像処理ユニット２０１、画像処理制御部２０２などから構成され、２個のＣＣＤカメラ３０３ａ、３０３ｂで取得された画像データに基づいて、操作者の視線検出を行うものである。
【００２７】
ＣＣＤカメラ３０３ａ、３０３ｂは、周囲の照明や窓からの日光などの周囲光の影響を受けずに操作者の顔画像を取得できるようにするため、図示しない可視光カットフィルターが設けられ、可視光カットフィルターを介して赤外画像を取得する。また、ＣＣＤカメラ３０３ａ、３０３ｂの撮影動作、および露出は後述のカメラコントロールユニット２０３ａ、２０３ｂによりそれぞれ制御される。
【００２８】
カメラコントロールユニット２０３ａ、２０３ｂは、後述の画像処理ユニット２０１の制御の下でＣＣＤカメラ３０３ａ、３０３ｂの撮影動作、および露出を制御する。また、カメラコントロールユニット２０３ａ、２０３ｂは、外部同期信号線を介して相互接続されており、この同期信号によって左右のＣＣＤカメラ３０３ａ、３０３ｂの同期がとられ、左右の位置で同じ時刻に撮影された２つの画像が得られる。視線検出装置は、左右の位置で同じ時刻に撮影された２つの画像を入力画像として使用し、ステレオ法を用いて３次元的な物体認識を処理することができる。
【００２９】
近赤外線投光機３０４ａ、３０４ｂは近赤外光を照射し、近赤外線投光機３０４ａ、３０４ｂが照射する近赤外光の明るさは後述の赤外線コントロールユニット２０４ａ、２０４ｂによってそれぞれ制御される。
【００３０】
赤外線コントロールユニット２０４ａ、２０４ｂは、後述の画像処理ユニット２０１の制御の下で近赤外線投光機３０４ａ、３０４ｂの明るさを制御する。また、赤外線コントロールユニット２０４ａ、２０４ｂとカメラコントロールユニット２０３ａ、２０３ｂとは、それぞれ外部同期信号線を介して相互接続されており、この同期信号により近赤外線投光機３０４ａ、３０４ｂの明るさが変動する時刻にＣＣＤカメラ３０３ａ、３０３ｂが撮影動作を行う様にしている。
【００３１】
画像処理ユニット２０１は、図２に示す様に、画像処理部２１１、ＡＥ制御部２１２、赤外線制御部２１３から構成される。
【００３２】
画像処理部２１１は、画像処理アルゴリズムを高速で実行するハードウェア回路を備えており、後述の画像処理制御部２０２の制御の下で、ＣＣＤカメラ３０３ａ、３０３ｂでステレオ撮影された画像データと、予め設定されたステレオカメラパラメータなどを用いて操作者の視線方向をリアルタイムで検出する。すなわち、画像処理部２１１は、本発明に係る視線検出装置における視線検出手段として機能するものである。
【００３３】
なお、画像処理部２１１で行われる画像処理の詳細は、たとえば、特開２００３−１５８１６号公報に開示されている「ステレオカメラを使用した顔、視線認識装置」等の周知の画像処理方法に準ずる。
【００３４】
画像処理制御部２０２は、たとえばマイクロコンピュータからなり、画像処理ユニット２０１で行われる画像処理動作を統括的に制御するものである。
【００３５】
ＡＥ制御部２１２は、ＣＣＤカメラ３０３ａ、３０３ｂで取得された画像データに基づいて、カメラコントロールユニット２０３ａ、２０３ｂを介して、ＣＣＤカメラ３０３ａ、３０３ｂの露出制御を行う。すなわち、ＡＥ制御部２１２は、本発明に係る視線検出装置における露出制御手段として機能するものである。
【００３６】
赤外線制御部２１３は、ＣＣＤカメラ３０３ａ、３０３ｂで取得された画像データに基づいて、赤外線コントロールユニット２０４ａ、２０４ｂを介して、近赤外線投光機３０４ａ、３０４ｂの明るさを制御する。すなわち、赤外線制御部２１３は、本発明に係る視線検出装置における明るさ制御手段として機能するものである。
【００３７】
この様な構成の視線検出装置において、ＣＣＤカメラ３０３ａで取得される画像を図３を用いて説明する。図３は、種々の撮影条件の下で撮影されたサンプル画像の模式図である。なお、ここでは、ＣＣＤカメラ３０３ａ、３０３ｂで撮影されたそれぞれの画像のコントラストを略同じレベルとしてＣＣＤカメラ３０３ａで撮影された画像を説明する。
【００３８】
先ず、図３の（ａ）から（ｅ）の各図について説明する。図３（ａ）は、ＣＣＤカメラ３０３ａに対して近接した操作者の顔を適正露出で撮影した画像サンプルである。（ｂ）は、（ａ）の状態に位置する操作者の顔をオーバー露出で撮影した画像サンプルである。（ｃ）は、ＣＣＤカメラ３０３ａに対して離れた場所に位置する操作者の顔を適正露出で撮影した画像サンプルである。（ｄ）は、（ｃ）の状態に位置する操作者の顔をオーバー露出で撮影した画像サンプルである。（ｅ）は、（ｄ）で得られた画像に２値化処理を行った時の画像である。
【００３９】
操作者がＣＣＤカメラ３０３ａに対して近接した場所に位置し、また、ＣＣＤカメラ３０３ａの露出が、カメラコントロールユニット２０３ｂを介してＡＥ制御部２１２によって適正な露出値に設定されている場合に撮影した顔の画像は、図３（ａ）に示す様に、顔の細部をはっきりと視認でき、視線検出に必要とされる目尻、目頭、瞳孔などを容易に抽出することができる。
【００４０】
一方、操作者がＣＣＤカメラ３０３ａに対して離れた場所に位置し、適正露出にて撮影した場合の顔の画像は、図３（ｃ）に示す様に、目尻と目頭は肌との境目から抽出することはできるが、瞳孔は、画像全体に占める目の領域が小さくなることにより、まぶたの輪郭や睫の暗部、さらに虹彩と一体化して、抽出が困難である。
【００４１】
そこで、本発明は、この様な場合でも瞳孔の抽出が行える様に、近赤外線投光機３０４ａ、３０４ｂをタッチパネル３０１やＣＣＤカメラ３０３ａ、３０３ｂの光軸から離れた位置に設けた。さらに、ＣＣＤカメラ３０３ａ、３０３ｂの露出、または、近赤外線投光機３０４ａ、３０４ｂの明るさを調整して、白目と睫の輪郭がなくなる程度のオーバー露出にて撮影することにより、瞳孔が暗点として撮像される様になり、瞳孔の抽出を容易に行える様にした。
【００４２】
具体的には、ＣＣＤカメラ３０３ａに対して離れた場所に位置する操作者の顔を、オーバー露出で撮影した場合の画像は、図３（ｄ）に示す様に、顔の輪郭は背景に対して識別することができるが、他の部位は殆ど撮像されていない。しかしながら、鼻の穴と瞳孔は黒く撮像されていることが確認される。これは鼻の穴や瞳孔は、顔の表面から奥行き方向に凹の形状をなす「孔」であり、また、近赤外線投光機３０４ａ、３０４ｂを、ＣＣＤカメラ３０３ａ、３０３ｂの光軸から離れた位置に設けて照明することにより、鼻の穴や瞳孔が暗点として撮像される。
【００４３】
ここで、近赤外線投光機３０４ａ、ＣＣＤカメラ３０３ａ、および操作者の目の相対位置について図４を用いて説明する。なお、近赤外線投光機３０４ａ、３０４ｂ、およびＣＣＤカメラ３０３ａ、３０３ｂは、図１（ｂ）に示す様に、それぞれタッチパネル３０１の左右に略対称な位置に設けられているので、ここでは、近赤外線投光機３０４ａ、ＣＣＤカメラ３０３ａ、および操作者の目の位置関係について説明する。
【００４４】
図４に示す様に、近赤外線投光機３０４ａは、ＣＣＤカメラ３０３ａの光軸Ｌ１から離れた位置に設けられ、操作者の目５を斜めの方向から照明している。すなわち、操作者の瞳孔５０１の奥行き方向（視線方向Ｌ２）と近赤外線投光機３０４ａの光路ＩＲ１とが異なることより、瞳孔５０１の奥Ａ部まで照明は届かない。したがって、オーバー露出で撮影した場合においても瞳孔は暗点として撮像される。
【００４５】
なお、操作者がＣＣＤカメラ３０３ａに対して近接した場所に位置する場合には、前述の様に、通常の適正露出にて撮影した画像で、視線検出に必要とされる目尻、目頭、瞳孔などを容易に抽出することができるが、オーバー露出にて撮影した画像においては、図３（ｂ）に示す様に、瞳孔は暗点として撮像されるので、瞳孔を安定して抽出することができる様になる。
【００４６】
この様に、適正露出画像とオーバー露出画像の２種の画像を取得し、適正露出にて撮影した画像より目尻と目頭を抽出し、オーバー露出にて撮影した画像より瞳孔を抽出することにより、視線検出に必要とされる目尻、目頭、瞳孔中心を抽出することができる。
【００４７】
ここで、本発明に係る視線検出装置で行われる、視線検出動作の流れを図５に示すフローチャート、および前述の図３を用いて詳細に説明する。
【００４８】
最初に、撮影動作が開始されると、ＡＥ制御部２１２は、ＣＣＤカメラ３０３ａ、３０３ｂで取得された画像データに基づいて、カメラコントロールユニット２０３ａ、２０３ｂを介して、ＣＣＤカメラ３０３ａ、３０３ｂの露出値を適正露出に設定する（ステップＳ１）。そしてＣＣＤカメラ３０３ａ、３０３ｂは、ＡＥ制御部２１２により設定された露出値の下で適正露出の画像を撮影し、撮影した画像データを画像処理部２１１に送出する（ステップＳ２）。この様にして撮影された画像は、たとえば図３（ｃ）に示す様に、目尻と目頭は肌との境目から抽出できるが、瞳孔は、画像全体に占める目の領域が小さくなり、まぶたの輪郭や睫の暗部、さらに虹彩と一体化しているので、抽出が困難である。
【００４９】
次に、ＡＥ制御部２１２は、ＣＣＤカメラ３０３ａ、３０３ｂで取得された画像データに基づいて、カメラコントロールユニット２０３ａ、２０３ｂを介して、ＣＣＤカメラ３０３ａ、３０３ｂの露出値をオーバー露出に設定するか、あるいは、赤外線制御部２１３は、ＣＣＤカメラ３０３ａ、３０３ｂで取得された画像データに基づいて、赤外線コントロールユニット２０４ａ、２０４ｂを介して、近赤外線投光機３０４ａ、３０４ｂの明るさを明るくするか、の何れかの動作を行う（ステップＳ３）。そしてＣＣＤカメラ３０３ａ、３０３ｂは、ＡＥ制御部２１２により設定された露出値、または、赤外線制御部２１３で設定された明るさの下でオーバー露出の画像を撮影し、撮影した画像データを画像処理部２１１に送出する（ステップＳ４）。この様にして撮影された画像は、たとえば、図３（ｄ）に示す様に、顔の輪郭は背景に対して識別することができるが、他の部位は殆ど撮像されていない。しかしながら、鼻の穴と瞳孔は黒く撮像されていることから瞳孔を暗点として抽出することができる。
【００５０】
ここで、適正露出、およびオーバー露出の２種の画像が取得されるが、この２種の画像を取得する時間隔は、短いほど視線検出に好適である。たとえば、ＩＥＥＥ１３９４規格のＤＣＡＭ１．３０に準拠したデジタルカメラにおいては、ＶＧＡサイズ（６４０×４８０画素）の画像を毎秒６０フレームで取得できるデジタルカメラがある。そこで、この様な高フレームレートのデジタルカメラをＣＣＤカメラとして用いることにより、２種の画像を交互に撮影しても通常のデジタルカメラと同等の毎秒３０フレームの画像が取得され、２種の画像取得に伴うタイムラグによる視線検出精度の低下は生じないと考えられる。
【００５１】
次に、画像処理部２１１は、ステップＳ２で取得された適正露出の画像データに基づいて、目尻と目頭を抽出する（ステップＳ５）。なお、画像処理部２１１で行われる画像処理の詳細は、前述の様に、たとえば、特開２００３−１５８１６号公報に開示されている周知の画像処理方法に準じ、操作者の目尻、目頭などの特徴的な部位の画像を予めテンプレートとして設定しておき、ステレオカメラで取得した画像上をテンプレートマッチングで探索することで、目尻、目頭などを抽出する様にしている。
【００５２】
次に、画像処理部２１１は、ステップＳ４で取得されたオーバー露出の画像データに２値化処理を行う（ステップＳ６）。２値化処理が行われた画像において、瞳孔は、図３（ｅ）に示す様に、はっきりと視認できる様になる。そして画像処理部２１１は、２値化処理が行われた画像データに基づいて、瞳孔中心を抽出する（ステップＳ７）。なお、２値化処理によって抽出を行う瞳孔中心は、ステップＳ５において抽出された目尻と目頭の間に位置するので、２値化処理は、目尻と目頭含む近傍の領域のみに施す様にしてもよい。
【００５３】
次に、画像処理部２１１は、ステップ５で抽出された目尻、目頭の位置、およびステップＳ７で抽出された瞳孔中心の位置などの位置情報に基づいて、たとえば、特開２００３−１５８１６号公報に開示されている周知の画像処理方法に準じ、視線方向を検出する（ステップＳ８）。
【００５４】
この様にしてステップ１乃至ステップＳ８の処理を繰り返し行うことにより、視線方向をリアルタイムに検出することができる様になる。
【００５５】
なお、図５に示すフローチャートは、オーバー露出画像を取得した後に、すでに取得されている適正露出の画像データに基づいて、目尻と目頭を抽出するする様にしているが、オーバー露出画像の取得と並行して適正露出の画像データに基づいて、目尻と目頭を抽出する様にしてもよい。
【００５６】
この様に、本発明に係わる視線検出装置では、近赤外線投光機３０４ａ、３０４ｂを、ＣＣＤカメラ３０３ａ、３０３ｂの光軸Ｌ１から離れた位置に設けて操作者を照明し、さらに、ＣＣＤカメラ３０３ａ、３０３ｂの露出、または、近赤外線投光機３０４ａ、３０４ｂの明るさを調整して、適正露出、または、オーバー露出にて撮影する様にしているので、人物の位置や姿勢に係わらず、視線検出に必要とされる目尻、目頭、瞳孔中心などを、を撮像することができる様になる。したがって、目尻、目頭、瞳孔中心などを、人物の位置や姿勢に係わらず安定して抽出に抽出することができ、精度よく視線を検出することができる様になる。
【図面の簡単な説明】
【００５７】
【図１】本発明に係る視線検出装置を搭載したＭＦＰの外観模式図である。
【図２】本発明に係る視線検出装置の回路ブロック構成図である。
【図３】本発明に係る視線検出装置による画像サンプルの模式図である。
【図４】本発明に係る視線検出装置における赤外線照射方向を示す模式図である。
【図５】本発明に係る視線検出装置における視線検出動作の流れを示すフローチャートである。
【符号の説明】
【００５８】
１  ＭＦＰ
２  ＭＦＰ本体
２０１  画像処理ユニット
２０２  画像処理制御部
２０３ａ、２０３ｂ  カメラコントロールユニット
２０４ａ、２０４ｂ  赤外線コントロールユニット
２１１  画像処理部
２１２  ＡＥ制御部
２１３  赤外線制御部
３  操作パネル
３０１  タッチパネル
３０２  スタートボタン
３０３ａ  ＣＣＤカメラ（右）
３０３ｂ  ＣＣＤカメラ（左）
３０４ａ  近赤外線投光機（右）
３０４ｂ  近赤外線投光機（左）
５  目
５０１  瞳孔
５０２  虹彩
５０３  水晶体
５０４  網膜
ＩＲ１  光路
Ｌ１  光軸
Ｌ２  視線
【図１】
2007058507.tif 000003
【図２】
2007058507.tif 000004
【図３】
2007058507.tif 000005
【図４】
2007058507.tif 000006
【図５】
2007058507.tif 000007