(57)【要約】【課題】  外光の影響下でも瞳画像を検出できるようにする。【解決手段】  赤外線発光部（４０）と赤外線発光部から発せられる赤外線でユーザの瞳を撮像する赤外線カメラ（４２）とを有する画像処理装置（１０）のＣＰＵ（２４）は、赤外線発光部のオン／オフを制御しながら（Ｓ５，Ｓ１１）、赤外線発光部がオン状態のとき赤外線カメラで撮像された第１画像（７２）と赤外線発光部がオフ状態のとき赤外線カメラで撮像された第２画像（７４）との比較に基づいて瞳画像を検出する（Ｓ１５）。【選択図】  図５
2014064634.tif 000002
【特許請求の範囲】
【請求項１】
赤外線発光部、
前記赤外線発光部から発せられる赤外線でユーザの瞳を撮像する赤外線カメラ、
前記赤外線発光部のオン／オフを制御する制御部、および
前記赤外線発光部がオン状態のとき前記赤外線カメラで撮像された第１画像と前記赤外線発光部がオフ状態のとき前記赤外線カメラで撮像された第２画像との比較に基づいて前記瞳の画像を検出する第１検出部を備える、画像処理装置。
【請求項２】
前記制御部は、前記赤外線発光部を第１周期でオン／オフし、
前記第１検出部は、前記第１周期の１つの周期における、前記赤外線発光部がオン状態であるオン期間に撮像された前記第１画像と、前記赤外線発光部がオフ状態であるオフ期間に撮像された前記第２画像とを比較して、前記瞳の画像を検出する、請求項１記載の画像処理装置。
【請求項３】
前記赤外線カメラに前記第１周期の半分の長さである第２周期で撮像を行わせる撮像制御部をさらに備える、請求項２記載の画像処理装置。
【請求項４】
前記第１検出部は、前記第１画像の画像データの値から前記第２画像の画像データの値を減算して、減算後の画像データの値による第３画像に基づき前記瞳の画像を検出する、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像処理装置によって検出される前記瞳の画像に基づいて前記ユーザの視線を特定する視線特定装置であって、
前記第１検出部によって検出された前記瞳の画像から瞳孔の画像と前記瞳に映った前記赤外線発光部の画像とを検出する第２検出部、および
前記第２検出部によって検出された前記瞳孔の画像および前記赤外線発光部の画像の位置関係に基づいて前記ユーザの視線を特定する特定部を備える、視線特定装置。
【請求項６】
赤外線発光部と、前記赤外線発光部から発せられる赤外線でユーザの瞳を撮像する赤外線カメラとを有する画像処理装置のＣＰＵを、
前記赤外線発光部のオン／オフを制御する制御部、および
前記赤外線発光部がオン状態のとき前記赤外線カメラで撮像された第１画像と前記赤外線発光部がオフ状態のとき前記赤外線カメラで撮像された第２画像との比較に基づいて前記瞳の画像を検出する第１検出部として機能させる、瞳画像検出プログラム。
【請求項７】
赤外線発光部と前記赤外線発光部から照射される赤外線でユーザの瞳を撮像する赤外線カメラとを有する画像処理装置によって行われる瞳検出方法であって、
前記赤外線発光部のオン／オフを制御する制御ステップ、および
前記赤外線発光部がオン状態のとき前記赤外線カメラで撮像された第１画像と前記赤外線発光部がオフ状態のとき前記赤外線カメラで撮像された第２画像との比較に基づいて前記瞳の画像を検出する第１検出ステップを含む、瞳画像検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および視線特定装置ならびに瞳画像検出プログラムおよび方法に関し、特にたとえば、赤外線発光部と、赤外線発光部から照射される赤外線でユーザの瞳を撮像する赤外線カメラとを有する、画像処理装置、ならびに、このような画像処理装置のための瞳画像検出プログラムおよび方法に関する。
【背景技術】
【０００２】
従来のこの種の装置が、特許文献１〜３に開示されている。特許文献１の背景技術では、光源により照明された瞳孔をカメラで撮影し、撮影された画像から瞳孔を検出して楕円近似を行うことにより、カメラに対する視線ベクトルを計測している。特許文献２の背景技術では、光源以外からの光（外光：たとえば太陽光に含まれる赤外線）の入射により視線検出の精度が低下するのを防止するために、集光レンズへの外光の入射を制限するフィルムを設けている。特許文献３の背景技術では、視線検出の精度を向上させるために、ＬＣＤの前段に赤外発光ダイオードからの赤外線の波長域をカットする赤外線カットフィルタを設けている。
【特許文献１】特開２００５−１３７５２号公報［A61B 3/113］
【特許文献２】特開平６−２９４９２８号公報［G02B 7/28, A61B 3/113, G03B 13/36］
【特許文献３】特開平１０−１７９５２１号公報［A61B 3/113, H04N 5/225］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１の背景技術には、太陽光などの外光の影響により、瞳孔の検出ひいては視線ベクトルの計測が困難となる問題があり、他方、特許文献２，３の背景技術には、外光を制限ないしカットするのにフィルムやフィルタを用いるので、構成要素が多い問題があった。
【０００４】
それゆえに、この発明の主たる目的は、新規な、画像処理装置および視線特定装置ならびに瞳画像検出プログラムおよび方法を提供することである。
【０００５】
この発明の他の目的は、外光の影響下でも瞳画像を検出できる、画像処理装置および視線特定装置ならびに瞳画像検出プログラムおよび方法を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の態様は、赤外線発光部、赤外線発光部から発せられる赤外線でユーザの瞳を撮像する赤外線カメラ、赤外線発光部のオン／オフを制御する制御部、および赤外線発光部がオン状態のとき赤外線カメラで撮像された第１画像と赤外線発光部がオフ状態のとき赤外線カメラで撮像された第２画像との比較に基づいて瞳の画像を検出する第１検出部を備える、画像処理装置である。
【０００８】
第１の態様では、赤外線発光部（４０）と赤外線発光部から発せられる赤外線でユーザの瞳を撮像する赤外線カメラ（４２）とを有する画像処理装置（１０）において、たとえばＣＰＵ（２４）が視線検出プログラム（５４）を実行することで、制御部および第１検出部が実現される。制御部は、赤外線発光部のオン／オフを制御し（Ｓ５，Ｓ１１）、第１検出部は、赤外線発光部がオン状態のとき赤外線カメラで撮像された第１画像（７２）と、赤外線発光部がオフ状態のとき赤外線カメラで撮像された第２画像（７４）との比較に基づいて、瞳の画像を検出する（Ｓ１５）。
【０００９】
したがって、第１画像に、赤外線発光部からの赤外線による瞳画像と、外光による反射画像とが含まれていても、第２画像には、赤外線発光部からの赤外線による瞳画像は含まれず、外光による反射画像だけが含まれているので、両者を互いに比較することで、赤外線発光部からの赤外線による瞳画像を、フィルタ等を用いることなく検出することができる。
【００１０】
第１の態様によれば、外光の影響下でも瞳画像を検出できるようになる。
【００１１】
第２の態様は、第１の態様において、制御部は、赤外線発光部を第１周期でオン／オフし、第１検出部は、第１周期の１つの周期における、赤外線発光部がオン状態であるオン期間に撮像された第１画像と、赤外線発光部がオフ状態であるオフ期間に撮像された第２画像とを比較して、瞳の画像を検出する。
【００１２】
第２の態様によれば、１つの周期を構成するオン期間およびオフ期間にそれぞれ撮像された第１画像および第２画像、つまり時間的に近接する第１画像および第２画像が比較されるので、視線の動きが速くても、瞳画像を検出できる。
【００１３】
なお、他の態様では、時間的に離れた第１画像および第２画像を比較してもよい。第１画像および第２画像の間の時間的な距離に対して、視線の動きが十分遅ければ、瞳画像を検出できる。
【００１４】
第３の態様は、第２の態様において、赤外線カメラに第１周期の半分の長さである第２周期で撮像を行わせる撮像制御部をさらに備える。
【００１５】
第３の態様では、撮像制御部がさらに実現され、撮像制御部は、赤外線カメラに第１周期の半分の長さである第２周期で撮像を行わせる（Ｓ７，Ｓ１３）。
【００１６】
第３の態様によれば、赤外線カメラに、第１周期つまり赤外線発光部のオン／オフ周期の半分の長さである第２周期で撮像を行わせることで、無駄なオン期間がなくなり、かつオン期間およびオフ期間に各１回撮像が行われるので、視線検出のための撮像を効率的に行える。
【００１７】
なお、他の態様では、赤外線カメラに、第１周期の半分の長さよりも短い第２周期で撮像を行わせ、赤外線カメラの撮像結果をオン期間およびオフ期間に各１回の割合でサンプリングしてもよい。
【００１８】
第４の態様は、第１ないし３のいずれかの態様において、第１検出部は、第１画像の画像データの値から第２画像の画像データの値を減算して、減算後の画像データの値による第３画像（７６）に基づき瞳の画像を検出する。
【００１９】
第４の態様によれば、減算によって外光の反射画像が減殺され、第３画像には瞳画像だけが含まれる結果となるので、瞳画像を容易に検出できる。
【００２０】
第５の態様は、第１ないし４のいずれかの態様に係る画像処理装置によって検出される瞳の画像に基づいてユーザの視線を特定する視線特定装置であって、第１検出部によって検出された瞳の画像から瞳孔の画像と瞳に映った赤外線発光部の画像とを検出する第２検出部、および第２検出部によって検出された瞳孔の画像および赤外線発光部の画像の位置関係に基づいてユーザの視線を特定する特定部を備える。
【００２１】
第５の態様では、第１ないし４のいずれかの態様に係る画像処理装置によって検出される瞳の画像に基づいてユーザの視線を特定する視線特定装置（１０）において、たとえばＣＰＵ（２４）が視線検出プログラム（５４）を実行することで、第２検出部および特定部が実現される。なお、画像処理装置および視線特定装置は、互いに独立でも、一方が他方に包含されてもよい。
【００２２】
第２検出部は、第１検出部によって検出された瞳の画像から、瞳孔の画像と、瞳に映った赤外線発光部の画像とを検出する（Ｓ１７）。特定部は、第２検出部によって検出された瞳孔の画像および赤外線発光部の画像の位置関係に基づいて、ユーザの視線を特定する（Ｓ１９）。
【００２３】
一般に、視線が動くと、瞳孔の画像と、瞳に映った赤外線発光部の画像つまり光点画像との位置関係が変化する。第５の態様によれば、両者の位置関係に基づいて、精度よく視線を特定できる。なお、視線の移動に伴い、瞳孔画像や光点画像の扁平率も変化するため、視線を特定する際、必要に応じて瞳孔画像や光点画像の扁平率なども考慮されてよい。
【００２４】
第６の態様は、赤外線発光部（４０）と赤外線発光部から発せられる赤外線でユーザの瞳を撮像する赤外線カメラ（４２）とを有する画像処理装置（１０）のＣＰＵ（２４）を、赤外線発光部のオン／オフを制御する制御部（Ｓ５，Ｓ１１）、および赤外線発光部がオン状態のとき赤外線カメラで撮像された第１画像（７２）と赤外線発光部がオフ状態のとき赤外線カメラで撮像された第２画像（７４）との比較に基づいて瞳の画像を検出する第１検出部（Ｓ１５）として機能させる、瞳画像検出プログラム（５２）である。
【００２５】
第７の態様は、赤外線発光部（４０）と赤外線発光部から照射される赤外線でユーザの瞳を撮像する赤外線カメラ（４２）とを有する画像処理装置（１０）によって行われる瞳検出方法であって、赤外線発光部のオン／オフを制御する制御ステップ（Ｓ５，Ｓ１１）、および赤外線発光部がオン状態のとき赤外線カメラで撮像された第１画像（７２）と赤外線発光部がオフ状態のとき赤外線カメラで撮像された第２画像（７４）との比較に基づいて瞳の画像を検出する第１検出ステップ（Ｓ１５）を含む。
【００２６】
第６および７の各態様によっても、第１の態様と同様に、簡単な構成で、外光の影響下でも瞳画像を検出できるようになる。
【発明の効果】
【００２７】
この発明によれば、外光の影響下でも瞳画像を検出できる、画像処理装置および視線特定装置ならびに瞳画像検出プログラムおよび方法が実現される。
【図面の簡単な説明】
【００２８】
【図１】この発明の一実施例である携帯端末の構成を示すブロック図である。
【図２】携帯端末の一方主面（前面）に設けられたディスプレイ，赤外線ＬＥＤおよび赤外線カメラを示す図解図である。
【図３】赤外線カメラで撮像される瞳の構造と瞳に映った赤外線ＬＥＤの像（光点）を示す図解図である。
【図４】赤外線ＬＥＤのオン／オフ制御と赤外線カメラの撮像タイミングを示す図解図である。
【図５】赤外線ＬＥＤのオン期間に撮像した画像からオフ期間に撮像した画像を減算した結果に基づいて瞳孔画像および光点画像を検出する方法を説明するための図解図であり、（Ａ）がオン期間に撮像した画像を、（Ｂ）がオフ時に撮像した画像を、そして（Ｃ）が（Ａ）の画像から（Ｂ）の画像を減算した結果（減算後の画像）を示す。
【図６】携帯端末のメインメモリの内容を示すメモリマップ図である。
【図７】携帯端末のＣＰＵによる視線入力処理を示すフロー図である。
【発明を実施するための形態】
【００２９】
図１には、携帯端末１０のハードウエア構成が示される。図１を参照して、この発明の一実施例である携帯端末１０はＣＰＵ２４を含む。ＣＰＵ２４には、キー入力装置２６、タッチパネル３２、メインメモリ３４、フラッシュメモリ３６、赤外線カメラ４２および画像処理回路４４が接続され、さらに、無線通信回路１４を介してアンテナ１２が、Ａ／Ｄコンバータ１６を介してマイク１８が、Ｄ／Ａコンバータ２０を介してスピーカ２２が、ドライバ２８を介してディスプレイ３０が、そしてＬＥＤドライバ３８を介して赤外線ＬＥＤ４０が、それぞれ接続される。
【００３０】
アンテナ１２は、図示しない基地局からの無線信号を捕捉（受信）し、また、無線通信回路１４からの無線信号を放出（送信）する。無線通信回路１４は、アンテナ１２で受信された無線信号を復調および復号化し、また、ＣＰＵ２４からの信号を符号化および変調する。マイク１８は、音波をアナログの音声信号に変換し、Ａ／Ｄコンバータ１６は、マイク１８からの音声信号をディジタルの音声データに変換する。Ｄ／Ａコンバータ２０は、ＣＰＵ２４からの音声データをアナログの音声信号に変換し、スピーカ２２は、Ｄ／Ａコンバータ２０からの音声信号を音波に変換する。
【００３１】
キー入力装置２６は、ユーザによって操作される各種のキー，ボタン（図示せず）などで構成され、操作に応じた信号（コマンド）をＣＰＵ２４に入力する。ドライバ２８は、ＣＰＵ２４からの信号に応じた画像をディスプレイ３０に表示する。タッチパネル３２は、ディスプレイ３０の表示面に設けられ、タッチ点の位置を示す信号をＣＰＵ２４に入力する。
【００３２】
ＬＥＤドライバ３８は、ＣＰＵ２４からの命令に応じて赤外線ＬＥＤ４０をオン（点灯）／オフ（消灯）させる。赤外線カメラ４２は、赤外線ＬＥＤ４０から発せられる赤外線でユーザの瞳を撮像する。画像処理回路４４は、赤外線カメラ４２で撮像された画像（撮像画像）に二値化などの画像処理を施す。
【００３３】
メインメモリ３４は、たとえばＳＤＲＡＭなどで構成され、ＣＰＵ２４に各種の処理を実行させるためのプログラム，データなど（図６参照）を記憶する共に、ＣＰＵ２４に必要な作業領域を提供する。フラッシュメモリ３６は、たとえばＮＡＮＤ型のフラッシュメモリで構成され、プログラムやデータの保存領域として利用される。
【００３４】
ＣＰＵ２４は、メインメモリ３４に記憶されたプログラム（５２）およびデータ（６２，７２〜７６）に基づいて、他のハードウエア（１２〜２２，２６〜４４）を利用しつつ各種の処理を実行する。処理の実行に必要な現在時刻情報やタイミング信号は、ＲＴＣ(Real Time Clock)２４ａから供給される。
【００３５】
以上のように構成された携帯端末１０では、図示しないメニュー画面を通して、通話を行う通話モード、データ通信を行うデータ通信モード、および情報処理を実行する情報処理モードなどを選択することができる。
【００３６】
通話モードが選択されると、携帯端末１０は、通話装置として機能する。詳しくは、キー入力装置２６またはタッチパネル３２によって発呼操作が行われると、ＣＰＵ２４は、無線通信回路１４を制御して発呼信号を出力する。出力された発呼信号は、アンテナ１２を介して出力され、図示しない移動通信網を経て相手の電話機に伝達される。電話機は、着信音などによる呼び出しを開始する。相手が着呼操作を行うと、ＣＰＵ２４は通話処理を開始する。一方、相手からの発呼信号がアンテナ１２によって捕捉されると、無線通信回路１４は着信をＣＰＵ２４に通知し、ＣＰＵ２４は、スピーカ２２からの着信音や図示しないバイブレータの振動などによる呼び出しを開始する。キー入力装置２６またはタッチパネル３２によって着呼操作が行われると、ＣＰＵ２４は通話処理を開始する。
【００３７】
通話処理は、たとえば、次のように行われる。相手から送られてきた受話音声信号は、アンテナ１２によって捕捉され、無線通信回路１４によって復調および復号化を施された後、Ｄ／Ａコンバータ２０を経てスピーカ２２に与えられる。これにより、スピーカ２２から受話音声が出力される。一方、マイク１８によって取り込まれた送話音声信号は、Ａ／Ｄコンバータ１６を経て無線通信回路１４に送られ、無線通信回路１４によって符号化および変調を施された後、アンテナ１２を通して相手に送信される。相手の電話機でも、送話音声信号の復調および復号化が行われ、送話音声が出力される。
【００３８】
データ通信モードが選択されると、携帯端末１０はデータ通信装置として機能する。詳しくは、ＣＰＵ２４は、無線通信回路１４を介してインターネット上のメールサーバやＷｅｂサーバ（図示せず）とデータ通信を行うことでメールデータやハイパーテキストデータを取得し、これに基づく電子メールやＨＴＭＬ文書をドライバ２８を介してディスプレイ３０に表示する。
【００３９】
情報処理モードが選択されると、携帯端末１０は情報処理装置として機能する。詳しくは、ＣＰＵ２４は、キー入力装置２６やタッチパネル３２の操作に応じて各種の情報処理を実行し、処理結果に基づく画面をドライバ２８を介してディスプレイ３０に表示する。
【００４０】
また、ユーザは、上記のような通話モード，データ通信モードまたは情報処理モードなどが選択された状態で、キー操作等によりメニュー画面を呼び出し、視線入力機能をオンすると、以降、各種の画面でアイコンを選択したりソフトキーを押したりする操作は、赤外線ＬＥＤ４０および赤外線カメラ４２を利用した視線入力により行うことができるようになる。
【００４１】
詳しくは、視線入力機能がオンされると、ＣＰＵ２４の制御下で、ＬＥＤドライバ３８は赤外線ＬＥＤ４０の駆動（オン／オフ制御）を開始し、これと同時または略同時に赤外線カメラ４２も起動して、撮像を開始する。赤外線カメラ４２によって撮像された画像（撮像画像）は、画像処理回路４４に入力され、そこで二値化などの画像処理を施される。ＣＰＵ２４は、画像処理を施された後の撮像画像から瞳画像を検出して、ユーザの視線を特定し、画面上のアイコン等が選択されたと判断される場合に、その選択されたアイコン等に関連付けられた処理を実行する。
【００４２】
瞳画像の検出および視線の特定は、たとえば次のように行われる。赤外線ＬＥＤ４０および赤外線カメラ４２は、図２に示すように、ディスプレイ３０の右上および左下にそれぞれ配置され、ユーザの瞳（黒目）には、図３に示すように、赤外線ＬＥＤ４０からの赤外線を眼球内に取り込む瞳孔と、瞳孔の周りを囲む虹彩とが含まれる。
【００４３】
なお、図２に示す配置は一例であり、ディスプレイ３０，赤外線ＬＥＤ４０および赤外線カメラ４２が同じ面（通常は前面）に設けられていれば（赤外線ＬＥＤ４０の光軸および赤外線カメラ４２の光軸が互いに平行または略平行であり、かつ、これらの光軸がディスプレイ３０の画面に対して直角または一定以下の傾斜角であれば）、視線入力は可能である。
【００４４】
ユーザの視線がディスプレイ３０の画面を向いているとき、赤外線ＬＥＤ４０をオンすると、赤外線ＬＥＤ４０から発せられた赤外線は、ユーザの瞳（特に瞳孔）で反射され、この反射光が赤外線カメラ４２により捉えられる。このため、赤外線ＬＥＤ４０をオンした状態で赤外線カメラ４２により撮像された画像では、瞳内の瞳孔の画像（瞳孔画像）と、瞳に映った赤外線ＬＥＤ４０の画像（光点画像）とが、周囲と比べて明るく写る（際立つ）結果となる（図５（Ａ）参照：後述）。したがって、撮像画像に対し二値化などの画像処理を施せば、撮像画像から瞳孔画像および光点画像を検出することができる。なお、この実施例では、こうして撮像画像から検出される瞳孔画像および光点画像を“瞳画像”のように総称する場合がある。
【００４５】
次に、検出された瞳孔画像および光点画像の位置関係（たとえば光点画像の中心Ａから瞳孔画像の中心Ｂに向かうベクトル）さらには形状（たとえば瞳および光点に対する瞳孔画像および光点画像の扁平率）などから、ユーザの視線（たとえば瞳孔の法線とディスプレイ３０の画面との交点の位置）が特定される。なお、具体的な特定方法は、この実施例の本質的な内容ではないため、説明を省略する。
【００４６】
ただし、晴天時の屋外、あるいは白熱灯，電気ストーブといった赤外線源が置かれた室内で視線入力を行おうとすると、図５（Ａ）に示されるように、赤外線ＬＥＤ４０による瞳孔画像および光点画像に加えて、太陽その他の赤外線源からの光（外光）の反射画像も明るく写るため、外光の反射画像がノイズとなって、瞳画像の検出は困難となる可能性がある。
【００４７】
そこで、この実施例では、赤外線カメラ４２による撮像を、赤外線ＬＥＤ４０を繰り返しオン／オフしながら（間欠発光させながら）行い、赤外線ＬＥＤ４０がオン状態のとき撮像された画像（“ＬＥＤオン時の画像”または“第１画像”と呼ぶ場合もある）の画像データの値からオフ状態のとき撮像された画像（“ＬＥＤオフ時の画像”または“第２画像”と呼ぶ場合もある）の画像データの値を減算して、この減算後の画像データの値による画像（“第３画像”と呼ぶ場合もある）に基づき瞳の画像を検出する。
【００４８】
詳しくは、視線入力機能がオンされると、ＣＰＵ２４は、赤外線カメラ４２を起動し、これと同時または略同時に、図４に示すような、赤外線ＬＥＤ４０のオン／オフ制御を開始する。赤外線カメラ４２は、ＣＰＵ２４の制御下で、１つのオン／オフ周期を構成するオン期間およびオフ期間にそれぞれ撮像を行う動作を繰り返す。
【００４９】
赤外線ＬＥＤ４０のオン／オフは、たとえば２００μ秒周期（オン期間１００μ秒＋オフ期間１００μ秒）で行われ、赤外線カメラ４２による撮像は、たとえば１００μ秒周期（つまりオン／オフ周期の半値）で行われる。この場合、１つのオン／オフ周期につき、赤外線ＬＥＤ４０がオンの状態で１回、および赤外線ＬＥＤ４０がオフの状態で１回の、計２回撮像が行われ、こうしてＬＥＤオン時に撮像された画像（第１画像：図５（Ａ）参照）と、ＬＥＤオフ時に撮像された画像（第２画像：図５（Ｂ）参照）とが、ＣＰＵ２４に与えられることになる。
【００５０】
なお、１つのオン／オフ周期を構成するオン期間およびオフ期間は、図４の例では互いに同じ長さ（それぞれ１００μ秒）であるが、互いに異なる長さ（たとえばオン期間８０μ秒＋オフ期間１２０μ秒など）でもよい。
【００５１】
変形例では、赤外線カメラ４２は、赤外線ＬＥＤ４０のオン／オフ周期（たとえば２００μ秒）よりも短い周期（たとえば２０μ秒周期）で撮像を行い、画像処理回路４４において、撮像画像に対しオン／オフ周期の半値（たとえば１００μ秒周期）でサンプリングを行うようにしてもよい。
【００５２】
また、１つのオン／オフ周期を構成するオン期間およびオフ期間に各１回撮像（サンプリング）を行う代わりに、オン期間に複数回、そしてオフ期間にも同じ回数だけ撮像（サンプリング）を行い、オン期間およびオフ期間それぞれで撮像された複数の第１画像および複数の第２画像を平均して、平均された第１画像および平均された第２画像をＣＰＵ２４に与えてもよい。
【００５３】
ＣＰＵ２４は、図５（Ａ）に示すような、赤外線ＬＥＤ４０がオンの状態で撮像された第１画像から、図５（Ｂ）に示すような、赤外線ＬＥＤ４０がオフの状態で撮像された第２画像を減算する。第１画像には、赤外線ＬＥＤ４０からの赤外線に基づく瞳孔画像および光点画像と、太陽などの外光の反射画像とが含まれており、他方、第２画像には、外光の反射画像だけが含まれ、瞳孔画像および光点画像は含まれていないので、第１画像から第２画像を減算した後の第３画像では、図５（Ｃ）に示すように、外光の反射画像（ノイズ）は減殺（キャンセル）されて、瞳孔画像および光点画像だけが残る（際立つ）結果となる。したがって、外光の影響下でも、瞳画像（瞳孔画像および光点画像）を検出して、視線を特定できるので、問題なく視線入力が行える。
【００５４】
以上のような瞳画像の検出および視線の特定を含む視線入力は、たとえば、メインメモリ３４に記憶された図６に示すプログラム（５２）およびデータ（６２，７２〜７６）に基づいて、ＣＰＵ２４が図７に示すフローに従う視線入力処理を実行することにより実現される。
【００５５】
詳しくは、まず図６を参照して、メインメモリ３４はプログラム領域５０，非遷移データ領域６０および遷移データ領域７０を含み、プログラム領域５０には視線入力プログラム５２が、非遷移データ領域６０はオン／オフ周期情報６２が、そして遷移データ領域７０にはＬＥＤオン時の画像７２（“第１画像”ともいう），ＬＥＤオフ時の画像７４（“第２画像”ともいう）および減算後の画像７６（“第３画像”ともいう）が、それぞれ記憶される。
【００５６】
視線入力プログラム５２は、赤外線ＬＥＤ４０を繰り返しオン／オフしつつ赤外線カメラ４２でユーザの瞳を撮像し、オン期間に撮像された画像からオフ期間に撮像された画像を減算することで瞳画像を検出し、検出された瞳画像に基づきユーザの視線を特定し、そして特定された視線に対応するコマンドを入力するためのプログラムであり、図７のフローチャートに対応する。
【００５７】
なお、図示は省略するが、プログラム領域５０には、上述した通話モード，データ通信モードおよび情報処理モードなどを実現するための各種の制御プログラムや、キー入力装置２６等を介してユーザ操作を受け付けたり、ドライバ２８を介して各種の画面をディスプレイ３０に表示するための入出力制御プログラムなども記憶される。
【００５８】
オン／オフ周期情報６２は、赤外線ＬＥＤ４０をオン／オフする周期を示す情報であり、たとえば図４のオン／オフ周期を示す“２００μ秒（オン期間＝１００μ秒，オフ期間＝１００μ秒）”といった数値（または波形データ）が記述される。
【００５９】
ＬＥＤオン時の画像７２は、赤外線ＬＥＤ４０がオンの状態で撮像された画像（第１画像）であり、たとえば図５（Ａ）に示すように、赤外線ＬＥＤ４０からの赤外線による瞳孔画像および光点画像と、外光の反射画像とを含む。ＬＥＤオフ時の画像７４は、赤外線ＬＥＤ４０がオフの状態で撮像された画像（第２画像）であり、たとえば図５（Ｂ）に示すように、外光の反射画像を含むが、赤外線ＬＥＤ４０からの赤外線による瞳孔画像および光点画像は含まない。減算後の画像７６は、第１画像から第２画像を減算した後の画像（第３画像）であり、たとえば図５（Ｃ）に示すように、外光の反射画像は含まれず、瞳孔画像および光点画像だけを含む。
【００６０】
図７を参照して、視線入力機能がオンされると、ＣＰＵ２４は、最初、ステップＳ１で、赤外線カメラ４２をオン（起動コマンドを発行）し、次に、ステップＳ３で、オン／オフ周期情報６２に記述されたオン／オフ周期とＲＴＣ２４ａからの現在時刻情報とに基づいて、赤外線ＬＥＤ４０をオンするタイミングが到来したか否かを判別し、ＮＯであれば所定の待機時間を経て同様の判別を繰り返す。
【００６１】
ステップＳ３でＹＥＳであれば、ステップＳ５で赤外線ＬＥＤ４０をオン（ＬＥＤドライバ３８を介して赤外線ＬＥＤ４０に電圧を印加）し、さらにステップＳ７で赤外線カメラ４２に撮像命令を発行する。赤外線カメラ４２は、撮像命令に応じて撮像を行い、撮像された画像は、画像処理回路４４で二値化などの画像処理を施された後、ＬＥＤオン時の画像７２（第１画像）として遷移データ領域７０に書き込まれる。
【００６２】
次に、ステップＳ９で、オン／オフ周期情報６２に記述されたオン／オフ周期とＲＴＣ２４ａからの現在時刻情報とに基づいて、赤外線ＬＥＤ４０をオフするタイミングが到来したか否かを判別し、ＮＯであれば所定の待機時間を経て同様の判別を繰り返す。
【００６３】
ステップＳ９でＹＥＳであれば、ステップＳ１１で赤外線ＬＥＤ４０をオフ（赤外線ＬＥＤ４０への電圧印加を停止）し、さらにステップＳ１３で赤外線カメラ４２に撮像命令を発行する。赤外線カメラ４２は、撮像命令に応じて撮像を行い、撮像された画像は、画像処理回路４４で二値化などの画像処理を施された後、ＬＥＤオフ時の画像７４（第２画像）として遷移データ領域７０に書き込まれる。
【００６４】
こうして、ＬＥＤオン時の画像７２およびＬＥＤオフ時の画像７４が遷移データ領域７０に記憶されると、ステップＳ１５に進み、ＬＥＤオン時の画像７２からＬＥＤオフ時の画像７４を（ピクセル毎に）減算する。減算結果は、減算後の画像７６（第３画像）として遷移データ領域７０に書き込まれる。
【００６５】
次に、ステップＳ１７で、減算後の画像７６に基づき瞳孔および光点（図３参照）を検出し、さらにステップＳ１９で、瞳孔および光点の位置関係から視線を特定する。減算後の画像７６には、外光の反射画像は含まれず、瞳孔画像および光点画像だけが含まれる（瞳孔画像および光点画像はサイズが異なるため区別可能である）ので、瞳孔および光点の検出および視線の特定を問題なく行える。
【００６６】
具体的には、たとえば、光点画像の中心Ａから瞳孔画像の中心Ｂに向かうベクトルを求め、必要であれば瞳孔画像および光点画像の扁平率なども考慮して、瞳孔の法線を計算する。この法線の向きをユーザの視線の向きと見なせば、法線とディスプレイ３０の画面との交点を求めることで、ユーザの視線（視線が向けられた画面上のアイコン等）を特定することができる。
【００６７】
こうして特定された視線に対応するコマンドの入力をステップＳ２１で受け付けた後、ステップＳ３に戻って上記と同様の処理を繰り返す。なお、入力されたコマンドに対応する処理は、図示しない別のプログラムの制御下で実行される。
【００６８】
なお、本発明の実施例に限定されるものではなく、例えば、変形例として、ステップＳ１で赤外線カメラ４２をオンした直後、赤外線ＬＥＤ４０のオン／オフ周期の半値よりも短い周期（たとえば２０μ秒周期）で撮像する動作を開始させ、ステップＳ７およびＳ１３では、撮像命令に代えて、画像処理回路４４に対するサンプリング実行命令を発行してもよい。
【００６９】
以上から明らかなように、この実施例の携帯端末１０は、赤外線ＬＥＤ４０と、赤外線ＬＥＤ４０から発せられる赤外線でユーザの瞳を撮像する赤外線カメラ４２とを有する。このような携帯端末１０のＣＰＵ２４は、赤外線ＬＥＤ４０を繰り返しオン／オフしながら（Ｓ５，Ｓ１１）、赤外線ＬＥＤ４０がオン状態のとき赤外線カメラ４２で撮像された第１画像（ＬＥＤオン時の画像７２）と、赤外線ＬＥＤ４０がオフ状態のとき赤外線カメラ４２で撮像された第２画像（ＬＥＤオフ時の画像７４）との比較に基づいて、瞳の画像（より特定的には瞳孔の画像および瞳に映った赤外線ＬＥＤ４０の画像）を検出する（Ｓ１５，Ｓ１７）。
【００７０】
したがって、第１画像に、赤外線ＬＥＤ４０からの赤外線による瞳画像と、外光による反射画像とが含まれていても、第２画像には、赤外線ＬＥＤ４０からの赤外線による瞳画像は含まれず、外光による反射画像だけが含まれるので、両者を互いに比較することで、赤外線ＬＥＤ４０による瞳画像を、フィルタ等を用いることなく検出できる。これにより、簡単な構成で、外光の影響下でも瞳画像を検出できるようになる。
【００７１】
好ましくは、ＣＰＵ２４は、赤外線ＬＥＤ４０を第１周期（たとえば２００μ秒周期：オン期間＝１００μ秒，オフ期間＝１００μ秒）でオン／オフしながら、１つの第１周期の、赤外線ＬＥＤ４０がオン状態であるオン期間に撮像された第１画像と、赤外線ＬＥＤ４０がオフ状態であるオフ期間に撮像された第２画像とを互いに比較して、瞳の画像を検出する。こうして、１つの周期を構成するオン期間およびオフ期間にそれぞれ撮像された第１画像および第２画像、つまり時間的に近接する第１画像および第２画像を比較することで、視線の動きが速くても、瞳画像を検出することができる。なお、視線の動きが遅ければ、時間的に離れた第１画像および第２画像を比較しても、瞳画像の検出は可能である。
【００７２】
より好ましくは、ＣＰＵ２４は、赤外線カメラ４２に、第１周期つまり赤外線ＬＥＤ４０のオン／オフ周期の半値（半分の長さ）である第２周期（たとえば１００μ秒：図４参照）で撮像を行わせる（Ｓ７，Ｓ１３）。これにより、無駄なオン期間がなくなり、かつオン期間およびオフ期間に各１回撮像が行われるので、視線検出のための撮像を効率的に行えるようになる。
【００７３】
以上では、携帯端末１０について説明したが、この発明は、赤外線発光部（ＬＥＤ，有機ＥＬなど）と、赤外線発光部から照射される赤外線でユーザの瞳を撮像する赤外線カメラとを有する、各種の画像処理装置（スマートフォン，タブレットＰＣ，携帯電話端末，携帯情報端末，情報家電など）に適用できる。
【符号の説明】
【００７４】
１０  …携帯端末
２４  …ＣＰＵ
３０  …ディスプレイ
３４  …メインメモリ
４０  …赤外線ＬＥＤ
４２  …赤外線カメラ
４４  …画像処理回路
【図１】
2014064634.tif 000003
【図２】
2014064634.tif 000004
【図３】
2014064634.tif 000005
【図４】
2014064634.tif 000006
【図５】
2014064634.tif 000007
【図６】
2014064634.tif 000008
【図７】
2014064634.tif 000009