(57)【要約】【課題】外光の影響を低減させることができるようにする。【解決手段】画像処理装置は、ユーザ側を撮影して得られた内向き画像に基づいて、内向き画像における外光の状態を内向き外光状態として検出する内向き状態検出部と、ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、外向き画像における外光の状態を外向き外光状態として検出する外向き状態検出部と、内向き外光状態の検出結果、および外向き外光状態の検出結果に応じて、内向き画像の明るさに関する明るさ調整処理を行う制御部と、明るさ調整処理が行われて得られた内向き画像に基づいて、ユーザの視線検出を行う認識処理部とを有している。本技術はウェアラブルデバイスに適用することができる。【選択図】図５
2017144086.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ側を撮影して得られた内向き画像に基づいて、前記内向き画像における外光の状態を内向き外光状態として検出する内向き状態検出部と、
前記ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、前記外向き画像における外光の状態を外向き外光状態として検出する外向き状態検出部と、
前記内向き外光状態の検出結果、および前記外向き外光状態の検出結果に応じて、前記内向き画像の明るさに関する明るさ調整処理を行う制御部と、
前記明るさ調整処理が行われて得られた前記内向き画像に基づいて、前記ユーザの視線検出を行う認識処理部と
を備える画像処理装置。
【請求項２】
前記制御部は、前記内向き外光状態の検出結果および前記外向き外光状態の検出結果により示される外光の状態が第１の条件を満たす場合、前記明るさ調整処理を行う
請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記明るさ調整処理として測光方式を変更する
請求項１に記載の画像処理装置。
【請求項４】
前記制御部は、前記明るさ調整処理として前記内向き画像の露光時間を変更する
請求項１に記載の画像処理装置。
【請求項５】
前記制御部は、前記明るさ調整処理として前記内向き画像に対して行われるゲイン調整処理のゲインを変更する
請求項１に記載の画像処理装置。
【請求項６】
前記内向き画像は赤外画像であり、
前記ユーザに対して赤外光を照射する１または複数の赤外投光部をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
前記制御部は、前記明るさ調整処理として点灯させる前記赤外投光部を変更する
請求項６に記載の画像処理装置。
【請求項８】
前記制御部は、前記明るさ調整処理として点灯させる前記赤外投光部の数を変更する
請求項６に記載の画像処理装置。
【請求項９】
前記制御部は、前記明るさ調整処理として前記赤外投光部により照射される赤外光の光量を変更する
請求項６に記載の画像処理装置。
【請求項１０】
前記制御部は、前記内向き外光状態の検出結果および前記外向き外光状態の検出結果により示される外光の状態が第２の条件を満たす場合、前記外向き画像に基づいて前記ユーザの視線検出を行う
請求項１に記載の画像処理装置。
【請求項１１】
前記認識処理部は、前記内向き画像に基づいて虹彩認証を行う
請求項１に記載の画像処理装置。
【請求項１２】
前記制御部は、前記内向き外光状態の検出結果および前記外向き外光状態の検出結果に基づいて、前記内向き画像における外光の映り込み領域を特定し、
前記認識処理部は、前記内向き画像から前記映り込み領域を除外して前記虹彩認証を行う
請求項１１に記載の画像処理装置。
【請求項１３】
ユーザ側を撮影して得られた内向き画像に基づいて、前記内向き画像における外光の状態を内向き外光状態として検出し、
前記ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、前記外向き画像における外光の状態を外向き外光状態として検出し、
前記内向き外光状態の検出結果、および前記外向き外光状態の検出結果に応じて、前記内向き画像の明るさに関する明るさ調整処理を行い、
前記明るさ調整処理が行われて得られた前記内向き画像に基づいて、前記ユーザの視線検出を行う
ステップを含む画像処理方法。
【請求項１４】
ユーザ側を撮影して得られた内向き画像に基づいて、前記内向き画像における外光の状態を内向き外光状態として検出し、
前記ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、前記外向き画像における外光の状態を外向き外光状態として検出し、
前記内向き外光状態の検出結果、および前記外向き外光状態の検出結果に応じて、前記内向き画像の明るさに関する明るさ調整処理を行い、
前記明るさ調整処理が行われて得られた前記内向き画像に基づいて、前記ユーザの視線検出を行う
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、外光の影響を低減させることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、視線検出を行う手法として、ＩＲ（赤外）光を利用して視線の検出を行う角膜反射法が一般的に知られている。角膜反射法では、赤外光が照射されてユーザの目の部分の画像が撮影され、撮影により得られた画像上の赤外光の位置、すなわち赤外光の輝点と、検出対象のユーザの瞳孔との位置関係から視線方向が検出される。
【０００３】
ところで、外光のある環境下で視線検出を行う場合、外光としての太陽光には赤外成分が含まれているため、外光が外乱となって視線検出に影響を与えることがある。
【０００４】
そこで、外乱の影響を低減させるために、赤外光を照射していない状態で撮影された画像を用いて、赤外光を照射して撮影された画像から外乱成分を除去する手法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−６４６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、十分に外光の影響を低減させることが困難であった。
【０００７】
例えば赤外光を照射しない状態で撮影された画像を用いて外乱成分を除去する場合、赤外光を照射しない状態での画像の撮影と、赤外光を照射した状態での画像の撮影とで撮影時刻に時間差が生じてしまう。
【０００８】
そのため、例えばそれらの画像の撮影時に撮影環境や撮影方向が変化した場合には、画像上の赤外光成分の分布にずれが生じるので、外乱成分を精度よく除去することができなくなってしまう。また、照射した赤外光の成分と比べて外光成分が非常に多い場合には、照射した赤外光の成分を抽出することが困難である。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、外光の影響を低減させることができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置は、ユーザ側を撮影して得られた内向き画像に基づいて、前記内向き画像における外光の状態を内向き外光状態として検出する内向き状態検出部と、前記ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、前記外向き画像における外光の状態を外向き外光状態として検出する外向き状態検出部と、前記内向き外光状態の検出結果、および前記外向き外光状態の検出結果に応じて、前記内向き画像の明るさに関する明るさ調整処理を行う制御部と、前記明るさ調整処理が行われて得られた前記内向き画像に基づいて、前記ユーザの視線検出を行う認識処理部とを備える。
【００１１】
前記制御部には、前記内向き外光状態の検出結果および前記外向き外光状態の検出結果により示される外光の状態が第１の条件を満たす場合、前記明るさ調整処理を行わせることができる。
【００１２】
前記制御部には、前記明るさ調整処理として測光方式を変更させるようにすることができる。
【００１３】
前記制御部には、前記明るさ調整処理として前記内向き画像の露光時間を変更させるようにすることができる。
【００１４】
前記制御部には、前記明るさ調整処理として前記内向き画像に対して行われるゲイン調整処理のゲインを変更させるようにすることができる。
【００１５】
前記内向き画像を赤外画像とし、前記ユーザに対して赤外光を照射する１または複数の赤外投光部をさらに設けることができる。
【００１６】
前記制御部には、前記明るさ調整処理として点灯させる前記赤外投光部を変更させるようにすることができる。
【００１７】
前記制御部には、前記明るさ調整処理として点灯させる前記赤外投光部の数を変更させるようにすることができる。
【００１８】
前記制御部には、前記明るさ調整処理として前記赤外投光部により照射される赤外光の光量を変更させるようにすることができる。
【００１９】
前記制御部には、前記内向き外光状態の検出結果および前記外向き外光状態の検出結果により示される外光の状態が第２の条件を満たす場合、前記外向き画像に基づいて前記ユーザの視線検出を行わせることができる。
【００２０】
前記認識処理部には、前記内向き画像に基づいて虹彩認証を行わせることができる。
【００２１】
前記制御部には、前記内向き外光状態の検出結果および前記外向き外光状態の検出結果に基づいて、前記内向き画像における外光の映り込み領域を特定させ、前記認識処理部には、前記内向き画像から前記映り込み領域を除外して前記虹彩認証を行わせることができる。
【００２２】
本技術の一側面の画像処理方法またはプログラムは、ユーザ側を撮影して得られた内向き画像に基づいて、前記内向き画像における外光の状態を内向き外光状態として検出し、前記ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、前記外向き画像における外光の状態を外向き外光状態として検出し、前記内向き外光状態の検出結果、および前記外向き外光状態の検出結果に応じて、前記内向き画像の明るさに関する明るさ調整処理を行い、前記明るさ調整処理が行われて得られた前記内向き画像に基づいて、前記ユーザの視線検出を行うステップを含む。
【００２３】
本技術の一側面においては、ユーザ側を撮影して得られた内向き画像に基づいて、前記内向き画像における外光の状態が内向き外光状態として検出され、前記ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、前記外向き画像における外光の状態が外向き外光状態として検出され、前記内向き外光状態の検出結果、および前記外向き外光状態の検出結果に応じて、前記内向き画像の明るさに関する明るさ調整処理が行われ、前記明るさ調整処理が行われて得られた前記内向き画像に基づいて、前記ユーザの視線検出が行われる。
【発明の効果】
【００２４】
本技術の一側面によれば、外光の影響をより低減させることができる。
【００２５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００２６】
【図１】画像処理装置の構成例を示す図である。
【図２】外光状態レベルと視線検出について説明する図である。
【図３】映り込みと虹彩認証について説明する図である。
【図４】内向き画像と外向き画像の相関について説明する図である。
【図５】画像処理装置の機能的な構成例を示す図である。
【図６】虹彩認証処理を説明するフローチャートである。
【図７】視線検出処理を説明するフローチャートである。
【図８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２８】
〈第１の実施の形態〉
〈画像処理装置の構成例〉
本技術は、ユーザの頭部に装着可能な画像処理装置において、環境側、つまり外向き側における外光状態と、ユーザ側、つまり内向き側における外光状態とを検出し、それらの２つの外光状態の検出結果を用いることで、視線検出や虹彩認証などの画像を用いた処理における外光の影響をより低減させることができるようにするものである。
【００２９】
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００３０】
図１に示す画像処理装置１１は、ユーザの頭部に装着可能な眼鏡型のウェアラブルデバイスである。この例では、ユーザは右目ＥＹＲおよび左目ＥＹＬにより、装着した画像処理装置１１のレンズ部分に表示される画像を見たり、そのレンズ部分を介して外部の環境を見たりすることができるようになっている。
【００３１】
なお、以下では、画像処理装置１１から見てユーザ側、より詳細には画像処理装置１１のレンズに対してユーザの右目ＥＹＲおよび左目ＥＹＬ側を、単にユーザ側または内側とも称することとする。また、画像処理装置１１から見てユーザ側とは反対側、つまり環境側を、外側とも称することとする。さらに以下では、画像処理装置１１がユーザに対して照射する赤外光以外の光、すなわち太陽光などの環境光を外光と称することとする。
【００３２】
画像処理装置１１は、ユーザに対する虹彩認証や視線検出を行なったり、視線検出の結果等を用いて各種のアプリケーションプログラムを実行したりする。
【００３３】
また、画像処理装置１１は、外側の画像を撮影するための外向きカメラ２１と、内側の画像を撮影するための内向きカメラ２２−Ｒおよび内向きカメラ２２−Ｌとを有している。さらに、画像処理装置１１には、内側に向けて、ユーザの右目ＥＹＲおよび左目ＥＹＬに赤外光を照射する赤外投光部２３−１乃至赤外投光部２３−１２も設けられている。
【００３４】
なお、以下、内向きカメラ２２−Ｒおよび内向きカメラ２２−Ｌを特に区別する必要のない場合、単に内向きカメラ２２とも称することとする。また、以下、赤外投光部２３−１乃至赤外投光部２３−１２を特に区別する必要のない場合、単に赤外投光部２３とも称することとする。
【００３５】
外向きカメラ２１は、例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子からなり、外側にある被写体の可視光画像を撮影する。以下では、外向きカメラ２１により撮影された可視光の画像を、特に外向き画像とも称することとする。
【００３６】
内向きカメラ２２−Ｒおよび内向きカメラ２２−Ｌは、例えばCMOSイメージセンサ等の撮像素子からなる赤外カメラであり、それぞれ内側にあるユーザの右目ＥＹＲを含む領域および左目ＥＹＬを含む領域の赤外光の画像、すなわち赤外画像を撮影する。以下、内向きカメラ２２により撮影された赤外光の画像を、特に内向き画像とも称することとする。
【００３７】
赤外投光部２３−１乃至赤外投光部２３−１２は、例えばLED（Light Emitting Diode）などからなり、内側のユーザの右目ＥＹＲおよび左目ＥＹＬの部分に対して、赤外光を照射する。特に、この例では、ユーザの右目ＥＹＲに対向するレンズの外周を囲むように、６個の赤外投光部２３−１乃至赤外投光部２３−６が設けられている。同様に、ユーザの左目ＥＹＬに対向するレンズの外周を囲むように、６個の赤外投光部２３−７乃至赤外投光部２３−１２が設けられている。
【００３８】
したがって、内向き画像には、これらの赤外投光部２３により照射された赤外光の成分と、ユーザの目の部分に照射された外光のうちの赤外光成分とが含まれることになる。赤外投光部２３は角膜反射法によるユーザの視線検出のために用いられるものである。
【００３９】
〈視線検出と虹彩認証について〉
画像処理装置１１では、内向き画像に基づいて視線検出や虹彩認証が行われるが、その際、外向きカメラ２１と、内向きカメラ２２とが用いられて外光の状態が検出され、その検出結果に基づいて、視線検出や虹彩認証が行われる。
【００４０】
例えば外光の状態（以下、外光状態と称する）の検出時には、外向きカメラ２１が用いられて外光状態が検出されるとともに、内向きカメラ２２が用いられて外光状態が検出される。以下では、それらの外光状態を区別するため、特に外向きカメラ２１が用いられて検出される外光状態を外向き外光状態とも称することとし、内向きカメラ２２が用いられて検出される外光状態を内向き外光状態とも称することとする。
【００４１】
ここで、外光状態とは、例えば画像上における外光成分の分布など、画像上の各領域における外光成分の明るさに関する状態をいう。
【００４２】
画像処理装置１１は、それらの外向き外光状態の検出結果と、内向き外光状態の検出結果とに基づいて、適宜、明るさ調整処理として赤外光の照射に関する制御や露光制御、ゲイン調整などを行いながら視線検出を行う。
【００４３】
例えば視線検出時や虹彩認証時には、画像処理装置１１は、内向き外光状態として、図２に示すように内向き画像における、視線検出や虹彩認証に対する外光成分の影響度合いを示す外光状態レベルを検出する。
【００４４】
例えば図２に示すように、所定の時刻に撮影した内向き画像として、内向き画像Ｐ１１−Ｒおよび内向き画像Ｐ１１−Ｌが得られたとする。
【００４５】
ここで、内向き画像Ｐ１１−Ｒおよび内向き画像Ｐ１１−Ｌは、それぞれ内向きカメラ２２−Ｒおよび内向きカメラ２２−Ｌにより撮影された画像である。以下、内向き画像Ｐ１１−Ｒおよび内向き画像Ｐ１１−Ｌを特に区別する必要のない場合、単に内向き画像Ｐ１１とも称する。
【００４６】
また、内向き画像Ｐ１１とは異なる時刻に、内向き画像Ｐ１２−Ｒおよび内向き画像Ｐ１２−Ｌと、内向き画像Ｐ１３−Ｒおよび内向き画像Ｐ１３−Ｌとが撮影されたとする。
【００４７】
ここで、内向き画像Ｐ１２−Ｒおよび内向き画像Ｐ１２−Ｌは、それぞれ内向きカメラ２２−Ｒおよび内向きカメラ２２−Ｌにより撮影された画像であり、内向き画像Ｐ１３−Ｒおよび内向き画像Ｐ１３−Ｌも、それぞれ内向きカメラ２２−Ｒおよび内向きカメラ２２−Ｌにより撮影された画像である。
【００４８】
以下では、内向き画像Ｐ１２−Ｒおよび内向き画像Ｐ１２−Ｌを特に区別する必要のない場合、単に内向き画像Ｐ１２とも称し、内向き画像Ｐ１３−Ｒおよび内向き画像Ｐ１３−Ｌを特に区別する必要のない場合、単に内向き画像Ｐ１３とも称する。内向き画像Ｐ１１乃至内向き画像Ｐ１３は、それぞれ異なる時刻に撮影された画像である。
【００４９】
内向き画像Ｐ１１では、ユーザの目の部分が鮮明に映っており、このような内向き画像Ｐ１１を用いれば、十分に視線検出や虹彩認証を行うことができる状態となっている。例えば、内向き画像Ｐ１１−Ｌには、ユーザの瞳孔Ｅ１１と、所定の赤外投光部２３により照射（投光）された赤外光、つまり赤外光の輝点Ｙ１１とが映っており、これらの瞳孔Ｅ１１と輝点Ｙ１１との位置関係から、ユーザの視線方向を検出することが可能である。
【００５０】
このように外光の影響が生じない状態、すなわち瞳孔や虹彩、赤外光の輝点が十分鮮明に映っている状態である場合、画像処理装置１１は、外光成分の影響度合いを示す外光状態レベルがレベルＬ０であると判定する。
【００５１】
また、例えば内向き画像Ｐ１２−Ｒでは外光の影響は殆どなく、瞳孔や赤外光の輝点が十分鮮明に映っているが、内向き画像Ｐ１２−Ｌでは図中、右下の部分で反射光が映り込んでおり、赤外光の輝点も見えにくくなっている。
【００５２】
したがって内向き画像Ｐ１２−Ｌをそのまま用いたのでは正確な視線検出が困難であり、赤外光の輝点や瞳孔、虹彩がより鮮明となるように露光制御、ゲイン調整、赤外光の光量調節や照射位置の変更等の赤外光の照射制御などが必要となる。
【００５３】
内向き画像Ｐ１２のように何かしらの処理によって外光の影響を十分な程度まで低減させることが可能な状態、すなわち露光制御やゲイン調整、赤外光の照射制御などにより、視線検出や虹彩認証を行うことができる可能性がある状態である場合、画像処理装置１１は、外光成分の影響度合いを示す外光状態レベルがレベルＬ１であると判定する。
【００５４】
さらに、例えば内向き画像Ｐ１３−Ｒでは外光の影響は殆どなく、瞳孔や赤外光の輝点が十分鮮明に映っているが、内向き画像Ｐ１３−Ｌでは図中、右下の部分で反射光が大きく映り込んでおり、赤外光の輝点や虹彩が殆ど見えなくなっている。この場合、露光制御やゲイン調整、赤外光の照射制御を行っても視線検出や虹彩認証を行うことは困難である。
【００５５】
内向き画像Ｐ１３のように露光制御やゲイン調整、赤外光の照射制御では、視線検出や虹彩認証を行うことが困難である場合、画像処理装置１１は、外光成分の影響度合いを示す外光状態レベルがレベルＬ２であると判定する。
【００５６】
画像処理装置１１は、このようにして内向き画像に基づいて検出した内向き外光状態としての外光状態レベルを用いて視線検出や虹彩認証の処理を行う。
【００５７】
さらに、虹彩認証時には、内向き外光状態の検出結果と外向き外光状態の検出結果に加えて、例えば図３に示すように外光の映り込みが発生している領域である映り込み領域を特定し、その特定結果も用いて虹彩認証の処理を行う。
【００５８】
図３では、撮影により得られた内向き画像Ｐ２１−Ｒと内向き画像Ｐ２１−Ｌのうち、一方の内向き画像Ｐ２１−Ｒの一部の領域に外光による映り込みが発生している。
【００５９】
ここで、内向き画像Ｐ２１−Ｒおよび内向き画像Ｐ２１−Ｌは、それぞれ内向きカメラ２２−Ｒおよび内向きカメラ２２−Ｌにより撮影された画像である。以下、内向き画像Ｐ２１−Ｒおよび内向き画像Ｐ２１−Ｌを特に区別する必要のない場合、単に内向き画像Ｐ２１とも称する。
【００６０】
この例では、内向き画像Ｐ２１では殆どの虹彩部分が鮮明に映っているが、内向き画像Ｐ２１−Ｒにおける虹彩部分を含む領域に映り込みが発生している。ここで、矢印Ｑ１１に示す図は、内向き画像Ｐ２１−Ｒにおける領域Ｒ１１の部分を拡大表示した図を示している。矢印Ｑ１１に示す図から分かるように、ユーザの目の虹彩部分における図中、下側、つまり領域Ｒ１２の部分に外光による映り込みが発生している。
【００６１】
このように虹彩部分に映り込みが発生すると、その部分においては画像認識等により正しく虹彩認証を行うことが困難である。
【００６２】
そこで画像処理装置１１では、このような映り込み領域を除去して、すなわち処理対象の領域から除外して、虹彩認証を行うようにした。これにより、外光が強く、映り込みが発生している場合でも、外光の影響を低減させ、より正確に虹彩認証を行うことができる。
【００６３】
また、画像処理装置１１では、映り込み領域を特定したり、露光制御やゲイン調整、赤外光の照射制御を行うかを判定したりするときには、例えば図４に示すように外向き画像と内向き画像との相関関係が利用される。
【００６４】
すなわち、例えば図４の矢印Ｑ２１に示すようにユーザＵ１１が画像処理装置１１を装着しており、ユーザＵ１１の左前方に外光の光源となる太陽５１があったとする。
【００６５】
このような場合、例えば矢印Ｑ２２に示すように外向き画像ＯＰ１１と、内向き画像Ｐ３１−Ｒおよび内向き画像Ｐ３１−Ｌとが得られる。
【００６６】
ここで、内向き画像Ｐ３１−Ｒおよび内向き画像Ｐ３１−Ｌは、それぞれ内向きカメラ２２−Ｒおよび内向きカメラ２２−Ｌにより撮影された画像である。以下では、内向き画像Ｐ３１−Ｒおよび内向き画像Ｐ３１−Ｌを特に区別する必要のない場合、単に内向き画像Ｐ３１と称する。
【００６７】
この例では、ユーザＵ１１の左前方に太陽５１があるので、外向き画像ＯＰ１１の図中、左上側にも太陽５１が被写体として映っており、その近傍の輝度は高くなっている。
【００６８】
また、内向き画像Ｐ３１においても太陽５１の影響によって、ユーザＵ１１から見て太陽５１のある側の内向きカメラ２２−Ｌにより撮影された内向き画像Ｐ３１−Ｌの図中、左上側の輝度が高くなっている。これは、太陽５１からの強い光、つまり外光がユーザＵ１１の左目近傍や画像処理装置１１のつるの部分などで反射し、内向き画像Ｐ３１−Ｌに映り込んでしまうためである。
【００６９】
このように外向き画像ＯＰ１１と、内向き画像Ｐ３１とを比較すると、それらの明るさ（輝度）の分布には相関があることが分かる。
【００７０】
したがって、例えば外向き画像ＯＰ１１において、輝度が高い領域がある場合には、その領域に対応する内向き画像Ｐ３１の領域でも輝度が高くなることが推定できる。このような外向き画像ＯＰ１１と内向き画像Ｐ３１との相関関係を利用すれば、内向き画像Ｐ３１において映り込みが発生しているかや、その映り込みが発生している領域などを特定することができ、より適切に視線検出や虹彩認証を行うことができるようになる。
【００７１】
〈画像処理装置の機能的な構成例〉
続いて、図１に示した画像処理装置１１の機能的な構成例について説明する。図５は、画像処理装置１１の機能的な構成例を示すブロック図である。なお、図５において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００７２】
図５に示す画像処理装置１１は、外向きカメラ２１、信号処理部８１、制御部８２、外向き画像処理部８３、内向きカメラ２２、赤外投光部２３、信号処理部８４、制御部８５、内向き画像処理部８６、および上位制御部８７を有している。
【００７３】
信号処理部８１は、外向きカメラ２１から供給された外向き画像に対してデモザイク処理やゲイン調整処理、コントラスト調整処理、フォーマット変換処理などの各種の画像処理を施して、外向き画像処理部８３に供給する。制御部８２は、外向きカメラ２１による撮影を制御したり、信号処理部８１による画像処理を制御したりする。制御部８２は、必要に応じて信号処理部８１と各種の情報の授受を行う。
【００７４】
外向き画像処理部８３は、信号処理部８１から供給された外向き画像に基づいて、外向き外光状態の検出等を行う。外向き画像処理部８３は、認識処理部９１、外向き状態検出部９２、およびオプティカルフロー算出部９３を備えている。
【００７５】
認識処理部９１は、例えば外向き画像に対して物体認識を行い、画像処理装置１１からその画像処理装置１１の前方に位置する物体までの距離を算出する。このような物体認識を利用した物体までの距離の測定は、例えば画像処理装置１１が実行するアプリケーションプログラムの処理として行われる。
【００７６】
外向き状態検出部９２は、信号処理部８１から供給された外向き画像に基づいて外向き外光状態を検出し、その検出結果を上位制御部８７に供給する。
【００７７】
オプティカルフロー算出部９３は、信号処理部８１から供給された外向き画像に基づいて、オプティカルフローを算出し、その算出結果を上位制御部８７に供給する。このオプティカルフローは、例えば外光状態レベルがレベルＬ２である場合など、外光状態が所定の条件を満たす場合、すなわち内向き画像を用いた視線検出が困難である場合に、ユーザの視線方向を検出するのに利用される。
【００７８】
信号処理部８４は、内向きカメラ２２から供給された内向き画像に対してゲイン調整処理やコントラスト調整処理、フォーマット変換処理などの各種の画像処理を施して、内向き画像処理部８６に供給する。制御部８５は、上位制御部８７の制御に従って内向きカメラ２２による撮影を制御したり、信号処理部８４による画像処理を制御したりする。制御部８５は、必要に応じて信号処理部８４と各種の情報の授受を行う。
【００７９】
内向き画像処理部８６は、信号処理部８４から供給された内向き画像に基づいて、内向き外光状態の検出等を行う。内向き画像処理部８６は、内向き状態検出部１０１および認識処理部１０２を備えている。
【００８０】
内向き状態検出部１０１は、信号処理部８４から供給された内向き画像に基づいて内向き外光状態を検出し、その検出結果を上位制御部８７に供給する。認識処理部１０２は、信号処理部８４から供給された内向き画像に基づいて、視線検出や虹彩認証を行う。
【００８１】
上位制御部８７は、画像処理装置１１全体の動作を制御する。例えば上位制御部８７は、内向き外光状態の検出結果と、外向き外光状態の検出結果とに応じて赤外投光部２３や制御部８５を制御し、内向き画像の明るさに関する明るさ調整処理を行う。
【００８２】
〈虹彩認証処理の説明〉
次に、画像処理装置１１により行われる処理について説明する。
【００８３】
まず、図６のフローチャートを参照して、画像処理装置１１により行われる虹彩認証処理について説明する。この虹彩認証処理は、例えば画像処理装置１１がユーザに装着されたときや、ユーザにより画像処理装置１１が操作され、虹彩認証の実行が指示されたときなどに行われる。
【００８４】
ステップＳ１１において外向きカメラ２１および内向きカメラ２２は、撮影を開始する。
【００８５】
すなわち、外向きカメラ２１は、制御部８２の制御に従って外向き画像を撮影し、撮影により得られた外向き画像を順次、信号処理部８１に供給する。また、信号処理部８１は、外向きカメラ２１から供給された外向き画像に対してデモザイク処理やゲイン調整処理、コントラスト調整処理、フォーマット変換処理などの各種の画像処理を施して、外向き画像処理部８３に供給する。
【００８６】
また、内向きカメラ２２は、制御部８５の制御に従って内向き画像を撮影し、撮影により得られた内向き画像を順次、信号処理部８４に供給する。また、信号処理部８４は、内向きカメラ２２から供給された内向き画像に対してゲイン調整処理やコントラスト調整処理、フォーマット変換処理などの各種の画像処理を施して、内向き画像処理部８６に供給する。なお、虹彩認証処理時には、赤外投光部２３による赤外光の照射は行われない。
【００８７】
ステップＳ１２において、画像処理装置１１は、虹彩認証用相関処理を行う。
【００８８】
例えば、外向き状態検出部９２は、信号処理部８１から供給された外向き画像を複数の分割領域に分割し、分割領域ごとに輝度値（画素値）のヒストグラム、すなわち明るさのヒストグラムを生成する。そして、外向き状態検出部９２は、生成した各分割領域のヒストグラムをからなる情報を、外向き外光状態の検出結果として上位制御部８７に供給する。
【００８９】
このようにして得られる外向き画像の各分割領域のヒストグラムからなる情報は、外向き画像における各領域の輝度分布（明るさの分布）を示す情報である。以下では、外向き画像の各分割領域のヒストグラムからなる情報を、外向き明るさマップとも称することとする。
【００９０】
また、内向き状態検出部１０１は、信号処理部８４から供給された内向き画像を複数の分割領域に分割し、分割領域ごとに輝度値のヒストグラムを生成する。そして、内向き状態検出部１０１は、生成した各分割領域のヒストグラムをからなる情報を、内向き外光状態の検出結果として上位制御部８７に供給する。
【００９１】
このようにして得られる内向き画像の各分割領域のヒストグラムからなる情報は、内向き画像における各領域の輝度分布を示す情報である。以下では、内向き画像の各分割領域のヒストグラムからなる情報を、内向き明るさマップとも称することとする。
【００９２】
なお、外向き画像および内向き画像を複数の分割領域に分割する際には、それらの画像が同じ大きさの分割領域に分割されるようにしてもよいし、領域によって異なる大きさの分割領域に分割されるようにしてもよい。この場合、例えば内向き画像には、被写体としてユーザの目の部分が映っているので、ユーザの目の虹彩部分が映っているであろう領域が他の領域よりも小さい分割領域に分割されるようにしてもよい。
【００９３】
さらに、上位制御部８７は、外向き状態検出部９２から供給された外向き明るさマップと、内向き状態検出部１０１から供給された内向き明るさマップとを対応付けて虹彩認証用相関情報として保持する。このようにして得られた虹彩認証用相関情報は、外向き画像と内向き画像との明るさの相関関係を示す情報である。
【００９４】
また、上位制御部８７は、虹彩認証用相関情報と、画像処理装置１１としての眼鏡型のウェアラブルデバイスの構造とから、内向き画像において、外光の映り込みが発生すると推定される領域である推定映り込み領域を特定し、その特定結果を推定映り込み領域情報として保持する。
【００９５】
例えば、上位制御部８７は、虹彩認証用相関情報に含まれる外向き明るさマップにおいて、周囲の分割領域と比較して大幅に明るい、つまり大幅に輝度の高い領域を特定する。
【００９６】
具体的には、例えば他の分割領域のヒストグラムと比較して、頻度値が最大となる輝度（レベル）が所定値以上大きかったり、輝度分布の幅、つまり頻度値が高い部分の輝度（レベル）方向の幅が大きかったりする分割領域が大幅に輝度の高い領域とされる。
【００９７】
また、例えば全分割領域または周辺の分割領域における輝度の平均値または代表値と、所定の分割領域の輝度の平均値または代表値との差分が閾値以上となる場合、その所定の分割領域が大幅に輝度の高い領域とされてもよい。
【００９８】
上位制御部８７は、外向き画像における大幅に輝度の高い領域と、画像処理装置１１の構造とから、内向き画像における映り込みが発生するであろう分割領域を特定し、その分割領域を推定映り込み領域の候補とする。
【００９９】
さらに、上位制御部８７は、虹彩認証用相関情報に含まれる内向き明るさマップにおける、推定映り込み領域の候補となる領域のヒストグラムと、その候補となる領域の周囲の分割領域のヒストグラムとを比較し、その比較結果に基づいて最終的な推定映り込み領域を特定する。例えば、候補となる領域が周囲の分割領域よりも明るい場合や、候補となる領域におけるヒストグラムにより示される輝度分布が、周囲の分割領域における輝度分布と異なる場合などに、その候補となる領域が推定映り込み領域であるとされる。
【０１００】
ここで、輝度分布が異なるとは、例えば周囲の分割領域のヒストグラムと比較して、頻度値が最大となる輝度（レベル）が異なっていたり、頻度値が高い部分の輝度方向の幅が大きかったりすることなどである。
【０１０１】
なお、内向き画像には主にユーザの目の部分が被写体として映っているので、その眼の部分の輝度分布のパターンは予め予測可能である。そこで、推定される輝度分布のパターン、つまり推定される各分割領域のヒストグラムを参照パターンとして保持しておき、推定映り込み領域の候補となる領域の実際のヒストグラムと、その候補となる領域と同じ位置にある参照パターンの分割領域のヒストグラムとを比較して、最終的に推定映り込み領域とするかを定めてもよい。また、参照パターンと、内向き明るさマップとを比較して、推定映り込み領域を特定してもよい。
【０１０２】
このような虹彩認証用相関情報や推定映り込み領域情報を求めて保持する虹彩認証用相関処理は、外光状態の検出のためのキャリブレーションを行う処理であるということができる。以降においては、虹彩認証用相関情報が初期状態を示すキャリブレーション情報として用いられる。虹彩認証用相関処理は、より詳細には、例えばユーザが画像処理装置１１を装着したときなどのタイミングで行われる。
【０１０３】
虹彩認証用相関処理が行われると、その後、虹彩認証を行うタイミングでステップＳ１３の処理が行われる。すなわち、ステップＳ１３において、外向き状態検出部９２は、信号処理部８１から供給された外向き画像に基づいて外向き外光状態を検出し、その検出結果を上位制御部８７に供給する。
【０１０４】
例えば、外向き状態検出部９２は、ステップＳ１２における場合と同様に、外向き画像の複数の分割領域ごとに輝度値のヒストグラムを生成することで外向き明るさマップを生成し、得られた外向き明るさマップを外向き外光状態の検出結果とする。ここで、外向き画像の複数の分割領域への分割方法は、ステップＳ１２における場合と同様とされる。
【０１０５】
このようにして得られた外向き明るさマップは、外向き画像における外光の状態を示す情報である。
【０１０６】
ステップＳ１４において、内向き状態検出部１０１は、信号処理部８４から供給された内向き画像に基づいて内向き外光状態を検出する。
【０１０７】
例えば、内向き状態検出部１０１は、ステップＳ１２における場合と同様に、内向き画像の複数の分割領域ごとに輝度値のヒストグラムを生成することで内向き明るさマップを生成する。ここで、内向き画像の複数の分割領域への分割方法は、ステップＳ１２における場合と同様とされる。このようにして得られた内向き明るさマップは、内向き画像における外光の状態を示す情報である。
【０１０８】
また、内向き状態検出部１０１は、内向き明るさマップに基づいて、内向き画像の外光状態レベルを判定する。
【０１０９】
例えば内向き状態検出部１０１は、外光がない状態における内向き明るさマップを予め保持しており、予め保持している内向き明るさマップと、生成した内向き明るさマップとを比較することで、虹彩認証や視線検出に対する外光の影響度合いを算出する。
【０１１０】
例えば外光の影響度合いは、予め保持している内向き明るさマップと、生成した内向き明るさマップとの同じ位置の分割領域における輝度値の平均値または代表値の差分、各ビンの頻度値の差分などに基づいて分割領域ごとに算出される。そして、分割領域ごとに得られた影響度合いに基づいて、内向き画像全体の影響度合いが最終的な外光の影響度合いとして算出される。このとき、分割領域の位置に応じて重み付けなどが行われてもよい。このようにして求められる影響度合いは、内向き明るさマップにより示される輝度分布、つまり輝度のパターンから求められるということができる。
【０１１１】
内向き状態検出部１０１は、このようにして算出された外光の影響度合いと、予め定めた閾値とを比較することで、つまり影響度合いに対する閾値処理を行うことで、現在における外光状態レベルを特定する。
【０１１２】
内向き状態検出部１０１は、このようにして得られた内向き明るさマップと外光状態レベルとを内向き外光状態の検出結果として上位制御部８７に供給する。
【０１１３】
ステップＳ１５において、上位制御部８７は、内向き状態検出部１０１から供給された内向き外光状態の検出結果に基づいて、虹彩認証が可能であるか否かを判定する。
【０１１４】
例えば上位制御部８７は、内向き外光状態の検出結果として供給された外光状態レベルがレベルＬ０である場合、虹彩認証が可能であると判定する。
【０１１５】
ここでは、例えば外光状態レベルがレベルＬ０である場合には正常に虹彩認証をすることができるが、外光状態レベルがレベルＬ１やレベルＬ２である場合には、外光が強いので高精度に虹彩認証を行うことができないと判定される。
【０１１６】
なお、内向き外光状態および外向き外光状態の検出結果により示される外光状態が所定の条件を満たすか否か、つまり内向き外光状態および外向き外光状態の検出結果から所定の条件が満たされるかに応じて虹彩認証が可能であるかを判定してもよい。
【０１１７】
ステップＳ１５において虹彩認証が可能でないと判定された場合、虹彩認証は行われず、虹彩認証処理は終了する。この場合、例えば上位制御部８７が、さらに上位の制御部に虹彩認証できない旨の情報を出力し、その旨の情報が画像処理装置１１のレンズ部分に重畳して設けられた表示部に表示されるなどしてもよい。
【０１１８】
一方、ステップＳ１５において虹彩認証が可能であると判定された場合、ステップＳ１６において、上位制御部８７は内向き画像に外光の映り込みがあるか否かを判定する。
【０１１９】
例えば上位制御部８７は、保持している虹彩認証用相関情報および推定映り込み領域情報と、ステップＳ１３の処理で供給された外向き外光状態の検出結果としての外向き明るさマップと、ステップＳ１４の処理で供給された内向き外光状態の検出結果としての内向き明るさマップとに基づいて映り込みがあるかの判定を行う。
【０１２０】
具体的には、例えば上位制御部８７は、ステップＳ１３で得られた外向き明るさマップと、ステップＳ１４の処理で得られた内向き明るさマップとから、周囲の領域とは異なる異常領域を検出する。
【０１２１】
ここで、異常領域とは、例えば周囲の分割領域のヒストグラムと比較して、頻度値が最大となる輝度（レベル）が所定値以上大きかったり、輝度分布の幅、つまり頻度値が高い部分の輝度（レベル）方向の幅が大きかったりする分割領域などとされる。また、例えば分割領域における輝度値の平均値または代表値が閾値以上となる領域が異常領域とされてもよい。
【０１２２】
上位制御部８７は、外向き明るさマップから検出された異常領域と、内向き明るさマップから検出された異常領域とに相関関係があるかを判定する。
【０１２３】
ここで、外向き明るさマップから検出された異常領域を検出領域ＯＲとし、内向き明るさマップから検出された異常領域を検出領域ＩＲとする。
【０１２４】
上位制御部８７は虹彩認証用相関情報に含まれる外向き明るさマップにおける検出領域ＯＲと同じ位置の領域ＯＴが、周囲の領域と比較して明るかったり輝度分布が異なっていたりする領域であり、かつ虹彩認証用相関情報に含まれる内向き明るさマップにおける検出領域ＩＲと同じ位置の領域ＩＴが、周囲の領域と比較して明るかったり輝度分布が異なっていたりする領域である場合、相関があると判定する。
【０１２５】
このように相関の有無の判定は、検出領域ＯＲと検出領域ＩＲの位置および輝度分布について相関があるか否かに基づいて行われる。
【０１２６】
さらに、上位制御部８７は、検出領域ＯＲと相関関係があるとされた検出領域ＩＲが、保持している推定映り込み領域情報により示される領域と同じ位置の領域である場合、検出領域ＩＲは、外光の映り込み領域であるとする。
【０１２７】
このように、外向き画像と内向き画像の相関関係を示す虹彩認証用相関情報や、推定映り込み領域情報を用いて映り込み領域を検出することで、外光がそれほど強くない状態でも高精度に映り込み領域を特定することができる。
【０１２８】
なお、上述した参照パターンを予め保持している場合には、その参照パターンを用いて映り込み領域を検出するようにしてもよい。
【０１２９】
そのような場合、上位制御部８７は、例えば予め保持している参照パターンと、実際に内向き外光状態として検出された内向き画像の各分割領域のヒストグラムとを比較して、予め保持している参照パターンとは輝度分布が異なる分割領域を特定する。そして、上位制御部８７は、特定した分割領域が推定映り込み領域情報により示される領域と同じ位置の領域である場合、その特定した領域は映り込み領域であるとする。
【０１３０】
このとき、虹彩認証用相関情報から外向き外光状態の検出結果と、内向き外光状態の検出結果とに相関がある場合に、特定された領域が最終的に映り込み領域とされるようにしてもよい。
【０１３１】
以上のようにして内向き画像から映り込み領域が検出された場合、ステップＳ１６において映り込みがあると判定される。
【０１３２】
ステップＳ１６において、映り込みがあると判定された場合、上位制御部８７は、映り込み領域を示す情報を認識処理部１０２に供給し、処理はステップＳ１７へと進む。
【０１３３】
ステップＳ１７において、認識処理部１０２は、信号処理部８４から供給された内向き画像から、上位制御部８７から供給された情報により示される映り込み領域を除去して虹彩認証を行う。
【０１３４】
例えば認識処理部１０２は、内向き画像から映り込み領域を除去し、内向き画像の残った領域に対して、予め保持している特徴量等からなる辞書などを用いたパターン認識により虹彩認証を行う。このように内向き画像における映り込み領域を処理対象から除外して虹彩認証を行うことで、外光の影響を低減させ、より正確に虹彩認証を行うことができる。認識処理部１０２は虹彩認証を行うと、その認証結果を出力し、虹彩認証処理は終了する。
【０１３５】
これに対して、ステップＳ１６において映り込みがないと判定された場合、上位制御部８７は映り込みがない旨の情報を認識処理部１０２に供給し、処理はステップＳ１８へと進む。
【０１３６】
ステップＳ１８において、認識処理部１０２は、信号処理部８４から供給された内向き画像に基づいて虹彩認証を行う。
【０１３７】
例えば認識処理部１０２は、上位制御部８７から供給された映り込みがない旨の情報に応じて、内向き画像全体を処理対象として、予め保持している特徴量等からなる辞書などを用いたパターン認識により虹彩認証を行う。認識処理部１０２は虹彩認証を行うと、その認証結果を出力し、虹彩認証処理は終了する。
【０１３８】
以上のようにして、画像処理装置１１は、外向き外光状態と内向き外光状態の検出結果を用いて、内向き画像に外光の映り込みがあるかを特定し、映り込みがある場合には内向き画像から映り込み領域を除外し、虹彩認証を行う。これにより、外光の影響を低減させ、より正確に虹彩認証を行うことができる。
【０１３９】
〈視線検出処理の説明〉
次に、図７のフローチャートを参照して、画像処理装置１１により行われる視線検出処理について説明する。この視線検出処理は、例えば画像処理装置１１において、ユーザの視線方向を利用するアプリケーションプログラムが起動されたときなどに行われる。
【０１４０】
ステップＳ４１において、外向きカメラ２１および内向きカメラ２２は、撮影を開始する。ステップＳ４１では、図６のステップＳ１１と同様の処理が行われ、外向き画像および内向き画像の撮影が開始される。また、上位制御部８７は赤外投光部２３を制御して、ユーザに対して赤外光を照射させる。
【０１４１】
ステップＳ４２において、画像処理装置１１は、視線検出用相関処理を行う。
【０１４２】
例えば外向き状態検出部９２は、図６のステップＳ１２の処理と同様の処理を行って外向き明るさマップを生成し、外向き外光状態の検出結果として上位制御部８７に供給する。このとき、例えば外向き画像を複数の分割領域に分割する際の各分割領域の大きさは、図６のステップＳ１２における虹彩認証用相関処理の外向き明るさマップの生成時よりも大きくなるようにされてもよい。
【０１４３】
また、内向き状態検出部１０１は、図６のステップＳ１２の処理と同様の処理を行って内向き明るさマップを生成し、内向き外光状態の検出結果として上位制御部８７に供給する。内向き明るさマップの場合においても、例えば内向き画像を複数の分割領域に分割する際の各分割領域の大きさは、図６のステップＳ１２における虹彩認証用相関処理の内向き明るさマップの生成時よりも大きくなるようにされてもよい。
【０１４４】
上位制御部８７は、外向き状態検出部９２から供給された外向き明るさマップと、内向き状態検出部１０１から供給された内向き明るさマップとを対応付けて視線検出用相関情報として保持する。このようにして得られた視線検出用相関情報は、外向き画像と内向き画像との明るさの相関関係を示す情報である。
【０１４５】
以上のような視線検出用相関情報を求めて保持する視線検出用相関処理は、外光状態の検出のためのキャリブレーションを行う処理であるということができる。視線検出用相関処理は、より詳細には、例えばユーザが画像処理装置１１を装着したときなどのタイミングで行われる。
【０１４６】
視線検出用相関処理が行われると、その後、ユーザの視線の検出を開始するタイミングでステップＳ４３およびステップＳ４４の処理が行われるが、これらの処理は図６のステップＳ１３およびステップＳ１４の処理と同様であるので、その説明は省略する。
【０１４７】
ステップＳ４５において、上位制御部８７は、ステップＳ４３で得られた外向き外光状態の検出結果と、ステップＳ４４で得られた内向き外光状態の検出結果とに基づいて、視線検出を行うのに外光の影響があるか否かを判定する。
【０１４８】
例えば上位制御部８７は、ステップＳ４４で得られた外光状態レベルがレベルＬ０であり、かつステップＳ４３で得られた外向き明るさマップに基づいて、外向き画像の明るさが一定レベル以下の明るさである場合、外光の影響がないと判定する。
【０１４９】
例えば外向き明るさマップにおける各分割領域のヒストグラムに基づいて分割領域ごとの輝度（明るさ）の平均値または代表値が分割領域の明るさとして求められ、さらに全分割領域の明るさの平均値や代表値、積算値などが求められて外向き画像の明るさとされる。
【０１５０】
ここでいう外光の影響があるとは、内向き画像をそのまま用いたのでは視線検出を正確に行うことができない程度に外光の影響がある場合である。なお、外光の影響があるか否かの判定は、ここで示した例に限定されず、外向き明るさマップや内向き明るさマップ、外光状態レベルなどにより示される外光状態が所定の条件を満たしているか否かに基づいて行えばよい。
【０１５１】
ステップＳ４５において外光の影響がないと判定された場合、ステップＳ４６において、認識処理部１０２は、信号処理部８４から供給された内向き画像に基づいて視線検出を行い、その検出結果を出力する。
【０１５２】
例えば認識処理部１０２は、内向き画像から画像認識等により赤外投光部２３によりユーザに照射された赤外光の領域、つまり赤外光の輝点と、ユーザの瞳孔とを検出する。そして、認識処理部１０２は、内向き画像における、検出された１または複数の赤外光の輝点と、ユーザの瞳孔との位置関係に基づいてユーザの視線方向を検出し、その視線方向を視線検出の検出結果とする。
【０１５３】
視線検出が行われると、その後、処理はステップＳ５０へと進む。
【０１５４】
これに対して、ステップＳ４５において外光の影響があると判定された場合、ステップＳ４７において、上位制御部８７は、外光の影響が少ないか否かを判定する。
【０１５５】
すなわち、上位制御部８７は、ステップＳ４３で得られた外向き外光状態の検出結果と、ステップＳ４４で得られた内向き外光状態の検出結果と、保持している視線検出用相関情報とに基づいて、外光の影響が少ないか否かを判定する。ここで、外光の影響が少ないとは、後述する明るさ調整処理を行うことによって、視線検出を行うことができる程度に外光の視線検出に対する影響が少ないことをいう。
【０１５６】
例えば上位制御部８７は、ステップＳ４３で得られた外向き明るさマップにより示される輝度分布と、ステップＳ４４で得られた内向き明るさマップにより示される輝度分布の関係が、視線検出用相関情報としての外向き明るさマップにより示される輝度分布および内向き明るさマップにより示される輝度分布の関係と類似しているか、つまり輝度分布の相関があるかを特定する。
【０１５７】
換言すれば、ステップＳ４３で得られた外向き明るさマップの輝度分布と、視線検出用相関情報としての外向き明るさマップの輝度分布が同じであり、かつステップＳ４４で得られた内向き明るさマップの輝度分布と、視線検出用相関情報としての内向き明るさマップの輝度分布が同じである場合に、輝度分布の相関があるとされる。
【０１５８】
上位制御部８７は、輝度分布の相関があり、かつステップＳ４４で得られた内向き外光状態の検出結果としての外光状態レベルがレベルＬ０またはレベルＬ１である場合、外光の影響が少ないと判定する。
【０１５９】
なお、外光の影響が少ないかの判定は、ステップＳ４３で得られた外向き外光状態の検出結果と、ステップＳ４４で得られた内向き外光状態の検出結果と、保持している視線検出用相関情報とから、所定の条件が満たされるかを特定することにより行われればよい。すなわち、外光の影響が少ないかの判定は、ここで示した例に限定されず、外向き外光状態の検出結果や内向き外光状態の検出結果などにより示される外光の状態が所定の条件を満たすか否かを判定することにより行えばよい。
【０１６０】
ステップＳ４７において外光の影響が少ないと判定された場合、ステップＳ４８において、上位制御部８７は、ステップＳ４３で得られた外向き外光状態の検出結果と、ステップＳ４４で得られた内向き外光状態の検出結果との少なくとも何れか一方に基づいて、明るさ調整処理を行う。ここで、明るさ調整処理とは、内向き画像の明るさに関する処理、つまり内向き画像の明るさを調整する処理である。
【０１６１】
具体的には、例えば上位制御部８７は赤外投光部２３を制御して、明るさ調整処理として赤外投光部２３の点灯および消灯や、赤外光の照射量（光量）の調節を行う。すなわち、上位制御部８７は、点灯させる赤外投光部２３を変更したり、赤外投光部２３の点灯数を変更したり、赤外投光部２３により照射される赤外光の光量を変更したりする。
【０１６２】
具体的には、上位制御部８７は、内向き画像における明るい領域内に所定の赤外投光部２３から照射された赤外光が映っている場合、つまり内向き外光状態の検出結果から求まる所定の明るさ以上の領域内に赤外光の輝点がある場合、その赤外光の光量が増加するように赤外投光部２３を制御する。これにより、内向き画像の明るい領域でもより正確に赤外光の輝点を特定することができるようになり、外光の影響を低減させることができる。
【０１６３】
また、例えば内向き画像における所定の明るさ以上の領域内に赤外投光部２３から照射された赤外光が映っていた場合、上位制御部８７が、その赤外光を出力する赤外投光部２３による赤外光の照射を停止させたり、内向き画像の所定の明るさ未満の領域内に赤外光が映るように、他の赤外投光部２３に赤外光を照射させたりしてもよい。このように、赤外投光部２３の点灯や消灯、赤外光の照射位置を変更することでも外光の影響を低減させることができる。また、赤外光の輝点の検出が困難となる明るさの領域に対応する被写体部分には赤外光が照射されないように赤外投光部２３を消灯させれば、消費電力を低減させることもできる。
【０１６４】
ここで、内向き画像における、赤外光の照射対象から除外されたり、赤外光の光量増加の対象とされたりする領域は、例えば内向き外光状態の検出結果のみから特定された、所定の明るさ以上の領域とされてもよいし、内向き外光状態の検出結果のみならず外向き外光状態の検出結果や推定映り込み領域情報も用いられて特定された領域とされてもよい。例えば虹彩認証処理で得られた推定映り込み領域情報により示される推定映り込み領域において、赤外光の輝点がより鮮明になるようにしたり、推定映り込み領域を赤外光照射の対象外としたりすれば、外光の影響を効果的に低減させることができる。
【０１６５】
さらに、例えば上位制御部８７は、明るさ調整処理として制御部８５を制御し、測光方式を変更させてもよい。
【０１６６】
一例として、例えば外向き外光状態および内向き外光状態の検出結果から、外向き画像に明るい領域があり、その明るい領域と相関のある内向き画像の領域も明るく、その領域の位置が内向き画像の端近傍の領域である場合には、測光方式をスポット測光方式に変更することが考えられる。ここで、スポット測光方式とは、内向き画像における中心付近の領域のみの輝度情報（輝度レベル）から、露光時間、内向き画像全体に対するゲイン調整のゲインやコントラスト調整のパラメータなどの明るさ情報を決定する測光方式である。
【０１６７】
この場合、例えば制御部８５は、信号処理部８４から供給された内向き画像の中心近傍の領域の輝度レベルに基づいて、スポット測光方式により明るさ情報を決定する。そして、制御部８５は、決定した明るさ情報としての露光時間に従って内向きカメラ２２に撮影を行わせたり、明るさ情報としてのゲインやパラメータに従って、信号処理部８４に、内向き画像処理部８６へと出力する内向き画像に対するゲイン調整処理やコントラスト調整処理を行わせたりする。
【０１６８】
これにより、露光時間をより短い時間に変更したり、ゲイン調整のゲインやコントラスト調整のパラメータを適切に変更したりして、内向き画像における赤外光の輝点や瞳孔がより適切な明るさで鮮明に映るようにすることができ、外光の影響を低減させることができる。
【０１６９】
以上のようにして明るさ調整処理が行われると、その後、処理はステップＳ４６へと進み、上述した視線検出が行われる。この場合、明るさ調整が行われて得られた内向き画像、すなわち明るさ調整処理が行われた後に撮影された内向き画像に基づいて視線検出が行われるので、外光の影響を低減させ、より正確にユーザの視線方向を検出することができる。
【０１７０】
また、ステップＳ４７において外光の影響が少ないと判定されなかった場合、すなわち外光の影響により内向き画像から十分な精度で視線方向を検出することができない場合、処理はステップＳ４９へと進む。
【０１７１】
ステップＳ４９において、上位制御部８７は外向き画像に基づいて視線検出を行う。すなわち、オプティカルフロー算出部９３は、信号処理部８１から供給された外向き画像に基づいてオプティカルフローを算出し、その算出結果を上位制御部８７に供給する。また、上位制御部８７は、オプティカルフロー算出部９３から供給されたオプティカルフローに基づいて外向きカメラ２１の動きを求めるとともに、その動きをユーザの視線の動きとしてユーザの視線方向を算出し、その算出結果を視線検出の結果として出力する。
【０１７２】
外向き画像から検出されるオプティカルフローは被写体の動きを示している。また、ユーザが視線を動かし始めたときに、その視線の変化する方向にユーザの頭部、つまり外向きカメラ２１も動くことが多い。そこで、外向き画像にける被写体の動きが外向きカメラ２１の動き、つまり外向きカメラ２１の撮影方向の変化から生じたものとして捉えれば、オプティカルフローから、おおよそのユーザの視線の動きを検出することができる。
【０１７３】
外光の影響が大きく、内向き画像からはユーザの視線を検出することが困難であるときには、一時的にオプティカルフローから求めたユーザの視線方向を視線検出の結果として用いれば、継続して視線検出を行うことができる。すなわち、視線の追従を途切れさせることなく行うことができる。
【０１７４】
このようにしてオプティカルフローからユーザの視線方向が検出されると、その後、処理はステップＳ５０へと進む。
【０１７５】
ステップＳ４９またはステップＳ４６において視線検出が行われると、ステップＳ５０において上位制御部８７は、処理を終了するか否かを判定する。例えば視線検出を利用するアプリケーションプログラムの終了が指示され、視線検出を終了させる場合などに処理を終了すると判定される。
【０１７６】
ステップＳ５０において処理を終了しないと判定された場合、処理はステップＳ４３に戻り、上述した処理が繰り返し行われる。これに対して、ステップＳ５０において終了すると判定された場合、視線検出処理は終了する。
【０１７７】
以上のようにして画像処理装置１１は、外向き外光状態と内向き外光状態の検出結果に応じて、適宜、明るさ調整処理を行ってから視線検出を行う。このように、外光の状態に応じて適宜明るさ調整処理を行うことで外光の影響を低減させ、より正確にユーザの視線を検出することができる。
【０１７８】
なお、図６を参照して説明した虹彩認証処理においても、適宜、明るさ調整処理が行われるようにしてもよい。この場合、明るさ調整処理により、虹彩認証に用いることのできる内向き画像の領域、つまり認識可能領域をより大きくすることができる。
【０１７９】
また、以上においては本技術を眼鏡型のウェアラブルデバイスに適用する場合について説明した。しかし、本技術は、その他、内向きカメラとしてのウェブカメラなどによりユーザの虹彩認証や視線検出を行うパーソナルコンピュータなど、ユーザ側を内向き側として内向き画像を撮影する内向きカメラと、ユーザ側とは反対側を外向き側として外向き画像を撮影する外向きカメラとの複数の撮影部を有するシステムや電子機器に適用可能である。
【０１８０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８１】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８２】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１８３】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１８４】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０１８５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８７】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１８８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９３】
さらに、本技術は、以下の構成とすることも可能である。
【０１９４】
（１）
ユーザ側を撮影して得られた内向き画像に基づいて、前記内向き画像における外光の状態を内向き外光状態として検出する内向き状態検出部と、
前記ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、前記外向き画像における外光の状態を外向き外光状態として検出する外向き状態検出部と、
前記内向き外光状態の検出結果、および前記外向き外光状態の検出結果に応じて、前記内向き画像の明るさに関する明るさ調整処理を行う制御部と、
前記明るさ調整処理が行われて得られた前記内向き画像に基づいて、前記ユーザの視線検出を行う認識処理部と
を備える画像処理装置。
（２）
前記制御部は、前記内向き外光状態の検出結果および前記外向き外光状態の検出結果により示される外光の状態が第１の条件を満たす場合、前記明るさ調整処理を行う
（１）に記載の画像処理装置。
（３）
前記制御部は、前記明るさ調整処理として測光方式を変更する
（１）または（２）に記載の画像処理装置。
（４）
前記制御部は、前記明るさ調整処理として前記内向き画像の露光時間を変更する
（１）または（２）に記載の画像処理装置。
（５）
前記制御部は、前記明るさ調整処理として前記内向き画像に対して行われるゲイン調整処理のゲインを変更する
（１）または（２）に記載の画像処理装置。
（６）
前記内向き画像は赤外画像であり、
前記ユーザに対して赤外光を照射する１または複数の赤外投光部をさらに備える
（１）乃至（５）の何れか一項に記載の画像処理装置。
（７）
前記制御部は、前記明るさ調整処理として点灯させる前記赤外投光部を変更する
（６）に記載の画像処理装置。
（８）
前記制御部は、前記明るさ調整処理として点灯させる前記赤外投光部の数を変更する
（６）または（７）に記載の画像処理装置。
（９）
前記制御部は、前記明るさ調整処理として前記赤外投光部により照射される赤外光の光量を変更する
（６）乃至（８）の何れか一項に記載の画像処理装置。
（１０）
前記制御部は、前記内向き外光状態の検出結果および前記外向き外光状態の検出結果により示される外光の状態が第２の条件を満たす場合、前記外向き画像に基づいて前記ユーザの視線検出を行う
（１）乃至（９）の何れか一項に記載の画像処理装置。
（１１）
前記認識処理部は、前記内向き画像に基づいて虹彩認証を行う
（１）乃至（１０）の何れか一項に記載の画像処理装置。
（１２）
前記制御部は、前記内向き外光状態の検出結果および前記外向き外光状態の検出結果に基づいて、前記内向き画像における外光の映り込み領域を特定し、
前記認識処理部は、前記内向き画像から前記映り込み領域を除外して前記虹彩認証を行う
（１１）に記載の画像処理装置。
（１３）
ユーザ側を撮影して得られた内向き画像に基づいて、前記内向き画像における外光の状態を内向き外光状態として検出し、
前記ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、前記外向き画像における外光の状態を外向き外光状態として検出し、
前記内向き外光状態の検出結果、および前記外向き外光状態の検出結果に応じて、前記内向き画像の明るさに関する明るさ調整処理を行い、
前記明るさ調整処理が行われて得られた前記内向き画像に基づいて、前記ユーザの視線検出を行う
ステップを含む画像処理方法。
（１４）
ユーザ側を撮影して得られた内向き画像に基づいて、前記内向き画像における外光の状態を内向き外光状態として検出し、
前記ユーザ側とは反対側を撮影して得られた外向き画像に基づいて、前記外向き画像における外光の状態を外向き外光状態として検出し、
前記内向き外光状態の検出結果、および前記外向き外光状態の検出結果に応じて、前記内向き画像の明るさに関する明るさ調整処理を行い、
前記明るさ調整処理が行われて得られた前記内向き画像に基づいて、前記ユーザの視線検出を行う
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１９５】
１１  画像処理装置，  ２１  外向きカメラ，  ２２−Ｒ，２２−Ｌ，２２  内向きカメラ，  ２３−１乃至２３−１２，２３  赤外投光部，  ８３  外向き画像処理部，  ８６  内向き画像処理部，  ８７  上位制御部，  ９２  外向き状態検出部，  ９３  オプティカルフロー算出部，  １０１  内向き状態検出部，  １０２  認識処理部
【図１】
2017144086.tif 000003
【図２】
2017144086.tif 000004
【図３】
2017144086.tif 000005
【図４】
2017144086.tif 000006
【図５】
2017144086.tif 000007
【図６】
2017144086.tif 000008
【図７】
2017144086.tif 000009
【図８】
2017144086.tif 000010