(57)【要約】【課題】  瞳孔画像の中心と角膜反射光の中心を正確に検出して、視線方向を高精度に検出できるようにした視線検出装置を提供する。【解決手段】  顔検出ステップにおいて、顔画像を正確に取得するための第１の撮像条件を仮決定し、瞳孔検出のステップで、瞳孔画像を正確に取得できるように第２の撮像条件と第３の撮像条件および第４の撮像条件を仮決定する。角膜反射光の検出ステップで、角膜反射光を正確に検出するための第５の撮像条件を仮決定する。第１ないし第５の撮像条件の全てを満足するように撮像条件を決めることで、正確な画像を得ることができるようになる。【選択図】図１
2016051317.tif 000002
【特許請求の範囲】
【請求項１】
対象者に検知光を与える複数の光源と、目の画像を含む顔画像を取得する撮像部材と、前記顔画像から明瞳孔画像と暗瞳孔画像とを取得する制御部とが設けられている視線検出装置において、
前記制御部では、
（１）前記撮像部材で取得した顔画像の輝度を測定し、前記顔画像の輝度を所定範囲内に収めるための第１の撮像条件を求めるステップと、
（２）前記明瞳孔画像の瞳孔部の輝度を測定し、前記瞳孔部の輝度を所定範囲内に収めるための第２の撮像条件を求めるステップと、
（３）前記明瞳孔画像と前記暗瞳孔画像との差から得られる瞳孔画像の輝度を測定し、前記瞳孔画像の輝度を所定範囲内に収めるための第３の撮像条件を求めるステップと、
が行われ、前記第１の撮像条件と前記第２の撮像条件および前記第３の撮像条件の全てを満たすように、前記撮像部材による撮像条件が調整されることを特徴とする視線検出装置。
【請求項２】
（４）前記暗瞳孔画像から検出される角膜反射光の輝度を測定し、前記角膜反射光の輝度を所定範囲内に収めるための第４の撮像条件を求めるステップ、が行われ、
第４の撮像条件を満たすように、前記撮像部材による撮像条件が調整される請求項１記載の視線検出装置。
【請求項３】
（５）前記明瞳孔画像と前記暗瞳孔画像との差を求めたときの前記瞳孔画像以外の画像の少なくとも一部がマイナスとなるように第５の撮像条件を求めるステップ、が行われ、
第５の撮像条件を満たすように、前記撮像部材による撮像条件が調整される請求項１または２記載の視線検出装置。
【請求項４】
前記（２）のステップでは、前記瞳孔部の輝度が飽和しないように第１のしきい値以下となるように前記第２の撮像条件が決められ、
前記（３）のステップでは、前記瞳孔画像の輝度が有る程度以上高くなるように、第２のしきい値以上となるように前記第３の撮像条件が決められる請求項１ないし３のいずれかに記載の視線検出装置。
【請求項５】
前記撮像条件は、前記撮像部材の露光時間と露光ゲインの少なくとも一方で調整される請求項１ないし４のいずれかに記載の視線検出装置。
【請求項６】
前記撮像部材で画像を取得してその画像輝度から前記撮像条件が求められたら、次の画像取得タイミングにおいて前記撮像条件が調整される請求項１ないし５のいずれかに記載の視線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、明瞳孔画像と暗瞳孔画像とから瞳孔画像を得て対象者の視線方向を検出する視線検出装置に関する。
【背景技術】
【０００２】
特許文献１に瞳孔検出方法に関する発明が記載されている。
この瞳孔検出方法は、人の目に光を与える光源と、撮像すべき光を分離するハーフミラーとを設け、一方の分離光を波長８５０ｎｍを透過させるバンドパスフィルタを透過させて第１のイメージセンサで取得し、他方の分離光を波長９５０ｎｍを透過させるバンドパスフィルタを透過させて第２のイメージセンサで取得する。
【０００３】
第１のイメージセンサでは明瞳孔画像を取得でき、第２のイメージセンサでは暗瞳孔画像を取得できるので、その画像差分から瞳孔を検出することができる。また、瞳孔部の内部に角膜反射が存在するときにも、暗瞳孔画像からこの角膜反射を検出でき、瞳孔部の画像と角膜反射の画像とから、視線検出が可能となっている。この発明は、同一の光源を点灯した状態で明瞳孔画像と暗瞳孔画像を得ているため、明瞳孔画像と暗瞳孔画像とをタイミングを一致させて取得できるというものである。
【０００４】
また、この種の瞳孔検出方法では、太陽光などの周囲の光環境によって顔画像を正確に取得できないことがあり、角膜反射も正確に検出できないことがある。そこで、特許文献１に記載の瞳孔検出方法では、明瞳孔画像ならびに暗瞳孔画像の他に無照明画像を取得し、無照明画像を明瞳孔画像と暗瞳孔画像から差分することで、周囲の光環境の影響を低減させ、光源によって生じる明暗部分だけを取り出せるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４６００４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された瞳孔検出方法は、周囲の光環境の影響を受けにくいものとされているが、ハーフミラーと２つのイメージセンサを使用した特殊なカメラを使用することが必要になって構造が複雑になる。また、明瞳孔画像と暗瞳孔画像の他に、無照明画像を得なくてはならないため、画像の取得タイミングの設定などが難しくなる。
【０００７】
また、自動車に搭載されたときのように周囲の光環境が複雑に変化するときに、正確な画像を取得し続けるのは困難である。
【０００８】
本発明は従来の課題を解決するものであり、従来と同じカメラを使用しながら、周囲の光環境の変化にかかわらず瞳孔画像などを正確に取得することができる視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、対象者に検知光を与える複数の光源と、目の画像を含む顔画像を取得する撮像部材と、前記顔画像から明瞳孔画像と暗瞳孔画像とを取得する制御部とが設けられている視線検出装置において、
前記制御部では、
（１）前記撮像部材で取得した顔画像の輝度を測定し、前記顔画像の輝度を所定範囲内に収めるための第１の撮像条件を求めるステップと、
（２）前記明瞳孔画像の瞳孔部の輝度を測定し、前記瞳孔部の輝度を所定範囲内に収めるための第２の撮像条件を求めるステップと、
（３）前記明瞳孔画像と前記暗瞳孔画像との差から得られる瞳孔画像の輝度を測定し、前記瞳孔画像の輝度を所定範囲内に収めるための第３の撮像条件を求めるステップと、
が行われ、前記第１の撮像条件と前記第２の撮像条件および前記第３の撮像条件の全てを満たすように、前記撮像部材による撮像条件が調整されることを特徴とするものである。
【００１０】
本発明の視線検出装置は、複数のステップで撮像条件を求めることで、常に正確な画像を取得することが可能になる。
【００１１】
さらに、本発明は、（４）前記暗瞳孔画像から検出される角膜反射光の輝度を測定し、前記角膜反射光の輝度を所定範囲内に収めるための第４の撮像条件を求めるステップ、が行われ、第４の撮像条件を満たすように、前記撮像部材による撮像条件が調整されるものとして構成できる。
【００１２】
さらに、（５）前記明瞳孔画像と前記暗瞳孔画像との差を求めたときの前記瞳孔画像以外の画像の少なくとも一部がマイナスとなるように第５の撮像条件を求めるステップ、が行なわれ、第５の撮像条件を満たすように、前記撮像部材による撮像条件が調整されるものとして構成できる。
【００１３】
上記のように、暗瞳孔画像の輝度をやや明るめに設定しておくことにより、明瞳孔画像と暗瞳孔画像との差を求めたときに、瞳孔画像以外の画像をマイナスにできるようになる。差分の画像からマイナス部分を消去することで、常に瞳孔画像を正確に取得できるようになる。
【００１４】
本発明の視線検出装置は、前記（２）のステップでは、前記瞳孔部の輝度が飽和しないように第１のしきい値以下となるように前記第２の撮像条件が決められ、前記（３）のステップでは、前記瞳孔画像の輝度が有る程度以上高くなるように、第２のしきい値以上となるように前記第３の撮像条件が決められることが好ましい。
【００１５】
上記のように、明瞳孔画像の取得ステップで輝度の上限を決め、瞳孔画像の取得ステップで輝度の下限を決めることにより、周囲の光環境の影響が少ない状態で瞳孔画像を得ることができるようになる。
【００１６】
本発明の視線検出装置は、前記撮像条件は、前記撮像部材の露光時間と露光ゲインの少なくとも一方で調整される。
【００１７】
また本発明の視線検出装置は、前記撮像部材で画像を取得してその画像輝度から前記撮像条件が求められたら、次の画像取得タイミングにおいて前記撮像条件が調整されるように構成される。
【発明の効果】
【００１８】
本発明では、周囲の光環境が変化しても、常に瞳孔画像と角膜反射光を精度良く検出できるようになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態の視線検出装置の光源とカメラの配置の一例を示す正面図、
【図２】前記視線検出装置の回路ブロック図、
【図３】人の目の視線の向きと視線検出装置との位置関係を示す説明図、
【図４】瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図、
【図５】光源の点灯と画像取得のタイミングを示すタイミングチャート図、
【図６】視線検出装置の動作フローチャート図、
【発明を実施するための形態】
【００２０】
（視線検出装置の構成）
図２に示すように、本発明の実施の形態の視線検出装置１は、一対の照明撮像装置１０，２０と演算制御部ＣＣとから構成されている。図１と図３に示すように、照明撮像装置１０と照明撮像装置２０は、距離Ｌ１だけ離れて配置されている。
【００２１】
２つの照明撮像装置１０，２０は、それぞれカメラ（撮像部材）１３と、複数の第１の光源１１と複数の第２の光源１２とを有している。照明撮像装置１０の光軸（カメラ１３の光軸）はＯ１であり、照明撮像装置２０の光軸（カメラ１３の光軸）はＯ２である。第１の光源１１の発光光軸は光軸Ｏ１，Ｏ２に近い位置にあり、第２の光源１２の発光光軸は、第１の光源１１よりも、発光光軸Ｏ１，Ｏ２から離れた位置にある。
【００２２】
図３には、照明撮像装置１０，２０と人の目４０との相対位置が模式的に示されている。照明撮像装置１０，２０は、インストルメントパネルやウインドシールドの上部などに設置され、照明撮像装置１０の光軸Ｏ１と照明撮像装置２０の光軸Ｏ２は、共に対象者の目４０の付近に向くように設定されている。
【００２３】
第１の光源１１と第２の光源１２は、ＬＥＤ（発光ダイオード）を有している。第１の光源１１は、検知光として、波長８５０ｎｍまたはこれに近似した波長の赤外光（近赤外光）を発するものであり、第２の光源１２は波長９４０ｎｍの赤外光を発するものである。
【００２４】
８５０ｎｍまたはこれに近似した波長の赤外光（近赤外光）は、眼球内の水分で吸収されにくく、眼球の奥に位置する網膜まで到達して反射される光の量が多くなる。一方、９４０ｎｍの赤外光は、人の目の眼球内の水分で吸収されやすい。そのため、眼球の奥に位置する網膜に到達して反射される光量が少なくなる。なお、検知光としては、８５０ｎｍと９４０ｎｍ以外の波長の光を用いることも可能である。
【００２５】
カメラ（撮像部材）１３は、撮像素子とレンズなどから構成されている。撮像素子は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などで構成される。撮像素子は、レンズを経て入射した、運転者の目を含む顔画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。
【００２６】
演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、図２に示す各ブロックでは、予めインストールされたソフトウエアを実行することで演算が行われる。
【００２７】
演算制御部ＣＣには、光源制御部２１と画像取得部２２と、瞳孔画像検出部３０と、瞳孔中心算出部３３と、角膜反射光中心検出部３４、ならびに視線方向算出部３５が設けられている。
【００２８】
光源制御部２１は照明撮像装置１０，２０のそれぞれにおいて、第１の光源１１の発光と第２の光源１２の発光の切換え、ならびに第１の光源１１と第２の光源１２の発光時間の制御などを行う。
【００２９】
画像取得部２２は、照明撮像装置１０と照明撮像装置２０にそれぞれ設けられた２のカメラ（撮像部材）からステレオ方式で顔画像をフレームごとに取得する。画像取得部２２で取得された画像は、フレームごとに瞳孔画像検出部３０に読み込まれる。瞳孔画像検出部３０は、明瞳孔画像検出部３１と暗瞳孔画像検出部３２の機能を有している。明瞳孔画像検出部３１で明瞳孔画像が検出され、暗瞳孔画像検出部３２で暗瞳孔画像が取得され、明瞳孔画像と暗瞳孔画像との差分が計算されて、瞳孔画像が明るく表示された画像が生成される。瞳孔中心算出部３３では、この瞳孔画像の中心が算出され、角膜反射光中心検出部３４は、暗瞳孔画像から角膜反射光を抽出し、その中心位置を算出する。そして、視線方向検出部３５では、瞳孔中心と角膜反射光中心とで視線方向が算出される。
【００３０】
演算制御部ＣＣには、輝度検出部３６と輝度調整部３７が設けられている。輝度検出部３６によって顔画像の輝度、明瞳孔画像に含まれる瞳孔部の輝度、明瞳孔画像と暗瞳孔画像との差分で得られる瞳孔画像の輝度、暗瞳孔画像に含まれる角膜反射光の輝度などが検出される。それぞれの輝度の検出値に基づいて、輝度調整部３７によって、光源制御部２１と画像取得部２２とが制御される。
【００３１】
（明瞳孔と暗瞳孔）
図３は、対象者の目４０の視線の向きと照明撮像装置１０，２０との関係を模式的に示す平面図である。図４は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図３（Ａ）と図４（Ａ）は、対象者の視線方向ＶＬが照明撮像装置１０の光軸Ｏ１と照明撮像装置２０の光軸Ｏ２との中間に向けられている状態を示し、図３（Ｂ）と図４（Ｂ）は視線方向ＶＬが光軸Ｏ１方向へ向けられている状態を示している。
【００３２】
目４０は前方に角膜４１を有し、その後方に瞳孔４２と水晶体４３が位置している。そして最後部に網膜４４が存在している。
【００３３】
波長８５０ｎｍの検知光は、網膜４４に至って反射されやすいため、照明撮像装置１０の第１の光源１１が点灯したときに、同じ照明撮像装置１０に設けられたカメラ１３で取得される画像では、網膜４４で反射された赤外光が瞳孔４２を通じて検出され、瞳孔４２が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部３１で検出される。同様に、照明撮像装置２０の第１の光源１１が点灯したときに、同じ照明撮像装置２０に設けられたカメラ１３で取得される画像では、網膜４４で反射された赤外光が瞳孔４２を通じて検出され、瞳孔４２が明るく見える。
【００３４】
これに対して、波長９４０ｎｍの検知光は、網膜４４に至るまでに眼球内で吸収されやすいため、照明撮像装置１０，２０のいずれの場合であっても、第２の光源１２が点灯したときにカメラ１３で取得される画像では、網膜４４から赤外光がほとんど反射されず、瞳孔４２が暗く見える。この画像が暗瞳孔画像として、暗瞳孔画像検出部３２で検出される。
【００３５】
一方、波長８５０ｎｍと波長９４０ｎｍの検知光はいずれも、角膜４１の表面で反射され、その反射光が明瞳孔画像検出部３１と暗瞳孔画像検出部３２の双方で検出される。特に暗瞳孔画像検出部３２では、瞳孔４２の画像が暗いため、角膜４１の反射点４５から反射された反射光が明るくスポット画像として検出される。
【００３６】
瞳孔画像検出部３０では、明瞳孔画像検出部３１で検出された明瞳孔画像から暗瞳孔画像検出部３２で検出された暗瞳孔画像の差分が求められ、瞳孔４２の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号が瞳孔中心算出部３３に与えられる。瞳孔中心算出部３３では、瞳孔画像の輝度分布を検出することで、瞳孔４２の中心が算出される。
【００３７】
また、暗瞳孔画像検出部３２で検出された暗瞳孔画像信号は、角膜反射光中心検出部３４に与えられる。暗瞳孔画像信号は、角膜４１の反射点４５から反射された反射光による輝度信号が含まれている。角膜４１の反射点４５からの反射光はプルキニエ像を結像するものであり、図４に示すように、カメラ１３の撮像素子には、きわめて小さい面積のスポット画像が取得される。角膜反射光中心検出部３４では、スポット画像が画像処理されて、その輝度部分から、角膜４１からの反射スポット画像の中心が求められる。
【００３８】
瞳孔中心算出部３３で算出された瞳孔中心算出値と角膜反射光中心検出部３４で算出された角膜反射光中心算出値は、視線方向算出部３５に与えられる。視線方向算出部３５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。
【００３９】
図３（Ａ）では、人の目４０の視線方向ＶＬが、２つの照明撮像装置１０，２０の中間部に向けられている。このとき、図４（Ａ）に示すように、角膜４１からの反射点４５の中心が瞳孔４２の中心と一致している。これに対して、図３（Ｂ）では、人の目４０の視線方向ＶＬが、光軸Ｏ１に偏る方向へ向けられている。このとき、図４（Ｂ）に示すように、瞳孔４２の中心と角膜４１からの反射点４５の中心とが位置ずれする。
【００４０】
視線方向算出部３５では、瞳孔４２の中心と、角膜４１からの反射点４５の中心との直線距離αが算出される（図３（Ｂ））。また瞳孔４２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔４２の中心と反射点４５の中心とを結ぶ線とＸ軸との傾き角度βが算出される。前記直線距離αと前記傾き角度βとから、視線方向ＶＬが算出される。
【００４１】
次に、第１の光源１１と第２の光源１２の点灯の切換えタイミングと、カメラ１３の撮像動作のタイミングを説明する。
【００４２】
図５は、一方の照明撮像装置１０における光源１１，１２の点灯切換えのタイミングと、カメラ１３による撮像のタイミングを示している。図５（Ａ）は、照明撮像装置１０に設けられた第１の光源１１の点灯タイミングを示し、（Ｂ）は、照明撮像装置１０に設けられた第２の光源１２の点灯タイミングを示している。（Ｃ）は、照明撮像装置１０に設けられたカメラ１３による露光時間（シャッター時間）を示している。
【００４３】
図５（Ａ）において、タイミングＴ１で第１の光源１１が点灯すると、カメラ１３により明瞳孔画像となる画像Ｓ１が取得され、タイミングＴ２で第２の光源１２が点灯すると、カメラ１３により暗瞳孔画像となる画像Ｓ２が取得される。その後は、タイミングＴ３で第１の光源１１が点灯したときに、カメラ１３により明瞳孔画像Ｓ３が取得され、タイミングＴ４で第２の光源１２が点灯したときに、カメラ１３で暗瞳孔画像Ｓ４が取得され、これが繰り返される。
【００４４】
他方の照明撮像装置２０においても、第１の光源１１と第２の光源１２の点灯タイミングと、カメラ１３の露光タイミングを設定することで、明瞳孔画像と暗瞳孔画像とを取得できる。
【００４５】
２つの照明撮像装置１０，２０のそれぞれで明瞳孔画像と暗瞳孔画像をそれぞれ取得することで、ステレオ方式で、瞳孔画像の中心と、角膜反射光の中心とを、三次元座標上のデータとして検出できる。
【００４６】
（輝度調整）
視線検出装置１は、第１の光源１１と第２の光源１２からの光が顔に与えられてカメラ１３で顔画像を取得するものであるため、周囲の光環境が検出精度に大きな影響を与える。例えば、周囲の光量が多すぎると、顔画像が露光過剰となり、顔の各器官の輪郭が不明瞭になり、例えば顔画像から目の画像を切出すなどの画像処理が困難になる。また、周囲の光量が少ないときに、第１の光源１１から発せられる光が強すぎると、明瞳孔画像の導光部が光飽和状態となり、導光部の中心を正確に把握できなくなる。また、周囲の光量が多すぎると、明瞳孔画像と暗瞳孔画像との差分から得られる瞳孔画像の輝度を十分に得ることができず。これによっても、瞳孔の形状を正確に把握できなくなる。さらに、周囲の光量が多すぎると、角膜反射光も正確に把握するのが困難になる。
【００４７】
そこで、図１に示す演算制御部ＣＣでは、輝度検出部３６によって、明瞳孔画像検出部３１から得られる明瞳孔画像の輝度と、暗瞳孔画像検出部３２から得られる暗瞳孔画像の輝度が検出される。この検出値に基づいて輝度調整部によって光源制御部２１と画像取得部２２とが制御される。
【００４８】
例えば、図５のタイムチャートでは、Ｔ１で第１の光源１１を点灯させた、カメラ１３で画像Ｓ１を取得したときに、この画像の輝度を測定し、その結果を、次に第１の光源１１を点灯させるタイミングＴ３に反映させ、このときの画像Ｓ３を得るための撮像条件が画像取得部２２で調整される。また、画像取得部２２の撮像条件（例えば露光時間）に応じて、タイミングＴ３での第１の光源１１の点灯時間も調整される。
【００４９】
また、Ｔ２で第２の光源１２を点灯させて、カメラ１３で画像Ｓ２を取得したときも、その画像の輝度に応じて、次のタイミングＴ４において、第２の光源１２を点灯するときの点灯時間、ならびに画像Ｓ４を得るときの撮像条件が調整される。このように、画像の輝度が検出されたら、その結果を、次に同じ光源を点灯させるタイミングに反映させ、光源の点灯時間と撮像条件とが調整される。
【００５０】
画像取得部２２で設定され調整される撮像条件とは、カメラ１３に設けられた撮像素子による露光時間（シャッター時間）とゲインアンプによる露光ゲインの少なくとも一方の条件を意味している。
【００５１】
以下、輝度検出部３６で検出した各画像の輝度と、輝度調整部３７による調整制御動作との関係を図６のフローチャートを使用して説明する。
【００５２】
（ａ）ＳＴ１（ステップ１）では、第１の光源１１が点灯したときにカメラ１３で明瞳孔画像が取得され、第２の光源１２が点灯したときにカメラ１３で暗瞳孔画像が取得される。ＳＴ２では、明瞳孔画像と暗瞳孔画像とから、少なくとも目を含む顔画像が検出される。
【００５３】
輝度検出部３６では、明瞳孔画像である顔画像と暗瞳孔画像である顔画像の輝度が検出される。このとき、明瞳孔画像の顔画像と暗瞳孔画像の顔画像の顔全体の平均輝度を求めてもよいし、または予め決められた顔の器官、例えば鼻や頬などの瞳孔以外の領域の輝度または平均輝度を求めてもよい。これらの輝度が予め決められた輝度範囲値と比較され、明瞳孔画像の顔画像と暗瞳孔画像の顔画像の輝度が前記輝度範囲値の内部に入るように第１の撮像条件が仮決定される（ＳＴ２ａ）。
【００５４】
（ｂ）ＳＴ３では、暗瞳孔画像検出部３２から得られた暗瞳孔画像に対し、角膜反射光中心検出部３４で角膜反射光の中心座標が検出される。このとき、暗瞳孔画像検出部３２で得られた暗瞳孔画像が輝度検出部３６に送られ、暗瞳孔画像に含まれている角膜反射光（第２の光源１２からの光が角膜４１で反射された光）の輝度が検出される。
【００５５】
ここでは、角膜反射光の輝度が飽和しているか否か、つまり、角膜反射光の輝度が画像検出のデータのビット数のフルスケールとなっているか否かを検出する。フルスケールになっていると、角膜反射光の中心座標を求めることが困難になる。すなわち、正常な輝度の角膜反射光では、中心部の輝度が高くその周囲に至るにしたがって輝度が低下するので輝度勾配を検出することで角膜反射光の中心が求められるが、輝度が飽和していると輝度勾配を検出できなくなるため、角膜反射光の中心を求めるのが困難になる。
【００５６】
そこで、輝度調整部３７では、角膜反射光の輝度が飽和しないように、暗瞳孔画像を取得する第４の撮像条件が仮決定される（ＳＴ３ａ）。例えば、角膜反射光の輝度がフルスケールの９５％以下となるように調整される。
【００５７】
（ｃ）図６のＳＴ４では、瞳孔画像検出部３０において、明瞳孔画像と暗瞳孔画像の差分から瞳孔画像が検出され、瞳孔中心算出部３３で瞳孔の中心座標が算出される。このとき、ＳＴ４ａでは、輝度検出部３６において明瞳孔画像の導光部の輝度が検出され、その輝度が飽和しているか否かすなわちフルスケールに至っているか否かが検出される。瞳孔部の輝度がフルスケールに至っていると、明瞳孔画像と暗瞳孔画像との差分から瞳孔画像を得たときに、瞳孔画像も飽和状態となる可能性が高くなり、輝度の勾配を利用した瞳孔部中心の検出ができなくなる。
【００５８】
そこで、輝度調整部３７では、明瞳孔画像において導光部の輝度が飽和しない範囲の第１のしきい値以下となるように第２の撮像条件が仮決定される（ＳＴ４ａ）。第１のしきい値は、例えばフルスケールの９５％程度に決められる。
【００５９】
（ｄ）ＳＴ４ｂでは、明瞳孔画像と暗瞳孔画像との差分から得られる瞳孔画像の輝度が輝度検出部３６で検出され、瞳孔画像の輝度が識別できる程度の明るさを有しているか否かが判別される。この検出輝度値が所定の第２のしきい値以上となるように輝度調整部３７において第３の撮像条件が決められる。第２しきい値は、例えばフルスケールの５％程度に決められる。
（ｅ）瞳孔画像は、明瞳孔画像から暗瞳孔画像をマイナスした差分画像から求められるが、瞳孔以外の顔の各部分において、明瞳孔画像に対して暗瞳孔画像の輝度があまりに暗すぎると、差分画像において、瞳孔画像以外の顔画像の各部分が残ってしまう。この残り画像が鮮明であると、差分画像から目の位置や瞳孔の位置を正確に把握できない問題がある。
【００６０】
そこで、図６の、ＳＴ４ｃでは、明瞳孔画像と暗瞳孔画像の輝度を検出し、暗瞳孔画像の輝度がやや高めとなるように、第５の撮像条件が決められる。このように、暗瞳孔画像の輝度を高めに設定すると、明瞳孔画像から暗瞳孔画像をマイナスしたときに、瞳孔以外の領域で、差分がマイナスとなる領域が多くなる。瞳孔中心算出部３３などでは、差分画像のマイナス値となっている部分を自動的にゼロとみなして消去することで、瞳孔画像のみを抽出しやすくなる。
【００６１】
（ｆ）例えば、図５において明瞳孔画像である画像Ｓ１と暗瞳孔画像である画像Ｓ２を取得し、前記第１撮像条件、前記第２の撮像条件、前記第３の撮像条件、前記第４の撮像条件、ならびに第５の撮像条件が仮決定されたら、第１〜第５の撮像条件の全てを満足できるように撮像条件が決められ、次の画像Ｓ３と画像Ｓ４を検出するときに、求められた撮像条件に基づいて、カメラ１３の露光時間と露光ゲインの少なくとも一方が決められ、光源１１，１２の点灯時間は、カメラ１３の露光時間に合うように変更させられる。
【００６２】
（ｇ）図６に示すＳＴ５では、瞳孔中心の座標と角膜反射光中心の座標とが照明撮像装置１０，２０に設けられた２つのカメラで取得されるため、各座標が三次元座標上で求められる。ＳＴ６では、瞳孔中心の座標と角膜反射光中心の座標とから視線ベクトルが計算され、ＳＴ７で注視点が決定される。
【００６３】
以上、本発明の実施の形態では、輝度検出部３６で各画像の輝度を検出し、輝度調整部３７で撮像条件を決めることにより、瞳孔画像の中心を確実に求めることができ、角膜反射光の中心も確実に検出することができる。
【００６４】
前記実施の形態では、第１から第５の撮像条件の全てを満足できるように撮像条件を決定するものとして説明した。ただし、本発明は例えば、第２の撮像条件と第３の撮像条件と第４の撮像条件を全て満たす撮像条件を設定し、または第２の撮像条件と第４の撮像条件の２つの条件を満たす撮像条件を設定するなど、前記５個の撮像条件のうち、必要とされるいずれかの撮像条件を組み合わせ、組み合した撮像条件の全てを満足するように、撮像条件を決めてもよい。
【００６５】
また、前記実施の形態では、第１の光源１１が点灯したときに明瞳孔画像が得られ、第２の光源１２が点灯したときに暗瞳孔画像が得られるものとして説明した。ただし、本発明の他の実施の形態では、照明撮像装置１０の第１の光源１１と、照明撮像装置２０の第１の光源１１とを交互に点灯させ、いずれかの第１の光源１１が点灯しているときに、照明撮像装置１０のカメラ１３と照明撮像装置２０のカメラ１３で同時に顔画像を取得することで明瞳孔画像と暗瞳孔画像とを取得することが可能である。
【００６６】
例えば、照明撮像装置１０の第１の光源１１を点灯させ、照明撮像装置１０のカメラ１３で顔画像を撮影すると、第１の光源１１からの光が網膜４４で反射されてカメラ１３に戻りやすいために明瞳孔画像を取得できる。一方、照明撮像装置１０の第１の光源１１を点灯させているときは、照明撮像装置２０のカメラ１３では、その撮像光軸Ｏ２が、発光している光の光軸に対して離れた位置となるため、暗瞳孔画像が取得される。
【００６７】
すなわち、照明撮像装置１０の第１の光源１１を点灯させたときは、照明撮像装置１０のカメラ１３で明瞳孔画像が取得され、照明撮像装置２０のカメラ１３で暗瞳孔画像が取得される。他方の照明撮像装置２０の第１の光源１１を点灯させたときは、照明撮像装置１０のカメラ１３で暗瞳孔画像が取得され、照明撮像装置２０のカメラ１３で明瞳孔画像が取得される。
【００６８】
この方式においても、明瞳孔画像と暗瞳孔画像の輝度を検出することにより、前記実施の形態と同様にして、撮像条件を最適に設定することが可能である。
【符号の説明】
【００６９】
１０，２０    照明撮像装置
１１    第１の光源
１２    第２の光源
１３    カメラ（撮像部材）
２１  光源制御部
２２  画像取得部
３０    瞳孔画像検出部
３１    明瞳孔画像検出部
３２    暗瞳孔画像検出部
３３    瞳孔中心算出部
３４    角膜反射光中心検出部
３５    視線方向算出部
３６  輝度検出部
３７  輝度調整部
４０    目
４２    瞳孔
４５    角膜の反射点
Ｏ１，Ｏ２  光軸
【図１】
2016051317.tif 000003
【図２】
2016051317.tif 000004
【図３】
2016051317.tif 000005
【図４】
2016051317.tif 000006
【図５】
2016051317.tif 000007
【図６】
2016051317.tif 000008