(57)【要約】【課題】光利用効率を高く維持し、目からの反射光の減衰を抑え、かつ、光軸が撮像部材の光軸と同軸となる照射部を備えた照明撮像装置を提供する。【解決手段】対象者の目に検知光を与える照射部と、対象者の目を含む画像を取得する撮像部材と、を備え、撮像部材で取得した画像に基づいて対象者の視線を検出するための照明撮像装置であって、照射部は、撮像部材の光軸上であって撮像部材に結像しない領域において、光軸が撮像部材の光軸と重なるように配置されている。【選択図】図１
2016049262.tif 000002
【特許請求の範囲】
【請求項１】
対象者の目に検知光を与える照射部と、前記目を含む画像を取得する撮像部材とを備え、前記撮像部材で取得した画像に基づいて前記対象者の視線を検出する照明撮像装置において、
前記照射部は、前記撮像部材の光軸上であって前記撮像部材に結像しない領域に配置されていることを特徴とする照明撮像装置。
【請求項２】
前記照射部は、反射拡散体であり、前記反射拡散体に光を与える光源が設けられ、この光が前記反射拡散体で反射されて前記検知光となる請求項１に記載の照明撮像装置。
【請求項３】
前記照射部は、前記検知光を出射する光源である請求項１に記載の照明撮像装置。
【請求項４】
前記撮像部材に撮像光を集光するレンズが設けられ、前記照射部は、前記レンズの表面に固定されている請求項１ないし３のいずれかに記載の照明撮像装置。
【請求項５】
前記撮像部材の前方に透光板が設けられ、前記照射部は、前記透明板の表面に固定されている請求項１ないし３のいずれかに記載の照明撮像装置。
【請求項６】
前記撮像部材の前方に絞りが設けられ、前記照射部が、前記絞りの前方に設けられている請求項１ないし５のいずれかに記載の照明撮像装置。
【請求項７】
前記撮像部材で取得した画像から、明瞳孔画像を抽出する明瞳孔画像抽出部を備える請求項１ないし６のいずれかに記載の照明撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象者の視線を検出するための照明撮像装置に関する。
【背景技術】
【０００２】
人間の目には、網膜による光の反射に再帰性の特性があり、瞳孔から入射した光はその光源の方向に対して強く反射する。このため、視線検出装置においては、人の顔を撮影する際に、撮影カメラの光軸と同軸に光源を配置させることによって、瞳孔が明るい状態の画像を取得し、この画像から瞳孔画像を抽出して視線を検出することが提案されている。
【０００３】
このように画像を撮影するための装置としては、輪帯状に光源を設け、この光源全体の輝度分布の重心位置（仮想光軸）がカメラの光軸と同一となるように配置した輪帯照明方式や、入射光をカメラの光軸上に反射させるハーフミラーを配置したハーフミラー方式（例えば特許文献１）が知られている。
【０００４】
ここで、目の特性として、瞳孔画像を得るためにはカメラで撮影される網膜の領域に照明光が到達している必要があるが、瞳孔が収縮しているために撮影される網膜の領域が小さい場合や、カメラとほぼ等距離の範囲に目が焦点を合わせている場合には瞳孔画像が得られにくいことが分かっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８４８９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記輪帯方式は構造が単純ではあるが、光源の仮想光軸とカメラの光軸を厳密に同軸に合わせるのが困難であり、このような配置関係において、瞳孔が収縮している場合や目が撮像カメラの近傍に焦点を合わせている場合は一定以上の輝度の瞳孔画像を得ることは難しい。
【０００７】
また、上記ハーフミラー方式では、光源からの光がハーフミラーで反射するとき、及び、目からの入射光がハーフミラーを透過するときに、それぞれ光量が１／２以下に減衰するため、光源の光利用効率が低くなり、さらに、光源からの出射光量に対してカメラへの入射光量が小さいことから、ＳＮ比が低下しやすくなることから視線検出の精度が低下する。
【０００８】
そこで本発明は、光利用効率を高く維持し、目からの反射光の減衰を抑え、かつ、光軸が撮像部材の光軸と同軸となる照射部を備えた照明撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、対象者の目に検知光を与える照射部と、前記目を含む画像を取得する撮像部材とを備え、前記撮像部材で取得した画像に基づいて前記対象者の視線を検出する照明撮像装置において、
前記照射部は、前記撮像部材の光軸上であって前記撮像部材に結像しない領域に配置されていることを特徴としている。
【００１０】
この構成により、対象者の目の瞳孔が収縮している場合や、対象者の目が撮像部材とほぼ等距離の範囲に焦点を合わせている場合であっても、瞳孔画像を確実に取得することができ、これにより、撮像時の条件によらずに対象者の視線方向を精度良く検出することが可能となる。
【００１１】
本発明の照明撮像装置は、前記照射部が、反射拡散体であり、前記反射拡散体に光を与える光源が設けられ、この光が前記反射拡散体で反射されて前記検知光となるものとして構成できる。
【００１２】
これにより、反射拡散体から対象者側へ至る過程での検知光の減衰や、対象者側から撮像部材に至る過程での反射光の減衰を抑えることができるため、光源から出射した光の利用効率を高く維持することができる。したがって、撮像部材への入射光量を十分確保できることから、ＳＮ比の低下を防ぐことができ、瞳孔画像の抽出や視線方向の検出を高精度で行うことができる。
または、前記照射部は、前記検知光を出射する光源であってもよい。
【００１３】
照射部として光源を用いることにより、光源と反射拡散体を組み合わせる場合に比べて、構成部材を減らすことができる。さらに、光源として、収束性の高い光を出射するレーザー光源を用いると、拡散光に比べて対象者の目に入射する割合が高くなるため光の利用効率を高めることができる。
【００１４】
本発明の照明撮像装置は、前記撮像部材に撮像光を集光するレンズが設けられ、前記照射部は、前記レンズの表面に固定されている。
【００１５】
または、前記撮像部材の前方に透光板が設けられ、前記照射部は、前記透明板の表面に固定されている。
【００１６】
あるいは、前記撮像部材の前方に絞りが設けられ、前記照射部が、前記絞りの前方に設けられている。
【００１７】
本発明の照明撮像装置は、前記撮像部材で取得した画像から、明瞳孔画像を抽出する明瞳孔画像抽出部を備えるものとして構成できる。
【発明の効果】
【００１８】
本発明によると、光利用効率を高く維持し、目からの反射光の減衰を抑え、かつ、光軸が撮像部材の光軸と同軸となる照射部を備えた照明撮像装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る照明撮像装置の概略構成を示す図である。
【図２】本発明の第２の実施形態に係る照明撮像装置の概略構成を示す図である。
【図３】本発明の第３の実施形態に係る照明撮像装置の概略構成を示す図である。
【図４】本発明の第４の実施形態に係る照明撮像装置の概略構成を示す図である。
【図５】本発明の実施形態に係る照明撮像装置を含む視線検出装置の構成を示すブロック図である。
【図６】人の目の視線の向きと照明撮像装置との関係を示す平面図である。
【図７】瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態に係る照明撮像装置について図面を参照しつつ詳しく説明する
。以下、対象者の視線を検出するための視線検出装置に用いる照明撮像装置について説明する。
【００２１】
図１は、本発明の第１の本実施形態に係る照明撮像装置の概略構成を示す図であり、図５は、本実施形態に係る照明撮像装置を含む視線検出装置の構成を示すブロック図である。
【００２２】
図１に示すように、本実施形態に係る照明撮像装置１０は、光源１１と、撮像部材１２と、照射部としての反射拡散体１３と、光学部材としてのレンズ１４（撮像光学系）とを備える。
【００２３】
また、図５に示すように、本実施形態に係る視線検出装置は、前記照明撮像装置１０と、演算制御部ＣＣとを備え、自動車の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。
【００２４】
光源１１は、例えば、ＬＥＤ（発光ダイオード）やレーザーを用いる。光源１１は、レンズ１４に入射する光束の光路の範囲外に配置され、反射拡散体１３に向けて検知光を出射する。光源１１がＬＥＤの場合には、光を反射拡散体１３に集光させる集光レンズが設けられる。
【００２５】
光源１１は、２つの波長の光を発する２つの発光源（発光チップ）を有し、検知光として、波長８５０ｎｍ（第１波長）の赤外光と波長９４０ｎｍ（第２波長）の赤外光を選択的に出射することができる。光源１１が出射する検知光の波長の選択や、光源１１の点灯・非点灯は光源制御部２１によって制御される。ここで、８５０ｎｍまたはこれに近似した波長の赤外光（近赤外光）は、眼球内の水分で吸収されにくく、眼球の奥に位置する網膜まで到達して反射される光の量が多くなる。一方、９４０ｎｍの赤外光は、人の目の眼球内の水分で吸収されやすい。そのため、眼球の奥に位置する網膜に到達して反射される光量が少なくなる。なお、検知光としては、８５０ｎｍと９４０ｎｍ以外の波長の光を用いることも可能である。
【００２６】
撮像部材１２は、例えば、カメラが備える撮像素子であって、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などで構成される。撮像部材１２は、レンズ１４を経て入射した、運転者の目を含む顔の画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。
【００２７】
レンズ１４は、その光軸１４Ｃが撮像部材１２の光軸１２Ｃに重なるように配置された両凸レンズであり、対象者からの入射光を集光して撮像部材１２側へ出射する。なお、撮像光学系としては、１つのレンズ１４に限定されず、複数のレンズからなる光学系によって対象者からの入射光を集光するものであってもよい。
【００２８】
反射拡散体１３は、例えば、対象者側に向けた反射拡散面を備えた、ガラスやプラスチックで構成する。反射拡散面は、例えば、表面又は内部に入射光を拡散させる形状や機能を持たせ、さらに、金属のコーティング等によって入射光を反射させる。反射拡散体１３は、撮像部材１２の光軸１２Ｃ（レンズ１４の光軸１４Ｃ）上であって、対象者とレンズ１４の間のうち、撮像部材１２に結像しない、レンズ１４近傍の領域に配置されている。図１に示す実施の形態では、反射拡散体１３がレンズ１４の表面に直接に固定されている。
【００２９】
反射拡散体１３は、撮像部材１２に結像しないように、レンズ１４の径方向において、レンズ１４の有効光束径に対して十分小さな形状を備え、光軸が撮像部材１２の光軸１２
Ｃと重なるように配置されている。すなわち、反射拡散体１３と撮像部材１２は、光軸が互いに同軸となっている。反射拡散体１３は、光源１１から入射した検知光を、撮像部材１２の光軸１２Ｃの方向を中心にして、対象者側へ反射拡散させ、これにより対象者の目に検知光を与える。
【００３０】
演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、図５に示す各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。
【００３１】
演算制御部ＣＣには、光源制御部２１と、画像取得部２２と、瞳孔画像抽出部３０と、瞳孔中心算出部３３と、角膜反射光中心検出部３４と、視線方向算出部３５とが設けられている。
【００３２】
撮像部材１２で取得された画像は、フレームごとに画像取得部２２に取得される。画像取得部２２で取得された画像は、フレームごとに瞳孔画像抽出部３０に読み込まれる。瞳孔画像抽出部３０は、明瞳孔画像検出部３１と暗瞳孔画像検出部３２とを備えている。
【００３３】
図６は、対象者の目４０の視線の向きと照明撮像装置１０との関係を模式的に示す平面図である。図７は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図６（Ａ）と図７（Ａ）は、対象者の視線方向ＶＬが撮像部材１２の光軸１２Ｃに沿っている場合であり、図６（Ｂ）と図７（Ｂ）は視線方向ＶＬが撮像部材１２の光軸１２Ｃからずれている場合である。
【００３４】
目４０は前方に角膜４１を有し、その後方に瞳孔４２と水晶体４３が位置している。そして最後部に網膜４４が存在している。
【００３５】
波長８５０ｎｍの検知光は、網膜４４に至って反射されやすいため、光源１１が点灯したときに、光源１１と同軸の撮像部材１２で取得される画像では、網膜４４で反射された赤外光が瞳孔４２を通じて検出され、瞳孔４２が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部３１で抽出される。これに対して、波長９４０ｎｍの検知光は、網膜４４に至るまでに眼球内で吸収されやすいため、光源１１が点灯したときに撮像部材１２で取得される画像では、網膜４４から赤外光がほとんど反射されず、瞳孔４２が暗く見える。この画像が暗瞳孔画像として、暗瞳孔画像検出部３２で抽出される。
【００３６】
一方、波長８５０ｎｍと波長９４０ｎｍの検知光はいずれも、角膜４１の表面で反射され、その反射光が明瞳孔画像検出部３１と暗瞳孔画像検出部３２の双方で検出される。特に暗瞳孔画像検出部３２では、瞳孔４２の画像が暗いため、角膜４１の反射点４５から反射された反射光が明るくスポット画像として検出される。
【００３７】
瞳孔画像抽出部３０では、明瞳孔画像検出部３１で検出された明瞳孔画像から暗瞳孔画像検出部３２で検出された暗瞳孔画像がマイナスされて、瞳孔４２の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号は、瞳孔中心算出部３３に与えられる。瞳孔中心算出部３３では、瞳孔画像信号が画像処理されて二値化され、瞳孔４２の形状と面積に対応する部分のエリア画像を算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔４２の中心位置として算出される。
【００３８】
また、暗瞳孔画像検出部３２で検出された暗瞳孔画像信号は、角膜反射光中心検出部３４に与えられる。暗瞳孔画像信号は、図６と図７に示す、角膜４１の反射点４５から反射された反射光による輝度信号が含まれている。角膜４１の反射点４５からの反射光はプルキニエ像を結像するものであり、図７に示すように、撮像部材１２の撮像素子には、きわ
めて小さい面積のスポット画像が取得される。角膜反射光中心検出部３４では、スポット画像が画像処理されて、角膜４１の反射点４５からの反射光の中心が求められる。
【００３９】
瞳孔中心算出部３３で算出された瞳孔中心算出値と角膜反射光中心検出部３４で算出された角膜反射光中心算出値は、視線方向算出部３５に与えられる。視線方向算出部３５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。
【００４０】
図６（Ａ）に示す場合では、人の目４０の視線方向ＶＬが、撮像部材１２の撮像部材１２の光軸１２Ｃと一致している。このとき、図７（Ａ）に示すように、角膜４１からの反射点４５の中心が瞳孔４２の中心と一致している。これに対して、図６（Ｂ）に示す場合では、人の目４０の視線方向ＶＬが、撮像部材１２の光軸１２Ｃと異なる方向へ向けられている。このとき、図７（Ｂ）に示すように、瞳孔４２の中心と角膜４１からの反射点４５の中心とが位置ずれする。
【００４１】
視線方向算出部３５では、瞳孔４２の中心と、角膜４１からの反射点４５の中心との直線距離αが算出される（図７（Ｂ））。また瞳孔４２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔４２の中心と反射点４５の中心とを結ぶ線とＸ軸との傾き角度βが算出される。さらに、前記直線距離αと前記傾き角度βとから、視線方向ＶＬが算出される。
【００４２】
視線方向算出部３５において、視線方向ＶＬを精度良く算出するためには、瞳孔４２の中心座標と反射点４５の中心座標を高精度に検出することが必要である。
【００４３】
以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）光軸が撮像部材１２の光軸１２Ｃと同軸となるように反射拡散体１３を配置したため、対象者の目の瞳孔が収縮している場合や、対象者の目が撮像部材１２とほぼ等距離の範囲に焦点を合わせている場合であっても、瞳孔画像（明瞳孔画像、暗瞳孔画像）を確実に取得することができ、これにより、撮像時の条件によらずに対象者の視線方向を精度良く検出することが可能となる。
【００４４】
（２）光源１１から出射した光は、反射拡散体１３によって対象者側へ反射拡散されて検知光として与えられ、さらに、対象者の目からの光は、撮像部材１２に結像しない領域に配置した反射拡散体１３の影響を受けずにレンズ１４によって集光されて撮像部材１２上に結像する。このため、反射拡散体１３から対象者側へ至る過程での検知光の減衰や、対象者側から撮像部材１２に至る過程での反射光の減衰を抑えることができ、光源１１から出射した光の利用効率を高く維持することができる。これにより、撮像部材１２への入射光量を十分確保できるため、ＳＮ比の低下を防ぐことができ、瞳孔画像の抽出や視線方向の検出を高精度で行うことができる。
【００４５】
以下に他の実施の形態について説明する。
（１）図２に示す第２の実施の形態では、レンズ１４の前方にレンズカバーとなる透光板１５が設けられており、透光板１５の表面に照射部としての反射拡散体１３が固定されている。透光板１５はガラス板またはプラスチック板である。
【００４６】
（２）図３に示す第３の実施の形態では、撮像部材１２とレンズ１２との間に絞り１７が設けられて、撮像部材１２で検知する像の焦点深度が深く構成されている。この場合には、絞り１７よりも前方に照射部としての反射拡散体１３が配置される。例えば、レンズ１４と絞り１７との間に透光板１６が配置され、この透光板１６に反射拡散体１３が配置される。
【００４７】
（３）図４に示す第４の実施形態では、光源１１と反射拡散体１３に代えて、照射部とし
て検知光を出射する光源１１１がレンズ１４の近傍に配置されている。図４では、光源１１１が透光板１５の表面に固定されている。
【００４８】
光源１１１は、例えば、ＬＥＤ（発光ダイオード）やレーザーを用いる。光源１１１は、撮像部材１２の光軸１２Ｃ上であって、対象者とレンズ１４の間の撮像部材１２に結像しない、レンズ１４近傍の領域に配置されている。光源１１１は、レンズ１４の径方向において、レンズ１４の有効光束径に対して十分小さな形状を備え、光軸が撮像部材１２の光軸１２Ｃと重なるように配置されている。すなわち、光源１１１と撮像部材１２は、光軸が互いに同軸となっている。光源１１１は、撮像部材１２の光軸１２Ｃの方向に検知光を出射し、対象者の目に検知光を与える。
【００４９】
光源１１１は、例えば、２つの波長の光を発する２つの発光源（発光チップ）を有し、検知光として、波長８５０ｎｍの赤外光と波長９４０ｎｍの赤外光を選択的に出射する。光源１１１が出射する検知光の波長の選択や、光源１１１の点灯・非点灯は光源制御部２１によって制御される。
【００５０】
照射部として光源１１１を用いることにより、光源１１と反射拡散体１３を用いていた前記各実施形態に比べて、構成部材を減らすことができる。さらに、光源１１１として、収束性の高い光を出射するレーザー光源を用いると、拡散光に比べて対象者の目に入射する割合が高くなるため光の利用効率を高めることができる。
【００５１】
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。
【産業上の利用可能性】
【００５２】
以上のように、本発明に係る照明撮像装置は、対象者の視線を検出するための視線検出装置における照明及び撮像に有用である。
【符号の説明】
【００５３】
１０    照明撮像装置
１１    光源
１２    撮像部材
１２Ｃ  光軸
１３    反射拡散体
１４    レンズ
１４Ｃ  光軸
１５，１６  透光板
１７    絞り
３０    瞳孔画像抽出部
３１    明瞳孔画像検出部
３２    暗瞳孔画像検出部
３３    瞳孔中心算出部
３４    角膜反射光中心検出部
３５    視線方向算出部
６０    目
１１１  光源
【図１】
2016049262.tif 000003
【図２】
2016049262.tif 000004
【図３】
2016049262.tif 000005
【図４】
2016049262.tif 000006
【図５】
2016049262.tif 000007
【図６】
2016049262.tif 000008
【図７】
2016049262.tif 000009