(57)【特許請求の範囲】
【請求項１】
撮像対象の画像を取得するカメラと、撮像対象に検知光を与える複数の光源と、前記カメラの撮像方向前方と前記光源の発光方向前方とを共通に覆う透光性のカバー板とを有する照明撮像装置において、
複数の前記光源が前記カメラを挟むように配置されて、前記カメラの光軸とそれぞれの前記光源の光軸とが互いに平行に延び、前記カメラの光軸と前記光源の光軸が前記カバー板の内面に斜めに入射しており、
前記カメラの撮像方向前方と前記光源の発光方向前方とを仕切る遮蔽部材が設けられ、前記遮蔽部材が、前記カメラの光軸に対して開き角度を有して前記カバー板の内面に向かって傾いて延びており、
前記カバー板の内面には、前記カメラの撮像方向前方と前記光源の発光方向前方の境界部に凹部が形成されており、前記凹部が、前記遮蔽部材の延長上またはその近傍に位置していることを特徴とする照明撮像装置。
【請求項２】
前記遮蔽部材の前記カメラ側の内面の延長線と、前記凹部の内面と、が同一線上に位置する請求項１記載の照明撮像装置。
【請求項３】
前記凹部の断面形状は、前記カバー板の前記内面から外面方向に向かうにしたがって開口幅が徐々に減少する形状である請求項１または２記載の照明撮像装置。
【請求項４】
前記遮蔽部材は、前記カメラの光軸を囲むコーン形状である請求項１ないし３のいずれかに記載の照明撮像装置。
【請求項５】
前記凹部内に、前記光源から発せられる光を吸収する光吸収材料が充填されている請求項１ないし４のいずれかに記載の照明撮像装置。
【請求項６】
前記光源が前記カメラのレンズよりも前記内面に近い位置に配置されている請求項１ないし５のいずれかに記載の照明撮像装置。
【請求項７】
前記光源は、人の目の網膜で反射されやすい波長の光を発する第１光源と、前記第１光源よりも網膜で反射されにくい波長の光を発する第２光源とを有し、前記第１光源の発光方向前方と、前記カメラの撮像方向前方との境界部に前記凹部が形成されている請求項１ないし６のいずれかに記載の照明撮像装置。
【請求項８】
前記カメラは複数設けられ、それぞれのカメラに接近した位置に前記光源が配置されており、前記カバー板は、全てのカメラの撮像方向前方と全ての光源の発光方向前方を共通に覆っている請求項１ないし７のいずれかに記載の照明撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車の運転者その他の対象者の視線方向を検出可能な視線検出装置や、監視装置などに使用される照明撮像装置に関する。
【背景技術】
【０００２】
特許文献１には照明撮像装置を使用した注視点検出方法が記載されている。この注視点検出方法は、２台のカメラが対象者の目に向けられている。それぞれのカメラの周囲に２種類の光源が同心円状に配置されており、カメラに近い内側の円に沿って中心波長が８５０ｎｍの光を発する光源が配置され、外側の円に沿って中心波長が９５０ｎｍの光を発する光源が配置されている。８５０ｎｍの光を照射することで、カメラで明瞳孔画像を取得でき、９５０ｎｍの光を照射することで暗瞳孔画像が取得される。
【０００３】
この注視点検出方法では、明瞳孔画像と暗瞳孔画像に基づいて瞳孔画像が取得され、暗瞳孔画像から光源の角膜反射点が取得される。この画像に基づいて、カメラと瞳孔を結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルを計算し、このベクトルをもとに各カメラの基準線に対する対象者の視線の方向を所定の関数を用いて計算する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開２０１２／０２０７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の注視点検出方法は、カメラの周囲に２種類の光源が配置されているが、カメラと２種類の光源を空間上で露出させて配置するのは、装置の外観として好ましいものではなく、カメラの撮像方向前方と、光源の発光方向前方を共通に覆う導光性のカバー板を設けることが好ましい。
【０００６】
しかしこのようなカバー板を設けると、光源から発せられた光の一部が、カバー板の内部で反射されてカメラに及び、この光成分によりカメラで取得する画像の一部が過剰露光状態となることがある。光源の近くにある光源から発せられる波長が８５０ｎｍの光は、光の強度が高いため、この光がカメラに取得されると、画像の一部が明らかに過剰露出状態になりやすい。
【０００７】
また、２つのカメラのレンズの光軸と光源の光軸とを人の顔や目に向けようとして、ガラス板の内面に対して斜めに配置すると、前記光軸と前記内面とが鈍角を成す側に配置されている光源から発せられる光がカバー板の内部で反射されてカメラのレンズに照射されやすくなる。
【０００８】
本発明は上記従来の課題を解決するものであり、カメラと光源とを共通に覆うカバー板を設け、しかもカバー板の反射によるカメラの過剰露光状態が発生するのを防止できる照明撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像対象の画像を取得するカメラと、撮像対象に検知光を与える複数の光源と、前記カメラの撮像方向前方と前記光源の発光方向前方とを共通に覆う透光性のカバー板とを有する照明撮像装置において、
複数の前記光源が前記カメラを挟むように配置されて、前記カメラの光軸とそれぞれの前記光源の光軸とが互いに平行に延び、前記カメラの光軸と前記光源の光軸が前記カバー板の内面に斜めに入射しており、
前記カメラの撮像方向前方と前記光源の発光方向前方とを仕切る遮蔽部材が設けられ、前記遮蔽部材が、前記カメラの光軸に対して開き角度を有して前記カバー板の内面に向かって傾いて延びており、
前記カバー板の内面には、前記カメラの撮像方向前方と前記光源の発光方向前方の境界部に凹部が形成されており、前記凹部が、前記遮蔽部材の延長上またはその近傍に位置していることを特徴とするものである。
【００１０】
本発明の照明撮像装置は、前記遮蔽部材の前記カメラ側の内面の延長線と、前記凹部の内面と、が同一線上に位置するものが好ましい。
【００１１】
本発明の照明撮像装置は、カバー板の内面に凹部を設けることで、光源から発せられた光がカバー板内に入射したとしても、カメラの方向へ伝搬するのを規制でき、光源からの光でカメラが過剰露光状態となるのを抑制できるようになる。
【００１２】
本発明は、前記凹部の断面形状は、前記カバー板の前記内面から外面方向に向かうにしたがって開口幅が徐々に減少する形状であることが好ましい。
【００１３】
また、本発明は、前記凹部内に、前記光源から発せられる光を吸収する光吸収材料が充填されているものが好ましい。
【００１４】
本発明の照明撮像装置は、前記光源が前記カメラのレンズよりも前記内面に近い位置に配置されているものにおいて有効である。
【００１５】
前記照明撮像装置では、カメラの光軸と光源の光軸とをカバー板の内面に対して斜めに配置した状態でも、光源からの光がカバー板を介してカメラに取得されるのを規制できるようになる。
【００１６】
本発明は、人の目の網膜で反射されやすい波長の光を発する第１光源と、前記第１光源よりも網膜で反射されにくい波長の光を発する第２光源とが設けられており、前記第１光源の発光方向前方と、前記カメラの撮像方向前方との境界部に前記凹部が形成されているものである。
【００１７】
第１光源の光はエネルギーが高く、カメラに影響を与えやすいため、第１光源とカメラとの境界部に凹部を形成することで、第１光源からの光がカメラに与える影響を低減できる。
【００１８】
本発明は、前記カメラは複数設けられ、それぞれのカメラに接近した位置に前記光源が配置されており、前記カバー板は、全てのカメラの撮像方向前方と全ての光源の発光方向前方を共通に覆っているものとして構成できる。
【００１９】
全てのカメラと全ての光源を共通に覆うカバー板を設けることで、装置の外観を良好にすることができる。
【発明の効果】
【００２０】
本発明の照明撮像装置は、カメラと光源の前方を覆うカバー板を設けた場合であっても、光源から発せられた光がカバー板内を伝搬してカメラに及ぶのを規制でき、光源からの光がカバー板を経てカメラに直接に入るのを抑制できるようになる。
【００２１】
また、カメラの光軸と光源の光軸をカバー板の内面に対して斜めに配置した場合にも、光源からの光がカメラに入るのを規制できるようになる。よって、２台のカメラとこれに隣接する光源を、その光軸が撮像対象に向くように斜めに配置された構造であっても、全てのカメラと全ての光源を平面状のカバー板で覆うことができ、装置の外観を良好なものにできる。
【図面の簡単な説明】
【００２２】
【図１】（Ａ）は本発明の第１の実施形態に係る照明撮像装置の平面図、（Ｂ）はその正面図、
【図２】図１（Ｂ）に示す照明撮像装置をＩＩ−ＩＩ線で切断した拡大断面図、
【図３】図２の一部を拡大して示す断面図、
【図４】（Ａ）（Ｂ）（Ｃ）は、カバー板に形成される凹部の変形例を示す拡大断面図、
【図５】（Ａ）（Ｂ）は、照明撮像装置と対象者の目との位置関係を模式的に示す説明図、
【図６】（Ａ）（Ｂ）は、視線検出の計算を示す説明図、
【図７】照明撮像装置を使用した視線検出装置の構造を示すブロック図、
【図８】（Ａ）は本発明の第２の実施形態に係る照明撮像装置の正面図、（Ｂ）はその側面図、
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態に係る照明撮像装置について図面を参照しつつ詳しく説明する。この実施形態では、照明撮像装置が車載用などの視線検出装置として使用される。
【００２４】
＜照明撮像装置の構造＞
図１と図２に示すように、本発明の実施の形態の照明撮像装置１は、ケース２を有している。ケース２は左右方向に細長い立方体形状であり、前方に開口部３が形成されている。開口部３の形状は長方形であり、この開口部が１枚のカバー板４で覆われている。カバー板４は、赤外光を透過することができるが可視光の波長帯域については光線透過率が低下するように着色されている。あるいは、カバー板４が透光性であり、前記光線透過率を低下させる着色シートが積層されて構成されている。したがって、図１（Ｂ）の正面図において、実際は、ケース２の内部構造をカバー板４を透過して目視することはできない。
ケース２の内部に第１受像装置１０と第２受像装置２０が収納されている。
【００２５】
図１に示すように、第１受像装置１０に設けられた第１カメラ１３の光軸１３ｃと、第２受像装置２０に設けられた第２カメラ２３の光軸２３ｃは、所定距離Ｌ１だけ離間するように配置されている。カメラ１３、２３は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などの撮像素子を有しており、運転者の目を含む顔の画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。
【００２６】
図１に示すように、第１受像装置１０は、第１カメラ１３と、第１光源１１ａ，１１ｂならびに第２光源１２ａ，１２ｂを有している。第１光源１１ａと第１光源１１ｂは、それぞれ複数（２個）設けられ、第１光源１１ａと第１光源１１ｂは、第１カメラ１３を挟むようにして左右方向（Ｘ方向）の両側に配置されている。第２光源１２ａと第２光源１２ｂも、それぞれ複数（２個）設けられている。第２光源１２ａと第２光源１２ｂは、第１カメラ１３の両側を挟むように左右両側に配置されている。
【００２７】
第１カメラ１３の光軸Ｏ１と第１光源１１ａの光軸までの左右方向（Ｘ方向）の距離はＬ１１ａであり、前記光軸Ｏ１と第１光源１１ｂの光軸までの左右方向の距離はＬ１１ｂである。第１カメラ１３の光軸Ｏ１と第２光源１２ａの光軸までの左右方向（Ｘ方向）の距離はＬ１２ａであり、前記光軸Ｏ１と第２光源１２ｂの光軸までの左右方向の距離はＬ１２ｂである。
【００２８】
図１に示すように、第２受像装置２０は、第２カメラ２３と、第１光源２１ａ，２１ｂならびに第２光源２２ａ，２２ｂを有している。第１光源２１ａは複数（２個）設けられ、第２カメラ２３の光軸Ｏ２までの距離がＬ１１ａであり、第１光源２１ｂは複数（２個）設けられ、第２カメラ２３の光軸Ｏ２までの距離がＬ１１ｂである。第２光源２２ａは複数（２個）設けられ、第２カメラ２３の光軸Ｏ２までの距離がＬ１２ａである。第２光源２２ｂは複数（２個）設けられ、第２カメラ２３の光軸Ｏ２までの距離がＬ１２ｂである。
【００２９】
第１受像装置１０では、第１光源１１ａ，１１ｂと第１カメラ１３の光軸Ｏ１までの距離Ｌ１１ａ，Ｌ１１ｂが、第２光源１２ａ，１２ｂと第１カメラ１３の光軸Ｏ１までの距離Ｌ１２ａ、Ｌ１２ｂよりも短い。第２受像装置２０では、第１光源２１ａ，２１ｂと第２カメラ２３の光軸Ｏ２までの距離Ｌ１１ａ，Ｌ１１ｂが、第２光源２２ａ，２２ｂと第２カメラ２３の光軸Ｏ２までの距離Ｌ１２ａ、Ｌ１２ｂよりも短い。
【００３０】
ここで、第１カメラ１３と第１光源１１ａ，１１ｂとの光軸間距離Ｌ１１ａ，Ｌ１１ｂ、及び、第１カメラ１３と第２光源１２ａ，１２ｂとの光軸間距離Ｌ１２ａ，Ｌ１２ｂは、照明撮像装置１と撮像対象としての運転者との距離を考慮して、第１カメラ１３と第２カメラ２３の光軸間距離Ｌ１に対して十分に短いため、第１光源１１ａ，１１ｂと第２光源１２ａ，１２ｂは、第１カメラ１３に対して互いの光軸が実質的に同軸であるとみなすことができる。同様に、第２カメラ２３と第１光源２１ａ，２１ｂの光軸間距離Ｌ１１ａ，Ｌ１１ｂ、及び、第２カメラ２３と第２光源２２ａ，２２ｂの光軸間距離Ｌ１２ａ，Ｌ１２ｂは、第１カメラ１３と第２カメラ２３の光軸間距離Ｌ１に対して十分に短いため、第１光源２１ａ，２１ｂと第２光源２２ａ，２２ｂは、第２カメラ２３に対して互いの光軸が実質的に同軸であるとみなすことができる。
【００３１】
これに対して、第１カメラ１３と第２カメラ２３の光軸間距離Ｌ１が十分に長いため、第１光源１１ａ，１１ｂと第２光源１２ａ，１２ｂならびに第１カメラ１３の各光軸と、第１光源２１ａ，２１ａと第２光源２２ａ，２２ｂならびに第２カメラ２３の各光軸とは、実質的に同軸ではない。
【００３２】
第１光源１１ａ，１２ａ、及び、第１光源２１ａ，２１ｂは、ＬＥＤ光源であり、検知光として波長が８５０ｎｍ（第１波長）の赤外光（近赤外光）を出射し、この検知光を対象者の目に与えることができるように配置されている。また、第２光源１２ａ，１２ｂ、及び、第２光源２２ａ，２２ｂもＬＥＤ光源であり、検知光として波長が９４０ｎｍ（第２波長）の赤外光を出射し、この検知光を対象者の目に与えることができるように配置されている。
【００３３】
８５０ｎｍは、人の目の眼球内での吸収率が低く、網膜で反射されやすい波長であり、９４０ｎｍは、眼球での吸収率が高く網膜で反射されにくい波長である。また、第１光源１１ａ，１１ｂ，２１ａ，２１ｂから発せられる波長８５０ｎｍの赤外光の光量（光エネルギー）は、第２光源１２ａ，１２ｂ，２２ａ，２２ｂから発せられる波長９４０ｎｍの赤外光の光量（光エネルギー）よりも大きい。
【００３４】
図２は、図１（Ｂ）のＩＩ−ＩＩ線の断面図であり、第１受像装置１０に設けられた第１カメラ１３と第１光源１１ａ，１１ｂならびに第２光源１２ａ，１２ｂの向きを示している。
【００３５】
本実施形態の照明撮像装置１は、車載用の視線検出装置として使用されるものであり、その設置場所がセンターコンソールなどのように、撮像対象である運転者の視線方向に対して斜め前方に配置されることがある。このような場合に、図２に示すように、第１カメラ１３の光軸Ｏ１と、第１光源１１ａ，１１ｂならびに第２光源１２ａ，１２ｂの光軸が、それぞれカバー板４の内面に直角ではなく斜めに入射される。なお、第１カメラ１３の光軸Ｏ１と、第１光源１１ａ，１１ｂならびに第２光源１２ａ，１２ｂの光軸は互いに平行である。
【００３６】
第１光源１１ａと第２光源１２ａは、第１カメラ１３よりもカバー板４の内面４ａに接近した位置にあり、第１光源１１ｂと第２光源１２ｂも、第１カメラ１３より内面４ａに接近した位置にある。光軸Ｏ１と内面４ａとが成す角度はＸ２側で鋭角θとなっているため、Ｘ２側に位置する第１光源１１ｂと第２光源１２ｂは、Ｘ１側に位置する第１光源１１ａと第２光源１２ａよりも、第１カメラ１３に接近している。
【００３７】
図２に示すように、第１カメラ１３とそれぞれの第１光源１１ａ，１１ｂとの間に遮蔽部材１５が設けられており、遮蔽部材１５によって第１のカメラ１３の撮像方向前方と第１光源１１ａ，１１ｂの発光方向前方とが仕切られている。遮蔽部材１５は、ゴム材料や発泡樹脂材料などのように遮光性があり且つ柔軟な材料で形成されている。例えば、遮蔽部材１５は連続して第１カメラ１３のレンズ前方を囲むようにコーン形状に形成されている。
【００３８】
そして、遮蔽部材１５の前方延長線上に、すなわち第１カメラ１３の撮像方向前方と、第１光源１１ａ，１１ｂの発光方向前方との境界部において、カバー板４の内面４ａに凹部１７が形成されている。遮蔽部材１５が第１カメラ１３のレンズを囲むように形成されている場合には、凹部１７も前記レンズの前方を囲むように形成されている。
【００３９】
あるいは、図１（Ｂ）に示すように、凹部１７は、第１カメラ１３と第１光源１１ａとの境界部ならびに第１カメラ１３と第１光源１１ｂとの境界部において、図１（Ｂ）の図示上下方向に連続して形成され、すなわちカバー板４を幅方向へ横断する方向の全長に渡って直線状に形成されているものであってもよい。
【００４０】
いずれにせよ、前記凹部１７は、遮蔽部材１５の前方延長線上の近傍に形成されている。凹部１７は遮蔽部材１５の内側を通過する光をなるべく妨げない位置に配置されて、第１カメラ１３の画角を広く取ることが可能となっている。好ましくは、図２に示すように、遮蔽部材１５のカメラ側内面の延長線と凹部１７の内面とが同一線上に位置するように形成される。
【００４１】
図３に拡大して示すように、凹部１７の断面形状は、カバー板４の内面４ａでの開口幅１７ａが広く、カバー板４の外面４ｂに向けて幅寸法が徐々に狭くなるように形成され、断面形状がＶ形状である。
【００４２】
図３には、第１光源１１ａの発光状態が説明されている。前記凹部１７が形成されていない状態を想定すると、第１光源１１ａのＬＥＤ発光源３１から発せられた光３３の一部は、ＬＥＤ発光源３１の前方を覆うほぼ球面形状のケース３２の内面に反射されるなどして、カバー板４の内部に斜めに入り込む。カバー板４の内部に入り込んだ光３４は、カバー板４の外面４ｂで反射され、内面４ａを透過して、遮蔽部材１５よりもＸ２側に漏れ出る。この漏れ出た光３５が第１カメラ１３で取得され、第１カメラ１３による撮像画像の一部が露光過剰な状態となり、撮像画像を正確に取得できなくなる。
【００４３】
そこで、図２と図３に示すように、第１カメラ１３による撮像方向前方と、第１光源１１ａの発光方向前方との境界部に凹部１７を形成することで、カバー板４の内部を伝搬する光３４の経路を凹部１７で遮断できるようになり、光３５が第１カメラ１３で取得されるのを防止できる。
【００４４】
仮に、第１光源１１ａの光軸がカバー板４の内面４ａに対して垂直に向けられているとすると、第１光源１１ａからの多くの光の成分が、カバー板４の内面４ａに垂直に近い角度で入射するため、カバー板４を透過して前方に照射される光成分が多くなる。一方で、図２と図３に示すように、第１光源１１ａの光軸が、カバー板４の内面４ａに対して斜めに延びていると、発光源３１から発せられた光が、内面４ａに対して斜めに当たる確率が高くなり、光がカバー板４の内部に入り込んで伝搬されやすくなる。したがって、図２に示すように、第１カメラ１３の光軸Ｏ１と光源からの光軸が内面４ａに対して斜めに向けられている構造では、前記凹部１７を設けることによる効果が高くなり、カバー板４内での光３４の伝搬経路を遮断でき、第１カメラ１３による露光過剰などの問題を解決できるようになる。
【００４５】
これは、図２に示すＸ２側の第１の光源１１ｂの照射方向前方と第１カメラ１３による撮像方向前方との境界部においても同じである。第１光源１１ｂの光軸もカバー板４の内面４ａに斜めに向けられているため、第１光源１１ｂから発せられた光が、カバー板４内を伝搬して、第１カメラ１３に入り込みやすくなる。そこで、第１カメラ１３と第１の光源１１ｂとの境界部において、遮蔽部材１５の延長線の前方またはその近傍に凹部１７が形成されていると、第１光源１１ｂから発せられる光が第１カメラに入り込むのを防止しやすくなる。
【００４６】
第１光源１１ａと第１光源１１ｂとを比較した場合に、Ｘ２側の第１光源１１ｂが第１カメラ１３に与える影響は、Ｘ１側の第１光源１１ａが第１カメラ１３に与える影響よりもはるかに大きい。光源１１ａ，１１ｂ，１２ａ，１２ｂはカバー板４の内面４ａになるべく接近させることが必要である。光源１１ａ，１１ｂ，１２ａ，１２ｂが内面４ａから離れていると、これら光源から発せられる光のうち内面４ａで反射されてケース２の内部空間に戻ってしまう光成分が多くなるからである。
【００４７】
光源をカバー板４に接近させ、しかも第１カメラ１３の光軸Ｏ１と各光源の光軸を内面４ａに対して斜めに向けた結果、Ｘ２側の第１光源１１ｂと第２光源１２ｂは、Ｘ１側の第１光源１１ａと第２光源１２ａよりも、第１カメラ１３に近い位置に配置されることになる。その結果、Ｘ２側の第１光源１１ｂから発せられた光が遮蔽部材１５よりもＸ１側に漏れ出る可能性は、Ｘ１側の第１光源１１ａよりも高くなり、第１カメラ１３による取得画像では、第１光源１１ｂからの洩れ光による部分的な露光過剰現象が生じやすくなっている。
【００４８】
したがって、凹部１７は、少なくとも、第１カメラ１３の光軸Ｏ１と内面４ａとの成す角度θが鋭角となる側（Ｘ２側）に位置する第１光源１１ｂと第１カメラ１３との境界部に形成されることが好ましい。ただし、Ｘ１側の第１光源１１ａと第１カメラ１３との境界部と、Ｘ２側の第１光源１１ｂと第１カメラ１３の境界部の双方に凹部１７が形成されることがさらに好ましい。
【００４９】
また、第１光源１１ａを発光させて明瞳孔画像を得るために、第１光源１１ａを第１カメラ１３の光軸Ｏ１に接近した位置に配置されることが好ましい。しかも第１光源１１ａから発せられる光の波長は８５０ｎｍであり、その光のエネルギーは、第２光源１２ａ，１２ｂが発する波長が９４０ｎｍの光よりも大きい。したがって、第１光源１１ａと第１カメラ１３との境界部に凹部１７を形成して、第１光源１１ａから発せられる光のカバー板４内での伝搬を遮断することで、第１カメラの部分的な過剰露出を防止できるようになる。
【００５０】
Ｘ１側に配置されている第２受像装置２０の構造は、第１受像装置１０と左右方向に対称である。第２カメラ２３の光軸Ｏ２と光源２１ａ，２１ｂ，２２ａ，２２ｂの光軸の傾き方向は、第１カメラ１３の光軸Ｏ１の傾き方向と同じである。第２受像装置２０においても、第２カメラ２３の撮像方向前方と、第１光源２１ａ，２１ｂの発光方向前方との境界部に、凹部１７が形成されている。
【００５１】
＜視線検出装置の構造＞
図７には、視線検出装置の回路ブロック図が示されている。視線検出装置は、前記照明撮像装置１と演算制御部ＣＣとで構成されている。
【００５２】
演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。
【００５３】
演算制御部ＣＣには、画像取得部４４、４５と、瞳孔画像抽出部５０と、瞳孔中心算出部５３と、瞳孔径算出部５４と、角膜反射光中心検出部５５と、視線方向算出部５６とが設けられている。
【００５４】
図示しない光源制御部によって、第１光源１１ａ，１１ｂ，２１ａ，２１ｂと、第２光源１２ａ，１２ｂ，２２ａ，２２ｂの点灯・非点灯が制御され、カメラ１３、２３で取得された画像は、フレームごとに画像取得部４４、４５でそれぞれ取得される。
【００５５】
画像取得部４４、４５で取得された画像は、フレームごとに瞳孔画像抽出部５０に読み込まれる。瞳孔画像抽出部５０は、明瞳孔画像検出部５１と暗瞳孔画像検出部５２とを備えている。
【００５６】
図５は、対象者の目６０の視線の向きとカメラ１３，２３の光軸Ｏ１，Ｏ２との関係を模式的に示す平面図である。図２に示すように、第１受像装置１０の第１カメラ１３の光軸Ｏ１と各光源の光軸がカバー板４に対して斜めに向けられ、第２受像装置２０においても、第２カメラ２３の光軸Ｏ２と各光源の光軸がカバー板４に対して斜めに向けられている。そのため、照明撮像装置１がセンターコンソールのように撮像対象である運転者の斜め前方に配置されていても、第１カメラ１３の光軸Ｏ１と第２カメラ２３の光軸Ｏ２の双方を、照明撮像装置１から所定距離離れている対象者の顔と目６０に向けることが可能になっている。
【００５７】
図６は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図５（Ａ）と図６（Ａ）では、対象者の視線方向ＶＬが第１カメラ１３の光軸Ｏ１と第２カメラ２３の光軸Ｏ２との中間に向けられており、図５（Ｂ）と図６（Ｂ）は視線方向ＶＬが第２カメラ２３の光軸Ｏ１方向へ向けられている。
【００５８】
目６０は前方に角膜６１を有し、その後方に瞳孔６２と水晶体６３が位置している。そして最後部に網膜６４が存在している。
【００５９】
目を含む領域の画像をカメラ１３，２３で取得するときに、点灯させる光源を選択することで、瞳孔６２の明るさが相違する画像を得ることができる。明瞳孔画像と暗瞳孔画像は、画像内の瞳孔６２の明るさの違いを相対的に表した概念であり、２つの画像を比較したときに瞳孔６２が明るい方の画像が明瞳孔画像であり、瞳孔６２が暗い方の画像が暗瞳孔画像である。
【００６０】
暗瞳孔画像と明瞳孔画像は、第１光源１１ａ，１１ｂ，２１ａ，２１ｂの発光と、第２光源１２ａ，１２ｂ，２２ａ，２２ｂの発光とを切換えることにより行われる。
【００６１】
第１光源１１ａ，１１ｂ，２１ａ，２１ｂの波長８５０ｎｍは、網膜６４で反射されやすい。そのため、第１受像装置１０の第１光源１１ａ，１１ｂが点灯したときに、第１光源１１ａ，１１ｂと略同軸の第１カメラ１３で取得される画像では、網膜６４で反射された赤外光が瞳孔６２を通じて検出され、瞳孔６２が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部５１で抽出される。これは、第２受像装置２０において、第１光源２１ａ，２１ｂ点灯したときに、これと略同軸の第２カメラ２３で取得される画像についても同様である。
【００６２】
第２光源１２ａ，１２ｂ，２２ａ，２２ｂの波長９４０ｎｍは、網膜６４上で反射されにくい。そのため、第１受像装置１０の第２光源１２ａ，１２ｂが点灯したときに、第２光源１２ａ，１２ｂと略同軸の第１カメラ１３で取得される画像では、網膜６４から赤外光がほとんど反射されず、瞳孔６２が暗く見える。この画像が暗瞳孔画像として、暗瞳孔画像検出部５２で抽出される。これは、第２受像装置２０において、第２光源２２ａ，２２ｂが点灯したときに、これと略同軸のカメラ２３で取得される画像についても同様である。
【００６３】
第１受像装置１０と第２受像装置２０とで、撮像動作を交互に繰り返すことで、２つのカメラ１３，２３で明瞳孔画像と暗瞳孔画像を別々に取得でき、瞳孔の位置を三次元的に測定することが可能になる。
【００６４】
または、次のように点灯する光源を切換えることで、明瞳孔画像と暗瞳孔画像とを取得することも可能である。
【００６５】
図５（Ａ）に示すように、受像装置１０の光軸Ｏ１と受像装置の光軸Ｏ２は、異なる角度で対象者の目６０に与えられる。
【００６６】
第１受像装置１０に搭載されている第１光源１１ａ，１１ｂを点灯したときに、第１光源１１ａ，１１ｂと実質的に同軸の第１のカメラ１３で取得した画像では、網膜６４で反射された赤外光がカメラ１３に入射しやすいため、瞳孔６２が明るく見える明瞳孔画像となる。この画像は明瞳孔画像として、明瞳孔画像検出部５１で抽出される。これに対し、受像装置２０に設けられた第２カメラ２３の光軸Ｏ２は、第１受像装置１０の第１光源１１ａ，１１ｂの光軸と非同軸となるため、第１光源１１ａ，１１ｂを点灯したときに、網膜６４で光が反射されたとしてもその光は第２カメラ２３で検知されにくい。そのため、第２カメラ２３で取得した画像は、瞳孔６２が比較的暗い暗瞳孔画像となる。この画像は暗瞳孔画像として、暗瞳孔画像検出部５２で抽出される。
【００６７】
逆に、第２受像装置２０の第１光源２１ａ，２１ｂを点灯したときは、網膜６４で反射された光が瞳孔６２を通過し、光軸Ｏ２に沿って第２カメラ２３で検知されやすく、第２カメラ２３で取得された画像が明瞳孔画像となる。このとき、網膜６４で反射された光は、斜め前方に位置する第１カメラ１３で検知されにくく、第１カメラ１３で取得された画像が暗瞳孔画像となる。
【００６８】
つまり、同じ波長の検知光が発せられたときに、カメラに近接する組の光源（カメラと同軸の光源）から光が発せられたときは、そのカメラから取得された画像が明瞳孔画像となり、カメラから遠隔の組の光源（カメラと非同軸の光源）から光が発せられたときは、そのカメラから取得された画像が暗瞳孔画像となる。
【００６９】
これは、第１受像装置１０の第２光源１２ａ，１２ｂと、第２受像装置の第２光源２２ａ，２２ｂと、カメラ１３，２３との組み合わせにおいても同じである。
【００７０】
図７に示す瞳孔画像抽出部５０では、受像装置１０と受像装置２０の双方で明瞳孔画像と暗瞳孔画像が取得されたら、明瞳孔画像検出部５１で検出された明瞳孔画像から暗瞳孔画像検出部５２で検出された暗瞳孔画像がマイナスされる。この計算により明瞳孔画像に明るく現れている瞳孔６２の画像が残り、それ以外の画像は相殺されてほぼ見えなくなる。
【００７１】
瞳孔６２の形状を示す瞳孔画像信号は、瞳孔中心算出部５３及び瞳孔径算出部５４に与えられる。瞳孔中心算出部５３では、瞳孔画像信号が画像処理されて二値化され、瞳孔６２の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔６２の中心位置として算出される。瞳孔径算出部５４では、瞳孔画像信号と、瞳孔中心算出部５３で算出された瞳孔６２の中心位置と、楕円の長軸と短軸と、に基づいて瞳孔６２の瞳孔径が算出される。
【００７２】
次に、図５（Ａ）（Ｂ）に示すように、いずれかの光源が点灯しているときには、その光源からの光が、角膜６１の表面で反射されて、その光が第１カメラ１３と第２カメラ２３の双方で取得され、明瞳孔画像検出部５１と暗瞳孔画像検出部５２で検出される。特に、暗瞳孔画像検出部５２では、瞳孔６２の画像が比較的暗いため、角膜６１の反射点６５から反射された反射光が明るくスポット画像として検出しやすくなる。
【００７３】
暗瞳孔画像検出部５２で検出された暗瞳孔画像信号は、角膜反射光中心検出部５５に与えられる。暗瞳孔画像信号には、角膜６１の反射点６５から反射された反射光による輝度信号が含まれている。角膜６１の反射点６５からの反射光はプルキニエ像を結像するものであり、図６に示すように、カメラ１３、２３の撮像素子には、きわめて小さい面積のスポット画像として取得される。角膜反射光中心検出部５５では、スポット画像が画像処理されて、角膜６１の反射点６５からの反射光の中心が求められる。
【００７４】
瞳孔中心算出部５３で算出された瞳孔中心算出値と角膜反射光中心検出部５５で算出された角膜反射光中心算出値は、視線方向算出部５６に与えられる。視線方向算出部５６では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。
【００７５】
図５（Ａ）では、人の目６０の視線方向ＶＬが、第１カメラ１３の光軸Ｏ１と第２カメラ２３の光軸Ｏ２との中間方向に向けられている。このとき、図６（Ａ）に示すように、角膜６１からの反射点６５の中心が瞳孔６２の中心と一致している。これに対して、図５（Ｂ）では、人の目６０の視線方向ＶＬが、かなり左側へ向けられている。このとき、図６（Ｂ）に示すように、瞳孔６２の中心と角膜６１からの反射点６５の中心とが位置ずれする。
【００７６】
視線方向算出部５６では、瞳孔６２の中心と、角膜６１からの反射点６５の中心との直線距離αが算出される（図６（Ｂ））。また瞳孔６２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔６２の中心と反射点６５の中心とを結ぶ線とＸ軸との傾き角度βが算出される。２つのカメラ１３，２３で取得された画像に基づいて前記直線距離αと前記傾き角度βが算出されることで、視線方向ＶＬが算出される。
【００７７】
＜変形例＞
以下に変形例について説明する。
図４（Ａ）に示す変形例では、カバー板４に形成された凹部１７内に光吸収材料７１が充填されている。光吸収材料７１は、第１光源１１ａから発せられる赤外光を吸収できるものであり、好ましくは、第１光源１１ａと第２光源１２ｂの双方の光の波長を吸収できることが好ましい。光吸収材料７１は、例えばカーボン材料を主体として構成されている。
【００７８】
凹部１７に光吸収材料７１を充填することにより、凹部１７の表面での光の反射を防止でき、カバー板４内での光の伝搬を規制しやすくなる。
【００７９】
図４（Ｂ）（Ｃ）に示す変形例では、カバー板４に形成されている凹部１１７の断面形状はほぼ台形となっている。この凹部１１７の断面形状も、内面４ａでの開口幅が広く、外面４ｂに向かうにしたがって開口幅が徐々に狭くなっている。
【００８０】
このように、凹部１７，１１７の断面形状を、内面４ａでの開口幅が広く、外面４ｂに向かうにしたがって開口幅が徐々に狭くなるように形成することで、カバー板４内を伝搬する光が凹部１７，１１７の境界面に当たったときに、光の反射方向を外面４ｂ方向へ向けやすくなる。
【００８１】
＜第２の実施形態＞
図８（Ａ）（Ｂ）に示す第２の実施の形態では、第１受像装置１０と第２受像装置２０の双方において、カメラ１３の周囲に光源１１，１２が環状に並んで配置されている。光源１１は、８５０ｎｍの波長の光を発し、光源１２は９４０ｎｍの波長の光を発する。カメラ１３の前方に遮蔽部材１５が延び出ており、カメラ１３の前方とそれぞれの光源１１，１２の発光方向前方との境界部において、カバー板４の内面４ａに凹部１７が形成されている。この場合、凹部１７は、カメラ１３の前方を囲むように環状に形成される。
【符号の説明】
【００８２】
４  カバー板
４ａ  内面
４ｂ  外面
１０、２０  受像装置
１１ａ、１１ｂ、２１ａ、２１ｂ  第１光源
１２ａ、１２ｂ、２２ａ，２２ｂ  第２光源
１３、２３  カメラ
１５  遮蔽部材
１７、１１７  凹部
４４、４５  画像取得部
５０  瞳孔画像抽出部
５３  瞳孔中心算出部
５４  瞳孔径算出部（判定情報取得部）
５５  角膜反射光中心検出部
５６  視線方向算出部
６０  目
Ｏ１，Ｏ２  光軸
【図１】
0006360752.tif 000002
【図２】
0006360752.tif 000003
【図３】
0006360752.tif 000004
【図４】
0006360752.tif 000005
【図５】
0006360752.tif 000006
【図６】
0006360752.tif 000007
【図７】
0006360752.tif 000008
【図８】
0006360752.tif 000009