(57)【要約】      （修正有）【課題】眼球を検出し易くする。【解決手段】カメラヘッド１０において、パターン投影プロジェクタ１０ｂと並べて補助照明部１０ｅを配置し、パターン投影プロジェクタ１０ｂによる光学パターンの投影と同時に、補助照明部１０ｅにより光学パターンの投影方向とは異なる方向から運転者の顔を照明する。しかも、補助照明部１０ｅを、パターン投影プロジェクタ１０ｂの発光素子から発光される側方光を透光窓から外部へ出射させ、反射光学系により反射させて補助照明光とするように構成する。【選択図】図６
2019105480.tif 000002
【特許請求の範囲】
【請求項１】
車両内に設置され、撮像画像から運転者の顔画像を検出する画像処理装置であって、
前記運転者の顔に対し、第１の方向から第１の照明光を照射する第１の照明部と、
前記運転者の顔に対し、前記第１の方向とは異なる第２の方向から第２の照明光を照射する第２の照明部と、
前記運転者の顔を撮像する撮像部と、
前記運転者の顔に対し、前記第１の照明部および第２の照明部によりそれぞれ第１の照明光および第２の照明光が照射されている状態で、前記撮像部により撮像された前記運転者の顔画像を取得する取得部と、
前記顔画像から前記運転者の眼球の位置を検出する眼球検出部と
を具備する画像処理装置。
【請求項２】
車両内に設置され、撮像画像から運転者の顔画像を検出する画像処理装置であって、
前記運転者の顔に対し、光学パターンを投影する投影部と、
前記運転者の顔に対し、前記投影部による前記光学パターンの投影方向とは異なる方向から補助照明光を照射する補助照明部と、
前記運転者の顔を撮像する撮像部と、
前記運転者の顔に対し、前記投影部により光学パターンが投影されかつ前記補助照明部により補助照明光が照射されている状態で、前記撮像部により撮像された第１の顔画像を取得する第１の取得部と、
前記第１の顔画像から前記運転者の眼球の位置を検出する眼球検出部と
を具備する画像処理装置。
【請求項３】
前記投影部は、光源と、前記光学パターンを生成するマスクと、前記マスクを通過した前記光源の発光を前記運転者の顔に投影する光学系とを備え、
前記補助照明部は、
前記投影部から、前記光源の発光のうち前記マスクを通過しない側方光を導出させる導出部と、
前記導出部により導出された側方光を前記補助照明光として前記運転者の顔に照射する反射光学系と
を備える、請求項２に記載の画像処理装置。
【請求項４】
前記補助照明部は、前記投影部と前記運転者の眼球とを結ぶ光軸に対し直交する方向に前記投影部から離間して配置され、前記運転者の顔に対し前記投影部の光軸とは異なる方向から前記補助照明光を照射する、請求項２に記載の画像処理装置。
【請求項５】
前記運転者の顔を照明する主照明部と、
前記主照明部により前記顔が照明されかつ前記投影部により光学パターンが投影されていない状態で前記撮像部により撮像された第２の顔画像を取得する第２の取得部と、
前記第２の顔画像から前記運転者の眼球の瞳孔の位置を検出する瞳孔検出部と、
前記眼球検出部により検出された前記運転者の眼球の位置と、前記瞳孔検出部により検出された前記運転者の瞳孔の位置とに基づいて、前記運転者の視線方向を検出する視線検出部と
をさらに具備する、請求項２乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記補助照明部は、前記第１の顔画像を取得する期間に、前記主照明部の一部を選択的に発光動作させることで、前記運転者の顔に対し前記補助照明光を照射する、請求項５に記載の画像処理装置。
【請求項７】
車両内に設置され、撮像画像から運転者の顔画像を検出する装置が実行する画像処理方法であって、
前記運転者の顔に対し、第１の方向から第１の照明光を照射する工程と、
前記運転者の顔に対し、前記第１の方向とは異なる第２の方向から第２の照明光を照射する工程と、
前記運転者の顔に対し、前記第１の照明光および第２の照明光が照射されている状態で、前記運転者の撮像画像から顔画像を取得する工程と、
前記顔画像から前記運転者の眼球の位置を検出する工程と
を具備する画像処理方法。
【請求項８】
車両内に設置され、撮像画像から運転者の顔画像を検出する装置が実行する画像処理方法であって、
前記運転者の顔に対し、光学パターンを投影する工程と、
前記運転者の顔に対し、前記光学パターンの投影方向とは異なる方向から補助照明光を照射する工程と、
前記運転者の顔に対し、前記光学パターンが投影されかつ前記補助照明光が照射されている状態で、前記運転者の撮像画像から顔画像を取得する工程と、
前記顔画像から前記運転者の眼球の位置を検出する工程と
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施形態は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
例えば、車両を運転中の運転者の挙動を認識するための装置として顔画像撮像装置がある。顔画像撮像装置は、運転座席に着座した運転者の顔をカメラによって撮像し、その撮像された顔画像を解析して運転者の視線方向を検出する。視線方向を検出する手法としては、例えば、撮像された顔画像から運転者の眼球の輝点と瞳孔の位置をそれぞれ検出し、検出された眼球の輝点の位置と瞳孔の位置とから視線の方向を求める手法が知られている（例えば特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１１９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、視線の方向が同一であっても、視線の先にある目視対象はカメラから運転者の眼球までの距離により変化する。そのため、運転者の頭の位置が一定であれば問題ないが、運転中に頭の位置が前後方向に動くと、視線の先にある目視対象を正しく検出することができなくなる。そこで、運転者の顔の三次元画像を取得し、この三次元画像から眼球の三次元位置を検出する手法が提案されている。三次元画像を取得する手法としては、例えば、運転者の顔面に格子状の光学パターンを投影した状態で顔画像を撮像し、撮像された顔画像をもとに三角測量法の原理を用いて顔面の三次元画像を得る技術が知られている。
【０００５】
しかしながら、上記顔面の三次元画像を取得するために、単一の光源を使用して光学パターンを投影すると、目の位置によっては光学パターンのうち輝度が低い部分が目に投影されることにより眼球の輝点が隠れてしまい、輝点を検出することができなくなる場合がある。また、眼球の輝点が隠れてしまう現象は、光学パターンを投影しない場合でも、例えば髪の毛や眼鏡のフレーム等の映り込みによっても生じ得る。
【０００６】
この発明は上記事情に着目してなされたもので、眼球を検出し易くする技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するためにこの発明に係る画像処理装置および画像処理方法の第１の態様は、前記運転者の顔に対し第１の方向から第１の照明光を照射すると共に、前記運転者の顔に対し前記第１の方向とは異なる第２の方向から第２の照明光を照射し、この状態で撮像部により撮像された撮像画像情報から前記運転者の顔画像を取得し、当該顔画像から前記運転者の眼球の位置を検出するようにしたものである。
【０００８】
第１の態様によれば、運転者の顔に対し、第１の照明光が照射されると同時に、上記第１の照明光の照射方向とは異なる方向から第２の照明光が照射される。このため、例えば、運転者の髪の毛や眼鏡のフレーム等の映り込みにより、眼球が隠れたとしても、第２の照明光の照射により撮像画像において眼球に角膜反射による輝点を生じさせることが可能となる。このため、眼球の位置を検出し易くすることができる。
【０００９】
上記課題を解決するためにこの発明に係る画像処理装置および画像処理方法の第２の態様は、運転者の顔に対し光学パターンを投影すると共に、前記運転者の顔に対し前記光学パターンの投影方向とは異なる方向から補助照明光を照射し、この状態で、撮像部により撮像された撮像画像から前記運転者の第１の顔画像を取得し、当該当該第１の顔画像から前記運転者の眼球の位置を検出するようにしたものである。
【００１０】
第２の態様によれば、運転者の顔に対し、三次元画像を取得するための光学パターンが投影されている状態で、補助照明部により上記光学パターンの投影方向とは異なる方向から補助照明光が照射される。このため、たとえ上記光学パターンを投影した際にパターンの輝度が低い部分が眼球に投影され、眼球が隠れたとしても、補助照明光の照射により撮像画像において眼球の輝点を生じさせることが可能となる。このため、眼球の位置を検出し易くすることができる。
【００１１】
この発明に係る画像処理装置の第３の態様は、前記第２の態様において、前記投影部が、光源と前記光学パターンを生成するマスクと前記マスクを通過した前記光源の発光を前記運転者の顔に投影する光学系とを備える場合に、前記補助照明部を、前記投影部から前記光源の発光のうち前記マスクを通過しない側方光を導出させる導出部と、前記導出部により導出された側方光を前記補助照明光として前記運転者の顔に照射する反射光学系とを備える構成としたものである。  
第３の態様によれば、投影部が備える光源から発せられる側方光を利用して補助照明が行われる。このため、補助照明用の光源を新たに設けることなく補助照明を実現することができ、これにより装置のコストアップを最小限に抑えることが可能となる。
【００１２】
この発明に係る画像処理装置の第４の態様は、前記第２の態様において、前記補助照明部を、前記投影部と前記運転者の顔とを結ぶ光軸に対し直交する方向に前記投影部から離間して配置し、これにより運転者の顔に対し前記投影部の光軸とは異なる方向から前記補助照明光を照射するようにしたものである。  
第４の態様によれば、補助照明部を投影部の光軸とは直交する方向、つまり投影部の横方向に並べて配置することができる。このため、例えば投影部と補助照明部とを一体的に構成することが可能となる。
【００１３】
この発明に係る画像処理装置の第５の態様は、前記第２乃至第４の態様のいずれかにおいて、運転者の顔を照明する主照明部と、前記主照明部により前記顔が照明されかつ前記投影部により光学パターンが投影されていない状態で前記撮像部により撮像された第２の顔画像を取得する第２の取得部と、前記第２の顔画像から前記運転者の眼球の瞳孔の位置を検出する瞳孔検出部と、前記眼球検出部により検出された眼球の位置と、前記瞳孔検出部により検出された瞳孔の位置とに基づいて、前記運転者の視線方向を検出する視線検出部とを、さらに具備するものである。  
第５の態様によれば、運転者の眼球の位置が検出され易くなるため、運転者の視線方向についても検出し易くすることができる。
【００１４】
この発明に係る画像処理装置の第６の態様は、前記第５の態様において、前記補助照明部を、前記第１の顔画像を取得する期間に前記主照明部の一部を選択的に発光動作させることで、前記運転者の顔に対し前記補助照明光を照射するように構成したものである。  
第６態様によれば、光学パターンを投影しない状態での顔画像を取得するために設けられている主照明部の一部を利用して補助照明を行うことが可能となる。このため、補助照明用に光源を新設する必要がなく、これにより装置のコストアップと大型化を防ぐことができる。
【発明の効果】
【００１５】
すなわちこの発明の各態様によれば、眼球を検出し易くした技術を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、この発明に係る画像処理装置の一適用例を説明するブロック図である。
【図２】図２は、この発明の一実施形態に係る画像処理装置を搭載した車両の概略構成図である。
【図３】図３は、この発明の一実施形態に係る画像処理装置のカメラヘッドの内部構造の一例を示す図である。
【図４】図４は、図３に示したカメラヘッドのパターン投影プロジェクタの構造を示す斜視図である。
【図５】図５は、この発明の一実施形態に係る画像処理画像処理装置の顔画像検出処理ユニットのハードウェア構成を示すブロック図である。
【図６】図６は、この発明の一実施形態に係る画像処理装置のカメラヘッドおよび顔画像検出処理ユニットのハードウェア構成に、さらにソフトウェア構成を追加して示したブロック図である。
【図７】図７は、図６に示した顔画像検出処理ユニットによる制御手順と制御内容を示すフローチャートである。
【図８】図８は、図６に示した画像処理装置により撮像された二次元画像データの一例を示す図である。
【図９】図９は、図６に示した画像処理装置により撮像された三次元画像データの一例を示す図である。
【図１０】図１０は、目の位置の三次元計測の原理説明に使用する図である。
【図１１】図１１は、視線検出の原理説明に使用する図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照してこの発明に係わる実施形態を説明する。
【００１８】
［適用例］
先ず、この発明の一実施形態に係る画像処理装置の一つの適用例について説明する。  
図１は、この発明に係る画像処理装置の一適用例を説明するブロック図である。画像処理装置は、カメラヘッド１と、顔画像検出処理ユニット２とを備えている。
【００１９】
カメラヘッド１は、１個の撮像部１ａと、１個の投影部１ｂと、１個の補助照明部１ｃとを備える。撮像部１ａは、固体撮像素子を用いたイメージセンサからなり、運転者の顔を撮像してその顔画像データを出力する。投影部１ｂは、例えばパターン投影プロジェクタからなり、運転者の顔に対し例えば縞状または格子状の光学パターンを投影する。
【００２０】
補助照明部１ｃは、光源として例えばＬＥＤ（Light Emitting Diode）等の固体発光素子を使用したもので、上記投影部１ｂによる光学パターンの投影動作と連動して、運転者の顔に対し上記投影部１ｂの光軸方向とは異なる方向から補助照明光を照射する。
【００２１】
顔画像検出処理ユニット２は、パターン投影画像取得部２ａ（第１の取得部）と、輝点検出部２ｂとを備えている。パターン投影画像取得部２ａは、上記投影部１ｂにより運転者４の顔に光学パターンが投影され、かつそれと連動して補助照明部１ｃにより上記運転者４の顔が補助照明光により照明されている状態で、撮像部１ａにより撮像された運転者４の顔のパターン投影画像データを取得する。なお、上記顔のパターン投影画像データは、顔の三次元位置情報を得るためのデータであることから、以後簡略的に顔の三次元画像データと呼称する。
【００２２】
輝点検出部２ｂは、上記取得されたパターン投影画像データから、運転者４の目を認識し、この目を表す画像から眼球の角膜反射による輝点の三次元位置を検出する。この眼球の輝点の三次元位置は、撮像部１ａと上記眼球の輝点とを結ぶ光軸をＺ軸とし、当該光軸と直交する二次元平面をＸ，Ｙ軸で表すとき、これらのＸ，Ｙ，Ｚ軸により定義される三次元空間の位置座標として表される。
【００２３】
また顔画像検出処理ユニット２は、上記投影部１ｂにより光学パターンが投影されていない状態で、上記撮像部１ａにより撮像された運転者４の顔の二次元画像データを取得する。そして、この顔の二次元画像データから運転者４の目を認識し、この目を表す画像から瞳孔の二次元位置を検出する。この二次元位置は、上記Ｘ，Ｙ軸により表される二次元平面内の位置として表される。
【００２４】
そして顔画像検出処理ユニット２は、上記輝点検出部２ｂにより検出された眼球の輝点の三次元位置と、上記検出された瞳孔の二次元位置とに基づいて、運転者４の視線の方向を検出する。
【００２５】
以上のような構成であるから、運転者４の顔に投影部１ｂにより光学パターンを投影して上記顔のパターン投影画像を撮像する際に、上記光学パターンの投影動作と連動して、補助照明部１ｃにより上記投影部１ｂの光軸方向とは異なる方向から上記運転者４の顔に補助照明光が照射される。このため、たとえ上記光学パターンの投影の際にパターンの輝度が低い部分が眼球に投影され、眼球の角膜反射による輝点が隠されたとしても、補助照明光の照射によりパターン投影画像には眼球の角膜反射による輝点を生じさせることが可能となり、これにより眼球の角膜反射による輝点を常に検出することが可能となる。
【００２６】
また、例えば、髪の毛や眼鏡のフレーム等の映り込みにより眼球の輝点が隠されたとしても、補助照明光の照射によりパターン投影画像には眼球の角膜反射による輝点を生じさせることが可能となる。従って、この場合も眼球の輝点を検出することが可能となる。
【００２７】
［一実施形態］
（構成例）
図２は、この発明の一実施形態に係る画像処理装置を搭載した車両３の構成の一例を示すブロック図である。本実施形態に係る画像処理装置は、例えば、カメラヘッド１０と、画像検出処理ユニット２０とを備えている。
【００２８】
車両３の運転座席には着座センサ４０が設置されている。着座センサ４０は、運転座席への運転者４の着座を検出し、その検出信号を顔画像検出処理ユニット２０へ出力する。また車両３には表示制御装置５０が設けられている。表示制御装置５０は例えばヘッドアップディスプレイに対する表示を制御するもので、顔画像検出処理ユニット２０から出力される運転者４の視線方向の検出情報をもとに、運転者４が視認している対象物の画像に例えば枠型のパターンを重ねて表示する。
【００２９】
（１）カメラヘッド１０
カメラヘッド１０は、例えば、ダッシュボードの運転者４と正対する位置に設置される。図３はカメラヘッド１０の内部構造の一例を示す正面図である。
【００３０】
カメラヘッド１０は、横長の箱形に構成されたヘッド筐体１１内に、撮像部としての１個のカメラ１０ａと、投影部としての１個のパターン投影プロジェクタ１０ｂと、２個の照明部１０ｃ，１０ｄと、１個の補助照明部１０ｅを横一列に配置したものとなっている。その配置位置は、中央部にカメラ１０ａとパターン投影プロジェクタ１０ｂが配置され、上記カメラ１０ａおよびパターン投影プロジェクタ１０ｂの両隣に照明部１０ｃ，１０ｄが配置されるように設定されている。また、パターン投影プロジェクタ１０ｂと照明部１０ｄとの間に、補助照明部１０ｅが配置されるように設定されている。
【００３１】
カメラ１０ａは、撮像デバイスとして、例えば近赤外光を受光可能なＣＭＯＳ（Complementary MOS）イメージセンサを使用する。そして、運転者４の顔を撮像してその顔画像データを出力する。なお、撮像デバイスとしては、ＣＣＤ（Charge Coupled Device）等の他の固体撮像素子を用いてもよい。
【００３２】
パターン投影プロジェクタ１０ｂは、運転者の顔に対し例えば格子状の光学パターンを投影するもので、例えば次のように構成される。  
図４はその構成を示す斜視図である。すなわち、プロジェクタ基板３１には、例えば近赤外光を発光する発光素子３２が装着されている。またプロジェクタ基板３１上には、上記発光素子３２の光軸方向に、例えば円筒形状をなすプロジェクタ光学系３３が配置されている。プロジェクタ光学系３３は、マスクホルダと、レンズホルダとおよび投影レンズを有する。マスクホルダには、上記格子状の光学パターンを生成するためのマスクが内蔵されている。投影レンズは、上記マスクにより生成される光学パターンを所定の倍率で運転者の顔に投影する。なお、光学パターンは、格子状に限らず、他に縞状や市松模様のようなパターンでもよい。
【００３３】
照明部１０ｃ，１０ｄは、例えば、それぞれ２個の発光素子１１ｃ，１２ｃおよび１１ｄ，１２ｄを有する光源と、偏光フィルタとを備える。光源は、近赤外光を発光する。照明部１０ｃ，１０ｄは、上記発光素子１１ｃ，１２ｃおよび１１ｄ，１２ｄから発光された近赤外光の平面光を偏光フィルタを通して照明光として運転者の顔に照射する。偏光フィルタを使用する理由は、運転者４が眼鏡をかけていた場合に、眼鏡により近赤外光が反射されてしまい、運転者４の目を検出できなくなることを防ぐためである。照明部１０ｃ，１０ｄは、顔画像検出処理ユニット２０から出力される点灯制御信号に従い点灯および消灯動作する。
【００３４】
補助照明部１０ｅは、図４に例示するように、上記パターン投影プロジェクタ１０ｂのプロジェクタ光学系３３の側面部に設けられた透光窓３４と、反射光学系３５とを備えている。透光窓３４は、発光素子３２から発光される光のうち、側方に広がる光（側方光）をプロジェクタ光学系３３の側面から外部へ出射させる。反射光学系３５は、例えばミラーまたはプリズムからなり、上記透光窓３４を通して出射された側方光を反射して、補助照明光としてカメラヘッド１０の前方へ出射する。上記反射光学系３５による側方光の反射角度は、上記補助照明光の光軸方向Ｎが上記パターン投影プロジェクタ１０ｂの光軸方向Ｍと異なる角度となるように設定されている。
【００３５】
（２）顔画像検出処理ユニット２０
顔画像検出処理ユニット２０は、上記カメラヘッド１０を制御して、運転者４の顔の二次元画像データおよび三次元画像データを取得する。そして、この取得された二次元画像データおよび三次元画像データをもとに運転者４の目の三次元位置および当該目の瞳孔の二次元位置を検出し、さらにこれらの検出結果をもとに運転者４の視線を検出する処理を行う。
【００３６】
（２−１）ハードウェア構成
図５は、顔画像検出処理ユニット２０のハードウェア構成の一例を示すブロック図である。  
顔画像検出処理ユニット２０は、ハードウェアとして、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ２１Ａを有し、このハードウェアプロセッサ２１Ａに、プログラムメモリ２１Ｂ、データメモリ２５、カメラヘッドインタフェース（カメラヘッドＩ／Ｆ）２３、外部インタフェース（外部Ｉ／Ｆ）２４を、バス２２を介して接続したものとなっている。
【００３７】
カメラヘッドＩ／Ｆ２３は、上記カメラヘッド１０のカメラ１０ａ、パターン投影プロジェクタ１０ｂ、各照明部１０ｃ，１０ｄに向けて制御信号を出力すると共に、カメラヘッド１０のカメラ１０ａから出力された画像データを受信する。外部Ｉ／Ｆ２４は、着座センサ４０から出力される着座検出信号を受信すると共に、視線方向の検出結果を表す情報を表示制御装置５０へ出力する。
【００３８】
カメラヘッドＩ／Ｆ２３とカメラヘッド１０との間、外部Ｉ／Ｆ２４と着座センサ４０および表示制御装置５０との間の信号およびデータの伝送は、いずれも信号ケーブルにより行われる。なお、車内にＬＡＮ（Local Area Network）等の車内有線ネットワークや、Bluetooth（登録商標）等の小電力無線データ通信規格を採用した車内無線ネットワークが備えられている場合には、これらのネットワークを用いて上記信号およびデータの伝送を行ってもよい。
【００３９】
プログラムメモリ２１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込および読出しが可能な不揮発性メモリ、またはＲＯＭ等の不揮発性メモリを使用したもので、本実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。
【００４０】
データメモリ２５は、例えば、ＨＤＤまたはＳＳＤ等の随時書込および読出しが可能な不揮発性メモリと、ＲＡＭ等の揮発性メモリとを組み合わせたものを記憶媒体として備え、カメラ１０ａにより撮像された顔画像データや検出結果を表す情報を記憶するために使用される。
【００４１】
（２−２）ソフトウェア構成
図６は、図５に示した顔画像検出処理ユニット２０のハードウェア構成に、さらにソフトウェア構成を追加して示したブロック図である。  
データメモリ２５の記憶領域には、二次元画像記憶部２５１と、三次元画像記憶部２５２と、検出結果記憶部２５３が設けられている。二次元画像記憶部２５１および三次元画像記憶部２５２は、それぞれ制御ユニット２１により取得された二次元画像データおよび三次元画像データを記憶するために用いられる。検出結果記憶部２５３は、制御ユニット２１により検出される、目の三次元位置および当該目の瞳孔の二次元位置を表す情報を記憶するために使用される。
【００４２】
制御ユニット２１は、上記ハードウェアプロセッサ２１Ａと、上記プログラムメモリ２１Ｂとから構成され、ソフトウェアによる処理機能部として、カメラヘッド制御部２１１と、二次元画像取得処理部２１２と、三次元画像取得処理部２１３と、画像処理部２１４と、視線検出部２１５とを備えている。このうちカメラヘッド制御部２１１、二次元画像取得処理部２１２および三次元画像取得処理部２１３は、撮像制御部を構成する。
【００４３】
上記各処理部２１１〜２１５は、いずれもプログラムメモリ２１Ｂに格納されたプログラムを上記ハードウェアプロセッサ２１Ａに実行させることにより実現される。
【００４４】
カメラヘッド制御部２１１は、着座センサ４０から出力される着座検出信号をトリガとして起動し、予め定められた検出周期で、所定の手順で上記カメラヘッド１０の照明部１０ｃ，１０ｄ、パターン投影プロジェクタ１０ｂおよびカメラ１０ａを制御する。上記検出周期および手順の一例については後に詳しく述べる。
【００４５】
二次元画像取得処理部２１２は、上記検出周期ごとに、上記カメラヘッド制御部２１１の制御に従いカメラ１０ａにより撮像された運転者４の顔の二次元画像データを、カメラヘッドＩ／Ｆ２３を介して取り込み、データメモリ２５の二次元画像記憶部２５１に記憶させる処理を行う。二次元画像データは、パターン投影プロジェクタ１０ｂにより光学パターンが投影されていない状態で撮像された運転者４の顔画像データである。この二次元画像データの取得処理手法の一例については後に詳しく述べる。
【００４６】
三次元画像取得処理部２１３は、上記検出周期ごとに、上記カメラヘッド制御部２１１の制御に従いカメラ１０ａにより撮像された運転者４の顔の三次元画像データを、カメラヘッドＩ／Ｆ２３を介して取り込み、データメモリ２５の三次元画像記憶部２５２に記憶させる処理を行う。三次元画像データは、パターン投影プロジェクタ１０ｂにより光学パターンが投影されている状態で撮像された運転者４の顔の画像データである。この三次元画像データの取得処理手法の一例についても後に詳しく述べる。
【００４７】
画像処理部２１４は、例えば以下の処理機能を有している。  
(1) 上記検出周期ごとに、上記二次元画像記憶部２５１および上記三次元画像記憶部２５２から、同一の検出周期内に取得された二次元画像データおよび三次元画像データを読み出し、この二次元画像データと三次元画像データとを同一の画素位置同士で対応付ける処理。
【００４８】
(2) 上記検出周期ごとに、上記対応付け処理後の三次元画像データから運転者４の目の一方または両方を認識し、この認識された目の画像から眼球の角膜反射による輝点の三次元位置を検出して、その検出結果を表す情報を検出結果記憶部２５３に記憶させる処理。上記眼球の輝点の三次元位置は、カメラ１０ａと上記輝点とを結ぶ光軸をＺ軸とし、当該光軸と直交する二次元平面をＸ，Ｙ軸で表したとき、これらＸ，Ｙ，Ｚ軸により定義される三次元空間における位置として表される。
【００４９】
(3) 上記検出周期ごとに、上記対応付け処理後の二次元画像データから、上記眼球の輝点の三次元位置の検出対象となった目と位置が対応する目の画像領域を選択する。そして、当該画像領域から上記目の瞳孔の二次元位置を検出して、その検出結果を表す情報を上記検出結果記憶部２５３に記憶させる処理。上記瞳孔の二次元位置は、上記Ｘ，Ｙ軸で表される二次元平面における位置として表される。
【００５０】
視線検出部２１５は、上記検出周期ごとに、上記検出結果記憶部２５３から上記検出対象となった目の輝点の三次元位置および当該目の瞳孔の二次元位置を読み出し、この読み出された目の輝点の三次元位置および目の瞳孔の二次元位置とから運転者４の視線の方向を検出する。また視線検出部２１５は、上記検出された視線の方向を表す情報を外部Ｉ／Ｆ２４から表示制御装置５０へ出力する。
【００５１】
（動作例）
次に、以上のように構成された画像処理装置の動作例を説明する。  
図７は顔画像検出処理ユニット２０の処理手順と処理内容の一例を示すフローチャートである。
【００５２】
（１）二次元画像データの取得
顔画像検出処理ユニット２０の制御ユニット２１は、カメラヘッド制御部２１１の制御の下、ステップＳ１１において着座センサ４０から出力される着座検出信号の入力を監視している。この状態で、運転者が座席に着座すると着座センサ４０から着座検出信号が出力される。この着座検出信号は、外部Ｉ／Ｆ２４を介して制御ユニット２１に入力される。制御ユニット２１は、上記着座検出信号の入力をステップＳ１１で検出すると、先ず運転者の顔の二次元画像データを取得するための制御を以下の手順で実行する。
【００５３】
すなわち、先ずカメラヘッド制御部２１１の制御の下、ステップＳ１２により、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対し照明点灯信号が出力される。カメラヘッド１０では、上記照明点灯信号を受信すると照明部１０ｃ，１０ｄが点灯し、これにより運転者４の顔が照明される。この照明光は偏光フィルタを通した近赤外光である。このため、運転者４は眩しさを感じず運転に支障は生じない。また、運転者４が仮に眼鏡をかけていた場合でも、眼鏡により近赤外光が反射されてしまい、運転者４の目を検出できなくなるといった不具合も生じない。
【００５４】
この状態でカメラヘッド制御部２１１は、ステップＳ１３により、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対し撮像制御信号を出力する。カメラヘッド１０は、上記撮像制御信号を受信するとカメラ１０ａが運転者４の顔を撮像し、この撮像により得られた運転者４の顔の二次元画像データを顔画像検出処理ユニット２０へ出力する。顔画像検出処理ユニット２０の制御ユニット２１は、二次元画像取得処理部２１２の制御の下、ステップＳ１４において上記二次元画像データＶａ１をカメラヘッドＩ／Ｆ２３を介して取り込む。そして、当該二次元画像データＶａ１をデータメモリ２５の二次元画像記憶部２５１に記憶させる。このとき、上記照明部１０ｃ，１０ｄから顔面を照明している照明光は偏光フィルタを通したものである。このため、仮に運転者４が眼鏡をかけていた場合でも、眼鏡により近赤外光が反射されてしまい、運転者４の目を検出できなくなる不具合は生じない。したがって、二次元画像データＶａ１は、例えば図８に示すように眼球を検出可能な顔画像となる。
【００５５】
続いて制御ユニット２１は、カメラヘッド制御部２１１の制御の下、ステップＳ１５により、カメラヘッドＩ／Ｆ２３を介して照明消灯信号を出力する。カメラヘッド１０は、上記照明消灯信号を受信すると照明部１０ｃ，１０ｄを消灯する。
【００５６】
この状態で制御ユニット２１は、カメラヘッド制御部２１１の制御の下、ステップＳ１６により、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対し撮像制御信号を出力する。カメラヘッド１０は、上記撮像制御信号を受信するとカメラ１０ａが運転者４の顔を撮像し、この撮像動作により得られた運転者４の顔の二次元画像データを顔画像検出処理ユニット２０へ出力する。
【００５７】
顔画像研シャツ処理ユニット２０の制御ユニット２１は、二次元画像取得処理部２１２の制御の下、ステップＳ１７において上記二次元画像データＶａ２をカメラヘッドＩ／Ｆ２３を介して取り込む。そして、当該二次元画像データＶａ２をデータメモリ２５の二次元画像記憶部２５１に記憶させる。
【００５８】
続いて二次元画像取得処理部２１２は、ステップＳ１８において、上記二次元画像記憶部２５１に記憶された、照明された状態で撮像された二次元画像データＶａ１と、照明されていない状態で撮像された二次元画像データＶａ２をそれぞれ読み出す。そして、これらの二次元画像データ間の差分画像データＶａ（Ｖａ＝Ｖａ１−Ｖａ２）を算出する。二次元画像データについて差分画像データＶａを得る目的は、対向車のヘッドライトや各種メータの発光等の周辺光の影響を除去するためである。そして二次元画像取得処理部２１２は、上記二次元差分画像データＶａを二次元画像記憶部２５１に記憶させる。
【００５９】
（２）三次元画像データの取得
上記二次元画像データの取得処理を終了すると、次に制御ユニット２１は、カメラヘッド制御部２１１の制御の下、ステップＳ１９において、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対しパターン投影信号を出力する。カメラヘッド１０は、上記パターン投影信号を受信するとパターン投影プロジェクタ１０ｂの発光素子３２が点灯する。これにより運転者の顔には格子状のパターンが投影される。
【００６０】
またこのときパターン投影プロジェクタ１０ｂでは、上記発光素子３２の点灯により、当該発光素子３２の側方光の一部がプロジェクタ光学系３３の側面部に設けられた透光窓３４から外部へ出射される。そして、この側方光が反射光学系３５により反射されて、補助照明光として顔に照射される。このとき反射光学系３５は上記パターン投影プロジェクタ１０ｂの側方（ヘッド面の横方向）に配置されており、かつ反射光学系３５の角度は上記補助照明光の光軸が上記パターン投影プロジェクタ１０ｂの光軸とは異なるように設定されている。このため、運転者４の顔面は、上記補助照明光により、上記パターン投影プロジェクタ１０ｂによる光学パターンの投影方向とは異なる方向から照明される。
【００６１】
この状態でカメラヘッド制御部２１１は、ステップＳ２０により、カメラヘッドＩ／Ｆ２３からカメラヘッド１０に対し撮像制御信号を出力する。カメラヘッド１０は、上記撮像制御信号を受信すると、カメラ１０ａが上記パターンの投影された運転者４の顔面を撮像し、この撮像により得られた運転者４の顔のパターン投影画像データを顔画像検出処理ユニット２０へ出力する。
【００６２】
顔画像検出処理ユニット２０の制御ユニット２１は、三次元画像取得処理部２１３の制御の下、ステップＳ２１において、上記パターン投影下で撮像されたパターン投影画像データ、つまり三次元画像データＶｂ１を、カメラヘッドＩ／Ｆ２３を介して取り込む。そして、当該三次元画像データＶｂ１をデータメモリ２５の三次元画像記憶部２５２に記憶させる。このとき、上記パターン投影プロジェクタ１０ｂは偏光フィルタを通さないパターン光を投影している。このため、上記三次元画像データＶｂ１は、例えば図９に例示するように眼球におけて角膜反射の輝点４２が映り込んだ画像となる。
【００６３】
またこのとき、眼球と光学パターンとの位置関係によっては光学パターンにより輝点４２が隠れてしまうことがある。しかしながら、上記したように顔面は、上記光学パターンの投影方向とは異なる方向から補助照明光により照明されている。このため、上記三次元画像データＶｂ１においては、例えば図９に例示するように眼球において角膜反射の輝点４３が映った画像となる可能性が高くなる。
【００６４】
続いて三次元画像取得処理部２１３は、ステップＳ２２により、上記三次元画像記憶部２５２に記憶された三次元画像データＶｂ１と、上記二次元画像記憶部２５１に記憶された、照明されていない状態で撮像された二次元画像データＶａ２をそれぞれ読み出し、これらの三次元画像データＶｂ１と二次元画像データＶａ２との間の差分画像データＶｂ（Ｖｂ＝Ｖｂ１−Ｖａ２）を算出する。三次元画像データについて差分画像を得る目的は、先に述べた二次元画像の場合と同様に、対向車のヘッドライトや各種メータの発光等の周辺光の影響を上記三次元画像データから除去するためである。そして三次元画像取得処理部２１３は、上記三次元差分画像データＶｂを三次元画像記憶部２５２に記憶させる。
【００６５】
（３）二次元差分画像データＶａと三次元差分画像データＶｂとの対応付け
上記三次元差分画像データＶｂが取得されると、続いて制御ユニット２１は画像処理部２１４の制御の下、ステップＳ２３において、上記二次元画像記憶部２５１に記憶された二次元差分画像データＶａと、上記三次元画像記憶部２５２に記憶された三次元差分画像データＶｂを読み出す。そして、この読み出された二次元差分画像データＶａと三次元差分画像データＶｂとを、画素位置が同一のもの同士で対応付ける。この対応付け処理は、上記二次元差分画像データＶａと三次元差分画像データＶｂがいずれも１個の同一のカメラ１０ａにより得られた画像をもとに生成されたものであるため、フレームを重ねるだけで簡単かつ精度良く行うことができる。
【００６６】
（４）瞳孔の二次元位置の検出
次に制御ユニット２１は、画像処理部２１４の制御の下、ステップＳ２４において運転者４の瞳孔の二次元位置を例えば以下のように検出する。  
すなわち、上記二次元画像記憶部２５１から二次元差分画像データＶａを読み出し、この二次元差分画像データＶａから運転者４の目を認識する。目の認識は、例えばパターンマッチング等の既存の画像認識技術を用いることで実現できる。そして、上記認識した目の画像から図８に例示するように瞳孔４１を認識し、この瞳孔４１の二次元位置を検出する。この瞳孔４１の二次元位置は、二次元画像のフレームを二次元平面（Ｘ−Ｙ座標平面）と定義するとき、この二次元平面のＸ−Ｙ座標により表される。画像処理部２１４は、上記検出された瞳孔４１の二次元位置を表す情報を検出結果記憶部２５３に記憶させる。
【００６７】
（５）目の輝点の三次元位置の検出
続いて制御ユニット２１は、画像処理部２１４の制御の下、ステップＳ２５により運転者４の目（眼球）の輝点の三次元位置を例えば以下のように検出する。  
すなわち、画像処理部２１４は、先ず三次元画像記憶部２５２から三次元差分画像データＶｂを読み出し、この三次元差分画像データＶｂから運転者４の目を認識する。ここでの目の認識も、例えばパターンマッチング等の既存の画像認識技術を適用することで実現できる。
【００６８】
続いて画像処理部２１４は、上記認識した目の画像をもとに、当該目の三次元位置を例えば三角測量法を用いて以下のように検出する。図１０は、その検出処理の概要を説明するための図である。
【００６９】
すなわち、画像処理部２１４は先ず上記認識された目の画像から眼球の角膜反射による輝点を検出し、カメラ１０ａから当該輝点との間の光軸ＬａをＺ軸と定義する。またそれと共に、当該光軸Ｌａと直交する二次元方向をＸ−Ｙ軸で定義する。つまり、運転者４の目の位置をＸ，Ｙ，Ｚ各軸により表される三次元座標で定義可能とする。
【００７０】
ここで、カメラヘッド１０において、パターン投影プロジェクタ１０ｂはカメラ１０ａに対しその光軸と直交する方向に一定距離だけ離間して配置されている。そのため、カメラ１０ａと眼球の角膜反射による輝点との間を結ぶ光軸Ｌａと、パターン投影プロジェクタ１０ｂと上記眼球の角膜反射による輝点との間を結ぶ光軸Ｌｂとの間には一定の角度が存在する。
【００７１】
このような条件の下で、カメラ１０ａに対する運転者４の顔の位置が奥行き方向に変化すると、その変化の距離に応じて三次元差分画像データＶｂにおける光学パターンの二次元位置（Ｘ−Ｙ座標位置）が変化する。例えば、図１０の例では、運転者４の顔の位置がＰ１からＰ２に変化すると、三次元差分画像データＶｂにおける光学パターンＲの位置が図１０のＱ１からＱ２のように変化する。画像処理部２１４は、上記三次元差分画像データＶｂにおける光学パターンＲの位置の変化量Ｑ１−Ｑ２を検出する。そして、この光学パターンＲの位置の変化量Ｑ１−Ｑ２と、上記光軸ＬａとＬｂとの間の角度とをもとに、上記カメラ１０ａに対する眼球における輝点の位置の変化量（距離差）Ｄ１２を算出する。
【００７２】
かくして、カメラ１０ａに対する運転者４の目の輝点４２の奥行き方向（Ｚ軸方向）の位置を求めることができる。画像処理部２１４は、ステップＳ２６において、上記検出された眼球の角膜反射による輝点４２の三次元位置を表す情報を、上記瞳孔４１の二次元位置を表す情報と対応付けて、検出結果記憶部２５３に記憶させる。
【００７３】
（５）運転者の視線方向の検出
上記瞳孔の二次元位置の検出処理および目の三次元位置の検出処理が終了すると、制御ユニット２１は、視線検出部２１５の制御の下、ステップＳ２７において運転者４の視線方向の検出処理を実行する。
【００７４】
図１１は、上記視線方向の検出処理の一例を説明するための概略図である。視線の方向を検出するには、眼球の角膜反射による輝点位置に対する瞳孔の二次元（Ｘ，Ｙ）方向の位置ずれ量と、カメラ１０ａに対する眼球の角膜反射による輝点の奥行き（Ｚ）方向の位置が必要である。
【００７５】
すなわち、例えばいまカメラ１０ａに対する目の位置が図１１のＰ１だったとすると、このときの視線の方向Ｗ１は、眼球の角膜反射による輝点位置に対する瞳孔の二次元（Ｘ，Ｙ）方向の位置ずれ量と、カメラ１０ａから眼球の角膜反射による輝点位置までの距離Ｄ１とから算出される。同様に、カメラ１０ａに対する目の位置が図１１のＰ２だったとすると、このときの視線の方向Ｗ２は、眼球の角膜反射による輝点位置に対する瞳孔の二次元（Ｘ，Ｙ）方向の位置ずれ量と、カメラ１０ａから眼球の角膜反射による輝点位置までの距離Ｄ２とから算出される。
【００７６】
視線検出部２１５は、上記視線方向の検出結果を表す情報を、外部Ｉ／Ｆ２４から表示制御装置５０へ出力する。表示制御装置５０は、上記顔画像検出処理ユニット２０から出力された運転者４の視線方向の検出情報をもとに、運転者４が視認している対象物を特定する。そして、例えばヘッドアップディスプレイにおいて、車両前方の撮像画像に枠型のパターンを重ねて表示する。
【００７７】
例えば、図１１の例では、検出された視線の方向Ｗ１と車両前方を撮像した映像とから、運転者４は例えば対象物Ｋ１を見ていると判定でき、この対象物Ｋ１の映像に対し枠型のパターンを重ねて表示する。また、検出された視線の方向Ｗ２と車両前方を撮像した映像とから、運転者４は例えば対象物Ｋ２を見ていると判定でき、この対象物Ｋ１の映像に対し枠型のパターンを重ねて表示する。
【００７８】
以上述べた（１）〜（５）の一連の処理は、予め設定された検出周期で繰り返し実行される。検出周期は、例えば１秒当たり上記（１）〜（５）の処理が３０回実行されるように設定される。
【００７９】
（効果）
以上詳述したように一実施形態では、カメラヘッド１０において、パターン投影プロジェクタ１０ｂと並べて補助照明部１０ｅを配置し、上記パターン投影プロジェクタ１０ｂによる光学パターンの投影と同時に、上記補助照明部１０ｅにより上記光学パターンの投影方向とは異なる方向から運転者４の顔を照明するようにしている。
【００８０】
従って、運転者４の目の位置と光学パターンの投影位置との関係が、三次元画像データにおいて眼球の角膜反射による輝点が光学パターンの輝度が低い部分により隠れてしまう位置関係にあったとしても、上記補助照明光の照明により三次元画像データにおいて角膜反射による輝点を生じさせることが可能となる。このため、眼球の輝点を常に検出することが可能となり、これにより運転者４の視線を時間的に途切れることなく検出することができる。
【００８１】
しかも、図４に例示したように、パターン投影プロジェクタ１０ｂのプロジェクタ光学系３３の側面部に透光窓３４を設け、パターン投影プロジェクタ１０ｂの発光素子３２から発光される側方光を上記透光窓３４から外部へ出射させる。そして、当該側方向を反射光学系３５により反射させてこれを補助照明光とすることで、上記パターン投影プロジェクタ１０ｂによる光学パターンの投影方向とは異なる方向から運転者４の顔を照明するようにしている。
【００８２】
このため、既存のパターン投影プロジェクタ１０ｂの発光素子３２の側方光を利用して補助照明を行うことができる。従って、補助照明用として新たな発光素子を設ける必要がなくなり、これにより補助照明専用の発光素子を新たに設ける場合に比べ、装置のコストアップを抑えることが可能となる。
【００８３】
［変形例］
前記一実施形態では、パターン投影プロジェクタ１０ｂの発光素子３２から発生される側方光を補助照明光として利用する場合について述べた。しかしそれに限らず、例えば、照明部１０ａ，１０ｂのいずれか一方を補助照明部として使用するようにしてもよい。この場合、補助照明部として使用する照明部（例えば１１ｄ）は、偏光フィルタのない構成とし、二次元画像データを取得する際には点灯させず、三次元画像データを取得する際に点灯させる。このように構成することによっても、新たな発光素子を設けることなく補助照明を実現することができる。
【００８４】
また、別の構成としては次のようなものも考えられる。すなわち、上記照明部１０ａ，１０ｂを構成する複数の発光素子のうちの一部を偏光フィルタを持たない構成とし、この発光素子のみを、二次元画像データを取得する際には点灯させず、三次元画像データを取得する際に点灯させる。このように構成すると、新たな発光素子を設けることなく補助照明を実現することができ、しかも二次元画像データを取得する際には照明部１０ａ，１０ｂの両方により顔を照明することができるので、品質の良い二次元画像データを取得することが可能となる。
【００８５】
前記一実施形態では、カメラヘッド１０において、カメラ１０ａ、パターン投影プロジェクタ１０ｂ、照明部１０ｃ，１０ｄおよび補助照明部１０ｅを一例に配置した構成とした場合について例示したが、１個のカメラ１０ａを囲むようにパターン投影プロジェクタ１０ｂ、照明部１０ｃ，１０ｄおよび補助照明部１０ｅを円形または円弧状に配置するようにしてもよい。
【００８６】
前記一実施形態では、顔の二次元画像データの取得処理を行った後に、三次元画像データの取得処理を行う場合について例示した。しかし、それに限らず、先ず三次元画像データの取得処理を行い、しかる後二次元画像データの取得処理を行うようにしてもよい。
【００８７】
前記一実施形態では、運転者４の視線方向を検出し、その結果をヘッドアップディスプレイに表示する場合について述べた。しかし、これに限らず、上記視線方向の検出結果を表す情報を例えば脇見判定装置に入力し、この脇見判定装置において上記視線方向の検出結果をもとに運転者４の脇見の有無を判定するようにしてもよい。
【００８８】
また、上記視線方向の検出結果を表す情報を例えば自動運転制御装置に入力し、この自動運転制御装置において上記視線方向の検出結果をもとに、例えば自動運転モードから手動運転モードへの切り替えの可否を判定するようにしてもよい。
【００８９】
前記一実施形態では、カメラヘッド１０にパターン投影プロジェクタ１０ｂを設けた場合を例にとって説明した。しかし、パターン投影プロジェクタ１０ｂは必須の構成ではなく、例えばカメラ１０ａにより眼球の輝点の位置を検出するための第１の次元画像データと、眼球内の瞳孔の位置を検出するための第２の二次元画像データをそれぞれ取得する場合にも、本発明を適用できる。
【００９０】
この場合は、例えば、照明部１０ｃ，１０ｄにそれぞれ設けられている２個の発光素子１１ｃ，１２ｃおよび１１ｄ，１２ｄの一方（例えば１１ｃ，１１ｄ）を偏光フィルタ付きとし、他方（例えば１２ｃ，１２ｄ）を偏光フィルタを持たない構成とする。そして、カメラヘッド制御部２１１の制御の下、眼球内の瞳孔の位置を検出する場合には上記偏光フィルタ付きの発光素子１１ｃ，１１ｄを点灯させ、眼球の輝点の位置を検出する場合には上記偏光フィルタを持たない発光素子１２ｃ，１２ｄを点灯させる。
【００９１】
このように構成すると、眼球の輝点の位置を検出する場合に、発光素子１２ｃ，１２ｄのうちの一方が主照明用の第１の照明部、他方が補助照明用の第２の照明部として動作することになる。この結果、例えば、主照明だけでは運転者の髪の毛や眼鏡のフレーム等により眼球の輝点が隠れてしまう場合でも、補助照明により眼球の輝点を検出することが可能となる。
【００９２】
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【００９３】
［付記］
上記実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限定されない。  
（付記１）  
ハードウェアプロセッサ（２１Ａ）とメモリ（２１Ｂ）とを有する画像処理装置であって、
前記ハードウェアプロセッサ（２１Ａ）が、
前記運転者の顔に対し、第１の方向から第１の照明光を照射するように第１の照明部（１２ｃ）を制御し、
前記運転者の顔に対し、前記第１の方向とは異なる第２の方向から第２の照明光を照射するように第２の照明部（１２ｄ）を制御し、
前記運転者の顔を撮像するように撮像部（１０ａ）を制御し、
前記運転者の顔に対し、前記第１の照明光および前記第２の照明光が照射されている状態で、前記撮像部（１０ａ）により撮像された前記運転者の顔画像を取得し、
前記顔画像から前記運転者の眼球の位置を検出する、
ように構成される画像処理装置。
【００９４】
（付記２）
ハードウェアプロセッサ（２１Ａ）とメモリ（２１Ｂ）とを有する画像処理装置であって、
前記ハードウェアプロセッサ（２１Ａ）が、
前記運転者の顔に対し光学パターンを投影するように投影部（１０ｂ）を制御し（２１１）、
前記運転者の顔に対し前記投影部（１０ｂ）による前記光学パターンの投影方向とは異なる方向から補助照明光を照射するように補助照明部（１０ｅ）を制御し（２１１）、
前記運転者の顔を撮像するように撮像部（１０ａ）を制御し（２１１）、
前記運転者の顔に対し、前記光学パターンが投影されかつ補助照明光が照射されている状態で、前記撮像部（１０ａ）により撮像された第１の顔画像を取得し（２１３）、
前記第１の顔画像から前記運転者の眼球の位置を検出する（２１５）、
ように構成される画像処理装置。
【００９５】
（付記３）
ハードウェアプロセッサ（２１Ａ）とメモリ（２１Ｂ）とを有する装置が実行する画像処理方法であって、
前記ハードウェアプロセッサ（２１Ａ）が、運転者の顔に対し第１の方向から第１の照明光を照射するように第１の照明部（１２ｃ）を制御する工程と
前記ハードウェアプロセッサ（２１Ａ）が、前記運転者の顔に対し、前記第１の方向とは異なる第２の方向から第２の照明光を照射するように第２の照明部（１２ｄ）を制御する工程と、
前記ハードウェアプロセッサ（２１Ａ）が、前記運転者の顔に対し、前記第１の照明光および第２の照明光が照射されている状態で、撮像部（１０ａ）により撮像された撮像画像から前記運転者の顔画像を取得する工程と、
前記ハードウェアプロセッサ（２１Ａ）が、前記顔画像から前記運転者の眼球の位置を検出する工程と
を具備する画像処理方法。
【００９６】
（付記４）
ハードウェアプロセッサ（２１Ａ）とメモリ（２１Ｂ）とを有する装置が実行する画像処理方法であって、
前記ハードウェアプロセッサ（２１Ａ）が、運転者の顔に対し光学パターンを投影するように投影部（１０ｂ）を制御する工程と（Ｓ１９）、
前記ハードウェアプロセッサ（２１Ａ）が、前記運転者の顔に対し前記光学パターンの投影方向とは異なる方向から補助照明光を照射するように照明部（１０ｅ）を制御する工程（Ｓ１９）と、
前記ハードウェアプロセッサ（２１Ａ）が、前記運転者の顔に対し前記光学パターンが投影されかつ前記補助照明光が照射されている状態で、撮像部（１０ａ）により撮像された撮像情報から前記運転者の顔画像を取得する工程と（Ｓ２１）、
前記顔画像から前記運転者の眼球の位置を検出する工程と（Ｓ２５）
を具備する画像処理装置。
【符号の説明】
【００９７】
１，１０…カメラヘッド、１ａ…撮像部、１０ａ…カメラ、
１ｂ…投影部、１０ｂ…パターン投影プロジェクタ、
１ｃ，１ｄ，１０ｃ，１０ｄ…照明部、１０ｅ…補助照明部、１１…ヘッド筐体、
１２…ヘッド前面カバー、２，２０…顔画像検出処理ユニット、
２ａ…パターン投影画像取得部、２ｂ…輝点検出部、
２１…制御ユニット、２１Ａ…ＣＰＵ、２１Ｂ…プログラムメモリ、２２…バス、
２３…カメラヘッドＩ／Ｆ、２４…外部Ｉ／Ｆ、２５…データメモリ、
３…車両、４…運転者、３１…プロジェクタ基板、３２…発光素子、
３３…プロジェクタ光学系、３４…透光窓、３５…反射光学系、
４０…着座センサ、５０…表示制御装置、
２１１…カメラヘッド制御部、２１２…二次元画像取得処理部、
２１３…三次元画像取得処理部、２１４…画像処理部、２１５…視線検出部、
２５１…二次元画像記憶部、２５２…三次元画像記憶部、
２５３…検出結果記憶部。
【図１】
2019105480.tif 000003
【図２】
2019105480.tif 000004
【図３】
2019105480.tif 000005
【図４】
2019105480.tif 000006
【図５】
2019105480.tif 000007
【図６】
2019105480.tif 000008
【図７】
2019105480.tif 000009
【図８】
2019105480.tif 000010
【図９】
2019105480.tif 000011
【図１０】
2019105480.tif 000012
【図１１】
2019105480.tif 000013