(57)【特許請求の範囲】
【請求項１】
第１方向の偏光成分の光を第１領域に投光する第１投光部と、
前記第１方向と直交する第２方向の偏光成分の光を第２領域に投光する第２投光部と、
前記第１領域の方向からの光を導く第１光路と、
前記第２領域の方向からの光を導く第２光路と、
第１面が前記第１光路に面し、第２面が前記第２光路に面するように配置され、前記第１方向の偏光成分を透過し、前記第２方向の偏光成分を反射する光束分割器と、
前記第１光路に導かれた光が前記第１面で反射した反射光と、前記第２光路に導かれた光が前記第２面から前記第１面へ透過した透過光とを導く第３光路と、
前記第３光路上に配置され、前記反射光と前記透過光を集光するレンズと、
前記レンズから光を受光する撮像素子と、
前記撮像素子の信号に基づいて、所定の画像処理を行う画像処理部と、
を備える、
画像処理装置。
【請求項２】
前記第１投光部と前記第２投光部の消灯／点灯、前記撮像素子の撮像、および前記画像処理部の画像処理を制御する制御部と、
前記撮像素子により撮像した画像を記憶する記憶部と、
をさらに備え、
前記制御部は、
前記第１投光部と前記第２投光部を消灯し、前記第１領域と前記第２領域を前記撮像素子により第１画像として撮像すると共に前記記憶部に前記第１画像を記憶し、
前記第１投光部と前記第２投光部の内一方を点灯し、他方を消灯し、前記第１領域と前記第２領域を前記撮像素子により第２画像として撮像すると共に前記記憶部に前記第２画像を記憶し、
前記第１投光部と前記第２投光部の内の前記一方を消灯し、前記他方を点灯し、前記第１領域と前記第２領域を前記撮像素子により第３画像として撮像すると共に前記記憶部に前記第３画像を記憶し、
前記第１画像、前記第２画像、および前記第３画像が前記記憶部に記憶された場合に前記画像処理部に画像処理を指示し、
前記画像処理の指示を受けた前記画像処理部は、
前記第１画像と前記第２画像の差分画像を第１差分画像として生成し、
前記第１画像と前記第３画像の差分画像を第２差分画像として生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、人の顔を撮像した複数の顔画像に基づいて顔画像を処理する顔画像処理装置に関する。
【背景技術】
【０００２】
従来から、複数方向の画像を１つの撮像装置で撮像する技術が知られている。例えば、特許文献１は、運転者が簡単に車両側方の交通情報を得ることを目的とした車両用側方監視装置を開示する。この車両用側方監視装置は、車両端部に車両の左右側方を写す反射部材と、この反射部材を介して車両の左右側方を撮像する１つの撮像カメラを備え、撮像カメラからの映像信号により車両側方の映像を車室内に設けた表示手段に映し出す。これにより、撮像カメラの右半分には右側方からの光が、左半分には左側方からの光が入射し、１つの撮像カメラで、車両の左右両方向を撮像できる。
【０００３】
また、特許文献２は、固定された単一のテレビカメラにより車体前方及び左右両方向の状況を視認することができる車両用視認補助装置を開示する。この車両用視認補助装置は、車体前端部に前方に向けたカメラと、そのカメラの前方に、前方から入射する光を透過させてそのままカメラに向かわせる第１のモードと、左右両方向から入射する光を反射して同時にカメラに向かわせる第２のモードとに機械的に切り換え可能な光学装置とを備える。見通しの悪い交差点に進入するときのような車両の低速時には、光学装置が第２のモードに切り換えられる。したがって、カメラにより左右それぞれの像が同時に撮影され、それがモニタテレビに表示される。
【０００４】
また、特許文献３は、１つの撮像素子を分割することなく、かつ手持ちによるステレオ画像の撮影を実現する撮像装置を開示する。この撮像装置は、２つの入射光学系を備える。第１の入射光学系は、２つの光路のうちの一方に配され、シャッターを有し、シャッターを所定時間開口し、第１の被写体光を撮像素子に露光・結像する。第２の入射光学系は、第１の入射光学系とは異なる光路に配され，シャッターを有し、シャッターを所定時間開口し、第２の被写体光を、第１の入射光学系で露光・結像した撮像素子上の電荷が撮像素子の転送路に転送されたタイミングで、かつ第１の入射光学系が遮光された状態で撮像素子に露光・結像する。
【０００５】
また、特許文献４は、車両の進行方向の左右両側の画像を１つの撮像素子全域を使って取得して車両の進行方向の左右両側の情報を精度良く得ることを目的としたフロントモニタカメラ装置及び車両左右両側確認装置を開示する。この装置では、フロントモニタカメラ装置で左右両側を撮影するとき、第１のレンズを透過した光は反射ミラーと偏光ビームスプリッタから領域分割フィルタの偏光子領域Ａを介してＳ偏光成分の光だけが撮像素子に受光される。また、第２のレンズを透過した光は、偏光ビームスプリッタと領域分割フィルタの偏光子領域Ｂを介してＰ偏光成分の光だけが撮像素子で受光される。撮像素子でＳ偏光成分とＰ偏光成分の光を受光するとき、偏光子領域Ａと偏光子領域Ｂを交互に複数配列して撮像範囲として撮像素子の全体を利用することができ、広い視野を確保することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】実開平０１−１０９４４７号公報
【特許文献２】特開平０６−２７８５３１号公報
【特許文献３】特開平１１−２８５０２６号公報
【特許文献４】特開２０１０−２５４０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、コスト低減や小型化のために、車両外の複数方向の画像を１つの撮像装置で撮像する技術が知られているところ、車両内においても、運転者だけでなく助手席に座る者も監視する必要がある場合がある。
しかし、特許文献１と４の従来技術では、各方向が撮像素子の半分を用いて撮像されるために、対象物を識別することを目的とした場合には画像が粗いという問題がある。また、特許文献２と３の従来技術では、反射鏡やシャッターなどの可動部が必要となり、コストや寿命に課題がある。
そこで、本発明は、可動部がなく、撮像素子の領域を分割することなく異なる２方向を撮像し、撮像した画像から対象物を識別する画像処理装置を提供するものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、第１方向の偏光成分の光を第１領域に投光する第１投光部と、第１方向と直交する第２方向の偏光成分の光を第２領域に投光する第２投光部と、第１領域の方向からの光を導く第１光路と、第２領域の方向からの光を導く第２光路と、第１面が第１光路に面し、第２面が第２光路に面するように配置され、第１方向の偏光成分を透過し、第２方向の偏光成分を反射する光束分割器と、第１光路に導かれた光が第１面で反射した反射光と、第２光路に導かれた光が第２面から第１面へ透過した透過光とを導く第３光路と、第３光路上に配置され、反射光と透過光を集光するレンズと、レンズから光を受光する撮像素子と、撮像素子の信号に基づいて、所定の画像処理を行う画像処理部と、を備える画像処理装置が提供される。
これによれば、直交する偏光成分を有する光を、偏光子である光束分割器を介して、異なる２方向から撮像することで、可動部がなく、撮像素子の領域を分割することなく異なる２方向を撮像し、撮像した画像から対象物を識別する画像処理装置を提供することができる。また、眼鏡をかけた人を撮像した場合に、眼鏡の正反射の影響を軽減することができ、眼の識別や眼の状況の判定に有効である。
【０００９】
さらに、第１投光部と第２投光部の消灯／点灯、撮像素子の撮像、および画像処理部の画像処理を制御する制御部と、撮像素子により撮像した画像を記憶する記憶部と、をさらに備え、制御部は、第１投光部と第２投光部を消灯し、第１領域と第２領域を撮像素子により第１画像として撮像すると共に記憶部に第１画像を記憶し、第１投光部と第２投光部の内一方を点灯し、他方を消灯し、第１領域と第２領域を撮像素子により第２画像として撮像すると共に記憶部に第２画像を記憶し、第１投光部と第２投光部の内の一方を消灯し、他方を点灯し、第１領域と第２領域を撮像素子により第３画像として撮像すると共に記憶部に第３画像を記憶し、第１画像、第２画像、および第３画像が記憶部に記憶された場合に画像処理部に画像処理を指示し、画像処理の指示を受けた画像処理部は、第１画像と第２画像の差分画像を第１差分画像として生成し、第１画像と第３画像の差分画像を第２差分画像として生成することを特徴としてもよい。
これによれば、差分画像を生成することで、元の画像に共通している反射光による影響が相殺されて、投光部により投光された光の反射光に基づいて画像が生成されるので、異なる２領域からの反射光の内必要な領域からの反射光に基づいた明瞭な画像を取得することができる。
【発明の効果】
【００１０】
本発明によれば、可動部がなく、撮像素子の領域を分割することなく異なる２方向を撮像し、撮像した画像から対象物を識別する画像処理装置を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る第一実施例の顔画像処理装置の外観図。
【図２】本発明に係る第一実施例の顔画像処理装置を車両に設けた場合の、（Ａ）側方から見た場合の説明図、（Ｂ）上方からみた場合の説明図。
【図３】本発明に係る第一実施例の顔画像処理装置の光学系の内部構造を示す透視図。
【図４】本発明に係る第一実施例の顔画像処理装置の光学系の内部構造を示す図（上から見た場合）。
【図５】本発明に係る第一実施例の顔画像処理装置のブロック図。
【図６】本発明に係る第一実施例の顔画像処理装置における撮像のタイミングチャート。
【図７】本発明に係る第一実施例の顔画像処理装置における全体的な動作を示すフローチャート。
【図８】本発明に係る第一実施例の顔画像処理装置において、両方の投光部が消灯している場合に第１画像を撮像することを説明する説明図。
【図９】本発明に係る第一実施例の顔画像処理装置において、第１投光部が点灯し第２投光部消灯している場合に第２画像を撮像することを説明する説明図。
【図１０】本発明に係る第一実施例の顔画像処理装置において、第１投光部が消灯し第２投光部点灯している場合に第３画像を撮像することを説明する説明図。
【図１１】本発明に係る第一実施例の顔画像処理装置で撮像した第１画像の画像処理を説明する説明図。
【図１２】本発明に係る第一実施例の顔画像処理装置で撮像した第２画像の画像処理を説明する説明図。
【図１３】本発明に係る第一実施例の顔画像処理装置における第１画像と第２画像の差分画像を説明する説明図。
【図１４】本発明に係る第一実施例の顔画像処理装置でメガネをかけた人物を撮像した場合であって、（Ａ）偏光を行わない場合の画像、（Ｂ）偏光を行った場合の画像。
【発明を実施するための形態】
【００１２】
以下では、図面を参照しながら、本発明に係る実施例について説明する。
＜第一実施例＞
図１〜図２を参照し、本実施例における顔画像処理装置１００を説明する。顔画像処理装置１００は、車両ＣのハンドルＷＬの後にある運転席に座る運転者ＤＲおよび助手席に座る者の顔を撮像して運転者ＤＲの運転状態や助手席に座る者の状態を検出する。そのために、顔画像処理装置１００は、運転者ＤＲ等の前方から顔を中心とした上半身に向けて光を照射し、撮像するように設けられている。
【００１３】
顔画像処理装置１００は、運転者ＤＲおよび助手席に座る者の前方中央（たとえばバックミラーやインパネ上の位置）に配置されて両者を撮像できるように、運転席（第１領域Ａ１）および助手席（第２領域Ａ２）に向けて光を投光する第１投光部Ｔ１および第２投光部Ｔ２と、それぞれの領域からの反射光を内部に入射させる第１光路入射口Ｏ１および第２光路入射口Ｏ２とを備える。
【００１４】
図３〜図５を参照し、本実施例における顔画像処理装置１００の構成要素について説明する。顔画像処理装置１００は、光を第１領域Ａ１および第２領域Ａ２に光を投光するものとして、第１投光部Ｔ１および第２投光部Ｔ２を備える。第１投光部Ｔ１は、第１赤外線発光器Ｔ１Ｌと第１偏光子Ｔ１Ｆを備え、第２投光部Ｔ２は、第２赤外線発光器Ｔ２Ｌと第２偏光子Ｔ２Ｆを備える。第１赤外線発光器Ｔ１Ｌおよび第２赤外線発光器Ｔ２Ｌは、赤外線を発光する発光ダイオードである。赤外線が用いられるのは、昼間だけでなく夜間の暗い時であっても暗視できるからであるが、所定の波長の光であればよく、特に赤外線に限定されるものではない。
【００１５】
第１投光部Ｔ１の第１偏光子Ｔ１Ｆは、第１赤外線発光器Ｔ１Ｌの前面に配置され、第１赤外線発光器Ｔ１Ｌが発光した赤外線を第１方向に偏光し、第２投光部Ｔ２の第２偏光子Ｔ２Ｆは、第２赤外線発光器Ｔ２Ｌの前面に配置され、第２赤外線発光器Ｔ２Ｌが発光した赤外線を第２方向に偏光する。すなわち、第１投光部Ｔ１および第２投光部Ｔ２は、赤外線を投光する際それぞれの方向に偏光して第１領域Ａ１および第２領域Ａ２に赤外線を投光する。偏光子は、所定の方向に偏光面を有し、自然光の中から所定の方向の光のみを透過する典型的には偏光板である。本実施例では、第１偏光子Ｔ１Ｆは、第１方向に偏光を行い、第２偏光子Ｔ２Ｆは、第１方向と直交する第２方向に偏光を行う。なお、説明の便宜上、第１偏光子Ｔ１Ｆは、水平方向の光成分を透過し、第２偏光子Ｔ２Ｆは、垂直方向の光成分を透過するものとするが、これに限定されるものではない。
【００１６】
顔画像処理装置１００は、上述した水平方向の偏光成分の赤外光を第１領域Ａ１に投光する第１投光部Ｔ１と、垂直方向の偏光成分の赤外光を第２領域Ａ２に投光する第２投光部Ｔ２に加え、それぞれの領域からの光を内部に入射させる第１光路入射口Ｏ１および第２光路入射口Ｏ２の背後に光を受光するための以下の構成要素を備える。すなわち、顔画像処理装置１００は、第１領域Ａ１の方向からの光を導く第１光路Ｐ１と、第２領域Ａ２の方向からの光を導く第２光路Ｐ２と、光束分割器ＬＤと、第３光路Ｐ３と、レンズ２１と、撮像素子２０とを備える。
【００１７】
第１光路Ｐ１は、第１領域Ａ１の方向からの、第１投光部Ｔ１が投光した赤外光の反射光や自然光の反射光を、顔画像処理装置１００の内部に導く光路である。同様に、第２光路Ｐ２は、第２領域Ａ２の方向からの、第２投光部Ｔ２が投光した赤外光の反射光や自然光の反射光を、顔画像処理装置１００の内部に導く光路である。第１光路Ｐ１および第２光路Ｐ２が導いた光は、光束分割器ＬＤに到達する。なお、第１光路Ｐ１および第２光路Ｐ２には、好ましくは第１光路入射口Ｏ１および第２光路入射口Ｏ２の位置に、可視光を遮断する第１可視光カットフィルタＯ１Ｆおよび第２可視光カットフィルタＯ２Ｆを備えてもよい。第１投光部Ｔ１および第２投光部Ｔ２が投光した赤外光をより明瞭に受光することができる。
【００１８】
光束分割器ＬＤは、第１面ＬＤ１が第１光路Ｐ１に面し、第２面ＬＤ２が第２光路Ｐ２に面するように配置される。光束分割器ＬＤは、偏光子であり、第１方向（水平方向）の偏光成分を透過し、第２方向（垂直方向）の偏光成分を反射する。すなわち、光束分割器ＬＤは、第１光路Ｐ１および第２光路Ｐ２に導かれ到達した光の内、水平方向の偏光成分の光を透過し、垂直方向の偏光成分の光を反射する。光束分割器ＬＤを透過した光および光束分割器ＬＤで反射した光の一部は、第３光路Ｐ３を介してレンズ２１および撮像素子２０に到達するように構成される。
【００１９】
第３光路Ｐ３は、本実施例では、第１光路Ｐ１に導かれた光が光束分割器ＬＤの第１面ＬＤ１で反射した反射光と、第２光路Ｐ２に導かれた光が第２面ＬＤ２から第１面ＬＤ１へ透過した透過光とを導くように構成されている。すなわち、第３光路Ｐ３は、中央に配置された遮光壁８０に対して第１光路Ｐ１側に配置され、第１光路入射口Ｏ１から入射された光が光束分割器ＬＤの第１面ＬＤ１で反射して進む方向に備えられ、かつ、第２光路入射口Ｏ２から入射された光が光束分割器ＬＤの第２面ＬＤ２から第１面ＬＤ１へ透過して進む方向に備えられる。
【００２０】
第３光路Ｐ３に入射された、第１光路Ｐ１から第１面ＬＤ１で反射した反射光と、第２光路Ｐ２からの第２面ＬＤ２から第１面ＬＤ１へ透過した透過光は、第３光路Ｐ３により導かれてレンズ２１に到達する。レンズ２１は、第３光路Ｐ３上に配置され、これらの反射光と透過光を集光し、単一の撮像素子２０に受光させる。撮像素子２０は、可視光および赤外線を撮像できるＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラが用いられるが、無論、これに限定されるものではない。
【００２１】
撮像素子２０は、第１投光部Ｔ１が投光した水平成分の赤外光の反射光や自然光の反射光を、光束分割器ＬＤの第１面ＬＤ１で反射した水平成分を除く光成分として受光する。また、同時に、撮像素子２０は、第２投光部Ｔ２が投光した垂直成分の赤外光の反射光や自然光の反射光を、光束分割器ＬＤの第２面ＬＤ２から第１面ＬＤ１へ透過した水平成分の光成分として受光する。かかる顔画像処理装置１００によれば、直交する偏光成分を有する光を、偏光子である光束分割器ＬＤを介して、異なる２方向から撮像することで、可動部がなく、撮像素子の領域を分割することなく異なる２方向を撮像し、撮像した画像から対象物を識別する画像処理装置を提供することができる。また、後述するように、眼鏡をかけた運転者ＤＲ等を撮像した場合に、眼鏡の正反射の影響を軽減することができ、眼の識別や眼の状況の判定に有効である。
【００２２】
顔画像処理装置１００は、さらに、撮像素子２０が撮像した画像を記憶する記憶部５０と、記憶部５０が記憶した画像に基づいて運転者ＤＲ等を検出するために所定の画像処理する画像処理部３０と、画像処理部３０が処理した結果を使用する外部機構に出力するための外部出力部６０と、第１投光部Ｔ１と第２投光部Ｔ２の消灯／点灯、撮像素子２０の撮像、および画像処理部３０の画像処理を制御する制御部４０と、イグニションスイッチから入力を受ける電源部７０と、を備える。記憶部５０は、たとえば半導体メモリであり、外部出力部６０および制御部４０はマイコンおよびそのマイコンで処理される制御ロジックである。
【００２３】
なお、画像処理部３０における画像処理は、撮像素子２０に信号に基づいて行うものであり、記憶部５０を介さずに画像処理を行ってもよいし、一旦記憶部５０に記憶された撮像素子２０の信号に基づいて画像処理を行ってもよい。なお、所定の画像処理とは、後述するように撮像した複数の画像の差分画像を生成することを含み、さらに撮像した画像や生成した画像に基づいて運転者ＤＲ等の存在の有無の検出、運転者ＤＲの眼などの状態の検出などを含むものである。電源部７０は、イグニションスイッチがオンになると各構成要素に電源が供給され、動作が開始できるように構成される。
【００２４】
図６を参照し、顔画像処理装置１００が画像を撮像するタイミングについて説明する。顔画像処理装置１００の制御部４０は、第１領域Ａ１（運転席側）に投光する第１投光部Ｔ１と第２領域Ａ２（助手席側）に投光する第２投光部Ｔ２を消灯している間に、撮像素子２０に運転者ＤＲと助手席の者の顔などを撮像させて第１画像を取得し、記憶部５０に記憶させる。また、制御部４０は、第１領域Ａ１に投光する第１投光部Ｔ１の第１赤外線発光器Ｔ１Ｌに赤外線を発光させ、第１領域Ａ１の運転者ＤＲの顔などに投光している間に、撮像素子２０に運転者ＤＲと助手席の者の顔などを撮像させて第２画像を取得し、記憶部５０に記憶させる。そして、制御部４０は、引き続いて、第１投光部Ｔ１の第１赤外線発光器Ｔ１Ｌの発光を止めた後に、第２領域Ａ２に投光する第２投光部Ｔ２の第２赤外線発光器Ｔ２Ｌに赤外線を発光させ、第２領域Ａ２の助手席の者の顔などに投光している間に、撮像素子２０に運転者ＤＲと助手席の者の顔などを撮像させて第３画像を取得し、記憶部５０に記憶させる。第１画像、第２画像、および第３画像を記憶部５０に記憶した後、画像処理部３０は、３つの画像に基づいて画像を処理する。
【００２５】
図７を参照して、顔画像処理装置１００における動作を説明する。なお、フローチャートにおけるＳはステップを意味する。顔画像処理装置１００の制御部４０は、Ｓ１００において、第１領域Ａ１（運転席側）を照射する第１赤外線発光器Ｔ１Ｌと、第２領域Ａ２（助手席側）を照射する第２赤外線発光器Ｔ２Ｌを消灯する。制御部４０は、Ｓ１０２において、両発光器が消灯している間に自然光のみで撮像素子２０に撮像させる。制御部４０は、Ｓ１０４において、撮像素子２０が撮像した画像を第１画像として記憶部５０に記憶させる。
【００２６】
制御部４０は、Ｓ１０６において、第１赤外線発光器Ｔ１Ｌを点灯し第１領域Ａ１に投光する。制御部４０は、Ｓ１０８において、第１赤外線発光器Ｔ１Ｌが点灯し、第２赤外線発光器Ｔ２Ｌを消灯している間に、撮像素子２０に撮像させる。制御部４０は、Ｓ１１０において、第１赤外線発光器Ｔ１Ｌを消灯する。制御部４０は、Ｓ１１２において、撮像素子２０がＳ１０８において撮像した画像を第２画像として記憶部５０に記憶させる。
【００２７】
制御部４０は、Ｓ１１４において、第２赤外線発光器Ｔ２Ｌを点灯し第２領域Ａ２に投光する。制御部４０は、Ｓ１１６において、第１赤外線発光器Ｔ１Ｌが消灯し、第２赤外線発光器Ｔ２Ｌを点灯している間に、撮像素子２０に撮像させる。制御部４０は、Ｓ１１８において、第２赤外線発光器Ｔ２Ｌを消灯する。制御部４０は、Ｓ１２０において、撮像素子２０がＳ１１６において撮像した画像を第３画像として記憶部５０に記憶させる。
【００２８】
３つの画像が記憶部５０に記憶されたら、画像処理部３０は、Ｓ１２２において、第１画像と第２画像の差分の画像（第１差分画像）を生成する。また、画像処理部３０は、Ｓ１２４において、第１画像と第３画像の差分の画像（第２差分画像）を生成する。差分の画像を得るのは、第１画像〜第３画像に共通する光すなわち赤外線を照射している際にも存する自然光による反射光によって得られた画像部分を相殺でき精細な画像が得られる点で好ましい。したがって、本ステップの差分画像を生成するのは選択的なものである。
【００２９】
画像処理部３０は、Ｓ１２６において、第２差分画像を用いて、助手席の状況、たとえば助手席に人が居るか否かを検出し判定を行う。第２差分画像は、自然光のみの第１画像と、助手席側の第２赤外線発光器Ｔ２Ｌを点灯している間に撮像した第３画像との差分の画像であるから助手席の状況が明瞭に表れるので、画像処理部３０は、第２差分画像を用いて助手席の状況を検出する。外部出力部６０は、Ｓ１２８において、画像処理部３０が判定した助手席の状況を出力する。なお、第２差分画像を用いた判定は、イグニションスイッチがオンされた後に一回だけ行われるようにしてもよい。走行開始時であるイグニションがオンされた時には、助手席には人が乗っているのかを監視するだけで良いという場合がある。例えば、シートベルト警告を行うシステムが搭載されている車両においては、助手席のシートベルトが装着されていない場合であっても、人が座っていないのであれば警告を停止することができる。他にも例えば、大人か子供を識別できれば、エアバッグを展開する時の爆発力を調整するような事にも利用することができるし、エアコンディショナの風向きの調整に利用することできる。
【００３０】
画像処理部３０は、Ｓ１３０において、第１差分画像を用いて、運転席の状況、たとえば運転者ＤＲの状況を検出し判定を行う。第１差分画像は、自然光のみの第１画像と、運転席側の第１赤外線発光器Ｔ１Ｌを点灯している間に撮像した第２画像との差分の画像であるから運転席にいる運転者ＤＲの状況が明瞭に表れるので、画像処理部３０は、第１差分画像を用いて運転者ＤＲの状況を検出する。
【００３１】
制御部４０は、Ｓ１３２において、過去の第１差分画像と比較することにより、運転者ＤＲが所定の時間同じ状況であるか否かを検査する。例えば、ずっと眼を閉じている状態が継続している場合には居眠りであると判定する。あるいは、顔が下向きの状態が続いている場合にも、居眠りであると判定する。制御部４０は、運転者ＤＲが所定の時間同じ状況でない場合、Ｓ１３４において、休止時間Ｔが経過するのを待って、再度Ｓ１００〜Ｓ１３０を行う。制御部４０は、運転者ＤＲが所定の時間同じ状況である場合、Ｓ１３６において、外部出力部６０に画像処理部３０が判定した運転者ＤＲの状況を出力する。
【００３２】
上述したように、制御部４０は、第１投光部Ｔ１と第２投光部Ｔ２を消灯し、第１領域Ａ１（運転席側）と第２領域Ａ２（助手席側）を撮像素子２０により第１画像として撮像すると共に記憶部５０に第１画像を記憶する。また、制御部４０は、第１投光部Ｔ１と第２投光部Ｔ２の内一方を点灯し、他方を消灯し、第１領域Ａ１と第２領域Ａ２を撮像素子２０により第２画像として撮像すると共に記憶部５０に第２画像を記憶する。また、制御部４０は、第１投光部Ｔ１と第２投光部Ｔ２の内のその一方を消灯し、その他方を点灯し、第１領域Ａ１と第２領域Ａ２を撮像素子２０により第３画像として撮像すると共に記憶部５０に第３画像を記憶する。
【００３３】
そして、制御部４０は、第１画像、第２画像、および第３画像が記憶部５０に記憶された場合に、画像処理部３０に画像処理を指示する。この画像処理の指示を受けた画像処理部３０は、第１画像と第２画像の差分画像を第１差分画像として生成し、第１画像と第３画像の差分画像を第２差分画像として生成する。このように差分画像を生成することで、元の画像に共通している自然光の反射光による影響が相殺されて、投光部により投光された赤外光の反射光に基づいて画像が生成されるので、異なる２領域からの反射光の内必要な領域からの反射光に基づいた明瞭な画像を取得することができる。
【００３４】
図８〜図１０を参照して、第１画像〜第３画像の撮像について具体的に説明する。図８は、第１画像の撮像を示す。第１画像の撮像時には、第１赤外線発光器Ｔ１Ｌと第２赤外線発光器Ｔ２Ｌは消灯されており、撮像素子２０は、車両Ｃの外部からの自然光が、第１領域Ａ１にいる運転者ＤＲと第２領域Ａ２にいる助手席の者の顔の皮膚等に当たって乱反射した光に基づいて撮像する。第１領域Ａ１にいる運転者ＤＲに当たって乱反射した光（点線）は、光束分割器ＬＤの第１面ＬＤ１に当たり、水平成分を除く光成分のみが反射して撮像素子２０に到達し、水平成分の光成分は、第１面ＬＤ１から第２面ＬＤ２へ透過する。
【００３５】
また、第２領域Ａ２にいる助手席の者に当たって乱反射した光（一点鎖線）は、光束分割器ＬＤの第２面ＬＤ２に当たり、水平成分を除く光成分は反射し、水平成分の光成分のみが第２面ＬＤ２から第１面ＬＤ１へ透過して撮像素子２０に到達する。このようにして、撮像素子２０は、自然光が運転者ＤＲで乱反射した光の内の水平成分を除く光成分と、自然光が助手席の者で乱反射した光の内の水平成分の光成分とを受光し撮像する。
【００３６】
図９は、第２画像の撮像を示す。第２画像の撮像時には、第１赤外線発光器Ｔ１Ｌが点灯、第２赤外線発光器Ｔ２Ｌは消灯されており、撮像素子２０は、車両Ｃの外部からの自然光が、第１領域Ａ１にいる運転者ＤＲと第２領域Ａ２にいる助手席の者の顔の皮膚等に当たって乱反射した光と、第１赤外線発光器Ｔ１Ｌが投光した水平成分の赤外光が運転者ＤＲの顔の皮膚等に当たって乱反射した光とに基づいて撮像する。運転者ＤＲの皮膚に当たって乱反射した光（点線）は、光束分割器ＬＤの第１面ＬＤ１に当たり、水平成分を除く光成分のみが反射して撮像素子２０に到達し、水平成分の光成分は、第１面ＬＤ１から第２面ＬＤ２へ透過する。
【００３７】
また、助手席の者の皮膚に当たって乱反射した光（一点鎖線）は、光束分割器ＬＤの第２面ＬＤ２に当たり、水平成分を除く光成分は反射し、水平成分の光成分のみが第２面ＬＤ２から第１面ＬＤ１へ透過して撮像素子２０に到達する。このようにして、撮像素子２０は、自然光と第１赤外線発光器Ｔ１Ｌが投光した赤外光が運転者ＤＲの皮膚で乱反射した光の内の水平成分を除く光成分と、自然光が助手席の者の皮膚で乱反射した光の内の水平成分の光成分とを受光し撮像する。
【００３８】
なお、運転者ＤＲが眼鏡を掛けている場合、第１偏光子Ｔ１Ｆを通った水平成分の光が眼鏡に当たって正反射する反射光は、皮膚の反射光とは異なり、水平成分の光が主となる。そうすると、眼鏡に当たって正反射する反射光は、第１面ＬＤ１から第２面ＬＤ２へ透過し、第１面ＬＤ１では反射しないので、撮像素子２０に到達しない。通常、偏光せずに眼鏡に投光して正反射した部分を撮像すると高輝度で白飛びが生じてしまい、特に眼の状態を検出し難くなってしまう（図１４（Ａ））。しかし、本実施例のように、水平成分の光成分を投光し、水平成分を除く光成分を反射する光束分割器ＬＤを介して撮像すると、白飛びを起こすような反射光は、光束分割器ＬＤを通過してしまい撮像素子２０に到達しないので、図１４（Ｂ）に示すように、白飛びがない明瞭な画像を撮像することができる。これにより、運転者ＤＲが眼鏡を掛けていても、眼の状態を検出することができる。
【００３９】
図１０は、第３画像の撮像を示す。第３画像の撮像時には、第１赤外線発光器Ｔ１Ｌが消灯、第２赤外線発光器Ｔ２Ｌは点灯されており、撮像素子２０は、車両Ｃの外部からの自然光が、第１領域Ａ１にいる運転者ＤＲと第２領域Ａ２にいる助手席の者の顔の皮膚等に当たって乱反射した光と、第２赤外線発光器Ｔ２Ｌが投光した垂直成分の赤外光が助手席の者の顔の皮膚等に当たって乱反射した光とに基づいて撮像する。運転者ＤＲの皮膚に当たって乱反射した光（点線）は、光束分割器ＬＤの第１面ＬＤ１に当たり、水平成分を除く光成分のみが反射して撮像素子２０に到達し、水平成分の光成分は、第１面ＬＤ１から第２面ＬＤ２へ透過する。
【００４０】
また、助手席の者の皮膚に当たって乱反射した光（一点鎖線）は、光束分割器ＬＤの第２面ＬＤ２に当たり、水平成分を除く光成分は反射し、水平成分の光成分のみが第２面ＬＤ２から第１面ＬＤ１へ透過して撮像素子２０に到達する。このようにして、撮像素子２０は、自然光が運転者ＤＲの皮膚で乱反射した光の内の水平成分を除く光成分と、自然光と第２赤外線発光器Ｔ２Ｌが投光した赤外光が助手席の者の皮膚で乱反射した光の内の水平成分の光成分とを受光し撮像する。
【００４１】
また、助手席の者が眼鏡を掛けている場合、第２偏光子Ｔ２Ｆを通った垂直成分の光が眼鏡に当たって正反射する反射光は、皮膚の反射光とは異なり、垂直成分の光が主となる。そうすると、眼鏡に当たって正反射する反射光は、第２面ＬＤ２では反射し、第２面ＬＤ２から第１面ＬＤ１へ透過しないので、撮像素子２０に到達しない。上記と同様に、垂直成分の光成分を投光し、水平成分を透過する光束分割器ＬＤを介して撮像すると、白飛びを起こすような反射光は、光束分割器ＬＤの第２面ＬＤ２で反射されてしまい撮像素子２０に到達しないので、白飛びがない明瞭な画像を撮像することができる。
【００４２】
図１１〜図１３を参照して、第１画像〜第３画像の画像処理について説明する。なお、本図は、運転席には運転者ＤＲが座り、助手席には誰も居ない場合の例である。つまり、助手席側では座席が撮像されることになる。図１１は、第１画像の画像処理を示す。図１１（Ａ）は、撮像素子２０が光束分割器ＬＤの第１面ＬＤ１で反射した水平成分を除く光成分に基づいて撮像した第１領域Ａ１の運転席側の画像である。図１１（Ｂ）は、撮像素子２０が光束分割器ＬＤの第２面ＬＤ２から第１面ＬＤ１へ透過した水平成分の光成分に基づいて撮像した第２領域Ａ２の助手席側の画像である。いずれの画像も自然光なので、全体的に輝度の低い画像となる。撮像素子２０は、この２つの画像を同時に受光するので、図１１（Ｃ）に示すような２つの画像が重なった画像を撮像する。
【００４３】
図１２は、第２画像の画像処理を示す。図１２（Ａ）は、第１投光部Ｔ１が投光した状態で、撮像素子２０が光束分割器ＬＤの第１面ＬＤ１で反射した水平成分を除く光成分に基づいて撮像した第１領域Ａ１の運転席側の画像である。図１２（Ｂ）は、自然光のみで、撮像素子２０が光束分割器ＬＤの第２面ＬＤ２から第１面ＬＤ１へ透過した水平成分の光成分に基づいて撮像した第２領域Ａ２の助手席側の画像である。図１２（Ａ）の画像は、第１投光部Ｔ１が投光しているので、全体として輝度の高い画像となる。撮像素子２０は、この２つの画像を同時に受光するので、図１２（Ｃ）に示すような２つの画像が重なった画像を撮像する。図１２（Ｃ）は、図１１（Ｃ）に比べると、第１投光部Ｔ１が投光した状態で撮像している分、全体的に輝度が高くなる。
【００４４】
図１３は、第１差分画像の生成を示す。図１３（Ａ）は、図１１（Ｃ）で示した第１画像を示し、図１３（Ｂ）は、図１２（Ｃ）で示した第２画像を示す。第１画像と第２画像は、自然光の反射光を撮像している点で共通しているが、第２画像は、第１投光部Ｔ１が投光した赤外光の反射光を含んでいる点で、第１画像に比べて輝度が高く、差異がある。図１３（Ｃ）は、この差異を際立たせるために、両画像に共通している自然光の反射光の部分は相殺した差分画像であり、第１投光部Ｔ１が投光した赤外光による撮像された画像である。
【００４５】
たとえば、図１１（Ｂ）の助手席側の画像と図１２（Ｂ）の助手席側の画像は、いずれも自然光の反射光を撮像した点で共通しているので、差分画像では消えてしまう。その結果、図１３（Ｃ）の差分画像では、赤外光を投光した際に撮像した運転席側の画像が明瞭に現れる。このようにすることで、異なる２領域からの反射光の内必要な領域からの反射光に基づいた明瞭な画像を取得することができる。なお、第１画像と第３画像から生成される第２差分画像も同様である。
【００４６】
なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。
【符号の説明】
【００４７】
１００  顔画像処理装置
Ｔ１    第１投光部
Ｔ１Ｌ  第１赤外線発光器
Ｔ１Ｆ  第１偏光子
Ｔ２    第２投光部
Ｔ２Ｌ  第２赤外線発光器
Ｔ２Ｆ  第２偏光子
Ｐ１    第１光路
Ｐ２    第２光路
Ｐ２    第３光路
Ｏ１    第１光路入射口
Ｏ１Ｆ  第１可視光カットフィルタ
Ｏ２    第２光路入射口
Ｏ２Ｆ  第２可視光カットフィルタ
ＬＤ    光束分割器
ＬＤ１    第１面
ＬＤ２    第２面
２０    撮像素子
２１    レンズ
３０    画像処理部
４０    制御部
５０    記憶部
６０    外部出力部
７０    電源部
８０    遮光壁
ＤＲ    運転者
ＷＬ    ハンドル
Ｃ      車両
Ａ１    第１領域（運転席）
Ａ２    第２領域（助手席）
【図１】
0006572809.tif 000002
【図２】
0006572809.tif 000003
【図３】
0006572809.tif 000004
【図４】
0006572809.tif 000005
【図５】
0006572809.tif 000006
【図６】
0006572809.tif 000007
【図７】
0006572809.tif 000008
【図８】
0006572809.tif 000009
【図９】
0006572809.tif 000010
【図１０】
0006572809.tif 000011
【図１１】
0006572809.tif 000012
【図１２】
0006572809.tif 000013
【図１３】
0006572809.tif 000014
【図１４】
0006572809.tif 000015