(57)【要約】【課題】暗環境下及び明環境下の各々に適した監視画像データを生成可能にする車両前方監視装置を、提供する。【解決手段】車両前方監視装置１であって、近赤外光を投射する投光器１０と、特定波長の光を透過する光学系２０と、前方領域を撮像する撮像素子３０と、前方領域を監視するための監視画像データを生成する画像処理手段５０とを、備え、光学系２０は、撮像素子３０へ向かって透過させる光の波長を、投光器１０の発する近赤外光の波長域に制限する近赤外光透過部２１と、撮像素子３０へ向かって透過させる光の波長を、可視光の波長域に設定する可視光透過部２２とを、有し、画像処理手段５０は、撮像素子３０が近赤外光透過部２１の透過光を受光して出力する近赤外光信号と、撮像素子３０が可視光透過部２２の透過光を受光して出力する可視光信号とを、画像信号として処理する。【選択図】図２
2013239822.tif 000002
【特許請求の範囲】
【請求項１】
車両においてライトにより照明可能な前方領域を監視する車両前方監視装置であって、
前記前方領域へ向かって近赤外光を投射する投光器と、
特定波長の光を透過する光学系と、
前記前方領域から前記光学系を通して入射する光を受光することにより、当該前方領域を撮像する撮像素子と、
前記撮像素子から出力される画像信号を処理することにより、前記前方領域を監視するための監視画像データを生成する画像処理手段とを、備え、
前記光学系は、
前記撮像素子へ向かって透過させる光の波長を、前記投光器の発する近赤外光の波長域に制限する近赤外光透過部と、
前記撮像素子へ向かって透過させる光の波長を、可視光の波長域に設定する可視光透過部とを、有し、
前記画像処理手段は、前記撮像素子が前記近赤外光透過部の透過光を受光して出力する近赤外光信号と、前記撮像素子が前記可視光透過部の透過光を受光して出力する可視光信号とを、前記画像信号として処理することを特徴とする車両前方監視装置。
【請求項２】
透過光の波長を可視光の波長域全域に設定する前記可視光透過部は、
前記可視光のうち原色光を透過させる原色光透過領域と、
前記可視光のうち補色光を透過させる補色光透過領域と、
前記可視光のうち白色光を透過させる白色光透過領域とを、有することを特徴とする請求項１に記載の車両前方監視装置。
【請求項３】
前記画像処理手段は、
前記前方領域の暗い暗条件が成立した場合に監視画像データを生成するに際して、前記投光器の点灯状態及び前記ライトの点灯状態で前記撮像素子から出力される前記近赤外光信号及び前記可視光信号を処理する暗モードと、
前記前方領域の明るい明条件が成立した場合に前記監視画像データを生成するに際して、前記投光器の消灯状態及び前記ライトの消灯状態で前記撮像素子から出力される前記近赤外光信号及び前記可視光信号を処理する明モードとを実行することを特徴とする請求項１又は２に記載の車両前方監視装置。
【請求項４】
前記画像処理手段は、
前記明モードにおいて前記近赤外光透過部の透過光に関する前記撮像素子の受光量が飽和値未満である場合に、前記近赤外光信号及び前記可視光信号の双方を処理対象に設定する一方、
前記明モードにおいて前記受光量が前記飽和値以上である場合に、処理対象を前記可視光信号に限定することを特徴とする請求項３に記載の車両前方監視装置。
【請求項５】
透過光の波長を可視光の波長域全域に設定する前記可視透過部は、
前記可視光のうち原色光を透過させる原色光透過領域と、
前記可視光のうち補色光を透過させる補色光透過領域と、
前記可視光のうち白色光を透過させる白色光透過領域とを、有し、
前記画像処理手段は、
前記明モードにおいて前記受光量が前記飽和値以上である場合に、前記原色光透過領域の透過光を前記撮像素子が受光することにより出力される前記可視光信号に、処理対象を限定することを特徴とする請求項４に記載の車両前方監視装置。
【請求項６】
前記車両内において前記監視画像データを表示する表示手段と、
前記車両内において注意喚起を行う注意喚起手段とを、備え、
前記暗モードにおいて前記画像処理手段は、前記監視用画像データを前記表示手段により表示させ、
前記明モードにおいて前記画像処理手段は、前記監視画像データに基づいて注意喚起の必要な対象を検出し、前記注意喚起手段により当該対象に関して注意喚起を行うことを特徴とする請求項３〜５のいずれか一項に記載の車両前方監視装置。
【請求項７】
前記車両においてライトスイッチのオフと、閾値以上の照度と、昼間を示す時刻とのうち少なくとも一つである前記明条件が成立することにより、前記画像処理手段が前記明モードを実行し、
前記車両においてライトスイッチのオンと、前記閾値未満の照度と、夜間を示す時刻とのうち少なくとも一つである前記暗条件が成立することにより、前記画像処理手段が前記暗モードを実行することを特徴とする請求項３〜６のいずれか一項に記載の車両前方監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の前方領域を監視する車両前方監視装置に関する。
【背景技術】
【０００２】
従来、車両の前方領域を撮像して、当該前方領域を監視するための監視画像データを生成する車両前方監視装置が、知られている。こうした装置の一種として特許文献１には、前方領域へ向かって近赤外光を投射し、その投射された反射光を受光する撮像素子から画像信号を出力させ、当該画像信号の処理により夜間表示用の監視画像データを生成することで、乗員による車両の夜間運転を支援するものが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８７００６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、撮像素子に近赤外光を受光させる構成の場合、自然光中の近赤外光が増大する昼間等の明環境下では、撮像素子による受光量が飽和し易くなるので、特許文献１に開示されるように、当該構成を夜間等の暗環境下にて使用するのが一般的である。しかし、近年、暗環境下だけでなく、明環境下においても、共通の撮像素子を利用して前方領域の撮像を行なって監視画像データを生成することが、求められている。
【０００５】
本発明は、以上説明した問題に鑑みてなされたものであって、その目的は、暗環境下及び明環境下の各々に適した監視画像データを共通の撮像素子を利用して生成可能にする車両前方監視装置を、提供することにある。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、車両においてライトにより照明可能な前方領域を監視する車両前方監視装置であって、前方領域へ向かって近赤外光を投射する投光器と、特定波長の光を透過する光学系と、前方領域から光学系を通して入射する光を受光することにより、当該前方領域を撮像する撮像素子と、撮像素子から出力される画像信号を処理することにより、前方領域を監視するための監視画像データを生成する画像処理手段とを、備え、光学系は、撮像素子へ向かって透過させる光の波長を、投光器の発する近赤外光の波長域に制限する近赤外光透過部と、撮像素子へ向かって透過させる光の波長を、可視光の波長域に設定する可視光透過部とを、有し、画像処理手段は、撮像素子が近赤外光透過部の透過光を受光して出力する近赤外光信号と、撮像素子が可視光透過部の透過光を受光して出力する可視光信号とを、画像信号として処理する。
【０００７】
この発明では、撮像素子が近赤外光透過部の透過光を受光して出力する近赤外光信号と、撮像素子が可視光透過部の透過光を受光して出力する可視光信号とを、監視画像データの生成に必要な画像信号として処理する。これによれば、投光器から投射されて前方領域にて反射の近赤外光が近赤外光透過部を透過することで得られる近赤外光信号と、ライトにより照明される前方領域にて反射の可視光が可視光透過部を透過することで得られる可視光信号とから、監視画像データを生成できる。即ち、近赤外光の届く遠方の前方領域と、ライトの可視光が届く近方の前方領域とを共に撮像して、夜間等の暗環境下に適した監視画像データを生成できるのである。また一方、自然光中の近赤外光が前方領域にて反射して近赤外光透過部を透過することで得られる近赤外光信号と、自然光中の可視光が前方領域にて反射して可視光透過部を透過することで得られる可視光信号とからも、監視画像データを生成できる。即ち、投光器から投射される近赤外光の波長域に制限された近赤外光透過部の透過光を、可視光の波長域に設定された可視光透過部の透過光と共に受光する撮像素子では、昼間等の明環境下に適した監視画像データを暗環境下で共通の撮像素子を利用して生成できるのである。
【０００８】
請求項２，５に記載の発明では、透過光の波長を可視光の波長域全域に設定する可視光透過部は、可視光のうち原色光を透過させる原色光透過領域と、可視光のうち補色光を透過させる補色光透過領域と、可視光のうち白色光を透過させる白色光透過領域とを、有する。
【０００９】
この発明の撮像素子によると、透過光の波長を可視光の波長域全域に設定する可視透過部のうち、原色光透過領域、補色光透過領域及び白色光透過領域をそれぞれ透過した原色光、補色光及び白色光の各受光量を表す可視光信号を、出力し得る。こうして出力される可視光信号によれば、暗環境下にてライトの可視光が届く近方の前方領域が映る監視画像データを、視認性の高いフルカラーで生成できる。しかも、原色光と比較して波長域が広い、即ち分光感度が高い補色光及び白色光の各受光量に応じて可視光信号が得られるので、暗環境下の近方領域に映る物体の識別性が高い監視画像データを、生成できる。これらによれば、暗環境下に適した監視画像データの生成に、貢献可能となる。
【００１０】
請求項３に記載の発明では、画像処理手段は、前方領域の暗い暗条件が成立した場合に監視画像データを生成するに際して、投光器の点灯状態及びライトの点灯状態で撮像素子から出力される近赤外光信号及び可視光信号を処理する暗モードと、前方領域の明るい明条件が成立した場合に監視画像データを生成するに際して、投光器の消灯状態及びライトの消灯状態で撮像素子から出力される近赤外光信号及び可視光信号を処理する明モードとを、実行する。
【００１１】
この発明において前方領域の暗い暗条件が成立すると、投光器の点灯状態及びライトの点灯状態で撮像素子から出力される近赤外光信号及び可視光信号が、監視画像データの生成に必要な画像信号として処理される。これによれば、投光器から投射されて前方領域にて反射の近赤外光が近赤外光透過部を透過することで得られる近赤外光信号と、ライトにより照明される前方領域にて反射の可視光が可視光透過部を透過することで得られる可視光信号とから、暗環境下に適した監視画像データを確実に生成できる。また一方、前方領域の明るい明条件が成立すると、投光器の消灯状態及びライトの消灯状態で撮像素子から出力される近赤外光信号及び可視光信号が、監視画像データの生成に必要な画像信号として処理される。これによれば、自然光中の近赤外光が前方領域にて反射して近赤外光透過部を透過することで得られる近赤外光信号と、自然光中の可視光が前方領域にて反射して可視光透過部を透過することで得られる可視光信号とから、明環境下に適した監視画像データを確実に生成できるのである。
【００１２】
請求項４に記載の発明では、画像処理手段は、明モードにおいて近赤外光透過部の透過光に関する撮像素子の受光量が飽和値未満である場合に、近赤外光信号及び可視光信号の双方を処理対象に設定する一方、明モードにおいて受光量が飽和値以上である場合に、処理対象を可視光信号に限定する。
【００１３】
この発明の明モードでは、近赤外光透過部の透過光に関する撮像素子の受光量、即ち自然光中の近赤外光に関する受光量が飽和値未満であれば、当該受光量に応じた近赤外光信号と共に、可視光信号とを処理対象として、明環境下に適した監視画像データを確実に生成できる。但し、明モードにおいて自然光中の近赤外光に関する受光量が飽和値以上となると、当該受光量に応じた近赤外光信号から監視画像データを生成すると、当該生成データにおいて前方領域に映る物体の識別が困難となるおそれがある。そこで、受光量が飽和値以上となった場合には、処理対象が可視光信号に制限されるので、前方領域に映る物体の識別が容易な監視画像データを、生成できるのである。
【００１４】
請求項５に記載の発明では、画像処理手段は、明モードにおいて受光量が飽和値以上である場合に、原色光透過領域の透過光を撮像素子が受光することにより出力される可視光信号に、処理対象を限定する。
【００１５】
この発明の明モードでは、近赤外光透過部の透過光に関する撮像素子の受光量、即ち自然光中の近赤外光に関する受光量が飽和値以上となると、原色光透過領域の透過光を撮像素子が受光して出力する可視光信号に、処理対象が限定される。即ち、自然光中の可視光のうち、波長域が狭いことにより受光量が飽和し難い原色光を受光することで得られる可視光信号によれば、前方領域に映る物体の識別が容易な監視画像データを、確実に生成できるのである。
【００１６】
請求項６に記載の発明では、車両内において監視画像データを表示する表示手段と、車両内において注意喚起を行う注意喚起手段とを、備え、暗モードにおいて画像処理手段は、監視用画像データを表示手段により表示させ、明モードにおいて画像処理手段は、監視画像データに基づいて注意喚起の必要な対象を検出し、当該対象に関して注意喚起手段により注意喚起を行う。
【００１７】
この発明において、車両乗員にとって視界の良好でない暗環境下に実行される暗モードでは、遠方及び近方の前方領域を映した監視用画像データが表示手段により表示されることになるので、車両乗員の視覚を確実にサポートすることができる。また一方、車両乗員にとって視界の良好な明環境下に実行される明モードでは、監視画像データに基づき検出された注意喚起の必要対象に関して当該注意喚起が行われることになるので、車両乗員の認知不足を確実にサポートすることができる。
【００１８】
請求項７に記載の発明では、車両においてライトスイッチのオフと、閾値以上の照度と、昼間を示す時刻とのうち少なくとも一つである明条件が成立することにより、画像処理手段が明モードを実行し、車両においてライトスイッチのオンと、閾値未満の照度と、夜間を示す時刻とのうち少なくとも一つである暗条件が成立することにより、画像処理手段が暗モードを実行する。
【００１９】
この発明において明モードは、明環境下であることを示す明条件、即ち車両におけるライトスイッチのオフと、閾値以上の照度と、昼間を示す時刻とのうち少なくとも一つの成立により実行される。故に、車両乗員にとって視界が良好な明環境下に適した監視画像データを明モードにより生成して、視界をサポートすることができる。また一方、暗モードは、暗環境下であることを示す暗条件、即ち車両におけるライトスイッチのオンと、閾値未満の照度と、夜間を示す時刻とのうち少なくとも一つが成立することにより実行される。故に、車両乗員にとって視界が十分でない暗環境下にあっても、それに適した監視画像データを暗モードによって生成して、車両乗員の視界をサポートする。
【図面の簡単な説明】
【００２０】
【図１】投光器から照射される近赤外光の照射範囲の一例を模式的に示す図である。
【図２】本発明の第一実施形態による車両前方監視装置の概略的な構成を示すブロック図である。
【図３】フィルタの分光感度特性を示すグラフである。
【図４】表示装置に表示される監視画像データの一例を示す説明図である。
【図５】ＨＵＤ装置により注意喚起がなされる一例を示す説明図である。
【図６】撮像素子及び光学系の概略的な構成の一例を示す断面図である。
【図７】撮像素子に装着されたフィルタ配置例を示し、（ａ）カラーフィルタアレイの光源側からの説明図、（ｂ）図６の断面における画素、カラーフィルタ及びバンドパスフィルタの位置関係と各透過領域との対応を説明する説明図である。
【図８】本発明の第一実施形態における制御フローを示すフローチャートである。
【図９】本発明の第二実施形態における制御フローを示すフローチャートである。
【図１０】本発明の第二実施形態における電子シャッターの原理を説明する説明図である。
【図１１】本発明のその他の実施例における制御フローを示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
【００２２】
（第一実施形態）
図１に示すように車両前方監視装置１は、車両２に搭載され、ヘッドライト３により照明可能な前方領域Ａｆを監視する。なお、車両前方監視装置１を搭載している車両２を、以下では、「自車両２」というものとする。図２に示すように車両前方監視装置１は、投光器１０、光学系２０、撮像素子３０、メイン制御部５０、表示装置４０及びヘッドアップディスプレイ（ＨＵＤ）装置６０を備えている。
【００２３】
図２に示す投光器１０は、近赤外光を発光する例えばＬＥＤの一つ乃至は複数等を主体として、構成されている。本実施形態の投光器１０は、一般的な近赤外光の波長域（約７００ｎｍ〜約１１００ｎｍ）のうち図３に示すように、例えば約８５０ｎｍを中心とする所定波長域ＩＲの光を発する。例えばフロントバンパー等の自車両２の前部に設置される投光器１０は、波長域ＩＲの近赤外光を発することにより、当該近赤外光を前方領域Ａｆへ向かって投射する。投光器１０からの近赤外光の投射範囲Ａｎは、図１に例示するように、可視光を投射するヘッドライト３のロービーム時の投射範囲Ａｌよりも前方となるように、設定されている。ここで、投射範囲Ａｎを決める投光器１０の投射角度範囲θは、例えば約１５°に設定される。また、ロービーム時のヘッドライト３の投射距離Ｄｌを例えば約５０ｍとすると、投射範囲Ａｎを決める投光器１０の投射距離Ｄｎは、夜間等の暗環境下にて自車両２の乗員により目視困難となる例えば約１００ｍに設定される。
【００２４】
図２に示す光学系２０は、特定波長の光を透過する光学フィルタの複数を組み合わせて、構成されている。光学系２０は、自車両２において後に詳述の撮像素子３０の前方を覆う状態で、例えばフロントウインドシールドの内側乃至は外側等に設置されている。かかる設置形態により、光学系２０は、前方領域Ａｆから入射して透過した特定波長の光を、後方の撮像素子３０に対して入射する。
【００２５】
撮像素子３０は、近赤外光及び可視光に対して感度を持つＣＭＯＳセンサを主体に、構成されている。撮像素子３０は、自車両において例えばフロントウインドシールドの内側乃至は外側等に設置されることで、撮像する対象が前方領域Ａｆに設定されている。撮像素子３０は、前方領域Ａｆから届く近赤外光及び可視光のうち、光学系２０を通して入射した光を受光して、その受光量に応じた画像信号を出力する。即ち、撮像素子３０から出力される画像信号は、撮像した前方領域Ａｆの視覚情報を表すものとなる。
【００２６】
「画像処理手段」としてのメイン制御部５０は、例えば画像処理チップ及びマイクロコンピュータ等を組み合わせることにより、構成されている。メイン制御部５０は、投光器１０、撮像素子３０、表示装置４０及びＨＵＤ装置６０に対して、接続されている。それと共に、メイン制御部５０は、自車両２のライトスイッチ７０、照度センサ８０、時計９０及びヘッドライト３にも、接続されている。メイン制御部５０は、投光器１０及び撮像素子３０の作動を制御して、当該素子３０から出力される画像信号を処理する。かかる画像処理によりメイン制御部５０は、前方領域Ａｆを映すことで当該領域Ａｆを監視するための監視画像データを、生成する。
【００２７】
「表示手段」としての表示装置４０は、例えば液晶ディスプレイ等を主体に、構成されている。表示装置４０は、自車両２の車室内前方に設置されることで、当該車室内の乗員による画面４１（図４参照）の視認が可能となっている。メイン制御部５０に接続されている表示装置４０は、メイン制御部５０により生成された画像データ、特に本実施形態では、夜間等の暗環境下にて前方領域Ａｆを監視するための監視画像データを、図４に示すように画面４１に表示する。
【００２８】
「注意喚起手段」としてのＨＵＤ装置６０は、図２に示すように画像処理部６１及び虚像表示部６２を有している。画像処理部６１は、例えば画像処理チップ等を主体に、構成されている。メイン制御部５０に接続されている画像処理部６１には、当該制御部５０の生成する画像データ、特に本実施形態では、昼間等の明環境下にて前方領域Ａｆを監視するための監視画像データが、入力される。そこで画像処理部６１は、監視画像データに映る前方領域Ａｆのうち、車内の乗員に注意喚起を促すことが必要な人間、動物、障害物等の注意喚起対象を、画像処理により検出する。さらに画像処理部６１は、検出した注意喚起対象の存在を車内の乗員に注意喚起するために、注意喚起画像データを監視画像データとは別に生成する。
【００２９】
虚像表示部６２は、例えば液晶ディスプレイ及び光学系等を組み合わせることにより、構成されている。画像処理部６１に接続されている虚像表示部６２は、当該処理部６１により生成された注意喚起画像データを光像化して、自車両２のフロントウインドシールド７（図５参照）に投射する。その結果、図５に示すように注意喚起対象８の存在を注意喚起する虚像（同図の白抜き矢印）が、表示される。なお、注意喚起対象８の存在は、虚像表示部６２による虚像表示により注意喚起する以外にも、自車両２に設置されるスピーカ４や、自車両２のメーターパネル等に設けられるＬＥＤ５等を発光させることによって注意喚起してもよい。また、図４に示すような注意喚起対象８を囲む枠を、表示装置４０に示すことにより、注意喚起してもよい。なお、表示装置４０においても、枠等により注意喚起する以外にも、自車両２に設置されるスピーカ４や、自車両２のメータパネル等に設けられるＬＥＤ５等を発光させることによって注意喚起してもよい。
【００３０】
（特徴的構成）
次に、車両前方監視装置１の特徴的構成について詳細に説明する。
【００３１】
図６に示すように撮像素子３０及び光学系２０は、自車両２に固定される撮像ケース３１に保持されている。この撮像ケース３１は、撮像素子３０を内部に収容する有底の矩形筒状に形成され、無色透明な封止ガラス３２により開口部を封止されている。それと共に、撮像ケース３１において撮像素子３０よりも前方には、光学系２０を構成するバンドパスフィルタ２３及びカラーフィルタアレイ２４が、配置されている。
【００３２】
バンドパスフィルタ２３は、例えば封止ガラス３２の背面に多層蒸着された光学薄膜等から、構成されている。バンドパスフィルタ２３は、前方領域Ａｆから入射した光を多重反射して、そのうちの一部の光のみを透過させる。これによりバンドパスフィルタ２３は、透過させる可視光の波長を、可視光の波長域全域に設定する。それと共にバンドパスフィルタ２３は、透過させる近赤外光の波長を、図３に示す波長域Ｒ、即ち投光器１０の発する近赤外光の波長域に制限する。
【００３３】
図６に示すようにカラーフィルタアレイ２４は、バンドパスフィルタ２３及び封止ガラス３２の後方であって、撮像素子３０において入射光を受光する複数の画素３３の前面上に、配置されている。カラーフィルタアレイ２４は、例えば各画素３３の前面に形成された光学薄膜等から構成され、図７（ａ）、（ｂ）に示す複数種類のカラーフィルタ２４ａ、２４ｂ、２４ｃ、２４ｄのうちいずれかを、それら各画素３３に対応させている。ここでＲフィルタ２４ａは、バンドパスフィルタ２３を透過した可視光及び制限波長域ＩＲの近赤外光のうち、図３に示す波長域Ｒの原色光となる赤色光及び制限波長域ＩＲの近赤外光を、対応する画素３３へ向かって透過させる。Ｙｅフィルタ２４ｂは、バンドパスフィルタ２３を透過した可視光及び制限波長域ＩＲの近赤外光のうち図３に示す波長域Ｙｅの補色光となる黄色光及び制限波長域ＩＲの近赤外光を、対応する画素３３へ向かって透過させる。Ｗフィルタ２４ｃは、バンドパスフィルタ２３を透過した可視光及び制限波長域ＩＲの近赤外光のうちのうち図３に示す波長域Ｗの白色光及び制限波長域ＩＲの近赤外光を、対応する画素３３へ向かって透過させる。ＩＲフィルタ２４ｄは、バンドパスフィルタ２３を透過した制限波長域ＩＲの近赤外光の全てを、対応応する画素３３へ向かって透過させる。
【００３４】
以上説明したことから、図７（ｂ）に示すように本実施形態では、バンドパスフィルタ２３とＲフィルタ２４ａとの組み合わせにより、波長域Ｒの原色光及び制限波長域ＩＲの近赤外光を透過させる原色光透過領域２２ａが、構成されている。また、バンドパスフィルタ２３とＹｅフィルタ２４ｂとの組み合わせにより、波長域Ｙｅの補色光及び制限波長域ＩＲの近赤外光を透過させる補色光透過領域２２ｂが、構成されている。さらにまた、バンドパスフィルタ２３とＷフィルタ２４ｃとの組み合わせにより、波長域Ｗの白色光及び制限波長域ＩＲの近赤外光を透過させる白色光透過領域２２ｃが、構成されている。したがって、これら原色光透過領域２２ａと補色光透過領域２２ｂと白色光透過領域２２ｃとは、可視光透過部２２として、撮像素子３０へ向かって透過させる光の波長を、可視光の波長域全域及び制限波長域ＩＲの近赤外光に設定しているのである。
【００３５】
加えて、図７（ｂ）に示すように本実施形態では、バンドパスフィルタ２３とＩＲフィルタ２４ｄとの組み合わせにより、波長域ＩＲの近赤外光を透過させる近赤外光透過部２１が、構成されている。即ち、かかる近赤外光透過部２２は、撮像素子３０へ向かって透過させる光の波長を、投光器１０の発する近赤外光の波長域に制限しているのである。
【００３６】
こうして各透過部２１、２２を透過した特定波長域Ｒ、Ｙｅ、Ｗの可視光又は特定波長域ＩＲの近赤外光は、それぞれ対応する画素３３に入射して、受光される。各画素３３は、それぞれの受光量に応じた電荷を画像信号の電圧に変換して、当該信号をメイン制御部５０に出力する。そこでメイン制御部５０は、近赤外光透過部２１の透過光を受光した複数画素３３から出力の画像信号を、近赤外光信号として処理する一方、可視光透過部２２の各領域２２ａ、２２ｂ、２２ｃの透過光を受光した複数画素３３から出力の画像信号を、可視光信号として処理する。そして、近赤外光信号及び可視光信号の処理により監視画像データを生成するメイン制御部５０は、当該監視画像データを表示装置４０に表示させる、もしくは当該監視画像データに基づき生成される注意喚起画像データをＨＵＤ装置６０に表示させる。
【００３７】
このような本実施形態において、近赤外光信号及び可視光信号の処理方法並びに画像データの表示方法は、メイン制御部５０が切り替え実行する暗モードと明モードとで異なっている。
【００３８】
まず、前方領域Ａｆの暗い暗条件が成立した場合に実行される暗モードにおいてメイン制御部５０は、ヘッドライト３及び投光器１０を点灯させた状態で、撮像素子３０から出力される近赤外光信号及び可視光信号を処理する。その結果、前方領域Ａｆのうち、暗環境下にてヘッドライト３の可視光が反射する近方の領域Ａｌをフルカラーで映すだけでなく、暗環境下であっても投光器１０の発する近赤外光が反射する遠方の領域Ａｎをも映した監視画像データが生成され、そのまま表示装置４０に表示される。
【００３９】
一方、前方領域Ａｆの明るい明条件が成立した場合に実行される明モードにおいてメイン制御部５０は、ヘッドライト３及び投光器１０を共に消灯させた状態で、撮像素子３０から出力される近赤外光信号及び可視光信号を処理する。このとき、特にメイン制御部５０は、近赤外光透過部２１の透過光に関する各画素３３の受光量が所定の飽和値未満である場合に、近赤外光信号及び可視光信号の双方を処理対象に設定する。その結果、自然光中の近赤外光及び可視光が反射する前方領域Ａｆを映した監視画像データが、生成されることで、当該監視画像データに基づく注意喚起画像データが、ＨＵＤ装置６０に表示される。一方、近赤外光透過部２１の透過光に関する各画素３３の受光量が上記飽和値以上である場合にメイン制御部５０は、処理対象を可視光信号のみに限定、特に本実施形態では、原色光透過領域２２ａを透過した波長域Ｒの赤色光の受光画素３３の出力信号に限定する。その結果、自然光中の可視光のうち赤色光が反射する前方領域Ａｆを映した監視画像データが、生成されることで、当該監視画像データに基づく注意喚起画像データが、ＨＵＤ装置６０に表示される。
【００４０】
このような明モードにおいて、近赤外光透過部２１の透過光に関する受光量は、近赤外光信号の電圧値に基づき判断される。また、かかる受光量の判断基準となる飽和値は、各画素３３が近赤外光透過部２１の透過光を受光して蓄積可能な電荷量の最大値に基づき、予め設定される。
【００４１】
（特徴的制御）
次に、メイン制御部５０により実行される車両前方監視装置１の特徴的制御について、図８の制御フローを参照しつつ説明する。
【００４２】
制御フローのＳ１０１では、明条件及び暗条件のうちいずれが成立しているか否かを、判定する。その結果、明条件が成立していると判定された場合、Ｓ１０２へ移行し、暗条件が成立しているとみなされるとＳ１０９へ移行する。
【００４３】
ここで明条件の成立とは、以下のＡ１、Ａ２、Ａ３のうち予設定された少なくとも一つの条件が、成立している場合をいう。
（Ａ１）  ライトスイッチ７０がオフされている。
（Ａ２）  照度センサ８０により検出される照度が所定の値を超えている。
（Ａ３）  時計９０の時刻が昼間を示している。
【００４４】
一方、暗条件の成立とは、以下のＢ１、Ｂ２、Ｂ３のうち予設定された少なくとも一つの条件が、成立している場合をいう。
（Ｂ１）  ライトスイッチ７０がオンされている。
（Ｂ２）  照度センサ８０により検出される照度が上記閾値以下である。
（Ｂ３）  時計９０の時刻が夜間を示している
明条件の成立により移行するＳ１０２では、明モードを開始し、続くＳ１０３では、ヘッドライト３及び投光器１０の消灯状態で、撮像素子３０に前方領域Ａｆの撮像を行わせる。さらに続くＳ１０４では、近赤外光透過部２１の透過光に関する各画素３３の受光量が飽和値以上であるか否かを、判定する。
【００４５】
Ｓ１０４で肯定判定がなされた場合に移行するＳ１０５では、可視光信号のうち、原色光透過領域２２ａを透過した赤色光の受光画素３３の出力信号に限定して処理し、監視画像データを生成する。また、続くＳ１０６では、Ｓ１０５で生成の監視画像データに基づく注意喚起画像データをＨＵＤ装置６０に表示させることで、注意喚起がなされる。
【００４６】
一方、Ｓ１０４で否定判定がなされた場合に移行するＳ１０７では、近赤外光信号及び可視光信号の双方を処理して監視画像データを生成する。また、続くＳ１０８では、Ｓ１０７で生成の監視画像データに基づく注意喚起画像データをＨＵＤ装置６０に表示させることで、注意喚起がなされる。
【００４７】
以上、明条件の成立の場合について説明したが、暗条件の成立により移行するＳ１０９では、暗モードを開始し、続くＳ１１０では、撮像素子３０に前方領域Ａｆの撮像を行わせる。さらに続くＳ１１１では、近赤外光信号及び可視光信号の双方を処理して監視画像データを生成した後、Ｓ１１２では、当該生成データを表示装置４０に表示させると共に注意喚起を行う。
【００４８】
（作用効果）
上述した第一実施形態の車両前方監視装置１による作用効果を、以下に詳細に説明する。
【００４９】
第一実施形態では、撮像素子３０が近赤外光透過部２１の透過光を受光して出力する近赤外光信号と、撮像素子３０が可視光透過部２２の透過光を受光して出力する可視光信号とを、監視画像データの生成に必要な画像信号として処理する。これによれば、投光器１０から投射されて前方領域Ａｆにて反射の近赤外光が近赤外光透過部２１を透過することで得られる近赤外光信号と、ライトにより照明される前方領域Ａｆにて反射の可視光が可視光透過部２２を透過することで得られる可視光信号とから、監視画像データを生成できる。即ち、前方領域Ａｆのうち近赤外光の届く遠方の領域Ａｎと、ヘッドライト３の可視光が届く近方の領域Ａｌとを共に撮像して、夜間等の暗環境下に適した監視画像データを生成できるのである。また一方、自然光中の近赤外光が前方領域Ａｆにて反射して近赤外光透過部２１を透過することにより得られる近赤外光信号と、自然光中の可視光が前方領域Ａｆにて反射して可視光透過部２２を透過することにより得られる可視光信号とからも、監視画像データを生成できる。即ち、投光器１０から投射される近赤外光の波長域ＩＲに制限された近赤外光透過部２１の透過光を、可視光の波長域Ｒ，Ｙｅ，Ｗに設定された可視光透過部２２の透過光と共に受光する撮像素子３０では、近赤外光の受光量を当該制限の分抑えつつ、昼間等の明環境下に適した監視画像データを暗環境下で共通の撮像素子３０を利用して生成できるのである。また、バンドパスフィルター２３による近赤外光の制限波長域ＩＲへの制限により、対抗車両のヘッドライト等に含まれる近赤外光の受光量をある程度抑えることができるため、フレアが発生しにくくなるのである。
【００５０】
さらに第一実施形態の撮像素子３０によると、透過光の波長を可視光の波長域全域に設定する可視光透過部２２のうち、原色光透過領域２２ａ、補色光透過領域２２ｂ及び白色光透過領域２２ｃをそれぞれ透過した原色光、補色光及び白色光の各受光量を表す可視光信号を、出力し得る。こうして出力される可視光信号によれば、暗環境下にてヘッドライト３の可視光が届く近方の領域Ａｌを映した監視画像データを、視認性の高いフルカラーで生成できる。しかも、原色光と比較して波長域Ｙｅ，Ｗが広い、即ち分光感度が高い補色光及び白色光の各受光量に応じて可視光信号が得られるので、暗環境下の近方領域Ａｌに映る物体の識別性を高めた監視画像データを、生成できる。これらによれば、暗環境下に適した監視画像データの生成に、貢献可能となる。
【００５１】
また、第一実施形態において前方領域Ａｆの暗い暗条件が成立すると、投光器１０の点灯状態及びヘッドライト３の点灯状態で撮像素子３０から出力される近赤外光信号及び可視光信号が、監視画像データの生成に必要な画像信号として処理される。これによれば、投光器１０から投射されて前方領域Ａｆにて反射の近赤外光が近赤外光透過部２１を透過することにより得られる近赤外光信号と、ヘッドライト３により照明される前方領域Ａｆにて反射の可視光が可視光透過部２２を透過することにより得られる可視光信号とから、暗環境下に適した監視画像データを確実に生成できる。また一方、前方領域Ａｆの明るい明条件が成立すると、投光器１０の消灯状態及びヘッドライト３の消灯状態で撮像素子３０から出力される近赤外光信号及び可視光信号が、監視画像データの生成に必要な画像信号として処理される。これによれば、自然光中の近赤外光が前方領域Ａｆにて反射して近赤外光透過部２１を透過することにより得られる近赤外光信号と、自然光中の可視光が前方領域Ａｆにて反射して可視光透過部２２を透過することにより得られる可視光信号とから、明環境下に適した監視画像データを確実に生成できるのである。
【００５２】
加えて第一実施形態の明モードでは、近赤外光透過部２１の透過光に関する撮像素子３０の受光量、即ち自然光中の近赤外光に関する受光量が飽和値未満であれば、当該受光量に応じた近赤外光信号と共に、可視光信号とを処理対象として、明環境下に適した監視画像データを確実に生成できる。但し、明モードにおいて自然光中の近赤外光に関する受光量が飽和値以上となると、当該受光量に応じた近赤外光信号から監視画像データを生成すると、当該生成データにおいて前方領域Ａｆに映る物体の識別が困難となるおそれがある。そこで、受光量が飽和値以上となった場合には、処理対象が可視光信号に制限されるので、前方領域Ａｆに映る物体の識別が容易な監視画像データを、生成できるのである。
【００５３】
さらに加えて第一実施形態の明モードでは、近赤外光透過部２１の透過光に関する撮像素子３０の受光量、即ち自然光中の近赤外光に関する受光量が飽和値以上となると、原色光透過領域２２ａの透過光を撮像素子３０が受光して出力する可視光信号に、処理対象が限定される。即ち、自然光中の可視光のうち、波長域Ｒが狭いことにより受光量が飽和し難い原色光を受光して得られる可視光信号によれば、前方領域Ａｆに映る物体の識別が容易な監視画像データを、確実に生成できるのである。
【００５４】
さらに第一実施形態において、車両乗員にとって視界の良好でない暗環境下に実行される暗モードでは、前方領域Ａｆのうち遠方の領域Ａｎ及び近方の領域Ａｌを映した監視用画像データが表示装置４０により表示されることになるので、自車両２の乗員の視覚を確実にサポートすることができる。また一方、乗員にとって視界の良好な明環境下に実行される明モードでは、監視画像データに基づき検出された注意喚起の必要対象に関して当該注意喚起が行われることになるので、乗員の認知不足を確実にサポートすることができる。
【００５５】
また第一実施形態において明モードは、明環境下であることを示す明条件、即ち自車両２におけるライトスイッチ７０のオフと、閾値以上の照度と、昼間を示す時刻とのうち少なくとも一つの成立により実行される。故に、自車両２の乗員にとって視界が良好な明環境下に適した監視画像データを明モードにより生成して、視界をサポートすることができる。また一方、暗モードは、暗環境下であることを示す暗条件、即ち自車両２におけるライトスイッチ７０のオンと、閾値未満の照度と、夜間を示す時刻とのうち少なくとも一つが成立することにより実行される。故に、乗員にとって視界が十分でない暗環境下にあっても、それに適した監視画像データを暗モードによって生成して、乗員の視界をサポートする。
【００５６】
（第二実施形態）
図９に示すように、本発明の第二実施形態は第一実施形態の変形例である。第二実施形態においてメイン制御部５０は、撮像素子３０による前方領域Ａｆの撮像時のシャッタースピードを、明モードと暗モードとで異ならせる。
【００５７】
具体的には、制御フローのＳ１０２により明モードを開始すると、続くＳ２１０３にてシャッタースピードを暗モードにおけるよりも例えば１／１０等に短くして、前方領域Ａｆを撮像素子３０により撮像した後、Ｓ１０４へ移行する。ここでシャッタースピードは、電子シャッターにより各画素３３に対する露光時間を制御する。即ち、図１０に示すように画素３３の電荷は１フィールドＦごとに読み出されるが、その読み出しタイミングよりも所定の蓄積期間Ｔ前に画素３３に蓄積された電荷を一旦リセットし、当該蓄積期間Ｔ中の受光量に応じた電荷を画像信号として出力する。
【００５８】
このような第二実施形態では、蓄積期間Ｔの設定によりシャッタースピードが短くなることで、各画素３３での受光量は少なくなるので、当該受光量が飽和しにくい。故に、各画素３３での受光量の飽和値を基準に、監視画像データ生成のための処理対象信号を切り替える本実施形態では、当該処理対象信号を近赤外光信号及び可視光信号の双方とするＳ１０７を可及的に多く実行できる。これによれば、より正確な監視画像データに基づいた注意喚起を行うことが可能となる。
【００５９】
（他の実施形態）
以上、本発明の複数の実施形態について説明したが、本発明は、それらの実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【００６０】
具体的には、第一実施形態及び第二実施形態において、撮像素子３０は、ＣＭＯＳとしたが、これに限定されることなく例えばＣＣＤ等を用いてもよい。また、第一及び第二実施形態においてバンドパスフィルタ２３は、封止ガラス２４の前面に蒸着される光学薄膜等から構成されるとしてもよい。さらに、第一及び第二実施形態において封止ガラス２３とは異なるガラスにバンドパスフィルタ２３を蒸着して、そのガラスを封止ガラス２３の前方、又は、後方に設けてもよい。また、第一及び第二実施形態において近赤外光透過部２１と可視光透過部２２の各領域２２ａ、２２ｂ、２２ｃは、カラーフィルタアレイ２４及びバンドパスフィルタ２３の組み合わせにより構成されているが、例えばカラーフィルタアレイ２４のみから構成されていてもよい。また、第一及び第二実施形態において可視光透過部２２の各領域２２ａ、２２ｂ、２２ｃを透過する可視光の色は、それぞれ赤色、黄色、白色となっているが、各画素３３での受光により出力される可視光信号から、例えば暗モードにてフルカラーの監視画像データを生成可能であれば、適宜の色を採用できる。さらに、第一及び第二実施形態の制御フローでは、図１１に変形例（同図は、第一実施形態の変形例）を示すように、明モードにおけるＳ１０４〜Ｓ１０６を実施しない、即ち明モードの場合には、近赤外光信号及び可視光信号の双方から生成した監視画像データに基づいての注意喚起を行なってもよい。またさらに、第一及び第二実施形態では、近赤外光信号及び可視光信号の双方から生成した監視画像データをそのまま、表示装置４０乃至はＨＵＤ装置６０に表示させてもよい。また、第一実施形態及び第二実施形態の制御フローのＳ１０５では、可視光信号は、赤色光の受光により得られる信号としたが、他の原色光や補色光、白色光の受光により得られる信号であってもよい。
【符号の説明】
【００６１】
１  車両前方監視装置、１０  投光器、２０  光学系、２１  近赤外光透過部、２２  可視光透過部、２２ａ  原色光透過領域、２２ｂ  補色光透過領域、２２ｃ  白色光透過領域、３０  撮像素子、３３  画素、４０  表示装置（表示手段）、５０  メイン制御部（画像処理手段）、６０  ＨＵＤ装置（注意喚起手段）、７０  ライトスイッチ、８０  照度センサ、９０  時計
【図１】
2013239822.tif 000003
【図２】
2013239822.tif 000004
【図３】
2013239822.tif 000005
【図４】
2013239822.tif 000006
【図５】
2013239822.tif 000007
【図６】
2013239822.tif 000008
【図７】
2013239822.tif 000009
【図８】
2013239822.tif 000010
【図９】
2013239822.tif 000011
【図１０】
2013239822.tif 000012
【図１１】
2013239822.tif 000013