(57)【要約】【課題】近赤外光が照射されている状況下においても高い物体認識精度を維持することが可能な車載用画像認識装置の提供。【解決手段】車両周辺の第１領域に可視光を照射する可視光照射手段３２と、前記第１領域の一部の領域若しくは前記第１領域の近傍の領域を含む第２領域に、近赤外光を照射する近赤外光照射手段４２と、前記第１領域の少なくとも一部を含む領域を撮像する撮像手段１２と、を備え、前記撮像手段により撮像された画像に基づいて、車両周辺の物体を画像認識する車載用画像認識装置であって、前記撮像手段の受光量を制御する明るさ制御手段２０を更に備え、前記明るさ制御手段が、前記近赤外光照射手段が近赤外光を照射しているときと、前記近赤外光照射手段が近赤外光を照射していないときとで、前記受光量の制御態様を変化させることを特徴とする。【選択図】図１
2008146404.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の第１領域に可視光を照射する可視光照射手段と、
前記第１領域の一部の領域若しくは前記第１領域の近傍の領域を含む第２領域に、近赤外光を照射する近赤外光照射手段と、
前記第１領域の少なくとも一部を含む領域を撮像する撮像手段と、を備え、
前記撮像手段により撮像された画像に基づいて、車両周辺の物体を画像認識する車載用画像認識装置であって、
前記撮像手段の受光量を制御する明るさ制御手段を更に備え、
前記明るさ制御手段が、前記近赤外光照射手段が近赤外光を照射しているときと、前記近赤外光照射手段が近赤外光を照射していないときとで、前記受光量の制御態様を変化させることを特徴とする、車載用画像認識装置。
【請求項２】
前記明るさ制御手段が、前記撮像手段により撮像された画像における所定範囲内の各画素の輝度値の平均値に基づいて、前記受光量を制御し、
前記画像における前記所定範囲の大きさ又は位置が、前記近赤外光照射手段が近赤外光を照射しているときと、前記近赤外光照射手段が近赤外光を照射していないときとで、変化される、請求項１に記載の車載用画像認識装置。
【請求項３】
前記明るさ制御手段が、前記撮像手段により撮像された画像における所定範囲内の各画素の輝度値の平均値が所定の目標値となるように、前記受光量を制御し、
前記所定の目標値が、前記近赤外光照射手段が近赤外光を照射しているときと、前記近赤外光照射手段が近赤外光を照射していないときとで、変化される、請求項１に記載の車載用画像認識装置。
【請求項４】
前記近赤外光照射手段が近赤外光を照射しているときは、前記明るさ制御手段が、近赤外用の明るさ制御と、可視光用の明るさ制御とを時間的に交互に実行する、請求項１に記載の車載用画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光照射手段と近赤外光照射手段の双方を備える車両に適用される車載用画像認識装置に関する。
【背景技術】
【０００２】
従来から、自車の前方を撮像する撮像手段と、前記撮像手段により撮像した画像上に前車を検出するための画像処理領域を設定する領域設定手段と、前記領域設定手段により設定した画像処理領域を走行環境に応じて補正する領域補正手段と、前記領域補正手段による補正後の画像処理領域における画像の特徴を導出する特徴導出手段と、前記特徴導出手段により導出した特徴に基づいて前車を検知する前車判定手段とを備えることを特徴とする車両用画像処理装置が知られている（例えば、特許文献１参照）。この車両用画像処理装置では、前記領域補正手段は、ヘッドライト点灯時には前記画像処理領域をヘッドライトが照射される範囲内に補正している。
【特許文献１】特開２００５−１４８８１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
近年では、夜間における運転者の視覚を補助するために、車両前方遠方領域に近赤外光を投光して撮像した車両周辺の画像を例えばフロントガラスに表示するナイトビューシステムが実用化されている。また、上記の特許文献１に記載されるように、車両前方領域をカメラにより撮像して、撮像した画像から各種物体（例えば、道路区画線（白線）や他車両）を認識する画像認識システムが実用化されている。尚、この画像認識システムによる白線認識結果は、例えば、車両が車線（レーン）を適切に維持できるように支援する制御（レーンキープアシスト）に用いられている。
【０００４】
ところで、上述のナイトビューシステム及び画像認識システムは、互いに特性が異なるシステムであるので、併用することが可能である。しかしながら、これらのシステムを併用した場合には、以下のような問題点が生ずる虞がある。即ち、近赤外光の照射領域と可視光の照射領域とが近接若しくは一部が重複する場合には、近赤外光と可視光の双方が照射されるときと、可視光のみが照射されるときに比べて、画像の明るさが近赤外光に起因して増大するので、画像認識システムにおける物体認識精度が悪化する虞がある。
【０００５】
そこで、本発明は、近赤外光が照射されている状況下においても高い物体認識精度を維持することが可能な車載用画像認識装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、第１の発明は、車両周辺の第１領域に可視光を照射する可視光照射手段と、
前記第１領域の一部の領域若しくは前記第１領域の近傍の領域を含む第２領域に、近赤外光を照射する近赤外光照射手段と、
前記第１領域の少なくとも一部を含む領域を撮像する撮像手段と、を備え、
前記撮像手段により撮像された画像に基づいて、車両周辺の物体を画像認識する車載用画像認識装置であって、
前記撮像手段の受光量を制御する明るさ制御手段を更に備え、
前記明るさ制御手段が、前記近赤外光照射手段が近赤外光を照射しているときと、前記近赤外光照射手段が近赤外光を照射していないときとで、前記受光量の制御態様を変化させることを特徴とする。
【０００７】
第２の発明は、第１の発明に係る車載用画像認識装置において、
前記明るさ制御手段が、前記撮像手段により撮像された画像における所定範囲内の各画素の輝度値の平均値に基づいて、前記受光量を制御し、
前記画像における前記所定範囲の大きさ又は位置が、前記近赤外光照射手段が近赤外光を照射しているときと、前記近赤外光照射手段が近赤外光を照射していないときとで、変化されることを特徴とする。
【０００８】
第３の発明は、第１の発明に係る車載用画像認識装置において、
前記明るさ制御手段が、前記撮像手段により撮像された画像における所定範囲内の各画素の輝度値の平均値が所定の目標値となるように、前記受光量を制御し、
前記所定の目標値が、前記近赤外光照射手段が近赤外光を照射しているときと、前記近赤外光照射手段が近赤外光を照射していないときとで、変化されることを特徴とする。
【０００９】
第４の発明は、第１の発明に係る車載用画像認識装置において、
前記近赤外光照射手段が近赤外光を照射しているときは、前記明るさ制御手段が、近赤外用の明るさ制御と、可視光用の明るさ制御とを時間的に交互に実行することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、近赤外光が照射されている状況下においても高い物体認識精度を維持することが可能な車載用画像認識装置が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１２】
図１は、本発明による車載用画像認識装置１０の一実施例を含むシステムの主要構成を示す図である。図２は、ヘッドライト照射領域と近赤照射領域の関係の一例を示す図である。
【００１３】
本実施例の車載用画像認識装置１０は、ヘッドライト３０の明るさを制御する明るさ制御ＥＣＵ２０を中心として構成される。明るさ制御ＥＣＵ２０は、他のＥＣＵと同様、図示しないバスを介して互いに接続されたＣＰＵ、ＲＯＭ、及びＲＡＭ等からなるマイクロコンピュータとして構成されている。ＲＯＭには、ＣＰＵが実行する各種プログラムが格納されている。尚、明るさ制御ＥＣＵ２０は、図１に示すように、専用のＥＣＵとして設けられてもよいが、明るさ制御ＥＣＵ２０の機能の一部若しくは全部が他のＥＣＵ（例えば図示しないヘッドライト制御ＥＣＵ）に組み込まれてもよい。また、明るさ制御ＥＣＵ２０には、後述の画像処理装置１４の機能の一部若しくは全部が組み込まれてもよい。
【００１４】
レーンキープＥＣＵ５０は、後述の画像処理装置１４から得られる前方環境情報（特に道路区画線認識結果）に基づいて、車両が車線（レーン）を適切に維持できるように支援する制御（レーンキープアシスト）を実行する。レーンキープアシストは、パワーステアリング装置を制御するＥＰＳ・ＥＣＵ５２を介して、操舵トルクを制御することで実現されてよい。レーンキープアシストは、例えばユーザからの指示（スイッチ操作）があった場合に開始される。かかる指示が入力されると、レーンキープＥＣＵ５０は、明るさ制御ＥＣＵ２０に対してレーンキープアシスト開始を示す信号を送信すると共に、後述の画像処理装置１４に対してレーン認識指示を送信する。
【００１５】
明るさ制御ＥＣＵ２０には、ヘッドライト３２の点灯状態を制御するヘッドライトライトＥＣＵ３０が接続されている。ヘッドライト３２は、例えば車両前部両側に装着される。ヘッドライト３２は、車両前方領域に向けて可視光を照射するように光軸が調整されたロービームヘッドランプを含む。以下では、ヘッドランプ３２とは、特に言及しない限り、ロービームヘッドランプを指すものとする。また、ヘッドライト３２により照射される車両前方領域を、「ヘッドライト照射領域」という。
【００１６】
ヘッドライトライトＥＣＵ３０は、通常時、運転者の操作に応じてヘッドライト３２のＯＮ／ＯＦＦ状態を制御する。或いは、明るさ制御ＥＣＵ２０は、コンライトセンサ（日射センサ）により周辺が暗くなったと判断した場合（即ち日没になったと判断した場合）に、運転者の操作とは無関係に、ヘッドライト３２をオンさせてもよい。いずれの場合でも、ヘッドライトライトＥＣＵ３０は、ヘッドライト３２の点灯状態を表す信号を、明るさ制御ＥＣＵ２０に適宜供給する。
【００１７】
明るさ制御ＥＣＵ２０には、近赤外光照射手段４２の点灯状態を制御する近赤点灯ＥＣＵＥＣＵ４０が接続されている。近赤外光照射手段４２は、例えば車両前部両側に装着される。近赤外光照射手段４２は、図２に模式的に示すように、ヘッドライト３２を含むヘッドライトアセンブリ内に組み込まれてもよい。近赤外光照射手段４２は、車両前方領域に向けて近赤外光を照射するように光軸が調整される。以下では、ヘッドライト３２により照射される車両前方領域を、「近赤照射領域」という。近赤照射領域を撮像した近赤外画像は、例えばヘッドアップディスプレイ（ＨＵＤ）により、車両のウインドシールドガラスに表示されてもよい。
【００１８】
近赤照射領域は、例えば、図２に示すように、ヘッドライト照射領域よりも遠方側に設定される。これは、近赤照射領域を、ヘッドライト３２では照明不能若しくは照明量が不足する領域に設定することで、運転者が目視により認識し難い遠方にいる歩行者等を監視するためである。例えば、ヘッドライト照射領域は、車両前方２０ｍ程度までの領域であってよく、近赤照射領域は、ヘッドライト照射領域よりも車両前方の領域であってよい。近赤照射領域とヘッドライト照射領域とは、互いに近接し、一部が重複してもよい。
【００１９】
近赤点灯ＥＣＵＥＣＵ４０は、運転者の操作に応じて近赤外光照射手段４２のＯＮ／ＯＦＦ状態を制御する。或いは、近赤点灯ＥＣＵＥＣＵ４０は、必要に応じて自動的に近赤外光照射手段４２のＯＮ／ＯＦＦ状態を制御してもよい。いずれの場合でも、近赤点灯ＥＣＵＥＣＵ４０は、近赤外光照射手段４２の点灯状態を表す信号を、明るさ制御ＥＣＵ２０に適宜供給する。
【００２０】
図１を再度参照するに、明るさ制御ＥＣＵ２０には、カメラ１２から得られる撮像画像に対して各種画像処理を実行する画像処理装置１４が接続される。
【００２１】
カメラ１２は、ＣＣＤ（charge-coupled  device）やＣＭＯＳ（complementary  metal  oxide  semiconductor）等の撮像素子により、車両前方の路面を含む前方環境画像を取得する。カメラ１２は、例えばルームミラーの裏側（車両前側の面）に取り付けられる。カメラ１２により撮像される車両前方領域は、上述のヘッドライト照射領域の全部若しくは少なくともその大部分を含む。また、カメラ１２により撮像される車両前方領域は、上述の近赤照射領域の一部を含んでもよい。カメラ１２は、車両走行中にリアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で画像処理装置１４に供給するものであってよい。
【００２２】
画像処理装置１４は、カメラ１２から得られる前方環境画像を画像処理して、車両前方の環境に関する前方環境情報を生成する。前方環境情報は、典型的には、道路区画線の位置や障害物の位置等の情報である。本例では、画像処理装置１４は、例えば上述のレーンキープＥＣＵ５０からのレーン認識指示に応答して動作し、カメラ１２の撮像画像を受信及び処理することにより、車両の走行道路における車両両側の道路区画線を検出・認識する。この種の道路区画線の画像認識方法は、多種多様でありえ、任意の適切な方法が採用されてよい。例えば、撮像画像の所定領域を画像処理対象領域としてエッジ処理を行い、パターンマッチング等を用いて、道路区画線を認識してよい。画像処理装置１４によるレーンの検出結果（道路区画線認識結果）は、レーンキープＥＣＵ５０に供給される。
【００２３】
画像処理装置１４は、また、カメラ１２から得られる前方環境画像の明るさを算出し、その算出結果を表す信号を、明るさ制御ＥＣＵ２０に供給する。本例では、前方環境画像の明るさは、対象領域の各画素の輝度値の平均値として算出される。この場合、対象領域は、前方環境画像の道路部分の領域であってよい。或いは、対象領域は、道路区画線の画像認識を行う際の画像処理対象領域に対応していてよい。また、対象領域は、後述するが、設定された露光窓範囲で規定される領域であってよい。
【００２４】
明るさ制御ＥＣＵ２０は、前方環境画像の明るさ、即ちカメラ１２の撮像素子にレンズを介して入射する光の量（受光量）を制御する。明るさ制御ＥＣＵ２０は、画像処理装置１４から得られる輝度値の平均値が目標輝度平均値になるように、受光量を制御する。受光量の制御は、ゲイン値を制御することにより実現されてもよい。また、受光量の制御は、ゲイン値の制御に代えて若しくは加えて、可変の絞りを調整することにより実現されてもよいし、カメラ１２に電子シャッターが備わる場合にはシャッター速度ないしシャッター時間を調整することにより実現されてもよい。また、受光量の制御は、カメラ１２に可動のレンズフードを設定して、レンズフードを移動させることで実現されてもよい。
【００２５】
次に、以上の構成を前提として、明るさ制御ＥＣＵ２０により実現される好ましい受光量制御（明るさ制御）方法について説明する。好ましい受光量制御方法は、複数存在するので、以下、順に説明する。
【００２６】
図３は、受光量制御方法の第１の実施例を示すフローチャートである。図３に示す処理ルーチンは、ヘッドライト３２が点灯状態にあるときに、所定処理周期で繰り返し実行されるものであってよい。
【００２７】
ステップ１００では、明るさ制御ＥＣＵ２０は、近赤点灯ＥＣＵＥＣＵ４０から得られる情報に基づいて、近赤外光照射手段４２がオンしているか否かを判定する。即ち、近赤外光照射手段４２により近赤外光が照射されているか否かを判定する。近赤外光照射手段４２がオンしている場合には、ステップ１１０に進み、近赤外光照射手段４２がオンしていない場合には、ステップ１２０に進む。
【００２８】
ステップ１１０では、明るさ制御ＥＣＵ２０は、受光量制御（明るさ制御）で用いる目標輝度平均値を、通常値よりも高い値に維持又は変更する。この場合、通常時よりも、前方環境画像の明るさが明るくなる方向に、即ち受光量が大きくなる方向に制御される。
【００２９】
ステップ１２０では、明るさ制御ＥＣＵ２０は、目標輝度平均値を、通常値に維持又は変更する。
【００３０】
ところで、上述の如く近赤照射領域とヘッドライト照射領域とを互いに近接した位置関係に設定した場合、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況では、前方環境画像の明るさが近赤外光に起因して増大する。即ち、画像処理装置１４から得られる輝度値の平均値が大きくなる。これに対して、通常通り、輝度値の平均値が大きくなるに伴って、前方環境画像の明るさが暗くなる方向に制御されると、ヘッドライト照射領域に係る画像範囲の少なくとも一部の明るさが不足して、認識対象の物体（本例では道路区画線）の認識精度が悪化する虞がある。
【００３１】
これに対して、図３に示す受光量制御方法によれば、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況では、上述の如く、明るさ制御で用いる目標輝度平均値が、通常値よりも高い値に維持又は変更されるので、前方環境画像の明るさが暗くなる方向に制御されることが防止され、ヘッドライト照射領域に係る画像範囲の明るさが不足することが防止される。これにより、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況において、認識対象の物体の認識精度が悪化することを防止することができる。
【００３２】
尚、図３に示す受光量制御方法は、前方環境画像中における画像処理対象領域、即ち物体認識のために画像処理装置１４により処理される領域が、近赤照射領域を含まないヘッドライト照射領域に対応する場合に好適である。これは、図３に示す受光量制御方法によれば、ヘッドライト照射領域では、上述の如く、近赤外光投光時において、非投光時と同様の適切な明るさが維持されることにより、認識対象の物体に係る画素と該物体以外の画素との輝度差が適性に現れる一方、近赤照射領域では、近赤外光投光時において、目標輝度平均値が通常値よりも高い値とされることにより、認識対象の物体に係る画素と該物体以外の画素との輝度差が小さくなる（即ちコントラストが出なくなる）からである。
【００３３】
図４は、受光量制御方法の第２の実施例を示すフローチャートである。図４に示す処理ルーチンは、ヘッドライト３２が点灯状態にあるときに、所定処理周期で繰り返し実行されるものであってよい。図５は、図４の説明図であり、前方環境画像における各露光窓範囲を示す図である。
【００３４】
ステップ２００では、明るさ制御ＥＣＵ２０は、近赤点灯ＥＣＵＥＣＵ４０から得られる情報に基づいて、近赤外光照射手段４２がオンしているか否かを判定する。近赤外光照射手段４２がオンしている場合には、ステップ２１０に進み、近赤外光照射手段４２がオンしていない場合には、ステップ２２０に進む。
【００３５】
ステップ２１０では、明るさ制御ＥＣＵ２０は、画像処理装置１４に対して、縮小された露光窓範囲で、前方環境画像の明るさを算出するように指示を出力する。縮小された露光窓範囲は、図５（Ａ）に示すように、近赤照射領域を実質的に含まないヘッドライト照射領域に対応するように設定される。この場合、画像処理装置１４は、縮小された露光窓範囲で、即ち、近赤照射領域を実質的に含まないヘッドライト照射領域に係る画像範囲で、前方環境画像の明るさを算出する。
【００３６】
ステップ２２０では、画像処理装置１４に対して、拡大された露光窓範囲（通常の露光窓範囲）で、前方環境画像の明るさを算出するように指示を出力する。拡大された露光窓範囲は、図５（Ｂ）に示すように、近赤照射領域＋ヘッドライト照射領域に対応するように設定される。即ち、拡大された露光窓範囲は、図５（Ａ）に示した露光窓範囲に比べて、近赤照射領域を含む分だけ拡大される。この場合、画像処理装置１４は、拡大された露光窓範囲で、即ち、近赤照射領域を実質的に含むヘッドライト照射領域に係る画像範囲で、前方環境画像の明るさを算出する。
【００３７】
図４に示す受光量制御方法によれば、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況では、上述の如く、近赤照射領域を実質的に含まないヘッドライト照射領域で、前方環境画像の明るさが評価される。これにより、前方環境画像の明るさが近赤外光に起因して増大した場合でも、かかる明るさの増大の影響を受けずに、前方環境画像の明るさを適切に制御することができる。この結果、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況において、認識対象の物体の認識精度が悪化することを防止することができる。
【００３８】
尚、図４に示す受光量制御方法を用いた場合、前方環境画像中における画像処理対象領域は、近赤照射領域を含まないヘッドライト照射領域（或いは縮小された露光窓範囲）に係る画像範囲であってもよいし、或いは、前方環境画像中における画像処理対象領域は、露光窓範囲と同様に、近赤外光照射手段４２の点灯時と非点灯時とで可変されてもよい。例えば、前方環境画像中における画像処理対象領域は、近赤外光照射手段４２の点灯時には、近赤照射領域を含まないヘッドライト照射領域に対応するように設定され、近赤外光照射手段４２の非点灯時には、近赤照射領域及びヘッドライト照射領域の双方領域に対応するように設定されてよい。この場合、近赤外光照射手段４２の非点灯時には、車両遠方の画像範囲から得られる情報をも用いることができるので、物体認識精度が向上する。
【００３９】
図６は、受光量制御方法の第３の実施例を示すフローチャートである。図６に示す処理ルーチンは、ヘッドライト３２が点灯状態にあるときに、所定処理周期で繰り返し実行されるものであってよい。
【００４０】
ステップ３００では、明るさ制御ＥＣＵ２０は、近赤点灯ＥＣＵＥＣＵ４０から得られる情報に基づいて、近赤外光照射手段４２がオンしているか否かを判定する。近赤外光照射手段４２がオンしている場合には、ステップ３２０に進み、近赤外光照射手段４２がオンしていない場合には、ステップ３１０に進む。
【００４１】
ステップ３１０では、明るさ制御ＥＣＵ２０は、受光量制御（明るさ制御）で用いる目標輝度平均値を、通常値に維持又は変更する。
【００４２】
ステップ３２０では、明るさ制御ＥＣＵ２０は、目標輝度平均値を、通常値よりも低い値に維持又は変更する。この場合、通常時よりも、前方環境画像の明るさが暗くなる方向に、即ち受光量が小さくなる方向に制御される。
【００４３】
ところで、上述の如く近赤照射領域とヘッドライト照射領域とを互いに近接した位置関係に設定した場合、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況では、ヘッドライト照射領域に係る画像領域のうち近赤照射領域に近い側の画像領域の明るさが、近赤外光に起因して増大するので、かかる画像領域では、認識対象の物体（本例では道路区画線）に係る画素と該物体以外の画素との輝度差が小さくなる（即ちコントラストが出なくなる）。この結果、可視光と近赤外光が照射されている状況下では、画像認識システムにおける物体認識精度が悪化する虞がある。
【００４４】
これに対して、図６に示す受光量制御方法によれば、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況では、上述の如く、明るさ制御で用いる目標輝度平均値が、通常値よりも低い値に維持又は変更されるので、近赤照射領域及びヘッドライト照射領域の一部（ヘッドライト照射領域のうち近赤照射領域に近い側の領域）に係る画像範囲において、近赤外光に起因して増大する明るさを適度に低減することができる。これにより、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況において、認識対象の物体の認識精度が悪化することを防止することができる。
【００４５】
尚、図６に示す受光量制御方法は、前方環境画像中における画像処理対象領域、即ち物体認識のために画像処理装置１４により処理される領域が、近赤照射領域及びヘッドライト照射領域の一部（ヘッドライト照射領域のうち近赤照射領域に近い側の領域）に対応する場合に好適である。これは、図６に示す受光量制御方法によれば、近赤照射領域及びヘッドライト照射領域のうち近赤照射領域に近い側の領域では、上述の如く、近赤外光投光時において、非投光時と同様の適切な明るさが維持されることにより、認識対象の物体に係る画素と該物体以外の画素との輝度差が適性に現れる一方、ヘッドライト照射領域の残りの部分（近赤照射領域から離れた領域）では、近赤外光投光時において、目標輝度平均値が通常値よりも低い値とされることにより、前方環境画像の明るさが不足しうるからである。
【００４６】
図７は、受光量制御方法の第４の実施例を示すフローチャートである。図７に示す処理ルーチンは、ヘッドライト３２が点灯状態にあるときに、所定処理周期で繰り返し実行されるものであってよい。
【００４７】
ステップ４００では、明るさ制御ＥＣＵ２０は、近赤点灯ＥＣＵＥＣＵ４０から得られる情報に基づいて、近赤外光照射手段４２がオンしているか否かを判定する。近赤外光照射手段４２がオンしている場合には、ステップ４２０に進み、近赤外光照射手段４２がオンしていない場合には、ステップ４１０に進む。
【００４８】
ステップ４１０では、明るさ制御ＥＣＵ２０は、画像処理装置１４に対して、縮小された露光窓範囲（通常の露光窓範囲）で、前方環境画像の明るさを算出するように指示を出力する。縮小された露光窓範囲は、図５（Ａ）に示したように、近赤照射領域を実質的に含まないヘッドライト照射領域に対応するように設定される。この場合、画像処理装置１４は、縮小された露光窓範囲で、即ち、近赤照射領域を実質的に含まないヘッドライト照射領域に係る画像範囲で、前方環境画像の明るさを算出する。
【００４９】
ステップ４２０では、画像処理装置１４に対して、拡大された露光窓範囲で、前方環境画像の明るさを算出するように指示を出力する。拡大された露光窓範囲は、図５（Ｂ）に示したように、近赤照射領域＋ヘッドライト照射領域に対応するように設定される。即ち、拡大された露光窓範囲は、図５（Ａ）に示した露光窓範囲に比べて、近赤照射領域を含む分だけ拡大される。この場合、画像処理装置１４は、拡大された露光窓範囲で、即ち、近赤照射領域とヘッドライト照射領域の双方を含む領域に係る画像範囲で、前方環境画像の明るさを算出する。
【００５０】
図７に示す受光量制御方法によれば、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況では、上述の如く、近赤照射領域とヘッドライト照射領域とからなる全体領域で、前方環境画像の明るさが評価される。これにより、前方環境画像の明るさが近赤外光に起因して増大すると、前方環境画像の明るさが暗くなる方向に制御されるので、近赤照射領域及びヘッドライト照射領域の一部（ヘッドライト照射領域のうち近赤照射領域に近い側の領域）に係る画像範囲において、近赤外光に起因して増大する明るさを適度に低減することができる。即ち、かかる画像範囲において、認識対象の物体に係る画素と該物体以外の画素との輝度差が小さくなる（即ちコントラストが出なくなる）ことを防止することができる。これにより、ヘッドライト３２と近赤外光照射手段４２とが共にオンしている状況において、認識対象の物体の認識精度が悪化することを防止することができる。
【００５１】
尚、図７に示す受光量制御方法を用いた場合、前方環境画像中における画像処理対象領域は、露光窓範囲と同様に、近赤外光照射手段４２の点灯時と非点灯時とで可変されてもよい。例えば、前方環境画像中における画像処理対象領域は、近赤外光照射手段４２の非点灯時には、ヘッドライト照射領域、又は近赤照射領域＋ヘッドライト照射領域に設定され、近赤外光照射手段４２の点灯時には、近赤照射領域、又は、近赤照射領域及びヘッドライト照射領域の一部（ヘッドライト照射領域のうち近赤照射領域に近い側の領域）に設定されてよい。尚、近赤外光照射手段４２の非点灯時に、画像処理対象領域を近赤照射領域＋ヘッドライト照射領域に設定した場合には、車両遠方の画像範囲（近赤照射領域に係る画像範囲）から得られる情報をも用いることができるので、物体認識精度が向上する。
【００５２】
図８は、受光量制御方法の第５の実施例を示すフローチャートである。図８に示す処理ルーチンは、ヘッドライト３２が点灯状態にあるときに、所定処理周期で繰り返し実行されるものであってよい。所定処理周期は、カメラ１２の撮像する前方環境画像のフレーム周期と対応していてよい。
【００５３】
ステップ５００では、明るさ制御ＥＣＵ２０は、近赤点灯ＥＣＵＥＣＵ４０から得られる情報に基づいて、近赤外光照射手段４２がオンしているか否かを判定する。近赤外光照射手段４２がオンしている場合には、ステップ５１０に進み、近赤外光照射手段４２がオンしていない場合には、ステップ５２０に進む。
【００５４】
ステップ５１０では、明るさ制御ＥＣＵ２０は、今回の処理周期においてカメラ１２が撮像する前方環境画像のフレームが、偶数フレームか否かを判定する。今回の処理周期の前方環境画像のフレームが偶数フレームである場合には、ステップ５２０に進み、今回の処理周期の前方環境画像のフレームが奇数フレームである場合には、ステップ５３０に進む。
【００５５】
ステップ５２０では、明るさ制御ＥＣＵ２０は、ヘッドライト照射領域用の明るさ制御を実行する。ヘッドライト照射領域用の明るさ制御は、上述の図３のステップ１１０及び図４のステップ２１０に示した処理と同様であってよい。即ち、明るさ制御ＥＣＵ２０は、ヘッドライト照射領域（近赤非照射領域）に係る画像範囲の明るさが、その近傍に投光される近赤外光に起因して、暗くなる方向に制御されないように、明るさ制御を実行する。これにより、偶数フレームでは、近赤照射領域を含まないヘッドライト照射領域に係る画像範囲の明るさが、近赤照射非投光時と同様の適切な明るさに維持される。尚、本ステップ５２０において、今回処理周期でのカメラ１２に対する明るさ制御は、前回周期以前の偶数フレームで算出された前方環境画像の明るさ（輝度平均値）に基づいて実行されてもよい。
【００５６】
ステップ５３０では、明るさ制御ＥＣＵ２０は、近赤照射領域用の明るさ制御を実行する。近赤照射領域用の明るさ制御は、上述の図６のステップ３２０及び図７のステップ４２０に示した処理と同様であってよい。即ち、明るさ制御ＥＣＵ２０は、近赤照射領域に係る画像範囲の明るさが、近赤外光に起因して過度に明るくならないように明るさ制御を実行する。これにより、奇数フレームでは、近赤照射領域に係る画像範囲の明るさが適切な明るさに維持される。尚、本ステップ５３０において、今回処理周期でのカメラ１２に対する明るさ制御は、前回周期以前の奇数フレームで算出された前方環境画像の明るさ（輝度平均値）に基づいて実行されてもよい。
【００５７】
ステップ５４０では、明るさ制御ＥＣＵ２０は、画像処理装置１４に対して、奇数フレームと偶数フレームとで異なる画像認識処理態様で、前方環境画像から認識対象の物体（本例では道路区画線）を認識するように指示を出力する。具体的には、明るさ制御ＥＣＵ２０は、奇数フレームでは、画像処理装置１４に対して、前方環境画像中における近赤照射領域及びヘッドライト照射領域の一部（ヘッドライト照射領域のうち近赤照射領域に近い側の領域）に係る画像範囲を、画像処理対象領域として画像認識処理を実行させる。一方、明るさ制御ＥＣＵ２０は、画像処理装置１４に対して、偶数フレームでは、前方環境画像中における近赤照射領域を含まないヘッドライト照射領域（近赤非照射領域）に係る画像範囲を、画像処理対象領域として画像認識処理を実行させる。
【００５８】
図８に示す受光量制御方法によれば、ヘッドライト照射領域用の明るさ制御と、近赤照射領域用の明るさ制御とを、カメラ１２の撮像タイミング（フレーム）に応じて時間的に交互に実行することで、それぞれ背反する特性を持つ２つの明るさ制御を両立させることができる。即ち、ヘッドライト照射領域用の明るさ制御を常時実行した場合には、ヘッドライト照射領域での明るさの不足を防止することができる反面、近赤照射領域における明るさが飽和して近赤照射領域における物体認識精度が悪化する。一方、近赤照射領域用の明るさ制御を常時実行した場合には、近赤照射領域での明るさの飽和を防止することができる反面、ヘッドライト照射領域における明るさが不足してヘッドライト照射領域における物体認識精度が悪化する。図８に示す受光量制御方法によれば、このような背反する特性を持つ２つの明るさ制御を適切に両立させることで、近赤照射領域及びヘッドライト照射領域のいずれにおいても高い物体認識精度を維持することができる。
【００５９】
尚、図８に示す受光量制御方法では、奇数フレームと偶数フレームにおいて、それぞれ近赤照射領域用の明るさ制御とヘッドライト照射領域用の明るさ制御とを実行しているが、逆に、奇数フレームと偶数フレームにおいて、それぞれヘッドライト照射領域用の明るさ制御と近赤照射領域用の明るさ制御とを実行してもよい。或いは、複数フレーム単位で、近赤照射領域用の明るさ制御とヘッドライト照射領域用の明るさ制御とを交互に実行してもよい。
【００６０】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００６１】
例えば、上述した実施例では、カメラ１２により前方環境画像を取得する例を説明しているが、本発明は、車両側方や車両後方を撮像するカメラの明るさ制御に対しても同様に適用可能である。この場合も、近赤光が車両側方や車両後方に照射される場合には同様の問題が生ずるからである。
【００６２】
また、上述した実施例において、ヘッドライト３２の光量を上げることで、カメラ１２の受光量（明るさ）を増加させてもよい。ヘッドライト３２の光量を上げることは、ロービームヘッドライトの点灯状態で、例えばフォグランプのような補助ライトを点灯させることを含んでよい。
【００６３】
また、上述した実施例では、画像処理装置１４から得られる物体認識結果は、レーンキープアシストに用いられているが、障害物との衝突を予知して警報出力又は乗員保護装置を起動させるプリクラッシュ制御等に用いられてもよい。
【図面の簡単な説明】
【００６４】
【図１】本発明による車載用画像認識装置１０の一実施例を含むシステムの主要構成を示す図である。
【図２】ヘッドライト照射領域と近赤照射領域の関係の一例を示す図である。
【図３】明るさ制御ＥＣＵ２０により実現される受光量制御方法の第１の実施例を示すフローチャートである。
【図４】明るさ制御ＥＣＵ２０により実現される受光量制御方法の第２の実施例を示すフローチャートである。
【図５】明るさ制御ＥＣＵ２０により実現される露光窓範囲の拡大・縮小方法の一例を示す図である。
【図６】明るさ制御ＥＣＵ２０により実現される受光量制御方法の第３の実施例を示すフローチャートである。
【図７】明るさ制御ＥＣＵ２０により実現される受光量制御方法の第４の実施例を示すフローチャートである。
【図８】明るさ制御ＥＣＵ２０により実現される受光量制御方法の第５の実施例を示すフローチャートである。
【符号の説明】
【００６５】
１０    車載用画像認識装置
１２    カメラ
１４    画像処理装置
２０    明るさ制御ＥＣＵ
３０    ヘッドライトライトＥＣＵ
３２    ヘッドライト
４０    近赤点灯ＥＣＵＥＣＵ
４２    近赤外光照射手段
５０    レーンキープＥＣＵ
５２    ＥＰＳ・ＥＣＵ
【図１】
2008146404.tif 000003
【図２】
2008146404.tif 000004
【図３】
2008146404.tif 000005
【図４】
2008146404.tif 000006
【図５】
2008146404.tif 000007
【図６】
2008146404.tif 000008
【図７】
2008146404.tif 000009
【図８】
2008146404.tif 000010