(57)【要約】【課題】輝度の閾値を用いた二値化処理によって輝画素の検出を行う画像処理装置において、処理負荷の増大を抑えつつ、撮像条件に応じた適切な閾値制御を実現する。【解決手段】自車両の前方を撮像した撮像画像について、主閾値以上の輝度値を有する画素を検出する輝画素検出処理と、主閾値とは異なる値に設定した副閾値以上の輝度値を有する画素の数を副画素数として算出する副画素数算出処理と、副画素数の値と所定の画素数用閾値との比較結果に基づき、主閾値を更新する主閾値更新処理とを実行する。主閾値とは異なる値の副閾値によって実際に二値化を行った結果に基づき主閾値が更新されるため、検出のロバスト性を向上できる。また、閾値制御にあたって演算量の比較的大きい認識処理を複数回行う必要がなく、処理負荷の増大を抑えることができる。【選択図】図７
2014232430.tif 000002
【特許請求の範囲】
【請求項１】
自車両の前方を撮像した撮像画像を得る撮像部と、
前記撮像画像について、主閾値以上の輝度値を有する画素を検出する輝画素検出処理と、
前記主閾値とは異なる値に設定した副閾値以上の輝度値を有する画素の数を副画素数として算出する副画素数算出処理と、
前記副画素数の値と所定の画素数用閾値との比較結果に基づき、前記主閾値を更新する主閾値更新処理とを実行する画像処理部と、を備える
画像処理装置。
【請求項２】
前記画像処理部は、
前記主閾値以上の輝度値を有する画素の数を主画素数として算出する主画素数算出処理を実行し、
前記主閾値更新処理では、前記主画素数の値と第１画素数用閾値との比較結果と前記副画素数の値と第２画素数用閾値との比較結果とに基づき前記主閾値を更新する
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、
前記副閾値として前記主閾値よりも値が小さい下側副閾値と前記主閾値よりも値が大きい上側副閾値とを設定し、
前記副画素数算出処理では、前記下側副閾値以上の輝度値を有する画素の数を下側副画素数として算出し、
前記主閾値更新処理では、前記主画素数の値が前記第１画素数用閾値以下で且つ前記下側副画素数が前記第２画素数用閾値以下である場合は前記主閾値を前記下側副閾値に更新し、前記主画素数の値が所定の画素数用閾値以上である場合は前記主閾値を前記上側副閾値に更新する
請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、
前記主閾値が所定の範囲を超えないように制御を行う
請求項１乃至請求項３の何れかに記載の画像処理装置。
【請求項５】
前記画像処理部は、
前記撮像画像内の所定範囲を対象として前記輝画素検出処理と前記副画素数算出処理を実行する
請求項１乃至請求項４の何れかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の前方を撮像して得られる撮像画像についての画像処理を行う画像処理装置の技術分野に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】国際公開第１２／１４７３５号
【特許文献２】特開２０１２−２５０６６８号公報
【背景技術】
【０００３】
ヘッドライト配光制御として、いわゆるＡＨＢ（Auto High Beam）やＡＤＢ（Adaptive Driving Beam）が知られている。これらのヘッドライト配光制御を行うにあたっては、自車両の前方に存在する先行車、対向車を認識することが要求される。仮に、先行車、対向車に対してハイビームが照射されてしまうと、先行車、対向車の運転者が眩惑されて運転に支障を来す虞があり、これを防止するためである。
【０００４】
対向車の認識・識別を行うにあたっては、先ず、画像中から対向車のヘッドライトを検出する。具体的に、ヘッドライト検出は、画像中から一定以上の輝度値を有する画素を二値化処理により抽出して行われる。
二値化処理で検出された画素の各集団をヘッドライト領域としてグループ化（要素グループ化）し、グループ化された各ヘッドライト領域についてそれらの位置関係や自車両からの距離の情報等から対向車領域をグループ化（対象グループ化）して、対向車を認識する。そして、認識した領域内に存在する物体が対向車であるか否かを識別する。このように対向車の認識・識別は、二値化、要素グループ化、及び対象グループ化の各処理を経て実現される。
【０００５】
ここで、二値化の閾値は、撮像条件（周囲の明るさや走行シーンなど）によって最適な値が異なる。従って、高精度なヘッドライト検出を実現するためには、閾値を撮像条件に応じて適応的に制御することが望ましい。
【０００６】
また、対向車両が自車両に対して近距離に存在する場合、当該対向車のヘッドライトは明るく検出され、逆に遠距離に存在する場合は暗く検出される傾向となる。ＡＨＢやＡＤＢの制御対象であるハイビームは、自車両から数百ｍ先までの広範囲に照射可能であるため、対向車の検出範囲もこれに併せて広範囲に設定すべきである。このような広い範囲でヘッドライトの検出を可能とする（近距離側で輝度が飽和せず且つ遠距離側で輝度が０とならない）ためには、シャッタースピードを速めるなどダイナミックレンジを広く取る必要があり、そうなると、遠距離側でのヘッドライトは非常に低輝度となり（例えば２５６階調であれば５〜１０程度の輝度値）、閾値が１階調異なっただけでもヘッドライトの検出結果（ひいては対向車の認識・識別結果）が大きく異なってしまう虞がある。
【０００７】
対向車のヘッドライト検出について、例えば上記特許文献１には、閾値を時間帯や周囲の明るさ、画像上の位置により変化させるとの記載がある。
【０００８】
また、他の手法として、上記特許文献２には、複数の閾値でそれぞれヘッドライト検出及び対向車の認識・識別を行い、複数の認識・識別結果から最適な閾値を導出する手法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載の手法では、閾値の大まかな調整はできるものの、実際にはヘッドライト検出に影響する要素は多数あるため、全てを考慮して最適な閾値に設定することは難しい。特に、上記で挙げた遠距離側での検出性能に課題が残る。
【００１０】
また、特許文献２に記載の手法では、認識・識別結果に基づき閾値を選ぶため、認識・識別結果を最適化することは可能であるが、演算量の比較的大きい認識・識別処理を複数回行う必要があり、処理負荷が非常に高いという課題がある。
【００１１】
そこで、本発明では上記した問題点を克服し、輝度の閾値を用いた二値化処理によって輝画素の検出を行う画像処理装置において、処理負荷の増大を抑えつつ、撮像条件に応じた適切な閾値制御を実現することを目的とする。
【課題を解決するための手段】
【００１２】
第１に、本発明の画像処理装置は、自車両の前方を撮像した撮像画像を得る撮像部と、前記撮像画像について、主閾値以上の輝度値を有する画素を検出する輝画素検出処理と、前記主閾値とは異なる値に設定した副閾値以上の輝度値を有する画素の数を副画素数として算出する副画素数算出処理と、前記副画素数の値と所定の画素数用閾値との比較結果に基づき、前記主閾値を更新する主閾値更新処理とを実行する画像処理部と、を備えるものである。
【００１３】
これにより、主閾値とは異なる副閾値によって実際に二値化を行った結果に基づき主閾値が更新される。
【００１４】
第２に、上記した本発明の画像処理装置においては、前記画像処理部は、前記主閾値以上の輝度値を有する画素の数を主画素数として算出する主画素数算出処理を実行し、前記主閾値更新処理では、前記主画素数の値と第１画素数用閾値との比較結果と前記副画素数の値と第２画素数用閾値との比較結果とに基づき前記主閾値を更新することが望ましい。
これにより、主画素数と副画素数とに基づき閾値制御が行われる。
【００１５】
第３に、上記した本発明に係る画像処理装置においては、前記画像処理部は、前記副閾値として前記主閾値よりも値が小さい下側副閾値と前記主閾値よりも値が大きい上側副閾値とを設定し、前記副画素数算出処理では、前記下側副閾値以上の輝度値を有する画素の数を下側副画素数として算出し、前記主閾値更新処理では、前記主画素数の値が前記第１画素数用閾値以下で且つ前記下側副画素数が前記第２画素数用閾値以下である場合は前記主閾値を前記下側副閾値に更新し、前記主画素数の値が所定の画素数用閾値以上である場合は前記主閾値を前記上側副閾値に更新することが望ましい。
これにより、主画素数が過小とされる場合（第１画素数用閾値以下の場合）は、下側副画素数が過大でないこと（第２画素数用閾値以下）を条件に主閾値が下側副閾値に更新される。一方、主画素数が過大とされる場合（所定の画素数用閾値以上の場合）は、主閾値が上側副閾値に更新される。
【００１６】
第４に、上記した本発明に係る画像処理装置においては、前記画像処理部は、前記主閾値が所定の範囲を超えないように制御を行うことが望ましい。
これにより、二値化の閾値が所定の上限値を超えないように制御される。
【００１７】
第５に、上記した本発明に係る画像処理装置においては、前記画像処理部は、前記撮像画像内の所定範囲を対象として前記輝画素検出処理と前記副画素数算出処理を実行することが望ましい。
これにより、二値化を行うべき画素が限定される。
【発明の効果】
【００１８】
本発明によれば、輝度の閾値を用いた二値化処理によって輝画素の検出を行う画像処理装置において、処理負荷の増大を抑えつつ、撮像条件に応じた適切な閾値制御を実現することができる。
【図面の簡単な説明】
【００１９】
【図１】実施の形態の車両制御システムの構成を示した図である。
【図２】実施の形態で実行される画像処理について説明するための図である。
【図３】明画像、暗画像の例を示した図である。
【図４】テールランプ検出範囲、ヘッドライト検出範囲、及び街灯検出範囲についての説明図である。
【図５】実施の形態に係る各処理の全体的な流れを示したフローチャートである。
【図６】要素グループと対象グループの説明図である。
【図７】ヘッドライト検出処理の具体的な処理の流れを示したフローチャートである。
【図８】制御情報算出処理の内容を示したフローチャートである。
【図９】対象以外ハイビームＯＮを表す制御情報に応じて実現されるハイビームの照射態様についての説明図である。
【図１０】近接時における対向車とヘッドライト検出範囲との関係の説明図である。
【発明を実施するための形態】
【００２０】
＜１．システム全体構成＞
図１は、本発明に係る実施の形態としての画像処理装置を備えた車両制御システム１の構成を示している。なお、図１では、車両制御システム１の構成のうち主に本発明に係る要部の構成のみを抽出して示している。
車両制御システム１は、自車両に対して設けられた撮像部２、画像処理部３、メモリ４、運転支援制御部５、表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、ライト制御部１０、表示部１１、エンジン関連アクチュエータ１２、トランスミッション関連アクチュエータ１３、ブレーキ関連アクチュエータ１４、ヘッドライト１５、ＡＤＢ（Adaptive Driving Beam）アクチュエータ１６、センサ・操作子類１７、及びバス１８を備えている。
【００２１】
撮像部２は、車両において進行方向（前方）を撮像可能に設置された第１カメラ部２Ａ、第２カメラ部２Ｂを備えている。第１カメラ部２Ａ、第２カメラ部２Ｂは、いわゆるステレオ法による測距が可能となるように、例えば自車両のフロントガラスの上部付近において車幅方向に所定間隔を空けて配置されている。第１カメラ部２Ａ、第２カメラ部２Ｂの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。撮像素子の画素数は例えば６４０×４８０程度である。
【００２２】
第１カメラ部２Ａ，第２カメラ部２Ｂの各撮像素子で得られた電気信号（撮像画像信号）はそれぞれＡ／Ｄ変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。本実施の形態の場合、これらの撮像画像データはカラー画像データとされ、従って１画素につきＲ（赤）、Ｇ（緑）、Ｂ（青）の３つのデータ（輝度値）が得られる。輝度値の階調は、例えば２５６階調とされる。
以下、第１カメラ部２Ａで得られた撮像画像データを「第１撮像画像データ」、第２カメラ部２Ｂで得られた撮像画像データを「第２撮像画像データ」と表記する。
【００２３】
本例における撮像部２は、第１カメラ部２Ａ、第２カメラ部２Ｂのシャッタースピードやゲイン（ＩＳＯ感度）についての自動調整機能を有している。また、撮像部２は、画像処理部３からの指示に基づき第１カメラ部２Ａ、第２カメラ部２Ｂのシャッタースピードやゲインを調整することも可能とされている。
【００２４】
画像処理部３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。
画像処理部３は、撮像部２が自車両の前方を撮像して得た第１撮像画像データ、第２撮像画像データとしての各フレーム画像データをメモリ部４に格納していく。そして各フレームの第１撮像画像データ、第２撮像画像データに基づき、外部環境として車両前方に存在する物体を認識・識別するための各種処理を実行する。
なお、画像処理部３が実行する具体的な処理の詳細については後述する。
【００２５】
運転支援制御部５は、例えばマイクロコンピュータで構成され、画像処理部３による画像処理の結果やセンサ・操作子類１７で得られる検出情報や操作入力情報等に基づき、運転支援のための各種の制御処理を実行する。
運転支援制御部５は、同じくマイクロコンピュータで構成された表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、及びライト制御部１０の各制御部とバス１８を介して接続されており、これら各制御部との間で相互にデータ通信を行うことが可能とされる。運転支援制御部５は、上記の各制御部のうち必要な制御部に対して指示を行って運転支援に係る動作を実行させる。
本実施の形態の場合、運転支援制御部５は、ヘッドライト１５についての配光制御を行う。図中では、運転支援制御部５が有する配光制御のための処理機能を、「配光制御処理部５Ａ」としての機能ブロックにより表している。配光制御処理部５Ａは、画像処理部３が対向車や先行車、街灯等の認識・識別結果から生成した制御情報に基づき、ライト制御部１０にＡＤＢ制御のための指示を行う。
【００２６】
センサ・操作子類１７は、自車両に設けられた各種のセンサや操作子を包括的に表している。センサ・操作子類１７が有するセンサとしては、例えばエンジン回転数センサ、吸入空気量を検出する吸入空気量センサ、アクセルペダルの踏込み量からアクセル開度を検出するアクセル開度センサ、吸気通路に介装されてエンジンの各気筒に供給する吸入空気量を調整するスロットル弁の開度を検出するスロットル開度センサ、エンジン温度を示す冷却水温を検出する水温センサ、車外の気温を検出する外気温センサ等がある。
また、操作子としては、エンジンの始動／停止を指示するためのイグニッションスイッチや、ＡＴ（オートマティックトランスミッション）車における自動変速モード／手動変速モードの選択や手動変速モード時におけるシフトアップ／ダウンの指示を行うためのセレクトレバーや、後述する表示部１１に設けられたＭＦＤ（Multi Function Display）における表示情報の切り換えを行うための表示切換スイッチなどがある。
特に本実施の形態の場合、センサ・操作子類１７においては、車速センサ１７Ａ、舵角センサ１７Ｂ、アクセル開度センサ１７Ｃ、ヘッドライトスイッチ１７Ｄ、ウィンカースイッチ１７Ｅが設けられている。ヘッドライトスイッチ１７Ｄは、ヘッドライト１５のロービームのＯＮ／ＯＦＦやハイビームのＯＮ／ＯＦＦの指示を行うための操作子を表す。ここで、本例の場合、ハイビームのＯＮ／ＯＦＦ操作に応じてＡＤＢ機能もＯＮ／ＯＦＦされる。
【００２７】
表示部１１は、運転者の前方に設置されたメータパネル内に設けられるスピードメータやタコメータ等の各種メータやＭＦＤ、及びその他運転者に情報提示を行うための表示デバイスを包括的に表す。ＭＦＤには、自車両の総走行距離や外気温、瞬間燃費等といった各種の情報を同時又は切り換えて表示可能とされる。
【００２８】
表示制御部６は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、表示部１１による表示動作を制御する。
【００２９】
エンジン制御部７は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、エンジン関連アクチュエータ１２として設けられた各種アクチュエータを制御する。エンジン関連アクチュエータ１２としては、例えばスロットル弁を駆動するスロットルアクチュエータや燃料噴射を行うインジェクタ等のエンジン駆動に係る各種のアクチュエータが設けられる。
例えばエンジン制御部７は、前述したイグニッションスイッチの操作に応じてエンジンの始動／停止制御を行う。また、エンジン制御部７は、エンジン回転数センサやアクセル開度センサ等の所定のセンサからの検出信号に基づき、燃料噴射タイミング、燃料噴射パルス幅、スロットル開度等の制御も行う。
【００３０】
トランスミッション制御部８は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、トランスミッション関連アクチュエータ１３として設けられた各種のアクチュエータを制御する。トランスミッション関連アクチュエータ１３としては、例えば自動変速機の変速制御を行うコントロールバルブや、ロックアップクラッチをロックアップ動作させるロックアップアクチュエータ等のトランスミッション関連の各種アクチュエータが設けられる。
例えばトランスミッション制御部８は、前述したセレクトレバーによって自動変速モードが選択されている際には、所定の変速パターンに従い変速信号をコントロールバルブに出力して変速制御を行う。また、トランスミッション制御部８は、手動変速モードの設定時には、セレクトレバーによるシフトアップ／ダウン指示に従った変速信号をコントロールバルブに出力して変速制御を行う。
【００３１】
ブレーキ制御部９は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ブレーキ関連アクチュエータ１４として設けられた各種のアクチュエータを制御する。ブレーキ関連アクチュエータ１４としては、例えばブレーキブースターからマスターシリンダへの出力液圧やブレーキ液配管内の液圧をコントロールするための液圧制御アクチュエータ等、ブレーキ関連の各種のアクチュエータが設けられる。
例えばブレーキ制御部９は、運転支援制御部５よりブレーキをＯＮする指示が為された場合に上記の液圧制御アクチュエータを制御して自車両を制動させる。またブレーキ制御部９は、所定のセンサ（例えば車軸の回転速度センサや車速センサ）の検出情報から車輪のスリップ率を計算し、スリップ率に応じて上記の液圧制御アクチュエータにより液圧を加減圧させることで、所謂ＡＢＳ（Antilock Brake System）制御を実現する。
【００３２】
ライト制御部１０は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ヘッドライト１５の点消灯制御やＡＤＢアクチュエータ１６の制御を行う。
具体的に、ライト制御部１０は、照度センサ等の所定のセンサによる検出信号に基づきヘッドライト１５の点消灯を行うオートヘッドライト制御等を行う。また、ライト制御部１０は、前述したヘッドライトスイッチ１７Ｄによる操作入力情報に基づきヘッドライト１５のロービーム、ハイビームのＯＮ／ＯＦＦ制御も行う。また、特に本実施の形態のライト制御部１０は、運転支援制御部５における配光制御処理部５Ａからの指示に基づきＡＤＢアクチュエータ１６を制御することで、ＡＤＢ機能を実現する。本例におけるＡＤＢアクチュエータ１６は、例えば遮光板を駆動するアクチュエータとされ、ライト制御部１０からの制御に基づき遮光板を駆動することで、ハイビームの配光領域の一部に遮光領域を形成するか、或いは遮光領域を非形成（つまりハイビームを全照状態）とする。
【００３３】
＜２．本実施の形態で実行される処理の概要＞
図２により、本実施の形態で実行される各種処理の概要について説明する。
なお、図２においては、画像処理部３が第１撮像画像データ、第２撮像画像データに基づき実行する各種の画像処理を機能ごとに分けてブロック化して示している。また、図２では、運転支援制御部５が有する配光制御処理部５Ａも併せて示している。
【００３４】
図のように画像処理部３は、機能ごとに大別すると、距離画像生成処理部３Ａ、車線検出処理部３Ｂ、車線モデル形成処理部３Ｃ、テールランプ検出処理部３Ｄ、ヘッドライト検出処理部３Ｅ、街灯検出処理部３Ｆ、対象認識・識別処理部３Ｇ、シーン判定処理部３Ｈ、及び制御情報算出処理部３Ｉを有していると表すことができる。
【００３５】
画像処理部３において、距離画像生成処理部３Ａが実行する距離画像生成処理は、メモリ４に保持された第１撮像画像データ、第２撮像画像データに基づき距離画像を生成する処理となる。具体的に、距離画像生成処理は、第１撮像画像データと第２撮像画像データ（つまりステレオ撮像された一対の画像データ）の間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差Ｍとして算出し、該視差Ｍを用いて三角測量の原理により実空間上における対応点までの距離を画像上に表した距離画像データを生成する処理である。
【００３６】
車線検出処理部３Ｂが実行する車線検出処理は、基準画像（つまり第１撮像画像データ又は第２撮像画像データのうち予め設定された方の画像データ）と、上記の距離画像生成処理で生成された距離画像データ（対応点としての画素ごとの距離情報）とに基づき、自車両が走行する路面上に形成された車線を検出する処理となる。具体的に、車線検出処理では、先ず基準画像の各画素の輝度値と各画素の実空間における距離とに基づいて基準画像上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出する。例えば、基準画像上の１画素幅の水平ライン上を左右方向に１画素ずつオフセットしながら探索し、基準画像の各画素の輝度値に基づいて各画素の輝度微分値（＝エッジ強度）が閾値以上に大きく変化する条件を満たす画素を車線候補点として検出する。この処理を、上記探索の対象とする水平ラインを基準画像の例えば下側から上向きに１画素幅ずつオフセットさせながら順次行う。これにより、自車両の右側領域及び左側領域のそれぞれに車線候補点を検出する。
【００３７】
車線モデル形成処理部３Ｃが実行する車線モデル形成処理は、上記の車線検出で検出された左右の車線候補点の情報に基づき、Ｘ，Ｙ，Ｚの各軸（Ｘ軸は左右方向、Ｙ軸は高さ方向、Ｚ軸は車両進行方向）で定義される三次元空間上における車線モデルを形成する処理である。具体的には、車線検出部で検出された車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）を例えば最小二乗法等で直線近似して、三次元空間上における車線モデルを形成する。
このように形成された車線モデルにより、自車両が走行する路面の高さ情報も得られたことになる。
なお、上記の距離画像生成処理、車線検出処理、及び車線モデル形成処理の手法は、特開２００８−３３７５０号公報に開示された手法と同様であり、詳しくは該文献を参照されたい。
【００３８】
テールランプ検出処理部３Ｄ、ヘッドライト検出処理部３Ｅ、街灯検出処理部３Ｆ、対象認識・識別処理部３Ｇ、シーン判定処理部３Ｈ、及び制御情報算出処理部３Ｉがそれぞれ実行するテールランプ検出処理、ヘッドライト検出処理、街灯検出処理、対象認識・識別処理、シーン判定処理、及び制御情報算出処理は、特に本実施の形態に係る処理となる。これら実施の形態に係る各処理については後に改めて説明する。
【００３９】
＜３．明画像・暗画像及び検出範囲について＞
先ず、実施の形態に係る各処理の説明に先立ち、各処理で扱う２種の撮像画像（フレーム画像）、及び各対象の検出範囲について説明しておく。
【００４０】
後述するように、本実施の形態では、ハイビームを照射すべきではない対象として先行車と対向車とを認識・識別する。先行車の認識・識別は、テールランプの検出結果に基づき行い、対向車の認識・識別はヘッドライトの検出結果に基づき行う。
ここで、ヘッドライトとテールランプはそれぞれ光量が大きく異なるため、同一のシャッタースピードで撮像された画像を用いてしまうと両者とも鮮明な像を検出できないという問題がある。例えば、テールランプに合わせたシャッタースピードで撮像された画像では、ヘッドライトの輝度が飽和して適正な検出ができなくなる。
【００４１】
そこで、本実施の形態では、シャッタースピードをフレームごとに変更し、テールランプに合わせたシャッタースピード、ヘッドライトに合わせたシャッタースピードでそれぞれ撮像した画像によって各対象の検出処理を行う。以下、テールランプ用のシャッタースピード（ヘッドライト用よりも遅いシャッタースピード）で撮像して得られた撮像画像データを「明画像Ｇ１」、ヘッドライト用のシャッタースピード（テールランプ用よりも速いシャッタースピード）で撮像して得られた撮像画像データを「暗画像Ｇ２」と表記する。
同一シーンについて撮像された明画像Ｇ１、暗画像Ｇ２の例を図３Ａ、図３Ｂにそれぞれに示す。
【００４２】
画像処理部３は、第１カメラ部２Ａ、第２カメラ部２Ｂがそれぞれ明画像Ｇ１、暗画像Ｇ２を交互に出力するように撮像部２に指示を行う。これにより、第１カメラ部２Ａにより得られる第１撮像画像データ、及び第２カメラ部２Ｂにより得られる第２撮像画像データとしては、それぞれ明画像Ｇ１、暗画像Ｇ２が１フレーム期間ごとに交互に切り替わることになる。このとき、明画像Ｇ１については、前述した自動調整機能で設定されたシャッタースピードで撮像させる。また、暗画像Ｇ２については、明画像Ｇ１のシャッタースピードに所定のオフセットを与えたシャッタースピードで撮像させる。
なお、前述した距離画像は、明画像Ｇ１に基づき生成される。
【００４３】
ここで、本例の場合、暗画像Ｇ２は、ヘッドライト検出に用いられると共に、街灯検出処理部３Ｆによる街灯検出処理にも用いられる。この点を考慮し、本例における暗画像Ｇ２は明画像Ｇ１よりも上方向にオフセットされた画像とされている。
なお、撮像画像上での街灯の輝度は、テールランプとヘッドライトとの中間程度である場合が多いので、街灯検出処理は必ずしも暗画像Ｇ２に基づき行うことに限定されず、明画像Ｇ１に基づき行うこともできる。
【００４４】
また、本実施の形態では、テールランプ（先行車）、ヘッドライト（対向車）、街灯の各対象について検出範囲が定められている。すなわち、これらの各対象についての検出処理は明画像Ｇ１や暗画像Ｇ２の全画素を対象として行われるのではなく、テールランプ検出処理の対象範囲としてのテールランプ検出範囲Ａｓ、ヘッドライト検出処理の対象範囲としてのヘッドライト検出範囲Ａｔ、及び街灯検出処理の対象範囲としての街灯検出範囲Ａｇに対してそれぞれ行われる。
【００４５】
図４Ａは、明画像Ｇ１に対して定められたテールランプ検出範囲Ａｓの例を、図４Ｂは暗画像Ｇ２に対して定められたヘッドライト検出範囲Ａｔ及び街灯検出範囲Ａｇの例を示している。これら各検出範囲は、それぞれ矩形範囲として設定されている。各検出範囲の位置は、画像内で対象が存在する領域がカバーされるようにそれぞれ設定されている。
【００４６】
上記のようなテールランプ検出範囲Ａｓ、ヘッドライト検出範囲Ａｔ、及び街灯検出範囲Ａｇの各検出範囲を設定しておくことで、対象を検出する範囲が限定されて、処理時間の短縮化や処理負担の低減が図られると共に、本来検出対象が存在しない場所での誤検出を防止することができる。
【００４７】
＜４．処理の全体的な流れ＞
図５は、実施の形態に係る各処理の全体的な流れを示したフローチャートである。
なお、図５に示す一連の処理は、画像処理部３が１フレーム期間ごとに繰り返し実行するものである。
【００４８】
先ず、画像処理部３は、ステップＳ１０１で夜間であるか否かを判別する。夜間でない場合はそもそも各対象を検出・認識する必要性はないことから、当該ステップＳ１０１の判別処理により各対象を検出・認識する必要性があるか否かを判別している。
なお、夜間であるか否かは、撮像画像データのシャッタースピード及びゲイン値に基づき行う。或いは、夜間であるか否かの判別は、ハイビームがＯＮであるか否かを判別した結果に基づき行うこともできる。
ステップＳ１０１において、夜間ではないとの否定結果が得られた場合は現フレーム期間での処理を終了し、夜間であるとの肯定結果が得られた場合はステップＳ１０２に進む。
【００４９】
ステップＳ１０２では画像タイプを判別する。すなわち、現フレーム期間において撮像部２から取り込んだ撮像画像データが明画像Ｇ１か暗画像Ｇ２かを判別する。
画像タイプが明画像Ｇ１であれば、ステップＳ１０３でテールランプ検出処理を実行した後、現フレーム期間での処理を終了する。
【００５０】
一方、画像タイプが暗画像Ｇ２であるとされた場合は、ステップＳ１０４でヘッドライト検出処理を行った後、ステップＳ１０５で街灯検出処理を行う。
【００５１】
続くステップＳ１０６では、対象認識・識別処理を実行する。詳細は後述するが、対象認識・識別処理は、ステップＳ１０３で実行したテールランプ検出処理の結果と、ステップＳ１０４、Ｓ１０５でそれぞれ実行したヘッドライト検出処理、街灯検出処理の各結果とに基づき、先行車、対向車、街灯の各対象を認識・識別する処理となる。
【００５２】
対象認識・識別処理を実行した後は、ステップＳ１０７でシーン判定処理、ステップＳ１０８で制御情報算出処理をそれぞれ実行し、処理を終了する。
【００５３】
以下に、ステップＳ１０３〜Ｓ１０８として実行されるテールランプ検出処理、ヘッドライト検出処理、街灯検出処理、対象認識・識別処理、シーン判定処理、制御情報算出処理の各処理の内容を説明する。
【００５４】
＜５．テールランプ検出処理＞
テールランプ検出処理は、先行車のテールランプ部分と推測される領域（テールランプ領域）を検出する処理である。
テールランプ検出処理では、先ず、明画像Ｇ１に対してテールランプ検出範囲Ａｓを設定した上で、当該テールランプ検出範囲Ａｓ内の画素を対象として赤色の画素を検出する。そして、検出した画素をグループ化し、要素グループを作成する。具体的には、検出された画素間の距離がＡ１ピクセル以下となる画素同士をグループ化する。例えばＡ１＝１．５ピクセルとする。
【００５５】
その上で、要素グループの基本特徴量を求める。基本特徴量としては、
・要素グループの上下左右座標（要素グループを矩形で囲った場合の各辺の位置）
・要素グループ内画素数
・要素グループ内最大輝度値、最小輝度値
・要素グループの平均視差（要素グループ内の各画素の視差Ｍの平均値）
なお、視差Ｍは、前述した距離画像生成処理で得られる値を用いる。
【００５６】
そして、要素グループの基本特徴量の情報に基づき、要素グループの選別を行う。つまり、基本特徴量が以下の設定条件外の要素グループは削除する。
条件１）：要素グループの縦・横サイズがＢ１ピクセル以下。Ｂ１は例えば２ピクセル。
条件２）：要素グループ内画素数がＣ１ピクセル以下。Ｃ１は例えば２ピクセル。
その他、要素グループのサイズが大きすぎる場合に削除を行ってもよい。但し、その場合の閾値は距離（視差Ｍ）により変化させる。
【００５７】
このようなテールランプ検出処理で検出された（最終的に選別された）要素グループの模式図を図６Ａに示す。
図中の灰色で示した領域が、テールランプ検出範囲Ａｓ内における先行車に相当する領域（先行車領域）を表し、黒色で示した領域が赤色画素として検出された領域を表す。上記のテールランプ検出処理によれば、図中の破線で示す矩形状の領域が要素グループとしてグループ化される。
【００５８】
このようにテールランプ検出処理によれば、先行車のテールランプ部分に相当する領域が要素グループとして検出される。
【００５９】
なお、上記の説明から理解されるように、要素グループとは、認識すべき対象に含まれる特徴部分をグループ化したものと定義できる。後述する対象認識・識別処理では、これらの要素グループの検出結果を基に、認識すべき対象に対応する範囲が対象グループとしてグループ化される（図６Ｂを参照）。
【００６０】
＜６．ヘッドライト検出処理＞
ヘッドライト検出処理は、対向車のヘッドライト部分と推測される領域（ヘッドライト領域）を検出する処理である。
ヘッドライト検出処理では、先ず、輝度値についての閾値Ｄ２を用いた二値化処理を行い、その結果からテールランプ検出処理と同様に要素グループのグループ化及び要素グループの選別を行う。
基本的な処理の流れは以下の通りである。
i）輝度値が閾値Ｄ２以上である画素を検出する
ii）検出した画素をグループ化し、要素グループを作成する
iii）要素グループの基本特徴量を求める
iv）要素グループ選別
なお、本例の場合、ii）〜iv）の処理はテールランプ検出処理の場合と同様の処理としている。
【００６１】
ここで、本例のヘッドライト検出処理では、i）の処理において用いる閾値Ｄ２を撮像条件に応じて適応的に変化させるために、閾値Ｄ２とは異なる値による副閾値を用いた二値化処理をi）と共に実行し、その結果に基づき閾値Ｄ２を変化させるという処理を行う。
具体的には、副閾値以上の輝度値を有する画素の数を副画素数として算出し、副画素数の値と所定の画素数用閾値とを比較した結果に基づき、閾値Ｄ２を更新する。
【００６２】
以下、このような副閾値に基づく閾値Ｄ２の制御処理も含めたヘッドライト検出処理の具体的な処理の流れを図７のフローチャートを参照して説明する。
先ず、図７において、画像処理部３は、ステップＳ２０１で検出範囲の設定を行う。すなわち、暗画像Ｇ２に対しヘッドライト検出範囲Ａｔを設定する。
【００６３】
続くステップＳ２０２では、対象画素識別子Ｐ＝０とする。対象画素識別子Ｐは、ヘッドライト検出範囲Ａｔ内で二値化処理の対象とする画素を識別するための識別子であり、上限値はヘッドライト検出範囲Ａｔを構成する画素数−１である。
【００６４】
次のステップＳ２０３では、主画素数Ｅ２＝０、下側副画素数Ｅ２ｄ＝０とする。
ここで、主画素数Ｅ２は、後述するステップＳ２０６での閾値Ｄ２による二値化処理で検出された画素数についてのカウント値を意味する。すなわち、ヘッドライト検出範囲Ａｔ内において閾値Ｄ２以上の輝度値を有する輝画素の数についてのカウント値である。
同様に、下側副画素数Ｅ２ｄは、ステップＳ２０４での下側副閾値Ｄ２ｄによる二値化処理で検出された画素数についてのカウント値である。
【００６５】
閾値Ｄ２については、その初期値を２５６段階の輝度で５〜１０程度の比較的小さな値に設定する。これは、輝度が比較的小さくなる遠距離側（例えば数百ｍ）のヘッドライトも検出する必要があるためである。
また、本例では、下側副閾値Ｄ２ｄ＝Ｄ２−１、上側副閾値Ｄ２ｕ＝Ｄ２＋１である（後述するステップＳ２１４の更新処理を参照）。
【００６６】
画像処理部３は、上記のようなＥ２＝０、Ｅ２ｄ＝０のリセット処理を実行した後、ステップＳ２０４で下側副閾値Ｄ２ｄが設定範囲内で且つ輝度値が下側副閾値Ｄ２ｄ以上であるか否かを判別する。
ここで、本例では、閾値が所定の上限値を超えないように、閾値について設定可能な値の範囲を予め定めている。ステップＳ２０４では、対象画素識別子Ｐで特定される対象画素の輝度値がＤ２−１として設定した下側副閾値Ｄ２ｄ以上であるか否かを判別すると共に、下側副閾値Ｄ２ｄの値が上記の範囲内であるか否かを判別する。
【００６７】
ステップＳ２０４において、下側副閾値Ｄ２ｄが設定範囲内で且つ輝度値が下側副閾値Ｄ２ｄ以上であるとの肯定結果が得られた場合は、ステップＳ２０５に進んで下側副画素数Ｅ２ｄの値をインクリメント（Ｅ２ｄ→Ｅ２ｄ＋１）した後、ステップＳ２０６に進む。
一方、ステップＳ２０４で否定結果が得られた場合は、ステップＳ２０５は経由せずステップＳ２０６に進む。
このように、輝度値が下側副閾値Ｄ２ｄ以上であっても、下側副閾値Ｄ２ｄが所定範囲内の値でなければ下側副画素数Ｅ２ｄのカウントは行われない。これにより、無駄なカウント動作を行わずに済む。
【００６８】
ステップＳ２０６では、輝度値が閾値Ｄ２以上であるか否かを判別する。輝度値が閾値Ｄ２以上であればステップＳ２０７で主画素数Ｅ２の値をインクリメント（Ｅ２→Ｅ２＋１）した後、ステップＳ２０８に進む。
輝度値が閾値Ｄ２以上でなければステップＳ２０７は経由せずステップＳ２０８に進む。
【００６９】
ステップＳ２０８では、既存グループと隣接しているか否かを判別する。すなわち、現在対象としている画素が現フレーム期間での処理において既に作成済みの何れかの要素グループに隣接しているか否かを判別する。
【００７０】
既存グループと隣接しているとの肯定結果が得られた場合は、ステップＳ２０９で基本特徴量の更新処理を実行する。すなわち、該当する要素グループについての上下左右座標、要素グループ内画素数、要素グループ内最大輝度値、最小輝度値（これら最大、最小輝度値は必要に応じて更新）、及び要素グループの平均視差の各情報を更新する。
【００７１】
一方、既存グループと隣接していないとの否定結果が得られた場合は、ステップＳ２１０に進んで新グループ作成処理を実行する。すなわち、新たな要素グループを作成し、該要素グループの構成画素として対象画素を追加する。このとき、当該要素グループについての基本特徴量の情報も新たに作成する。
【００７２】
ステップＳ２０９の更新処理又はステップＳ２１０の作成処理を実行した後は、ステップＳ２１１において処理範囲が終了したか否か、すなわち対象画素識別子Ｐの値が前述した上限値（ヘッドライト検出範囲Ａｔを構成する画素数−１）に達したか否かを判別する。
処理範囲が終了していないとの否定結果が得られた場合は、ステップＳ２１２において対象画素識別子Ｐの値をインクリメント（Ｐ→Ｐ＋１）した後、ステップＳ２０４に戻る。これにより、ヘッドライト検出範囲Ａｔ内の新たな画素について、上述したステップＳ２０４〜Ｓ２１０の処理が実行される。
【００７３】
一方、処理範囲が終了したとの肯定結果が得られた場合は、ステップＳ２１３でグループ選別処理を実行する。すなわち、基本特徴量が設定条件外の要素グループを削除する処理である。なお、グループ選別処理での削除条件は、テールランプ検出処理で説明した条件１、条件２）と同様である。
【００７４】
続くステップＳ２１４では、閾値Ｄ２、下側副閾値Ｄ２ｄ、上側副閾値Ｄ２ｕの更新処理を行う。
先ず、閾値Ｄ２の更新は次のように行う。
ａ）主画素数Ｅ２が画素数用閾値Ｆ２（例えばヘッドライト検出範囲Ａｔの総画素数の１／１００）以下で、且つ下側副画素数Ｅ２ｄが画素数用閾値Ｆ２ｄ（例えばヘッドライト検出範囲Ａｔの総画素数の１／１０）以下である場合は、閾値Ｄ２を下側副閾値Ｄ２ｄに更新する。
ｂ）主画素数Ｅ２が所定の画素数用閾値（本例では画素数用閾値Ｆ２ｄと同値：検出範囲Ａｔの総画素数の１／１０）以上の場合は、閾値Ｄ２を上側副閾値Ｄ２ｕに更新する。
【００７５】
ここで、上記ａ）は、次のような思想に基づくものである。すなわち、現状の閾値Ｄ２で二値化を行った結果、検出された画素数（Ｅ２）が過小とされる場合は、下側副閾値Ｄ２ｄでの二値化処理で検出された画素数（Ｅ２ｄ）が過大でないことを条件に、閾値Ｄ２を下側副閾値Ｄ２ｄに更新するというものである。現フレームについて設定されている閾値Ｄ２で検出画素数が過小とされる場合は、次フレームにおける閾値Ｄ２を下げてより多くの画素が検出される状態としたいが、前述のように本例では遠距離側での検出を考慮して暗画像Ｇ２を用い且つ閾値Ｄ２の初期値を比較的低い値に設定しているため、閾値Ｄ２を１階調下げただけでも過大な数の画素が検出されてしまう可能性がある。例えば、閾値Ｄ２での検出画素数は総画素数の１％程度であったのに対しＤ２−１とすると総画素数の１０％に達するといったケースが実際に確認されている。そのようなケースでは閾値Ｄ２を下げるべきではないため、上記のように下側副画素数Ｅ２ｄと画素数用閾値Ｆ２ｄとを比較し、下側副画素数Ｅ２ｄが画素数用閾値Ｆ２ｄ以下であれば閾値Ｄ２を下側副閾値Ｄ２ｄに更新するようにしている。
【００７６】
一方、上記ｂ）は、次のような思想に基づくものである。つまり、主画素数Ｅ２が過大であるとされた場合（閾値Ｄ２が現在の撮像条件での最適値から見て低い傾向にある場合）は、閾値Ｄ２を上側副閾値Ｄ２ｕに更新するすなわち閾値Ｄ２を現状よりも上げて、検出画素数を下げようとする（閾値Ｄ２を最適値に近づける）ものである。
【００７７】
ここで、前述のように本例では閾値Ｄ２の上限値を定めている。従って、ステップＳ２１４では、上記のような更新手法で得られた閾値Ｄ２が所定の範囲内の値でないときは、更新値として現フレームでの閾値Ｄ２の値を維持する。
【００７８】
また、ステップＳ２１４において、下側副閾値Ｄ２ｄ、上側副閾値Ｄ２ｕの更新については、上記のような更新処理で得られた閾値Ｄ２（つまり次フレームで用いられるべき閾値Ｄ２）に基づき、それぞれＤ２ｄ→Ｄ２−１、Ｄ２ｕ→Ｄ２＋１とすることで行う。
【００７９】
このステップＳ２１４による更新処理を以て、画像処理部３はヘッドライト検出処理を終了する。
【００８０】
＜７．街灯検出処理＞
街灯検出処理は、街灯と推測される領域（街灯領域）を検出する処理である。
本例の場合、街灯検出処理は、処理対象とする画素が街灯検出範囲Ａｇ内の画素となる以外はヘッドライト検出処理と同様となるため、説明は省略する。
【００８１】
＜８．対象認識・識別処理＞
対象認識・識別処理は、少なくとも上記のテールランプ検出処理、ヘッドライト検出処理の各処理結果に基づいて、対象（先行車、対向車）の認識・識別を行う処理である。
ここで言う「認識」とは、対象の範囲を認識することを意味する。「識別」とは、「認識」された範囲内に存在する物体が対象であるかどうかの確からしさ（例えば後述する信頼度）を算出し、その確からしさに基づいて対象であるか否かの切り分けを行うことを意味する。
【００８２】
対象の「認識」処理は、テールランプ検出処理、ヘッドライト検出処理で求まった各要素グループを、基本特徴量の情報に基づいて対象グループとしてグループ化することで行う。
ここで、要素グループの平均視差の値がほぼ同値であれば、それらの要素グループは同一の対象を構成している可能性が高い。また、同一の対象を構成しているのであれば、それらの要素グループの上下左右方向の離間距離は所定の範囲内にあると言える。
対象の「認識」処理では、平均視差の値が同じであるとみなされる要素グループであって、それら要素グループの上下左右方向の離間距離が所定範囲内であるものを、対象グループとしてグループ化することで行う。なお、上記離間距離についての「所定範囲」は、撮像画像内での対象のサイズが自車両から当該対象までの距離に応じて変わる点を考慮し、平均視差の値に応じて可変とする。
【００８３】
このような「認識」処理によって、先に参照した図６Ｂに示すような対象グループのグループ化が実現される。
【００８４】
なお、図６Ｂを参照して分かるように、本例の手法では先行車・対向車としての対象の縦方向を適切に囲うことができない。これは、「認識」処理が基とする検出処理で、先行車や対向車における発光部のみを対象とした検出を行っているためである。
しかしながら、ＡＤＢは縦方向の配光制御ではなく横方向の配光制御であるため、最終的な配光制御に問題が生じることはない。
【００８５】
ここで、街灯については、１つの発光部としての要素グループそのものが認識されるべき対象であることから、本例では街灯についての上記の「認識」処理は実行せず、要素グループをそのまま対象グループとして扱う。
【００８６】
対象の「識別」処理では、上記の「認識」処理でグループ化された各対象グループについて信頼度を算出し、信頼度が所定閾値以上の対象グループを抽出する。
本例の信頼度は、フレームごとに算出される。「識別」処理では、フレームごとに信頼度と上記所定閾値との比較が行われて対象グループの抽出が行われる。
信頼度は、例えば対象グループを構成する要素グループの数や対象グループのサイズ及び路面からの高さの情報等に基づき算出する。なお、路面からの高さは、前述した車線モデル形成処理で得られた値を用いる。
【００８７】
このような「識別」処理により、先行車や対向車としての対象以外の物体（自車のライトによって照らされた標識や看板、リフレクタ等）を切り分けることができる。
【００８８】
なお、街灯については、上記のような「識別」処理は不要であり、本例では実行しない。
【００８９】
＜９．シーン判定処理＞
シーン判定処理は、現在の走行シーンがそもそもハイビームが必要なシーンであるか否かを判定する処理である。本例では、ハイビームが不要なシーンとして、市街地（充分明るいため）、低速時（遠方までライトを照射する必要がないため）、右左折時（遠方までライトを照射する必要がないため）であるか否かをそれぞれ判別し、何れかが該当した場合はハイビーム不要シーンであるとの判定結果を得る。
ここで、市街地であるか否かの判別は、街灯の検出数等に基づき行う。例えば、街灯の検出数が所定の閾値以上であるか否かの判別結果に基づき行う。
また、低速時であるか否かの判別は、車速センサ１７Ａにより検出される車速が一定以下（例えば２０ｋｍ／ｈ）であるか否かを判別して行う。但し、ハンチングを防止するためヒステリシスを設ける。
右左折時であるか否かの判別は、ウィンカーが動作状態にあるか否かを判別することで行う。例えばウィンカースイッチ１７ＥがＯＮ状態であるか否かを判別する。
【００９０】
＜１０．制御情報算出処理＞
制御情報算出処理は、対象認識・識別処理による先行車・対向車の認識・識別結果とシーン判定処理の結果とに基づき、ＡＤＢの制御情報を算出する処理である。
具体的な処理内容を図８のフローチャートを参照して説明する。
図８において、画像処理部３は、ステップＳ３０１でハイビーム不要シーンか否かを上記のシーン判定処理の結果に基づき判別する。ハイビーム不要シーンであるとの肯定結果が得られた場合は、ステップＳ３０５でハイビームＯＦＦを表す制御情報を生成し、ステップＳ３０６で当該制御情報を運転支援制御部５（配光制御処理部５Ａ）に対して出力した後、処理を終了する。
【００９１】
一方、ハイビーム不要シーンではないとの否定結果が得られた場合は、ステップＳ３０２で先行車又は対向車が存在するか否かを判別する。すなわち、上記した対象認識・識別処理の結果に基づき、先行車又は対向車の何れかが存在するか否かを判別する。
先行車又は対向車が存在しないとの否定結果が得られた場合は、ステップ３０３で全面ハイビームＯＮを表す制御情報を生成し、ステップＳ３０６で当該制御情報を運転支援制御部５に出力した後、処理を終了する。
【００９２】
また、先行車又は対向車が存在するとの肯定結果が得られた場合は、ステップＳ３０４で対象以外ハイビームＯＮを表す制御情報を生成する。このとき、画像処理部３は、対象認識・識別処理の結果に基づき、ハイビームを照射可能な範囲を計算する（当該範囲の情報を以下「照射範囲情報」と表記する）。ハイビームの照射可能な範囲は、先行車、対向車の左右の座標情報を基準に算出する。
画像処理部３は、ステップＳ３０４で生成した制御情報（照射範囲情報を含む）をステップＳ３０６で運転支援制御部５に出力し、処理を終了する。
【００９３】
＜１１．制御情報に基づく配光制御＞
運転支援制御部５（配光制御処理部５Ａ）では、配光制御処理として、上記の制御情報に基づく配光制御を実行する。具体的に、配光制御処理では、ハイビームＯＦＦを表す制御情報に応じてはライト制御部１０に対しハイビームをＯＦＦとする指示を行う。また、全面ハイビームＯＮを表す制御情報に応じてはライト制御部１０に対しハイビームを全面ＯＮとする指示を行う。さらに、対象以外ハイビームＯＮを表す制御情報に応じては、当該制御情報に含まれる照射範囲情報に従った範囲のみハイビームが照射されるようにライト制御部１０に対する指示を行う。
【００９４】
図９は、対象以外ハイビームＯＮを表す制御情報に応じて実現されるハイビームの照射態様についての説明図である。なお、図中では紙面上方向が自車両の前方方向を表す。
図９Ａに示すように、この場合のハイビームの照射は、先行車、対向車が存在する範囲（図中斜線部）以外の範囲に対して行う。
【００９５】
なお、ＡＤＢとしては、ハイビームの遮光を１カ所しかできない仕様のものも考えられる。その場合において、図９Ａと同様にハイビームを照射すべきでない対象が複数存在し且つそれらの間に対象が存在しない範囲が形成されているときは、図９Ｂに示すように、ハイビームを照射すべきでない対象（先行車、対向車）の間の範囲もハイビームの非照射範囲とされるように配光制御を行う。このためには、例えば前述した制御情報算出処理において、ハイビームを照射すべきでない対象が複数存在する場合はそれらをグループ化し、当該グループの左右方向の最大座標を基準に照射範囲情報を計算すればよい。
【００９６】
ここで、ハイビームを照射すべきでない対象として、対向車は、自車に対して或る程度近接した際にはヘッドライト検出範囲Ａｔから外れる（図１０を参照）。そのため、対向車がある程度の距離まで近接（例えば５０ｍ：但しヘッドライト検出範囲Ａｔで検出できる距離内であることが条件）したことが確認された場合は、すれ違いが予想される方向へのハイビームの照射を一定期間（例えば１秒）ＯＦＦとする制御を行う。
【００９７】
＜１２．実施の形態のまとめ＞
上記で説明したように、本実施の形態では、自車両の前方を撮像した撮像画像について、主閾値以上の輝度値を有する画素を検出する輝画素検出処理と、主閾値とは異なる値に設定した副閾値以上の輝度値を有する画素の数を副画素数として算出する副画素数算出処理を実行すると共に、副画素数の値と所定の画素数用閾値との比較結果に基づき、主閾値を更新する主閾値更新処理を実行するようにしている。
これにより、主閾値とは異なる副閾値によって実際に二値化を行った結果に基づき主閾値が更新される。すなわち、前述した特許文献１のように検出に影響する要素に基づき主閾値を制御するのではなく、副閾値により実際に二値化を行った結果に基づき主閾値を制御するので、検出のロバスト性を向上できる。
また、本実施の形態では、前述した特許文献２のように、閾値制御にあたって演算量の比較的大きい認識・識別処理を複数回行う必要がない。
これらの点より、本実施の形態によれば、輝度の閾値を用いた二値化処理によって輝画素の検出を行う画像処理装置において、処理負荷の増大を抑えつつ、撮像条件に応じた適切な閾値制御を実現することができる。
【００９８】
また、本実施の形態では、主閾値以上の輝度値を有する画素の数を主画素数として算出する主画素数算出処理を実行し、主閾値更新処理では、主画素数の値と第１画素数用閾値との比較結果と副画素数の値と第２画素数用閾値との比較結果とに基づき主閾値を更新するようにしている。
これにより、主画素数と副画素数とに基づき閾値制御が行われる。副画素数のみでなく主画素数も考慮する分、より撮像条件への適応性が優れた閾値制御を実現できる。
【００９９】
さらに、本実施の形態では、副閾値として主閾値よりも値が小さい下側副閾値（Ｄ２ｄ）と主閾値よりも値が大きい上側副閾値（Ｄ２ｕ）とを設定し、副画素数算出処理では、下側副閾値以上の輝度値を有する画素の数を下側副画素数（Ｅ２ｄ）として算出し、主閾値更新処理では、主画素数（Ｅ２）の値が第１画素数用閾値（Ｆ２）以下で且つ下側副画素数が第２画素数用閾値（Ｆ２ｄ）以下である場合は主閾値を下側副閾値に更新し、主画素数の値が所定の画素数用閾値（例えばＦ２ｄ）以上である場合は主閾値を前記上側副閾値に更新するようにしている。
これにより、主画素数が過小とされる場合（第１画素数用閾値以下の場合）は、下側副画素数が過大でないこと（第２画素数用閾値以下）を条件に主閾値が下側副閾値に更新される。一方、主画素数が過大であるとされる場合（所定の画素数用閾値以上の場合）は、主閾値が上側副閾値に更新される。
従って、主閾値を撮像条件に応じて適切に上下させることができる。
【０１００】
さらにまた、本実施の形態では、主閾値が所定の範囲を超えないように制御を行っている。
これにより、二値化の閾値が所定の上限値を超えないように制御される。従って、例えばノイズ等の影響により閾値が過剰に大きくなってしまうことを防止でき、検出の安定性向上が図られる。
【０１０１】
加えて、本実施の形態では、撮像画像内の所定範囲を対象として輝画素検出処理と副画素数算出処理を実行するようにしている。
これにより、二値化を行うべき画素が限定され、処理時間の短縮化や処理負担の低減が図られると共に、本来検出対象が存在しない場所での誤検出を防止することができる。
【０１０２】
＜１３．変形例＞
以上、本発明に係る実施の形態について説明したが、本発明は上記で例示した具体例に限定されるべきものではなく、多様な変形例が考えられる。
例えば、これまでの説明では、主画素数Ｅ２が過小とされる場合（画素数用閾値Ｆ２以下の場合）は、下側副画素数Ｅ２ｄが過大でないこと（画素数用閾値Ｆ２ｄ以下）を条件に閾値Ｄ２を下側副閾値Ｄ２ｄに更新し、一方で主画素数Ｅ２が過大とされる場合（例えばＦ２ｄ以上の場合）は、閾値Ｄ２を上側副閾値Ｄ２ｕに更新する例を挙げた。
しかしながら、本発明は、このように閾値の下げ側をメインとした手法ではなく、逆に閾値の上げ側をメインとした手法を採ることもできる。具体的には、上側副閾値Ｄ２ｕ以上の輝度値を有する画素の数を上側副画素数Ｅ２ｕとしたときに、
ａ’）主画素数Ｅ２の値が所定の第１画素数用閾値（例えばヘッドライト検出範囲Ａｔの総画素数の１／１０）以上で且つ上側副画素数Ｅ２ｕの値が所定の第２画素数用閾値（例えばヘッドライト検出範囲Ａｔの総画素数の１／１００）以上である場合は、閾値Ｄ２を上側副閾値Ｄ２ｕに更新する
ｂ’）主画素数Ｅ２が所定の画素数用閾値（例えばヘッドライト検出範囲Ａｔの総画素数の１／１００）以下である場合は、閾値Ｄ２を下側副閾値Ｄ２ｄに更新する
というものである。
これは、現状の閾値Ｄ２では主画素数Ｅ２が過大であるとされる場合は、上側副画素数Ｅ２ｕが過小でないことを条件に、閾値Ｄ２を上側副閾値Ｄ２ｕに上げて検出画素数が減少するようにし、一方で主画素数Ｅ２が過小であるとされる場合は、閾値Ｄ２を下側副閾値Ｄ２ｄに下げてより多くの画素が検出されるようにするという手法と換言できる。
【０１０３】
ここで、主画素数が所定値以下（所定値以上）か否かを判別することで、そのときの主閾値が撮像条件に対して高すぎる（低すぎる）か否かの一応の指標を得ることができる。主閾値が撮像条件に対して高すぎる（低すぎる）場合は、主閾値を下げて（上げて）検出画素数が増加（減少）するように閾値を更新すべきであるが、単純に主画素数が所定値に対して大きい（小さい）か否かのみで主閾値を更新してしまうのは適切ではない（先行車や対向車が多い／少ないシーンであることが要因である可能性があるため）。そこで、実施の形態で例示したａ）や上記のａ’）のように、副閾値による副画素数が過大にならないか（過小にならないか）否かも併せて判別し、その結果も加味して主閾値を更新することで、撮像条件への適応化を図っているものである。
このように主画素数、副画素数とそれらに対応した画素数用閾値との比較結果に基づく閾値更新を行うことで、撮像条件への適応性に優れた閾値制御を実現できる。
【０１０４】
また、これまでの説明では、対象認識・識別処理の結果に基づきＡＤＢとしての配光制御を行う場合を例示したが、これに代えてＡＨＢ（Auto High Beam）としての配光制御を行うこともできる。その場合は、先行車又は対向車が１つでも存在する場合にはハイビームをＯＦＦとし、先行車及び対向車が存在しない場合に全面ハイビームＯＮとする制御を行えばよい。
【０１０５】
また、これまでの説明では、カラー画像の形式としてＲＧＢ形式を例示したが、例えばＹＵＶ等別の表現形式を用いることも勿論可能である。
【符号の説明】
【０１０６】
１…車両制御システム、２…撮像部、３…画像処理部、３Ｅ…ヘッドライト検出処理部、３Ｆ…街灯検出処理部、Ａｔ…ヘッドライト検出範囲、Ａｇ…街灯検出範囲
【図１】
2014232430.tif 000003
【図２】
2014232430.tif 000004
【図３】
2014232430.tif 000005
【図４】
2014232430.tif 000006
【図５】
2014232430.tif 000007
【図６】
2014232430.tif 000008
【図７】
2014232430.tif 000009
【図８】
2014232430.tif 000010
【図９】
2014232430.tif 000011
【図１０】
2014232430.tif 000012