(57)【要約】【課題】ダイナミックレンジを拡大した撮像画像により、車両周辺に存在する対象物を精度良く検知することができる車両周辺監視装置を提供する。【解決手段】カメラ２は、カラーフィルタ２１を介して受光するＲ・Ｇ・Ｂ受光画素と、カラーフィルタを介さずに受光する第１透明受光画素及び第１透明受光画素よりも低い透過率で受光する複数の第２透明受光画素とが配置された撮像素子２２により撮像する。画像生成部３２は、原画像４１から生成した高感度画像４３と低感度画像４４の対応する各画素の階調値を合成して、広ダイナミックレンジ画像４５を生成する。対象物検知部３９は、広ダイナミックレンジ画像４５を用いて対象物を検知する。【選択図】  図１
2014109853.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の第１透明受光画素と、カラーフィルタを介さずに該第１透明受光画素よりも低い透過率で受光する複数の第２透明受光画素とが配置された撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各第１透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第１透明画素と、前記各第２透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第２透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各画素に対し、第１透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第２透明画素について周囲の第１透明画素の階調値に基づく高感度階調値を割り当て、また、第２透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第１透明画素について周囲に配置された第２透明画素の階調値に基づく低感度階調値を割り当てて、
前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、各画素ごとに合成した各画素の広レンジ階調値を算出し、各画素の広レンジ階調値を広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成する画像生成部と、
前記広ダイナミックレンジ画像を用いて、前記車両の周辺に存在する対象物を検知する対象物検知部と
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像の各第１透明画素及び各第２透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各階調値を割り当てると共に、前記原画像の各カラー画素に対して、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の階調値を割り当てて、前記原画像の各画素に割り当てた３原色の階調値に基づくグレーの参照階調値を算出し、各画素に対して、対応する前記高感度階調値と前記参照階調値との相違度に応じた第１高感度補正係数と、対応する前記低感度階調値と前記参照階調値との相違度に応じた第１低感度補正係数とを算出する第１補正係数算出部を備え、
前記画像生成部は、前記原画像の各画素について、割り当てられた前記高感度階調値と前記低感度階調値とを、対応する前記第１高感度補正係数及び前記第１低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする車両周辺監視装置。
【請求項３】
請求項１に記載の車両周辺監視装置において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像において、道路の画像部分又は道路に敷設されている車線区分線の画像部分を含む領域を、補正係数算出領域として設定し、該補正係数算出領域内の各第１透明画素及び第２透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各階調値を割り当てると共に、前記補正係数算出領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の階調値を割り当てて、前記補正係数算出領域内の各画素に割り当てた３原色の階調値に基づくグレーの参照階調値を算出し、前記補正係数算出領域内の各画素に割り当てられた前記高感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第２高感度補正係数と、前記補正係数算出領域内の各画素に割り当てられた前記低感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第２低感度補正係数とを算出する第２補正係数算出部とを備え、
前記画像生成部は、前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、前記第２高感度補正係数及び前記第２低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする車両周辺監視装置。
【請求項４】
請求項３に記載の車両周辺監視装置において、
前記第２補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた高感度階調値が第１所定値以上である画素の割合が第１閾値以下である補正係数算出領域を対象として、前記第２高感度補正係数を算出することを特徴とする車両周辺監視装置。
【請求項５】
請求項３又は請求項４に記載の車両周辺監視装置において、
前記第２補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた低感度階調値が第２所定値以下である画素の割合が第２閾値以下である補正係数算出領域を対象として、前記第２低感度補正係数を算出することを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによる撮像画像を用いて、車両周辺に存在する対象物を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカラーカメラによる撮像画像から、前走車の警報ランプ（（制動ランプ、方向指示ランプ）を検知して、自車両と前方車両との車間距離及び相対速度を算出し、この車間距離と相対速度の変化状態から前方車両に追突するまでの時間を予測して、運転者に対する警報を実行するようにした装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特公平６−１０８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両に搭載されるカメラは、暗い対象物（例えば、夜間に歩道に所在する歩行者等）から、明るい対象物（前走車の制動ランプ等）までの広範囲の明るさの対象物を撮像して、その画像部分を抽出可能とするために、広いダイナミックレンジを有していることが望ましい。
【０００５】
しかし、一般的なカメラにおいては、単一のフォトダイオードを受光素子として電荷を蓄積するため、フォトダイオードの容量を超える放射照度の光を受光すると、出力信号が飽和してそれ以上の輝度差を認識することができなくなる。そのため、単一のフォトダイオードで表現することができるダイナミックレンジには限界がある。
【０００６】
そこで、１画素に対して容量が異なるフォトダイオードを複数個配置して、この複数個のフォトダイオードの信号を合算してダイナミックレンジを拡大する方法（従来方法１）や、露光時間を変えた複数の撮像画像を合成してダイナミックレンジを拡大する方法（従来方法２）が提案されている。
【０００７】
しかしながら、従来方法１による場合は、１画素に複数のフォトダイオードを配置するために、フォトダイオードのサイズを小さくしたときは撮像画像の感度が低下し、フォトダイオードのサイズを変えないときには配置可能な画素の数が減少して解像度が低下する。また、従来方法２による場合には、異なる時間で露光した画像を使用することにより、合成画像がぼけて画質が劣化する。そのため、これらの従来方法によりダイナミックレンジを拡大した画像を用いたときには、対象物を精度良く検知することが困難であった。
【０００８】
本発明は、上記背景に鑑みてなされたものであり、ダイナミックレンジを拡大した撮像画像により、車両周辺に存在する対象物を精度良く検知することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光素子と、カラーフィルタを介さずに受光する複数の第１透明受光画素と、カラーフィルタを介さずに該第１透明受光画素よりも低い透過率で受光する複数の第２透明受光画素とが配置された撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各第１透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第１透明画素と、前記各第２透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第２透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各画素に対し、第１透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第２透明画素について周囲の第１透明画素の階調値に基づく高感度階調値を割り当て、また、第２透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第１透明画素について周囲に配置された第２透明画素の階調値に基づく低感度階調値を割り当てて、
前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、各画素ごとに合成した各画素の広レンジ階調値を算出し、各画素の広レンジ階調値を広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成する画像生成部と、
前記広ダイナミックレンジ画像を用いて、前記車両の周辺に存在する対象物を検知する対象物検知部とを備えたことを特徴とする（第１発明）。
【００１０】
第１発明によれば、前記カメラにより撮像された前記原画像においては、第１透明画素により低輝度の対象物の画像情報を得ることができると共に、第２透明画素により高輝度の対象物の画像情報を得ることができる。そして、前記画像生成部により、前記原画像の各画素に対して割り当てた、第１透明画素の階調値に基づく高感度階調値と第２透明画素の階調値に基づく低感度階調値とを、各画素ごとに合成した広レンジ階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、感度幅が広い広ダイナミックレンジ画像を生成することができる。
【００１１】
そして、前記広ダイナミックレンジ画像は、生成に際して、受光素子のサイズの減少による感度低下や受光素子の個数の減少による解像度の低下を伴うものではなく、また、受光素子の露光時間を異ならせる処理も不要であるため、解像度の低下を抑えて、撮像可能な明るさの幅が広い広ダイナミックレンジ画像を生成することができる。そのため、前記対象物検知部は、前記画像生成部により生成された広ダイナミックレンジ画像を用いることにより、車両周辺に監視する広範囲の輝度の対象物を精度良く検知することができる。
【００１２】
また、第１発明において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像の各第１透明画素及び各第２透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各階調値を割り当てると共に、前記原画像の各カラー画素に対して、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の階調値を割り当てて、前記原画像の各画素に割り当てた３原色の階調値に基づくグレーの参照階調値を算出し、各画素に対して、対応する前記高感度階調値と前記参照階調値との相違度に応じた第１高感度補正係数と、対応する前記低感度階調値と前記参照階調値との相違度に応じた第１低感度補正係数とを算出する第１補正係数算出部を備え、
前記画像生成部は、前記原画像の各画素について、割り当てられた前記高感度階調値と前記低感度階調値とを、対応する前記第１高感度補正係数及び前記第１低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする（第２発明）。
【００１３】
第２発明によれば、前記第１高感度補正係数と前記第１低感度補正係数を用いることによって、前記原画像の各画素に割り当てられた前記参照階調値と前記高感度階調値及び前記低感度階調値との相違度に応じて、各画素の前記広レンジ階調値を算出して前記広ダイナミックレンジ画像を生成することができる。
【００１４】
また、第１発明において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像において、道路の画像部分又は道路に敷設されている車線区分線の画像部分を含む領域を、補正係数算出領域として設定し、該補正係数算出領域内の各第１透明画素及び第２透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各階調値を割り当てると共に、前記補正係数算出領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の階調値を割り当てて、前記補正係数算出領域内の各画素に割り当てた３原色の階調値に基づくグレーの参照階調値を算出し、前記補正係数算出領域内の各画素に割り当てられた前記高感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第２高感度補正係数と、前記補正係数算出領域内の各画素に割り当てられた前記低感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第２低感度補正係数とを算出する第２補正係数算出部とを備え、
前記画像生成部は、前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、前記第２高感度補正係数及び前記第２低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする（第３発明）。
【００１５】
第３発明によれば、前記第２補正係数算出部は、無彩色である可能性が高い道路の画像部分又は車線区分線の画像部分を対象として、前記原画像の全ての画素について共通に用いる前記第２高感度補正係数と前記第２低感度補正係数を算出する。そして、前記画像生成部は、前記第２高感度補正係数と前記第２低感度補正係数を用いることにより、画素ごとの高感度階調値と低感度階調値の相違度のばらつきによる画質の劣化を抑制して、前記広ダイナミックレンジ画像を生成することができる。
【００１６】
また、第３発明において、
前記第２補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた高感度階調値が第１所定値以上である画素の割合が第１閾値以下である補正係数算出領域を対象として、前記第１高感度補正係数を算出することを特徴とする（第４発明）。
【００１７】
第４発明によれば、高感度階調値が前記第１所定値以上である画素（高感度階調値が飽和しているような画素）の割合が前記第１閾値以下である前記補正係数算出領域を対象とすることによって、有効な感度差の情報に基づく適切な前記第２高感度補正係数を算出することができる。
【００１８】
また、第３発明又は第４発明において、
前記第２補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた低感度階調値が第２所定値以下である画素の割合が第２閾値以下である補正係数算出領域を対象として、前記第２低感度補正係数を算出することを特徴とする（第５発明）。
【００１９】
第５発明によれば、低感度階調値が前記第２所定値以下である画素（低感度階調値が黒潰れしているような画素）の割合が前記第２閾値以下である前記補正係数算出領域を対象とすることによって、有効な感度差の情報に基づく適切な前記第２低感度補正係数を算出することができる。
【図面の簡単な説明】
【００２０】
【図１】車両周辺監視装置の構成図。
【図２】撮像素子のフィルタ及びカメラによる撮像画像の説明図。
【図３】車両周辺監視装置の作動フローチャート。
【図４】カラー画像及び高感度画像の説明図。
【図５】低感度画像及び広ダイナミックレンジ画像の説明図。
【図６】第２補正係数算出部の第１のフローチャート。
【図７】第２補正係数算出部の第２のフローチャート。
【図８】補正係数算出領域の説明図。
【発明を実施するための形態】
【００２１】
本発明の車両周辺監視装置の実施形態について、図１〜図８を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置は、車両１に搭載されたカメラ２と、カメラ２に接続された画像コントローラ３とにより構成されている。
【００２２】
カメラ２は、車両１の前方を撮像範囲として車両１に搭載されている。カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の前方を撮像し、撮像データを画像コントローラ３に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子を２次元に配列して構成されている。
【００２３】
図２（ａ）を参照して、フィルタ２１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色のカラーフィルタのいずれかを、撮像素子２２のｍ×ｎ個の各受光画素の受光経路に配置して、取り付けられている。なお、カラーフィルタとして、ＲＧＢ以外の他の種類のカラーフィルタ（ＣyＭgＹの補色系フィルタ等）を用いてもよい。
【００２４】
そして、カメラ２は、Ｒフィルタが装着されたＲ受光画素（図中Ｒ11，Ｒ15，…で示している。本発明のカラー受光画素に相当する）、Ｇフィルタが装着されたＧ受光画素（図中Ｇ22，Ｇ24，…で示している。本発明のカラー受光画素に相当する）、Ｂフィルタが装着されたＢ受光画素（図中Ｂ13，Ｂ31，…で示している。本発明のカラー受光画素に相当する）、及びフィルタ２１が装着されていないＷ受光画素（図中Ｗ12，Ｗ32，…で示している。本発明の第１透明受光画素に相当する）とＶ受光画素（図中Ｖ21，Ｖ41，…で示している。本発明の第２透明受光画素に相当する）による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ３に出力する。
【００２５】
ここで、Ｗ受光画素の透過率（光透過率）は例えば９０％以上に設定され、Ｖ受光画素の透過率はＷ受光画素及びＲ，Ｇ，Ｂ受光画素よりも低い例えば２０％以下に設定されている。
【００２６】
画像コントローラ３は、図示しないＣＰＵ，メモリ，入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。
【００２７】
制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、カラー画像生成部３３と高感度画像生成部３４と低感度画像生成部３５と広ダイナミックレンジ画像生成部３６とを有する画像生成部３２、第１補正係数算出部３７、第２補正係数算出部３８、及び対象物検知部３９として機能する。なお、原画像取得部３１、画像生成部３２、第１補正係数算出部３７、第２補正係数算出部３８、及び対象物検知部３９の一部又は全部をハードウェアにより構成してもよい。
【００２８】
原画像取得部３１は、カメラ２に制御信号を出力して車両１の前方の画像を撮像させ、カメラ２から出力される撮像データにより、原画像４１のデータを取得して画像メモリ４０に保持する。
【００２９】
原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２による各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素、Ｖ受光画素）の階調値を、対応する配列位置の画素（配列位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値をＳ（大文字）＋小文字ｒ，ｇ，ｂ，ｗ，ｖのいずれか＋i,j（i=1,2,…,m、j=1,2,…,n）で示している。
【００３０】
ここで、ｒは図２（ａ）のＲ受光画素に対応した配列位置の画素（以下、Ｒ画素という。本発明のカラー画素に相当する）の階調値を示し、ｇは図２（ａ）のＧ受光画素に対応した配列位置の画素（以下、Ｇ画素という。本発明のカラー画素に相当する）の階調値を示し、ｂは図２（ａ）のＢ受光画素に対応した配列位置の画素（以下、Ｂ画素という。本発明のカラー画素に相当する）の階調値を示している。
【００３１】
また、ｗは図２（ａ）のＷ受光画素に対応した配列位置の画素（以下、Ｗ画素という。本発明の第１透明画素に相当する）の階調値を示し、ｖは図２（ａ）のＶ受光画素に対応した配列位置の画素（以下、Ｖ画素という。本発明の第２透明画素に相当する）の階調値を示している。
【００３２】
次に、画像生成部３２のカラー画像生成部３３は、原画像４１からカラー画像４２を生成してそのデータを画像メモリ４０に保持する。高感度画像生成部３４は、原画像４１から高感度画像４３を生成してそのデータを画像メモリ４０に保持する。低感度画像生成部３５は、原画像４１から低感度画像４４を生成してそのデータを画像メモリ４０に保持する。
【００３３】
また、画像生成部３２の広ダイナミックレンジ画像生成部３６は、カラー画像４２、高感度画像４３、及び低感度画像４４から、広ダイナミックレンジ画像４５を生成してそのデータを画像メモリ４０に保持する。カラー画像４２、高感度画像４３、低感度画像４４、及び広ダイナミックレンジ画像４５の各生成処理の詳細については、後述する。
【００３４】
対象物検知部３９は、カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４５を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。
【００３５】
車両コントローラ６は、図示しないＣＰＵ，メモリ，入出力回路等により構成された電子回路ユニットであり、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。画像コントローラ３と車両コントローラ６は、ＣＡＮドライバ５０，６４を介して相互に通信を行う。
【００３６】
次に、図３に示したフローチャートに従って、制御回路３０による各種画像の生成と、各種画像からの対象物検知の処理について説明する。
【００３７】
図３のＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１（図２（ｂ）参照）を取得して画像メモリ４０に保持する。
【００３８】
『１．カラー画像の生成処理』
続くＳＴＥＰ２はカラー画像生成部３３による処理である。カラー画像生成部３３は、原画像４１の各画素に割り当てるカラーの階調値を算出して、図４（ａ）に示したカラー画像４２を生成する。図４（ａ）のカラー画像４２では、各画素の階調値をＣi,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【００３９】
Ｃi,jは、以下のように、Ｒ値（Ｃi,jr、Ｒの階調値）、Ｇ値（Ｃi,jg、Ｇの階調値）、及びＢ値（Ｃi,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃi,j＝｛Ｃi,jr、Ｃi,jg、Ｃi,jb｝
【００４０】
［１−１．Ｃi,jに対するＧ値の割り当て］
カラー画像生成部３３は、原画像４１のＧ画素（階調値がＳgi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。
【００４１】
原画像４１のＲ画素（階調値がＳri,jである画素）、及びＢ画素（階調値がＳbi,jである画素）については、図２（ｂ）に示した配列パターンから、斜め上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３３は、対象とするＲ，Ｂ画素の斜め上下に隣接するＧ画素の階調値（Ｓgi+1,j+1，Ｓgi-1,j-1，Ｓgi-1,j+1，Ｓgi+1,j-1）について、以下の式（１）〜式（４）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００４２】
【数１】
2014109853.tif 000003
【００４３】
【数２】
2014109853.tif 000004
【００４４】
【数３】
2014109853.tif 000005
【００４５】
【数４】
2014109853.tif 000006
【００４６】
原画像４１のＷ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示した配列パターンから、上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３３は、対象とするＷ画素の上下に隣接するＧ画素の階調値（Ｓgi-1,j，Ｓgi+1,j）について、以下の式（５）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００４７】
【数５】
2014109853.tif 000007
【００４８】
原画像４１のＶ画素（階調値がＳvi,jである画素）については、図２（ｂ）に示した配列パターンから、左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３３は、対象とするＶ画素の左右に隣接するＧ画素の階調値（Ｓgi,j-1，Ｓgi,j+1）について、以下の式（６）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００４９】
【数６】
2014109853.tif 000008
【００５０】
［１-2．Ｃi,jに対するＲ値の割り当て］
次に、カラー画像生成部３３は、カラー画像４２の各画素に割り当てるＲ値（Ｃi,jr）を算出する。原画像４１のＲ画素（階調値がＳri,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＲ値とする。
【００５１】
原画像４１のＢ画素（階調値がＳbi,jである画素）については、図２（ｂ）に示した配列パターンから、上下左右の２個目の画素がＲ画素になっている。そこで、カラー画像生成部３３は、対象とするＢ画素の上下左右の２個目のＲ画素の階調値（Ｓri+2,j，Ｓri-2,j，Ｓri,j+2，Ｓri,j-2）について、以下の式（７）〜式（１０）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００５２】
【数７】
2014109853.tif 000009
【００５３】
【数８】
2014109853.tif 000010
【００５４】
【数９】
2014109853.tif 000011
【００５５】
【数１０】
2014109853.tif 000012
【００５６】
原画像４１のＧ画素（階調値がＳgi,jである画素）については、図２（ｂ）に示した配列パターンから、右上と左下又は左上と右下に隣接する画素が、Ｒ画素になっている。そこで、カラー画像生成部３３は、原画像４１の対象とするＧ画素の斜め上下に隣接するＲ画素の階調値（Ｓri+1,j+1，Ｓri-1,j-1，Ｓri-1,j+1，Ｓri+1,j-1）について、以下の式（１１）〜式（１２）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００５７】
【数１１】
2014109853.tif 000013
【００５８】
【数１２】
2014109853.tif 000014
【００５９】
原画像４１のＷ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示した配列パターンから、左右に隣接するいずれかの画素がＲ画素になっている。そこで、カラー画像生成部３３は、以下の式（１３）〜式（１４）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００６０】
【数１３】
2014109853.tif 000015
【００６１】
【数１４】
2014109853.tif 000016
【００６２】
原画像４１のＶ画素（階調値がＳvi,jである画素）については、図２（ｂ）に示した配列パターンから、上下に隣接するいずれかの画素がＲ画素になっている。そこで、カラー画像生成部３３は、以下の式（１５）〜式（１６）により、原画像４１の対象とするＶ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００６３】
【数１５】
2014109853.tif 000017
【００６４】
【数１６】
2014109853.tif 000018
【００６５】
［１-3．Ｃi,jに対するＢ値の割り当て］
次に、カラー画像生成部３３は、カラー画像４２の各画素に割り当てるＢ値（Ｃi,jb）を算出する。原画像４１のＢ画素（階調値がＳbi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＢ値とする。
【００６６】
原画像４１のＲ画素（階調値がＳri,jである画素）については、図２（ｂ）に示した配列パターンから、上下左右の２個目の画素がＢ画素になっている。そこで、カラー画像生成部３３は、対象とするＢ画素の上下左右の２個目のＢ画素の階調値（Ｓbi+2,j，Ｓbi-2,j，Ｓbi,j+2，Ｓbi,j-2）について、以下の式（１７）〜式（２０）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００６７】
【数１７】
2014109853.tif 000019
【００６８】
【数１８】
2014109853.tif 000020
【００６９】
【数１９】
2014109853.tif 000021
【００７０】
【数２０】
2014109853.tif 000022
【００７１】
原画像４１のＧ画素（階調値がＳgi,jである画素）については、図２（ｂ）に示した配列パターンから、右上と左下又は左上と右下に隣接する画素が、Ｂ画素になっている。そこで、カラー画像生成部３３は、原画像４１の対象とするＧ画素の斜め上下に隣接するＢ画素の階調値（Ｓbi+1,j+1，Ｓbi-1,j-1，Ｓbi-1,j+1，Ｓbi+1,j-1）について、以下の式（２１）〜式（２２）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００７２】
【数２１】
2014109853.tif 000023
【００７３】
【数２２】
2014109853.tif 000024
【００７４】
原画像４１のＷ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示した配列パターンから、左右に隣接するいずれかの画素がＢ画素になっている。そこで、カラー画像生成部３３は、以下の式（２３）〜式（２４）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００７５】
【数２３】
2014109853.tif 000025
【００７６】
【数２４】
2014109853.tif 000026
【００７７】
原画像４１のＶ画素（階調値がＳvi,jである画素）については、図２（ｂ）に示した配列パターンから、上下に隣接するいずれかの画素がＢ画素になっている。そこで、カラー画像生成部３３は、以下の式（２５）〜式（２６）により、原画像４１の対象とするＶ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００７８】
【数２５】
2014109853.tif 000027
【００７９】
【数２６】
2014109853.tif 000028
【００８０】
以上の処理により、カラー画像生成部３３は、カラー画像４２の各画素に割り当てるＲ値（Ｃi,jr），Ｇ値（Ｃi,jg），Ｂ値（Ｃi,jb）を算出する。
【００８１】
ここで、カラー画像４２の各画素Ｃi,jの輝度の階調値（参照階調値）Ｙi,jは、以下の式（２７）により算出される。
【００８２】
【数２７】
2014109853.tif 000029
【００８３】
但し、Ｙi,j：参照階調値、Ｃi,jr：カラー画像４２の各画素Ｃi,jのＲ値、Ｃi,jg：カラー画像４２の各画素Ｃi,jのＧ値、Ｃi,jb：カラー画像４２の各画素Ｃi,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。
【００８４】
『２．高感度画像の生成処理』
図３の続くＳＴＥＰ３は高感度画像生成部３４による処理である。高感度画像生成部３４は、原画像４１の各画素に割り当てる高感度のグレーの階調値を算出して、図４（ｂ）に示した高感度画像４３を生成する。
【００８５】
［２-1．Ｗ画素に対する階調値Ｈi,jの割り当て］
高感度画像生成部３４は、原画像４１のＷ画素（階調値がＳwi,jである画素）については、自身の階調値（Ｓwi,j）を、高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）の階調値（Ｈi,j）に割り当てる。
【００８６】
［２-2．Ｒ，Ｇ，Ｂ画素に対する階調値Ｈi,jの割り当て］
原画像４１のＲ画素及びＢ画素については、図２（ｂ）に示した配列パターンから、Ｒ画素及びＢ画素の左右に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３４は、以下の式（２８）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈi,j）を算出する。
【００８７】
【数２８】
2014109853.tif 000030
【００８８】
原画像４１のＧ画素については、図２（ｂ）に示した配列パターンから、Ｇ画素の上下に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３４は、以下の式（２９）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈi,j）を算出する。
【００８９】
【数２９】
2014109853.tif 000031
【００９０】
［２-3．Ｖ画素に対する階調値Ｈi,jの割り当て］
原画像４１のＶ画素（階調値がＳvi,jである画素）については、図２（ｂ）に示した配列パターンから、斜め上下に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３４は、対象とするＶ画素の斜め上下に隣接するＷ画素の階調値（Ｓwi+1,j+1，Ｓwi-1,j-1，Ｓwi-1,j+1，Ｓwi+1,j-1）について、以下の式（３０）〜式（３３）により、高感度画像４３の対応する位置の画素に割り当てる階調値（Ｈi,j）を算出する。
【００９１】
【数３０】
2014109853.tif 000032
【００９２】
【数３１】
2014109853.tif 000033
【００９３】
【数３２】
2014109853.tif 000034
【００９４】
【数３３】
2014109853.tif 000035
【００９５】
以上の２-1〜２-3の処理により、高感度画像生成部３４は、高感度画像４３の全ての画素に階調値を割り当てて、図４（ｂ）に示したように、原画像４１の各画素に対応した画素に階調値（Ｈi,j）を割り当てた高感度画像４３を生成する。
【００９６】
『３．低感度画像の生成処理』
図３の続くＳＴＥＰ４は低感度画像生成部３５による処理である。低感度画像生成部３５は、原画像４１の各画素に割り当てる低感度のグレーの階調値を算出して、図５（ａ）に示した低感度画像４４を生成する。
【００９７】
［３-1．Ｖ画素に対する階調値Ｌi,jの割り当て］
低感度画像生成部３５は、原画像４１のＶ画素（階調値がＳvi,jである画素）については、自身の階調値（Ｓvi,j）を、低感度画像４４の対応する配置位置の画素（配置位置が同じ画素）の階調値（Ｌi,j）に割り当てる。
【００９８】
［３-2．Ｒ，Ｇ，Ｂ画素に対する階調値Ｌi,jの割り当て］
原画像４１のＧ画素については、図２（ｂ）に示した配列パターンから、Ｇ画素の左右に隣接する画素がＶ画素になっている。そこで、低感度画像生成部３５は、以下の式（３４）により、低感度画像４４の対応する配置位置の画素に割り当てる階調値（Ｌi,j）を算出する。
【００９９】
【数３４】
2014109853.tif 000036
【０１００】
原画像４１のＲ画素及びＢ画素については、図２（ｂ）に示した配列パターンから、Ｒ画素及びＢ画素の上下に隣接する画素がＶ画素になっている。そこで、低感度画像生成部３５は、以下の式（３５）により、低感度画像４４の対応する配置位置の画素に割り当てる階調値（Ｌi,j）を算出する。
【０１０１】
【数３５】
2014109853.tif 000037
【０１０２】
［３-3．Ｗ画素に対する階調値Ｌi,jの割り当て］
原画像４１のＷ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示した配列パターンから、斜め上下に隣接する画素がＶ画素になっている。そこで、低感度画像生成部３５は、対象とするＷ画素の斜め上下に隣接するＶ画素の階調値（Ｓvi+1,j+1，Ｓvi-1,j-1，Ｓvi-1,j+1，Ｓvi+1,j-1）について、以下の式（３６）〜式（３９）により、低感度画像４４の対応する位置の画素に割り当てる階調値（Ｌi,j）を算出する。
【０１０３】
【数３６】
2014109853.tif 000038
【０１０４】
【数３７】
2014109853.tif 000039
【０１０５】
【数３８】
2014109853.tif 000040
【０１０６】
【数３９】
2014109853.tif 000041
【０１０７】
以上の３-1〜３-3の処理により、低感度画像生成部３５は、低感度画像４４の全ての画素に階調値を割り当てて、図５（ａ）に示したように、原画像４１の各画素に対応した画素に階調値（Ｌi,j)を割り当てた低感度画像４４を生成する。
【０１０８】
『４．広ダイナミックレンジ画像の生成処理』
図３の続くＳＴＥＰ５は、広ダイナミックレンジ画像生成部３６による処理である。広ダイナミックレンジ画像生成部３６は、高感度画像４３と低感度画像４４の対応する配置位置の画素（配置位置が同じ画素）間で、階調値の合成を行って広ダイナミックレンジ画像４５を生成する。
【０１０９】
ここで、第１補正係数算出部３７は、以下の式（４０）により、階調値の合成に用いる第１高感度補正係数ａ1i,j（ｉ，ｊは対応する画素の配置位置を示す）を、カラー画像４２と高感度画像４３の対応する各画素ごとに算出する。
【０１１０】
【数４０】
2014109853.tif 000042
【０１１１】
但し、a1i,j:各画素用の第１高感度補正係数、Ｈi,j：高感度画像４３の各画素の階調値、Ｙi,j：カラー画像４２の各画素の輝度階調値（上記式（２７）により算出）。
【０１１２】
また、第１補正係数算出部３７は、以下の式（４１）により、階調値の合成に用いる第１低感度補正係数ｂ1i,j（ｉ，ｊは対応する画素の配置位置を示す）を、カラー画像４２と低感度画像４４の対応する各画素ごとに算出する。
【０１１３】
【数４１】
2014109853.tif 000043
【０１１４】
但し、ｂ1i,j:各画素用の第１低感度補正係数、Ｌi,j：低感度画像４４の各画素の階調値、Ｙi,j：カラー画像４２の各画素の輝度階調値（上記式（２７）により算出）。
【０１１５】
広ダイナミックレンジ画像生成部３６は、第１高感度補正係数ａ1i,jと第１低感度補正係数ｂ1i,jを用いて、カラー画像４２と高感度画像４３と低感度画像４４の対応する画素の階調値を合成するが、ＲＧＢ受光画素とＷ受光画素とＶ受光画素の感度差にはばらつきがある。また、階調値にはランダムノイズが含まれるため、単純に合成するとＳＮ比（Signal/Noise比）の不連続性の影響により、生成される画像が不自然なものになる。
【０１１６】
そこで、広ダイナミックレンジ画像生成部３６は、以下の式（４２）の重み付け関数を用いて合成を行う。
【０１１７】
【数４２】
2014109853.tif 000044
【０１１８】
但し、ｗ(x)：シグモイド関数、ｇ：ゲイン。なお、上記式（４２）は重み付け関数の一例であり、他の重み付け関数を用いてもよい。
【０１１９】
広ダイナミックレンジ画像生成部３６は、高感度画像４３の階調値（Ｈi,j）を最大階調値（分解能が８bitであれば２５５、１０bitであれば１０２３）に対して規格化した規格化階調値（ｈi,j）と、低感度画像４４の階調値（Ｌi,j）を最大階調値に対して規格化した規格化階調値（ｌi,j）と、カラー画像４２から上記式（２７）により算出した参照階調値（Ｙi,j）を最大階調値に対して規格化した規格化階調値（ｙi,j）を求める。
【０１２０】
なお、階調値を最大階調値に対して規格化するとは、階調値を最大階調値で除することを意味し、例えば、Ｈi,j＝２００，Ｌi,j＝５０，Ｙi,j＝６５で、最大階調値が２５５であるときには、ｈi,j＝２００／２５５，ｌi,j＝５０／２５５，ｙi,j＝６５／２５５となる。
【０１２１】
そして、広ダイナミックレンジ画像生成部３６は、先ず、以下の式（４３）により、規格化階調値ｙi,jとｈi,jについて合成した階調値ｈｄｒi,jを算出する。
【０１２２】
【数４３】
2014109853.tif 000045
【０１２３】
次に、広ダイナミックレンジ画像生成部３６は、以下の式（４４）により、上記式（４３）により算出した階調値ｈｄｒi,jと規格化階調値ｌi,jについて合成した階調値ｓｈｄｒi,jを算出する。
【０１２４】
【数４４】
2014109853.tif 000046
【０１２５】
さらに、広ダイナミックレンジ画像生成部３６は、低階調のコントラストを保つために、以下の式（４５）によって、上記式（４４）で算出した階調値ｓｈｄｒi,jにγ変換処理を行う。
【０１２６】
【数４５】
2014109853.tif 000047
【０１２７】
但し、ＨＤＲi,j：広ダイナミックレンジ画像の画素の階調値、Ｍb：広ダイナミックレンジ画像の画素の最大階調値。
【０１２８】
以上の式（４３）〜式（４５）により各画素について算出した階調値ＨＤＲi,j（本発明の広レンジ階調値に相当する）を、対応する広ダイナミックレンジ画像４５の画素の階調値（Ｄi,j）として割り当てることによって、広ダイナミックレンジ画像生成部３６は、図５（ｂ）に示したように、原画像４１の各画素に対応した画素に、階調値（Ｄi,j）を割り当てた広ダイナミックレンジ画像４５を生成することができる。
【０１２９】
『５．対象物検知処理』
図３のＳＴＥＰ６〜ＳＴＥＰ８、及びＳＴＥＰ２０は、対象物検知部３９による処理である。対象物検知部３９は、検知対象物の種別又はカメラ２の撮像条件に応じて、カラー画像４２から対象物を検知する処理と、高感度画像４３から対象物を検知する処理と、広ダイナミックレンジ画像４５から対象物を検知する処理とを切替える。
【０１３０】
［５-1．高感度画像による対象物検知］
対象物検知部３９は、ＳＴＥＰ６で、高感度画像４３から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像４３を用いることによって、車両１の周辺に存在する歩行者を精度良く検知することができる。
【０１３１】
対象物検知部３９は、歩行者を検知したときに、車両１との接触可能性の有無を判断する。そして、車両１との接触可能性有りと判断したときには、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。
【０１３２】
この制御信号の受信に応じて、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。
【０１３３】
続くＳＴＥＰ７で、対象物検知部３９は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両１に備えられたヘッドライト（図示しない）の点灯／消灯の状態から判断する。また、車両１に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。
【０１３４】
［５-2．広ダイナミックレンジ画像による対象物検知］
夜間であったときには、ＳＴＥＰ２０に分岐し、対象物検知部３９は、広ダイナミックレンジ画像４５から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。
【０１３５】
そして、暗い物体としては、車両１のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両１のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトに照射されている歩行者等が挙げられる。そこで、夜間においては、広ダイナミックレンジ画像４５を用いることによって、他車両、歩行者を検知することができる。
【０１３６】
対象物検知部３９は、接触可能性がある歩行者又は他車両を検知したときには、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する制御信号を送信する。また、信号機を検知したときには、対象物検知部３９は、必要に応じて車両コントローラ６に車両１の制動を指示する制御信号を送信し、この制御信号の受信に応じて、制動制御部６２が制動装置７２を作動させて車両１を制動する。
【０１３７】
［５-3．カラー画像による対象物検知］
ＳＴＥＰ７で夜間でなかったときにはＳＴＥＰ８に進み、対象物検知部３９は、カラー画像４２から道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。
【０１３８】
そこで、対象物検知部３９は、カラー画像４２からレーンマーク、他車両、及び信号機を検知する。その際、対象物検知部３９は、レーンマークの色（白線、黄線等）からレーンマークの属性を判断する。また、対象物検知部３９は、前走車のブレーキランプから前走車の減速を判断し、追突可能性の有無を判断する。
【０１３９】
そして、対象物検知部３９は、レーンマークの検知位置から車両１を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信し、この制御信号の受信に応じて、操舵制御部６１が操舵装置７１の作動を制御する。
【０１４０】
また、対象物検知部３９は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部３９は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ６に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部６３はディスプレイ７３に警報表示を行う。また、必要に応じて、制動制御部６２は、制動装置７２を作動させて車両１を制動する。
【０１４１】
『６．高感度補正係数及び低感度補正係数の他の算出例』
上述した実施形態では、各画素に対応した第１高感度補正係数ａ1i,j及び第１低感度補正係数ｂ1i,jを算出したが、第２補正係数算出部３８により、各画素に共通に使用する第２高感度補正係数ａ2及び第２低感度補正係数ｂ2を算出するようにしてもよい。以下、図６及び図７に示したフローチャートに従って、第２補正係数算出部３８による第２高感度補正係数ａ2及び第２低感度補正係数ｂ2の算出処理について説明する。
【０１４２】
図６のＳＴＥＰ３０で、第２補正係数算出部３８は、図８に示したように、カラー画像４２，高感度画像４３，及び低感度画像４４の道路の画像部分９１について複数の路面ブロック９５（９５ａ，９５ｂ，９５ｃ，…、本発明の補正係数算出領域に相当する）を設定し、また、車線区分線の画像部分９２について複数の区分線ブロック９６（９６ａ，９６ｂ，９６ｃ，…、本発明の補正係数算出領域に相当する）を設定する。
【０１４３】
そして、次のＳＴＥＰ３１で、第２補正係数算出部３８は、各路面ブロック９５と区分線ブロック９６について、Ｗ画素，Ｒ・Ｇ・Ｂ画素、及びＶ画素の飽和率と黒潰れ率を算出する。
【０１４４】
ここで、飽和率は、各ブロックの総画素数に対する階調値が最大値（分解能が８bitであれば２５５、本発明の第１所定値に相当する）になっている画素の個数の割合である。また、黒潰れ率は、各ブロックの総画素数に対する階調値が最小値（０、本発明の第２所定値に相当する）になっている画素の割合である。なお、最大値及び最小値ではなく、最大値及び最小値の付近に設定した階調値により、飽和率及び黒潰れ率を算出してもよい。
【０１４５】
続くＳＴＥＰ３２で、第２補正係数算出部３８は、Ｗ画素，Ｒ・Ｇ・Ｂ画素，及びＶ画素のいずれについても、飽和率が第１閾値以下、且つ、黒潰れ率が第２閾値以下であるブロック（有効なブロック）があるか否かを判断する。そして、有効なブロックがあるときはＳＴＥＰ３３に進み、有効なブロックがないときにはＳＴＥＰ３０に分岐する。
【０１４６】
ＳＴＥＰ３３で、第２補正係数算出部３８は、有効な各ブロック（路面ブロック及び区分線ブロック）について、カラー画像４２の各画素のＲ・Ｇ・Ｂ階調値から、上記式（２７）により参照階調値Ｙi,jを算出する。次のＳＴＥＰ３４で、第２補正係数算出部３８は、有効な路面ブロックがあるか否かを判断する。
【０１４７】
そして、有効な路面ブロックがあるときはＳＴＥＰ３５に進み、第２補正係数算出部３８は、有効な各路面ブロックについて、高感度画像４３の各画素の階調値（Ｈi,j）の平均階調値Ｒbwと、低感度画像４４の各画素の階調値（Ｌi,j）の平均階調値Ｒbvと、カラー画像４２の各画素の参照階調値（Ｙi,j）の平均階調値Ｒbyとを算出する。また、有効な路面ブロックがないときにはＳＴＥＰ３６に分岐する。
【０１４８】
ＳＴＥＰ３６で、第２補正係数算出部３８は、有効な区分線ブロックがあるか否かを判断する。そして、有効な区分線ブロックがあるときはＳＴＥＰ３７に進み、第２補正係数算出部３８は、有効な各区分線ブロックについて、高感度画像４３の各画素の階調値（Ｈi,j）の平均階調値Ｌbwと、低感度画像４４の各画素の階調値（Ｌi,j)の平均階調値Ｌbvと、カラー画像４２の各画素の参照階調値（Ｙi,j)の平均階調値Ｌbyとを算出する。また、有効な区分線ブロックがないときには図７のＳＴＥＰ３８に分岐する。
【０１４９】
図７のＳＴＥＰ３８で、第２補正係数算出部３８は、有効な路面ブロックと区分線ブロックがあるか否かを判断する。そして、有効な路面ブロックと区分線ブロックがあるときはＳＴＥＰ３９に進み、有効な路面ブロックと区分線ブロックのいずれかのみしかないときにはＳＴＥＰ５０に分岐する。
【０１５０】
ＳＴＥＰ３９で、第２補正係数算出部３８は、以下の式（４６）〜式（４８）により、有効な全ての路面ブロックのＲｂｗ，Ｒｂｖ，Ｒｂｙのそれぞれの平均値であるＲｂｗave，Ｒｂｖave，Ｒｂｙaveを算出する。
【０１５１】
【数４６】
2014109853.tif 000048
【０１５２】
但し、ｐ：有効な路面ブロックの個数。
【０１５３】
【数４７】
2014109853.tif 000049
【０１５４】
但し、ｐ：有効な路面ブロックの個数。
【０１５５】
【数４８】
2014109853.tif 000050
【０１５６】
但し、ｐ：有効な路面ブロックの個数。
【０１５７】
また、次のＳＴＥＰ４０で、第２補正係数算出部３８は、以下の式（４９）〜式（５１）により、有効な全ての区分線ブロックのＬｂｗ，Ｌｂｖ，Ｌｂｙの各平均値であるＬｂｗave，Ｌｂｖave，Ｌｂｙaveを算出する。
【０１５８】
【数４９】
2014109853.tif 000051
【０１５９】
但し、ｑ：有効な区分線ブロックの個数。
【０１６０】
【数５０】
2014109853.tif 000052
【０１６１】
但し、ｑ：有効な区分線ブロックの個数。
【０１６２】
【数５１】
2014109853.tif 000053
【０１６３】
但し、ｑ：有効な区分線ブロックの個数。
【０１６４】
続くＳＴＥＰ４１で、第２補正係数算出部３８は、以下の式（５２）〜式（５５）により、路面ブロックにおけるＷ受光画素とＲ・Ｇ・Ｂ受光画素との感度差を表す係数ａＲｂ、路面ブロックにおけるＲ・Ｇ・Ｂ受光画素とＶ受光画素との感度差を表す係数ｂＲｂ、区分線ブロックにおけるＷ受光画素とＲ・Ｇ・Ｂ受光画素との感度差を表す係数ａＬｂ、及び区分線ブロックにおけるＲ・Ｇ・Ｂ受光画素とＶ受光画素との感度差を表す係数ｂＬｂとを算出する。
【０１６５】
【数５２】
2014109853.tif 000054
【０１６６】
【数５３】
2014109853.tif 000055
【０１６７】
【数５４】
2014109853.tif 000056
【０１６８】
【数５５】
2014109853.tif 000057
【０１６９】
そして、第２補正係数算出部３８は、以下の式（５６）と式（５７）により、Ｗ受光画素とＲ・Ｇ・Ｂ受光画素との感度差を表す第２高感度補正係数ａ2と、Ｒ・Ｇ・Ｂ受光画素とＶ受光画素との感度差を表す第２低感度補正係数ｂ2を算出し、ＳＴＥＰ４２に進んで処理を終了する。
【０１７０】
【数５６】
2014109853.tif 000058
【０１７１】
但し、ｃ１，ｃ２：路面ブロックと区分線ブロックに対する重み付け係数。
【０１７２】
【数５７】
2014109853.tif 000059
【０１７３】
但し、ｄ１，ｄ２：路面ブロックと区分線ブロックに対する重み付け係数。
【０１７４】
また、ＳＴＥＰ５０で、第２補正係数算出部３８は、有効な路面ブロックがあるか否かを判断する。そして、有効な路面ブロックがあるとき（この場合は、有効な区分線ブロックがない）は、ＳＴＥＰ５１に進み、有効な路面ブロックがないとき（この場合は、有効な区分線ブロックのみがある）にはＳＴＥＰ６０に分岐する。
【０１７５】
ＳＴＥＰ５１で、第２補正係数算出部３８は、上記式（４６）〜式（４８）により、有効な全ての路面ブロックのＲｂｗ，Ｒｂｖ，Ｒｂｙの各平均値であるＲｂｗave，Ｒｂｖave，Ｒｂｙaveを算出する。そして、上記式（５２）によりａＲｂを算出して、ａＲｂを第２高感度補正係数ａ2とする。また、上記式（５３）によりｂＲｂを算出して、ｂＲｂを第２低感度補正係数ｂ2とし、ＳＴＥＰ４２に進んで処理を終了する。
【０１７６】
また、ＳＴＥＰ６０で、第２補正係数算出部３８は、上記式（４９）〜式（５１）により、有効な全ての区分線ブロックのＬｂｗ，Ｌｂｖ，Ｌｂｙの各平均値であるＬｂｗave，Ｌｂｖave，Ｌｂｙaveを算出する。そして、上記式（５４）によりａＬｂを算出して、ａＬｂを第２高感度補正係数ａ2とする。また、上記式（５５）によりｂＬｂを算出して、ｂＬｂを第２低感度補正係数ｂ2として、ＳＴＥＰ４２に進んで処理を終了する。
【０１７７】
第２補正係数算出部３８は、このようにして算出した第２高感度補正係数ａ2と第２低感度補正係数ｂ2を、上記式（４３）〜式（４４）の第１高感度補正係数ａ1i,jと第１低感度補正係数ｂ1i,jに、それぞれ置き換えることによって、広ダイナミックレンジ画像の各画素に割り当てる階調値を算出する。
【０１７８】
なお、図６のＳＴＥＰ３２で、有効な路面ブロックと区分線ブロックがいずれもなかったときには、第２補正係数算出部３８は、上述した各画素についての第１高感度補正係数ａ1i,jと第１低感度補正係数ｂ1i,jを用いるか、或いは、予めＤ６５光源又は擬似太陽光源をテストターゲットに照射して算出しておいた高感度補正係数と低感度補正係数を使用する。
【０１７９】
また、上記式（４３）〜式（４４）では、Ｗ画素（高感度画素）とＲ・Ｇ・Ｂ画素の階調値の合成を行った後に、Ｖ画素（低感度画素）の階調値との合成を行ったが、第２補正係数算出部３８は、図６のＳＴＥＰ３１で、各ブロックのＷ画素とＶ画素の飽和率を求めて、ＳＴＥＰ３２で飽和率と黒潰れ率が低いブロックを有効ブロックとして選択している。
【０１８０】
そこで、Ｗ画素の飽和率と黒潰れ率が共に判定閾値未満であるブロック（Ｗ画素で処理可能なブロック）の個数をｗ_numberとし、Ｖ画素の飽和率と黒潰れ率が共に判定閾値未満であるブロック（Ｖ画素で処理可能なブロック）の個数をｖ_numberとすると、
ｗ_number ≧ ｖ_number
であるときは、カメラ２の露出がアンダー気味でＶ画素の階調値にノイズが多く含まれていると考えられる。そこで、上記式（４３）〜式（４４）のように、Ｗ画素とＲ・Ｇ・Ｂ画素の階調値の合成を行った後に、Ｖ画素の階調値との合成を行うことが好ましい。
【０１８１】
それに対して、
ｗ_number ＜ ｖ_number
であるときには、カメラ２の露出がオーバー気味でＷ画素のコントラストが失われている可能性がある。そこで、上記式（４３）〜式（４４）とは逆に、Ｒ・Ｇ・Ｂ画素とＶ画素の階調値の合成を行った後に、Ｗ画素の階調値との合成を行うことが好ましい。
【０１８２】
なお、本実施形態では、原画像４１から、カラー画像４２、高感度画像４３、及び低感度画像４４を生成して、各画像間の対応する画素について、階調値を合成することにより広ダイナミックレンジ画像４５を生成したが、カラー画像４２、高感度画像４３、及び低感度画像４４を生成せずに、原画像４１の各画素に高感度の階調値（Ｈi,j）と低感度の階調値（Ｌi,j）とＲ・Ｇ・Ｂの階調値（Ｃi,jr，Ｃi,jg，Ｃi,jb）を割当てて、これらの階調値から直接的に広ダイナミックレンジ画像を生成するようにしてもよい。
【０１８３】
また、本実施形態においては、第１高感度補正係数ａ1i,j及び第１低感度補正係数ｂ1i,jと、第２高感度補正係数ａ2及び第２低感度補正係数ｂ2を用いて、高感度階調値（Ｈi,j）と低感度階調値（Ｌi,j）を合成する例を示したが、他の手法による重み付け等を行って高感度階調値（Ｈi,j）と低感度階調値（Ｌi,j）を合成して、広ダイナミックレンジ画像を生成してもよい。
【符号の説明】
【０１８４】
１…車両、２…カメラ、３…画像コントローラ、６…車両コントローラ、２１…フィルタ、２２…撮像素子、３０…制御回路、３１…原画像取得部、３２…画像生成部、３３…カラー画像生成部、３４…高感度画像生成部、３５…低感度画像生成部、３６…広ダイナミックレンジ画像生成部、３７…第１補正係数算出部、３８…第２補正係数算出部、３９…対象物検知部、４１…原画像、４２…カラー画像、４３…高感度画像、４４…低感度画像、４５…広ダイナミックレンジ画像。
【図１】
2014109853.tif 000060
【図２】
2014109853.tif 000061
【図３】
2014109853.tif 000062
【図４】
2014109853.tif 000063
【図５】
2014109853.tif 000064
【図６】
2014109853.tif 000065
【図７】
2014109853.tif 000066
【図８】
2014109853.tif 000067