(57)【要約】【課題】車両周辺に存在する低輝度の対象物を、色により精度良く識別して検知することができる車両周辺監視装置を提供する。【解決手段】カメラ２と画像コントローラ３からなる車両周辺監視装置は、原画像４１のカラー画素と透明画素の階調値の相違度合に基づいて、受光された近赤外光のレベルを示す指標値Ｃindexを算出する近赤外光レベル推定部３２と、原画像４１の各透明画素及びカラー画素に対して割り当てたカラー階調値を、Ｃindexに応じて補正した補正カラー階調値を、カラー画像４３の対応する配置位置の画素の階調値として割り当てることによって、カラー画像を生成するカラー画像生成部３３とを備える。【選択図】  図１
2014092999.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とが配置された撮像素子により撮像するカメラと、
前記カメラにより撮像された、各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像のカラー画素の階調値と透明画素の階調値との相違度合に基づいて、前記撮像素子により受光された近赤外光のレベルを推定する近赤外光レベル推定部と、
前記原画像の各画素に対し、透明画素については、周囲に配置されたカラー画素の階調値に応じて割り当てたカラー階調値を、前記近赤外光レベル推定部により推定された近赤外光のレベルに基づいて補正した補正カラー階調値を、カラー画像の対応する配置位置の画素の階調値として割り当て、また、カラー画素については、自身の階調値又は周囲に配置された階調値に応じて割り当てたカラー階調値を、前記近赤外光レベル推定部により推定された近赤外光のレベルに基づいて補正した補正カラー階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることによって、カラー画像を生成するカラー画像生成部と、
前記カラー画像を用いて、前記車両の周辺に存在する対象物を検知する対象物検知部と
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１に記載の車両周辺監視装置において、
カラーフィルタは３原色のカラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記カラー画像生成部は、前記原画像の各透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各カラー階調値を割り当てると共に、前記原画像の各カラー画素に対して、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の各カラー階調値を割り当て、前記原画像の各透明画素及び各カラー画素に割り当てた３原色の各カラー階調値を、前記近赤外光レベル推定部により推定された近赤外光のレベルに応じて決定した補正係数と、該３原色の各カラー階調値のうちの少なくともいずれか一つに基づく要素との演算処理により補正することによって、３原色の各補正カラー階調値を算出し、該３原色の各補正カラー階調値をカラー画像の対応する画素に割り当てることによって、カラー画像を生成することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２に記載の車両周辺監視装置において、
前記近赤外光レベル推定部は、
前記原画像において、道路の画像部分又は道路に敷設されている車線区分線の画像部分を含む領域を、近赤外光レベル推定領域として設定し、該近赤外光レベル推定領域内の透明画素の階調値の平均値とカラー画素の階調値の平均値との相違度合に基づいて、前記撮像素子により受光された近赤外光のレベルを推定することを特徴とする車両周辺監視装置。
【請求項４】
請求項３に記載の車両周辺監視装置において、
前記近赤外光レベル推定部は、前記近赤外光レベル推定領域を複数設定し、該複数の近赤外光レベル推定領域のうち、階調値が第１所定値以上である透明画素の割合が第１閾値以下であり、且つ、階調値が第２所定値以上であるカラー画素の割合が第２閾値以下である近赤外光レベル推定領域を対象として、前記撮像素子により受光された近赤外光のレベルを推定することを特徴とする車両周辺監視装置。
【請求項５】
請求項３又は請求項４に記載の車両周辺監視装置において、
前記近赤外光レベル推定部は、前記近赤外光レベル推定領域を複数設定し、該複数の近赤外光レベル推定領域のうち、階調値が第３所定値以下である透明画素の割合が第３閾値以下であり、且つ、階調値が第４所定値以下であるカラー画素の割合が第４閾値以下である近赤外光レベル推定領域を対象として、前記撮像素子により受光された近赤外光のレベルを推定することを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによる撮像画像を用いて、車両周辺に存在する対象物を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカラーカメラによる撮像画像から、前走車を検知して、自車両と前走車との車間距離及び相対速度を算出し、この車間距離と相対速度の変化状態から前走車に追突するまでの時間を予測して、運転者に対する警報を実行するようにした装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特公平６−１０８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、カラーカメラにおいては、近赤外光の影響を抑制して撮像画像の色再現性を高めるために、近赤外（ＮＩＲ：Near Infrared）カットフィルタが装着されている。このように近赤外カットフィルタを装着することによって、撮像画像の色再現性が高まるものの、撮像画像の感度が低下するという弊害がある。そして、この感度の低下により、車両周辺に存在する低輝度の対象物を、撮像画像から色により識別して検知することが困難であるという不都合があった。
【０００５】
本発明はかかる背景に鑑みてなされたものであり、車両周辺に存在する低輝度の対象物を、色により精度良く識別して検知することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とが配置された撮像素子により撮像するカメラと、
前記カメラにより撮像された、各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像のカラー画素の階調値と透明画素の階調値との相違度合に基づいて、前記撮像素子により受光された近赤外光のレベルを推定する近赤外光レベル推定部と、
前記原画像の各画素に対し、透明画素については、周囲に配置されたカラー画素の階調値に応じて割り当てたカラー階調値を、前記近赤外光レベル推定部により推定された近赤外光のレベルに基づいて補正した補正カラー階調値を、カラー画像の対応する配置位置の画素の階調値として割り当て、また、カラー画素については、自身の階調値又は周囲に配置された階調値に応じて割り当てたカラー階調値を、前記近赤外光レベル推定部により推定された近赤外光のレベルに基づいて補正した補正カラー階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることによって、カラー画像を生成するカラー画像生成部と、
前記カラー画像を用いて、前記車両の周辺に存在する対象物を検知する対象物検知部とを備えたことを特徴とする（第１発明）。
【０００７】
第１発明によれば、前記近赤外光レベル推定部により、前記カメラにより撮像された原画像のカラー画素の階調値と透明画素の階調値との相違度に基づいて、前記撮像素子により受光された近赤外光のレベルが推定される。そして、前記カラー画像生成部は、前記原画像の各画素に割り当てたカラー階調値を、前記近赤外光レベル推定部により推定された近赤外光のレベルに応じて補正した補正カラー階調値を、カラー画像の対応する画素の階調値として割り当てる。そのため、近赤外カットフィルタを設けずに、近赤外光による影響を抑えた高感度のカラー画像を生成することができる。そして、前記対象物検知部により、このカラー画像を用いて対象物を検知することにより、前記車両の周辺に存在する低輝度の対象物を、色により精度良く識別して検知することができる。
【０００８】
また、第１発明において、
カラーフィルタは３原色のカラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記カラー画像生成部は、前記原画像の各透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各カラー階調値を割り当てると共に、前記原画像の各カラー画素に対して、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の各カラー階調値を割り当て、前記原画像の各透明画素及び各カラー画素に割り当てた３原色の各カラー階調値を、前記近赤外光レベル推定部により推定された近赤外光のレベルに応じて決定した補正係数と、該３原色の各カラー階調値のうちの少なくともいずれか一つに基づく要素との演算処理により補正することによって、３原色の各補正カラー階調値を算出し、該３原色の各補正カラー階調値をカラー画像の対応する画素に割り当てることによって、カラー画像を生成することを特徴とする（第２発明）。
【０００９】
第２発明によれば、前記補正係数と前記要素の設定を変更することにより、カラー画像に割り当てる３原色の各補正カラー階調値の色再現性を詳細に調節することができる。
【００１０】
また、第１発明又は第２発明において、
前記近赤外光レベル推定部は、
前記原画像において、道路の画像部分又は道路に敷設されている車線区分線の画像部分を含む領域を、近赤外光レベル推定領域として設定し、該近赤外光レベル推定領域内の透明画素の階調値の平均値とカラー画素の階調値の平均値との相違度合に基づいて、前記撮像素子により受光された近赤外光のレベルを推定することを特徴とする（第３発明）。
【００１１】
第３発明によれば、無彩色であると想定される道路又は車線区分線の画像部分を含む前記近赤外光レベル推定領域内の透明画素の階調値の平均値とカラー画素の階調値の平均値との相違度合に基づくことにより、特定の有彩色に偏った階調値が用いられることを回避して、前記撮像素子により受光された近赤外光の受光レベルを精度良く推定することができる。
【００１２】
また、第３発明において、
前記近赤外光レベル推定部は、前記近赤外光レベル推定領域を複数設定し、該複数の近赤外光レベル推定領域のうち、階調値が第１所定値以上である透明画素の割合が第１閾値以下であり、且つ、階調値が第２所定値以上であるカラー画素の割合が第２閾値以下である近赤外光レベル推定領域を対象として、前記撮像素子により受光された近赤外光のレベルを推定することを特徴とする（第４発明）。
【００１３】
第４発明によれば、階調値が第１所定値以上である透明画素（階調値が飽和しているような透明画素）の割合が第１閾値以下であり、且つ、階調値が第２所定値以上であるカラー画素（階調値が飽和しているようなカラー画素）の割合が第２閾値以下である近赤外光レベル推定領域を対象として、前記撮像素子により受光された近赤外光のレベルを推定することによって、より有効な近赤外光の受光レベルの差の情報に基づいて、近赤外光のレベルを精度良く推定することができる。
【００１４】
また、第３発明又は第４発明において、
前記近赤外光レベル推定部は、前記近赤外光レベル推定領域を複数設定し、該複数の近赤外光レベル推定領域のうち、階調値が第３所定値以下である透明画素の割合が第３閾値以下であり、且つ、階調値が第４所定値以下であるカラー画素の割合が第４閾値以下である近赤外光レベル推定領域を対象として、前記撮像素子により受光された近赤外光のレベルを推定することを特徴とする（第５発明）。
【００１５】
第５発明によれば、階調値が第３所定値以下である透明画素（階調値が黒潰れしているような透明画素）の割合が第３閾値以下であり、且つ、階調値が第４所定値以下であるカラー画素（階調値が黒潰れしているようなカラー画素）の割合が第４閾値以下である近赤外光レベル推定領域を対象として、前記撮像素子により受光された近赤外光のレベルを推定することによって、より有効な近赤外光の受光レベルの差の情報に基づいて、近赤外光のレベルを精度良く推定することができる。
【図面の簡単な説明】
【００１６】
【図１】車両周辺監視装置の構成図。
【図２】撮像素子のフィルタ及びカメラによる撮像画像の説明図。
【図３】車両周辺監視装置の作動フローチャート。
【図４】カラーフィルタの特性の説明図。
【図５】補正前カラー画像とカラー画像の説明図。
【図６】平均階調値の算出処理の第１のフローチャート。
【図７】平均階調値の算出処理の第２のフローチャート。
【図８】路面ブロックと区分線ブロックの説明図。
【発明を実施するための形態】
【００１７】
本発明の画像処理装置の実施形態について、図１〜図８を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とにより構成されている。
【００１８】
カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の周囲を撮像し、撮像データを制御回路３０に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子を２次元に配置して構成されている。
【００１９】
図２（ａ）を参照して、フィルタ２１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色のカラーフィルタのいずれかを、撮像素子２２のｍ×ｎ個の各受光画素の受光経路に配置して、取り付けられている。なお、カラーフィルタとして、ＲＧＢ以外の他の種類のカラーフィルタ（ＣyＭgＹの補色系フィルタ等）を用いてもよい。
【００２０】
そして、カメラ２は、Ｒフィルタが装着されたＲ受光画素（図中Ｒ11，Ｒ15，…で示している。本発明のカラー受光画素に相当する）、Ｇフィルタが装着されたＧ受光画素（図中Ｇ12，Ｇ14，…で示している。本発明のカラー受光画素に相当する）、Ｂフィルタが装着されたＢ受光画素（図中Ｂ13，Ｂ31，…で示している。本発明のカラー受光画素に相当する）、及びフィルタ２１が装着されていないＷ受光画素（図中Ｗ22，Ｗ24，…で示している。本発明の透明受光画素に相当する）による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ３に出力する。
【００２１】
画像コントローラ３は、図示しないＣＰＵ，メモリ，入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。
【００２２】
制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、近赤外光レベル推定部３２、カラー画像生成部３３、及び対象物検知部３５として機能する。なお、原画像取得部３１、近赤外光レベル推定部３２、カラー画像生成部３３、及び対象物検知部３５の一部又は全部をハードウェアにより構成してもよい。
【００２３】
原画像取得部３１は、カメラ２に制御信号を出力して車両１の周囲の画像を撮像させ、カメラ２から出力される撮像データにより、原画像４１のデータを取得して画像メモリ４０に保持する。
【００２４】
原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２による各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素）の階調値を、対応する配置位置の画素（配置位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値をＳ（大文字）＋小文字ｒ，ｇ，ｂ，ｗのいずれか＋i,j（i=1,2,…,m、j=1,2,…,n）で示している。
【００２５】
ここで、ｒは図２（ａ）のＲ受光画素に対応した配置位置の画素（以下、Ｒ画素という。本発明のカラー画素に相当する）の階調値を示し、ｇは図２（ａ）のＧ受光画素に対応した配置位置の画素（以下、Ｇ画素という。本発明のカラー画素に相当する）の階調値を示し、ｂは図２（ａ）のＢ受光画素に対応した配置位置の画素（以下、Ｂ画素という。本発明のカラー画素に相当する）の階調値を示し、ｗは図２（ａ）のＷ受光画素に対応した配置位置の画素（以下、Ｗ画素という。本発明の透明画素に相当する）の階調値であることを示している。
【００２６】
近赤外光レベル推定部３２は、原画像４１のＲ画素，Ｇ画素，Ｂ画素の階調値とＷ画素の階調値との差に基づいて、撮像素子２２により受光された近赤外光（近赤外光のうち撮像素子２２で受光可能な７８０ｎｍ〜１１００ｎｍ程度の波長の光）のレベルを推定する。カラー画像生成部３３は、原画像４１から生成した補正前カラー画像４２に対して、近赤外光の受光レベルに応じた補正を行ってカラー画像４３を生成する。カラー画像４３の生成処理の詳細については後述する。
【００２７】
対象物検知部３５は、カラー画像４３を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。
【００２８】
車両コントローラ６は、図示しないＣＰＵ，メモリ，入出力回路等により構成された電子回路ユニットであり、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。画像コントローラ３と車両コントローラ６は、ＣＡＮドライバ５０，６４を介して相互に通信を行う。
【００２９】
次に、図３に示したフローチャートに従って、制御回路３０によるカラー画像４３の生成と、カラー画像４３からの対象物検知の処理について説明する。制御回路３０は、所定の制御サイクル毎に図３に示したフローチャートを実行して、対象物を検知する。
【００３０】
図３のＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１（図２（ｂ）参照）を取得して画像メモリ４０に保持する。
【００３１】
『１．補正インデックスＣindexの算出』
続くＳＴＥＰ２〜ＳＴＥＰ３は近赤外光レベル推定部３２による処理である。近赤外光レベル推定部３２は、先ず、原画像４１のＲ画素の階調値の平均値であるＲave、Ｇ画素の階調値の平均値であるＧave、Ｂ画素の階調値の平均値であるＢave、及びＷ画素の階調値の平均値であるＷaveを算出する。
【００３２】
ここで、Ｒave、Ｇave、Ｂave、Ｗaveの算出の仕方としては、原画像４１の全てのＲ画素，Ｇ画素，Ｂ画素，Ｗ画素について、階調値の平均値を算出してもよく、また、原画像４１において道路又は白線（車線区分線）の画像部分である可能性が高い領域内のＲ画素，Ｇ画素，Ｂ画素，Ｗ画素について、階調値の平均値を算出してもよい。
【００３３】
好適には、前回の制御サイクルで対象物検知部３５によりカラー画像４３から検出した、道路の画像部分の領域又は白線の画像部分の領域内のＲ画素，Ｇ画素，Ｂ画素，Ｗ画素について、階調値の平均値を算出することが好ましい。この場合の処理については、図６〜図７に示したフローチャートを参照して後述する。
【００３４】
次に、近赤外光レベル推定部３２は、以下の式（１）により、撮像素子２２が受光した近赤外光の推定レベルを示すインデックスであるＣindexを算出する。
【００３５】
【数１】
2014092999.tif 000003
【００３６】
ここで、上記式（１）のｋは、予めＤ６５光源又は擬似太陽光原に対して、近赤外カットフィルタを用いて近赤外光を除去した光を、無彩色のテストターゲットに照射したときのカメラ２の撮像画像の所定領域に対して算出した、Ｒ画素，Ｇ画素，Ｂ画素，Ｗ画素の階調値の各平均値であるｓＲave，ｓＧave，ｓＢave，ｓＷaveについて、以下の式（２）により算出した係数である。
【００３７】
【数２】
2014092999.tif 000004
【００３８】
ｋは可視光領域でのＲ・Ｇ・Ｂ受光画素とＷ受光画素の感度差を示す係数である。また、図４を参照して、Ｒ画素の階調値はＲ域と近赤外域の光の受光レベルに応じた階調値であり、Ｇ画素の階調値はＧ域と近赤外域の光の受光レベルに応じた階調値であり、Ｂ画素の階調値はＢ域と近赤外域の光の受光レベルに応じた階調値である。また、Ｗ画素の階調値は、Ｒ・Ｇ・Ｂ及び近赤外域を含む全域の光の受光レベルに応じた階調値である。
【００３９】
そのため、上記式（１）により算出されるＣindexは、近赤外光の受光レベル分のみの階調値を抽出したものとなり、近赤外光の受光レベル（推定レベル）を示すインデックスとして用いることができる。
【００４０】
続くＳＴＥＰ４〜ＳＴＥＰ６は、カラー画像生成部３３による処理である。
【００４１】
『２．Ｃindexに対応する補正行列の選択』
カラー画像生成部３３は、ホワイトバランス調整用の補正行列（各行列要素が本発明の補正係数に相当する）を、近赤外光の受光レベルの指標値であるＣindexに応じて決定する。補正行列は事前テストの結果に応じて設定される。
【００４２】
この事前テストは、テストターゲットに様々な色温度を持つ光源を照射して、カメラ２により撮像することにより行う。具体的には、各光源を照射したときの原画像４１について、Ｒ画素，Ｇ画素，Ｂ画素，Ｗ画素の階調値の平均値Ｒave，Ｇave，Ｂave，Ｗaveを算出し、上記式（１）によりＣindexを算出する。
【００４３】
そして、図５（ａ）に示した、原画像４１のＲ画素，Ｇ画素，Ｂ画素の階調値から生成した補正前カラー画像４２の各画素のＲ・Ｇ・Ｂ階調値Ｃoi,jr，Ｃoi,jg，Ｃoi,jb（各階調値の算出については後述する）から、車線区分線、車両、歩行車、信号機等の対象物の認識に最適な絵作りを行うためのカラー画像４３の各画素のＲ・Ｇ・Ｂ階調値Ｃi,jr，Ｃi,jg，Ｃi,jbに変換するための補正行列を、最小二乗法により求める。この方法では、Ｃindexと補正行列が１対１に対応することになるが、必要な色再現性が満たされれば、ある範囲のＣindexに対して一つの補正行列を用いるようにしてもよい。
【００４４】
補正行列は、以下の式（３）に示すような単純な３×３行列でもよいし、色再現性を向上させるために、３×６行列や３×９行列でもよい。
【００４５】
【数３】
2014092999.tif 000005
【００４６】
但し、Ｃi,jr，Ｃi,jg，Ｃi,jb：補正後の画素のＲ・Ｇ・Ｂの各階調値、Ａ：補正行列、ａ11，ａ21，…，ａ33：補正行列Ａの係数、Ｃoi,jr，Ｃoi,jg，Ｃoi,jb：補正前の画素のＲ・Ｇ・Ｂの各階調値。
【００４７】
本実施形態では、近赤外光の受光レベルを示すＣindexに応じて、良好な色再現性が確保される程度の数の補正行列が用意されている。そして、カラー画像生成部３３は、例えば、Ｃindexの値がα＜Ｃindex≦βであるときは補正行列Ａ１を選択し、β＜Ｃindex≦γのときには補正行列Ａ２を選択する、といった手順により適切な補正行列を選択する。
【００４８】
『３．補正前カラー画像の生成』
ＳＴＥＰ５で、カラー画像生成部３３は、原画像４１の各画素の階調値のデモザイキングを行って、図５（ａ）に示した補正前カラー画像４２を生成する。図５（ａ）の補正前カラー画像４２では、各画素の階調値をＣoi,j（ｉ＝１，２，…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【００４９】
Ｃoi,jは、以下のように、Ｒ値（Ｃoi,jr、Ｒの階調値）、Ｇ値（Ｃoi,jg、Ｇの階調値）、及びＢ値（Ｃoi,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃoi,j＝｛Ｃoi,jr，Ｃoi,jg，Ｃoi,jb｝
【００５０】
［３-1．Ｃoi,jに対するＧ値の割り当て］
カラー画像生成部３３は、先ず、補正前カラー画像４２の各画素（Ｃoi,j）に割り当てるＧ値（Ｃoi,jg）を算出する。原画像４１のＧ画素（階調値がＳgi,jである画素）については、自身の階調値を補正前カラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。例えば、カラー画像生成部３３は、原画像４１の（ｉ，ｊ）＝（２，３）の画素の階調値（Ｓg2,3）を、補正前カラー画像４２の（ｉ，ｊ）＝（２，３）の画素のＧ値（Ｃo2,3g）とする。
【００５１】
また、原画像４１のＲ画素（階調値がＳri,jである画素），Ｂ画素（階調値がＳbi,jである画素），Ｗ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、上下左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３３は、対象とするＲ，Ｂ，Ｗ画素の上下左右に隣接するＧ画素の階調値（Ｓgi-1,j，Ｓgi+1,j，Ｓgi,j-1，Ｓgi,j+1）について、以下の式（４）〜式（７）により、補正前カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃoi,jg）を算出する。
【００５２】
【数４】
2014092999.tif 000006
【００５３】
【数５】
2014092999.tif 000007
【００５４】
【数６】
2014092999.tif 000008
【００５５】
【数７】
2014092999.tif 000009
【００５６】
［３-2．Ｃoi,jに対するＲ値の割り当て］
次に、カラー画像生成部３３は、補正前カラー画像４２の各画素（Ｃoi,j）に割り当てるＲ値（Ｃoi,jr）を算出する。原画像４１のＲ画素（階調値がＳri,jである画素）については、自身のＲ値（Ｓri,j）を補正前カラー画像４２の対応する位置の画素のＲ値（Ｃoi,jr）とする。例えば、カラー画像生成部３３は、原画像４１の（ｉ，ｊ）＝（３，３）の画素の階調値（Ｓr3,3）を、補正前カラー画像４２の（ｉ，ｊ）＝（３，３）の画素のＲ値（Ｃo3,3r）とする。
【００５７】
また、原画像４１のＢ画素（階調値がＳbi,jである画素）については、図２（ｂ）に示したように、上下左右の２個目の画素がＲ画素になっている。そのため、カラー画像生成部３３は、対象とするＢ画素について、以下の式（８）〜（１１）により、補正前カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃoi,jr）を算出する。
【００５８】
【数８】
2014092999.tif 000010
【００５９】
【数９】
2014092999.tif 000011
【００６０】
【数１０】
2014092999.tif 000012
【００６１】
【数１１】
2014092999.tif 000013
【００６２】
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、右上と左下、或いは左上と右下に、Ｒ画素が配置されている。そのため、カラー画像生成部３３は、以下の式（１２），式（１３）により、対象とする原画像４１のＷ画素について、補正前カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃoi,jr）を算出する。
【００６３】
【数１２】
2014092999.tif 000014
【００６４】
【数１３】
2014092999.tif 000015
【００６５】
また、原画像４１のＧ画素については、図２（ｂ）に示したように上下左右の何れかにＲ画素が配置されている。そのため、カラー画像生成部３３は、以下の式（１４）〜式（１７）により、対象とする原画像４１のＧ画素について、補正前カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃoi,jr）を算出する。
【００６６】
【数１４】
2014092999.tif 000016
【００６７】
【数１５】
2014092999.tif 000017
【００６８】
【数１６】
2014092999.tif 000018
【００６９】
【数１７】
2014092999.tif 000019
【００７０】
［３-3．Ｃoi,jに対するＢ値の割り当て］
次に、カラー画像生成部３３は、補正前カラー画像４２の各画素に割り当てるＢ値（Ｃoi,jb）を算出する。原画像４１のＢ画素（階調値がＳbi,jである画素）については、自身の階調値を補正前カラー画像４２の対応する位置の画素のＢ値とする。例えば、カラー画像生成部３３は、原画像４１の（ｉ，ｊ）＝（３，５）の画素の階調値（Ｓb3,5）を、補正前カラー画像４２の（ｉ，ｊ）＝（３，５）の画素のＢ値（Ｃo3,5b）とする。
【００７１】
また、原画像４１のＲ画素については、図２（ｂ）に示したように、上下左右の２個目の画素がＢ画素になっている。そのため、カラー画像生成部３３は、対象とするＲ画素について、以下の式（１８）〜（２１）により、補正前カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃoi,jb）を算出する。
【００７２】
【数１８】
2014092999.tif 000020
【００７３】
【数１９】
2014092999.tif 000021
【００７４】
【数２０】
2014092999.tif 000022
【００７５】
【数２１】
2014092999.tif 000023
【００７６】
また、Ｗ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、右上と左下、或いは左上と右下に、Ｂ画素が配置されている。そのため、カラー画像生成部３３は、以下の式（２２），式（２３）により、対象とするＷ画素について、補正前カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃoi,jb）を算出する。
【００７７】
【数２２】
2014092999.tif 000024
【００７８】
【数２３】
2014092999.tif 000025
【００７９】
また、Ｇ画素（階調値がＳgi,jである画素）については、図２（ｂ）に示したように上下左右の何れかに隣接する一つの画素がＢ画素になっている。そこで、カラー画像生成部３３は、以下の式（２４）〜式（２７）により、対象とするＧ画素について、補正前カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃoi,jb）を算出する。
【００８０】
【数２４】
2014092999.tif 000026
【００８１】
【数２５】
2014092999.tif 000027
【００８２】
【数２６】
2014092999.tif 000028
【００８３】
【数２７】
2014092999.tif 000029
【００８４】
以上の処理により、カラー画像生成部３３は、補正前カラー画像４２の各画素に割り当てるＲ値（Ｃoi,jr），Ｇ値（Ｃoi,jg），Ｂ値（Ｃoi,jb）を算出して、補正前カラー画像４２を生成する。
【００８５】
『４．カラー画像の生成』
続くＳＴＥＰ６で、カラー画像生成部３３は、補正前カラー画像４２から図５（ｂ）に示した配列のカラー画像４３を生成する。
【００８６】
図５（ｂ）のカラー画像４３では、各画素の階調値をＣi,j（ｉ＝１，２，…，ｍ、ｊ＝１，２，…，ｎ）で表している。Ｃi,jは、以下のように、Ｒ値（Ｃi,jr、Ｒの階調値）、Ｇ値（Ｃi,jg、Ｇの階調値）、及びＢ値（Ｃi,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃi,j＝｛Ｃi,jr，Ｃi,jg，Ｃi,jb｝
カラー画像生成部３３は、補正前カラー画像の各画素のＲ・Ｇ・Ｂ階調値について、以下の式（２８）による補正処理を行ってカラー画像４３を生成する。
【００８７】
【数２８】
2014092999.tif 000030
【００８８】
但し、：Ｃi,jr，Ｃi,jg，Ｃi,jb：カラー画像４３の画素のＲ・Ｇ・Ｂの階調値（本発明の補正カラー階調値に相当する）、ａ11，ａ12，ａ13，…：補正行列の係数、Ｃoi,jr，Ｃoi,jg，Ｃoi,jb：補正前カラー画像４２の画素のＲ・Ｇ・Ｂの階調値、Ｎ：べき乗数。
【００８９】
上記式（２８）のＮは非線形のべき乗数（例えば、Ｎ＝０．３，０．９等）である。補正行列に乗じる項としては、Ｃoi,jr，Ｃoi,jg，Ｃoi,jbの単項のべき乗値の他、クロス項（Ｃoi,jr×Ｃoi,jg，Ｃoi,jg×Ｃoi,jb，Ｃoi,jb×Ｃoi,jr，等）や、これらの単項或いはクロス項の所定関数値等を採用してもよい。なお、補正行列に乗じる項は本発明の３原色の各カラー階調値のうちの少なくともいずれか一つに基づく要素に相当する。
【００９０】
『５．対象物検知』
続くＳＴＥＰ７は、対象物検知部３５による処理である。対象物検知部３５は、ＳＴＥＰ６で生成されたカラー画像４３から、レーンマーク、他車両、及び信号機等の車両１の周辺に存在する対象物を検知する。その際、対象物検知部３５は、レーンマークの色（白線、黄線等）からレーンマークの属性を判断する。また、対象物検知部３５は、前走車とのＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）を判断する。
【００９１】
そして、対象物検知部３５は、レーンマークの検知位置から車両１を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信し、この制御信号の受信に応じて、操舵制御部６１が操舵装置７１の作動を制御する。
【００９２】
また、対象物検知部３５は、接触可能性がある他車両を検知したときに、車両コントローラ６に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部３５は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ６に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部６３はディスプレイに警報表示を行う。また、必要に応じて、制動制御部６２は、制動装置７２を作動させて車両１を制動する。
【００９３】
『６．インデックスＣindexの算出処理の詳説』
次に、図６〜図７に示したフローチャートに従って、近赤外光レベル推定部３２によるインデックスＣindexの算出処理について詳細に説明する。
【００９４】
図６のＳＴＥＰ３０で、近赤外光レベル推定部３２は、原画像４１に対して路面ブロック及び区分線ブロック（本発明の近赤外光レベル推定領域に相当する）を設定する。近赤外光レベル推定部３２は、図８に示したように、複数の路面ブロック９５（９５ａ，９５ｂ，９５ｃ）を、原画像４１において路面の画像部分９１であると推定される領域に設定する。また、近赤外光レベル推定部３２は、複数の区分線ブロック９６（９６ａ，９６ｂ，９６ｃ）を、原画像４１において車線を区分する白線の画像部分９２であると推定される領域に設定する。
【００９５】
なお、路面の画像部分及び白線の画像部分の推定は、前回の制御サイクルにおいて生成されたカラー画像４３で検知された路面の画像部分及び白線の画像部分の位置に基づいて行うことが好ましい。
【００９６】
続くＳＴＥＰ３１で、近赤外光レベル推定部３２は、各路面ブロック９５と区分線ブロック９６について、Ｒ画素、Ｇ画素、Ｂ画素、及びＷ画素の飽和率と黒潰れ率を算出する。
【００９７】
ここで、Ｒ画素の飽和率は、各路面ブロック９５と区分線ブロック９６のＲ画素の総数に対する階調値が最大値（分解能が８ｂｉｔであれば２５５）になっているＲ画素の個数の割合である。Ｇ画素、Ｂ画素、Ｗ画素の飽和率についても同様である。なお、Ｗ画素の飽和の判定値は本発明の第１所定値に相当し、Ｒ・Ｇ・Ｂ画素の飽和の判定値は本発明の第２所定値に相当する。
【００９８】
また、Ｒ画素の黒潰れ率は、各路面ブロック９５と区分線ブロック９６のＲ画素の総数に対する階調値が最小値（０）になっているＲ画素の個数の割合である。Ｇ画素、Ｂ画素、Ｗ画素の黒潰れ率についても同様である。なお、Ｗ画素の黒潰れの判定値は本発明の第３所定値に相当し、Ｒ・Ｇ・Ｂ値の黒潰れの判定値は本発明の第４所定値に相当する。
【００９９】
なお、最大値及び最小値ではなく、最大値及び最小値の付近に設定した階調値により、Ｒ画素，Ｇ画素，Ｂ画素及びＷ画素の飽和率と黒潰れ率を算出してもよい。
【０１００】
続くＳＴＥＰ３２で、近赤外光レベル推定部３２は、Ｗ画素の飽和率が第１閾値以下であると共に、Ｒ・Ｇ・Ｂ画素の飽和率がいずれも第２閾値以下であり、且つ、Ｗ画素の黒潰れ率が第３閾値以下であると共に、Ｒ・Ｇ・Ｂ画素の黒潰れ率がいずれも第４閾値以下であるブロック（有効なブロック）があるか否かを判断する。そして、有効なブロックがあるときはＳＴＥＰ３３に進み、有効なブロックがないときにはＳＴＥＰ３０に分岐する。
【０１０１】
なお、原画像の撮像状況に応じて、飽和率と黒潰れ率のうちのいずれか一方のみを判断して、有効なブロックを抽出するようにしてもよい。
【０１０２】
ＳＴＥＰ３３で、近赤外光レベル推定部３２は、有効な路面ブロック９５があるか否かを判断する。そして、有効な路面ブロック９５があるときはＳＴＥＰ３４に進み、有効な路面ブロック９５がないときにはＳＴＥＰ３５に分岐する。
【０１０３】
ＳＴＥＰ３４で、近赤外光レベル推定部３２は、有効な各路面ブロック９５について、Ｒ画素の平均階調値Ｒbr、Ｇ画素の平均階調値Ｒbg、Ｂ画素の平均階調値Ｒbb、及びＷ画素の平均階調値Ｒbwを算出する。
【０１０４】
次のＳＴＥＰ３５で、近赤外光レベル推定部３２は、有効な区分線ブロック９６があるか否かを判断する。そして、有効な区分線ブロック９６があるときはＳＴＥＰ３６に進み、有効な区分線ブロック９６がないときには図７のＳＴＥＰ３７に分岐する。
【０１０５】
ＳＴＥＰ３６で、近赤外光レベル推定部３２は、有効な各区分線ブロック９６について、Ｒ画素の平均階調値Ｌbr、Ｇ画素の平均階調値Ｌbg、Ｂ画素の平均階調値Ｌbb、及びＷ画素の平均階調値Ｌbwを算出する。
【０１０６】
続く図７のＳＴＥＰ３７で、近赤外光レベル推定部３２は、有効な路面ブロック９５と区分線ブロック９６があるか否かを判断し、有効な路面ブロック９５と区分線ブロック９６があるときはＳＴＥＰ３８に進む。ＳＴＥＰ３８〜ＳＴＥＰ４０は、有効な路面ブロック９５と区分線ブロック９６があるときの平均階調値Ｒave，Ｇave，Ｂave，Ｗaveの算出処理である。
【０１０７】
ＳＴＥＰ３８で、近赤外光レベル推定部３２は、有効な各路面ブロック９５について、以下の式（２９）〜式（３２）により、有効な全ての路面ブロック９５のＲbr，Ｒbg，Ｒbb，Ｒbwの各平均値であるＲbrave，Ｒbgave，Ｒbbave，Ｒbwaveを算出する。
【０１０８】
【数２９】
2014092999.tif 000031
【０１０９】
但し、ｐ：有効な路面ブロックの個数。
【０１１０】
【数３０】
2014092999.tif 000032
【０１１１】
但し、ｐ：有効な路面ブロックの個数。
【０１１２】
【数３１】
2014092999.tif 000033
【０１１３】
但し、ｐ：有効な路面ブロックの個数。
【０１１４】
【数３２】
2014092999.tif 000034
【０１１５】
但し、ｐ：有効な路面ブロックの個数。
【０１１６】
また、次のＳＴＥＰ３９で、近赤外光レベル推定部３２は、以下の式（３３）〜式（３６）により、有効な全ての区分線ブロック９６のＬbr，Ｌbg，Ｌbb，Ｌbwの各平均値であるＬbrave，Ｌbgave，Ｌbbave，Ｌbwaveを算出する。
【０１１７】
【数３３】
2014092999.tif 000035
【０１１８】
但し、ｑ：有効な区分線ブロックの個数。
【０１１９】
【数３４】
2014092999.tif 000036
【０１２０】
但し、ｑ：有効な区分線ブロックの個数。
【０１２１】
【数３５】
2014092999.tif 000037
【０１２２】
但し、ｑ：有効な区分線ブロックの個数。
【０１２３】
【数３６】
2014092999.tif 000038
【０１２４】
但し、ｑ：有効な区分線ブロックの個数。
【０１２５】
続くＳＴＥＰ４０で、近赤外光レベル推定部３２は、以下の式（３７）〜式（４０）により、路面ブロック９５における各平均値Ｒbrave，Ｒbgave，Ｒbbave，Ｒbwaveと、区分線ブロック９６における各平均値Ｌbrave，Ｌbgave，Ｌbbave，Ｌbwaveとの加重平均を行って、上記式（１）で用いるＲave，Ｇave，Ｂave，Ｗaveを算出する。
【０１２６】
【数３７】
2014092999.tif 000039
【０１２７】
但し、ｒｒ，ｌｒ：路面ブロックと区分線ブロックに対する重み付け係数。
【０１２８】
【数３８】
2014092999.tif 000040
【０１２９】
但し、ｒｇ，ｌｇ：路面ブロックと区分線ブロックに対する重み付け係数。
【０１３０】
【数３９】
2014092999.tif 000041
【０１３１】
但し、ｒｂ，ｌｂ：路面ブロックと区分線ブロックに対する重み付け係数。
【０１３２】
【数４０】
2014092999.tif 000042
【０１３３】
但し、ｒｗ，ｌｗ：路面ブロックと区分線ブロックに対する重み付け係数。
【０１３４】
そして、近赤外光レベル推定部３２は、ＳＴＥＰ４１に進んで処理を終了する。
【０１３５】
また、ＳＴＥＰ３７で、有効な路面ブロック９５と有効な区分線ブロック９６のいずれかしかないときにはＳＴＥＰ５０に分岐し、近赤外光レベル推定部３２は、有効なブロックがあるか否かを判断する。そして、有効な路面ブロック９５があるとき（有効な路面ブロックのみがあるとき）はＳＴＥＰ５１に進み、有効な路面ブロックがないとき（有効な区画線ブロックのみがあるとき）はＳＴＥＰ６０に分岐する。
【０１３６】
ＳＴＥＰ５１〜ＳＴＥＰ５２は、有効な路面ブロックのみがあるときの平均階調値Ｒave，Ｇave，Ｂave，Ｗaveの算出処理である。ＳＴＥＰ５１で、近赤外光レベル推定部３２は、上記式（２９）〜式（３２）により、有効な全ての路面ブロックのＲbr，Ｒbg，Ｒbb，Ｒbwの各平均値であるＲbrave，Ｒbgave，Ｒbbave，Ｒbwaveを算出する。そして、ＳＴＥＰ５２で、近赤外光レベル推定部３２は、ＲbraveをＲaveとし、ＲbgaveをＧaveとし、ＲbbaveをＢaveとし、ＲbwaveをＷaveとしてＳＴＥＰ４１に進み、処理を終了する。
【０１３７】
また、ＳＴＥＰ６０〜ＳＴＥＰ６１は、有効な区分線ブロックのみがあるときの平均階調値Ｒave，Ｇave，Ｂave，Ｗaveの算出処理である。ＳＴＥＰ６０で、近赤外光レベル推定部３２は、上記式（３３）〜式（３６）により、有効な全ての区分線ブロックのＬbr，Ｌbg，Ｌbb，Ｌbwの各平均値であるＬbrave，Ｌbgave，Ｌbbave，Ｌbwaveを算出する。そして、ＳＴＥＰ６１で、近赤外光レベル推定部３２は、ＬbraveをＲaveとし、ＬbgaveをＧaveとし、ＬbbaveをＢaveとし、ＬbwaveをＷaveとしてＳＴＥＰ４１に進み、処理を終了する。
【０１３８】
以上のＳＴＥＰ４０又はＳＴＥＰ５２又はＳＴＥＰ６１の処理により、近赤外光レベル推定部３２は、有効な路面ブロックと有効な区分線ブロック（ＳＴＥＰ４０）、有効な路面ブロック（ＳＴＥＰ５２）、及び有効な区分線ブロック（ＳＴＥＰ６１）のいずれかについて、Ｒave，Ｇave，Ｂave，Ｗaveを算出する。そして、近赤外光レベル推定部３２は、算出したＲave，Ｇave，Ｂave，Ｗaveを上記式（１）に代入して、近赤外光の受光レベルを示すインデックス値Ｃindexを算出する。
【０１３９】
なお、本実施形態において、近赤外光レベル推定部３２は、上記式（１）により算出したインデックス値Ｃindexにより補正行列を決定したが、他の手法により、原画像４１におけるカラー画素（Ｒ・Ｇ・Ｂ画素）の階調値とＷ画素の階調値との相違度合に応じて、近赤外光のレベルを推定し、推定した近赤外光の推定レベルに応じて補正前カラー画像４２の各画素の階調値を補正することによって、カラー画像４３を生成するようにしてもよい。
【０１４０】
また、本実施形態において、カラー画像生成部３３は、補正前カラー画像４２を生成してからカラー画像４３を生成したが、補正前カラー画像４２を生成せずに、原画像４１の各画素の階調値から直接的にカラー画像４３の各画素に割り当てるカラーの階調値（Ｒ・Ｇ・Ｂの階調値）を算出するようにしてもよい。
【符号の説明】
【０１４１】
１…車両、２…カメラ、３…画像コントローラ、６…車両コントローラ、２１…フィルタ、２２…撮像素子、３０…制御回路、３１…原画像取得部、３２…近赤外光レベル推定部、３３…カラー画像生成部、３５…対象物検知部、４１…原画像、４２…補正前カラー画像、４３…カラー画像。
【図１】
2014092999.tif 000043
【図２】
2014092999.tif 000044
【図３】
2014092999.tif 000045
【図４】
2014092999.tif 000046
【図５】
2014092999.tif 000047
【図６】
2014092999.tif 000048
【図７】
2014092999.tif 000049
【図８】
2014092999.tif 000050