(57)【特許請求の範囲】
【請求項１】
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
所定の制御サイクル毎に、所定の露出レベルによって前記カメラにより撮像するカメラ制御部と、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、所定の注目領域を少なくとも一つ設定する注目領域設定部と、
所定時点の制御サイクルにおいて第１露出レベルにより前記カメラによって撮像された原画像の前記注目領域について、前記注目領域内の透明画素のうちで階調値が飽和している透明画素の割合である透明画素飽和率を算出し、該第１露出レベルを該透明画素飽和率に応じて変更することによって、次の制御サイクルの露出レベルである第２露出レベルを決定する露出レベル決定部と
を備えた画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記露出レベル決定部は、前記注目領域において、前記カラー画素のうちで階調値が飽和しているカラー画素の割合であるカラー画素飽和率を算出し、該カラー画素飽和率が所定のカラー画素飽和閾値未満であるときに、前記注目領域内の各カラー画素の階調値に基づくグレーの第１参照階調値を算出し、該第１参照階調値に基づいて前記第２露出レベルを決定する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記露出レベル決定部は、
前記注目領域内の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を割り当てると共に、前記注目領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を割り当て、
前記原画像の各画素に割り当てた３原色の各階調値から、各画素のグレーの第２参照階調値を算出し、該各画素の該第２参照階調値を平均して前記第１参照階調値を算出する画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記露出レベル決定部は、
前記注目領域から、前記透明画素飽和率が第１透明画素飽和閾値未満であり、且つ、前記カラー画素飽和率が第２カラー画素飽和閾値未満である不飽和領域を抽出し、該不飽和領域内の透明画素の階調値の平均値と、該不飽和領域内のカラー画素の前記第２参照階調値の平均値との輝度相違度合を算出し、
前記第１参照階調値を前記輝度相違度合に基づいて補正した補正階調値を用いて、前記第２露出レベルを決定する画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記露出レベル決定部は、
透明画素の最大許容階調値と前記補正階調値との相違に基づいて、該相違を減少させるように前記第２露出レベルを決定する画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
前記カメラは車両に搭載されて該車両の周囲を撮像し、
前記露出レベル決定部は、前記原画像に含まれる道路の画像部分から、前記不飽和領域を抽出する画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記原画像から道路に敷設されたレーンマークの画像部分を検出するレーンマーク検出部を備え、
前記露出レベル決定部は、前記レーンマーク検出部により検出されたレーンマークの画像部分の位置に基づいて、前記原画像に含まれる道路の画像部分を認識する画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において
前記レーンマーク検出部は、前記レーンマークの画像部分として白線の画像部分を検出し、
前記露出レベル決定部は、
前記注目領域内の道路の画像部分から、第１の前記不飽和領域を抽出すると共に、前記注目領域内の白線の画像部分から、第２の前記不飽和領域を抽出し、
第１の前記不飽和領域について算出した第１の前記輝度相違度合と、第２の前記不飽和領域について算出した第２の前記輝度相違度合とを加重平均することによって、前記補正階調値の算出に用いる前記輝度相違度合を算出する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーフィルタを介して受光する画素とカラーフィルタを介さずに受光する画素を配置した撮像素子による撮像データを処理する画像処理装置に関する。
【背景技術】
【０００２】
従来より、カラーフィルタを介して受光する画素（カラー受光画素）と、カラーフィルタを介さずに受光する画素（透明受光画素）とを配置した撮像素子を用いることにより、カラー画像の感度を改善する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００８−５０７９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カラーフィルタを介して受光する画素（カラー受光画素）と、カラーフィルタを介さずに受光する画素（透明受光画素）とでは、透明受光画素の方がカラー受光画素よりも感度が高くなる。そのため、輝度が高い対象物を撮像したときに、透明受光画素の方が先に飽和してしまう（フォトダイオードの飽和電荷量を超えてしまう）。【０００５】
そして、透明受光画素が一旦飽和してしまうと、カメラの露出レベルを、透明受光画素の飽和が生じない程度の適切なレベルに設定することは難しい。そこで、特許文献１では、透明受光画素の受光による電荷蓄積時間をカラー受光画素よりも短い時間に設定することによって、透明受光画素の飽和を防止する方法が提案されている。【０００６】
しかし、この方法では、撮像素子の画素回路と読み出し回路が複雑になるという不都合があり、また、透明受光画素とカラー受光画素の電荷蓄積時間が異なることに起因して、撮像画像の画質が著しく悪化するという不都合があった。【０００７】
本発明はかかる背景に鑑みてなされたものであり、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの露出レベルを、回路構成の複雑化及び撮像画像の画質悪化を抑制して、適切に設定することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するためになされたものであり、本発明の画像処理装置は、
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
所定の制御サイクル毎に、所定の露出レベルによって前記カメラにより撮像するカメラ制御部と、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、所定の注目領域を少なくとも一つ設定する注目領域設定部と、
所定時点の制御サイクルにおいて第１露出レベルにより前記カメラによって撮像された原画像の前記注目領域について、前記注目領域内の透明画素のうちで階調値が飽和している透明画素の割合である透明画素飽和率を算出し、該第１露出レベルを該透明画素飽和率に応じて変更することによって、次の制御サイクルの露出レベルである第２露出レベルを決定する露出レベル決定部とを備える（第１発明）。【０００９】
第１発明によれば、前記露出レベル決定部により算出される前記透明画素飽和率が高いほど、前記カメラの露出レベルの過剰の程度が大きくなる。そのため、前記第１露出レベルで撮像した原画像から算出した前記透明画素飽和率に応じて、前記第１露出レベルを変更して前記第２露出レベルを決定することにより、次の制御サイクルでの前記カメラの露出レベルを適切なものとすることができる。そして、この場合には、前記透明受光画素と前記カラー受光画素の受光による電荷蓄積時間を異なる時間に設定する必要がないため、前記撮像素子の画素回路と読み出し回路は複雑なものとはならず、また、電荷蓄積時間の相違による撮像画像の画質悪化も生じない。【００１０】
次に、第１発明において、前記露出レベル決定部は、前記注目領域において、前記カラー画素のうちで階調値が飽和しているカラー画素の割合であるカラー画素飽和率を算出し、該カラー画素飽和率が所定のカラー画素飽和閾値未満であるときに、前記注目領域内の各カラー画素の階調値に基づくグレーの第１参照階調値を算出し、該第１参照階調値に基づいて前記第２露出レベルを決定することが好ましい（第２発明）。【００１１】
第２発明によれば、前記カラー画素飽和率が前記カラー画素飽和閾値未満であるときには、前記カラー画素の階調値に基づく前記第１参照階調値から、前記第１露出レベルでの前記カラー受光画素の飽和までの余裕度合を認識することができる。そして、前記透明受光画素と前記カラー受光画素の感度の差は、ある程度の範囲内に収まるため、前記第１参照階調値から、前記第１露出レベルでの前記透明受光画素の過剰露出の程度を推定することができる。そこで、前記第１参照階調値に基づくことにより、前記第２露出レベルを適切に決定することができる。【００１２】
また、第２発明において、前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記露出レベル決定部は、前記注目領域内の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を割り当てると共に、前記注目領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を割り当て、前記原画像の各画素に割り当てた３原色の各階調値から、各画素のグレーの第２参照階調値を算出し、該各画素の該第２参照階調値を平均して前記第１参照階調値を算出することが好ましい（第３発明）。【００１３】
第３発明によれば、カラーフィルタとして一般的な３原色カラーフィルタが設けられた撮像素子により撮像された原画像に対して、各画素に３原色の各階調値を割り当てて前記第１参照階調値を算出することができる。【００１４】
また、第３発明において、前記露出レベル決定部は、前記注目領域から、前記透明画素飽和率が第１透明画素飽和閾値未満であり、且つ、前記カラー画素飽和率が第２カラー画素飽和閾値未満である不飽和領域を抽出し、該不飽和領域内の透明画素の階調値の平均値と、該不飽和領域内のカラー画素の前記第２参照階調値の平均値との輝度相違度合を算出し、前記第１参照階調値を前記輝度相違度合に基づいて補正した補正階調値を用いて、前記第２露出レベルを決定することが好ましい（第４発明）。【００１５】
第４発明によれば、前記不飽和領域内の透明画素の階調値の平均値と、前記不飽和領域内のカラー画素の前記第２参照階調値の平均値との前記輝度相違度合は、前記透明受光画素と前記カラー受光画素の感度差を反映したものとなる。そこで、前記露出レベル決定部は、前記第１参照階調値を前記輝度相違度合を用いて補正することにより、飽和した前記透明画素の階調値に相当する前記補正階調値を算出することができる。そして、前記補正階調値を用いることにより、前記透明画素の飽和の程度に応じて前記第２露出レベルを決定することができる。【００１６】
また、第４発明において、透明画素の最大許容階調値と前記補正階調値との相違に基づいて、該相違を減少させるように前記第２露出レベルを決定することが好ましい（第５発明）。【００１７】
第５発明によれば、前記補正階調値は、飽和した前記透明画素の階調値に相当するものであるため、前記透明画素の最大許容階調値と前記補正階調値との相違度合は、前記透明画素の該最大許容階調値からの過剰度合を示すものとなる。そのため、この相違度合を減少させるように前記第２露出レベルを決定することにより、前記第２露出レベルを適切なものとすることができる。【００１８】
また、第４発明又は第５発明において、前記カメラは車両に搭載されて該車両の周囲を撮像し、前記露出レベル決定部は、前記原画像に含まれる道路の画像部分から、前記不飽和領域を抽出することが好ましい（第６発明）。【００１９】
第６発明によれば、道路は一般に無彩色（グレー等）であるため、前記注目領域に含まれる道路の画像部分のカラー画素に割り当てられる３原色の各階調値は、無彩色に応じた階調値となる。そのため、道路の画像部分から前記不飽和領域を抽出することにより、前記輝度相違度合を、精度良く算出することができる。なお、前記注目領域における道路の画像部分の位置は、前記原画像において道路が占める部分を予め想定して決定した固定箇所としてもよく、前記原画像から検出した範囲としてもよい。【００２０】
また、第６発明において、前記原画像から道路に敷設されたレーンマークの画像部分を検出するレーンマーク検出部を備え、
前記露出レベル決定部は、前記レーンマーク検出部により検出されたレーンマークの画像部分の位置に基づいて、前記原画像に含まれる道路の画像部分を認識することが好ましい（第７発明）。【００２１】
第７発明によれば、前記注目領域設定部は、前記レーンマーク検出部により検出された前記原画像におけるレーンマークの画像部分から、前記原画像中の道路の画像部分を精度良く認識して、道路の画像部分に前記不飽和領域を設定することができる。【００２２】
また、前記レーンマーク検出部は、前記レーンマークの画像部分として白線の画像部分を検出し、
前記露出レベル決定部は、前記注目領域内の道路の画像部分から、第１の前記不飽和領域を抽出すると共に、前記注目領域内の白線の画像部分から、第２の前記不飽和領域を抽出し、第１の前記不飽和領域について算出した第１の前記輝度相違度合と、第２の前記不飽和領域について算出した第２の前記輝度相違度合とを加重平均することによって、前記補正階調値の算出に用いる前記輝度相違度合を算出することを特徴とする（第８発明）。【００２３】
第８発明によれば、無彩色の道路と白線のうち、重視する方に重み付けをして、前記輝度相違度合を算出することができる。
【図面の簡単な説明】
【００２４】
【図１】画像処理装置の構成図。
【図２】撮像素子のフィルタ及びカメラによる撮像画像の説明図。
【図３】カラー画像の説明図。
【図４】注目領域の説明図。
【図５】露出制御値の算出処理のフローチャート。
【図６】感度差係数の算出処理のフローチャート。
【図７】露出制御値の算出処理の説明図。
【図８】高感度画像及び広ダイナミックレンジ画像の説明図。
【図９】他の実施形態での撮像素子のフィルタ及びカメラによる撮像画像の説明図。
【発明を実施するための形態】
【００２５】
本発明の画像処理装置の実施形態について、図１〜図９を参照して説明する。図１を参照して、本実施形態の画像処理装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とにより構成されている。
【００２６】
カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の周囲を撮像し、撮像データを制御回路３０に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子を２次元に配置して構成されている。
【００２７】
図２（ａ）を参照して、フィルタ２１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色カラーフィルタのいずれかを、撮像素子２２のｍ×ｎ個の各受光画素の受光経路に個別に配置して、取り付けられている。なお、カラーフィルタとして、ＲＧＢの３原色以外の他の種類のカラーフィルタ（ＣyＭgＹの補色系フィルタ等）を用いてもよい。
【００２８】
そして、カメラ２は、Ｒフィルタが装着されたＲ受光画素（図中Ｒ11，Ｒ15，…で示している。本発明のカラー受光画素に相当する）、Ｇフィルタが装着されたＧ受光画素（図中Ｇ12，Ｇ14，…で示している。本発明のカラー受光画素に相当する）、Ｂフィルタが装着されたＢ受光画素（図中Ｂ13，Ｂ31，…で示している。本発明のカラー受光画素に相当する）、及びフィルタ２１が装着されていないＷ受光画素（図中Ｗ22，Ｗ24，…で示している。本発明の透明受光画素に相当する）による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ３に出力する。
【００２９】
画像コントローラ３は、図示しないＣＰＵ，メモリ，入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。
【００３０】
制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、注目領域（ＲＯＩ：Region Of Interest）設定部３２、露出レベル決定部３３、カメラ制御部３４、画像生成部３５、及び対象物検知部３６として機能する。なお、原画像取得部３１、注目領域設定部３２、露出レベル決定部３３、カメラ制御部３４、画像生成部３５、及び対象物検知部３６の一部又は全部をハードウェアにより構成してもよい。
【００３１】
原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１のデータを取得して画像メモリ４０に保持する。原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２による各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素）の階調値を、対応する配置位置の画素（配置位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値をＳ（大文字）＋小文字ｒ，ｇ，ｂ，ｗのいずれか＋i,j（i=1,2,…,m、j=1,2,…,n）で示している。
【００３２】
ここで、ｒは図２（ａ）のＲ受光画素に対応した配置位置の画素（以下、Ｒ画素という。本発明のカラー画素に相当する）の階調値を示し、ｇは図２（ａ）のＧ受光画素に対応した配置位置の画素（以下、Ｇ画素という。本発明のカラー画素に相当する）の階調値を示し、ｂは図２（ａ）のＢ受光画素に対応した配置位置の画素（以下、Ｂ画素という。本発明のカラー画素に相当する）の階調値を示し、ｗは図２（ａ）のＷ受光画素に対応した配置位置の画素（以下、Ｗ画素という。本発明の透明画素に相当する）の階調値であることを示している。
【００３３】
画像生成部３５は、原画像４１からカラー画像４２を生成してそのデータを画像メモリ４０に保持する。また、画像生成部３５は、原画像４１及びカラー画像４２から高感度画像４３を生成してそのデータを画像メモリ４０に保持し、カラー画像４２及び高感度画像４３から、広ダイナミックレンジ画像４４を生成してそのデータを画像メモリ４０に保持する。カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４の生成処理の詳細については、後述する。
【００３４】
注目領域設定部３２は、図４（ａ）に示したように、原画像４１の道路の画像部分８０を含む範囲で、図４（ｂ）に示したように、Ｒ１〜Ｒ２８の２８個の注目領域を設定する。原画像４１は縦（垂直方向）４８０画素×横（水平方向）８００画素からなり、注目領域は縦横８０画素からなっている。
【００３５】
露出レベル決定部３３は、注目領域Ｒ１〜Ｒ２８の階調値に基づいて、次の制御サイクルにおける露出制御値（本発明の露出レベルに相当する）を決定する。カメラ制御部３４は、所定の制御サイクル毎に、露出レベル決定部３３により決定された露出制御値に応じて、カメラ２の露出レベルを制御して撮像する。
【００３６】
なお、本実施形態では、カメラ２の露出レベルの変更を電子シャッターによる電荷蓄積時間の変更により行うが、メカニカルなシャッターを用いてもよい。また、カメラ２に装着されたレンズの絞りを変更して、露出レベルを変更してもよい。
【００３７】
対象物検知部３６（本発明のレーンマーク検出部の機能を含む）は、カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。
【００３８】
車両コントローラ６は、図示しないＣＰＵ，メモリ，入出力回路等により構成された電子回路ユニットである。車両コントローラ６は、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。画像コントローラ３と車両コントローラ６は、ＣＡＮドライバ５０，６４を介して相互に通信を行う。
【００３９】
『１．カラー画像の生成処理』
次に、画像生成部３５によるカラー画像４２の生成処理について説明する。画像生成部３５は、原画像４１の各画素の階調値に基づいて、図３に示したカラー画像４２を生成する。図３のカラー画像では、各画素の階調値をＣi,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【００４０】
Ｃi,jは、以下のように、Ｒ値（Ｃi,jr、Ｒの階調値）、Ｇ値（Ｃi,jg、Ｇの階調値）、及びＢ値（Ｃi,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃi,j＝｛Ｃi,jr、Ｃi,jg、Ｃi,jb｝
［１-1．Ｃi,jに対するＧ値の割り当て］
画像生成部３５は、先ず、カラー画像４２の各画素（Ｃi,j）に割り当てるＧ値（Ｃi,jg）を算出する。原画像４１のＧ画素（階調値がＳgi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。例えば、画像生成部３５は、原画像４１の（ｉ，ｊ）＝（２，３）の画素の階調値（Ｓg2,3）を、カラー画像４２の（ｉ，ｊ）＝（２，３）の画素のＧ値（Ｃ2,3g）とする。
【００４１】
また、原画像４１のＲ画素（階調値がＳri,jである画素），Ｂ画素（階調値がＳbi,jである画素），Ｗ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、上下左右に隣接する画素がＧ画素になっている。そこで、画像生成部３５は、対象とするＲ，Ｂ，Ｗ画素の上下左右に隣接するＧ画素の階調値（Ｓgi-1,j，Ｓgi+1,j，Ｓgi,j-1，Ｓgi,j+1）について、以下の式（１）〜式（４）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００４２】
【数１】
0005595606.tif 000002
【００４３】
【数２】
0005595606.tif 000003
【００４４】
【数３】
0005595606.tif 000004
【００４５】
【数４】
0005595606.tif 000005
【００４６】
［１-2．Ｃi,jに対するＲ値の割り当て］
次に、画像生成部３５は、カラー画像４２の各画素（Ｃi,j）に割り当てるＲ値（Ｃi,jr）を算出する。原画像４１のＲ画素（階調値がＳri,jである画素）については、自身のＲ値（Ｓri,j）をカラー画像４２の対応する位置の画素のＲ値（Ｃi,jr）とする。例えば、画像生成部３５は、原画像４１の（ｉ，ｊ）＝（３，３）の画素の階調値（Ｓr3,3）を、カラー画像４２の（ｉ，ｊ）＝（３，３）の画素のＲ値（Ｃr3,3）とする。
【００４７】
また、原画像４１のＢ画素（階調値がＳbi,jである画素）については、図２（ｂ）に示したように、上下左右の２個目の画素がＲ画素になっている。そのため、画像生成部３５は、対象とするＢ画素について、以下の式（５）〜（８）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００４８】
【数５】
0005595606.tif 000006
【００４９】
【数６】
0005595606.tif 000007
【００５０】
【数７】
0005595606.tif 000008
【００５１】
【数８】
0005595606.tif 000009
【００５２】
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、Ｒ画素が配置されている。そのため、画像生成部３５は、以下の式（９），式（１０）により、対象とする原画像４１のＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００５３】
【数９】
0005595606.tif 000010
【００５４】
【数１０】
0005595606.tif 000011
【００５５】
また、原画像４１のＧ画素については、図２（ｂ）に示したように上下左右の何れかにＲ画素が配置されている。そのため、画像生成部３５は、以下の式（１１）〜式（１４）により、対象とする原画像４１のＧ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００５６】
【数１１】
0005595606.tif 000012
【００５７】
【数１２】
0005595606.tif 000013
【００５８】
【数１３】
0005595606.tif 000014
【００５９】
【数１４】
0005595606.tif 000015
【００６０】
［１-3．Ｃijに対するＢ値の割り当て］
次に、画像生成部３５は、カラー画像４２の各画素に割り当てるＢ値（Ｃi,jb）を算出する。原画像４１のＢ画素（階調値がＳbi,jである画素）については、自身の階調値をカラー画像４２の対応する位置の画素のＢ値とする。例えば、画像生成部３５は、原画像４１の（ｉ，ｊ）＝（３，５）の画素の階調値（Ｓb3,5）を、カラー画像４２の（ｉ，ｊ）＝（３，５）の画素のＢ値（Ｃ3,5b）とする。
【００６１】
また、原画像４１のＲ画素については、図２（ｂ）に示したように、上下左右の２個目の画素がＢ画素になっている。そのため、画像生成部３５は、対象とするＲ画素について、以下の式（１５）〜（１８）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００６２】
【数１５】
0005595606.tif 000016
【００６３】
【数１６】
0005595606.tif 000017
【００６４】
【数１７】
0005595606.tif 000018
【００６５】
【数１８】
0005595606.tif 000019
【００６６】
また、Ｗ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、Ｂ画素が配置されている。そのため、画像生成部３５は、以下の式（１９），式（２０）により、対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００６７】
【数１９】
0005595606.tif 000020
【００６８】
【数２０】
0005595606.tif 000021
【００６９】
また、Ｇ画素（階調値がＳgi,jである画素）については、図２（ｂ）に示したように上下左右の何れかに隣接する一つの画素がＢ画素になっている。そこで、画像生成部３５は、以下の式（２１）〜式（２４）により、対象とするＧ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００７０】
【数２１】
0005595606.tif 000022
【００７１】
【数２２】
0005595606.tif 000023
【００７２】
【数２３】
0005595606.tif 000024
【００７３】
【数２４】
0005595606.tif 000025
【００７４】
以上の処理により、画像生成部３５は、カラー画像４２の各画素に割り当てるＲ値（Ｃi,jr），Ｇ値（Ｃi,jg），Ｂ値（Ｃi,jb）を算出して、カラー画像４２を生成する。
【００７５】
『２．露出制御値の算出処理』
次に、露出レベル決定部３３による露出制御値の算出処理について、図５に示したフローチャートに従って説明する。
【００７６】
露出レベル決定部３３は、各注目領域Ｒ１〜Ｒ２８について、含まれるＷ画素のうちで階調値が飽和しているＷ画素（階調値が最大値になっているＷ画素）の割合（透明画素飽和率）を算出する。そして、露出レベル決定部３３は、透明画素飽和率が透明画素飽和閾値Ｗth以上である各注目領域に対して、ＳＴＥＰ２〜ＳＴＥＰ４の処理を行う。
【００７７】
ＳＴＥＰ２で、露出レベル決定部３３は、対象とする注目領域内の各画素のＲ値（図３に示したカラー画像４２の各画素に割り当てたＲ値Ｃi,jr）、Ｇ値（図３に示したカラー画像４２の各画素に割り当てたＧ値Ｃi,jg、及びＢ値（図３に示したカラー画像４２の各画素に割り当てたＢ値Ｃi,jb）を取得する。
【００７８】
次のＳＴＥＰ３で、露出レベル決定部３３は、注目領域内の総画素のうちでＲ値，Ｇ値，Ｂ値のいずれかが飽和している画素（Ｒ値，Ｇ値，Ｂ値のいずれかが最大階調値になっている画素）の割合（カラー画素飽和率）が、カラー画素飽和閾値Ｃth以上であるか否かを判断する。
【００７９】
そして、カラー画素飽和率がカラー画素飽和閾値Ｃth未満であるときは、以下の式（２５）により、Ｒ値，Ｇ値，Ｂ値から参照階調値Ｙ（本発明の第２参照階調値に相当する）を算出する。
【００８０】
【数２５】
0005595606.tif 000026
【００８１】
一方、カラー画素飽和率がカラー画素飽和閾値Ｃth以上であるときには、有効な輝度情報を得ることが難しいため、ＳＴＥＰ４に分岐して参照階調値Ｙの算出は行わない。
【００８２】
このようにして、ＳＴＥＰ１〜ＳＴＥＰ５のループ処理を終了するとＳＴＥＰ６に進み、露出レベル決定部３３は、参照階調値Ｙが一つ以上算出されたか否かを判断する。そして、参照階調値Ｙが一つ以上算出されたときはＳＴＥＰ７に進み、露出レベル決定部３３は、以下の式（２６）により参照階調値Ｙの重み付け平均値Ｙave（本発明の第１参照階調値に相当する）を算出する。
【００８３】
【数２６】
0005595606.tif 000027
【００８４】
但し、Ｙave：参照階調値Ｙ1〜Ｙpの重み付け平均値（Ｙの添え字１，２…，ｐは算出された参照階調値の番号を示している。）、ａ1〜ａp：Ｙ1〜Ｙpに対して設定された重み付け係数（ａ1＋ａ2＋…＋ａp＝１）。
【００８５】
ここで、重み付け係数ａ1〜ａpの値は、図４（ｂ）に示した注目領域Ｒ１〜Ｒ２８のうち、例えば道路の特徴を反映し易い中央のＲ１４〜Ｒ１７等については大きな値に設定し、道路の端部に対応するＲ１，Ｒ１１等については小さな値に設定する。
【００８６】
そして、続くＳＴＥＰ８で、露出レベル決定部３３は、以下の式（２７）により、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出する。
【００８７】
【数２７】
0005595606.tif 000028
【００８８】
但し、Ｅ(t+1)：次の制御サイクルで使用する露出制御値（本発明の第２露出レベルに相当する）、Ｅ(t)：今回の制御サイクル（本発明の所定時点の制御サイクルに相当する）で使用した露出制御値（本発明の第１露出レベルに相当する）、β：Ｗ画素の最大許容階調値の設定係数、Ｓ：Ｗ画素の最大階調値（本実施形態では２５５）、α：感度差係数（ＹaveをＷ画素の階調値相当に変換するための係数）。
【００８９】
上記式（２７）では、目標とするＷ画素の最大許容階調値（β・Ｓ）と、今回の制御サイクルでのＷ画素の階調値の推定値（参照階調値の平均値ＹaveをＷ画素の階調値相当に変換したα・Ｙave）との比を、今回の制御サイクルで使用した露出制御値Ｅ(t)に乗じて変更（修正）することによって、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出している。
【００９０】
一方、ＳＴＥＰ６で、参照階調値Ｙを算出した注目領域が存在しないときには、ＳＴＥＰ２０に分岐する。そして、露出レベル決定部３３は、以下の式（２８）により、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出する。
【００９１】
【数２８】
0005595606.tif 000029
【００９２】
但し、Ｅ(t+1)：次の制御サイクルで使用する露出制御値、Ｅ(t)：今回の制御サイクルで使用した露出制御値。
【００９３】
上記式（２８）では、次の制御サイクルで使用する露出制御値Ｅ(t+1)を、今回の制御サイクルで使用した露出制御値Ｅ(t)に０．８を乗じて算出することによって、次の制御サイクルにおける露出レベルを２０％減少させている。なお、この２０％という設定は一例であり、カメラ２の撮像状況等に応じて他の値に設定してもよい。
【００９４】
『３．感度差係数αの算出処理』
次に、露出レベル決定部３３による感度差係数αの算出処理について、図６に示したフローチャートに従って説明する。なお、感度差係数αは、本発明の輝度相違度合に相当する。
【００９５】
露出レベル決定部３３は、図６のＳＴＥＰ３０〜ＳＴＥＰ３７の処理により、原画像４１の白線の画像部分（図４（ａ）の８１）に設定した複数の車線ブロックについて感度差係数αＬbを算出すると共に、ＳＴＥＰ４０〜ＳＴＥＰ４７の処理により、原画像４１の道路の画像部分に設定した複数の道路ブロックについて感度差係数αＲbを算出する。
【００９６】
［３-1．車線ブロックの感度差係数の算出］
露出レベル決定部３３は、ＳＴＥＰ３０で、原画像４１の白線の画像部分から複数の車線ブロックを抽出する。なお、車線ブロックのサイズは注目領域のサイズと同じであっても、異なっていてもよい。
【００９７】
露出レベル決定部３３は、抽出した各車線ブロックについて、上述した図５のＳＴＥＰ１，ＳＴＥＰ３と同様に、透明画素飽和率とカラー画素飽和率を算出する。そして、透明画素飽和率が透明画素飽和閾値Ｗth未満、且つ、カラー画素飽和率がカラー画素飽和閾値Ｃth未満である、不飽和の車線ブロック（Ｌb1，Ｌb2，…，Ｌbh、本発明の不飽和領域及び第２の不飽和領域に相当する）に対して、ＳＴＥＰ３１〜ＳＴＥＰ３４のループによる処理を実行する。
【００９８】
露出レベル決定部３３は、ＳＴＥＰ３１〜ＳＴＥＰ３４のループにより、ＳＴＥＰ３２で車線ブロック内のＷ画素の階調値の平均値Ｌbwを算出し、ＳＴＥＰ３３で車線ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値Ｌbyを算出する。
【００９９】
次のＳＴＥＰ３５で、露出レベル決定部３３は、ＳＴＥＰ３２で算出した各車線ブロック内のＷ画素の平均値Ｌbwについて、以下の式（２９）により平均値Ｌbwaveを算出する。
【０１００】
【数２９】
0005595606.tif 000030
【０１０１】
但し、Ｌbw1，Ｌbw2，…，Ｌbwh：各車線ブロック内のＷ画素の階調値の平均値（ｈはＷ画素の階調値の平均値を算出した車線ブロックの個数）。
【０１０２】
また、ＳＴＥＰ３６で、露出レベル決定部３３は、ＳＴＥＰ３３で算出した各車線ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値Ｌbyについて、以下の式（３０）により平均値Ｌbyaveを算出する。
【０１０３】
【数３０】
0005595606.tif 000031
【０１０４】
但し、Ｌby1，Ｌby2，…，Ｌbyh：各車線ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値（ｈはＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値を算出した車線ブロックの個数）。
【０１０５】
次のＳＴＥＰ３７で、露出レベル決定部３３は、以下の式（３１）により、車線ブロックについての感度差係数αＬb（本発明の第２の輝度相違度合に相当する）を算出する。
【０１０６】
【数３１】
0005595606.tif 000032
【０１０７】
但し、αＬb：車線ブロックについての感度差係数、Ｌbwave：車線ブロックのＷ画素の階調値の平均値、Ｌbyave：車線ブロックのＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値。
【０１０８】
［３-2．道路ブロックの感度差係数の算出］
露出レベル決定部３３は、ＳＴＥＰ４０で、原画像４１の道路の画像部分（図４（ａ）の８０）から複数の道路ブロックを抽出する。なお、道路ブロックのサイズは注目領域のサイズと同じであっても、異なっていてもよい。
【０１０９】
露出レベル決定部３３は、抽出した各道路ブロックについて、上述した図５のＳＴＥＰ１，ＳＴＥＰ３と同様に、透明画素飽和率とカラー画素飽和率を算出する。そして、透明画素飽和率が透明画素飽和閾値Ｗth未満、且つ、カラー画素飽和率がカラー画素飽和閾値Ｃth未満である、不飽和の道路ブロック（Ｒb1，Ｒb2，…，Ｒbk、本発明の不飽和領域及び第１の不飽和領域に相当する）に対して、ＳＴＥＰ４１〜ＳＴＥＰ４４のループによる処理を実行する。
【０１１０】
露出レベル決定部３３は、ＳＴＥＰ４１〜ＳＴＥＰ４４のループにより、ＳＴＥＰ４２で道路ブロック内のＷ画素の階調値の平均値Ｒbwを算出し、ＳＴＥＰ４３で道路ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値Ｒbyを算出する。
【０１１１】
次のＳＴＥＰ４５で、露出レベル決定部３３は、ＳＴＥＰ４２で算出した各道路ブロック内のＷ画素の平均値Ｒbwについて、以下の式（３２）により平均値Ｒbwaveを算出する。
【０１１２】
【数３２】
0005595606.tif 000033
【０１１３】
但し、Ｒbw1，Ｒbw2，…，Ｒbwk：各道路ブロック内のＷ画素の階調値の平均値（kはＷ画素の階調値の平均値を算出した道路ブロックの個数）。
【０１１４】
また、ＳＴＥＰ４６で、露出レベル決定部３３は、ＳＴＥＰ４３で算出した各道路ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値Ｒbyについて、以下の式（３３）により平均値Ｒbyaveを算出する。
【０１１５】
【数３３】
0005595606.tif 000034
【０１１６】
但し、Ｒby1，Ｒby2，…，Ｒbyk：各道路ブロック内のＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値（ｋはＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値を算出した道路ブロックの個数）。
【０１１７】
次のＳＴＥＰ４７で、露出レベル決定部３３は、以下の式（３４）により、道路ブロックについての感度差係数αＲb（本発明の第１の輝度相違度合に相当する）を算出する。
【０１１８】
【数３４】
0005595606.tif 000035
【０１１９】
但し、αＲb：道路ブロックについての感度差係数、Ｒbwave：道路ブロックのＷ画素の階調値の平均値、Ｒbyave：道路ブロックのＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値。
【０１２０】
［３-3．感度差係数の算出］
続くＳＴＥＰ３８で、露出レベル決定部３３は、以下の式（３５）により、ＳＴＥＰ３７で算出した車線ブロックについての感度差係数αＬbと、ＳＴＥＰ４７で算出した道路ブロックについての感度差係数αＲbとの加重平均することによって、上記式（２７）で使用する感度差係数αを算出する。
【０１２１】
【数３５】
0005595606.tif 000036
【０１２２】
但し、α：感度差係数、αＬb：車線ブロックについての感度差係数、αＲb：道路ブロックについての感度差係数、ｂ1，ｂ2：重み付け係数（ｂ1＋ｂ2＝１）。
【０１２３】
ここで、図７は、上記式（２７）により、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出することの意味を説明したものである。図７の左側は、露出制御値にＥ(t)を使用した今回の制御サイクルの状況を示し、右側は上記式（２７）により算出した露出制御値Ｅ(t+1)を使用する次回の制御サイクルの状況を示している。
【０１２４】
今回の制御サイクルでは、Ｗ画素の階調値が飽和していて、Ｗ画素の本来の階調値を得ることができないため、飽和していないＲ、Ｇ，Ｂ画素の階調値から算出した参照階調値Ｙave1に、感度差係数αを乗じてＷ画素の階調値の想定値Ｗ1を補正階調値として算出する。そして、次回の制御サイクルでの輝度の最大許容値Ｗ2を、Ｓ（２５５）×βにより算出する。
【０１２５】
この場合、次回の制御サイクルで使用する露出制御値Ｅ(t+1)は、今回の制御サイクルでのＷ画素の階調値の想定値Ｗ1を、Ｗ2まで減少させるものであれば良い。そこで、上記式（２６）により、Ｗ2／Ｗ1（＝β・Ｓ／α・Ｙave）を今回の制御サイクルで使用した露出制御値Ｅ(t)に乗じて、次回の制御サイクルで使用する露出制御値Ｅ(t+1)を算出することによって、次回の制御サイクルにおけるカメラ２の露出レベルを、Ｗ1がＷ2まで減少させるレベルに適切に減少させることができる。
【０１２６】
次に、画像生成部３５による高感度画像４３及び広ダイナミックレンジ画像４４の生成処理について説明する。
【０１２７】
『４．高感度画像の生成処理』
画像生成部３５は、原画像４１のＷ画素の階調値（Ｓwi,j）とカラー画像４２の各画素のＲ，Ｇ，Ｂ値とにより、高感度画像４３の各画素に割り当てる階調値（Ｈi,j）を算出する。
【０１２８】
画像生成部３５は、先ず、以下の式（３６）により、カラー画像４２の各画素についてグレーの参照階調値Ｙi,jを算出する。
【０１２９】
【数３６】
0005595606.tif 000037
【０１３０】
但し、Ｙi,j：参照階調値、Ｃi,jr：カラー画像４２の各画素Ｃi,jのＲ値、Ｃi,jg：カラー画像４２の各画素Ｃi,jのＧ値、Ｃi,jb：カラー画像４２の各画素Ｃi,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。
【０１３１】
そして、画像生成部３５は、以下の式（３７）により、原画像４１の各Ｗ画素の階調値Ｓwi,jと、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値Ｙijとの比ａi,jを、感度差補正係数として算出する。
【０１３２】
【数３７】
0005595606.tif 000038
【０１３３】
［４-1．Ｗ画素に対応する階調値Ｈi,jの割り当て］
画像生成部３５は、原画像４１のＷ画素の階調値（Ｓwi,j）を、高感度画像４３の対応する配置位置の画素の階調値（Ｈi,j）に割り当てる。
【０１３４】
［４-2．Ｇ画素に対応する階調値Ｈi,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｇ画素の左右又は上下にＷ画素が配置されている。そのため、画像生成部３５は、以下の式（３８）、式（３９）により、原画像４１のＧ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。
【０１３５】
【数３８】
0005595606.tif 000039
【０１３６】
【数３９】
0005595606.tif 000040
【０１３７】
［４-3．Ｒ，Ｂ画素に対応する階調値Ｈi,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｒ画素及びＢ画素の斜め上下にＷ画素が配置されている。そのため、画像生成部３５は、以下の式（４０）により、原画像４１のＲ，Ｂ画素に対応する位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。
【０１３８】
【数４０】
0005595606.tif 000041
【０１３９】
以上の処理により、画像生成部３５は、図８（ａ）に示したように、原画像４１の各画素に対応した画素に、階調値（Ｈi,j）を割り当てた高感度画像４３を生成することができる。
【０１４０】
『５．広ダイナミックレンジ画像の生成処理』
画像生成部３５は、カラー画像４２と高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）間で、以下の式（４１）の重み付け関数を用いた加算を行って、広ダイナミックレンジ画像４４の各画素に割り当てる階調値（Ｄi,j）を算出する。
【０１４１】
【数４１】
0005595606.tif 000042
【０１４２】
但し、ｗ(x)：シグモイド関数、ｇ：ゲイン。なお、上記式（４１）は重み付け関数の一例であり、他の重み付け関数を用いてもよい。
【０１４３】
画像生成部３５は、高感度画像４３の階調値（Ｈi,j）を最大階調値（分解能が８bitであれば２５５、１０bitであれば１０２３）に対して規格化した規格化階調値（ｈi,j）と、カラー画像４２から上記式（３５）により算出した参照階調値（Ｙi,j）を最大階調値に対して規格化した規格化階調値（ｙi,j）から、以下の式（４２）により、規格化合成階調値（ｈdri,j）を算出する。
【０１４４】
【数４２】
0005595606.tif 000043
【０１４５】
但し、ｈi,j，ｙi,j：規格化階調値、ａ'：Ｗ画素に対応する画素を対象とするときは、上記式（３７）により算出した当該画素の感度差補正係数ａi,j、Ｒ，Ｇ，Ｂに対応する画素を対象とするときは、周囲に配置されたＷ画素に対応する画素の感度差補正係数ａi,j。
【０１４６】
さらに、低階調のコントラストを保つために、以下の式（４３）により規格化合成階調値（ｈdri,j）にγ変換処理を行う。
【０１４７】
【数４３】
0005595606.tif 000044
【０１４８】
但し、Ｄi,j：広ダイナミックレンジ画像の階調値、Ｍb：最大階調値。
【０１４９】
以上の処理により、画像生成部３５は、図８（ｂ）に示したように、原画像４１の各画素に対応した画素に、階調値（Ｄi,j）を割り当てた広ダイナミックレンジ画像４４を生成することができる。
【０１５０】
『６．対象物検知処理』
次に、対象物検知部３６による処理について説明する。対象物検知部３６は、検知対象物の種別又はカメラ２の撮像条件に応じて、カラー画像４２から対象物を検知する処理と、高感度画像４３から対象物を検知する処理と、広ダイナミックレンジ画像４４から対象物を検知する処理とを切替える。
【０１５１】
［６-1．高感度画像による対象物検知］
対象物検知部３６は、高感度画像４３から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像４３を用いることによって、車両１の周辺に存在する歩行者を精度良く検知することができる。
【０１５２】
対象物検知部３６は、歩行者を検知したときに、車両１との接触可能性の有無を判断する。そして、車両１との接触可能性有りと判断したときには、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。
【０１５３】
この制御信号の受信に応じて、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。
【０１５４】
［６-2．広ダイナミックレンジ画像による対象物検知］
対象物検知部３６は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両１に備えられたヘッドライト（図示しない）の点灯／消灯の状態から判断する。また、車両１に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。
【０１５５】
そして、夜間であったときに、対象物検知部３６は、広ダイナミックレンジ画像４４から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。
【０１５６】
ここで、暗い物体としては、車両１のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両１のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトに照射されている歩行者等が挙げられる。
【０１５７】
そこで、夜間においては、広ダイナミックレンジ画像４４を用いることによって、他車両、歩行者を検知することができる。
【０１５８】
対象物検知部３６は、接触可能性がある歩行者又は他車両を検知したときには、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する制御信号を送信する。
【０１５９】
［６-3．カラー画像による対象物検知］
対象物検知部３６は、夜間でなかったときには、カラー画像４２から道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。
【０１６０】
そこで、対象物検知部３６は、カラー画像４２からレーンマーク、他車両、及び信号機を検知する。その際、対象物検知部３６は、レーンマークの色（白線、黄線等）からレーンマークの属性を判断する。また、対象物検知部３６は、前走車のテールランプの赤色を検知して追突可能性の有無を判断する。
【０１６１】
そして、対象物検知部３６は、レーンマークの検知位置に基づいて道路の画像部分を認識し、車両１を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信し、この制御信号の受信に応じて、操舵制御部６１が操舵装置７１の作動を制御する。
【０１６２】
また、対象物検知部３６は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部３６は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ６に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部６３はディスプレイに警報表示を行う。また、必要に応じて、制動制御部６２は、制動装置７２を作動させて車両１を制動する。
【０１６３】
なお、本実施形態では、図２（ａ）に示したＲ，Ｇ，Ｂ，Ｗの配置パターンのフィルタ２１が装着された撮像素子２２を用いたカメラ２を示したが、図９（ａ）に示したような他のＲ，Ｇ，Ｂ，Ｗの配置パターンのフィルタ２１−１を用いてもよい。図９（ａ）のフィルタ２１−１を用いた場合の撮像画像（原画像）は、図９（ｂ）の４１−１となる。
【０１６４】
また、本実施形態では、本発明の画像処理装置を車両１に搭載した例を示したが、特にこの実施形態に限定されず、監視装置等の種々の用途に本発明を適用することができる。
【０１６５】
また、本実施形態では、図６の処理により、車線ブロック及び道路ブロックのＷ画素の階調値と参照階調値Ｙに基づいて感度補正係数（α）を算出したが、感度補正係数（α）を予め設定した固定値としてもよい。また、車線ブロック又は道路ブロックのいずれか一方のＷ画素の階調値と参照階調値Ｙに基づいて感度補正係数（α）を算出してもよい。
【０１６６】
また、本実施形態では、図５のＳＴＥＰ１〜ＳＴＥＰ５の処理により、透明画素飽和率が透明画素飽和閾値Ｗth以上である注目領域について、カラー画素飽和率がカラー画素飽和閾値Ｃth未満である注目領域の参照階調値Ｙ及びその平均値Ｙaveを算出して、上記式（２６）により次の制御サイクルで使用する露出制御値Ｅ(t+1)を決定したが、透明画素飽和率のみに基づいてＥ(t)を変更してＥ(t+1)を求めてもよい。
【０１６７】
また、上記式（２７）以外の式により、或いはマップ等により、透明画素飽和率、参照階調値Ｙの平均値Ｙaveに基づいて、今回の制御サイクルで使用した露出制御値Ｅ(t)を変更して、次の制御サイクルで使用する露出制御値Ｅ(t+1)を決定してもよい。
【０１６８】
また、本実施の形態では、複数の注目領域を設定して、各注目領域のＷ画素の階調値及びＲ，Ｇ，Ｂ画素の参照階調値Ｙの平均値を用いて、次の制御サイクルで使用する露出制御値Ｅ(t+1)を算出したが、１つの注目領域を設定して露出制御値Ｅ(t+1)を算出してもよい。
【産業上の利用可能性】
【０１６９】
以上のように、本発明の画像処理装置によれば、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの露出レベルを、回路構成の複雑化及び撮像画像の画質悪化を抑制して、適切に設定することができるため、カラー画像の感度を改善するために有用である。
【符号の説明】
【０１７０】
１…車両、２…カメラ、３…画像コントローラ、６…車両コントローラ、２１…フィルタ、２２…撮像素子、３０…制御回路、３１…原画像取得部、３２…注目領域設定部、３３…露出レベル決定部、３４…カメラ制御部、３５…画像生成部、３６…対象物検知部、４１…原画像、４２…カラー画像、４３…高感度画像、４４…広ダイナミックレンジ画像。
【図１】
0005595606.tif 000045
【図２】
0005595606.tif 000046
【図３】
0005595606.tif 000047
【図４】
0005595606.tif 000048
【図５】
0005595606.tif 000049
【図６】
0005595606.tif 000050
【図８】
0005595606.tif 000051
【図９】
0005595606.tif 000052
【図７】
0005595606.tif 000053