(57)【要約】  各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像４１に対して、各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した補正階調値を算出し、各カラー画素の補正階調値及び各透明画素の階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てることにより、高感度画像を生成する画像生成部３５を備える。
2013088821.tif 000002
【特許請求の範囲】
【請求項１】
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、
前記各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した補正階調値を算出し、
前記各カラー画素の補正階調値及び前記各透明画素の階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てることにより、高感度画像を生成する画像生成部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から算出したグレーの第２参照階調値と、自身の階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出して、該３原色の各階調値から前記第１参照階調値を算出し、
前記第１参照階調値を、周囲に配置された透明画素の前記階調相違度合に基づいて補正することによって、前記補正階調値を算出することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画像生成部は、
前記原画像の各カラー画素について、自身の前記第１参照階調値と前記高感度画像の対応する配置位置の画素の階調値を合成した第１合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
前記原画像の各透明画素について、自身の前記第２参照階調値と前記高感度画像の対応する配置位置の階調値を合成した第２合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記画像生成部は、前記第１参照階調値及び前記第２参照階調値と、前記高感度画像の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより、前記第１合成階調値及び前記第２合成階調値を算出することを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする画像処理装置。
【請求項７】
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、
前記各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づくグレーの第１参照階調値と、該第１参照階調値を周囲に配置された透明画素の階調値に応じて補正した補正階調値とを算出し、該第１参照階調値と該補正階調値を合成した第１合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
前記各透明画素について、周囲に配置されたカラー画素の階調値に基づくグレーの第２参照階調値を算出し、該第２参照階調値と自身の階調値を合成した第２合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成する画像生成部と
を備えたことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第２参照階調値を算出して、自身の階調値と該第２参照階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第１参照階調値を算出して、該第１参照階調値を周囲に配置された透明画素の前記階調相違度合に応じて補正することにより、前記補正階調値を算出することを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記画像生成部は、前記第１参照階調値と前記補正階調値の間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第１合成階調値を算出し、前記第２参照階調値と前記透明画素の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第２合成階調値を算出することを特徴とする画像処理装置。
【請求項１０】
請求項７に記載の画像処理装置において、
前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーフィルタを介して受光する画素とカラーフィルタを介さずに受光する画素を配置した撮像素子による撮像データを処理する画像処理装置に関する。
【背景技術】
【０００２】
従来より、カラーフィルタを介して受光する画素（カラー受光画素）と、カラーフィルタを介さずに受光する画素（透明受光画素）とを配置した撮像素子を用いることにより、カラー画像の感度を改善する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００８−５０７９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラによる撮像画像に要求される特性は、撮像画像の用途に応じて相違する。例えば、撮像画像から対象物を検知する場合に、対象物の色情報を用いるときはカラー画像が必要になる。【０００５】
また、夜間のように低照度の撮像条件下で、撮像画像から対象物を検知する場合には高感度画像が必要となる。さらに、暗い対象物から明るい対象物までの広範囲の対象物の画像部分を検知するためには、広ダイナミックレンジ画像が必要となる。【０００６】
そして、このような異なる用途に対応するために、仕様が異なる複数台のカメラを備えて、用途に応じて使用するカメラを切替えることも考えられるが、この場合には、装置構成が複雑になると共に装置コストも増大するという不都合ある。【０００７】
そこで、特許文献１に記載された方法のように、透明受光画素を有する撮像素子を用いることによって、感度を向上させたカラー画像を取得することができる。そして、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とでは感度が相違するため、両画素間で受光の蓄積時間を変えることも考えられるが、この場合には、高感度化の効果がなくなってしまうという問題があった。また、広いダイナミックレンジをもった画像が必要になる場合もある。【０００８】
本発明はかかる背景に鑑みてなされたものであり、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの撮像画像から、より高感度の画像又は広いダイナミックレンジをもった画像を生成することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は上記目的を達成するためになされたものであり、
より高感度の画像を生成するために、本発明の画像処理装置は、
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、
前記各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した補正階調値を算出し、
前記各カラー画素の補正階調値及び前記各透明画素の階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てることにより、高感度画像を生成する画像生成部とを備えたことを特徴とする（第１発明）。【００１０】
第１発明によれば、前記画像生成部は、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの前記第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した前記補正階調値を算出することにより、各カラー画素について前記原画像の透明画素の階調値と同レベルの感度による階調値を得る。そして、前記画像生成部は、透明画素についてはその階調値を、また、カラー画素についてはその補正階調値を、高感度画像の対応する配置位置の階調値として割り当てることによって、高感度画像を生成することができる。【００１１】
また、第１発明において、前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から算出したグレーの第２参照階調値と、自身の階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出して、該３原色の各階調値から前記第１参照階調値を算出し、
前記第１参照階調値を、周囲に配置された透明画素の前記階調相違度合に基づいて補正することによって、前記補正階調値を算出することを特徴とする（第２発明）。【００１２】
第２発明によれば、一般的な３原色（Ｒ・Ｇ・Ｂ、Ｃy・Ｍg・Ｙ等）カラーフィルタが設けられた撮像素子により撮像するカメラにより撮像された原画像から、カラー画素の階調値を透明画素の階調値に応じて補正した高感度画像を生成することができる。【００１３】
また、第２発明において、前記画像生成部は、前記原画像の各カラー画素について、自身の前記第１参照階調値と前記高感度画像の対応する配置位置の画素の階調値を合成した第１合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
前記原画像の各透明画素について、自身の前記第２参照階調値と前記高感度画像の対応する配置位置の階調値を合成した第２合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成することを特徴とする（第３発明）。【００１４】
第３発明によれば、前記高感度画像による高感度の階調値と、前記第１参照階調値及び前記第２参照階調値による低感度の階調値とを合成することにより、広ダイナミックレンジ画像を生成することができる。【００１５】
また、第３発明において、前記画像生成部は、前記第１参照階調値及び前記第２参照階調値と、前記高感度画像の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより、前記第１合成階調値及び前記第２合成階調値を算出することを特徴とする（第４発明）。【００１６】
第４発明によれば、前記撮像素子のカラー受光画素と透明受光画素の感度差による前記広ダイナミックレンジ画像の各画素間の不連続性により、前記広ダイナミックレンジ画像が不自然な画像になることを抑制することができる。【００１７】
また、第１発明から第４発明において、前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする（第５発明）。【００１８】
第５発明によれば、低輝度の対象物（歩行者等）を検知するときは、前記高感度画像を用いる前記第１対象物検知処理により、また、色情報を有する対象物（道路に敷設された白線・黄線、信号機の赤・青点灯等）を検知するときには、前記カラー画像を用いる前記第２対象物検知処理により、種々の対象物を検知することができる。【００１９】
また、第３発明又は第４発明において、前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする（第６発明）。【００２０】
第６発明によれば、低輝度の対象物（歩行者等）を検知するときは、前記高感度画像を用いる前記第１対象物検知処理により、また、色情報を有する対象物（道路に敷設された白線・黄線、信号機の赤・青点灯等）を検知するときには、前記カラー画像を用いる前記第２対象物検知処理により、また、低輝度から高輝度までの幅広い輝度の対象物（夜間における車両、歩行者等）を検知するときには、前記広ダイナミックレンジ画像を用いる第３対象物検知処理により、種々の対象物を検知することができる。【００２１】
次に、広いダイナミックレンジをもった画像を生成するために、本発明の画像処理装置は、
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、
前記各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づくグレーの第１参照階調値と、該第１参照階調値を周囲に配置された透明画素の階調値に応じて補正した補正階調値とを算出し、該第１参照階調値と該補正階調値を合成した第１合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
前記各透明画素について、周囲に配置されたカラー画素の階調値に基づくグレーの第２参照階調値を算出し、該第２参照階調値と自身の階調値を合成した第２合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成する画像生成部とを備えたことを特徴とする（第７発明）。【００２２】
第７発明によれば、前記画像生成部は、前記各カラー画素について、前記各透明画素の階調値を用いることにより、感度を高めた前記補正階調値を算出すると共に、前記各透明画素について、周囲のカラー画素の階調値を用いることにより、低感度の前記第２参照階調値を算出する。そして、前記画像生成部は、前記各カラー画素については、前記第１参照階調値と前記補正階調値を合成した前記第１合成階調値を、対応する配置位置の画素の階調値として割り当て、また、前記各透明画素については、前記第２参照階調値と透明画素の階調値を合成した前記第２合成階調値を、対応する配置位置の画素として割り当てることにより、広ダイナミックレンジ画像を生成することができる。【００２３】
また、第７発明において、前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第２参照階調値を算出して、自身の階調値と該第２参照階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第１参照階調値を算出して、該第１参照階調値を周囲に配置された透明画素の前記階調相違度合に応じて補正することにより、前記補正階調値を算出することを特徴とする（第８発明）。【００２４】
第８発明によれば、前記第１参照階調値を前記階調相違度合に応じて補正することにより、前記補正階調値と前記透明画素の階調値とのばらつきを抑制して、前記広ダイナミックレンジ画像を生成することができる。【００２５】
また、第８発明において、前記画像生成部は、前記第１参照階調値と前記補正階調値の間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第１合成階調値を算出し、前記第２参照階調値と前記透明画素の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第２合成階調値を算出することを特徴とする（第９発明）。【００２６】
第９発明によれば、前記撮像素子のカラー受光画素と透明受光画素の感度差による前記広ダイナミックレンジ画像の各画素間の不連続性により、前記広ダイナミックレンジ画像が不自然な画像になることを抑制することができる。【００２７】
また、第７発明から第９発明のうちのいずれかにおいて、前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする（第１０発明）。【００２８】
第１０発明によれば、色情報を有する対象物（道路に敷設された白線・黄線、信号機の赤・青点灯等）を検知するときには、前記カラー画像を用いる前記第２対象物検知処理により、また、低輝度から高輝度までの幅広い輝度の対象物（夜間における車両、歩行者等）を検知するときには、前記広ダイナミックレンジ画像を用いる第３対象物検知処理により、種々の対象物を検知することができる。
【図面の簡単な説明】
【００２９】
【図１】画像処理装置の構成図。
【図２】撮像素子のフィルタ及びカメラによる撮像画像の説明図。
【図３】画像処理装置の作動フローチャート。
【図４】カラー画像及び高感度画像の説明図。
【図５】広ダイナミックレンジ画像の説明図。
【図６】他の実施形態での撮像素子のフィルタ及びカメラによる撮像画像の説明図。
【発明を実施するための形態】
【００３０】
本発明の画像処理装置の実施形態について、図１〜図６を参照して説明する。図１を参照して、本実施形態の画像処理装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とにより構成されている。
【００３１】
カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の周囲を撮像し、撮像データを制御回路３０に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子を２次元に配置して構成されている。
【００３２】
図２（ａ）を参照して、フィルタ２１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色のカラーフィルタのいずれかを、撮像素子２２のｍ×ｎ個の各受光画素の受光経路に配置して、取り付けられている。なお、カラーフィルタとして、ＲＧＢ以外の他の種類のカラーフィルタ（ＣyＭgＹの補色系フィルタ等）を用いてもよい。
【００３３】
そして、カメラ２は、Ｒフィルタが装着されたＲ受光画素（図中Ｒ11，Ｒ15，…で示している。本発明のカラー受光画素に相当する）、Ｇフィルタが装着されたＧ受光画素（図中Ｇ12，Ｇ14，…で示している。本発明のカラー受光画素に相当する）、Ｂフィルタが装着されたＢ受光画素（図中Ｂ13，Ｂ31，…で示している。本発明のカラー受光画素に相当する）、及びフィルタ２１が装着されていないＷ受光画素（図中Ｗ22，Ｗ24，…で示している。本発明の透明受光画素に相当する）による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ３に出力する。
【００３４】
画像コントローラ３は、図示しないＣＰＵ，メモリ，入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。
【００３５】
制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、カラー画像生成部３２と高感度画像生成部３３と広ダイナミックレンジ画像生成部３４とを有する画像生成部３５、及び対象物検知部３６として機能する。なお、原画像取得部３１、画像生成部３５、及び対象物検知部３６の一部又は全部をハードウェアにより構成してもよい。
【００３６】
原画像取得部３１は、カメラ２に制御信号を出力して車両１の周囲の画像を撮像させ、カメラ２から出力される撮像データにより、原画像４１のデータを取得して画像メモリ４０に保持する。
【００３７】
原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２による各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素）の階調値を、対応する配置位置の画素（配置位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値をＳ（大文字）＋小文字ｒ，ｇ，ｂ，ｗのいずれか＋i,j（i=1,2,…,m、j=1,2,…,n）で示している。
【００３８】
ここで、ｒは図２（ａ）のＲ受光画素に対応した配置位置の画素（以下、Ｒ画素という。本発明のカラー画素に相当する）の階調値を示し、ｇは図２（ａ）のＧ受光画素に対応した配置位置の画素（以下、Ｇ画素という。本発明のカラー画素に相当する）の階調値を示し、ｂは図２（ａ）のＢ受光画素に対応した配置位置の画素（以下、Ｂ画素という。本発明のカラー画素に相当する）の階調値を示し、ｗは図２（ａ）のＷ受光画素に対応した配置位置の画素（以下、Ｗ画素という。本発明の透明画素に相当する）の階調値であることを示している。
【００３９】
画像生成部３５のカラー画像生成部３２は、原画像４１からカラー画像４２を生成してそのデータを画像メモリ４０に保持する。高感度画像生成部３３は、原画像４１及びカラー画像４２から高感度画像４３を生成してそのデータを画像メモリ４０に保持する。広ダイナミックレンジ画像生成部３４は、カラー画像４２及び高感度画像４３から、広ダイナミックレンジ画像４４を生成してそのデータを画像メモリ４０に保持する。カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４の生成処理の詳細については、後述する。
【００４０】
対象物検知部３６は、カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。
【００４１】
車両コントローラ６は、図示しないＣＰＵ，メモリ，入出力回路等により構成された電子回路ユニットであり、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。画像コントローラ３と車両コントローラ６は、ＣＡＮドライバ５０，６４を介して相互に通信を行う。
【００４２】
次に、図３に示したフローチャートに従って、制御回路３０による各種画像の生成と、画像からの対象物検知の処理について説明する。
【００４３】
図３のＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１（図２（ｂ）参照）を取得して画像メモリ４０に保持する。
【００４４】
『１．カラー画像の生成処理』
続くＳＴＥＰ２はカラー画像生成部３２による処理である。カラー画像生成部３２は、原画像４１の各画素の階調値に基づいて、図４（ａ）に示したカラー画像４２を生成する。図４（ａ）のカラー画像では、各画素の階調値をＣi,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【００４５】
Ｃi,jは、以下のように、Ｒ値（Ｃi,jr、Ｒの階調値）、Ｇ値（Ｃi,jg、Ｇの階調値）、及びＢ値（Ｃi,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃi,j＝｛Ｃi,jr、Ｃi,jg、Ｃi,jb｝
［１-1．Ｃi,jに対するＧ値の割り当て］
カラー画像生成部３２は、先ず、カラー画像４２の各画素（Ｃi,j）に割り当てるＧ値（Ｃi,jg）を算出する。原画像４１のＧ画素（階調値がＳgi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。例えば、カラー画像生成部３２は、原画像４１の（ｉ，ｊ）＝（２，３）の画素の階調値（Ｓg2,3）を、カラー画像４２の（ｉ，ｊ）＝（２，３）の画素のＧ値（Ｃ2,3g）とする。
【００４６】
また、原画像４１のＲ画素（階調値がＳri,jである画素），Ｂ画素（階調値がＳbi,jである画素），Ｗ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、上下左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ，Ｂ，Ｗ画素の上下左右に隣接するＧ画素の階調値（Ｓgi-1,j，Ｓgi+1,j，Ｓgi,j-1，Ｓgi,j+1）について、以下の式（１）〜式（４）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００４７】
なお、以下の式（１），式（２）によるＩ１とＩ２が等しくなったとき（Ｉ１＝Ｉ２）は、以下の式（３）又は式（４）のいずれかによるＣi,jgをＧ値とすればよい。後述するＩ２，Ｊ２〜Ｉ６，Ｊ６についても同様である。
【００４８】
【数１】
2013088821.tif 000003
【００４９】
【数２】
2013088821.tif 000004
【００５０】
【数３】
2013088821.tif 000005
【００５１】
【数４】
2013088821.tif 000006
【００５２】
［１-2．Ｃi,jに対するＲ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素（Ｃi,j）に割り当てるＲ値（Ｃi,jr）を算出する。原画像４１のＲ画素（階調値がＳri,jである画素）については、自身のＲ値（Ｓri,j）をカラー画像４２の対応する位置の画素のＲ値（Ｃi,jr）とする。例えば、カラー画像生成部３２は、原画像４１の（ｉ，ｊ）＝（３，３）の画素の階調値（Ｓr3,3）を、カラー画像４２の（ｉ，ｊ）＝（３，３）の画素のＲ値（Ｃ3,3r）とする。
【００５３】
また、原画像４１のＢ画素（階調値がＳbi,jである画素）については、図２（ｂ）に示したように、上下左右の２個目の画素がＲ画素になっている。そのため、カラー画像生成部３２は、対象とするＢ画素について、以下の式（５）〜（８）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００５４】
【数５】
2013088821.tif 000007
【００５５】
【数６】
2013088821.tif 000008
【００５６】
【数７】
2013088821.tif 000009
【００５７】
【数８】
2013088821.tif 000010
【００５８】
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、Ｒ画素が配置されている。そのため、カラー画像生成部３２は、以下の式（９），式（１０）により、対象とする原画像４１のＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００５９】
【数９】
2013088821.tif 000011
【００６０】
【数１０】
2013088821.tif 000012
【００６１】
また、原画像４１のＧ画素については、図２（ｂ）に示したように上下左右の何れかにＲ画素が配置されている。そのため、カラー画像生成部３２は、以下の式（１１）〜式（１４）により、対象とする原画像４１のＧ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００６２】
【数１１】
2013088821.tif 000013
【００６３】
【数１２】
2013088821.tif 000014
【００６４】
【数１３】
2013088821.tif 000015
【００６５】
【数１４】
2013088821.tif 000016
【００６６】
［１-3．Ｃijに対するＢ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＢ値（Ｃi,jb）を算出する。原画像４１のＢ画素（階調値がＳbi,jである画素）については、自身の階調値をカラー画像４２の対応する位置の画素のＢ値とする。例えば、カラー画像生成部３２は、原画像４１の（ｉ，ｊ）＝（３，５）の画素の階調値（Ｓb3,5）を、カラー画像４２の（ｉ，ｊ）＝（３，５）の画素のＢ値（Ｃ3,5b）とする。
【００６７】
また、原画像４１のＲ画素については、図２（ｂ）に示したように、上下左右の２個目の画素がＢ画素になっている。そのため、カラー画像生成部３２は、対象とするＲ画素について、以下の式（１５）〜（１８）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００６８】
【数１５】
2013088821.tif 000017
【００６９】
【数１６】
2013088821.tif 000018
【００７０】
【数１７】
2013088821.tif 000019
【００７１】
【数１８】
2013088821.tif 000020
【００７２】
また、Ｗ画素（階調値がＳwi,jである画素）については、図２（ｂ）に示したように、右斜め上と左斜め下、或いは左斜め上と右斜め下に、Ｂ画素が配置されている。そのため、カラー画像生成部３２は、以下の式（１９），式（２０）により、対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００７３】
【数１９】
2013088821.tif 000021
【００７４】
【数２０】
2013088821.tif 000022
【００７５】
また、Ｇ画素（階調値がＳgi,jである画素）については、図２（ｂ）に示したように上下左右の何れかに隣接する一つの画素がＢ画素になっている。そこで、カラー画像生成部３２は、以下の式（２１）〜式（２４）により、対象とするＧ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００７６】
【数２１】
2013088821.tif 000023
【００７７】
【数２２】
2013088821.tif 000024
【００７８】
【数２３】
2013088821.tif 000025
【００７９】
【数２４】
2013088821.tif 000026
【００８０】
以上の処理により、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＲ値（Ｃi,jr），Ｇ値（Ｃi,jg），Ｂ値（Ｃi,jb）を算出して、カラー画像４２を生成する。
【００８１】
『２．高感度画像の生成処理』
次のＳＴＥＰ３は、高感度画像生成部３３による処理である。高感度画像生成部３３は、原画像４１のＷ画素の階調値（Ｓwi,j）とカラー画像４２の各画素のＲ，Ｇ，Ｂ値とにより、高感度画像４３の各画素に割り当てる階調値（Ｈi,j）を算出する。
【００８２】
高感度画像生成部３３は、先ず、以下の式（２５）により、カラー画像４２の各画素についてグレーの参照階調値Ｙi,jを算出する。なお、原画像４１のＲ画素，Ｇ画素，Ｂ画素に対応するカラー画像４２の画素について、以下の式（２５）により算出した参照階調値が本発明の第１参照階調値に相当する。また、原画像４１のＷ画素に対応するカラー画像４２の画素について、以下の式（２５）により算出した参照階調値が本発明の第２参照階調値に相当する。
【００８３】
【数２５】
2013088821.tif 000027
【００８４】
但し、Ｙi,j：参照階調値、Ｃi,jr：カラー画像４２の各画素Ｃi,jのＲ値、Ｃi,jg：カラー画像４２の各画素Ｃi,jのＧ値、Ｃi,jb：カラー画像４２の各画素Ｃi,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。
【００８５】
そして、高感度画像生成部３３は、以下の式（２６）により、原画像４１の各Ｗ画素の階調値Ｓwi,jと、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値Ｙijとの比ａi,jを、感度差補正係数として算出する。なお、感度差補正係数ａi,jは、本発明の階調相違度合に相当する。
【００８６】
【数２６】
2013088821.tif 000028
【００８７】
［２-1．Ｗ画素に対応する階調値Ｈi,jの割り当て］
高感度画像生成部３３は、原画像４１のＷ画素の階調値（Ｓwi,j）を、高感度画像４３の対応する配置位置の画素の階調値（Ｈi,j）に割り当てる。
【００８８】
［２-2．Ｇ画素に対応する階調値Ｈi,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｇ画素の左右又は上下にＷ画素が配置されている。そのため、高感度画像生成部３３は、以下の式（２７）、式（２８）により、原画像４１のＧ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。なお、以下の式（２７），式（２８）により算出した階調値（Ｈi,j）は、本発明の補正階調値に相当する。
【００８９】
【数２７】
2013088821.tif 000029
【００９０】
【数２８】
2013088821.tif 000030
【００９１】
［２-3．Ｒ，Ｂ画素に対応する階調値Ｈi,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｒ画素及びＢ画素の斜め上下にＷ画素が配置されている。そのため、高感度画像生成部３３は、以下の式（２９）により、原画像４１のＲ，Ｂ画素に対応する位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。なお、以下の式（２９）により算出した階調値（Ｈi,j）は、本発明の補正階調値に相当する。
【００９２】
【数２９】
2013088821.tif 000031
【００９３】
以上の処理により、高感度画像生成部３３は、図４（ｂ）に示したように、原画像４１の各画素に対応した画素に、階調値（Ｈi,j）を割り当てた高感度画像４３を生成することができる。
【００９４】
『３．広ダイナミックレンジ画像の生成処理』
次のＳＴＥＰ４は、広ダイナミックレンジ画像生成部３４による処理である。広ダイナミックレンジ画像生成部３４は、カラー画像４２と高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）間で、以下の式（３０）の重み付け関数を用いた加算を行って、広ダイナミックレンジ画像４４の各画素に割り当てる階調値（Ｄi,j）を算出する。
【００９５】
【数３０】
2013088821.tif 000032
【００９６】
但し、ｗ(x)：シグモイド関数、ｇ：ゲイン。なお、上記式（３０）は重み付け関数の一例であり、他の重み付け関数を用いてもよい。
【００９７】
広ダイナミックレンジ画像生成部３４は、高感度画像４３の階調値（Ｈi,j）を最大階調値（分解能が８bitであれば２５５、１０bitであれば１０２３）に対して規格化した規格化階調値（ｈi,j）と、カラー画像４２から上記式（２５）により算出した参照階調値（Ｙi,j）を、最大階調値で規格化した規格化階調値（ｙi,j）から、以下の式（３１）により、規格化合成階調値（ｈdri,j）を算出する。
【００９８】
なお、階調値を最大階調値に対して規格化するとは、階調値を最大階調値で除することを意味し、例えば、Ｈi,j＝２００，Ｙi,j＝６５で、最大階調値が２５５であるときには、ｈi,j＝２００／２５５，ｙi,j＝６５／２５５となる。規格化を行うことによって、高感度画像４３の階調値（Ｈi,j)と参照階調値（Ｙi,j)が同一レンジの値に変換される。
【００９９】
【数３１】
2013088821.tif 000033
【０１００】
但し、ｈi,j，ｙi,j：規格化階調値、ａ'：Ｗ画素に対応する画素を対象とするときは、上記式（２６）により算出した当該画素の感度差補正係数ａi,j、Ｒ，Ｇ，Ｂに対応する画素を対象とするときは、周囲に配置されたＷ画素に対応する画素の感度差補正係数ａi,j。
【０１０１】
さらに、低階調のコントラスを保つために、以下の式（３２）により規格化合成階調値（ｈdri,j）にγ変換処理を行う。なお、以下の式（３２）により、第１参照階調値と補正階調値を合成した階調値（Ｄi,j）が、本発明の第１合成階調値に相当する。また、以下の式（３２）により、第２参照階調値と透明画素の階調値を合成した階調値（Ｄi,j）が、本発明の第２合成階調値に相当する。
【０１０２】
【数３２】
2013088821.tif 000034
【０１０３】
但し、Ｄi,j：広ダイナミックレンジ画像の階調値、Ｍb：最大階調値。
【０１０４】
以上の処理により、広ダイナミックレンジ画像生成部３４は、図５に示したように、原画像４１の各画素に対応した画素に、階調値（Ｄi,j）を割り当てた広ダイナミックレンジ画像４４を生成することができる。
【０１０５】
『４．対象物検知処理』
続くＳＴＥＰ５〜ＳＴＥＰ７、及びＳＴＥＰ２０は、対象物検知部３６による処理である。対象物検知部３６は、検知対象物の種別又はカメラ２の撮像条件に応じて、カラー画像４２から対象物を検知する処理（本発明の第２対象物検知処理に相当する）と、高感度画像４３から対象物を検知する処理（本発明の第１対象物検知処理に相当する）と、広ダイナミックレンジ画像４４から対象物を検知する処理（本発明の第３対象物検知処理に相当する）とを切替える。
【０１０６】
［４-1．高感度画像による対象物検知］
対象物検知部３６は、ＳＴＥＰ５で、高感度画像４３から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像４３を用いることによって、車両１の周辺に存在する歩行者を精度良く検知することができる。なお、ＳＴＥＰ５による高感度画像４３から対象物を検知する処理は、本発明の第１対象物検知処理に相当する。
【０１０７】
対象物検知部３６は、歩行者を検知したときに、車両１との接触可能性の有無を判断する。そして、車両１との接触可能性有りと判断したときには、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。
【０１０８】
この制御信号の受信に応じて、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。
【０１０９】
続くＳＴＥＰ６で、対象物検知部３６は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両１に備えられたヘッドライト（図示しない）の点灯／消灯の状態から判断する。また、車両１に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。
【０１１０】
［４-2．広ダイナミックレンジ画像による対象物検知］
夜間であったときには、ＳＴＥＰ２０に分岐し、対象物検知部３６は、広ダイナミックレンジ画像４４から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。
【０１１１】
ここで、暗い物体としては、車両１のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両１のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトに照射されている歩行者等が挙げられる。
【０１１２】
そこで、夜間においては、広ダイナミックレンジ画像４４を用いることによって、他車両、歩行者を検知することができる。なお、ＳＴＥＰ２０による広ダイナミックレンジ画像４４から対象物を検知する処理は、本発明の第３対象物検知処理に相当する。
【０１１３】
対象物検知部３６は、接触可能性がある歩行者又は他車両を検知したときには、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する制御信号を送信する。また、信号機を検知したときには、対象物検知部３６は、必要に応じて車両コントローラ６に車両１の制動を指示する制御信号を送信し、この制御信号の受信に応じて、制動制御部６２が制動装置７２を作動させて車両１を制動する。
【０１１４】
［４-3．カラー画像による対象物検知］
ＳＴＥＰ６で夜間でなかったときにはＳＴＥＰ７に進み、対象物検知部３６は、カラー画像４２から道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。
【０１１５】
そこで、対象物検知部３６は、カラー画像４２からレーンマーク、他車両、及び信号機を検知する。その際、対象物検知部３６は、レーンマークの色（白線、黄線等）からレーンマークの属性を判断する。また、対象物検知部３６は、前走車のブレーキランプから前走車の減速を判断し、追突可能性の有無を判断する。なお、ＳＴＥＰ７によるカラー画像４２から対象物を検知する処理は、本発明の第２対象物検知処理に相当する。
【０１１６】
そして、対象物検知部３６は、レーンマークの検知位置から車両１を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信し、この制御信号の受信に応じて、操舵制御部６１が操舵装置７１の作動を制御する。
【０１１７】
また、対象物検知部３６は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部３６は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ６に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部６３はディスプレイに警報表示を行う。また、必要に応じて、制動制御部６２は、制動装置７２を作動させて車両１を制動する。
【０１１８】
『５．他の種類のフィルタを用いた場合のカラー画像の生成処理』
次に、図６を参照して、フィルタ２１のＲＧＢＷの配置が異なる場合のカラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４の生成処理について説明する。
【０１１９】
図６（ａ）に示したようにＲＧＢＷが配置されたフィルタ２１−１を用いた場合、カメラ２により撮像される原画像４１−１は、図６（ｂ）に示したようになる。図６（ｂ）は、図２（ｂ）と同様に、各画素の階調値をＳ(r,g,b,w)i,jで表している。
【０１２０】
［５-1．Ｃi,jに対するＧ値の割り当て］
カラー画像生成部３２は、先ず、カラー画像４２の各画素（Ｃi,j）に割り当てるＧ値（Ｃi,jg）を算出する。原画像４１−１のＧ画素（階調値がＳgi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。例えば、カラー画像生成部３２は、原画像４１−１の（ｉ，ｊ）＝（２，２）の画素の階調値（Ｓg2,2）を、カラー画像４２の（ｉ，ｊ）＝（２，２）の画素のＧ値（Ｃ2,3g）とする。
【０１２１】
また、原画像４１−１のＲ画素（階調値がＳri,jである画素）、及びＢ画素（階調値がＳbi,jである画素）については、図６（ｂ）に示したように、斜め上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ，Ｂ画素の斜め上下に隣接するＧ画素の階調値（Ｓgi+1,j+1，Ｓgi-1,j-1，Ｓgi-1,j+1，Ｓgi+1,j-1）について、以下の式（３３）〜式（３６）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【０１２２】
【数３３】
2013088821.tif 000035
【０１２３】
【数３４】
2013088821.tif 000036
【０１２４】
【数３５】
2013088821.tif 000037
【０１２５】
【数３６】
2013088821.tif 000038
【０１２６】
また、原画像４１−１のＷ画素（階調値がＳwi,jである画素）については、図６（ｂ）に示したように、上下又は左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の上下又は左右に隣接するＧ画素の階調値（Ｓgi-1,j，Ｓgi+1,j，Ｓgi,j-1，Ｓgi,j+1）について、以下の式（３７）〜式（３８）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【０１２７】
【数３７】
2013088821.tif 000039
【０１２８】
【数３８】
2013088821.tif 000040
【０１２９】
［５-2．Ｃi,jに対するＲ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＲ値（Ｃi,jr）を算出する。原画像４１−１のＲ画素（階調値がＳri,jである画素）については、自身の階調値をカラー画像４２のＲ値とする。例えば、カラー画像生成部３２は、原画像４１−１の（ｉ，ｊ）＝（３，３）の画素の階調値（Ｓr3,3）を、カラー画像４２の（ｉ，ｊ）＝（３，３）の画素のＲ値（Ｃ3,3r）とする。
【０１３０】
また、原画像４１−１のＢ画素（階調値がＳbi,jである画素）については、図６（ｂ）に示したように、上下左右にＷ画素が隣接すると共に、上下左右の２個目の画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下左右の２個目のＲ画素の階調値（Ｓri+2,j，Ｓri-2,j，Ｓri,j+2，Ｓri,j-2）について、以下の式（３９）〜式（４２）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【０１３１】
【数３９】
2013088821.tif 000041
【０１３２】
【数４０】
2013088821.tif 000042
【０１３３】
【数４１】
2013088821.tif 000043
【０１３４】
【数４２】
2013088821.tif 000044
【０１３５】
また、原画像４１−１のＧ画素（階調値がＳgi,jである画素）については、図６（ｂ）に示したように、斜め右上と斜め左下又は斜め左上と斜め右下に隣接する画素が、Ｒ画素になっている。そこで、カラー画像生成部３２は、原画像４１−１の対象とするＧ画素の斜め上下に隣接するＲ画素の階調値（Ｓri+1,j+1，Ｓri-1,J-1，Ｓri-1,j+1，Ｓri+1,j-1）について、以下の式（４３）〜式（４４）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【０１３６】
【数４３】
2013088821.tif 000045
【０１３７】
【数４４】
2013088821.tif 000046
【０１３８】
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、上下左右のいずれかに隣接する一つの画素がＲ画素になっている。そこで、カラー画像生成部３２は、以下の式（４５）〜式（４８）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【０１３９】
【数４５】
2013088821.tif 000047
【０１４０】
【数４６】
2013088821.tif 000048
【０１４１】
【数４７】
2013088821.tif 000049
【０１４２】
【数４８】
2013088821.tif 000050
【０１４３】
［５-3．Ｃi,jに対するＢ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＢ値（Ｃi,jb）を算出する。原画像４１−１のＢ画素（階調値がＳbi,jである画素）については、自身の階調値をカラー画像４２のＢ値とする。例えば、カラー画像生成部３２は、原画像４１−１の（ｉ，ｊ）＝（３，５）の階調値（Ｓb3,5）を、カラー画像４２の（ｉ，ｊ）＝（３，５）の画素のＢ値（Ｃ3,5b）とする。
【０１４４】
また、原画像４１−１のＲ画素（階調値がＳri,jである画素）については、図６（ｂ）に示したように、上下左右にＷ画素が隣接すると共に、上下左右の２個目の画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下左右の２個目のＢ画素の階調値（Ｓbi+2,j，Ｓbi-2,j，Ｓbi,j+2，Ｓbi,j-2）について、以下の式（４９）〜式（５２）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【０１４５】
【数４９】
2013088821.tif 000051
【０１４６】
【数５０】
2013088821.tif 000052
【０１４７】
【数５１】
2013088821.tif 000053
【０１４８】
【数５２】
2013088821.tif 000054
【０１４９】
また、原画像４１−１のＧ画素（階調値がＳgi,jである画素）については、図６（ｂ）に示したように、斜め右上と斜め左下又は斜め左上と斜め右下に隣接する画素が、Ｂ画素になっている。そこで、カラー画像生成部３２は、原画像４１−１の対象とするＧ画素の斜め上下に隣接するＢ画素の階調値（Ｓbi+1,j+1，Ｓbi-1,J-1，Ｓbi-1,j+1，Ｓbi+1,j-1）について、以下の式（５３）〜式（５４）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【０１５０】
【数５３】
2013088821.tif 000055
【０１５１】
【数５４】
2013088821.tif 000056
【０１５２】
また、原画像４１−１のＷ画素（階調値がＳwi,jである画素）については、上下左右のいずれかに隣接する一つの画素がＢ画素になっている。そこで、カラー画像生成部３２は、以下の式（５５）〜式（５８）により、原画像４１−１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【０１５３】
【数５５】
2013088821.tif 000057
【０１５４】
【数５６】
2013088821.tif 000058
【０１５５】
【数５７】
2013088821.tif 000059
【０１５６】
【数５８】
2013088821.tif 000060
【０１５７】
以上の処理により、カラー画像生成部３２は、原画像４１−１から、カラー画像４２の各画素に割り当てるＲ値（Ｃi,jr），Ｇ値（Ｃi,jg），Ｂ値（Ｃi,jb）を算出して、カラー画像４２を生成する。
【０１５８】
『６．他の種類のフィルタを用いた場合の高感度画像の生成処理』
高感度画像生成部３３は、原画像４１−１のＷ画素の階調値（Ｓwi,j）とカラー画像４２の各画素のＲ，Ｇ，Ｂ値とにより、高感度画像４３の各画素に割り当てる階調値（Ｈi,j）を算出する。
【０１５９】
高感度画像生成部３３は、先ず、以下の式（５９）により、カラー画像４２の各画素についてグレーの参照階調値（Ｙi,j）を算出する。なお、原画像４１−１のＲ画素，Ｇ画素，Ｂ画素に対応するカラー画像４２の画素について、以下の式（５９）により算出した参照階調値が本発明の第１参照階調値に相当する。また、原画像４１−１のＷ画素に対応するカラー画像４２の画素について、以下の式（５９）により算出した参照階調値が本発明の第２参照階調値に相当する。
【０１６０】
【数５９】
2013088821.tif 000061
【０１６１】
但し、Ｙi,j：参照階調値、Ｃi,jr：カラー画像４２の各画素Ｃi,jのＲ値、Ｃi,jg：カラー画像４２の各画素Ｃi,jのＧ値、Ｃi,jb：カラー画像４２の各画素Ｃi,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。
【０１６２】
そして、高感度画像生成部３３は、以下の式（６０）により、原画像４１−１の各Ｗ画素の階調値（Ｓwi,j）と、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値（Ｙi,j）との比（ａi,j）を、感度差補正係数として算出する。なお、感度差補正係数ａi,jは、本発明の階調相違度合に相当する。
【０１６３】
【数６０】
2013088821.tif 000062
【０１６４】
［６-1．Ｗ画素に対応する階調値Ｈi,jの割り当て］
高感度画像生成部３３は、原画像４１−１のＷ画素の階調値（Ｓwi,j）を、高感度画像４３の対応する配置位置の画素の階調値（Ｈi,j）に割り当てる。
【０１６５】
［６-2．Ｇ，Ｒ，Ｂ画素に対応する階調値Ｈi,jの割り当て］
図２（ｂ）に示した原画像４１において、Ｇ画素，Ｒ画素，及びＢ画素の上下左右には、いずれもＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、以下の式（６１）〜式（６４）により、原画像４１−１のＧ画素，Ｒ画素，及びＢ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。
【０１６６】
【数６１】
2013088821.tif 000063
【０１６７】
【数６２】
2013088821.tif 000064
【０１６８】
【数６３】
2013088821.tif 000065
【０１６９】
【数６４】
2013088821.tif 000066
【０１７０】
以上の処理により、高感度画像生成部３３は、原画像４１−１及びカラー画像４２から、高感度画像４３の各画素に割り当てる階調値（Ｈi,j）を算出して、高感度画像４３を生成する。
【０１７１】
『７．他の種類のフィルタを用いた場合の広ダイナミックレンジ画像の生成処理』
広ダイナミックレンジ画像生成部３４は、上述した『３．広ダイナミックレンジ画像生成処理』と同様に、原画像４１−１から生成したカラー画像４２と高感度画像４３の配置位置が同じ各画素間で、重み付け関数を用いた合成処理を行って、広ダイナミックレンジ画像４４を生成する。
【０１７２】
なお、本実施形態では、本発明の画像処理装置を車両１に搭載した例を示したが、特にこの実施形態に限定されず、監視装置等の種々の用途に本発明を適用することができる。
【０１７３】
また、本実施形態では、図２（ａ）及び図６（ａ）に示した２種類のフィルタを示したが、カラーフィルタを介して受光する受光画素とカラーフィルタを介さずに受光する受光画素とを配置して構成された撮像素子により、撮像するカメラの撮像画像であれば、本発明を適用して高感度画像を生成することができる。
【０１７４】
また、本実施形態では、上記式（２６）、式（６０）により、原画像４１，４１−１の各Ｗ画素の階調値（Ｓwi,j）と、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値（Ｙi,j）との比（ａi,j）を、感度差補正係数として算出し、感度差補正係数ａを用いて、上記式（２７）〜式（２９），上記式（６１）〜式（６４）により、高感度画像の各画素の階調値（Ｈi,j）を算出した。しかし、本発明の階調相違度合として、各Ｗ画素の階調値（Ｓwi,j）と参照階調値（Ｙi,j）との差等、Ｗ画素の階調値（Ｓwi,j）に基づく他の指標を用いて、高感度画像の各階調値（Ｈi,j）を算出してもよい。
【産業上の利用可能性】
【０１７５】
本発明は、カラーフィルタを介して受光する画素と、カラーフィルタを介さずに受光する画素とを配置した撮像素子を用いたカメラの撮像画像から、高感度画像、広ダイナミックレンジ画像等を生成するために利用することができる。
【符号の説明】
【０１７６】
１…車両、２…カメラ、３…画像コントローラ、６…車両コントローラ、２１（２１−１）…フィルタ、２２…撮像素子、３０…制御回路、３１…原画像取得部、３２…カラー画像生成部、３３…高感度画像生成部、３４…広ダイナミックレンジ画像生成部、３５…画像生成部、３６…対象物検知部、４１（４１−１）…原画像、４２…カラー画像、４３…高感度画像、４４…広ダイナミックレンジ画像。
【図１】
2013088821.tif 000067
【図２】
2013088821.tif 000068
【図３】
2013088821.tif 000069
【図４】
2013088821.tif 000070
【図５】
2013088821.tif 000071
【図６】
2013088821.tif 000072
【手続補正書】
【提出日】平成26年6月27日(2014.6.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、配置した撮像素子により、撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、
前記各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した補正階調値を算出し、
前記各カラー画素の補正階調値に基づいて、高感度画像と広ダイナミックレンジ画像とのうちの少なくともいずれか一方を生成する画像生成部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像生成部は、前記各カラー画素の補正階調値及び前記各透明画素の階調値を、前記高感度画像の対応する配置位置の画素の階調値として割り当てることにより、前記高感度画像を生成することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から算出したグレーの第２参照階調値と、自身の階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出して、該３原色の各階調値から前記第１参照階調値を算出し、
前記第１参照階調値を、周囲に配置された透明画素の前記階調相違度合に基づいて補正することによって、前記補正階調値を算出することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記画像生成部は、
前記原画像の各カラー画素について、自身の前記第１参照階調値と前記高感度画像の対応する配置位置の画素の階調値を合成した第１合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
前記原画像の各透明画素について、自身の前記第２参照階調値と前記高感度画像の対応する配置位置の階調値を合成した第２合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記画像生成部は、前記第１参照階調値及び前記第２参照階調値と、前記高感度画像の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより、前記第１合成階調値及び前記第２合成階調値を算出することを特徴とする画像処理装置。
【請求項６】
請求項２に記載の画像処理装置において、
前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする画像処理装置。
【請求項７】
請求項４に記載の画像処理装置において、
前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする画像処理装置。
【請求項８】
請求項１に記載の画像処理装置において、
前記画像生成部は、前記第１参照階調値と前記補正階調値を合成した第１合成階調値を、前記広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
前記各透明画素について、周囲に配置されたカラー画素の階調値に基づくグレーの第２参照階調値を算出し、該第２参照階調値と自身の階調値を合成した第２合成階調値を、前記広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、前記広ダイナミックレンジ画像を生成することを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第２参照階調値を算出して、自身の階調値と該第２参照階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第１参照階調値を算出して、該第１参照階調値を周囲に配置された透明画素の前記階調相違度合に応じて補正することにより、前記補正階調値を算出することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記画像生成部は、前記第１参照階調値と前記補正階調値の間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第１合成階調値を算出し、前記第２参照階調値と前記透明画素の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第２合成階調値を算出することを特徴とする画像処理装置。
【請求項１１】
請求項８に記載の画像処理装置において、
前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明は上記目的を達成するためになされたものであり、
より高感度の画像又は広いダイナミックレンジをもった画像を生成するために、本発明の画像処理装置は、
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを配置した撮像素子により、撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像に対して、
前記各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した補正階調値を算出し、
前記各カラー画素の補正階調値に基づいて、高感度画像と広ダイナミックレンジ画像とのうちの少なくともいずれか一方を生成する画像生成部と
を備えたことを特徴とする（第１発明）。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
第１発明によれば、前記画像生成部は、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したグレーの前記第１参照階調値を、周囲に配置された透明画素の階調値に応じて補正した前記補正階調値を算出することにより、各カラー画素について前記原画像の透明画素の階調値と同レベルの感度による階調値を得る。そして、前記画像生成部は、前記補正階調値に基づいて、高感度画像と広ダイナミックレンジ画像とのうちの少なくともいずれか一方を生成することができる。
また、第１発明において、前記画像生成部は、前記各カラー画素の補正階調値及び前記各透明画素の階調値を、前記高感度画像の対応する配置位置の画素の階調値として割り当てることにより、前記高感度画像を生成することを特徴とする（第２発明）。
第２発明によれば、前記画像生成部は、透明画素についてはその階調値を、また、カラー画素についてはその補正階調値を、高感度画像の対応する配置位置の階調値として割り当てることによって、前記高感度画像を生成することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、第２発明において、前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から算出したグレーの第２参照階調値と、自身の階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出して、該３原色の各階調値から前記第１参照階調値を算出し、
前記第１参照階調値を、周囲に配置された透明画素の前記階調相違度合に基づいて補正することによって、前記補正階調値を算出することを特徴とする（第３発明）。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
第３発明によれば、一般的な３原色（Ｒ・Ｇ・Ｂ、Ｃy・Ｍg・Ｙ等）カラーフィルタが設けられた撮像素子により撮像するカメラにより撮像された原画像から、カラー画素の階調値を透明画素の階調値に応じて補正した高感度画像を生成することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、第３発明において、前記画像生成部は、前記原画像の各カラー画素について、自身の前記第１参照階調値と前記高感度画像の対応する配置位置の画素の階調値を合成した第１合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、
前記原画像の各透明画素について、自身の前記第２参照階調値と前記高感度画像の対応する配置位置の階調値を合成した第２合成階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成することを特徴とする（第４発明）。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
第４発明によれば、前記高感度画像による高感度の階調値と、前記第１参照階調値及び前記第２参照階調値による低感度の階調値とを合成することにより、広ダイナミックレンジ画像を生成することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、第４発明において、前記画像生成部は、前記第１参照階調値及び前記第２参照階調値と、前記高感度画像の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより、前記第１合成階調値及び前記第２合成階調値を算出することを特徴とする（第５発明）。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
第５発明によれば、前記撮像素子のカラー受光画素と透明受光画素の感度差による前記広ダイナミックレンジ画像の各画素間の不連続性により、前記広ダイナミックレンジ画像が不自然な画像になることを抑制することができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、第２発明から第５発明において、前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする（第６発明）。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
第６発明によれば、低輝度の対象物（歩行者等）を検知するときは、前記高感度画像を用いる前記第１対象物検知処理により、また、色情報を有する対象物（道路に敷設された白線・黄線、信号機の赤・青点灯等）を検知するときには、前記カラー画像を用いる前記第２対象物検知処理により、種々の対象物を検知することができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、第４発明又は第５発明において、前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記高感度画像から対象物を検知する第１対象物検知処理と、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする（第７発明）。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
第７発明によれば、低輝度の対象物（歩行者等）を検知するときは、前記高感度画像を用いる前記第１対象物検知処理により、また、色情報を有する対象物（道路に敷設された白線・黄線、信号機の赤・青点灯等）を検知するときには、前記カラー画像を用いる前記第２対象物検知処理により、また、低輝度から高輝度までの幅広い輝度の対象物（夜間における車両、歩行者等）を検知するときには、前記広ダイナミックレンジ画像を用いる第３対象物検知処理により、種々の対象物を検知することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、第１発明において、前記画像生成部は、前記第１参照階調値と前記補正階調値を合成した第１合成階調値を、前記広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当て、前記各透明画素について、周囲に配置されたカラー画素の階調値に基づくグレーの第２参照階調値を算出し、該第２参照階調値と自身の階調値を合成した第２合成階調値を、前記広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、前記広ダイナミックレンジ画像を生成することを特徴とする（第８発明）。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
第８発明によれば、前記画像生成部は、前記各カラー画素について、前記各透明画素の階調値を用いることにより、感度を高めた前記補正階調値を算出すると共に、前記各透明画素について、周囲のカラー画素の階調値を用いることにより、低感度の前記第２参照階調値を算出する。そして、前記画像生成部は、前記各カラー画素については、前記第１参照階調値と前記補正階調値を合成した前記第１合成階調値を、対応する配置位置の画素の階調値として割り当て、また、前記各透明画素については、前記第２参照階調値と透明画素の階調値を合成した前記第２合成階調値を、対応する配置位置の画素として割り当てることにより、広ダイナミックレンジ画像を生成することができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、第８発明において、前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記画像生成部は、
前記原画像の各透明画素について、周囲に配置されたカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第２参照階調値を算出して、自身の階調値と該第２参照階調値との階調相違度合を算出し、
前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて３原色の各階調値を算出し、該３原色の各階調値から前記第１参照階調値を算出して、該第１参照階調値を周囲に配置された透明画素の前記階調相違度合に応じて補正することにより、前記補正階調値を算出することを特徴とする（第９発明）。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
第９発明によれば、前記第１参照階調値を前記階調相違度合に応じて補正することにより、前記補正階調値と前記透明画素の階調値とのばらつきを抑制して、前記広ダイナミックレンジ画像を生成することができる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、第９発明において、前記画像生成部は、前記第１参照階調値と前記補正階調値の間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第１合成階調値を算出し、前記第２参照階調値と前記透明画素の階調値との間で、同一レンジの値に変換して重み付けをした加算を行うことにより前記第２合成階調値を算出することを特徴とする（第１０発明）。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
第１０発明によれば、前記撮像素子のカラー受光画素と透明受光画素の感度差による前記広ダイナミックレンジ画像の各画素間の不連続性により、前記広ダイナミックレンジ画像が不自然な画像になることを抑制することができる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
また、第８発明から第１０発明のうちのいずれかにおいて、前記画像生成部は、前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成し、
検知対象物の種別又は前記カメラの撮像条件に応じて、前記カラー画像から対象物を検知する第２対象物検知処理と、前記広ダイナミックレンジ画像から対象物を検知する第３対象物検知処理とを、切替えて実行する対象物検知部を備えたことを特徴とする（第１１発明）。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
第１１発明によれば、色情報を有する対象物（道路に敷設された白線・黄線、信号機の赤・青点灯等）を検知するときには、前記カラー画像を用いる前記第２対象物検知処理により、また、低輝度から高輝度までの幅広い輝度の対象物（夜間における車両、歩行者等）を検知するときには、前記広ダイナミックレンジ画像を用いる第３対象物検知処理により、種々の対象物を検知することができる。
【国際調査報告】
2013088821.tif 000073
2013088821.tif 000074
2013088821.tif 000075
2013088821.tif 000076