(57)【特許請求の範囲】
【請求項１】
カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを配置してなる撮像素子を有し、車両に搭載されたカメラと、
該カメラにより撮像された原画像であって、各カラー受光画素の受光レベルに応じた階調値がそれぞれ割り当てられた複数のカラー画素と各透明受光画素の受光レベルに応じた階調値がそれぞれ割り当てられた複数の透明画素とを配置してなる原画像から、外界の映像を示すカラー又はモノトーンの外界画像を生成する外界画像生成手段と、
前記原画像の一部の領域である検出対象領域における前記カラー画素の階調値と、該検出対象領域における前記透明画素の階調値とに基づいて、該検出対象領域での受光成分のうち、前記複数のカラー受光画素のそれぞれが検出可能な波長域の全体の波長域の端部寄りの所定の波長域又は当該全体の波長域から逸脱した所定の波長域の受光成分を強調した画像である信号検出用画像を生成する信号検出用画像生成手段と、
該信号検出用画像から前記所定の波長域に含まれる信号成分を検出する信号検出手段とを備え、
前記信号検出用画像生成手段は、前記原画像のうち、前記信号成分の送信元である前走車又は道路脇の通信設備が存在する領域を前記検出対象領域として設定するように構成されていることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記前走車又は道路脇の通信設備が存在する領域とは、前記原画像中で前記前走車又は道路脇の通信設備が写っている領域であることを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記前走車又は道路脇の通信設備が存在する領域とは、前記原画像中で前記前走車又は道路脇の通信設備が写っている可能性が高い領域であることを特徴とする画像処理装置。
【請求項４】
請求項１記載の画像処理装置において、
前記所定の波長域は、赤外領域内の波長域であることを特徴とする画像処理装置。
【請求項５】
請求項１又は４記載の画像処理装置において、
前記信号検出用画像生成手段は、前記検出対象領域における各画素の階調値を、少なくとも前記検出対象領域に含まれる複数の前記透明画素の階調値に応じて設定してなる第１参照画像を生成する第１参照画像生成手段と、前記検出対象領域における各画素の階調値を、少なくとも前記該検出対象領域に含まれる複数の前記カラー画素の階調値に応じて設定してなる第２参照画像を生成する第２参照画像生成手段とを備え、該第１参照画像と第２参照画像との階調値の差の画像を前記信号検出用画像として生成することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルターを介さずに受光する複数の透明受光画素とを配置してなる撮像素子を有するカメラの撮像データを処理する画像処理装置に関する。
【背景技術】
【０００２】
従来、カラーフィルタを介して受光する画素（カラー受光画素）と、カラーフィルタを介さずに受光する画素（透明受光画素）とを配置して構成される撮像素子を用いることにより、カラー画像の感度を改善する手法が提案されている（例えば、特許文献１を参照）。
【０００３】
また、例えば車両の前方等を撮像するカメラを車両に搭載し、その搭載したカメラの撮像画像を用いて、車両の周辺の状況を監視する装置が従来より知られている（例えば、特許文献２を参照）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５０７９０８号公報
【特許文献２】特開２００４−２４７９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、例えば車両においては、他車あるいは道路脇の通信設備などから出力される通信信号や、車両の環境情報に関するセンシング信号等を、赤外領域等の所定の波長帯域の無線信号によって受信する場合がある。
【０００６】
このような場合には、通常、それらの信号を受信するための専用的な受信機が車両に搭載される。しかるに、このように専用的な受信機を車両に搭載すると、車両の軽量化やコスト低減の妨げとなるという不都合がある。
【０００７】
一方、本願発明者は、前記カラー受光画素と透明受光画素とを有するカメラでは、車両周辺の可視映像等の外界映像の画像を取得できるだけでなく、該カメラの撮像データ（各画素の出力データ）を利用することで、専用的な受信機を用いずとも、上記通信信号等の所定の波長域の信号を検出することが可能であることを知見した。
【０００８】
本発明はかかる背景に鑑みてなされたものであり、カラー受光画素と透明受光画素とを配置して構成された撮像素子を有するカメラを用いて、外界の映像を示す画像を取得することと、所定の波長域の信号を検出することとを行なうことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像装置は、かかる目的を達成するために、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを配置してなる撮像素子を有し、車両に搭載されたカメラと、
該カメラにより撮像された原画像であって、各カラー受光画素の受光レベルに応じた階調値がそれぞれ割り当てられた複数のカラー画素と各透明受光画素の受光レベルに応じた階調値がそれぞれ割り当てられた複数の透明画素とを配置してなる原画像から、外界の映像を示すカラー又はモノトーンの外界画像を生成する外界画像生成手段と、
前記原画像の一部の領域である検出対象領域における前記カラー画素の階調値と、該検出対象領域における前記透明画素の階調値とに基づいて、該検出対象領域での受光成分のうち、前記複数のカラー受光画素のそれぞれが検出可能な波長域の全体の波長域の端部寄りの所定の波長域又は当該全体の波長域から逸脱した所定の波長域の受光成分を強調した画像である信号検出用画像を生成する信号検出用画像生成手段と、
該信号検出用画像から前記所定の波長域に含まれる信号成分を検出する信号検出手段とを備え、
前記信号検出用画像生成手段は、前記原画像のうち、前記信号成分の送信元である前走車又は道路脇の通信設備が存在する領域を前記検出対象領域として設定するように構成されていることを特徴とする（第１発明）。
なお、前記前走車又は道路脇の通信設備が存在する領域とは、前記原画像中で前記前走車又は道路脇の通信設備が写っている領域であるか（第２発明）、あるいは、前記原画像中で前記前走車又は道路脇の通信設備が写っている可能性が高い領域である（第３発明）。
【００１０】
かかる第１〜第３発明によれば、前記外界画像生成手段によって、前記原画像から、外界の映像を示す外界画像が生成される。この外界画像により外界の状況を認識することが可能となる。この場合、外界画像は、カラー及びモノトーンのいずれの画像であってもよい。また、前記カメラの撮像素子が、透明受光画素を有するので、高感度な外界画像や、広ダイナミックレンジの外界画像を生成することもできる。
【００１１】
さらに、第１〜第３発明では、前記外界画像とは別に、前記信号検出用画像生成手段によって、前記原画像の一部の領域である検出対象領域における前記カラー画素の階調値と、該検出対象領域における前記透明画素の階調値とに基づいて、前記所定の波長域の受光成分を強調した画像である信号検出用画像が生成される。
この場合、前記原画像のうち、前記信号成分の送信元である前走車又は道路脇の通信設備が存在する領域が前記検出対象領域として設定される。
【００１２】
そして、前記信号検出手段によって、この信号検出用画像から前記所定の波長域に含まれる信号成分が検出される。
【００１３】
なお、前記所定の波長域の受光成分を強調した画像（信号検出用画像）というのは、より詳しくは、前記撮像素子の全体のうち、該検出対象領域に対応する箇所（該撮像素子の全体又はその一部の箇所）に含まれるカラー受光画素及び透明受光画素で受光される光（電磁波）のうち、前記所定の波長域の光（電磁波）に対する感度を他の波長域に比して相対的に高めた画像を意味する。
【００１４】
ここで、各カラー受光画素は、カラーフィルタを介して受光するものであるので、該カラー受光画素が検出可能な波長域は、該カラーフィルタを透過可能な波長域内に制限されたものとなる。
【００１５】
これに対して、各透明受光画素は、カラーフィルタを介さずに受光するものであるので、該透明受光画素が検出可能な波長域は、各カラー受光画素が検出可能な波長域の全体の波長域を逸脱した波長域も含む。
【００１６】
なお、カラー受光画素又は透明受光画素が検出可能な波長域というのは、各画素の受光感度（該画素がカラーフィルタ又は透明のフィルタを介して受光する場合には、該フィルタを含めた受光感度）と受光波長との関係を示すスペクトル特性において、該受光感度が相対的に高感度となる波長域を意味する。
【００１７】
また、各カラー受光画素が検出可能な波長域の全体の波長域は、前記撮像素子に含まれる複数のカラー受光画素のそれぞれが検出可能な波長域を合成した波長域を意味する。
【００１８】
そして、前記所定の波長域は、前記複数のカラー受光画素のそれぞれが検出可能な波長域の全体の波長域の端部寄りの所定の波長域又は当該全体の波長域から逸脱した所定の波長域であるので、該所定の波長域においては、各カラー受光画素が検出可能な波長域の中央付近の波長域に較べて、カラー受光画素の受光感度との差が大きなものとなる。
【００１９】
従って、前記検出対象領域で、前記所定の波長域の光が受光された場合と、受光されない場合とを比較すると、該検出対象領域におけるカラー受光画素の受光レベル（ひいては前記ガラー画素の階調値）は、両方の場合で大きな差異を生じ難いものとなる一方、該検出対象領域における透明受光画素の受光レベル（ひいては前記透明画素の階調値）は、両方の場合で比較的顕著な差異を生じやすい。
【００２０】
このため、前記原画像の検出対象領域における前記カラー画素の階調値と、該検出対象領域における前記透明画素の階調値とに基づいて、前記所定の波長域の受光成分を強調した画像である信号検出用画像が生成することができることとなる。ひいては、この信号検出用画像から、前記所定の波長域に含まれる信号成分を検出することができることとなる。
【００２１】
よって、本発明によれば、カラー受光画素と透明受光画素とを配置して構成された撮像素子を有するカメラを用いて、外界の映像を示す画像（前記外界画像）を取得することと、所定の波長域の信号を検出することとを行なうことができる。
【００２２】
上記第１発明では、前記所定の波長域は、例えば、赤外領域内の波長域である（第４発明）。カラーフィルタは、通常、近赤外領域等、赤外領域の一部の波長の光を透過し難いので、該赤外領域の一部の波長域に対するカラー受光画素の受光感度は低い。
【００２３】
これに対して、透明受光画素は、通常、該赤外領域の波長域に対する受光感度は、カラー受光画素の受光感度に比して十分に高い。
【００２４】
従って、前記所定の波長域として、カラーフィルタの有無で受光感度が異なる赤外領域内の波長域を採用することで、該赤外領域内の波長域の信号成分を適切に検出することができることとなる。
【００２５】
また、赤外領域内の波長域は、通信や、センシング（例えば雨滴検知や、赤外線画像の検知等）等に広く活用し得る波長域である。このため、第４発明によれば、前記外界画像を取得することと併せて、外部との通信や、センシングなどを行なうことができる。
【００２６】
上記第１発明又は第４発明では、前記信号検出用画像生成手段は、例えば次のような手法によって、前記信号検出用画像を生成することができる。
【００２７】
すなわち、前記信号検出用画像生成手段は、前記検出対象領域における各画素の階調値を、少なくとも前記該検出対象領域に含まれる複数の前記透明画素の階調値に応じて設定してなる第１参照画像を生成する第１参照画像生成手段と、前記検出対象領域における各画素の階調値を、少なくとも前記該検出対象領域に含まれる複数の前記カラー画素の階調値に応じて設定してなる第２参照画像を生成する第２参照画像生成手段とを備え、該第１参照画像と第２参照画像との階調値の差の画像を前記信号検出用画像として生成する（第５発明）。
【００２８】
この第５発明によれば、前記各カラー受光画素が検出可能な波長域の全体の波長域に関して、前記カメラの撮像素子に入射される外界の映像（当該全体の波長域に属する波長の映像）によらずに、第１参照画像と第２参照画像との階調値の一致度合いができるだけ高くなるように、該第１参照画像と第２参照画像とを生成することができる。このため、第１参照画像と第２参照画像との階調値の差の画像（詳しくは各画素の階調値として、第１参照画像と第２参照画像との階調値の差を割り当てた画像）は、前記所定の波長域の受光強度に対する依存性の高いものとなる。従って、当該差の画像を、所定の波長域の受光成 分を強調した前記信号検出用画像として得ることができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態の画像処理装置の構成を示す図。
【図２】図２（ａ）は実施形態におけるカメラのカラーフィルタの配置例を示す図、図２（ｂ）は実施形態のカメラの撮像素子から得られる撮像画像（原画像）を説明するための図。
【図３】図１に示す外界画像生成部に関する処理を示すフローチャート。
【図４】図１に示す外界画像生成部で生成される色別画像（Ｇ画像）を説明するための図。
【図５】図１に示す外界画像生成部で生成される色別画像（Ｒ画像）を説明するための図。
【図６】図１に示す外界画像生成部で生成される色別画像（Ｂ画像）を説明するための図。
【図７】図１に示す外界画像生成部で生成される色別画像（Ｗ画像）を説明するための図。
【図８】図１に示す外界画像生成部で生成されるカラー画像を説明するための図。
【図９】図１に示す外界画像生成部で生成される広ダイナミックレンジ画像を説明するための図。
【図１０】実施形態のカメラの受光画素の感度を例示するグラフ。
【図１１】図１に示す通信信号生成部に関する処理を示すフローチャート。
【図１２】図１２（ａ），（ｂ），（ｃ）は、それぞれ図１に示す信号検出用画像生成部で生成される第１参照画像、第２参照画像、信号検出用画像を説明するための図。
【図１３】図１３（ａ），（ｂ）はそれぞれ、カメラのカラーフィルタの他の配置例を示す図。
【発明を実施するための形態】
【００３０】
本発明の画像処理装置の一実施形態を、図１〜図１２を参照して説明する。図１を参照して、本実施形態の画像処理装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とにより構成されている。
【００３１】
カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の周囲を撮像し、撮像データを画像コントローラ３の制御回路３０に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子をｍ行ｎ列の配列パターンで２次元状に配列して構成されている。
【００３２】
図２（ａ）を参照して、カメラ２のフィルタ２１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のカラーフィルタ、すなわち、Ｒ、Ｇ、Ｂの波長域の光（可視光）をそれぞれ透過可能な３種類のカラーフィルタにより構成される。これらの３原色のカラーフィルターのうちのいずれかの色のカラーフィルタが、撮像素子２２のｍ×ｎ個の受光画素のうちの、所定割合の個数の受光画素の受光経路側に装着されている。これにより、カラーフィルタが装着された各受光画素は、それぞれに対応する色のカラーフィルタを介して受光する。
【００３３】
なお、これらの受光画素（上記所定割合の個数の受光画素）に装着されたカラーフィルタの全体には、Ｒ、Ｇ、Ｂの全ての色のカラーフィルタが含まれる。従って、カラーフィルタが装着された受光画素の全体は、Ｒの色のカラーフィルタ（以降、Ｒフィルタという）が装着された受光画素（以降、Ｒ受光画素という）と、Ｇの色のカラーフィルタ（以降、Ｇフィルタという）が装着された受光画素（以降、Ｇ受光画素という）と、Ｂの色のカラーフィルタ（以降、Ｂフィルタという）が装着された受光画素（以降、Ｂ受光画素という）とから構成される。これらのＲ受光画素、Ｇ受光画素、Ｂ受光画素は、本発明におけるカラー受光画素に相当するものである。
【００３４】
また、ｍ×ｎ個の受光画素のうちの、残りの受光画素には、カラーフィルタが省略された（装着されていない）ものとなっている。このため、この受光画素のそれぞれは、カラーフィルタを介さずに受光する。以降、この受光画素をＷ受光画素という。該Ｗ受光画素は、本発明における透明受光画素に相当するものである。
【００３５】
カメラ２は、Ｒ受光画素（図中Ｒ11，Ｒ15，…で示している）、Ｇ受光画素（図中Ｇ12，Ｇ14，…で示している）、Ｂ受光画素（図中Ｂ13，Ｂ31，…で示している）、及びＷ受光画素（図中Ｗ22，Ｗ24，…で示している）の出力信号を撮像データとして画像コントローラ３に出力する。各受光画素の出力信号は、該受光画素での所定時間あたりの受光レベルに応じた強度（大きさ）を有する信号である。
【００３６】
なお、各受光画素の受光レベルは、カメラ２の撮像素子２２に入射した光のうち、その受光画素で受光した光の強度に相当する。
【００３７】
なお、カラーフィルタとして、ＲＧＢ以外の他の種類のカラーフィルタ（Ｃy（シアン）、Ｍg（マゼンタ）、Ｙe（イエロー）の補色系３原色のフィルタ等）を用いてもよい。
【００３８】
画像コントローラ３は、図示しないＣＰＵ、メモリ、入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。
【００３９】
制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、外界画像生成部３２、通信信号検出部３３、対象物検知部３５として機能する。なお、原画像取得部３１、外界画像生成部３２、通信信号検出部３３、対象物検知部３５の一部又は全部をハードウェアにより構成してもよい。
【００４０】
原画像取得部３１は、カメラ２に制御信号を出力して車両１の周囲を撮像させ、カメラ２から出力される撮像データ（各受光画素の出力信号）により、原画像４１のデータを取得して画像メモリ４０に保持する。
【００４１】
原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２の各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素）の出力信号の強度を示す階調値を、対応する配置位置の画素（配置位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値を、Ｓ（大文字）と、小文字ｒ，ｇ，ｂ，ｗのいずれかと、添え字i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）との組により構成される変数により示している。
【００４２】
ここで、Ｓｒijは図２（ａ）のＲ受光画素に対応した配置位置の画素（以下、Ｒ画素という）の階調値を示し、Ｓｇijは図２（ａ）のＧ受光画素に対応した配置位置の画素（以下、Ｇ画素という）の階調値を示し、Ｓｂijは図２（ａ）のＢ受光画素に対応した配置位置の画素（以下、Ｂ画素という）の階調値を示し、Ｓｗijは図２（ａ）のＷ受光画素に対応した配置位置の画素（以下、Ｗ画素という）の階調値であることを示している。
【００４３】
なお、Ｗ画素は、本発明における透明画素に相当し、Ｒ画素、Ｇ画素及びＢ画素は、本発明におけるカラー画素に相当する。
【００４４】
外界画像生成部３２は、本発明の外界画像生成手段に相当する機能部である。この外界画像生成部３２は、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素のそれぞれに対応する４種類の色別画像４２と、カラー画像４３と、広ダイナミックレンジ画像４４とを外界画像として生成し、それらの画像を画像メモリ４０に保持する。
【００４５】
通信信号検出部３３は、本発明の通信信号検出手段に相当する機能部である。この通信信号検出部３３は、本実施形態では、車両１の外部の他車両から出力される車車間通信用の通信信号、あるいはビーコン等の道路脇の通信設備から出力される通信信号を検出する。これらの通信信号は、例えば近赤外領域の波長域の通信信号（ＯＮ・ＯＦＦのパルス列からなる信号）である。
【００４６】
この場合、通信信号検出部３３は、本発明における信号検出用画像生成手段に相当する信号検出用画像生成部３４としての機能を含んでおり、この信号検出用画像生成部３４で後述する如く生成した信号検出用画像４５を画像メモリ４０に保持する。そして、通信信号検出部３３は、信号検出用画像４５から、通信信号を検出する。
【００４７】
なお、通信信号検出部３３の信号検出用画像生成部３４は、本発明における第１参照画像生成手段、第２参照画像生成手段としての機能を含んでいる。
【００４８】
対象物検知部３５は、色別画像４２、カラー画像４３、及び広ダイナミックレンジ画像４４を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。
【００４９】
車両コントローラ６は、図示しないＣＰＵ、メモリ、入出力回路等により構成された電子回路ユニットである。そして、車両コントローラ６は、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。
【００５０】
なお、画像コントローラ３と車両コントローラ６とは、ＣＡＮドライバ５０，６４を介して相互に通信を行う。
【００５１】
次に、外界画像生成部３２の処理（原画像取得部３１の処理を含む）を図３〜図９を参照して詳細に説明する。外界画像生成部３２は、原画像取得部３１の処理を含めて図３のフローチャートに示す処理を実行することで、外界画像としての色別画像４２、カラー画像４３、広ダイナミックレンジ画像４４を生成する。
【００５２】
図３のＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１（図２（ｂ）参照）を取得して画像メモリ４０に保持する。
【００５３】
続くＳＴＥＰ２において、外界画像生成部３２は、原画像から４種類の色別画像４２を生成して、それらの色別画像４２を画像メモリ４０に保持する。
【００５４】
上記４種類の色別画像４２は、より詳しくは、Ｒ受光画素に対応する色（赤）の色別画像４２であるＲ画像（以降、参照符号４２ｒを付する）と、Ｇ受光画素に対応する色（緑）の色別画像４２であるＧ画像（以降、参照符号４２ｇを付する）と、Ｂ受光画素に対応する色（緑）の色別画像４２であるＢ画像（以降、参照符号４２ｂを付する）と、Ｗ受光画素に対応する色（グレー）の色別画像４２であるＷ画像（以降、参照符号４２ｗを付する）とから構成される。
【００５５】
Ｒ画像４２ｒは、その各画素の階調値が、原画像４１のうちの、少なくともＲ画素の階調値を基にデモザイキング処理により決定される赤色階調のモノトーン画像（赤色の輝度分布を示す画像）である。
【００５６】
また、Ｇ画像４２ｇは、その各画素の階調値が、原画像４１のうちの、少なくともＧ画素の階調値を基にデモザイキング処理により決定される緑色階調のモノトーン画像（緑色の輝度分布を示す画像）である。
【００５７】
また、Ｂ画像４２ｂは、その各画素の階調値が、原画像４１のうちの、少なくともＢ画素の階調値を基にデモザイキング処理により決定される青色階調のモノトーン画像（青色の輝度分布を示す画像）である。
【００５８】
また、Ｗ画像４２ｗは、その各画素の階調値が、原画像４１のうちの、少なくともＷ画素の階調値を基にデモザイキング処理により決定されるグレー階調のモノトーン画像（グレーの輝度分布を示す画像）である。
【００５９】
これらの４種類の色別画像４２（４２ｒ，４２ｇ，４２ｂ，４２ｗ）は、本実施形態では、次のように生成される。
【００６０】
まず、Ｒ画像４２ｒ、Ｇ画像４２ｒ、Ｂ画像４２ｂ、Ｗ画像４２ｗのうちの１つの色別画像４２が、基準輝度分布画像として生成される。この基準輝度分布画像は、カメラ２の撮影対象の実際の輝度分布に対する適合度合が比較的高いものとなる輝度分布状態を有する画像を意味する。
【００６１】
本実施形態では、例えば、撮像素子２２のうち、最も個数の多いＧ受光画素に対応するＧ画像４２ｇが基準輝度分布画像として生成される。このＧ画像４２ｇは、図４に示すように、各画素の階調値として、Ｇ値（Ｇ（緑）の輝度値）を割り当てた画像である。図４では、各画素の階調値（Ｇ値）をＧ'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【００６２】
基準輝度分布画像としてのＧ画像４２ｇの各画素のＧ値Ｇ'i,jは、次のよう決定される。
【００６３】
Ｇ画像４２ｇの画素のうち、原画像４１のＧ画素（階調値がＳgi,jである画素）に対応する配置位置の画素（配置位置が同じ画素）については、次式（１）で示す如く、対応する原画像４１のＧ画素の階調値Ｓgi,jが、そのままＧ画像４２ｇの当該画素のＧ値（Ｇ'i,j）として決定される。例えば、図２（ｂ）に示す原画像４１の（ｉ，ｊ）＝（２，３）の配置位置の画素の階調値（Ｓg2,3）が、Ｇ画像４２ｇの（ｉ，ｊ）＝（２，３）の配置位置の画素のＧ値（Ｇ'2,3）として決定される。
【００６４】
Ｇ'i,j＝Ｓgi,j    ……（１）
また、Ｇ画像４２ｇの画素のうち、原画像４１のＧ画素以外の画素（Ｒ画素又はＢ画素又はＷ画素）に対応する配置位置の画素については、その画素の周囲の配置位置のＧ画素の階調値を少なくとも用いて補完的に決定される。
【００６５】
具体的には、Ｇ画像４２ｇの画素のうち、原画像４１のＲ画素又はＢ画素に対応する配置位置の画素については、その画素の上下及び左右に隣接する４つのＧ画素の階調値Ｓgi+1,j、Ｓgi-1,j、Ｓgi,j+1、Ｓgi,j-1を基に、次式（２），（３）のＩg、Ｊgの大小関係に応じて、式（４）又は（５）又は（６）によりＧ値（Ｇ'i,j）が決定される。
【００６６】
Ｉg＝｜Ｓgi+1,j−Ｓgi-1,j｜    ……（２）
Ｊg＝｜Ｓgi,j+1−Ｓgi,j-1｜    ……（３）
Ｉg＜Ｊgである場合
Ｇ'i,j＝（Ｓgi+1,j＋Ｓgi-1,j）／２    ……（４）
Ｉg＞Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1）／２    ……（５）
Ｉg＝Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1＋Ｓgi+1,j＋Ｓgi-1,j）／４    ……（６）
また、Ｇ画像４２ｇの画素のうち、原画像４１のＷ画素に対応する配置位置の画素については、その画素の上下及び左右に隣接する４つのＧ画素の階調値Ｓgi+1,j、Ｓgi-1,j、Ｓgi,j+1、Ｓgi,j-1と、対応するＷ画素の階調値Ｓwi,jと、その上下及び左右に１画素の間隔をおいて存在する４つのＷ画素の階調値Ｓwi+2,j、Ｓwi-2,j、Ｓwi,j+2、Ｓwi,j-2とを基に、次式（７），（８）のＩg、Ｊgの大小関係に応じて、式（９）又は（１０）又は（１１）によりＧ値（Ｇ'i,j）が決定される。
【００６７】
Ｉg＝｜Ｓgi+1,j−Ｓgi-1,j｜＋｜２Ｓrxi,j−Ｓrxi+2,j−Ｓrxi-2,j｜  ……（７）
Ｊg＝｜Ｓgi,j+1−Ｓgi,j-1｜＋｜２Ｓrxi,j−Ｓrxi,j+2−Ｓrxi,j-2｜  ……（８）
Ｉg＜Ｊgである場合
Ｇ'i,j＝（Ｓgi+1,j＋Ｓgi-1,j）／２
＋（２Ｓrxi,j−Ｓrxi+2,j−Ｓrxi-2,j）／４    ……（９）
Ｉg＞Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1）／２
＋（２Ｓrxi,j−Ｓrxi,j+2−Ｓrxi,j-2）／４    ……（１０）
Ｉg＝Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1＋Ｓgi+1,j＋Ｓgi-1,j）／４
＋（４Ｓrxi,j−Ｓrxi+2,j−Ｓrxi-2,j−Ｓrxi,j+2−Ｓrxi,j-2）／８
……（１１）
以上の処理（デモザイキング処理）により、原画像４１のＧ画素の階調値（Ｇ値）を用いて、Ｇ画像４２ｇの各画素に、緑の階調値（輝度値）を示すＧ値が割り当てられる。これにより、基準輝度分布画像としてのＧ画像４２ｇ（緑色階調の輝度分布画像）が生成される。
【００６８】
ＳＴＥＰ２において、外界画像生成部３２は、次に、基準輝度分布画像として生成したＧ画像４２ｇ以外の残りの３つの色別画像４２ｒ，４２ｂ，４２ｗを生成する。この場合、本実施形態では、残りの３つの色別画像４２ｒ，４２ｂ，４２ｗの生成は、以下に説明する如く、基準輝度分布画像の輝度分布を反映させて行なわれる。
【００６９】
まず、Ｒ画像４２ｒは、図５に示すように、各画素の階調値として、Ｒ値（赤の輝度値）を割り当てた画像である。図５では、各画素の階調値（Ｒ値）をＲ'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。このＲ画像４２ｒの各画素のＲ値（Ｒ'i,j）は、次のよう決定される。
【００７０】
すなわち、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（１２）で示す如く、対応する原画像４１のＲ画素の階調値Ｓri,jが、Ｒ画像４２ｒの当該画素のＲ値（Ｒ'i,j）として決定される。
【００７１】
Ｒ'i,j＝Ｓri,j    ……（１２）
また、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素以外の画素（Ｇ画素又はＢ画素又はＷ画素）に対応する配置位置の画素のＲ値（Ｒ'i,j）は、当該画素の周囲のＲ画素の階調値（原画像４１での階調値）と、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇでの階調値（Ｇ値））とを用いて決定される。
【００７２】
具体的には、Ｒ画像４２ｒの画素のうち、原画像４１のＢ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＲ画素（原画像４１中のＲ画素）の階調値Ｓri+2,j、Ｓri-2,j、Ｓri,j+2、Ｓri,j-2と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i+2,j、G'i-2,j、Ｇ'i,j+2、Ｇ'i,j-2とを基に、次式（１３），（１４）のＩr、Ｊrの大小関係に応じて、式（１５）又は（１６）又は（１７）によりＲ値（Ｒ'i,j）が決定される。
【００７３】
Ｉr＝｜Ｓri+2,j−Ｓri-2,j｜＋｜２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j｜  ……（１３）
Ｊr＝｜Ｓri,j+2−Ｓri,j-2｜＋｜２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2｜  ……（１４）
Ｉr＜Ｊrである場合
Ｒ'i,j＝（Ｓri+2,j＋Ｓri-2,j）／２
＋（２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j）／２    ……（１５）
Ｉr＞Ｊrである場合
Ｒ'i,j＝（Ｓri,j+2＋Ｓri,j-2）／２
＋（２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2）／２    ……（１６）
Ｉr＝Ｊrである場合
Ｒ'i,j＝（Ｓri,j+2＋Ｓri,j-2＋Ｓri+2,j＋Ｓri-2,j）／４
＋（４Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j−G'i,j+2−Ｇ'i,j-2）／４
……（１７）
また、Ｒ画像４２ｒの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＲ画素（原画像４１中の画素）の階調値Ｓri+1,j又はＳri-1,j又はＳri,j+1又はＳri,j-1と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下左右のいずれかに隣接する１つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i+1,j、G'i-1,j、Ｇ'i,j+1、Ｇ'i,j-1とを基に、次式（１８）又は（１９）又は（２０）又は（２１）によりＲ値（Ｒ'i,j）が決定される。
【００７４】
下側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri+1,j＋（Ｇ'i,j−Ｇ'i+1,j）    ……（１８）
上側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri-1,j＋（Ｇ'i,j−Ｇ'i-1,j）    ……（１９）
右側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri,j+1＋（Ｇ'i,j−Ｇ'i,j+1）    ……（２０）
左側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri,j-1＋（Ｇ'i,j−Ｇ'i,j-1）    ……（２１）
また、Ｒ画像４２ｒの画素のうち、原画像４１のＷ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＲ画素（原画像４１中の画素）の階調値（Ｓri-1,j+1，Ｓri+1,j-1）又は（Ｓri-1,j−1，Ｓri+1,j+1）と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）（Ｇ'i-1,j+1，Ｇ'i+1,j-1）又は（Ｇ'i-1,j−1，Ｇ'i+1,j+1）とを基に、次式（２２）又は（２３）によりＲ値（Ｒ'i,j）が決定される。
【００７５】
右斜め上及び左斜め下にＲ画素が隣接する場合
Ｒ'i,j＝（Ｓri+1,j-1＋Ｓri-1,j+1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1）／２    ……（２２）
左斜め上及び右斜め下にＲ画素が隣接する場合
Ｒ'i,j＝（Ｓri+1,j+1＋Ｓri-1,j-1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1）／２    ……（２３）
以上のようにして、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素以外の各画素のＲ値（Ｒ'i,j）は、当該画素の周囲のＲ画素の階調値（原画像４１における階調値）に応じて決定される基本値（式（１５）〜（２３）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇにおけるＧ値）に応じて決定される補正値（式（１５）〜（２３）のそれぞれの右辺の第２項）により補正することによって、決定される。
【００７６】
そして、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素に対応する配置位置の各画素のＲ値（Ｒ'i,j）は、当該画素に対応する原画像４１のＲ画素の階調値Ｓri,jに一致するように決定される。
【００７７】
これによりＲ画像４２ｒが、基準輝度分布画像としてのＧ画像４２ｇの輝度分布を反映させて生成される。
【００７８】
次に、Ｂ画像４２ｂは、図６に示すように、各画素の階調値として、Ｂ値（青の輝度値）を割り当てた画像である。図６では、各画素の階調値（Ｂ値）をＢ'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。このＢ画像４２ｂの各画素のＢ値（Ｂ'i,j）は、Ｒ画像４２ｒの各画素のＲ値（Ｒ'i,j）と同様の仕方で決定される。
【００７９】
すなわち、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（２４）で示す如く、対応する原画像４１のＢ画素の階調値Ｓbi,jが、Ｂ画像４２ｂの当該画素のＢ値（Ｂ'i,j）として決定される。
【００８０】
Ｂ'i,j＝Ｓbi,j    ……（２４）
また、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素以外の画素（Ｒ画素又はＧ画素又はＷ画素）に対応する配置位置の画素のＢ値（Ｂ'i,j）は、当該画素の周囲のＢ画素の階調値（原画像４１での階調値）と、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇでの階調値（Ｇ値））とを用いて決定される。
【００８１】
具体的には、Ｂ画像４２ｂの画素のうち、原画像４１のＲ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＢ画素（原画像４１中のＢ画素）の階調値Ｓbi+2,j、Ｓbi-2,j、Ｓbi,j+2、Ｓbi,j-2と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i+2,j、G'i-2,j、Ｇ'i,j+2、Ｇ'i,j-2とを基に、次式（２５），（２６）のＩb、Ｊbの大小関係に応じて、式（２７）又は（２８）又は（２９）によりＢ値（Ｂ'i,j）が決定される。
【００８２】
Ｉb＝｜Ｓbi+2,j−Ｓbi-2,j｜＋｜２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j｜  ……（２５）
Ｊb＝｜Ｓbi,j+2−Ｓbi,j-2｜＋｜２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2｜  ……（２６）
Ｉb＜Ｊbである場合
Ｂ'i,j＝（Ｓbi+2,j＋Ｓbi-2,j）／２
＋（２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j）／２    ……（２７）
Ｉb＞Ｊbである場合
Ｂ'i,j＝（Ｓbi,j+2＋Ｓbi,j-2）／２
＋（２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2）／２    ……（２８）
Ｉb＝Ｊbである場合
Ｂ'i,j＝（Ｓbi,j+2＋Ｓbi,j-2＋Ｓbi+2,j＋Ｓbi-2,j）／４
＋（４Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j−G'i,j+2−Ｇ'i,j-2）／４
……（２９）
また、Ｂ画像４２ｂの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＢ画素（原画像４１中のＢ画素）の階調値Ｓbi+1,j又はＳbi-1,j又はＳbi,j+1又はＳbi,j-1と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下左右のいずれかに隣接する１つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i+1,j、G'i-1,j、Ｇ'i,j+1、Ｇ'i,j-1とを基に、次式（３０）又は（３１）又は（３２）又は（３３）によりＢ値（Ｂ'i,j）が決定される。
【００８３】
下側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi+1,j＋（Ｇ'i,j−Ｇ'i+1,j）    ……（３０）
上側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi-1,j＋（Ｇ'i,j−Ｇ'i-1,j）    ……（３１）
右側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi,j+1＋（Ｇ'i,j−Ｇ'i,j+1）    ……（３２）
左側にＲ画素が隣接する場合
Ｂ'i,j＝Ｓbi,j-1＋（Ｇ'i,j−Ｇ'i,j-1）    ……（３３）
また、Ｂ画像４２ｂの画素のうち、原画像４１のＷ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＢ画素（原画像４１中のＢ画素）の階調値（Ｓbi-1,j+1，Ｓbi+1,j-1）又は（Ｓbi-1,j−1，Ｓbi+1,j+1）と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）（Ｇ'i-1,j+1，Ｇ'i+1,j-1）又は（Ｇ'i-1,j−1，Ｇ'i+1,j+1）とを基に、次式（３４）又は（３５）によりＢ値（Ｂ'i,j）が決定される。
【００８４】
右斜め上及び左斜め下にＢ画素が隣接する場合
Ｂ'i,j＝（Ｓbi+1,j-1＋Ｓbi-1,j+1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1）／２    ……（３４）
左斜め上及び右斜め下にＢ画素が隣接する場合
Ｂ'i,j＝（Ｓbi+1,j+1＋Ｓbi-1,j-1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1）／２    ……（３５）
以上のようにして、Ｂ画像４２ｂの各画素うち、原画像４１のＢ画素に対応する配置位置の画素以外の各画素のＢ値（Ｂ'i,j）は、当該画素の周囲のＢ画素の階調値（原画像４１における階調値）に応じて決定される基本値（式（２７）〜（３５）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇにおけるＧ値）に応じて決定される補正値（式（２７）〜（３５）のそれぞれの右辺の第２項）により補正することによって、決定される。
【００８５】
そして、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素に対応する配置位置の各画素のＢ値（Ｂ'i,j）は、当該画素に対応する原画像４１のＢ画素の階調値Ｓbi,jに一致するように決定される。
【００８６】
これによりＢ画像４２ｂが、基準輝度分布画像としてのＧ画像４２ｇの輝度分布を反映させて生成される。
【００８７】
次に、Ｗ画像４２ｗは、図７に示すように、各画素の階調値として、Ｗ値（グレー階調の輝度値）を割り当てた画像である。図７では、各画素の階調値（Ｗ値）をＷ'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。このＷ画像４２ｗの各画素のＷ値（Ｗ'i,j）は、次のように決定される。
【００８８】
すなわち、Ｗ画像４２ｗの各画素のうち、原画像４１のＷ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（３６）で示す如く、対応する原画像４１のＷ画素の階調値Ｓwi,jが、Ｗ画像４２ｗの当該画素のＷ値（Ｗ'i,j）として決定される。
【００８９】
Ｗ'i,j＝Ｓwi,j    ……（３６）
また、Ｗ画像４２ｗの各画素のうち、原画像４１のＷ画素以外の画素（Ｒ画素又はＧ画素又はＢ画素）に対応する配置位置の画素のＷ値（Ｗ'i,j）は、当該画素の周囲のＷ画素の階調値（原画像４１での階調値）と、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇでの階調値（Ｇ値））とを用いて決定される。
【００９０】
具体的には、Ｗ画像４２ｗの画素のうち、原画像４１のＲ画素又はＢ画素に対応する配置位置の画素については、その画素の右斜め上、右斜め下、左斜め上、左斜め下に隣接する４つのＷ画素（原画像中のＷ画素）の階調値Ｓwi-1,j+1、Ｓwi+1,j+1、Ｓwi-1,j-1、Ｓwi+1,j-1と、対応する画素（Ｇ画像中の画素）のＧ値Ｇ'i,jと、その右斜め上、右斜め下、左斜め上、左斜め下に隣接する４つの画素（Ｇ画像４２ｇ中の画素）のＧ値Ｇ'i-1,j+1、G'i+1,j+1、Ｇ'i-1,j-1、Ｇ'i+1,j-1とを基に、次式（３７），（３８）のＩw、Ｊwの大小関係に応じて、式（３９）又は（４０）又は（４１）によりＷ値（Ｗ'i,j）が決定される。
【００９１】
Ｉw＝｜Ｓwi+1,j+1−Ｓwi-1,j-1｜
＋｜２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1｜  ……（３７）
Ｊw＝｜Ｓwi+1,j-1−Ｓwi-1,j+1｜
＋｜２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1｜  ……（３８）
Ｉw＜Ｊwである場合
Ｗ'i,j＝（Ｓwi+1,j+1＋Ｓwi-1,j-1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1）／２    ……（３９）
Ｉw＞Ｊwである場合
Ｗ'i,j＝（Ｓwi+1,j-1＋Ｓwi-1,j+1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1）／２    ……（４０）
Ｉw＝Ｊwである場合
Ｗ'i,j＝（Ｓwi+1,j+1＋Ｓwi+1,j-1＋Ｓwi-1,j+1＋Ｓwi-1,j-1）／４
＋（４Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i+1,j-1−G'i-1,j+1−Ｇ'i-1,j-1）／４
……（４１）
また、Ｗ画像４２ｗの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素に上下又は左右に隣接する２つのＷ画素（原画像４１中の画素）の階調値（Ｓwi-1,j、Ｓwi+1,j）又は（Ｓwi,j-1、Ｓwi,j+1）と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下又は左右に隣接する２つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）（Ｇ'i-1,j、Ｇ'i+1,j）又は（Ｇ'i,j-1、Ｇ'i,j+1）とを基に、次式（４２）又は（４３）によりＷ値（Ｗ'i,j）が決定される。
【００９２】
上下にＷ画素が隣接する場合
Ｗ'i,j＝（Ｓwi+1,j＋Ｓwi-1,j）／２
＋（２Ｇ'i,j−Ｇ'i+1,j−Ｇ'i-1,j）／２    ……（４２）
左右にＷ画素が隣接する場合
Ｗ'i,j＝（Ｓwi,j+1＋Ｓwi,j-1）／２
＋（２Ｇ'i,j−Ｇ'i,j+1−Ｇ'i,j-1）／２    ……（４３）
以上のようにして、Ｗ画像４２ｗの各画素うち、原画像４１のＷ画素に対応する配置位置の画素以外の各画素のＷ値（Ｗ'i,j）は、当該画素の周囲のＷ画素の階調値（原画像４１における階調値）に応じて決定される基本値（式（３９）〜（４３）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇにおけるＧ値）に応じて決定される補正値（式（３９）〜（４３）のそれぞの右辺の第２項）により補正することによって、決定される。
【００９３】
そして、Ｗ画像４２ｗの各画素のうち、原画像４１のＷ画素に対応する配置位置の各画素のＷ値（Ｗ'i,j）は、当該画素に対応する原画像４１のＷ画素の階調値Ｓwi,jに一致するように決定される。
【００９４】
これによりＷ画像４２ｗが、基準輝度分布画像としてのＧ画像４２ｇの輝度分布を反映させて生成される。
【００９５】
以上が、ＳＴＥＰ２において、外界画像生成部３２が４種類の色別画像４２ｒ，４２ｇ，４２ｂ，４２ｗを生成する処理（デモザイキング処理）の詳細である。
【００９６】
補足すると、Ｇ画像４２ｇ以外の色別画像４２を基準輝度分布画像として生成し、その基準輝度分布画像の輝度分布を反映させて他の３種類の色別画像を生成するようにしてもよい。例えば、原画像４１におけるＧ画素の全体のうち、階調値が所定値以下の微小値となっているＧ画素（所謂、黒つぶれ状態のＧ画素）が比較的多いような場合には、Ｗ画像４２ｗを基準輝度分布画像として生成し、その基準輝度分布画像の輝度分布を反映させて他の３種類の色別画像（Ｒ画像４２ｒ、Ｇ画増４２ｇ、Ｂ画像４２ｂ）を生成するようにしてもよい。
【００９７】
また、原画像４１の全体を複数の領域に区分けし、各領域毎に、４種類の色別画像４２のうちのいずれか１つを基準輝度分布画像として生成し、その基準輝度分布画像の輝度分布を反映させて残りの３種類の色別画像４２を生成するようにしてもよい。
【００９８】
ＳＴＥＰ２に続くＳＴＥＰ３では、外界画像生成部３２は、カラー画像４３を生成する。このカラー画像４３は、図８に示すように、その各画素に、Ｒ（赤）の階調値であるＲ値（Ｃi,j_r）と、Ｇ（緑）の階調値であるＧ値（Ｃi,j_g）と、Ｂ（青）の階調値であるＢ値（Ｃi,j_b）との組（３色の階調値の組）として構成される階調値Ｃi,jが割り当てられた画像である。
【００９９】
このカラー画像４３は、色別画像４２のうちのＲ画像４２ｒ、Ｇ画増４２ｂ、Ｂ画像４２ｂの合成画像として生成される。具体的には、次式（４４ａ）〜（４４ｃ）で示す如く、カラー画像４３の各画素の階調値Ｃi,jのうちのＲ値（Ｃi,j_r）、Ｇ値（Ｃi,j_g）、Ｂ値（Ｃi,j_b）として、それぞれ、Ｒ画像４２ｒの対応画素のＲ値（Ｒ'i,j）、Ｇ画像４２ｇの対応画素のＧ値（Ｇ'i,j）、Ｂ画像４２ｂの対応画素のＢ値（Ｂ'i,j）がそのまま設定される。
【０１００】
Ｃi,j_r＝Ｒ'i,j    ……（４４ａ）
Ｃi,j_g＝Ｇ'i,j    ……（４４ｂ）
Ｃi,j_b＝Ｂ'i,j    ……（４４ｃ）
これにより、カラー画像４３が生成される。
【０１０１】
ＳＴＥＰ３に続くＳＴＥＰ４では、外界画像生成部３２は、広ダイナミックレンジ画像４４を生成する。
【０１０２】
広ダイナミックレンジ画像４４は、前記色別画像４２やカラー画像４３よりもダイナミックレンジを拡張させた画像である。この広ダイナミックレンジ画像４４は、図９に示すように、その各画素に、階調値Ｄi,jを割り当てたモノトーン画像である。
【０１０３】
この場合、広ダイナミックレンジ画像４４の各画素の階調値Ｄi,jは、次のように決定される。
【０１０４】
外界画像生成部３２は、まず、カラー画像４３の各画素の３種類の階調値（Ｃi,j_r、Ｃi,j_g、Ｃi,j_b）（又はＲ画像４２ｒ、Ｇ画像４２ｇ、及びＢ画像４２ｂのそれぞれの対応画素の階調値Ｒ'i,j、Ｇ'i,j、Ｂ'i,j）から、カラー画像４３の各画素の輝度値に相当する参照階調値Ｙi,jを以下の式（４５）により算出する。
【０１０５】
Ｙi,j＝0.3×Ｃi,jr＋0.59×Ｃi,jg＋0.11×Ｃi,jb    ……（４５）
従って、Ｙi,jは、Ｃi,jr（＝Ｒ'i,j）、Ｃi,jg（＝Ｇ'i,j）、Ｃi,jb（＝Ｂ'i,j）の線形結合値として算出される。この場合、各項の重み付け係数（０．３，０．５９，０．１１）は、実験等により決定したものである。ただし、これらの重み係数は、他の値を用いてもよい。
【０１０６】
次いで、外界画像生成部３２は、以下の式（４６）により、原画像４１の各Ｗ画素の階調値Ｓwi,jと、各Ｗ画素に対応する配置位置のカラー画像４３の画素の参照階調値Ｙijとの比ａi,jを、感度差補正係数として算出する。
【０１０７】
ａi,j＝Ｓwi,j／Ｙi,j    ……（４６）
そして、外界画像生成部３２は、以下の式（４７）の重み付け関数ｗ(x)を用いて、広ダイナミックレンジ画像４４の各画素に割り当てる階調値（Ｄi,j）を算出する。
【０１０８】
ｗ(x)＝１／（１＋exp(g×(0.5−x))）  ……（４７）
但し、ｗ(x)はシグモイド関数、ｇはゲイン、exp( )は自然対数の底ｅの指数関数である。
【０１０９】
具体的には、外界画像生成部３２は、色別画像４２のうちのＷ画像４２ｗの階調値（Ｗ'i,j）を最大階調値（分解能が８bitであれば２５５、１０bitであれば１０２３）に対して規格化した規格化階調値（ｈi,j）と、カラー画像４３から上記式（４５）により算出した参照階調値（Ｙi,j）を、最大階調値で規格化した規格化階調値（ｙi,j）とから、以下の式（４８）により、規格化合成階調値（ｈdri,j）を算出する。なお、階調値を最大階調値に対して規格化するとは、階調値を最大階調値で除することを意味する。例えば、Ｗ'i,j＝２００，Ｙi,j＝６５で、最大階調値が２５５であるときには、ｈi,j＝２００／２５５，ｙi,j＝６５／２５５となる。
【０１１０】
ｈdri,j＝((１−ｗ(ｈi,j))×ｈi,j＋ｗ(ｈi,j)×ａ'×ｙi,j)／ａ'
……（４８）
但し、ａ'は、原画像４１のＷ画素に対応する画素を対象とするときは、上記式（４６）により算出した当該画素の感度差補正係数ａi,j、原画像４１のＲ画素又はＧ画素又はＢ画素に対応する画素を対象とするときは、周囲に配置されたＷ画素に対応する画素の感度差補正係数ａi,jである。
【０１１１】
そして、外界画像生成部３２は、低階調のコントラスを保つために、以下の式（４９）により規格化合成階調値（ｈdri,j）にγ変換処理を施すことで、広ダイナミックレンジ画像４４の対象画素に割り当てる階調値（Ｄi,j）を決定する。
【０１１２】
Ｄi,j＝Ｍb×(ｈdri,j)(1/γ)    ……（４９）
但し、Ｍbは広ダイナミックレンジ画像４４の最大階調値である。
【０１１３】
このように各画素の階調値（Ｄi,j）を決定することで、広ダイナミックレンジ画像４４が生成される。
【０１１４】
広ダイナミックレンジ画像４４を生成するために用いた上記式（４７）のシグモイド関数は、重み付け関数の一例であり、他の重み付け関数を用いてもよい。
【０１１５】
本実施形態では、以上説明した外界画像生成部３２の処理によって、４種類の色別画像４２（４２ｒ，４２ｇ，４２ｂ，４２ｗ）と、カラー画像４３と、広ダイナミックレンジ画像４４とが外界画像として生成される。この場合、色別画像４２のうちのＷ画像４２ｗは、カラーフィルタを介さずに受光するＷ受光画素の出力信号の強度を示すＷ画素の階調値Ｓwi,jを用いて生成される画像であるので、Ｒ画像４２ｒや、Ｇ画像４２ｇ、Ｂ画像４２ｂに比して高感度な画像としての意味を持つ。
【０１１６】
なお、外界画像生成部３２は、４種類の色別画像４２（４２ｒ，４２ｇ，４２ｂ，４２ｗ）と、カラー画像４３と、広ダイナミックレンジ画像４４との全ての画像を生成せずともよく、いずれかの外界画像の生成を省略してもよい。例えば、広ダイナミックレンジ画像４４の生成を省略してもよい。
【０１１７】
次に、通信信号検出部３３の処理を図１０及び図１１を参照して説明する。
【０１１８】
まず、図１０を参照して通信信号検出部３３の処理に関する基礎的事項を説明すると、カメラ２の撮像素子２２のＷ受光画素は、カラーフィルタを介さずにカメラ２への入射光（これは一般に可視光以外の波長域の電磁波を含む）を受光する。このため、Ｗ受光画素の受光感度（入射光の強度に対する受光画素の受光レベル（出力信号の強度）の比率）と、入射光の波長との関係（スペクトル特性）は、Ｗ受光画素を構成する受光素子自体の構造や材質に依存したものとなる。
【０１１９】
従って、Ｗ受光画素の受光感度のスペクトル特性は、一般に、例えば図１０の実線のグラフａwで示すような特性となる。この場合、Ｗ受光画素は、可視光域の波長はもちろん、近赤外領域の波長を含む幅広い波長域において感度を有し、当該幅広い波長域の入射光を検出可能である。
【０１２０】
一方、カメラ２への入射光をＲ，Ｇ，Ｂの各色のカラーフィルターを介して受光するＲ受光画素、Ｇ受光画素、Ｂ受光画素は、カメラ２への入射光のうち、それぞれに対応するカラーフィルタを透過可能な波長域の光だけを受光する。
【０１２１】
このため、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれの受光感度と、入射光の波長との関係（スペクトル特性）は、受光素子自体の特性と、それぞれに対応するカラーフィルタの透過特性とに依存したものとなる。
【０１２２】
この場合、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれの受光感度のスペクトル特性は、それぞれ、一般に、図１０の実線のグラフａr，ａg，ａbで例示するような特性となる。この場合、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素の受光感度は、それぞれ赤色の波長、緑色の波長、青色の波長の近辺の比較的狭い波長域で感度を有するような凸波形の特性となる。
【０１２３】
従って、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれが検出可能な波長域（それぞのれ受光画素の受光感度が相対的に高感度となる波長域）は、Ｗ受光画素よりも狭く、その大部分が可視光域内の波長となる。そして、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれの受光感度は、近赤外領域など、可視光域から逸脱した波長域では、可視光域での最大の受光感度に比して小さなものとなる。
【０１２４】
このため、Ｗ受光画素で検出可能な波長域（Ｗ受光画素の受光感度が相対的に高感度となる波長域）のうち、本実施形態における通信信号の波長域としての近赤外領域に着目すると、該近赤外領域は、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素の全体が検出可能な波長域（図１０に示すＷＬ）、すなわち、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれが検出可能な波長域を合成した波長域ＷＬの端部寄りの波長域、もしくは、該波長域ＷＬから逸脱した波長域となる。
【０１２５】
従って、近赤外領域の波長では、Ｗ受光画素の受光感度と、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞの受光感度との差（相違度合い）は、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞの受光感度が比較的大きなものとなる波長域に較べて、顕著なものとなる。
【０１２６】
通信信号検出部３３は、上記の如き特性を利用して、近赤外領域の波長域の通信信号を検出する。その検出のための処理を、図１１のフローチャートの従って以下に説明する。
【０１２７】
なお、通信信号検出部３３に関する図１１のフローチャートの処理には、外界画像生成部３２に関する図３のフローチャートの一部の処理と同じ処理が含まれる。この場合、図３と図１１とで互いに同じ処理は、通信信号検出部３３及び外界画像生成部３２の両方で各別に実行する必要はなく、一方だけで実行するようにしてもよい。その場合、通信信号検出部３３及び外界画像生成部３２は、互いに共通の処理機能を有することとなる。
【０１２８】
以下、図１１のフローチャートの処理を説明すると、まず、ＳＴＥＰ１１において、原画像取得部３１により原画像４１（図２（ｂ）参照）を取得して画像メモリ４０に保持する。このＳＴＥＰ１１の処理は、前記ＳＴＥＰ１の処理と同じである。従って、既にＳＴＥＰ１の処理が実行されている場合には、ＳＴＥＰ１１の処理を改めて行う必要はない。
【０１２９】
次いで、ＳＴＥＰ１２〜１６の処理が、通信信号検出部３３の信号検出用画像生成部３４により実行される。
【０１３０】
ＳＴＥＰ１２では、信号検出用画像生成部３４は、前記ＳＴＥＰ２と同じ処理によって、原画像から４種類の色別画像４２（Ｒ画像４２ｒ、Ｇ画像４２ｇ、Ｂ画像４２ｂ、Ｗ画像４２ｗ）を生成し、それらの色別画像４２を画像メモリ４０に保持する。なお、前記ＳＴＥＰ２の処理により既に色別画像４２が生成されている場合には、ＳＴＥＰ１２の処理を改めて行なう必要はない。
【０１３１】
次いで、ＳＴＥＰ１３において、信号検出用画像生成部３４は、原画像４１内に、通信信号を検出しようとする検出対象領域を設定する。例えば、前走車から送信される通信信号を受信しようとする場合、原画像４１中で、前走車が写っているか、もしくは写っている可能性の高い領域（自車両１とほぼ同じ高さの領域等）が検出対象領域として設定される。
【０１３２】
また、道路脇の通信設備から送信される通信信号を受信するような場合には、該通信設備の送信部が写っているか、もしくは、写っている可能性の高い領域が検出対象領域として設定される。
【０１３３】
なお、検出対象領域は受信しようとする通信信号の送信元の種別に応じてあらかじめ定めれた所定の領域であってもよい。
【０１３４】
あるいは、前記外界画像生成部３２で生成された外界画像（色別画像４２、カラー画像４３、広ダイナミックレンジ画像４４）のうちのいずれか１つ以上の画像から、受信しようとする通信信号の送信元の存在箇所を特定した上で、それに応じて検出対象領域を設定するようにしてもよい。あるいは、原画像４１の全体の領域を検出対象領域として設定するようにしてもよい。
【０１３５】
次いで、信号検出用画像生成部３４は、ＳＴＥＰ１４の処理を実行する。このＳＴＥＰ１４では、信号検出用画像生成部３４は、検出対象領域におけるＷ画像４２ｗ（詳しくは、ＳＴＥＰ１２（又はＳＴＥＰ２）で先に生成されたＷ画像４２ｗのうちの検出対象領域内の画像）を第１参照画像として得る。従って、この第１参照画像は、図１２（ａ）に示す如く、その各画素の階調値として、前記した如く決定されるグレー階調の階調値Ｗ'i,jを割り当てた画像である。
【０１３６】
補足すると、色別画像４２を生成する前に、検出対象領域を設定するようにしてもよい。その場合、信号検出用画像生成部３４の処理では、設定した検出対象領域においてのみ、色別画像４２を生成するようにしてもよい。なお、この場合には、色別画像４２のうちのＷ画像４２ｗは、第１参照画像として生成されることとなる。
【０１３７】
次いで、信号検出用画像生成部３４は、ＳＴＥＰ１５の処理を実行する。このＳＴＥＰ１５では、信号検出用画像生成部３４は、検出対象領域におけるＲ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２ｂ（詳しくは、ＳＴＥＰ１２（又はＳＴＥＰ２）で先に生成されたＲ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２ｂのそれぞれの検出対象領域内の画像）から、検出対象領域の各画素に階調値（モノトーンの階調値）を割り当ててなる第２参照画像を生成する。以降、図１２（ｂ）に示す如く、第２参照画像の各画素（配置位置が（ｉ，ｊ）である画素）の階調値をＰＹi,jと表記する。
【０１３８】
この第２参照画像は、例えば次のように生成される。信号検出用画像生成部３４は、まず、第２参照画像の前画像としてのモノトーン階調のベース第２参照画像を生成する。以降、ベース第２参照画像の各画素（配置位置が（ｉ，ｊ）である画素）の階調値をＰＹ0i,jと表記する。
【０１３９】
このベース第２参照画像の各画素の階調値ＰＹ0i,jは、Ｒ画像４２ｒ中の対応画素（配置位置が同じ画像）の階調値Ｒ'i,jと、Ｇ画像４２ｇ中の対応画素の階調値Ｇ'i,jと、Ｂ画像４２ｂ中の対応画素の階調値Ｂ'i,jとを次式（５０）により線形結合することにより、決定される。
【０１４０】
ＰＹ0i,j＝αr×Ｒ'i,j＋αg×Ｇ'i,j＋αb×Ｂ'i,j    ……（５０）
αr，αg，αbは、既定値の重み付け係数である。それらの値としては、例えば前記式（４５）と同じ値（０．３，０．５９，０．１１）を用いることができる。ただし、αr，αg，αbの値を、式（４５）に示す値と異ならせてもよい。
【０１４１】
このようにして算出される階調値ＰＹ0i,jは、Ｒ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２ｂのそれぞれの互いに対応する配置位置の画素の階調値Ｒ'i,j、Ｇ'i,j、Ｂ'i,jの線形結合値であるので、カメラ２の入射光に対する該階調値ＰＹ0i,jの感度特性（入射光の波長に対するスペクトル特性）は、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれの受光感度の特性を合成した特性を有する。例えば、入射光の波長に対する該階調値ＰＹ0i,jの感度特性は、図１０の実線のグラフａyで例示するような特性となる。この場合、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素の全体が検出可能な波長域ＷＬにおいて、階調値ＰＹ0i,jが感度を有するものとなる。
【０１４２】
そして、信号検出用画像生成部３４は、検出対象領域における各画素の階調値ＰＹi,jを、次式（５１）によりＰＹ0i,jに応じて決定してなる画像を、第２参照画像として生成する。すなわち、信号検出用画像生成部３４は、第２参照画像の各画素の階調値ＰＹi,jを、その配置位置に対応する上記ベース第２参照画像の画素の階調値ＰＹ0i,jに所定のゲイン係数βを乗じてなる値とすることで、第２参照画像を生成する。
【０１４３】
ＰＹi,j＝β×ＰＹ0i,j    ……（５１）
ここで、上記ゲイン係数βは、あらかじめ実験等に基づいて定められた値の係数である。その値は、第１参照画像の各画素の階調値Ｗ'i,jに含まれる、可視光領域の波長に対応する成分と、第２参照画像の各画素の階調値ＰＹi,jに含まれる、可視光領域の波長に対応する成分とをほぼ一致させることができるように設定されている。
【０１４４】
以上のように第２参照画像は、その各画素の階調値ＰＹi,jが、検出対象領域におけるＲ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２ｂのそれぞれの互いに対応する配置位置の画素の階調値Ｒ'i,j、Ｇ'i,j、Ｂ'i,jを線形結合してなる値（該画素の合成輝度値に相当する値）に、ゲイン係数βを乗じてなる値となるように生成される。
【０１４５】
なお、第２参照画像は、第１参照画像よりも前に生成するようにしてもよい。
【０１４６】
次に、信号検出用画像生成部３４は、ＳＴＥＰ１６の処理を実行する。このＳＴＥＰ１６では、信号検出用画像生成部３４は、上記の如く生成した第１参照画像と第２参照画像との差の画像を信号検出用画像４５として生成する。以降、図１２（ｃ）に示す如く、信号検出用画像４５の各画素（配置位置が（ｉ，ｊ）である画素）の階調値をＤfi,jと表記する。
【０１４７】
この信号検出用画像４５は、その各画素（（ｉ，ｊ）の位置の画素）の階調値Ｄfi,jを、次式（５２）に示す如く、第１参照画像の対応する位置の画素の階調値Ｗ'i,jと、第２参照画像の対応する位置の画素の階調値ＰＹi,jとの偏差に一致させた画像である。
【０１４８】
Ｄfi,j＝Ｗ'i,j−ＰＹi,j    ……（５２）
以上のＳＴＥＰ１２〜１６の信号検出用画像生成部３４の処理により、信号検出用画像４５が生成される。
【０１４９】
次いで、ＳＴＥＰ１７において、通信信号検出部３３は、上記の如く生成した信号検出用画像４５を基に、通信信号を検出する。
【０１５０】
ここで、第１参照画像の各画素の階調値Ｗ'i,jと、これに対応する第２参照画像の各画素の階調値ＰＹi,jとは、それぞれに含まれる可視光領域の波長に対応する成分がほぼ一致するので、原画像４１の検出対象領域に対応するカメラ２の撮像素子２２の箇所に近赤外領域の波長の通信信号が入射している場合には、上記信号検出用画像４５において、通信信号の入射箇所の画素の階調値Ｄfi,jがその周囲の箇所に較べて比較的顕著に大きなものとなる。
【０１５１】
これに対して、検出対象領域に対応する箇所に通信信号が入射していない場合には、一般に、上記信号検出用画像４５には、階調値Ｄfi,jが顕著に大きなものとなるような箇所は生じ難い。
【０１５２】
従って、信号検出用画像４５は、近赤外領域の波長の受光成分を強調した画像となる。
【０１５３】
そこで、通信信号検出部３３は、上記信号検出用画像４５における階調値Ｄfi,jの分布に基づいて、撮像素子２２の検出対象領域に対応する箇所に通信信号が入射したか否かを検出する。例えば、該階調値Ｄfi,jが所定値以上となるような所定面積以上の箇所が、上記信号検出用画像４５中に存在する場合には、撮像素子２２の検出対象領域に対応する箇所に通信信号が入射したことを検出する。そして、通信信号検出部３３は、そのような箇所が信号検出用画像４５中で検出されない場合には、撮像素子２２の検出対象領域に対応する箇所への通信信号の入射が無いものと判断する。
【０１５４】
これにより、ＯＮ・ＯＦＦのパルス列により構成される近赤外領域の波長の通信信号を高い信頼性で検出することができる。
【０１５５】
なお、上記信号検出用画像４５において所定値以上の階調値Ｄfi,jを有する箇所における階調値Ｄfi,jの大きさの変化に基づいて、カメラ２の撮像素子２２に入射した通信信号の強度の変化を検出するようにすることも可能である。
【０１５６】
また、色別画像４２、カラー画像４３、広ダイナミックレンジ画像４４などの可視画像で通信を行う対象を検知し、信号検出用画像４５（通信信号強調画像）の対応する位置の階調値及び該階調値の変化を用いて通信信号の検出を行なってもよい。
【０１５７】
以上が、通信信号検出部３３の処理の詳細である。
【０１５８】
なお、前記式（５１）におけるゲイン係数βは、本実施形態では、一定値としたが、カメラ２の撮像条件に応じて適宜変化させるようにしてもよい。例えば、周囲の光環境の状態（昼間、夕方、夜間、日陰、日なた等）や、カメラ２の露出などに応じてゲイン係数βの値を変化させるようにしてもよい。また、可視光の影響を受け難い夜間においては、第１参照画像と第２参照画像とのいずれにおいても、それらの画素の階調値に含まれる可視光域の成分が微小なものとなるので、例えば第１参照画像だけを用いて（換言すれば、式（５１）のβを“０”として）、近赤外領域の波長の通信信号を検出するようにすることも可能である。
【０１５９】
また、第１参照画像の階調値と、Ｒ画像４２ｒの階調値Ｒ'i,j又はＧ画像４２ｇの階調値Ｇ'i,j又はＢ画像４２ｂの階調値Ｂ'i,jとを比較することで、通信信号を検出するようにすることも可能である。
【０１６０】
次に、前記対象物検知部３５の処理を説明する。対象物検知部３５は、検出しようとする対象物の種別や、夜間であるか否か（もしくは周囲環境が暗いか否か）等に応じて、色別画像４２、カラー画像４３、及び広ダイナミックレンジ画像４４のいずれかの１つ以上の外界画像を選択し、その選択した外界画像を用いて車両１の周辺に存在する対象物を検知する。
【０１６１】
例えば、歩行者は比較的低輝度である場合が多いため、対象物検知部３５は高感度な画像であるＷ画像４２ｗから歩行者を検知する。
【０１６２】
また、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要があることから、対象物検知部３５は、広ダイナミックレンジ画像４４から、歩行者や他車等を検知する。
【０１６３】
また、夜間でない場合には、カラー画像４３により物体の色を認識できることから、レーンマークや、他車、信号機等をカラー画像４３から検出する。
【０１６４】
このように、対象物の種別や、周囲環境の明るさなどに応じて対象物の検出のために用いる画像を選択することで、種々様々な環境下で、種々様々の対象物を高い信頼性で検出することができる。
【０１６５】
なお、対象物検知部３５は、歩行者や他車を検出した場合に、該歩行者や他車と車両１（自車両）との接触の可能性を判断し、接触の可能性が有ると判断した場合には、車両コントローラ６に対して接触回避処理の実施を指示する制御信号を送信する。このとき、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。
【０１６６】
また、対象物検知部３５は、レーンマークの検知位置から車両１（自車両）を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信する。このとき、操舵制御部６１が操舵装置７１の作動を制御することで、レーンキープ制御を行なう。
【０１６７】
以上説明した実施形態によれば、透明画素であるＷ画素と、カラー画素であるＲ画素、Ｇ画素及びＢ画素とにより構成される原画像４１から、複数種類の外界画像としての色別画像４２、カラー画像４３及び広ダイナミックレンジ画像４４を生成することができる。
【０１６８】
そして、このように可視光域での外界画像を生成しながら、信号検出用画像４５を生成して、該信号検出用画像４５を基に、近赤外領域の波長域の通信信号を高い信頼性で検出することができる。
【０１６９】
なお、以上説明した実施形態では、近赤外領域の波長域の通信信号を通信信号検出部３３で検出するようにしたが、近赤外領域以外の波長、例えば近赤外領域よりも波長の長い赤外領域の通信信号を検出するようにしてもよい。
【０１７０】
また、本実施形態では、通信信号を検出する場合を例にとって説明したが、通信用以外の用途の信号を検出するようにすることも可能である。例えば、カメラ２を車両１の車室内に配置して、車両１のウィンドウガラスに付着する雨滴を検出するための信号を検出するようにすることも可能である。
【０１７１】
この場合には、例えば、近赤外光ＬＥＤ等の光源からウィンドウガラスの雨滴検出対象の領域に近赤外光を照射しつつ、該領域での近赤外光の反射光をカメラ２に入射するように該カメラ２を車室内に配置する。そして、前記実施形態の通信信号検出部３３と同様の手法によって、カメラ２に入射した近赤外光（反射光）を検出する。
【０１７２】
この場合、ウィンドウガラスの雨滴検出対象の領域に雨滴が付着している場合と、付着していない場合とで、近赤外光の反射率が相違するので、上記反射光の検出によって、雨滴の有無を検出することができる。
【０１７３】
また、夜間等においては、カメラ２に入射する不可視領域の光、例えば近赤外光等の赤外領域の光を通信信号検出部３３と同様の手法で検出することで、カメラ２に赤外線カメラとしての機能を持たせるようにすることもできる。これによって、赤外領域の光成分を強調した赤外画像（前記通信信号検出用画像４５と同様の画像）と、可視画像（前記色別画像４２、カラー画像４３、広ダイナミックレンジ画像４４等）とを同時に取得できる。また、このとき、例えば赤外線投光装置などの光源を用いて、カメラ２の撮像領域（カメラ２の画角の範囲）の一部又は全体に赤外光を投光するようにしてもよい。
【０１７４】
また、このとき、カメラ２の露出制御と光源の発光周期との同期をとることによって、カメラ２をＴＯＦ（Time of Flight）方式を用いた距離画像センサとして用い、距離検出を行なうようにしてもよい。
【０１７５】
また、カメラ２の撮像素子２２の受光画素の配列パターンは、図２（ａ）に示したパターンに限られるものではない。例えば、カメラ２の撮像素子２２の受光画素の配列パターンとして、図１３（ａ）又は図１３（ｂ）に示すようパターンを採用してもよい。
【符号の説明】
【０１７６】
２…カメラ、２２…撮像素子、３２…外界画像生成部（外界画像生成手段）、３３…通信信号検出部（通信信号検出手段）、３４…信号検出用画像生成部（信号検出用画像生成手段）、ＳＴＥＰ１２，１４…第１参照画像生成手段、ＳＴＥＰ１２，１５…第２参照画像生成手段。
【図１】
0005904825.tif 000002
【図２】
0005904825.tif 000003
【図３】
0005904825.tif 000004
【図４】
0005904825.tif 000005
【図５】
0005904825.tif 000006
【図６】
0005904825.tif 000007
【図７】
0005904825.tif 000008
【図８】
0005904825.tif 000009
【図９】
0005904825.tif 000010
【図１０】
0005904825.tif 000011
【図１１】
0005904825.tif 000012
【図１２】
0005904825.tif 000013
【図１３】
0005904825.tif 000014