(57)【要約】【課題】車両の周辺を撮像するカメラの撮影対象に、輝度差の大きい物体が混在していても、それらの物体の適切な画像を得ることを可能とする車両周辺監視装置を提供する。【解決手段】車両周辺監視装置は、車両の周辺を撮影するためのカメラ２として、カラー映像の組成色となる所定の複数種の色のうちの各種類の色の光をそれぞれ受光する複数のカラー受光画素（Ｒ受光画素、Ｇ受光画素及びＢ受光画素）と、カラー受光画素よりも低い受光感度で所定色の光を受光する複数の副受光画素（Ｒｘ受光画素）とを配列してなる撮像素子２２を有するカメラを備える。【選択図】図２
2013187573.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮影するために該車両に搭載されたカメラとして、カラー映像の組成色となる所定の複数種の色のうちの各種類の色の光をそれぞれ受光する複数のカラー受光画素と、該カラー受光画素よりも低い受光感度で所定色の光を受光する複数の副受光画素とを配列してなる撮像素子を有するカメラを備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記副受光画素の前記所定色は、赤色であることを特徴とする車両周辺監視装置。
【請求項３】
請求項１記載の車両周辺監視装置において、
前記副受光画素の前記所定色は、グレー色であることを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜３のいずれか１項に記載の車両周辺監視装置において、
前記カメラは前記車両の前方又は後方を撮像するように該車両に搭載されており、前記副受光画素は、前記撮像素子のうちの一部の領域内で前記カラー受光画素と共に配列されており、当該一部の領域には、前記カメラの撮像領域の全体のうちの上部の領域に対応する領域と、前記カメラの撮像領域の全体のうちの前記車両の前方の路面の無限遠点を含む部分領域に対応する領域とのうちの少なくともいずれか一方の領域が含まれることを特徴とする車両周辺監視装置。
【請求項５】
請求項１〜４のいずれか１項に記載の車両周辺監視装置において、
前記カメラにより撮像された原画像であって、前記撮像素子の各受光画素がその受光レベルに応じて出力する出力信号の強度を示す階調値がそれぞれ割り当てられた複数の画素により構成される原画像を取得する原画像取得手段と、
前記原画像のうち、複数の前記カラー受光画素と複数の前記副受光画素とを包含する少なくとも一部の領域である処理対象領域における該原画像の各画素の階調値に基づいて、該処理対象領域の各画素における前記複数種の色のそれぞれの階調値と前記所定色の階調値とを決定することにより、前記複数種の色及び所定色のそれぞれの色に対応する複数の色別画像を生成する色別画像生成手段と、
前記複数の色別画像のうちの前記複数種の色にそれぞれ対応する色別画像を合成してなる第１カラー画像と、前記所定色の色別画像と、前記複数の色別画像のうちの全ての色別画像を合成してなる第２カラー画像とのうちの少なくともいずれか１つの画像を車両周辺の監視用の画像として取得する監視用画像取得手段とを備えることを特徴とする車両周辺監視装置。
【請求項６】
請求項５記載の車両周辺監視装置において、
前記監視用画像取得手段は、前記第１カラー画像の明るさ度合い又はコントラストに応じて、第１カラー画像、前記所定色の色別画像及び第２カラー画像のうちの、車両周辺の監視用の画像として取得する画像を切替えることを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺のカラー映像を撮像可能なカメラを備える車両周辺監視装置に関する。
【背景技術】
【０００２】
カラー映像を撮像可能なカメラを車両に搭載し、該カメラの撮像画像（カラー画像）を基に、車両の周辺の状況を監視することで、運転者に対する注意喚起等の運転支援を行なうようにした車両周辺監視装置が従来より知られている。
【０００３】
例えば特許文献１には、カメラによる自車両前方の撮像画像（カラー画像）を基に、自車両前方に存在する前走車のブレーキランプの点灯（赤色の点灯）を検知することで前走車の制動状態を認識し、該前走車の制動状態に応じて、適宜、運転者の注意を喚起する報知を行なうものが提案されている。
【０００４】
なお、車両に搭載される、カラー映像を撮像可能なカメラは、通常、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のうちの各種類の色の光をそれぞれカラーフィルタを介して受光可能な複数のカラー受光画素（詳しくはＲの光を受光可能な受光画素とＧの光を受光可能な受光画素とＢの光を受光可能な受光画素との組）を、ベイヤー配列等の所定の配列パターンで縦横に配列して構成される撮像素子を有する。そして、撮像素子の各受光画素の位置の画素におけるＲ、Ｇ、Ｂの各色の階調値を、所謂デモザイキング処理により補間的に決定することで、カラー画像が生成される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公平６−１０８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、車両の周辺を監視するためのカメラの撮像素子に投影される物体の明るさ（輝度）は、一般に千差万別であり、明るさの大きく異なるものが混在する場合が多い。例えば、夜間においては、対向車のヘッドライトや前走車の制動時のテールライト、あるいは、信号機の点灯ランプ等の高輝度の自発光物体は、その周囲の道路構造物等に比して格段に明るいものとなりやすい。
【０００７】
一方、車両と外部の物体との接触の回避や、車両の運転の支援等を目的としてカメラの撮像画像を用いて車両の周辺を監視する場合、一般には、対向車のヘッドライト等の高輝度の自発光物体の画像だけでなく、路面や歩行者等の比較的低輝度の物体の画像を取得することも必要となる。
【０００８】
このため、従来の車両周辺監視装置のカメラの露出の度合いは、路面や歩行者等の比較的低輝度の物体の画像も得られるように設定しておくことが一般的である。
【０００９】
しかるに、この場合、カメラの撮像データ（撮像素子の各受光画素の出力信号）から得られるカラー画像等の撮像画像においては、上記自発光物体が投影される箇所及びその周辺の箇所の階調値が飽和した状態（所謂、白とび状態）となりやすい。ひいては、撮像画像において、自発光物体とその周囲の物体との区別がつかない（画像上の輝度や色の違いが生じない）ものとなったり、該自発光物体の発光色が不明なものとなり易い。
【００１０】
さらには、車両の左右のヘッドライトや、左右のテールライトのように、２つの自発光光源が互いに近接しているような場合には、それらの自発光物体の画像近辺の白とび状態の箇所がひと塊につながってしまうというような場合もある。
【００１１】
従って、従来の車両周辺監視装置では、カメラの撮像画像から、車両のヘッドライトやテールライト、信号機の点灯ランプ等の高輝度の自発光物体の色やその存在箇所を、その周辺の他の物体と区別して認識することが困難となる場合が多い。ひいては、車両の周辺に存在する他車両や、信号機等の物体をカメラの撮像画像から正しく認識することが困難となるという不都合があった。
【００１２】
本発明はかかる背景に鑑みてなされたものであり、車両の周辺を撮像するカメラの撮影対象に、輝度差の大きい物体が混在していても、それらの物体の適切な画像を得ることを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の車両周辺監視装置は、かかる目的を達成するために、車両の周辺を撮影するために該車両に搭載されたカメラとして、カラー映像の組成色となる所定の複数種の色のうちの各種類の色の光をそれぞれ受光する複数のカラー受光画素と、該カラー受光画素よりも低い受光感度で所定色の光を受光する複数の副受光画素とを配列してなる撮像素子を有するカメラを備えることを特徴とする（第１発明）。
【００１４】
なお、第１発明において、上記「複数のカラー受光画素」は、前記所定の複数種の色を、第１〜第ＮのＮ種類の色としたとき、当該「複数のカラー受光画素」のそれぞれが第１〜第Ｎの色のうちのいずれか１つの色の光を受光する受光画素であり、且つ、第１〜第Ｎの全ての色に対応する受光画素を含む受光画素群を意味する。また、ある色の光というのは、ある特定の波長帯域の光（又は、ある特定の波長帯域を主成分とする光）を意味する。
【００１５】
この第１発明によれば、前記カメラの撮像素子には、前記複数のカラー受光画素に加えて、該カラー受光画素よりも低い受光感度で所定色の光を受光する複数の副受光画素が含まれる。この場合、各副受光画素は、カラー受光画素よりも受光感度が低いため、カメラの撮影対象に、カラー受光画素の出力信号（カラー受光画素がその受光レベルに応じて出力する信号）の強度が飽和を生じるような、相対的に高輝度の物体が含まれていても、該高輝度の物体の光を受光する副受光画素では、その出力信号（副受光画素がその受光レベルに応じて出力する信号）の強度の飽和が生じ難いものとなる。
【００１６】
このため、カメラの撮影対象に、カラー受光画素の出力信号の強度の飽和を生じるような、相対的に高輝度の物体が含まれている場合であっても、カメラの撮像データ（カメラの撮像素子を構成する各受光画素の出力信号のデータ）のうちの少なくとも副受光画素の出力信号に基づいて、当該高輝度の物体の輝度状態を適切な解像度で示す画像を生成することが可能となる。
【００１７】
また、カメラの撮影対象に、上記の如き高輝度の物体が含まれていない場合には、カメラの撮像データのうちの少なくともカラー受光画素の出力信号に基づいて、撮影対象の色や輝度を適切な解像度で示すカラー画像を生成することが可能である。
【００１８】
よって、第１発明によれば、車両の周辺を撮像するカメラの撮影対象に、輝度差の大きい物体が混在していても、それらの物体の適切な画像を得ることが可能となる。
【００１９】
かかる第１発明においては、前記カラー受光画素が受光する前記所定の複数種の色としては、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色や、シアン、マゼンタ、イエローの補色系３原色等を採用することができる。
【００２０】
また、前記副受光画素が受光する光の色（前記所定色）としては、グレー等、種々様々な色を採用することができる。この場合、該所定色は、前記カラー受光画素に係わる前記所定の複数種の色のいずれかの色と同じであってもよい。
【００２１】
一方、車両周辺監視装置では、自車両の前走車のテールライトや信号機の赤色ランプ等、赤色の発光色の物体を適切に検出し得ることが、自車両と外部の物体との接触を予防したり、車両の適切な走行支援を行なう上で重要となる場合が多い。そこで、上記第１発明では、その一形態として、前記副受光画素の前記所定色は、赤色であることが好ましい（第２発明）。
【００２２】
この第２発明によれば、カメラの撮像データのうちの少なくとも副受光画素の出力信号に基づいて、前走車のテールライトや信号機の赤色ランプ等、赤色の高輝度発光物体の色や輝度状態を適切な解像度で示す画像を生成することが可能となる。
【００２３】
あるいは、上記第１発明は、他の形態として、前記副受光画素の前記所定色は、グレー色であってもよい（第３発明）。
【００２４】
この第３発明によれば、前走車のテールライトや信号機の赤色ランプに限らず、対向車のヘッドライトや道路標識などの種々様々の高輝度物体の画像を適切な解像度で生成することが可能となる。
【００２５】
上記第１〜第３発明において、前記副受光画素は、前記撮像素子の全領域に分布するように配置されていてもよい。ただし、自車両にとって重要な高輝度の発光物体が、カメラの撮像領域のうちの特定の一部の領域に存在すること、あるいは、その可能性が高いことが判っている場合には、前記副受光画素は、前記撮像素子の特定の一部の領域にだけ配列させるようにしてもよい。
【００２６】
例えば、前記カメラが前記車両（自車両）の前方又は後方を撮像するように該車両に搭載されている場合には、前記車両の前方又は後方の他車のヘッドライトやテールライトは、前記カメラの撮像領域の全体のうちの前記車両の前方又は後方の路面の無限遠点の近辺の領域に存在する場合が多い。また、信号機の点灯ランプ等は、前記カメラの撮像領域の全体のうちの上部の領域に存在する場合が多い。
【００２７】
そこで、前記カメラが前記車両（自車両）の前方又は後方を撮像するように該車両に搭載されている場合には、前記副受光画素は、前記撮像素子のうちの一部の領域内で前記カラー受光画素と共に配列されており、当該一部の領域には、前記カメラの撮像領域の全体のうちの上部の領域に対応する領域と、前記カメラの撮像領域の全体のうちの前記車両の前方の路面の無限遠点を含む部分領域に対応する領域とのうちの少なくともいずれか一方の領域が含まれるようにしてもよい（第４発明）。
【００２８】
この第４発明によれば、前記一部の領域では、前記副受光画素の出力信号を用いて、高輝度の物体の適切な画像を生成することができる一方、該一部の領域以外の領域（副受光画素が含まれない領域）では、カラー受光画素の出力信号を用いて信頼性の高いカラー画像を生成することができる。
【００２９】
上記第１〜第４発明では、種々様々な形態の画像を生成することが可能であるが、車両の周辺の監視を適切に行う上では、例えば次のような態様を採用することが好ましい。
【００３０】
すなわち、前記カメラにより撮像された原画像であって、前記撮像素子の各受光画素がその受光レベルに応じて出力する出力信号の強度を示す階調値がそれぞれ割り当てられた複数の画素により構成される原画像を取得する原画像取得手段と、前記原画像のうち、複数の前記カラー受光画素と複数の前記副受光画素とを包含する少なくとも一部の領域である処理対象領域における該原画像の各画素の階調値に基づいて、該処理対象領域の各画素における前記複数種の色のそれぞれの階調値と前記所定色の階調値とを決定することにより、前記複数種の色及び所定色のそれぞれの色に対応する複数の色別画像を生成する色別画像生成手段と、前記複数の色別画像のうちの前記複数種の色にそれぞれ対応する色別画像を合成してなる第１カラー画像と、前記所定色の色別画像と、前記複数の色別画像のうちの全ての色別画像を合成してなる第２カラー画像とのうちの少なくともいずれか１つの画像を車両周辺の監視用の画像として取得する監視用画像取得手段とを備えることが好ましい（第５発明）。
【００３１】
この第５発明によれば、前記処理対象領域における前記原画像の各画素の階調値に基づいて、前記色別画像生成手段により、前記複数種の色及び所定色のそれぞれの色に対応する複数の色別画像が生成される。
【００３２】
この各色別画像は、その各画素の階調値が、該色別画像に対応する色の階調値となる画像、すなわち、当該色の輝度分布を示す画像となる。なお、この各色別画像は、例えば処理対象領域における該原画像の画素のうちの少なくとも該色別画像に対応する色の画素の階調値に基づいて、該色別画像の各画素の階調値（当該対応する色の階調値）を、デモザイキング処理により決定することで、生成することができる。
【００３３】
そして、前記監視用画像取得手段は、前記複数の色別画像のうちの前記複数種の色にそれぞれ対応する色別画像を合成してなる第１カラー画像と、前記所定色の色別画像と、前記複数の色別画像のうちの全ての色別画像を合成してなる第２カラー画像とのうちの少なくともいずれか１つの画像を車両周辺の監視用の画像として取得する。
【００３４】
この場合、前記第１カラー画像は、特に、前記処理対象領域における受光画素の出力信号の強度の飽和が生じていない状態では、該処理対象領域の撮影対象の色情報を適切に反映したものとなる。従って、色再現性の良いカラー画像として、第１カラー画像を利用することができる。
【００３５】
また、前記所定色の色別画像は、特に、前記処理対象領域における撮影対象に、高輝度の物体が含まれているような場合に、該撮影対象の輝度分布を適切に反映したものとなる。従って、高輝度の物体を検出し易い画像として、該所定色の色別画像を利用することができる。
【００３６】
また、前記第２カラー画像は、前記所定色の色別画像により示される前記処理対象領域の撮影対象の輝度分布を反映させたカラー画像となる。このため、特に、前記処理対象領域における撮影対象に、高輝度の物体が含まれているような場合でも、白とび状態を抑制して、ダイナミックレンジを擬似的に拡大したカラー画像として、第２カラー画像を利用することができる。
【００３７】
従って、第５発明によれば、種々様々の輝度、色の物体を、上記第１カラー画像、所定色の色別画像、第２カラー画像のうちのいずれかを利用して検出するようにすることができる。
【００３８】
上記第５発明では、前記監視用画像取得手段は、前記第１カラー画像の明るさ度合い又はコントラストに応じて、第１カラー画像、輝度分布画像及び第２カラー画像のうちの、車両周辺の監視用の画像として取得する画像を切替えることが好ましい（第６発明）。
【００３９】
この第６発明によれば、前記処理対象領域における撮影対象の輝度の大きさや、その分布状態に応じて、第１カラー画像、輝度分布画像及び第２カラー画像のうちの適切な画像（所望の物体を検出し易い画像）を、車両周辺の監視用の画像として用いることができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態における車両周辺監視装置の構成を示す図。
【図２】図２（ａ）は実施形態におけるカメラのカラーフィルタの配置例を示す図、図２（ｂ）は実施形態のカメラの撮像素子から得られる撮像画像（原画像）を説明するための図。
【図３】実施形態のカメラの受光画素の受光感度の特性を示すグラフ。
【図４】図１に示す画像コントローラ３の処理を示すフローチャート。
【図５】図４のＳＴＥＰ２の処理を説明するための図。
【図６】図４のＳＴＥＰ３の処理の詳細を示すフローチャート。
【図７】図６のＳＴＥＰ３−２又は３−３で生成されるＧ画像を説明するための図。
【図８】図６のＳＴＥＰ３−２又は３−３で生成されるＲｘ画像を説明するための図。
【図９】図６のＳＴＥＰ３−３で生成されるＲ画像を説明するための図。
【図１０】図６のＳＴＥＰ３−３で生成されるＢ画像を説明するための図。
【図１１】図４のＳＴＥＰ４の処理で生成される第１カラー画像を説明するための図。
【図１２】図４のＳＴＥＰ４の処理で生成される第２カラー画像を説明するための図。
【図１３】図４のＳＴＥＰ４の処理で用いる画像の領域に関する説明図。
【図１４】図１４（ａ），（ｂ）はそれぞれ、カメラの受光画素の他の配列パターンの例を示す図。
【図１５】図１５（ａ），（ｂ），（ｃ）はそれぞれ、グレー色の受光画素を備えるカメラの受光画素の配列パターンの例を示す図。
【図１６】図１５（ａ），（ｂ），（ｃ）に関連する各受光画素の受光特性を示すグラフ。
【発明を実施するための形態】
【００４１】
本発明の車両周辺監視装置の一実施形態を、図１〜図１２を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とを備える。
【００４２】
カメラ２は、車両１の周辺を撮影するためのカメラである。本実施形態では、カメラ２は、車両１の前方を撮影するように車両１の前部に搭載されている。
【００４３】
このカメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）によりカラー映像（撮影対象の色情報を含む映像）を撮影可能なカメラであり、該撮像素子２２による撮像データを画像コントローラ３の制御回路３０に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光画素をｍ行ｎ列の配列パターンで２次元状に配列して構成されている。
【００４４】
図２（ａ）を参照して、カメラ２のフィルタ２１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のカラーフィルタ、すなわち、Ｒ、Ｇ、Ｂの波長域の光（可視光）をそれぞれ透過可能な３種類のカラーフィルタ（以降、基本カラーフィルタという）と、所定色のカラーフィルタ（以降、副カラーフィルタという）とにより構成される。
【００４５】
副カラーフィルタが透過可能な波長域の光の色である上記所定色は、本実施形態では、Ｒ、Ｇ、Ｂの三原色のうちのＲ（赤）である。ただし、副カラーフィルタによる光の透過率は、基本カラーフィルタによる光の透過率よりも低いものとされている。
【００４６】
３原色の基本カラーフィルターのうちのいずれかの色のカラーフィルタが、撮像素子２２のｍ×ｎ個の受光画素のうちの、所定割合の個数の受光画素のそれぞれの受光経路側に装着されている。これにより、Ｒ、Ｇ、Ｂのいずれかの色の基本カラーフィルタが装着された各受光画素は、それぞれに対応する色のカラーフィルタを介して受光する。
【００４７】
なお、これらの受光画素（上記所定割合の個数の受光画素）に装着された基本カラーフィルタの全体には、Ｒ、Ｇ、Ｂの全ての色のカラーフィルタが含まれる。従って、基本カラーフィルタが装着された受光画素の全体は、Ｒの色のカラーフィルタ（以降、Ｒフィルタという）が装着された受光画素（以降、Ｒ受光画素という）と、Ｇの色のカラーフィルタ（以降、Ｇフィルタという）が装着された受光画素（以降、Ｇ受光画素という）と、Ｂの色のカラーフィルタ（以降、Ｂフィルタという）が装着された受光画素（以降、Ｂ受光画素という）とから構成される。これらのＲ受光画素、Ｇ受光画素、Ｂ受光画素は、本発明におけるカラー受光画素に相当するものである。
【００４８】
また、ｍ×ｎ個の受光画素のうちの、残りの受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素を除く受光画素）のそれぞれの受光経路側には、前記副カラーフィルタが装着されている。これにより、副カラーフィルタが装着された各受光画素は、該副カラーフィルタを介して受光する。以降、副カラーフィルタを、Ｒｘフィルタ、該Ｒｘフィルタが装着された受光画素をＲｘ受光画素という。このＲｘ受光画素は、本発明における副受光画素に相当するものである。
【００４９】
図２（ａ）に示す配列パターンの撮像素子２２では、基本カラーフィルタのうちの１つの色のカラーフィルタが装着された受光画素、例えばＧ受光画素が、市松状の配列パターンで配置されている。そして、赤色のＲｘフィルタが装着されたＲｘ受光画素が、縦方向及び横方向に１つおきに並ぶように配置されている。また、基本カラーフィルタのうちのＲフィルタが装着されたＲ受光画素と、Ｂフィルタが装着されたＢ受光画素とが、縦方向及び横方向に１つおきに交互に並ぶように配置されている。従って、図２（ａ）に示す配列パターンの撮像素子２２では、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｒｘ受光画素の個数比率は１：４：１：２である。
【００５０】
カメラ２は、Ｒ受光画素（図中Ｒ11，Ｒ15，…で示している）、Ｇ受光画素（図中Ｇ12，Ｇ14，…で示している）、Ｂ受光画素（図中Ｂ13，Ｂ31，…で示している）、及びＲｘ受光画素（図中Ｒx22，Ｒx24，…で示している）の出力信号を撮像データとして画像コントローラ３に出力する。各受光画素の出力信号は、該受光画素での所定時間あたりの受光レベルに応じた強度（大きさ）を有する信号である。
【００５１】
なお、各受光画素の受光レベルは、カメラ２の撮像素子２２に入射した光のうち、その受光画素で受光した光（該受光画素に対応するカラーフィルタを透過した後の光）の強度に相当する。
【００５２】
ここで、各受光画素の受光特性について図３を参照して説明しておく。基本カラーフィルタを介して受光するＲ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれの受光感度（入射光の強度に対する受光画素の出力信号の強度の比率）と、入射光の波長との関係（スペクトル特性）は、それぞれ、図３の実線のグラフａr，ａg，ａbで示すような特性となる。すなわち、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素のそれぞれの受光感度は、それぞれに対応する色の波長域の光に対して高感度となる。
【００５３】
一方、赤色の副カラーフィルタを介して受光するＲｘ受光画素の受光感度と、入射光の波長との関係は、図３の実線のグラフａrxで示すような特性となる。
【００５４】
この場合、Ｒｘ受光画素の受光感度は、Ｒ受光画素と同様の波長域の光（赤色の光）に対して高感度なものとなるものの、Ｒｘフィルタ（副カラーフィルタ）の透過率は、前記したように基本カラーフィルタの透過率よりも低い。このため、図示の如く、Ｒｘ受光画素の受光感度は、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素よりも低いものとなっている。
【００５５】
なお、各受光画素の出力信号の強度は、所定の最小値と最大値との間で受光レベル（受光する光の強度）に応じて変化する。従って、各受光画素の受光レベルがある大きさを超える大レベルになると、該受光素子の出力信号の強度が飽和して、該強度が最大値もしくはそれに近い大きさに保持される。また、各受光画素の受光レベルがある大きさを下回る小レベルになると、該受光画素の出力信号の強度が、最小値もしくはそれに近い大きさに保持される。
【００５６】
補足すると、基本カラーフィルタとして、Ｒ、Ｇ、Ｂ以外の他の種類のカラーフィルタ、例えば、Ｃy（シアン）、Ｍg（マゼンタ）、Ｙe（イエロー）の補色系３原色のフィルタを用いてもよい。その場合には、Ｒｘフィルタを装着したＲｘ受光画素の受光感度が、補色系３原色のカラーフィルタが装着される受光画素の受光感度よりも低いものとなるように、Ｒｘフィルタの透過率を設定しておけばよい。
【００５７】
画像コントローラ３は、図示しないＣＰＵ、メモリ、入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。
【００５８】
制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、色別画像生成部３２、監視用画像取得部３３、対象物検知部３４として機能する。なお、原画像取得部３１、色別画像生成部３２、監視用画像取得部３３、対象物検知部３４の一部又は全部をハードウェアにより構成してもよい。
【００５９】
原画像取得部３１は、本発明における原画像取得手段に相当する。この原画像取得部３１は、カメラ２に制御信号を出力して車両１の前方を撮像させ、カメラ２から出力される撮像データ（各受光画素の出力信号）により、原画像４１を取得して画像メモリ４０に保持する。
【００６０】
原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２の各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｒｘ受光画素）の出力信号の強度を示す階調値を、該受光画素に対応する配置位置の画素（配置位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値を、Ｓ（大文字）と、小文字ｒ，ｇ，ｂ，rxのいずれかと、添え字i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）との組により構成される変数により示している。
【００６１】
ここで、Ｓｒijは図２（ａ）のＲ受光画素に対応した配置位置の画素（以下、Ｒ画素という）の階調値を示し、Ｓｇijは図２（ａ）のＧ受光画素に対応した配置位置の画素（以下、Ｇ画素という）の階調値を示し、Ｓｂijは図２（ａ）のＢ受光画素に対応した配置位置の画素（以下、Ｂ画素という）の階調値を示し、Ｓrxijは図２（ａ）のＲｘ受光画素に対応した配置位置の画素（以下、Ｒｘ画素という）の階調値であることを示している。
【００６２】
色別画像生成部３２は、本発明における色別画像生成手段に相当する。この色別画像生成部３２は、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｒｘ受光画素のそれぞれに対応する４種類の色別画像４２を生成して、それらの色別画像４２を画像メモリ４０に保持する。
【００６３】
上記４種類の色別画像４２は、より詳しくは、Ｒ受光画素に対応する色（赤）の色別画像４２であるＲ画像（以降、参照符号４２ｒを付する）と、Ｇ受光画素に対応する色（緑）の色別画像４２であるＧ画像（以降、参照符号４２ｇを付する）と、Ｂ受光画素に対応する色（青）の色別画像４２であるＢ画像（以降、参照符号４２ｂを付する）と、Ｒｘ受光画素に対応する色（赤）の色別画像４２であるＲｘ画像（以降、参照符号４２rxを付する）とから構成される。
【００６４】
Ｒ画像４２ｒは、その各画素の階調値が、原画像４１のうちの、少なくともＲ画素の階調値を基にデモザイキング処理により決定される赤色階調のモノトーン画像（赤色の輝度分布を示す画像）である。
【００６５】
また、Ｇ画像４２ｇは、その各画素の階調値が、原画像４１のうちの、少なくともＧ画素の階調値を基にデモザイキング処理により決定される緑色階調のモノトーン画像（緑色の輝度分布を示す画像）である。
【００６６】
また、Ｂ画像４２ｂは、その各画素の階調値が、原画像４１のうちの、少なくともＢ画素の階調値を基にデモザイキング処理により決定される青色階調のモノトーン画像（青色の輝度分布を示す画像）である。
【００６７】
また、Ｒｘ画像４２rxは、その各画素の階調値が、原画像４１のうちの、少なくともＲｘ画素の階調値を基にデモザイキング処理により決定される赤色階調のモノトーン画像（赤色の輝度分布を示す画像）である。
【００６８】
なお、Ｒｘ画像４２rxは、Ｒ画像４２ｒと同様に赤色階調のモノトーン画像であるが、Ｒ画像４２ｒと、Ｒｘ画像４２rxとでは、それぞれの画像生成に用いる階調値が異なる。このため、Ｒ画像４２ｒと、Ｒｘ画像４２rxとは、各別の色別画像４２として生成される。
【００６９】
監視用画像取得部３３は、本発明における監視用画像取得手段に相当する。この監視用画像取得部３３は、対象物検知部３４が車両１の前方に存在する監視対象物（監視対象の物体）を検出するために使用する監視用画像を、前記色別画像４２から選択もしくは生成することで取得し、その取得した監視用画像を対象物検知部３４に出力する。
【００７０】
この場合、監視用画像取得部３３は、監視用画像としての第１カラー画像４３及び第２カラー画像４４のいずれかを随時生成する機能を有する。第１カラー画像４３は、上記色別画像４２のうちのＲ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２ｂを合成したカラー画像であり、第２カラー画像４４は、上記色別画像４２の全ての種類の画像（４２ｒ，４２ｇ，４２ｂ，４２rx）を合成したカラー画像である。
【００７１】
対象物検知部３４は、監視用画像取得部３３から与えられた監視用画像を用いて、監視対象物を検知し、その検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。本実施形態では、対象物検知部３４は、車両１の前方の路面の車線（レーンマーク）、他車両、信号機（もしくは道路標識）、歩行者を監視対象物として、それらの各種類の監視対象物を、それぞれに対応する既定の検知アルゴリズムにより検知する。
【００７２】
車両コントローラ６は、図示しないＣＰＵ、メモリ、入出力回路等により構成された電子回路ユニットである。そして、車両コントローラ６は、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。
【００７３】
なお、画像コントローラ３と車両コントローラ６とは、ＣＡＮドライバ５０，６４を介して相互に通信を行う。
【００７４】
次に、色別画像生成部３２及び監視用画像取得部３３の処理を中心に、画像コントローラ３の処理の詳細を説明する。
【００７５】
画像コントローラ３は、原画像取得部３１、色別画像生成部３２、監視用画像取得部３３及び対象物検知部３４による処理を、図４のフローチャートに示す如く実行する。
【００７６】
ＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、図２（ｂ）を参照して先に説明した如く、カメラ２から出力される撮像データ（撮像素子２２の各受光画素の出力信号）により、原画像４１（各受光画素の出力信号の強度を示す階調値を、該受光画素に対応する配置位置の画素に割り当てた画像）を取得して画像メモリ４０に保持する。
【００７７】
次に、ＳＴＥＰ２，３の処理が色別画像生成部３２により実行される。ＳＴＥＰ２では、色別画像生成部３２は、原画像４１に１つ又は複数の処理対象領域を設定する。この処理対象領域は、色別画像生成部３２による色別画像４２の生成処理の対象とする領域である。
【００７８】
図５は、処理対象領域の設定例を示している。この例では、原画像４１の全体が複数の領域（図示例では５×６個の領域）に分割され、その各領域が処理対象領域として設定される。
【００７９】
ただし、設定する処理対象領域の個数や、それぞれのサイズ、配置位置は、撮影時の環境や、処理対象領域の画像から検知しようとする監視対象物の種別、該画像の利用目的等に応じて異ならせるようにしてもよい。例えば、カメラ２の撮像画像を用いて監視対象物として他車両を検知しようとする場合に、原画像４１のうちの道路の無限遠点を含む領域（原画像４１で他車両が写っている可能性が高い領域）を処理対象領域として設定するようにしてもよい。
【００８０】
あるいは、監視対象物として信号機や、路側に立設された道路標識を検知しようとする場合に、原画像４１のうちの上部の領域（信号機や道路標識が存在する可能性が高い領域）を処理対象領域として設定するようにしてもよい。
【００８１】
また、原画像４１の全体を１つの処理対象領域として設定するようにしてもよい。また、複数の処理対象領域を設定する場合、そのうちの２つ以上の処理対象領域が互いに重なる部分を有していてもよい。
【００８２】
ＳＴＥＰ２に続くＳＴＥＰ３では、色別画像生成部３２は、各処理対象領域毎に、４種類の色別画像４２（Ｒ画像、Ｇ画像、Ｂ画像、Ｒｘ画像）を生成する。
【００８３】
この処理は、具体的には、図６のフローチャートに示す如く実行される。色別画像生成部３２は、まず、ＳＴＥＰ３−１において、複数の処理対象領域のうちの１つを選択する。
【００８４】
次いで、色別画像生成部３２は、ＳＴＥＰ３−２において、Ｒ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２ｂのうちの１つの特定色の画像と、Ｒｘ画像４２rxとのうちの一方を基準輝度分布画像として生成する。
【００８５】
ここで、上記特定色の画像は、本実施形態では、撮像素子２２を構成するＲ受光画素、Ｂ受光画素、Ｇ受光画素、Ｒｘ受光画素のうち、最も個数の多いＧ受光画素に対応する色（緑）の画像とされている。従って、該特定色の画像は、本実施形態では、Ｒ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２ｂのうちのＧ画像４２ｇである。
【００８６】
そして、ＳＴＥＰ３−２では、Ｇ画像４２ｇとＲｘ画像４２rxとのうちの一方が基準輝度分布画像として生成される。この基準輝度分布画像は、選択中の処理対象領域に写る撮影対象の実際の輝度分布に対する適合度合が比較的高いものとなる輝度分布状態を有する画像を意味する。
【００８７】
この場合、Ｇ画像４２ｇとＲｘ画像４２rxとのうち、基準輝度分布画像として生成する画像は、原画像４１のうち、処理対象領域に含まれるＧ画素の階調値と、該処理対象領域に含まれるＲｘ画素の階調値とに基づいて選定される。
【００８８】
例えば、処理対象領域に含まれる全ての画素の総数（又は全てのＧ画素の総数）うち、所定の適正範囲内の階調値を有するＧ画素の個数の割合と、処理対象領域に含まれる全ての画素の総数（又は全てのＲｘ画素の総数）うち、所定の適正範囲内の階調値を有するＲｘ画素の個数の割合とが比較される。
【００８９】
そして、Ｇ画像４２ｇ及びＲｘ画像４２rxのうち、上記割合がより大きい方の画素（Ｇ画素又Ｒｘ画素）に対応する色の画像が、基準輝度分布画像として生成する画像として選定される。
【００９０】
ここで、Ｇ画素の階調値に関する上記適正範囲は、Ｇ画素の階調値の最大値よりも若干小さい所定の上限値と、Ｇ画素の階調値の最小値よりも若干大きい所定の下限値との間の範囲である。この適正範囲は、その範囲内の階調値を有するＧ画素が、所謂、白とび状態（受光画素の受光レベルが大き過ぎて、該受光画素の出力信号の強度が飽和した状態）や、黒つぶれ状態（受光画素の受光レベルが小さ過ぎて、該受光画素の出力信号の強度が微小なものとなる状態）とならないようにあらかじめ設定された範囲である。従って、Ｇ画素の階調値が上記適正範囲に収まっている場合には、そのＧ画素の階調値（あるいは該Ｇ画素に対応するＧ受光画素の出力信号の強度）は、撮影対象の実際の輝度を適正に反映した値となっているとみなせる。
【００９１】
Ｒｘ画素の階調値に関する上記適正範囲も、Ｇ画素の階調値に関する適正範囲と同様にあらかじめ設定された範囲である。
【００９２】
従って、選択中の処理対象領域に写っている撮影対象の輝度が全体的に比較的低輝度である場合（すなわち、Ｒｘ画素が黒つぶれ状態となりやすい場合）には、基本的には、Ｇ画像４２gが基準輝度分布画像として生成する画像として選定される。また、選択中の処理対象領域に写っている撮影対象の輝度が全体的に比較的高輝度である場合（すなわち、Ｇ画素が白とび状態となりやすい場合）には、基本的には、Ｒｘ画像４２rxが基準輝度分布画像として生成する画像として選定される。
【００９３】
なお、処理対象領域におけるＧ画素の階調値及びＲｘ画素の階調値のそれぞれの平均値やヒストグラムに基づいて、基準輝度分布画像として生成する画像（Ｇ画像又はＲｘ画像）を選定するようにしてもよい。
【００９４】
基準輝度分布画像としてのＧ画像又はＲｘ画像は、次のように生成される。まず、基準輝度分布画像としてのＧ画像を生成する場合について説明する。
【００９５】
Ｇ画像４２ｇは、図７に示すように、各画素の階調値として、Ｇ値（Ｇ（緑）の輝度値）を割り当てた画像である。図７では、各画素の階調値（Ｇ値）をＧ'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【００９６】
基準輝度分布画像としてのＧ画像４２ｇの各画素のＧ値Ｇ'i,jは、次のよう決定される。
【００９７】
Ｇ画像４２ｇの画素のうち、原画像４１のＧ画素（階調値がＳgi,jである画素）に対応する配置位置の画素（配置位置が同じ画素）については、次式（１）で示す如く、対応する原画像４１のＧ画素の階調値Ｓgi,jが、そのままＧ画像４２ｇの当該画素のＧ値（Ｇ'i,j）として決定される。例えば、図２（ｂ）に示す原画像４１の（ｉ，ｊ）＝（２，３）の配置位置の画素の階調値（Ｓg2,3）が、Ｇ画像４２ｇの（ｉ，ｊ）＝（２，３）の配置位置の画素のＧ値（Ｇ'2,3）として決定される。
【００９８】
Ｇ'i,j＝Ｓgi,j    ……（１）
また、Ｇ画像４２ｇの画素のうち、原画像４１のＧ画素以外の画素（Ｒ画素又はＢ画素又はＲｘ画素）に対応する配置位置の画素については、その画素の周囲の配置位置のＧ画素の階調値を少なくとも用いて補完的にＧ値（Ｇ'i,j）が決定される。
【００９９】
具体的には、Ｇ画像４２ｇの画素のうち、原画像４１のＲ画素及びＢ画素に対応する配置位置の画素については、その画素の上下及び左右に隣接する４つのＧ画素の階調値Ｓgi+1,j、Ｓgi-1,j、Ｓgi,j+1、Ｓgi,j-1を基に、次式（２），（３）のＩg、Ｊgの大小関係に応じて、式（４）又は（５）又は（６）によりＧ値（Ｇ'i,j）が決定される。
【０１００】
Ｉg＝｜Ｓgi+1,j−Ｓgi-1,j｜    ……（２）
Ｊg＝｜Ｓgi,j+1−Ｓgi,j-1｜    ……（３）
Ｉg＜Ｊgである場合
Ｇ'i,j＝（Ｓgi+1,j＋Ｓgi-1,j）／２    ……（４）
Ｉg＞Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1）／２    ……（５）
Ｉg＝Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1＋Ｓgi+1,j＋Ｓgi-1,j）／４    ……（６）
また、Ｇ画像４２ｇの画素のうち、原画像４１のＲｘ画素に対応する配置位置の画素については、その画素の上下及び左右に隣接する４つのＧ画素の階調値Ｓgi+1,j、Ｓgi-1,j、Ｓgi,j+1、Ｓgi,j-1と、対応するＲｘ画素の階調値Ｓrxi,jと、その上下及び左右に１画素の間隔をおいて存在する４つのＲｘ画素の階調値Ｓrxi+2,j、Ｓrxi-2,j、Ｓrxi,j+2、Ｓrxi,j-2とを基に、次式（７），（８）のＩg、Ｊgの大小関係に応じて、式（９）又は（１０）又は（１１）によりＧ値（Ｇ'i,j）が決定される。
【０１０１】
Ｉg＝｜Ｓgi+1,j−Ｓgi-1,j｜＋｜２Ｓrxi,j−Ｓrxi+2,j−Ｓrxi-2,j｜  ……（７）
Ｊg＝｜Ｓgi,j+1−Ｓgi,j-1｜＋｜２Ｓrxi,j−Ｓrxi,j+2−Ｓrxi,j-2｜  ……（８）
Ｉg＜Ｊgである場合
Ｇ'i,j＝（Ｓgi+1,j＋Ｓgi-1,j）／２
＋（２Ｓrxi,j−Ｓrxi+2,j−Ｓrxi-2,j）／４    ……（９）
Ｉg＞Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1）／２
＋（２Ｓrxi,j−Ｓrxi,j+2−Ｓrxi,j-2）／４    ……（１０）
Ｉg＝Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1＋Ｓgi+1,j＋Ｓgi-1,j）／４
＋（４Ｓrxi,j−Ｓrxi+2,j−Ｓrxi-2,j−Ｓrxi,j+2−Ｓrxi,j-2）／８
……（１１）
以上の処理（デモザイキング処理）により、原画像４１のＧ画素の階調値（Ｇ値）を用いて、処理対象領域のＧ画像４２ｇの各画素に、緑の階調値（輝度値）を示すＧ値が割り当てられる。これにより、基準輝度分布画像としてのＧ画像４２ｇ（緑色階調の輝度分布画像）が生成される。
【０１０２】
次に、基準輝度分布画像としてのＲｘ画像４２rxを生成する場合について説明する。
【０１０３】
Ｒｘ画像４２rxは、図８に示すように、各画素の階調値として、Ｒｘ値（赤の輝度値）を割り当てた画像である。図８では、各画素の階調値（Ｒｘ値）をＲx'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【０１０４】
基準輝度分布画像としてのＲｘ画像４２rxの各画素のＲｘ値（Ｒx'i,j）は、次のよう決定される。
【０１０５】
Ｒｘ画像４２rxの画素のうち、原画像４１のＲｘ画素（階調値がＳrxi,jである画素）に対応する配置位置の画素（配置位置が同じ画素）については、次式（１２）で示す如く、対応する原画像４１のＲｘ画素の階調値Ｓrxi,jが、そのままＲｘ画像４２rxの当該画素のＲｘ値（Ｒx'i,j）として決定される。
【０１０６】
Ｒx'i,j＝Ｓrxi,j    ……（１２）
また、Ｒｘ画像４２rxの画素のうち、原画像４１のＲｘ画素以外の画素（Ｒ画素又はＧ画素又はＢ画素）に対応する配置位置の画素については、その画素の周囲のＲｘ画素の階調値を少なくとも用いて補完的にＲｘ値（Ｒx'i,j）が決定される。
【０１０７】
具体的には、Ｒｘ画像４２rxの画素のうち、原画像４１のＲ画素に対応する配置位置の画素については、その画素の右斜め上、右斜め下、左斜め上、左斜め下に隣接する４つのＲｘ画素の階調値Ｓrxi-1,j+1、Ｓrxi+1,j+1、Ｓrxi-1,j-1、Ｓrxi+1,j-1と、対応するＲ画素の階調値Ｓri,jと、その右斜め上、右斜め下、左斜め上、左斜め下に１画素の間隔をおいて存在する４つのＲ画素の階調値Ｓri-2,j+2、Ｓri+2,j+2、Ｓri-2,j-2、Ｓri+2,j-2とを基に、次式（１３），（１４）のＩrx、Ｊrxの大小関係に応じて、式（１５）又は（１６）又は（１７）によりＲｘ値（Ｒx'i,j）が決定される。
【０１０８】
Ｉrx＝｜Ｓrxi+1,j+1−Ｓrxi-1,j-1｜
＋｜２Ｓri,j−Ｓri+2,j+2−Ｓri-2,j-2｜  ……（１３）
Ｊrx＝｜Ｓrxi+1,j-1−Ｓrxi-1,j+1｜
＋｜２Ｓri,j−Ｓri+2,j-2−Ｓri-2,j+2｜  ……（１４）
Ｉrx＜Ｊrxである場合
Ｒx'i,j＝（Ｓrxi+1,j+1＋Ｓrxi-1,j-1）／２
＋（２Ｓri,j−Ｓri+2,j+2−Ｓri-2,j-2）／４    ……（１５）
Ｉrx＞Ｊrxである場合
Ｒx'i,j＝（Ｓrxi+1,j-1＋Ｓrxi-1,j+1）／２
＋（２Ｓri,j−Ｓri+2,j-2−Ｓri-2,j+2）／４    ……（１６）
Ｉrx＝Ｊrxである場合
Ｒx'i,j＝（Ｓrxi+1,j-1＋Ｓrxi-1,j+1＋Ｓrxi+1,j+1＋Ｓrxi-1,j-1）／４
＋（４Ｓri,j−Ｓri+2,j+2−Ｓri-2,j-2−Ｓri+2,j-2−Ｓri-2,j+2）／８
……（１７）
また、Ｒｘ画像４２rxの画素のうち、原画像４１のＢ画素に対応する配置位置の画素については、Ｒ画素に対応する配置位置の画素と同様に、その画素に斜め方向で隣接する４つのＷ画素の階調値Ｓrxi-1,j+1、Ｓrxi+1,j+1、Ｓrxi-1,j-1、Ｓrxi+1,j-1と、対応するＢ画素の階調値Ｓbi,jと、その斜め方向に１画素の間隔をおいて存在する４つのＢ画素の階調値Ｓbi-2,j+2、Ｓbi+2,j+2、Ｓbi-2,j-2、Ｓbi+2,j-2とを基に、次式（１８），（１９）のＩrx、Ｊrxの大小関係に応じて、式（２０）又は（２１）又は（２２）によりＲｘ値（Ｒx'i,j）が決定される。
【０１０９】
Ｉrx＝｜Ｓrxi+1,j+1−Ｓrxi-1,j-1｜
＋｜２Ｓbi,j−Ｓbi+2,j+2−Ｓbi-2,j-2｜  ……（１８）
Ｊrx＝｜Ｓrxi+1,j-1−Ｓrxi-1,j+1｜
＋｜２Ｓbi,j−Ｓbi+2,j-2−Ｓbi-2,j+2｜  ……（１９）
Ｉrx＜Ｊrxである場合
Ｒx'i,j＝（Ｓrxi+1,j+1＋Ｓrxi-1,j-1）／２
＋（２Ｓbi,j−Ｓbi+2,j+2−Ｓbi-2,j-2）／４    ……（２０）
Ｉrx＞Ｊrxである場合
Ｒx'i,j＝（Ｓrxi+1,j-1＋Ｓrxi-1,j+1）／２
＋（２Ｓbi,j−Ｓbi+2,j-2−Ｓbi-2,j+2）／４    ……（２１）
Ｉrx＝Ｊrxである場合
Ｒx'i,j＝（Ｓrxi+1,j-1＋Ｓrxi-1,j+1＋Ｓrxi+1,j+1＋Ｓrxi-1,j-1）／４
＋（４Ｓbi,j−Ｓbi+2,j+2−Ｓbi-2,j-2−Ｓbi+2,j-2−Ｓbi-2,j+2）／８
……（２２）
また、Ｒｘ画像４２rxの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素に上下又は左右に隣接する２つのＲｘ画素の階調値（Ｓrxi-1,j、Ｓrxi+1,j）又は（Ｓrxi,j-1、Ｓrxi,j+1）と、対応するＧ画素の階調値Ｓgi,jと、その上下又は左右に１画素の間隔をおいて存在する２つのＧ画素の階調値（Ｓgi-2,j、Ｓgi+2,j）又は（Ｓgi,j-2、Ｓgi,j+2）とを基に、次式（２３）又は（２４）によりＲｘ値（Ｒx'i,j）が決定される。
【０１１０】
上下にＲｘ画素が隣接する場合
Ｒx'i,j＝（Ｓrxi+1,j＋Ｓrxi-1,j）／２
＋（２Ｓgi,j−Ｓgi+2,j−Ｓgi-2,j）／４    ……（２３）
左右にＲｘ画素が隣接する場合
Ｒx'i,j＝（Ｓrxi,j+1＋Ｓrxi,j-1）／２
＋（２Ｓgi,j−Ｓgi,j+2−Ｓgi,j-2）／４    ……（２４）
以上の処理（デモザイキング処理）により、原画像４１のＲｘ画素の階調値（Ｒｘ値）を用いて、処理対象領域のＲｘ画像４２rxの各画素に、赤の階調値（輝度値）を示すＲｘ値が割り当てられる。これにより、基準輝度分布画像としてのＲｘ画像４２rx（赤色階調の輝度分布画像）が生成される。
【０１１１】
以上が、ＳＴＥＰ３−２の処理の詳細である。
【０１１２】
色別画像生成部３２は、次に、ＳＴＥＰ３−３において、基準輝度分布画像として生成した画像（Ｇ画像又はＲｘ画像）以外の残りの３つの色別画像（４２ｒ，４２ｂ，４２rx、又は４２ｒ，４２ｂ，４２ｇ）を生成する。この場合、選択中の処理対象領域における残りの３つの色別画像の生成は、基準輝度分布画像の輝度分布を反映させて行なわれる。なお、このＳＴＥＰ３−３の処理の詳細は後述する。
【０１１３】
次いで、色別画像生成部３２は、ＳＴＥＰ３−４において、全ての処理対象領域を選択したか否かを判断する。そして、この判断結果が否定的である場合には、ＳＴＥＰ３−１で新たな処理対象領域を選択し、その選択した処理対象領域について、ＳＴＥＰ３−２、３−３の処理が同様に実行される。また、ＳＴＥＰ３−４の判断結果が肯定的になれば、ＳＴＥＰ３の処理が完了する。これにより全ての処理対象領域について、色別画像４２が生成される。
【０１１４】
上記ＳＴＥＰ３−３の処理の詳細を以下に説明する。まず、ＳＴＥＰ３−２において、Ｇ画像を基準輝度分布画像として生成した場合に、Ｒ画像４２ｒ、Ｂ画像４２ｂ、及びＲｘ画像４２rxを生成する処理について説明する。
【０１１５】
まず、Ｒ画像４２ｒは、図９に示すように、各画素の階調値として、Ｒ値（赤の輝度値）を割り当てた画像である。図９では、各画素の階調値（Ｒ値）をＲ'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【０１１６】
そして、選択中の処理対象領域におけるＲ画像４２ｒを、基準輝度分布画像として生成したＧ画像４２ｇの輝度分布を反映させて生成する処理では、該Ｒ画像４２ｒの各画素のＲ値（Ｒ'i,j）は、次のよう決定される。
【０１１７】
すなわち、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（２６）で示す如く、対応する原画像４１のＲ画素の階調値Ｓri,jが、Ｒ画像４２ｒの当該画素のＲ値（Ｒ'i,j）として決定される。
【０１１８】
Ｒ'i,j＝Ｓri,j    ……（２６）
また、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素以外の画素（Ｇ画素又はＢ画素又はＲｘ画素）に対応する配置位置の画素のＲ値（Ｒ'i,j）は、当該画素の周囲のＲ画素の階調値（原画像４１での階調値）と、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇでの階調値（Ｇ値））とを用いて決定される。
【０１１９】
具体的には、Ｒ画像４２ｒの画素のうち、原画像４１のＢ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＲ画素（原画像４１中のＲ画素）の階調値Ｓri+2,j、Ｓri-2,j、Ｓri,j+2、Ｓri,j-2と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i+2,j、G'i-2,j、Ｇ'i,j+2、Ｇ'i,j-2とを基に、次式（２７），（２８）のＩr、Ｊrの大小関係に応じて、式（２９）又は（３０）又は（３１）によりＲ値（Ｒ'i,j）が決定される。
【０１２０】
Ｉr＝｜Ｓri+2,j−Ｓri-2,j｜＋｜２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j｜  ……（２７）
Ｊr＝｜Ｓri,j+2−Ｓri,j-2｜＋｜２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2｜  ……（２８）
Ｉr＜Ｊrである場合
Ｒ'i,j＝（Ｓri+2,j＋Ｓri-2,j）／２
＋（２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j）／２    ……（２９）
Ｉr＞Ｊrである場合
Ｒ'i,j＝（Ｓri,j+2＋Ｓri,j-2）／２
＋（２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2）／２    ……（３０）
Ｉr＝Ｊrである場合
Ｒ'i,j＝（Ｓri,j+2＋Ｓri,j-2＋Ｓri+2,j＋Ｓri-2,j）／４
＋（４Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j−G'i,j+2−Ｇ'i,j-2）／４
……（３１）
また、Ｒ画像４２ｒの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＲ画素（原画像４１中の画素）の階調値Ｓri+1,j又はＳri-1,j又はＳri,j+1又はＳri,j-1と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下左右のいずれかに隣接する１つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i+1,j、G'i-1,j、Ｇ'i,j+1、Ｇ'i,j-1とを基に、次式（３２）又は（３３）又は（３４）又は（３５）によりＲ値（Ｃi,j_r）が決定される。
【０１２１】
下側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri+1,j＋（Ｇ'i,j−Ｇ'i+1,j）    ……（３２）
上側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri-1,j＋（Ｇ'i,j−Ｇ'i-1,j）    ……（３３）
右側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri,j+1＋（Ｇ'i,j−Ｇ'i,j+1）    ……（３４）
左側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri,j-1＋（Ｇ'i,j−Ｇ'i,j-1）    ……（３５）
また、Ｒ画像４２ｒの画素のうち、原画像４１のＲｘ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＲ画素（原画像４１中の画素）の階調値（Ｓri-1,j+1，Ｓri+1,j-1）又は（Ｓri-1,j−1，Ｓri+1,j+1）と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）（Ｇ'i-1,j+1，Ｇ'i+1,j-1）又は（Ｇ'i-1,j−1，Ｇ'i+1,j+1）とを基に、次式（３６）又は（３７）によりＲ値（Ｒ'i,j）が決定される。
【０１２２】
右斜め上及び左斜め下にＲ画素が隣接する場合
Ｒ'i,j＝（Ｓri+1,j-1＋Ｓri-1,j+1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1）／２    ……（３６）
左斜め上及び右斜め下にＲ画素が隣接する場合
Ｒ'i,j＝（Ｓri+1,j+1＋Ｓri-1,j-1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1）／２    ……（３７）
選択中の処理対象領域において、Ｇ画像４２ｇを基準輝度分布画像として生成した場合、以上のようにして、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素以外の各画素のＲ値（Ｒ'i,j）は、当該画素の周囲のＲ画素の階調値（原画像４１における階調値）に応じて決定される基本値（式（２９）〜（３７）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇにおけるＧ値）に応じて決定される補正値（式（２９）〜（３７）のそれぞれの右辺の第２項）により補正することによって、決定される。
【０１２３】
そして、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素に対応する配置位置の各画素のＲ値（Ｒ'i,j）は、当該画素に対応する原画像４１のＲ画素の階調値Ｓri,jに一致するように決定される。
【０１２４】
これにより選択中の処理対象領域におけるＲ画像４２ｒが、基準輝度分布画像としてのＧ画像４２ｇの輝度分布を反映させて生成される。
【０１２５】
次に、Ｂ画像４２ｂは、図１０に示すように、各画素の階調値として、Ｂ値（青の輝度値）を割り当てた画像である。図１０では、各画素の階調値（Ｂ値）をＢ'i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【０１２６】
そして、選択中の処理対象領域におけるＢ画像４２ｂを、基準輝度分布画像として生成したＧ画像４２ｇの輝度分布を反映させて生成する処理では、該Ｂ画像４２ｂの各画素のＢ値（Ｂ'i,j）は、Ｒ画像４２ｒの各画素のＲ値（Ｒ'i,j）と同様の仕方で決定される。
【０１２７】
すなわち、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（３８）で示す如く、対応する原画像４１のＢ画素の階調値Ｓbi,jが、Ｂ画像４２ｂの当該画素のＢ値（Ｂ'i,j）として決定される。
【０１２８】
Ｂ'i,j＝Ｓbi,j    ……（３８）
また、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素以外の画素（Ｒ画素又はＧ画素又はＲｘ画素）に対応する配置位置の画素のＢ値（Ｂ'i,j）は、当該画素の周囲のＢ画素の階調値（原画像４１での階調値）と、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇでの階調値（Ｇ値））とを用いて決定される。
【０１２９】
具体的には、Ｂ画像４２ｂの画素のうち、原画像４１のＲ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＢ画素（原画像４１中のＢ画素）の階調値Ｓbi+2,j、Ｓbi-2,j、Ｓbi,j+2、Ｓbi,j-2と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i+2,j、G'i-2,j、Ｇ'i,j+2、Ｇ'i,j-2とを基に、次式（３９），（４０）のＩb、Ｊbの大小関係に応じて、式（４１）又は（４２）又は（４３）によりＢ値（Ｂ'i,j）が決定される。
【０１３０】
Ｉb＝｜Ｓbi+2,j−Ｓbi-2,j｜＋｜２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j｜  ……（３９）
Ｊb＝｜Ｓbi,j+2−Ｓbi,j-2｜＋｜２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2｜  ……（４０）
Ｉb＜Ｊbである場合
Ｂ'i,j＝（Ｓbi+2,j＋Ｓbi-2,j）／２
＋（２Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j）／２    ……（４１）
Ｉb＞Ｊbである場合
Ｂ'i,j＝（Ｓbi,j+2＋Ｓbi,j-2）／２
＋（２Ｇ'i,j−Ｇ'i,j+2−Ｇ'i,j-2）／２    ……（４２）
Ｉb＝Ｊbである場合
Ｂ'i,j＝（Ｓbi,j+2＋Ｓbi,j-2＋Ｓbi+2,j＋Ｓbi-2,j）／４
＋（４Ｇ'i,j−Ｇ'i+2,j−Ｇ'i-2,j−G'i,j+2−Ｇ'i,j-2）／４
……（４３）
また、Ｂ画像４２ｂの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＢ画素（原画像４１中のＢ画素）の階調値Ｓbi+1,j又はＳbi-1,j又はＳbi,j+1又はＳbi,j-1と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下左右のいずれかに隣接する１つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i+1,j、G'i-1,j、Ｇ'i,j+1、Ｇ'i,j-1とを基に、次式（４４）又は（４５）又は（４６）又は（４７）によりＢ値（Ｂ'i,j）が決定される。
【０１３１】
下側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi+1,j＋（Ｇ'i,j−Ｇ'i+1,j）    ……（４４）
上側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi-1,j＋（Ｇ'i,j−Ｇ'i-1,j）    ……（４５）
右側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi,j+1＋（Ｇ'i,j−Ｇ'i,j+1）    ……（４６）
左側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi,j-1＋（Ｇ'i,j−Ｇ'i,j-1）    ……（４７）
また、Ｂ画像４２ｂの画素のうち、原画像４１のＲｘ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＢ画素（原画像４１中のＢ画素）の階調値（Ｓbi-1,j+1，Ｓbi+1,j-1）又は（Ｓbi-1,j−1，Ｓbi+1,j+1）と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）（Ｇ'i-1,j+1，Ｇ'i+1,j-1）又は（Ｇ'i-1,j−1，Ｇ'i+1,j+1）とを基に、次式（４８）又は（４９）によりＢ値（Ｂ'i,j_b）が決定される。
【０１３２】
右斜め上及び左斜め下にＢ画素が隣接する場合
Ｂ'i,j＝（Ｓbi+1,j-1＋Ｓbi-1,j+1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1）／２    ……（４８）
左斜め上及び右斜め下にＢ画素が隣接する場合
Ｂ'i,j＝（Ｓbi+1,j+1＋Ｓbi-1,j-1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1）／２    ……（４９）
選択中の処理対象領域において、Ｇ画像４２ｇを基準輝度分布画像として生成した場合、以上のようにして、Ｂ画像４２ｂの各画素うち、原画像４１のＢ画素に対応する配置位置の画素以外の各画素のＢ値（Ｂ'i,j）は、当該画素の周囲のＢ画素の階調値（原画像４１における階調値）に応じて決定される基本値（式（４１）〜（４９）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇにおけるＧ値）に応じて決定される補正値（式（４１）〜（４９）のそれぞれの右辺の第２項）により補正することによって、決定される。
【０１３３】
そして、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素に対応する配置位置の各画素のＢ値（Ｂ'i,j）は、当該画素に対応する原画像４１のＢ画素の階調値Ｓbi,jに一致するように決定される。
【０１３４】
これにより選択中の処理対象領域におけるＢ画像４２ｂが、基準輝度分布画像としてのＧ画像４２ｇの輝度分布を反映させて生成される。
【０１３５】
次に、選択中の処理対象領域におけるＲｘ画像４２rxを、基準輝度分布画像として生成したＧ画像４２ｇの輝度分布を反映させて生成する処理では、該Ｒｘ画像４２rx（図８に示した画像）の各画素のＲｘ値（Ｒx'i,j）は、次のように決定される。
【０１３６】
すなわち、Ｒｘ画像４２rxの各画素のうち、原画像４１のＲｘ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（５０）で示す如く、対応する原画像４１のＲｘ画素の階調値Ｓrxi,jが、Ｒｘ画像４２rxの当該画素のＲｘ値（Ｒx'i,j）として決定される。
【０１３７】
Ｒx'i,j＝Ｓwi,j    ……（５０）
また、Ｒｘ画像４２rxの各画素のうち、原画像４１のＲｘ画素以外の画素（Ｒ画素又はＧ画素又はＢ画素）に対応する配置位置の画素のＲｘ値（Ｒx'i,j）は、当該画素の周囲のＲｘ画素の階調値（原画像４１での階調値）と、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇでの階調値（Ｇ値））とを用いて決定される。
【０１３８】
具体的には、Ｒｘ画像４２rxの画素のうち、原画像４１のＲ画素又はＢ画素に対応する配置位置の画素については、その画素の右斜め上、右斜め下、左斜め上、左斜め下に隣接する４つのＲｘ画素（原画像中のＲｘ画素）の階調値Ｓrxi-1,j+1、Ｓrxi+1,j+1、Ｓrxi-1,j-1、Ｓrxi+1,j-1と、対応する画素（Ｇ画像中の画素）のＧ値Ｇ'i,jと、その右斜め上、右斜め下、左斜め上、左斜め下に隣接する４つの画素（Ｇ画像４２ｇ中の画素）のＧ値Ｇ'i-1,j+1、G'i+1,j+1、Ｇ'i-1,j-1、Ｇ'i+1,j-1とを基に、次式（５１），（５２）のＩrx、Ｊrxの大小関係に応じて、式（５３）又は（５４）又は（５５）によりＲｘ値（Ｒx'i,j）が決定される。
【０１３９】
Ｉrx＝｜Ｓrxi+1,j+1−Ｓrxi-1,j-1｜
＋｜２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1｜  ……（５１）
Ｊrx＝｜Ｓrxi+1,j-1−Ｓrxi-1,j+1｜
＋｜２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1｜  ……（５２）
Ｉrx＜Ｊrxである場合
Ｒx'i,j＝（Ｓrxi+1,j+1＋Ｓrxi-1,j-1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i-1,j-1）／２  ……（５３）
Ｉrx＞Ｊrxである場合
Ｒx'i,j＝（Ｓrxi+1,j-1＋Ｓrxi-1,j+1）／２
＋（２Ｇ'i,j−Ｇ'i+1,j-1−Ｇ'i-1,j+1）／２  ……（５４）
Ｉrx＝Ｊrxである場合
Ｒx'i,j＝（Ｓrxi+1,j+1＋Ｓrxi+1,j-1＋Ｓrxi-1,j+1＋Ｓrxi-1,j-1）／４
＋（４Ｇ'i,j−Ｇ'i+1,j+1−Ｇ'i+1,j-1−G'i-1,j+1−Ｇ'i-1,j-1）／４
……（５５）
また、Ｒｘ画像４２rxの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素に上下又は左右に隣接する２つのＲｘ画素（原画像４１中の画素）の階調値（Ｓrxi-1,j、Ｓrxi+1,j）又は（Ｓrxi,j-1、Ｓrxi,j+1）と、対応する画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）Ｇ'i,jと、その上下又は左右に隣接する２つの画素（Ｇ画像４２ｇ中の画素）のＧ値（輝度値）（Ｇ'i-1,j、Ｇ'i+1,j）又は（Ｇ'i,j-1、Ｇ'i,j+1）とを基に、次式（５６）又は（５７）によりＲｘ値（Ｒx'i,j）が決定される。
【０１４０】
上下にＲｘ画素が隣接する場合
Ｒx'i,j＝（Ｓrxi+1,j＋Ｓrxi-1,j）／２
＋（２Ｇ'i,j−Ｇ'i+1,j−Ｇ'i-1,j）／２    ……（５６）
左右にＲｘ画素が隣接する場合
Ｒx'i,j＝（Ｓrxi,j+1＋Ｓrxi,j-1）／２
＋（２Ｇ'i,j−Ｇ'i,j+1−Ｇ'i,j-1）／２    ……（５７）
選択中の処理対象領域において、Ｇ画像４２ｇを基準輝度分布画像として生成した場合、以上のようにして、Ｒｘ画像４２rxの各画素うち、原画像４１のＲｘ画素に対応する配置位置の画素以外の各画素のＲｘ値（Ｒx'i,j）は、当該画素の周囲のＲｘ画素の階調値（原画像４１における階調値）に応じて決定される基本値（式（５３）〜（５７）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＧ値（Ｇ画像４２ｇにおけるＧ値）に応じて決定される補正値（式（５３）〜（５７）のそれぞの右辺の第２項）により補正することによって、決定される。
【０１４１】
そして、Ｒｘ画像４２rxの各画素のうち、原画像４１のＲｘ画素に対応する配置位置の各画素のＲｘ値（Ｒx'i,j）は、当該画素に対応する原画像４１のＲｘ画素の階調値Ｓrxi,jに一致するように決定される。
【０１４２】
これにより選択中の処理対象領域におけるＲｘ画像４２rxが、基準輝度分布画像としてのＧ画像４２ｇの輝度分布を反映させて生成される。
【０１４３】
以上が、選択中の処理対象領域において、基準輝度分布画像として生成したＧ画像４２ｇの輝度分布を反映させて、残りの３つの色別画像（Ｒ画像４２ｒ、Ｂ画像４２ｂ、及びＲｘ画像４２rx）を生成する処理である。
【０１４４】
次に、ＳＴＥＰ３−２において、Ｒｘ画像を基準輝度分布画像として生成した場合に、Ｒ画像４２ｒ、Ｂ画像４２ｂ、及びＧ画像４２ｇを生成する処理について説明する。
【０１４５】
まず、Ｒ画像４２ｒに関し、選択中の処理対象領域におけるＲ画像４２ｒを、基準輝度分布画像として生成したＲｘ画像４２rxの輝度分布を反映させて生成する処理では、該Ｒ画像４２ｒの各画素のＲ値（Ｒ'i,j）は、次のよう決定される。
【０１４６】
すなわち、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（５８）で示す如く、対応する原画像４１のＲ画素の階調値Ｓri,jが、Ｒ画像４２ｒの当該画素のＲ値（Ｒ'i,j）として決定される。
【０１４７】
Ｒ'i,j＝Ｓri,j    ……（５８）
また、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素以外の画素（Ｇ画素又はＢ画素又はＲｘ画素）に対応する配置位置の画素のＲ値（Ｒ'i,j）は、当該画素の周囲のＲ画素の階調値（原画像４１での階調値）と、当該画素及びその周囲の画素のＲｘ値（Ｒｘ画像４２rxでの階調値）とを用いて決定される。
【０１４８】
具体的には、Ｒ画像４２ｒの画素のうち、原画像４１のＢ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＲ画素（原画像４１中の画素）の階調値Ｓri+2,j、Ｓri-2,j、Ｓri,j+2、Ｓri,j-2と、対応する画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i+2,j、Ｒx'i-2,j、Ｒx'i,j+2、Ｒx'i,j-2とを基に、次式（５９），（６０）のＩr、Ｊrの大小関係に応じて、式（６１）又は（６２）又は（６３）によりＲ値（Ｒ'i,j）が決定される。
【０１４９】
Ｉr＝｜Ｓri+2,j−Ｓri-2,j｜＋｜２Ｒx'i,j−Ｒx'i+2,j−Ｒx'i-2,j｜  ……（５９）
Ｊr＝｜Ｓri,j+2−Ｓri,j-2｜＋｜２Ｒx'i,j−Ｒx'i,j+2−Ｒx'i,j-2｜  ……（６０）
Ｉr＜Ｊrである場合
Ｒ'i,j＝（Ｓri+2,j＋Ｓri-2,j）／２
＋（２Ｒx'i,j−Ｒx'i+2,j−Ｒx'i-2,j）／２    ……（６１）
Ｉr＞Ｊrである場合
Ｒ'i,j＝（Ｓri,j+2＋Ｓri,j-2）／２
＋（２Ｒx'i,j−Ｒx'i,j+2−Ｒx'i,j-2）／２    ……（６２）
Ｉr＝Ｊrである場合
Ｒ'i,j＝（Ｓri,j+2＋Ｓri,j-2＋Ｓri+2,j＋Ｓri-2,j）／４
＋（４Ｒx'i,j−Ｒx'i+2,j−Ｒx'i-2,j−Ｒx'i,j+2−Ｒx'i,j-2）／４
……（６３）
また、Ｒ画像４２ｒの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＲ画素（原画像４１のＲ画素）の階調値Ｓri+1,j又はＳri-1,j又はＳri,j+1又はＳri,j-1と、対応する画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i,jと、その上下左右のいずれかに隣接する１つの画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i+1,j、Ｒx'i-1,j、Ｒx'i,j+1、Ｒx'i,j-1とを基に、次式（６４）又は（６５）又は（６６）又は（６７）によりＲ値（Ｒ'i,j）が決定される。
【０１５０】
下側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri+1,j＋（Ｒx'i,j−Ｒx'i+1,j）    ……（６４）
上側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri-1,j＋（Ｒx'i,j−Ｒx'i-1,j）    ……（６５）
右側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri,j+1＋（Ｒx'i,j−Ｒx'i,j+1）    ……（６６）
左側にＲ画素が隣接する場合
Ｒ'i,j＝Ｓri,j-1＋（Ｒx'i,j−Ｒx'i,j-1）    ……（６７）
また、Ｒ画像４２ｒの画素のうち、原画像４１のＲｘ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＲ画素（原画像４１中のＲ画素）の階調値（Ｓri-1,j+1，Ｓri+1,j-1）又は（Ｓri-1,j−1，Ｓri+1,j+1）と、対応する画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）（Ｒx'i-1,j+1，Ｒx'i+1,j-1）又は（Ｒx'i-1,j−1，Ｒx'i+1,j+1）とを基に、次式（６８）又は（６９）によりＲ値（Ｒ'i,j）が決定される。
【０１５１】
右斜め上及び左斜め下にＲ画素が隣接する場合
Ｒ'i,j＝（Ｓri+1,j-1＋Ｓri-1,j+1）／２
＋（２Ｒx'i,j−Ｒx'i+1,j-1−Ｒx'i-1,j+1）／２    ……（６８）
左斜め上及び右斜め下にＲ画素が隣接する場合
Ｒ'i,j＝（Ｓri+1,j+1＋Ｓri-1,j-1）／２
＋（２Ｒx'i,j−Ｒx'i+1,j+1−Ｒx'i-1,j-1）／２    ……（６９）
選択中の処理対象領域において、Ｒｘ画像４２rxを基準輝度分布画像として生成した場合、以上のようにして、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素に対応する配置位置の画素以外の各画素のＲ値（Ｒ'i,j）は、当該画素の周囲のＲ画素の階調値（原画像４１における階調値）に応じて決定される基本値（式（６１）〜（６９）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＲｘ値（Ｒｘ画像４２rxにおけるＲｘ値）に応じて決定される補正値（式（６１）〜（６９）のそれぞれの右辺の第２項）により補正することによって、決定される。
【０１５２】
そして、Ｒ画像４２ｒの各画素のうち、原画像４１のＲ画素に対応する配置位置の各画素のＲ値（Ｒ'i,j）は、当該画素に対応する原画像４１のＲ画素の階調値Ｓri,jに一致するように決定される。
【０１５３】
これにより選択中の処理対象領域におけるＲ画像４２ｒが、基準輝度分布画像としてのＲｘ画像４２rxの輝度分布を反映させて生成される。
【０１５４】
次に、Ｂ画像４２ｂに関し、選択中の処理対象領域におけるＢ画像４２ｂを、基準輝度分布画像として生成したＲｘ画像４２rxの輝度分布を反映させて生成する処理では、該Ｂ画像４２ｂの各画素のＢ値（Ｂ'i,j）は、Ｒ画像４２ｒの各画素のＲ値（Ｒ'i,j）と同様に仕方で決定される。
【０１５５】
すなわち、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（７０）で示す如く、対応する原画像４１のＢ画素の階調値Ｓbi,jが、Ｂ画像４３ｂの当該画素のＢ値（Ｂ'i,j）として決定される。
【０１５６】
Ｂ'i,j＝Ｓbi,j    ……（７０）
また、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素以外の画素（Ｒ画素又はＧ画素又はＲｘ画素）に対応する配置位置の画素のＢ値（Ｂ'i,j_b）は、当該画素の周囲のＢ画素の階調値（原画像４１での階調値）と、当該画素及びその周囲の画素のＲｘ値（Ｒｘ画像４２rxでの階調値（Ｒｘ値））とを用いて決定される。
【０１５７】
具体的には、Ｂ画像４２ｂの画素のうち、原画像４１のＲ画素に対応する配置位置の画素については、その画素の上下及び左右に１画素の間隔をおいて存在する４つのＢ画素（原画像４１中の画素）の階調値Ｓbi+2,j、Ｓbi-2,j、Ｓbi,j+2、Ｓbi,j-2と、対応する画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i,jと、その上下及び左右に１画素の間隔をおいて存在する４つの画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i+2,j、Ｒx'i-2,j、Ｒx'i,j+2、Ｒx'i,j-2とを基に、次式（７１），（７２）のＩb、Ｊbの大小関係に応じて、式（７３）又は（７４）又は（７５）によりＢ値（Ｂ'i,j）が決定される。
【０１５８】
Ｉb＝｜Ｓbi+2,j−Ｓbi-2,j｜＋｜２Ｒx'i,j−Ｒx'i+2,j−Ｒx'i-2,j｜  ……（７１）
Ｊb＝｜Ｓbi,j+2−Ｓbi,j-2｜＋｜２Ｒx'i,j−Ｒx'i,j+2−Ｒx'i,j-2｜  ……（７２）
Ｉb＜Ｊbである場合
Ｂ'i,j＝（Ｓbi+2,j＋Ｓbi-2,j）／２
＋（２Ｒx'i,j−Ｒx'i+2,j−Ｒx'i-2,j）／２    ……（７３）
Ｉb＞Ｊbである場合
Ｂ'i,j＝（Ｓbi,j+2＋Ｓbi,j-2）／２
＋（２Ｒx'i,j−Ｒx'i,j+2−Ｒx'i,j-2）／２    ……（７４）
Ｉb＝Ｊbである場合
Ｂ'i,j＝（Ｓbi,j+2＋Ｓbi,j-2＋Ｓbi+2,j＋Ｓbi-2,j）／４
＋（４Ｒx'i,j−Ｒx'i+2,j−Ｒx'i-2,j−Ｒx'i,j+2−Ｒx'i,j-2）／４
……（７５）
また、Ｂ画像４２ｂの画素のうち、原画像４１のＧ画素に対応する配置位置の画素については、その画素の上下左右のいずれかに隣接する１つのＢ画素（原画像４１中のＢ画素）の階調値Ｓbi+1,j又はＳbi-1,j又はＳbi,j+1又はＳbi,j-1と、対応する画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i,jと、その上下左右のいずれかに隣接する１つの画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i+1,j、Ｒx'i-1,j、Ｒx'i,j+1、Ｒx'i,j-1とを基に、次式（７６）又は（７７）又は（７８）又は（７９）によりＢ値（Ｂ'i,j）が決定される。
【０１５９】
下側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi+1,j＋（Ｒx'i,j−Ｒx'i+1,j）    ……（７６）
上側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi-1,j＋（Ｒx'i,j−Ｒx'i-1,j）    ……（７７）
右側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi,j+1＋（Ｒx'i,j−Ｒx'i,j+1）    ……（７８）
左側にＢ画素が隣接する場合
Ｂ'i,j＝Ｓbi,j-1＋（Ｒx'i,j−Ｒx'i,j-1）    ……（７９）
また、Ｂ画像４２ｂの画素のうち、原画像４１のＲｘ画素に対応する配置位置の画素については、その画素の右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つのＢ画素（原画像４１中のＢ画素）の階調値（Ｓbi-1,j+1，Ｓbi+1,j-1）又は（Ｓbi-1,j−1，Ｓbi+1,j+1）と、対応する画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i,jと、その右斜め上及び左斜め下、あるいは、左斜め上及び右斜め下に隣接する２つの画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）（Ｒx'i-1,j+1，Ｒx'i+1,j-1）又は（Ｒx'i-1,j−1，Ｒx'i+1,j+1）とを基に、次式（８０）又は（８１）によりＢ値（Ｂ'i,j）が決定される。
【０１６０】
右斜め上及び左斜め下にＢ画素が隣接する場合
Ｂ'i,j＝（Ｓbi+1,j-1＋Ｓbi-1,j+1）／２
＋（２Ｒx'i,j−Ｒx'i+1,j-1−Ｒx'i-1,j+1）／２    ……（８０）
左斜め上及び右斜め下にＢ画素が隣接する場合
Ｂ'i,j＝（Ｓbi+1,j+1＋Ｓbi-1,j-1）／２
＋（２Ｒx'i,j−Ｒx'i+1,j+1−Ｒx'i-1,j-1）／２    ……（８１）
選択中の処理対象領域において、Ｒｘ画像４２rxを基準輝度分布画像として生成した場合、以上のようにして、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素に対応する配置位置の画素以外の各画素のＢ値（Ｂ'i,j）は、当該画素の周囲のＢ画素の階調値（原画像４１における階調値）に応じて決定される基本値（式（７３）〜（８１）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＲｘ値（Ｒｘ画像４２rxにおけるＲｘ値）に応じて決定される補正値（式（７３）〜（８１）のそれぞれの右辺の第２項）により補正することによって、決定される。
【０１６１】
そして、Ｂ画像４２ｂの各画素のうち、原画像４１のＢ画素に対応する配置位置の各画素のＢ値（Ｂ'i,j）は、当該画素に対応する原画像４１のＢ画素の階調値Ｓbi,jに一致するように決定される。
【０１６２】
これにより選択中の処理対象領域におけるＢ画像４２ｂが、基準輝度分布画像としてのＲｘ画像４２rxの輝度分布を反映させて生成される。
【０１６３】
次に、選択中の処理対象領域におけるＧ画像４２ｇを、基準輝度分布画像として生成したＲｘ画像４２rxの輝度分布を反映させて生成する処理では、該Ｇ画像４２ｇの各画素のＧ値（Ｇ'i,j）は、次のように決定される。
【０１６４】
すなわち、Ｇ画像４２ｇの各画素のうち、原画像４１のＧ画素に対応する配置位置の画素（配置位置が同じ画素）については、式（８２）で示す如く、対応する原画像４１のＧ画素の階調値Ｓgi,jが、Ｇ画像４２ｇの当該画素のＧ値（Ｇ'i,j）として決定される。
【０１６５】
Ｇ'i,j＝Ｓgi,j    ……（８２）
また、Ｇ画像４２ｇの各画素のうち、原画像４１のＧ画素以外の画素（Ｒ画素又はＢ画素又はＲｘ画素）に対応する配置位置の画素のＧ値（Ｇ'i,j）は、当該画素の周囲のＧ画素の階調値（原画像４１での階調値）と、当該画素及びその周囲の画素のＲｘ値（Ｒｘ画像４２rxでの階調値（Ｒｘ値））とを用いて決定される。
【０１６６】
具体的には、Ｇ画像４２ｇの画素のうち、原画像４１のＧ画素以外の各画素に対応する配置位置の画素については、当該画素の上下及び左右に隣接する４つのＧ画素（原画像４１中のＧ画素）の階調値Ｓgi+1,j、Ｓgi-1,j、Ｓgi,j+1、Ｓgi,j-1と、対応する画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i,jと、その上下及び左右に隣接する４つの画素（Ｒｘ画像４２rx中の画素）のＲｘ値（輝度値）Ｒx'i+1,j、Ｒx'i-1,j、Ｒx'i,j+1、Ｒx'i,j-1とを基に、次式（８３），（８４）のＩg、Ｊgの大小関係に応じて、式（８５）又は（８６）又は（８７）によりＧ値（Ｇ'i,j）が決定される。
【０１６７】
Ｉg＝｜Ｓgi+1,j−Ｓgi-1,j｜＋｜２Ｒx'i,j−Ｒx'i+1,j−Ｒx'i-1,j｜  ……（８３）
Ｊg＝｜Ｓgi,j+1−Ｓgi,j-1｜＋｜２Ｒx'i,j−Ｒx'i,j+1−Ｒx'i,j-1｜  ……（８４）
Ｉg＜Ｊgである場合
Ｇ'i,j＝（Ｓgi+1,j＋Ｓgi-1,j）／２
＋（２Ｒx'i,j−Ｒx'i+1,j−Ｒx'i-1,j）／２    ……（８５）
Ｉg＞Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1）／２
＋（２Ｒx'i,j−Ｒx'i,j+1−Ｒx'i,j-1）／２    ……（８６）
Ｉg＝Ｊgである場合
Ｇ'i,j＝（Ｓgi,j+1＋Ｓgi,j-1＋Ｓgi+1,j＋Ｓgi-1,j）／４
＋（４Ｒx'i,j−Ｒx'i+1,j−Ｒx'i-1,j−Ｒx'i,j+1−Ｒx'i,j-1）／４
……（８７）
選択中の処理対象領域において、Ｒｘ画像４２rxを基準輝度分布画像として生成した場合、以上のようにして、Ｇ画像４２ｇの各画素のうち、原画像４１のＧ画素に対応する配置位置の画素以外の各画素のＧ値（Ｇ'i,j）は、当該画素の周囲のＧ画素の階調値（原画像４１における階調値）に応じて決定される基本値（式（８５）〜（８７）のそれぞれの右辺の第１項）を、当該画素及びその周囲の画素のＲｘ値（Ｒｘ画像４２rxにおけるＲｘ値）に応じて決定される補正値（式（８５）〜（８７）のそれぞれの右辺の第２項）により補正することによって、決定される。
【０１６８】
そして、Ｇ画像４２ｇの各画素のうち、原画像４１のＧ画素に対応する配置位置の各画素のＧ値（Ｇ'i,j）は、当該画素に対応する原画像４１のＧ画素の階調値Ｓgi,jに一致するように決定される。
【０１６９】
これにより選択中の処理対象領域におけるＧ画像４２ｒが、基準輝度分布画像としてのＲｘ画像４２rxの輝度分布を反映させて生成される。
【０１７０】
以上が、選択中の処理対象領域において、基準輝度分布画像として生成したＲｘ画像４２rxの輝度分布を反映させて、残りの３つの色別画像（Ｒ画像４２ｒ、Ｂ画像４２ｂ、及びＧ画像４２ｇ）を生成する処理である。
【０１７１】
図４に説明に戻って、以上説明したＳＴＥＰ４の処理（色別画像生成部３２の処理）によって、各処理対象領域毎の４種類の色別画像（Ｒ画像４２ｒ、Ｇ画像４２ｇ、Ｂ画像４２ｂ及びＲｘ画像４２rx）を生成した後、ＳＴＥＰ４の処理が監視用画像取得部３３により実行される。
【０１７２】
この処理では、監視用画像取得部３３は、対象物検知部３４で検知しようとする監視対象物の種別や、撮影環境等に応じて、対象物検知部３４での監視対象物の検知に適した（検知しやすい）監視用画像を取得し、その取得した監視用画像を対象物検知部３４に出力する。該監視用画像は、各処理対象領域の４種類の色別画像４２（Ｒ画像４２ｒ、Ｇ画像４２ｇ、Ｂ画像４２ｂ及びＲｘ画像４２rx）から選択した画像、あるいは、各処理対象領域の複数種類の色別画像４２を合成することで生成される画像である。
【０１７３】
本実施形態では、監視用画像取得部３３は、例えば、各処理対象領域の色別画像４２のうちのＲｘ画像４２rx（又は互いに隣接する複数の処理対象領域のそれぞれのＲｘ画像４２rxの組合せ画像）と、各処理対象領域のＲｘの色別画像４２のうちのＲ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２ｂを合成することで生成される第１カラー画像４３（又は互いに隣接する複数の処理対象領域のそれぞれの第１カラー画像４３の組合せ画像）と、各処理対象領域の全ての色別画像４２（Ｒ画像４２ｒ、Ｇ画像４２ｇ、Ｂ画像４２ｂ及びＲｘ画像４２rx）を合成することで生成される第２カラー画像４４（又は互いに隣接する複数の処理対象領域のそれぞれの第２カラー画像４４の組合せ画像）とのうちの１つもしくは複数の画像を取得して出力する。
【０１７４】
各処理対象領域の第１カラー画像４３は、図１１に示すように、その各画素に、Ｒ（赤）の階調値であるＲ値（Ｃ1i,j_r）と、Ｇ（緑）の階調値であるＧ値（Ｃ1i,j_g）と、Ｂ（青）の階調値であるＢ値（Ｃ1i,j_b）との組（３色の階調値の組）として構成される階調値Ｃ1i,jが割り当てられた画像である。
【０１７５】
この場合、次式（８８ａ）〜（８８ｃ）で示す如く、各処理対象領域の第１カラー画像４３の各画素の階調値Ｃ1i,jのうちのＲ値（Ｃ1i,j_r）、Ｇ値（Ｃ1i,j_g）、Ｂ値（Ｃ1i,j_b）として、それぞれ、該処理対象領域のＲ画像４２ｒの対応画素のＲ値（Ｒ'i,j）、該処理対象領域のＧ画像４２ｇの対応画素のＧ値（Ｇ'i,j）、該処理対象領域のＢ画像４２ｂの対応画素のＢ値（Ｂ'i,j）がそのまま設定される。
【０１７６】
Ｃ1i,j_r＝Ｒ'i,j    ……（８８ａ）
Ｃ1i,j_g＝Ｇ'i,j    ……（８８ｂ）
Ｃ1i,j_b＝Ｂ'i,j    ……（８８ｃ）
また、各処理対象領域の第２カラー画像４４は、図１２に示すように、その各画素に、Ｒ（赤）の階調値であるＲ値（Ｃ2i,j_r）と、Ｇ（緑）の階調値であるＧ値（Ｃ2i,j_g）と、Ｂ（青）の階調値であるＢ値（Ｃ2i,j_b）との組（３色の階調値の組）として構成される階調値Ｃ2i,jが割り当てられた画像である。
【０１７７】
この場合、各処理対象領域の第２カラー画像４４の各画素の階調値Ｃ2i,jのうちのＲ値（Ｃ2i,j_r）は、該処理対象領域のＲ画像４２ｒの対応画素のＲ値（Ｒ'i,j）を、該処理対象領域のＲｘ画像４２rxの対応画素のＲｘ値（Ｒx'i,j）に応じて、次式（８９ａ）により補正することで決定される。
【０１７８】
同様に、各処理対象領域の第２カラー画像４４の各画素の階調値Ｃ2i,jのうちのＧ値（Ｃ2i,j_b）は、該処理対象領域のＧ画像４２ｇの対応画素のＧ値（Ｇ'i,j）を、該処理対象領域のＲｘ画像４２rxの対応画素のＲｘ値（Ｒx'i,j）に応じて、次式（８９ｂ）により補正することで決定される。
【０１７９】
同様に、各処理対象領域の第２カラー画像４４の各画素の階調値Ｃ2i,jのうちのＢ値（Ｃ2i,j_b）は、該処理対象領域のＢ画像４２ｂの対応画素のＢ値（Ｂ'i,j）を、該処理対象領域のＲｘ画像４２rxの対応画素のＲｘ値（Ｒx'i,j）に応じて、次式（８９ｃ）により補正することで決定される。この第２カラー画像４４は換言すれば、第１カラー画像４３を、Ｒｘ画像４２rxの輝度分布に応じて補正したカラー画像である。
【０１８０】
Ｃ2i,j_r＝（Ｒ'i,j＋（αr×Ｒx'i,j＋βr））／γr    ……（８９ａ）
Ｃ2i,j_g＝（Ｇ'i,j＋（αg×Ｒx'i,j＋βg））／γg    ……（８９ｂ）
Ｃ2i,j_r＝（Ｂ'i,j＋（αb×Ｒx'i,j＋βb））／γb    ……（８９ｃ）
ここで、式（８９ａ）におけるαrは、第２カラー画像４４の各画素のＲ値（Ｃ2i,j_r）に対する、Ｒｘ画像４２rxのＲｘ値（Ｒx'i,j）の寄与率を調整するためのゲイン係数である。式（８９ｂ）のαg、式（８９ｃ）のαbも、αrと同様の趣旨のゲイン係数である。
【０１８１】
処理対象領域のＲｘ画像４２rxの階調値Ｒx'i,jは、撮影対象の輝度（明るさ）が高輝度領域である場合に、有効な値をとるので、高輝度領域の撮影対象に対するコントラストが比較的高くなるような第２カラー画像４４を監視用画像として用いることが要求される場合には、ゲイン係数αr，αg，αbの値を大きめに設定することが望ましい。
【０１８２】
また、色分解能が比較的高い第２カラー画像４４を監視用画像として用いることが要求される場合には、ゲイン係数αr，αg，αbの値を小さめに設定することが望ましい。
【０１８３】
なお、ゲイン係数αr，αg，αbの値は互いに異なる値に設定されてもよい。
【０１８４】
また、式（８９ａ）におけるβrは、Ｒｘ画像４２rxのＲｘ値（Ｒx'i,j）が、ある値以上の階調値となる場合（例えば、撮影対象の輝度が、Ｒ画像４２ｒの階調値が飽和状態もしくはそれに近い状態となるような高輝度領域の輝度である場合）にだけ、Ｒx値（Ｒx'i,j）が第２カラー画像４４のＲ値（Ｃ2i,j_r）に反映される（寄与する）ようにするための負のオフセット値である。式（８９ｂ）のβg、式（８９ｃ）のβbも、βrと同様の趣旨のオフセット値（＜０）である。
【０１８５】
この場合、式（８９ａ）における（αr×Ｒx'i,j＋βr）の値は、αr×Ｒx'i,j＋βr≧０である場合は、そのままの値とされるが、αr×Ｒx'i,j＋βr＜０である場合には、αr×Ｒx'i,j＋βrの値は、強制的に“０”に設定される。従って、Ｒx'i,j≧−βr／αrである場合にだけ、Ｒx値（Ｒx'i,j）が第２カラー画像４４のＲ値（Ｃ2i,j_r）に反映され、Ｒx'i,j＜−βr／αrである場合には、第２カラー画像４４のＲ値（Ｃ2i,j_r）が、Ｒx値（Ｒx'i,j）に依存しないようにすることが可能となる。
【０１８６】
このことは、式（８９ｂ）のβg、式（８９ｃ）のβbについても同様である。なお、オフセット値βr，βg，βbの値は互いに異なる値に設定されてもよい。
【０１８７】
また、式（８９ａ）におけるγrは、Ｃ2i,j_rのデータ長（階調値の可変範囲）を、Ｒ'i,j及びＲx'i,jのデータ長に合せるための補正係数である。式（８９ｂ）のγg、式（８９ｃ）のγbも、γrと同様の趣旨の補正係数である。
【０１８８】
式（８９ａ）におけるγrは、αr、βrの値に応じて決定される。例えば、Ｒ'i,j及びＲx'i,jが、８bitの階調値（０〜２５５の階調値）で表されるデータである場合において、αr＝１、βr＝０、あるいは、αr＝１、βr＝−１２８とした場合、γrは、γr＝３／２に設定される。これにより、Ｃ2i,j_rを、８bitの階調値で表すことができることとなる。
【０１８９】
このことは、式（８９ｂ）のγg、式（８９ｃ）のγbについても同様である。
【０１９０】
第２カラー画像４４を式（８９ａ）〜（８９ｃ）により生成するために用いる上記ゲイン係数αr，αg，αb、オフセット値βr，βg，βb、及び補正係数γr，γg，γbの値は、撮像素子２２のＲ受光画素、Ｇ受光画素、Ｂ受光画素及びＲｘ受光画素の受光特性や、監視対象物の検知のために第２カラー画像４４に要求される画像特性（色分解能や、高輝度領域の輝度の撮影対象に対するコントラスト等の画像特性）を基に、要求される画像特性の第２カラー画像４４を生成し得るように設定される。
【０１９１】
それらの設定値としては、あらかじめ定められた既定値、あるいは、対象物検知部３４からの要求等に応じて可変的に決定した値を用いることができる。
【０１９２】
なお、上記の如く生成される第２カラー画像４４は、第１カラー画像４３よりもダイナミックレンジを擬似的に拡大させることができる。ただし、色解像度や画像全体のコントラストを高める上では、第２カラー画像４４よりも第１カラー画像４３の方が有利である。
【０１９３】
監視用画像取得部３３は、対象物検知部３４で検知する監視対象物の種別や、撮影環境等に応じて、各処理対象領域のＲｘ画像４２rx（又はその組合せ画像）と、各処理対象領域の第１カラー画像４３（又はその組合せ画像）と、各処理対象領域の該２カラー画像４４（又はその組合せ画像）とのうちの１つもしくは複数の画像を監視用画像として取得して出力する。
【０１９４】
例えば、夜間において、対象物検知部３４が車両１の前方の他車両（前走車又対向車）を検知しようとしている場合には、監視用画像取得部３３は、路面上の領域に対応する１つもしくは複数の処理対象領域のＲｘ画像４２rxを監視用画像として対象物検知部３４に出力する。
【０１９５】
このＲｘ画像４２rxは、受光感度が低いＲｘ受光画素に対応する原画像４１のＲｘ画素の階調値をベースにして生成された画像であるので、高輝度な発光物としての他車両のテールライトや、ヘッドライトの画像が、白とび状態になったりすることなく、他の画像と区別可能な画像として得られやすい。このため、Ｒｘ画像４２rxに基づいて、他車両のテールライトや、ヘッドライトの画像を高い信頼性で検知することができ、ひいては、他車両を適切に検知することができる。
【０１９６】
このＲｘ画像４２rxは、高輝度の発光物を有する信号機などを検知する場合にも有効に活用することができる。
【０１９７】
なお、夜間において他車両や信号機を検知しようとする場合、Ｒｘ画像４２rxの代わりに、第２カラー画像４４を監視用画像として対象物検知部３４に出力するようにしてもよい。第２カラー画像４４は、ダイナミックレンジが広いので、他車両の高輝度のテールライトや、ヘッドライト、あるいは信号機の発光部の画像も良好な色解像度で得ることができる。また、テールライトや、ヘッドライト、信号機の発光部の周辺の比較的暗い物体の画像も得ることができる。
【０１９８】
また、対象物検知部３４が車両１の前方の歩行者や、路面の車線（レーンマーク）を検知しようとしている場合には、監視用画像取得部３３は、歩行者が存在し得る領域や路面の領域に対応する１つもしくは複数の処理対象領域の第１カラー画像４３を監視用画像として対象物検知部３４に出力する。
【０１９９】
第１カラー画像４３は、第２カラー画像４４よりも色解像度が高いので、歩行者や、路面の車線（白色もしくは黄色の車線等）を、高い信頼性で他の物体の画像と区別して検知することができる。
【０２００】
なお、夜間においては、歩行者や路面の車線（レーンマーク）を検知するために、ダイナミックレンジが広い第２カラー画像４４を監視用画像として出力するようにしてもよい。
【０２０１】
本実施形態では、監視用画像取得部３３は、上記の如くＲｘ画像４２rx、第１カラー画像４３及び第２カラー画像４４のいずれかを監視用画像として取得して、それを対象物検知部３４に出力する。この場合、第１カラー画像４３又は第２カラー画像４４を監視用画して用いる場合は、それらのカラー画像４３，４４は、監視用画像取得部３３により生成されて画像メモリ４０に保持される。
【０２０２】
補足すると、監視用画像取得部３３の処理の態様として、上記の態様以外に、例えば次のような態様を採用してもよい。すなわち、監視用画像取得部３３は、昼間等の明るい環境下では、第１カラー画像４３だけを監視用画像として生成して出力する。
【０２０３】
そして、夜間での１つもしくは複数の処理対象領域における第１カラー画像４３の各画素の輝度（各画素のＲ値、Ｇ値及びＢ値の線形結合値）と、カメラ２の露出度合いとから算出した該第１カラー画像４３の明るさ度合いの平均値が、所定の閾値以上に達した場合、あるいは、第１カラー画像４３のコントラスト（より具体的には、例えば第１カラー画像４３の輝度の分散、あるいは、色ヒストグラムの分散）が、所定の閾値以上に達した場合に、監視用画像取得部３３は、Ｒｘ画像４２rxと第１カラー画像４３との組、あるいは、第２カラー画像４４を監視用画像として出力する。
【０２０４】
ここで、夜間において、カメラ２の撮影対象に、他車両のテールライトやヘッドライト、あるいは、信号機の発光部等の高輝度の発光物体が含まれるような状況では、該発光物体が含まれない場合に較べて、上記明るさ度合いの平均値や、コントラストが比較的大きくなる傾向がある。
【０２０５】
従って、カメラ２の撮影対象に高輝度の発光物体が含まれる場合に、その発光物体を検知しやすいＲｘ画像４２rx、あるいは、第２カラー画像４４を監視用画像として活用することができる。
【０２０６】
なお、上記明るさ度合いの平均値や、コントラストを算出する領域は、カメラ２の撮像画像の全体領域（原画像４１の全体に一致する領域）でもよいが、カメラ２の撮像画像の全体のうちの一部の領域であってもよい。例えば、図１３に示す如く、カメラ２の撮像画像の全体のうち、車両１（自車両）の前方の路面の無限遠点を含む一定範囲の領域Ａ１（他車両が存在し得る領域）と、カメラ２の撮像画像の全体のうちの上部の領域Ａ２（信号機や標識が存在し得る領域）とのうちの一方又は両方の領域でのみ、上記明るさ度合いの平均値や、コントラストを算出するようにしてもよい。
【０２０７】
図４の説明に戻って、ＳＴＥＰ４における監視用画像取得部３３の処理に続いて、ＳＴＥＰ５において、対象物検知部３４により車両１の前方の監視対象物を検知する処理が実行される。
【０２０８】
この処理では、対象物検知部３４は、監視用画像取得部３３から与えられる監視用画像を用いて、監視用対象物を検知する。例えば、夜間において、監視対象物としての他車両を検知する場合には、対象物検知部３４は、監視用画像としてのＲｘ画像４２rx（又は第２カラー画像４４）から、他車両のテールライト、もしくはヘッドライトの画像を、その色の特徴や、配置形態の特徴（２つの高輝度画像の対が左右に並ぶというような特徴）に基づいて検出することで、車両１（自車両）の前方に存在する他車両（前走車又は対向車）を検知する。
【０２０９】
この場合、特に、Ｒｘ画像４２rxは、赤色階調の画像であることから、他車両のテールライトの検知を好適に行なうことができる。
【０２１０】
なお、昼間の明るい環境では、監視用画像として第１カラー画像４３を用いることで、他車両を検知することができる。
【０２１１】
また、監視対象物としての信号機や道路標識を検知する場合、あるいは、路面の車線（レーンマーク）を検知する場合、あるいは、歩行者を検知する場合には、対象物検知部３４は、例えば、夜間には、監視用画像として、Ｒｘ画像（又は第２カラー画像４４）を用い、昼間には、監視用画像として第１カラー画像４３を使用することで、色特徴や、輝度分布の特徴、形状特徴等に基づいて、それらの監視対象物を検知する。
【０２１２】
この場合、対象物検知部３４は、撮影環境（明るさ等）や、検知しようとする監視対象物の種別に応じて、監視対象物に特徴的な色や輝度分布、形状が顕著に現れやすい監視用画像（Ｒｘ画像４２rx、第１カラー画像４３、及び第２カラー画像４４のうちのいずれか）を用いて該監視対象物を検知することができる。そのため、種々様々な環境下で、種々様々の対象物を高い信頼性で検出することができる。
【０２１３】
なお、対象物検知部３４は、歩行者や他車両を検出した場合に、該歩行者や他車両と車両１（自車両）との接触の可能性を判断し、接触の可能性が有ると判断した場合には、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。このとき、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。
【０２１４】
また、対象物検知部３４は、車線（レーンマーク）の検知に応じて、車両１（自車両）を、該車線により規定される自車両の走行領域内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信する。このとき、操舵制御部６１が操舵装置７１の作動を制御することで、レーンキープ制御を行なう。
【０２１５】
以上説明した実施形態によれば、カメラ２の撮像素子２２に、カラー受光画素としてのＲ受光画素、Ｇ受光画素及びＢ受光画素に加えて、これらの受光画素よりも受光感度の低いＲｘ受光画素を備えることによって、カメラ２の撮像対象に、カラー受光画素の出力信号の飽和が生じるような高輝度の物体（他車両のテールライトやヘッドライト、信号機の発光部等）が含まれているような場合であっても、該高輝度の物体の輝度分布を適切な解像度で示すＲｘ画像４２rxあるいは第２カラー画像４４を取得することができる。
【０２１６】
このため、これらのＲｘ画像４２rx又は第２カラー画像４４を用いて、他車両のテールライトやヘッドライト、信号機の発光部等の高輝度の物体を高い信頼性で検知するようにすることができる。
【０２１７】
特にＲｘ画像４２rxは、赤色階調の画像であることから、車両１が道路環境を走行する上で重要性の高い赤色の高輝度物体（他車両のテールライトや、信号機の赤色発光部等）をＲｘ画像４２rxを用いて適切に検知することができる。
【０２１８】
また、原画像４１からデモザイキング処理によって生成したＲ画像４２ｒ、Ｇ画像４２ｇ、Ｂ画像４２ｂ及びＲｘ画像４２rxの４種類の色別画像４２のうちの、受光感度が低いＲｘ受光画素の出力信号の強度（原画像４１のＲｘ画素の階調値）をベースとするＲｘ画像４２rxと、４種類の色別画像４２のうちの３原色分のＲ画像４２ｒ、Ｇ画像４２ｇ、Ｂ画像４２ｂを合成してなる第１カラー画像４３と、４種類の色別画像４２の全てを合成してなる第２カラー画像４４（第１カラー画像４３をＲｘ画像４２rxに輝度分布に応じて補正してなるカラー画像）のいずれかが、監視用画像として用いられる。
【０２１９】
この場合、Ｒｘ画像４２rxは、高輝度の撮影対象の画像を適切な解像で得ることができる画像である。また、第１カラー画像４３は、色再現性の高いカラー画像である。また、第３カラー画像４４は、第１カラー画像４３よりも色再現性やコントラストは低下し易いものの、第１カラー画像４３よりもダイナミックレンジの広いカラー画像である。
【０２２０】
このため、これらのＲｘ画像４２rx、第１カラー画像４３、第２カラー画像４４のいずれかを利用することで、種々様々な監視対象物を、種々様々な撮影環境下で高い信頼性で検出するようにすることができる。
【０２２１】
［変形態様について］
次に、本発明の実施形態に関するいくつかの変形態様を説明する。
【０２２２】
前記実施形態では、監視用画像として、Ｒｘ画像４２rx、第１カラー画像４３及び第２カラー画像４４を用いたが、Ｒｘ画像４２rx及び第２カラー画像４４のいずれか一方のみと、第１カラー画像４３とを監視用画像として用いるようにしてもよい。
【０２２３】
また、前記実施形態では、カメラ２は、車両１（自車両）の前方を撮影するものであるが、車両１の前方以外の領域（例えば後方）を撮影し得るカメラであってもよい。
【０２２４】
また、前記実施形態では、副受光画素としてのＲｘ受光画素を、撮像素子２２の全体に分布させるように配置したが、撮像素子２２の一部の領域にだけ、Ｒｘ受光画素（副受光画素）を分布させるように配置してもよい。例えば、撮像素子２２の全体のうち、図１３のＡ１に対応する領域（カメラ２の撮像領域のうちの路面の無限遠点を含む部分領域）と、図１３のＡ２に対応する領域（カメラ２の撮像領域のうちの上部の領域）とのうちの一方又は両方にだけＲｘ受光画素の配列が含まれるようにしてもよい。
【０２２５】
車両１の前方を撮影するカメラ２（又は車両１の後方を撮影するカメラ）では、上記Ａ１、Ａ２に対応する撮像領域に高輝度の発光物体（他車両のテールライトやヘッドライト、あるいは信号機の発光部）が含まれる場合が多い。従って、Ｒｘ受光画素（副受光画素）を配列させる領域を、上記のように撮像素子２２の全体のうちの一部の領域に限定しても、当該領域におけるＲｘ画像４２rxや、第２カラー画像４４を用いて、車両１の前方（又は後方）の高輝度の監視対象物を検知するようにすることができる。
【０２２６】
なお、この場合には、撮像素子２２の全体のうち、Ｒｘ受光画素が配列される領域以外の領域では、Ｒ受光画素、Ｇ受光画素、及びＢ受光画素を、例えば公知のベイヤー配列等の配列パターンで配列しておくようにすればよい。そして、色別画像生成部３２の処理では、Ｒｘ受光画素が配列される領域においてだけ、Ｒｘ画像４２rxを含む４種類の色別画像４２を生成し、それ以外の領域では、通常的な公知のデモザイキング処理により、第１カラー画像４３の生成用のＲ画像４２ｒ、Ｇ画像４２ｇ、Ｂ画像４２ｂを生成するようにすればよい。
【０２２７】
また、前記実施形態では、図２（ａ）に示した配列パターンで受光画素を配置した撮像素子２２を例にとって説明したが、その配列パターンは、図１４（ａ）又は図１４（ｂ）に示すような配列パターンであってもよい。
【０２２８】
図１４（ａ）の配列パターンは、Ｒ受光画素の個数とＧ受光画素の個数とＢ受光画素の個数とＲｘ受光画素の個数との比率が１：１：１：１となるパターンである。また、図１４（ｂ）の配列パターンは、Ｒ受光画素の個数とＧ受光画素の個数とＢ受光画素の個数とＲｘ受光画素の個数との比率が１：４：２：１となるパターンである。
【０２２９】
なお、図１４（ａ）の配列パターンでは、色別画像生成部３２の処理において、Ｇ画像４２ｇとＲｘ画像４２rxとのいずれかを基準輝度分布画像として生成する態様の他、Ｒｘ画像４２rxと、Ｒ画像４２ｒもしくはＢ画像４２ｂとのいずれかを基準輝度分布画像として生成するようにしてもよい。
【０２３０】
一方、図１４（ｂ）の配列パターンでは、図２（ａ）のものと同様にＲ受光画素及びＢ受光画素のそれぞれの個数よりもＧ受光画素の個数の方が多いので、例えば前記実施形態と同様に、Ｇ画像４２ｇとＲｘ画像４２rxとのいずれかを基準輝度分布画像として生成するようにすればよい。
【０２３１】
補足すると、カラーフィルタの配列パターンにかかわらず、検知しようとする対象物の種別や、検知環境、受光画素の特性等に依存して、対象物の検知のために要求される情報に応じて、基準輝度分布画像として生成する色別画像を選定するようにしてもよい。ただし、撮像素子２２を構成する受光画素において、各色のカラーフィルタ毎の受光画素の個数の比率が均一な比率（互いに同じ個数の比率）でない場合には、一般的には、最も個数の多い色の受光画素に対応する階調値を基に、当該色の色別画像を基準輝度分布画像として生成することが望ましい。
【０２３２】
また、前記実施形態では、副受光画素として、赤色の波長域の光を受光するＲｘ受光画素を撮像素子２２に備えるようにしたが、Ｒｘ受光画素の代わりに、赤色以外の色、例えばグレー色の光を受光する受光画素を副受光画素として撮像素子２２に備えるようにしてもよい。該副受光画素は、詳しくは、グレー色のカラーフィルタを介して受光し、且つ、カラー受光画素（Ｒ受光画素、Ｇ受光画素、及びＢ受光画素）よりも受光感度が低い受光画素（以降、Ｇｒ受光画素という）である。
【０２３３】
例えば、図１５（ａ）又は図１５（ｂ）又は図１５（ｃ）で示すような配列パターンで、Ｒ受光画素、Ｇ受光画素、及びＢ受光画素と、Ｇｒ受光画素（副受光画素）とを配列した撮像素子を採用してもよい。
【０２３４】
この場合、Ｇｒ受光画素の受光感度は、入射光の波長に対して図１６のグラフで示すような特性を有し、Ｒ受光画素やＧ受光画素、Ｂ受光画素の受光感度よりも低いものとされる。
【０２３５】
このようなＧｒ受光画素を含む撮像素子を用いた場合には、原画像から、デモザイキング処理によって、Ｒ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２の他、グレー階調のモノトーン画像であるＧｒ画像を生成できる。
【０２３６】
例えば、図１５（ｃ）の配列パターンは、図２（ａ）に示した前記実施形態の配列パターンのうちのＲｘ受光画素を、Ｇｒ受光画素に置き換えたものとなる。
【０２３７】
このため、図１５（ｃ）の配列パターンの受光素子を採用した場合には、前記実施形態と同様のデモザイキング処理（Ｒの階調値に代わりに、Ｇｒの階調値を用いるデモザイキング処理）により、Ｇｒ画像を生成できる。さらに、このＧｒ画像とＲ画像４２ｒ、Ｇ画像４２ｇ及びＢ画像４２とを合成することで、前記実施形態と同様に、第２カラー画像を生成することもできる。
【０２３８】
この場合、Ｇｒ画像は、他車のテールライト等の赤色の発光物体に限らず、撮影対象に高輝度の物体が含まれる場合に、その物体の輝度分布を適切な解像度で示す画像となる。このため、Ｇｒ画像又はこれを用いて生成した第２カラー画像を用いて、他車両のテールライトやヘッドライト、信号機の発光部等の種々様々の高輝度の物体を高い信頼性で検知するようにすることができる。
【符号の説明】
【０２３９】
２…カメラ、２２…撮像素子、３１…原画像取得部（原画像取得手段）、３２…色別画像生成部（色別画像生成手段）、３３…監視用画像取得部（監視用画像取得手段）。
【図２】
2013187573.tif 000003
【図３】
2013187573.tif 000004
【図４】
2013187573.tif 000005
【図１】
2013187573.tif 000006
【図５】
2013187573.tif 000007
【図６】
2013187573.tif 000008
【図７】
2013187573.tif 000009
【図８】
2013187573.tif 000010
【図９】
2013187573.tif 000011
【図１０】
2013187573.tif 000012
【図１１】
2013187573.tif 000013
【図１２】
2013187573.tif 000014
【図１３】
2013187573.tif 000015
【図１４】
2013187573.tif 000016
【図１５】
2013187573.tif 000017
【図１６】
2013187573.tif 000018