(57)【要約】【課題】低輝度の対象物の検知と色による対象物の検知の双方に対応可能な車両用監視装置を提供する。【解決手段】車両用監視装置は、色解像度重視エリアの周囲に、色解像度重視エリアよりも透明受光画素の配置密度が高い感度重視エリアを配置した撮像素子２２により、車両の周辺を撮像するカメラ２と、カメラ２により撮像された原画像４１の対応する位置又は該位置の周辺のカラー受光画素の階調値に基づく階調値を割り当てることによってカラー画像４２を生成するカラー画像生成部３２と、原画像４１の対応する位置又は該位置の周辺の透明受光画素の階調値に基づく階調値を割り当てることによって高感度画像４３を生成する高感度画像生成部３３と、カラー画像４２を用いて色に基づく対象物の検知を行うと共に、高感度画像４３を用いて輝度に基づく対象物の検知を行う対象物検知部３６とを備える。【選択図】  図１
2014057225.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、該透明受光画素の配置密度を第１密度とした感度重視エリアと、該透明受光画素の配置密度を該第１密度よりも低い第２密度とした色解像度重視エリアとに区画して配置した撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成するカラー画像生成部と、
前記原画像の各カラー画素について、周囲に配置された透明画素の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各透明画素について、自身の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てることにより、高感度画像を生成する高感度画像生成部と、
前記カラー画像を用いて色に基づく対象物の検知を行うと共に、前記高感度画像を用いて輝度に基づく対象物の検知を行う対象物検知部と
を備えたことを特徴とする車両用監視装置。
【請求項２】
請求項１に記載の車両用監視装置において、
前記カメラは、前記車両の前方を撮像範囲として前記車両に搭載され、
前記色解像度重視エリアは前記撮像素子の中央部に配置され、前記感度重視エリアは前記色解像度重視エリアの周囲に配置されていることを特徴とする車両用監視装置。
【請求項３】
請求項２に記載の車両用監視装置において、
前記色解像度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、斜線の検出が容易な配置とされ、
前記対象物検知部は、前記カラー画像から、直線状に連続した特定色のレーンマークを検知することを特徴とする車両用監視装置。
【請求項４】
請求項２又は請求項３に記載の車両用監視装置において、
前記感度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、縦線及び横線の検出が容易な配置とされ、
前記対象物検知部は、前記高感度画像から、画像部分が縦エッジ及び横エッジを有する対象物を検知することを特徴とする車両用監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーフィルタを介して受光する画素とカラーフィルタを介さずに受光する画素を配置した撮像素子により撮像するカメラを用いて、車両周辺の対象物を検知する車両用監視装置に関する。
【背景技術】
【０００２】
従来より、カラーフィルタを介して受光する画素（カラー受光画素）と、カラーフィルタを介さずに受光する画素（透明受光画素）とを配置した撮像素子を用いることにより、カラー画像の感度を改善する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００８−５０７９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された方法によれば、透明受光画素を配置することによってカラー画像の撮像感度を高めることができるが、その一方でカラー受光画素の密度が低下するために色の解像度が低下する。
【０００５】
そのため、カラー受光画素と透明受光画像とを配置した撮像素子を用いて車両の周辺を撮像した場合、撮像画像から低輝度の対象物を検知することは容易になるが、特定色の対象物（例えば、有彩色のレーンマーク、信号機等）の検知が難しくなるという不都合がある。
【０００６】
本発明はかかる背景に鑑みてなされたものであり、低輝度の対象物の検知と色による対象物の検知の双方に対応可能な車両用監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するためになされたものであり、
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の透明受光画素とを、該透明受光画素の配置密度を第１密度とした感度重視エリアと、該透明受光画素の配置密度を該第１密度よりも低い第２密度とした色解像度重視エリアとに区画して配置した撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各透明画素について、周囲に存在するカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づいて算出したカラーの階調値を、カラー画像の対応する配置位置の画素の階調値として割り当てることにより、カラー画像を生成するカラー画像生成部と、
前記原画像の各カラー画素について、周囲に配置された透明画素の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てると共に、前記原画像の各透明画素について、自身の階調値に基づいて算出したグレーの階調値を、高感度画像の対応する配置位置の画素の階調値として割り当てることにより、高感度画像を生成する高感度画像生成部と、
前記カラー画像を用いて色に基づく対象物の検知を行うと共に、前記高感度画像を用いて輝度に基づく対象物の検知を行う対象物検知部とを備えたことを特徴とする（第１発明）。
【０００８】
第１発明において、前記撮像素子の前記透明受光画素の配置密度を高くすると、前記高感度画像生成部により生成される前記高感度画像の解像度が高くなり、また、前記透明受光画素の配置密度を低くすると、前記カラー画像生成部により生成される前記カラー画像の色解像度が高くなる。そこで、前記撮像素子における前記カラー受光画素と前記透明受光画素との配置を、前記対象物検知部による検知対象に応じて、前記透明受光画素の配置密度が高い前記感度重視エリアと前記透明受光画素の配置密度が低い前記色解像度重視エリアとに区画する。そして、これにより、前記高感度画像生成部により生成される前記高感度画像について、前記感度重視エリアによる撮像範囲の解像度を特に高くすることができ、また、前記カラー画像生成部により生成される前記カラー画像について、前記色解像度重視エリアによる撮像範囲の色解像度を特に高くすることができる。
【０００９】
そのため、前記対象物検知部は、前記カラー画像を用いて色に基づく対象物の検知を行うことにより、前記色解像度重視エリアによる撮像範囲において有彩色の対象物（黄線、交通標識、信号機等）を精度良く検知することができると共に、前記高感度画像を用いて輝度に基づく対象物の検知を行うことにより、前記感度重視エリアによる撮像範囲において低輝度の対象物（車道脇の歩行者等）を精度良く検知することができる。
【００１０】
また、第１発明において、
前記カメラは、前記車両の前方を撮像範囲として前記車両に搭載され、
前記色解像度重視エリアは前記撮像素子の中央部に配置され、前記感度重視エリアは前記色解像度重視エリアの周囲に配置されていることを特徴とする（第２発明）。
【００１１】
第２発明によれば、前記車両の前方（車両の前進方向）に存在して、前記撮像素子の中央部で撮像される対象物（レーンマーク、交通標識、他車両等）を色により識別して精度良く検知することができると共に、前記車両の前方に存在して、前記撮像素子の周辺部で撮像される低輝度の対象物（歩行者、人工構造物等）を輝度により精度良く検知することができる。
【００１２】
また、第２発明において、
前記色解像度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、斜線の検出が容易な配置とされ、
前記対象物検知部は、前記カラー画像から、直線状に連続した特定色のレーンマークを検知することを特徴とする（第３発明）。
【００１３】
第３発明によれば、前記車両の前進方向に存在して、前記撮像素子の中央部で撮像される対象物のうち、前記カラー画像では斜線として表される黄線、赤線、ボッツドッツ等の直線状に連続する特定色のレーンマークを、より精度良く検知することができる。
【００１４】
また、第２発明又は第３発明において、前記感度重視エリアにおける前記カラー受光画素と前記透明受光画素の配置は、縦線及び横線の検出が容易な配置とされ、
前記対象物検知部は、前記高感度画像から、画像部分が縦エッジ及び横エッジを有する対象物を検知することを特徴とする（第４発明）。
【００１５】
第４発明によれば、車両の前進方向に存在して、前記撮像素子の周辺部で撮像される対象物のうち、前記高感度画像では縦エッジ及び横エッジが多い画像部分となる歩行者や道路構造物等を、より精度良く検知することができる。
【図面の簡単な説明】
【００１６】
【図１】車両用監視装置の構成図。
【図２】撮像素子のフィルタ及びカメラによる撮像画像の説明図。
【図３】撮像素子における感度重視エリアと色解像度重視エリアの区画の説明図、及び対応する撮像画像の説明図。
【図４】感度重視エリアと色解像度重視エリアのＲＧＢＷ受光画素の配列の説明図。
【図５】感度重視エリアと色解像度重視エリアとの境界エリアにおけるＲＧＢＷ受光画素の配列の説明図。
【図６】車両用監視装置の作動フローチャート。
【図７】カラー画像及び高感度画像の説明図。
【図８】広ダイナミックレンジ画像の説明図。
【図９】感度重視エリアにおけるＲＧＢＷ受光画素の他の配列例の説明図。
【図１０】色解像度重視エリアにおけるＲＧＢＷ受光画素の他の配列例の説明図。
【発明を実施するための形態】
【００１７】
本発明の車両用監視装置の実施形態について、図１〜図１０を参照して説明する。図１を参照して、本実施形態の車両用監視装置は、車両１に搭載されたカメラ２と、カメラ２と接続された画像コントローラ３とにより構成されている。
【００１８】
カメラ２は、車両１の前方を撮像範囲として車両１に搭載されている。カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の前方を撮像し、撮像データを画像コントローラ３に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子を２次元に配列して構成されている。
【００１９】
図２（ａ）を参照して、フィルタ２１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色のカラーフィルタのいずれかを、撮像素子２２のｍ×ｎ個の各受光画素の受光経路に配置して、取り付けられている。なお、カラーフィルタとして、ＲＧＢ以外の他の種類のカラーフィルタ（ＣyＭgＹの補色系フィルタ等）を用いてもよい。
【００２０】
そして、カメラ２は、Ｒフィルタが装着されたＲ受光画素（図中Ｒ11，Ｒ15，…で示している。本発明のカラー受光画素に相当する）、Ｇフィルタが装着されたＧ受光画素（図中Ｇ22，Ｇ24，…で示している。本発明のカラー受光画素に相当する）、Ｂフィルタが装着されたＢ受光画素（図中Ｂ13，Ｂ31，…で示している。本発明のカラー受光画素に相当する）、及びフィルタ２１が装着されていないＷ受光画素（図中Ｗ21，Ｗ23，…で示している。本発明の透明受光画素に相当する）による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ３に出力する。
【００２１】
画像コントローラ３は、図示しないＣＰＵ，メモリ，入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。
【００２２】
制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、カラー画像生成部３２と高感度画像生成部３３と広ダイナミックレンジ画像生成部３４とを有する画像生成部３５、及び対象物検知部３６として機能する。なお、原画像取得部３１、画像生成部３５、及び対象物検知部３６の一部又は全部をハードウェアにより構成してもよい。
【００２３】
原画像取得部３１は、カメラ２に制御信号を出力して車両１の前方の画像を撮像させ、カメラ２から出力される撮像データにより、原画像４１のデータを取得して画像メモリ４０に保持する。
【００２４】
原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２による各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素）の階調値を、対応する配列位置の画素（配列位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値をＳ（大文字）＋小文字ｒ，ｇ，ｂ，ｗのいずれか＋i,j（i=1,2,…,m、j=1,2,…,n）で示している。
【００２５】
ここで、ｒは図２（ａ）のＲ受光画素に対応した配列位置の画素（以下、Ｒ画素という。本発明のカラー画素に相当する）の階調値を示し、ｇは図２（ａ）のＧ受光画素に対応した配列位置の画素（以下、Ｇ画素という。本発明のカラー画素に相当する）の階調値を示し、ｂは図２（ａ）のＢ受光画素に対応した配列位置の画素（以下、Ｂ画素という。本発明のカラー画素に相当する）の階調値を示し、ｗは図２（ａ）のＷ受光画素に対応した配列位置の画素（以下、Ｗ画素という。本発明の透明画素に相当する）の階調値であることを示している。
【００２６】
また、図３（ａ）を参照して、フィルタ２１は、Ｗ受光画素の配置密度が異なる色解像度重視エリア２６（図の参点部分）とその周囲の感度重視エリア２５（図の斜線部分）とに区画して、構成されている。色解像度重視エリア２６のＷ受光画素の配置密度（本発明の第２密度に相当する）は、感度重視エリア２５のＷ受光画素の配置密度（本発明の第１密度に相当とする）よりも低くなっている。
【００２７】
この構成により、図３（ｂ）に示したカメラ２による撮像画像９０において、色解像度重視エリア２６による撮像範囲２６ａの色解像度を、感度重視エリア２５による撮像範囲２５ａよりも高くし、また感度重視エリア２５による撮像範囲２５ａの感度を、色解像度重視エリア２６よりも高くしている。
【００２８】
そして、色解像度重視エリア２６による撮像範囲２６ａについては、他車両９１のテールライト、他車両９２のヘッドライト、信号機９３、黄色の車線区分線９４等の、特定色の対象物の画像部分を、高解像度の色識別により精度良く検知できるようにしている。また、感度重視エリア２５による撮像範囲２５ａについては、自車両のヘッドライトの照射範囲外に存在する歩行者の画像部分９５等を精度良く検知できるようにしている。
【００２９】
ここで、感度重視エリア２５は、図４（ａ）に示したようにＲ受光画素，Ｇ受光画素，Ｂ受光画素、及びＷ受光画素が配列され、この場合のＷ受光画素の配置密度は５０％である。また、色解像度重視エリア２６は、図４（ｂ）に示したようにＲ受光画素，Ｇ受光画素，Ｂ受光画素，及びＷ受光画素が配列され、この場合のＷ受光画素の配置密度は２５％である。
【００３０】
また、図３（ａ）の色解像度重視エリア２６と感度重視エリア２５との境界エリア２７は、図５に示したように、Ｒ受光画素，Ｇ受光画素，Ｂ受光画素、及びＷ受光画素が配列されている。
【００３１】
次に、画像生成部３５のカラー画像生成部３２は、原画像４１からカラー画像４２を生成してそのデータを画像メモリ４０に保持する。高感度画像生成部３３は、原画像４１から高感度画像４３を生成してそのデータを画像メモリ４０に保持する。広ダイナミックレンジ画像生成部３４は、カラー画像４２及び高感度画像４３から、広ダイナミックレンジ画像４４を生成してそのデータを画像メモリ４０に保持する。カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４の各生成処理の詳細については、後述する。
【００３２】
対象物検知部３６は、カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４４を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。
【００３３】
車両コントローラ６は、図示しないＣＰＵ，メモリ，入出力回路等により構成された電子回路ユニットであり、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。画像コントローラ３と車両コントローラ６は、ＣＡＮドライバ５０，６４を介して相互に通信を行う。
【００３４】
次に、図６に示したフローチャートに従って、制御回路３０による各種画像の生成と、各種画像からの対象物検知の処理について説明する。
【００３５】
図６のＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１（図２（ｂ）参照）を取得して画像メモリ４０に保持する。
【００３６】
『１．カラー画像の生成処理』
続くＳＴＥＰ２はカラー画像生成部３２による処理である。カラー画像生成部３２は、原画像４１の各画素の階調値に基づいて、図７（ａ）に示したカラー画像４２を生成する。図７（ａ）のカラー画像では、各画素の階調値をＣi,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。
【００３７】
Ｃi,jは、以下のように、Ｒ値（Ｃi,jr、Ｒの階調値）、Ｇ値（Ｃi,jg、Ｇの階調値）、及びＢ値（Ｃi,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃi,j＝｛Ｃi,jr、Ｃi,jg、Ｃi,jb｝
【００３８】
［感度重視エリアについて］
［１-1．Ｃi,jに対するＧ値の割り当て］
カラー画像生成部３２は、先ず、図３（ａ），図４（ａ）に示した感度重視エリア２５による原画像４１の撮像範囲について、カラー画像４２の各画素（Ｃi,j）に割り当てるＧ値（Ｃi,jg）を算出する。
【００３９】
原画像４１のＧ画素（階調値がＳgi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。
【００４０】
また、原画像４１のＲ画素（階調値がＳri,jである画素）、及びＢ画素（階調値がＳbi,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、斜め上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ，Ｂ画素の斜め上下に隣接するＧ画素の階調値（Ｓgi+1,j+1，Ｓgi-1,j-1，Ｓgi-1,j+1，Ｓgi+1,j-1）について、以下の式（１）〜式（４）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００４１】
【数１】
2014057225.tif 000003
【００４２】
【数２】
2014057225.tif 000004
【００４３】
【数３】
2014057225.tif 000005
【００４４】
【数４】
2014057225.tif 000006
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下又は左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の上下又は左右に隣接するＧ画素の階調値（Ｓgi-1,j，Ｓgi+1,j，Ｓgi,j-1，Ｓgi,j+1）について、以下の式（５）〜式（６）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００４５】
【数５】
2014057225.tif 000007
【００４６】
【数６】
2014057225.tif 000008
【００４７】
［１-2．Ｃi,jに対するＲ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＲ値（Ｃi,jr）を算出する。原画像４１のＲ画素（階調値がＳri,jである画素）については、自身の階調値をカラー画像４２のＲ値とする。
【００４８】
また、原画像４１のＢ画素（階調値がＳbi,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下左右にＷ画素が隣接すると共に、上下左右の２個目の画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下左右の２個目のＲ画素の階調値（Ｓri+2,j，Ｓri-2,j，Ｓri,j+2，Ｓri,j-2）について、以下の式（７）〜式（１０）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００４９】
【数７】
2014057225.tif 000009
【００５０】
【数８】
2014057225.tif 000010
【００５１】
【数９】
2014057225.tif 000011
【００５２】
【数１０】
2014057225.tif 000012
また、原画像４１のＧ画素（階調値がＳgi,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、右上と左下又は左上と右下に隣接する画素が、Ｒ画素になっている。そこで、カラー画像生成部３２は、原画像４１の対象とするＧ画素の斜め上下に隣接するＲ画素の階調値（Ｓri+1,j+1，Ｓri-1,j-1，Ｓri-1,j+1，Ｓri+1,j-1）について、以下の式（１１）〜式（１２）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００５３】
【数１１】
2014057225.tif 000013
【００５４】
【数１２】
2014057225.tif 000014
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下左右のいずれかに隣接する一つの画素がＲ画素になっている。そこで、カラー画像生成部３２は、以下の式（１３）〜式（１６）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００５５】
【数１３】
2014057225.tif 000015
【００５６】
【数１４】
2014057225.tif 000016
【００５７】
【数１５】
2014057225.tif 000017
【００５８】
【数１６】
2014057225.tif 000018
【００５９】
［１-3．Ｃi,jに対するＢ値の割り当て］
次に、カラー画像生成部３２は、カラー画像４２の各画素に割り当てるＢ値（Ｃi,jb）を算出する。原画像４１のＢ画素（階調値がＳbi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＢ値とする。
【００６０】
また、原画像４１のＲ画素（階調値がＳri,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下左右にＷ画素が隣接すると共に、上下左右の２個目の画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下左右の２個目のＢ画素の階調値（Ｓbi+2,j，Ｓbi-2,j，Ｓbi,j+2，Ｓbi,j-2）について、以下の式（１７）〜式（２０）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００６１】
【数１７】
2014057225.tif 000019
【００６２】
【数１８】
2014057225.tif 000020
【００６３】
【数１９】
2014057225.tif 000021
【００６４】
【数２０】
2014057225.tif 000022
また、原画像４１のＧ画素（階調値がＳgi,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、右上と左下又は左上と右下に隣接する画素が、Ｂ画素になっている。そこで、カラー画像生成部３２は、原画像４１の対象とするＧ画素の斜め上下に隣接するＢ画素の階調値（Ｓbi+1,j+1，Ｓbi-1,j-1，Ｓbi-1,j+1，Ｓbi+1,j-1）について、以下の式（２１）〜式（２２）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００６５】
【数２１】
2014057225.tif 000023
【００６６】
【数２２】
2014057225.tif 000024
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、図４（ａ）に示した感度重視エリア２５の配列パターンから、上下左右のいずれかに隣接する一つの画素がＢ画素になっている。そこで、カラー画像生成部３２は、以下の式（２３）〜式（２６）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００６７】
【数２３】
2014057225.tif 000025
【００６８】
【数２４】
2014057225.tif 000026
【００６９】
【数２５】
2014057225.tif 000027
【００７０】
【数２６】
2014057225.tif 000028
以上の処理により、カラー画像生成部３２は、感度重視エリア２５による原画像４１の撮像範囲から、カラー画像４２の対応する各画素に割り当てるＲ値（Ｃi,jr），Ｇ値（Ｃi,jg），Ｂ値（Ｃi,jb）を算出する。
【００７１】
［色解像度重視エリアについて］
［１-4．Ｃi,jに対するＧ値の割り当て］
次に、カラー画像生成部３２は、図３（ａ），図４（ｂ）に示した色解像度重視エリア２６による原画像４１の撮像範囲について、カラー画像４２の各画素（Ｃi,j）に割り当てるＧ値（Ｃi,jg）を算出する。
【００７２】
原画像４１のＧ画素（階調値がＳgi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。
【００７３】
また、原画像４１のＲ画素（階調値がＳri,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ画素の左右に隣接するＧ画素の階調値（Ｓgi,j+1，Ｓgi,j-1）について、以下の式（２７）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００７４】
【数２７】
2014057225.tif 000029
また、原画像４１のＢ画素（階調値がＳbi,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の上下に隣接するＧ画素の階調値（Ｓgi+1,j，Ｓgi-1,j）について、以下の式（２８）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００７５】
【数２８】
2014057225.tif 000030
また、Ｗ画素においては、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、斜め上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の斜め上下に隣接するＧ画素の階調値（Ｓgi+1,j+1，Ｓgi-1,j-1，Ｓgi-1,j+1，Ｓgi+1,j-1）について、以下の式（２９）〜式（３２）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃi,jg）を算出する。
【００７６】
【数２９】
2014057225.tif 000031
【００７７】
【数３０】
2014057225.tif 000032
【００７８】
【数３１】
2014057225.tif 000033
【００７９】
【数３２】
2014057225.tif 000034
【００８０】
［１−5．Ｃi,jに対するＲ値の割り当て］
次に、カラー画像生成部３２は、図３（ａ），図４（ｂ）に示した色解像度重視エリア２６による原画像４１の撮像範囲について、カラー画像４２の各画素（Ｃi,j）に割り当てるＲ値（Ｃi,jr）を算出する。
【００８１】
原画像４１のＲ画素（階調値がＳri,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＲ値とする。
【００８２】
また、原画像４１のＢ画素（階調値がＳbi,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、斜め上下に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＢ画素の斜め上下に隣接するＲ画素の階調値（Ｓri+1,j+1，Ｓri-1,j-1，Ｓri-1,j+1，Ｓri+1,j-1）について、以下の式（３３）〜式（３６）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００８３】
【数３３】
2014057225.tif 000035
【００８４】
【数３４】
2014057225.tif 000036
【００８５】
【数３５】
2014057225.tif 000037
【００８６】
【数３６】
2014057225.tif 000038
また、原画像４１のＧ画素（階調値がＳgi,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、左右に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＧ画素の左右に隣接するＲ画素の階調値（Ｓri,j+1，Ｓri,j-1)について、以下の式（３７）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００８７】
【数３７】
2014057225.tif 000039
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、上下に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の上下に隣接するＲ画素の階調値（Ｓri+1,j，Ｓri-1,j）について、以下の式（３８）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃi,jr）を算出する。
【００８８】
【数３８】
2014057225.tif 000040
以上の処理を行うことにより、色解像度重視エリア２６に対応する原画像４１の全ての画素にＲ値を割り当てることができる。
【００８９】
［１−6．Ｃi,jに対するＢ値の割り当て］
次に、カラー画像生成部３２は、図３（ａ），図４（ｂ）に示した色解像度重視エリア２６による原画像４１の撮像範囲について、カラー画像４２の各画素（Ｃi,j)に割り当てるＢ値（Ｃi,jb）を算出する。
【００９０】
原画像４１のＢ画素（階調値がＳbi,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画像（配置位置が同じ画素）のＢ値とする。
【００９１】
また、原画像４１のＲ画素（階調値がＳri,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、斜め上下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＲ画素の斜め上下に隣接するＢ画素の階調値（Ｓbi+1,j+1，Ｓbi-1,j-1，Ｓbi-1,j+1，Ｓbi+1,j-1）について、以下の式（３９）〜式（４２）により、カラー画像４２の対応する位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００９２】
【数３９】
2014057225.tif 000041
【００９３】
【数４０】
2014057225.tif 000042
【００９４】
【数４１】
2014057225.tif 000043
【００９５】
【数４２】
2014057225.tif 000044
また、原画像４１のＧ画素（階調値がＳgi,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、上下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＧ画素の上下に隣接するＢ画素の階調値（Ｓbi+1,j，Ｓbi-1,j）について、以下の式（４３）により、カラー画像４２の対応する位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００９６】
【数４３】
2014057225.tif 000045
また、原画像４１のＷ画素（階調値がＳwi,jである画素）については、図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、左右に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、対象とするＷ画素の左右に隣接するＢ画素の階調値（Ｓbi,j+1，Ｓbi,j-1）について、以下の式（４４）により、カラー画像４２の対応する位置の画素に割り当てるＢ値（Ｃi,jb）を算出する。
【００９７】
【数４４】
2014057225.tif 000046
以上の１-4〜１-6の処理により、カラー画像生成部３２は、色解像度重視エリア２６による原画像４１の撮像範囲から、カラー画像４２の対応する各画素に割り当てるＲ値（Ｃi,jr），Ｇ値（Ｃi,jg），Ｂ値（Ｃi,jb）を算出する。
【００９８】
［境界エリアについて］
感度重視エリア２５と色解像度重視エリア２６の境界エリアにおいては、例えば図５に示したように、図４（ａ）及び図４（ｂ）に示した配列パターンとは異なる配列が存在する。そこで、ここでは、図５に示した配列パターンの受光画素Ｇ2,2，Ｇ2,4，Ｒ3,3，Ｒ3,5を例に、カラー画像４２の対応する画素に割り当てるＲ値，Ｇ値，Ｂ値を算出する手順について説明する。
【００９９】
［１-7．Ｇ2,2に対応するカラー画像の画素に対するＲ値，Ｇ値，Ｂ値の割り当て］
Ｇ値については、Ｇ2,2に対応する原画像４１の画素の階調値Ｓg2,2をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値（Ｃ2,2g）とする。
【０１００】
また、Ｒ値については、図５に示した境界エリア２７の配列パターンから、Ｇ2,2に対応する原画像４１のＧ画素の左上と右下に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、このＧ画素の左上と右下に隣接するＲ画素の階調値（Ｓr1,1，Ｓr3,3）について、以下の式（４５）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ2,2r）を算出する。
【０１０１】
【数４５】
2014057225.tif 000047
また、Ｂ値に関しては、図５に示した境界エリア２７の配列パターンから、Ｇ2,2に対応する原画像４１のＧ画素の右上と左下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、このＧ画素の右上と左下に隣接するＢ画素の階調値（Ｓb1,3，Ｓb3,1）について、以下の式（４６）により、カラー画像４２の対応する配置位置の画素Ｃ2,2に割り当てるＢ値を算出する。
【０１０２】
【数４６】
2014057225.tif 000048
【０１０３】
［１-8．Ｇ2,4に対応するカラー画像の画素に対するＲ値，Ｇ値，Ｂ値の割り当て］
Ｇ値については、Ｇ2,4に対応する原画像４１の画素の階調値Ｓg2,4をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値（Ｃ2,4g）とする。
【０１０４】
また、Ｒ値については、図５に示した境界エリア２７の配列パターンから、Ｇ2,4に対応する原画像４１のＧ画素の右上、右下、左下に隣接する画素がＲ画素になっている。そこで、カラー画像生成部３２は、このＧ画素の右上と右下と左下に隣接するＲ画素の階調値（Ｓr1,5，Ｓr3,5，Ｓr3,3）について、以下の式（４７）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値を算出する。
【０１０５】
【数４７】
2014057225.tif 000049
また、Ｂ値に関しては、図５に示した境界エリア２７の配列パターンから、Ｇ2,4に対応する原画像４１のＧ画素の左上に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、このＧ画素の左上に隣接するＢ画素の階調値（Ｓb1,3）を、以下の式（４８）により、カラー画像４２の対応する配列位置の画素に割り当てる。
【０１０６】
【数４８】
2014057225.tif 000050
【０１０７】
［１-9．Ｒ3,3に対応するカラー画像の画素に対するＲ値，Ｇ値，Ｂ値の割り当て］
Ｒ値については、Ｒ3,3に対応する原画像４１の画素の階調値Ｓr3,3をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＲ値（Ｃ3,3r）とする。
【０１０８】
また、Ｇ値については、図５に示した境界エリア２７の配列パターンから、Ｒ3,3に対応する原画像４１のＲ画素の右上、右、左上、左下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、このＲ画素の右上と右と左上と左下に隣接するＧ画素の階調値（Ｓg4,2，Ｓg3,4，Ｓg2,4，Ｓg2,2）について、以下の式（４９）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値を算出する。
【０１０９】
【数４９】
2014057225.tif 000051
また、Ｂ値については、図５に示した境界エリア２７の配列パターンから、Ｒ3,3に対応する原画像４１のＲ画素の右下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、このＲ画素の右下に隣接するＢ画素の階調値（Ｓb4,4）を、以下の式（５０）により、カラー画像４２の対応する配置位置の画素に割り当てる。
【０１１０】
【数５０】
2014057225.tif 000052
【０１１１】
［１-10．Ｒ3,5に対応するカラー画像の画素に対するＲ値，Ｇ値，Ｂ値の割り当て］
Ｒ値については、Ｒ3,5に対応する原画像４１の画素の階調値Ｓr3,5をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＲ値（Ｃ3,5r）とする。
【０１１２】
また、Ｇ値については、図５に示した境界エリア２７の配列パターンから、Ｒ3,5に対応する原画像４１のＲ画素の右、左、右上、左上に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３２は、このＲ画素の右、左、右上、左上に隣接するＧ画素の階調値（Ｓg3,6，Ｓg3,4，Ｓg2,6，Ｓg2,4）について、以下の式（５１）により、カラー画像４２の対応する配置位置の画像に割り当てるＧ値（Ｃ3,5g）を算出する。
【０１１３】
【数５１】
2014057225.tif 000053
また、Ｂ値については、図５に示した境界エリア２７の配列パターンから、Ｒ3,5に対応する原画像４１のＲ画素の右下と左下に隣接する画素がＢ画素になっている。そこで、カラー画像生成部３２は、このＲ画素の右下と左下に隣接するＢ画素の階調値（Ｓb4,6，Ｓb4,4）について、以下の式（５２）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ3,5b）を算出する。
【０１１４】
【数５２】
2014057225.tif 000054
１-7〜１-10で説明したＧ2,2，Ｇ2,4，Ｒ3,3，Ｒ3,5に対応するカラー画像４２の画素へのＲ値，Ｇ値，Ｂ値の割り当てと同様に、境界エリア２７による撮像範囲の他の画素についても、Ｒ値，Ｇ値，Ｂ値を割り当てることにより、カラー画像生成部３２は、境界エリア２７によるカラー画像４２の撮像範囲の全ての画素についてＲ値，Ｇ値，Ｂ値を割り当てる。
【０１１５】
以上の１-1〜１-10の処理により、カラー画像生成部３２は、カラー画像４２の全ての画素について、Ｒ値，Ｇ値，Ｂ値を割り当てて、カラー画像４２を生成する。
【０１１６】
『２．高感度画像の生成処理』
「感度重視エリアについて」
高感度画像生成部３３は、先ず、図３（ａ），図４（ａ）に示した感度重視エリア２５による原画像４１の撮像範囲について、図７（ｂ）に示した高感度画像４３の各画素に割り当てる階調値（Ｈi,j）（グレーの階調値）を算出する。
【０１１７】
［２-1．Ｗ画素に対する階調値Ｈi,jの割り当て］
高感度画像生成部３３は、原画像４１のＷ画素の階調値（Ｓwi,j）を、高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）の階調値（Ｈi,j）に割り当てる。
【０１１８】
［２-2．Ｇ，Ｒ，Ｂ画素に対する階調値Ｈi,jの割り当て］
図４（ａ）に示した感度重視エリア２５の配列パターンから、原画像４１の感度重視エリア２５による撮像範囲において、Ｒ画素、Ｇ画素、及びＢ画素の上下左右には、いずれもＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、以下の式（５３）〜式（５６）により、原画像４１の感度重視エリア２５による撮像範囲のＧ画素、Ｒ画素、及びＢ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。
【０１１９】
【数５３】
2014057225.tif 000055
【０１２０】
【数５４】
2014057225.tif 000056
【０１２１】
【数５５】
2014057225.tif 000057
【０１２２】
【数５６】
2014057225.tif 000058
「色解像度重視エリアについて」
次に、高感度画像生成部３３は、図３（ａ），図４（ｂ）に示した色解像度重視エリア２６による原画像４１の撮像範囲について、図７（ｂ）に示した高感度画像４３の各画素に割り当てる階調値（Ｈi,j）を算出する。
【０１２３】
［２-3．Ｗ画素に対する階調値Ｈi,jの割り当て］
高感度画像生成部３３は、原画像４１のＷ画素の階調値（Ｓwi,j）を、高感度画像４３の対応する配置位置の画素の階調値（Ｈi,j）に割り当てる。
【０１２４】
［２-4．Ｇ画素に対する階調値Ｈi,jの割り当て］
図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、原画像４１の色解像度重視エリア２６による撮像範囲においては、Ｇ画素の斜め上下にＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、以下の式（５７）〜式（６０）により、原画像４１のＧ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。
【０１２５】
【数５７】
2014057225.tif 000059
【０１２６】
【数５８】
2014057225.tif 000060
【０１２７】
【数５９】
2014057225.tif 000061
【０１２８】
【数６０】
2014057225.tif 000062
【０１２９】
［２-5．Ｂ画素に対する階調値Ｈi,jの割り当て］
図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、原画像４１の色解像度重視エリア２６による撮像範囲においては、Ｂ画素の左右にＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、Ｂ画素の左右に隣接するＷ画素の階調値（Ｓwi,j+1，Ｓwi,j-1）について、以下の式（６１）により、原画像４１の色解像度重視エリア２６のＢ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。
【０１３０】
【数６１】
2014057225.tif 000063
【０１３１】
［２-6．Ｒ画素に対する階調値Ｈi,jの割り当て］
図４（ｂ）に示した色解像度重視エリア２６の配列パターンから、原画像４１の色解像度重視エリア２６による撮像範囲においては、Ｒ画素の上下にＷ画素が隣接して配置されている。そのため、高感度画像生成部３３は、Ｒ画素の上下に隣接するＷ画素の階調値（Ｓwi+1,j，Ｓwi-1,j）について、以下の式（６２）により、原画像４１のＲ画素に対応する配置位置の高感度画像４３の画素に割り当てる階調値（Ｈi,j）を算出する。
【０１３２】
【数６２】
2014057225.tif 000064
【０１３３】
「境界エリアについて」
感度重視エリア２５と色解像度重視エリア２６との境界エリアにおいては、例えば図５に示したように、図４（ａ）及び図４（ｂ）に示した配列パターンとは異なる配列が存在する。そこで、ここでは、図５に示した配列パターンの受光画素Ｇ2,2、Ｇ2,4、Ｒ3,3、Ｒ3,5を例に、高感度画像４３の対応する画素に割り当てる階調値（Ｈi,j）の算出手順について説明する。
【０１３４】
［２-7．Ｇ2,2に対応する高感度画像の画素に対する階調値の割り当て］
図５に示した境界エリア２７の配列パターンから、原画像４１におけるＧ受光画素Ｇ2,2に対応するＧ画素の上下左右に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３３は、このＧ画素の上下左右に隣接するＷ画素の階調値（Ｓw1,2，Ｓw2,3，Ｓw3,2，Ｓw2,1）について、以下の式（６３）〜式（６６）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ2,2）を算出する。
【０１３５】
【数６３】
2014057225.tif 000065
【０１３６】
【数６４】
2014057225.tif 000066
【０１３７】
【数６５】
2014057225.tif 000067
【０１３８】
【数６６】
2014057225.tif 000068
【０１３９】
［２-8．Ｇ2,4に対応する高感度画像の画素に対する階調値の割り当て］
図５に示した境界エリア２７の配列パターンから、原画像４１におけるＧ受光画素Ｇ2,4に対応するＧ画素の上、左、右に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３３は、このＧ画素の上と左右に隣接するＷ画素の階調値（Ｓw2,5，Ｓw2,3，Ｓw1,4）について、以下の式（６７）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ2,4）を算出する。
【０１４０】
【数６７】
2014057225.tif 000069
【０１４１】
［２-9．Ｒ3,3に対応する高感度画像の画素に対する階調値の割り当て］
図５に示した境界エリア２７の配列パターンから、原画像４１におけるＲ受光画素Ｒ3,3に対応するＲ画素の上、下、左に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３３は、このＲ画素の上下と左に隣接するＷ画素の階調値（Ｓw4,3，Ｓw3,2，Ｓw2,3）について、以下の式（６８）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ3,3）を算出する。
【０１４２】
【数６８】
2014057225.tif 000070
【０１４３】
［２-10．Ｒ3,5に対応する高感度画像の画素に対する階調値の割り当て］
図５に示した境界エリア２７の配列パターンから、原画像４１におけるＲ受光画素Ｒ3,5に対応するＲ画素の上下に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３３は、このＲ画素の上下に隣接するＷ画素の階調値（Ｓw4,5，Ｓw2,5）について、以下の式（６９）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ3,5）を算出する。
【０１４４】
【数６９】
2014057225.tif 000071
２-7〜２-10で説明したＧ2,2、Ｇ2,4、Ｒ3,3、Ｒ3,5についての高感度画像の画素の階調値の割り当てと同様に、原画像４１の境界エリア２７による撮像範囲の他の画素についても、高感度画像４３の対応する画素に割り当てる階調値を算出することにより、高感度画像生成部３３は、高感度画像４３の全ての画素に階調値（グレーの階調値）を割り当てる。
【０１４５】
以上の２-1〜２-10の処理により、高感度画像生成部３３は、高感度画像４３の全ての画素に階調値を割り当てて、図７（ｂ）に示したように、原画像４１の各画素に対応した画素に階調値（Ｈi,j）を割り当てた高感度画像４３を生成する。
【０１４６】
『３．広ダイナミックレンジ画像の生成処理』
図６のＳＴＥＰ４は、広ダイナミックレンジ画像生成部３４による処理である。広ダイナミックレンジ画像生成部３４は、カラー画像４２と高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）間で、以下の式（７０）の重み付け関数を用いた加算を行って、広ダイナミックレンジ画像４４の各画素に割り当てる階調値（Ｄi,j）を算出する。
【０１４７】
【数７０】
2014057225.tif 000072
但し、ｗ(x)：シグモイド関数、ｇ：ゲイン。なお、上記式（７０）は重み付け関数の一例であり、他の重み付け関数を用いてもよい。
【０１４８】
また、広ダイナミックレンジ画像生成部３４は、以下の式（７１）により、カラー画像の各画素の階調値（参照階調値）Ｙi,jを算出する。
【０１４９】
【数７１】
2014057225.tif 000073
但し、Ｙi,j：参照階調値、Ｃi,jr：カラー画像４２の各画素Ｃi,jのＲ値、Ｃi,jg：カラー画像４２の各画素Ｃi,jのＧ値、Ｃi,jb：カラー画像４２の各画素Ｃi,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。
【０１５０】
また、広ダイナミックレンジ画像生成部３４は、以下の式（７２）により、原画像４１の各Ｗ画素の階調値Ｓwi,jと、各Ｗ画素に対応する配置位置のカラー画像４２の画素の参照階調値Ｙi,jとの比ａi,jを、感度差補正係数として算出する。
【０１５１】
【数７２】
2014057225.tif 000074
広ダイナミックレンジ画像生成部３４は、高感度画像４３の階調値（Ｈi,j）を最大階調値（分解能が８bitであれば２５５、１０bitであれば１０２３）に対して規格化した規格化階調値（ｈi,j）と、カラー画像４２から上記式（７１）により算出した参照階調値（Ｙi,j）を、最大階調値で規格化した規格化階調値（ｙi,j）から、以下の式（７３）により、規格化合成階調値（ｈdri,j）を算出する。
【０１５２】
なお、階調値を最大階調値に対して規格化するとは、階調値を最大階調値で除することを意味し、例えば、Ｈi,j＝２００，Ｙi,j＝６５で、最大階調値が２５５であるときには、ｈi,j＝２００／２５５，ｙi,j＝６５／２５５となる。
【０１５３】
【数７３】
2014057225.tif 000075
但し、ｈi,j，ｙi,j：規格化階調値、ａ'：Ｗ画素に対応する画素を対象とするときは、上記式（７２）により算出した当該画素の感度差補正係数ａi,j、Ｒ，Ｇ，Ｂに対応する画素を対象とするときは、周囲に配置されたＷ画素に対応する画素の感度差補正係数ａi,j。
【０１５４】
さらに、広ダイナミックレンジ画像生成部３４は、低階調のコントラスを保つために、以下の式（７４）により規格化合成階調値（ｈdri,j）にγ変換処理を行う。
【０１５５】
【数７４】
2014057225.tif 000076
但し、Ｄi,j：広ダイナミックレンジ画像の階調値、Ｍb：最大階調値。
【０１５６】
以上の処理により、広ダイナミックレンジ画像生成部３４は、図８に示したように、原画像４１の各画素に対応した画素に、階調値（Ｄi,j）を割り当てた広ダイナミックレンジ画像４４を生成することができる。
【０１５７】
『４．対象物検知処理』
図６のＳＴＥＰ５〜ＳＴＥＰ７、及びＳＴＥＰ２０は、対象物検知部３６による処理である。対象物検知部３６は、検知対象物の種別又はカメラ２の撮像条件に応じて、カラー画像４２から対象物を検知する処理と、高感度画像４３から対象物を検知する処理と、広ダイナミックレンジ画像４４から対象物を検知する処理とを切替える。
【０１５８】
［４-1．高感度画像による対象物検知］
対象物検知部３６は、ＳＴＥＰ５で、高感度画像４３から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像４３を用いることによって、車両１の周辺に存在する歩行者を精度良く検知することができる。
【０１５９】
ここで、図３（ａ）に示したように、フィルタ２１により、撮像素子２２の中央部が色解像度重視エリア２６に設定されると共に、色解像度重視エリア２６の周囲が感度重視エリア２５に設定されている。そのため、図３（ｂ）に示したカメラ２の撮像画像９０においては、感度重視エリア２５による撮像範囲２５ａの感度が高くなっている。
【０１６０】
その結果、感度重視エリア２５による撮像範囲２５ａとなる歩道に存在する歩行者の画像部分９５を識別して、歩行者を精度良く検知することができる。また、レンズの特性上、レンズの中央部に比べて暗くなるレンズ周辺部について、撮像画像の感度を高める効果が得られる。
【０１６１】
対象物検知部３６は、歩行者を検知したときに、車両１との接触可能性の有無を判断する。そして、車両１との接触可能性有りと判断したときには、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。
【０１６２】
この制御信号の受信に応じて、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。
【０１６３】
続くＳＴＥＰ６で、対象物検知部３６は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両１に備えられたヘッドライト（図示しない）の点灯／消灯の状態から判断する。また、車両１に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。
【０１６４】
［４-2．広ダイナミックレンジ画像による対象物検知］
夜間であったときには、ＳＴＥＰ２０に分岐し、対象物検知部３６は、広ダイナミックレンジ画像４４から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。
【０１６５】
ここで、暗い物体としては、車両１のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両１のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトに照射されている歩行者等が挙げられる。
【０１６６】
そこで、夜間においては、広ダイナミックレンジ画像４４を用いることによって、他車両、歩行者を検知することができる。この場合、図３（ａ），図３（ｂ）に示したように、車両１のヘッドライトの照射範囲と重なる色解像度重視エリア２６については、高い色解像度が得られる広ダイナミックレンジ画像４４の画像範囲から、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトにより照射されている歩行者等を検知することができる。
【０１６７】
また、車両１のヘッドライトの照射範囲から外れる感度重視エリア２５については、高感度が得られる広ダイナミックレンジ画像４４の画像範囲から、遠方の他車両や道路脇の歩行者等を検知することができる。
【０１６８】
［４-3．カラー画像による対象物検知］
ＳＴＥＰ６で夜間でなかったときにはＳＴＥＰ７に進み、対象物検知部３６は、カラー画像４２から、道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。
【０１６９】
そこで、対象物検知部３６は、図３（ａ），図３（ｂ）に示したように、フィルタ２１により、撮像素子２２の中央部の色解像度重視エリア２６によるカラー画像４２の画像範囲から、レーンマーク、他車両、及び信号機を、高い色解像度により識別して精度良く検知することができる。
【０１７０】
その際、対象物検知部３６は、レーンマークの色（白線、黄線等）からレーンマークの属性を判断する。また、対象物検知部３６は、前走車のブレーキランプから前走車の減速を判断し、追突可能性の有無を判断する。
【０１７１】
そして、対象物検知部３６は、レーンマークの検知位置から車両１を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信し、この制御信号の受信に応じて、操舵制御部６１が操舵装置７１の作動を制御する。
【０１７２】
また、対象物検知部３６は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部３６は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ６に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部６３はディスプレイに警報表示を行う。また、必要に応じて、制動制御部６２は、制動装置７２を作動させて車両１を制動する。
【０１７３】
『５．ＲＧＢＷの他の配列パターンの例』
次に、図９（ａ），図９（ｂ）は、感度重視エリア用のＲＧＢＷの他の配列パターンを示したものである。図９（ａ）の配列パターンは、図４（ａ）に示したＲＧＢＷの配列パターンに対して、赤の解像度を高めたものである。図９（ａ）の配列パターンを採用することにより、高感度であって赤の解像度が高い撮像画像を得ることができるため、遠方の他車両のテールランプや信号機等の検知に有利である。
【０１７４】
また、図９（ｂ）の配列パターンは、図４（ａ）に示したＲＧＢＷの配列パターンに対して、斜めの解像度を高めたものである。図９（ｂ）の配列パターンを採用することにより、高感度であって斜めの解像度が高い撮像画像を得ることができるため、遠方の白線やボッツドッツ等の直線状に連続した対象物の検知に有利である。
【０１７５】
また、図１０は、色解像度重視エリア用のＲＧＢＷの他の配列パターンを示したものである。図１０の配列パターンは、図４（ｂ）に示したＲＧＢＷの配列パターンに対して、斜めの解像度を高めたものである。
【０１７６】
図４（ｂ）の配列パターンは縦横の解像度が高いため、遠方の標識や道路構造物等の画像部分を、縦横エッジを抽出して検知する際に有利である。一方、図１０の配列パターンは斜めの解像度が高いため、遠方の黄線やボッツドッツ等の直線状に連続した対象物の検知に有利である。
【０１７７】
なお、本実施形態では、図３（ａ）に示したように、色解像度重視エリア２６を撮像素子２２の中央部に配置して、感度重視エリア２５を色解像度重視エリア２６の周囲に配置したが、他の配置態様により色解像度重視エリアと感度重視エリアを配置した場合であっても、本発明の効果を得ることができる。
【０１７８】
また、本実施形態では、図４（ｂ）に示したように、色解像度重視エリアについてＷ画素を含む配列パターンとしたが、Ｗ画素を含まない配列パターン（Ｗ画素の配置密度がゼロ）としてもよい。
【符号の説明】
【０１７９】
１…車両、２…カメラ、３…画像コントローラ、６…車両コントローラ、２１…フィルタ、２２…撮像素子、２５…感度重視エリア、２６…色解像度重視エリア、２７…感度重視エリアと色解像度重視エリアの境界エリア、３０…制御回路、３１…原画像取得部、３２…カラー画像生成部、３３…高感度画像生成部、３４…広ダイナミックレンジ画像生成部、３５…画像生成部、３６…対象物検知部、４１…原画像、４２…カラー画像、４３…高感度画像、４４…広ダイナミックレンジ画像。
【図１】
2014057225.tif 000077
【図２】
2014057225.tif 000078
【図５】
2014057225.tif 000079
【図７】
2014057225.tif 000080
【図８】
2014057225.tif 000081
【図９】
2014057225.tif 000082
【図１０】
2014057225.tif 000083
【図３】
2014057225.tif 000084
【図４】
2014057225.tif 000085
【図６】
2014057225.tif 000086