(57)【要約】【課題】明暗の差が大きい被写体を撮影した場合にも、適切なカラー画像を生成する。【解決手段】入射光の入力輝度Ｉに応じて非線形に変化する入出力特性６００を有する画素を複数備えた撮像素子１０２から出力された第１の出力信号Ｓ１を、出力信号線形変換部１０４において、撮像素子１０２が入射光の全入力輝度範囲に亘って線形に変化する第２の出力信号Ｓ２を出力すると仮定したときに、第１の出力信号Ｓ１を第２の出力信号Ｓ２に変換して、こうして変換された第２の出力信号Ｓ２に基づいて、色信号生成部１０５において、全ての画素に対する複数色の線形性を有する色信号Ｒ０，Ｇ０，Ｂ０を生成して、こうして生成された色信号Ｒ０，Ｇ０，Ｂ０を、撮像素子１０２の第１の出力信号Ｓ１に基づいて、輝度信号生成部１０７において生成した、非線形性を有する輝度信号Ｙ１と合成する。【選択図】図１
2013223152.tif 000002
【特許請求の範囲】
【請求項１】
入射光の入力輝度に応じて非線形に変化する入出力特性を有する画素を複数備え、前記画素毎に異なる複数色の色フィルタが所定のパターンで配列されて、第１の出力信号を出力する撮像素子と、
前記撮像素子が入射光の全入力輝度範囲に亘って線形に変化する第２の出力信号を出力すると仮定したときに、前記第１の出力信号を、前記撮像素子が出力すると予測される第２の出力信号に変換する出力信号線形変換部と、
前記出力信号線形変換部で変換された前記第２の出力信号に基づいて、前記複数色の中から欠落した色信号を生成して、全ての前記画素に対する前記複数色の色信号を生成する色信号生成部と、
前記第１の出力信号から輝度信号を生成する輝度信号生成部と、
前記色信号生成部で生成された色信号と前記輝度信号生成部で生成された輝度信号とを合成して映像信号を生成する色輝度合成部と、を有することを特徴とする撮像装置。
【請求項２】
前記色輝度合成部は、前記色信号生成部で生成された前記色信号を正規化した正規化色信号と、前記輝度信号生成部で生成された前記輝度信号と、を乗算することによって映像信号を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記色信号生成部は、隣接する複数の画素が出力すると予測される前記第２の出力信号を線形補間することによって、全ての前記画素に対する前記複数色の色信号を生成することを特徴とする請求項１または２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を備えた撮像装置に関し、特に、明暗の差（ダイナミックレンジ）が大きい被写体を撮影した場合にも、適切なカラー画像を生成することができる撮像装置に関するものである。
【背景技術】
【０００２】
近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける要素技術として、車載監視用の撮像装置の研究開発が盛んに行われている。その中では、夜間、逆光など明暗の差が非常に大きくて視界不良となり得る状況において、撮像装置の監視性能を確保すること、すなわち、視界不良となり得る状況においても信号や車線の色を判別するために、撮像装置において、人間の色覚特性と合致した色再現性を確保することが課題となっている。このような明暗の差が非常に大きいシーンでは、一般の撮像素子ではダイナミックレンジの限界を超えてしまうため、露出オーバーとなって階調の情報を失い、真っ白な画像になってしまう白飛びや、逆に露出アンダーとなって階調の情報を失い、真っ黒な画像になってしまう黒潰れと呼ばれる現象が発生するという課題があった。
【０００３】
そのため、入力輝度と出力信号の関係に非線形特性を持たせることによってダイナミックレンジを拡大することができる撮像素子が提案されている。
【０００４】
そして、このような非線形特性を有する撮像素子において、非線形特性を有する領域の出力信号を線形信号に変換（線形化）してから種々の色信号処理を行い、その後、画像を出力するモニタに合わせてビット幅を狭めて出力する方法が提案されている（例えば特許文献１）。
【０００５】
また、撮像素子の出力信号に対する線形化を行わずにＬＵＴ（Look Up Table）を用いた特殊なホワイトバランス補正を行い、ＲＧＢ毎に異なる光電変換特性を、Ｒ、Ｇ、Ｂのいずれかの光電変換特性と一致させることで、後段の階調変換処理や色信号処理の効率化（簡易化、高速化）を図る撮像素子も提案されている（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−８６４０２号公報
【特許文献２】特開２００６−２７０６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された画像処理装置では、信号処理過程でビット幅を狭めることによって信号を圧縮している。これは低輝度部分の情報を削減することに相当するため、撮像素子の持つ本来のダイナミックレンジを十分に活用したカラー画像を得ることができない。したがって、例えば、低輝度の被写体と高輝度の被写体が同時に存在するシーンでは、低輝度の被写体の画像領域から得られる出力信号が、削減される下位ビットに含まれている場合、最終的に出力される画像において低輝度の被写体の色を再現できないことになる。すなわち、明暗の差（ダイナミックレンジ）が大きい被写体を撮影した場合に、適切なカラー画像を生成することができないという問題がある。 
【０００８】
また、特許文献２に記載された撮像装置では、階調変換を行った後で、非線形特性を持つ信号に対して、線形特性を持つ信号に対して行うのと同じ色信号処理を実施しているが、このように、非線形特性を持つ信号に対して線形特性を持つ信号に対して行うのと同じ色信号処理（線形補間処理やリニアマトリクス処理等）を適用すると、色ずれが発生する恐れがあるため、正確な色再現性を実現することができないという問題がある。
【０００９】
本発明は、上記課題に鑑みてなされたもので、明暗の差が大きい被写体を撮影した場合にも、適切なカラー画像を生成することができる撮像素子を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、撮像素子の持つ本来のダイナミックレンジを十分に活用して、明暗の差（ダイナミックレンジ）が大きい被写体を撮影した場合であっても、白飛びや黒潰れがなく、かつ色再現性が高い、適切なカラー画像を生成するものである。
【００１１】
すなわち、本発明の請求項１に係る撮像装置は、入射光の入力輝度に応じて非線形に変化する入出力特性を有する画素を複数備え、前記画素毎に異なる複数色の色フィルタが所定のパターンで配列されて、第１の出力信号を出力する撮像素子と、前記撮像素子が入射光の全入力輝度範囲に亘って線形に変化する第２の出力信号を出力すると仮定したときに、前記第１の出力信号を、前記撮像素子が出力すると予測される第２の出力信号に変換する出力信号線形変換部と、前記出力信号線形変換部で変換された前記第２の出力信号に基づいて、前記複数色の中から欠落した色信号を生成して、全ての前記画素に対する前記複数色の色信号を生成する色信号生成部と、前記第１の出力信号から輝度信号を生成する輝度信号生成部と、前記色信号生成部で生成された色信号と前記輝度信号生成部で生成された輝度信号とを合成して映像信号を生成する色輝度合成部と、を有することを特徴とする。
【００１２】
このように構成された本発明の請求項１に係る撮像装置によれば、入射光の入力輝度に応じて非線形に変化する入出力特性を有する画素を複数備えた撮像素子から出力された第１の出力信号を、出力信号線形変換部において、撮像素子が入射光の全入力輝度範囲に亘って線形に変化する第２の出力信号を出力すると仮定したときに、第１の出力信号を、撮像素子が出力すると予測される第２の出力信号に変換して、こうして変換された第２の出力信号に基づいて、色信号生成部において、複数色の中から欠落した色信号を生成することによって、全ての画素に対する複数色の線形性を有する色信号が生成されて、また、撮像素子の第１の出力信号に基づいて、輝度信号生成部において非線形性を有する輝度信号が生成されて、こうして生成された線形性を有する色信号と非線形性を有する輝度信号とが、色輝度合成部において合成されて映像信号が生成されるため、ダイナミックレンジが大きい被写体を撮影した場合であっても、輝度信号が有する非線形性によって白飛びや黒潰れがなく、かつ線形性を有する色信号によって色再現性が高い、適切なカラー画像を生成することができる。
【発明の効果】
【００１３】
本発明に係る撮像装置によれば、ダイナミックレンジが大きい被写体を撮影した場合であっても、適切なカラー画像を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例１に係る撮像装置の概略構成を示すブロック図である。
【図２】本発明を適用するシーンの一例を示す図である。
【図３】図２のシーンに本発明の撮像装置を適用したときの撮像装置の入出力特性を説明する図である。
【図４】（ａ）は本発明の実施例１で使用される撮像素子の入出力特性の一例を示す図である。（ｂ）は、図４（ａ）の横軸を対数目盛とした図である。
【図５】本発明の実施例１で使用される撮像素子の色フィルタの配列の一例を説明する図である。
【図６】本発明の実施例１において、出力信号線形変換部で行われる変換処理について説明する図である。
【図７】本発明の実施例１における処理の流れを示すフローチャートである。
【図８】本発明の実施例１において、色輝度合成部で行われる合成処理について説明する図である。
【発明を実施するための形態】
【００１５】
以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。
【実施例１】
【００１６】
本実施例は、本発明の撮像装置を、車両周囲の監視を行って、撮像された画像を車両の乗員に提示する周囲監視装置に適用した例である。
【００１７】
まず、図面を用いて装置の構成を説明する。本実施例に係る撮像装置１０は、図１に示すように車両（図示省略）に設置されて、被写体を観測するレンズ系１０１と、撮像素子１０２と、信号分離部１０３と、出力信号線形変換部１０４と、色信号生成部１０５と、色信号補正部１０６と、輝度信号生成部１０７と、輝度信号補正部１０８と、色輝度合成部１０９と、画像出力部１１０を備えている。
【００１８】
レンズ系１０１は、被写体から出射した光、または被写体で反射した光を後述する撮像素子１０２上に導く光学系である。
【００１９】
撮像素子１０２は、レンズ系１０１を通して観測された被写体の像が結像されて、結像された光を、その入力輝度に応じた出力電圧信号ｅに光電変換して、こうして変換された出力電圧信号ｅが、内部に備えたアンプ（図示省略）、更に同じく内部に備えたＡＤコンバータ（図示省略）を通してデジタル化されて、出力信号ＲＡＷ０を生成する。
【００２０】
信号分離部１０３は、撮像素子１０２で生成された出力信号ＲＡＷ０を同一の２つの出力信号ＲＡＷ０、ＲＡＷ０に分離する。
【００２１】
出力信号線形変換部１０４は、信号分離部１０３で分離された信号のうち一方の出力信号ＲＡＷ０を、階調変換（線形化）処理によって、線形性を有する線形化出力信号ＲＡＷ１に変換する。ここで行われる変換処理の内容は、後述する作用の説明の中で詳述する。
【００２２】
色信号生成部１０５は、出力信号線形変換部１０４で変換された線形化出力信号ＲＡＷ１を、ＲＧＢ各色に対応する３つの信号に分離して、分離する際に発生する空白の画素に対して、近傍の画素の値を用いて線形補間を行って、線形色信号（色信号）Ｒ０，Ｇ０，Ｂ０を生成する。
【００２３】
色信号補正部１０６は、色信号生成部１０５で生成された線形色信号Ｒ０，Ｇ０，Ｂ０を必要に応じて補正して、線形補正色信号Ｒ１，Ｇ１，Ｂ１を生成する。ここで行われる補正の内容は、後述する作用の説明の中で詳述する。
【００２４】
輝度信号生成部１０７は、信号分離部１０３で分離された信号のうち他方の出力信号ＲＡＷ０から輝度信号Ｙ１を生成する。ここで行われる処理の内容は、後述する作用の説明の中で詳述する。
【００２５】
輝度信号補正部１０８は、輝度信号生成部１０７で生成された輝度信号Ｙ１を必要に応じて補正して、補正輝度信号Ｙ２を生成する。ここで行われる処理の内容は、後述する作用の説明の中で詳述する。
【００２６】
色輝度合成部１０９は、線形補正色信号Ｒ１，Ｇ１，Ｂ１と補正輝度信号Ｙ２を合成して映像信号Ｒ２，Ｇ２，Ｂ２を生成する。ここで行われる処理の内容は、後述する作用の説明の中で詳述する。
【００２７】
画像出力部１１０は、色輝度合成部１０９で合成された映像信号Ｒ２，Ｇ２，Ｂ２を出力する、例えば表示用モニタである。
【００２８】
なお、レンズ系１０１は、車載監視用途の撮像装置の場合には、一般にパンフォーカスレンズを用いるが、ズームレンズやオートフォーカス機構を備えたレンズ系であってもよいし、絞りやシャッターを備えたレンズ系であってもよい。また、画質や色再現性の向上のために光学ローパスフィルタや赤外カットフィルタ等の各種フィルタ類を備えたレンズ系であってもよい。
【００２９】
また、撮像素子１０２には、出力信号ＲＡＷ０として８ビット（０〜２５５）にデジタル化された信号を出力し、最大１００ｄＢ程度の入力輝度のダイナミックレンジを有する、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の光電変換素子が用いられる。
【００３０】
撮像素子１０２の光電変換特性（以下、入出力特性と呼ぶ）は、図４（ａ）に示すように複数の入出力特性を備えており、入射光を受光した撮像素子１０２の各画素に蓄積される電荷の、リセットタイミングや、リセット電圧を変更することによって、入出力特性を変更することができるものとする。
【００３１】
そして、図４（ａ）に示す入出力特性は、入力輝度Ｉに対して出力電圧信号ｅが非線形に変化する非線形の入出力特性を有している。これは、対数変換型の光電変換素子の代表的な入出力特性としてよく知られたものである。
【００３２】
なお、図４（ｂ）は、図４（ａ）のグラフの横軸を対数目盛りに変換したグラフであり、入出力特性の違いによって、白飛びや黒潰れせずに出力できる入力輝度Ｉのダイナミックレンジが変化することを示している。
【００３３】
すなわち、図４（ｂ）では、入出力特性に付与した番号が大きいほど、入力輝度Ｉのダイナミックレンジが広くなっている。
【００３４】
なお、図４（ａ）に記載された複数の入出力特性（０から９）は、撮像シーンに応じて、図１に図示しない、撮像素子１０２に内蔵された露光制御部によって決定されるものであり、例えば、撮像シーンの明るさに基づいて、白飛びや黒潰れが発生せずに、できるだけコントラストが高い画像が撮像される入出力特性が選択されて、撮像が行われる。
【００３５】
具体的には、前記した露光制御部において、フレーム毎に画像１枚分の出力統計情報を基に、白飛び、黒潰れの画素数を取得し、閾値判定により検出を行う。白飛びが検出された場合、番号が現在より大きい（ダイナミックレンジが広い）特性が選択され、白飛びが検出されない場合、番号が現在より小さい（コントラストが高い）特性が選択される。また、黒潰れが検出された場合、露光時間を現在より大きくし、黒潰れが検出されない場合、露光時間を現在より短くする。なお、露光時間は図４（ａ）における入出力特性の傾きに影響し、図４（ｂ）における入出力特性の横位置に影響するが、図４（ａ）または図４（ｂ）では、露光時間の変化の様子は示しておらず、ある露光時間に設定した場合における入出力特性の変化の様子を表している。
【００３６】
そして、撮像素子１０２は、図４（ａ）または（ｂ）に示すような出力電圧信号ｅを生成する画素を二次元的に複数備えており、各画素の上には、図５に示すようにＲＧＢ（赤、緑、青）各成分の光を選択的に透過する色フィルタが規則的に配置されている。
【００３７】
図５において、Ｒは赤い光を透過する色フィルタ、Ｇは緑の光を透過する色フィルタ、Ｂは青い光を透過する色フィルタをそれぞれ示している。図５の色フィルタ配列はベイヤー配列と呼ばれており、１枚の撮像素子を用いてカラー映像を撮像する単板式カラーカメラで一般的に用いられているものである。
【００３８】
なお、図５において、Ｒ、Ｇ、Ｂに付与された２桁の添字ij（i＝１〜４、ｊ＝１〜４）は、図５の色フィルタ上の画素の位置を特定する情報である。そして、例えばＢ２２と記載された画素からは、青い光を透過する色フィルタを通して、信号Ｂ２２が出力されることを表しているものとする。
【００３９】
次に、本実施形態に係る撮像装置１０の作用について、図面を用いて説明する。
【００４０】
まず、図２に基づいて、撮像装置１０の利用シーンについて説明する。図２は撮像装置１０を用いて、夜間の道路を撮影したときに得られる画像を模擬的に表したものである。すなわち、道路上の被写体である、先行車２０１や対向車２０３、道路標識等による反射装置２０５、２０６、信号機２０７、歩行者２０８、レーンマーカ２０９などが撮像されて画像化された様子を示している。
【００４１】
また、図３は、線形の入出力特性を持つ一般的な撮像素子を用いて、図２に示す道路を撮像して画像化したときの入力輝度Ｉと出力電圧信号ｅの関係を表している。
【００４２】
すなわち、撮像素子１０２に対して、異なる２つの露光時間を与えたときの入出力特性として、露光時間が長いときの入出力特性３０１と、露光時間が短いときの入出力特性３０２、および道路上の被写体を撮像して、全ての被写体を画像化したときに、白飛びや黒潰れが発生せず、適切なカラー画像を生成することができると考えられる入出力特性３０３を示している。
【００４３】
このような夜間のシーンは明暗の差が非常に大きいため、線形の入出力特性を持つ撮像素子で撮像したのでは、ダイナミックレンジの限界を超えてしまうため、白飛びや黒潰れと呼ばれる現象が発生してしまう課題があった。
【００４４】
すなわち、自車両のヘッドライトや道路照明が当たっていない、もしくは自車両のヘッドライトや道路照明を反射し難いレーンマーカ２０９や歩行者２０８の分布頻度が多い入力輝度帯域３０４が最適に映るように露光時間を決定して撮影すると、入出力特性３０１のように、ヘッドライト２０４の分布頻度が多い入力輝度帯域３０７やテールライト２０２の分布頻度が多い入力輝度帯域３０５における出力電圧信号ｅが飽和してしまい、所謂「白飛び」と呼ばれる現象が生じる（図３の領域Ｘ１が、白飛びを起こす領域を表す）。
【００４５】
逆に、最も明るいヘッドライト２０４の分布頻度が多い入力輝度帯域３０７が最適に映るように露光時間を決定して撮影すると、入出力特性３０２のように、レーンマーカ２０９や歩行者２０８の分布頻度が多い入力輝度帯域３０４やテールライト２０２の分布頻度が多い入力輝度帯域３０５における出力電圧信号ｅが黒潰れのラインを下回ってしまい、所謂「黒潰れ」と呼ばれる現象が生じる（図３の領域Ｘ２が、黒潰れを起こす領域を表す）。
【００４６】
ここで、入出力特性３０３に基づいて画像を生成すると、最も暗いレーンマーカ２０９から最も明るいヘッドライト２０４まで、一つの入出力特性３０３の白飛びも黒潰れもしない範囲に収まっている。本実施例で用いる撮像素子１０２の入出力特性は、入出力特性３０３にほぼ一致しているものとする。なお、この入出力特性３０３は、図４（ａ）の入出力特性９、および図４（ｂ）の入出力特性９に対応するものである。
【００４７】
次に、撮像装置１０の作用について、図７のフローチャートを用いて説明する。
【００４８】
車両の乗員の指示、または、車両に搭載された監視システムからの指示によって、撮像素子制御部（図１に図示省略）から撮像素子１０２に対してトリガ信号が出力されて、撮像素子１０２はこのトリガ信号を受けて、レンズ系１０１を通して撮像素子１０２に結像された光信号の撮像を行う（図７のステップＳ７００）。なお、撮像を行う前に、撮像素子１０２の入出力特性は、前記した方法によって、予め選択されているものとする。
【００４９】
撮像された光は、撮像素子１０２で出力電圧信号ｅに変換されて、さらに、ＡＤコンバータによって８ビット（０〜２５５）にデジタル化されて、出力信号ＲＡＷ０が生成される（図７のステップＳ７０２）。
【００５０】
撮像素子１０２からの出力信号ＲＡＷ０（８ビット）は、まず、信号分離部１０３において、色信号処理とは別に、撮像素子１０２の入出力特性がそのまま保持された輝度信号を生成するため２つの出力信号に分離される（図７のステップＳ７０４）。ここで、分離後の２つの出力信号は、分離前の出力信号ＲＡＷ０と全く同一のものである。
【００５１】
次に、出力信号線形変換部１０４において、階調変換（線形化）処理によって、図６に示すように、撮像素子１０２が、入力輝度Ｉに対して出力電圧信号ｅが線形に変化する予測線形特性６１２を有すると仮定して、線形変換処理（線形化）を行う（図７のステップＳ７０６）。
【００５２】
以下、図６を用いて、この線形化の処理について説明する。
【００５３】
撮像素子１０２は、図６の入出力特性６００に示すように、入力輝度Ｉが小さい領域では線形特性６０１を有し、この領域では、入力輝度Ｉに対して線形に変化する出力信号を出力する。
【００５４】
また、入力輝度Ｉが大きい領域では非線形特性６０２を有し、この領域では、入力輝度Ｉに対して非線形に変化する出力信号を出力する。
【００５５】
そして、線形特性６０１を有する領域と非線形特性６０２を有する領域とは、接続点６０５において連続している。なお、撮像素子１０２が出力する出力信号を第１の出力信号Ｓ１とする。
【００５６】
このとき、撮像素子１０２の全入力輝度範囲に亘って、線形の入出力特性が成り立つと仮定する。すなわち、図６の点線で示すように、入出力特性が線形性を有する予測線形特性６１２を呈すると仮定する。そして、撮像素子１０２から、この予測線形特性６１２に基づいて出力されると予測される出力信号を第２の出力信号Ｓ２とする。
【００５７】
出力信号線形変換部１０４では、撮像素子１０２が出力した第１の出力信号Ｓ１を、入出力特性が予測線形特性６１２をなすと仮定したときに、撮像素子１０２が出力すると予測される第２の出力信号Ｓ２に変換する処理を行う。
【００５８】
すなわち、図６の場合、入力輝度Ｉ１に対して入出力特性６００によって得られた出力電圧信号がｅ１であり、入出力特性が予測線形特性６１２をなすと仮定したときに、入力輝度Ｉ１に対する出力電圧信号がｅ２であるとすると、出力電圧信号ｅ１をｅ２／ｅ１倍する処理が行われる。
【００５９】
このような線形化を行う方法には様々なものが考えられるが、本実施例では、ＬＵＴを用いて変換する方法を用いる。すなわち、あらかじめ撮像素子１０２の入出力特性を全ての特性の番号の数だけ測定し、ある入力輝度Ｉのときに得られた出力電圧信号ｅと、入出力特性が入射光の全入力輝度範囲に亘って線形であると仮定したときに得られると予測される出力電圧信号ｅと、の対応関係をＬＵＴに記憶しておき、階調変換処理時には、現在の入出力特性の番号と、そのときに得られた出力電圧信号ｅの値に基づいて、ＬＵＴを参照して変換を行う。
【００６０】
このとき作成されるＬＵＴには、例えば、撮像素子１０２の特性の番号と、入出力特性６００によって得られた出力電圧値と、出力電圧値の変換係数（上述したｅ２／ｅ１に相当する値）が記憶される。撮像素子の特性の数は、例えば図３の場合は１０通りであるので、これを表現するのに必要なビット数は４ビット、撮像素子１０２の出力信号ＲＡＷ０は８ビット、そして、ＬＵＴに必要なビット数は、入力輝度のダイナミックレンジが最大１００ｄＢ（１：１０５）程度であることを考慮して、１７ビット（＞ｌｏｇ２１０５）となる。
【００６１】
なお、線形化の方法は、この方法に限定されるものではなく、他の方法を用いて行ってもよい。すなわち、撮像素子の入出力特性における屈曲点であるニーポイントの位置を予測して区分線形変換を行う方法や、対数特性に近似して式による変換を行う方法など、様々な方法が考えられるが、いずれも、色信号処理のために入出力を完全な線形関係にするという結果は同じになる。
【００６２】
階調変換によって線形化された線形化出力信号ＲＡＷ１（１７ビット）は色信号生成部１０５において、ＲＧＢ各色に対応する３つの信号に分離され、分離する際に発生する空白の画素は近傍の画素の値を用いて線形補間される（図７のステップＳ７０８）。
【００６３】
この線形補間の内容を、例をあげて説明する。図５に示す色フィルタにおいて、例えばＢ２２で示される画素には、青い光（Ｂ）を透過する色フィルタが配置されている。したがって、Ｂ２２で示される画素からは、青色に対応する出力電圧信号ｅが得られるのみである。
【００６４】
したがって、Ｂ２２で示される画素から出力される予想される、赤い光（Ｒ）に対応する信号Ｒ２２と、緑の光（Ｇ）に対応する信号Ｇ２２を、それぞれ予測して補間する必要がある。
【００６５】
赤い光（Ｒ）に対応する信号Ｒ２２と、緑の光（Ｇ）に対応する信号Ｇ２２は、Ｂ２２で示される画素に隣接した画素から出力される信号に基づいて、それぞれ、（式１）と（式２）によって線形補間することができる。
Ｒ２２  ＝  （Ｒ１１＋Ｒ１３＋Ｒ３１＋Ｒ３３）／４        （式１）
Ｇ２２  ＝  （Ｇ１２＋Ｇ２１＋Ｇ２３＋Ｇ３２）／４        （式２）
【００６６】
なお、上記線形補間を行う際に、単に空白の画素を補間するだけではなく、ローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施して、画像の強調を行ってもよい。その際、ディジタルフィルタリングは、所定のカーネル係数を有する畳み込み演算によって行われ、設定するカーネル係数によっては演算結果が負の数になるため、線形化出力信号ＲＡＷ１（１７ビット）に対して、符号ビットが１ビット加えられる。
【００６７】
以上により、各画素毎にＲＧＢ各色を表す３つの線形色信号（Ｒ０，Ｇ０，Ｂ０（符号付き１８ビット））が生成される。
【００６８】
次に、色信号補正部１０６において、必要に応じて線形色信号Ｒ０，Ｇ０，Ｂ０に対して線形演算による色補正処理を行う（図７のステップＳ７１０）。この色補正処理は、線形色信号Ｒ０，Ｇ０，Ｂ０を、人間の色覚特性に一致するように、彩度や色相などを調整するために行われるものである。
【００６９】
色補正処理としては、具体的には、ホワイトバランス補正、リニアマトリクス補正などが挙げられるが、補正処理の内容については、一般的な線形特性を持つ撮像素子を用いた撮像装置で実施されている処理（例えば特許文献１の従来技術に記載のものなど）と大差はないため説明は省略する。
【００７０】
この色補正処理によって、３つの線形色信号Ｒ０，Ｇ０，Ｂ０は、同じく３つの線形補正色信号Ｒ１，Ｇ１，Ｂ１（符号付き１８ビット）に変換される。
【００７１】
なお、ステップＳ７０４において２つに分離された出力信号ＲＡＷ０のうちの他方の出力信号ＲＡＷ０は、輝度信号生成部１０７において、輝度信号Ｙ１（８ビット）に変換される（図７のステップＳ７１２）。
【００７２】
この処理は、撮像素子１０２が、図６に示す本来の入出力特性６００を有する前提で行われる。そして、色信号生成部１０５において行われる線形補間処理と、色分離をしない点以外は同様の処理が実行される。こうして生成される輝度信号Ｙ１は非線形性有し、入力輝度Ｉに対する広いダイナミックレンジを有する信号となる。
【００７３】
ここで、輝度信号生成部１０７において輝度信号Ｙ１を生成する際に、同時にローパスフィルタや、バンドパスフィルタなどのディジタルフィルタを用いて周波数選択のためのディジタルフィルタリングを実施することも可能である。
【００７４】
次に、輝度信号補正部１０８において、輝度信号Ｙ１に対して、必要に応じてガンマ補正やヒストグラム補正等のコントラスト調整が実施されて、補正輝度信号Ｙ２（８ビット）が生成される（図７のステップＳ７１４）。
【００７５】
そして、線形補正色信号Ｒ１，Ｇ１，Ｂ１と補正輝度信号Ｙ２とが、色輝度合成部１０９において合成されて、映像信号Ｒ２，Ｇ２，Ｂ２（８ビット）が生成される（図７のステップＳ７１６）。
【００７６】
以下、色輝度合成部１０９で行われる処理について、詳細に説明する。
【００７７】
図８に色輝度合成部１０９で行われる処理の概要を示す。まず、線形補正色信号Ｒ１，Ｇ１，Ｂ１を２つに分離し、処理ブロック８０１において、分離した一方の線形補正色信号Ｒ１，Ｇ１，Ｂ１から、（式３）を用いて、それらの輝度成分Ｙｃの値を求める。
Ｙｃ  ＝  ０．２９９×Ｒ１  ＋  ０．５８７×Ｇ１  ＋  ０．１１４×Ｂ１  （式３）
この演算は、入力される線形補正色信号Ｒ１，Ｇ１，Ｂ１（符号付き１８ビット）の値の範囲が広いため、線形補正色信号Ｒ１，Ｇ１，Ｂ１を浮動小数点に変換して、浮動小数点演算として行う。
【００７８】
次に、処理ブロック８０２において、（式４）から（式６）で示すように、（式３）で導出された輝度成分Ｙｃの値によって、線形補正色信号Ｒ１，Ｇ１，Ｂ１をそれぞれ除算して、線形補正色信号Ｒ１，Ｇ１，Ｂ１の正規化を行い、正規化色信号Ｒｃ，Ｇｃ，Ｂｃを生成する。
Ｒｃ  ＝  Ｒ１  ／  Ｙｃ      （式４）
Ｇｃ  ＝  Ｇ１  ／  Ｙｃ      （式５）
Ｂｃ  ＝  Ｂ１  ／  Ｙｃ      （式６） 
なお、この演算も浮動小数点演算として行われる。
【００７９】
そして、処理ブロック８０３において、（式７）から（式９）で表されるように、正規化色信号Ｒｃ，Ｇｃ，Ｂｃに対して、輝度信号補正部１０８において生成された補正輝度信号Ｙ２をそれぞれ乗算することによって、映像信号Ｒ２，Ｇ２，Ｂ２が生成される。
Ｒ２  ＝  Ｒｃ  ×  Ｙ２      （式７）
Ｇ２  ＝  Ｇｃ  ×  Ｙ２      （式８）
Ｂ２  ＝  Ｂｃ  ×  Ｙ２      （式９） 
なお、この演算も浮動小数点演算として行われ、演算結果は８ビットに整数化されて出力される。
【００８０】
ここで留意すべき点は、正規化された正規化色信号Ｒｃ，Ｇｃ，Ｂｃは線形特性を持つ信号であり、補正輝度信号Ｙ２は非線形特性を持つ信号であるため、合成された映像信号Ｒ２，Ｇ２，Ｂ２は非線形特性を持つ信号となる点である。
【００８１】
このとき、線形補正色信号Ｒ１，Ｇ１，Ｂ１と補正輝度信号Ｙ２と映像信号Ｒ２，Ｇ２，Ｂ２の間には、（式１０）の関係式が成り立つ。但し、演算時のビット幅縮小に伴う誤差による影響は、十分小さいものとしている。
Ｙ２  ＝  ０．２９９×Ｒ２  ＋  ０．５８７×Ｇ２  ＋  ０．１１４×Ｂ２（式１０）
Ｒ１：Ｇ１：Ｂ１  ＝  Ｒ２：Ｇ２：Ｂ２                                （式１１）
【００８２】
（式１０）は、映像信号Ｒ２，Ｇ２，Ｂ２と補正輝度信号Ｙ２が三原色ベクトルとそれからなる輝度ベクトルの関係であることを表しており、映像信号Ｒ２，Ｇ２，Ｂ２が補正輝度信号Ｙ２の持つ広ダイナミックレンジの輝度情報を保持していることを示している。
【００８３】
また、（式１１）は、映像信号Ｒ２，Ｇ２，Ｂ２と線形補正色信号Ｒ１，Ｇ１，Ｂ１の色の組成比（色相）が同一であることを表している。
【００８４】
さらに、（式１０）と（式１１）から、輝度信号に対する信号強度（彩度）が同一であることを表している。すなわち、線形特性から非線形特性への変換の際に、線形色信号Ｒ０，Ｇ０，Ｂ０が有していた色再現性が保持されていることを示している。
【００８５】
こうして生成された映像信号Ｒ２，Ｇ２，Ｂ２は、画像出力部１１０に表示される（図７のステップＳ７１８）。
【００８６】
以上説明したように、このように構成された本発明の撮像装置１０によれば、入射光の入力輝度Ｉに応じて非線形に変化する入出力特性を有する画素を複数備えた撮像素子１０２から出力された第１の出力信号Ｓ１を、出力信号線形変換部１０４において、撮像素子１０２が入射光の全入力輝度範囲に亘って線形に変化する第２の出力信号Ｓ２を出力すると仮定したときに、第１の出力信号Ｓ１を、撮像素子１０２が出力すると予測される第２の出力信号Ｓ２に変換して、こうして変換された第２の出力信号Ｓ２に基づいて、色信号生成部１０５において、撮像素子１０２の全ての画素に対する複数色の線形性を有する線形色信号Ｒ０，Ｇ０，Ｂ０（あるいは線形色信号Ｒ０，Ｇ０，Ｂ０が補正された線形補正色信号Ｒ１，Ｇ１，Ｂ１）が生成されて、また、撮像素子１０２の第１の出力信号Ｓ１に基づいて、輝度信号生成部１０７において非線形性を有する輝度信号Ｙ１（あるいは輝度信号Ｙ１が補正された補正輝度信号Ｙ２）が生成されて、こうして生成された線形色信号Ｒ０，Ｇ０，Ｂ０（あるいは線形補正色信号Ｒ１，Ｇ１，Ｂ１）と輝度信号Ｙ１（あるいは補正輝度信号Ｙ２）とが、色輝度合成部１０９において合成されて映像信号Ｒ２，Ｇ２，Ｂ２が生成されるため、明暗の差が大きい被写体を撮影した場合であっても、輝度信号Ｙ１（あるいは補正輝度信号Ｙ２）が有する非線形性によって白飛びや黒潰れがなく、かつ色再現性が高い、適切なカラー画像を生成することができる。
【００８７】
また、本発明の撮像装置１０によれば、色輝度合成部１０９は、色信号生成部１０５で生成された線形色信号Ｒ０，Ｇ０，Ｂ０（あるいは線形補正色信号Ｒ１，Ｇ１，Ｂ１）から、複数色に対応する各線形色信号Ｒ０，Ｇ０，Ｂ０（あるいは各線形補正色信号Ｒ１，Ｇ１，Ｂ１）を所定の比率で加算した値である輝度成分Ｙｃによって正規化して正規化色信号Ｒｃ，Ｇｃ，Ｂｃを生成して、この正規化色信号Ｒｃ，Ｇｃ，Ｂｃと、輝度信号Ｙ１（あるいは補正輝度信号Ｙ２）と、を乗算することによって映像信号Ｒ２，Ｇ２，Ｂ２を生成するため、簡単な演算処理によって、色信号と輝度信号を合成して映像信号を生成することができる。
【００８８】
さらに、本発明の撮像装置１０によれば、色信号生成部１０５は、撮像素子１０２の隣接する複数の画素が出力すると予測される第２の出力信号Ｓ２を線形補間することによって、全ての画素に対する複数色の色信号を生成するため、簡単な演算処理によって、欠落した色信号を補間することができる。
【００８９】
なお、本撮像装置１０を、撮像された画像を車内の乗員が目視して、車両周辺の状況を把握するバックモニタのような監視用途に用いた場合は、画像出力部１１０は表示用モニタを備えた表示部となり、上述の通り、広ダイナミックレンジの輝度情報と、線形特性の撮像素子と同等の色再現性をもつ色情報を保持したままの映像の表示が可能である。
【００９０】
また、本撮像装置１０を、車両周囲の障害物を検出する障害物検出装置や、走行車線を示すレーンマーカの位置を検出して車線の逸脱を検出するレーンマーカ検出装置のような画像処理システムに用いた場合は、画像出力部１１０は、画像認識用マイコンを備えた画像認識部となり、その場合は、撮像された画像に基づいて様々な対象の検出を行う画像処理が実行される。正しい検出を行うためには、検出対象が存在する領域が白飛びや黒潰れしていないことや、検出対象の色が人間の色覚特性に一致していることが重要な要素となるため、本発明の効果が充分に発揮される。
【００９１】
なお、上記した実施例は、原色系の色フィルタを用いて説明したが、補色系の色フィルタを用いても実現可能である。同様に、人間の色覚特性に基づき輝度と色の関係が少なくとも１つの式で表せる複数の色フィルタを用いて実現することができる。
【００９２】
また、上記した実施例は、全く同一の画像データである出力信号ＲＡＷ０を色信号と輝度信号に分離し、合成する例を示したが、色信号と輝度信号は全く同一の画像データから生成されなくてもよい。例えば、撮像素子側で色信号用と輝度信号用に入出力特性を連続的に切り替えて、撮影を行い、異なる２枚の画像を用いて合成を行ってもよいし、また、撮像範囲がほぼ等しい２つの撮像素子を用いて、色信号用と輝度信号用に２つの異なる入出力特性の画像を取得して、合成を行うことも可能である。
【００９３】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【符号の説明】
【００９４】
１０  撮像装置
１０１  レンズ系
１０２  撮像素子
１０３  信号分離部
１０４  出力信号線形変換部
１０５  色信号生成部
１０６  色信号補正部
１０７  輝度信号生成部
１０８  輝度信号補正部
１０９  色輝度合成部
１１０  画像出力部
【図１】
2013223152.tif 000003
【図２】
2013223152.tif 000004
【図３】
2013223152.tif 000005
【図４】
2013223152.tif 000006
【図５】
2013223152.tif 000007
【図６】
2013223152.tif 000008
【図７】
2013223152.tif 000009
【図８】
2013223152.tif 000010