(57)【要約】【課題】４色フィルタを備えた撮像素子にて撮像した画像を信号処理する固体撮像装置およびその信号処理方法を提供。【解決手段】固体撮像装置10は、４色フィルタを備えた撮像部22で撮像して、赤データ、青データ、第１の緑データおよび第２の緑データを含む各画素データを生成し、各画素データをディジタル信号処理部30で信号処理する際に、色再現域判定部58にて、各画素データの第１および第２の緑データに基づいて、その画素の補間処理で重視する特性が色再現域か解像度かを判定して各画素の画素補間特性を出力し、補間処理部60にて、各画素の画素補間特性に基づいて、色再現域または解像度を重視して各画素データを補間処理することにより、必要に応じて解像度の高い画像を得ることができる。【選択図】図１
2006279389.tif 000002
【特許請求の範囲】
【請求項１】
入射光を色分解し、該色分解した入射光を光電変換して撮像して、各画素の画素データに対応する第１の色成分を示す第１の色データ、第２の色成分を示す第２の色データ、第３の色成分を示す第３の色データおよび第４の色成分を示す第４の色データを生成する撮像手段と、
第１、第２、第３および第４の色データを信号処理する信号処理手段とを含む固体撮像装置において、
前記信号処理手段は、各画素の補間処理で重視する重視特性を、前記画素データに基づいて判定して判定結果を出力する判定手段と、
前記判定結果に応じて各画素の画素補間特性を得て、各画素の第１、第２、第３および第４の色データを前記画素補間特性に基づいて補間処理する補間処理手段とを含むことを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の固体撮像装置において、第１の色成分は赤成分、第２の色成分は青成分、第３の色成分は第１の波長帯域の第１の緑成分、および第４の色成分は第１の緑成分と相関が高い第２の波長帯域の緑色の光のみを透過する第２の緑成分であることを特徴とする固体撮像装置。
【請求項３】
請求項１または２に記載の固体撮像装置において、前記判定手段は、所定の画素の前記重視特性を判定する際、前記所定の画素の第３および第４の色データの差の絶対値を第１の閾値と比較し、その比較結果に応じて、前記絶対値が第１の閾値より大きい場合、前記重視特性を色再現域と判定し、それ以外の場合、前記重視特性を解像度と判定することを特徴とする固体撮像装置。
【請求項４】
請求項３に記載の固体撮像装置において、前記補間処理手段は、前記判定結果に応じた所定の画素の前記画素補間特性が色再現域である場合、前記所定の画素の第１、第２、第３および第４の色データを色再現域用補間フィルタで補間処理し、前記画素補間特性が解像度である場合、前記所定の画素の第１および第２の色データを色再現域用補間フィルタで補間処理して、前記所定の画素の第３および第４の色データを解像度用補間フィルタで補間処理することを特徴とする固体撮像装置。
【請求項５】
請求項１ないし４のいずれかに記載の固体撮像装置において、前記判定手段は、各画素の前記重視特性をそれぞれ各画素の前記画素補間特性として画素単位で示す前記判定結果を出力し、
前記補間処理手段は、所定の画素の第１、第２、第３および第４の色データを補間処理する際に、前記判定結果に応じて前記所定の画素に対応する前記画素補間特性に基づいて補間処理を施すことを特徴とする固体撮像装置。
【請求項６】
請求項１ないし４のいずれかに記載の固体撮像装置において、前記判定手段は、各画素の前記重視特性のうち画像全体として適する重視特性を全画素の前記画素補間特性として画像単位で示す前記判定結果を出力し、
前記補間処理手段は、所定の画素の第１、第２、第３および第４の色データを補間処理する際に、前記判定結果に応じて前記全画素の画素補間特性に基づいて補間処理を施すことを特徴とする固体撮像装置。
【請求項７】
請求項６に記載の固体撮像装置において、前記判定手段は、前記重視特性を色再現域とする第１の画素数、および前記重視特性を解像度とする第２の画素数を第２の閾値と比較して、その結果、第１の画素数から第２の画素数を減じた値が第２の閾値より大きい場合、前記全画素の前記画素補間特性を色再現域とし、それ以外の場合、前記全画素の前記画素補間特性を解像度とすることを特徴とする固体撮像装置。
【請求項８】
入射光を色分解し、該色分解した入射光を光電変換して撮像部にて撮像することにより、各画素の画素データに対応する第１の色成分を示す第１の色データ、第２の色成分を示す第２の色データ、第３の色成分を示す第３の色データおよび第４の色成分を示す第４の色データが生成される場合に、第１、第２、第３および第４の色データを信号処理する信号処理方法において、該方法は、
各画素の補間処理で重視する重視特性を、前記画素データに基づいて判定して判定結果を出力する判定工程と、
前記判定結果に応じて各画素の画素補間特性を得て、各画素の第１、第２、第３および第４の色データを前記画素補間特性に基づいて補間処理する補間処理工程とを含むことを特徴とする信号処理方法。
【請求項９】
請求項８に記載の信号処理方法において、第１の色成分は赤成分、第２の色成分は青成分、第３の色成分は第１の波長帯域の第１の緑成分、および第４の色成分は第１の緑成分と相関が高い第２の波長帯域の緑色の光のみを透過する第２の緑成分であることを特徴とする信号処理方法。
【請求項１０】
請求項８または９に記載の信号処理方法において、前記判定工程は、所定の画素の前記重視特性を判定する際、前記所定の画素の第３および第４の色データの差の絶対値を第１の閾値と比較し、その比較結果に応じて、前記絶対値が第１の閾値より大きい場合、前記重視特性を色再現域と判定し、それ以外の場合、前記重視特性を解像度と判定することを特徴とする信号処理方法。
【請求項１１】
請求項１０に記載の信号処理方法において、前記補間処理工程は、前記判定結果に応じた所定の画素の前記画素補間特性が色再現域である場合、前記所定の画素の第１、第２、第３および第４の色データを色再現域用補間フィルタで補間処理し、前記画素補間特性が解像度である場合、前記所定の画素の第１および第２の色データを色再現域用補間フィルタで補間処理して、前記所定の画素の第３および第４の色データを解像度用補間フィルタで補間処理することを特徴とする信号処理方法。
【請求項１２】
請求項８ないし１１のいずれかに記載の信号処理方法において、前記判定工程は、各画素の前記重視特性をそれぞれ各画素の前記画素補間特性として画素単位で示す前記判定結果を出力し、
前記補間処理工程は、所定の画素の第１、第２、第３および第４の色データを補間処理する際に、前記判定結果に応じて前記所定の画素に対応する前記画素補間特性に基づいて補間処理を施すことを特徴とする信号処理方法。
【請求項１３】
請求項８ないし１１のいずれかに記載の信号処理方法において、前記判定工程は、各画素の前記重視特性のうち画像全体として適する重視特性を全画素の前記画素補間特性として画像単位で示す前記判定結果を出力し、
前記補間処理工程は、所定の画素の第１、第２、第３および第４の色データを補間処理する際に、前記判定結果に応じて前記全画素の画素補間特性に基づいて補間処理を施すことを特徴とする信号処理方法。
【請求項１４】
請求項１３に記載の信号処理方法において、前記判定工程は、前記重視特性を色再現域とする第１の画素数および前記重視特性を解像度とする第２の画素数を第２の閾値と比較して、その結果、第１の画素数から第２の画素数を減じた値が第２の閾値より大きい場合、前記全画素の前記画素補間特性を色再現域とし、それ以外の場合、前記全画素の前記画素補間特性を解像度とすることを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、４色フィルタを備えた撮像素子にて撮像した画像を信号処理する固体撮像装置およびその信号処理方法に関するものである
【背景技術】
【０００２】
従来から、固体撮像装置は、撮像素子のカラーフィルタを４色にして、より広い色再現性を有する画像を生成し、ルータ特性を満足しようとするものがある。このような撮像素子では、たとえば、三原色RGBを透過するフィルタの他に、赤フィルタの負の特性を有する第２の緑フィルタ、たとえばエメラルドグリーンの色のフィルタを有するものがある。
【０００３】
たとえば、特許文献１に記載の画像処理装置では、４色フィルタとして、赤の光のみを透過するRフィルタ、青の光のみを透過するBフィルタ、第１の波長帯域の緑色の光のみを透過するG1フィルタ、およびG1フィルタと相関が高い、第２の波長帯域の緑色の光のみを透過するG2フィルタを最小の画素単位として構成し、これらのフィルタを透過した入射光に基づいて、画像センサが４種類の信号を生成し、これら４種類の信号に基づいて信号処理を施すことによりRGB信号を生成するものである。
【０００４】
【特許文献１】特開2003-284084号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の画像処理装置のように、４色フィルタを備えた撮像素子を用いる場合、撮像した画像の色再現性は向上するが、三原色の一つを示す緑フィルタを介して得られる信号が半減するために、解像度の低い画像が得られてしまう。
【０００６】
本発明はこのような従来技術の欠点を解消し、４色フィルタを備えた撮像素子を用いる場合でも、得られる画像の解像度を低下することなく、高解像度の輝度信号が得られる固体撮像装置およびその信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば、入射光を色分解し、この色分解した入射光を光電変換して撮像して、各画素の画素データに対応する第１の色成分を示す第１の色データ、第２の色成分を示す第２の色データ、第３の色成分を示す第３の色データおよび第４の色成分を示す第４の色データを生成する撮像手段と、第１、第２、第３および第４の色データを信号処理する信号処理手段とを含む固体撮像装置において、この信号処理手段は、各画素の補間処理で重視する重視特性を、この画素データに基づいて判定して判定結果を出力する判定手段と、この判定結果に応じて各画素の画素補間特性を得て、各画素の第１、第２、第３および第４の色データをこの画素補間特性に基づいて補間処理する補間処理手段とを含むことを特徴とする。
【０００８】
また、入射光を色分解し、この色分解した入射光を光電変換して撮像部にて撮像することにより、各画素の画素データに対応する第１の色成分を示す第１の色データ、第２の色成分を示す第２の色データ、第３の色成分を示す第３の色データおよび第４の色成分を示す第４の色データが生成される場合に、第１、第２、第３および第４の色データを信号処理する信号処理方法は、各画素の補間処理で重視する重視特性を、この画素データに基づいて判定して判定結果を出力する判定工程と、この判定結果に応じて各画素の画素補間特性を得て、各画素の第１、第２、第３および第４の色データをこの画素補間特性に基づいて補間処理する補間処理工程とを含むことを特徴とする。
【発明の効果】
【０００９】
このように本発明の固体撮像装置によれば、各画素の第１および第２の緑データに基づいて、その画素の補間処理が色再現域または解像度のどちらを重視すべきかを判定して、その判定結果に基づいて補間処理を行うことにより、必要に応じてより解像度の高い画像を得ることができる。
【発明を実施するための最良の形態】
【００１０】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１１】
実施例の固体撮像装置10は、図１に示すように、被写界からの入射光を光学系12において取り込み、操作部14を操作することによりシステム制御部16、光学系駆動部18および撮像駆動部20で各部を制御して、４色フィルタを備えた撮像部22でこの被写界像を撮像するもので、撮像した色再現性の高い画像をアナログ信号処理部24およびアナログ・ディジタル（Analog/Digital：A/D）変換器26で処理してディジタル画像信号を生成し、データバス42に接続されたメモリ28、ディジタル信号処理部30、圧縮伸長処理部32、積算部34、記録部36および表示部38にてこのディジタル画像信号を処理する装置である。なお、本発明の理解に直接関係のない部分は、図示を省略し、冗長な説明を避ける。
【００１２】
光学系12は、具体的な構成を図示しないが、レンズ、絞り調整機構、シャッタ機構、ズーム機構、自動焦点（Automatic Focus :AF）調整機構および自動露出（Automatic Exposure :AE）調整機構などを含むもので、赤外線（Infrared Rays：IR）カットフィルタや光学ローパスフィルタ（Low Pass Filter：LPF）を含んでもよい。
【００１３】
本実施例の光学系12は、光学系駆動部18からの駆動信号112に応じて制御されて、レンズ、絞り調節機構およびズーム機構が駆動して、所望の被写界像を取り込んで撮像部22に入射する光入射機構である。また、光学系12は、駆動信号112に応じてAE調節機構およびAF調節機構が駆動してもよい。なお、以下の説明において、各信号はその現れる接続線の参照番号で特定する。
【００１４】
操作部14は、操作者の指示を入力する手操作装置であり、操作者の手操作状態、たとえばシャッタボタン（図示せず）のストローク操作に応じて、操作信号102をシステム制御部16に供給する機能を有する。
【００１５】
システム制御部16は、操作部12から供給される操作信号102に応動して、本装置全体の動作を制御、統括する制御機能部で、たとえば、中央演算処理装置（Central Processing Unit：CPU）を有するものでよい。
【００１６】
本実施例のシステム制御部16は、たとえば、操作信号102に応じて生成した制御信号104、106および108を、光学系駆動部18、撮像駆動部20およびアナログ信号処理部24にそれぞれ供給して制御するもので、また、生成した制御信号110を制御バス40に供給して、この制御バス40に接続された各部を制御する。
【００１７】
撮像部22は、具体的な構成は図示しないが、撮影画像の１画面を形成する撮像面を含み、光学系12を介してその撮像面に結像される被写界像を、撮像駆動部20からの駆動信号114に応じてアナログ電気信号116に光電変換する機能を有する。本実施例の撮像部22は、たとえば、電荷結合素子（Charge Coupled Device：CCD）や金属酸化膜型半導体（Metal Oxide Semiconductor：MOS）等のいずれのイメージセンサでもよい。
【００１８】
撮像部22における撮像面は、複数の感光部が配置されて形成され、各感光部は、色フィルタを備えて入射光を色分解し、その入射光を電気信号に光電変換するフォトダイオードなどの光センサを含んで形成される。本実施例において、複数の感光部は、三原色の一つを示す赤の光のみを透過する赤フィルタを備えた赤感光部、三原色の一つを示す青の光のみを透過する青フィルタを備えた青感光部、第１の波長帯域の緑色の光のみを透過する第１の緑フィルタを備えた第１の緑感光部、および第１の緑フィルタと相関が高い第２の波長帯域の緑色の光のみを透過する第２の緑フィルタを備えた第２の緑感光部を含む。たとえば、第１の緑フィルタは、三原色の一つを示す緑色の光のみを透過するもので、第２の緑フィルタは、赤フィルタの負の特性を有するエメラルドグリーンの色の光のみを通過するものでよい。
【００１９】
撮像部22は、赤感光部、青感光部、第１の緑感光部および第２の緑感光部に基づいて一つの画素を構成しようとするもので、赤感光部、青感光部、第１の緑感光部および第２の緑感光部のそれぞれから赤データ、青データ、第１の緑データおよび第２の緑データを生成し、これらの色データに基づいて一つの画素データを得ようとするものである。また、撮像部22は、複数の画素データを得るために、赤感光部、青感光部、第１の緑感光部および第２の緑感光部をそれぞれ複数個有して複数の色データを生成するものでよい。
【００２０】
また、本実施例において、複数の感光部は、図示しないが、第１の緑感光部か第２の緑感光部かを問わず緑感光部とするとき、行方向および列方向にそれぞれ一定ピッチで正方行列的に配列され、緑感光部がストライプ状に配列され、これらの間に赤感光部および青感光部が市松模様状に配列された、いわゆるGストライプRB完全市松のパターン、行方向および列方向に１つおきに位置をずらして配列するハニカム配列を用いて、緑感光部が正方格子状に配され、さらに緑感光部を挟んで対角位置に赤感光部または青感光部が配される完全市松に配する、いわゆるハニカム型G正方格子RB完全市松パターン、または、緑感光部が市松模様に配置されて、赤感光部および青感光部の上下左右を緑感光部で囲まれ、行列の各行および各列は、緑感光部と赤感光部および青感光部のいずれかを含むように配列される、ベイヤ（Bayer）パターンなどの配列パターンで配列されてよい。ここで、緑感光部が第１の緑感光部か第２の緑感光部かを考慮する場合、所定の画素において第１の緑感光部が赤感光部に対応し、かつ第２の緑感光部が青感光部に対応するように配列されてよく、または、第１の緑感光部が青感光部に対応し、かつ第２の緑感光部が赤感光部に対応するように配列されてもよい。
【００２１】
アナログ信号処理部24は、システム制御部16からの制御信号108に制御されて、撮像部22からのアナログ電気信号116にアナログ信号処理を施す機能を有し、たとえば、相関二重サンプリング回路（Correlated Double Sampling：CDS）およびゲインコントロールアンプ（Gain Controlled Amplifier：GCA）などの回路によってアナログ信号処理を実行し、その結果、アナログ画像信号118を生成して出力するものでよい。
【００２２】
A/D変換器26は、アナログ信号処理部24からのアナログ画像信号118にアナログ・ディジタル変換処理を施してディジタル画像信号120を生成し、データバス42を介して各部に供給する。本実施例のA/D変換器26は、生成したディジタル画像信号120を、撮影準備時には、積算部34に供給し、本撮影時には、ディジタル信号処理部30に供給するが、撮影の種別に関わらずメモリ28に供給して記憶してもよい。
【００２３】
メモリ28は、データバス42に接続された各部で処理されたディジタル画像信号122を、データバス42を介して入力して一時蓄積する記憶装置である。
【００２４】
本実施例のディジタル信号処理部30は、制御バス40を介してシステム制御部16に制御されて、データバス42を介してA/D変換器26から入力したディジタル画像信号124にディジタル信号処理を施すもので、その結果のディジタル画像信号124を、データバス42を介してメモリ28または圧縮伸長処理部32に供給してよい。
【００２５】
本実施例において、ディジタル信号処理部30は、図２に示すように、ディジタル画像信号124を入力して、オフセット補正処理部52、ホワイトバランス（White Balance：WB）補正処理部54および垂直方向同時化処理部56で処理した後、色再現域判定部58で広い色再現域が必要か否かを判定し、この判定結果に応じた補間処理を補間処理部60で行い、その後、リニアマトリクス（Linear Matrix：LMTX）処理部62、ガンマ（γ）補正処理部64およびYC変換部66などで処理するものである。
【００２６】
オフセット補正処理部52は、入力のディジタル画像信号124に対して基準電圧レベルからのずれを補正し、その結果のディジタル画像信号140を出力するもので、WB補正処理部54は、ディジタル画像信号140をWB補正処理し、その結果のディジタル画像信号142を出力するものである。
【００２７】
垂直方向同時化処理部56は、WB補正されたディジタル画像信号142を、色データごとに同時化して、その結果、各画素の赤データ144、第１の緑データ146、第２の緑データ148および青データ150を色再現域判定部58に出力する。
【００２８】
色再現域判定部58は、所定の画素の補間処理が、色再現域または解像度のどちらの特性を重視してされるべきかを画素単位で判定するもので、所定の画素における補間処理の重視特性を第１の緑データ146および第２の緑データ148に応じて判定し、他方、赤データ144、第１の緑データ146、第２の緑データ148および青データ150を、そのまま補間処理部60に出力してよい。
【００２９】
本実施例の色再現域判定部58は、所定の画素を判定する際に、図３に示すように、比較部68でその画素の第１の緑データ146および第２の緑データ148を所定の閾値178と比較し、この比較結果に基づいて解像度または色再現域を重視特性として判定し、各画素の重視特性をそれぞれ各画素の画素補間特性として画素単位で示す判定結果152を出力する。
【００３０】
たとえば、色再現域判定部58は、比較部68における比較の結果、第１の緑データ144および第２の緑データ146の差の絶対値が所定の閾値178より大きい場合には色再現域を重視特性として判定し、それ以外の場合には解像度を重視特性として判定して、このように判定された重視特性をその画素の画素補間特性として示す判定結果152を出力する。
【００３１】
この比較部68における比較を概念化すると、図４に示すように、第１の緑データ146と第２の緑データ148との関係を示したグラフにおいて、所定の閾値178は線180および182の間の範囲で示される。色再現域判定部58は、所定の画素における第１の緑データ146に対する第２の緑データ148が、線180および182の間にある場合にはその画素の重視特性を解像度と判定し、それ以外の場合には色再現域と判定する。
【００３２】
補間処理部60は、色再現域判定部58からの判定結果152に応じて、各画素の画素補間特性を得て、画素補間特性が示す色再現域または解像度を重視して各画素を補間処理するもので、たとえば、所定の画素における赤データ144、第１の緑データ146、第２の緑データ148および青データ150を補間処理して、その結果の赤データ154、第１の緑データ156、第２の緑データ158および青データ160をLMTX処理部62に出力する。
【００３３】
本実施例の補間処理部60は、判定結果152に応じて、所定の画素の画素補間特性が色再現域を示す場合、図５に示すような色再現域重視用の補間フィルタ70でその画素の色データの補間処理を行い、解像度を示す場合、赤データ146および青データ150に対しては、色再現域重視用で用いた補間フィルタ70で補間処理を行い、第１の緑データ146および第２の緑データ148に対しては、図６に示すように、補間フィルタ70よりもLPFの帯域が広い解像度重視用の補間フィルタ72で補間処理を行う。
【００３４】
補間フィルタ70および72は、図５および図６に示されるように、値０、１、２および４が示されているが、実際には、この値を1/4にした補間フィルタを用いてよい。
【００３５】
LMTX処理部62は、各画素の４色の色データにマトリクス演算を施して色再現性を高めて色補正をして３色の色データを生成するものである。たとえば、本実施例のLMTX処理部62は、所定の画素における赤データ154、第１の緑データ156、第２の緑データ158および青データ160に対して、（３×４の行列）からなる所定のマトリクス係数に基づくマトリクス演算を施し、赤データ162、緑データ164および青データ166を生成してγ補正処理部64に出力する。
【００３６】
γ補正処理部64は、撮像部22の階調特性に応じて各画素の赤データ162、緑データ164および青データ166をγ補正し、その結果の赤データ168、緑データ170および青データ172をYC変換部66に出力するものである。
【００３７】
YC変換部66は、三原色RGBで示される各画素の赤データ168、緑データ170および青データ172を、輝度（Y）データ174および色差（Cr、Cb）データ176に変換するものである。
【００３８】
本実施例のディジタル信号処理部30は、YC変換部66の結果の輝度データ174および色差データ176をディジタル画像信号124としてデータバス42を介して圧縮伸長処理部32に供給してよい。
【００３９】
圧縮伸長処理部32は、ディジタル信号処理部30からデータバス42を介してディジタル画像信号126を入力し、圧縮処理してデータバス42を介して記録部36に供給する機能と、記録部36からデータバス42を介してディジタル画像信号126を入力し、伸長処理してデータバス42を介してメモリ28に供給する機能を有する。
【００４０】
積算部34は、AE調整または自動WB調整のための評価値を算出する機能を有し、本実地例では、A/D変換器26からデータバス42を介して入力したディジタル画像信号128に基づいて評価値を算出するものでよい。
【００４１】
記録部36は、圧縮伸長処理部32などからデータバス42を介して入力したディジタル画像信号130を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。
【００４２】
表示部38は、ディジタル信号処理部30などからデータバス42を介して入力したディジタル画像信号132に基づいて画像表示する機能を有し、たとえば、液晶表示（Liquid Crystal Display: LCD）パネルなどが用いられる。
【００４３】
次に、この実施例の固体撮像装置10において、ディジタル信号処理部30における動作を、図７のフローチャートを参照しながら説明する。ここでは、まず、本装置10での撮像によりA/D変換器26でアナログ・ディジタル変換されたディジタル画像信号120が、データバス42を介してディジタル画像信号124としてディジタル信号処理部30に供給される。
【００４４】
ディジタル信号処理部30において、ディジタル画像信号124は、オフセット補正処理部52、WB補正処理部54および垂直方向同時化処理部56で処理されて、その結果、各画素の赤データ144、第１の緑データ146、第２の緑データ148および青データ150が色再現域判定部58に供給される。
【００４５】
色再現域判定部58では、各画素の重視特性が判定され、たとえば、所定の画素に対する判定が開始すると（S202）、まず比較部68において、その画素の第１の緑データ144および第２の緑データ146の差の絶対値が、所定の閾値178と比較される（S204）。その結果、この絶対値が所定の閾値178より大きい場合、その画素の重視特性が色再現域と判定されてステップS206に進み、それ以外の場合、解像度と判定されてステップS208に進む。
【００４６】
ステップS206では、ステップS204で判定した画素の画素補間特性が色再現域を示すようにフラグを０に設定し、ステップS208では、解像度を示すようにフラグを１に設定する。
【００４７】
このようにして、所定の画素の判定が終了し（S210）、全画素の画素補間特性を示すフラグが判定結果152として補間処理部60に出力される。
【００４８】
次に、補間処理部60では、判定結果152に基づいて、各画素の赤データ144、第１の緑データ146、第２の緑データ148および青データ150が補間処理される。このとき、判定結果152において所定の画素の画素補間特性を示すフラグが０を示す場合、その画素の各色データは、色再現域重視の補間フィルタ70で補間処理される。他方、その画素の画素補間特性を示すフラグが１を示す場合、その画素の赤データ144および青データ150は、色再現域重視の補間フィルタ70で補間処理されるが、第１の緑データ146および第２の緑データ148は、解像度重視の補間フィルタ72で補間処理される。
【００４９】
このように補間処理された各画素の赤データ154、第１の緑データ156、第２の緑データ158および青データ160は、LMTX処理部62で処理されて３色の色データが生成され、その後、γ補正処理部64およびYC変換部66で処理されて信号処理が終了する。
【００５０】
このようにして、ディジタル信号処理部30で信号処理されたディジタル画像信号124は、データバス42を介してメモリ28や圧縮伸長処理部32に供給される。
【００５１】
他の実施例として、固体撮像装置10は、図８に示すように、所定の画素の補間処理が、色再現域または解像度のどちらの特性を重視してされるべきかを画像単位で判定する色再現域判定部80を有し、補間処理部82が、色再現域判定部80の画像単位での判定結果310に応じて補間処理を施すものである。
【００５２】
この実施例において、色再現域判定部80は、図８に示すように、積算部34に含まれて、撮影準備などのときに、A/D変換器26からデータバス42を介して入力したディジタル画像信号128に基づいて判定を行う。また、色再現域判定部80は、ディジタル信号処理部30に含まれてもよく、独立して直接、データバス42に接続されてもよい。
【００５３】
色再現域判定部80は、所定の画素に適した重視特性を１画像の全画素に対して順次判定し、その結果、各画素の重視特性のうち画像全体として適する重視特性を全画素の画素補間特性として示す判定結果310を補間処理部82に出力する。
【００５４】
たとえば、色再現域判定部80は、各画素における第１の緑データ146および第２の緑データ148の差の絶対値を第１の閾値と比較し、この絶対値が第１の閾値より大きい場合の画素数、すなわち重視特性が色再現域である画素数と、それ以外の場合の画素数、すなわち重視特性が解像度である画素数とを得る。さらに、これらの画素数の差を第２の閾値と比較し、第２の閾値より大きい場合、全画素の画素補間特性として色再現域を示す判定結果310を、それ以外の場合、解像度を示す判定結果310を出力する。この第２の閾値は、第１の緑フィルタと第２の緑フィルタとの分光強度の違いに応じて決めるものでよい。
【００５５】
この比較を概念化すると、図９に示すように、第１の緑データ146と第２の緑データ148との関係を示したグラフにおいて、第１の閾値312は線314および316の間の範囲で示される。色再現域判定部80は、第１の緑データ146に対する第２の緑データ148が、線314および316の間にある数と、それ以外の数との差を第２の閾値318と比較し、その比較結果に応じてその画像の画素補間特性を解像度または色再現域と判定して判定結果310を出力する。
【００５６】
また、補間処理部82は、色再現域判定部80からの画像単位での判定結果310に応じて、色再現域または解像度を重視して各画素を補間処理するもので、判定結果310が画素補間特性として色再現域を示す場合には色再現域重視用の補間フィルタ70を用いて、解像度を示す場合には解像度重視用の補間フィルタ72を用いて、各画素の赤データ144、第１の緑データ146、第２の緑データ148および青データ150をそれぞれ補間処理して、赤データ302、第１の緑データ304、第２の緑データ306および青データ308を生成し、γ補正処理部64に出力する。
【００５７】
次に、この実施例の固体撮像装置10において、積算部34における動作を、図10のフローチャートを参照しながら説明する。ここでは、まず、本装置10での撮像によりA/D変換器26でアナログ・ディジタル変換されたディジタル画像信号120が、データバス42を介してディジタル画像信号128として積算部34に供給される。
【００５８】
積算部34において、ディジタル画像信号124は、その色データが積算されることによりAE調整または自動WB調整のための評価値が算出されるが、また、色再現域判定部80にも供給される。
【００５９】
色再現域判定部58では、画像単位で適した重視特性の判定が開始し（S352）、まず、１画像において重視特性が色再現域である画素数および解像度である画素数を、それぞれ数えるカウンタeおよびgをリセットして０にする（S354）。
【００６０】
次に、１画像における全画素に対して、順次重視特性判定が行われ、まず、全画素の重視特性判定が終了したか否かを確認する（S356）。ここで、まだ重視特性判定する画素がある場合には、ステップS358に進み、他方、全画素の重視特性判定が終了している場合、ステップS366に進む。
【００６１】
ステップS358では、重視特性判定をする画素の第１の緑データ146および第２の緑データ148の差の絶対値から比較値D1を算出し、たとえば、第１の緑データ146および第２の緑データ148をそれぞれG1およびG2とするとき、数式D1=|G1-G2|で比較値D1を算出する。
【００６２】
次に、ステップS360に進み、比較値D1が第１の閾値TH1と比較され、比較値D1が第１の閾値TH1より大きい場合、その画素の重視特性が色再現域であると判定してステップS362に進み、それ以外の場合、解像度であると判定してステップS364に進む。
【００６３】
ステップS362では、重視特性が色再現域である画素数のカウンタeにその画素をカウントして１を加え、ステップS364では、重視特性が解像度である画素数のカウンタgにその画素をカウントして１を加える。
【００６４】
ステップS362およびS364での処理が終了すると、再び、ステップS356に戻り、このようにして、全画素について重視特性の判定が繰り返される。
【００６５】
また、ステップS366では、重視特性が色再現域および解像度である画素数のそれぞれのカウンタeおよびgが、第２の閾値TH2と比較され、たとえば比較値D2がD2=e-gで算出されるとき、比較値D2が第２の閾値TH2より大きい場合、その画像の全画素の画素補間特性が色再現域であると判定してステップS368に進み、それ以外の場合、解像度であると判定してステップS370に進む。
【００６６】
ステップS368では、ステップS366で判定した画像の画素補間特性が色再現域であることを示すように、判定結果310としてフラグを０にし、ステップS370では、解像度を示すように、フラグを１にする。
【００６７】
このようにして、その画像に適した重視特性の判定が終了し（S372）、判定結果310が補間処理部80に出力される。
【００６８】
ところで、補間処理部80では、判定結果310に基づいて、各画素の赤データ144、第１の緑データ146、第２の緑データ148および青データ150が補間処理される。このとき、判定結果310としてフラグが０を示す場合、１画像における全画素の各色データは、色再現域重視の補間フィルタ70で補間処理される。他方、判定結果310のフラグが１を示す場合、１画像における全画素について、赤データ144および青データ150は、色再現域重視の補間フィルタ70で補間処理されるが、第１の緑データ146および第２の緑データ148は、解像度重視の補間フィルタ72で補間処理される。
【００６９】
また、補間処理部80においてこのように補間処理された各画素の赤データ302、第１の緑データ304、第２の緑データ306および青データ308は、LMTX処理部62で処理されて３色の色データが生成され、その後、γ補正処理部64およびYC変換部66で処理されて信号処理が終了する。
【００７０】
また、本実施例の固体撮像装置10では、補間処理における重視特性を画素単位または画像単位で判定したが、たとえば、１画像を複数のブロックに分割し、各ブロック内の複数の画素を重視特性を判定することによって、ブロックごとに重視特性を判定してもよい。
【図面の簡単な説明】
【００７１】
【図１】本発明に係る固体撮像装置の一実施例を示すブロック図である。
【図２】図１に示す実施例の固体撮像装置が有する信号処理部について詳細に示すブロック図である。
【図３】図２に示す信号処理部が有する色再現域判定部について詳細に示すブロック図である。
【図４】図３に示す色再現域判定部における第１および第２の緑データの比較を概念的に示したグラフである。
【図５】図２に示す信号処理部が有する補間処理部で用いられる色再現域重視用の補間フィルタの例図である。
【図６】図２に示す信号処理部が有する補間処理部で用いられる解像度重視用の補間フィルタの例図である。
【図７】図１に示す実施例の固体撮像装置が有する信号処理部の動作を示すフローチャートである。
【図８】本発明に係る固体撮像装置が有する信号処理部の他の実施例を示すブロック図である。
【図９】図８に示す信号処理部が有する色再現域判定部における第１および第２の緑データの比較を概念的に示したグラフである。
【図１０】図９に示す色再現域判定部の動作を示すフローチャートである。
【符号の説明】
【００７２】
10  固体撮像装置
12  光学系
14  操作部
16  システム制御部
18  光学系駆動部
20  撮像駆動部
22  撮像部
24  アナログ信号処理部
26  A/D変換器
28  メモリ
30  ディジタル信号処理部
32  圧縮伸長処理部
34  積算部
36  記録部
38  表示部
40  制御バス
42  データバス
【図１】
2006279389.tif 000003
【図２】
2006279389.tif 000004
【図３】
2006279389.tif 000005
【図４】
2006279389.tif 000006
【図５】
2006279389.tif 000007
【図６】
2006279389.tif 000008
【図７】
2006279389.tif 000009
【図８】
2006279389.tif 000010
【図９】
2006279389.tif 000011
【図１０】
2006279389.tif 000012