(57)【要約】【課題】撮像装置の画素を微細化しても、信号電荷量および色解像度を確保し、再現帯域のバランスがよい画像を得ることができる固体撮像装置およびその信号処理方法を提供。【解決手段】色フィルタ４０は、４種類、すなわち緑色（Ｇ），  白色（Ｗ），  赤色（Ｒ），  青色（Ｂ）の色フィルタセグメントにおいて、緑色を中心に上下左右に輝度信号として用いる白色を最も多く配し、輝度信号として得られる信号電荷量を確保し、緑色に対して対角の四隅に赤色および青色を完全市松パターンに配して、白色の空間周波数を正方形を斜め４５°回転した形状に形成し、この形状の中に緑色を正方形状に形成し、さらにこの正方形内に赤色および青色の撮像データが回転形状と同じ形状に形成する関係で撮像データを生成している。【選択図】        図１
2004304706.tif 000002
【特許請求の範囲】
【請求項１】
被写界からの入射光を分光感度特性の異なる色フィルタセグメントによって形成された色フィルタ手段に入射させ、前記色フィルタセグメントを透過した光を電気信号に変換する受光素子が２次元アレイ状に配設され、該２次元アレイ状の受光素子それぞれから得られた電気信号を撮像信号として信号処理を施す信号処理手段を介して画像信号を生成する固体撮像装置において、
前記色フィルタ手段は、前記入射光を透過する領域として第１から第４の色フィルタセグメントを用い、第１の色フィルタセグメントに対する上下左右の位置に第２の色フィルタセグメントが配され、第１の色フィルタセグメントに対する２つの対角に位置する色フィルタセグメントをそれぞれ同色にして、前記２つの対角のうち、一方の対角に第３および第４の色フィルタセグメントのいずれかが配設され、他方の対角に前記一方の対角において色選択されていない色フィルタセグメントが配設されることを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の装置において、前記色フィルタ手段は、それぞれ、前記分光感度特性のピークが緑色にある第１の色フィルタセグメント、前記入射光をすべて透過する第２の色フィルタセグメント、前記ピークが赤色にある第３の色フィルタセグメントおよび前記ピークが青色にある第４の色フィルタセグメントを含むことを特徴とする固体撮像装置。
【請求項３】
被写界からの入射光を分光感度特性の異なる色フィルタセグメントによって形成された色フィルタ手段に入射させ、前記色フィルタセグメントを透過した光を電気信号に変換する受光素子が２次元アレイ状に配設され、該２次元アレイ状の受光素子それぞれから得られた電気信号を撮像信号として信号処理を施す信号処理手段を介して画像信号を生成する固体撮像装置において、
前記色フィルタ手段は、前記入射光を透過する領域として第１から第４の色フィルタセグメントを用い、第１の色フィルタセグメントに対する上下左右の位置に第２の色フィルタセグメントが配され、第１の色フィルタセグメントに対する２つの対角に位置する色フィルタセグメントをそれぞれ同色にして、前記２つの対角のうち、一方の対角に第３および第４の色フィルタセグメントのいずれかが配設され、他方の対角に前記一方の対角において色選択されていない色フィルタセグメントが配設され、
前記信号処理手段は、第１から第４の色フィルタセグメントを介して得られた撮像信号のディジタル化により撮像データにして、前記受光素子すべての位置における４種類の色それぞれの撮像データを用いて、第１から第４の色フィルタセグメントのそれぞれが有する前記分光感度特性に応じて４種類の色のうち、欠如している色属性の画素データを補間して生成する補間手段を含むことを特徴とする固体撮像装置。
【請求項４】
請求項３に記載の装置において、前記色フィルタ手段は、それぞれ、前記分光感度特性のピークが緑色にある第１の色フィルタセグメント、前記入射光をすべて透過する第２の色フィルタセグメント、前記ピークが赤色にある第３の色フィルタセグメントおよび前記ピークが青色にある第４の色フィルタセグメントを含むことを特徴とする固体撮像装置。
【請求項５】
請求項３または４に記載の装置において、前記補間手段は、前記色フィルタ手段の配列を考慮して、該色フィルタ手段の色パターンに応じて得られる前記撮像データを用いた欠如している色属性の生成において、前記白色に対して第１の基本単位に第１の基本単位内の各画素の位置に応じて所定の係数を乗算して前記白色の画素データを補間する第１の２次元フィルタ手段と、
前記緑色に対して第１の基本単位に第１の基本単位内の各画素の位置に応じて所定の係数を乗算して前記緑色の画素データを補間する第２の２次元フィルタ手段と、
前記赤色および前記青色のそれぞれに対して第２の基本単位に第２の基本単位内の各画素の位置に応じて所定の係数を乗算して前記赤色および前記青色のそれぞれの画素データを補間する第３の２次元フィルタ手段とを含む固体撮像装置。
【請求項６】
請求項３、４または５に記載の装置において、第１の基本単位は、９画素であり、第２の基本単位は２５画素であることを特徴とする固体撮像装置。
【請求項７】
請求項６に記載の方法において、第１の２次元フィルタ手段は、第１の基本単位において各位置に対して割り当てる前記所定の係数のうち、第１の基本単位の中心を最も大きい係数に、該中心の上下左右に位置する係数を前記中心の係数に対してほぼ４分の１の係数に、該中心の対角に位置する係数を最も小さい係数に設定し、
第２の２次元フィルタ手段は、第１の基本単位において各位置に対して割り当てる前記所定の係数のうち、第１の基本単位の中心を最も大きい係数に、該中心の上下左右に位置する係数を前記中心の係数に対してほぼ半値の係数に、該中心の対角に位置する係数をほぼ４分の１の係数に設定し、
第３の２次元フィルタ手段は、第２の基本単位において各位置に対して割り当てる前記所定の係数のうち、第２の基本単位の中心を最も大きい係数に、該中心を囲む周辺位置の係数を前記中心の係数に対してほぼ半値の係数に、該周辺位置のさらに外周に位置する係数を前記中心の対角に位置する係数を最も小さい係数にする以外の位置でほぼ４分の１の係数に設定することを特徴とする固体撮像装置。
【請求項８】
請求項３ないし７のいずれか一項に記載の装置において、該装置は、前記補間により前記生成した撮像データのうち、第１、第３および第４の色の撮像データを基に色信号を生成する色変換手段と、
該色信号と第２の色フィルタセグメントに対応する第２の撮像データを輝度信号として入力し、これらの入力信号に含まれるノイズを抑制するノイズ低減手段とを含むことを特徴とする固体撮像装置。
【請求項９】
被写界からの入射光をそれぞれの分光感度特性に応じて透過させることで色属性を持つ入射光にし、該入射光を電気信号に変換した画素信号として読み出して、該画素信号をディジタル化し、対象の画素データに欠如している色属性を所望の色属性とし、該対象の周囲に位置する前記所望の色属性と同色の画素データを基に補間して該画素データの色属性をすべて得る補間方法において、該方法は、
前記分光感度特性のそれぞれに緑色、白色、赤色および青色の色属性を用い、各色属性の配列が前記緑色を中心に対して前記白色を上下左右に配し、前記緑色に対する２組の対角をそれぞれ、前記赤色の組と前記青色の組とを配したパターンであり、該パターンに応じて得られる画素データを用いて欠如している色属性を生成する場合、前記白色に対する第１の基本単位に前記分光感度特性を考慮した第１の基本単位内の各画素の位置に応じて設定した係数を乗算して前記白色の画素データを補間する第１の工程と、
前記緑色に対する第１の基本単位に前記分光感度特性を考慮した第１の基本単位内の各画素の位置に応じて設定した係数を乗算して前記緑色の画素データを補間する第２の工程と、
前記赤色および前記青色のそれぞれに対する第２の基本単位に前記分光感度特性を考慮した第２の基本単位内の各画素の位置に応じて設定した係数を乗算して前記赤色および前記青色のそれぞれの画素データを補間する第３の工程とを含むことを特徴とする固体撮像装置の補間方法。
【請求項１０】
請求項９に記載の方法において、第１の基本単位は、９画素であり、第２の基本単位は２５画素であることを特徴とする固体撮像装置の補間方法。
【請求項１１】
請求項９または１０に記載の方法において、第１の工程は、第１の基本単位において各位置に対して割り当てる前記所定の係数のうち、第１の基本単位の中心を最も大きい係数に、該中心の上下左右に位置する係数を前記中心の係数に対してほぼ４分の１の係数に、該中心の対角に位置する係数を最も小さい係数に設定して、補間し、
第２の工程は、第１の基本単位において各位置に対して割り当てる前記所定の係数のうち、第１の基本単位の中心を最も大きい係数に、該中心の上下左右に位置する係数を前記中心の係数に対してほぼ半値の係数に、該中心の対角に位置する係数をほぼ４分の１の係数に設定して、補間し、
第３の工程は、第２の基本単位において各位置に対して割り当てる前記所定の係数のうち、第２の基本単位の中心を最も大きい係数に、該中心を囲む周辺位置の係数を前記中心の係数に対してほぼ半値の係数に、該周辺位置のさらに外周に位置する係数を前記中心の対角に位置する係数を最も小さい係数にする以外の位置でほぼ４分の１の係数に設定して、補間することを特徴とする固体撮像装置の補間方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置に関し、とくにディジタルカメラ等の画像入力装置に適用して好適なものであり、また、本発明は固体撮像装置の補間方法に関し、とくに、使用する色属性のうち、実際に得られる色属性の画素データ以外の色属性の画素データを周囲に位置する画素データにより補間して生成する方法である。
【０００２】
【従来の技術】
人間の視覚においてより重要な解像度は、色よりも輝度の解像度である。実際、固体撮像装置には、一般的に輝度解像度を重視した、たとえばベイヤ配列や画素ずらししたＧ正方ＲＢ完全市松という色フィルタ配列および補間処理が行われている。
【０００３】
ところで、近年、固体撮像素子の多画素化が急速に進んでいる。これにより、固体撮像素子は、一般ユーザが使用する上で十分な輝度解像度が得られている。ところで、上述した多画素化にともない固体撮像素子には著しい微細化が行われている。すなわち、一画素の占める感光面積が小さくなることから、固体撮像素子には生成される信号電荷量が十分得られず、ノイズが懸念されている。この懸念の対策としては、感度アップの重視がある。
【０００４】
特開平８−２３５４２号公報に記載の撮像装置は、現状の重視する点を考慮しながら、色再現を保つ撮像装置を提案している（特許文献１を参照）。この撮像装置は、３種類の色フィルタセグメント、透明なフィルタセグメントＹと、色差信号に関わる赤（Ｒ）フィルタセグメントおよび青（Ｂ）フィルタセグメントを隣接させている。また、撮像装置は、同色の色フィルタセグメント同士を水平および垂直方向にそれぞれ３画素間隔でオフセット配置している。この配置以外の色フィルタセグメントは透明なフィルタセグメントＹを使用することになり、この結果、フィルタセグメントが増える。この増加は、感度アップをもたらす。また、上述した２種類の色フィルタセグメントは、配置関係から配置した各方向における色解像度を向上させることが記載されている。
【０００５】
【特許文献１】
特開平８−２３５４２号公報。
【０００６】
【発明が解決しようとする課題】
しかしながら、この提案は、これまでのカラーフィルタの配列に比べて透明なフィルタセグメントＹを増やすことにより、色解像度が低下する。提案された複数の色フィルタ配列は、いずれも色解像度の低下だけでなく、再現帯域のバランスも悪い。このため、この撮像装置では、エリアシングが起きやすい。
【０００７】
本発明はこのような従来技術の欠点を解消し、撮像装置の画素を微細化しても、信号電荷量および色解像度を確保し、再現帯域のバランスがよい画像を得ることができる固体撮像装置およびその信号処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は上述の課題を解決するために、被写界からの入射光を分光感度特性の異なる色フィルタセグメントによって形成された色フィルタ手段に入射させ、色フィルタセグメントを透過した光を電気信号に変換する受光素子が２次元アレイ状に配設され、この２次元アレイ状の受光素子それぞれから得られた電気信号を撮像信号として信号処理を施す信号処理手段を介して画像信号を生成する固体撮像装置において、色フィルタ手段は、入射光を透過する領域として第１から第４の色フィルタセグメントを用い、第１の色フィルタセグメントに対して上下左右の位置に第２の色フィルタセグメントが配され、第１の色フィルタセグメントに対する２つの対角に位置する色フィルタセグメントをそれぞれ同色にして、２つの対角のうち、一方の対角に第３および第４の色フィルタセグメントのいずれかが配設され、他方の対角に一方の対角において色選択されていない色フィルタセグメントが配設されることを特徴とする。
【０００９】
本発明の固体撮像装置は、４種類の色フィルタセグメントの配設にともなって形成されるパターンから、輝度信号として用いる第２の色の画素データが最も多く得られ、輝度信号として得られる信号電荷量を確保し、各色を空間周波数で示すと、第２の色の撮像データにより正方形を斜め４５°回転した回転形状に形成され、この形状の中に第１の色の撮像データが正方形状に形成され、さらにこの正方形内に第３および第４の色の撮像データが回転形状と同じ形状に形成される関係に撮像データを生成して、色解像度および再現帯域のバランスを良好なものにしている。
【００１０】
また、本発明は上述の課題を解決するために、被写界からの入射光を分光感度特性の異なる色フィルタセグメントによって形成された色フィルタ手段に入射させ、色フィルタセグメントを透過した光を電気信号に変換する受光素子が２次元アレイ状に配設され、この２次元アレイ状の受光素子それぞれから得られた電気信号を撮像信号として信号処理を施す信号処理手段を介して画像信号を生成する固体撮像装置において、色フィルタ手段は、入射光を透過する領域として第１から第４の色フィルタセグメントを用い、第１の色フィルタセグメントに対して上下左右の位置に第２の色フィルタセグメントが配され、第１の色フィルタセグメントに対する２つの対角に位置する色フィルタセグメントをそれぞれ同色にして、２つの対角のうち、一方の対角に第３および第４の色フィルタセグメントのいずれかが配設され、他方の対角に前記一方の対角において色選択されていない色フィルタセグメントが配設され、信号処理手段は、第１から第４の色フィルタセグメントを介して得られた撮像信号のディジタル化により撮像データにして、受光素子すべての位置における４種類の色それぞれの撮像データを用いて、第１から第４の色フィルタセグメントのそれぞれが有する分光感度特性に応じて４種類の色のうち、欠如している色属性の画素データを補間して生成する補間手段を含むことを特徴とする。
【００１１】
本発明の固体撮像装置は、４種類の色フィルタセグメントの配設にともなって形成されるパターンから、輝度信号として用いる第２の色の画素データが最も多く得られる配設にして、輝度信号として得られる信号電荷量を確保し、各色を空間周波数で示すと、第２の色の撮像データにより正方形を斜め４５°回転した回転形状に形成され、この形状の中に第１の色の撮像データが正方形状に形成され、さらにこの正方形内に第３および第４の色の撮像データが回転形状と同じ形状に形成される関係に撮像データを生成して、色解像度および再現帯域のバランスを良好なものにし、補間手段で分光感度特性を考慮して補間処理が施されることにより、４色の撮像データのレベルバランスを良好にする。
【００１２】
さらに、本発明は上述の課題を解決するために、被写界からの入射光をそれぞれの分光感度特性に応じて透過させることで色属性を持つ入射光にし、この入射光を電気信号に変換した画素信号として読み出して、この画素信号をディジタル化し、対象の画素データに欠如している色属性を所望の色属性とし、この対象の周囲に位置する所望の色属性と同色の画素データを基に補間してこの画素データの色属性をすべて得る補間方法において、この方法は、分光感度特性のそれぞれに緑色、白色、赤色および青色の色属性を用い、各色属性の配列が緑色を中心に対して白色を上下左右に配し、緑色に対する２組の対角をそれぞれ、赤色の組と青色の組とを配したパターンであり、このパターンに応じて得られる画素データを用いて欠如している色属性を生成する場合、白色に対する第１の基本単位に分光感度特性を考慮した第１の基本単位内の各画素の位置に応じて設定した係数を乗算して白色の画素データを補間する第１の工程と、緑色に対する第１の基本単位に分光感度特性を考慮した第１の基本単位内の各画素の位置に応じて設定した係数を乗算して緑色の画素データを補間する第２の工程と、赤色および青色のそれぞれに対する第２の基本単位に分光感度特性を考慮した第２の基本単位内の各画素の位置に応じて設定した係数を乗算して赤色および青色のそれぞれの画素データを補間する第３の工程とを含むことを特徴とする。
【００１３】
本発明の固体撮像装置の補間方法は、４種類の色フィルタセグメントの配設にともなって形成されるパターンから、輝度信号として用いる第２の色の画素データが最も多く得られる配設にして、輝度信号として得られる信号電荷量を確保し、第１の基本単位内の各位置に設定した係数を補間対象の色、すなわち白色と緑色に応じて割り当てて配列し、第２の基本単位内の各位置において設定した補間対象の色、すなわち赤色と青色に応じて割り当てて配列し、補間対象に該当する画素データにこれらの係数を掛けて補間することにより、分光感度特性にともなう色バランスのずれをならすように補間して同時化処理を行うことができる。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の一実施例を詳細に説明する。
【００１５】
本実施例は、本発明の固体撮像装置をディジタルカメラ１０に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１６】
ディジタルカメラ１０は、図２に示すように、光学系１２、絞り調節機構１４、撮像部１６、前処理部１８、信号処理部２０、システム制御部２２、操作部２４、タイミング信号発生器２６、ドライバ２８、モニタ３０およびストレージ３２を含んでいる。
【００１７】
光学系１２は、絞り調節機構の他に、図示しないがメカニカルシャッタ、光学系レンズ、ズーム機構、およびオートフォーカス（ＡＦ：  Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓ）調節機構を含む。光学系１２は、光学レンズを上述した各種の機構を調整して入射光を撮像部１６に送る機能を有している。
【００１８】
ズーム機構は、図示しないが被写界の画角を調整する。ＡＦ調節機構は、複数の光学レンズの配置を自動的に変位調節して被写体を焦点の合った位置関係に調節する機構である。機構のそれぞれには、上述した位置に光学レンズを移動させるためモータが配設されている。これらの機構は、各モータにドライバ２８からそれぞれ供給される駆動信号３４に応動して動作している。
【００１９】
絞り調節機構１４は、具体的に図示しないが入射光量を調節するＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）調節機構であり、ドライバ２８からの駆動信号３６に応じてリング部を回転させる。リング部は、羽根を部分的に重ならせてアイリスの形状を丸く形成し、入射する光束を通すようにアイリスを形成する。このようにして絞り調節機構はアイリスの口径を変えている。絞り調節機構１４は、メカニカルシャッタをレンズシャッタとして光学系レンズに組み込んでもよい。
【００２０】
メカニカルシャッタは、撮像部１６に撮影のとき以外に光が照射されないように遮光するとともに、露光の開始と終了により露光時間を決める機能を有している。メカニカルシャッタには、たとえば一眼レフカメラで使用されているようなフォーカルプレン式がある。この方式は、シャッタ幕が縦または横に走り、この瞬間にできるスリットで露光を行うものである。また、上述したようにレンズシャッタ式を用いてもよい。メカニカルシャッタは、たとえば絞り調節機構１４内に設けられている場合、ドライバ２８から供給される駆動信号３６に応じてシャッタを開閉させるようにするとよい。
【００２１】
撮像部１６は、光学ローパスフィルタ３８および色フィルタ４０が入射光側に配され、色フィルタセグメントに対応して入射光を光電変換する固体撮像素子４２を備えている。光学ローパスフィルタ３８は、入射光の空間周波数をナイキスト周波数以下にするフィルタである。色フィルタ４０については後段でさらに説明する。固体撮像素子４２は、電荷結合素子（ＣＣＤ：  Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）で蓄積した信号電荷を垂直転送路に読み出すトランスファゲート（ＴＧ：  Ｔｒａｎｓｆｅｒ  Ｇａｔｅ）が配設されている。固体撮像素子４２にもドライバ２８から駆動信号４４が供給されている。駆動信号４４は、固体撮像素子４２の動作モードに応じた水平駆動信号、垂直駆動信号およびＯＦＤ（Ｏｖｅｒ  Ｆｌｏｗ  Ｄｒａｉｎ）信号等である。撮像部１６は、固体撮像素子４２から得られたアナログ電圧信号４６を前処理部１８に出力する。固体撮像素子４２は、ＣＣＤに限定されるものでなく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）でもよい。
【００２２】
ここで、本実施例の色フィルタ４０には、図１に示すように、４色の色フィルタセグメントが配されている。４色の色フィルタセグメントとは、それぞれ赤色Ｒ  （第３の色）、緑色Ｇ（第１の色）、青色Ｂ（第４の色）および白色Ｗ（第２の色）である。ここで、白色  Ｗは、透明なフィルタセグメントを意味している。
【００２３】
これらの色フィルタセグメントによる色パターンは、基本的に、３×３を単位に表す９つの色フィルタセグメントのうち、緑色（Ｇ）の色フィルタセグメントを中心に配し、この緑色（Ｇ）の色フィルタセグメントに対して上下左右に白色（Ｗ）の色フィルタセグメントを配し、さらに緑色（Ｇ）の色フィルタセグメントに対する２組の対角位置に対向する色フィルタセグメントの色を１組ずつ同色にして赤色（Ｒ）と青色（Ｂ）をそれぞれ対応させて配する。これにより、色パターンは、緑色（Ｇ）の色フィルタセグメントに対して赤色（Ｒ）と青色（Ｂ）に着目すると、ＲＢ完全市松パターンになっている。
【００２４】
図１に示した色パターンを有する色フィルタ４０を水平方向および垂直方向の空間周波数の関係を図３に表す。水平方向を示す横軸をｕ、垂直方向を示す縦軸をｖとする。図３（ａ）は、白色（Ｗ）の色フィルタセグメントの配設を空間周波数パターン４８で表したものである。この空間周波数パターン４８は、正方形を４５°回転させた形になる。白色（Ｗ）の色フィルタセグメントは、色パターン４０において最も数多く配され、白色（Ｗ）の色フィルタセグメントからの透過光は、光電変換に利用する波長を限定することなく、光電変換に利用して信号電荷を生成し、輝度信号として使う。多画素化により１画素の生成する信号電荷量が減っても、波長を有効に利用できる色フィルタを数多く用いて、ディジタルカメラ１０は画像における信号電荷量を確保する。これにより、多画素化にともなって画像に表れるノイズを抑制することができる。
【００２５】
緑色（Ｇ）の色フィルタセグメントは、図３（ｂ）の空間周波数パターン５０で表される。緑色（Ｇ）の色フィルタセグメントに着目して見ると、図１からわかるように、緑色（Ｇ）は、正方形の格子位置に対応して配設されている。したがって、空間周波数パターン５０は、空間周波数パターン４８に内接する正方形になる。
【００２６】
また、完全市松パターンを形成する赤色（Ｒ）と青色（Ｂ）の色フィルタセグメントは、図３（ｃ）の空間周波数パターン５２になる。空間周波数パターン５２は、空間周波数パターン４８に相似なパターンで、図１の色パターンからわかるように、各軸と交差する位置での空間周波数は半値になる。
【００２７】
このように色フィルタセグメントを配することにより、色解像度をたとえば、４×４個を１組と考えると、白色（Ｗ）の色フィルタセグメントは、半分の８個であり、ＲＢの色フィルタセグメントは、それぞれ２個ずつ、Ｇの色フィルタセグメントは４個として、色毎に生成される信号電荷量を確保しながら、色解像度および再現帯域のバランスを良好なものにしている。
【００２８】
図２に戻って、前処理部１８には、ノイズ除去に相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：  ＣＤＳ）回路、ゲイン調整アンプ（ＧＣＡ：  Ｇａｉｎ−Ｃｏｎｔｒｏｌｌｅｄ  Ａｍｐｌｉｆｉｅｒ）、およびＡ／Ｄ変換器（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）が含まれている。ＣＤＳ回路には、タイミング信号発生器２６からサンプリング信号としてＣＤＳパルス５４が供給され、Ａ／Ｄ変換器には、変換クロック信号５６が供給されている。前処理部１８は、供給されるアナログ信号４６に対してノイズ除去、波形整形、ディジタル化を行って得られた撮像データのすべてをディジタルデータ（画像データ）５８としてデータバス６０を介して信号処理部２０に出力する。
【００２９】
信号処理部２０は、メモリ制御部６２、メインメモリ６４、ディジタル処理部６６、圧縮伸長処理部６８、ＩＦ（ＩｎｔｅｒＦａｃｅ）部７０および表示制御部７２を含む。  信号処理部２０は、制御バス７４を介してシステム制御部２２から供給される制御信号７６に応じて制御される。メモリ制御部６２は、制御信号７６に応じて画像データ５８をメインメモリ６４に対する書込み／読出しの制御やメインメモリ６４に対するリフレッシュ制御等を行う機能を有する。メインメモリ６４には、たとえばＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリが用いられる。
【００３０】
ディジタル処理部６６は、供給された画像データ５８に対して複数のディジタル処理を施す機能を有する。本実施例におけるディジタル処理部６６は、図４に示すように、オフセット補正回路７８、シェーディング補正回路８０、ゲイン補正回路８２、ガンマ補正回路８４、ＲＧＢＷ補間回路８６、色変換回路８８、ノイズ低減回路９０、輪郭補正回路９２および色差マトリクス（ＭＴＸ：ＭａＴｒｉＸ）回路９４を含んでいる。
【００３１】
オフセット補正回路７８は、画像データ５８に含まれるオフセット分を補正する機能を有し、シェーディング補正回路８０に出力する。シェーディング補正回路８０は、レンズの周辺で生じるシェーディング現象を電気的に補正する機能を有し、画像に現れるシェーディング特性の逆特性を施すことで補正を行う。シェーディング補正回路８０は、補正した画像データをゲイン補正回路８２に出力する。
【００３２】
ゲイン補正回路８２は、供給されるオフセットおよびシェーディング補正済みの画像データに対してゲイン量を補正し、ガンマ補正回路８４に出力する。ガンマ補正回路８４は、非直線性の特性に合わせる補正機能である。ガンマ補正回路８４は、たとえばガンマ補正用のルックアップテーブルを含む。ガンマ補正回路８４は、メインメモリ６４から供給される画像データをルックアップテーブルのデータを用いて変換し、ガンマ補正する。ガンマ補正回路８４は補正した画像データをＲＧＢＷ補間回路８６に送る。
【００３３】
ＲＧＢＷ補間回路８６は、本発明の特徴を備える回路で、赤色（Ｒ），  緑色（Ｇ），  青色（Ｂ）および白色（Ｗ）の４種類の色パターンに供給される画像データに対して各画素の位置にて欠如している色属性の画素データを補間により生成する機能を有している。ＲＧＢＷ補間回路８６は、図５に示す各色毎に２次元フィルタ回路９６，  ９８，  １００を備えている。２次元フィルタ回路９６，  ９８，  １００は、補間に利用する画素数を基本単位に基本単位の中心位置の画素データを算出して、補間する。２次元フィルタ回路９６，  ９８は基本単位が９画素であり、２次元フィルタ回路１００は基本単位が２５画素である。ただし、２次元フィルタ回路９６，  ９８，  １００は、各基本単位において、求める色（属性）以外の色の画素データは０として扱い、補間を行う。
【００３４】
図５（ａ）の２次元フィルタ回路９６は、白色（Ｗ）に対する係数を示している。基本単位を枠とみなし枠内に存在する白色（Ｗ）の画素データに対応する係数を掛けて加算し、中心の位置における白色（Ｗ）の画素データとして補間し、欠如している白色（Ｗ）を生成する。２次元フィルタ回路９６は、図１の色フィルタ４０における色フィルタセグメントの配列パターンにおける白色（Ｗ）が最も多く、かつ図３（ａ）の空間周波数が示すように広い帯域をカバーする分布関係にあることから、基本単位を９画素にしている。さらに、この関係と分光感度特性を考慮して９画素のうち、係数は、中心位置を１、  中心の上下左右の位置を０．２５、中心に対する対角位置を０に設定している。
【００３５】
２次元フィルタ回路９８において図１に示す緑色（Ｇ）の画素数は、数多くはないが、図３（ｂ）に示す空間周波数がカバーする空間周波数の分布および分光感度特性を考慮して、９画素を基本単位にしている。とくに、分光感度特性を考慮して、係数は、中心位置を１、  中心の上下左右の位置を０．５、中心に対する対角位置を０．２５に設定している。図５（ｂ）の２次元フィルタ回路９８は、緑色（Ｇ）に対する係数を示し、基本単位を枠とみなし枠内に存在する緑色（Ｇ）の画素データに対応する係数を掛けて加算し、中心の位置における緑色（Ｇ）の画素データとして補間し、欠如している緑色（Ｇ）を生成する。
【００３６】
また、図５（ｃ）の２次元フィルタ回路１００は、赤色（Ｒ）／青色（Ｂ）に対する係数を示している。基本単位を枠とみなし枠内に存在する赤色（Ｒ）／青色（Ｂ）の画素データに対応する係数を掛けて加算し、中心の位置における赤色（Ｒ）／青色（Ｂ）の画素データとして補間し、欠如している赤色（Ｒ）／青色（Ｂ）のそれぞれを生成する。この２色は、完全市松パターンを形成する位置関係から、空間周波数の分布は狭い。すなわち、２色を含むパターンは広い領域を設定することになる。このことから、基本単位は２５画素としている。２色の分光感度特性も白色（Ｗ）や緑色（Ｇ）に比べて低い。分光感度特性を考慮して、係数は、パターンの中心位置を１、中心の外周に位置する８つに対して０．５、この外周位置の上下左右に対して０．２５、中心に対する最外周の対角位置を０に設定している。
【００３７】
ＲＧＢＷ補間回路８６は、色のパターンおよび感度も考慮に入れて係数を設定した２次元フィルタ回路９６，  ９８，  １００を用い、とくに白色（Ｗ）の感度レベルを緑色（Ｇ）の感度レベルに合わせた２次元フィルタ回路９６を用いることにより、色毎の解像度や再現帯域のバランスを良好なものにして、４色の色パターンにおける同時化を行う。ＲＧＢＷ補間回路８６は、ＲＧＢの三原色の画素データ１０２，  １０４，  １０６を色変換回路８８に送り、白色（Ｗ）の画素データ１０８を輝度信号としてノイズ低減回路９０に出力する。
【００３８】
色変換回路８８は、供給される三原色ＲＧＢの画素データ１０２，  １０４，  １０６を３刺激値として用いて色信号１１０を生成する機能を有する。色変換回路８８は、生成した色信号１１０をノイズ低減回路９０に出力する。
【００３９】
ノイズ低減回路９０は、供給される信号に含まれるノイズ成分を抑制するフィルタ機能を有している。ノイズ低減回路９０は、図示しないが、ローパスフィルタと、メディアンフィルタとを含む。ローパスフィルタは、輝度信号として供給される白色（Ｗ）の画素データ１０８と色信号１１０に対してエリアシングが生じないように広い帯域にわたって信号を通す機能を有する。メディアンフィルタは、画像におけるエッジをぼかすことなく、雑音を減らす機能を有する。ノイズ低減回路９０は、輝度信号１１２を輪郭補正回路９２および色差ＭＴＸ回路９４にそれぞれ出力し、色信号１１４を色差ＭＴＸ回路９４に出力する。
【００４０】
輪郭補正回路９２は、供給される輝度信号１１２に含まれる画像中のエッジ部分を強調するアパーチャ補正機能を有する。輪郭補正回路９２は、輪郭の補正された輝度信号１１６を出力する。色差ＭＴＸ回路９４は、供給される輝度信号と色信号とを基に演算して色差信号１１８を出力する。
【００４１】
図２に戻って、圧縮伸長処理部６８は、静止画や動画（ムービ）モードにおいて供給される画像データ（Ｙ／Ｃ）や色差データ等にＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１，  ＭＰＥＧ−２等の規格でそれぞれ、圧縮処理を施す。圧縮伸長処理部６８は、圧縮処理した画像データをインタフェース（ＩＦ）部７０に供給する。インタフェース部７０は、ストレージ３２のカード記録媒体との書込み／読出しにおける電気的な特性を調整したり、タイミング調整したりする機能を有し、処理された画像データをストレージ３２に出力している。また、圧縮伸長処理部６８は、ストレージ部３２に記録した画像データを読み出し、インタフェース部７０、データバス６０を介して供給される画像データに伸長処理を施す。この伸長処理は、圧縮処理の逆処理である。
【００４２】
表示制御部７２は、ディジタル処理部６６で生成した画像データや再生にともなってストレージ３２から読み出した画像データに伸長処理して得られた画像データ等に対してＲＧＢ変換を行い、このＲＧＢ変換した画像データをモニタ３０が表示可能な画素サイズにする機能を有している。表示制御部７２は、制御バス７４を介して供給される制御信号７６に応じて動作する。画像表示におけるサイズは、間引き処理によって破綻のない画像を生成する。表示制御部７２は、生成した画像データをモニタ３０に供給する。
【００４３】
なお、信号処理部２０は、図示しないが評価値算出部を含めてもよい。評価値算出部は、ＡＥ、ＡＦ、シャッタ速度、ＡＷＢ（Ａｕｔｏｍａｔｉｃ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）および階調補正に用いる積算値を算出する演算機能等を備える。評価値算出部は、算出された積算値をパラメータとしてシステム制御部２２に供給する。また、信号処理部２０には、タイミング信号発生器２６から図示しないタイミング信号が供給されている。
このタイミング信号は、水平同期信号ＨＤ、垂直同期信号ＶＤや各部の動作クロック等を含んでいる。
【００４４】
システム制御部２２は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
システム制御部２２は、図示しないが、シーン判別や所定の係数を格納するＥＥＰＲＯＭや動作手順の指示プログラムを格納するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を含んでいる。システム制御部２２は、たとえば供給される積算値とあらかじめ設定した所定の積算値とを比較し、この比較結果に応じて制御信号１２０，  １２２をそれぞれ、生成してタイミング信号発生器２６およびドライバ２８に出力する。
【００４５】
システム制御部２２は、操作部２４から供給されるモードや操作のトリガを指示する指示信号１２４を受けて、指示信号１２４に応じてディジタルカメラ１０を静止画撮影モード、動画撮影モード、低感度モードおよび高感度モード等に設定し、図示しないレリーズシャッタボタンから撮像タイミングの報知を受けて、積算値に応じた制御信号７６，  １２０，  １２２をそれぞれ、生成する。
【００４６】
操作部２４は、図示しないがモード選択部およびレリーズシャッタボタンを含んでいる。モード選択部は、静止画撮影モードおよび動画撮影モード、ならびに低感度モードおよび高感度モード等のようにいくつかあるモードのうち、いずれのモードにするか選択を行う。モード選択部は、選択したモードを指示信号１２４としてシステム制御部２２に出力する。
【００４７】
レリーズシャッタボタンは、２段階のストロークを有するボタンで、第１段のストロークでディジタルカメラ１０を予備撮像の段階（Ｓ１）にし、第２段のストロークで本撮像の段階（Ｓ２）にするトリガタイミングを指示信号１２４としてシステム制御部２２に出力する。操作部２４には、この他、ズーム選択スイッチおよび十字ボタンを設けてもよく、液晶表示パネルに表示される条件を選択する機能を持たせてもよい。
【００４８】
タイミング信号発生器２６は、タイミング信号の動作周波数を生成する発振器（ＳＧ：  Ｓｉｇｎａｌ  Ｇｅｎｅｒａｔｏｒ）を含む。ＳＧは、制御信号１２０に応じて発振周波数を変える機能を有している。ＳＧは、たとえばとくに水平転送信号の生成において通常に使用する第１周波数とこの周波数の半分程度に低下させた第２周波数を発振するとよい。
【００４９】
また、タイミング信号発生器２６は、基準とするクロック信号（図示せず）を基に各種のタイミング信号を生成する。タイミング信号には、水平転送信号の他、垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、および電子シャッタパルス等がある。また、タイミング信号発生器２４は、ＣＤＳパルス５４および変換クロック信号５６も生成して前処理部１８に供給している。タイミング信号発生器２６は、これら生成した垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、水平転送信号および電子シャッタパルスを含むタイミング信号１２６をドライバ２８に供給している。
【００５０】
ドライバ２８は、供給されるタイミング信号１２６や制御信号１２２を基に駆動信号３４，  ３６，  ４４を生成する駆動回路を有している。ドライバ２８は、制御信号１２２を基に駆動信号３４，  ３６を光学系１２の光学レンズおよび絞り調節機構１４にそれぞれ供給してＡＦ調節やＡＥ調節を行わせる。ドライバ２８は、操作部２４のレリーズシャッタボタンから供給される本撮像のタイミングに応動してメカニカルシャッタの開閉を行う駆動信号３６を絞り調節機構１４に設けたメカニカルシャッタに出力する。
【００５１】
また、ドライバ２８は、タイミング信号１２６を基に生成した駆動信号４４を撮像部１６の固体撮像素子４２に供給し、各受光素子の感光領域に信号電荷を露光期間中に蓄積させ、蓄積した信号電荷を前述した条件に応じた制御により読み出す。ＣＣＤの場合、撮像部１６は、この信号電荷を垂直転送レジスタに読み出して、水平転送レジスタに転送させ、さらに水平転送レジスタ、出力アンプを経てアナログ電圧信号４６を出力している。
【００５２】
モニタ３０は、表示制御部７２を経て供給される画像データを表示する。モニタ３０には、一般的に液晶モニタが用いられる。液晶モニタには、液晶表示コントローラが配設されている。液晶コントローラは、画像データを基に液晶分子の並び方や電圧の印加によりスイッチング制御している。この制御により液晶モニタは、画像を表示する。モニタ３０は、液晶モニタに限定されず、小型、画像の確認および電力の消費が抑えられる表示機器であれば、十分に用いることができることは言うまでもない。
【００５３】
ストレージ３２は、半導体メモリ等を記録媒体として用いて、信号処理部２０から供給される画像データを記録する。記録媒体には、光ディスクや光磁気ディスク等を用いてもよい。ストレージ３２は、各記録媒体に適したピックアップやピックアップと磁気ヘッドを組み合わせて記録再生用ヘッドを用いてデータの書込み／読出しを行う。データの書込み／読出しは、システム制御部２２の制御信号７６に応じて行われる。
【００５４】
次にディジタルカメラ１０におけるディジタル処理について簡単に説明する。ディジタル化した画像データは、画像を構成する画素データ毎に各種の補正処理を施す。各種の補正処理とは、図４に示したオフセット補正、シェーディング補正、ゲイン補正およびガンマ補正のそれぞれを１フレームの画像に対して施すことである。この処理の後、ＲＧＢＷ補間処理を行う。
【００５５】
ＲＧＢＷ補間処理は、４色の（Ｒ），  （Ｇ），  （Ｂ），  （Ｗ）のそれぞれに対する２次元フィルタ回路９６，  ９８，  １００にて補正された画素データを基に補間する処理である。補正に用いる画素データは、補間対象の色と同色の画素データだけを用い、補間対象の色と異なる色が該当する画素位置では画素データを０として扱う。たとえば、図６（ａ）の枠１３０の中心に位置する色Ｂの画素において白色（Ｗ）を補間すると、２次元フィルタ９６は、枠１３０において図６（ｂ）の位置関係、すなわち上下左右にある白色（Ｗ）の画素データがＷＵ，  ＷＤ，  ＷＬ，  ＷＲとして供給され、図５（ａ）の係数をそれぞれ対応させて乗算し、加算する。したがって、この場合、中心画素のＢにおける白色は、ＷＵ／４＋ＷＤ／４＋ＷＬ／４＋ＷＲ／４＝（ＷＵ＋ＷＤ＋ＷＬ＋ＷＲ）／４となる。
【００５６】
この位置で２次元フィルタ９８により、緑色（Ｇ）を求めようとすると、図６（ｃ）の位置関係、すなわち四隅にある緑色（Ｇ）の画素データがＧＤ１，  ＧＤ２，  ＧＤ３，  ＧＤ４が供給され、図５（ｂ）の係数をそれぞれ対応させて乗算し、加算する。この場合、中心画素のＢにおける緑色は、ＧＤ１／４＋ＧＤ２／４＋ＧＤ３／４＋ＧＤ４／４＝（ＧＤ１＋ＧＤ２＋ＧＤ３＋ＧＤ４）／４となる。
【００５７】
また、２次元フィルタ回路１００は、２５画素を用い、たとえば図６（ｄ）の枠１３２内の画素データが供給される場合を考える。中心位置の白色に対して赤色と青色の画素データを補間して生成すると、２次元フィルタ回路１００は、図６（ｅ）に示すように、行列表現で（１，４）のＲ画素データ，  （３，２）のＲ画素データおよび（５，４）のＲ画素データを用いることになり、上述した色Ｒの画素データにそれぞれ、１／４，  １／２，  １／４の係数を掛けて、加算することにより、白色の中心位置における赤色を補間する。
【００５８】
さらに、青色の補間は、図６（ｆ）に示すように、行列表現で（１，２）のＢ画素データ，  （３，４）のＢ画素データおよび（５，２）のＢ画素データを用いることになる。２次元フィルタ回路１００は、色Ｂの画素データにそれぞれ、１／４，  １／２，  １／４の係数を掛けて、加算することにより、白色の中心位置における青色を補間する。
【００５９】
枠１３０、１３２を移動させながら、それぞれの中心位置において欠如している色属性の画素データを補間して生成することにより、感度のばらつきを抑制するように補間が行われる。したがって、補間処理は、同時化を行うとともに、感度による色レベルのばらつきを補正することができる。
【００６０】
１フレームについて補間処理した後、色変換回路８８は３原色ＲＧＢの画素データ１０２、１０４，  １０６を用いて色変換処理を行って、色信号１１０を生成する。ノイズ低減回路では、供給される輝度信号１０８および色信号１１０に対するノイズ対策処理が施される。輪郭補正回路９２では、ノイズ低減した輝度信号１１２にアパーチャ補正を施してエッジを強調させた輝度信号１１６を生成し、出力する。また、色差ＭＴＸ回路９４では、輝度信号１１２および色信号１１４を基に色差信号１１８を生成し、出力する。
【００６１】
このように動作させることにより、とくに、各色フィルタセグメントの分光感度特性の差を考慮して補間処理が行われるから、感度差に基づく色レベルのばらつきの抑制された画素データを生成することができる。これらの画素データを用いることにより、色バランスの良好な画像にすることができる。また、輝度信号として利用する白色（透明）の色フィルタセグメントを増やすことにより、多画素化にともない１画素の感光領域が小さくなっても、所定の領域内において輝度に寄与する画素（面積）が増えるので、位置を示す画素の情報としてだけでなく、所定の領域における信号電荷量を増やして、ノイズの抑制された画像を得ることができる。これらにより、ディジタルカメラ１０は、多画素化しても、ノイズに強く、エリアシングによるしみや偽色等を抑えて、色バランスの良好な高画質な画像を提供することができる。
【００６２】
以上のように構成することにより、ディジタルカメラ１０は、白色フィルタを加えた４種類の色フィルタセグメントの色フィルタ４０を用い、図１に示す色フィルタセグメントの配置を採ることにより多画素化しても、輝度信号に寄与する画素の空間周波数の帯域を広げて所定の範囲内にて得られる信号電荷量を増やしてノイズに強くし、色に着目すると、この色フィルタセグメントの配置パターンによって、色解像度や再現帯域を良好にすることができる。
【００６３】
また、ディジタルカメラ１０は、色フィルタ４０の配設にともない得られる空間周波数の分布関係を良好にするだけでなく、信号処理部２０内のディジタル処理部６６で分光感度特性のずれも考慮して補間処理を行うことにより、色バランスの良好にしている。これらにより、ディジタルカメラ１０は、多画素化にともなうこれまでのバランスの悪化が生じることなく、高画質な画像を提供することができる。
【００６４】
補間方法を適用することにより、輝度信号を増やしてノイズを抑制し、使用する色フィルタの分光感度特性を考慮してたとえば、白色の感度レベルを緑色の感度レベル程度に調整することができ、色のバランスを良好なものにし、エリアシングによるしみや偽色等を抑制して、高画質な画像を提供することができる。
【００６５】
【発明の効果】
このように本発明の固体撮像装置によれば、色フィルタ手段の色フィルタセグメントに４種類の色属性を用いてパターンを形成して、信号電荷量を確保することにより、ノイズの影響を受け難くし、色に着目すると、この色フィルタセグメントの配置パターンによって、色解像度を良好にし、エリアシングのしみや偽色等を抑制することができる。
【００６６】
また、本発明の固体撮像装置によれば、色フィルタ手段の色フィルタセグメントに４種類の色属性を用いてパターンを形成して、信号電荷量を確保することにより、ノイズの影響を受け難くし、色に関して色フィルタセグメントの配置パターンによって、色解像度を良好にし、信号処理手段における補間により色フィルタセグメントが有する感度のばらつきを補正することにより、再現色のバランスを良好にすることができ、多画素化が進んでも高品質な画像を得ることができる。
【００６７】
さらに、本発明の固体撮像装置の補間方法によれば、４種類の色属性のうち、白色の画素データを最も多く用いて輝度信号を確保し、得られる４種類の画素データの配列関係により、色解像度および再現帯域をバランスよくし、これらの画素データを利用しながら、色フィルタセグメントの感度のばらつきを補正して補間することにより、高品質な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルカメラの色フィルタにおける色フィルタセグメントの配置関係を示す図である。
【図２】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図３】図１の色フィルタに使用する４種類の色フィルタセグメントが有する空間周波数特性を示す図である。
【図４】図２に示した信号処理部におけるディジタル処理部の概略的な構成を示すブロック図である。
【図５】図４に示したＲＧＢＷ補間回路における２次元フィルタ回路が有する係数およびその配置関係を説明する図である。
【図６】図５に示した２次元フィルタ回路における動作を具体的に説明する図である。
【符号の説明】
１０  ディジタルカメラ
１２  光学系
１４  絞り調整機構
１６  撮像部
１８  前処理部
２０  信号処理部
２２  システム制御部
２４  操作部
２６  タイミング信号発生器
２８  ドライバ
３０  モニタ
３２  ストレージ
４０  色フィルタ
６６  ディジタル処理部
【図１】
2004304706.tif 000003
【図２】
2004304706.tif 000004
【図３】
2004304706.tif 000005
【図４】
2004304706.tif 000006
【図５】
2004304706.tif 000007
【図６】
2004304706.tif 000008