(57)【要約】【課題】本発明は、カラー固体撮像素子を用いた単板式のカラーカメラにおいて、より高画質化できるようにする。【解決手段】たとえば、カラー固体撮像素子１１の出力に対応するデジタル映像信号は、４Ｈラインメモリ４１ｂを介して、画像パターン検出回路４１ｃに送られる。画像パターン検出回路４１ｃでは、５×５画素の受光領域のデジタル映像信号のグループ分けと、グループごとの信号加算平均値の算出と、信号加算平均値のグループ間での信号レベルの大小関係による並べ替えと、信号加算平均値のグループ間の信号レベルの差分抽出とから画像パターンの検出を行い、その画像パターンに応じたＥＤＧＥ信号およびＦＬＡＴ信号を、ＲＧＢ同時化回路４１ｋおよび偽輪郭自動抑圧回路４１ｆにそれぞれ出力する。【選択図】      図１
2007184721.tif 000002
【特許請求の範囲】
【請求項１】
原色ベイヤ配列にしたがって、画素ごとにＲ，Ｇ，Ｂの色フィルタが配置された固体撮像素子と、
前記固体撮像素子の出力から、Ｒ，Ｇ，Ｂの各色信号を画素ごとに生成する信号処理回路と
を具備し、
前記信号処理回路は、
前記固体撮像素子の出力より得られるｍ×ｎ画素の受光領域の映像信号を複数のグループに分け、各グループ単位で、同じ色成分を有する平均映像信号を求める手段と、
前記平均映像信号の、異なるグループ間の大小関係およびグループ間の信号レベルの差分を算出する手段と、
前記算出の結果にもとづいて、前記ｍ×ｎ画素の受光領域内の画像パターンを検出する手段と、
前記検出の結果にしたがって、ＲＧＢ同時化する際の補間信号および輪郭強調を行うための輪郭補正信号を選択する手段と
を有することを特徴とする固体撮像装置。
【請求項２】
前記ｍ×ｎ画素の受光領域の映像信号としては、前記固体撮像素子の出力に非線形圧縮処理を施した後の信号が用いられることを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記平均映像信号は、画素ごとに配置された前記色フィルタの配列によらず、常に、同じグループ分け、および、同じ演算式により求められることを特徴とする請求項１に記載の固体撮像装置。
【請求項４】
前記ｍ×ｎ画素の受光領域の映像信号は、縦方向の画素列に対応する複数のグループ、および、横方向の画素列に対応する複数のグループ、または、斜め方向の画素列に対応する複数のグループに、それぞれグループ分けされることを特徴とする請求項１に記載の固体撮像装置。
【請求項５】
前記画像パターンの検出は、前記ｍ×ｎ画素の受光領域内における輝度変化点を抽出するものであることを特徴とする請求項１に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー固体撮像素子を用いたビデオカメラやデジタルカメラなどの固体撮像装置に関するもので、特に、色分離のための信号処理回路を備えた単板式のカラーカメラに関する。
【背景技術】
【０００２】
近年、固体撮像素子を１つだけ用いた、いわゆる単板式のカラーカメラにおいては、固体撮像素子上の各画素に対応して特定の色フィルタ、たとえば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられている。通常、Ｒの色フィルタが設けられた画素をＲ画素（赤画素）、Ｇの色フィルタが設けられた画素をＧ画素（緑画素）、Ｂの色フィルタが設けられた画素をＢ画素（青画素）と呼ぶ。色フィルタ配列には種々あり、種々の色フィルタ配列に対応した色分離のための信号処理方式もいろいろと考案されている。
【０００３】
代表的な、原色ベイヤ配列と呼ばれる原色モザイク型の色フィルタ配列は、たとえば、水平方向２画素×垂直方向２画素（２×２画素）を単位（１ユニット）とする、複数の基本ブロックが周期的に配置されている。そして、各基本ブロックは、２つの緑画素が一方の対角上に配置され、赤画素と青画素とが他方の対角上に配置された構造となっている。この原色モザイク型の色フィルタ配列に対応した信号処理方式としては、たとえば、単純補間処理によって同時化（色分離）されたＲＧＢ信号を得るのが一般的であった。すなわち、単純補間処理の場合、固体撮像素子より出力される画像信号（アナログ映像信号）から画素ごとにＲ信号、Ｇ信号およびＢ信号を分離する色分離処理において、たとえば、３×３画素の受光領域の中央の注目画素がＲ画素であるとすると、対応する注目画素のＧ信号は、その注目画素に隣接する４つのＧ画素の信号の平均値を求めることにより得られ、対応する注目画素のＢ信号は、その注目画素に隣接する４つのＢ画素の信号の平均値を求めることにより得られる。
【０００４】
しかしながら、このような単純な補間処理による色分離処理では、固体撮像素子上で明るい画素と暗い画素とが隣接している場合の、明るい画素と暗い画素との境界、つまり、画像のエッジ部に、本来の色とは異なった、いわゆる色偽信号が発生してしまうという問題があった。
【０００５】
この問題を解決するものとして、回路規模の増大を伴うことなしに、色偽信号を効果的に抑圧できるようにした、色分離処理のための信号処理回路を備えたカラー固体撮像装置が既に提案されている（たとえば、特許文献１参照）。ところが、この先行例は、色分離処理のための信号処理において、他の色画素の信号を演算に用いるようにしたものであって、信号処理における演算式が、画面（撮像エリア）内のすべての画素について同一であったため、色偽信号を抑圧することはできても消去することは不可能であった。
【０００６】
上記したように、従来においては、色偽信号の発生を制御することができるものの、さらなる画質の向上が求められていた。
【特許文献１】特開２０００−５０２９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記の問題点を解決すべくなされたもので、画質のさらなる改善が可能で、より高画質化することができる固体撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本願発明の一態様によれば、原色ベイヤ配列にしたがって、画素ごとにＲ，Ｇ，Ｂの色フィルタが配置された固体撮像素子と、前記固体撮像素子の出力から、Ｒ，Ｇ，Ｂの各色信号を画素ごとに生成する信号処理回路とを具備し、前記信号処理回路は、前記固体撮像素子の出力より得られるｍ×ｎ画素の受光領域の映像信号を複数のグループに分け、各グループ単位で、同じ色成分を有する平均映像信号を求める手段と、前記平均映像信号の、異なるグループ間の大小関係およびグループ間の信号レベルの差分を算出する手段と、前記算出の結果にもとづいて、前記ｍ×ｎ画素の受光領域内の画像パターンを検出する手段と、前記検出の結果にしたがって、ＲＧＢ同時化する際の補間信号および輪郭強調を行うための輪郭補正信号を選択する手段とを有することを特徴とする固体撮像装置が提供される。
【発明の効果】
【０００９】
上記の構成により、色偽信号のみならず、偽輪郭信号の少ない高品質なＹＵＶ信号を生成することが可能となる結果、画質のさらなる改善が可能で、より高画質化することができる固体撮像装置を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。ただし、図面は模式的なものであり、寸法の比率などは現実のものとは異なることに留意すべきである。また、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１１】
［第１の実施形態］
図１は、この発明の第１の実施形態にしたがった、カラー固体撮像素子を用いた単板式のカラーカメラ（固体撮像装置）の基本構成を示すものである。なお、ここでは、単板式カラーカメラの信号処理回路を、パターン抽出型カメラ信号処理回路を用いて構成した場合について示している。また、信号処理の対象となる受光領域の大きさを５×５画素（ｍ×ｎ画素）とした場合を例に説明する。
【００１２】
すなわち、カラー固体撮像素子１１は、マトリクス状に配列された各画素に色フィルタが原色ベイヤ配列により配置されている。原色ベイヤ配列とは、たとえば図２に示すように、撮像エリアに対応する画面上の、各奇数ラインにＧフィルタ、Ｒフィルタが２画素周期で繰り返し配置され、各偶数ラインにＢフィルタ、Ｇフィルタが２画素周期で繰り返し配置された、２×２画素を１ユニット（基本ブロック）とする繰り返し構造の原色モザイク型の色フィルタ配列である。カラー固体撮像素子１１の各画素のうち、Ｒフィルタが配置された画素をＲ画素（赤画素）、Ｇフィルタが配置された画素をＧ画素（緑画素）、Ｂフィルタが配置された画素をＢ画素（青画素）という。
【００１３】
本実施形態の場合、上記カラー固体撮像素子１１は、たとえば、各画素を構成するマトリクス状に配列されたフォトダイオード上にそれぞれ色フィルタが設けられ、それぞれの色フィルタを介して各フォトダイオードに蓄積された信号電荷が、それぞれ、複数のＭＯＳ（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタからなる信号走査回路により読み出される、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）型構造のイメージセンサによって構成されている。
【００１４】
また、たとえば図１に示すように、カラー固体撮像素子１１にはＡ／Ｄ（アナログ／デジタル）変換器２１が接続されている。カラー固体撮像素子１１およびＡ／Ｄ変換器２１は、クロック＆タイミング発生器３１によって駆動される。すなわち、クロック＆タイミング発生器３１の制御により、色フィルタを有するカラー固体撮像素子１１に入射した光学像は、そこで光電変換されてアナログ映像信号（画像信号）に変えられた後、さらに、Ａ／Ｄ変換器２１によってデジタル映像信号に変換される。
【００１５】
上記Ａ／Ｄ変換器２１には、信号処理回路（パターン抽出型のカメラ信号処理回路）４１が接続されている。本実施形態の場合、上記信号処理回路４１は、プリγ（ガンマ）補正回路４１ａ、４Ｈラインメモリ４１ｂ、画像パターン検出回路４１ｃ、水平輪郭抽出回路４１ｄ、垂直輪郭抽出回路４１ｅ、偽輪郭自動抑圧回路４１ｆ、逆γ補正回路４１ｇ、色補正回路（１Ｈ，２Ｈ，３Ｈ）４１ｈ，４１ｉ，４１ｊ、および、ＲＧＢ同時化回路４１ｋを有して構成されている。
【００１６】
すなわち、Ａ／Ｄ変換器２１より出力されるデジタル映像信号は、振幅圧縮を目的とするプリγ補正回路４１ａを通り、複数ライン（この例の場合、０Ｈ〜４Ｈの５ライン分）の同時信号を作るための４Ｈラインメモリ４１ｂに入力される。４Ｈラインメモリ４１ｂは、デジタル映像信号の４Ｈ（４×１水平期間）分を記憶できる、たとえばＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を用いて構成されている。プリγ補正回路４１ａによって、たとえば高輝度部分が非線形圧縮されたデジタル映像信号は、Ａ／Ｄ変換器２１から出力されるデジタル映像信号よりもビット数が少なくなるので、４Ｈラインメモリ４１ｂを小規模化できる。
【００１７】
ここで、４Ｈラインメモリ４１ｂで作られる同時信号とは、たとえば図３に示すように、５×５画素の受光領域ＲＲの、各ライン（０Ｈ〜４Ｈ）のデジタル映像信号に相当するものである。
【００１８】
図１において、４Ｈラインメモリ４１ｂより出力される５ライン（０Ｈ〜４Ｈ）分の同時信号は、同時に、画像パターン検出を行うための画像パターン検出回路４１ｃに入力される。画像パターン検出回路４１ｃでは、５×５画素の受光領域ＲＲの、各ライン０Ｈ〜４Ｈのデジタル映像信号にもとづいて、後述する、ＲＧＢ同時化の際に用いるＥＤＧＥ信号（補間信号）および偽輪郭抑圧による輪郭強調を行うためのＦＬＡＴ信号（輪郭補正信号）の生成が行われる。たとえば、デジタル映像信号のグループ分けと、グループごとの信号加算平均値（平均映像信号）の算出と、信号加算平均値のグループ間での信号レベルの大小関係による並べ替えと、信号加算平均値のグループ間の信号レベルの差分抽出と、画像パターンの検出とが行われて、画像のエッジ部（５×５画素の受光領域ＲＲ内における画像パターンの輝度変化点）に応じたＥＤＧＥ信号およびＦＬＡＴ信号の選択が行われる。なお、この画像パターン検出回路４１ｃでの信号処理の詳細については、後述する。
【００１９】
４Ｈラインメモリ４１ｂより出力される５ライン（０Ｈ〜４Ｈ）分の同時信号のうち、５×５画素の受光領域ＲＲの、各ライン１Ｈ，２Ｈ，３Ｈのデジタル映像信号は、同時に、水平輪郭抽出を行う水平輪郭抽出回路４１ｄに入力される。また、５×５画素の受光領域ＲＲの、各ライン０Ｈ，２Ｈ，４Ｈのデジタル映像信号は、同時に、垂直輪郭抽出を行う垂直輪郭抽出回路４１ｅに入力される。さらに、５×５画素の受光領域ＲＲの、各ライン０Ｈ〜４Ｈのデジタル映像信号は、同時に、ＲＧＢ同時化（色分離）用の３ライン分の信号１Ｈ’，２Ｈ’，３Ｈ’を得るための逆γ補正回路４１ｇに入力される。
【００２０】
水平輪郭抽出回路４１ｄは、５×５画素の受光領域ＲＲの、各ライン１Ｈ，２Ｈ，３Ｈのデジタル映像信号をもとにＨＤＴＬ信号を生成し、それを偽輪郭自動抑圧回路４１ｆに出力する。垂直輪郭抽出回路４１ｅは、５×５画素の受光領域ＲＲの、各ライン０Ｈ，２Ｈ，４Ｈのデジタル映像信号をもとにＶＤＴＬ信号を生成し、それを偽輪郭自動抑圧回路４１ｆに出力する。
【００２１】
水平輪郭抽出回路４１ｄからのＨＤＴＬ信号および垂直輪郭抽出回路４１ｅからのＶＤＴＬ信号が供給される偽輪郭自動抑圧回路４１ｆは、画像パターン検出回路４１ｃより出力されるＦＬＡＴ信号に応じて、後段における輪郭補正処理を制御するための信号ＤＴＬを生成し、それをＹＵＶ信号の生成と輪郭加算とを行うＹＵＶ発生・輪郭加算回路７１に出力する。
【００２２】
一方、逆γ補正回路４１ｇは、後段における正確な色補正処理を可能とするために設けられたもので、これにより、理想的なＲＧＢ信号に対して、理想的なγ補正を施すことが可能となる。すなわち、逆γ補正回路４１ｇより出力される各ライン０Ｈ，１Ｈ，２Ｈのデジタル映像信号は、色補正処理を行う色補正回路（１Ｈ）４１ｈを通り、理想的なＲＧＢ成分を有する信号１Ｈ’となる。また、逆γ補正回路４１ｇより出力される各ライン１Ｈ，２Ｈ，３Ｈのデジタル映像信号は、色補正処理を行う色補正回路（２Ｈ）４１ｉを通り、理想的なＲＧＢ成分を有する信号２Ｈ’となる。また、逆γ補正回路４１ｇより出力される各ライン２Ｈ，３Ｈ，４Ｈのデジタル映像信号は、色補正処理を行う色補正回路（３Ｈ）４１ｊを通り、理想的なＲＧＢ成分を有する信号３Ｈ’となる。
【００２３】
色補正回路４１ｈ，４１ｉ，４１ｊより出力される各信号１Ｈ’，２Ｈ’，３Ｈ’は、ＲＧＢ同時化回路４１ｋに入力される。また、このＲＧＢ同時化回路４１ｋには、上記画像パターン検出回路４１ｃより出力されるＥＤＧＥ信号が入力される。ＲＧＢ同時化回路４１ｋでは、色補正回路４１ｈ，４１ｉ，４１ｊより出力される各信号１Ｈ’，２Ｈ’，３Ｈ’に対し、画像パターン検出回路４１ｃより出力されるＥＤＧＥ信号に応じた補間処理を行うことにより、同時化されたＲ，Ｇ，Ｂの各信号が得られる。
【００２４】
ＲＧＢ同時化回路４１ｋより出力される理想的なＲ，Ｇ，Ｂの各信号は、帯域制限ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）５１に送られ、高周波成分がカットされて、信号ＲＬ，ＧＬ，ＢＬとなる。帯域制限ＬＰＦ５１より出力される信号ＲＬ，ＧＬ，ＢＬはγ補正回路６１に送られ、γ補正が施される。γ補正が施された後のＲ’，Ｇ’，Ｂ’の各信号は、ＹＵＶ発生・輪郭加算回路７１に出力される。
【００２５】
ＹＵＶ発生・輪郭加算回路７１は、γ補正回路６１より出力されるＲ’，Ｇ’，Ｂ’の各信号と、偽輪郭自動抑圧回路４１ｆより出力されるＤＴＬ信号とから、国際標準的なＹ（輝度）信号とＵ／Ｖ（色）信号とを生成する。たとえば、Ｒ’，Ｇ’，Ｂ‘の各信号から生成される低輝度信号ＹＬとＤＴＬ信号とを加算することによって、輝度信号Ｙを生成して出力する。また、Ｒ’，Ｇ’，Ｂ’の各信号をもとに生成される色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を、Ｕ信号およびＶ信号に変換して出力する。
【００２６】
ただし、本実施形態においては、画像パターン検出回路４１ｃでの画像パターンの検出により、５×５画素の受光領域ＲＲの各画素の明るさ（暗さ）がほぼ均一に近い場合、つまり、画像のエッジ部（５×５画素の受光領域ＲＲ内における画像パターンの輝度変化点）を検出できない場合には、輪郭補正処理（上記ＹＵＶ発生・輪郭加算回路７１でのＤＴＬ信号の加算）は実行されない。
【００２７】
以下に、本実施形態にかかる、発明の特徴部分である画像パターン検出回路４１ｃでの信号処理について、詳しく説明する。まずは、画像パターンの検出のための、信号処理の対象となる受光領域について説明する。
【００２８】
図３は、信号処理の対象としての、受光領域ＲＲの一例を示すものである。これは、原色モザイク型の色フィルタ（原色ベイヤ配列）を有するカラー固体撮像素子１１の１画面分の画素配列のうちの、５×５画素分の画素配列（信号出力）を空間的に示したものである。この例の場合、中央のＲ画素Ｒ２２が、単純な補間処理による色分離処理を行う際の注目画素となる。
【００２９】
ここで、図３に示した５×５画素の受光領域ＲＲを例に、単純な補間処理による色分離処理について説明する。単純補間処理によって同時化された注目画素のＲＧＢ信号は、下記の演算式により求められる。
【００３０】
Ｒ２２＝Ｒ２２
Ｇ２２＝（Ｇｂ１２＋Ｇｒ２１＋Ｇｒ２３＋Ｇｂ３２）／４
Ｂ２２＝（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）／４
すなわち、注目画素であるＲ画素Ｒ２２のＲ信号は、そのＲ画素Ｒ２２の信号出力と等価となる。一方、Ｒ画素Ｒ２２に対応する、注目画素（Ｇ画素Ｇ２２）のＧ信号は、その注目画素に隣接する４つのＧ画素Ｇｂ１２，Ｇｒ２１，Ｇｒ２３，Ｇｂ３２の信号出力の平均値を求めることにより得られる。同様に、Ｒ画素Ｒ２２に対応する、注目画素（Ｂ画素Ｂ２２）のＢ信号は、その注目画素に隣接する４つのＢ画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３の信号出力の平均値を求めることにより得られる。単純な補間処理の場合、上述したように、５×５画素の受光領域ＲＲ内の中央部の３×３画素の信号出力（デジタル映像信号）が用いられる。
【００３１】
しかしながら、この単純な補間処理において、たとえば、Ｒ画素Ｒ０２，Ｒ２２，Ｒ４２を通る、明るい縦線状の被写体を想定すると、Ｇ画素Ｇｂ１２、Ｒ画素Ｒ２２、Ｇ画素Ｇｂ３２の信号出力は大きくなるが、Ｂ画素Ｂ１１，Ｂ１３、Ｇ画素Ｇｒ２１，Ｇｒ２３、Ｂ画素Ｂ３１，Ｂ３３の信号出力は小さくなってしまい、上記演算式による演算の結果（ＲＧＢ信号）と実際の同時化されたＲＧＢ理想値との間に隔たりが生じてしまう。
【００３２】
演算結果    ：Ｒ２２  ＞  Ｇ２２  ＞  Ｂ２２
ＲＧＢ理想値：Ｒ２２  ≒  Ｇ２２  ≒  Ｂ２２
このような、ＲＧＢ理想値との間に隔たりをもつＲＧＢ信号にもとづいて生成される色信号が、いわゆる色偽信号と呼ばれるもので、実際には存在しない色が撮影画像上に現れる原因となる。
【００３３】
図４は、上記した色偽信号を抑圧するために、画像パターン検出回路４１ｃでの画像パターンの検出のための、デジタル映像信号（色画素の信号出力）のグループ分けの一例を示すものである。この例の場合、５×５画素の受光領域ＲＲのデジタル映像信号が、縦方向に３個のグループ（Ｈ１，Ｈ２，Ｈ３）に分けられている。
【００３４】
各グループＨ１〜Ｈ３の、縦方向に平均値化されたデジタル映像信号（信号加算平均値）は、それぞれ下記の演算式により求められる。
【００３５】
Ｈ１＝（Ｒ００＋２×（Ｇｂ１０＋Ｒ２０＋Ｇｂ３０）＋Ｒ４０）／８
Ｈ２＝（Ｒ０２＋２×（Ｇｂ１２＋Ｒ２２＋Ｇｂ３２）＋Ｒ４２）／８
Ｈ３＝（Ｒ０４＋２×（Ｇｂ１４＋Ｒ２４＋Ｇｂ３４）＋Ｒ４４）／８
この例の場合、上記演算式による平均値の信号成分は（Ｒ＋Ｇｂ）／２となる。
【００３６】
グループＨ１〜Ｈ３の演算結果としての信号加算平均値は、その信号レベルの大小関係に応じて並べ替えられ、かつ、各々の差分が求められることにより、画像パターンの検出、つまり、どの領域に、どのような振幅を有する縦線状の被写体（画像のエッジ部）があるかを判別するのに用いて好適となる。
【００３７】
一般に、輝度信号Ｙは、０．３Ｒ＋０．５９Ｇ＋０．１１Ｂで代表される通り、Ｇ成分が主となる。よって、Ｇ画素のみを信号成分とする下記の演算式からも、画像のエッジ部に対応する画像パターンの輝度変化点を検出できる。
【００３８】
Ｈ１＝（Ｇｂ１０＋Ｇｂ３０）／２
Ｈ２＝（Ｇｂ１２＋Ｇｂ３２）／２
Ｈ３＝（Ｇｂ１４＋Ｇｂ３４）／２
この例の場合は、上記演算式による平均値の信号成分はＧｂのみとなる。
【００３９】
図５は、上記した色偽信号を抑圧するために、画像パターン検出回路４１ｃでの画像パターンの検出のための、デジタル映像信号（色画素の信号出力）のグループ分けの他の一例を示すものである。この例の場合、５×５画素の受光領域ＲＲのデジタル映像信号が、横方向に３個のグループ（Ｖ１，Ｖ２，Ｖ３）に分けられている。
【００４０】
各グループＶ１〜Ｖ３の、横方向に平均値化されたデジタル映像信号（信号加算平均値）は、それぞれ下記の演算式により求められる。
【００４１】
Ｖ１＝（Ｒ００＋２×（Ｇｒ０１＋Ｒ０２＋Ｇｒ０３）＋Ｒ０４）／８
または、
＝（Ｇｒ０１＋Ｇｒ０３）／２
Ｖ２＝（Ｒ２０＋２×（Ｇｒ２１＋Ｒ２２＋Ｇｒ２３）＋Ｒ２４）／８
または、
＝（Ｇｒ２１＋Ｇｒ２３）／２
Ｖ３＝（Ｒ４０＋２×（Ｇｒ４１＋Ｒ４２＋Ｇｒ４３）＋Ｒ４４）／８
または、
＝（Ｇｒ４１＋Ｇｒ４３）／２
グループＶ１〜Ｖ３の演算結果としての信号加算平均値は、その信号レベルの大小関係に応じて並べ替えられ、かつ、各々の差分が求められることにより、画像パターンの検出、つまり、どの領域に、どのような振幅を有する横線状の被写体（画像のエッジ部）があるかを判別するのに用いて好適となる。
【００４２】
図６は、上記した色偽信号を抑圧するために、画像パターン検出回路４１ｃでの画像パターンの検出のための、デジタル映像信号（色画素の信号出力）のグループ分けの別の例を示すものである。この例の場合、５×５画素の受光領域ＲＲのデジタル映像信号が、右上がりの斜め方向に４個のグループ（ＯＢ１，ＯＢ２，ＯＢ３，ＯＢ４）、または、左上がりの斜め方向に４個のグループ（ＯＢ１１，ＯＢ１２，ＯＢ１３，ＯＢ１４）に分けられている。
【００４３】
各グループＯＢ１〜ＯＢ４の、右上がり斜め方向に平均値化されたデジタル映像信号（信号加算平均値）は、それぞれ下記の演算式により求められる。
【００４４】
ＯＢ１＝（Ｇｒ０１＋Ｇｂ１０）／２
ＯＢ２＝（Ｇｒ０３＋Ｇｂ１２＋Ｇｒ２１＋Ｇｂ３０）／４
ＯＢ３＝（Ｇｂ１４＋Ｇｒ２３＋Ｇｂ３２＋Ｇｒ４１）／４
ＯＢ４＝（Ｇｂ３４＋Ｇｒ４３）／２
また、各グループＯＢ１１〜ＯＢ１４の、左上がり斜め方向に平均値化されたデジタル映像信号（信号加算平均値）は、それぞれ下記の演算式により求められる。
【００４５】
ＯＢ１１＝（Ｇｒ０３＋Ｇｂ１４）／２
ＯＢ１２＝（Ｇｒ０１＋Ｇｂ１２＋Ｇｒ２３＋Ｇｂ３４）／４
ＯＢ１３＝（Ｇｂ１０＋Ｇｒ２１＋Ｇｂ３２＋Ｇｒ４３）／４
ＯＢ１４＝（Ｇｂ３０＋Ｇｒ４１）／２
グループＯＢ１〜ＯＢ４の演算結果である信号加算平均値またはグループＯＢ１１〜ＯＢ１４の演算結果である信号加算平均値は、別々に、その信号レベルの大小関係に応じて並べ替えられ、かつ、各々の差分が求められることにより、画像パターンの検出、つまり、どの領域に、どのような振幅を有する斜め線状の被写体（画像のエッジ部）があるかを判別するのに用いて好適となる。
【００４６】
信号加算平均値の、信号レベルの大小関係に応じた並べ替えを正確に行うためには、グループＨ１〜Ｈ３、グループＶ１〜Ｖ３、グループＯＢ１〜ＯＢ４、および、グループＯＢ１１〜ＯＢ１２において、個々のグループごとに信号成分を同じにする必要がある。
【００４７】
特に、上記４つの各グループＨ１〜Ｈ３，Ｖ１〜Ｖ３，ＯＢ１〜ＯＢ４，ＯＢ１１〜ＯＢ１２についての、信号加算平均値の並べ替えの結果とその差分とを複合（総合的）的に判断すれば、より正確な画像パターンの検出が可能である。たとえば、Ｈ１≒Ｈ２≪Ｈ３で、かつ、Ｖ１≒Ｖ２≒Ｖ３の時のみを縦線状の被写体と判別することで、より正確な画像パターンの検出が可能になる。
【００４８】
また、グループ分けなしで、２５（５×５）画素の信号加算平均値の並べ替えとその差分とを求めるようにした場合には、画像パターンの検出のための回路が複雑化し、回路規模も増大する。つまり、本実施形態の場合のように、デジタル映像信号の縦・横・斜めのグループを作り、その信号加算平均値を信号レベルの大小関係に応じて並べ替えるとともに、各々の信号加算平均値の差分を求めた方が、簡単で、しかも、小規模な回路による画像パターンの検出を実現できる。
【００４９】
図７は、信号処理の対象としての、受光領域ＲＲ’の他の一例を示すものである。ここでは、５×５画素の受光領域ＲＲ’において、Ｇ画素Ｇ２３を中央に配置した場合を例に示している。また、これは、５×５画素の受光領域ＲＲ’のデジタル映像信号が、右上がりの斜め方向に３個のグループ（ＯＢ１’，ＯＢ２’，ＯＢ３’）、または、左上がりの斜め方向に３個のグループ（ＯＢ１１’，ＯＢ１２’，ＯＢ１３’）に分けられた場合の例である。
【００５０】
すなわち、各グループＯＢ１’〜ＯＢ３’の、右上がり斜め方向に平均値化されたデジタル映像信号（信号加算平均値）は、それぞれ下記の演算式により求められる。
【００５１】
ＯＢ１’＝（Ｇｒ０３＋２×Ｇｂ１２＋Ｇｒ２１）／４
ＯＢ２’＝（Ｇｒ０５＋２×（Ｇｂ１４＋Ｇｒ２３＋Ｇｂ３２）＋Ｇｒ４１）／８
ＯＢ３’＝（Ｇｒ２５＋２×Ｇｂ３４＋Ｇｒ４３）／４
また、各グループＯＢ１１’〜ＯＢ１３’の、左上がり斜め方向に平均値化されたデジタル映像信号（信号加算平均値）は、それぞれ下記の演算式により求められる。
【００５２】
ＯＢ１１’＝（Ｇｒ０３＋２×Ｇｂ１４＋Ｇｒ２５）／４
ＯＢ１２’＝（Ｇｒ０１＋２×（Ｇｂ１２＋Ｇｒ２３＋Ｇｂ３４）＋Ｇｒ４５）／８
ＯＢ１３’＝（Ｇｒ２１＋２×Ｇｂ３２＋Ｇｒ４３）／４
この例の場合、グループ分けが図６の場合と異なるが、Ｇ画素を含む信号成分を用いて輝度変化点を検出した方が、画像パターンの検出は確実である。その際、斜め方向のグループを、画素の配列ごとに切り替えるのがよい。
【００５３】
グループの分け方、つまり、信号加算平均値の求め方によっては、斜め方向のグループの、画素の配列ごとの切り替えを必要としない場合もある。
【００５４】
図８は、図３に示した５×５画素の受光領域ＲＲにおいて、上記した色偽信号を抑圧するために、画像パターン検出回路４１ｃでの画像パターンの検出のための、デジタル映像信号（色画素の信号出力）のグループ分けのさらに別の例を示すものである。この例の場合、５×５画素の受光領域ＲＲのデジタル映像信号が、右上がりの斜め方向に３個のグループ（ＯＢ１''，ＯＢ２''，ＯＢ３''）に分けられている。ただし、各グループ（ＯＢ１''，ＯＢ２''，ＯＢ３''）は、画素の配列ごとに切り替えられていない。
【００５５】
各グループＯＢ１''，ＯＢ２''，ＯＢ３''の、右上がりの斜め方向に平均値化されたデジタル映像信号（信号加算平均値）は、それぞれ下記の演算式により求められる。
【００５６】
ＯＢ１''＝（Ｇｒ０１＋Ｇｂ１０＋（Ｒ０２＋２×Ｂ１１＋Ｒ２０）／２）／４
ＯＢ２''＝（Ｇｒ０３＋Ｇｂ１２＋Ｇｒ２１＋Ｇｂ３０＋Ｇｂ１４＋Ｇｒ２３＋Ｇｂ３２＋Ｇｒ４１＋Ｒ０４＋２×（Ｂ１３＋Ｒ２２＋Ｂ３１）＋Ｒ４０）／１６
ＯＢ３''＝（（Ｒ２４＋２×Ｂ３３＋Ｒ４２）／２＋Ｇｂ３４＋Ｇｒ４３）／４
上記したように、画像パターン検出回路４１ｃでは、同じ５×５画素の受光領域ＲＲ（ＲＲ’）のデジタル映像信号から縦・横・斜めのグループを作り、それぞれのグループの信号加算平均値を信号レベルの大小関係に応じて並べ替え、かつ、各々の信号加算平均値の差分を求めることによって、画像パターンの検出が行われる。また、その画像パターンに応じて、ＲＧＢ同時化する際の補間信号（ＥＤＧＥ信号）および輪郭強調を行うための輪郭補正信号（ＦＬＡＴ信号）が、適宜、選択される。
【００５７】
図９は、画像パターンに応じて選択し得る、Ｂ画素Ｂ２２の、補間処理のための全演算式（９通り）について示すものである。この例の場合、検出された画像パターンに応じて選択される補間信号に対応する演算式としては、下記に示す９通り以外には存在しない。
【００５８】
Ｂ２２＝（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）／４
または、Ｂ２２＝（Ｂ１１＋Ｂ１３）／２
または、Ｂ２２＝（Ｂ１１＋Ｂ３１）／２
または、Ｂ２２＝（Ｂ１３＋Ｂ３３）／２
または、Ｂ２２＝（Ｂ３１＋Ｂ３３）／２
または、Ｂ２２＝Ｂ１１
または、Ｂ２２＝Ｂ１３
または、Ｂ２２＝Ｂ３１
または、Ｂ２２＝Ｂ３３
すなわち、ＲＧＢ同時化回路４１ｋにおいて、色補正回路４１ｈ，４１ｉ，４１ｊより出力される各信号１Ｈ’，２Ｈ’，３Ｈ’に対して、画像パターン検出回路４１ｃより出力されるＥＤＧＥ信号に応じた補間処理として、９通りの演算式のうちのいずれかに対応した色分離処理が行われることにより、同時化されたＲ，Ｇ，Ｂの各信号が得られる。
【００５９】
なお、Ｇ画素Ｇ２２についても、検出された画像パターンに応じて選択される補間信号に対応する演算式としては、下記に示す９通りとなる。
【００６０】
Ｇ２２＝（Ｇｂ１２＋Ｇｒ２１＋Ｇｒ２３＋Ｇｂ３２）／４
または、Ｇ２２＝（Ｇｂ１２＋Ｇｒ２１）／２
または、Ｇ２２＝（Ｇｂ１２＋Ｇｒ２３）／２
または、Ｇ２２＝（Ｇｒ２１＋Ｇｂ３２）／２
または、Ｇ２２＝（Ｇｒ２３＋Ｇｂ３２）／２
または、Ｇ２２＝Ｇｂ１２
または、Ｇ２２＝Ｇｒ２１
または、Ｇ２２＝Ｇｒ２３
または、Ｇ２２＝Ｇｂ３２
このように、補間処理として、画像パターンの検出の結果に応じて、最適な色分離処理（補間演算）が行われることにより、たとえ、縦線状などの明るい被写体であっても、ＲＧＢ理想値に近いＲＧＢ信号の生成が可能となる。したがって、色偽信号の抑圧が可能となり、撮影画像上に実際には存在しない色が現れるのを防止できる。
【００６１】
次に、上記した画像パターン検出回路４１ｃでの、画像パターンの検出にかかる動作（処理の流れ）について説明する。なお、ここでは説明を簡略化するために、斜め方向のグループ分けを行わずに、縦方向および横方向のグループ分けにより被写体の判別を行う簡易方式とした場合を例に説明する。
【００６２】
（１）  まず、図４に示したように、縦方向の３個のグループ（Ｈ１〜Ｈ３）の信号加算平均値を求める。この例では、以下の式を、先の演算式により求めた解（信号加算平均値）とする。
【００６３】
Ｈ１＝Ｒ００＋２×（Ｇｂ１０＋Ｒ２０＋Ｇｂ３０）＋Ｒ４０
Ｈ２＝Ｒ０２＋２×（Ｇｂ１２＋Ｒ２２＋Ｇｂ３２）＋Ｒ４２
Ｈ３＝Ｒ０４＋２×（Ｇｂ１４＋Ｒ２４＋Ｇｂ３４）＋Ｒ４４
（２）  次いで、各グループ（Ｈ１〜Ｈ３）の信号加算平均値の信号レベルの大小関係を求め、以下の条件に応じて判定結果（ＨＲ，ＨＬ）を出力する。
【００６４】
Ｈ３≒Ｈ２≒Ｈ１（Ｈ１とＨ２が近似値で、Ｈ２とＨ３も近似値）
…  ＨＬ＝０，ＨＲ＝０
Ｈ３≠Ｈ２≒Ｈ１（Ｈ１とＨ２は近似値だが、Ｈ２とＨ３は異なる）
…  ＨＬ＝０，ＨＲ＝１
Ｈ３≒Ｈ２≠Ｈ１（Ｈ１とＨ２は異なるが、Ｈ２とＨ３は近似値）
…  ＨＬ＝１，ＨＲ＝０
Ｈ３≠Ｈ２≠Ｈ１（Ｈ１とＨ２は異なり、Ｈ２とＨ３も異なる）
…  ＨＬ＝０，ＨＲ＝０
上記の判定において、各グループＨ１，Ｈ２，Ｈ３の信号加算平均値が近似値か否かは、たとえばαを任意の係数として、下記の演算式より求められる。
【００６５】
（Ｈ２−α）≦Ｈ１  かつ  Ｈ１≦（Ｈ２＋α）      …  Ｈ１とＨ２は近似値
Ｈ３＜（Ｈ２−α）  もしくは  （Ｈ２＋α）＜Ｈ３  …  Ｈ２とＨ３は異なる
（３）  次いで、図５に示したように、横方向の３個のグループ（Ｖ１〜Ｖ３）の信号加算平均値を求める。この例の場合、以下の式を、先の演算式により求めた解（信号加算平均値）とする。
【００６６】
Ｖ１＝Ｒ００＋２×（Ｇｒ０１＋Ｒ０２＋Ｇｒ０３）＋Ｒ０４
Ｖ２＝Ｒ２０＋２×（Ｇｒ２１＋Ｒ２２＋Ｇｒ２３）＋Ｒ２４
Ｖ３＝Ｒ４０＋２×（Ｇｒ４１＋Ｒ４２＋Ｇｒ４３）＋Ｒ４４
（４）  次いで、各グループ（Ｖ１〜Ｖ３）の信号加算平均値の信号レベルの大小関係を求め、以下の条件に応じて判定結果（ＶＴ，ＶＢ）を出力する。
【００６７】
Ｖ３≒Ｖ２≒Ｖ１（Ｖ１とＶ２が近似値で、Ｖ２とＶ３も近似値）
…  ＶＴ＝０，ＶＢ＝０
Ｖ３≠Ｖ２≒Ｖ１（Ｖ１とＶ２は近似値だが、Ｖ２とＶ３は異なる）
…  ＶＴ＝０，ＶＢ＝１
Ｖ３≒Ｖ２≠Ｖ１（Ｖ１とＶ２は異なるが、Ｖ２とＶ３は近似値）
…  ＶＴ＝１，ＶＢ＝０
Ｖ３≠Ｖ２≠Ｖ１（Ｖ１とＶ２は異なり、Ｖ２とＶ３も異なる）
…  ＶＴ＝０，ＶＢ＝０
（５）  次いで、４つ（４ビット）の判定結果ＨＬ，ＨＲ，ＶＴ，ＶＢから被写体を判別し、１つの補間信号を選択する。
【００６８】
ＨＬ＝０，ＨＲ＝０，ＶＴ＝０，ＶＢ＝０のときは、輝度変化点を検出できずとして、以下の演算式により同時化させるための、つまり、従来の単純補間処理（４画素平均）を行うための補間信号が選択される。
【００６９】
Ｇ２２＝（Ｇｂ１２＋Ｇｒ２１＋Ｇｒ２３＋Ｇｂ３２）／４
Ｂ２２＝（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）／４
ＨＬ＝０，ＨＲ＝０，ＶＴ＝０，ＶＢ＝１のときは、５×５画素の受光領域ＲＲの下側より画像のエッジ部を検出したとして、以下の演算式により同時化させるための補間信号が選択される。
【００７０】
Ｇ２２＝（２×Ｇｂ１２＋Ｇｒ２１＋Ｇｒ２３）／４
Ｂ２２＝（Ｂ１１＋Ｂ１３）／２
ＨＬ＝０，ＨＲ＝０，ＶＴ＝１，ＶＢ＝０のときは、５×５画素の受光領域ＲＲの上側より画像のエッジ部を検出したとして、以下の演算式により同時化させるための補間信号が選択される。
【００７１】
Ｇ２２＝（Ｇｒ２１＋Ｇｒ２３＋２×Ｇｂ３２）／４
Ｂ２２＝（Ｂ３１＋Ｂ３３）／２
ＨＬ＝０，ＨＲ＝１，ＶＴ＝０，ＶＢ＝０のときは、５×５画素の受光領域ＲＲの右側より画像のエッジ部を検出したとして、以下の演算式により同時化させるための補間信号が選択される。
【００７２】
Ｇ２２＝（Ｇｂ１２＋２×Ｇｒ２１＋Ｇｂ３２）／４
Ｂ２２＝（Ｂ１１＋Ｂ３１）／２
ＨＬ＝０，ＨＲ＝１，ＶＴ＝０，ＶＢ＝１のときは、５×５画素の受光領域ＲＲの右下側より画像のエッジ部を検出したとして、以下の演算式により同時化させるための補間信号が選択される。
【００７３】
Ｇ２２＝（Ｇｂ１２＋Ｇｒ２１）／２
Ｂ２２＝Ｂ１１
ＨＬ＝０，ＨＲ＝１，ＶＴ＝１，ＶＢ＝０のときは、５×５画素の受光領域ＲＲの右上側より画像のエッジ部を検出したとして、以下の演算式により同時化させるための補間信号が選択される。
【００７４】
Ｇ２２＝（Ｇｒ２１＋Ｇｂ３２）／２
Ｂ２２＝Ｂ３１
ＨＬ＝１，ＨＲ＝０，ＶＴ＝０，ＶＢ＝０のときは、５×５画素の受光領域ＲＲの左側より画像のエッジ部を検出したとして、以下の演算式により同時化させるための補間信号が選択される。
【００７５】
Ｇ２２＝（Ｇｂ１２＋２×Ｇｒ２３＋Ｇｂ３２）／４
Ｂ２２＝（Ｂ１３＋Ｂ３３）／２
ＨＬ＝１，ＨＲ＝０，ＶＴ＝０，ＶＢ＝１のときは、５×５画素の受光領域ＲＲの左下側より画像のエッジ部を検出したとして、以下の演算式により同時化させるための補間信号が選択される。
【００７６】
Ｇ２２＝（Ｇｂ１２＋Ｇｒ２３）／２
Ｂ２２＝Ｂ１３
ＨＬ＝１，ＨＲ＝０，ＶＴ＝１，ＶＢ＝０のときは、５×５画素の受光領域ＲＲの左上側より画像のエッジ部を検出したとして、以下の演算式により同時化させるための補間信号が選択される。
【００７７】
Ｇ２２＝（Ｇｒ２３＋Ｇｂ３２）／２
Ｂ２２＝Ｂ３３
本実施形態の場合、判定結果ＨＬ，ＨＲ，ＶＴ，ＶＢの組み合わせは、上記の９通り以外には存在しない。
【００７８】
なお、詳細な説明は割愛するが、画像のエッジ部（５×５画素の受光領域ＲＲ内における画像パターンの輝度変化点）に応じたＦＬＡＴ信号の選択も同様にして行われる。
【００７９】
上記したように、ｍ×ｎ画素の受光領域のデジタル映像信号を複数のグループに分け、それぞれのグループの信号加算平均値を信号レベルの大小関係に応じて並べ替えるとともに、各々の信号加算平均値の差分を求めた結果にもとづいて画像パターンの検出を行って、その画像パターンに応じたＲＧＢ同時化の際の補間信号および輪郭補正信号を選択するようにしている。これにより、色偽信号のみならず、偽輪郭信号の少ない高品質なＹＵＶ信号を生成することが可能となる。その結果、単板式のカラーカメラにおいて、画質のさらなる改善が可能で、より高画質化することができるものである。
【００８０】
また、本実施形態によれば、ｍ×ｎ画素の受光領域のデジタル映像信号として、高輝度部分が非線形圧縮されたデジタル映像信号を用いるようにしているため、４Ｈラインメモリの小規模化が可能である。
【００８１】
特に、ＲＧＢ同時化と輪郭抽出とにおいて、１つのラインメモリを兼用するようにしているため、信号処理回路を最低限のラインメモリにより構成できる。
【００８２】
また、画像パターンを検出する際に、デジタル映像信号の縦・横・斜めのグループを作るようにしているため、画像パターン検出回路の簡単化および小規模化が図れる。
【００８３】
なお、本実施形態においては、受光領域を５×５画素とした場合を例に説明したが、これに限定されるものではない。
【００８４】
その他、本願発明は、上記（各）実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記（各）実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。たとえば、（各）実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題（の少なくとも１つ）が解決でき、発明の効果の欄で述べられている効果（の少なくとも１つ）が得られる場合には、その構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１の実施形態にしたがった、単板式カラーカメラの基本構成を示すブロック図。
【図２】本実施形態にかかる、カラー固体撮像素子の色フィルタ配列である原色ベイヤ配列を示す図。
【図３】本実施形態にかかる、５×５画素の受光領域の画素配列を示す図。
【図４】本実施形態にかかる、５×５画素の受光領域のデジタル映像信号のグループ分けの一例を示す図。
【図５】本実施形態にかかる、５×５画素の受光領域のデジタル映像信号のグループ分けの他の一例を示す図。
【図６】本実施形態にかかる、５×５画素の受光領域のデジタル映像信号のグループ分けの別の例を示す図。
【図７】本実施形態にかかる、５×５画素の受光領域の他の一例を示す図。
【図８】本実施形態にかかる、５×５画素の受光領域のデジタル映像信号のグループ分けのさらに別の一例を示す図。
【図９】本実施形態にかかる、５×５画素の受光領域と選択し得る演算式との関係について説明するために示す図。
【符号の説明】
【００８６】
１１…カラー固体撮像素子、２１…Ａ／Ｄ変換器、３１…クロック＆タイミング発生器、４１…信号処理回路、４１ａ…プリγ補正回路、４１ｂ…４Ｈラインメモリ、４１ｃ…画像パターン検出回路、４１ｄ…水平輪郭抽出回路、４１ｅ…垂直輪郭抽出回路、４１ｆ…偽輪郭自動抑圧回路、４１ｇ…逆γ補正回路、４１ｈ，４１ｉ，４１ｊ…色補正回路、４１ｋ…ＲＧＢ同時化回路、５１…帯域制限ＬＰＦ、６１…γ補正回路、７１…ＹＵＶ発生・輪郭加算回路。
【図１】
2007184721.tif 000003
【図２】
2007184721.tif 000004
【図３】
2007184721.tif 000005
【図４】
2007184721.tif 000006
【図５】
2007184721.tif 000007
【図６】
2007184721.tif 000008
【図７】
2007184721.tif 000009
【図８】
2007184721.tif 000010
【図９】
2007184721.tif 000011