(57)【要約】【課題】単板カラーカメラの色偽信号を低減する。 【解決手段】 Ｇ光の感度を有する画素信号を高精度の補間処理回路１４を用いて全画素のＧ信号を生成し、Ｒ，Ｂ光の画素位置でそれぞれ色差信号を算出し、Ｇ信号の相関関係に基づき補間処理回路１８，１９により補間処理を行ったのち、全画素の色差信号を合成する。Ｇ信号と２つの色差信号のエッジ位置が揃うので、高彩度の色のエッジでも色偽信号のない高画質なカラー画像が得られる。 【選択図】  図１
2005333418.tif 000002
【特許請求の範囲】
【請求項１】
第１の分光感度特性を有する画素と、第２または第３の分光感度特性のいずれか一方を有した画素が互いに隣接して配置された固体撮像素子を有し、前記固体撮像素子の出力信号から前記固体撮像素子の全画素に対する前記第２または第３の分光感度の画像位置の前記第１の分光感度特性の信号を生成するとともに、前記生成された信号がどの方向の前記第１の分光感度特性の画素信号と相関が強いかを示す相関方向信号を生成し、前記第２および第３の分光感度の画素位置でそれぞれ前記第１の分光感度の画素信号との差信号を生成し、補間処理により全画素に対する前記２つの差信号を生成し、生成された全画素の前記第１の分光感度特性の信号と前記第２および第３の分光感度に対する差信号に変換を施してカラー画像信号を得るカラー固体撮像装置において、前記第２および第３の分光感度の画素位置のそれぞれ前記第３および第２の分光感度に対応する差信号は少なくとも前記相関方向信号に基づいて生成することを特徴とするカラー固体撮像装置。
【請求項２】
前記第２または第３の分光感度の画素位置の前記相関方向信号が相関方向が特定できなかったことを示している場合には、前記生成されたそれぞれ前記第２または第３の分光感度特性に対応する差信号の周辺画素との相関関係に基づいて、それぞれ前記第３または第２の分光感度に対応するの差信号の補間値を生成することを特徴とする請求項１のカラー固体撮像装置。
【請求項３】
第１の分光感度特性の信号 の画素補間信号と相関が強い方向を示す信号は、補間対象画素に隣接する４画素の画素信号の明暗順序バターンを優先的に、補間対象画素を囲む８画素の信号に基づき決定したことを特徴とする請求項１または２に記載のカラー固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオムービー・電子スチルカメラ・電子内視鏡等に使用される３色から構成されたモザイク色フィルタを有する固体撮像素子を使用したカラー固体撮像装置に関し、得に色偽信号の低減手法に関する。
【背景技術】
【０００２】
従来のカラー固体撮像装置の色偽信号の低減手法として特開２００２−１１２２７６がある。これは、図１２のように、固体撮像素子の出力映像信号のＧ（緑）画素をサブサンプルし、高精度に補間処理を行って全画素に対するＧ信号を得る。Ｒ（赤）画素とＢ（青）画素の位置で、それぞれ補間されたＧ信号を減算し色差信号を得て、得られた色差信号にそれぞれに補間処理を施して全画素に対する色差信号を生成し、マトリクス演算を施して、全画素に対するＲ、Ｇ、Ｂの３原色信号又はＹ（輝度）、Ｃｂ（青色差）、Ｃｒ（赤色差）の３信号などを得ていた。このため、無彩色画像に対しては色差信号が０のため、エッジ部（明暗が急変する部分）でも色偽信号は発生せず、エッジ部で色を淡くする処理が不要で自然な画像が得られるというものである。
【０００３】
しかしながら図１３のような高彩度のエッジ部では、色偽信号が次のように発生する。図１３（ａ）は、撮像素子上に投影される画像の一部で、緑とマゼンタ（赤と青の加法混色の色）のエッジを示している。図１３（Ｂ）は、撮像素子のＲ・Ｇ・Ｂ画素を丸・正方形・５角形でそれぞれ示し、信号値を塗りつぶしの明るさで示している。つまり、緑領域では白い正方形のＧ画素は信号値が１で、黒い丸と５角形のＲ画素とＢ画素の信号値０を示している。マゼンタ領域では白い丸と５角形のＲ画素とＢ画素は信号量が１で、黒い正方形のＧ画素は信号量０を示している。境界部は中間的な信号レベルとなりハッチングで信号量を表している。
【０００４】
Ｇ画素をサブサンプルし、補間処理を行い図１３（ｃ）の全画素のＧ信号を得る。撮像素子出力映像信号から全画素のＧ信号を減算し、Ｒ画素位置とＢ画素位置でサブサンプリングされ、それぞれ図１３（ｄ）のＲ−Ｇ画像と図１３（ｅ）のＢ−Ｇ画像が生成される。ハッチングは色差信号の信号値を示し、黒が−１に白が＋１に対応している。図１３（ｃ）〜（ｅ）中の実線は、それぞれＧ信号と２つの色差信号の画像のエッジ形状を示している。サンプリングの粗い２つの色差信号のエッジ形状が原画像のエッジ形状と異なるため、図１３（ｆ）のように高彩度のエッジ部で偽色信号が発生するという問題点があった。
【特許文献１】特開２００２−１１２２７６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記した従来のカラー固体撮像装置においては、高彩度の色間のエッジ部に色偽信号が生じるという問題があった。
【課題を解決するための手段】
【０００６】
上記の課題を解決するためにこの発明のカラー固体撮像装置では、第１の分光感度を有する画素と、第２または第３の分光感度を有した画素が互いに隣接して配置されたモザイク色フィルタの付いた固体撮像素子を有し、前記固体撮像素子の出力信号から補間処理により前記固体撮像素子の全画素に対する前記第１の分光感度の画像信号を生成すると共に、補間された信号と相関の強い方向を表す相関信号を生成し、前記第２および第３の分光感度の画素位置でそれぞれ前記第１の分光感度の画素信号との差信号を生成し、前記第２および第３の色光に対応する差信号から前記相関信号に基づいて全画素に対する色差画素信号を得ることを特徴とする。
【発明の効果】
【０００７】
上記した手段により、補間された前記第１の分光感度の画像信号の画素相関の強い方向と補間された前記第２及び第３の分光感度に対する色差画像信号の画素相関の強い方向が揃うようになり、結果として前記第１の分光感度の画像信号のエッジと前記第２及び第３の分光感度に対する色差画像信号のエッジが一致する。したがって、高彩度の色間のエッジ部に生じていた色偽信号が低減できる。
【発明を実施するための最良の形態】
【０００８】
第１の分光感度を有する画素と、第２または第３の分光感度を有した画素が互いに隣接して配置された固体撮像素子を使用する。最初に、全画素に対する前記第１の分光感度の画像信号を生成すると共に、補間された信号と相関の強い方向を表す相関信号を生成する。前記第２および第３の分光感度の画素位置でそれぞれ前記生成された第１の分光感度の画素信号との差信号を生成する。補間処理により前記第２および第３の色光に対応する全画素に対する色差画素信号を生成する際に、前記相関信号に従って補間値を計算する画素を選択することで、第１の分光感度の信号と２つの色差信号の画像エッジを一致させられる。したがって、高彩度の色間のエッジ部にも色偽信号のほとんど発生しないカラー固体撮像装置が実現できる。
【実施例１】
【０００９】
以下、この発明の実施の形態に付いて、図面を参照しながら詳細に説明する。
【００１０】
図１は、本発明の第１の実施例に係るカラー固体撮像装置のブロック図である。１は固体撮像素子であり、駆動回路１１を経由してタイミング発生器１０が発生した撮像素子駆動パルスで駆動され、所定タイミングで映像信号が出力される。この固体撮像素子１には、図中に示すように、Ｇ画素が市松状に配置され、１行毎にＲとＢがＧを穴埋めする形のモザイク色フィルタ２が付けられ、ＧＲＧＲ・・・とＢＧＢＧ・・・の信号を１行毎に出力する。図示していないが、この信号は複数の遅延線やフレームメモリー等の記憶手段を用いて処理対象画素とその周辺画素の信号量が参照できるようにされている。以下、図２に示すように補間位置がＲ画素として説明する。
【００１１】
補間処理手段３は、固体撮像素子１のＧ画素位置に対しては画素信号をそのまま出力し、Ｒ画素またはＢ画素の位置に対しては図３の流れ図にしたがって次のように高精度の補間値と相関方向を決定して出力する。相関方向を初期化したのち、補間位置に隣接する４つのＧ画素（ＧＵ，ＧＲ，ＧＬ，ＧＤ）の明暗順序パターンに基づいて処理する。図３の菱形状に並べられた１組の４つの丸が補間位置に隣接する４画素を示し、白丸は最も明るい画素を示し、黒丸は最も暗い画素を示している。ハッチングの丸は中間の明るさを示し、ハッチングの濃さに応じて明るさが異なっている。
【００１２】
明暗順序パターンＰ１は、ＧＵとＧＲの信号値が等しく、ＧＬとＧＤの信号値が等しい場合で、右下がりの境界線に相当する。隣接するＧ画素から相関の強い方向は決定できないが、Ｂ１〜Ｂ４が右下がりの境界線を有するのなら、Ｂ画素の相関の強いにより判定できる。図４は、右下がりの境界線の位置とＢ１〜Ｂ４の信号値の相関関係を示している。図４（ａ）は、境界線がＲ画素の左下にある場合であり、Ｂ１・Ｂ２・Ｂ４の信号値の相関が強く、右上の向きに相関が強い。図４（ｂ）は、境界線がＲ画素の右上にある場合であり、Ｂ１・Ｂ３・Ｂ４の信号値の相関が強く、左下の向きに相関が強い。図４（ｃ）は、境界線がＲ画素にある場合であり、相関が強い向きは無い。したがって、Ｂ１〜Ｂ４の信号値の相関の強い方向が右上または左下の場合は、Ｂの相関の強い向きでＲ画素位置の補間値と相関方向情報を決定する。その他の場合は、次の相関に方向性が無い場合の処理をする。
【００１３】
相関に方向性が無い場合の処理は、隣接する４つのＧ画素の信号値の平均または中間２値の平均を補間値とする。Ｒ画素の信号量と補間値との差が小さく、Ｂ１・Ｂ２画素位置での色差信号も小さい場合には、淡色の部分と考えられるので、Ｂ１〜Ｂ４の信号値の斜め縞成分を加え、広帯域の信号にする。
【００１４】
また、明暗順序パターンＰ２は、明暗順序パターンＰ１の左右を入れ替えたものとして処理を行う。
【００１５】
明暗順序パターンＰ３は、隣接する４つのＧ画素がほぼ同一の信号値の場合であり、相関に方向性は無く、前述の相関に方向性が無い場合の処理をする。
【００１６】
明暗順序パターンＰ４は、隣接する４つのＧ画素の上下と左右の信号値がそれぞれ近い場合であり、Ｒ画素位置に縦線または横線がある場合である。４つのＧ画素の信号値の内で１つだけ大きく違う画素が、上か下の場合は横縞と、左か右の場合は縦縞と判断できる。それ以外の場合は、斜め隣接画素Ｂ１〜Ｂ４の縞成分で判断する。縦縞と判断された場合には、補間値を上下画素（ＧＵ，ＧＤ）の平均とし、補間値が左右のＧ画素（ＧＬ，ＧＲ）の信号値のどちらに近いかで相関方向を決定する。横縞と判断された場合には、補間値を左右のＧ画素（ＧＬ，ＧＲ）の平均とし、補間値が上下のＧ画素（ＧＵ，ＧＤ）の信号値のどちらに近いかで相関方向を決定する。縦縞とも横縞とも判定されなかった場合は、前述の相関に方向性が無い場合の処理をする。
【００１７】
明暗順序パターンＰ５は、左と上のＧ画素（ＧＬ，ＧＵ）の信号値が最も明るい画素と最も暗い画素で、Ｒ画素を中心に回転する方向に明るさが順次変化する場合である。このようなパターンになる画像としては、左上方向に段差による影が生じている場合などが考えられるため、Ｒ画素位置の相関の強い方向は右下とする。しかしながら、Ｒ画素位置には明確なエッジが無いので、補間値としては前述の相関に方向性が無い場合の処理により決める。
【００１８】
明暗順序パターンＰ６〜Ｐ８は、明暗順序パターンＰ５を回転させたものなので、相関方向はそれぞれ明るさが中間の２画素の方向とし、補間値としては前述の相関に方向性が無い場合の処理により決める。
【００１９】
明暗順序パターンＰ９は、上下のＧ画素の信号値が最も明るい画素と最も暗い画素で、左右のＧ画素の信号値が中間値の場合である。このようなパターンとなる画像は、横方向に境界線が伸びているエッジ画像であり、補間値を左右の画素（ＧＬ，ＧＲ）の信号値の平均とし、補間値が上下どちらのＧ画素の信号値に近いかで相関方向を決定する。
【００２０】
明暗順序パターンＰ１０は、上下のＧ画素の信号値が最も明るい画素と最も暗い画素で、左右のＧ画素の信号値の少なくとも一方が下のＧ画素の信号値と同じ場合である。横方向に境界線が伸びているエッジ画像であり、補間値を左右の画素（ＧＬ，ＧＲ）の信号値の平均とし、補間値は必ず下のＧ画素（ＧＤ）の信号値と近くなるため、相関方向を下に設定する。
【００２１】
明暗順序パターンＰ１１は、上下のＧ画素の信号値が最も明るい画素と最も暗い画素で、左右のＧ画素の信号値の少なくとも一方が上のＧ画素の信号値と同じ場合である。横方向に境界線が伸びているエッジ画像であり、補間値を左右の画素（ＧＬ，ＧＲ）の信号値の平均とし、補間値は必ず上のＧ画素（ＧＵ）の信号値と近くなるため、相関方向を上に設定する。
【００２２】
明暗順序パターンＰ１２は、左右のＧ画素の信号値が最も明るい画素と最も暗い画素で、上下のＧ画素の信号値が中間値の場合である。このようなパターンとなる画像は、縦方向に境界線が伸びているエッジ画像であり、補間値を上下の画素（ＧＵ，ＧＤ）の信号値の平均とし、補間値が左右どちらのＧ画素の信号値に近いかで相関方向を決定する。
【００２３】
明暗順序パターンＰ１３は、左右のＧ画素の信号値が最も明るい画素と最も暗い画素で、上下のＧ画素の信号値の少なくとも一方が左のＧ画素の信号値と同じ場合である。横方向に境界線が伸びているエッジ画像であり、補間値を上下の画素（ＧＵ，ＧＤ）の信号値の平均とし、補間値は必ず左のＧ画素の信号値と近くなるため、相関方向を左に設定する。
【００２４】
明暗順序パターンＰ１４は、左右のＧ画素の信号値が最も明るい画素と最も暗い画素で、上下のＧ画素の信号値の少なくとも一方が右のＧ画素の信号値と同じ場合である。横方向に境界線が伸びているエッジ画像であり、補間値を上下の画素（ＧＵ，ＧＤ）の信号値の平均とし、補間値は必ず右のＧ画素の信号値と近くなるため、相関方向を右に設定する。
【００２５】
以上述べたように、Ｒ画素位置のＧ信号の補間値と相関方向は、Ｒ画素に隣接するＧ画素の明暗順序パターンとＲ画素を取り囲むＧ画素とＢ画素の信号値の分析により高精度に決定できる。
【００２６】
また、Ｂ画素位置のＧ信号の補間値と相関方向は、上記Ｒ画素位置の決定手法のＲ画素とＢ画素を入れ替え、同様の手法で高精度に決定でき、全画素に対する極めてボケの少ないＧ信号が得られる。
【００２７】
従って、補間処理手段３からは、ＲＢ画素位置の高精度に近似されたＧ信号が出力される。図示していないが遅延手段やフレームメモリー等の記憶手段により、補間処理手段３から出力されるＧ信号と同位置の固体撮像素子出力が減算器４に供給され、このＧ信号を減算し、間引き手段５でＲ画素位置の信号をサンプリングするとＲ−Ｇ信号が、間引き手段６でＢ画素位置の信号をサンプリングするとＢ−Ｇ信号が得られる。
【００２８】
補間処理手段７は、相関方向信号に従ってＢ画素位置のＲ−Ｇ信号を生成したのち、Ｇ画素位置のＲ−Ｇ信号を生成する。図５はＢ画素位置の相関方向信号と生成するＲ−Ｇ信号の関係を示している。白矢印は補間処理手段３から出力される相関方向を示しており、数値付きの矢印線は信号の合成比率を示している。例えば、図５（ａ）は左上方向に相関が強い場合であり、左上に隣接する画素のＲ−Ｇ信号の０．５倍と、左下と右上に隣接する画素のＲ−Ｇ信号のそれぞれ０．２５倍を加えることで、左上方向と相関の強いＲ−Ｇ信号を生成する。図５（ｃ），図５（ｇ），図５（ｉ）は、それぞれ相関の強い方向が右上，左下，右下の場合であり、３画素のＲ−Ｇ信号を同様の比率で加算して補間値を生成する。図５（Ｂ）は上方向に相関が強い場合であり、左上と右上に隣接する画素のＲ−Ｇ信号のそれぞれ０．５倍を加え、上方向と相関の強いＲ−Ｇ信号を生成する。図５（ｄ），図５（ｆ），図５（ｈ）は、それぞれ相関の強い方向が左，右，下の場合であり、２画素のＲ−Ｇ信号平均で補間値を生成する。また、図５（ｅ）は相関が強い方向が特定できなかった場合であり、斜めに隣接する４画素のＲ−Ｇ信号の平均をとり、相関方向の無いＲ−Ｇ信号を生成する。また、Ｇ画素位置のＲ−Ｇ信号は、隣接するＲ画素位置とＢ画素位置のＲ−Ｇ信号の４画素平均や中間２値の平均などで算出する。
【００２９】
補間処理手段８は、補間処理手段７と同様に相関方向信号に従ってＲ画素位置のＢ−Ｇ信号を生成したのち、Ｇ画素位置のＢ−Ｇ信号を生成し、全画素位置のＢ−Ｇ信号を得る。
【００３０】
図６は、具体例として緑（Ｇ画素のみ信号あり）とマゼンタ（Ｒ画素とＢ画素に信号あり）の高彩度の色間のエッジ部の画像生成過程を示している。図６（ａ）は、高彩度の色間のエッジと画素の対応を示しており、左には緑，右にはマゼンタの光が入射する。撮像素子のＲ・Ｇ・Ｂ画素を丸・正方形・５角形でそれぞれ示している。図６（Ｂ）は、各画素の信号量を塗りつぶしの明るさで示している。つまり、緑領域では白い正方形のＧ画素は信号値が１で、黒い丸と５角形のＲ画素とＢ画素は信号値０を示している。マゼンタ領域では白い丸と５角形のＲ画素とＢ画素は信号量が１で、黒い正方形のＧ画素は信号量０を示している。境界部は中間的な信号レベルとなりハッチングで信号量を表している。
【００３１】
図６（ｃ）は、正方形で示されるＧ画素位置の信号量とＲ・Ｂ画素位置での相関の強い方向とを示している。Ｒ・Ｂ画素位置が空白のものは相関の強い方向が無いことを示している。また、矢印は相関の強い方向を示し、色の境界線に沿って両側に外側の方向に強い相関がある。左または右に相関が強い画素位置では、上下に隣接するＧ画素の信号値の平均で補間値が決定され、相関の強い方向が特定できない画素位置では上下左右に隣接するＧ画素の信号値の平均で補間値が決定され、図６（ｄ）の全画素のＧ信号は、入射光像の緑光パターンを精度良く再生する。
【００３２】
減算手段４は、撮像素子出力映像信号から全画素のＧ信号を減算し、Ｒ画素位置とＢ画素位置でそれぞれＲ−Ｇ信号とＢ−Ｇ信号が生成される。間引き手段５，６は、Ｒ画素位置とＢ画素位置の信号をそれぞれ抽出し、図６（ｅ）のＲ−Ｇ画像と図６（ｇ）のＢ−Ｇ画像が生成される。ハッチングは色差信号の信号値を示し、黒が−１に白が＋１に対応している。補間処理手段７は、まずＢ画素位置のＧ信号の相関情報に基づいてＲ−Ｇ信号の補間値を決定する。図６（ｆ）はこの時点でのＲ−Ｇ信号値を示しており、左または右と強い相関のあるＢ画素位置では、平均するＲ−Ｇ信号との組み合わせを分かりやすくするために囲んで示している。Ｒ−Ｇ信号のエッジの中心線は図中の直線であり、再生されたＧ信号のエッジの中心線と同じになる。Ｇ画素位置のＲ−Ｇ信号は、隣接するＲ画素位置とＢ画素位置のＲ−Ｇ信号から生成され、全画素のＧ信号画像とＲ−Ｇ信号画像のエッジの中心線は一致する。同様に、図６（ｈ）はＲ画素位置のＢ−Ｇ信号の補間値を決定した段階を示している。Ｂ−Ｇ信号のエッジの中心線は図中の直線であり、再生されたＧ信号とエッジの中心線と同じになる。
【００３３】
このように生成された全画素のＧ信号と２つの色差信号のエッジ位置は一致しているため、マトリクス手段９で必要とされる３つのカラー信号に変換しても、高彩度の色間のエッジ部でも偽色信号は発生しない高画質な画像の得られるカラー固体撮像装置が実現できる。
【実施例２】
【００３４】
図７は、本発明の第２の実施例に係るカラー固体撮像装置のブロック図である。図１と同一機能のブロックには同一の符号を付している。異なっているのは、固体撮像素子１の画素が行列状の配列ではなく市松配列である点と、モザイク色フィルタが光の３原色をそれぞれ遮断する３種の補色フィルタ（Ｃ（シアン）・Ｙ（イエロー）・Ｍ（マゼンタ））から構成されている点と、相関検出手段２２，２３が設けられている点である。
【００３５】
市松配列の画素を有する固体撮像素子１の出力は複数の遅延線やフレームメモリー等の記憶手段を用いて処理対象画素とその周辺画素の信号量が参照できるようにされている。補間処理手段３は、固体撮像素子１のＹ画素位置に対しては画素信号をそのまま出力し、Ｃ画素またはＭ画素の位置に対しては図８の流れ図に従って高精度の補間値と相関方向を決定して出力する。この補間処理は、隣接画素位置を４５度回転させた以外は図３の補間処理と同じなので、説明は省略する。
【００３６】
補間処理手段３から出力されるＹ信号と、図示していない遅延手段やフレームメモリー等の記憶手段により同位置の固体撮像素子出力が減算器４に供給され、差信号が出力される。間引き手段５でＣ画素位置の信号をサンプリングするとＣ−Ｙ信号すなわちＢ−Ｒ信号が、間引き手段６でＭ画素位置の信号をサンプリングするとＭ−Ｙ信号すなわちＢ−Ｇ信号が得られる。
【００３７】
相関検出手段１２には、図示していない遅延手段やフレームメモリー等の記憶手段により、間引き手段５で生成された図９に実践の丸で示される画素位置のＢ−Ｇ信号が供給される。相関検出手段１２は、中心画素位置ＣＯのＢ−Ｇ信号値が、画素位置ＣＵとＣＨのＢ−Ｇ信号値のどちらに近いかと、画素位置ＣＩとＣＴのＢ−Ｇ信号値のどちらに近いかをまず判定する。例えば、画素位置ＣＵとＣＴに近い場合には右方向に相関が強いと判定し、画素位置ＣＵと近いがＣＩ・ＣＴのどちらにも近いとは判定できない場合には右上方向に相関が強いと判定し、画素位置ＣＵ，ＣＨ，ＣＵ，ＣＴのいずれにも近いと判定できない場合には相関が強い方向は無いと判定する。
【００３８】
補間処理手段７には相関方向信号として、補間処理手段３と相関検出手段１２からの出力が入力されが、より近傍の画素情報に基づいて決定されている補間処理手段１３が生成する相関方向情報を優先する。このため、相関検出手段１２をソフトウエアとして実装する場合には、補間処理手段３で相関の強い方向が特定できなかった場合のみ相関検出手段１２を実行するように実装しても良い。補間処理手段７は、上下左右に隣接するＭ画素位置のＢ−Ｒ色差信号を、相関情報に基づいて図１０に示す信号比率で重み付き加算することで補間値を決定する。白矢印は相関方向情報を示しており、数値付きの矢印線は信号の合成比率を示している。例えば、図１０（ａ）は左上方向に相関が強い場合であり、左と上に隣接する画素のＢ−Ｒ信号のそれぞれ０．５倍を加えることで、左上方向と相関の強いＢ−Ｒ信号を生成する。図１０（ｃ），図１０（ｇ），図１０（ｉ）は、それぞれ相関の強い方向が右上，左下，右下の場合であり、２画素のＢ−Ｒ信号の平均で補間値を生成する。図１０（ｂ）は上方向に相関が強い場合であり、上に隣接する画素のＢ−Ｒ信号の０．５倍と、左と右に隣接する画素のＢ−Ｒ信号のそれぞれ０．２５倍を加え、上方向と相関の強いＢ−Ｒ信号を生成する。図１０（ｄ），図１０（ｆ），図１０（ｈ）は、それぞれ相関の強い方向が左，右，下の場合であり、３画素のＢ−Ｒ信号を同様の比率で加算し補間値を生成する。また、図１０（ｅ）は相関が強い方向が特定できなかった場合であり、上下左右に隣接する４画素のＢ−Ｒ信号の平均をとり、相関方向の無いＢ−Ｒ信号を生成する。また、Ｇ画素位置のＢ−Ｒ信号は、隣接するＣ画素位置とＭ画素位置のＢ−Ｒ信号の４画素平均や中間２値の平均などで算出する。
【００３９】
相関検出手段１３と補間処理手段８は、相関検出手段１２と補間処理手段７の処理と同様に、相関方向に従ってＣ画素位置のＢ−Ｇ信号を生成したのち、Ｇ画素位置のＢ−Ｇ信号を生成し、全画素位置のＢ−Ｇ信号を得る。
【００４０】
図１１は、具体例として緑（Ｙ画素とＣ画素に信号あり）と赤（Ｙ画素とＭ画素に信号あり）の高彩度の色間のエッジ部の画像生成過程を示している。図１１（ａ）は、高彩度の色間のエッジと画素の対応を示しており、左には赤，右には緑の光が入射する。撮像素子のＣ・Ｙ・Ｍ画素を５角形・正方形・丸でそれぞれ示している。図１１（ｂ）は、各画素の信号量を塗りつぶしの明るさで示している。つまり、赤領域では白い丸と正方形のＭ画素とＹ画素は信号量が１で、黒い５角形のＧ画素は信号量０を示している。緑領域では白い正方形と５角形のＹ画素とＣ画素は信号値が１で、黒い丸のＭ画素は信号値０を示している。境界部は中間的な信号レベルとなりハッチングで信号量を表している。
【００４１】
図１１（ｃ）は、正方形で示されるＹ画素位置の信号量を示している。Ｙ画素の信号量はどれも同じため、Ｙ画素信号からはＣ・Ｍ画素位置での相関方向は特定できず、空白となっている。相関の強い方向が特定できないので上下左右に隣接するＹ画素の信号値の平均で補間値が決定され、図１１（ｄ）の全画素のＹ信号は、フラットな状態となる。
【００４２】
減算手段４は、撮像素子出力映像信号から全画素のＹ信号を減算し、間引き手段５，６は、Ｃ画素位置とＭ画素位置の信号をそれぞれ抽出し、図１１（ｅ）のＢ−Ｒ画像と図１１（ｆ）のＢ−Ｇ画像が生成される。ハッチングは色差信号の信号値を示し、黒が−１に白が０に対応している。また、白矢印は相関検出手段２２，２３の検出した相関の強い方向を示している。個々の色差信号毎に補間処理をした場合には、点線がエッジの中心線となり、色偽信号が生じることを示している。
【００４３】
補間処理手段７は、Ｙ信号の相関方向情報が特定できないので、相関検出手段１２の検出したＢ−Ｇ信号の相関方向情報に基づいてＭ画素位置のＢ−Ｒ信号の補間値を決定する。図１１（ｇ）は、この時点でのＢ−Ｒ信号値を示している。相関の強い方向のあるＭ画素位置では、重み付け加算するＢ−Ｒ信号の組み合わせを分かりやすくするために囲んで示している。Ｂ−Ｒ信号のエッジの中心線を図中の点線で示す。Ｙ画素位置のＢ−Ｒ信号は、隣接するＣ画素位置とＭ画素位置のＢ−Ｒ信号から生成されるため、全画素のＢ−Ｒ信号のエッジの中心線は図１１（ｇ）の点線とほぼ同じになる。同様に、図１１（ｈ）はＣ画素位置のＢ−Ｇ信号の補間値を決定した段階を示しており、Ｂ−Ｇ信号のエッジの中心線は図中の点線であり、Ｂ−Ｒ信号とエッジの中心線とほぼ同じになる。
【００４４】
このようにＹ画素の信号値に変化がない画像に対しても、生成された全画素の２つの色差信号のエッジ位置は一致する。また、Ｙ画素の信号値に変化がある場合には、実施例１での説明と同様に生成された全画素のＹ画素と２つの色差信号のエッジ位置は一致する。マトリクス手段９で色変換が行われ出力される際にも、３信号間でエッジ形状は一致しているため、高彩度の色間のエッジ部にも偽色信号は発生せず、高画質な画像が得られるカラー固体撮像装置が実現できる。
【００４５】
以上説明したように、本発明のカラー固体撮像装置では、３色から構成されるモザイク色フィルタを有した固体撮像素子の出力から得られる１つの色信号と２つの色差信号に周辺画素との相関の強い方向を同一にするように色差信号の補間処理を行うことで、画像エッジの３信号の変化点を一致でき、偽色信号を低減できる。
【産業上の利用可能性】
【００４６】
本発明の処理アルゴリズムの実装形態は問わない。例えば実時間性が重要なビデオムービーや電子内視鏡等ではハードウエアでの実装が望ましく、柔軟な画質調整が要求される電子スチルカメラではソフトウエアでの実装が望まれる場合もある。また、色フィルタとして３原色フィルタと３補色フィルタを例示したが、例えばＲ（赤）・Ｇ（緑）・Ｃ（シアン）という組み合わせでも良く、また必要とされる分光特性が実現できればどのような３色も選択でき、紫外・可視光・赤外という組み合わせでも良く、固体撮像素子の画素配置との限定関係もない。また、色差信号間で相関の強い方向を合わせる補間処理は、市松画素配置の固体撮像素子に対して例示したが、固体撮像素子の配置画素と色差信号間の相関一致処理の有無の関係はこれに限定されない。
【図面の簡単な説明】
【００４７】
【図１】カラー固体撮像装置のブロック図（実施例１）
【図２】周辺画像の位置関係を説明するための図（実施例１）
【図３】高精度画素補間処理の流れ図（実施例１）
【図４】右下がりの境界線の位置と信号値の相関関係を説明するための図（実施例１）
【図５】色差補間処理の補間値決定法を説明するための図（実施例１）
【図６】色差信号の補間処理の効果を説明するための図（実施例１）
【図７】カラー固体撮像装置のブロック図（実施例２）
【図８】高精度画素補間処理の流れ図（実施例２）
【図９】色差信号の相関方向を求める画素位置の関係図（実施例２）
【図１０】色差補間処理の補間値決定法を説明するための図（実施例２）
【図１１】色差信号間の相関方向一致処理の効果を説明するための図（実施例２）
【図１２】従来のカラー固体撮像装置のブロック図（従来例）
【図１３】高彩度エッジ部に生じる色偽信号を説明するための図（従来例）
【符号の説明】
【００４８】
１  固体撮像素子
２  モザイク色フィルタ
３  補間処理手段
４  減算手段
５  間引き手段
６  間引き手段
７  補間処理手段
８  補間処理手段
９  マトリクス
１０  タイミング発生器
１１  駆動回路
１２  相関検出手段
１３  相関検出手段
１４  間引き手段
【図１】
2005333418.tif 000003
【図２】
2005333418.tif 000004
【図３】
2005333418.tif 000005
【図４】
2005333418.tif 000006
【図５】
2005333418.tif 000007
【図６】
2005333418.tif 000008
【図７】
2005333418.tif 000009
【図８】
2005333418.tif 000010
【図９】
2005333418.tif 000011
【図１０】
2005333418.tif 000012
【図１１】
2005333418.tif 000013
【図１２】
2005333418.tif 000014
【図１３】
2005333418.tif 000015