(57)【要約】【課題】高画素カラー固体撮像素子を用いた動画撮像は、垂直間引きに代表されるような、間引き読み出しが一般的である。しかし、リサンプリングによる高周波映像信号の低域への折り返しノイズが避けられないばかりでなく、画素信号を廃棄することで、実効感度が著しく低下する。【解決手段】高画素カラー固体撮像素子の画素エリアを画素混合する単位に分割し、各エリア１６〜１９内で同色の全画素を混合することで、画素利用率を１００％に上げると同時に、エリア画素混合の空間ＬＰＦ効果により、高周波映像信号の低域への折り返しノイズを大幅に抑圧する。【選択図】        図１
2004312140.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、かつ前記カラーフィルタの配列が２行２列を一単位とする二次元繰り返し配列を有する固体撮像素子を備え、
前記固体撮像素子の水平ｐ画素（ｐ＝４ｎ＋１、ｎは自然数）、垂直ｑ画素（ｑ＝４ｍ＋１、ｍは自然数）が画素混合エリアの基本単位であって、
前記画素混合エリアの水平ｐ画素、垂直ｑ画素を一単位とし、前記画素混合エリア基本単位が水平方向に（ｐ＋１）／２画素、垂直方向に（ｑ＋１）／２画素ずれてオーバーラップしながら二次元の繰り返し配列を構成する手段と、
前記画素混合エリアの基本単位内において、水平垂直共に中心に位置するカラーフィルタと前記中心に位置する画素から、偶数行及び偶数列離れた位置にある同色のカラーフィルタの全画素を混合する手段とを設けたことを特徴とするカラー固体撮像装置。
【請求項２】
行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、前記カラーフィルタの配列が４行２列を一単位とし、かつ前記４行２列のカラーフィルタの配列単位内の１行１列目と３行２列目が同色カラーフィルタ、かつ１行２列目と３行１列目が同色カラーフィルタ、かつ２行１列目と４行２列目が同色カラーフィルタ、かつ２行２列目と４行１列目が同色カラーフィルタである二次元繰り返し配列を有する固体撮像素子を備え、
前記固体撮像素子の水平ｐ画素（ｐ＝４ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝４ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、
前記画素混合エリアの水平ｐ画素、垂直ｑ画素を一単位とし、前記画素混合エリア基本単位が水平方向にｐ／２画素、垂直方向にｑ／２画素ずれてオーバーラップしながら二次元の繰り返し配列を構成する手段と、
前記画素混合エリアの基本単位内において、ｐ行ｑ列の画素混合基本エリア内の１行１列目又は１行２列目又は２行１列目又は２行２列目の画素と同色のカラーフィルタの全画素を全ての画素混合基本エリアで同様の画素混合パターンにて画素混合し、かつ１つの画素混合基本エリアに１色のみである画素混合手段とを設けたことを特徴とするカラー固体撮像装置。
【請求項３】
行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、前記カラーフィルタの配列が２行４列を一単位とし、かつ前記２行４列のカラーフィルタの配列単位内の１行１列目と２行３列目が同色カラーフィルタ、かつ２行１列目と１行３列目が同色カラーフィルタ、かつ１行２列目と２行４列目が同色カラーフィルタ、かつ２行２列目と１行４列目が同色カラーフィルタである二次元繰り返し配列を有する固体撮像素子を備え、
前記固体撮像素子の水平ｐ画素（ｐ＝４ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝４ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、
前記画素混合エリアの水平ｐ画素、垂直ｑ画素を一単位とし、前記画素混合エリア基本単位が水平方向にｐ／２画素、垂直方向にｑ／２画素ずれてオーバーラップしながら二次元の繰り返し配列を構成する手段と、
前記画素混合エリアの基本単位内において、ｐ行ｑ列の画素混合基本エリア内の１行１列目又は１行２列目又は２行１列目又は２行２列目の画素と同色のカラーフィルタの全画素を全ての画素混合基本エリアで同様の画素混合パターンにて画素混合し、かつ１つの画素混合基本エリアに１色のみである画素混合手段とを設けたことを特徴とするカラー固体撮像装置。
【請求項４】
行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、かつ前記カラーフィルタの配列が２行２列を一単位とする二次元繰り返し配列を有する固体撮像素子を備え、
前記固体撮像素子の水平ｐ画素（ｐ＝４ｎ−１、ｎは自然数）、垂直ｑ画素（ｑ＝４ｍ−１、ｍは自然数）が画素混合エリアの基本単位であって、
前記画素混合エリアの水平ｐ画素、垂直ｑ画素を一単位とし、前記画素混合エリア基本単位が水平方向に（ｐ−１）／２画素と（ｐ＋３）／２画素のずれ量を交互に繰り返し、垂直方向に（ｑ−１）／２画素と（ｑ＋３）／２画素のずれを交互に繰り返してオーバーラップしながら二次元の繰り返し配列を構成する手段と、
前記画素混合エリアの基本単位内において、斜め方向の四隅に位置するカラーフィルタと前記四隅に位置する画素から、偶数行及び偶数列離れた位置にある同色のカラーフィルタの全画素を混合する手段とを設けたことを特徴とするカラー固体撮像装置。
【請求項５】
行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、かつ前記カラーフィルタの配列が２行２列を一単位とする二次元繰り返し配列を有する固体撮像素子を備え、
前記固体撮像素子の水平ｐ画素（ｐ＝２ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝２ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、
前記画素混合エリアを水平ｐ画素、垂直ｑ画素を一単位とした二次元繰り返し配列とし、前記画素混合エリアの基本単位内において、
前記２行２列のカラーフィルタ配列単位の１行１列目の色の全画素を混合する画素混合手段と、
前記２行２列のカラーフィルタ配列単位の１行２列目の色の全画素を混合する画素混合手段と、
前記２行２列のカラーフィルタ配列単位の２行１列目の色の全画素を混合する画素混合手段と、
前記２行２列のカラーフィルタ配列単位の２行２列目の色の全画素を混合する画素混合手段とを設けたことを特徴とするカラー固体撮像装置。
【請求項６】
行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、前記カラーフィルタの配列が４行２列を一単位とし、かつ前記４行２列のカラーフィルタの配列単位内の１行１列目と３行２列目が同色カラーフィルタ、かつ１行２列目と３行１列目が同色カラーフィルタ、かつ２行１列目と４行２列目が同色カラーフィルタ、かつ２行２列目と４行１列目が同色カラーフィルタである二次元繰り返し配列を有する固体撮像素子を備え、
前記固体撮像素子の水平ｐ画素（ｐ＝２ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝２ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、
前記画素混合エリアを水平ｐ画素、垂直ｑ画素を一単位とした二次元繰り返し配列とし、前記画素混合エリアの基本単位内において、
前記４行２列のカラーフィルタ配列単位の１行１列目と３行２列目の色の全画素を混合する画素混合手段と、
前記４行２列のカラーフィルタ配列単位の１行２列目と３行１列目の色の全画素を混合する画素混合手段と、
前記４行２列のカラーフィルタ配列単位の２行１列目と４行２列目の色の全画素を混合する画素混合手段と、
前記４行２列のカラーフィルタ配列単位の２行２列目と４行１列目の色の全画素を混合する画素混合手段とを設けたことを特徴とするカラー固体撮像装置。
【請求項７】
行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、前記カラーフィルタの配列が２行４列を一単位とし、かつ前記２行４列のカラーフィルタの配列単位内の１行１列目と２行３列目が同色カラーフィルタ、かつ２行１列目と１行３列目が同色カラーフィルタ、かつ１行２列目と２行４列目が同色カラーフィルタ、かつ２行２列目と１行４列目が同色カラーフィルタである二次元繰り返し配列を有する固体撮像素子を備え、
前記固体撮像素子の水平ｐ画素（ｐ＝２ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝２ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、
前記画素混合エリアを水平ｐ画素、垂直ｑ画素を一単位とした二次元繰り返し配列とし、前記画素混合エリアの基本単位内において、
前記２行４列のカラーフィルタ配列単位の１行１列目と２行３列目の色の全画素を混合する画素混合手段と、
前記２行４列のカラーフィルタ配列単位の２行１列目と１行３列目の色の全画素を混合する画素混合手段と、
前記２行４列のカラーフィルタ配列単位の１行２列目と２行４列目の色の全画素を混合する画素混合手段と、
前記２行４列のカラーフィルタ配列単位の２行２列目と１行４列目の色の全画素を混合する画素混合手段とを設けたことを特徴とするカラー固体撮像装置。
【請求項８】
請求項４記載のカラー固体撮像装置において、
前記固体撮像素子の出力信号を輝度信号と色度信号に変換、又はＲＧＢ信号に変換する画像信号処理に際し、輝度信号及び色度信号の画素の又はＲＧＢの各々の画素の重心位置が２次元に均等な密度で配列されるフィルタリング手段を更に設けたことを特徴とするカラー固体撮像装置。
【請求項９】
請求項４又は８に記載のカラー固体撮像装置において、
前記固体撮像素子の出力信号をＡＤ変換し、輝度信号に変換するデジタル画像信号処理に際し、水平方向、又は垂直方向、又はその両方向に、混合された固体撮像素子出力の１画素毎に相当する繰り返しサイクルにて、輝度信号の輪郭補正信号を生成するデジタルフィルタリングのタップ係数、又はタップ数を、交互に変更する手段を更に設けたことを特徴とするカラー固体撮像装置。
【請求項１０】
請求項１、４、５、８のうちいずれか１項に記載のカラー固体撮像装置において、
前記カラーフィルタ配列がベイヤ−配列であることを特徴とするカラー固体撮像装置。
【請求項１１】
請求項１、４、５、８のうちいずれか１項に記載のカラー固体撮像装置において、
前記２行２列のカラーフィルタの配列が、シアン、マゼンダ、イエロー、及びグリーンの４色の組み合わせであることを特徴とするカラー固体撮像装置。
【請求項１２】
請求項２、３、６、７のうちいずれか１項に記載のカラー固体撮像装置において、
前記４行２列又は前記２行４列のうちの前よりの２行２列のカラーフィルタの配列が、シアン、マゼンダ、イエロー、及びグリーンの４色の組み合わせであることを特徴とするカラー固体撮像装置。
【請求項１３】
請求項１記載のカラー固体撮像装置において、
前記画素混合基本エリアの一単位が５行５列であり、かつ前記カラーフィルタ配列がベイヤ−配列であることを特徴とするカラー固体撮像装置。
【請求項１４】
請求項２又は３に記載のカラー固体撮像装置において、
前記画素混合基本エリアの一単位が６行６列であり、前記４行２列又は前記２行４列のうちの前よりの２行２列のカラーフィルタの配列が、シアン、マゼンダ、イエロー、及びグリーンの４色の組み合わせであることを特徴とするカラー固体撮像装置。
【請求項１５】
請求項４、８、９のうちいずれか１項に記載のカラー固体撮像装置において、
前記画素混合基本エリアの一単位が４行４列又は８行８列であり、かつ前記カラーフィルタ配列がベイヤ−配列であることを特徴とするカラー固体撮像装置。
【請求項１６】
請求項１〜１５のうちいずれか１項に記載のカラー固体撮像装置において、
前記固体撮像素子の画素混合出力と全画素独立出力とを切り替える手段を更に設けたことを特徴とするカラー固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等のカラー固体撮像装置に関するものである。
【０００２】
【従来の技術】
従来、受けた光を電気信号に変換し、映像信号として出力する固体撮像素子が知られており、この固体撮像素子から得た映像信号を静止画像として表示するデジタルスチルカメラ等のカメラが知られている。近年では、このような固体撮像素子を用いたカメラは、画質及び機能の更なる向上が要望され、急速な高画素化が進んでいる。
【０００３】
例えば、約５００万個の画素を有する固体撮像素子であれば、垂直方向の画素数が約１９２０画素、水平方向の画素数が約２５６０画素で、通常のＮＴＳＣ用の固体撮像素子の１６倍程度の画素数を有し、全画素出力時のフレームレートは従来の１２ＭＨｚ程度の画素クロックを用いると約１／２秒程度となる。このため、固体撮像素子から出力される映像信号を、カメラの表示装置（液晶モニタ等）にそのままのフレームレートで出力できない場合が多くなってきた。
【０００４】
そこで、このような固体撮像素子において、画素クロックの高速化に加えて垂直方向において信号の読み出し対象とする画素を間引くことにより、映像信号を高速に読み出す駆動方法が従来から用いられている。例えば、８ラインのうち２ラインの画素の信号のみを利用する。
【０００５】
また、画素混合の手法により個体撮像素子の出力画素数を削減する技術も知られている（特許文献１参照）。
【０００６】
【特許文献１】
特開２００１−３６９２０号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記のような画素間引き構成では、垂直方向に極端にリサンプリング（上記の例では１／４）されることになり、これに伴う、リサンプル時の垂直方向の空間ＬＰＦが存在していないため、映像信号の垂直方向に高周波信号が含まれる画像を撮像すると、垂直方向の高周波成分の低周波への折り返し成分が大量に発生し、輝度信号、色度信号共に偽信号が大量に発生するばかりでなく、水平方向と垂直方向の画素サンプリング密度の不均衡により水平解像度に対し垂直解像度が著しく低下するという課題が発生する。また、読み出さない行の画素の信号は廃棄されるため、実質的な感度が低下するという課題も発生する。上記の例での画素利用率は２５％となる。
【０００８】
更に、上記全ての課題は、従来の方式を用いれば、固体撮像素子の画素数が増加すればするほど、フレームレートを上げるための固体撮像素子の全行に対する垂直読み出し行の比率を下げる必要性から、課題はより顕著化するという性質を原理的に持つものである。
【０００９】
本発明の目的は、超メガピクセル等の画素の多い固体撮像素子の出力画素数を画素混合手法によって削減し、高速、低電力、高感度かつ高画質（高周波の折り返しノイズを抑圧）に撮影し、以て超高画素固体撮像素子の動画撮像を実現することにある。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項１に係る第１のカラー固体撮像装置は、行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、かつ前記カラーフィルタの配列が２行２列を一単位とする二次元繰り返し配列を有する固体撮像素子を備え、前記固体撮像素子の水平ｐ画素（ｐ＝４ｎ＋１、ｎは自然数）、垂直ｑ画素（ｑ＝４ｍ＋１、ｍは自然数）が画素混合エリアの基本単位であって、前記画素混合エリアの水平ｐ画素、垂直ｑ画素を一単位とし、前記画素混合エリア基本単位が水平方向に（ｐ＋１）／２画素、垂直方向に（ｑ＋１）／２画素ずれてオーバーラップしながら二次元の繰り返し配列を構成する手段と、前記画素混合エリアの基本単位内において、水平垂直共に中心に位置するカラーフィルタと前記中心に位置する画素から、偶数行及び偶数列離れた位置にある同色のカラーフィルタの全画素を混合する手段とを設けたものである。
【００１１】
また、本発明の請求項２に係る第２のカラー固体撮像装置は、行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、前記カラーフィルタの配列が４行２列を一単位とし、かつ前記４行２列のカラーフィルタの配列単位内の１行１列目と３行２列目が同色カラーフィルタ、かつ１行２列目と３行１列目が同色カラーフィルタ、かつ２行１列目と４行２列目が同色カラーフィルタ、かつ２行２列目と４行１列目が同色カラーフィルタである二次元繰り返し配列を有する固体撮像素子を備え、前記固体撮像素子の水平ｐ画素（ｐ＝４ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝４ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、前記画素混合エリアの水平ｐ画素、垂直ｑ画素を一単位とし、前記画素混合エリア基本単位が水平方向にｐ／２画素、垂直方向にｑ／２画素ずれてオーバーラップしながら二次元の繰り返し配列を構成する手段と、前記画素混合エリアの基本単位内において、ｐ行ｑ列の画素混合基本エリア内の１行１列目又は１行２列目又は２行１列目又は２行２列目の画素と同色のカラーフィルタの全画素を全ての画素混合基本エリアで同様の画素混合パターンにて画素混合し、かつ１つの画素混合基本エリアに１色のみである画素混合手段とを設けたものである。
【００１２】
また、本発明の請求項３に係る第３のカラー固体撮像装置は、行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、前記カラーフィルタの配列が２行４列を一単位とし、かつ前記２行４列のカラーフィルタの配列単位内の１行１列目と２行３列目が同色カラーフィルタ、かつ２行１列目と１行３列目が同色カラーフィルタ、かつ１行２列目と２行４列目が同色カラーフィルタ、かつ２行２列目と１行４列目が同色カラーフィルタである二次元繰り返し配列を有する固体撮像素子を備え、前記固体撮像素子の水平ｐ画素（ｐ＝４ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝４ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、前記画素混合エリアの水平ｐ画素、垂直ｑ画素を一単位とし、前記画素混合エリア基本単位が水平方向にｐ／２画素、垂直方向にｑ／２画素ずれてオーバーラップしながら二次元の繰り返し配列を構成する手段と、前記画素混合エリアの基本単位内において、ｐ行ｑ列の画素混合基本エリア内の１行１列目又は１行２列目又は２行１列目又は２行２列目の画素と同色のカラーフィルタの全画素を全ての画素混合基本エリアで同様の画素混合パターンにて画素混合し、かつ１つの画素混合基本エリアに１色のみである画素混合手段とを設けたものである。
【００１３】
また、本発明の請求項４に係る第４のカラー固体撮像装置は、行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、かつ前記カラーフィルタの配列が２行２列を一単位とする二次元繰り返し配列を有する固体撮像素子を備え、前記固体撮像素子の水平ｐ画素（ｐ＝４ｎ−１、ｎは自然数）、垂直ｑ画素（ｑ＝４ｍ−１、ｍは自然数）が画素混合エリアの基本単位であって、前記画素混合エリアの水平ｐ画素、垂直ｑ画素を一単位とし、前記画素混合エリア基本単位が水平方向に（ｐ−１）／２画素と（ｐ＋３）／２画素のずれ量を交互に繰り返し、垂直方向に（ｑ−１）／２画素と（ｑ＋３）／２画素のずれを交互に繰り返してオーバーラップしながら二次元の繰り返し配列を構成する手段と、前記画素混合エリアの基本単位内において、斜め方向の四隅に位置するカラーフィルタと前記四隅に位置する画素から、偶数行及び偶数列離れた位置にある同色のカラーフィルタの全画素を混合する手段とを設けたものである。
【００１４】
また、本発明の請求項５に係る第５のカラー固体撮像装置は、行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、かつ前記カラーフィルタの配列が２行２列を一単位とする二次元繰り返し配列を有する固体撮像素子を備え、前記固体撮像素子の水平ｐ画素（ｐ＝２ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝２ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、前記画素混合エリアを水平ｐ画素、垂直ｑ画素を一単位とした二次元繰り返し配列とし、前記画素混合エリアの基本単位内において、前記２行２列のカラーフィルタ配列単位の１行１列目の色の全画素を混合する画素混合手段と、前記２行２列のカラーフィルタ配列単位の１行２列目の色の全画素を混合する画素混合手段と、前記２行２列のカラーフィルタ配列単位の２行１列目の色の全画素を混合する画素混合手段と、前記２行２列のカラーフィルタ配列単位の２行２列目の色の全画素を混合する画素混合手段とを設けたものである。
【００１５】
また、本発明の請求項６に係る第６のカラー固体撮像装置は、行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、前記カラーフィルタの配列が４行２列を一単位とし、かつ前記４行２列のカラーフィルタの配列単位内の１行１列目と３行２列目が同色カラーフィルタ、かつ１行２列目と３行１列目が同色カラーフィルタ、かつ２行１列目と４行２列目が同色カラーフィルタ、かつ２行２列目と４行１列目が同色カラーフィルタである二次元繰り返し配列を有する固体撮像素子を備え、前記固体撮像素子の水平ｐ画素（ｐ＝２ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝２ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、前記画素混合エリアを水平ｐ画素、垂直ｑ画素を一単位とした二次元繰り返し配列とし、前記画素混合エリアの基本単位内において、前記４行２列のカラーフィルタ配列単位の１行１列目と３行２列目の色の全画素を混合する画素混合手段と、前記４行２列のカラーフィルタ配列単位の１行２列目と３行１列目の色の全画素を混合する画素混合手段と、前記４行２列のカラーフィルタ配列単位の２行１列目と４行２列目の色の全画素を混合する画素混合手段と、前記４行２列のカラーフィルタ配列単位の２行２列目と４行１列目の色の全画素を混合する画素混合手段とを設けたものである。
【００１６】
また、本発明の請求項７に係る第７のカラー固体撮像装置は、行列状に配列された複数の光電変換素子と、前記光電変換素子の前面にカラーフィルタとを具備し、前記カラーフィルタの配列が２行４列を一単位とし、かつ前記２行４列のカラーフィルタの配列単位内の１行１列目と２行３列目が同色カラーフィルタ、かつ２行１列目と１行３列目が同色カラーフィルタ、かつ１行２列目と２行４列目が同色カラーフィルタ、かつ２行２列目と１行４列目が同色カラーフィルタである二次元繰り返し配列を有する固体撮像素子を備え、前記固体撮像素子の水平ｐ画素（ｐ＝２ｎ＋２、ｎは自然数）、垂直ｑ画素（ｑ＝２ｍ＋２、ｍは自然数）が画素混合エリアの基本単位であって、前記画素混合エリアを水平ｐ画素、垂直ｑ画素を一単位とした二次元繰り返し配列とし、前記画素混合エリアの基本単位内において、前記２行４列のカラーフィルタ配列単位の１行１列目と２行３列目の色の全画素を混合する画素混合手段と、前記２行４列のカラーフィルタ配列単位の２行１列目と１行３列目の色の全画素を混合する画素混合手段と、前記２行４列のカラーフィルタ配列単位の１行２列目と２行４列目の色の全画素を混合する画素混合手段と、前記２行４列のカラーフィルタ配列単位の２行２列目と１行４列目の色の全画素を混合する画素混合手段とを設けたものである。
【００１７】
上記本発明に係る第１〜第７のカラー個体撮像装置のいずれかの方式を採用することで、画素混合効果により、プリＬＰＦの存在する水平垂直方向共に２次元の空間リサンプリングが実現する結果、映像信号の水平・垂直方向共に高周波信号が含まれる画像を撮像した場合であっても、高周波成分の低周波への折り返し成分が激減され、輝度信号、色度信号共に偽信号が大幅に抑圧されるばかりでなく、水平方向と垂直方向の画素サンプリング密度の完全な均衡化が可能になり、水平解像度と垂直解像度が全く同一とすることも可能となる。また、画素混合により、全ての画素を廃棄することなく出力可能となるので、感度が大幅に向上するという効果がある。本発明での画素利用率は１００％となる。
【００１８】
更に、本発明の方式を用いれば、固体撮像素子の画素数が増加しても、フレームレートを上げるための画素混合エリアを垂直水平方向の各々を目的に応じ拡大設定することにより、最適な出力画素数の選択が可能となる。
【００１９】
【発明の実施の形態】
以下、本発明のカラー固体撮像装置の第１〜第５の実施形態について、図面を用いて説明する。なお、各実施形態ではＣＣＤ固体撮像素子を用いた場合を説明するが、撮像素子はＭＯＳ型固体撮像素子であっても構わない。
【００２０】
〈第１の実施形態〉
図１は、本発明のカラー固体撮像装置の第１の実施形態のＣＣＤ固体撮像素子構成図である。１１は、光電変換素子とその前面に装着されるカラーフィルタである。ここでは、カラーフィルタ配列を例えばベイヤー配列とする。ここで、ＧｒとＧｂは実際には同色であるが、動作の説明の便宜上、水平両サイドをＲフィルタで挟まれるフィルタ画素をＧｒ、水平両サイドをＢフィルタで挟まれるフィルタ画素をＧｂと表記している。１２はＶ１からＶ１２で構成される１２相の垂直転送段、１３はＨ１とＨ２で構成される２相の水平転送段、１４は出力アンプ、１５は前記Ｖ１からＶ１２で構成される１２相の垂直転送段１２の延長で、ゲートは独立配線されており、Ｖ１３からＶ４８で構成される垂直−水平転送制御部、１６はＧｒの画素混合エリアの基本単位、１７はＢの画素混合エリアの基本単位、１８はＧｂの画素混合エリアの基本単位、１９はＲの画素混合エリアの基本単位である。
【００２１】
第１の実施形態は、前記第１のカラー固体撮像装置中のｎ及びｍが「ｎ＝ｍ＝１」を満たす、つまり画素混合エリアが５行５列の場合である。
【００２２】
まず、垂直転送段１２は６相モードの基本転送となる。ただし画素混合の都合上、Ｖは１２相の独立配線となっており、まずＶ３に接続されている光電変換素子Ｇｒ及びＲと、Ｖ９に接続されている光電変換素子Ｂ及びＧｂとの画素の信号電荷が、Ｖ３ゲートとＶ９ゲートに光電変換素子読み出しパルスを印加することにより、垂直転送段１２に読み出され、垂直転送段１２内を紙面下側方向に通常の６相モードで転送され、垂直転送段１２内のＧｒ及びＲの電荷が４段進んでＶ７ゲート下に転送され、垂直転送段１２内のＢ及びＧｂの電荷がＶ１ゲート下に転送された際に、Ｖ７ゲートとＶ１ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ７，Ｖ１に接続されている画素が垂直転送段１２に読み出され、各々同色の画素が２画素、垂直転送段１２内で混合される。更に垂直転送段１２内を紙面下側方向に通常の６相モードで転送し、垂直転送段１２内のＧｒ及びＲの電荷が４段進んでＶ１１ゲート下に転送され、垂直転送段１２内のＢ及びＧｂの電荷がＶ５ゲート下に転送された際に、同様にＶ１１ゲートとＶ５ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ１１，Ｖ５に接続されている画素が垂直転送段１２に読み出され、各々同色の画素が３画素、垂直転送段１２内で混合される。
【００２３】
このとき、垂直−水平転送制御部１５はＶ１３からＶ４８の全てのゲートを垂直転送段１２と同様に通常の６相モードで駆動することで、垂直−水平転送制御部１５内に前記３画素混合されたＧｒ及びＲの信号電荷が蓄積される。次に垂直−水平転送制御部１５のＶ３７〜Ｖ４２とＶ１９〜Ｖ２４のみを通常の６相駆動で動作させることで、Ｖ４２の列とＶ２４の列の各々ＧｒとＲの信号電荷のみが水平転送段１３内へ転送される。次に水平転送段１３を通常の２相駆動モードで、２段転送する。その後、垂直−水平転送制御部１５のＶ２５〜Ｖ３０とＶ４３〜Ｖ４８のみを通常の６相駆動で動作させることで、Ｖ３０の列とＶ４８の列の各々ＧｒとＲの信号電荷のみが水平転送段１３内へ転送され、水平転送段１３内の同色の信号電荷と混合され、水平転送段１３内で都合６画素の各々ＧｒとＲの信号電荷が混合される。更に、水平転送段１３を通常の２相駆動モードで、２段転送した後、垂直−水平転送制御部１５のＶ１３〜Ｖ１８とＶ３１〜Ｖ３６のみを通常の６相駆動で動作させることで、Ｖ１８の列とＶ３６の列の各々ＧｒとＲの信号電荷のみが水平転送段１３内へ転送され、水平転送段１３内の同色の信号電荷と混合され、水平転送段１３内で都合９画素の各々ＧｒとＲの信号電荷が混合される。その後水平転送段１３を通常の２相駆動で動作させ、出力アンプ１４を介して、固体撮像素子より９画素混合した各々ＧｒとＲの信号を出力する。
【００２４】
以上の一連の動作を繰り返すことにより次のラインでは、固体撮像素子より９画素混合した各々ＢとＧｂの信号を出力する。
【００２５】
以上の説明で明らかなように、Ｇｒの画素混合エリア単位１６内のＧｒの全９画素を、Ｒの画素混合エリア単位１９内のＲの全９画素を、Ｂの画素混合エリア単位１７内のＢの全９画素を、Ｇｂの画素混合エリア単位１８内のＧｂの全９画素をそれぞれ混合して出力する。この手法により出力された画素混合パターンイメージを図２に示す。
【００２６】
図２に示したとおり、９画素混合された画素の重心が画素混合エリアの中心と一致し、画素混合基本エリア単位が、２次元に３画素オーバーラップしながら均等な配列となり、更に、９画素混合の重心の画素配列もまたベイヤ−配列となる。また、画素利用率が１００％であることが分かる。
【００２７】
図３は、第１の実施形態のシステムブロック図である。３１は図１のＣＣＤ固体撮像素子、３２はＣＣＤ固体撮像素子駆動ブロック、３３はカメラアナログフロントエンドのＣＤＳ、ＡＧＣ、Ａ／Ｄ変換器、３４はシステムタイミング同期信号発生ブロック（ＳＳＧ）、３５はＣＣＤキズ補正等のＤＲＡＭ格納前処理ブロック、３６はＤＲＡＭ、３７はＤＲＡＭ制御ブロック、３８はＹＣ信号処理ブロック、３９はカメラ信号処理全体ブロックである。
【００２８】
本発明の第１の実施形態の固体撮像素子出力は、前述のとおり、混合モードでも空間的には混合画素の重心が２次元均等密度の通常のベイヤー配列となる。
【００２９】
ＣＣＤ固体撮像素子３１をＣＣＤ固体撮像素子駆動ブロック３２のタイミング発生により前述の駆動方法でドライブし、９画素混合出力を得る。このとき混合駆動により出力はタイミング的にはクロックに対し間歇になる。出力信号はカメラアナログフロントエンド３３によりデジタル信号に変換され、ＤＲＡＭ格納前処理ブロック３５にてキズ補正処理を施され、ＤＲＡＭ制御ブロック３７にて素子出力の間歇タイミング補正を施して、ＤＲＡＭ３６に一旦格納される。ここで格納されるデータは画素数が１／９になった完全なベイヤー配列となるため、以降の処理は通常のベイヤー処理となる。ＤＲＡＭ３６内のＣＣＤＲＡＷデータは、必要に応じてＹＣ信号処理ブロック３８にてＹＣ信号に変換され、本発明の装置より出力される。
【００３０】
ここで、Ｖ１〜Ｖ１２を一般的な３：１インタレースの全画素読み出しモードのタイミングに変更し、Ｖ１３〜Ｖ４８も一般的な６相駆動を行い、信号処理タイミングも間歇補正処理をＯＦＦすれば、タイミング変更のみで、画素混合モードと３：１インタレースの全画素読み出しモードとが切り替え可能となる。
【００３１】
なお、カラーフィルタが２行２列の補色カラーフィルタ配列の撮像素子であっても全く同様の手段にて同様の効果が実現できる。本実施形態の場合の２行２列の補色フィルタの画素混合パターンイメージを図４に示す。
【００３２】
〈第２の実施形態〉
図５は、本発明のカラー固体撮像装置の第２の実施形態のＣＣＤ固体撮像素子構成図である。５１は光電変換素子とその前面に装着されるカラーフィルタである。ここでは、カラーフィルタ配列を例えば２行４列の補色市松配列とする。５２はＶ１からＶ１２で構成される１２相の垂直転送段、５３はＨ１〜Ｈ３で構成される３相の水平転送段、５４は出力アンプ、５５は前記Ｖ１からＶ１２で構成される１２相の垂直転送段５２の延長で、ゲートは独立配線されており、Ｖ１３からＶ４８で構成される垂直−水平転送制御部、５６はＭｇの画素混合エリアの基本単位、５７はＧの画素混合エリアの基本単位、５８はＹｅの画素混合エリアの基本単位、５９はＣｙの画素混合エリアの基本単位である。
【００３３】
第２の実施形態は、前記第３のカラー固体撮像装置中のｎ及びｍが「ｎ＝ｍ＝１」を満たす、つまり画素混合エリアが６行６列の場合である。
【００３４】
まず、垂直転送段５２は６相モードの基本転送となる。ただし画素混合の都合上、Ｖは１２相の独立配線となっており、まずＶ３に接続されている光電変換素子とＶ９に接続されている光電変換素子の画素の信号電荷が、Ｖ３ゲートとＶ９ゲートに光電変換素子読み出しパルスを印加することにより、垂直転送段５２に読み出され、垂直転送段５２内を紙面下側方向に通常の６相モードで転送され、垂直転送段５２内のＶ３に接続されていた光電変換素子の画素の電荷が４段進んでＶ７ゲート下に転送され、垂直転送段５２内のＶ９に接続されていた光電変換素子の電荷が４段進んでＶ１ゲート下に転送された際に、Ｖ７ゲートとＶ１ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ７，Ｖ１に接続されている画素が垂直転送段５２に読み出され、各々同色の画素が２画素、垂直転送段５２内で混合される。更に垂直転送段５２内を紙面下側方向に通常の６相モードで転送し、垂直転送段５２内のＶ７ゲート下の電荷が４段進んでＶ１１ゲート下に転送され、垂直転送段５２内のＶ１ゲート下の電荷が４段進んでＶ５ゲート下に転送された際に、同様にＶ１１ゲートとＶ５ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ１１，Ｖ５に接続されている画素が垂直転送段５２に読み出され、各々同色の画素が３画素ずつ、垂直転送段５２内で混合される。
【００３５】
このとき、垂直−水平転送制御部５５はＶ１３からＶ４８の全てのゲートを垂直転送段５２と同様に通常の６相モードで駆動することで、垂直−水平転送制御部５５内に前記３画素混合されたＶ３，Ｖ７，Ｖ１１に接続されていた画素の信号電荷が蓄積される。次に垂直−水平転送制御部５５のＶ２５〜Ｖ３０とＶ４３〜Ｖ４８のみを通常の６相駆動で動作させることで、Ｖ３０の列とＶ４８の列の各々の信号電荷のみが水平転送段５３内へ転送される。次に水平転送段５３を１ライン分転送する。次に、垂直−水平転送制御部５５のＶ１３〜Ｖ１８とＶ３１〜Ｖ３６のみを通常の６相駆動で動作させることで、Ｖ１８の列とＶ３６の列の各々の信号電荷のみが水平転送段５３内へ転送される。
【００３６】
次に水平転送段５３を通常とは逆の出力アンプ５４と反対方向への３相駆動モードで、４サイクル転送する。その後、垂直−水平転送制御部５５のＶ３７〜Ｖ４２とＶ１９〜Ｖ２４のみを通常の６相駆動で動作させることで、Ｖ４２の列とＶ２４の列の各々の信号電荷のみが水平転送段５３内へ転送され、水平転送段５３内の同色の信号電荷と混合され、水平転送段５３内で都合６画素の各々の信号電荷が混合される。
【００３７】
更に、水平転送段５３を通常の３相駆動モードで、２サイクル転送した後、Ｖ１〜Ｖ４８までの全垂直ゲートを同時に１サイクル通常の６相駆動で動作させることで、垂直−水平転送制御部５５には次のラインの信号電荷が蓄積される。
【００３８】
次に垂直−水平転送制御部５５のＶ２５〜Ｖ３０とＶ４３〜Ｖ４８のみを通常の６相駆動で動作させることで、Ｖ３０の列とＶ４８の列の各々の信号電荷のみが水平転送段５３内へ転送されることになり、水平転送段５３内で都合９画素の各々の信号電荷が混合される。その後水平転送段５３を通常の３相駆動で動作させ、出力アンプ５４を介して、固体撮像素子より９画素混合した各々の信号を出力する。
【００３９】
以上の一連の動作を繰り返すことにより次のラインでは、固体撮像素子より９画素混合した次のラインの信号を出力する。
【００４０】
以上の説明で明らかなように、Ｍｇの画素混合エリア単位５６内のＭｇの全９画素を、Ｃｙの画素混合エリア単位５９内のＣｙの全９画素を、Ｇの画素混合エリア単位５７内のＧの全９画素を、Ｙｅの画素混合エリア単位５８内のＹｅの全９画素をそれぞれ混合して出力する。
【００４１】
また、本固体撮像素子を９０度回転させれば、素子出力のスキャン方向は９０度方向が変わるものの、前記第２のカラー固体撮像装置における４行２列のフィルタ配列にも対応が可能となる。上記手法により出力された４行２列画素混合パターンイメージを図６に示す。
【００４２】
図６に示したとおり、画素混合基本エリア単位は、２次元に３画素オーバーラップしながら均等な配列となり、更に、９画素混合の重心の画素配列も、２次元に均等な配列となり、更に元のカラーフィルタ配列のちょうど上下反転の配列パターンとなり、簡単な信号処理の工夫でカメラ処理が可能となる。また、画素利用率が１００％であることが分かる。
【００４３】
本実施形態のＣＣＤ固体撮像素子を図３中の固体撮像素子３１として採用する場合、固体撮像素子出力は、図６に示すとおり、混合モードでも空間的には混合画素の重心が２次元均等密度の配列となる。このとき、ＤＲＡＭ３６に格納されるデータは画素数が１／９になった水平と垂直がさかさまになった９０度回転イメージとなるため、ＤＲＡＭ制御ブロック３７にて、通常とは９０度回転させた垂直方向にスキャンするようにＤＲＡＭ読み出しを行うことで対応する。以降の処理は元とは鏡像の補色配列処理となる。
【００４４】
ここで、Ｖ１〜Ｖ１２を一般的な３：１インタレースの全画素読み出しモードのタイミングに変更し、Ｖ１３〜Ｖ４８も一般的な６相駆動を行い、信号処理タイミングも間歇補正処理をＯＦＦし、ＹＣの鏡像配列処理をＯＦＦすれば、タイミング変更のみで、画素混合モードと３：１インタレースの全画素読み出しモードとが切り替え可能となる。
【００４５】
〈第３の実施形態〉
図７は、本発明のカラー固体撮像装置の第３の実施形態のＣＣＤ固体撮像素子構成図である。７１は、光電変換素子とその前面に装着されるカラーフィルタである。ここでは、カラーフィルタ配列を例えばベイヤー配列とする。７２はＶ１からＶ８で構成される８相の垂直転送段、７３はＨ１とＨ２で構成される２相の水平転送段、７４は出力アンプ、７５は前記Ｖ１からＶ８で構成される８相の垂直転送段７２の延長で、ゲートは独立配線されており、Ｖ９からＶ２４で構成される垂直−水平転送制御部、７６はＧｒの画素混合エリアの基本単位、７７はＢの画素混合エリアの基本単位、７８はＧｂの画素混合エリアの基本単位、７９はＲの画素混合エリアの基本単位である。
【００４６】
第３の実施形態は、前記第４のカラー固体撮像装置中のｎ及びｍが「ｎ＝ｍ＝１」を満たす、つまり画素混合エリアが３行３列の場合である。
【００４７】
まず、垂直転送段７２は４相モードの基本転送となる。ただし画素混合の都合上、Ｖは８相の独立配線となっており、まずＶ３に接続されている光電変換素子Ｇｒ及びＲと、Ｖ５に接続されている光電変換素子Ｂ及びＧｂとの画素の信号電荷が、Ｖ３ゲートとＶ５ゲートに光電変換素子読み出しパルスを印加することにより、垂直転送段７２に読み出され、垂直転送段７２内を紙面下側方向に通常の４相モードで転送され、垂直転送段７２内のＧｒ及びＲの電荷が４段進んでＶ７ゲート下に転送され、垂直転送段７２内のＢ及びＧｂの電荷が４段進んでＶ１ゲート下に転送された際に、Ｖ７ゲートとＶ１ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ７，Ｖ１に接続されている画素が垂直転送段７２に読み出され、各々同色の画素が２画素、垂直転送段７２内で混合される。
【００４８】
このとき、垂直−水平転送制御部７５はＶ９からＶ２４の全てのゲートを垂直転送段７２と同様に通常の４相モードで駆動することで、垂直−水平転送制御部７５内に前記２画素混合されたＧｒ及びＲの信号電荷が蓄積される。次に垂直−水平転送制御部７５のＶ１７〜Ｖ２０とＶ１３〜Ｖ１６のみを通常の４相駆動で動作させることで、Ｖ２０の列とＶ１６の列の各々ＧｒとＲの信号電荷のみが水平転送段７３内へ転送される。次に水平転送段７３を通常の２相駆動モードで、２サイクル転送する。その後、垂直−水平転送制御部７５のＶ９〜Ｖ１２とＶ２１〜Ｖ２４のみを通常の４相駆動で動作させることで、Ｖ１２の列とＶ２４の列の各々ＧｒとＲの信号電荷のみが水平転送段７３内へ転送され、水平転送段７３内の同色の信号電荷と混合され、水平転送段７３内で都合４画素の各々ＧｒとＲの信号電荷が混合される。その後水平転送段７３を通常の２相駆動で動作させ、出力アンプ７４を介して、固体撮像素子より４画素混合した各々ＧｒとＲの信号を出力する。
【００４９】
以上の一連の動作を繰り返すことにより次のラインでは、固体撮像素子より４画素混合した各々ＢとＧｂの信号を出力する。
【００５０】
以上の説明で明らかなように、Ｇｒの画素混合エリア単位７６内のＧｒの全４画素を、Ｒの画素混合エリア単位７９内のＲの全４画素を、Ｂの画素混合エリア単位７７内のＢの全４画素を、Ｇｂの画素混合エリア単位７８内のＧｂの全４画素をそれぞれ混合して出力する。この手法により出力された画素混合パターンイメージを図８に示す。
【００５１】
図８に示したとおり、４画素混合された画素の重心が画素混合エリアの中心と一致し、画素混合基本エリア単位が、２次元にオーバーラップなし（隣接）と２画素オーバーラップとを繰り返しながら、混合画素の重心も不均等な配列となるが、４画素混合後の画素配列は、やはりベイヤ−配列となる。また、画素利用率は、第１及び第２の実施形態と同様、１００％であることが分かる。
【００５２】
図７のＣＣＤ固体撮像素子を図３中の固体撮像素子３１として採用する場合、固体撮像素子出力は、前述のとおり、混合モードでも空間的には混合画素の配列は通常のベイヤー配列となる。このとき、混合駆動により出力はタイミング的には水平ＣＣＤクロックに対し間歇になる。ＤＲＡＭ３６に格納されるデータは画素数が１／４になった完全なベイヤー配列となるため、配列的には以降の処理は通常のベイヤー処理となる。ＤＲＡＭ３６内のＣＣＤＲＡＷデータは、必要に応じてＹＣ信号処理ブロック３８にてＹＣ信号に変換されるが、混合画素の重心の配列密度が２次元的に不均等となるため、不均衡補正が必要となる。
【００５３】
以下、図９を用いて混合画素の重心の配列密度不均衡補正手法について、説明する。９１はＤＲＡＭ３６からのＣＣＤＲＡＷデータ入力部、９２はＹ信号の不均等配列補正フィルタ、９３は第１の垂直輪郭補正信号生成フィルタ、９４は第２の垂直輪郭補正信号生成フィルタ、９５は垂直輪郭補正信号生成フィルタ切り替え手段の制御信号入力部、９６は垂直輪郭補正信号ゲイン入力、９７は第１の水平輪郭補正信号生成フィルタ、９８は第２の水平輪郭補正信号生成フィルタ、９９は水平輪郭補正信号生成フィルタ切り替え手段の制御信号入力部、１００は水平輪郭補正信号ゲイン入力、１０１はＹ信号輪郭補正ブロック、１０２はＣ信号の不均等配列補正フィルタである。
【００５４】
ＤＲＡＭ３６からのＣＣＤＲＡＷデータ入力部９１には、水平垂直共に１＋ｚのデジタルフィルタ９２を設ける。これにより、フィルタ処理後のＹ信号画素の重心配列は、図８に示したとおり２次元均等配列に補正される。しかしながら、Ｙ信号の重心配列は均等になるものの、離れた画素から重心配列補正される場合は空間周波数特性の低下が激しく、接近した画素から重心配列補正される場合は空間周波数特性の低下が少ないので、画素毎の空間周波数特性の補正が必要となる。空間周波数特性の変化は、図８からも明らかなように、水平、垂直共に１画素おきに繰り返される。したがって、特性の異なる第１及び第２の垂直輪郭補正信号生成フィルタ９３，９４を設け、垂直輪郭補正信号生成フィルタ切り替え手段の制御信号入力部９５にライン毎に反転するパルスを入力すると共に、垂直輪郭補正信号ゲイン入力９６もライン毎に最適値に切り替えることで、垂直方向の周波数特性の変化の振幅を低減できる。また特性の異なる第１及び第２の水平輪郭補正信号生成フィルタ９７，９８を設け、水平輪郭補正信号生成フィルタ切り替え手段の制御信号入力部９９に水平１画素毎に反転するパルスを入力すると共に、水平輪郭補正信号ゲイン入力１００も水平１画素毎に最適値に切り替えることで、水平方向の周波数特性の変化の振幅も低減できる。
【００５５】
同様にＣ信号についても水平垂直共に１＋２ｚ＋ｚｚのデジタルフィルタ１０２を設けることにより、２次元均等配列に補正されることとなる。ここで、Ｃ信号はその必要帯域が狭いことから１＋２ｚ＋ｚｚという広い範囲にてＬＰＦをかけるため、周波数特性の変化の振幅の低減効果も併せ持つことになる。
【００５６】
ここで、Ｖ１〜Ｖ８を一般的な２：１インタレースの全画素読み出しモードのタイミングに変更し、Ｖ９〜Ｖ２４も一般的な４相駆動を行い、信号処理タイミングも間歇補正処理及び各種補正処理をＯＦＦすれば、タイミング変更のみで、画素混合モードと２：１インタレースの全画素読み出しモードとが切り替え可能となる。
【００５７】
なお、カラーフィルタが２行２列の補色カラーフィルタ配列の撮像素子であっても全く同様の手段にて同様の効果が実現できる。本実施形態の場合の２行２列の補色フィルタの画素混合パターンイメージを図１０に示す。
【００５８】
〈第４の実施形態〉
図１１は、本発明のカラー固体撮像装置の第４の実施形態のＣＣＤ固体撮像素子構成図である。１１１は、光電変換素子とその前面に装着されるカラーフィルタである。ここでは、カラーフィルタ配列を例えばベイヤー配列とする。１１２はＶ１からＶ１２で構成される１２相の垂直転送段、１１３はＨ１とＨ２で構成される２相の水平転送段、１１４は出力アンプ、１１５は前記Ｖ１からＶ１２で構成される１２相の垂直転送段１１２の延長で、ゲートは独立配線されており、Ｖ１３からＶ３０で構成される垂直−水平転送制御部、１１６は全色共通の画素混合エリアの基本単位である。
【００５９】
第４の実施形態は、前記第５のカラー固体撮像装置中のｎ及びｍが「ｎ＝ｍ＝２」を満たす、つまり画素混合エリアが６行６列の場合である。
【００６０】
まず、垂直転送段１１２は６相モードの基本転送となる。ただし画素混合の都合上、Ｖは１２相の独立配線となっており、まずＶ３に接続されている光電変換素子Ｇｒ及びＲの画素の信号電荷が、Ｖ３ゲートに光電変換素子読み出しパルスを印加することにより、垂直転送段１１２に読み出され、垂直転送段１１２内を紙面下側方向に通常の６相モードで転送され、垂直転送段１１２内のＧｒ及びＲの電荷が４段進んでＶ７ゲート下に転送された際に、Ｖ７ゲートとＶ１ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ７，Ｖ１に接続されている画素が垂直転送段１１２に読み出され、Ｇｒ及びＲ画素が２画素、垂直転送段１１２内で混合される。更に垂直転送段１１２内を紙面下側方向に通常の６相モードで転送し、垂直転送段１１２内のＧｒ及びＲの電荷が４段進んでＶ１１ゲート下に転送され、垂直転送段１１２内のＢ及びＧｂの電荷が４段進んでＶ５ゲート下に転送された際に、同様にＶ１１ゲートとＶ５ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ１１，Ｖ５に接続されている画素が垂直転送段１１２に読み出され、Ｇｒ及びＲは各々同色の画素が都合３画素、Ｂ及びＧｂは各々同色画素が２画素、垂直転送段１１２内で混合される。
【００６１】
このとき、垂直−水平転送制御部１１５はＶ１３からＶ３０の全てのゲートを垂直転送段１１２と同様に通常の６相モードで駆動することで、垂直−水平転送制御部１１５内に前記３画素混合されたＧｒ及びＲの信号電荷が蓄積される。またこのときに、垂直転送段１１２内のＢ及びＧｂの電荷が４段進んでＶ９ゲート下に転送され、同様にＶ９ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ９に接続されている画素が垂直転送段１１２に読み出され、Ｂ及びＧｂも同色画素が３画素、垂直転送段１１２内で混合される。
【００６２】
次に垂直−水平転送制御部１１５のＶ２５〜Ｖ３０のみを通常の６相駆動で動作させることで、Ｖ３０の列の各々ＧｒとＲの信号電荷のみが水平転送段１１３内へ転送される。次に水平転送段１１３を通常の２相駆動モードで、２段転送する。その後、垂直−水平転送制御部１１５のＶ１９〜Ｖ２４のみを通常の６相駆動で動作させることで、Ｖ２４の列の各々ＧｒとＲの信号電荷のみが水平転送段１１３内へ転送され、水平転送段１１３内の同色の信号電荷と混合され、水平転送段１１３内で都合６画素の各々ＧｒとＲの信号電荷が混合される。更に、水平転送段１１３を通常の２相駆動モードで、２段転送した後、垂直−水平転送制御部１１５のＶ１３〜Ｖ１８のみを通常の６相駆動で動作させることで、Ｖ１８の列の各々ＧｒとＲの信号電荷のみが水平転送段１１３内へ転送され、水平転送段１１３内の同色の信号電荷と混合され、水平転送段１１３内で都合９画素の各々ＧｒとＲの信号電荷が混合される。その後水平転送段１１３を通常の２相駆動で動作させ、出力アンプ１１４を介して、固体撮像素子より９画素混合した各々１ライン分のＧｒとＲの信号を出力する。
【００６３】
以上の一連の動作を繰り返すことにより次のラインでは、固体撮像素子より９画素混合した各々ＢとＧｂの信号を出力する。
【００６４】
以上の説明で明らかなように、画素混合エリア単位１１６内のＧｒの全９画素と、Ｒの全９画素と、Ｂの全９画素と、Ｇｂの全９画素との各々の混合出力を実現する。この手法により出力された画素混合パターンイメージを図１２に示す。
【００６５】
図１２に示したとおり、単一の画素混合エリア１１６内で９画素混合された画素の全色が固体撮像素子より出力されることとなる。また、本実施形態においても、画素利用率が１００％であることが分かる。
【００６６】
図１１のＣＣＤ固体撮像素子を図３中の固体撮像素子３１として採用する場合、固体撮像素子出力は、前述のとおり、混合モードでも空間的には混合画素の重心が、単一の画素混合エリア１１６内の中心近傍で、全色共に出力されることとなる。このとき、ＤＲＡＭ３６に格納されるデータは画素数が１／９になった同一エリア４色の配列となるため、同一エリア内画素でＹＣ処理を完結する処理となる。
【００６７】
ここで、Ｖ１〜Ｖ１２を一般的な３：１インタレースの全画素読み出しモードのタイミングに変更し、Ｖ１３〜Ｖ３０も一般的な６相駆動を行い、信号処理タイミングも間歇補正処理をＯＦＦし、ＹＣ処理をベイヤー処理にすれば、タイミング変更と簡単な回路切り替えのみで、画素混合モードと３：１インタレースの全画素読み出しモードとが切り替え可能となる。
【００６８】
本実施形態では、Ｙ出力画素数が、オーバーラップタイプに比較して１／４になるため、画素数を大幅に削減する際に有効となる。
【００６９】
なお、カラーフィルタが２行２列の補色カラーフィルタ配列の撮像素子であっても全く同様の手段にて同様の効果が実現できる。本実施形態の場合の２行２列の補色フィルタの画素混合パターンイメージを図１３に示す。
【００７０】
〈第５の実施形態〉
図１４は、本発明のカラー固体撮像装置の第５の実施形態のＣＣＤ固体撮像素子構成図である。１４１は光電変換素子とその前面に装着されるカラーフィルタである。ここでは、カラーフィルタ配列を例えば２行４列の補色市松配列とする。１４２はＶ１からＶ１２で構成される１２相の垂直転送段、１４３はＨ１〜Ｈ３で構成される３相の水平転送段、１４４は出力アンプ、１４５は前記Ｖ１からＶ１２で構成される１２相の垂直転送段１４２の延長で、ゲートは独立配線されており、Ｖ１３からＶ４８で構成される垂直−水平転送制御部、１４６は全色の画素混合エリアの基本単位である。
【００７１】
第５の実施形態は、前記第７のカラー固体撮像装置中のｎ及びｍが「ｎ＝ｍ＝２」を満たす、つまり画素混合エリアが６行６列の場合である。
【００７２】
まず、垂直転送段１４２は６相モードの基本転送となる。ただし画素混合の都合上、Ｖは１２相の独立配線となっており、まずＶ３に接続されている光電変換素子の画素の信号電荷が、Ｖ３ゲートに光電変換素子読み出しパルスを印加することにより、垂直転送段１４２に読み出され、垂直転送段１４２内を紙面下側方向に通常の６相モードで転送され、垂直転送段１４２内のＶ３に接続されている画素の電荷が４段進んでＶ７ゲート下に転送された際に、Ｖ７ゲートとＶ１ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ７，Ｖ１に接続されている画素が垂直転送段１４２に読み出され、Ｖ３，Ｖ７の画素が２画素、垂直転送段１４２内で混合される。更に垂直転送段１４２内を紙面下側方向に通常の６相モードで転送し、垂直転送段１４２内のＶ３，Ｖ７の画素の電荷が４段進んでＶ１１ゲート下に転送され、垂直転送段１４２内のＶ１の画素の電荷が４段進んでＶ５ゲート下に転送された際に、同様にＶ１１ゲートとＶ５ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ１１，Ｖ５に接続されている画素が垂直転送段１４２に読み出され、Ｖ３，Ｖ７，Ｖ１１の画素は各々同色の画素が３画素、Ｖ１，Ｖ５の画素は各々同色画素が２画素、垂直転送段１４２内で混合される。
【００７３】
このとき、垂直−水平転送制御部１４５はＶ１３からＶ４８の全てのゲートを垂直転送段１４２と同様に通常の６相モードで駆動することで、垂直−水平転送制御部１４５内に前記３画素混合されたＶ３，Ｖ７，Ｖ１１の画素の信号電荷が蓄積される。またこのときに、垂直転送段１４２内のＶ１，Ｖ５の画素の電荷が４段進んでＶ９ゲート下に転送され、同様にＶ９ゲートに光電変換素子読み出しパルスを印加することにより、Ｖ９に接続されている画素が垂直転送段１４２に読み出され、Ｖ１，Ｖ５，Ｖ９画素も同色画素が各々３画素、垂直転送段１４２内で混合される。
【００７４】
次に垂直−水平転送制御部１４５のＶ１３〜Ｖ１８とＶ１９〜Ｖ２４のみを通常の６相駆動で動作させることで、Ｖ１８の列とＶ２４の列の各々の信号電荷のみが水平転送段１４３内へ転送される。次に水平転送段１４３を通常とは逆方向の出力アンプ１４４と反対方向へ３相駆動で４サイクル分転送する。次に、垂直−水平転送制御部１４５のＶ１３〜Ｖ４８の全てのゲートをＶ１〜Ｖ１２と同様に通常の６相駆動で動作させることで、Ｖ３０の列とＶ３６の列とＶ４２の列とＶ４８の列との各々の信号電荷が水平転送段１４３内へ転送される。その結果、Ｖ３０に接続される水平転送段１４３内にはＧが３画素分、Ｖ３６に接続される水平転送段１４３内にはＣｙが３画素分、Ｖ４２に接続される水平転送段１４３内には混合されたＣｙが６画素分、Ｖ４８に接続される水平転送段１４３内には混合されたＹｅが６画素分それぞれ蓄積されたことになる。
【００７５】
次に水平転送段１４３を通常とは逆の出力アンプ１４４と反対方向への３相駆動モードで、２サイクル転送する。その後、垂直−水平転送制御部１４５のＶ３７〜Ｖ４２とＶ４３〜Ｖ４８のみを通常の６相駆動で動作させることで、Ｖ４２の列とＶ４８の列の各々の信号電荷のみが水平転送段１４３内へ転送され、水平転送段１４３内の同色の信号電荷と混合され、水平転送段１４３内で都合各々６画素の各々の信号電荷が混合される。
【００７６】
更に、水平転送段１４３を通常の３相駆動モードで、出力アンプ１４４の方向に４サイクル転送した後、Ｖ１３〜Ｖ１８、Ｖ１９〜Ｖ２４、Ｖ２５〜Ｖ３０、Ｖ３１〜Ｖ３６のみゲートを同時に１サイクル通常の６相駆動で動作させることで、水平転送段１４３内で都合各々９画素の各々同色の信号電荷が混合される。
【００７７】
その後水平転送段１４３を通常の３相駆動で動作させ、出力アンプ１４４を介して、固体撮像素子より９画素混合した各々の信号を出力する。
【００７８】
以上の一連の動作を繰り返すことにより次のラインでは、固体撮像素子より９画素混合した次のラインの信号を出力する。
【００７９】
以上の説明で明らかなように、全色共通の画素混合エリア単位１４６内のＭｇの全９画素と、Ｃｙの全９画素と、Ｇの全９画素と、Ｙｅの全９画素との各々の混合出力を実現する。
【００８０】
また、本固体撮像素子を９０度回転させれば、素子出力のスキャン方向は９０度方向が変わるものの、前記第６のカラー固体撮像装置における４行２列のフィルタ配列にも対応が可能となる。
【００８１】
この手法により出力された４行２列画素混合パターンイメージを図１５に示す。図１５に示したとおり、単一の画素混合エリア１４６内で９画素混合された画素の全色が固体撮像素子より出力されることとなる。また、本実施形態においても、画素利用率が１００％であることが分かる。
【００８２】
本実施形態のＣＣＤ固体撮像素子を図３中の固体撮像素子３１として採用する場合、固体撮像素子出力は、前述のとおり、混合モードでも空間的には混合画素の重心が、単一の画素混合エリア１４６内の中心近傍で、全色共に出力されることとなる。このとき、ＤＲＡＭ３６に格納されるデータは画素数が１／９になった同一エリア４色の配列となるため、同一エリア内画素でＹＣ処理を完結する処理となる。
【００８３】
ここで、Ｖ１〜Ｖ１２を一般的な３：１インタレースの全画素読み出しモードのタイミングに変更し、Ｖ１３〜Ｖ４８も一般的な６相駆動を行い、信号処理タイミングも間歇補正処理をＯＦＦし、ＹＣ処理を元のカラーフィルタ配列の補色市松処理にすれば、タイミング変更と簡単な回路切り替えのみで、画素混合モードと３：１インタレースの全画素読み出しモードとが切り替え可能となる。
【００８４】
本実施形態では、Ｙ出力画素数が、オーバーラップタイプに比較して１／４になるため、高画質を維持しつつ、必要画素数まで画素数を削減する際に有効となる。
【００８５】
【発明の効果】
以上のように請求項１の発明によれば、２行２列を単位配列とするカラーフィルタ配列の超高画素固体撮像素子を用いた動画撮像において、映像信号の水平・垂直方向共に高周波信号が含まれる画像を撮像した場合であっても、高周波成分の低周波への折り返し成分が大幅に低減され、輝度信号、色度信号共に偽信号が大幅に抑圧されるばかりでなく、水平方向と垂直方向の画素サンプリング密度の完全な均衡化が図れ、水平解像度と垂直解像度を同一とすることが可能となり、また、全ての画素を廃棄することなく出力可能となるので、感度が大幅に向上するという効果がある。更に、固体撮像素子の画素数が増加しても、フレームレートを上げるための画素混合エリアを垂直水平方向の各々を目的に応じ拡大設定することにより、最適な出力画素数の選択が可能となる。
【００８６】
また、請求項２の発明によれば、２行４列又は４行２列を単位配列とするカラーフィルタ配列の超高画素固体撮像素子を用いた動画撮像において、映像信号の水平・垂直方向共に高周波信号が含まれる画像を撮像した場合であっても、高周波成分の低周波への折り返し成分が大幅に低減され、輝度信号、色度信号共に偽信号が大幅に抑圧されるばかりでなく、水平方向と垂直方向の画素サンプリング密度の完全な均衡化が図れ、水平解像度と垂直解像度を同一とすることが可能となり、また、全ての画素を廃棄することなく出力可能となるので、感度が大幅に向上するという効果がある。更に、固体撮像素子の画素数が増加しても、フレームレートを上げるための画素混合エリアを垂直水平方向の各々を目的に応じ拡大設定することにより、最適な出力画素数の選択が可能となる。
【００８７】
しかしながら、上記請求項１の発明の画素混合エリアは設定が４の整数倍画素ステップとなり、画素数削減の設定の制限がある。
【００８８】
そこで、更に請求項４の発明によれば、請求項１の設定のステップを補間するものであり、請求項１の設定と併せて、画素混合エリアの設定を都合２の整数倍画素ステップが可能となり、画素数削減のファインステップの効果がある。
【００８９】
更に、請求項５の発明によれば、２行２列を単位配列とするカラーフィルタ配列の超高画素固体撮像素子を用いた動画撮像において、ＣＣＤ出力４画素で、１画素のカメラ出力を生成でき、高画質を維持して、必要画素数まで画素数を削減する効果がある。
【００９０】
また、請求項６の発明によれば、２行４列又は４行２列を単位配列とするカラーフィルタ配列の超高画素固体撮像素子を用いた動画撮像において、ＣＣＤ出力４画素で、１画素のカメラ出力を生成でき、高画質を維持して、必要画素数まで画素数を削減する効果がある。
【００９１】
また、請求項８の発明によれば、請求項４の発明の画素混合重心アドレスの２次元不均衡化を補正することで、高周波折り返しノイズの更なる低減効果がある。
【００９２】
更に、請求項９の発明によれば、請求項８の発明の画素混合重心アドレス毎の２次元空間周波数特性の変化を、大幅に抑圧し、滑らかなＹ信号のエッジ特性を実現する効果がある。
【００９３】
更に、請求項１６の発明によれば、以上の発明による高画質動画撮像と超高精細静止画画像を同一の固体撮像素子で切り替え可能な固体撮像素子を提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態のＣＣＤ固体撮像素子構成図である。
【図２】本発明の第１の実施形態のベイヤー配列画素混合パターンイメージ図である。
【図３】本発明の各実施形態に使用した撮像システムの構成図である。
【図４】本発明の第１の実施形態の２行２列補色配列画素混合パターンイメージ図である。
【図５】本発明の第２の実施形態のＣＣＤ固体撮像素子構成図である。
【図６】本発明の第２の実施形態の４行２列補色配列画素混合パターンイメージ図である。
【図７】本発明の第３の実施形態のＣＣＤ固体撮像素子構成図である。
【図８】本発明の第３の実施形態のベイヤー配列画素混合パターンイメージ図である。
【図９】本発明の第３の実施形態のＹＣ信号処理ブロック図である。
【図１０】本発明の第３の実施形態の２行２列補色配列画素混合パターンイメージ図である。
【図１１】本発明の第４の実施形態のＣＣＤ固体撮像素子構成図である。
【図１２】本発明の第４の実施形態のベイヤー配列画素混合パターンイメージ図である。
【図１３】本発明の第４の実施形態の２行２列補色配列画素混合パターンイメージ図である。
【図１４】本発明の第５の実施形態のＣＣＤ固体撮像素子構成図である。
【図１５】本発明の第５の実施形態の４行２列補色配列画素混合パターンイメージ図である。
【符号の説明】
１１  光電変換素子とカラーフィルタ
１２  １２相垂直転送段
１３  ２相水平転送段
１４  出力アンプ
１５  垂直−水平転送制御部
１６  Ｇｒの画素混合エリアの基本単位
１７  Ｂの画素混合エリアの基本単位
１８  Ｇｂの画素混合エリアの基本単位
１９  Ｒの画素混合エリアの基本単位
３１  ＣＣＤ固体撮像素子
３２  ＣＣＤ固体撮像素子駆動ブロック
３３  カメラアナログフロントエンド
３４  システムタイミング同期信号発生ブロック
３５  ＤＲＡＭ格納前処理ブロック
３６  ＤＲＡＭ
３７  ＤＲＡＭ制御ブロック
３８  ＹＣ信号処理ブロック
３９  カメラ信号処理全体ブロック
５１  光電変換素子とカラーフィルタ
５２  １２相垂直転送段
５３  ３相水平転送段
５４  出力アンプ
５５  垂直−水平転送制御部
５６  Ｍｇの画素混合エリアの基本単位
５７  Ｇの画素混合エリアの基本単位
５８  Ｙｅの画素混合エリアの基本単位
５９  Ｃｙの画素混合エリアの基本単位
７１  光電変換素子とカラーフィルタ
７２  ８相垂直転送段
７３  ２相水平転送段
７４  出力アンプ
７５  垂直−水平転送制御部
７６  Ｇｒの画素混合エリアの基本単位
７７  Ｂの画素混合エリアの基本単位
７８  Ｇｂの画素混合エリアの基本単位
７９  Ｒの画素混合エリアの基本単位
９１  ＣＣＤＲＡＷデータ入力部
９２  Ｙ信号の不均等配列補正フィルタ
９３  第１の垂直輪郭補正信号生成フィルタ
９４  第２の垂直輪郭補正信号生成フィルタ
９５  垂直輪郭補正信号生成フィルタ切り替え手段の制御信号入力部
９６  垂直輪郭補正信号ゲイン入力
９７  第１の水平輪郭補正信号生成フィルタ
９８  第２の水平輪郭補正信号生成フィルタ
９９  水平輪郭補正信号生成フィルタ切り替え手段の制御信号入力部
１００  水平輪郭補正信号ゲイン入力
１０１  Ｙ信号輪郭補正ブロック
１０２  Ｃ信号の不均等配列補正フィルタ
１１１  光電変換素子とカラーフィルタ
１１２  １２相垂直転送段
１１３  ２相水平転送段
１１４  出力アンプ
１１５  垂直−水平転送制御部
１１６  全色共通の画素混合エリアの基本単位
１４１  光電変換素子とカラーフィルタ
１４２  １２相垂直転送段
１４３  ３相水平転送段
１４４  出力アンプ
１４５  垂直−水平転送制御部
１４６  全色共通の画素混合エリアの基本単位
【図１】
2004312140.tif 000003
【図２】
2004312140.tif 000004
【図３】
2004312140.tif 000005
【図４】
2004312140.tif 000006
【図５】
2004312140.tif 000007
【図６】
2004312140.tif 000008
【図７】
2004312140.tif 000009
【図８】
2004312140.tif 000010
【図９】
2004312140.tif 000011
【図１０】
2004312140.tif 000012
【図１１】
2004312140.tif 000013
【図１２】
2004312140.tif 000014
【図１３】
2004312140.tif 000015
【図１４】
2004312140.tif 000016
【図１５】
2004312140.tif 000017