(57)【要約】【課題】水平方向と垂直方向共に解像度が高い画像信号を得る撮像素子を提供する。【解決手段】２次元配列された複数画素にて色フィルタアレイを介した被写体光を受光して得られた複数画素での各受光量に対応する画素信号を、Ｎ行×Ｎ列の画素ブロック単位で読み出す際、次に読み出しを行う画素ブロックを、前回読み出しを行った画素ブロックに対して、少なくとも水平方向及び垂直方向の何れかの方向に所定の画素分シフトした位置のブロックとし、前回読み出しを行った画素ブロックと重なり合う領域の画素信号は前回の読み出しで保持された画素信号を用いて次の画素ブロックについて読み出しを行う。【選択図】図１
2008136236.tif 000002
【特許請求の範囲】
【請求項１】
２次元配列された複数画素にて所定の色フィルタアレイを介した被写体光を受光して、該複数画素での各受光量に対応する画素信号を得る受光手段と、
少なくとも行方向及び列方向の何れかの方向に所定画素分シフトしながら、前記受光手段での画素信号をＮ行×Ｎ列（Ｎ：整数）の画素ブロック単位で読み出す読出手段と、
前記読出手段で読み出された今回の読出画素ブロックの画素信号のうち、該読出画素ブロックに対して所定画素分シフトした次の読出画素ブロックと重なり合う領域の画素信号を保持する保持手段とを備え、
前記読出手段は、次の画素ブロックの画素信号の読み出しに、前記保持手段に保持された画素信号を用いることを特徴とする撮像素子。
【請求項２】
前記色フィルタアレイは、複数色のフィルタがＮ行×Ｎ列（Ｎ：整数）の周期性を持って前記複数画素に対応して配列され、該Ｎ行×Ｎ列の周期単位内の各行及び各列の各々において同一色のフィルタが存在しないように配列されてなることを特徴とする請求項１記載の撮像素子。
【請求項３】
カラー撮像素子により被写体を撮像し、該撮像素子の出力信号に対して所定の画像処理を行う画像処理装置であって、
前記カラー撮像素子は、請求項１又は２記載の撮像素子であることを特徴とする画像処理装置。
【請求項４】
カラー撮像素子を含む撮像装置と、該撮像装置の出力信号に対して所定の画像処理を行う画像処理装置とが少なくとも接続されてなる画像処理システムであって、
前記カラー撮像素子は、請求項１又は２記載の撮像素子であることを特徴とする画像処理システム。
【請求項５】
２次元配列された複数画素にて色フィルタアレイを介した被写体光を受光して、該複数画素での各受光量に対応する画素信号を得る撮像素子の動作を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、
該処理ステップは、
少なくとも行方向及び列方向の何れかの方向に所定画素分シフトしながら、前記受光部での画素信号をＮ行×Ｎ列（Ｎ：整数）の画素ブロック単位で読み出す読出ステップと、
前記読出ステップにより読み出された今回の読出画素ブロックの画素信号のうち、該読出画素ブロックに対して所定画素分シフトした次の読出画素ブロックと重なり合う領域の画素信号を素子内のメモリに保持する保持ステップとを含み、
前記読出ステップは、次の画素ブロックの画素信号の読み出しに、前記メモリに保持された画素信号を用いるステップを含むことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項６】
前記色フィルタアレイは、複数色のフィルタがＮ行×Ｎ列（Ｎ：整数）の周期性を持って前記複数画素に対応して配列され、該Ｎ行×Ｎ列の周期単位内の各行及び各列の各々において同一色のフィルタが存在しないように配列されていることを特徴とする請求項５記載のコンピュータ読み取り可能な記憶媒体。
【請求項７】
撮像素子を含み、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理を経ずに該撮像素子から出力される画像信号の情報量を圧縮して送信する撮像装置と、該圧縮された画像信号を受信して伸張した後で前記色処理を行うようになされた受信装置とが接続されてなる画像処理システムであって、
前記撮像素子は、請求項１又は２記載の撮像素子であることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色フィルタアレイを介した被写体光から画像信号を得る撮像素子、それを用いた画像処理装置、画像処理システム、及び撮像素子の動作を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶した記憶媒体に関するものである。
【背景技術】
【０００２】
従来より、撮像素子（個体撮像素子：ＣＣＤ等、以下、単に「撮像素子」と言う）よりカラー画像信号を生成するカラー撮像装置がある。このカラー撮像装置では、被写体光が色フィルタ（フィルタアレイ）を介して、撮像素子における複数のホトダイオード（以下、「画素」又は「光検出素子」とも言う）が配列されてなる受光面に入射されるようになされている。
色フィルタの種類としては、原色フィルタと補色フィルタがある。原色フィルタは、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）の３原色の色フィルタが、受光面上の各画素に対応して、所定の順で配列された構成としている。補色フィルタも同様に、シアン（Ｃｙ）、イエロ（Ｙｅ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）の補色系の４色の色フィルタが所定の順で配列された構成としている。
【０００３】
ここで、撮像素子に対して用いる色フィルタを、その一例として上記の補色フィルタとし、該撮像素子で得られる信号、及び該信号を用いての処理等について、以下説明する。
【０００４】
まず、補色フィルタにおいて、シアンの色フィルタは、可視光範囲において赤色光のみを遮断し、イエロの色フィルタは、可視光範囲において青色光のもを遮断するようになされている。また、マゼンタの色フィルタは、可視光範囲において緑色光のみを遮断し、グリーンの色フィルタは緑色光のみを透過するようになされている。
尚、これらの各色フィルタの配列については後述する。
【０００５】
したがって、このような補色フィルタを介した被写体光が入射される撮像素子では、シアンの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｃｙ、イエロの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｙｅ、マゼンタの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｍｇ、及びグリーンの色フィルタを介した光が入射される画素の受光量に対応した画素信号Ｇが得られる。
【０００６】
上述のようにして撮像素子で得られた画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇは、例えば、ディジタルスチルカメラにおけるアイリスやホワイトバランスの調整やオートフォーカス検出用の信号、或いは画像処理装置における圧縮処理や伸張処理等に用いられるが、輝度信号Ｙ及び色差信号ＣＢ，ＣＲのかたちで用いられる。
輝度信号Ｙ、及び色差信号ＣＢ，ＣＲは、画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇを持って、次の式（１）〜（３）により表される。
Ｙ＝Ｙｅ＋Ｇ＋Ｃｙ＋Ｍｇ            ・・・（１）
ＣＢ＝（Ｇ＋Ｙｅ）−（Ｍｇ＋Ｃｙ）  ・・・（２）
ＣＲ＝（Ｃｙ＋Ｇ）−（Ｙｅ＋Ｍｇ）  ・・・（３）
【０００７】
そこで、図２３及び図２４は、撮像素子に対して用いられる補色フィルタでの色フィルタの配列パターンの一例を示したものである。
上記図２３に示すパターンの補色フィルタは、水平方向（図中Ｃ１，Ｃ２，Ｃ３，・・・の方向）に２画素、垂直方向（図中Ｌ１，Ｌ２，Ｌ３，・・・の方向）に４画素の周期性を持つように、色フィルタが配列されたものである。一方、上記図２４に示すパターンの補色フィルタは、水平方向に２画素、垂直方向に８画素の周期性を持つように、色フィルタが配列されたものである。
何れの補色フィルタを用いた場合でも、輝度信号Ｙは、水平方向に２画素、垂直方向に２画素の４（２×２）画素ブロック内の画素からの画素信号Ｃｙ，Ｙ，Ｍｇ，Ｇ（上記図２３及び図２４中斜線部分参照）を用いた上記式（１）の演算を行うことにより得られる。色差信号ＣＢ，ＣＲについても同様に各々、２×２画素ブロック内の画素からの画素信号Ｃｙ，Ｙ，Ｍｇ，Ｇを用いた上記式（２）、（３）の演算を行うことにより得られる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記図２３や図２４に示したような色フィルタを介して被写体光が入射される従来の撮像素子を、例えば、ディジタルスチルカメラに使用した場合、次のような問題があった。
【０００９】
（１）ディジタルスチルカメラでは、シャッターが押される前に、解像度を犠牲にして、撮像素子で得られる画素信号（ここでは、上述の画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇ）を高速に読み出し（高速読み出しモード）、その読出信号を基に、液晶ファインダで画面表示したり、アイリスの調整やホワイトバランスの調整等を行う。
【００１０】
しかしながら、上記図２４に示した色フィルタが撮像素子に対して用いられた場合には、高速読み出しモードで撮像素子の画素信号を読み出して、それを基にホワイトバランスの調整を行うことができるが、上記図２３に示した色フィルタが撮像素子に対して用いられた場合、垂直方向に１画素毎に間引いて画素信号を読み出すことで、解像度を犠牲にして、高速読み出しを行うと、画素信号Ｃｙと画素信号Ｙｅのみしか得られず、すなわちシアンとイエロの２色についての画素信号しか得られず、ホワイトバランスを調整することができなかった。
【００１１】
（２）最近ではＣＣＤ等の撮像素子において、信号読出方法を工夫して、素子内の受光面で被写体光を受光し、該受光面において垂直方向に隣接する２つの画素の画素信号を加算した後に、その加算信号を素子内の転送部に転送して出力するようになされているものもある。したがって、撮像素子から出力される信号は、２つの画素信号がペアを組んだ状態で出力される。
【００１２】
具体的には例えば、上記図２３に示した色フィルタが撮像素子に対して用いられた場合、先ず、行Ｌ１，Ｌ２について、（Ｃ１，Ｌ１）に位置する画素の画素信号Ｃｙと、（Ｃ１，Ｌ２）に位置する画素の画素信号Ｍｇとのペアが出力された後に、（Ｃ２，Ｌ１）に位置する画素の画素信号Ｙｅと、（Ｃ２，Ｌ２）に位置する画素の画素信号Ｇとのペアが出力される。以降同様にして順次出力がなされ、該行Ｌ１，Ｌ２についての出力が終了すると、次の行Ｌ３，Ｌ４について、（Ｃ１，Ｌ３）に位置する画素の画素信号Ｃｙと、（Ｃ１，Ｌ４）に位置する画素の画素信号Ｇとのペアが出力された後に、（Ｃ２，Ｌ３）に位置する画素の画素信号Ｙｅと、（Ｃ２，Ｌ４）に位置する画素の画素信号Ｍｇとのペアが出力される。以降同様にして順次出力がなされ、該行Ｌ３，Ｌ４についての出力が終了する。
すなわち、行Ｌ１，Ｌ２についての出力は、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
となり、次の行Ｌ３，Ｌ４についての出力は、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
となる。
【００１３】
しかしながら、上記の出力から輝度信号Ｙや色差信号ＣＢ，ＣＲを得るために、上記式（１）〜（３）の演算を行う際、色差信号ＣＢ，ＣＲを得るための上記式（２）及び式（３）については、演算が行えない出力が存在していた。
すなわち、上記式（２）は、（Ｇ＋Ｙｅ）と（Ｍｇ＋Ｃｙ）からなるが、行Ｌ３，Ｌ４についての出力は、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
であるため、これらの行についての上記式（２）の演算は行うことができない。また、上記式（３）は、（Ｃｙ＋Ｇ）と（Ｙｅ＋Ｍｇ）からなるが、行Ｌ１，Ｌ２についての出力は、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
であるため、これらの行についての上記式（３）の演算は行うことができない。
このように、上記式（２）の演算は、行Ｌ１，Ｌ２についての出力に対しては行えるが、行Ｌ３，Ｌ４についての出力に対しては行うことができない。また、上記式（３）の演算は、行Ｌ３，Ｌ４についての出力に対しては行えるが、行Ｌ１，Ｌ２についての出力に対しては行うことができない。
したがって、各色の色差信号ＣＢ，ＣＲは、撮像素子から出力される４行分の画素信号から、１行分の画素信号に対してのものしか得ることができず、すなわち４行分の画素信号を使用して初めて輝度信号Ｙ及び色差信号ＣＢ，ＣＲが得られるため、その分、垂直方向の解像度が低下していた。
【００１４】
また、上記図２４に示した色フィルタが撮像素子に対して用いられた場合も同様に、先ず、行Ｌ１，Ｌ２について、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
の出力がなされ、次の行Ｌ３，Ｌ４について、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
の出力がなされ、次の行Ｌ５，Ｌ６について、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
の出力がなされ、次の行Ｌ７，Ｌ８について、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
の出力がなされる。
【００１５】
しかしながら、上記の出力から輝度信号Ｙや色差信号ＣＢ，ＣＲを得るために、上記式（１）〜（３）の演算を行う際、この場合も上述の上記図２３の色フィルタを用いた場合と同様に、色差信号ＣＢ，ＣＲを得るための上記式（２）及び式（３）については、演算が行えない出力が存在していた。
すなわち、上記式（２）は、（Ｇ＋Ｙｅ）と（Ｍｇ＋Ｃｙ）からなるが、行Ｌ５，Ｌ６及び行Ｌ７，Ｌ８についての出力は、
（Ｃｙ＋Ｇ），（Ｙｅ＋Ｍｇ），・・・
であるため、これらの行についての上記式（２）の演算は行うことができない。また、上記式（３）は、（Ｃｙ＋Ｇ）と（Ｙｅ＋Ｍｇ）からなるが、行Ｌ１，Ｌ２及び行Ｌ３，Ｌ４についての出力は、
（Ｃｙ＋Ｍｇ），（Ｙｅ＋Ｇ），・・・
であるため、これらの行についての上記式（３）の演算は行うことができない。
このように、上記式（２）の演算は、行Ｌ１〜Ｌ４についての出力に対しては行えるが、行Ｌ５〜Ｌ８についての出力に対しては行うことができない。また、上記式（３）の演算は、行Ｌ５〜Ｌ８についての出力に対しては行えるが、行Ｌ１〜Ｌ４についての出力に対しては行うことができない。
したがって、各色の色差信号ＣＢ，ＣＲは、撮像素子から出力される８行分の画素信号から、２行分の画素信号に対してのものしか得ることができず、その分、垂直方向の解像度が低下していた。
【００１６】
そこで、本発明は、上記の欠点を除去するために成されたもので、水平方向と垂直方向共に解像度が高い画像信号を得る撮像素子、画像処理装置、画像処理システム、及びその動作を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶した記憶媒体を提供することを目的とする。
【００１７】
また、本発明は、高解像度のカラー画像信号を効率的に得る撮像素子、画像処理装置、画像処理システム、及びその動作を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶した記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明に係る撮像素子は、２次元配列された複数画素にて所定の色フィルタアレイを介した被写体光を受光して、該複数画素での各受光量に対応する画素信号を得る受光手段と、少なくとも行方向及び列方向の何れかの方向に所定画素分シフトしながら、前記受光手段での画素信号をＮ行×Ｎ列（Ｎ：整数）の画素ブロック単位で読み出す読出手段と、前記読出手段で読み出された今回の読出画素ブロックの画素信号のうち、該読出画素ブロックに対して所定画素分シフトした次の読出画素ブロックと重なり合う領域の画素信号を保持する保持手段とを備え、前記読出手段は、次の画素ブロックの画素信号の読み出しに、前記保持手段に保持された画素信号を用いることを特徴とする。
本発明に係る画像処理装置は、カラー撮像素子により被写体を撮像し、該撮像素子の出力信号に対して所定の画像処理を行う画像処理装置であって、前記カラー撮像素子は、上述した撮像素子であることを特徴とする。
本発明に係る画像処理システムは、カラー撮像素子を含む撮像装置と、該撮像装置の出力信号に対して所定の画像処理を行う画像処理装置とが少なくとも接続されてなる画像処理システムであって、前記カラー撮像素子は、上述した撮像素子であることを特徴とする。
本発明に係るコンピュータ読み取り可能な記憶媒体は、２次元配列された複数画素にて色フィルタアレイを介した被写体光を受光して、該複数画素での各受光量に対応する画素信号を得る撮像素子の動作を実施するための処理ステップをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、該処理ステップは、少なくとも行方向及び列方向の何れかの方向に所定画素分シフトしながら、前記受光部での画素信号をＮ行×Ｎ列（Ｎ：整数）の画素ブロック単位で読み出す読出ステップと、前記読出ステップにより読み出された今回の読出画素ブロックの画素信号のうち、該読出画素ブロックに対して所定画素分シフトした次の読出画素ブロックと重なり合う領域の画素信号を素子内のメモリに保持する保持ステップとを含み、前記読出ステップは、次の画素ブロックの画素信号の読み出しに、前記メモリに保持された画素信号を用いるステップを含むことを特徴とする。
本発明に係る画像処理システムは、撮像素子を含み、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理を経ずに該撮像素子から出力される画像信号の情報量を圧縮して送信する撮像装置と、該圧縮された画像信号を受信して伸張した後で前記色処理を行うようになされた受信装置とが接続されてなる画像処理システムであって、前記撮像素子は、上述した撮像素子であることを特徴とする。
【発明の効果】
【００１９】
色フィルタアレイを介した被写体光から得られた画素信号を、Ｎ行×Ｎ列の画素ブロック単位で読み出す際、次に読み出しを行う画素ブロックを、前回読み出しを行った画素ブロックに対して、水平方向又は垂直方向、或いは水平方向と共に垂直方向に、所定の画素分シフトした位置のブロックとして、該ブロックに対して読み出しを行うように構成することにより、高解像度の輝度信号及び色差信号を得ることができる。
例えば、２行×２列の画素ブロック単位での読み出しを行う場合、先ず、第１の画素ブロックの読み出しを行った結果、第１行第１列の画素信号Ｙ11、第１行第２列の画素信号Ｙ12、第２行第１列の画素信号Ｙ21、及び第２行第２列の画素信号Ｙ22が得られる。これらの画素信号のうち、次に読み出しを行う第２の画素ブロック（第１の画素ブロックに対して１画素分水平方向にシフトした位置のブロック）と重なりあう領域（第１行、第２列及び第２行、第２列）の画素信号Ｙ12，Ｙ21を保持しておく。そして、次の画素ブロックの読み出しに、上記重なりあう領域の画素信号として、該保持しておいた画素信号Ｙ12，Ｙ21を用いるようにする。
これにより、２行×２列の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、水平方向の各画素に対応した輝度信号及び色差信号を得ることができる。したがって、この場合には、水平方向の解像度を２倍に上げることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について図面を用いて説明する。
【００２１】
（第１の実施の形態）
本発明は、例えば、図１に示すようなカラー撮像装置７００に適用される。
このカラー撮像装置（以下、単に「撮像装置」と言う）７００は、ディジタルスチルカメラ等に設けられており、入射される被写体光から得られた画素信号を出力する撮像部７１０と、撮像部７１０からの画素信号を用いて輝度信号Ｙ及び色差信号ＣＢ，ＣＲを生成する輝度／色差前処理部７２０とを備えている。
【００２２】
撮像部７１０は、色フィルタ７１１と、色フィルタ７１１を介して被写体光が入射される撮像素子７１２と、撮像素子７１２で得られた画素信号を読み出す信号読出部７１３とを含み、信号読出部７１３の出力が、輝度／色差前処理部７２０に供給される。
ここで、撮像部７１０において、詳細は後述するが、色フィルタ７１１としては、イエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、グリーン（Ｇ）の４色の補色フィルタを用いることとする。したがって、撮像素子７１２では、４色の補色系の画素信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇが得られ、これらの画素信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇが信号読出部７１３により読み出され輝度／色差前処理部７２０に供給されることになる。
【００２３】
輝度／色差前処理部７２０は、撮像部７１０からの画素信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇを用いて、輝度信号Ｙ及び色差信号ＣＢ，ＣＲを得る。これらの輝度信号Ｙ及び色差信号ＣＢ，ＣＲが、ディジタルスチルカメラ等における液晶ファインダでの低解像度での画面表示や、アイリスの調整、及びホワイトバランスの調整、オートフォーカス用検出信号等に用いられる。
【００２４】
そこで、上述のような撮像装置７００の最も特徴とするところは、撮像部７１０にある。以下、この撮像部７１０について具体的に説明する。
【００２５】
まず、色フィルタ５１１の構成について説明する。
図２は、上記図１の色フィルタ（補色フィルタ）７１１のフィルタ配列（パターン）を示したものである。
【００２６】
この図２に示すように、色フィルタ７１１は、水平方向に４画素、垂直方向に４画素の周期性を有するように、フィルタ配列がなされている。このようなフィルタ配列がなされた色フィルタ５１１において、第１行Ｌ１には、左から順にＧ１，Ｙｅ１，Ｃｙ２，ＭＧ２の色フィルタが配列され、第２行Ｌ２には、第１行Ｌ１に対して左に２列ずれたかたちで、左から順にＣｙ１，Ｍｇ１，Ｇ２，Ｙｅ２の色フィルタが配列され、第３行Ｌ３には、第１行Ｌ１に対して左に１列ずれたかたちで、左から順にＹｅ３，Ｇ３，Ｍｇ４，Ｃｙ４の色フィルタが配列され、第４行Ｌ４には、第１行Ｌ１に対して左に３列ずれたかたちで、左から順にＭｇ３，Ｃｙ３，Ｙｅ４，Ｇ４の色フィルタが配列されている。
【００２７】
上述のように、色フィルタ７１１では、水平方向に４画素、垂直方向に４画素の中で、どの行にも重複した色フィルタが無く、全ての色フィルタが異なり、また、どの列にも重複した色フィルタが無、全ての色フィルタが異なるようなフィルタ配列としている。
尚、上記図２のフィルタ配列において、各色フィルタの配列は、左右又は上下が反転していても良い。
【００２８】
上述のようなフィルタ配列がなされた色フィルタ７１１を介した被写体光は、撮像素子７１２の受光面（図示せず）に入射され、撮像素子７１２では、光電変換により、該受光面上の各画素の受光量に対応した画素信号が得られる。信号読出部７１３は、撮像素子７１２で得られた画素信号を、後述する読み出し方法に従って読み出して、輝度／色差前処理部７２０に供給する。輝度／色差前処理部７２０は、信号読出部７１３からの様々なサイズや形状の領域の画素信号を用いて、輝度信号Ｙ、青の色差信号ＣＢ、及び赤の色差信号ＣＲを得る。
【００２９】
つぎに、信号読出部７１３での画素信号の読み出し方法、及び該読み出し方法に従って読み出された画素信号を用いての輝度／色差前処理部７２０での演算処理について説明する。
【００３０】
［読み出し方法１］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接する画素のペア（加算信号）から求める。例えば、
ＣＢ１＝  （Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｃｙ２＋Ｇ２）、
（Ｍｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝（Ｇ１＋Ｃｙ１）−（Ｙｅ１＋Ｍｇ１）
ＣＲ２＝（Ｃｙ２＋Ｇ２）−（Ｍｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法１によれば、従来のように、色差信号ＣＢ，ＣＲを得るための演算を行うことができない行が発生することはなく、色差信号ＣＢ，ＣＲは、水平方向と垂直方向共に、常に２つの画素信号に対して１個得られる。したがって、水平方向と垂直方向共に、高解像度となる。
【００３１】
［読み出し２］
この読み出し方法２から、後述する読み出し方法５までは、輝度信号Ｙを高解像度で出力することが可能な読み出し方法である。これらは、輝度信号Ｙのみを用いて演算することにより行うオートフォーカス等に用いて好適な方法である。
そこで、読み出し方法２では、信号読出部７１３は、撮像素子５１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）、
（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３
Ｙ２＝Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３
なる演算により求める。
このような読み出し方法２によれば、輝度信号Ｙは、水平方向に１画素毎に１個得られるため、水平方向について高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターンなどの水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００３２】
［読み出し方法３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）、
（Ｙｅ１＋ＭＧ１＋Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝  （Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）
＋（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）
なる演算により求める。
このような読み出し方法３によれば、輝度信号Ｙは、水平方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【００３３】
［読み出し方法４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２）、
（Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２
Ｙ２＝Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２
なる演算により求める。
このような読み出し方法４によれば、輝度信号Ｙは、垂直方向に１画素毎に１個得られるため、垂直方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００３４】
［読み出し方法５］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２）、
（Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝  （Ｇ１＋Ｙｅ１＋Ｃｙ２＋Ｍｇ２）
＋（Ｃｙ１＋Ｍｇ１＋Ｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法５によれば、輝度信号Ｙは、垂直方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として最適である。
【００３５】
［読み出し方法６］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝  （Ｇ１＋Ｙｅ１）−（Ｃｙ＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｙｅ３＋Ｍｇ３）、（Ｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲｌ＝−（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
ＣＲ２＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法６によれば、色差線順次の信号が得られる。また、この方法は、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。これは、上述の読み出し方法１に対して、読み出し信号の数（読み出す色差信号の画素数）が半分であるからである。
【００３６】
［読み出し方法７］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝  （Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｃｙ２＋Ｇ２）、（Ｍｇ２＋Ｙｅ２）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝  （Ｃｙ２＋Ｇ２）−（Ｍｇ２＋Ｙｅ２）
ＣＲ２＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法７も、上述の読み出し方法６と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。
【００３７】
［読み出し方法８］
色差信号ＣＢについては、上述の読み出し方法７と同様にして求める。
色差信号ＣＲについて、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｙｅ３＋Ｍｇ３）、
（Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＲ１＝  （Ｇ１＋Ｃｙ１）−（Ｙｅ１＋Ｍｇ１）
ＣＲ２＝−（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
なる演算により求める。
このような読み出し方法８も、上述の読み出し方法６〜７と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。
【００３８】
［読み出し方法９］
色差信号ＣＢについては、上述の読み出し方法７と同様にして求める。
色差信号ＣＲについて、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｃｙ２＋Ｇ２）、
（Ｍｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝（Ｇ１＋Ｃｙ１）−（Ｙｅ１＋Ｍｇ１）
ＣＲ２＝（Ｃｙ２＋Ｇ２）−（Ｍｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法９も、上述の読み出し方法６〜８と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。更に、色差信号ＣＢと色差信号ＣＲとを同一の領域の画素信号から求めることを特徴としている。
【００３９】
［読み出し方法１０〜１３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｙｅ３＋Ｇ３）、
（Ｍｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝（Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝（Ｙｅ３＋Ｇ３）−（Ｍｇ３＋Ｃｙ３）
なる演算により求める。
色差信号ＣＲについては、上述の読み出し６〜９と同様にして得る。
このような読み出し方法１０〜１３も、上述の読み出し方法６〜９と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。
【００４０】
［読み出し方法１４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝（Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｍｇ４＋Ｙ４）、（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝−（Ｍｇ４＋Ｙ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１４も、上述の読み出し方法６〜１３と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。特に、この方法では、上述の読み出し１に対して、読み出す信号（色差信号に必要な読み出す画素数）が１／４になるため、さらに高速で画像信号を出力することができる。
【００４１】
［読み出し方法１５］
上述した読み出し方法１、６〜１４では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法１５により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、
（Ｙｅ３＋Ｇ３）、（Ｍｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｃｙ４）、
（Ｙｅ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｇ１＋Ｙｅ１）＋（Ｃｙ１＋Ｍｇ１）
Ｙ２＝（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
Ｙ３＝（Ｙｅ３＋Ｇ３）＋（Ｍｇ３＋Ｃｙ３）
Ｙ４＝（Ｍｇ４＋Ｃｙ４）＋（Ｙｅ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１５によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００４２】
［読み出し方法１６］
上述した読み出し方法１、６〜１４では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法１６により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１）、（Ｙｅ１＋Ｍｇ１）、（Ｃｙ２＋Ｇ２）、
（Ｍｇ２＋Ｙｅ２）、
（Ｙｅ３＋Ｍｇ３）、（Ｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｇ１＋Ｃｙ１）＋（Ｙｅ１＋Ｍｇ１）
Ｙ２＝（Ｃｙ２＋Ｇ２）＋（Ｍｇ２＋Ｙｅ２）
Ｙ３＝（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
Ｙ４＝（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１６によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００４３】
尚、上述の本実施の形態では、撮像素子７１２に対して用いる色フィルタ７１１のフィルタ配列を、上記図２に示したようなものとしたが、例えば、図３に示すように、上記図２でのフィルタ配列において、第３行Ｌ３と第４行Ｌ４とを入れ替えたものとしても、上述した読み出し方法１〜１６を適用することができる。
【００４４】
また、上述した読み出し方法１〜１６では、４×４又は２×２画素ブロック単位で信号を読み出すようにしたが、これに限られるものではない。また、読み出す画素ブロックは、必ずしも前に読み出しが行われた画素ブロックに対して密に隣接している必要はなく、これらの画素ブロック同士は、例えば、所定のブロック単位の間隔を隔てていても良い。こうすることにより、更に読み出す信号の画素数（色差信号の画素信号の数）を減らして、さらなる高速化を図ることができる。
例えば、低解像度で高速な出力を行う際には、水平方向Ｃ１，Ｃ２，・・・，Ｃ８、垂直方向Ｌ１，Ｌ２，・・・，Ｌ８の８×８画素ブロック内で、
(C1,L1),(C1,L2),(C2,L1),(C2,L2) から色差信号ＣＲ１を、
(C3,L3),(C3,L4),(C4,L3),(C4,L4) から色差信号ＣＢ１を、
(C5,L5),(C5,L6),(C6,L5),(C6,L6) から色差信号ＣＲ２を、
(C7,L7),(C7,L8),(C8,L7),(C8,L8) から色差信号ＣＢ２を、
求める、というようにしてもよい。
【００４５】
（第２の実施の形態）
本実施の形態では、上記図１に示した撮像装置７００において、色フィルタ５１１のフィルタ配列を、例えば、図４に示すようなものとする。
【００４６】
上記図４に示すように、ここでの色フィルタ７１１は、水平方向に４画索、垂直方向に４画素の周期性を持つように、フィルタ配列がなされている。このようなフィルタ配列がなされた色フィルタ５１１において、第１行Ｌ１には、左から順にＧ１，Ｙｅ１，Ｍｇ２，Ｃｙ２の色フィルタが配列され、第２行Ｌ２には、第１行Ｌ１に対して左に２列ずれたかたちで、左から順にＭｇ１，Ｃｙ１，Ｇ２，Ｙｅ２の色フィルタが配列され、第３行Ｌ３には、第１行Ｌ１に対して左に１列ずれてたかたちで、左から順にＣｙ３，Ｇ３，Ｙｅ４、Ｍｇ４の色フィルタが配列され、第４行Ｌ４には、第１行Ｌ１に対して左に３列ずれたかたちで、左から順にＹｅ３，Ｍｇ３，Ｃｙ４，Ｇ４の色フィルタが配列されている。
【００４７】
上述のように、色フィルタ７１１では、水平方向に４画素、垂直方向に４画素の中で、どの行にも重複した色フィルタが無く、全ての色フィルタが異なり、また、どの列にも重複した色フィルタが無、全ての色フィルタが異なるようなフィルタ配列としている。
尚、上記図４のフィルタ配列において、各色フィルタの配列は、左右又は上下が反転していても良い。
【００４８】
上述のようなフィルタ配列がなされた色フィルタ７１１を介した被写体光は、第１の実施の形態と同様にして、撮像素子７１２の受光面に入射され、撮像素子７１２では、光電変換により、該受光面上の各画素の受光量に対応した画素信号が得られる。信号読出部７１３は、撮像素子７１２で得られた画素信号を、後述する読み出し方法に従って読み出して、輝度／色差前処理部７２０に供給する。輝度／色差前処理部７２０は、信号読出部７１３からの様々な形状の領域の画素信号を用いて、輝度信号Ｙ、青の色差信号ＣＢ、及び赤の色差信号ＣＲを得る。
【００４９】
そこで、本実施の形態での、信号読出部７１３での画素信号の読み出し方法、及び該読み出し方法に従って読み出された画素信号を用いての輝度／色差前処理部７２０での演算処理について、以下説明する。
尚、本実施の形態における撮像装置７００の全体動作については、第１の実施の形での動作と同様であるため、ここでは説明の簡単のために省略し、第１の実施の形態とことなる構成についてのみ、具体的に説明するものとする。
【００５０】
［読み出し方法２２］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）、
（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３
Ｙ２＝Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３
なる演算により求める。
このような読み出し方法２１によれば、輝度信号Ｙは、水平方向に１画素毎に１個得られるため、水平方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００５１】
［読み出し方法２２］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）、
（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝  （Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）
＋（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）
なる演算により求める。
このような読み出し方法２２によれば、輝度信号Ｙは、水平方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【００５２】
［読み出し方法２３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２）、
（Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２
Ｙ２＝Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２
なる演算により求める。
このような読み出し方法２３によれば、輝度信号Ｙは、垂直方向に１画素毎に１個得られるため、垂直方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【００５３】
［読み出し方法２４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２）、
（Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝  （Ｇ１＋Ｙｅ１＋Ｍｇ２＋Ｃｙ２）
＋（Ｍｇ１＋Ｃｙ１＋Ｇ２＋Ｙｅ２）
なる演算により求める。
このような読み出し方法２４によれば、輝度信号Ｙは、垂直方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい横縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【００５４】
［読み出し方法２５］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｍｇ１＋Ｃｙ１）、（Ｍｇ２＋Ｃｙ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝  （Ｇ１＋Ｙｅ１）−（Ｍｇ１＋Ｃｙｌ）
ＣＢ２＝−（Ｍｇ２＋Ｃｙ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｃｙ３＋Ｇ３）、（Ｙｅ３＋Ｍｇ３）、（Ｙｅ４、Ｍｇ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝  （Ｃｙ３＋Ｇ３）−（Ｙｅ３＋Ｍｇ３）
ＣＲ２＝−（Ｙｅ４＋Ｍｇ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２５によれば、色差線順次の信号が得られる。また、この方法は、全画素を基にする場合と比べて、読み出す信号数（色差信号に必要な読み出す画素数）が半分になるため、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。
【００５５】
［読み出し方法２６］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｍｇ１＋Ｃｙ１）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢｌ＝（Ｇ１＋Ｙｅ１）−（Ｍｇ１＋Ｃｙ１）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｙｅ４＋Ｍｇ４）、（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝（Ｙｅ４＋Ｍｇ４）−（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２６も、上述の読み出し方法２５と同様に、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。特に、全画素を基にする場合に比べて、読み出す信号数が１／４になるため、さらに高速で画像信号を出力する。
【００５６】
［読み出し方法２７］
上述した読み出し方法２５、２６では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法２７により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｍｇ１＋Ｃｙ１）、（Ｍｇ２＋Ｃｙ２）、
（Ｇ２＋Ｙｅ２）、
（Ｃｙ３＋Ｇ３）、（Ｙｅ３＋Ｍｇ３）、（Ｙｅ４＋Ｍｇ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｃ１＋Ｙｅ１）＋（Ｍｇ１＋Ｃｙ１）
Ｙ２＝（Ｍｇ２＋Ｃｙ２）＋（Ｇ２＋Ｙｅ２）
Ｙ３＝（Ｃｙ３＋Ｇ３）＋（Ｙｅ３＋Ｍｇ３）
Ｙ４＝（Ｙｅ４＋Ｍｇ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２７によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００５７】
［読み出し方法２８］
上述した読み出し方法２５、２６では、色差信号を生成するときの方法のみを説明したが、輝度信号については、次のような読み出し方法２８により生成することができる。
すなわち、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１）、（Ｙｅ１＋Ｃｙ１）、（Ｍｇ２＋Ｇ２）、
（Ｃｙ２＋Ｙｅ２）、
（Ｃｙ３＋Ｙｅ３）、（Ｇ３＋Ｍｇ３）、（Ｙｅ４＋Ｃｙ４）、
（Ｍｇ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、隣接するペアから求める。例えば、
Ｙ１＝（Ｇ１＋Ｍｇ１）＋（Ｙｅ１＋Ｃｙ１）
Ｙ２＝（Ｍｇ２＋Ｇ２）＋（Ｃｙ２＋Ｙｅ２）
Ｙ３＝（Ｃｙ３＋Ｙｅ３）＋（Ｇ３＋Ｍｇ３）
Ｙ４＝（Ｙｅ４＋Ｃｙ４）＋（Ｍｇ４＋Ｇ４）
なる演算により求める。
このような読み出し方法２８によれば、輝度信号を、水平及び垂直方向共に２画素単位で得ることができる。
【００５８】
尚、上述の本実施の形態では、撮像素子７１２に対して用いる色フィルタ５１１のフィルタ配列を、上記図４に示したようなものとしたが、例えば、図５に示すように、上記図４でのフィルタ配列において、第３行Ｌ３と第４行Ｌ４とを入れ替えたものとしても、上述した読み出し方法２１〜２８を適用することができる。
【００５９】
また、上述した読み出し方法２１〜２６では、４×４画素ブロック単位で信号を読み出すようにしたが、これに限られるものではない。また、読み出す画素ブロックは、必ずしも前に読み出しが行われた画素ブロックに対して密に隣接している必要はなく、これらの画素ブロック同士は、例えば、所定のブロック単位の間隔を隔てていても良い。こうすることにより、更に読み出す信号の画素数（色差信号の画素信号の数）を減らして、さらなる高速化を図ることができる。
【００６０】
（第３の実施の形態）
本実施の形態では、上記図１の撮像装置７００において、例えば、撮像部７１０を所謂ＣＭＯＳセンサに適用する。この場合、該撮像部７１０の回路構成を、以下に説明するような構成とすることで、上述した第１及び第２の実施の形態での読み出し方法１〜２８が実現できる。
【００６１】
図６は、ここでの撮像部７１０（以下、「ＣＭＯＳセンサ７１０」と言う）の回路構成を示したものである。
このＣＭＯＳセンサ７１０は、垂直方向に隣接する２個の画素（光検出素子）の受光量（検出光量）の平均値と、その隣の列で垂直方向に隣接する２個の光検出素子の検出光量の平均値との差分を出力する第１の出力系列と、水平方向に隣接する２つの光検出素子の検出光量の平均値と、その隣の行の水平方向に隣接する２つの光検出器の検出光量の平均値の差分を出力する第２の出力系列とを備えてる。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法１を実施することが可能となる。
【００６２】
具体的には、上記図６において、まず、１は、垂直方向に順次アクティブになる信号であって、各行のコントロール信号をイネーブルさせるためのイネーブル信号を発生する垂直走査回路である。１００は、入射されてきた光を電荷に変換する光検出素子としてのフォトダイオードであり、１０１は、光検出素子１００で発生した電荷を浮遊拡散領域１０２に転送する転送用トランジスタであるり。浮遊拡散領域１０２は、光検出素子１００で発生した電荷を一時的の蓄積するものである。
１０３は、アンプ用トランジスタ１０４のゲートに蓄積された電荷を放電するリセット用トランジスタ１０３であり、１２１は、スイッチ用トランジスタ、１１２は、端子７より印加される電圧で決定される定電流源用トランジスタである。
１０５は、コンデンサ１０９，１１０，１１７，１１８の電荷を放電するためのトランジスタであり、１０６は、アンプ用トランジスタ１０４のソースと、コンデンサ１０９とを繋ぐ分配用トランジスタである。１０７は、アンプ用トランジスタ１０４のソースと、コンデンサ１１０とを繋ぐ分配用トランジスタである。
コンデンサ１０９，１１０は、アンプ用トランジスタ１０４からの供給電圧により充電されるラインメモリとして機能するコンデンサである。
１０８は、コンデンサ１０９の蓄積電荷と、コンデンサ１１０の蓄積電荷との平均化をコントロールするための平均化用トランジスタである。１１１は、ラインメモリとして昨日するコンデンサ１０９の電圧を、差動増幅器１２２の前段のバッファ１２３に印可させるためのスイッチトランジスタである。
１２２は、コンデンサ１０９の電圧と、コンデンサ１０９'の電圧との差分を増幅する差動増幅器である。
１１３は、アンプ用トランジスタ１０４のソースと、コンデンサ１１７とを接続するスイッチトランジスタであり、１１４は、アンプ用トランジスタ１０４のソースと、コンデンサ１１８とを接続するスイッチトランジスタである。
１１７，１１８は、アンプ用トランジスタ１０４のソースから供給される電流により充電されるラインメモリとしてのコンデンサである。１１５は、コンデンサ１１７の蓄積電荷と、コンデンサ１１７'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
１１６は、コンデンサ１１８の蓄積電荷と、コンデンサ１１８'の蓄積電荷との平均化をコントロールするためのスイッチコンデンサであり、１１９は、ラインメモリとしてのコンデンサ１１７の電圧を差動増幅署の前段のバッファ１２８に印可させるためのスイッチトランジスタである。
１２７は、コンデンサ１１７の電圧と、コンデンサ１１８'の電圧との差分を増幅する差動増幅器である。
上述の低電流源用トランジスタ１１２は、行単位に活性化され、アンプ用トランジスタ１０４と対でアンブを構成する。
【００６３】
図７は、上記図６のＣＭＯＳセンサ７１０の動作タイミングを表すタイミングチャートである。以下、上記図６及び図７を用いて、ＣＭＯＳセンサ７１０の動作を説明する。
【００６４】
先ず、タイミングＴ２０１において、端子１１への入力パルスは、ＨＩＧＨ状態となっている。この状態で、端子３０，３１，５０，５１への入力パルスが、ＨＩＧＨとなると、ラインメモリとしてのコンデンサ１０９，１１０，１１７，１１８は、全て初期電位にリセットされる。また、端子２から入力される垂直走査回路１のスタートパルス、端子３から入力される走査パルスが、ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子８には、ＨＩＧＨのパルスが入力されており、これにより、画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ２０２において、端子８に入力されているリセットパルスがＬＯＷ状態となる（立ち下がる）。これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ２０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ２０４において、端子１０，３０，５０への入力パルスがＨＩＧＨとなると、第１行目の光検出素子で検出された光量に比例した電圧が、アンプ用トランジスタ１０４により、コンデンサ１０９，１１７に対して読み出される。
次に、タイミングＴ２０５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となる（立ち下がる）。
次に、タイミングＴ２０６において、端子３へ入力されている垂直パルスが再びＨＩＧＨとなると（立ち上がると、第２行目（Ｒ２）が選択される。
次に、タイミングＴ２０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がり）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ２０８においては、上述のタイミングＴ２０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ２０９においても、上述のタイミングＴ２０４と同様に、端子１０，３１，５１への入力パルスがＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電圧が、第２行目のアンブ用トランジスタ１０４により、コンデンサ１１０，１１８に対して読み出される。
次に、タイミングＴ２１０において、端子４０，６０，６１への入力パルスがＨＩＧＨパルスとなると、ラインメモリとしてのコンデンサ１１７上で、蓄積電荷の平均化が行われる。
【００６５】
そして、タイミングＴ２１１において、このタイミングから、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次、差動増幅器（アンブ）１２２，１２７に印加される。
これにより、差動増幅器１２２，１２７からは、青の色差信号ＣＢ、青の色差信号ＣＲが出力されることになる。
更に、端子７０，７１又は８０，８１の出力を、オペアンプ等により構成される加算器（不図示）により加算することで、輝度信号Ｙも得られる。また、平均化用トランジスタ１０８による平均化を行わなず、全行の光検出素子での電荷をコンデンサ１０９に一時蓄積すれば、端子７１から奇数列の１画素毎の出力を得ることができる。同様に、偶数列の１画素毎の出力については、出力端子７０から得ることができる。
【００６６】
（第４の実施の形態）
上述の第３の実施の形態では、ＣＭＯＳセンサ７１０の回路構成を上記図６に示したような構成としたが、本実施の形態では、例えば、図８に示すような構成とする。
尚、上記図８の回路構成において、上記図６の回路構成と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【００６７】
ここでのＣＭＯＳセンサ７１０は、水平方向に隣接する２個の光検出素子の検出光量の平均値、又は水平方向に隣接する４個の光検出素子の検出光量の平均値を出力する出力系列を備えている。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法４、及び読み出し方法２３を実施することが可能となる。
【００６８】
具体的には、上記図８において、まず、３０１は、コンデンサ１０９の蓄積電荷と、コンデンサ１０９'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０２は、コンデンサ１１０の蓄積電荷と、コンデンサ１１０'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
３０１'は、コンデンサ１０９"の蓄積電荷と、コンデンサ１０９"'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０２'は、コンデンサ１１０"の蓄積電荷と、コンデンサ１１０"'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
３０３は、コンデンサ１０９'の蓄積電荷と、コンデンサ１０９"の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０４は、コンデンサ１Ｉ０'の蓄積電荷と、コンデンサ１１０"の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
【００６９】
尚、スイッチトランジスタ３０１，３０１'，３０３が連動すれば、これらは、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ３０１，３０１'をオンにした後で、又はオンにするときに、スイッチトランジスタ３０３をオンにすれば、これらは、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷を平均化する。
また、スイッチトランジスタ３０２，３０２'，３０４が連動すれば、これらは、コンデンサ１１０，１１０'，１１Ｏ"，１１０"'の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ３０２，３０４'をオンにした後で、又はオンにするときに、スイッチ３０４をオンにすれば、これらは、コンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷を平均化する。
【００７０】
図９は、上記図８のＣＭＯＳセンサ７１０の動作タイミングを表すタイミングチャートである。以下、上記図８及び図９を用いて、ＣＭＯＳセンサ７１０の動作を説明する。
【００７１】
先ず、タイミングＴ４０１において、端子２へ入力されている垂直走査回路１のスタートパルスと、端子３に入力されている垂直走査パルスとが各々ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。このとき、端子８へ入力されているリセットパルスはＨＩＧＨであり、これにより画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ４０２において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ４０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ４０４において、端子１０，５０への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子で検出された光量に比例した電圧が、アンブ用トランジスタ１０４によって、コンデンサ１０９に対して読み出される。
次に、タイミングＴ４０５において、端子３へ入力されている垂直走査パルスがＬＯＷになる（立ち下がる）。
次に、タイミングＴ４０６において、端子３に入力されている垂直走査パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される
次に、タイミングＴ４０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ４０８において、上述のタイミングＴ４０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ４０９においても、上述のタイミングＴ４０４と同様に、端子１０，５１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電圧が、第２行目のアンプ用トランジスタ１０４によってコンデンサ１１０に対して読み出される。
次に、タイミングＴ４１０において、端子６０，６１，９０，９１への入力パルスが各々ＨＩＧＨとなると、ラインメモリ上で、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷の平均化、及ぴコンデンサ１１Ｏ，１１０'，１１０"，１１Ｏ"'の蓄積電荷の平均化が行われる。
【００７２】
そして、タイミングＴ４１１において、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次出力される。
【００７３】
尚、ここでは、輝度信号Ｙの出力を目的としているため、上記図８の回路構成では、ＣＭＯＳセンサ７１０としての出力がなされる端子は、端子１６の１系統のみとしているが、例えば、上記図６に示した回路構成と同様に、ＣＭＯＳセンサ７１０としての出力がなされる端子（出力線）を複数設けるようにすることで、色差信号ＣＢ，ＣＲを得ることも可能となる。
【００７４】
（第５の実施の形態）
上述の第３の実施の形態では、ＣＭＯＳセンサ７１０の回路構成を上記図６に示したような構成としたが、本実施の形態では、例えば、図１０に示すような構成とする。
尚、上記図１０の回路構成において、上記図６の回路構成と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【００７５】
ここでのＣＭＯＳセンサ７１０は、垂直方向に隣接する２個の光検出素子の検出光量の平均値、又は垂直方向に隣接する４個の光検出素子の検出光量の平均値を出力する出力系列を備えている。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法２、及び読み出し方法２１を実施することが可能となる。
【００７６】
具体的には、上記図１０において、まず、５０１，５０２，５０３，５０４は各々、トランジスタ１０４から供給される電流を、対応するコンデンサ５０８，５０９，５１０，５１１に供給する分配用トランジスタである。
５０８は、第１行目（Ｒ１）の光検出素子での電荷を蓄積するためのコンデンサであり、５０９は、第２行目（Ｒ２）の光検出素子での電荷を蓄積するためのコンデンサであり、５１０は、第３行目（Ｒ３）の光検出素子での電荷を蓄積するためのコンデンサであり、５１１は、第４行目（Ｒ４）の光検出素子での電荷を蓄積するためのコンデンサである。
５０５は、コンデンサ５０８の蓄積電荷と、コンデンサ５０９の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、５０６は、コンデンサ５０９の蓄積電荷と、コンデンサ５１０の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、５０７は、コンデンサ５１０の蓄積電荷と、コンデンサ５１１の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
【００７７】
尚、スイッチ５０５，５０６，５０７が連動すれば、これらは、コンデンサ５０８，５０９，５１０，５１１の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ５０５，５０７をオンにした後で、又はオンにするときに、スイッチトランジスタ５０６をオンにすれば、これらは、コンデンサ５０８，５０９，５１０，５１１の蓄積電荷を平均化する。
【００７８】
図１１は、上記図１０のＣＭＯＳセンサ７１０の動作タイミングを表すタイミングチャートである。以下、上記図１０及び図１１を用いて、ＣＭＯＳセンサ７１０の動作を説明する。
【００７９】
先ず、タイミングＴ６０１において、端子２へ入力されている垂直走査回路１のスタートパルス、及び端子３へ入力されている垂直走査パルスが各々ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。このとき、端子８へ入力されているリセットパルスはＨＩＧＨであり、これにより画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ６０２において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ６０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ６０４において、端子１０，３０への入力パルスが各々ＨＩＧＨになると、第１行目の光検出素子で検出された光量に比例した電荷がコンデンサ５０８に蓄積される。
次に、タイミングＴ６０５において、端子３へ入力されている垂直走査パルスがＬＯＷとなる（立ち下がる）。
次に、タイミングＴ６０６において、端子３へ入力されている垂直走査パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される。
次に、タイミングＴ６０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ６０８において、上述のタイミングＴ６０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ６０９においても、上述のタイミングＴ６０４と同様に、端子１０，３１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電荷が、コンデンサ５０９に蓄積される。
同様にして、タイミングＴ６１０において、端子１０，３２への入力パルスが各々ＨＩＧＨとなると、第３行目の光検出素子で検出された光量に比例した電荷が、コンデンサ５１０に蓄積される。
更に、タイミングＴ６１１において、端子１０，３３への入力パルスがＨＩＧＨとなると、第４行目の光検出素子で検出された光量に比例した電荷が、コンデンサ５１１に蓄積される。
そして、タイミングＴ６１２において、端子４０，４１への入力パルスがＨＩＧＨとなると、ラインメモリ上でコンデンサ５０８，５０９，５１０，５１１の蓄積電荷の平均化が行われる。
タイミングＴ６１３において、このタイミングから、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次出力される。したがって、出力端子７０からは、第１行〜第４行（Ｒ１，Ｒ２，Ｒ３，Ｒ４）までの光検出素子の検出光量の平均値に比例した電圧が、列方向に順次出力される。
【００８０】
尚、上記図１０に示した回路構成において、スイッチトランジスタ５０６による平均化を行わないように構成するとこで、第１列（Ｃ１）と第２列（Ｃ２）の平均値を出力端子７０から得ることができ、第３列（Ｃ３）と第４列（Ｃ４）の平均値を出力端子７１から得ることができ、第１列（Ｃ１）と第２列（Ｃ２）の平均値と、第３列（Ｃ３）と第４列（Ｃ４）の平均値との差分を出力端子７２から得ることができる。
【００８１】
また、上記図６〜図１１を用いて説明したＣＭＯＳセンサ７１０の動作において、画素の電荷（光信号）を読み出す前に、その拡散浮遊領域のリセット電圧を別のラインメモリに読み出すようにしてもよい。このリセット電圧と光信号出力の差分をとることで、トランジスタ１０４の閾値電圧のばらつきによる出力電圧のばらつきを除去することができる。したがって、各光検出素子で検出した光量による信号にばらつきによるノイズ成分が混入しない、Ｓ／Ｎの高い信号を得ることができるる。
また、垂直及び水平走査を、１ブロック毎、又は複数ブロック毎に間引いて行うようにしてもよい。これにより、更に、圧縮した信号が得られる。
また、ＣＭＯＳセンサに限らず、別種の光電変換素子に本発明を適用することは可能であり、この場合も、上記の各実施の形態と同様な効果を得ることができる。
【００８２】
（第６の実施の形態）
上述の各実施の形態では、画素ブロック単位の信号の読み出しを行う際、次に読み出す画素ブロックを、前に読み出しが行われた画素ブロックに対して密に隣接するようにしたが、本実施の形態では、次に読み出す画素ブロックを、前に読み出しが行われた画素ブロックに対して、例えば、１画素ずらすようにする（オーバーラップ読出）。
【００８３】
例えば、図１２は、上記図１の撮像装置７００において、４画素ブロック単位で信号を読み出す場合の、本実施の形態における撮像部７１０の最も特徴とする回路構成の概要を示したものである。また、図１３は、該撮像部７１０の各部の動作タイミングを示す図である。
【００８４】
上記図１２及び図１３に示すように、ここでの撮像部７１０では、先ず、垂直走査パルスＶ1 が与えられたタイミングでゲートパルスＳ1 が与えられると、画素Ｙ11信号（Ｙ12信号も同様）が読みだされ、メモリ用コンデンサＣ1 に保持される。また、垂直走査パルスＶ2 が与えられたタイミングでゲートパルスＳ2 が与えられると、画素Ｙ21信号（画素Ｙ22信号）が読みだされ、同じくメモリ用コンデンサＣ2 に保持される。
【００８５】
次に、ゲートパルスＨ1 が与えられると、メモリ用コンデンサＣ1 に保持されていた画素Ｙ11信号及び画素Ｙ21信号が読みだされる。
また、画素Ｙ12信号及び画素Ｙ22信号も上述と同様に読みだされ、画素Ｙ11信号がメモリ用コンデンサＣ3 に保持され、画素Ｙ12信号がメモリ用コンデンサＣ4 に保持され、画素Ｙ21信号がメモリ用コンデンサＣ5 に保持され、画素Ｙ22信号がメモリ用コンデンサＣ6 に保持される。
【００８６】
そして、時点ｔ1 においてゲートパルスＴ1 が与えられると、メモリ用コンデンサＣ3 〜Ｃ6 にそれぞれ保持されていた画素信号が同時に出力され、画素信号Ｙ11，Ｙ12，Ｙ21，Ｙ22が並列に出力される。
【００８７】
次に、時点ｔ2 においてゲートパルスＴ2 が与えられると、１画素分だけ水平方向にずれた１ブロック分の画素信号Ｙ13，Ｙ12，Ｙ23，Ｙ22が並列に出力される。この場合、画素信号Ｙ12及び画素信号Ｙ22はメモリ用コンデンサＣ4 ，Ｃ6 にそれぞれ保持されていた画素信号が出力される。
【００８８】
上述のように、本実施の形態では、次の画素ブロックＢ２の読み出しの際には、前の画素ブロックＢ１の読み出しにて、メモリ用コンデンサＣ4 ，Ｃ6 に保存した画素信号Ｙ12及びＹ22（各画素ブロックＢ１及びＢ２の重なりあった部分に存在する画素から得られる信号）を読み出すようにして、画素ブロックＢ１の次に読み出す画素ブロックＢ２を、画素ブロックＢ１に対して水平方向に１画素分だけ水平方向にずれたブロックとして、順次画素ブロック単位での信号の読み出しを行うようにする。
【００８９】
このように構成することで、次のような効果を得ることができる。
まず、上述の各実施の形態では、図１４に示すように、次に読み出す画素ブロックＢ２'を、前に読み出しが行われた画素ブロックＢ１'に対して密に隣接するように構成したため、この読み出しにて得られる画素信号からは、撮像素子上の各画素に対して、水平方向又は垂直方向に１つ置きの輝度信号Ｙ及び色差信号ＣＢ，ＣＲが得られることになる。これに対して、本実施の形態では、図１５に示すように、次に読み出す画素ブロックＢ２を前の画素ブロック１に対するように構成したので、この読み出しにて得られる画素信号からは、撮像素子上の水平方向の各画素に対応した輝度信号Ｙ及び色差信号ＣＢ，ＣＲが得られることになる。したがって、水平方向の解像度を２倍に上げることができる。
また、保持用の４つのコンデンサＣ3 ，Ｃ4 ，Ｃ5 ，Ｃ6 のうちの２つのコンデンサ（上記図１２中の矢印参照）を、前回の読出画素を保持しておく保持手段として用いるようにして、該保持手段に保持しておいた画素信号を、次の読み出す画素ブロックの画素信号として出力するように構成したので、外部にメモリを設けることなく、１画素シフトした画素ブロック単位の出力を得ることができる。
さらに、撮像部７１０内部（同一素子上）で、１画素シフトした画素ブロック単位の出力を得るように構成しているため、この出力を高速に行うことができる。
【００９０】
尚、ここでは、２×２の画素ブロックを読み出し単位としているため、保持用の４つのコンデンサのうちの２つののコンデンサを、前回の読出画素信号の保持手段として設けているが、例えば、４×４画素ブロックが読み出し単位であれば、該保持手段として１２個のコンデンサを設ければよい。すなわち、Ｎ×Ｎの画素ブロックの読み出し単位に対して、該保持手段をＮ×（Ｎ−１）個設けることで、上述した２×２の画素ブロック単位の読み出しと同様に、Ｎ×Ｎの画素ブロック単位の読み出しを水平方向に１画素シフトしながら行うことができる。
また、垂直方向についても、水平方向の場合と同様の構成により、１画素シフトしながら画素ブロック単位の信号の読み出しを行うようにすれば、垂直方向の解像度も上げることができる。
さらに、ノイズ除去機能を持たせるように構成すれば、より良好な画像信号を得ることができる。
【００９１】
ここで、図１６及び図１８は、上述したような本実施の形態を、より具体化した撮像部７１０の回路構成の一例（［例１］、［例２］）を示したものであり、図１７及び図１９は、上記図１６及び図１８の回路での動作タイミングを示したものである。
以下、［例１］、［例２］での回路構成及びその動作について順次説明する。
【００９２】
尚、上記図１６及び図１８は、上述した第３〜第５の実施の形態と同様に、撮像部７１０を所謂ＣＭＯＳセンサに適用した場合の回路構成を示したものである（以下、ここでも「撮像部７１０」を「ＣＭＯＳセンサ７１０」と言う）。このため、上記図１６及び図１８の各回路構成において、上記図６の回路構成と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【００９３】
［例１］
上記図１６に示すＣＭＯＳセンサ７１０は、色差信号ＣＢを得るための垂直方向の画素信号の演算を実現できるものであり、第１列目、第２列目、第２列目、第３列目、第３列目、第４列目、・・・のように、１列毎の上記の演算が可能なように構成されている。
【００９４】
そこで、ここでのＣＭＯＳセンサ７１０では、先ず、端子８へ入力されているリセットパルスは、ＨＩＧＨ状態となっている。この状態で、タイミングＴ７１１において、端子２へ入力されている垂直走査回路１のスタートパルス、及び端子３へ入力されている垂直走査回路１の走査パルスが各々ＨＩＧＨとなると、画素部の浮遊拡散領域がリセットされる。これにより、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子１１への入力パルスもＨＩＧＨ状態となっており、この状態で、端子３０及び３１への各入力パルスがＨＩＧＨとなると、ラインメモリとして機能するコンデンサ２２１，２２２，２２３，２２４（各ラインに設けた容量、上記図１２のコンデンサＣ3 ，Ｃ4 ，Ｃ5 ，Ｃ6 に相当、以下、「ラインメモリ」と言う）がリセットされる。
次に、タイミングＴ７１２において、端子８へ入力されているリセットパルスがＬＯＷとなると、これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７１３において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７１４において、端子１０及び３０，５０への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７１３で転送された第１行目の電荷が、ラインメモリに対して読み出される。
次に、タイミングＴ７１５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となると、第２行目（Ｒ２）が選択される。
次に、タイミングＴ７１６において、端子８へ入力されているリセットパルスがＬＯＷとなると、これにより、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７１７において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７１８において、端子１０及び３０，５０への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７１７で転送された第２行目の電荷が、他のラインメモリ（タイミングＴ７１４でのラインメモリとは別のラインメモリ）に対して読み出される。
次に、タイミングＴ７１９において、端子４０への入力パルスがＨＩＧＨとなると、ラインメモリ上で、第１行目及び第２行目の２行分の混合信号が生成される。
そして、タイミングＴ７２０において、このタイミングから、水平走査回路４が動作を開始し、ラインメモリの混合信号が順次読み出される。このとき、隣接した２列の混合信号が同時に２本の水平出力線を各々介して端子７０，７１から出力されると同時に、後段の差動回路（図示せず）で減算されるため、したがって、ＣＭＯＳセンサ７１０からは、色差信号が直接出力されることになる。また、上記２本の水平出力線の信号を、後段の加算器（図示せず）で加算すれば、輝度信号も得られることになる。
【００９５】
［例２］
上記図１８に示すＣＭＯＳセンサ７１０は、色差信号ＣＲを得るための垂直方向の画素信号の演算を実現できるものであり、第１列目、第２列目、第２列目、第３列目、第３列目、第４列目、・・・のように、１列毎の上記の演算が可能なように構成されている。
【００９６】
そこで、ここでのＣＭＯＳセンサ７１０では、先ず、端子８へ入力されているリセットパルスは、ＨＩＧＨ状態となっている。この状態で、タイミングＴ７３１において、端子２へ入力されている垂直走査回路１のスタートパルス、及び端子３へ入力されている垂直走査回路１の走査パルスが各々ＨＩＧＨとなると、画素部の浮遊拡散領域がリセットされる。これにより、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子１１への入力パルスもＨＩＧＨ状態となっており、この状態で、端子５０及び５１への各入力パルスがＨＩＧＨとなると、ラインメモリとして機能するコンデンサ２２５，２２６，２２７，２２８（各ラインに設けた容量、上記図１２のコンデンサＣ3 ，Ｃ4 ，Ｃ5 ，Ｃ6 に相当、以下、「ラインメモリ」と言う）がリセットされる。
次に、タイミングＴ７３２において、端子８へ入力されているリセットパルス、端子１１への入力パルス、端子５０への入力パルス、及び端子５１への入力パルスが各々ＬＯＷとなると、これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になり、また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７３３において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７３４において、端子１０及び５０への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７３３で転送された第１行目の電荷が、ラインメモリに対して読み出される。
次に、タイミングＴ７３５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となると、第２行目（Ｒ２）が選択される。
次に、タイミングＴ７３６において、端子８へ入力されているリセットパルス、及び端子１１への入力パルスが各々ＬＯＷとなると、これにより、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になり、また、ラインメモリも浮遊状態になる。
次に、タイミングＴ７３７において、端子９及び１１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ７３８において、端子１０及び５１への入力パルスが各々ＨＩＧＨとなると、タイミングＴ７３７で転送された第２行目の電荷が、他のラインメモリ（タイミングＴ７３４でのラインメモリとは別のラインメモリ）に対して読み出される。
次に、タイミングＴ７３９において、端子６０及び６１への入力パルスが各々ＨＩＧＨとなると、ラインメモリ上で、第１行目及び第２行目の２行分の混合信号が生成される。
そして、タイミングＴ７４０において、このタイミングから、水平走査回路４が動作を開始し、ラインメモリの混合信号が順次読み出される。このとき、隣接した２列の混合信号が同時に２本の水平出力線を各々介して端子７０，７１から出力されると同時に、後段の差動回路（図示せず）で減算されるため、したがって、ＣＭＯＳセンサ７１０からは、色差信号が直接出力されることになる。また、上記２本の水平出力線の信号を、後段の加算器（図示せず）で加算すれば、輝度信号も得られることになる。
【００９７】
尚、上述の［例１］及び［例２］では、垂直方向の画素信号の演算を実現する具体例を説明したが、水平方向の画素信号の演算についても同様な構成とすることで、第１行目、第２行目、第２行目、第３行目、第３行目、第４行目、・・・のように、１行毎の上記の演算も可能となる。
また、上記図１６の回路構成と、上記図１８の回路構成とを用いて、例えば、図２０に示すような回路を構成し、その動作タイミングを、図２１に示すようにすれば、色差信号ＣＢと色差信号ＣＲを同時に出力することができ、輝度信号をも同時に出力することができる。
【００９８】
また、上記図１６〜図２１を用いて説明したＣＭＯＳセンサ７１０の動作において、画素の電荷（光信号）を読み出す前に、その拡散浮遊領域のリセット電圧を別のラインメモリに読み出すようにしてもよい。このリセット電圧と光信号出力の差分をとることで、トランジスタ１０４の閾値電圧のばらつきによる出力電圧のばらつきを除去することができる。したがって、各光検出素子で検出した光量による信号にばらつきによるノイズ成分が混入しない、Ｓ／Ｎの高い信号を得ることができるる。
また、ＣＭＯＳセンサに限らず、別種の光電変換素子に本発明を適用することは可能であり、この場合も、上記の各実施の形態と同様な効果を得ることができる。
【００９９】
（第７の実施の形態）
まず、一般的に、カラー画像信号を取り扱う画像信号処理システムでは、先ず、撮像素子から出力される原信号（画素信号）に所定の前処理を行って、疑似的な輝度信号Ｙ'、及び色差信号Ｕ'（ＣＲ）、Ｖ'（ＣＢ）を生成する。そして、該疑似輝度信号Ｙ'及び擬似色差信号Ｕ'（ＣＲ）、Ｖ'（ＣＢ）を用いて、色情報に対してホワイトバランス補正、γ補正、その他の色補正処理等を行って、輝度信号Ｙ、及び色差信号Ｕ，Ｖを生成する。これらの輝度信号Ｙ、及び色差信号Ｕ，Ｖが、圧縮処理や伸張処理等の画像処理、或いは、画面表示や記録媒体への記録に用いられる。
【０１００】
そこで、本実施の形態では、本発明を、上述のようなカラー画像信号を取り扱う画像信号処理システムに適用する。
本発明を適用した画像信号処理システムは、例えば、図２２に示すように、撮像素子ＩＣチップ８１０及び圧縮処理装置８２０からなる送信側（撮像装置）と、伸張処理装置８３０、色処理装置８４０、及び表示／記録装置８５０からなる受信側（再生装置）との間でデータ通信するようになされている。
【０１０１】
このような画像信号処理システム８００の最も特徴とするところは、撮像素子ＩＣチップ８１０にある。
すなわち、撮像素子ＩＣチップ（以下、「撮像部」と言う）８１０は、上記図１の撮像装置１００と同様の機能を有するものであり、上記図１に示した色フィルタ７１１、撮像素子７１２、信号読出部７１３、及び輝度／色差前処理部７２０を備え、これらは同一撮像素子ＩＣチップ上に設けられている。
以下、画像信号処理システム８００の動作について説明する。
【０１０２】
先ず、送信側において、撮像部８１０では、被写体光が、上記図２〜図５に示したようなフィルタ配列から構成される色フィルタを介して、撮像素子（受光素子）７１２に入射される。
この撮像素子７１２で得られた画素信号（原信号）Ｙｅ，Ｃｙ，Ｍｇ，Ｇは、上述した第１〜第７の各実施の形態で説明したようにして、信号読出部７１３により読み出され、輝度／色差前処理部７２０により、該読出原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから擬似輝度信号Ｙ'及び色差信号ＣＲ'（Ｕ'），ＣＢ'（Ｖ'）が生成される。
【０１０３】
圧縮処理装置８２０は、撮像部８１０で生成された擬似輝度信号Ｙ'及び擬似色差信号Ｕ'，Ｖ'に対して、色情報に対するホワイトバランスやγ補正を行わない状態で、ＪＰＥＧ，ＭＰＥＧ、Ｈ．２６１、ベクトル量子化等の情報圧縮技術を用いた圧縮処理を行う。
具体的には例えば、先ず、所定の画素ブロック毎にＤＣＴ（Discrete Cosine Transform : 離散コサイン変換）を行う。次に、ＤＣＴした擬似輝度信号Ｙ'及び擬似色差信号Ｕ'，Ｖ'を量子化することで、高周波成分を除去した圧縮データを得る。そして、その圧縮データを符号化する。ここでの符号化処理は、種々の方式を用いることが可能であるが、データの発生頻度に応じた符号長を割り当てる可変長符号化を用いることで圧縮率をさらに高めることが可能となる。
このようにして、圧縮処理装置８２０にて、圧縮及び符号化されたデータは、例えば、通信回線等の媒体を介して、受信側の伸張処理装置８３０に対して送信される。
【０１０４】
受信側において、情報伸張装置８３０は、送信側から送られてきたデータに対して、上述の圧縮装置装置８２０におけるＤＣＴ及び量子化処理の逆の処理を行うことで、擬似輝度信号Ｙ'及び擬似色差信号Ｕ'，Ｖ'を復元する。
【０１０５】
色処理装置８４０は、情報伸張装置８３０で得られた擬似輝度信号Ｙ'及び擬似色差信号Ｕ'，Ｖ'に対して、ホワイトバランス補正やγ補正等の色処理のような、良好な画質を得るために必要な種々の補正を行うことで、輝度信号Ｙ及び色差信号Ｕ，Ｖを生成する。
【０１０６】
表示／記録装置８５０は、色処理装置８４０にて生成された輝度信号Ｙ及び色差信号Ｕ，Ｖを画面表示したり、記録媒体に記録したりする。
【０１０７】
上述のように、本実施の形態では、色フィルタ７１１を、上記図２〜図５に示したようなフィルタ配列で構成し、撮像素子７１２で得られた画素信号を、上述した第１〜第７の各実施の形態で説明したようにして読み出す構成とした。これにより、カラー画像信号を取り扱う画像処理システムにおいても、上述した第１〜第７の各実施の形態での効果を得ることができる。すなわち、水平方向及び垂直方向に高解像度なカラー画像信号を、高速に得ることができる。
【０１０８】
また、撮像素子７１２で得られた原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから擬似輝度信号Ｙ'及び擬似色差信号Ｕ'，Ｖ'を得るための輝度／色差前処理部７２０を、撮像素子７１２と同一チップ上に設けるように構成した。これにより、擬似輝度信号Ｙ'、及び擬似色差信号Ｕ'，Ｖ'を得るための演算処理を高速化することができる。したがって、後段の圧縮処理や伸張処理等の画像処理を効率的に行うことができる。
【０１０９】
そして、上述の構成により、処理が高速化した分を、圧縮処理や伸張処理等の画像処理の精度向上のためにあてることもでき、さらに高画質のカラー画像信号を得ることができる。
【０１１０】
また、撮像部８１０にて得られる擬似輝度信号Ｙ'、及び擬似色差信号Ｕ'，Ｖ'に対して、圧縮処理装置８２０にて圧縮及び符号化を行って、伸張処理装置８３０にて伸張した後に、色処理装置８４０にて高品位の画質を得るための、ホワイトバランス補正やγ補正等の色処理を行うように構成した。これにより、圧縮処理後の伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることもできる。したがって、表示／記録装置８５０により記録媒体に記憶したり、通信回線を介して伝送したりする際の情報量を大幅に削減できるとともに、画質の劣化を可及的に防止して高品位の画質を得ることもできる。
【０１１１】
尚、上述の第７の実施の形態では、圧縮処理装置８２０での圧縮処理として、ＤＣＴ及び可変長符号化を用いたが、これに限らず、例えば、コードブック圧縮技術（ベクトル量子化技術）を用いることもできる。
このコードブック圧縮技術を用いる場合、先ず、圧縮処理装置８２０は、撮像部８１０で得られた擬似輝度信号Ｙ'、及び擬似色差信号Ｕ'，Ｖ'と、予め記憶している複数のコードブック（パターン）と比較し、その中で最も似通ったパターンを見つけ出して、そのパターンに対応するコード番号を、受信側の伸張処理装置８３０に対して送信する。
伸張処理装置８３０は、圧縮処理装置８２０から送られてきたコード番号に対応するパターンを、予め記憶している複数のコードブック取り出すことにより、圧縮処理装置８２０側で圧縮された画像信号を再現する。
【０１１２】
また、上記の各実施の形態では、色フィルタ７１１として、イエロ（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ）、グリーン（Ｇ）の補色系４色の色フィルタが配列されてなる補色フィルタを用いるとしたが、これに限らず、輝度信号又は色差信号が得られるものであれば、他のフィルタを用いるようにしてもよい。
しかしながら、例えば、Ｒ，Ｇ，Ｂの３色の色フィルタから構成される原色フィルタを色フィルタ７１１として用いた場合と、上記の各実施の形態のように、４色の色フィルタから構成される補色フィルタを色フィルタ７１１として用いた場合とを比較すると、補色フィルタは、それを構成する各色フィルタが全て色成分を有するため、後者の補色フィルタを用いた場合のほうが、輝度偽信号が小さく、更に、入射光の利用率が少なく低感度になるという欠点を防ぐことができる。したがって、補色フィルタを用いたほうが、より高い効果を得ることができる。
【０１１３】
以上説明した実施の形態によれば、複数色のフィルタがＮ行×Ｎ列の周期性を持って配列されてなる色フィルタアレイのフィルタ配列を、該Ｎ行×Ｎ列の周期単位の中で、同一行のフィルタの色は全て異なり、同一列のフィルタの色も全て異なるように構成するようにした。
これにより、所定の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、どの画素ブロックからも輝度信号及び色差信号を得るために必要な画素信号を得ることができるため、高解像度の輝度信号及び色差信号を得ることができる。これを、簡易カラー表示、オートフォーカス用検出信号、ホワイトバランスの調整、或いは画像圧縮処理等に用いることで、良好なカラー画像を提供することができる。
例えば、第１の色〜第４の色（シアンＣｙ，イエロＹｅ，マゼンダＭｇ，グリーンＧ等）の４種類の色のフィルタが、４行×４列の周期性を持って配列されてなる色フィルタアレイの場合、該４行×４列の周期単位の中で、
第１行目：第１の色、第２の色、第３の色、第４の色
第２行目：第３の色、第４の色、第１の色、第２の色
第３行目：第２の色、第１の色、第４の色、第３の色
第４行目：第４の色、第３の色、第２の色、第１の色
のように、行方向及び列方向共に、同じ色のフィルタが重複しないように、フィルタを配列する。
これにより、２行×２列の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、どの画素ブロックからも第１の色〜第４の色の各画素信号が得られるため、すなわち輝度信号及び色差信号を得るための演算に必要な画素信号が得られるため、従来のように、ある行に対しては輝度信号及び色差信号を得るための演算を行うことができない、ということはない。
また、前記色フィルタアレイを介した被写体光から得られた画素信号を、Ｎ行×Ｎ列の画素ブロック単位で読み出す際、次に読み出しを行う画素ブロックを、前回読み出しを行った画素ブロックに対して、水平方向又は垂直方向、或いは水平方向と共に垂直方向に、所定の画素分シフトした位置のブロックとして、該ブロックに対して読み出しを行うように構成すれば、解像度を更に上げることができる。
例えば、２行×２列の画素ブロック単位での読み出しを行う場合、先ず、第１の画素ブロックの読み出しを行った結果、第１行第１列の画素信号Ｙ11、第１行第２列の画素信号Ｙ12、第２行第１列の画素信号Ｙ21、及び第２行第２列の画素信号Ｙ22が得られる。これらの画素信号のうち、次に読み出しを行う第２の画素ブロック（第１の画素ブロックに対して１画素分水平方向にシフトした位置のブロック）と重なりあう領域（第１行第２列及び第２行第２列）の画素信号Ｙ12，Ｙ21を保持しておく。そして、次の画素ブロックの読み出しに、上記重なりあう領域の画素信号として、該保持しておいた画素信号Ｙ12，Ｙ21を用いるようにする。
これにより、２行×２列の画素ブロック単位で、該画素ブロックの画素信号を用いて輝度信号及び色差信号を得る際に、水平方向の各画素に対応した輝度信号及び色差信号を得ることができる。したがって、この場合には、水平方向の解像度を２倍に上げることができる。
また、例えば、２行×２列の画素ブロック単位で、第１行第１列の画素信号と第１行第２列の画素信号の加算信号と、第２行第１列の画素信号と第２行第２列の画素信号の加算信号との差を読み出し、第１行第１列の画素信号と第２行第１列の画素信号の加算信号と、第１行第２列の画素信号と第２行第２列の画素信号の加算信号との差を読み出すようなモード（読み出し１のモード）を利用すれば、水平方向、垂直方向共に解像度が高い色差信号を持ったカラー画像信号が得られる。
また、上述した実施の形態によれば、同一の色フィルタパターンを用いながらも、様々な読み出し方法があるので、簡易カラー表示、オートフォーカス、オートホワイトバランスに使用できる画像信号を高速に出力できるモードや高解像度の画像信号を出力するモードなどのマルチモードに対応できる。
また、上述した実施の形態によれば、撮像素子から上記の読み出しにより擬似輝度信用及び色差信号を得て、さらにホワイトバランスやγ補正等の色処理を行わない状態で圧縮を行って伸張後に上記色処理を行うため、高い効率で圧縮することができ、色処理後の画質劣化を防ぐことができる。
【０１１４】
また、本発明の目的は、上述した各実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が各実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【０１１５】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【０１１６】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１１７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１１８】
【図１】第１の実施の形態において、本発明を適用した撮像装置の構成を示すブロック図である。
【図２】上記撮像装置で用いる色フィルタのフィルタ配列の一例を説明するための図である。
【図３】上記フィルタ配列の他の一例を説明するための図である。
【図４】第２の実施の形態において、上記撮像装置で用いる色フィルタのフィルタ配列の一例を説明するための図である。
【図５】上記フィルタ配列の他の一例を説明するための図である。
【図６】第３の実施の形態において、上記第１及び第２の実施の形態での画素信号の読み出し方法を実施する上記撮像装置の回路構成を説明するための図である。
【図７】上記回路構成での撮像装置の動作を説明するための図である。
【図８】第４の実施の形態において、上記第１及び第２の実施の形態での画素信号の読み出し方法１を実施する上記撮像装置の回路構成を説明するための図である。
【図９】上記回路構成での撮像装置の動作を説明するための図である。
【図１０】第５の実施の形態において、上記第１及び第２の実施の形態での画素信号の読み出し方法１を実施する上記撮像装置の回路構成を説明するための図である。
【図１１】上記回路構成での撮像装置の動作を説明するための図である。
【図１２】第６の実施の形態において、オーバーラップ読出を実施する上記撮像装置の回路構成を説明するための図である。
【図１３】上記回路構成での撮像装置の動作を説明するための図である。
【図１４】上記オーバーラップ読出を行わない場合の画素信号から得られる輝度信号及び色差信号を説明するための図である。
【図１５】上記オーバーラップ読出を行った場合の画素信号から得られる輝度信号及び色差信号を説明するための図である。
【図１６】上記撮像装置をより具体化した回路構成の一例（例１）を説明するための図である。
【図１７】上記回路構成での撮像装置の動作を説明するための図である。
【図１８】上記撮像装置をより具体化した回路構成の一例（例２）を説明するための図である。
【図１９】上記回路構成での撮像装置の動作を説明するための図である。
【図２０】上記例１及び例２の各回路構成の両機能を有する回路構成を説明するための図である。
【図２１】上記回路構成での撮像装置の動作を説明するための図である。
【図２２】第７の実施の形態において、本発明を適用した画像処理システムの構成を示すブロック図である。
【図２３】水平方向に２画素、垂直方向に４画素の周期性を持つ従来の色フィルタのフィルタ配列を説明するための図である。
【図２４】水平方向に２画素、垂直方向に８画素の周期性を持つ従来の色フィルタのフィルタ配列を説明するための図である。
【符号の説明】
【０１１９】
１００  光検出素子
１０１  転送用トランジスタ
１０２  拡散浮遊領域
１０３  リセット用トランジスタ
１０４  アンブ用トランジスタ
１０６，１０７，５０１，５０２，５０３，５０４  分配用トランジスタ
１２１  スイッチ用トランジスタ
１０５  放電用トランジスタ
１０８，１１５，１’。１６，３０１，３０２，３０３，３０４，５０５，５０６，５０７  平均化用トランジスタ
１０９，１１０，１１７，１１８  コンデンサ（ラインメモリ）
１２２，１２７  差動アンブ
７００  撮像装置
７１０  撮像部
７１１  色フィルタ
７１２  撮像素子
７１３  信号読出部
７２０  輝度／色差前処理部
【図１】
2008136236.tif 000003
【図２】
2008136236.tif 000004
【図３】
2008136236.tif 000005
【図４】
2008136236.tif 000006
【図５】
2008136236.tif 000007
【図６】
2008136236.tif 000008
【図７】
2008136236.tif 000009
【図８】
2008136236.tif 000010
【図９】
2008136236.tif 000011
【図１０】
2008136236.tif 000012
【図１１】
2008136236.tif 000013
【図１２】
2008136236.tif 000014
【図１３】
2008136236.tif 000015
【図１４】
2008136236.tif 000016
【図１５】
2008136236.tif 000017
【図１６】
2008136236.tif 000018
【図１７】
2008136236.tif 000019
【図１８】
2008136236.tif 000020
【図１９】
2008136236.tif 000021
【図２０】
2008136236.tif 000022
【図２１】
2008136236.tif 000023
【図２２】
2008136236.tif 000024
【図２３】
2008136236.tif 000025
【図２４】
2008136236.tif 000026
【手続補正書】
【提出日】平成20年3月24日(2008.3.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
従来より、撮像素子（固体撮像素子：ＣＣＤ等、以下、単に「撮像素子」と言う）よりカラー画像信号を生成するカラー撮像装置がある。このカラー撮像装置では、被写体光が色フィルタ（フィルタアレイ）を介して、撮像素子における複数のホトダイオード（以下、「画素」又は「光検出素子」とも言う）が配列されてなる受光面に入射されるようになされている。
色フィルタの種類としては、原色フィルタと補色フィルタがある。原色フィルタは、レッド（Ｒ）、グリーン（Ｇ）、及びブルー（Ｂ）の３原色の色フィルタが、受光面上の各画素に対応して、所定の順で配列された構成としている。補色フィルタも同様に、シアン（Ｃｙ）、イエロ（Ｙｅ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）の補色系の４色の色フィルタが所定の順で配列された構成としている。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
まず、補色フィルタにおいて、シアンの色フィルタは、可視光範囲において赤色光のみを遮断し、イエロの色フィルタは、可視光範囲において青色光のみを遮断するようになされている。また、マゼンタの色フィルタは、可視光範囲において緑色光のみを遮断し、グリーンの色フィルタは緑色光のみを透過するようになされている。
尚、これらの各色フィルタの配列については後述する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
そこで、図２３及び図２４は、撮像素子に対して用いられる補色フィルタでの色フィルタの配列パターンの一例を示したものである。
上記図２３に示すパターンの補色フィルタは、水平方向（図中Ｃ１，Ｃ２，Ｃ３，・・・の方向）に２画素、垂直方向（図中Ｌ１，Ｌ２，Ｌ３，・・・の方向）に４画素の周期性を持つように、色フィルタが配列されたものである。一方、上記図２４に示すパターンの補色フィルタは、水平方向に２画素、垂直方向に８画素の周期性を持つように、色フィルタが配列されたものである。
何れの補色フィルタを用いた場合でも、輝度信号Ｙは、水平方向に２画素、垂直方向に２画素の４（２×２）画素ブロック内の画素からの画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇ（上記図２３及び図２４中斜線部分参照）を用いた上記式（１）の演算を行うことにより得られる。色差信号ＣＢ，ＣＲについても同様に各々、２×２画素ブロック内の画素からの画素信号Ｃｙ，Ｙｅ，Ｍｇ，Ｇを用いた上記式（２）、（３）の演算を行うことにより得られる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
まず、色フィルタ７１１の構成について説明する。
図２は、上記図１の色フィルタ（補色フィルタ）７１１のフィルタ配列（パターン）を示したものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
この図２に示すように、色フィルタ７１１は、水平方向に４画素、垂直方向に４画素の周期性を有するように、フィルタ配列がなされている。このようなフィルタ配列がなされた色フィルタ７１１において、第１行Ｌ１には、左から順にＧ１，Ｙｅ１，Ｃｙ２，Ｍｇ２の色フィルタが配列され、第２行Ｌ２には、左から順にＣｙ１，Ｍｇ１，Ｇ２，Ｙｅ２の色フィルタが配列され、第３行Ｌ３には、左から順にＹｅ３，Ｇ３，Ｍｇ４，Ｃｙ４の色フィルタが配列され、第４行Ｌ４には、左から順にＭｇ３，Ｃｙ３，Ｙｅ４，Ｇ４の色フィルタが配列されている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
上述のように、色フィルタ７１１では、水平方向に４画素、垂直方向に４画素の中で、どの行にも重複した色フィルタが無く、全ての色フィルタが異なり、また、どの列にも重複した色フィルタが無く、全ての色フィルタが異なるようなフィルタ配列としている。
尚、上記図２のフィルタ配列において、各色フィルタの配列は、左右又は上下が反転していても良い。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
［読み出し方法２］
この読み出し方法２から、後述する読み出し方法５までは、輝度信号Ｙを高解像度で出力することが可能な読み出し方法である。これらは、輝度信号Ｙのみを用いて演算することにより行うオートフォーカス等に用いて好適な方法である。
そこで、読み出し方法２では、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）、
（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３
Ｙ２＝Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３
なる演算により求める。
このような読み出し方法２によれば、輝度信号Ｙは、水平方向に１画素毎に１個得られるため、水平方向について高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターンなどの水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
［読み出し方法３］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）、
（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝  （Ｇ１＋Ｃｙ１＋Ｙｅ３＋Ｍｇ３）
＋（Ｙｅ１＋Ｍｇ１＋Ｇ３＋Ｃｙ３）
なる演算により求める。
このような読み出し方法３によれば、輝度信号Ｙは、水平方向に２画素毎に１個得られる。また、輝度信号Ｙのレベルが高くなる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであり、且つ、被写体が低輝度であるときのオートフォーカス用検出信号として用いるのに最適である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
［読み出し方法６］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、（Ｃｙ２＋Ｍｇ２）、
（Ｇ２＋Ｙｅ２）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝  （Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
ＣＢ２＝−（Ｃｙ２＋Ｍｇ２）＋（Ｇ２＋Ｙｅ２）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｙｅ３＋Ｍｇ３）、（Ｇ３＋Ｃｙ３）、（Ｍｇ４＋Ｙｅ４）、
（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲｌ＝−（Ｙｅ３＋Ｍｇ３）＋（Ｇ３＋Ｃｙ３）
ＣＲ２＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法６によれば、色差線順次の信号が得られる。また、この方法は、被写体が動画であるときに最適であり、また、高速で画像信号を出力することができる。これは、上述の読み出し方法１に対して、読み出し信号の数（読み出す色差信号の画素数）が半分であるからである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
［読み出し方法１４］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｙｅ１）、（Ｃｙ１＋Ｍｇ１）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＢを、隣接するペアから求める。例えば、
ＣＢ１＝（Ｇ１＋Ｙｅ１）−（Ｃｙ１＋Ｍｇ１）
なる演算により求める。
また、信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｍｇ４＋Ｙｅ４）、（Ｃｙ４＋Ｇ４）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、色差信号ＣＲを、隣接するペアから求める。例えば、
ＣＲ１＝−（Ｍｇ４＋Ｙｅ４）＋（Ｃｙ４＋Ｇ４）
なる演算により求める。
このような読み出し方法１４も、上述の読み出し方法６〜１３と同様に、被写体が動画であるときに最適であり、高速で画像信号を出力することができる。特に、この方法では、上述の読み出し方法１に対して、読み出す信号（色差信号に必要な読み出す画素数）が１／４になるため、さらに高速で画像信号を出力することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
（第２の実施の形態）
本実施の形態では、上記図１に示した撮像装置７００において、色フィルタ７１１のフィルタ配列を、例えば、図４に示すようなものとする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
上記図４に示すように、ここでの色フィルタ７１１は、水平方向に４画素、垂直方向に４画素の周期性を持つように、フィルタ配列がなされている。このようなフィルタ配列がなされた色フィルタ７１１において、第１行Ｌ１には、左から順にＧ１，Ｙｅ１，Ｍｇ２，Ｃｙ２の色フィルタが配列され、第２行Ｌ２には、第１行Ｌ１に対して左に２列ずれたかたちで、左から順にＭｇ１，Ｃｙ１，Ｇ２，Ｙｅ２の色フィルタが配列され、第３行Ｌ３には、第１行Ｌ１に対して左に３列ずれたかたちで、左から順にＣｙ３，Ｇ３，Ｙｅ４、Ｍｇ４の色フィルタが配列され、第４行Ｌ４には、第１行Ｌ１に対して左に１列ずれたかたちで、左から順にＹｅ３，Ｍｇ３，Ｃｙ４，Ｇ４の色フィルタが配列されている。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
上述のように、色フィルタ７１１では、水平方向に４画素、垂直方向に４画素の中で、どの行にも重複した色フィルタが無く、全ての色フィルタが異なり、また、どの列にも重複した色フィルタが無く、全ての色フィルタが異なるようなフィルタ配列としている。
尚、上記図４のフィルタ配列において、各色フィルタの配列は、左右又は上下が反転していても良い。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
そこで、本実施の形態での、信号読出部７１３での画素信号の読み出し方法、及び該読み出し方法に従って読み出された画素信号を用いての輝度／色差前処理部７２０での演算処理について、以下説明する。
尚、本実施の形態における撮像装置７００の全体動作については、第１の実施の形態での動作と同様であるため、ここでは説明の簡単のために省略し、第１の実施の形態とことなる構成についてのみ、具体的に説明するものとする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
［読み出し方法２１］
信号読出部７１３は、撮像素子７１２から画素信号を、
画素信号系列：
（Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３）、
（Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３）、・・・
で読み出す。輝度／色差前処理部７２０は、上記の画素信号系列において、輝度信号Ｙを、例えば、
Ｙ１＝Ｇ１＋Ｍｇ１＋Ｃｙ３＋Ｙｅ３
Ｙ２＝Ｙｅ１＋Ｃｙ１＋Ｇ３＋Ｍｇ３
なる演算により求める。
このような読み出し方法２１によれば、輝度信号Ｙは、水平方向に１画素毎に１個得られるため、水平方向に高解像度となる。したがって、この方法で生成された輝度信号Ｙは、特に、被写体が細かい縦縞パターン等の水平方向の解像度が高いものであるときのオートフォーカス用検出信号として用いるのに最適である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
尚、上述の本実施の形態では、撮像素子７１２に対して用いる色フィルタ７１１のフィルタ配列を、上記図４に示したようなものとしたが、例えば、図５に示すように、上記図４でのフィルタ配列において、第３行Ｌ３と第４行Ｌ４とを入れ替えたものとしても、上述した読み出し方法２１〜２８を適用することができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
図６は、ここでの撮像部７１０（以下、「ＣＭＯＳセンサ７１０」と言う）の回路構成を示したものである。
このＣＭＯＳセンサ７１０は、垂直方向に隣接する２個の画素（光検出素子）の受光量（検出光量）の平均値と、その隣の列で垂直方向に隣接する２個の光検出素子の検出光量の平均値との差分を出力する第１の出力系列と、水平方向に隣接する２つの光検出素子の検出光量の平均値と、その隣の行の水平方向に隣接する２つの光検出器の検出光量の平均値の差分を出力する第２の出力系列とを備える。このような回路構成により、ＣＭＯＳセンサ７１０は、読み出し方法１を実施することが可能となる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
具体的には、上記図６において、まず、１は、垂直方向に順次アクティブになる信号であって、各行のコントロール信号をイネーブルさせるためのイネーブル信号を発生する垂直走査回路である。１００は、入射されてきた光を電荷に変換する光検出素子としてのフォトダイオードであり、１０１は、光検出素子１００で発生した電荷を浮遊拡散領域１０２に転送する転送用トランジスタである。浮遊拡散領域１０２は、光検出素子１００で発生した電荷を一時的の蓄積するものである。
１０３は、アンプ用トランジスタ１０４のゲートに蓄積された電荷を放電するリセット用トランジスタ１０３であり、１２１は、スイッチ用トランジスタ、１１２は、端子７より印加される電圧で決定される定電流源用トランジスタである。
１０５は、コンデンサ１０９，１１０，１１７，１１８の電荷を放電するためのトランジスタであり、１０６は、アンプ用トランジスタ１０４のソースと、コンデンサ１０９とを繋ぐ分配用トランジスタである。１０７は、アンプ用トランジスタ１０４のソースと、コンデンサ１１０とを繋ぐ分配用トランジスタである。
コンデンサ１０９，１１０は、アンプ用トランジスタ１０４からの供給電圧により充電されるラインメモリとして機能するコンデンサである。
１０８は、コンデンサ１０９の蓄積電荷と、コンデンサ１１０の蓄積電荷との平均化をコントロールするための平均化用トランジスタである。１１１は、ラインメモリとして機能するコンデンサ１０９の電圧を、差動増幅器１２２の前段のバッファ１２３に印加させるためのスイッチトランジスタである。
１２２は、コンデンサ１０９の電圧と、コンデンサ１０９'の電圧との差分を増幅する差動増幅器である。
１１３は、アンプ用トランジスタ１０４のソースと、コンデンサ１１７とを接続するスイッチトランジスタであり、１１４は、アンプ用トランジスタ１０４のソースと、コンデンサ１１８とを接続するスイッチトランジスタである。
１１７，１１８は、アンプ用トランジスタ１０４のソースから供給される電流により充電されるラインメモリとしてのコンデンサである。１１５は、コンデンサ１１７の蓄積電荷と、コンデンサ１１７'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
１１６は、コンデンサ１１８の蓄積電荷と、コンデンサ１１８'の蓄積電荷との平均化をコントロールするためのスイッチコンデンサであり、１１９は、ラインメモリとしてのコンデンサ１１７の電圧を差動増幅器１２７の前段のバッファ１２８に印加させるためのスイッチトランジスタである。
１２７は、コンデンサ１１７の電圧と、コンデンサ１１８'の電圧との差分を増幅する差動増幅器である。
上述の低電流源用トランジスタ１１２は、行単位に活性化され、アンプ用トランジスタ１０４と対でアンプを構成する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
先ず、タイミングＴ２０１において、端子１１への入力パルスは、ＨＩＧＨ状態となっている。この状態で、端子３０，３１，５０，５１への入力パルスが、ＨＩＧＨとなると、ラインメモリとしてのコンデンサ１０９，１１０，１１７，１１８は、全て初期電位にリセットされる。また、端子２から入力される垂直走査回路１のスタートパルス、端子３から入力される走査パルスが、ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。また、端子８には、ＨＩＧＨのパルスが入力されており、これにより、画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ２０２において、端子８に入力されているリセットパルスがＬＯＷ状態となる（立ち下がる）。これにより、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ２０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ２０４において、端子１０，３０，５０への入力パルスがＨＩＧＨとなると、第１行目の光検出素子で検出された光量に比例した電圧が、アンプ用トランジスタ１０４により、コンデンサ１０９，１１７に対して読み出される。
次に、タイミングＴ２０５において、端子３へ入力されている垂直走査パルスがＬＯＷ状態となる（立ち下がる）。
次に、タイミングＴ２０６において、端子３へ入力されている垂直パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される。
次に、タイミングＴ２０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がり）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ２０８においては、上述のタイミングＴ２０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ２０９においても、上述のタイミングＴ２０４と同様に、端子１０，３１，５１への入力パルスがＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電圧が、第２行目のアンプ用トランジスタ１０４により、コンデンサ１１０，１１８に対して読み出される。
次に、タイミングＴ２１０において、端子４０，６０，６１への入力パルスがＨＩＧＨパルスとなると、ラインメモリとしてのコンデンサ１１７上で、蓄積電荷の平均化が行われる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
そして、タイミングＴ２１１において、このタイミングから、水平走査回路４が動作を開始し、平均化された後の電圧が水平方向に順次、差動増幅器（アンプ）１２２，１２７に印加される。
これにより、差動増幅器１２２，１２７からは、青の色差信号ＣＢ、赤の色差信号ＣＲが出力されることになる。
更に、端子７０，７１又は８０，８１の出力を、オペアンプ等により構成される加算器（不図示）により加算することで、輝度信号Ｙも得られる。また、平均化用トランジスタ１０８による平均化を行わず、全行の光検出素子での電荷をコンデンサ１０９に一時蓄積すれば、端子７１から奇数列の１画素毎の出力を得ることができる。同様に、偶数列の１画素毎の出力については、出力端子７０から得ることができる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
具体的には、上記図８において、まず、３０１は、コンデンサ１０９の蓄積電荷と、コンデンサ１０９'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０２は、コンデンサ１１０の蓄積電荷と、コンデンサ１１０'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
３０１'は、コンデンサ１０９"の蓄積電荷と、コンデンサ１０９"'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０２'は、コンデンサ１１０"の蓄積電荷と、コンデンサ１１０"'の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
３０３は、コンデンサ１０９'の蓄積電荷と、コンデンサ１０９"の蓄積電荷との平均化をコントロールするためのスイッチトランジスタであり、３０４は、コンデンサ１１０'の蓄積電荷と、コンデンサ１１０"の蓄積電荷との平均化をコントロールするためのスイッチトランジスタである。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
尚、スイッチトランジスタ３０１，３０１'，３０３が連動すれば、これらは、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ３０１，３０１'をオンにした後で、又はオンにするときに、スイッチトランジスタ３０３をオンにすれば、これらは、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷を平均化する。
また、スイッチトランジスタ３０２，３０２'，３０４が連動すれば、これらは、コンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷を平均化するようになされている。すなわち、例えば、スイッチトランジスタ３０２，３０４'をオンにした後で、又はオンにするときに、スイッチ３０４をオンにすれば、これらは、コンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷を平均化する。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
先ず、タイミングＴ４０１において、端子２へ入力されている垂直走査回路１のスタートパルスと、端子３に入力されている垂直走査パルスとが各々ＨＩＧＨとなると、垂直走査回路１が走査を開始し、第１行目（Ｒ１）が選択される。このとき、端子８へ入力されているリセットパルスはＨＩＧＨであり、これにより画素部の浮遊拡散領域がリセットされる。
次に、タイミングＴ４０２において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第１行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ４０３において、端子９への入力パルスがＨＩＧＨとなると、第１行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ４０４において、端子１０，５０への入力パルスが各々ＨＩＧＨとなると、第１行目の光検出素子で検出された光量に比例した電圧が、アンプ用トランジスタ１０４によって、コンデンサ１０９に対して読み出される。
次に、タイミングＴ４０５において、端子３へ入力されている垂直走査パルスがＬＯＷになる（立ち下がる）。
次に、タイミングＴ４０６において、端子３に入力されている垂直走査パルスが再びＨＩＧＨとなると（立ち上がると）、第２行目（Ｒ２）が選択される。
次に、タイミングＴ４０７において、端子８へ入力されているリセットパルスがＬＯＷとなると（立ち下がると）、第２行目の画素の浮遊拡散領域が電気的に浮遊状態になる。
次に、タイミングＴ４０８において、上述のタイミングＴ４０３と同様に、端子９への入力パルスがＨＩＧＨとなると、第２行目の光検出素子から浮遊拡散領域への電荷の転送が行われる。
次に、タイミングＴ４０９においても、上述のタイミングＴ４０４と同様に、端子１０，５１への入力パルスが各々ＨＩＧＨとなると、第２行目の光検出素子で検出された光量に比例した電圧が、第２行目のアンプ用トランジスタ１０４によってコンデンサ１１０に対して読み出される。
次に、タイミングＴ４１０において、端子６０，６１，９０，９１への入力パルスが各々ＨＩＧＨとなると、ラインメモリ上で、コンデンサ１０９，１０９'，１０９"，１０９"'の蓄積電荷の平均化、及びコンデンサ１１０，１１０'，１１０"，１１０"'の蓄積電荷の平均化が行われる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
また、上記図６〜図１１を用いて説明したＣＭＯＳセンサ７１０の動作において、画素の電荷（光信号）を読み出す前に、その拡散浮遊領域のリセット電圧を別のラインメモリに読み出すようにしてもよい。このリセット電圧と光信号出力の差分をとることで、トランジスタ１０４の閾値電圧のばらつきによる出力電圧のばらつきを除去することができる。したがって、各光検出素子で検出した光量による信号にばらつきによるノイズ成分が混入しない、Ｓ／Ｎの高い信号を得ることができる。
また、垂直及び水平走査を、１ブロック毎、又は複数ブロック毎に間引いて行うようにしてもよい。これにより、更に、圧縮した信号が得られる。
また、ＣＭＯＳセンサに限らず、別種の光電変換素子に本発明を適用することは可能であり、この場合も、上記の各実施の形態と同様な効果を得ることができる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
尚、ここでは、２×２の画素ブロックを読み出し単位としているため、保持用の４つのコンデンサのうちの２つのコンデンサを、前回の読出画素信号の保持手段として設けているが、例えば、４×４画素ブロックが読み出し単位であれば、該保持手段として１２個のコンデンサを設ければよい。すなわち、Ｎ×Ｎの画素ブロックの読み出し単位に対して、該保持手段をＮ×（Ｎ−１）個設けることで、上述した２×２の画素ブロック単位の読み出しと同様に、Ｎ×Ｎの画素ブロック単位の読み出しを水平方向に１画素シフトしながら行うことができる。
また、垂直方向についても、水平方向の場合と同様の構成により、１画素シフトしながら画素ブロック単位の信号の読み出しを行うようにすれば、垂直方向の解像度も上げることができる。
さらに、ノイズ除去機能を持たせるように構成すれば、より良好な画像信号を得ることができる。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
また、上記図１６〜図２１を用いて説明したＣＭＯＳセンサ７１０の動作において、画素の電荷（光信号）を読み出す前に、その拡散浮遊領域のリセット電圧を別のラインメモリに読み出すようにしてもよい。このリセット電圧と光信号出力の差分をとることで、トランジスタ１０４の閾値電圧のばらつきによる出力電圧のばらつきを除去することができる。したがって、各光検出素子で検出した光量による信号にばらつきによるノイズ成分が混入しない、Ｓ／Ｎの高い信号を得ることができる。
また、ＣＭＯＳセンサに限らず、別種の光電変換素子に本発明を適用することは可能であり、この場合も、上記の各実施の形態と同様な効果を得ることができる。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
このような画像信号処理システム８００の最も特徴とするところは、撮像素子ＩＣチップ８１０にある。
すなわち、撮像素子ＩＣチップ（以下、「撮像部」と言う）８１０は、上記図１の撮像装置７００と同様の機能を有するものであり、上記図１に示した色フィルタ７１１、撮像素子７１２、信号読出部７１３、及び輝度／色差前処理部７２０を備え、これらは同一撮像素子ＩＣチップ上に設けられている。
以下、画像信号処理システム８００の動作について説明する。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
受信側において、情報伸張装置８３０は、送信側から送られてきたデータに対して、上述の圧縮処理装置８２０におけるＤＣＴ及び量子化処理の逆の処理を行うことで、擬似輝度信号Ｙ'及び擬似色差信号Ｕ'，Ｖ'を復元する。