(57)【要約】【課題】画素共有技術を適用した固体撮像素子からの撮像画像データについて、縦筋状の固定パターンノイズを軽減する。【解決手段】２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとした共有画素に対して、画素構成に必要な回路を共有する構成とされた固体撮像素子を備える。共有画素によって形成される水平方向の画素の配列パターンが互いに異なる水平ライン数に応じた数のラインメモリを設ける。固体撮像素子の遮光領域において、上記配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した平均値を、当該ラインに対応するラインメモリに書き込むと共に、固体撮像そしの有効領域において、各水平ラインの画素データを、対応するラインメモリに書き込まれている画素データの平均値により補正する。【選択図】図１１
2008288649.tif 000002
【特許請求の範囲】
【請求項１】
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、
前記画素構成に必要な回路を共有する前記所定の複数個の画素によって形成される水平方向の画素の配列パターンが互いに異なる水平ライン数に応じた数であって、前記水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応して設けられるラインメモリと、
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する検出補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、
前記画素構成に必要な回路を共有する前記所定の複数個の画素によって形成される水平方向の画素の配列パターンが互いに異なる水平ライン数に応じた数であって、前記水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応して設けられるラインメモリと、
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する第１の検出補正手段と、
前記固体撮像素子の有効領域の周囲の遮光領域において、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、前記ラインメモリのうちの特定のラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記特定のラインメモリに書き込まれている画素データの平均値により補正する第２の検出補正手段と、
前記第１の検出補正手段と、前記第２の検出補正手段とのいずれかを選択する選択手段と、
を備えることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記選択手段により前記第２の検出補正手段が選択されているときに、前記固体撮像素子からの画素データの読み出しモードが変更されたときに、前記特定のラインメモリが別のラインメモリに変更される
ことを特徴とする撮像装置。
【請求項４】
請求項１または請求項２に記載の撮像装置において、
前記画素の配列パターンは、前記画素のそれぞれに対して配される色フィルタの違いも含めたものとされる
ことを特徴とする撮像装置。
【請求項５】
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、前記画素構成に必要な回路を共有する前記所定の複数個の画素によって形成される水平方向の画素の配列パターンが互いに異なる水平ライン数に応じた数であって、前記水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応して設けられるラインメモリとを備える撮像装置の撮像データ補正方法であって、
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する検出補正工程を備える
ことを特徴とする撮像データ補正方法。
【請求項６】
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、前記画素構成に必要な回路を共有する前記所定の複数個の画素によって形成される水平方向の画素の配列パターンが互いに異なる水平ライン数に応じた数であって、前記水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応して設けられるラインメモリとを備える撮像装置の撮像データ補正方法であって、
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する第１の検出補正工程と、
前記固体撮像素子の有効領域の周囲の遮光領域において、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、前記ラインメモリのうちの特定のラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記特定のラインメモリに書き込まれている画素データの平均値により補正する第２の検出補正工程と、
前記第１の検出補正工程または前記第２の検出補正工程の実行に先立ち、前記第１の検出補正工程と、前記第２の検出補正工程とのいずれかを選択する選択工程と、
を備えることを特徴とする撮像データ補正方法。
【請求項７】
請求項６に記載の撮像データ補正方法において、
前記第２の検出補正工程において、前記固体撮像素子からの画素データの読み出しモードが変更されたときに、前記特定のラインメモリが別のラインメモリに変更される
ことを特徴とする撮像データ補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばＣＭＯＳイメージャなどの固体撮像素子を備える撮像装置、および、当該撮像装置からの撮像データの補正方法に関する。
【背景技術】
【０００２】
固体撮像素子、特に、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャなどのＸ−Ｙアドレス型の固体撮像素子を使った撮像装置においては、その読み出し方法に起因した「縦筋状固定パターンノイズ」という大きな問題がある。
【０００３】
すなわち、例えばＣＭＯＳイメージャからなる固体撮像素子は、例えば図１９に示すように、点線で囲んで示す画素の多数個が水平方向および垂直方向にマトリクス状に配列されたものである。図１９では、便宜上、水平方向×垂直方向＝２×２の構成を示している。各画素は、フォトダイオードからなる受光部１０１と、画素トランジスタ１０２とを備える。
【０００４】
そして、画素の各行（水平方向の複数の画素；ライン）を順に選択するための垂直走査回路１０３と、画素の各列（垂直方向の複数の画素；コラム）を順に選択するための水平走査回路１０４と、信号出力回路１０５とを備えている。垂直走査回路１０３および水平走査回路１０４は、シフトレジスタにより構成され、垂直走査パルスおよび水平走査パルスを、１ライン毎および１コラム毎に、順次に発生するものとされている。
【０００５】
そして、各ラインの画素トランジスタ１０２のゲートは、水平信号線１０６のそれぞれに接続され、また、各コラムの画素トランジスタ１０２のソースは、垂直信号線１０７のそれぞれに接続されている。
【０００６】
垂直信号線１０７のそれぞれは、画素毎のオフセット信号を除去するための相関二重サンプリング回路（ＣＤＳ）１０８および水平スイッチトランジスタ１０９のそれぞれに接続される。そして、水平スイッチトランジスタ１０９のゲートに、水平走査回路１０４からの水平走査パルスが順次に供給される。また、水平スイッチトランジスタ１０９のソースは、共通に接続されて、その接続点が信号出力回路１０５の入力端に接続される。
【０００７】
各画素に蓄積された画素信号の読み出しに際しては、垂直走査回路１０３からの垂直走査パルスが１本の水平信号線に加えられ、当該水平信号線に接続されている画素トランジスタ１０２の全てが導通状態になって、受光部１０１からの画素信号が、垂直信号線１０７に読み出される。
【０００８】
水平走査回路１０４は、垂直信号線１０７に接続されている水平スイッチトランジスタ１０９に順次に水平走査パルスを供給して、当該水平スイッチトランジスタ１０９を導通状態にする。そして、導通状態になった水平スイッチトランジスタ１０９を介して、ＣＤＳ１０８によりオフセットが除去された画素信号が信号出力回路１０５に入力され、電圧信号により変換されて、外部に出力される。
【０００９】
このようなＸ−Ｙアドレス型の固体撮像素子では、信号出力回路１０５から出力される画素信号は、コラム毎に垂直信号線が異なるため、ＣＤＳ１０８や水平スイッチトランジスタ１０９などにばらつきがあると、コラム毎に異なるオフセットが画素信号に乗ってします。このコラム毎のオフセットは、表示画面上で縦筋状の固定パターンノイズとして現れ、画質が劣化する。
【００１０】
この縦筋状の固定パターンノイズを補正する技術が、例えば特許文献１や特許文献２に開示されている。
【００１１】
これらに開示されている技術は、固体撮像素子の有効画素領域の周囲の遮光部分である枠領域（この遮光領域は、ＯＰＢ（Ｏｐｔｉｃａｌ  Ｂｌａｃｋ：黒レベルを決めるために配置されている）領域と称される）の画素からの画素信号を、各列（コラム）毎に積分することで、各コラム毎のオフセット量（バラツキ）を検出し、検出された各コラム毎のオフセット量を、有効画素領域の対応する各コラムの画素信号から減算することで、縦筋状の固定パターンノイズを補正するというものである。
【００１２】
上述した特許文献１，２に開示されている各コラム毎のオフセット量の検出および補正方法は、各コラム毎に、当該コラムに含まれる全画素の画素特性および読み出し特性が共通という大前提の元で成り立つものである。
【００１３】
ところで、近年、ビデオカメラやデジタルスチルカメラ用に用いられるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージャやＣＭＯＳイメージャなどの固体撮像素子には、一層の高画素数化と小型化が同時に要求されている。小型化を保ちつつ高画素数化を進めると、当然のことながら１画素あたりの面積が小さくなるために画素感度の減少が懸念される。
【００１４】
この問題を解決するために、従来は、回路・配線レイアウトの工夫あるいは製造プロセスの進化等によって、固体撮像素子の画素構成（フォトダイオードと、増幅トランジスタやリセットトランジスタなどを含む周辺回路からなる）におけるフォトダイオード部の占める割合をできるだけ大きくすることで、高画素数化と小型化の両立を図ってきた。
【００１５】
しかしながら、固体撮像素子に対する近年の高画素数化と小型化の要求はますます強まり、同時に低照度における高画質化も注目されてきており、もはや上記対応だけでは、画質として満足できる画素感度を得る固体撮像素子を提供することが事実上不可能になってきている。
【００１６】
そこで、固体撮像素子におけるこの問題を回避するための技術として、画素を構成するために必要な回路の一部分、例えば増幅用トランジスタやリセット用トランジスタを、水平方向および／または垂直方向に隣接または近接する複数の画素の間で共有させることにより、１画素当たりの回路（配線を含む）を減らし、その減らした分だけ受光用フォトダイオードに割り当てる面積を大きくして、画素の感度を稼ぐ技術が注目されている（以降、この技術を画素共有技術と呼ぶ）。
【００１７】
例えば特許文献３（特許第３８３８６６５号公報）では、画素からの画素データの読出しに必要な増幅用トランジスタおよびリセット用トランジスタを、隣接する２個の画素で共有化し、当該増幅用トランジスタおよびリセット用トランジスタに接続されている２個の画素を時間をずらして順に選択することで、それぞれの画素から画素データを読み出すことで、１画素あたりのトランジスタ数を削減し、その分をフォトダイオードの面積に回すことで、画素の感度向上を実現する画素共有技術が開示されている。
【００１８】
ところで、画素共有技術を用いない一般的な固体撮像素子は、全ての画素が画一的に構成されるのが通常である。すなわち、一般的な固体撮像素子の画素構成は、画面のどの位置の画素をみても常に同じである。このため、一般的な固体撮像素子では、画素毎のフォトダイオードの、半導体構造上の周辺環境も、全ての画素で同じとなり、製造上のバラツキの要因を除けば、基本的には、光学的特性は全画素で共通といえる。
【００１９】
しかしながら、上記特許文献３を始めとする「画素共有技術」を適用した固体撮像素子では、隣接あるいは近接する複数の画素間で回路を共有利用させるために、回路を共有する複数の画素を一つの単位として考えた場合には、当該単位は全て同じ構成となるが、当該単位内の各画素においては、当該単位内における画素配列位置により、半導体構造上の周辺環境が異なる。このために、画素共有技術を用いる固体撮像素子では、回路を共有する複数の画素の配列パターンに応じた繰り返しパターンをもって回路レイアウトが形成されることになる。
【００２０】
すなわち、回路を共有する複数の画素を単位としたとき、固体撮像素子上では、当該単位が、水平方向および垂直方向に、複数個、繰り返し配列されるものであるが、それら複数個の単位において、単位内の複数の画素の配列パターン上で同じ位置になる画素は、そのフォトダイオードの、半導体構造上の周辺環境配置は同一のものとなるため、光学的特性も揃うことになる。
【００２１】
しかし、回路を共有する複数の画素単位内の、当該画素の配列パターン上で異なる位置になる画素間、すなわち、前記単位内の隣接画素または近接画素間では、回路・レイアウトが異なるため、画素のフォトダイオードの半導体構造上の周辺環境配置も異なり、それら画素の画素特性がそれぞれ異なったものになることは避けられない。
【００２２】
このため、「画素共有技術」を適用した固体撮像素子で、全画面均一の被写体を撮像したとしても、前記単位内の隣接画素間で画素データ出力値が異なることになり、最終出力画像の品質が著しく低下してしまうという問題が発生する。
【００２３】
以上のような画素共有技術にまつわる上記の問題を、回避するために、従来は、
Ａ．画素レイアウトの工夫により、できるだけ光学的不均一性を軽減する
Ｂ．光学的不均一性が発生しても、出力画像に影響を与えないような組み合わせで画素共有させる
といった、固体撮像装置側の画素構造を工夫した技術が、特許文献４（特開２００４−１７２９５０号公報）、特許文献５（特開２０５−１１０１０４号公報）、特許文献６（特開２００６−７３７３３号公報）、特許文献７（特開２００６−１５７９５３号公報）など、多数開示されている。
【特許文献１】特開平１０−１２６６９７号公報
【特許文献２】特開２００６−２５１４６号公報
【特許文献３】特許第３８３８６６５号公報
【特許文献４】特開２００４−１７２９５０号公報
【特許文献５】特開２０５−１１０１０４号公報
【特許文献６】特開２００６−７３７３３号公報
【特許文献７】特開２００６−１５７９５３号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
前述したように、特許文献１，２に開示されている縦筋状の固定パターンノイズ補正方法は、各コラム毎に、当該コラムに含まれる全画素の画素特性および読み出し特性が共通という大前提の元で成り立つものである。
【００２５】
このため、上述した画素共有技術を適用した固体撮像装置においても、上記の特許文献４〜７に開示されている技術を用いて、共有画素のそれぞれについての画素特性のばらつきをなくすようにする必要がある。
【００２６】
しかしながら、前述したように、上記特許文献４〜７などに開示されている技術は、いずれも、固体撮像素子側の画素構造を工夫したものである。このため、例えば、上記Ａによる画素構造の工夫では、回路を共有する複数の画素（以下、回路を共有する複数の画素を共有画素と称する）の光学的不均一性を軽減させることはできても、完全になくすことはできない。
【００２７】
このため、画素共有技術を適用した固体撮像装置においては、従来は、共有画素を構成する複数の画素のそれぞれの画素特性のばらつきのために、縦筋状の固定パターンノイズを完全に補正することができず、縦筋状の固定パターンノイズが残留してしまうという問題があった。特に、低照度時等、ゲインが高い場合には、この縦筋状の固定パターンノイズは非常に問題となる。
【００２８】
また、共有画素のそれぞれについての画素特性のばらつきをなくすようにする、上記Ａの方法または上記Ｂの方法のいずれの場合も、画素構成、レイアウト、あるいは、画素データの読出し構成にまで、固体撮像素子に対して、大きな制約を課すことになり、延いては、当該ＡまたはＢの方法を適用した固体撮像素子の出力を処理する撮像装置全体に対しても大きな制約を課すことになってしまうという問題もある。
【００２９】
この発明は、上記の問題点を回避して、画素共有画素技術を適用した固体撮像素子についても、縦筋状の固定パターンノイズを、より軽減することができるようにした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００３０】
上記の課題を解決するために、この発明による撮像装置は、
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、
前記画素構成に必要な回路を共有する前記所定の複数個の画素によって形成される水平方向の画素の配列パターンが互いに異なる水平ライン数に応じた数であって、前記水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応して設けられるラインメモリと、
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する検出補正手段と、
を備えることを特徴とする。
【００３１】
上述の構成のこの発明による撮像装置においては、共有画素により形成される水平方向の画素の配列パターンが互いに異なる水平ライン数だけ、ラインメモリが設けられる。そして、それぞれのラインメモリは、水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応するようにされ、遮光領域において、対応する配列パターンの水平ラインの画素データの平均値が書き込まれる。
【００３２】
そして、有効領域においては、水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データが、対応するラインメモリに書き込まれている画素データの平均値により補正される。
【００３３】
これにより、この発明によれば、画素共有技術が適用された固体撮像素子においても、縦筋状の固定パターンノイズが補正される。
【発明の効果】
【００３４】
この発明によれば、画素共有技術が適用された固体撮像素子においても、固体撮像素子側の画素構造を工夫することなく、縦筋状の固定パターンノイズを補正することができる。
【発明を実施するための最良の形態】
【００３５】
以下、この発明による撮像装置の実施形態を、図を参照しながら説明する。
【００３６】
［第１の実施形態］
図１は、この実施形態の撮像装置１０の要部の構成例を示すブロック図であり、撮像レンズを備える光学系１と、固体撮像素子の例としてのＣＭＯＳイメージャ２と、アナログ信号処理部３と、デジタル信号処理部４と、カメラ制御マイクロコンピュータ（マイクロコンピュータはマイコンと略称する）５と、手ぶれセンサ６と、レンズ駆動用ドライバ部７と、ヒューマンインターフェースマイコン８と、ユーザーインターフェース９とを備えている。
【００３７】
光学系１は、手ぶれを補正するために撮像レンズを位置調整するためのアクチュエータを備える。このアクチュエータは、レンズ駆動用ドライバ部７からのレンズ駆動信号により駆動制御される。
【００３８】
ＣＭＯＳイメージャ２は、水平方向および垂直方向に多数個の画素が配列されたものであると共に、画素共有技術が適用されたものであり、また、カラー画像を得るために、色フィルタが、光入射側に配置されているものである。
【００３９】
図２は、このＣＭＯＳイメージャ２における画素配列と色フィルタとの例を示すものである。図２（Ａ）は、いわゆるベイヤー配列を示すもので、矩形の画素Ｐｓが、水平方向および垂直方向に多数個配列されると共に、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが、交互に画素に対向するように配され、残りの１つ置きの水平方向の画素の行では、青Ｂと緑Ｇの色フィルタが、交互に画素に対抗するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。
【００４０】
図２（Ｂ）および（Ｃ）は、ひし形形状の画素Ｐｄを、水平方向および垂直方向に多数個、配列したものである。これは、見かけ上の画素ピッチを、水平方向および垂直方向において、図２（Ａ）のベイヤー配列の場合よりも短くすることができる画素配置例である。ただし、図示のように、色フィルタの配置が、図２（Ｂ）と図２（Ｃ）とで異なるものである。
【００４１】
すなわち、図２（Ｂ）の画素配列例では、１つ置きの水平方向の画素の行では、赤Ｒと青Ｂの色フィルタが交互に画素に対向し、かつ、赤Ｒと青Ｂの色フィルタが、垂直方向にも交互に画素に対向するように配されると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素に対抗するように配されたものである。
【００４２】
そして、図２（Ｃ）の画素配列例は、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが交互に画素に対向するように配された行と、青Ｂと緑Ｇの色フィルタが交互に画素に対抗するように配された行とが１行置きになるようにされると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素に対抗するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。
【００４３】
以上は、いわゆる単板の固体撮像素子の構成の場合の例であるが、図２（Ｄ）および図２（Ｅ）に示すように、赤Ｒ、緑Ｇ、青Ｂのそれぞれ毎に、１個の固体撮像素子Ｉｒ，Ｉｇ，Ｉｂが設けられる３板の構成とするようにすることもできる。図２（Ｄ）は、図２（Ａ）の場合と同様に、矩形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合であり、また、図２（Ｅ）は、図２（Ｂ），（Ｃ）の場合と同様に、ひし形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合である。
【００４４】
この例のＣＭＯＳイメージャ２としては、図２（Ａ）〜（Ｅ）のいずれの構成とすることも可能であるが、この実施形態では、説明の簡単のため、図２（Ａ）のベイヤー配列の場合とする。
【００４５】
そして、この実施形態では、ＣＭＯＳイメージャ２からの出力は、例えば１チャンネルとされる。このＣＭＯＳイメージャからの１チャンネル読み出しの方法は、図３に示すような形で行われるものとする。つまり、図３に示すように、ＣＭＯＳイメージャの多数の画素Ｐｓについて、その１行ずつ、左から順に一つのチャンネルで画素データを並列に読み出し、１画面に渡って横方向に走査していき、１水平ライン分の全てを読み終えたところで次の行に移り、同様に横方向に走査しながら１画面全部を読み出していく。
【００４６】
すなわち、この場合、ＣＭＯＳイメージャ２からの出力画素シーケンスは、画素配列を横方向に走査した順番そのものとなる。
【００４７】
一般に、ＣＭＯＳイメージャは、上述した１チャンネル読み出しだけでなく、多チャンネルの並列読み出しにも適しているが、この発明は、こういった読出し方式に本質的に左右されるものではない。そして、この実施形態においては、説明の都合上、読み出しについては図３に示したような読み出しシーケンスの場合の例について説明するが、もちろん、この発明の適用は、この読み出し形式に限ったものではなく、以下に説明する実施形態を、適宜、他の読み出し形式に適用すればよい。
【００４８】
この実施形態のＣＭＯＳイメージャ２は、前述した画素共有技術が適用された画素構造となっている。図４（Ａ）、図４（Ｂ）および図４（Ｃ）として、共有画素の配列パターンの３つの例を示す。
【００４９】
図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、上段は、ＣＭＯＳイメージャ２における共有画素の配列パターンを示しており、図上、太線で結んだ複数個の画素が共有画素である。
【００５０】
図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、中段は、共有画素の画素配列パターン内における各画素位置毎の識別子（共有画素ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と称することとする）を示している。
【００５１】
また、図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、下段は、ＣＭＯＳイメージャ２からの出力画素シーケンスを共有画素ＩＤで表したものである。この下段の共有画素ＩＤの出力シーケンスは、共有画素の配列パターンにのみ着目した場合であり、各画素に対応する色フィルタの違いについては、ここでは考慮していない。なお、当該下段の記載において、１Ｈ，２Ｈ，３Ｈ、・・・におけるＨは、水平方向の行、つまり水平ラインを表している。
【００５２】
図４（Ａ）の例は、垂直方向の２個の画素が共有画素とされる場合である。すなわち、この例においては、互いに隣接する２水平ラインの上下の２画素が共有画素となる。したがって、共有画素ＩＤは、中段に示すように、各水平ライン毎に、「０」と「１」とが交互に出現するものとなる。そして、共有画素ＩＤで表される画素出力シーケンスは、下段に示すように、ある水平ラインで、全ての画素出力に対して「０」が出力されるものとなり、次に、水平ラインで、全ての画素出力に対して「１」が出力されるものとなる。
【００５３】
図４（Ｂ）の例も、垂直方向の２個の画素が共有画素とされる場合であるが、この例の場合には、水平方向の１画素毎に、共有画素が、垂直方向に１画素分ずれた画素位置のものとされている。したがって、共有画素ＩＤは、中段に示すように、各水平ラインにおいて、画素毎に、「０」と「１」とが交互に出現するものとなり、かつ、隣接する水平ラインで、「０」と「１」との交互出現順序が逆になるものとなる。そして、共有画素ＩＤで表される画素出力シーケンスも、下段に示すように、各水平ラインにおいて、画素毎に、「０」と「１」とが交互に出現するものとなり、かつ、隣接する水平ラインで、「０」と「１」との交互出現順序が逆になるものとなる。
【００５４】
図４（Ｃ）の例は、垂直方向の４個のジグザグの配置位置の画素が、共有画素とされる場合である。したがって、共有画素ＩＤは、中段に示すように、４水平ライン毎に、「０」、「１」、「２」、「３」が出現するものとなる。そして、共有画素ＩＤで表される画素出力シーケンスも、下段に示すように、４水平ライン毎に、「０」、「１」、「２」、「３」が出現するものとなる。
【００５５】
この実施形態のＣＭＯＳイメージャ２における共有画素配列パターンとしては、図４（Ａ），（Ｂ），（Ｃ）のいずれであってもよく、この実施形態では、ＣＭＯＳイメージャ２は、例えば図４（Ａ）の共有画素配列パターンの共有画素を備える構成とされる。
【００５６】
そして、光学系１に入射した光は、上述したような構成のＣＭＯＳイメージャ２において、光電変換された後に、電気信号として、すなわち、撮像画像データとして出力される。ＣＭＯＳイメージャ２は、カメラ制御マイコン５からの制御信号により、読み出し開始／停止制御および読み出し位置制御などを行う。
【００５７】
このＣＭＯＳイメージャ２からの、この例においては、１チャンネルの出力画像データは、アナログ信号処理部３に供給されて、サンプルホールド、自動利得制御などの処理がなされた後、Ａ／Ｄ（アナログ−デジタル）変換されて、デジタル信号処理部４に入力される。
【００５８】
なお、この例では、ＣＭＯＳイメージャ２からのアナログ出力信号を、アナログ信号処理部３にて、サンプルホールド、自動利得制御、Ａ／Ｄ変換する構成として説明したが、ＣＭＯＳイメージャ２の内部にアナログ信号処理部３の構成を取り込んだ構成とするようにしてもよい。
【００５９】
デジタル信号処理部４は、アナログ信号処理部３から供給されてきた撮像画像データＲＡＷ（生データ）に対して、カメラ制御マイコン５の指示に従って、様々な信号処理を行う。このデジタル信号処理部４で行われる各種信号処理には、ホワイトバランス処理やガンマ処理、色差信号処理などのいわゆるカメラ信号処理や、カメラ制御用の検波データ（画面内の撮像画像情報を示すデータ、例えば明るさやコントラスト、色合い等）の計算処理を含む。
【００６０】
デジタル信号処理部４は、後述するように、基準タイミング信号発生器を備え、この基準タイミング信号発生器から各種タイミング信号を発生する。このタイミング信号には、撮像画像データについての水平同期信号ＨＤおよび垂直同期信号ＶＤを含み、デジタル信号処理部４は、これら水平同期信号ＨＤ、垂直同期信号ＶＤおよびその他の必要なタイミング信号をＣＭＯＳイメージャ２に供給する。なお、図示は省略したが、デジタル信号処理部４の基準タイミング信号発生器からのタイミング信号は、カメラ制御マイコン５にも供給されている。
【００６１】
ＣＭＯＳイメージャ２は、前述した図３の読み出し形式により各画素から画素データを読み出すようにするが、そのための読み出し部および読み出しタイミング信号発生器を備えている。そして、ＣＭＯＳイメージャ２の読み出しタイミング発生器は、デジタル信号処理部４から受けた前記水平同期信号ＨＤおよび垂直同期信号ＶＤに同期する読み出しタイミング信号を生成して、ＣＭＯＳイメージャ２からの画素データの読み出しを、カメラ制御マイコン５からの制御信号に基づいて行う。
【００６２】
また、ＣＭＯＳイメージャ２は、デジタル信号処理部４からのタイミング信号と、カメラ制御マイコン５からの制御信号とに基づいて、有効画素領域だけでなく、当該有効画素領域の外側の枠領域の画素からも画素データの読み出しが可能とされている。この枠領域は、被写体からの光が入射しないように遮光された遮光領域（ＯＰＢ領域）である。したがって、この遮光領域（ＯＰＢ領域）の画素からの画素データは、黒レベルに相当するものとなる。
【００６３】
そして、この実施形態では、デジタル信号処理部４は、さらに、共有画素の不均一性をも考慮して、縦筋状の固定パターンノイズを補正するための構成としての、共有画素別縦筋検出補正部を備えるが、この処理部の詳細については、後で詳述する。
【００６４】
カメラ制御マイコン５は、デジタル信号処理部４から送られてきた検波データや手ぶれセンサ６から送られてくる撮像装置１０の手ぶれ情報により、現在の撮像画像の状態を把握し、ヒューマンインターフェースマイコン８を経由して送られてくる各種設定モードに応じた制御を行う。すなわち、カメラ制御マイコン５は、読み出し領域指定データをＣＭＯＳイメージャ２に、撮像画像制御用データをデジタル信号処理部４に、レンズ制御データをレンズ駆動用ドライバ部７に、自動利得制御用のゲイン制御データをアナログ信号処理部３に、それぞれ供給する。
【００６５】
ＣＭＯＳイメージャ２は、ＣＭＯＳイメージャ２の撮像領域のうちの、読み出し領域指定データにより指定される任意の領域（有効領域か枠領域（遮光領域）かを指定する場合も含む）の信号を、読み出しタイミング信号によって順次読み出し、アナログ信号処理部３に出力する。
【００６６】
また、デジタル信号処理部４、レンズ駆動用ドライバ部７、アナログ信号処理部３は、カメラ制御マイコン５から送られてきた制御値に応じた処理を行い、所望の信号処理・タイミング発生・レンズ駆動・ゲイン処理が実現される。
【００６７】
ユーザーインターフェース９は、ユーザーの操作入力を受け付けるためのキー操作部と、撮像装置１０のモードや、カメラ情報を報知するためのディスプレイを備える。ユーザーが行うメニュー操作等についてはユーザーインターフェース９を介してヒューマンインターフェースマイコン８で制御される。
【００６８】
ヒューマンインターフェースマイコン８は、ユーザーが現在どのような撮影モードを選択しているのか、あるいはどのような制御を望んでいるのか等を、ユーザーインターフェース９を通じたユーザー操作指示入力に基づいて検知し、カメラ制御マイコン５に対して、検知出力をユーザー指示情報として送る。
【００６９】
同時に、カメラ制御マイコン５は、得られたカメラ制御情報（被写体距離やＦ値、シャッタースピード、倍率等）をヒューマンインターフェースマイコン８に送信し、ユーザーインターフェース９のディスプレイを介して、現在のカメラの情報を、ユーザーに知らせるようにしている。これらのブロックの詳細については、この発明と直接関係無いためここでは省略する。
【００７０】
［デジタル信号処理部４の詳細構成例の説明］
図５は、デジタル信号処理部４の詳細構成例を示すものである。この例においては、デジタル信号処理部４は、カメラ信号前処理部４１と、共有画素別縦筋検出補正部４２と、カメラ信号主処理部４３と、基準タイミング信号発生器４４と、通信インターフェース４５とを備える。
【００７１】
基準タイミング信号発生器４４は、前述した水平同期信号ＨＤおよび垂直同期信号ＶＤを発生して、ＣＭＯＳイメージャ２に供給すると共に、画素タイミングの基準となる基準タイミング信号ＴＧをカメラ信号前処理部４１および共有画素別縦筋検出補正部４２に供給する。基準タイミング信号発生器４４は、また、各種タイミング信号を、カメラ信号主処理部４３に供給する。さらに、図示は省略したが、基準タイミング信号発生器４４は、各種タイミング信号を、カメラ制御マイコン５にも供給する。
【００７２】
通信インターフェース４５は、カメラ信号主処理部４３から得られる各種検波値ＤＥＴを、カメラ制御マイコン５に供給する。カメラ制御マイコン５は、前述したように、受け取った各種検波値に基づいて、例えば自動利得制御信号などの制御信号を生成して、それぞれ対応する処理部に供給するようにする。
【００７３】
また、通信インターフェース４５は、カメラ制御マイコン５からのカメラ信号処理制御用パラメータＰｍを受け取り、必要な制御信号をカメラ信号前処理部４１、共有画素別縦筋検出補正部４２およびカメラ信号主処理部４３に供給する。
【００７４】
カメラ信号前処理部４１は、アナログ信号処理部３からの撮像画像データＲＡＷを受け、縦筋検出および補正処理の前段として行っておくべき処理群を実行するもので、例えばデジタルクランプ処理などが含まれる。このカメラ信号前処理部４１で行う処理群は、この発明とは直接には関係が無いので、ここでは、その詳細な説明は省略する。
【００７５】
カメラ信号前処理部４１の出力は、共有画素別縦筋検出補正部４２に供給される。共有画素別縦筋検出補正部４２では、ＣＭＯＳイメージャ２の各列（コラム）毎かつ共有画素を構成する画素のそれぞれ毎（共有画素ＩＤ毎）に、平均黒レベルを検出することにより、黒レベルのオフセットズレを検出する。この黒レベルのオフセットズレの検出は、この例では、図６に示すように、ＣＭＯＳイメージャ２の有効画素領域の外側の枠領域（遮光領域）であるＯＰＢ領域の情報を使って行われる。
【００７６】
この例においては、ＣＭＯＳイメージャ２の全画素領域の上下左右に設けられるＯＰＢ領域のうち、有効画素領域の上下のＯＰＢ領域のみを黒レベルのオフセットズレの検出枠ＦＬとする。以下、この検出枠ＦＬを縦筋検出枠という。なお、図６では、紙面の都合上、垂直方向の下側のＯＰＢ領域は示されていない。
【００７７】
前述したように、ＣＭＯＳイメージャ２は、デジタル信号処理部４からのタイミング信号およびカメラ制御マイコン５からの制御信号に基づいて、有効画素領域のみでなく、ＯＰＢ領域からも画素データを出力する。カメラ制御マイコン５は、デジタル信号処理部４からのタイミング信号から、ＣＭＯＳイメージャ２から画素データが出力されている領域が、ＯＰＢ領域か、有効画素領域かを認識している。
【００７８】
共有画素別縦筋検出補正部４２には、カメラ信号前処理部４１から送られてきる撮像画像データが縦筋検出枠領域ＦＬのものであるか、縦筋検出枠領域ＦＬ以外のものであるかを示す領域指示情報Ｓｆｌが、カメラ制御マイコン５から通信インターフェース４５を通じて送られてくる。
【００７９】
また、後述するように、共有画素を構成する画素のそれぞれ毎の黒レベルのオフセットズレを検出するために、共有画素別縦筋検出補正部４２には、カメラ制御マイコン５から通信インターフェース４５を通じて、前述の図４を用いて説明した共有画素ＩＤに関する情報、すなわち、共有画素ＩＤ設定情報Ｓｉｄが供給される。さらに、後述するように、カメラ制御マイコン５からは、積分器設定情報Ｗｋが通信インターフェース４５を通じて、共有画素別縦筋検出補正部４２に供給される。
【００８０】
そして、共有画素別縦筋検出補正部４２は、カメラ信号前処理部４１から送られてくる撮像画像データＲＡＷを、検出した各列（コラム）毎かつ共有画素別黒レベルのオフセットズレを用いて補正した後、カメラ信号主処理部４３に供給する。
【００８１】
カメラ信号主処理部４３では、カメラ制御マイコン５からの通信インターフェース４５を通じた制御指示に応じて、ノイズリダクション／欠陥補正／デモザイク／ホワイトバランス／解像度変換といった公知の技術で構成される、各種カメラ信号処理を行い、出力データとしての輝度データＹおよび色データＣを、後段のビデオ系処理ブロック（図示は省略）へと供給する。このカメラ信号主処理部４３の詳細内容については、この発明とは直接関係無いため、ここでは省略する。
【００８２】
＜共有画素別縦筋検出補正部４２の説明＞
図７は、共有画素別縦筋検出補正部４２の詳細構成例を示すブロック図である。この例の共有画素別縦筋検出補正部４２は、本線信号としての撮像画像データＲＡＷに対して設けられる遅延調整部４２１および４２２と、タイミング生成部４２３と、共有画素別コラム積分処理部４２４と、メモリ部４２５と、通信インターフェース４２６と、共有画素別減算部４２７とを備える。
【００８３】
遅延調整部４２１および４２２は、タイミング生成部４２３と、共有画素別コラム積分処理部４２４における処理遅延分を、本線信号としての入力撮像画像データＲＡＷに対して与えて、共有画素別減算部４２７における、後述する共有画素別の黒レベルオフセット補正用の減算処理のタイミングを調整するためのものである。
【００８４】
共有画素別積分処理部４２４は、後述するように、縦筋検出枠領域ＦＬにおいては、遅延調整部４２１からの本線信号の水平ラインのデータ毎に、当該ラインの画素データと、メモリ部４２５の１または複数個のラインメモリのうちの、後述するように、前記本線信号の水平ラインが有する前記共有画素の配列パターンに応じて選択されるラインメモリからの画素データとを積分して、ラインの各画素の黒レベルの平均値を求め、求めた黒レベルの平均値を、メモリ部４２５の前記選択されているラインメモリに書き戻して、当該ラインメモリの記憶データを更新するようにする機能を備える。
【００８５】
また、この例の共有画素別積分処理部４２４は、縦筋検出枠領域ＦＬ以外の領域、すなわち、主として有効画素領域では、本線信号としての入力撮像画像データＲＡＷが属する水平ラインが有する前記共有画素の配列パターンに応じて選択されたラインメモリからの各画素の黒レベルの平均値を、本線信号の画素データから減算する補正信号Ｓｏｆ（オフセット量）として、共有画素別減算部４２７に供給する機能を備える。
【００８６】
メモリ部４２５は、共有画素によって形成される水平方向の画素の配列パターン（以下、水平共有画素パターンという）が互いに異なる水平ライン数に応じた数のラインメモリを備える。図４の例のように、共有画素を構成する画素数がｎ個であって、当該共有画素を構成するそのｎ個の画素が垂直方向に配置されている場合には、ｎ個の水平共有画素パターンが形成されるので、メモリ部４２５は、ｎ個のラインメモリを備える。もしも、共有画素を構成するｎ個の画素が、全て水平方向にのみ配列されているときには、共有画素によって形成される水平共有配列パターンは１個のみであるので、その場合には、メモリ部４２５のラインメモリは１個となる。
【００８７】
メモリ部４２５を構成する各ラインメモリは、この例では、ＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））で構成される。そして、この例においては、ラインメモリのそれぞれは、共有画素によって形成される水平方向の画素の配列パターンのそれぞれに対応して割り付けられる。
【００８８】
例えば、図４（Ａ）のような共有画素構成の場合には、共有画素によって形成される水平共有画素パターンとして、共有画素ＩＤとして全て０が続くパターンのラインと、共有画素ＩＤとして全て１が続くパターンのラインとの２種からなる。このため、その例の場合には、メモリ部４２５は、共有画素ＩＤとして全て０が続く水平共有画素パターンのラインに対応するラインメモリＭ１と、共有画素ＩＤとして全て１が続く水平共有画素パターンのラインに対応するラインメモリＭ２との２個を備える。
【００８９】
また、図４（Ｃ）のような共有画素構成の場合には、水平共有画素パターンとして、中段に示すように、共有画素ＩＤとして全て０が続くライン、共有画素ＩＤとして全て１が続くライン、共有画素ＩＤとして全て２が続くライン、共有画素ＩＤとして全て３が続くライン、の４種からなる。このため、その例では、メモリ部４２５には、共有画素ＩＤとして全て０が続く水平共有画素パターンのラインに対応するラインメモリＭ１と、共有画素ＩＤとして全て１が続く水平共有画素パターンのラインに対応するラインメモリＭ２と、共有画素ＩＤとして全て２が続く水平共有画素パターンのラインに対応するラインメモリＭ３と、共有画素ＩＤとして全て３が続く水平共有画素パターンのラインに対応するラインメモリＭ４との４個が設けられる。
【００９０】
上述したように、この例では、共有画素の配列パターンとしては、図４（Ａ）の例を採用するので、図７に示すように、以下の説明においては、メモリ部４２５は、共有画素ＩＤとして全て０が続く水平共有画素パターンのライン（第１パターンラインという）に対応するラインメモリＭ１と、共有画素ＩＤとして全て１が続く水平共有画素パターンのライン（第２パターンラインという）に対応するラインメモリＭ２とからなるものとする。
【００９１】
メモリ部４２５のラインメモリＭ１，Ｍ２のそれぞれには、後述するように、タイミング生成部４２３からのチップセレクト信号ＳＥＬ１、書き込みイネーブル信号ＷＥＮ１、読み出しイネーブル信号ＲＥＮ１および画素アドレス指定情報の第１のセット（ラインメモリＭ１用のセット）と、チップセレクト信号ＳＥＬ２、書き込みイネーブル信号ＷＥＮ２、読み出しイネーブル信号ＲＥＮ２および画素アドレス指定情報の第２のセット（ラインメモリＭ２用のセット）とが、メモリ制御信号ＣＴＭｍとして、それぞれ供給される。
【００９２】
この場合、チップセレクト信号がアクティブ状態となっているラインメモリが動作可能となり、かつ、動作可能状態となっている状態で書き込みイネーブル信号がアクティブにされたラインメモリが書き込み可能状態（書き込みイネーブル状態）となり、読み出しイネーブル信号がアクティブにされたラインメモリが読み出し可能状態（読み出しイネーブル状態）とされる。
【００９３】
タイミング生成部４２３は、共有画素別減算部４２７の減算処理を有効にするか否かを制御する制御信号ＳＵＢＥＮと、共有画素別コラム積分処理部４２４に供給する制御信号ＩＥＮと、前述したメモリ部４２５に供給するメモリ制御信号ＣＴＭｍとを生成する。
【００９４】
共有画素別減算部４２７に供給する制御信号ＳＵＢＥＮは、後述するように、有効画素領域でのみ、当該共有画素別減算部４２７での画素データからのオフセット（黒レベル）の減算処理を有効にするように制御する信号である。
【００９５】
共有画素別コラム積分処理部４２４に供給する制御信号ＩＥＮは、縦筋検出枠領域ＦＬにおいては、共有画素別積分処理部４２４での積分結果をメモリ部４２５に格納するように制御すると共に、有効画素領域を含むその他の領域では、共有画素別積分処理部４２４から、それまでの積分結果を共有画素別減算部４２７に供給するように制御する信号である。
【００９６】
メモリ部４２５に供給するメモリ制御信号ＣＴＭｍは、前述したように、共有画素別積分処理部４２４での積分結果を格納するメモリ部４２５のラインメモリのそれぞれを書き込み制御および読み出し制御するための制御信号を含むものである。
【００９７】
共有画素別減算部４２７は、この例では、図８に示すように、減算器４２７１と、選択回路４２７２とを備える。そして、減算器４２７１は、本線信号から共有画素別コラム積分処理部４２４からの補正信号Ｓｏｆを、各画素毎に減算して、オフセットを除去するようにし、当該オフセットを除去した信号を選択回路４２７２に供給する。
【００９８】
選択回路４２７２は、本線信号と減算器４２７１からの減算出力信号とのいずれかをタイミング生成部４２３からの制御信号ＳＵＢＥＮにより選択する。
【００９９】
タイミング生成部４２３は、基準タイミング信号発生器４４からの基準タイミング信号ＴＧと、カメラ制御マイコン５から通信インターフェース４２６を通じて与えられる領域指示情報Ｓｆｌとから、共有画素別減算部４２７に供給する制御信号ＳＵＢＥＮを生成する。
【０１００】
この制御信号ＳＵＢＥＮは、有効画素領域と、縦筋検出枠領域ＦＬを含む有効画素領域以外とで状態を異にする信号であり、この制御信号ＳＵＢＥＮにより、選択回路４２７２は、有効画素領域では、減算器４２７１からの減算出力信号を出力し、縦筋検出枠領域ＦＬを含む有効画素領域以外では本線信号を出力する。
【０１０１】
なお、この例では、共有画素別減算部４２７では、縦筋状の固定パターンノイズを補正するためのオフセットを減算処理した結果の出力信号は、選択回路４２７２により有効画素領域においてのみ出力するようしたが、選択回路４２７２を設けずに、減算器４２７１からの減算出力信号を、全ての領域で出力するようにしても良い。
【０１０２】
次に、共有画素別コラム積分処理部４２４への制御信号ＩＥＮと、メモリ部４２５へのメモリ制御信号ＣＴＬｍとについて、共有画素別コラム積分処理部４２４の構成例と共に説明する。
【０１０３】
図９は、共有画素別積分処理部４２４の構成例を説明するためのブロック図である。この例においては、共有画素別積分処理部４２４は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）デジタルフィルタの構成とされた積分器４２４１と、選択回路４２４２とを備える。
【０１０４】
この例の積分器４２４１においては、遅延調整部４２１から供給される本線信号である撮像画像データＲＡＷが乗算回路１０１に供給されて、この乗算回路１０１において定数Ｋ（Ｋ＜１）が乗算される。縦筋検出枠領域ＦＬにおいては、乗算回路１０１に供給される撮像画像データは、遮光領域の画素データ（黒レベル＝オフセット量）である。この乗算回路１０１からの定数Ｋが乗算された黒レベルデータは加算回路１０２に供給される。
【０１０５】
また、後述するように、メモリ部４２５のラインメモリのうちの、当該時点で本線信号として入力されている撮像画像データにおける水平共有画素パターンに対応するラインメモリから、当該水平共有画素パターンのラインの画素についての積分結果（オフセット量の平均値）が、乗算回路１０３に供給されて、この乗算回路１０３において定数（Ｋ−１）が乗算される。
【０１０６】
そして、この乗算回路１０３からの定数（Ｋ−１）が乗算された黒レベルデータが加算回路１０２に供給され、その加算結果が選択回路４２４２の一方の入力端に供給される。また、メモリ部４２５から読み出された積分結果である黒レベル平均値は、選択回路４２４２の他方の入力端に供給される。
【０１０７】
そして、この例では、選択回路４２４２は、加算回路１０２からの加算結果（積分結果）の信号と、メモリ部４２５の当該時点で読み出しイネーブルとされているラインメモリからの積分結果とのいずれかを、タイミング生成部４２３からの制御信号ＩＥＮにより選択する。
【０１０８】
タイミング生成部４２３は、基準タイミング信号発生器４４からの基準タイミング信号ＴＧと、カメラ制御マイコン５から通信インターフェース４２６を通じて与えられる領域指示情報Ｓｆｌとから、共有画素別積分処理部４２４の選択回路４２４２に供給する制御信号ＩＥＮを生成する。
【０１０９】
この制御信号ＩＥＮは、縦筋検出枠領域ＦＬと、有効画素領域を含むその他の領域とで状態を異にする信号であり、この制御信号ＩＥＮにより、選択回路４２４２は、縦筋検出枠領域ＦＬでは、加算器１０２からの加算出力信号を出力し、有効画素領域を含むその他の領域では、メモリ部４２５から読み出された信号を出力する。
【０１１０】
そして、タイミング生成部４２３は、基準タイミング信号発生器４４からの基準タイミング信号ＴＧと、カメラ制御マイコン５から通信インターフェース４２６を通じて与えられる領域指示情報Ｓｆｌとから、現在入力中の撮像画像データは、縦筋検出枠領域ＦＬのデータであるか、あるいは有効画素領域を含むその他の領域のデータであるかを判別すると共に、何ライン目の何画素目に当たるかを把握して、前述したメモリ制御信号ＣＴＬｍを生成する。
【０１１１】
すなわち、前述したように、積分器４２４１の積分結果は、縦筋検出枠領域ＦＬの期間のみ、選択回路４２４２において選択されて出力されて、メモリ部４２５に供給され、そのラインメモリのいずれかに書き込まれるようにされる。このため、ラインメモリＭ１の書き込みイネーブル信号ＷＥＮ１およびラインメモリＭ２の書き込みイネーブル信号ＷＥＮ２は、縦筋検出枠ＦＬでのみアクティブとなることができるようにされている。
【０１１２】
そして、図１０に示すように、縦筋検出枠領域ＦＬにおいて、現在入力中の撮像画像データが、水平共有画素パターンが第１パターンラインであるとき（１ライン目，３ライン目，５ライン目、・・・）に、ラインメモリＭ１の書き込みイネーブル信号ＷＥＮ１がアクティブとなり、また、水平共有画素パターンが第２パターンライン（２ライン目，４ライン目，６ライン目、・・・）であるときに、ラインメモリＭ２の書き込みイネーブル信号ＷＥＮ２がアクティブとなる。なお、図１０では、有効領域の１ラインに含まれる画素数はＭ（Ｍは正の整数）としている。
【０１１３】
また、ラインメモリＭ１、Ｍ２の読み出しイネーブル信号ＲＥＮ１、ＲＥＮ２は、縦筋検出枠領域ＦＬのみではなく、全領域においてアクティブになることができるようにされており、図１０に示すように、水平共有画素パターンが第１パターンラインであるとき（１ライン目，３ライン目，５ライン目、・・・）には、ラインメモリＭ１の読み出しイネーブル信号ＲＥＮ１がアクティブとなり、また、水平共有画素パターンが第２パターンライン（２ライン目，４ライン目，６ライン目、・・・）であるときに、ラインメモリＭ２の読み出しイネーブル信号ＲＥＮ２がアクティブとなる。
【０１１４】
なお、ラインメモリＭ１，Ｍ２のチップイネーブル信号は、それぞれ書き込みイネーブル信号ＷＥＮ１，ＷＥＮ２、読み出しイネーブル信号ＲＥＮ１，ＲＥＮ２がアクティブとされるときにアクティブとされるものである。
【０１１５】
以上のことから、図１１の上側にも示すように、この例では、縦筋検出枠領域ＦＬでは、奇数番目の水平ラインでは、ラインメモリＭ１が書き込み可および読み出し可の状態とされ、偶数ライン目の水平ラインでは、ラインメモリＭ２が書き込み可および読み出し可の状態とされると共に、図１１の右側に示すように、１ライン分のＭ個の画素のアドレスが順次にタイミング生成部４２３からの画素アドレス情報により指定される。なお、１画素データについて、メモリアクセスは、読み出しアクセスと書き込みアクセスとが時分割でなされるものである。
【０１１６】
そして、縦筋検出枠領域ＦＬでは、共有画素別積分処理部４２４の選択回路４２４２は、加算器１０２の出力を選択出力するので、上述したようにして積分器４２４１でそれまでのラインメモリＭ１の画素データと新たに取り込まれたデータとの加算積分値（平均値）が選択回路４２４２から出力され、その出力された積分値が、図１１で上側に示すように、積分に用いられたデータが格納されていた同じラインメモリＭ１，Ｍ２の同じ画素アドレスに、書き戻される。
【０１１７】
このとき、縦筋検出枠領域ＦＬでは、共有画素別減算部４２７では、選択回路４２７２が本線信号を出力するように選択制御されているので、共有画素別積分処理部４２４の出力は、共有画素別減算部４２７の出力には反映されない。
【０１１８】
一方、有効画素領域では、奇数番目の水平ラインでは、ラインメモリＭ１が読み出し可の状態とされ、偶数ライン目の水平ラインでは、ラインメモリＭ２が読み出し可の状態とされると共に、図１１の右側に示すように、１ライン分のＭ個の画素のアドレスが順次にタイミング生成部４２３からの画素アドレス情報により指定される。
【０１１９】
そして、この有効画素領域では、共有画素別減算部４２７では、選択回路４２７２が減算器４２７１の出力信号を出力するように選択制御されているので、ラインメモリＭ１またはＭ２から読み出されたオフセットが、本線信号の対応する各画素データから減算されたものが、共有画素別減算部４２７から出力される。すなわち、縦筋状の固定パターンノイズが共有画素の影響を受けずに除去されるものとなる。
【０１２０】
なお、この例では、積分器４２４１は、カメラ制御マイコン５からの積分器設定情報Ｗｋに応じて、前記Ｋの値を変更して積分時定数を切り替える等、積分動作の制御を行うように構成されている。
【０１２１】
以上のようにして、この実施形態によれば、共有画素を構成する画素のそれぞれ毎に異なる黒レベル（平均黒レベル）を検出し、その検出した平均黒レベルにより、共有画素を構成する画素のそれぞれ毎にオフセット量を減算して補正処理をするので、共有画素構成のイメージャを用いても、共有画素別の黒レベルの不均一性に基づく縦筋状の固定パターンノイズを改善することができる。
【０１２２】
なお、図４の下段に示したように、共有画素ＩＤによる画素出力シーケンスは、固体撮像素子の共有画素の配列パターンによって変わるので、使用する固体撮像素子によって変わる。このため、タイミング生成部４２３でのメモリ制御信号ＣＴＬｍなどの生成は、カメラ制御マイコン５からの設定によって、自由に発生させられる構成にするのが望ましい。
【０１２３】
また、上述の例では、共有画素別積分処理部４２４の積分器４２４１は、ＩＩＲフィルタの構成として、コラム積分を行うようにしたが、積分器４２４１の構成としては、ＩＩＲフィルタの構成に限定されるものではない。
【０１２４】
また、遮光領域（ＯＰＢ領域）に画素欠陥等が存在した場合に備えて、想定しているレベルを逸脱する信号用のリミッタ、あるいは除去機能等を、共有画素別積分処理部４２４の前段に前処理として加えるようにするのも望ましい。これは、計算結果がずれると、補正処理でコラム方向全体にキズをつけてしまうことになるためである。
【０１２５】
また、上述した共有画素別積分処理部４２４の構成についても単なる一例であり、別の構成で同様の演算処理を実現しても構わない。また、上述の説明では、積分処理を実行するタイミングを、縦筋検出枠領域であるＯＰＢ領域としたが、例えば、前述した特許文献２のように、モード切り替わり時等に、アイリス（絞り）を閉じた状態で全領域を積分するように構成しても構わない。
【０１２６】
［ソフトウエア処理の例］
以上説明したデジタル信号処理部４の共有画素別縦筋検出補正部４２における処理の流れの例を図１２のフローチャートを参照して説明する。なお、この図１２のフローチャートの処理は、ラインメモリを備えるメモリ部４２５を除いて、共有画素別縦筋検出補正部４２をソフトウエア処理により構成する場合に相当するものである。
【０１２７】
先ず、共有画素別縦筋検出補正部４２の現在の入力撮像画像データが縦筋検出枠領域ＦＬからのデータであるか否か判別し（ステップＳ１０１）、縦筋検出枠領域ＦＬであると判別したときには、当該入力撮像画像データが含まれる水平ラインの水平共有画素パターンに対応して設けられているラインメモリを選択し、そのラインメモリを書き込みイネーブルおよび読み出しイネーブルの状態とする（ステップＳ１０２）。
【０１２８】
そして、選択したラインメモリから読み出したデータと入力画素データとから、対応する画素の黒レベルデータ積分値（平均値）を算出し（ステップＳ１０３）、算出した黒レベルデータ積分値を、選択したラインメモリに書き戻す（ステップＳ１０４）。
【０１２９】
次に、入力撮像画像データは有効画素領域からのデータであるか否か判別し（ステップＳ１０５）、有効画素領域でなければ、ステップＳ１０１に戻り、このステップＳ１０１以降の処理を繰り返す。
【０１３０】
また、ステップＳ１０１で、入力撮像画像データが、縦筋検出枠領域ＦＬでないと判別したときには、ステップＳ１０５にジャンプして、有効画素領域からのデータであるか否か判別する。
【０１３１】
そして、ステップＳ１０５で、入力撮像画像データが、有効画素領域からのデータであると判別したときには、当該入力撮像画像データが含まれる水平ラインの水平共有画素パターンに対応して設けられているラインメモリを選択し、そのラインメモリを書き込み不能の状態ではあるが、読み出しイネーブルの状態とする（ステップＳ１０６）。
【０１３２】
そして、選択したラインメモリから読み出した黒レベルデータ積分値（オフセット量）を、対応する水平方向位置の画素データから減算して、出力する（ステップＳ１０７）。その後、ステップＳ１０５に戻り、前述したステップＳ１０５以降の処理を繰り返す。
【０１３３】
以上の実施形態の説明においては、固体撮像素子に対して配される色フィルタ、読み出しチャンネル、画素の共有方法については、例を限定して説明してきたが、もちろん、この発明は、これらの限定に限られるものではなく、この発明の主旨を外れない範囲で広く適用することが可能である。
【０１３４】
例えば、固体撮像素子に対して配される色フィルタを考慮した場合には、図４（Ａ），（Ｂ），（Ｃ）に示した共有画素の配列パターンの３つの例における共有画素ＩＤ、および、共有画素ＩＤで表した出力画素シーケンスは、図１３に示すようなものとなる。
【０１３５】
すなわち、図１３（Ａ），（Ｂ），（Ｃ）のそれぞれ上段に示した共有画素の配列パターンの３つの例における共有画素ＩＤは、それぞれ中断に示すようなものとなり、また、共有画素ＩＤで表した出力画素シーケンスは、それぞれ下段に示すようなものとなる。
【０１３６】
そして、この場合には、図１３の中断に示した共有画素ＩＤに応じた、黒レベルオフセット値が検出生成され、図１３の下断に示した共有画素ＩＤシーケンスに同期して、補正処理が実行される。
【０１３７】
［第２の実施形態］
上述した第１の実施形態の撮像装置は、画素の読み出しのための構造が、縦筋状の固定パターンノイズが発生する固体撮像素子に、画素共有技術を適用した場合における、縦筋状の固定パターンノイズの検出および補正を行うものである。
【０１３８】
しかし、上述した第１の実施形態の撮像装置の構成を、そのまま適用して、縦筋状の固定パターンノイズのみではなく、共有画素別の水平ダークシェーディングの補正を行うことができる。
【０１３９】
この第２の実施形態では、このことを利用したもので、縦筋状の固定パターンノイズは発生しなくでも、以下に説明する水平ダークシェーディングが発生する固体撮像素子を使用した撮像装置においても、この水平ダークシェーディングを補正する場合を対象とすることができる。もちろん、縦筋状の固定パターンノイズと、水平ダークシェーディングとの両方が発生する固体撮像素子を用いる場合も、この第２の実施形態の適用範囲である。
【０１４０】
水平ダークシェーディングについて簡単に説明する。固体撮像素子からの撮像画像データにおいては、画素構成が従来の一般的な画一的な構成である場合においても、水平方向の複数画素の黒レベルは、水平方向の画素位置に応じて異なり、所定の変化形状の水平ダークシェーディングを呈するものとなる。これは、上述した水平共有画素パターンが１種類の場合における水平ダークシェーディングに相当する。
【０１４１】
したがって、画素共有技術を適用した固体撮像素子からの撮像画像データにおいては、水平共有画素パターンの数分だけ、異なる形状の水平ダークシェーディングが発生することになる。
【０１４２】
図１４は、この水平ダークシェーディングの変化形状の一例を示したものである。図１４（Ａ）に示すように、この例は、前述した図４（Ａ）の共有画素パターンの固体撮像素子における水平ダークシェーディングの形状を示すものである。
【０１４３】
すなわち、この例においては、図１４（Ａ）において共有画素ＩＤ＝「０」が連続するラインに対しては、図１４（Ｂ）のＩＤ０特性に示すような変化形状の水平ダークシェーディングが発生し、図１４（Ａ）において共有画素ＩＤ＝「１」が連続するラインに対しては、図１４（Ｃ）のＩＤ１特性に示すような変化形状の水平ダークシェーディングが発生するものとしている。
【０１４４】
また、図１５は、この水平ダークシェーディングの変化形状の他の一例を示したものである。図１５（Ａ）に示すように、この例は、前述した図１３（Ｃ）の共有画素パターンの固体撮像素子における水平ダークシェーディングの形状を示すものである。
【０１４５】
すなわち、この例においては、図１５（Ａ）において共有画素ＩＤ＝「０」と、共有画素ＩＤ＝「１」とが交互に現れるラインに対しては、図１５（Ｂ）のＩＤ０，１特性に示すような変化形状の水平ダークシェーディングが発生し、図１５（Ａ）において共有画素共有画素ＩＤ＝「２」と、共有画素ＩＤ＝「３」とが交互に現れるラインに対しては、図１５（Ｃ）のＩＤ２，３特性に示すような変化形状の水平ダークシェーディングが発生するものとしている。また、図１５（Ａ）において共有画素ＩＤ＝「４」と、共有画素ＩＤ＝「５」とが交互に現れるラインに対しては、図１５（Ｄ）のＩＤ４，５特性に示すような変化形状の水平ダークシェーディングが発生し、図１５（Ａ）において共有画素共有画素ＩＤ＝「６」と、共有画素ＩＤ＝「７」とが交互に現れるラインに対しては、図１５（Ｅ）のＩＤ６，７特性に示すような変化形状の水平ダークシェーディングが発生するものとしている。
【０１４６】
なお、図１４および図１５に示した、共有画素パターンにおける水平ダークシェーディングの変化形状は、一例の模式図であり、実際には、この限りではない。
【０１４７】
上述した第１の実施形態では、共有画素パターンに応じて設けられた複数のラインメモリに、対応する水平ラインの画素についての黒レベルの積分値（平均値）が記憶されて、有効領域の対応する画素データのそれぞれから減算されるので、上述した変化形状の水平ダークシェーディングが、上述の第１の実施形態の構成、そのままで補正されることになる。
【０１４８】
画素共有技術が適用されていない固体撮像素子の場合には、前述した特許文献１あるいは特許文献２の手法を適用することで、縦筋状の固定パターンノイズと同時に水平ダークシェーディングも検出することができるため、両者の補正を同時にすることができる。
【０１４９】
しかし、画素共有技術が適用された固体撮像素子の場合、上述したように、共有画素別に複数の水平ダークシェーディングの変化形状パターンが存在するので、前述した特許文献１，２の技術では、これらの複数個の水平ダークシェーディングの変化形状の平均値の形状しか検出することができないため、その結果、縦筋状の固定パターンノイズと同じく適切な補正を行うことができない。その結果、特に低照度時等、ゲインが高い場合には無彩色の背景に色がついたりするなど、画質を著しく悪化させてしまう。
【０１５０】
これに対して、この第２の実施形態によれば、共有画素別に遮光領域でコラム積分が実施されるため、水平共有画素パターン数に応じた数のラインメモリのそれぞれには、図１４や図１５に、模式的に示した水平共有画素パターン別の水平ダークシェーディングがそれぞれ格納される。そして、そのラインメモリから、それぞれタイミングを合わせて、検出された黒レベルオフセットが読み出されて補正がなされるため、水平ダークシェーディング補正が実現できるようになる。
【０１５１】
前述したように、この水平ダークシェーディング補正は、縦筋状の固定パターンノイズが生じないような固体撮像素子であって、水平ダークシェーディングが生じる固体撮像素子について適用できる。もちろん、縦筋状の固定パターンノイズが発生するような固体撮像素子の場合には、水平ダークシェーディングの検出・補正と一緒に、縦筋状の固定パターンノイズも、上述と同様にして検出・補正動作がなされる。
【０１５２】
［第３の実施形態］
デジタル信号処理部４は、通常は、カメラ信号処理ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）として構成されるが、この種のカメラ信号処理ＬＳＩは、複数のタイプの固体撮像素子に対応するのが一般的である。
【０１５３】
しかし、固体撮像素子によっては
（１）画素共有技術を使用していて、共有画素別の固定パターンノイズの差が大きい
（２）画素共有技術を使用しているが、共有画素別の固定パターンノイズの差が小さい
（３）そもそも画素共有技術を使用していない
などの特性の違いがあり、これらの固体撮像素子群のバリエーションに対応しなくてはならないケースがある。
【０１５４】
例えば画素サイズが大きい固体撮像素子であれば、そもそも画素共有技術を採用しないために、上記（３）の場合となる。一方、画素共有技術を使用していても、画素共有パターンに起因する特性の不均一性対策として、前述した特許文献４〜６に開示されているような技術を採用できれば、限りなく上記（２）の場合に近くなるが、この対策がコスト的に見合わない場合には、上記（１）の場合となってしまう。
【０１５５】
ところで、これら全ての固体撮像素子に対応するためには、デジタル信号処理部４は、少なくとも、上記（１）の場合に適用するだけの構成要素（リソース）、すなわち、第１の実施形態に示したように、水平共有画素パターン数のラインメモリを搭載し、共有画素別に積分・補正ができる構成にしておく必要がある。
【０１５６】
しかしながら、この構成要素（リソース）は、上記（２）あるいは上記（３）の場合の固体撮像素子を用いる撮像装置におけるデジタル信号処理部とした場合には、本来不要なものとなるだけでなく、共有画素別に積分する構成の場合は、各コラムで積分可能な画素数が、１／（ラインメモリ数）に減ってしまう。
【０１５７】
つまり、ＯＰＢ領域（遮光領域）で発生するランダムノイズが大きい場合等、積分結果へのランダムノイズの影響を抑圧するために、多くの画素を積分したいのに対して、不要なリソースのために、検出・補正性能が劣化してしまうという問題が出てくる。
【０１５８】
そこで、この第３の実施形態の撮像装置では、前述した第１の実施形態の基本的な構成は、そのままに、メモリ部４２５のメモリ制御信号ＣＴＬｍを生成するタイミング生成部４２３と、カメラ制御マイコン５の構成を、以下に説明するように構成とする。
【０１５９】
すなわち、この第３の実施形態においては、タイミング生成部４２３では、メモリ部４２５のメモリ制御信号ＣＴＬｍとして、図１６に示すように、複数のモード、この例においては、３つのモードの制御信号を出力できるようにする。そして、使用者のモード変更指示などに基づいて、カメラ制御マイコン５が、タイミング生成部４２３を制御して、どのモードの制御信号を出力するか選択制御できるような構成とする。
【０１６０】
上記（１）の場合の固体撮像素子を用いる撮像装置においては、上述した第１の実施形態および第２の実施形態のように、縦筋状の固定パターンノイズや水平ダークシェーディングを共有画素別に検出・補正できることが必須であるので、上述の第１の実施形態および第２の実施形態と同様のメモリ制御信号ＣＴＬｍを用いるようにする。
【０１６１】
そこで、この第３の実施形態では、当該上記（１）の場合の固体撮像素子を用いる場合をモード１とし、例えば、撮像装置の製造時に当該モード１を、カメラ制御マイコン５に対して設定入力するようにする。
【０１６２】
すると、カメラ制御マイコン５から、タイミング生成部４２３に、モード１であることが伝えられ、タイミング生成部４２３は、図１６（Ａ）に示すように、第１および第２の実施形態と同様に、図１０に示した書き込みイネーブル信号ＷＥＮ１，ＷＥＮ２および読み出しイネーブル信号ＲＥＮ１，ＲＥＮ２を生成して、メモリ部４２５のラインメモリＭ１およびＭ２に供給するようにする。なお、チップセレクト信号および画素アドレス信号についての説明は省略する。以下、同様である。
【０１６３】
一方、上記（２）の場合、あるいは上記（３）の場合の固体撮像素子を用いる場合は、黒レベルを共有画素別に分けて積分する必要が無く、できるだけ積分画素数が増やせるように、一つのラインメモリだけに積分結果を格納するように、メモリ制御信号ＣＴＬｍを生成するようにするとよい。このとき、メモリ部４２５で未使用のラインメモリの方は、不要な消費電力を削減するためにパワーセーブしておくのが望ましい。
【０１６４】
そこで、この第３の実施形態では、上記（２）の場合、あるいは上記（３）の場合の固体撮像素子を用いる場合をモード２とし、例えば、撮像装置の製造時に当該モード２を、カメラ制御マイコン５に対して設定入力するようにする。
【０１６５】
すると、カメラ制御マイコン５から、タイミング生成部４２３に、モード２であることが伝えられ、タイミング生成部４２３は、図１６（Ｂ）に示すように、メモリ部４２５のラインメモリのうちの特定の１個のラインメモリ、この例では、ラインメモリＭ１に対する書き込みイネーブル信号ＷＥＮ１および読み出しイネーブル信号ＲＥＮ１が、縦筋検出枠領域ＦＬで、アクティブの状態となり、前述した積分動作がなされる。そして、図１６では、省略してあるが、有効画素領域では、ラインメモリＭ１に対する読み出しイネーブル信号ＲＥＮ１のみがアクティブの状態となり、補正用の黒レベル（オフセット）が共有画素別減算部４２７に出力される。
【０１６６】
一方、このとき、メモリ部４２５の他の全てのラインメモリ、この例ではラインメモリＭ２の書き込みイネーブル信号ＷＥＮ２および読み出しイネーブル信号ＲＥＮ２は、アクティブの状態にはならず、常にパワーセーブの状態とされる。
【０１６７】
ところで、上記（２）の場合、あるいは上記（３）の場合の固体撮像素子を用いる場合をモード２において、固体撮像素子からの画素データの読み出しモードが変わると、縦筋状の固定パターンノイズや水平ダークシェーディングの形状・レベルが変わることが多々ある。
【０１６８】
そこで、この第３の実施形態では、モード２においては、固体撮像素子からの画素データについての読み出しモード別に、画素の黒レベル積分値（平均値）を格納するラインメモリを切り替えられるように構成する。
【０１６９】
すなわち、モード２の状態において、例えば使用者により、固体撮像素子からの画素データの読み出しモードの変更指示があったときには、カメラ制御マイコン５は、固体撮像素子に画素データの読み出しモードの変更指示をすると共に、その読み出しモードの変更を、タイミング生成部４２３に伝える。
【０１７０】
タイミング生成部４２３は、この読み出しモードの変更を受けて、メモリ部４２５のラインメモリを、変更後の読み出しモードに対応するラインメモリに変更するようにする制御信号を生成し、メモリ部４２５のラインメモリを変更制御するようにすると共に、メモリ制御信号ＣＴＬｍを、当該変更後のラインメモリを書き込み、読み出し制御する制御信号に変更する。このモードを、この例ではモード３と呼ぶことにする。なお、ラインメモリの数よりも、変更できる読み出しモードの数の方が多いときには、そのときに使用されていなかったラインメモリの一つを、そのメモリ内容をクリアして、用いるようにするとよい。
【０１７１】
メモリ部４２５の構成が、前述のように、２個のラインメモリＭ１およびＭ２からなる場合には、モード３のときには、図１６（Ｃ）に示すように、メモリ部４２５のラインメモリがラインメモリＭ１からラインメモリＭ２に変更され、ラインメモリＭ２に対する書き込みイネーブル信号ＷＥＮ２および読み出しイネーブル信号ＲＥＮ２が、縦筋検出枠領域ＦＬで、アクティブの状態となり、前述した積分動作がなされる。そして、図１６（Ｃ）では、省略してあるが、有効画素領域では、ラインメモリＭ２に対する読み出しイネーブル信号ＲＥＮ２のみがアクティブの状態となり、補正用の黒レベル（オフセット）が共有画素別減算部４２７に出力される。
【０１７２】
図１７および図１８のフローチャートを参照して、この第３の実施形態における処理動作の流れを説明する。この図１７および図１８のフローチャートの処理は、デジタル信号処理部４の共有画素別縦筋検出補正部４２における処理の流れの例であり、共有画素別縦筋検出補正部４２をソフトウエア処理により構成する場合に相当するものである。なお、この例は、説明の簡単のため、メモリ部４２５のラインメモリは２個で、読み出しモードは、２種類が選択可能とされているとした場合の例である。
【０１７３】
先ず、モード１が設定されているか、あるいはモード２が設定されているかを判別する（ステップＳ２０１）。このステップＳ２０１で、モード１が設定されていると判別したときには、図１２に示した処理ルーチンを実行するように全体を制御する（ステップＳ２０２）。その後、モード２に変更されたか否かを判別し（ステップＳ２０３）、モード２に変更されなければ、ステップＳ２０２に戻って、図１２に示したモード１の処理ルーチンを継続する。
【０１７４】
ステップＳ２０１で、モード２が設定されていると判別したときには、カメラ制御マイコン５からのモード指示に応じて、タイミング生成部４２３は、読み出しモードに応じたメモリ部４２５の特定のラインメモリを選定し、当該選定したラインメモリの読み出しおよび書き込みを制御するメモリ制御信号ＣＴＬｍをメモリ部４２５に供給するようにする（ステップＳ２０４）。
【０１７５】
次に、入力撮像画像データが縦筋検出枠領域ＦＬからのものであるか否か判別し（ステップＳ２０５）、縦筋検出枠領域ＦＬからのものであると判別したときには、ステップＳ２０４で選定されたラインメモリを書き込みイネーブルおよび読み出しイネーブルの状態とする。そして、選択したラインメモリから読み出したデータと入力画素データとから、対応する画素の黒レベルデータ積分値（平均値）を算出し（ステップＳ２０６）、算出した黒レベルデータ積分値を、選択したラインメモリに書き戻す（ステップＳ２０７）。
【０１７６】
次に、入力撮像画像データは有効画素領域からのデータであるか否か判別し（ステップＳ２０８）、有効画素領域でなければ、ステップＳ２０５に戻り、このステップＳ２０５以降の処理を繰り返す。
【０１７７】
また、ステップＳ２０５で、入力撮像画像データが、縦筋検出枠領域ＦＬからのデータでないと判別したときには、ステップＳ２０８にジャンプして、有効画素領域からのデータであるか否か判別する。
【０１７８】
そして、ステップＳ２０８で、入力撮像画像データが、有効画素領域からのデータであると判別したときには、選定されているラインメモリを書き込み不能の状態とすると共に、読み出しイネーブルの状態とし、当該ラインメモリから読み出した黒レベルデータ積分値（オフセット量）を、対応する水平方向位置の画素データから減算して、出力する（ステップＳ２０９）。
【０１７９】
次に、カメラ制御マイコン５は、固体撮像素子からの画素データの読み出しモードが変更されたか否かを判別する（ステップＳ２１０）。このステップＳ２１０で、読み出しモードが変更されていないと判別したときには、ステップＳ２０５に戻って、上述したステップＳ２０５以降の処理を繰り返す。
【０１８０】
また、ステップＳ２１０で、読み出しモードが変更されたと判別したときには、メモリ部４２５のラインメモリを、変更された読み出しモードに対応するラインメモリに変更する（図１８のステップＳ２１１）。
【０１８１】
次に、入力撮像画像データが縦筋検出枠領域ＦＬからのものであるか否か判別し（ステップＳ２１２）、縦筋検出枠領域ＦＬからのものであると判別したときには、ステップＳ２１１で選定されたラインメモリを書き込みイネーブルおよび読み出しイネーブルの状態とする。そして、選択したラインメモリから読み出したデータと入力画素データとから、対応する画素の黒レベルデータ積分値（平均値）を算出し（ステップＳ２１３）、算出した黒レベルデータ積分値を、選択したラインメモリに書き戻す（ステップＳ２１４）。
【０１８２】
次に、入力撮像画像データは有効画素領域からのデータであるか否か判別し（ステップＳ２１５）、有効画素領域でなければ、ステップＳ２１２に戻り、このステップＳ２１２以降の処理を繰り返す。
【０１８３】
また、ステップＳ２１２で、入力撮像画像データが、縦筋検出枠領域ＦＬからのデータでないと判別したときには、ステップＳ２１５にジャンプして、有効画素領域からのデータであるか否か判別する。
【０１８４】
そして、ステップＳ２１５で、入力撮像画像データが、有効画素領域からのデータであると判別したときには、選定されているラインメモリを書き込み不能の状態とすると共に、読み出しイネーブルの状態とし、当該ラインメモリから読み出した黒レベルデータ積分値（オフセット量）を、対応する水平方向位置の画素データから減算して、出力する（ステップＳ２１６）。
【０１８５】
次に、固体撮像素子からの画素で他の読み出しモードが、最初の読み出しモードに復帰されたか否か判別し（ステップＳ２１７）、復帰されたと判別したときには、図１７のステップＳ２０４に戻り、このステップＳ２０４以降の処理を繰り返す。
【０１８６】
また、ステップＳ２１７で、最初の読み出しモードに復帰してはいないと判別したときには、モード１に変更されたか否か判別し（ステップＳ２１８）、変更されてはいないと判別したときには、ステップＳ２１２に戻り、このステップＳ２１２以降の処理を繰り返す。
【０１８７】
また、ステップＳ２１８で、モード１に変更されたと判別したときには、図１７のステップＳ２０２に戻り、このステップＳ２０２以降の処理を繰り返す。
【０１８８】
上記の構成によって、上記（１）〜（３）の場合の固体撮像素子の全てに対応しつつ、上記（２）、（３）の場合の固体撮像素子を用いる撮像装置においては、オーバーヘッドとなるハードウエアリソースを効率良く使うことが可能となる。
【０１８９】
なお、一般的に、ＯＰＢ領域だけでは積分画素数を増やすことに制約があるので、特許文献２のように、電源投入時等にアイリスを閉じた状態にて、モード２、モード３での全画面検出を行って、それぞれのメモリ部４２５のラインメモリに格納しておき、モード遷移時に速やかに積分値が収束できるようにしておくのが望ましい。
【０１９０】
以上説明したように、上述の実施形態の撮像装置によれば、画素感度向上を目的として隣接または近接画素間でトランジスタ等画素構成に必要な回路を共有している固体撮像素子に対して、共有画素パターン、フィルタコーディング、読出しチャンネル形態などは問わずに、非常に簡易な構成で、上記固体撮像素子の持つ共有パターンに起因する隣接画素の回路レイアウト不均一性を起因とする「縦筋状ノイズの不均一性」を補正することができる。また、上記固体撮像素子の持つ共有パターンに起因する隣接画素の回路レイアウト不均一性を起因とする「水平ダークシェーディングの不均一性」を補正することができる。
【０１９１】
また、第３の実施形態によれば、一つの撮像装置システムで、共有画素別検出・補正が必要な固体撮像素子と、不要な固体撮像素子との両方に対応する必要がある場合に、共有画素別検出・補正のために搭載した、ラインメモリを効率的に使用できる。
【０１９２】
なお、上述した第１〜第３の実施形態の構成は、説明の都合上、図４（Ａ）に示した共有画素パターンならびに読み出し方法に特化して説明してきたが、別の共有画素パターンや読み出し方法にも柔軟に対応できるように、タイミング生成部４２３等をプログラマブルに構成しておくのが望ましい。
【０１９３】
また、上述の実施形態の説明では、固体撮像素子は、ＣＭＯＳイメージャとしたが、ＣＣＤイメージャでもよい。
【図面の簡単な説明】
【０１９４】
【図１】この発明による撮像装置の実施形態のハードウエア構成例を示す図である。
【図２】この発明による撮像装置の実施形態で用いる固体撮像素子の画素配列および色フィルタ配置の例を説明するための図である。
【図３】この発明による撮像装置の実施形態で用いる固体撮像素子からの撮像画像データの読み出し方法の例を説明するための図である。
【図４】この発明による撮像装置の実施形態で用いる固体撮像素子における共有画素の配列パターンおよび共有画素ＩＤを説明するための図である。
【図５】この発明による撮像装置の第１の実施形態の要部のハードウエア構成例を示す図である。
【図６】この発明による撮像装置の第１の実施形態を説明するために用いる図である。
【図７】図５のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。
【図８】図７のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。
【図９】図７のハードウエア構成例における他の一部のブロックのハードウエア構成例を示す図である。
【図１０】この発明による撮像装置の第１の実施形態の要部を説明するためのタイミングチャートを示す図である。
【図１１】この発明による撮像装置の第１の実施形態の要部を説明するために用いる図である。
【図１２】この発明による撮像装置の第１の実施形態の処理動作の流れを説明するためのフローチャートである。
【図１３】この発明による撮像装置の実施形態で用いる固体撮像素子における共有画素の配列パターンおよび共有画素ＩＤの他の例を説明するための図である。
【図１４】この発明による撮像装置の第２の実施形態の要部を説明するために用いる図である。
【図１５】この発明による撮像装置の第２の実施形態の要部の他の例を説明するために用いる図である。
【図１６】この発明による撮像装置の第３の実施形態の要部を説明するためのタイミングチャートを示す図である。
【図１７】この発明による撮像装置の第３の実施形態の要部を説明するためのフローチャートの一部を示す図である。
【図１８】この発明による撮像装置の第３の実施形態の要部を説明するためのフローチャートの一部を示す図である。
【図１９】固体撮像素子の一例を説明するための図である。
【符号の説明】
【０１９５】
２…ＣＭＯＳイメージャ、４…デジタル信号処理部、５…カメラ制御マイコン、４２…共有画素別縦筋検出補正部、４４…基準タイミング信号発生器、４２３…タイミング生成部、４２４…共有画素別コラム積分処理部、４２５…メモリ部、４２７…共有画素別減算部
【図１】
2008288649.tif 000003
【図２】
2008288649.tif 000004
【図３】
2008288649.tif 000005
【図４】
2008288649.tif 000006
【図５】
2008288649.tif 000007
【図６】
2008288649.tif 000008
【図７】
2008288649.tif 000009
【図８】
2008288649.tif 000010
【図９】
2008288649.tif 000011
【図１０】
2008288649.tif 000012
【図１１】
2008288649.tif 000013
【図１２】
2008288649.tif 000014
【図１３】
2008288649.tif 000015
【図１４】
2008288649.tif 000016
【図１５】
2008288649.tif 000017
【図１６】
2008288649.tif 000018
【図１７】
2008288649.tif 000019
【図１８】
2008288649.tif 000020
【図１９】
2008288649.tif 000021