(57)【要約】【課題】縦筋状の固定パターンノイズ（縦筋ノイズ）を効果的に除去する。【解決手段】メモリ１１５は、コントロール部１１６の制御により、入力（ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号）が出力されたイメージセンサの出力系統に対応した補正信号Ａ(m)、Ｂ(m)を出力する。減算器１１１は、入力から黒レベルを減算する。加算器１１２は、減算器１１１の出力信号Ｘ(m,n)に補正信号Ｂ(m)を加算する。乗算器１１３は、加算器１１２の出力信号｛Ｘ(m,n)＋Ｂ(m)｝に補正信号Ａ(m)を乗算する。乗算器１１３の出力信号Ｙ(m,n)＝Ａ(m)＊｛Ｘ(m,n)＋Ｂ(m)｝は、信号Ｘ(m,n)に縦筋ノイズが含まれていたとしても、当該縦筋ノイズが除かれたものとなる。加算器１１４は、乗算器１１３の出力信号Ｙ(m,n)に黒レベルを足し戻し、出力とする。オフセット成分だけでなく光量依存成分にも対応した補正信号を用いるため、縦筋ノイズを効果的に除去できる。【選択図】図７
2008244947.tif 000002
【特許請求の範囲】
【請求項１】
所定数のカラム毎に出力系統を有するイメージセンサの出力信号から縦筋状の固定パターンノイズを除去する固定パターンノイズ除去回路であって、
上記イメージセンサの出力信号に係る上記出力系統に対応し、該出力系統により発生する上記固定パターンノイズのオフセット成分および光量依存成分に応じた補正信号を出力する補正信号出力部と、
上記補正信号出力部から出力される上記補正信号に基づいて、上記イメージセンサの出力信号から上記固定パターンノイズを除去する信号補正部と
を備えることを特徴とする固定パターンノイズ除去回路。
【請求項２】
上記補正信号出力部は、
上記オフセット成分に対応した第１の補正信号と、上記光量依存成分に対応した第２の補正信号を出力し、
上記信号補正部は、
上記イメージセンサの出力信号から黒レベルを減算する減算器と、
上記減算器の出力信号に上記第１の補正信号を加算する第１の加算器と、
上記第１の加算器の出力信号に上記第２の補正信号を乗算する乗算器と、
上記乗算器の出力信号に上記黒レベルを加算する第２の加算器とを有する
ことを特徴とする請求項１に記載の固定パターンノイズ除去回路。
【請求項３】
上記補正信号出力部は、
上記光量依存成分に対応した第１の補正信号と、上記オフセット成分および上記光量依存成分に対応した第２の補正信号を出力し、
上記信号補正部は、
上記イメージセンサの出力信号から黒レベルを減算する減算器と、
上記減算器の出力信号に上記第１の補正信号を乗算する乗算器と、
上記乗算器の出力信号に上記第２の補正信号を加算する第１の加算器と、
上記第１の加算器の出力信号に上記黒レベルを加算する第２の加算器とを有する
ことを特徴とする請求項１に記載の固定パターンノイズ除去回路。
【請求項４】
上記補正信号出力部は、
上記各出力系統に対応した上記補正信号を記憶したメモリと、
上記イメージセンサの出力信号に同期した同期信号に基づいて、上記メモリから上記イメージセンサの出力信号が出力された上記出力系統に対応した上記補正信号を読み出すメモリコントロール部とを有する
ことを特徴とする請求項１に記載の固定パターンノイズ除去回路。
【請求項５】
上記補正信号出力部は、
上記各出力系統に対応した上記補正信号を出力する複数のレジスタと、
上記各レジスタから出力される上記補正信号より所定の補正信号を選択的に取り出すセレクタと、
上記各出力系統に対応した出力選択信号が記憶されているメモリと、
上記イメージセンサの出力信号に同期した同期信号に基づいて、上記メモリから上記イメージセンサの出力信号が出力された上記出力系統に対応した上記出力選択信号を読み出すメモリコントロール部とを有し、
上記セレクタは、上記メモリから読み出される出力選択信号に基づいて、上記各レジスタから出力される上記補正信号より上記所定の補正信号を選択的に取り出す
ことを特徴とする請求項１に記載のパターンノイズ除去回路。
【請求項６】
上記補正信号出力部は、
上記各出力系統に対応した上記補正信号を出力する複数のレジスタと、
上記各レジスタから出力される上記補正信号より所定の補正信号を選択的に取り出すセレクタと、
上記イメージセンサの出力信号に同期した同期信号に基づいてカウント動作を行うカウンタとを有し、
上記セレクタは、上記カウンタのカウント値に基づいて、上記各レジスタから出力される上記補正信号より上記所定の補正信号を選択的に取り出す
ことを特徴とする請求項１に記載の固定パターンノイズ除去回路。
【請求項７】
上記補正信号のゲインを補正する補正係数を出力する補正係数出力部と、
上記補正係数出力部から出力される上記補正係数を、上記補正信号出力部から出力される補正信号に乗算するゲイン補正部とをさらに備える
ことを特徴とする請求項１に記載の固定パターンノイズ除去回路。
【請求項８】
上記補正係数出力部は、
上記イメージセンサの出力信号が出力された上記出力系統に対応した上記補正係数を出力する
ことを特徴とする請求項７に記載の固定パターンノイズ除去回路。
【請求項９】
上記補正係数出力部は、
上記各出力系統に対応した上記補正係数が記憶されているメモリと、
上記イメージセンサの出力信号に同期した同期信号に基づいて、上記メモリから、上記イメージセンサの出力信号が出力された上記出力系統に対応した上記補正係数を読み出すメモリコントロール部とを有する
ことを特徴とする請求項８に記載の固定パターンノイズ除去回路。
【請求項１０】
上記補正係数出力部は、
上記各出力系統に対応した上記補正係数を出力する複数のレジスタと、
上記各レジスタから出力される上記補正係数より所定の補正係数を選択的に取り出すセレクタと、
上記各出力系統に対応した出力選択信号が記憶されているメモリと、
上記イメージセンサの出力信号に同期した同期信号に基づいて、上記メモリから、上記イメージセンサの出力信号が出力された上記出力系統に対応した上記出力選択信号を読み出すメモリコントロール部とを有し、
上記セレクタは、上記メモリから読み出される選択信号に基づいて、上記各レジスタから出力される上記補正係数より上記所定の補正係数を選択的に取り出す
ことを特徴とする請求項８に記載の固定パターンノイズ除去回路。
【請求項１１】
所定数のカラム毎に出力系統を有するイメージセンサの出力信号から縦筋状の固定パターンノイズを除去する固定パターンノイズ除去方法であって、
上記イメージセンサの出力信号に係る上記出力系統に対応し、該出力系統により発生する上記固定パターンノイズのオフセット成分および光量依存成分に応じた補正信号を取得する補正信号取得ステップと、
上記補正信号取得ステップで取得される上記補正信号に基づいて、上記イメージセンサの出力信号から上記固定パターンノイズを除去する信号補正ステップと
を備えることを特徴とする固定パターンノイズ除去方法。
【請求項１２】
所定数のカラム毎に出力系統を有するイメージセンサの出力信号から縦筋状の固定パターンノイズを除去するために、
コンピュータを、
上記イメージセンサの出力信号に係る上記出力系統に対応し、該出力系統により発生する上記固定パターンノイズのオフセット成分および光量依存成分に応じた補正信号を出力する補正信号出力手段と、
上記補正信号出力手段から出力される上記補正信号に基づいて、上記イメージセンサの出力信号から上記固定パターンノイズを除去する信号補正手段と
して機能させるためのプログラム。
【請求項１３】
所定数のカラム毎に出力系統を有するイメージセンサと、
上記イメージセンサの出力信号から縦筋状の固定パターンノイズを除去する固定パターンノイズ除去回路とを備え、
上記固定パターンノイズ除去回路は、
上記イメージセンサの出力信号に係る上記出力系統に対応し、該出力系統により発生する上記固定パターンノイズのオフセット成分および光量依存成分に応じた補正信号を出力する補正信号出力部と、
上記補正信号出力部から出力される上記補正信号に基づいて、上記イメージセンサの出力信号から上記固定パターンノイズを除去する信号補正部とを有する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、ＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサ等を用いて構成される撮像装置に適用して好適な固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置に関する。
【０００２】
詳しくは、この発明は、所定数のカラム毎に出力系統を有するイメージセンサの出力信号から縦筋状の固定パターンノイズを除去するものにあって、出力系統により発生する固定パターンノイズのオフセット成分だけでなく、光量依存成分にも対応した補正信号に基づいて、イメージセンサの出力信号から固定パターンノイズを除去することにより、縦筋状の固定パターンノイズを効果的に除去できるようにした固定パターンノイズ除去回路等に係るものである。
【背景技術】
【０００３】
従来、ＣＭＯＳイメージセンサを用いて構成される固体撮像装置が知られている。このＣＭＯＳイメージセンサは、各画素に光電変換素子と読み出し回路が設けられた固体撮像装置であり、各画素にランダムにアクセスでき、また、高速に読み出すことができる。また、このＣＭＯＳイメージセンサは、ＣＭＯＳプロセスを応用しているため、アンプやＡ／Ｄ変換器等の信号処理回路を集積し易いという特徴がある。
【０００４】
このＣＭＯＳイメージセンサの中に、カラム毎にアンプやＡ／Ｄ変換器等の出力系統（カラム信号処理回路）を有するカラム型ＣＭＯＳイメージセンサがある。このカラム型ＣＭＯＳイメージセンサにおいては、カラム毎の出力系統の処理特性のばらつきにより、各画素が一様に露光されたとしてもカラム毎に出力がばらついてしまう。その結果、カラム型ＣＭＯＳイメージセンサは、縦筋状の固定パターンノイズを持ち、画質劣化を招いていた。
【０００５】
例えば、特許文献１等には、この縦筋状の固定パターンノイズを除去あるいは低減する技術が記載されている。
【特許文献１】特開２００６−１３５４２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１等に記載されている技術では、イメージセンサの出力信号からオフセット成分に対応した補正信号を差し引くことで、縦筋状の固定パターンノイズを除去することが行われている。しかし、縦筋状の固定パターンノイズは、オフセット成分だけでなく、入射光量に応じて変化する、光量依存成分も含まれている。そのため、上述の特許文献１等に記載されている技術では、遮光時に縦筋状の固定パターンノイズを精度よく除去できたとしても、光量依存成分の存在により、露光すると再び縦筋状の固定パターンノイズが現れてくる。
【０００７】
この発明の目的は、縦筋状の固定パターンノイズを効果的に除去することにある。
【課題を解決するための手段】
【０００８】
この発明の概念は、
所定数のカラム毎に出力系統を有するイメージセンサの出力信号から縦筋状の固定パターンノイズを除去する固定パターンノイズ除去回路であって、
上記イメージセンサの出力信号に係る上記出力系統に対応し、該出力系統により発生する上記固定パターンノイズのオフセット成分および光量依存成分に応じた補正信号を出力する補正信号出力部と、
上記補正信号出力部から出力される上記補正信号に基づいて、上記イメージセンサの出力信号から上記固定パターンノイズを除去する信号補正部と
を備えることを特徴とする固定パターンノイズ除去回路にある。
【０００９】
この発明において、イメージセンサは、所定数のカラム毎に出力系統（例えば、アンプ、Ａ／Ｄ変換器等からなる信号処理回路）を有している。この場合、カラムの一つ一つに対して出力系統が存在するか、あるいは複数のカラム毎に共通の出力系統が存在する。補正信号出力部では、イメージセンサの出力信号に係る、つまり、当該出力信号が出力された出力系統に対応した補正信号が出力される。
【００１０】
この補正信号は、当該出力系統により発生する固定パターンノイズのオフセット成分だけでなく、光量依存成分にも対応したものとされる。信号補正部では、補正信号出力部から出力される補正信号に基づいて、イメージセンサの出力信号から固定パターンノイズが除去される。ここで、所定の出力系統により発生する固定パターンノイズのオフセット成分および光量依存成分に対応した補正信号は、当該所定の出力系統における遮光時と露光時の出力信号を測定し、当該測定値と理想値とを用いることで算出できる。
【００１１】
この発明において、例えば、補正信号出力部は、オフセット成分に対応した第１の補正信号と、光量依存成分に対応した第２の補正信号を出力し、信号補正部は、イメージセンサの出力信号から黒レベルを減算する減算器と、この減算器の出力信号に第１の補正信号を加算する第１の加算器と、この第１の加算器の出力信号に第２の補正信号を乗算する乗算器と、この乗算器の出力信号に黒レベルを加算する第２の加算器とを有するようにされてもよい。このようにイメージセンサの出力信号から黒レベルを差し引いた状態で、第１、第２の補正信号を用いた演算を行って固定パターンノイズを除去し、その後に黒レベルを足し戻すことで、黒レベルの影響を受けることなく、固定パターンノイズを除去することが可能となる。
【００１２】
また、この発明において、例えば、補正信号出力部は、光量依存成分に対応した第１の補正信号と、オフセット成分および光量依存成分に対応した第２の補正信号を出力し、信号補正部は、イメージセンサの出力信号から黒レベルを減算する減算器と、この減算器の出力信号に第１の補正信号を乗算する乗算器と、この乗算器の出力信号に第２の補正信号を加算する第１の加算器と、この第１の加算器の出力信号に黒レベルを加算する第２の加算器とを有するようにされてもよい。このようにイメージセンサの出力信号から黒レベルを差し引いた状態で、第１、第２の補正信号を用いた演算を行って固定パターンノイズを除去し、その後に黒レベルを足し戻すことで、黒レベルの影響を受けることなく、固定パターンノイズを除去することが可能となる。
【００１３】
また、この発明において、例えば、補正信号出力部は、各出力系統に対応した補正信号を記憶したメモリと、イメージセンサの出力信号に同期した同期信号に基づいて、メモリからイメージセンサの出力信号が出力された出力系統に対応した補正信号を読み出すメモリコントロール部とを有するようにされてもよい。このように補正信号をメモリから読み出して出力する構成とすることで、補正信号出力部の構成が簡単となる。
【００１４】
また、この発明において、例えば、補正信号出力部は、各出力系統に対応した補正信号を出力する複数のレジスタと、各レジスタから出力される補正信号より所定の補正信号を選択的に取り出すセレクタと、各出力系統に対応した出力選択信号が記憶されているメモリと、イメージセンサの出力信号に同期した同期信号に基づいて、メモリからイメージセンサの出力信号が出力された出力系統に対応した出力選択信号を読み出すメモリコントロール部とを有し、セレクタは、メモリから読み出される出力選択信号に基づいて、各レジスタから出力される補正信号より所定の補正信号を選択的に取り出すようにされてもよい。この場合、メモリに、補正信号に比べてビット幅の小さな出力選択信号を記憶しておくものであり、メモリ容量を削減することが可能となる。このように各出力系統に対応した補正信号を出力する複数のレジスタを備えるものにあっては、出力系統の並列数が少ない場合に有効となる。
【００１５】
また、この発明において、例えば、補正信号出力部は、各出力系統に対応した補正信号を出力する複数のレジスタと、各レジスタから出力される補正信号より所定の補正信号を選択的に取り出すセレクタと、イメージセンサの出力信号に同期した同期信号に基づいてカウント動作を行うカウンタとを有し、セレクタは、カウンタのカウント値に基づいて、各レジスタから出力される補正信号より所定の補正信号を選択的に取り出すようにされてもよい。この場合、メモリが不要となる。このように各出力系統に対応した補正信号を出力する複数のレジスタを備えるものにあっては、出力系統の並列数が少ない場合に有効となる。
【００１６】
このようにこの発明においては、出力系統により発生する固定パターンノイズのオフセット成分だけでなく、光量依存成分にも対応した補正信号に基づいて、イメージセンサの出力信号から固定パターンノイズを除去するため、縦筋状の固定パターンノイズを効果的に除去することができる。
【００１７】
また、この発明において、例えば、補正信号のゲインを補正する補正係数を出力する補正係数出力部と、補正係数出力部から出力される上記補正係数を、補正信号出力部から出力される補正信号に乗算するゲイン補正部とをさらに備えるようにされてもよい。このように補正信号に補正係数を乗算してゲイン補正を行うものにあっては、温度変化による出力系統の特性の変化、出力系統に含まれるアンプゲインの変化、イメージセンサのインターレースとプログレッシブの駆動の変化等による固定パターンノイズの変化に対処することが可能となる。
【００１８】
また、この発明において、例えば、補正係数出力部は、イメージセンサの出力信号が出力された出力系統に対応した補正係数を出力するようにされてもよい。この場合、出力系統毎に最適な補正係数により補正信号のゲインを補正することが可能となる。
【００１９】
また、この発明において、例えば、補正係数出力部は、各出力系統に対応した補正係数が記憶されているメモリと、イメージセンサの出力信号に同期した同期信号に基づいて、メモリから、イメージセンサの出力信号が出力された出力系統に対応した補正係数を読み出すメモリコントロール部とを有するようにされてもよい。このように補正係数をメモリから読み出して出力する構成とすることで、補正係数出力部の構成が簡単となる。
【００２０】
また、この発明において、例えば、補正係数出力部は、各出力系統に対応した補正係数を出力する複数のレジスタと、各レジスタから出力される補正係数より所定の補正係数を選択的に取り出すセレクタと、各出力系統に対応した出力選択信号が記憶されているメモリと、イメージセンサの出力信号に同期した同期信号に基づいて、メモリから、イメージセンサの出力信号が出力された上記出力系統に対応した出力選択信号を読み出すメモリコントロール部とを有し、セレクタは、メモリから読み出される選択信号に基づいて、各レジスタから出力される補正係数より所定の補正係数を選択的に取り出すようにされてもよい。この場合、メモリに、補正係数に比べてビット幅の小さな出力選択信号を記憶しておくものであり、メモリ容量を削減することが可能となる。このように各出力系統に対応した補正係数を出力する複数のレジスタを備えるものにあっては、出力系統の並列数が少ない場合に有効となる。
【発明の効果】
【００２１】
この発明によれば、所定数のカラム毎に出力系統を有するイメージセンサの出力信号から縦筋状の固定パターンノイズを除去するものにあって、出力系統により発生する固定パターンノイズのオフセット成分だけでなく、光量依存成分にも対応した補正信号に基づいて、イメージセンサの出力信号から固定パターンノイズを除去するものであり、縦筋状の固定パターンノイズを効果的に除去できる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての撮像装置１００の構成例を示している。この撮像装置１００は、３板式のカラー撮像装置である。この撮像装置１００は、ＣＭＯＳイメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂと、補正回路１０２と、ゲイン調整回路１０３と、色調整回路１０４と、輝度調整回路１０５と、ガンマ補正回路１０６と、出力信号生成回路１０７とを有している。ここで、補正回路１０２、ゲイン調整回路１０３、色調整回路１０４、輝度調整回路１０５、ガンマ補正回路１０６および出力信号生成回路１０７は、ビデオ処理部１０８を構成している。
【００２３】
ＣＭＯＳイメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂは、それぞれ、赤、緑、青の各画像用のイメージセンサである。このＣＭＯＳイメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂは、カラム毎にアンプやＡ／Ｄ変換器等の出力系統（カラム信号処理回路）を有するカラム型ＣＭＯＳイメージセンサである。
【００２４】
図２は、イメージセンサ１０１（１０１Ｒ，１０１Ｇ，１０１Ｂ）の構成例を示している。イメージセンサ１０１は、マトリックス状に配置された画素（受光部）２１と、出力する画素２１を選択する垂直ラインセレクタ２２および水平ラインセレクタ２３と、垂直ラインセレクタ２２を駆動する垂直アドレス駆動回路２４と、水平ラインセレクタ２２を駆動する水平アドレス駆動回路２５と、カラムアンプ２６と、Ａ／Ｄ変換器（ＡＤＣ）２７と、シフトレジスタ２８により構成されている。ここで、各カラムに対応したカラムアンプ２６およびＡ／Ｄ変換器２７は、各カラムの出力系統（カラム信号処理回路）を構成している。
【００２５】
イメージセンサ１０１に入射された被写体からの光は、各受光部２１により光電変換される。各受光部２１で光電変換された結果（電圧信号）は、垂直ラインセレクタ２２および水平ラインセレクタ２３により順次選択され、カラムアンプ２６およびＡ／Ｄ変換器２７を介してシフトレジスタ２８に供給され、クロックに同期して出力される。ここで、カラムアンプ２６は、光電変換された結果を適切なレベルに増幅し、Ａ／Ｄ変換器２７はカラムアンプ２６の出力信号をアナログ信号からデジタル信号に変換する。
【００２６】
なお、図２のイメージセンサ１０１の構成例では、図面の簡単化のため、水平方向に４画素、垂直方向に４画素が配されている。しかし、実際には、例えば、ハイビジョン用のＣＭＯＳイメージセンサにあっては、有効画素として、水平方向に１９２０画素、垂直方向に１０８０画素が配されている。
【００２７】
図１に戻って、補正回路１０２は、イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂから出力される赤、緑、青の色データＲ，Ｇ，Ｂに対して、画素欠陥の補正、シェーディングの補正等を行う他に、縦筋状の固定パターンノイズの除去を行う。この縦筋状の固定パターンノイズの除去に関しての詳細については後述する。
【００２８】
ゲイン調整回路１０３は、補正回路１０２で得られる各色データのゲインを調整し、ホワイトバランス調整等を行う。色調整回路１０４は、ゲイン調整回路１０３で得られる各色データのゲインをリニアマトリックスにより調整し、特定の色を強めたり、あるいは弱めたりする。輝度調整回路１０５は、映像信号を規定の範囲内に納めるために、色調整回路１０４で得られる各色データに対して輝度圧縮を行う。
【００２９】
ガンマ補正回路１０６は、ＣＲＴ（CathodeRay Tube）等のモニタガンマに対応させるために、輝度調整回路１０５で得られる各色データのガンマ補正を行う。出力信号生成回路１０７は、ガンマ補正回路１０６で得られる赤、緑、青の色データを、最終的な映像出力形式に変換して出力する。例えば、出力信号生成回路１０７は、マトリクス回路を備え、赤、緑、青の色データを、輝度信号Ｙ、赤色差信号Ｃｒ、青色差信号Ｃｂの形式に変換して出力する。
【００３０】
図１に示す撮像装置１００の動作を簡単に説明する。図示しない光学系により得られる被写体からの赤、緑、青の光はそれぞれイメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂの撮像面に入射され、当該撮像面に赤、緑、青の各色画像が結像される。イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂでは、上述したように撮像面に色画像が結像された状態で撮像処理が行われ、被写体に対応した赤、緑、青の色データが得られる。
【００３１】
イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂで得られる赤、緑、青の色データＲ，Ｇ，Ｂに対して、ビデオ処理部１０８の補正回路１０２、ゲイン調整回路１０２および色調整回路１０４により、縦筋状の固定パターンノイズの除去、欠陥補正、シェーディング補正等の補正処理、ホワイトバランス調整、色調整等の調整処理が行われる。さらに、ビデオ処理部１０８では、色調整回路１０４から出力される各色データに対して、輝度調整回路１０５およびガンマ補正回路１０６により、輝度圧縮、ガンマ補正等の処理が行われる。そして、ガンマ補正回路１０６で得られる各色データは出力信号生成回路１０７に供給されて最終的な映像信号出力形式（Ｙ，Ｃｒ，Ｃｂ）に変換されて出力される。
【００３２】
上述したように、補正回路１０２は、縦筋状の固定パターンノイズを除去する固定パターンノイズ除去回路を含んでいる。なお、固定パターンノイズ除去回路をゲイン調整回路１０３以降の回路に含めることも考えられるが、当該固定パターンノイズ除去回路は、補正回路１０２に実装される形態が最適であると考える。なぜなら、縦筋状の固定パターンノイズはイメージセンサ１０１（１０１Ｒ，１０１Ｇ，１０１Ｂ）内で発生するものであり、ゲイン調整回路１０３等によって色データレベルが変化する前に除去する必要があるからである。なお、固定パターンノイズ除去回路は、赤、緑、青の各信号系にそれぞれ設けられる。
【００３３】
次に、固定パターンノイズ除去回路について説明する。まず、縦筋状の固定パターンノイズについて説明する。
【００３４】
縦筋状の固定パターンノイズは、イメージセンサ１０１（図２参照）の各カラムのアンプ２６やＡ／Ｄ変換器２７等の出力系統（カラム信号処理回路）の処理特性のばらつきにより、各画素が一様に露光されたとしてもカラム毎に出力がばらついてしまうことにより、発生する。
【００３５】
図３は、カラム型のＣＭＯＳイメージセンサ１０１の構造と、発生する縦筋（縦筋状の固定パターンノイズ）を模式的に示している。イメージセンサ１０１は、水平方向にＨ画素、垂直方向にＶ画素の有効画素部２０３の他に、水平遮光部（ＨＯＰＢ）２０１および垂直遮光部（ＶＯＰＢ）２０２を備えた構成となっている。このようなイメージセンサ１０１において、上述したように、各カラムの出力系統（カラム信号処理回路）の処理特性のばらつきがあると、各画素が一様に露光されたとしても、カラム毎に出力がばらつき、縦筋２０４が発生する。
【００３６】
ここで、縦筋状の固定パターンノイズ（以下、適宜、「縦筋ノイズ」という）は、オフセット成分と、光量依存成分とに、大別することができる。
【００３７】
各カラムのオフセット成分は、図４に示すように、遮光時において、各カラムの出力の、理想的な出力に対する差分である。この場合、各カラムの出力は、出力系統の処理特性により、理想的な出力に対して、レベルが高くなる場合もあり、またレベルが低くなる場合もある。各カラムのオフセット成分は、入射光量によらず、一定の値である。
【００３８】
また、遮光時には、図５（ａ）に示すように、各カラムの出力が理想的な出力にあったとしても、露光時には、図５（ｂ）に示すに示すように、各カラムの出力が理想的な出力からずれたものとなることがある。各カラムのオフセット成分は、露光時において、各カラムの出力の、理想的な出力に対する差分である。各カラムの光量依存成分は、入射光量に応じて変化していく。
【００３９】
この実施の形態において、固定パターンノイズ除去回路では、基本的には、以下の、（１）式または（２）式に基づいて、入力信号Ｘから出力信号Ｙを得るものとされる。各式において、ｍはカラム番号を示し、ｎはロウ番号を示している。
Ｙ(m,n)＝Ａ(m)＊｛Ｘ(m,n)＋Ｂ(m)｝      ・・・（１）
Ｙ(m,n)＝Ｃ(m)＊Ｘ(m,n)＋Ｄ(m)          ・・・（２）
【００４０】
（１）式において、Ａ(m)は光量依存成分に対応した補正信号（第２の補正信号）であり、Ｂ(m)はオフセット成分に対応した補正信号（第１の補正信号）である。また、（２）式において、Ｃ(m)は光量依存成分に対応した補正信号（第１の補正信号）であり、Ｄ(m)はオフセット成分および光量依存成分に対応した補正信号（第２の補正信号）である。
【００４１】
（１）式および（２）式の補正信号Ａ，Ｂ，Ｃ，Ｄは、例えば、以下に示すように、遮光時と露光時における出力信号のレベルに基づいて算出される。すなわち、図６に示すように、遮光時（状態１）と任意の光量による露光時（状態２）のイメージセンサ１０１の受光部２１からの入力をそれぞれＳ１，Ｓ２とし、この入力Ｓ１，Ｓ２が出力系統（アンプ２６、Ａ／Ｄ変換器２７等からなる信号処理回路）を通過して得られる、当該イメージセンサ１０１の縦筋ノイズが乗った出力をそれぞれＴ１，Ｔ２とする。さらに、入力Ｓ１，Ｓ２に対する理想的な出力をそれぞれＵ１，Ｕ２とする。なお、Ｓ１，Ｓ２，Ｔ１，Ｔ２は、任意のカラムの平均値とする。
【００４２】
縦筋ノイズが乗っていない理想的な出力をｘ、縦筋ノイズが乗った出力をｙとし、ｘとｙの関係を、（３）式で表すものとする。
ｙ＝ａ＊ｘ＋ｂ        ・・・（３）
【００４３】
この直線は、（Ｕ１，Ｔ１）および（Ｕ２，Ｔ２）の点を通るので、（４）式および（５）式が得られる。
Ｔ１＝ａ＊Ｕ１＋ｂ      ・・・（４）
Ｔ２＝ａ＊Ｕ２＋ｂ      ・・・（５）
【００４４】
これら（４）式および（５）式から、ａ，ｂは、以下の（６）式および（７）式のように求められる。
ａ＝(T1-T2)/(U1-U2)                    ・・・（６）
ｂ＝{(T1(U1-U2)-U1(T1-T2)}/(U1-U2)      ・・（７）
【００４５】
上述の（１）式および（２）式は、それぞれ、上述の（３）式における縦筋ノイズが乗った出力ｙを縦筋ノイズが乗っていない理想的な出力ｘに戻すためのものであり、以下の（８）式および（９）式の関係が成立する。
Ｙ＝Ａ＊（Ｘ＋Ｂ）＝ｘ＝（ｙ−ｂ）／ａ      ・・・（８）
Ｙ＝Ｃ＊Ｘ＋Ｄ＝ｘ＝ｙ／ａ−ｂ／ａ          ・・・（９）
【００４６】
よって、上述の（１）式および（２）式における補正信号Ａ，Ｂ，Ｃ，Ｄは、以下の（１０）式、（１１）式、（１２）式、（１３）式のように求められる。
【００４７】
Ａ＝１／ａ＝(U1-U2)/(T1-T2)                                ・・・（１０）
Ｂ＝−ｂ＝-{(T1(U1-U2)-U1(T1-T2)}/(U1-U2)                  ・・・（１１）
Ｃ＝１／ａ＝(U1-U2)/(T1-T2)                                ・・・（１２）
Ｄ＝−ｂ／ａ
＝-{(T1(U1-U2)-U1(T1-T2)}＊(U1-U2)/｛(U1-U2)＊(T1-T2)｝  ・・・（１３）
【００４８】
図７は、縦筋ノイズ除去回路１１０Ａを示している。この縦筋ノイズ除去回路１１０Ａは、上述の（１）式に基づいて、縦筋ノイズを除去する。縦筋ノイズ除去回路１１０Ａは、減算器１１１、加算器１１２、乗算器１１３、加算器１１４、メモリ１１５、メモリコントロール部１１６およびメモリインタフェース（Ｉ／Ｆ）部１１７により構成されている。メモリ１１５、メモリコントロール部１１６およびメモリＩ／Ｆ部１１７は、補正信号出力部を構成している。また、減算器１１１、加算器１１２、乗算器１１３および加算器１１４は信号補正部を構成している。
【００４９】
メモリ１１５には、上述したように算出された、各出力系統の補正信号Ａ(m)、Ｂ(m)が、予め記憶されている。ここで、図２に示すように、ＣＭＯＳイメージセンサ１０１がカラムの一つ一つに対して出力系統（例えば、アンプ２６、Ａ／Ｄ変換器２７等からなる信号処理回路）を持つ場合には、出力系統の数はカラムの数と同じとなる。これに対して、例えば、図８に示すように、ＣＭＯＳイメージセンサ１０１が複数のカラム毎に１つの出力系統を持つ場合には、出力系統の数はカラムの数より少なくなる。
【００５０】
なお、図８のイメージセンサ１０１の構成例では、上述の図２のイメージセンサ１０１の構成例と同様に、水平方向に４画素、垂直方向に４画素が配されている。この図８の構成例では、２つのカラム毎に１つの出力系統を持つ場合を示している。この図８において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００５１】
メモリコントロール部１１６には、入力となるイメージセンサ１０１の出力信号に同期した、水平同期信号、画素クロック信号等の同期信号が供給される。メモリコントロール部１１６は、この同期信号に基づいて、メモリ１１５から、イメージセンサ１０１の出力信号が出力された出力系統に対応した補正信号Ａ(m)、Ｂ(m)を読み出す。この場合、メモリ１１５から読み出される補正信号Ａ(m)、Ｂ(m)は、まとまった１つの信号、例えば上位１０ビットが補正信号Ａ(m)であり、下位１０ビットが補正信号Ｂ(m)である２０ビット信号として出力される。
【００５２】
メモリＩ／Ｆ部１１７は、メモリ１１５の出力信号から補正信号Ａ(m)、Ｂ(m)を分離し、補正信号Ｂ(m)を加算器１１２に供給し、補正信号Ａ(m)を乗算器１１３に供給する。
【００５３】
減算器１１１は、入力（イメージセンサ１０１の出力信号）から黒レベルを減算する。黒レベルは、例えば、図示しないレジスタから供給される。加算器１１２は、減算器１１１の出力信号Ｘ(m,n)に補正信号Ｂ(m)を加算する。乗算器１１３は、加算器１１２の出力信号に補正信号Ａ(m)を乗算する。加算器１１４は、乗算器１１３の出力信号に黒レベルを加算して出力を得る。
【００５４】
図７に示す縦筋ノイズ除去回路１１０Ａの動作を説明する。ここでは、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が、当該縦筋ノイズ除去回路１１０Ａに入力される場合について説明する。
【００５５】
この場合、メモリ１１５からは、メモリコントロール部１１６の制御により、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が出力された出力系統に対応した補正信号Ａ(m)、Ｂ(m)が読み出される。そして、メモリＩ／Ｆ部１１７から、加算器１１２に補正信号Ｂ(m)が供給され、乗算器１１３に補正信号Ａ(m)が供給される。
【００５６】
また、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号は、減算器１１１の入力として供給される。この減算器１１１には黒レベルが供給される。減算器１１１では、入力から黒レベルが減算される。この減算器１１１の出力信号Ｘ(m,n)は加算器１１２に供給される。加算器１１２では、信号Ｘ(m,n)に補正信号Ｂ(m)が加算される。
【００５７】
この加算器１１２の出力信号｛Ｘ(m,n)＋Ｂ(m)｝は、乗算器１１３に供給される。この乗算器１１３では、信号｛Ｘ(m,n)＋Ｂ(m)｝に補正信号Ａ(m)が乗算される。この乗算器１１３の出力信号Ｙ(m,n)＝Ａ(m)＊｛Ｘ(m,n)＋Ｂ(m)｝は、加算器１１４に供給される。この場合、信号Ｘ(m,n)に縦筋ノイズが含まれていたとしても、信号Ｙ(m,n)は当該縦筋ノイズが除かれたものとなる。加算器１１４では、信号Ｙ(m,n)に黒レベルが足し戻され、縦筋ノイズ除去回路１１０Ａの出力が得られる。
【００５８】
図７に示す縦筋ノイズ除去回路１１０Ａによれば、ＣＭＯＳイメージセンサ１０１の出力系統により発生する縦筋ノイズのオフセット成分だけでなく、光量依存成分にも対応した補正信号Ａ(m)，Ｂ(m)に基づいて、ＣＭＯＳイメージセンサ１０１の出力信号から縦筋ノイズを除去するため、縦筋ノイズ（縦筋状の固定パターンノイズ）を効果的に除去できる。
【００５９】
また、図７に示す縦筋ノイズ除去回路１１０Ａによれば、イメージセンサ１０１の出力信号から黒レベルを差し引いた状態で、補正信号Ａ(m)，Ｂ(m)を用いた演算を行って縦筋ノイズを除去し、その後に黒レベルを足し戻すものであり、黒レベルの影響を受けることなく、縦筋ノイズを良好に除去できる。
【００６０】
図７に示すノイズ除去回路１１０Ａにおいては、ＣＭＯＳイメージセンサ１０１の各出力系統の補正信号Ａ(m)，Ｂ(m)をメモリ１１５に記憶して用いるものを示した。しかし、ＣＭＯＳイメージセンサ１０１の各出力系統の補正信号Ａ(m)，Ｂ(m)をレジスタに設定して用いることも考えられる。
【００６１】
図９は、ＣＭＯＳイメージセンサ１０１の各出力系統の補正信号Ａ(m)，Ｂ(m)をレジスタに設定して用いる縦筋ノイズ除去回路１１０Ｂを示している。この図９において、図７と対応する部分には、同一符号を付して示す。
【００６２】
この縦筋ノイズ除去回路１１０Ｂは、減算器１１１、加算器１１２、乗算器１１３、加算器１１４、レジスタ１２１-1，１２１-2，１２３-1，１２３-2、セレクタ１２２，１２４、メモリ１２５、メモリコントロール部１２６およびメモリインタフェース（Ｉ／Ｆ）部１２７により構成されている。レジスタ１２１-1，１２１-2，１２３-1，１２３-2、セレクタ１２２，１２４、メモリ１２５、メモリコントロール部１２６およびメモリＩ／Ｆ部１２７は、補正信号出力部を構成している。また、減算器１１１、加算器１１２、乗算器１１３および加算器１１４は信号補正部を構成している。
【００６３】
レジスタ１２１-1，１２１-2にはＣＭＯＳイメージセンサ１０１の各出力系統の補正信号Ｂ(m)（Ｂ１，Ｂ２）が設定されている。同様に、レジスタ１２３-1，１２３-2にはＣＭＯＳイメージセンサ１０１の各出力系統の補正信号Ａ(m)（Ａ１，Ａ２）が設定されている。図９に示す縦筋ノイズ除去回路１００Ｂは、図８に示すように、出力系統（アンプ２６およびＡ／Ｄ変換器２７等の信号処理回路）を２つ持つＣＭＯＳイメージセンサ１０１に対応したものである。
【００６４】
メモリ１２５には、各出力系統に対応した出力選択信号が予め記憶されている。メモリコントロール部１２６には、入力となるイメージセンサ１０１の出力信号に同期した、水平同期信号、画素クロック信号等の同期信号が供給される。メモリコントロール部１２６は、この同期信号に基づいて、メモリ１２５から、イメージセンサ１０１の出力信号が出力された出力系統に対応した出力選択信号を読み出す。メモリＩ／Ｆ部１２７は、メモリ１２５から読み出される出力選択信号をセレクタ１２２，１２４に供給する。
【００６５】
セレクタ１２２は、メモリＩ／Ｆ部１２７からの出力選択信号に基づいて、レジスタ１２１-1，１２１-2から出力される補正信号Ｂ１，Ｂ２より、イメージセンサ１０１の出力信号が出力された出力系統の補正信号Ｂ(m)を選択的に取り出し、加算器１１２に供給する。また、セレクタ１２４は、メモリＩ／Ｆ部１２７からの出力選択信号に基づいて、レジスタ１２３-1，１２３-2から出力される補正信号Ａ１，Ａ２より、イメージセンサ１０１の出力信号が出力された出力系統の補正信号Ａ(m)を選択的に取り出し、乗算器１１３に供給する。
【００６６】
図９に示す縦筋ノイズ除去回路１１０Ｂにおいて、その他は、図７に示す縦筋ノイズ除去回路１１０Ａと同様に構成されている。
【００６７】
図９に示す縦筋ノイズ除去回路１１０Ｂの動作を説明する。ここでは、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が、当該縦筋ノイズ除去回路１１０Ｂに入力される場合について説明する。
【００６８】
この場合、メモリ１２５からは、メモリコントロール部１２６の制御により、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が出力された出力系統に対応した出力選択信号が読み出される。そして、この出力選択信号は、メモリＩ／Ｆ部１２７を介してセレクタ１２２，１２４に供給される。
【００６９】
そして、セレクタ１２２では、出力選択信号に基づいて、レジスタ１２１-1，１２１-2から出力される補正信号Ｂ１，Ｂ２より、イメージセンサ１０１の出力信号が出力された出力系統に対応した補正信号Ｂ(m)が取り出されて、加算器１１２に供給される。また、セレクタ１２４では、出力選択信号に基づいて、レジスタ１２３-1，１２３-2から出力される補正信号Ａ１，Ａ２より、イメージセンサ１０１の出力信号が出力された出力系統に対応した補正信号Ａ(m)が取り出されて、乗算器１１３に供給される。
【００７０】
また、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号は、減算器１１１の入力として供給される。この減算器１１１には黒レベルが供給される。減算器１１１では、入力から黒レベルが減算される。この減算器１１１の出力信号Ｘ(m,n)は加算器１１２に供給される。加算器１１２では、信号Ｘ(m,n)に補正信号Ｂ(m)が加算される。
【００７１】
この加算器１１２の出力信号｛Ｘ(m,n)＋Ｂ(m)｝は、乗算器１１３に供給される。この乗算器１１３では、信号｛Ｘ(m,n)＋Ｂ(m)｝に補正信号Ａ(m)が乗算される。この乗算器１１３の出力信号Ｙ(m,n)＝Ａ(m)＊｛Ｘ(m,n)＋Ｂ(m)｝は、加算器１１４に供給される。この場合、信号Ｘ(m,n)に縦筋ノイズが含まれていたとしても、信号Ｙ(m,n)は当該縦筋ノイズが除かれたものとなる。加算器１１４では、信号Ｙ(m,n)に黒レベルが足し戻され、縦筋ノイズ除去回路１１０Ｂの出力が得られる。
【００７２】
図９に示す縦筋ノイズ除去回路１１０Ｂによれば、図７に示す縦筋ノイズ除去回路１１０Ａと同様の効果を得ることができる。また、この図９に示す縦筋ノイズ除去回路１１０Ｂによれば、メモリ１２５に、補正信号Ａ(m)、Ｂ(m)に比べてビット幅の小さな出力選択信号を記憶しておくものであり、メモリ容量を削減できる。このように各出力系統に対応した補正信号Ａ(m)、Ｂ(m)を出力する複数のレジスタを備えるものにあっては、出力系統の並列数が少ない場合に有効となる。
【００７３】
また、図９に示す縦筋ノイズ除去回路１１０Ｂにおいては、セレクタ１２２，１２４で使用される出力選択信号をメモリ１２５から読み出して使用するものを示したが、この出力選択信号として、カウンタのカウント値を用いることも考えられる。
【００７４】
図１０は、出力選択信号としてカウンタのカウント値を用いる縦筋ノイズ除去回路１１０Ｃを示している。この図１０において、図９と対応する部分には、同一符号を付して示す。
【００７５】
この縦筋ノイズ除去回路１１０Ｃは、減算器１１１、加算器１１２、乗算器１１３、加算器１１４、レジスタ１２１-1，１２１-2，１２３-1，１２３-2、セレクタ１２２，１２４およびカウンタ１３１により構成されている。レジスタ１２１-1，１２１-2，１２３-1，１２３-2、セレクタ１２２，１２４およびカウンタ１３１は、補正信号出力部を構成している。また、減算器１１１、加算器１１２、乗算器１１３および加算器１１４は信号補正部を構成している。
【００７６】
カウンタ１３１には、入力となるイメージセンサ１０１の出力信号に同期した、水平同期信号、画素クロック信号等の同期信号が供給される。カウンタ１３１は、例えば、水平同期信号によりリセットされると共に、画素クロック信号により順次カウントアップされる。そのため、カウンタ１３１のカウント値は、入力となるイメージセンサ１０１の出力信号のカラムアドレスｍを示すものとなる。カウンタ１３１のカウント値は、セレクタ１２２，１２４に、出力選択信号として供給される。
【００７７】
セレクタ１２２は、カウンタ１３１からのカウント値に基づいて、レジスタ１２１-1，１２１-2から出力される補正信号Ｂ１，Ｂ２より、イメージセンサ１０１の出力信号が出力された出力系統の補正信号Ｂ(m)を選択的に取り出し、加算器１１２に供給する。また、セレクタ１２４は、カウンタ１３１からのカウント値に基づいて、レジスタ１２３-1，１２３-2から出力される補正信号Ａ１，Ａ２より、イメージセンサ１０１の出力信号が出力された出力系統の補正信号Ａ(m)を選択的に取り出し、乗算器１１３に供給する。
【００７８】
図１０に示す縦筋ノイズ除去回路１１０Ｃにおいて、その他は、図９に示す縦筋ノイズ除去回路１１０Ｂと同様に構成されている。また、この図１０に示す縦筋ノイズ除去回路１１０Ｃにおいては、セレクタ１２２，１２４でカウンタ１３１からのカウント値を用いて取り出し動作を行う他は、図９に示す縦筋ノイズ除去回路１１０Ｂと同様に動作する。
【００７９】
図１０に示す縦筋ノイズ除去回路１１０Ｃによれば、図７に示す縦筋ノイズ除去回路１１０Ｂと同様の効果を得ることができる。また、この図１０に示す縦筋ノイズ除去回路１１０Ｃによれば、補正信号Ａ(m)、Ｂ(m)をレジスタに設定しておくと共に、カウンタ１３１のカウント値を出力選択信号として用いるものであり、メモリが不要となる。
【００８０】
ところで、温度変化による出力系統の特性の変化、出力系統に含まれるアンプゲインの変化、イメージセンサのインターレースとプログレッシブの駆動の変化等により、出力系統で発生する縦筋ノイズが変化することがある。当該縦筋ノイズの変化に対処し得るように、補正信号Ａ(m)，Ｂ(m)のゲインを調整可能とすることが考えられる。
【００８１】
図１１は、補正信号Ａ(m)，Ｂ(m)のゲインを調整可能とした縦筋ノイズ除去回路１１０Ｄを示している。この図１１において、図７と対応する部分には、同一符号を付して示す。
【００８２】
この縦筋ノイズ除去回路１１０Ｄは、減算器１１１、加算器１１２、乗算器１１３、加算器１１４、メモリ１１５、メモリコントロール部１１６、メモリインタフェース（Ｉ／Ｆ）部１１７、レジスタ１４１，１４３および乗算器１４２，１４４により構成されている。メモリ１１５、メモリコントロール部１１６およびメモリＩ／Ｆ部１１７は、補正信号出力部を構成している。また、減算器１１１、加算器１１２、乗算器１１３および加算器１１４は、信号補正部を構成している。また、レジスタ１４１，１４３は、補正係数出力部を構成している。さらに、乗算器１４２，１４４は、ゲイン補正部を構成している。
【００８３】
レジスタ１４１には、補正信号Ｂ(m)のゲインを補正する補正係数Ｑが設定される。また、レジスタ１４３には、補正信号Ａ(m)のゲインを補正する補正係数Ｐが設定される。これらレジスタ１４１，１４３に設定される補正係数Ｑ，Ｐは、温度変化による出力系統の特性の変化、出力系統に含まれるアンプゲインの変化、イメージセンサのインターレースとプログレッシブの駆動の変化等に応じて、適宜変更される。
【００８４】
乗算器１４２は、メモリＩ／Ｆ部１１７から出力される補正信号Ｂ(m)に、レジスタ１４１から出力される補正係数Ｑを乗算してゲインを補正し、ゲイン補正された補正信号Ｑ＊Ｂ(m)を加算器１１２に供給する。また、乗算器１４４は、メモリＩ／Ｆ部１１７から出力される補正信号Ａ(m)に、レジスタ１４３から出力される補正係数Ｐを乗算してゲインを補正し、ゲイン補正された補正信号Ｐ＊Ｂ(m)を乗算器１１３に供給する。
【００８５】
図１１に示す縦筋ノイズ除去回路１１０Ｄにおいて、その他は、図７に示す縦筋ノイズ除去回路１１０Ａと同様に構成されている。
【００８６】
図１１に示す縦筋ノイズ除去回路１１０Ｄの動作を説明する。ここでは、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が、当該縦筋ノイズ除去回路１１０Ｄに入力される場合について説明する。
【００８７】
この場合、メモリ１１５からは、メモリコントロール部１１６の制御により、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が出力された出力系統に対応した補正信号Ａ(m)、Ｂ(m)が読み出される。そして、メモリＩ／Ｆ部１１７から出力される補正信号Ｂ(m)，Ａ(m)は、それぞれ、乗算器１４２，１４４に供給される。
【００８８】
乗算器１４２では、補正信号Ｂ(m)にレジスタ１４１から出力される補正係数Ｑが乗算されて、補正信号Ｂ(m)のゲイン補正が行われる。そして、ゲイン補正された補正信号Ｑ＊Ｂ(m)は、加算器１１２に供給される。また、乗算器１４４では、補正信号Ａ(m)にレジスタ１４３から出力される補正係数Ｐが乗算されて、補正信号Ａ(m)のゲイン補正が行われる。そして、ゲイン補正された補正信号Ｐ＊Ａ(m)は、乗算器１１３に供給される。
【００８９】
また、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号は、減算器１１１の入力として供給される。この減算器１１１には黒レベルが供給される。減算器１１１では、入力から黒レベルが減算される。この減算器１１１の出力信号Ｘ(m,n)は加算器１１２に供給される。加算器１１２では、信号Ｘ(m,n)にゲイン補正された補正信号Ｑ＊Ｂ(m)が加算される。
【００９０】
この加算器１１２の出力信号｛Ｘ(m,n)＋Ｑ＊Ｂ(m)｝は、乗算器１１３に供給される。この乗算器１１３では、信号｛Ｘ(m,n)＋Ｑ＊Ｂ(m)｝に、ゲイン補正された補正信号Ｐ＊Ａ(m)が乗算される。この乗算器１１３の出力信号Ｙ(m,n)＝Ｐ＊Ａ(m)＊｛Ｘ(m,n)＋Ｑ＊Ｂ(m)｝は、加算器１１４に供給される。この場合、信号Ｘ(m,n)に縦筋ノイズが含まれていたとしても、信号Ｙ(m,n)は当該縦筋ノイズが除かれたものとなる。加算器１１４では、信号Ｙ(m,n)に黒レベルが足し戻され、縦筋ノイズ除去回路１１０Ｄの出力が得られる。
【００９１】
図１１に示す縦筋ノイズ除去回路１１０Ｄによれば、図７に示す縦筋ノイズ除去回路１１０Ａと同様の効果を得ることができる。また、この図１１に示す縦筋ノイズ除去回路１１０Ｄによれば、補正信号Ｂ(m)，Ａ(m)にそれぞれ補正係数Ｑ，Ｐが乗算されてゲイン補正された補正信号Ｑ＊Ｂ(m)，Ｐ＊Ａ(m)が用いられるものであり、温度変化による出力系統の特性の変化、出力系統に含まれるアンプゲインの変化、イメージセンサのインターレースとプログレッシブの駆動の変化等による縦筋ノイズの変化に対処することができる。
【００９２】
なお、図１１に示す縦筋ノイズ除去回路１１０Ｄにおいては、全ての出力系列に対して同一の補正係数Ｐ，Ｑを用いるものを示したが、温度変化による出力系統の特性の変化、出力系統に含まれるアンプゲインの変化、イメージセンサのインターレースとプログレッシブの駆動の変化等による縦筋ノイズの変化が、出力系列毎に異なることが予測される。したがって、出力系列毎に最適な補正係数Ｐ，Ｑを用いることも考えられる。
【００９３】
図１２は、出力系列毎に最適な補正係数Ｐ，Ｑを用いるようにした縦筋ノイズ除去回路１１０Ｅを示している。この図１２において、図１１と対応する部分には、同一符号を付して示す。
【００９４】
この縦筋ノイズ除去回路１１０Ｅは、減算器１１１、加算器１１２、乗算器１１３、加算器１１４、メモリ１１５、メモリコントロール部１１６、メモリインタフェース（Ｉ／Ｆ）部１１７、乗算器１４２，１４４、メモリ１５１、メモリコントロール部１５２およびメモリインタフェース（Ｉ／Ｆ）部１５３により構成されている。メモリ１１５、メモリコントロール部１１６およびメモリＩ／Ｆ部１１７は、補正信号出力部を構成している。また、減算器１１１、加算器１１２、乗算器１１３および加算器１１４は、信号補正部を構成している。また、メモリ１５１、メモリコントロール部１５２およびメモリＩ／Ｆ部１５３は、補正係数出力部を構成している。さらに、乗算器１４２，１４４は、ゲイン補正部を構成している。
【００９５】
メモリ１５１には、各出力系統の補正係数Ｐ，Ｑが予め記憶されている。メモリコントロール部１５２には、入力となるイメージセンサ１０１の出力信号に同期した、水平同期信号、画素クロック信号等の同期信号が供給される。メモリコントロール部１５２は、この同期信号に基づいて、メモリ１５１から、イメージセンサ１０１の出力信号が出力された出力系統に対応した補正係数Ｐ，Ｑを読み出す。この場合、メモリ１５１から読み出される補正係数Ｐ、Ｑは、例えば、まとまった１つの信号、例えば上位ビット側が補正係数Ｐであり、下位ビット側が補正係数Ｑとされた信号である。メモリＩ／Ｆ部１５３は、メモリ１５１の出力信号から補正係数Ｐ，Ｑを分離し、補正係数Ｑを乗算器１４２に供給し、補正係数Ｐを乗算器１４４に供給する。
【００９６】
乗算器１４２は、メモリＩ／Ｆ部１１７から出力される補正信号Ｂ(m)に、メモリＩ／Ｆ部１５３から出力される補正係数Ｑを乗算してゲインを補正し、ゲイン補正された補正信号Ｑ＊Ｂ(m)を加算器１１２に供給する。また、乗算器１４４は、メモリＩ／Ｆ部１１７から出力される補正信号Ａ(m)に、メモリＩ／Ｆ部１５３から出力される補正係数Ｐを乗算してゲインを補正し、ゲイン補正された補正信号Ｐ＊Ａ(m)を乗算器１１３に供給する。
【００９７】
図１２に示す縦筋ノイズ除去回路１１０Ｅにおいて、その他は、図１１に示す縦筋ノイズ除去回路１１０Ｄと同様に構成されている。
【００９８】
図１２に示す縦筋ノイズ除去回路１１０Ｅの動作を説明する。ここでは、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が、当該縦筋ノイズ除去回路１１０Ｅに入力される場合について説明する。
【００９９】
この場合、メモリ１１５からは、メモリコントロール部１１６の制御により、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が出力された出力系統に対応した補正信号Ａ(m)、Ｂ(m)が読み出される。そして、メモリＩ／Ｆ部１１７から出力される補正信号Ｂ(m)，Ａ(m)は、それぞれ、乗算器１４２，１４４に供給される。
【０１００】
また、メモリ１５１からは、メモリコントロール部１５２の制御により、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が出力された出力系統に対応した補正係数Ｐ，Ｑが読み出される。そして、メモリＩ／Ｆ部１５３から出力される補正係数Ｑ，Ｐは、それぞれ、乗算器１４２，１４４に供給される。
【０１０１】
乗算器１４２では、補正信号Ｂ(m)に補正係数Ｑが乗算されて、補正信号Ｂ(m)のゲイン補正が行われる。そして、ゲイン補正された補正信号Ｑ＊Ｂ(m)は、加算器１１２に供給される。また、乗算器１４４では、補正信号Ａ(m)に補正係数Ｐが乗算されて、補正信号Ａ(m)のゲイン補正が行われる。そして、ゲイン補正された補正信号Ｐ＊Ａ(m)は、乗算器１１３に供給される。
【０１０２】
また、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号は、減算器１１１の入力として供給される。この減算器１１１には黒レベルが供給される。減算器１１１では、入力から黒レベルが減算される。この減算器１１１の出力信号Ｘ(m,n)は加算器１１２に供給される。加算器１１２では、信号Ｘ(m,n)にゲイン補正された補正信号Ｑ＊Ｂ(m)が加算される。
【０１０３】
この加算器１１２の出力信号｛Ｘ(m,n)＋Ｑ＊Ｂ(m)｝は、乗算器１１３に供給される。この乗算器１１３では、信号｛Ｘ(m,n)＋Ｑ＊Ｂ(m)｝に、ゲイン補正された補正信号Ｐ＊Ａ(m)が乗算される。この乗算器１１３の出力信号Ｙ(m,n)＝Ｐ＊Ａ(m)＊｛Ｘ(m,n)＋Ｑ＊Ｂ(m)｝は、加算器１１４に供給される。この場合、信号Ｘ(m,n)に縦筋ノイズが含まれていたとしても、信号Ｙ(m,n)は当該縦筋ノイズが除かれたものとなる。加算器１１４では、信号Ｙ(m,n)に黒レベルが足し戻され、縦筋ノイズ除去回路１１０Ｅの出力が得られる。
【０１０４】
図１２に示す縦筋ノイズ除去回路１１０Ｅによれば、図１１に示す縦筋ノイズ除去回路１１０Ｄと同様の効果を得ることができる。また、この図１２に示す縦筋ノイズ除去回路１１０Ｅによれば、出力系統毎に最適な補正係数Ｑ，Ｐにより補正信号Ｂ(m)，Ａ(m)のゲインを補正することができる。
【０１０５】
なお、図１２に示す縦筋ノイズ除去回路１１０Ｅにおいては、ＣＭＯＳイメージセンサ１０１の各出力系統の補正係数Ｐ，Ｑをメモリ１５１に記憶して用いるものを示した。しかし、ＣＭＯＳイメージセンサ１０１の各出力系統の補正係数Ｐ，Ｑをレジスタに設定して用いることも考えられる。
【０１０６】
図１３は、ＣＭＯＳイメージセンサ１０１の各出力系統の補正係数Ｐ，Ｑをレジスタに設定して用いる縦筋ノイズ除去回路１１０Ｆを示している。この図１３において、図１２と対応する部分には、同一符号を付して示す。
【０１０７】
この縦筋ノイズ除去回路１１０Ｆは、減算器１１１、加算器１１２、乗算器１１３、加算器１１４、メモリ１１５、メモリコントロール部１１６、メモリインタフェース（Ｉ／Ｆ）部１１７、乗算器１４２，１４４、レジスタ１６１-1，１６１-2，１６３-1，１６３-2、セレクタ１６２，１６４、メモリ１６５、メモリコントロール部１６６およびメモリインタフェース（Ｉ／Ｆ）部１６７により構成されている。メモリ１１５、メモリコントロール部１１６およびメモリＩ／Ｆ部１１７は、補正信号出力部を構成している。また、減算器１１１、加算器１１２、乗算器１１３および加算器１１４は、信号補正部を構成している。また、レジスタ１６１-1，１６１-2，１６３-1，１６３-2、セレクタ１６２，１６４、メモリ１６５、メモリコントロール部１６６およびメモリＩ／Ｆ部１６７は、補正係数出力部を構成している。乗算器１４２，１４４は、ゲイン補正部を構成している。
【０１０８】
レジスタ１６１-1，１６１-2にはＣＭＯＳイメージセンサ１０１の各出力系統の補正係数Ｑ１，Ｑ２が設定されている。同様に、レジスタ１６３-1，１６３-2にはＣＭＯＳイメージセンサ１０１の各出力系統の補正係数Ｐ１，Ｐ２が設定されている。図１３に示す縦筋ノイズ除去回路１１０Ｆは、図８に示すように、出力系統（アンプ２６およびＡ／Ｄ変換器２７等の信号処理回路）を２つ持つＣＭＯＳイメージセンサ１０１に対応したものである。
【０１０９】
メモリ１６５には、各出力系統に対応した出力選択信号が予め記憶されている。メモリコントロール部１６６には、入力となるイメージセンサ１０１の出力信号に同期した、水平同期信号、画素クロック信号等の同期信号が供給される。メモリコントロール部１６６は、この同期信号に基づいて、メモリ１６５から、イメージセンサ１０１の出力信号が出力された出力系統に対応した出力選択信号を読み出す。メモリＩ／Ｆ部１６７は、メモリ１６５から読み出される出力選択信号をセレクタ１６２，１６４に供給する。
【０１１０】
セレクタ１６２は、メモリＩ／Ｆ部１６７からの出力選択信号に基づいて、レジスタ１６１-1，１６１-2から出力される補正係数Ｑ１，Ｑ２より、イメージセンサ１０１の出力信号が出力された出力系統の補正係数Ｑを選択的に取り出し、乗算器１４２に供給する。また、セレクタ１６４は、メモリＩ／Ｆ部１６７からの出力選択信号に基づいて、レジスタ１６３-1，１６３-2から出力される補正係数Ｐ１，Ｐ２より、イメージセンサ１０１の出力信号が出力された出力系統の補正係数Ｐを選択的に取り出し、乗算器１４４に供給する。
【０１１１】
乗算器１４２は、メモリＩ／Ｆ部１１７から出力される補正信号Ｂ(m)に、セレクタ１６２から取り出される補正係数Ｑを乗算してゲインを補正し、ゲイン補正された補正信号Ｑ＊Ｂ(m)を加算器１１２に供給する。また、乗算器１４４は、メモリＩ／Ｆ部１１７から出力される補正信号Ａ(m)に、セレクタ１６４から取り出される補正係数Ｐを乗算してゲインを補正し、ゲイン補正された補正信号Ｐ＊Ａ(m)を乗算器１１３に供給する。
図１３に示す縦筋ノイズ除去回路１１０Ｆにおいて、その他は、図１２に示す縦筋ノイズ除去回路１１０Ｅと同様に構成されている。
【０１１２】
図１３に示す縦筋ノイズ除去回路１１０Ｆの動作を説明する。ここでは、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が、当該縦筋ノイズ除去回路１１０Ｆに入力される場合について説明する。
【０１１３】
この場合、メモリ１１５からは、メモリコントロール部１１６の制御により、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が出力された出力系統に対応した補正信号Ａ(m)、Ｂ(m)が読み出される。そして、メモリＩ／Ｆ部１１７から出力される補正信号Ｂ(m)，Ａ(m)は、それぞれ、乗算器１４２，１４４に供給される。
【０１１４】
また、メモリ１６５からは、メモリコントロール部１６６の制御により、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が出力された出力系統に対応した出力選択信号が読み出される。そして、この出力選択信号は、メモリＩ／Ｆ部１６７を介してセレクタ１６２，１６４に供給される。
【０１１５】
そして、セレクタ１６２では、出力選択信号に基づいて、レジスタ１６１-1，１６１-2から出力される補正係数Ｑ１，Ｑ２より、イメージセンサ１０１の出力信号が出力された出力系統に対応した補正係数Ｑが取り出されて、乗算器１４２に供給される。また、セレクタ１６４では、出力選択信号に基づいて、レジスタ１６３-1，１６３-2から出力される補正係数Ｐ１，Ｐ２より、イメージセンサ１０１の出力信号が出力された出力系統に対応した補正係数Ｐが取り出されて、乗算器１４４に供給される。
【０１１６】
乗算器１４２では、補正信号Ｂ(m)に補正係数Ｑが乗算されて、補正信号Ｂ(m)のゲイン補正が行われる。そして、ゲイン補正された補正信号Ｑ＊Ｂ(m)は、加算器１１２に供給される。また、乗算器１４４では、補正信号Ａ(m)に補正係数Ｐが乗算されて、補正信号Ａ(m)のゲイン補正が行われる。そして、ゲイン補正された補正信号Ｐ＊Ａ(m)は、乗算器１１３に供給される。
【０１１７】
また、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号は、減算器１１１の入力として供給される。この減算器１１１には黒レベルが供給される。減算器１１１では、入力から黒レベルが減算される。この減算器１１１の出力信号Ｘ(m,n)は加算器１１２に供給される。加算器１１２では、信号Ｘ(m,n)にゲイン補正された補正信号Ｑ＊Ｂ(m)が加算される。
【０１１８】
この加算器１１２の出力信号｛Ｘ(m,n)＋Ｑ＊Ｂ(m)｝は、乗算器１１３に供給される。この乗算器１１３では、信号｛Ｘ(m,n)＋Ｑ＊Ｂ(m)｝に、ゲイン補正された補正信号Ｐ＊Ａ(m)が乗算される。この乗算器１１３の出力信号Ｙ(m,n)＝Ｐ＊Ａ(m)＊｛Ｘ(m,n)＋Ｑ＊Ｂ(m)｝は、加算器１１４に供給される。この場合、信号Ｘ(m,n)に縦筋ノイズが含まれていたとしても、信号Ｙ(m,n)は当該縦筋ノイズが除かれたものとなる。加算器１１４では、信号Ｙ(m,n)に黒レベルが足し戻され、縦筋ノイズ除去回路１１０Ｆの出力が得られる。
【０１１９】
図１３に示す縦筋ノイズ除去回路１１０Ｆによれば、図１２に示す縦筋ノイズ除去回路１１０Ｅと同様の効果を得ることができる。また、この図１３に示す縦筋ノイズ除去回路１１０Ｆによれば、メモリ１６５に、補正係数Ｐ，Ｑに比べてビット幅の小さな出力選択信号を記憶しておくものであり、メモリ容量を削減できる。このように各出力系統に対応した補正係数Ｐ，Ｑを出力する複数のレジスタを備えるものにあっては、出力系統の並列数が少ない場合に有効となる。
【０１２０】
なお、図７の縦筋ノイズ除去回路１１０Ａは、上述の（１）式に基づいて、縦筋ノイズを除去するものである。次に、上述の（２）式に基づいて、縦筋ノイズを除去する縦筋ノイズ除去回路について説明する。
【０１２１】
図１４は、上述の（２）式に基づいて、縦筋ノイズを除去する縦筋ノイズ除去回路１１０Ｇを示している。縦筋ノイズ除去回路１１０Ｇは、減算器１７１、乗算器１７２、加算器１７３、加算器１７４、メモリ１７５、メモリコントロール部１７６およびメモリインタフェース（Ｉ／Ｆ）部１７７により構成されている。メモリ１７５、メモリコントロール部１７６およびメモリＩ／Ｆ部１７７は、補正信号出力部を構成している。また、減算器１７１、乗算器１７２、加算器１７３および加算器１７４は信号補正部を構成している。
【０１２２】
メモリ１７５には、上述したように算出された、各出力系統の補正信号Ｃ(m)、Ｄ(m)が、予め記憶されている。ここで、図２に示すように、ＣＭＯＳイメージセンサ１０１がカラムの一つ一つに対して出力系統（例えば、アンプ、Ａ／Ｄ変換器等からなる信号処理回路）を持つ場合には、出力系統の数はカラムの数と同じとなる。これに対して、例えば、図８に示すように、ＣＭＯＳイメージセンサ１０１が複数のカラム毎に１つの出力系統を持つ場合には、出力系統の数はカラムの数より少なくなる。
【０１２３】
メモリコントロール部１７６には、入力となるイメージセンサ１０１の出力信号に同期した、水平同期信号、画素クロック信号等の同期信号が供給される。メモリコントロール部１７６は、この同期信号に基づいて、メモリ１７５から、イメージセンサ１０１の出力信号が出力された出力系統に対応した補正信号Ｃ(m)、Ｄ(m)を読み出す。この場合、メモリ１７５から読み出される補正信号Ｃ(m)、Ｄ(m)は、まとまった１つの信号、例えば上位１０ビットが補正信号Ｃ(m)であり、下位１０ビットが補正信号Ｄ(m)である２０ビット信号として出力される。
【０１２４】
メモリＩ／Ｆ部１７７は、メモリ１７５の出力信号から補正信号Ｃ(m)、Ｄ(m)を分離し、補正信号Ｃ(m)を乗算器１７２に供給し、補正信号Ｄ(m)を加算器１７３に供給する。
【０１２５】
減算器１７１は、入力（イメージセンサ１０１の出力信号）から黒レベルを減算する。黒レベルは、例えば、図示しないレジスタから供給される。乗算器１７２は、減算器１７１の出力信号Ｘ(m,n)に補正信号Ｃ(m)を乗算する。加算器１７３は、乗算器１７２の出力信号に補正信号Ｄ(m)を加算する。加算器１７４は、加算器１７３の出力信号に黒レベルを加算して出力を得る。
【０１２６】
図１４に示す縦筋ノイズ除去回路１１０Ｇの動作を説明する。ここでは、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が、当該縦筋ノイズ除去回路１１０Ｆに入力される場合について説明する。
【０１２７】
この場合、メモリ１７５からは、メモリコントロール部１７６の制御により、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が出力された出力系統に対応した補正信号Ｃ(m)、Ｄ(m)が読み出される。そして、メモリＩ／Ｆ部１７７から、乗算器１７２に補正信号Ｃ(m)が供給され、加算器１７３に補正信号Ｄ(m)が供給される。
【０１２８】
また、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号は、減算器１７１の入力として供給される。この減算器１７１には黒レベルが供給される。減算器１７１では、入力から黒レベルが減算される。この減算器１７１の出力信号Ｘ(m,n)は乗算器１７２に供給される。乗算器１７２では、信号Ｘ(m,n)に補正信号Ｃ(m)が加算される。
【０１２９】
この乗算器１７２の出力信号Ｃ(m)＊Ｘ(m,n)は、加算器１７３に供給される。この加算器１７３では、信号Ｃ(m)＊Ｘ(m,n)に補正信号Ｄ(m)が加算される。この加算器１７３の出力信号Ｙ(m,n)＝Ｃ(m)＊Ｘ(m,n)＋Ｄ(m)は、加算器１７４に供給される。この場合、信号Ｘ(m,n)に縦筋ノイズが含まれていたとしても、信号Ｙ(m,n)は当該縦筋ノイズが除かれたものとなる。加算器１７４では、信号Ｙ(m,n)に黒レベルが足し戻され、縦筋ノイズ除去回路１１０Ｇの出力が得られる。
【０１３０】
図１４に示す縦筋ノイズ除去回路１１０Ｇによれば、ＣＭＯＳイメージセンサ１０１の出力系統により発生する縦筋ノイズのオフセット成分だけでなく、光量依存成分にも対応した補正信号Ｃ(m)，Ｄ(m)に基づいて、ＣＭＯＳイメージセンサ１０１の出力信号から縦筋ノイズを除去するため、縦筋ノイズ（縦筋状の固定パターンノイズ）を効果的に除去できる。
【０１３１】
また、図１４に示す縦筋ノイズ除去回路１１０Ｇによれば、イメージセンサ１０１の出力信号から黒レベルを差し引いた状態で、補正信号Ｃ(m)，Ｄ(m)を用いた演算を行って縦筋ノイズを除去し、その後に黒レベルを足し戻すものであり、黒レベルの影響を受けることなく、縦筋ノイズを良好に除去できる。
【０１３２】
なお、詳細説明は省略するが、図１４に示す縦筋ノイズ除去回路１１０Ｇのように、上述の（２）式に基づいて縦筋ノイズを除去するものにあっても、上述の図９〜図１３に示す縦筋ノイズ除去回路１１０Ｂ〜１１０Ｆと同様の構成を考えることができる。
【０１３３】
また、上述した縦筋ノイズ除去回路１１０Ａ〜１１０Ｇは、ハードウェアで縦筋ノイズ除去の処理を行うものを示したが、同様の処理をソフトウェアで行うこともできる。図１５は、ソフトウェアで処理を行うコンピュータ装置１１０Ｈの構成例を示している。このコンピュータ装置１１０Ｈは、ＣＰＵ(Central Processing Unit)１８１、ＲＯＭ(Read OnlyMemory)１８２、ＲＡＭ(Random Access Memory)１８３、データ入出力部（データＩ／Ｏ）１８４および画像メモリ１８５により構成されている。
【０１３４】
ＲＯＭ１８２には、ＣＰＵ１８１の処理プログラム、補正信号Ａ(m)，Ｂ(m)（あるいは補正係数Ｃ(m)，Ｄ(m)）、さらには、温度変化による出力系統の特性の変化、出力系統に含まれるアンプゲインの変化、イメージセンサのインターレースとプログレッシブの駆動の変化等に応じた複数種類の補正係数Ｐ，Ｑが格納されている。ＲＡＭ１８３は、ＣＰＵ１８１のワークエリアとして機能する。ＣＰＵ１８１は、ＲＯＭ１８２に格納されている処理プログラムを必要に応じて読み出し、読み出した処理プログラムをＲＡＭ１８３に転送して展開し、当該展開された処理プログラムを読み出して、縦筋ノイズ除去の処理を実行する。
【０１３５】
このコンピュータ装置１１０Ｈにおいては、ＣＭＯＳイメージセンサ１０１の出力信号は、データＩ／Ｏ１８４を介して入力され、画像メモリ１８５に蓄積される。この画像メモリ１８５に蓄積されたＣＭＯＳイメージセンサ１０１の出力信号に対して、ＣＰＵ１８１により、縦筋ノイズ除去の処理が行われる。そして、処理後の信号は、画像メモリ１８５からデータＩ／Ｏ１８４を介して外部に出力される。
【０１３６】
図１６のフローチャートは、ＣＰＵ１８１による縦筋ノイズ除去の処理手順を示している。なお、このフローチャートは１個の画素データの処理に対応しており、当該処理が各画素データに対して順次行われることになる。
【０１３７】
ＣＰＵ１８１は、まず、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２に移る。このステップＳＴ２において、ＣＰＵ１８１は、ＲＯＭ１８２から、処理対象の画素データに対応した、つまり、当該画素データが出力されたＣＭＯＳイメージセンサ１０１の出力系統における補正信号Ａ(m)，Ｂ(m)（あるいは補正係数Ｃ(m)，Ｄ(m)）を取得する。
【０１３８】
次に、ＣＰＵ１８１は、ステップＳＴ３において、補正対象の画素データに対応した補正係数Ｐ，Ｑを、ＲＯＭ１８２から取得する。この場合、ＣＰＵ１８１は、温度変化による出力系統の特性の変化、出力系統に含まれるアンプゲインの変化、イメージセンサのインターレースとプログレッシブの駆動の変化等を考慮して、適切な補正係数Ｐ，Ｑを取得する。
【０１３９】
そして、ＣＰＵ１８１は、ステップＳＴ４において、ステップＳＴ２で取得した補正信号Ａ(m)，Ｂ(m)（あるいは補正係数Ｃ(m)，Ｄ(m)）のゲインを、ステップＳＴ３で取得した補正係数で補正する。ＣＰＵ１８１は、ステップＳＴ５において、ステップＳＴ４でゲイン補正された補正信号により、補正対象の画素データを補正し、その後、ステップＳＴ６において、処理を終了する。
【０１４０】
なお、上述実施の形態においては、ＣＭＯＳイメージセンサを用いた撮像装置にこの発明を適用したものを示したが、この発明は、所定数のカラム毎に出力系統を有するイメージセンサを用いて構成され、当該出力系統のばらつきにより縦筋状の固定パターンノイズが発生する撮像装置に同様に適用できることは勿論である。
【産業上の利用可能性】
【０１４１】
この発明は、縦筋状の固定パターンノイズを効果的に除去できるものであり、ＣＭＯＳイメージセンサ等を用いて構成される撮像装置に適用できる。
【図面の簡単な説明】
【０１４２】
【図１】実施の形態としての撮像装置の構成例を示すブロック図である。
【図２】カラム型のＣＭＯＳイメージセンサの構成例全てのカラムに対応して出力系統を持つ例）を示す図である。
【図３】カラム型のＣＭＯＳイメージセンサの構造と、発生する縦筋（縦筋状の固定パターンノイズ）を模式的に示す図である。
【図４】縦筋状の固定パターンノイズにおけるオフセット成分を説明するための図である。
【図５】縦筋状の固定パターンノイズにおける光量依存成分を説明するための図である。
【図６】縦筋状の固定パターンノイズ除去回路で用いるオフセット成分および光量依存成分に対応した補正信号の算出例を説明するための図である。
【図７】縦筋状ノイズ除去回路の構成例（オフセット成分に対応した補正信号と、光量依存成分に対応した補正信号とを用いる例）を示すブロック図である。
【図８】カラム型のＣＭＯＳイメージセンサの他の構成例（２つのカラム毎に出力系統を持つ例）を示す図である。
【図９】縦筋状ノイズ除去回路の他の構成例（補正信号をレジスタに設定、各出力系統の出力選択信号をメモリから供給）を示すブロック図である。
【図１０】縦筋状ノイズ除去回路の他の構成例（補正信号をレジスタに設定、各出力系統の出力選択信号をカウント値で供給）を示すブロック図である。
【図１１】縦筋状ノイズ除去回路の他の構成例（補正信号のゲインをレジスタに設定された補正係数で補正）を示すブロック図である。
【図１２】縦筋状ノイズ除去回路の他の構成例（補正信号のゲインを、出力系統毎にメモリから読み出した補正係数で補正）を示すブロック図である。
【図１３】縦筋状ノイズ除去回路の他の構成例（補正信号のゲインを、出力系統毎にレジスタに設定された補正係数で補正）を示すブロック図である。
【図１４】縦筋状ノイズ除去回路の構成例（オフセット成分に対応した補正信号と、オフセット成分および光量依存成分に対応した補正信号とを用いる例）を示すブロック図である。
【図１５】縦筋状の固定パターンノイズ（縦筋ノイズ）の除去処理をソフトウェアで行うコンピュータ装置の構成例を示すブロック図である。
【図１６】ＣＰＵによる縦筋ノイズ除去の処理手順を示すフローチャートである。
【符号の説明】
【０１４３】
２１・・・画素（受光部）、２２・・・垂直ラインセレクタ、２３・・・水平ラインセレクタ、２４・・・垂直アドレス駆動回路、２５・・・水平アドレス駆動回路、２６・・・カラムアンプ、２７・・・Ａ／Ｄ変換器、シフトレジスタ、１００・・・撮像装置、１０１，１０１Ｒ，１０１Ｇ，１０１Ｂ・・・ＣＭＯＳイメージセンサ、１０２・・・補正回路、１０３・・・ゲイン調整回路、１０４・・・色調整回路、１０５・・・輝度調整回路、１０６・・・ガンマ補正回路、１０７・・・出力信号生成回路、１０８・・・ビデオ処理部、１１０Ａ〜１１０Ｇ・・・縦筋ノイズ除去回路、１１０Ｈ・・・コンピュータ装置、１１１・・・減算器、１１２・・・加算器、１１３・・・乗算器、１１４・・・加算器、１２１-1，１２１-2，１２３-1，１２３-2・・・レジスタ、１２２，１２４・・・セレクタ、１２５・・・メモリ、１２６・・・メモリコントロール部、１２７・・・メモリインタフェース（Ｉ／Ｆ）部、１３１・・・カウンタ、１４１・・・１４３・・・レジスタ、１４２，１４４・・・乗算器、１５１・・・メモリ、１５２・・・メモリコントロール部、１５３・・・メモリインタフェース（Ｉ／Ｆ）部、１６１-1，１６１-2，１６３-1，１６３-2・・・レジスタ、１６２，１６４・・・セレクタ、１６５・・・メモリ、１６６・・・メモリコントロール部、１６７・・・メモリインタフェース（Ｉ／Ｆ）部、１７１・・・減算器、１７２・・・乗算器、１７３・・・加算器、１７４・・・加算器、１７５・・・メモリ、１７６・・・メモリコントロール部、１７７・・・メモリインタフェース（Ｉ／Ｆ）部、１８１・・・ＣＰＵ、１８２・・・ＲＯＭ、１８３・・・ＲＡＭ、１８４・・・データ入出力部、１８５・・・画像メモリ
【図１】
2008244947.tif 000003
【図２】
2008244947.tif 000004
【図６】
2008244947.tif 000005
【図７】
2008244947.tif 000006
【図８】
2008244947.tif 000007
【図９】
2008244947.tif 000008
【図１０】
2008244947.tif 000009
【図１１】
2008244947.tif 000010
【図１２】
2008244947.tif 000011
【図１３】
2008244947.tif 000012
【図１４】
2008244947.tif 000013
【図１５】
2008244947.tif 000014
【図１６】
2008244947.tif 000015
【図３】
2008244947.tif 000016
【図４】
2008244947.tif 000017
【図５】
2008244947.tif 000018
【手続補正書】
【提出日】平成19年12月21日(2007.12.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
従来、ＣＭＯＳイメージセンサを用いて構成される固体撮像装置が知られている。このＣＭＯＳイメージセンサは、各画素に光電変換素子と読み出し回路が設けられた固体撮像素子であり、各画素にランダムにアクセスでき、また、高速に読み出すことができる。また、このＣＭＯＳイメージセンサは、ＣＭＯＳプロセスを応用しているため、アンプやＡ／Ｄ変換器等の信号処理回路を集積し易いという特徴がある。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
図２は、イメージセンサ１０１（１０１Ｒ，１０１Ｇ，１０１Ｂ）の構成例を示している。イメージセンサ１０１は、マトリックス状に配置された画素（受光部）２１と、出力する画素２１を選択する垂直ラインセレクタ２２および水平ラインセレクタ２３と、垂直ラインセレクタ２２を駆動する垂直アドレス駆動回路２４と、水平ラインセレクタ２３を駆動する水平アドレス駆動回路２５と、カラムアンプ２６と、Ａ／Ｄ変換器（ＡＤＣ）２７と、シフトレジスタ２８により構成されている。ここで、各カラムに対応したカラムアンプ２６およびＡ／Ｄ変換器２７は、各カラムの出力系統（カラム信号処理回路）を構成している。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂで得られる赤、緑、青の色データＲ，Ｇ，Ｂに対して、ビデオ処理部１０８の補正回路１０２、ゲイン調整回路１０３および色調整回路１０４により、縦筋状の固定パターンノイズの除去、欠陥補正、シェーディング補正等の補正処理、ホワイトバランス調整、色調整等の調整処理が行われる。さらに、ビデオ処理部１０８では、色調整回路１０４から出力される各色データに対して、輝度調整回路１０５およびガンマ補正回路１０６により、輝度圧縮、ガンマ補正等の処理が行われる。そして、ガンマ補正回路１０６で得られる各色データは出力信号生成回路１０７に供給されて最終的な映像信号出力形式（Ｙ，Ｃｒ，Ｃｂ）に変換されて出力される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
レジスタ１２１-1，１２１-2にはＣＭＯＳイメージセンサ１０１の各出力系統の補正信号Ｂ(m)（Ｂ１，Ｂ２）が設定されている。同様に、レジスタ１２３-1，１２３-2にはＣＭＯＳイメージセンサ１０１の各出力系統の補正信号Ａ(m)（Ａ１，Ａ２）が設定されている。図９に示す縦筋ノイズ除去回路１１０Ｂは、図８に示すように、出力系統（アンプ２６およびＡ／Ｄ変換器２７等の信号処理回路）を２つ持つＣＭＯＳイメージセンサ１０１に対応したものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
図１０に示す縦筋ノイズ除去回路１１０Ｃによれば、図９に示す縦筋ノイズ除去回路１１０Ｂと同様の効果を得ることができる。また、この図１０に示す縦筋ノイズ除去回路１１０Ｃによれば、補正信号Ａ(m)、Ｂ(m)をレジスタに設定しておくと共に、カウンタ１３１のカウント値を出力選択信号として用いるものであり、メモリが不要となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
乗算器１４２は、メモリＩ／Ｆ部１１７から出力される補正信号Ｂ(m)に、レジスタ１４１から出力される補正係数Ｑを乗算してゲインを補正し、ゲイン補正された補正信号Ｑ＊Ｂ(m)を加算器１１２に供給する。また、乗算器１４４は、メモリＩ／Ｆ部１１７から出力される補正信号Ａ(m)に、レジスタ１４３から出力される補正係数Ｐを乗算してゲインを補正し、ゲイン補正された補正信号Ｐ＊Ａ(m)を乗算器１１３に供給する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
図１４に示す縦筋ノイズ除去回路１１０Ｇの動作を説明する。ここでは、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号が、当該縦筋ノイズ除去回路１１０Ｇに入力される場合について説明する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１２８
【補正方法】変更
【補正の内容】
【０１２８】
また、ＣＭＯＳイメージセンサ１０１のアドレス（ｍ，ｎ）の出力信号は、減算器１７１の入力として供給される。この減算器１７１には黒レベルが供給される。減算器１７１では、入力から黒レベルが減算される。この減算器１７１の出力信号Ｘ(m,n)は乗算器１７２に供給される。乗算器１７２では、信号Ｘ(m,n)に補正信号Ｃ(m)が乗算される。