(57)【要約】【課題】ストリーキングのリアルタイム補正を可能とする。【解決手段】遮光部波形検出部１３０は、イメージセンサの水平遮光部の出力信号を用いて当該水平遮光部の波形、つまり、当該水平遮光部における各ラインの信号レベルを求める。黒レベル検出部１４０は、イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する。減算部１５０は、水平遮光部における各ラインの信号レベルから黒レベルを減算して、各ラインのストリーキング補正信号Ｒst′を求める。コアリング部１６０は、各ラインのストリーキング補正信号Ｒst′に対してコアリング処理を施し、各ラインの最終的なストリーキング補正信号Ｒst″を得る。イメージセンサの遮光部の出力信号のみを用いてストリーキング補正信号を生成するため、有効画素部を遮光することなくストリーキング補正信号をリアルタイムで得ることができる。【選択図】図４
2008236271.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出部と、
上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出部と、
上記遮光部波形検出部で求められた水平遮光部における各ラインの信号レベルから上記黒レベル検出部で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算部と
を備えることを特徴とするストリーキング補正信号生成回路。
【請求項２】
上記減算部で求められた各ラインのストリーキング補正信号に対してコアリング処理を施すコアリング部をさらに備える
を備えることを特徴とする請求項１に記載のストリーキング補正信号生成回路。
【請求項３】
上記遮光部波形検出部は、
ライン毎に上記水平遮光部を構成する各画素の値の平均値を求める平均値算出部と、
上記平均値算出部で求められる各ラインの画素平均値を時間方向に平均化するデジタルフィルタと、
上記デジタルフィルタから出力される各ラインの画素平均値に対して垂直方向に適用するεフィルタと、
上記εフィルタから出力される各ラインの画素平均値に対して垂直方向に適用するメディアンフィルタとを有し、
上記メディアンフィルタから上記水平遮光部における各ラインの信号レベルを得る
ことを特徴とする請求項１に記載のストリーキング補正信号生成回路。
【請求項４】
上記遮光部波形検出部、上記黒レベル検出部および上記減算部は、上記イメージセンサの出力信号の最下位ビット以下に所定数のビットを追加して処理を行う
ことを特徴とする請求項１に記載のストリーキング補正信号生成回路。
【請求項５】
上記黒レベル検出部は、
上記垂直遮光部を構成する各画素の値の平均値を求める平均値算出部と、
上記平均値算出部で求められる画素平均値を時間方向に平均化するデジタルフィルタとを有し、
上記デジタルフィルタから上記黒レベルを得る
ことを特徴とする請求項１に記載のストリーキング補正信号生成回路。
【請求項６】
イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出ステップと、
上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出ステップと、
上記遮光部波形検出ステップで求められた上記水平遮光部における各ラインの信号レベルから上記黒レベル検出ステップで検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算ステップと
を備えることを特徴とするストリーキング補正信号生成方法。
【請求項７】
コンピュータを、
イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出手段と、
上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出手段と、
上記遮光部波形検出ステップで求められた上記水平遮光部における各ラインの信号レベルから上記黒レベル検出ステップで検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算手段と
して機能させるためのプログラム。
【請求項８】
イメージセンサの出力信号に基づいて各ラインのストリーキング補正信号を生成するストリーキング補正信号生成部と、
上記イメージセンサの各ライン出力信号から、上記ストリーキング補正信号生成回路で生成された対応するラインのストリーキング補正信号を減算して、ストリーキング補正された出力信号を得る減算器とを備え、
上記ストリーキング補正信号生成部は、
上記イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出手段と、
上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出手段と、
上記遮光部波形検出手段で求められた水平遮光部における各ラインの信号レベルから上記黒レベル検出手段で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算手段とを有する
ことを特徴とするストリーキング補正回路。
【請求項９】
上記イメージセンサの出力信号の信号レベルに対して補正ゲインを発生する補正ゲイン発生部と、
上記ストリーキング補正信号生成部で生成されたストリーキング補正信号に上記補正ゲイン発生部で発生される補正ゲインを乗算する乗算部とをさらに備え、
上記減算器は、上記イメージセンサの出力信号から、上記乗算部により上記補正ゲインが乗算された上記ストリーキング補正信号を減算する
ことを特徴とする請求項８に記載のストリーキング補正回路。
【請求項１０】
上記補正ゲイン発生部は、
上記イメージセンサの出力信号のレベルを検出する信号レベル検出部と、
上記信号レベル検出部の検出レベルに対応した補正ゲインを出力するメモリとを有する
ことを特徴とする請求項９に記載のストリーキング補正回路。
【請求項１１】
上記補正ゲイン発生部は、
上記イメージセンサの出力信号のレベルを検出する信号レベル検出部と、
上記信号レベル検出部の検出レベルを含むレベル範囲の両端の補正ゲインを出力するメモリと、
上記信号レベル検出部の検出レベルおよび上記メモリから出力される両端の補正ゲインに基づいて、上記信号レベル検出部の検出レベルに対応した補正ゲインを求める演算部とを有する
ことを特徴とする請求項９に記載のストリーキング補正回路。
【請求項１２】
水平遮光部および垂直遮光部を持つイメージセンサと、
上記イメージセンサの出力信号に基づいて、各ラインのストリーキング補正信号を生成するストリーキング補正信号生成回路と、
上記イメージセンサの各ライン出力信号から、上記ストリーキング補正信号生成回路で生成された対応するラインのストリーキング補正信号を減算して、ストリーキング補正された出力信号を得る減算器とを備える撮像装置において、
上記ストリーキング補正信号生成回路は、
上記イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出部と、
上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出部と、
上記遮光部波形検出部で求められた上記水平遮光部における各ラインの信号レベルから上記黒レベル検出部で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算部とを有する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、ＣＣＤ（ChargeCoupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal OxideSemiconductor）イメージセンサ等を用いて構成される固体撮像装置に適用して好適なストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置に関する。
【０００２】
詳しくは、この発明は、イメージセンサの水平遮光部の出力信号を用いて、各ラインの水平遮光部の信号レベルを求めると共に、イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出し、各ラインの水平遮光部の信号レベルから黒レベルを減算して各ラインのストリーキング補正信号を求めることにより、ストリーキングのリアルタイム補正が可能となるようにしたストリーキング補正信号生成回路等に係るものである。
【背景技術】
【０００３】
従来、撮像装置として、例えＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等を用いて構成される固体撮像装置が知られている。この固体撮像装置で、高輝度な被写体を撮像した場合、撮像画像に水平方向に縞状のストリーキングが生じる。
【０００４】
例えば、特許文献２には、画素部を遮光したときと受光したときの直流レベルの差を補正することでストリーキング補正を行うことが記載されている。
【特許文献１】特開２００５−１３０３３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の特許文献１に記載される技術では、ストリーキング補正信号を得る際に受光部を遮光する必要があり、ストリーキングをリアルタイムで検出できず、従って、ストリーキングをリアルタイムで補正できない。また、撮影中にたびたび受光部を遮光することは、露光時間の損失につながり、また、映像信号の取得が非効率になる。
【０００６】
この発明の目的は、ストリーキングのリアルタイム補正を可能とすることにある。
【課題を解決するための手段】
【０００７】
この発明の概念は、
水平遮光部および垂直遮光部を持つイメージセンサと、
上記イメージセンサの出力信号に基づいて、各ラインのストリーキング補正信号を生成するストリーキング補正信号生成回路と、
上記イメージセンサの各ライン出力信号から、上記ストリーキング補正信号生成回路で生成された対応するラインのストリーキング補正信号を減算して、ストリーキング補正された出力信号を得る減算器とを備える撮像装置において、
上記ストリーキング補正信号生成回路は、
上記イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出部と、
上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出部と、
上記遮光部波形検出部で求められた水平遮光部における各ラインの信号レベルから上記黒レベル検出部で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算部とを有する
ことを特徴とする撮像装置にある。
【０００８】
この発明において、イメージセンサは水平遮光部および垂直遮光部を持っている。ストリーキング補正信号生成回路では、イメージセンサの出力信号に基づいて、各ラインのストリーキング補正信号が生成される。つまり、遮光部波形検出部では、イメージセンサの水平遮光部の出力信号が用いられ、各ラインの水平遮光部の信号レベルを求められる。また、黒レベル検出部では、イメージセンサの垂直遮光部の出力信号を用いて黒レベルが検出される。そして、減算部では、各ラインの水平遮光部の信号レベルから黒レベルが減算されて、各ラインのストリーキング補正信号が求められる。
【０００９】
この発明において、遮光部波形検出部は、例えば、ライン毎に水平遮光部を構成する各画素の値の平均値を求める平均値算出部と、この平均値算出部で求められる各ラインの画素平均値を時間方向に平均化するデジタルフィルタと、このデジタルフィルタから出力される各ラインの画素平均値に対して垂直方向に適用するε（イプシロン）フィルタと、このεフィルタから出力される各ラインの画素平均値に対して垂直方向に適用するメディアンフィルタとを有し、メディアンフィルタから各ラインの水平遮光部の信号レベルを得るようにされてもよい。
【００１０】
この場合、平均値算出部およびデジタルフィルタにより、水平方向の空間的、かつ時間的なランダムノイズが軽減される。また、εフィルタおよびメディアンフィルタにより、垂直方向の空間的なランダムノイズが軽減されると共にインパルス的なノイズが軽減される。
【００１１】
この発明において、例えば、ストリーキング補正信号生成回路は、減算部で求められた各ラインのストリーキング補正信号に対してコアリング処理を施すコアリング部をさらに有するようにされてもよい。このコアリング処理により、エッジ成分を残し、微小なノイズを取り除くことが可能となる。
【００１２】
この発明において、例えば、ストリーキング補正信号生成回路は、イメージセンサの出力信号の最下位ビット以下に所定数のビットを追加して処理を行うようにされてもよい。この場合、イメージセンサの出力信号の最下位ビット以下のレベルのストリーキング成分に対応したストリーキング補正信号の生成が可能となる。
【００１３】
この発明において、黒レベル検出部は、例えば、垂直遮光部を構成する各画素の値の平均値を求める平均値算出部と、この平均値算出部で求められる画素平均値を時間方向に平均化するデジタルフィルタとを有し、デジタルフィルタから黒レベルを得るようにされてもよい。この場合、平均値算出部およびデジタルフィルタにより、空間的、かつ時間的なランダムノイズが軽減される。また、垂直遮光部を構成する各画素の値から黒レベルを検出するものであり、受光部の状態に影響されることなく、黒レベルを安定して検出できる。
【００１４】
このようにストリーキング補正信号生成回路ではイメージセンサの遮光部（水平遮光部、垂直遮光部）の出力信号のみを用いてストリーキング補正信号が生成されるものであり、イメージセンサの受光部を遮光することなくストリーキング補正信号をリアルタイムで得ることができ、ストリーキングのリアルタイム補正が可能となる。この場合、撮影中に受光部を度々遮光するということは必要なく、映像信号の取得効率の低下を招くことはない。
【００１５】
減算器では、イメージセンサの各ライン出力信号から、ストリーキング補正信号生成回路で生成された対応するラインのストリーキング補正信号が減算されて、ストリーキング補正された出力信号が得られる。この減算器と上述したストリーキング補正信号生成回路で、ストリーキング補正回路が構成される。このストリーキング補正回路では、ストリーキング補正信号生成回路で生成されたストリーキング補正信号を用いることで、ストリーキングのリアルタイム補正が行われる。
【００１６】
この発明において、ストリーキング補正回路は、例えば、イメージセンサの出力信号の信号レベルに対して補正ゲインを発生する補正ゲイン発生部と、ストリーキング補正信号生成部で生成されたストリーキング補正信号に補正ゲイン発生部で発生される補正ゲインを乗算する乗算部とをさらに備え、減算器は、イメージセンサの出力信号から乗算部により補正ゲインが乗算されたストリーキング補正信号を減算するようにされてもよい。画素部におけるストリーキング成分は、信号レベルに応じて変化する。上述したようにストリーキング補正信号に信号レベルに応じた補正ゲインを乗算して用いることにより、ストリーキング補正の精度を高めることができる。
【００１７】
この発明において、補正ゲイン発生部は、例えば、イメージセンサの出力信号のレベルを検出する信号レベル検出部と、この信号レベル検出部の検出レベルに対応した補正ゲインを出力するメモリとを有するようにされてもよい。この場合、何ら演算処理をすることなく、メモリから信号レベルに対応した補正ゲインを得ることが可能となる。また、補正ゲイン発生部は、例えば、イメージセンサの出力信号のレベルを検出する信号レベル検出部と、この信号レベル検出部の検出レベルを含むレベル範囲の両端の補正ゲインを出力するメモリと、信号レベル検出部の検出レベルおよびメモリから出力される両端の補正ゲインに基づいて、信号レベル検出部の検出レベルに対応した補正ゲインを求める演算部とを有するようにされてもよい。この場合、メモリの容量を節約することが可能となる。
【発明の効果】
【００１８】
この発明によれば、イメージセンサの水平遮光部の出力信号を用いて、各ラインの水平遮光部の信号レベルを求めると共に、イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出し、各ラインの水平遮光部の信号レベルから黒レベルを減算して各ラインのストリーキング補正信号を求めるものであり、イメージセンサの受光部を遮光することなくストリーキング補正信号をリアルタイムで得ることができ、ストリーキングをリアルタイムで補正できる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての撮像装置１００の構成例を示している。この撮像装置１００は、３板式のカラー撮像装置である。この撮像装置１００は、イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂと、ビデオアンプ１０２Ｒ，１０２Ｇ，１０２Ｂと、Ａ／Ｄ変換器１０３Ｒ，１０３
Ｇ，１０３Ｂと、補正回路１０４と、ゲイン調整回路１０５と、輝度調整回路１０６と、ガンマ補正回路１０７と、出力信号生成回路１０８とを有している。ここで、補正回路１０４、ゲイン調整回路１０５、輝度調整回路１０６、ガンマ補正回路１０７および出力信号生成回路１０８は、ビデオ処理部１０９を構成している。
【００２０】
イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂは、それぞれ、赤、緑、青の各画像用のイメージセンサである。これらイメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂは、例えば、ＣＣＤ、ＣＭＯＳ等のイメージセンサである。ビデオアンプ１０２Ｒ，１０２Ｇ，１０２Ｂは、それぞれ、イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂから出力される赤、緑、青の撮像信号を適切なレベルに調節する。Ａ／Ｄ変換器１０３Ｒ，１０３Ｇ，１０３Ｂは、それぞれ、ビデオアンプ１０２Ｒ，１０２Ｇ，１０２Ｂの出力信号をアナログ信号からデジタル信号に変換して、赤、緑、青の色データＲ，Ｇ，Ｂを出力する。
【００２１】
補正回路１０４は、Ａ／Ｄ変換器１０３Ｒ，１０３Ｇ，１０３Ｂから出力される色データＲ，Ｇ，Ｂに対して、ストリーキング補正、欠陥補正等を行う。ゲイン調整回路１０５は、補正回路１０４で得られる各色データのゲインを調整し、ホワイトバランス調整、色調整等を行う。輝度調整回路１０６は、映像信号を規定の範囲内に納めるために、ゲイン調整回路１０５で得られる各色データに対して輝度圧縮を行う。
【００２２】
ガンマ補正回路１０７は、ＣＲＴ（CathodeRay Tube）等のモニタガンマに対応させるために、ガンマ補正を行う。出力信号生成回路１０８は、ガンマ補正回路１０７で得られる赤、緑、青の色データを、最終的な映像出力形式に変換して出力する。例えば、出力信号生成回路１０８は、マトリクス回路を備え、赤、緑、青の色データを、輝度信号Ｙ、赤色差信号Ｃｒ、青色差信号Ｃｂの形式に変換して出力する。
【００２３】
図１に示す撮像装置１００の動作を簡単に説明する。図示しない光学系により得られる被写体からの赤、緑、青の像光はそれぞれイメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂの撮像面に入射され、当該撮像面に赤、緑、青の各色画像が結像される。イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂでは、上述したように撮像面に色画像が結像された状態で撮像処理が行われ、被写体に対応した赤、緑、青の色信号（撮像信号）が得られる。
【００２４】
イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂで得られる赤、緑、青の各色信号は、ビデオアンプ１０２Ｒ，１０２Ｇ，１０２Ｂと、Ａ／Ｄ変換器１０３Ｒ，１０３Ｇ，１０３Ｂとにより、適切なレベルに調節されて量子化される。そして、Ａ／Ｄ変換器１０３Ｒ，１０３Ｇ，１０３Ｂから出力される赤、緑、青の色データＲ，Ｇ，Ｂはビデオ処理部１０９に供給される。
【００２５】
ビデオ処理部１０９では、赤、緑、青の色データＲ，Ｇ，Ｂに対して、補正回路１０４およびゲイン調整回路１０５により、ストリーキング補正、欠陥補正等の補正処理、ホワイトバランス調整、色調整等のゲイン調整処理が行われる。さらに、ビデオ処理回路１０９では、ゲイン調整回路１０５から出力される各色データに対して、輝度調整回路１０６およびガンマ補正回路１０７により、輝度圧縮、ガンマ補正等の処理が行われる。そして、ガンマ補正回路１０７で得られる各色データは出力信号生成回路１０８に供給されて最終的な映像信号出力形式（Ｙ，Ｃｒ，Ｃｂ）に変換されて出力される。
【００２６】
上述したように補正回路１０４は、ストリーキング補正回路を含んでいる。ストリーキング補正回路をゲイン調整回路１０５以降の回路に含めることも考えられる。しかし、ゲイン調整された各色データからストリーキング成分を検出することは、誤検出につながり、ストリーキング補正に悪影響を及ぼすおそれがある。そのため、補正回路１０４にストリーキング補正回路を含める形態が最良である。
【００２７】
図２は、ストリーキング補正回路１１０の構成例を示している。この図２において、ストリーキング補正回路１１０は、赤、緑、青の補正信号生成回路１１１Ｒ，１１１Ｇ，１１１Ｂと、減算器１１２とを有している。このストリーキング補正回路１１０は、赤、緑、青の色データＲin，Ｇin，Ｂinを入力とし、ストリーキング補正された赤、緑、青の色データＲout，Ｇout，Ｂoutを出力する。
【００２８】
赤、緑、青の補正信号生成回路１１１Ｒ，１１１Ｇ，１１１Ｂは、それぞれ、入力される赤、緑、青の色データＲin，Ｇin，Ｂinに基づいて、赤、緑、青の各ラインのストリーキング補正信号Ｒst，Ｇst，Ｂstを生成する。減算器１１２は、入力される赤、緑、青の各ラインの色データＲin，Ｇin，Ｂinから、補正信号生成回路１１１Ｒ，１１１Ｇ，１１１Ｂで生成された赤、緑、青の各ラインのストリーキング補正信号Ｒst，Ｇst，Ｂstを減算し、ストリーキング補正された赤、緑、青の色データＲout，Ｇout，Ｂoutを出力する。
【００２９】
図２に示すストリーキング補正回路１０４の動作を説明する。入力される赤、緑、青の色データＲin，Ｇin，Ｂinは、それぞれ、赤、緑、青の補正信号生成回路１１１Ｒ，１１１Ｇ，１１１Ｂに供給されると共に、減算器１１２に供給される。赤、緑、青の補正信号生成回路１１１Ｒでは、それぞれ、赤、緑、青の色データＲin，Ｇin，Ｂinが処理されて、赤、緑、青の各ラインのストリーキング補正信号Ｒst，Ｇst，Ｂstが生成される。
【００３０】
赤、緑、青の補正信号生成回路１１１Ｒ，１１１Ｇ，１１１Ｂで生成された赤、緑、青のストリーキング補正信号Ｒst，Ｇst，Ｂstは減算器１１２に供給される。減算器１１２では、赤、緑、青の各ラインの色データＲin，Ｇin，Ｂinから赤、緑、青の各ラインのストリーキング補正信号Ｒst，Ｇst，Ｂstが減算され、ストリーキング補正された赤、緑、青の色データＲout，Ｇout，Ｂoutが得られる。
【００３１】
赤、緑、青の補正信号生成回路１１１Ｒ，１１１Ｇ，１１１Ｂの具体的な構成例について説明する。赤、緑、青の補正信号生成回路１１１Ｒ，１１１Ｇ，１１１Ｂは同様に構成されていることから、ここでは、赤補正信号生成回路１１１Ｒの構成例のみを説明する。赤補正信号生成回路１１１Ｒは、図２に示すように、補正信号生成部１２１と、信号レベル検出部１２２と、補正ゲイン生成部１２３と、乗算部１２４とを有している。
【００３２】
補正信号生成部１２１は、入力される赤色データＲinに基づいて、各ラインのストリーキング補正信号Ｓstを生成する。この補正信号生成部１２１は、イメージセンサ１０１Ｒの水平遮光部（ＨＯＰＢ：Horizontal OPtical Black）および垂直遮光部（ＶＯＰＢ：VerticalOPtical Black）の出力信号を用いて、各ラインのストリーキング補正信号Ｓst″を生成する。
【００３３】
図３（ａ）は、イメージセンサ１０１Ｒの構造とストリーキングの発生例を示している。イメージセンサ１０１Ｒは、例えば、水平方向に２２００画素、垂直方向に１１２５画素（１１２５ライン）を備えた構成となっている。そして、このイメージセンサ１０１Ｒは、水平方向に例えば３６画素分の水平遮光部（ＨＯＰＢ）２０１と、垂直方向に例えば１０〜２０画素分の垂直遮光部（ＶＯＰＢ）２０２と、その他の受光部２０３とから構成されている。例えば、このイメージセンサ１０１Ｒで高輝度の被写体、例えば光源２０４を撮像した場合、水平方向に縞状のストリーキング２０５が発生する。
【００３４】
図４は、補正信号生成部１２１の構成例を示している。この補正信号生成部１２１は、遮光部波形検出部１３０と、黒レベル検出部１４０と、減算部１５０と、コアリング部１６０とを有している。
【００３５】
遮光部波形検出部１３０は、イメージセンサ１０１Ｒの水平遮光部２０１の出力信号を用いて、図３（ｂ）に示すような、当該水平遮光部２０１の波形、つまり、当該水平遮光部２０１における各ラインの信号レベルを求める。この遮光部波形検出部１３０は、図４に示すように、平均値算出部１３１と、デジタルフィルタとしてのＩＩＲ（Infinite Impulse Response）フィルタ１３２と、ε（イプシロン）フィルタ１３３と、メディアンフィルタ１３４とが、この順に接続されて構成されている。
【００３６】
平均値算出部１３１は、ライン毎に、水平遮光部２０１を構成する各画素の値の平均値を求める。この平均値算出部１３１により水平方向の空間的なランダムノイズが軽減される。
【００３７】
ＩＩＲフィルタ１３２は、平均値算出部１３１で求められる各ラインの画素平均値を時間方向に平均化する。ＩＩＲフィルタは、現フレームの入力信号とそれ以前のフレームの出力信号をフィードバックループによって用いるフィルタである。このＩＩＲフィルタ１３２により時間的なランダムノイズが軽減される。なお、ＩＩＲフィルタ１３２の代わりに、ＦＩＲ（Finite Impulse Response）フィルタ等のその他のデジタルフィルタを用いることもできる。
【００３８】
図５は、ＩＩＲフィルタ１３２の構成例を示している。この図５において、ＩＩＲフィルタ１３２は、減算器１３２ａ、乗算器１３２ｂ、加算器１３２ｃ，１３２ｅおよび遅延器１３２ｄにより構成されている。つまり、入力信号Ｓinは減算器１３２ａおよび加算器１３２ｃに供給される。また。減算器１３２ａの出力信号は乗算器１３２ｂに供給され、係数が乗算される。係数によって、現フレームから何フレーム前までの出力信号を用いるかを調節できる。乗算器１３２ｂの出力信号は加算器１３２ｃに供給され、上述した入力信号Ｓinに加算される。
【００３９】
この加算器１３２ｃの出力信号は加算器１３２ｅおよび遅延器１３２ｄに供給される。遅延器１３２ｄは、１フレームの遅延時間を持っている。この遅延器１３２ｄの出力信号は加算器１３２ｅにおいて上述した加算器１３２ｃの出力信号に加算されて、出力信号Ｓoutが得られる。また、遅延器１３２ｄの出力信号は減算器１３２ａに供給され、入力信号Ｓinから減算される。
【００４０】
上述のＩＩＲフィルタ１３２により時間的なランダムノイズが軽減される。なお、ＩＩＲフィルタ１３２の代わりに、ＦＩＲ（Finite Impulse Response）フィルタ等のその他のデジタルフィルタを用いることもできる。
【００４１】
εフィルタ１３３は、小振幅なノイズを除去するための非線形フィルタである。このεフィルタ１３３は、ＩＩＲフィルタ１３２から出力される各ラインの画素平均値に対して、垂直方向に適用される。このεフィルタ１３３により垂直方向のランダムノイズが軽減される。
【００４２】
ここで、εフィルタ１３２の概要を説明する。図６（Ａ）において、フィルタ長５（フィルタ係数は全て１）のフィルタを信号（画素平均値）Ｐ３に適用する場合を考える。フィルタ処理の対象となる信号Ｐ３の前後に存在する信号Ｐ１，Ｐ２，Ｐ４，Ｐ５の中で、信号Ｐ４は信号Ｐ３との差が閾値ΔＥ以上である。そのため、この信号Ｐ４を、図６（Ｂ）のように、信号Ｐ３と同じ値（信号Ｐ４′）に置き換えて、フィルタを適用する。
【００４３】
つまり、図６（Ｃ）のように、
N_P3 = (P1 + P2 + P3 +P4’(=P3) + P5)/5 = (1 + 4 + 3 + 3 + 2)/5 = 2.6 
となる。
【００４４】
以上のようなフィルタを適用すると、図７に示すように、処理前の信号Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，・・・は、処理前の信号Ｎ_Ｐ１，Ｎ_Ｐ２，Ｎ_Ｐ３，Ｎ_Ｐ４，Ｎ_Ｐ５，・・・のように変わり、急峻に値が変化しない箇所のばらつきが抑えられる。つまり、εフィルタ１３３により、垂直方向の空間的なランダムノイズが軽減される。
【００４５】
メディアン（中央値）フィルタ１３４は、εフィルタ１３３から出力される各ラインの画素平均値に対して、垂直方向に適用される。このメディアンフィルタ１３４は、対象信号を中心とした奇数個の値を大きさ順に並べ替え、中央の値をとるフィルタである。このメディアンフィルタ１３４により、インパルス的なノイズ(例えば、図７の信号Ｎ_Ｐ４)が除去される。このメディアンフィルタ１３４から、上述した水平遮光部２０１における各ラインの信号レベル（水平遮光部２０１の波形）が得られる。
【００４６】
なお、図示していないが、ＩＩＲフィルタ１３２の係数、εフィルタ１３３の閾値ΔＥは、リアルタイム性とノイズ除去とのトレードオフを考慮して外部から調整可能とされる。また、ノイズ量が小さいときは、リアルタイム性を重視し、空間フィルタのみを適用する等、ノイズ量に応じて回路構成が変更されるようにしてもよい。
【００４７】
図４に戻って、黒レベル検出部１４０は、イメージセンサ１０１Ｒの垂直遮光部２０２の出力信号を用いて黒レベルを検出する。図３に示すように、撮影中の水平遮光部２０１にはストリーキングが乗ってくるため、当該水平遮光部２０１の出力信号からは黒レベルを精度よく検出することができない。そのため、黒レベル検出部１４０では、上述したように垂直遮光部２０２の出力信号を用いて黒レベルを検出する。
【００４８】
この黒レベル検出部１２２は、図４に示すように、平均値算出部１４１と、デジタルフィルタとしてのＩＩＲフィルタ１４２とが、この順に接続されて構成されている。黒レベル検出部１４０では、ＩＩＲフィルタ１４２を時間軸方向に適用することで、ノイズの影響を最小限に抑えながら、リアルタイム性が保持されるようにしている。
【００４９】
平均値算出部１４１は、垂直遮光部２０２を構成する各画素の値の平均値を求める。この平均値算出部１４１により水平方向および垂直方向の空間的なランダムノイズが軽減される。
【００５０】
ＩＩＲフィルタ１４２は、平均値算出部１４１で求められる画素平均値を時間方向に平均化する。ＩＩＲフィルタは、現フレームの入力信号とそれ以前のフレームの出力信号をフィードバックループによって用いるフィルタである（図５参照）。このＩＩＲフィルタ１４２により時間的なランダムノイズが軽減される。なお、ＩＩＲフィルタ１４２の代わりに、ＦＩＲ（Finite Impulse Response）フィルタ等のその他のデジタルフィルタを用いることもできる。このＩＩＲフィルタ１４２から上述した黒レベルが得られる。
【００５１】
減算部１５０は、遮光部波形検出部１３０で求められた水平遮光部２０１における各ラインの信号レベルから、黒レベル検出部１４０で検出された黒レベルを減算して、各ラインのストリーキング補正信号Ｒst′、つまり各ラインのストリーキング成分を求める（図３（ｂ）参照）。
【００５２】
コアリング部１６０は、減算部１５０で得られる各ラインのストリーキング補正信号Ｒst′に対してコアリング処理を施し、各ラインの最終的なストリーキング補正信号Ｒst″を出力する。コアリング部１６０は、εフィルタ１６１と、減算器１６２と、コアリング処理部１６３と、加算器１６４とを有している。
【００５３】
εフィルタ１６１は、小振幅なノイズを除去するための非線形フィルタである。このεフィルタ１６１は、上述した遮光部波形検出部１３０のεフィルタ１３３と同様に構成されている（図６、図７参照）。このεフィルタ１６１は、減算部１５０から出力される各ラインのストリーキング補正信号Ｒst′に対して、垂直方向に適用される。
【００５４】
減算器１６２は、減算部１５０で得られる各ラインのストリーキング補正信号から、εフィルタ１６１により生成された対応する信号を減算して、高周波成分Ｌinを抽出する。例えば、あるラインのストリーキング補正信号から減算される信号は、εフィルタ１６１において、当該あるラインのストリーキング補正信号とその前後の所定個数のラインのストリーキング補正信号を用いて、生成された信号となる。
【００５５】
コアリング処理部１６３は、減算器１６２で得られる各ラインの高周波成分Ｌinに対して、コアリング処理を行う。すなわち、コアリング処理部１６３は、入力信号Linの絶対値と、予め設定されているコアリングレベルとの大小を比較し、コアリングレベルより入力信号Linの絶対値の方が大きい場合には、入力信号Ｌinをそのまま出力信号Loutとし、一方、入力信号Ｌinの絶対値よりコアリングレベルの方が大きい場合には、出力信号Loutを０とする。つまり、このコアリング処理部１６３におけるコアリング処理は、エッジ等の比較的信号レベルの大きな成分は残し、それ以外の小さい信号レベルの成分は除くという処理である。
【００５６】
図８のフローチャートは、コアリング処理部１６３における、Ｎ番目のラインに対応したコアリング処理の手順を示している。
【００５７】
まず、コアリング処理部１６３は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２に移る。このステップＳＴ２において、コアリング処理部１６３は、Ｎ番目の入力信号Linの絶対値を計算する。そして、コアリング処理部１６３は、ステップＳＴ３において、ステップＳＴ２で得られる絶対値がコアリングレベルより大きいか否かを判定する。絶対値がコアリングレベルより大きいとき、コアリング処理部１６３は、ステップＳＴ４において、出力信号Ｌoutとして入力信号Ｌinをそのまま出力し、その後に、ステップＳＴ５において、処理を終了する。一方、ステップＳＴ３で、絶対値がコアリングレベルより大きくないとき、コアリング処理部１６３は、ステップＳＴ６において、出力信号Loutとして０を出力し、その後に、ステップＳＴ５において、処理を終了する。
【００５８】
加算器１６４は、εフィルタ１６１から出力される各ラインの信号に、コアリング処理部１６３の出力信号Ｌoutを加算し、εフィルタ１６１の通過時に取り除かれた高周波成分の足し戻しを行う。この加算器１６４から出力される各ラインの信号が、各ラインの最終的なストリーキング補正信号Ｒst″となる。コアリング部１６０では、コアリング処理部１６３におけるコアリングレベルを調節することで、エッジ成分を残しつつ、微小なノイズを取り除くことができる。
【００５９】
なお、上述した遮光部波形検出部１３０、黒レベル検出部１４０、減算部１５０およびコアリング部１６０からなる補正信号生成部１２１においては、イメージセンサ１０１Ｒの出力信号、つまりＡ／Ｄ変換器１０３Ｒで得られる赤色データＲinの最下位ビット（ＬＳＢ）以下に所定数のビットが用意されて、処理が行われる。例えば、図９に示すように、イメージセンサ１０１Ｒの出力信号が１２ビットの場合、補正信号生成部１２１では、イメージセンサ１０１Ｒの出力信号のＬＳＢ以下にさらに４ビットが追加（付加）されて演算が行われる。これにより、補正信号生成部１２１では、ＩＩＲフィルタ演算等で発生するＬＳＢ以下の成分の切り捨てを回避でき、ＬＳＢ以下のレベルのストリーキング成分に対応したストリーキング補正信号の生成が可能となる。
【００６０】
図４に示す補正信号生成部１２１の動作を説明する。
【００６１】
イメージセンサ１０１Ｒの出力信号Ｒinは、遮光部波形検出部１３０の平均値算出部１３１に供給される。この平均値算出部１３１では、ライン毎に、イメージセンサ１０１Ｒの水平遮光部２０１を構成する各画素の値の平均値が算出される。そして、この平均値算出部１３１で算出された各ラインの画素平均値は、ＩＩＲフィルタ１３２、εフィルタ１３３およびメディアンフィルタ１３４を通される。メディアンフィルタ１３４からは、遮光部波形検出部１３０の出力として、時間的および空間的なランダムノイズが軽減され、さらに、インパルス的なノイズが除去された、水平遮光部２０１における各ラインの信号レベル（水平遮光部２０１の波形）が得られる。
【００６２】
また、イメージセンサ１０１Ｒの出力信号Ｒinは、黒レベル検出部１４０の平均値算出部１４１に供給される。この平均値算出部１４１では、イメージセンサ１０１Ｒの垂直遮光部２０２を構成する各画素の値の平均値が求められる。この平均値算出部１４１で算出された黒レベルはＩＩＲフィルタ１４２を通される。ＩＩＲフィルタ１４２からは、黒レベル検出部１４０の出力として、時間的および空間的なランダムノイズが軽減された黒レベルが得られる。
【００６３】
遮光部波形検出部１３０で求められた水平遮光部２０１における各ラインの信号レベルは減算部１５０に供給される。また、黒レベル検出部１４０で求められた黒レベルは減算部１５０に供給される。この減算部１５０では、水平遮光部２０１における各ラインの信号レベルから黒レベルが減算されて、各ラインのストリーキング補正信号（各ラインのストリーキング成分）Ｒst′が得られる。
【００６４】
このように減算部１５０で得られる各ラインのストリーキング補正信号Ｒst′は、コアリング部１６０に供給される。すなわち、各ラインのストリーキング補正信号Ｒst′は、εフィルタ１６１および減算器１６２に供給される。εフィルタ１６１からは、各ラインのストリーキング補正信号Ｒst′に対応して、高周波成分の取り除かれた信号が得られる。εフィルタ１６１の出力信号は、減算器１６２および加算器１６４に供給される。
【００６５】
減算器１６２では、各ラインのストリーキング補正信号Ｒst′から、εフィルタ１６１の出力信号が減算されて、高周波成分Ｌinが抽出される。この高周波成分Ｌinはコアリング処理部１６３に供給される。コアリング処理部１６３では、入力信号Linの絶対値と、予め設定されているコアリングレベルとの大小が比較され、コアリングレベルより入力信号Linの絶対値の方が大きい場合には、入力信号Ｌinがそのまま出力信号Loutとされ、一方、入力信号Ｌinの絶対値よりコアリングレベルの方が大きい場合には、出力信号Loutが０とされる。
【００６６】
このコアリング処理部１６３の出力信号Ｌoutは加算器１６４に供給される。加算器１６４では、εフィルタ１６１から出力される各ラインの信号に、コアリング処理部１６３の出力信号Ｌoutが加算され、εフィルタ１６１の通過時に取り除かれた高周波成分の足し戻しが行われる。加算器１６４からは、コアリング部１６０の出力、さらには補正信号生成部１２１の出力として、エッジ成分を残しつつ、微小なノイズが取り除かれた、各ラインの最終的なストリーキング補正信号Ｒst″が得られる。
【００６７】
図２に戻って、信号レベル検出部１２２および補正ゲイン生成部１２３は、補正ゲイン発生部を構成している。ストリーキング成分は、赤色データＲinのレベル（信号レベル）や温度の変化により、水平遮光部２０１で検出されるレベルと、受光部２０３で検出されるレベルが必ずしも一致しないことがある。図１０は、受光部２０３で検出されるストリーキング量と水平遮光部２０１で検出されるストリーキング量とのレベル比（ストリーキング比）と信号レベルとの関係の一例を示している。
【００６８】
赤補正信号生成回路１１１Ｒでは、上述の補正信号生成部１２１で生成されたストリーキング補正信号Ｒst″に対して、信号レベル検出部１２２および補正ゲイン生成部１２３により発生される補正ゲインＧｒを乗算することで、ストリーキング補正信号Ｒstを得るようにしている。
【００６９】
信号レベル検出部１２２は、入力される赤色データＲinのレベル（信号レベルＬdet）を、画素毎に、検出する。この信号レベル検出部１２２において、例えば、検出対象の画素とその水平方向に隣接する画素に対してεフィルタを適用することによって、インパルス信号の影響を抑えつつ、精度よく信号レベルＬdetを検出できる。補正ゲイン生成部１２３は、信号レベル検出部１２２で検出された信号レベルＬdetに対応した補正ゲインＧrを生成する。
【００７０】
例えば、補正ゲイン生成部１２３は、図１１（ａ）に示すように、ルックアップテーブルを構成するメモリ１２３ａにより構成される。この場合、メモリ１２３ａには、各信号レベルに対応した補正ゲイン（ストリーキング比）が記憶されている。メモリ１２３ａに信号レベルＬdetが入力されるとき、当該メモリ１２３ａからは信号レベルＬdetに対応した補正ゲインＧrが読み出されて出力される。このように補正ゲイン生成部１２３をメモリ１２３ａのみで構成する場合には、何ら演算処理をすることなく、補正ゲインを容易に取得できる。
【００７１】
また、例えば、補正ゲイン生成部１２３は、図１１（ｂ）に示すように、ルックアップテーブルを構成するメモリ１２３ｂおよび演算部１２３ｃにより構成される。この場合、メモリ１２３ｂには、図１２に黒丸で示すような離散的な信号レベルに対応した、図１２に白丸で示すような補正ゲイン（ストリーキング比）が記憶されている。メモリ１２３ａに信号レベルＬdetが入力されるとき、当該メモリ１２３ａからは信号レベルＬdeを含むレベル範囲の両端の補正ゲインＧＬ，ＧＨが読み出されて出力される。演算部１２３ｃでは、メモリ１２３ｂからの補正ゲインＧＬ，ＧＨと信号レベルＬdetを用いて、例えば、線形補間演算が行われて、信号レベルＬdetに対応した補正ゲインＧrが生成されて出力される。このように補正ゲイン生成部１２３をメモリ１２３ｂおよび演算部１２３ｃで構成する場合には、メモリ１２３ｂの容量を節約できる。
【００７２】
乗算部１２４は、上述したように補正信号生成部１２１で生成されたストリーキング補正信号Ｒst″に、補正ゲイン生成部１２３で得られる信号レベルに対応した補正ゲイン（ストリーキング比）Ｇrを乗算し、赤補正信号生成回路１１１Ｒの出力となるストリーキング補正信号Ｒstを生成する。
【００７３】
図２に示す赤補正信号生成回路１１１Ｒの動作を説明する。
【００７４】
イメージセンサ１０１Ｒの出力信号としての赤色データＲinは、補正信号生成部１２１に供給される。この補正信号生成部１２１では、水平遮光部２０１および垂直遮光部２０２の出力信号を用いて、各ラインのストリーキング補正信号Ｓst″が生成される。このストリーキング補正信号Ｓst″は乗算部１２４に供給される。
【００７５】
また、イメージセンサ１０１Ｒの出力信号としての赤色データＲinは、信号レベル検出部１２２に供給される。信号レベル検出部１２２では、入力される赤色データＲinのレベル（信号レベルＬdet）が、画素毎に、検出される。信号レベル検出部１２２で検出される信号レベルＬdetは補正ゲイン生成部１２３に供給される。補正ゲイン生成部１２３では、信号レベルＬdetに対応した補正ゲインＧrが生成される。この補正ゲインＧrは乗算部１２４に供給される。
【００７６】
乗算部１２４では、上述したように補正信号生成部１２１で生成されたストリーキング補正信号Ｒst″に、補正ゲイン生成部１２３で得られる信号レベルＬdetに対応した補正ゲイン（ストリーキング比）Ｇrが乗算され、赤補正信号生成回路１１１Ｒの出力となるストリーキング補正信号Ｒstが生成される。
【００７７】
図１３のフローチャートは、図２に示すストリーキング補正回路１１０における、ストリーキング補正の処理手順をまとめて示したものである。
【００７８】
まず、補正回路１１０は、ステップＳＴ１１において、処理を開始、その後に、ステップＳＴ１２およびステップＳＴ１３に進む。
【００７９】
補正回路１１０は、ステップＳＴ１２において、イメージセンサ１０１Ｒの水平遮光部２０１の出力信号を用いて、水平遮光部２０１の波形、つまり、当該水平遮光部２０１における各ラインの信号レベルを求める。
【００８０】
ここで、ステップＳＴ１２は、ステップＳＴ１２ａ〜１２ｃからなっている。補正回路１１０は、ステップＳＴ１２ａにおいて、ライン毎に、水平遮光部２０１を構成する各画素の値の平均値を求め、水平方向のランダムノイズを軽減する。（遮光部波形検出部１３０の平均値算出部１３１）。そして、補正回路１１０は、ステップＳＴ１２ｂにおいて、各ラインの画素平均値に対して、時間軸方向にフィルタリングし、時間方向のランダムノイズを軽減する（遮光部波形検出部１３０のＩＩＲフィルタ１３２）。さらに、補正回路１１０は、ステップＳＴ１２ｃにおいて、各ラインの画素平均値に対して、空間軸方向にフィルタリングし、垂直方向の空間的なランダムノイズを軽減し、さらにインパルス的なノイズを除去する（遮光部波形検出部１３０のεフィルタ１３３およびメディアンフィルタ１３４）。
【００８１】
また、補正回路１１０は、ステップＳＴ１３において、イメージセンサ１０１Ｒの垂直遮光部２０２の出力信号を用いて黒レベルを検出する。ステップＳＴ１３は、ステップＳＴ１３ａおよびステップＳＴ１３ｂからなっている。
【００８２】
補正回路１１０は、ステップＳＴ１３ａにおいて、垂直遮光部２０２を構成する各画素の値の平均値を求め、空間軸方向のランダムノイズを軽減する（黒レベル検出部１４０の平均値算出部１４１）。そして、補正回路１１０は、ステップＳＴ１３ｂにおいて、画素平均値に対して、時間軸方向にフィルタリングし、時間軸方向のランダムノイズを軽減する（黒レベル検出部１４０のＩＩＲフィルタ１４２）。
【００８３】
補正回路１１０は、上述のステップＳＴ１２の処理およびステップＳＴ１３の処理の後、ステップＳＴ１４において、ストリーキング補正処理を行う。このステップＳＴ１４は、ステップＳＴ１４ａ〜１４ｄからなっている。
【００８４】
補正回路１１０は、ステップＳＴ１４ａにおいて、ステップＳＴ１２で得られた水平遮光部２０１における各ラインの信号レベルから、ステップＳＴ１３で得られた黒レベルを減算して、各ラインのストリーキング補正信号（各ラインのストリーキング成分）Ｒst′を生成する（減算部１５０）。
【００８５】
そして、補正回路１１０は、ステップＳＴ１４ｂにおいて、各ラインのストリーキング補正信号Ｒst′に対してコアリング処理をして、エッジ成分を残しつつ、微小なノイズを取り除いた、各ラインの最終的なストリーキング補正信号Ｒst″を生成する（コアリング部１６０）。
【００８６】
そして、補正回路１１０は、ステップＳＴ１４ｃにおいて、信号レベルＬdetに対応した補正ゲインＧrを発生し（信号レベル検出部１２２、補正ゲイン生成部１２３）、各ラインのストリーキング補正信号Ｒst″に補正ゲインＧrを乗算して、ゲイン調整されたストリーキング補正信号Ｒstを生成する（乗算部１２４）。
【００８７】
さらに、補正回路１１０は、ステップＳＴ１４ｄにおいて、各ラインの赤色データＲinから、それぞれ対応するストリーキング補正信号Ｒstを減算して、ストリーキング補正された赤色データＲoutを得る（減算器１１２）。
【００８８】
なお、図１３のフローチャートは、赤色データＲinに対するストリーキング補正の処理手順を示したものであるが、ストリーキング補正回路１１０においては、緑色データＧinおよび青色データＢinに対しても同様の処理手順で、ストリーキング補正が行われる。
【００８９】
上述したように、図２に示すストリーキング補正回路１１０においては、イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂの遮光部（水平遮光部２０１、垂直遮光部２０２）の出力信号のみを用いてストリーキング補正信号Ｒst，Ｇst，Ｂstが生成されるものであり、イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂの受光部２０３を遮光することなくストリーキング補正信号をリアルタイムで得ることができ、ストリーキングのリアルタイム補正が可能となる。この場合、撮影中に受光部２０３を度々遮光するということは必要なく、映像信号の取得効率の低下を招くことはない。
【００９０】
また、図２に示すストリーキング補正回路１１０においては、補正信号生成部１２１で生成されたストリーキング補正信号Ｒst″に信号レベルＬdetに応じた補正ゲインＧrを乗算して調整されたストリーキング補正信号Ｒst，Ｇst，Ｂst用いるものであり、ストリーキング補正の精度を高めることができる。
【００９１】
また、図２に示すストリーキング補正回路１１０において、補正信号生成部１２１は、イメージセンサ１０１Ｒ，１０１Ｇ，１０１Ｂの出力信号の最下位ビット（ＬＳＢ）以下に所定数のビットを追加して処理が行われるものであり、補正信号生成部１２１では、ＩＩＲフィルタ演算等で発生するＬＳＢ以下の成分の切り捨てを回避でき、ＬＳＢ以下のレベルのストリーキング成分に対応したストリーキング補正信号Ｒst″の生成が可能となり、ストリーキング補正の精度をより高めることができる。
【産業上の利用可能性】
【００９２】
この発明は、ストリーキングのリアルタイム補正が可能となるものであり、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等を用いて構成される撮像装置に適用できる。
【図面の簡単な説明】
【００９３】
【図１】実施の形態としての撮像装置の構成例を示すブロック図である。
【図２】ストリーキング補正回路の構成例を示すブロック図である。
【図３】イメージセンサの構造とストリーキングを示す図である。
【図４】補正信号生成部の構成例を示すブロック図である。
【図５】ＩＩＲフィルタの構成例を示すブロック図である。
【図６】εフィルタの動作概要を説明するための図である。
【図７】εフィルタの適用例を示す図である。
【図８】コアリング処理部におけるコアリング処理の手順を示すフローチャートである。
【図９】イメージセンサの出力信号のビット構成と補正信号生成部内でのビット構成とを比較して示す図である。
【図１０】信号レベルとストリーキング比（受光部でのストリーキング量／ＨＯＰＢでのストリーキング量）の対応関係の一例を示す図である。
【図１１】補正ゲイン生成部の構成例を示すブロック図である。
【図１２】離散的な信号レベルとストリーキング比（受光部でのストリーキング量／ＨＯＰＢでのストリーキング量）の対応関係の一例を示す図である。
【図１３】ストリーキング補正回路における、ストリーキング補正の処理手順をまとめて示すフローチャートである。
【符号の説明】
【００９４】
１００・・・撮像装置、１０１Ｒ，１０１Ｇ，１０１Ｂ・・・イメージセンサ、１０２Ｒ，１０２Ｇ，１０２Ｂ・・・ビデオアンプ、１０３Ｒ，１０３Ｇ，１０３Ｂ・・・Ａ／Ｄ変換器、１０４・・・補正回路、１０５・・・ゲイン調整回路、１０６・・・輝度調整回路、１０７・・・ガンマ補正回路、１０８・・・出力信号生成回路、１０９・・・ビデオ処理部、１１０・・・ストリーキング補正回路、１１１Ｒ・・・赤補正信号生成回路、１１１Ｇ・・・緑補正信号生成回路、１１１Ｂ・・・青補正信号生成回路、１１２・・・減算器、１２１・・・補正信号生成部、１２２・・・信号レベル検出部、１２３・・・補正ゲイン生成部、１２４・・・乗算部、１３０・・・遮光部波形検出部、１３１・・・平均値算出部、１３２・・・ＩＩＲフィルタ、１３３・・・εフィルタ、１３４・・・メディアンフィルタ、１４０・・・黒レベル検出部、１４１・・・平均値算出部、１４２・・・ＩＩＲフィルタ、１５０・・・減算部、１６０・・・コアリング部、１６１・・・εフィルタ、１６２・・・減算器、１６３・・・コアリング処理部、１６４・・・加算器、２０１・・・水平遮光部、２０２・・・垂直遮光部、２０３・・・受光部、２０４・・・光源、２０５・・・ストリーキング
【図１】
2008236271.tif 000003
【図２】
2008236271.tif 000004
【図４】
2008236271.tif 000005
【図５】
2008236271.tif 000006
【図６】
2008236271.tif 000007
【図７】
2008236271.tif 000008
【図８】
2008236271.tif 000009
【図９】
2008236271.tif 000010
【図１０】
2008236271.tif 000011
【図１１】
2008236271.tif 000012
【図１２】
2008236271.tif 000013
【図１３】
2008236271.tif 000014
【図３】
2008236271.tif 000015
【手続補正書】
【提出日】平成19年12月21日(2007.12.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項７
【補正方法】変更
【補正の内容】
【請求項７】
コンピュータを、
イメージセンサの水平遮光部の出力信号を用いて、該水平遮光部における各ラインの信号レベルを求める遮光部波形検出手段と、
上記イメージセンサの垂直遮光部の出力信号を用いて黒レベルを検出する黒レベル検出手段と、
上記遮光部波形検出手段で求められた上記水平遮光部における各ラインの信号レベルから上記黒レベル検出手段で検出された黒レベルを減算して、各ラインのストリーキング補正信号を求める減算手段と
して機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
例えば、特許文献１には、画素部を遮光したときと受光したときの直流レベルの差を補正することでストリーキング補正を行うことが記載されている。
【特許文献１】特開２００５−１３０３３１号公報
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
図２に示すストリーキング補正回路１１０の動作を説明する。入力される赤、緑、青の色データＲin，Ｇin，Ｂinは、それぞれ、赤、緑、青の補正信号生成回路１１１Ｒ，１１１Ｇ，１１１Ｂに供給されると共に、減算器１１２に供給される。赤、緑、青の補正信号生成回路１１１Ｒでは、それぞれ、赤、緑、青の色データＲin，Ｇin，Ｂinが処理されて、赤、緑、青の各ラインのストリーキング補正信号Ｒst，Ｇst，Ｂstが生成される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
補正信号生成部１２１は、入力される赤色データＲinに基づいて、各ラインのストリーキング補正信号Rst″を生成する。この補正信号生成部１２１は、イメージセンサ１０１Ｒの水平遮光部（ＨＯＰＢ：Horizontal OPtical Black）および垂直遮光部（ＶＯＰＢ：Vertical OPtical Black）の出力信号を用いて、各ラインのストリーキング補正信号Rst″を生成する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
ここで、εフィルタ１３３の概要を説明する。図６（Ａ）において、フィルタ長５（フィルタ係数は全て１）のフィルタを信号（画素平均値）Ｐ３に適用する場合を考える。フィルタ処理の対象となる信号Ｐ３の前後に存在する信号Ｐ１，Ｐ２，Ｐ４，Ｐ５の中で、信号Ｐ４は信号Ｐ３との差が閾値ΔＥ以上である。そのため、この信号Ｐ４を、図６（Ｂ）のように、信号Ｐ３と同じ値（信号Ｐ４′）に置き換えて、フィルタを適用する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
以上のようなフィルタを適用すると、図７に示すように、処理前の信号Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，・・・は、処理後の信号Ｎ_Ｐ１，Ｎ_Ｐ２，Ｎ_Ｐ３，Ｎ_Ｐ４，Ｎ_Ｐ５，・・・のように変わり、急峻に値が変化しない箇所のばらつきが抑えられる。つまり、εフィルタ１３３により、垂直方向の空間的なランダムノイズが軽減される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
この黒レベル検出部１４０は、図４に示すように、平均値算出部１４１と、デジタルフィルタとしてのＩＩＲフィルタ１４２とが、この順に接続されて構成されている。黒レベル検出部１４０では、ＩＩＲフィルタ１４２を時間軸方向に適用することで、ノイズの影響を最小限に抑えながら、リアルタイム性が保持されるようにしている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
また、例えば、補正ゲイン生成部１２３は、図１１（ｂ）に示すように、ルックアップテーブルを構成するメモリ１２３ｂおよび演算部１２３ｃにより構成される。この場合、メモリ１２３ｂには、図１２に黒丸で示すような離散的な信号レベルに対応した、図１２に白丸で示すような補正ゲイン（ストリーキング比）が記憶されている。メモリ１２３ｂに信号レベルＬdetが入力されるとき、当該メモリ１２３ｂからは信号レベルＬdeを含むレベル範囲の両端の補正ゲインＧＬ，ＧＨが読み出されて出力される。演算部１２３ｃでは、メモリ１２３ｂからの補正ゲインＧＬ，ＧＨと信号レベルＬdetを用いて、例えば、線形補間演算が行われて、信号レベルＬdetに対応した補正ゲインＧrが生成されて出力される。このように補正ゲイン生成部１２３をメモリ１２３ｂおよび演算部１２３ｃで構成する場合には、メモリ１２３ｂの容量を節約できる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
イメージセンサ１０１Ｒの出力信号としての赤色データＲinは、補正信号生成部１２１に供給される。この補正信号生成部１２１では、水平遮光部２０１および垂直遮光部２０２の出力信号を用いて、各ラインのストリーキング補正信号Rst″が生成される。このストリーキング補正信号Rst″は乗算部１２４に供給される。