(57)【特許請求の範囲】
【請求項１】
固体撮像素子を用いて被写体を撮像する撮像装置において、
シャッタを開いた通常撮像により撮像されてデジタルデータ化された第１の画像データから、前記通常撮像の直前または直後に前記通常撮像と同じ露光条件でシャッタを閉じて撮像され、デジタルデータ化された第２の画像データを減算する演算手段と、
撮像画像上に輝点を生成する高レベルのノイズである輝点ノイズの前記第２の画像データにおける発生位置を検出する輝点位置検出手段と、
前記演算手段からの出力データについて、前記輝点位置検出手段によって検出された前記輝点ノイズの発生位置に対応する画素のデータを補正するノイズ補正手段と、
を有し、
前記演算手段は、
前記第１の画像データから前記第２の画像データを減算する減算部と、
前記減算部からの出力信号に対してオフセット信号を加算する加算部と、
前記加算部からの出力信号レベルを制限するリミッタと、
を備えたことを特徴とする撮像装置。
【請求項２】
前記輝点位置検出手段は、前記第２の画像データにおける各画素の信号レベルがあらかじめ任意に設定された設定値に達することにより、前記輝点ノイズの発生位置を検出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記輝点位置検出手段は、前記第２の画像データにおける画素の信号レベルから、前記画素に隣接する２つの画素の平均信号レベルを減算した値が、あらかじめ任意に設定された設定値に達することにより、前記輝点ノイズの発生位置を検出することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記輝点位置検出手段は、前記第２の画像データにおける画素の信号レベルから、前記画素に隣接するいずれか一方の画素の信号レベルを減算した値が、あらかじめ任意に設定された設定値に達することにより、前記輝点ノイズの発生位置を検出することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記ノイズ補正手段は、前記輝点ノイズの発生位置に対応する画素のデータを、隣接する２つの同色画素の平均データに置き換えることを特徴とする請求項１記載の撮像装置。
【請求項６】
前記ノイズ補正手段は、前記輝点ノイズの発生位置に対応する画素のデータを、隣接するいずれか一方の同色画素のデータに置き換えることを特徴とする請求項１記載の撮像装置。
【請求項７】
固体撮像素子を用いて被写体を撮像する際に発生するノイズを除去するためのノイズ除去方法において、
シャッタを開いた通常撮像により撮像してデジタルデータ化した第１の画像データから、前記通常撮像の直前または直後に前記通常撮像と同じ露光条件でシャッタを閉じて撮像し、デジタルデータ化した第２の画像データを減算し、その減算結果に対してオフセット信号を加算し、さらにその加算結果の出力レベルを制限する演算処理を実行し、
撮像画像上に輝点を生成する高レベルのノイズである輝点ノイズの前記第２の画像データにおける発生位置を検出し、
前記減算による結果のデータについて、検出された前記輝点ノイズの発生位置に対応する画素のデータを補正する、
ことを特徴とするノイズ除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いて被写体を撮像する撮像装置、およびこの撮像の際に発生するノイズを除去するためのノイズ除去方法に関する。
【背景技術】
【０００２】
近年、撮影した画像をデジタルデータとして記憶するデジタルカメラが普及している。このデジタルカメラでは、光学レンズによって撮影された画像を、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサといった固体撮像素子を使用して光電変換した後、デジタルデータ化して記録している。
【０００３】
このような撮像素子によって生成される画像信号には、製造過程における様々な要因により撮像素子で発生される暗信号によるノイズや、回路基板等で発生するノイズが混在することが多い。例えば、暗信号による固定パターンノイズのうち、構造的欠陥等の原因により特定の撮像素子において大量の電荷が発生するために生じるノイズがある。このノイズは、画面上に白い輝点となって現れる。以下、このノイズを輝点ノイズと呼称する。輝点ノイズは、通常の使用では極端に大きく発生することは少ないが、発生量が露光時間や温度に依存するため、長時間露光や高温環境下において使用された場合には目立つようになる。
【０００４】
このため、デジタルカメラの内部では、通常、撮像素子からの画像信号を補正してこれらの固定パターンノイズを低減する処理が行われる。その一例として、シャッタを開いて通常通り撮影した画像信号から、同じ露光条件でシャッタを閉じ、完全に光を遮断した状態で撮影した画像信号を引き算する方法が知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記のノイズ低減方法では、暗信号によるノイズの影響を完全に除去することができず、輝点部分が逆に黒い点として画面上に残ってしまう場合がある。以下、この問題点について説明する。図１８は、上記のノイズ低減方法において撮像される画像信号の波形例を示す図である。また、図１９は、上記のノイズ低減方法において出力される画像信号の波形例を示す図である。
【０００６】
図１８（Ａ）では、撮像素子から出力されたアナログ信号の波形例を示している。この信号には、撮像された画像信号上に、細かいノイズ成分やノイズによる直流的なオフセットの他、撮像素子によって発生される暗信号による輝点ノイズＮ１〜Ｎ７が含まれている。撮像装置中では、通常、このような信号がＡ／Ｄ変換部によってデジタル信号に変換された後、ノイズ除去処理等の各種の信号処理が施されて、記憶媒体等に記憶される。
【０００７】
また、図１８（Ｂ）は、シャッタを閉じた状態で撮像され、撮像素子から出力された信号の波形例を示している。なお、図１８（Ｂ）では、図１８（Ａ）に対応する輝点ノイズに同じ符号を付して示している。上記のノイズの低減処理では、この図１８（Ｂ）の信号についての撮像が、図１８（Ａ）の信号に対する撮像の直後または直前において、露光時間等の条件を同じにして行われる。例えば、図１８（Ａ）の信号が先に撮像された場合は、この信号がデジタル化された後、所定のバッファに蓄積された状態で、直後に図１８（Ｂ）の信号が撮像される。
【０００８】
ここで、図１８（Ｂ）の信号は、シャッタを閉じて撮像されたために、画像信号を含まず、ノイズ成分のみで構成される。従って、図１８（Ａ）の信号から図１８（Ｂ）の信号を減算することにより、図１９に示すような細かい固定パターンノイズおよび直流オフセットが除去された信号波形が得られる。
【０００９】
ところで、図１８および１９では、これらの信号がＡ／Ｄ変換される際に変換可能なレンジの最大値をＲとして点線で表している。図１８（Ａ）では、撮像素子からの暗信号による輝点ノイズＮ１〜Ｎ７のうち、特に輝点ノイズＮ１、Ｎ２およびＮ３のレベルが大きく、Ａ／Ｄ変換のレンジを逸脱している。従って、これらの輝点ノイズＮ１、Ｎ２およびＮ３の信号レベルは、Ａ／Ｄ変換されるとすべてフルスケールの同じ値となり、本来の信号レベルが反映されない。
【００１０】
一方、図１８（Ｂ）の信号波形では、暗信号による図１８（Ａ）と同じ輝点ノイズＮ１〜Ｎ７が存在しているはずであるが、これらの信号レベルはＡ／Ｄ変換のレンジに収まっているため、実際の入力に即した信号レベルにデジタル変換される。この図１８（Ｂ）では、輝点ノイズＮ１、Ｎ２およびＮ３のレベルはそれぞれ実際には異なっていることがわかる。
【００１１】
従って、これらの信号を減算して生成された波形には、図１９に示すように演算誤差が現れて、輝点となっていた部分の信号レベルが逆に極端に下がった状態となる。この部分は、生成された画像中では、色の濃い画素（以下、黒点と呼称する）となって黒く穴が空いたような状態で残ってしまう。
【００１２】
以上のように、従来のノイズ低減方法では、暗信号による輝点ノイズを完全に除去することができず、この輝点ノイズの影響が生成された画像中に黒点として現れてしまい、画質が劣化することが問題となっていた。
【００１３】
本発明はこのような課題に鑑みてなされたものであり、固体撮像素子からの暗信号によるノイズを除去することが可能な撮像装置を提供することを目的とする。
また、本発明の他の目的は、固体撮像素子からの暗信号によるノイズを除去することが可能なノイズ除去方法を提供することである。
【課題を解決するための手段】
【００１４】
本発明では上記課題を解決するために、固体撮像素子を用いて被写体を撮像する撮像装置において、シャッタを開いた通常撮像により撮像されてデジタルデータ化された第１の画像データから、前記通常撮像の直前または直後に前記通常撮像と同じ露光条件でシャッタを閉じて撮像され、デジタルデータ化された第２の画像データを減算する演算手段と、撮像画像上に輝点を生成する高レベルのノイズである輝点ノイズの前記第２の画像データにおける発生位置を検出する輝点位置検出手段と、前記演算手段からの出力データについて、前記輝点位置検出手段によって検出された前記輝点ノイズの発生位置に対応する画素のデータを補正するノイズ補正手段と、を有し、前記演算手段は、前記第１の画像データから前記第２の画像データを減算する減算部と、前記減算部からの出力信号に対してオフセット信号を加算する加算部と、前記加算部からの出力信号レベルを制限するリミッタと、を備えたことを特徴とする撮像装置が提供される。
【００１５】
このような撮像装置では、演算手段は、シャッタを開いた通常撮像による第１の画像データから、通常撮像の直前または直後に通常撮像と同じ露光条件でシャッタを閉じて撮像され生成された第２の画像データを減算する。輝点位置検出手段は、輝点ノイズの第２の画像データにおける発生位置を検出する。ノイズ補正手段は、演算手段からの出力データについて、輝点位置検出手段によって検出された輝点ノイズの発生位置に対応する画素のデータを補正する。従って、演算手段からの出力データにおける輝点ノイズの発生位置を容易かつ正確に検出し、補正することができる。また、演算手段では、減算部が、第１の画像データから第２の画像データを減算し、加算部が、減算部からの出力信号に対してオフセット信号を加算し、リミッタが、加算部からの出力信号レベルを制限することで、画像信号のビット幅が変化することなく、固定パターンノイズが除去される。
【００１６】
また、本発明では、固体撮像素子を用いて被写体を撮像する際に発生するノイズを除去するためのノイズ除去方法において、シャッタを開いた通常撮像により撮像してデジタルデータ化した第１の画像データから、前記通常撮像の直前または直後に前記通常撮像と同じ露光条件でシャッタを閉じて撮像し、デジタルデータ化した第２の画像データを減算し、その減算結果に対してオフセット信号を加算し、さらにその加算結果の出力レベルを制限する演算処理を実行し、撮像画像上に輝点を生成する高レベルのノイズである輝点ノイズの前記第２の画像データにおける発生位置を検出し、前記減算による結果のデータについて、検出された前記輝点ノイズの発生位置に対応する画素のデータを補正する、ことを特徴とするノイズ除去方法が提供される。
【００１７】
このようなノイズ除去方法では、シャッタを開いた通常撮像の直前または直後に通常撮像と同じ露光条件でシャッタを閉じて撮像され生成された第２の画像データから、輝点ノイズの発生位置を検出する。そして、通常撮像による第１の画像データから第２の画像データを減算し、その減算結果に対してオフセット信号を加算し、さらにその加算結果の出力レベルを制限する演算処理によって得た画像データについて、検出された輝点ノイズの発生位置に対応する画素のデータを補正する。従って、減算によって得られた画像データにおける輝点ノイズの発生位置を容易かつ正確に検出し、補正することができる。また、上記の演算処理により、画像信号のビット幅が変化することなく、固定パターンノイズが除去される。
【発明の効果】
【００１８】
本発明の撮像装置では、輝点位置検出手段により、シャッタを開いた通常撮像の直前または直後に通常撮像と同じ露光条件でシャッタを閉じて撮像され生成された第２の画像データから、輝点ノイズの発生位置が検出される。そして、ノイズ補正手段により、通常撮像による第１の画像データから第２の画像データを減算して得たデータについて、検出された輝点ノイズの発生位置に対応する画素のデータが補正される。従って、演算手段からの出力データにおける輝点ノイズの発生位置を容易かつ正確に検出し、補正することができるので、輝点ノイズを除去して撮像画像の品質を高めることが可能となる。さらに、演算手段を、減算部が第１の画像データから第２の画像データを減算し、加算部がその減算部からの出力信号に対してオフセット信号を加算し、リミッタが加算部からの出力信号レベルを制限する構成としたことで、画像信号のビット幅を変化させることなく、固定パターンノイズを除去できる。
【００１９】
また、本発明のノイズ除去方法では、シャッタを開いた通常撮像の直前または直後に通常撮像と同じ露光条件でシャッタを閉じて撮像され生成された第２の画像データから、輝点ノイズの発生位置が検出される。そして、通常撮像による第１の画像データから第２の画像データを減算し、その減算結果に対してオフセット信号を加算し、さらにその加算結果の出力レベルを制限する演算処理によって得たデータについて、検出された輝点ノイズの発生位置に対応する画素のデータが補正される。従って、減算によって得られた画像データにおける輝点ノイズの発生位置を容易かつ正確に検出し、補正することができるので、輝点ノイズを除去して撮像画像の品質を高めることが可能となる。さらに、上記の演算処理により、画像信号のビット幅を変化させることなく、固定パターンノイズを除去できる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の撮像装置の構成例を示すブロック図である。
図１に示す撮像装置１は、被写体を撮像してデジタルの画像データを生成するための装置であり、被写体からの光に対するレンズ２ａ、アイリス２ｂおよびシャッタ２ｃと、この光を光電変換する撮像素子３と、撮像素子３からのアナログ画像信号をドライブするアンプ４と、アナログ画像信号のデジタルデータ化等の処理を行うフロントエンド５と、デジタルデータ化された画像信号に対するノイズ低減処理や色信号処理等を行うカメラシステムＬＳＩ６と、カメラシステムＬＳＩ６からの出力画像信号を記憶する画像メモリ７と、撮像素子３を駆動するＴＧ（Timing Generator）８と、装置全体を制御するマイコン９によって構成される。
【００２１】
レンズ２ａは、光軸に沿って可動となっており、被写体からの光を撮像素子３に正しく集光する。アイリス２ｂは、集光された光が透過する面積を変化させて、撮像素子３に供給される光量を制御する。シャッタ２ｃは、光の透過を遮断することにより撮像素子３における露光を制御する。なお、シャッタ２ｃの機能をアイリス２ｂが兼ねている場合もある。これらのレンズ２ａ、アイリス２ｂおよびシャッタ２ｃの動作は、マイコン９によって制御される。
【００２２】
撮像素子３は、例えばＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子が多数集積されて構成され、被写体からの光を電気信号に変換して、電流値または電圧値として出力する。アンプ４は、撮像素子３の出力信号をドライブして、アナログ画像信号としてフロントエンド５に供給する。
【００２３】
フロントエンド５は、Ｓ／Ｈ（Sample／Hold）・ＧＣ（Gain Control）回路５ａと、Ａ／Ｄ変換回路５ｂによって構成される。Ｓ／Ｈ・ＧＣ回路５ａは、アンプ４を介して供給されたアナログ画像信号に対して、相関２重サンプリング処理によっていわゆる１／Ｆ揺らぎノイズ等のノイズ除去処理を行い、さらに必要に応じてゲイン調整を行う。Ａ／Ｄ変換回路５ｂは、Ｓ／Ｈ・ＧＣ回路５ａからの信号をデジタル画像信号に変換して、カメラシステムＬＳＩ６に対して供給する。
【００２４】
カメラシステムＬＳＩ６は、フロントエンド５からの画像信号に対するノイズ除去処理等の前処理を行う前処理回路６ａと、色信号処理等の本処理を行う本処理回路６ｂと、画像メモリ７に対する画像信号の書き込み、読み出しを制御するメモリコントローラ６ｃと、各部に対するタイミング信号を発生させるタイミング発生回路６ｄを具備する。
【００２５】
前処理回路６ａは、画像メモリ７から読み出された画像信号を演算して、撮像素子３等により発生されるノイズ等を除去する処理を行う。ここでは、後述するように、シャッタを開いた通常撮像による画像信号と、シャッタを閉じて撮像した画像信号との減算処理を行った後、さらに暗信号による高レベルのノイズ（輝点ノイズ）の発生のために撮像画像上に現れる色の濃い画素（黒点）を補正する処理を行う。
【００２６】
本処理回路６ｂは、画像メモリ７から読み出されたＲ／Ｇ／Ｂ（Red／Green／Blue）原色信号を、輝度信号（Ｙ）と２つの色差信号（Ｃｂ／Ｃｒ）によるＹ色差信号に変換する他、画素の補間や周波数特性の補正、Ｙ信号のマトリクスや色差マトリクスの演算等の処理を行う。
【００２７】
メモリコントローラ６ｃは、供給された画像信号のバッファや、画像メモリ７に対するアドレッシングを行い、マイコン９による制御に応じて、指定された画像メモリ７上の領域に画像信号を格納するとともに、前処理回路６ａや本処理回路６ｂに対して、指定された領域の画像信号を読み出して出力する。
【００２８】
タイミング発生回路６ｄは、フロントエンド５やカメラシステムＬＳＩ６、ＴＧ８等の動作基準となるタイミング信号を発生させる。
画像メモリ７は、例えばＤＲＡＭ（Dynamic Random Access Memory）あるいはＳＤＲＡＭ（Synchronous−ＤＲＡＭ）等の半導体メモリ等であり、フロントエンド５や前処理回路６ａ、本処理回路６ｂからのデジタルの画像信号を一時的に記憶する。
【００２９】
ＴＧ８は、撮像素子３における水平方向、垂直方向の駆動タイミングを制御する。また、撮像素子３が高速／低速電子シャッタ機能を具備する場合、この機能に対する露光時間制御を行う。
【００３０】
マイコン９は、撮像装置１全体の制御をつかさどる。例えば、アイリス２ｂによる露光量制御、シャッタ２ｃに対する開閉制御による露光時間制御、フロントエンド５のＳ／Ｈ・ＧＣ回路５ａにおけるゲイン制御、カメラシステムＬＳＩ６に対する動作制御、ＴＧ８による撮像素子３の電子シャッタ機能の制御等を行う。また、これらの制御により、シャッタ２ｃを開いた通常撮像動作と、この直後に行うシャッタ２ｃを閉じた撮像動作の制御、およびこれらの動作に伴うカメラシステムＬＳＩ６における演算、画像補正処理の制御や画像メモリ７の読み出し、書き込み制御等を行う。
【００３１】
ところで、この撮像装置１において使用されている撮像素子３では、出力される画像信号に、撮像素子３で発生される暗信号によるノイズや、周囲の回路基板等で発生されるノイズが混在していることが多い。また、暗信号の発生量は露光時間や温度に依存し、長時間露光や高温環境下において使用された場合には、高レベルのノイズによって、撮像画面上に輝点が目立って現れるようになる。
【００３２】
このような様々なノイズを除去するために、撮像装置１では、シャッタ２ｃを開いて撮像する通常撮像動作の際に、その直後に露光量等の撮像条件を変えずにシャッタ２ｃのみ閉じた状態で撮像を行う。そして、生成された２つの画像信号を用いて、カメラシステムＬＳＩ６により上記のノイズを低減し、画質を補正する処理を行う。
【００３３】
以下、撮像装置１における撮像時の動作を説明する。
使用者の操作入力等による撮像開始の要求を受けると、マイコン９の制御により、アイリス２ｂによる絞り量やシャッタ２ｃの開閉スピードが調節されて、被写体からの光が撮像素子３に入射する。撮像素子３は、ＴＧ８による駆動タイミング制御のもとで入射光を光電変換して、画像信号Ａ１を出力する。
【００３４】
画像信号Ａ１は、アンプ４を介してフロントエンド５に供給される。フロントエンド５は、Ｓ／Ｈ・ＧＣ回路５ａにおいて、入力された画像信号Ａ１に相関２重サンプリング処理を行い、Ａ／Ｄ変換回路５ｂにおいて、画像信号Ａ１をデジタル信号に変換する。デジタル信号に変換された画像信号Ａ２は、カメラシステムＬＳＩ６に供給され、カメラシステムＬＳＩ６は、メモリコントローラ６ｃを介して、入力された画像信号Ａ２を画像メモリ７に一旦格納する。
【００３５】
続いて、マイコン９からの命令により、アイリス２ｂやＴＧ８、フロントエンド５におけるゲイン制御等の撮像条件が変えられないまま、シャッタ２ｃが閉じられる。撮像素子３は、入射光が完全に遮断された状態の画像信号Ｂ１を出力する。撮像素子３からの画像信号Ｂ１は、アンプ４を介してフロントエンド５に送られる。フロントエンド５は、マイコン９からの命令により、この画像信号Ｂ１をサンプリングして、デジタル信号の画像信号Ｂ２に変換し、カメラシステムＬＳＩ６に供給する。カメラシステムＬＳＩ６は、入力された画像信号Ｂ２を、メモリコントローラ６ｃを介して、画像メモリ７内の画像信号Ａ２とは別の領域に格納する。
【００３６】
次に、カメラシステムＬＳＩ６は、画像信号Ａ２およびＢ２を画像メモリ７から読み出して、前処理回路６ａに供給する。前処理回路６ａは、画像信号Ａ２から画像信号Ｂ２を減算し、これにより出力された画像信号Ｃ１に対して、暗信号による輝点ノイズによって生じた画像上の黒点を補正する処理を行う。画質が補正された画像信号Ｃ２は、メモリコントローラ６ｃを介して再び画像メモリ７に格納される。
【００３７】
次に、マイコン９の制御に基づいて、画像信号Ｃ２が画像メモリ７から読み出され、本処理回路６ｂに供給される。本処理回路６ｂは、例えばＲ／Ｇ／Ｂの各画素のレベル値等によって構成される画像信号Ｃ２に対して、画質を向上させるための補間処理や周波数特性補正、色補正、γ補正等の処理を行い、輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）よりなる一般的な画像のデータフォーマットに変換する。変換された画像信号Ｄは、メモリコントローラ６ｃを介して画像メモリ７に格納される。
【００３８】
次に、カメラシステムＬＳＩ６内の前処理回路６ａにおける処理について詳述する。図２は、前処理回路６ａの内部構成例を示す図である。
図２に示すように、前処理回路６ａは、画像信号Ａ２における各画素の信号から、画像信号Ｂ２の対応する画素の信号を減算する演算回路６１と、画像信号Ｂ２から輝点の位置を検出する輝点検出回路６２と、輝点検出回路６２における検出結果に基づいて、演算回路６１から出力される画像信号Ｃ１における黒点の画素の信号を補正する黒点補正回路６３によって構成される。
【００３９】
メモリコントローラ６ｃによって画像メモリ７から読み出された画像信号Ａ２は、演算回路６１に供給され、また、画像信号Ｂ２は演算回路６１とともに輝点検出回路６２にも供給される。演算回路６１は、画像信号Ａ２から、対応する各画素について画像信号Ｂ２を順次減算することによって、固定パターンノイズの成分のみ除去した画像信号Ｃ１を出力する。このとき、画像信号Ｃ１には輝点ノイズによる影響を完全に除去できない場合があり、この場合は黒点ノイズが残留する。
【００４０】
輝点検出回路６２は、供給された画像信号Ｂ２から、後述するようにあらかじめ設定された信号レベルＬを基にして、輝点ノイズの発生していた画素の位置を検出してタイミングパルスＴ１を出力する。黒点補正回路６３は、演算回路６１から出力された画像信号Ｃ１に対して、輝点検出回路６２からのタイミングパルスＴ１に基づいて黒点ノイズのある画素の位置を判断し、この画素を近傍の同色画素の信号を用いて補正する。
【００４１】
ここで、各部における信号波形例を示し、黒点の補正処理について詳述する。図３は、演算回路６１に入力される画像信号Ａ２およびＢ２の各信号波形の例を示す図である。
図３（Ａ）は、通常撮像動作により撮像され、デジタルデータ化された画像信号Ａ２の波形例を示している。この信号は、被写体による映像情報に加えて、撮像素子３より発生される暗信号によるノイズや、周囲の回路基板上等で発生されるノイズ等による固定パターンノイズの成分を含んでいる。固定パターンノイズのレベルによっては、信号に直流的なオフセットが生じる場合があるが、画像信号Ａ２にもオフセットが生じている。また、暗信号によるノイズとして、撮像素子３の構造欠陥や製造ばらつき等のために大量の電荷が発生し、これにより撮像画像上に輝点を生成してしまう輝点ノイズＮ１〜Ｎ７が含まれている。
【００４２】
また、図３では、フロントエンド５のＡ／Ｄ変換回路５ｂにおいて変換可能なレンジの最大値をＲとして点線で表している。Ａ／Ｄ変換回路５ｂは、このレンジＲより高い信号レベルを有する画素に対しては、すべてフルスケールの同じ値としてデジタルデータ化する。
【００４３】
図３（Ａ）の信号波形では、撮像素子３から出力された画像信号Ａ１については、輝点ノイズＮ１、Ｎ２およびＮ３の実際の信号レベルがレンジＲを超えており、デジタル変換された画像信号Ａ２については、この輝点ノイズＮ１、Ｎ２およびＮ３のレベルがレンジＲ内でフルスケールに貼り付いた状態であることが示されている。すなわち、デジタル変換された画像信号Ａ２では、輝点ノイズＮ１、Ｎ２およびＮ３については実際に発生した信号レベルが反映されていない。
【００４４】
一方、図３（Ｂ）は、通常撮像の直後にシャッタを閉じて撮像され、デジタルデータ化された画像信号Ｂ２の信号波形例を示している。この画像信号Ｂ２は、被写体による映像信号を含んでおらず、撮像素子３による暗信号のノイズや回路基板上等で発生されるノイズ、直流的なオフセット等の固定パターンノイズ、および輝点ノイズＮ１〜Ｎ７によるノイズ成分のみを含んでいる。なお、図３（Ｂ）では、図３（Ａ）の信号波形例に対応する輝点ノイズには、同一の記号を付している。
【００４５】
ここで、撮像素子３において発生される暗信号の発生量は、露光時間等の撮像条件や、温度等の環境条件が同一ならば一定となることが知られている。従って、画像信号Ａ２の撮像の直後にシャッタ２ｃを閉じて撮像した画像信号Ｂ２では、画像信号Ａ２ではレンジＲ内でフルスケールに貼り付いてしまった輝点ノイズＮ１、Ｎ２およびＮ３の信号レベルについて、本来発生された信号レベルが再現されている。
【００４６】
演算回路６１は、画像信号Ａ２から、対応する各画素について画像信号Ｂ２を順次減算することによって、固定パターンノイズの成分のみ除去した画像信号Ｃ１を出力する。また、この演算回路６１では、元の信号レベルがレンジＲより低かった輝点ノイズＮ４、Ｎ５、Ｎ６およびＮ７も除去される。しかし、画像信号Ａ２において本来の信号レベルが反映されていない輝点ノイズＮ１、Ｎ２およびＮ３については、画像信号Ａ２およびＢ２の間で信号レベルに差が生じていることから、画像信号Ｃ１では逆に、その画素のみ信号レベルが極端に低い黒点ノイズＮ１１、Ｎ１２およびＮ１３となって現れてしまう。
【００４７】
この黒点ノイズＮ１１、Ｎ１２およびＮ１３の除去のために、まず輝点検出回路６２は、画像信号Ｂ２から輝点ノイズＮ１、Ｎ２およびＮ３の発生位置を検出し、この位置においてタイミングパルスＴ１を出力する。ここで、図４は、画像信号Ｂ２とタイミングパルスＴ１との関係を説明するための図である。
【００４８】
上述したように、画像信号Ｂ２には、ノイズ成分の信号レベルが正確に反映されている。また、図４（Ａ）に示すように、画像信号Ｂ２は、シャッタ２ｃを閉じて入射光を遮断した状態で撮像され、被写体の映像成分を含まないことから、輝点ノイズＮ１〜Ｎ７だけを分離しやすい信号形態となっている。
【００４９】
そこで、輝点検出回路６２は、画像信号Ｂ２を使用して輝点ノイズＮ１〜Ｎ７が現れる画素の位置を検出する。輝点ノイズＮ１〜Ｎ７は、他のノイズと比較して極端に信号レベルが高くなっていることから、輝点検出回路６２では、輝点ノイズＮ１〜Ｎ７の検出のためのしきい値となる信号レベルＬを任意に設定する。そして、図４（Ｂ）に示すように、画像信号Ｂ２の各画素の信号レベルとこの信号レベルＬとを比較し、信号レベルＬに達した場合にタイミングパルスＴ１を出力することにより、輝点ノイズＮ１〜Ｎ７の位置を検出する。
【００５０】
次に、図５に、黒点ノイズの補正について説明するための波形例を示す。
図５（Ａ）は、演算回路６１から出力された画像信号Ｃ１の波形例を示している。この画像信号Ｃ１では、上述したように、画像信号Ａ２において信号レベルがレンジＲ内にフルスケールに貼り付いた輝点ノイズＮ１、Ｎ２およびＮ３に対応する画素において、黒点ノイズＮ１１、Ｎ１２およびＮ１３が現れている。
【００５１】
黒点補正回路６３は、演算回路６１からの画像信号Ｃ１の入力を順次受け、輝点検出回路６２からのタイミングパルスＴ１を受信すると、このときに入力された画像信号Ｃ１における画素の信号を、近傍の画素の信号を使用して補正する。具体的には、例えば、該当する画素の信号を、隣接する前後いずれかの同色画素の信号に置き換える。あるいは、隣接する前後２つの同色画素の信号を平均し、該当する画素の信号をこの平均値で置き換える。このような画素の補正処理によって、撮像画像上では、黒く穴の空いた黒点の画素が、近傍の色で埋められて目立たなくなり、画質の劣化が防止される。
【００５２】
次に、前処理回路６ａにおける各部の内部構成例について説明する。まず、図６は、演算回路６１についての第１の内部構成例を示す図である。
図６に示すように、演算回路６１は、減算回路６１１のみによって構成される。減算回路６１１は、入力された画像信号Ａ２から画像信号Ｂ２を減算した画像信号Ｃ１を出力する。
【００５３】
この第１の内部構成例の場合、例えば、入力された信号がともに符号なしの１０ビットのデータであると、演算結果は符号付き１０ビットのデータとなり、ビット幅が１ビット分増加してしまう。具体的には、例えば、減算の結果には不規則なノイズ等によって負の信号が発生する場合があるが、ビット幅を変化させないために負の信号を取り除いてしまうと、黒色付近のノイズが半波整流されることになり、黒色付近の平均直流レベルまたは平均電圧レベルが変化してしまう。
【００５４】
これに対して、次に、このような画像信号のビット幅を変化させることを防止した内部構成例について説明する。図７は、演算回路６１の第２の内部構成例を示す図である。なお、図７では、図６に示した第１の内部構成例と同じ構成を有する機能ブロックには同一の符号を付している。
【００５５】
図７に示す演算回路６１ａは、上記の減算回路６１１に加えて、オフセット加算用の加算回路６１２と、信号レベルを制限するリミッタ６１３によって構成される。加算回路６１２は、減算回路６１１からの出力信号Ｘに含まれる負のノイズ成分を、十分に伝送可能な程度の直流信号レベルを有するオフセット信号Ｏを加算する。また、リミッタ６１３は、加算回路６１２によってオフセットされた出力信号Ｙが元のビット幅を保つように、この信号レベルを制限する。
【００５６】
ここで、図８は、演算回路６１ａにおける各部の信号レベルを１０ビットのデジタルデータを例として説明するための図である。なお、図８では、輝点ノイズ等の細かいノイズ成分の波形については、説明を簡略化するために省略している。
【００５７】
図８において、減算回路６１１に入力される画像信号Ａ２およびＢ２に対して、固定パターンノイズが除去された減算回路６１１からの出力信号Ｘは、負のノイズ成分を含む場合がある。また、加算回路６１２からの出力信号Ｙには、上記の出力信号Ｘに例として「３２」のデータのオフセットが加えられている。その結果、出力信号Ｙは符号付き１１ビットのデータとなり、リミッタ６１３において、負の信号レベルは「０」に、また１０ビットデータの最大レンジ幅の値である「１０２３」を超えた信号レベルは「１０２３」とすることにより、出力される画像信号Ｃ１は符号なし１０ビットのデータとなる。
【００５８】
以上の第２の内部構成例では、固定パターンノイズが除去されて出力された出力信号Ｘを、限られたビット数で、画質に悪影響を与えずに伝送することが可能となる。
次に、輝点検出回路６２の内部構成例について説明する。図９は、輝点検出回路６２の第１の内部構成例を示す図である。
【００５９】
図９に示すように、輝点検出回路６２は、入力された画像信号Ｂ２の信号レベルを設定値と比較して、比較結果をタイミングパルスＴ１として出力する比較回路６２１によって構成される。比較基準となる信号レベルＬは、マイコン９により設定される。また、この信号レベルＬと比較して、画像信号Ｂ２の信号レベルの方が高い場合に、出力するタイミングパルスＴ１をＨレベルとする。
【００６０】
この第１の内部構成例では、画像信号Ｂ２の信号レベルが、設定された信号レベルＬを超えた場合に輝点ノイズの存在を検出し、タイミングパルスＴ１をＨレベルとすることにより、黒点補正回路６３にこれを通知する。しかし、このような内部構成では、入力される画像信号Ｂ２に含まれる直流的なオフセットの量が大きい場合、輝点ノイズのレベル判定に誤差が生じることがある。
【００６１】
ここで、図１０は、オフセットレベルの異なる２つの画像信号Ｂ２についての輝点ノイズ発生位置の検出の様子を示す図である。
図１０（Ａ）および（Ｂ）では、一例としてともに、画像信号Ｂ２が符号なし１０ビット、マイコン９より与えられる信号レベルＬの信号が符号なし１０ビットで、信号レベルＬの設定値が２５６とされている。また、これらの２つの画像信号Ｂ２と、それに対するタイミングパルスＴ１の出力の様子を併記している。
【００６２】
図１０（Ａ）の例では、輝点ノイズ検出の信号レベルＬの値に対して、６カ所の輝点ノイズが検出され、それぞれについてタイミングパルスＴ１がＨレベルとなっている。これに対して、図１０（Ｂ）の例では、図１０（Ａ）と比較して画像信号Ｂ２のオフセットレベルが高くなっている。このために、タイミングＴ１０１において発生している比較的レベルの低いノイズが信号レベルＬを超えており、このノイズを含む７カ所が輝点ノイズと判断されている。
【００６３】
このように、第１の内部構成例では、輝点検出回路６２に入力される画像信号Ｂ２に含まれるオフセットのレベルによって、輝点ノイズ検出に対する判定に誤差が生じる場合がある。例えば、露光時間が長くなったり、あるいは周囲の温度が高くなった場合には、このようなオフセットのレベルはさらに増加するため、検出の信号レベルＬの設定状況によってはすべての画素について輝点ノイズがあると判定してしまう恐れがある。
【００６４】
このような判定誤差を防止することが可能な内部構成の例を以下に示す。まず、図１１は、輝点検出回路６２の第２の内部構成例を示す図である。なお、図１１では、図９に示した第１の内部構成例と同じ構成を有する機能ブロックについては、同一の符号を付している。
【００６５】
図１１に示す輝点検出回路６２ａは、入力された画像信号Ｂ２を遅延させる遅延回路６２２と、遅延回路６２２からの出力信号をさらに遅延させる遅延回路６２３と、遅延回路６２３と画像信号Ｂ２の平均レベル値を演算する平均演算回路６２４と、遅延回路６２２の出力信号から平均演算回路６２４の出力信号を減算する減算回路６２５と、減算回路６２５からの出力信号に含まれる負成分を抑制するリミッタ６２６と、リミッタ６２６の出力信号から輝点ノイズを検出してタイミングパルスＴ１を出力する、第１の内部構成例と同様の比較回路６２１によって構成される。
【００６６】
遅延回路６２２および６２３は、例えばＤフリップフロップ等による遅延素子で構成され、遅延素子の段数は１段または２段となっている。従って、メモリコントローラ６ｃから供給される画像信号Ｂ２に対して、遅延回路６２２の出力信号は画素１つ分だけ遅延され、遅延回路６２３の出力信号はさらに画素１つ分だけ遅延される。これにより、輝点検出回路６２ａでは、遅延回路６２２からの出力信号を、輝点ノイズの検出対象の信号とし、遅延回路６２３からの出力信号より、検出対象の画素の１つ前の画素の信号を取り出し、遅延回路６２２に入力される画像信号Ｂ２より、１つ後ろの画素の信号を取り出している。
【００６７】
なお、遅延回路６２２および６２３における遅延素子の段数は、後述するように、撮像素子３における素子構成に応じて決定される。
平均演算回路６２４は、遅延回路６２３からの出力信号と、入力された画像信号Ｂ２との平均レベル値を算出する。これにより、検出対象の画素に隣接する前後の画素に対する信号レベルの平均値が求められる。減算回路６２５は、遅延回路６２２からの検出対象の信号から、平均演算回路６２４からの信号を減算する。これにより、検出対象の画素と、これに隣接する両側の画素の平均信号レベルとの差が出力される。
【００６８】
リミッタ６２６は、減算回路６２５における演算によって発生された負の信号をキャンセルして、この信号レベルを「０」にして出力する。これにより、負の信号の発生によるデータのビット幅が増大することを防ぐ。そして、この出力信号が比較回路６２１に入力され、検出基準の信号レベルＬとの比較により、タイミングパルスＴ１が出力される。
【００６９】
ここで、図１２は、第２の内部構成例における比較回路６２１での輝点ノイズ検出と、タイミングパルスＴ１の出力との関係を示す図である。
図１２では、一例として、比較回路６２１に対する入力信号Ｓが符号なし１０ビット、マイコン９より与えられる信号レベルＬの信号が符号なし１０ビットで、信号レベルＬの設定値が１２８とされている。入力信号Ｓは、検出対象の画素と、これに隣接する両側の画素の平均信号レベルとの差信号から、負の信号が除去されたものとなっている。このため、例えば図１０（Ａ）および（Ｂ）のように、輝点検出回路６２に入力される画像信号Ｂがどのようなオフセットレベルを有していても、比較回路６２１への入力信号Ｓは、このオフセット成分が除去された状態となる。
【００７０】
従って、この入力信号Ｓを使用して検出基準の信号レベルＬとの比較を行うことにより、オフセットによる輝点ノイズの誤検出を防止するために、検出基準の信号レベルＬを高く設定する必要がなくなり、オフセットレベルに関係なく輝点ノイズの検出を正確に行うことができる。
【００７１】
なお、以上の第２の内部構成例では、検出対象の画素に隣接する両側の画素を使用して、その平均レベルを対象画素から減算したが、隣接する片側一方の画素のレベルを使用しても、上記と同様の効果を得ることができる。以下、このような輝点検出回路６２の内部構成の例について述べる。
【００７２】
図１３は、輝点検出回路６２の第３および第４の内部構成例を示す図である。なお、図１３では、図９および図１１に示した第１および第２の内部構成例と同じ構成を有する機能ブロックについては、同一の符号を付している。
【００７３】
図１３（Ａ）では、第３の内部構成例として、対象画素と、これに隣接する前の画素との差分を使用して輝点ノイズを検出する輝点検出回路６２ｂを示している。この輝点検出回路６２ｂは、入力された画像信号Ｂ２を遅延させる遅延回路６２７と、画像信号Ｂ２から遅延回路６２７の出力信号を減算する減算回路６２５と、この出力信号から負の成分を除去するリミッタ６２６と、輝点ノイズの検出を行う比較回路６２１によって構成される。
【００７４】
遅延回路６２７は、Ｄフリップフロップ等の遅延素子を１段または２段具備し、入力された画像信号Ｂ２を１画素分だけ遅延させる。従って、減算回路６２５では、検出対象の信号から、遅延回路６２７からの１つ分だけ前（通常は左側）の画素の信号が減算され、この出力信号がリミッタ６２６を介して比較回路６２１に供給される。
【００７５】
また、図１３（Ｂ）では、第４の内部構成例として、対象画素と、これに隣接する後ろの画素との差分を使用して輝点ノイズを検出する輝点検出回路６２ｃを示している。この輝点検出回路６２ｃは、入力された画像信号Ｂ２を遅延させる遅延回路６２８と、遅延回路６２８からの出力信号から、入力されている画像信号Ｂ２を減算する減算回路６２５と、この出力信号から負の成分を除去するリミッタ６２６と、輝点ノイズの検出を行う比較回路６２１によって構成される。
【００７６】
この輝点検出回路６２ｃでは、遅延回路６２８によって１画素分遅延された信号が、輝点ノイズの検出対象となる。従って、減算回路６２５では、検出対象の信号から、これより１つ分だけ後ろ（通常は右側）の画素の信号が減算され、この出力信号がリミッタ６２６を介して比較回路６２１に供給される。
【００７７】
以上の第３および第４の内部構成例では、検出対象の画素の信号から、隣接する画素の信号の差分を使用して、信号レベルの比較を行うので、入力される画像信号Ｂ２の有するオフセットレベルに関係なく、輝点ノイズの検出を正確に行うことができる。
【００７８】
なお、第２および第４の内部構成例では、検出対象とする信号に対して、これより１画素分だけ後ろの信号を使用することから、出力されるタイミングパルスＴ１は、画像信号Ｂ２に対して１画素分だけ遅延していることになる。このため、第２および第４の内部構成例をとる場合には、演算回路６１に対する画像信号Ａ２およびＢ２の入力段、あるいは演算回路６１と黒点補正回路６３との間に、１画素分の遅延回路が設けられる。
【００７９】
次に、黒点補正回路６３の内部構成例について説明する。図１４は、黒点補正回路６３の第１の内部構成例を示す図である。
図１４に示す黒点補正回路６３は、演算回路６１から出力された画像信号Ｃ１を遅延させる遅延回路６３１と、遅延回路６３１からの出力信号をさらに遅延させる遅延回路６３２と、遅延回路６３２からの出力信号と、入力された画像信号Ｃ１との平均値を算出する平均演算回路６３３と、輝点検出回路６２からのタイミングパルスＴ１を遅延させたタイミングパルスＴ２を出力する遅延回路６３４と、遅延回路６３４からのタイミングパルスＴ２に応じて、遅延回路６３１からの出力信号と平均演算回路６３３からの出力信号とを切り換えて、画像信号Ｃ２としてメモリコントローラ６ｃに出力するセレクタ６３５によって構成される。
【００８０】
黒点補正回路６３に入力される画像信号Ｃ１は、固定パターンノイズが除去されたものの、黒点ノイズを含んでいる可能性があるものである。遅延回路６３１は、その画像信号Ｃ１を同色の１画素分だけ遅延させる。この信号は、黒点補正対象の画素を示す画像信号Ｃ３として、セレクタ６３５の一方の入力に導かれる。また、遅延回路６３２は、遅延回路６３１からの出力信号に対して、さらに、同色の１画素分だけ遅延させて、平均演算回路６３３に供給する。従って、平均演算回路６３３は、遅延回路６３１からの出力信号における各画素に対して、この画素に隣接する前後の画素のデータの平均値を算出して、これを黒点補正のための画像信号Ｃ４としてセレクタ６３５の他方の入力に供給する。
【００８１】
遅延回路６３４は、遅延回路６３１によって黒点補正対象の画像信号Ｃ３が遅延されたことに鑑み、この画像信号Ｃ３にタイミングパルスＴ１の位相を合わせるために、このタイミングパルスＴ１を遅延させたタイミングパルスＴ２をセレクタ６３５に対して供給する。セレクタ６３５は、入力されたタイミングパルスＴ２がＬレベルのとき、遅延回路６３１からの画像信号Ｃ３を出力し、Ｈレベルのときに平均演算回路６３３からの画像信号Ｃ４を出力する。
【００８２】
ここで、図１５に、セレクタ６３５における入出力信号の様子を示す。
図１５（Ａ）に示すタイミングパルスＴ２は、輝点ノイズが発生している画素を示している。また、遅延回路６３１からの画像信号Ｃ３は、固定パターンノイズが除去され、黒点ノイズを含む可能性のある画像信号Ｃ１が、単に遅延されたものである。例として図１５（Ｂ）に示した画像信号Ｃ３では、黒点ノイズＮ１１、Ｎ１２およびＮ１３が含まれている。また、黒点ノイズは、輝点ノイズが発生していた画素にのみ現れる。
【００８３】
従って、セレクタ６３５では、遅延回路６３１からの画像信号Ｃ３のうち、黒点ノイズが存在する可能性のある画素が供給されたタイミングにおいてのみ、平均演算回路６３３からの画像信号Ｃ４を出力する。このようにして出力された画像信号Ｃ２を、図１５（Ｃ）に示す。
【００８４】
ところで、黒点ノイズが存在する画素では、その色成分のレベルが近傍の画素より極端に低くなっている。このため、平均演算回路６３３では、黒点補正の対象画素に隣接する前後の画素の信号に対してその平均値が出力され、セレクタ６３５では、この画像信号Ｃ４が黒点ノイズの発生位置の画素と置き換えられる。これによって、撮像画像上では、黒点ノイズの発生していた画素が近傍の画素の色となだらかにつなげられて、黒点が目立たなくなり、画質が改善される。
【００８５】
以上の黒点補正回路６３では、黒点補正対象の画素に隣接する前後の同色画素の信号の平均値を使用して、黒点ノイズの存在する画素の信号を置き換えて補正したが、例えば、黒点ノイズの存在する画素を、この画素に隣接するいずれか一方のみの画素の信号に置き換えるようにしても、画質を向上させることができる。以下、このような黒点補正を行う黒点補正回路６３の内部構成例について述べる。
【００８６】
図１６は、黒点補正回路６３の第２および第３の内部構成例を示す図である。なお、図１６（Ａ）および（Ｂ）では、図１４に示した第１の内部構成例と同じ構成を有する機能ブロックについては、同一の符号を付している。
【００８７】
図１６（Ａ）では、第２の内部構成例として、黒点ノイズの存在する画素を、これに隣接する前の同色画素の信号に置き換えて補正を行う黒点補正回路６３ａを示している。この黒点補正回路６３ａは、入力された画像信号Ｃ１を遅延させる遅延回路６３６と、入力されたタイミングパルスＴ１がＬレベルのとき、画像信号Ｃ１を出力し、Ｈレベルのとき、遅延回路６３６からの出力信号を出力するセレクタ６３５によって構成される。
【００８８】
遅延回路６３６は、Ｄフリップフロップ等の遅延素子を１段または２段具備し、入力された画像信号Ｃ１を、同色の１画素分だけ遅延させる。従って、セレクタ６３５には、黒点補正対象の画像信号Ｃ１と、遅延回路６３６からの１つ分だけ前（通常は左側）の同色画素の信号とが供給される。そして、タイミングパルスＴ１に応じて、黒点ノイズを含む可能性のある画素の信号が、１つ分だけ前の画素の信号によって置き換えられる。
【００８９】
また、図１６（Ｂ）では、第３の内部構成例として、黒点ノイズの存在する画素を、これに隣接する後ろの同色画素の信号に置き換えて補正を行う黒点補正回路６３ｂを示している。この黒点補正回路６３ｂは、入力された画像信号Ｃ１を遅延させる遅延回路６３７と、入力されたタイミングパルスＴ１を遅延させる遅延回路６３４と、入力されたタイミングパルスＴ２がＬレベルのとき、遅延回路６３７からの出力信号を出力し、Ｈレベルのとき、画像信号Ｃ１を出力するセレクタ６３５によって構成される。
【００９０】
この黒点補正回路６３ｂでは、遅延回路６３７によって同色の１画素分遅延された信号が、黒点補正の対象となる。また、遅延回路６３４は、入力されたタイミングパルスＴ１を遅延させて、遅延回路６３７によって遅延された画像信号Ｃ３の位相に合わせたタイミングパルスＴ２を生成し、セレクタ６３５に供給する。従って、セレクタ６３５には、黒点補正対象の画像信号Ｃ１と、遅延回路６３７からの１つ分だけ後ろ（通常は右側）の同色画素の信号とが供給される。そして、タイミングパルスＴ２に応じて、黒点ノイズを含む可能性のある画素の信号が、１つ分だけ後ろの画素の信号によって置き換えられる。
【００９１】
以上の第２および第３の内部構成例では、黒点ノイズの存在する画素を、この画素に隣接するいずれか一方のみの画素の信号に置き換えるので、撮像画像の画質が向上する。ただし、隣接するいずれかの画素と同じ色で表示されるので、上述した第１の内部構成例によって補正された画像の方が、画質の補正による効果が大きい。しかし、第２および第３の内部構成例では、第１の内部構成例より回路構成が単純で、製造コストを抑制することができる。
【００９２】
ところで、以上の輝点検出回路６２および黒点補正回路６３の内部構成例において、入力された画像信号Ｂ２およびＣ１やタイミングパルスＴ１を遅延させる遅延回路については、これらが具備する遅延素子の段数は撮像素子３の構造によって異なる。これは、撮像素子３の構造によって、同色画素の配置間隔が異なるためである。
【００９３】
ここで、図１７に、撮像素子３の構造の違いによる画像信号中の画素配列の違いの例について示す。
白黒センサまたは３枚ＣＣＤでは、各素子から同色の信号のみが出力されるので、隣接する画素の信号が皆同色のものとなる。従って、図１７（Ａ）に示すように、遅延回路内の遅延素子を１段（１クロック分）とすることによって、隣接する同色画素１つ分の遅延を得ることが可能となる。
【００９４】
また、２×２または２×４のカラーフィルタアレイを具備する単板ＣＣＤのような場合は、隣接する画素の色情報がそれぞれ異なる。従って、図１７（Ｂ）に示すように、遅延回路内の遅延素子を２段（２クロック分）とすることによって、隣接する同色画素１つ分の遅延を得ることが可能となる。
【００９５】
以上の撮像装置１では、通常撮像の直後に撮像した画像信号Ｂ２を使用して、輝点ノイズの発生している画素を検出するので、黒点ノイズが発生している可能性のある画素の位置を、容易かつ正確に検出することができる。また、この検出に基づいて、黒点ノイズの発生の可能性のある画素について、近傍の画素のデータを使用してこれを補正するので、黒点となっていた画素が目立たなくなり、撮像画像の画質を容易に改善することが可能となる。
【００９６】
なお、以上の実施の形態例では、シャッタを閉じた状態の撮像は、通常撮像の直後に行っていたが、逆に、通常撮像の直前にシャッタを閉じた状態で撮像を行うようにしてもよい。この場合、マイコン９は、使用者の操作入力等による撮像開始の要求を受けると、アイリス２ｂやフロントエンド５、ＴＧ８における通常撮像のための設定を行い、まずシャッタ２ｃを閉じてフロントエンド５に画像信号をサンプリングさせ、続いてシャッタ２ｃを通常設定にして撮像させ、画像信号を生成させる。画像メモリ７には、まずシャッタを閉じた撮像による画像信号Ｂ２が記憶された後、通常撮像による画像信号Ａ２が記憶され、これらが同時に前処理回路６ａに出力される。
【００９７】
また、上記の実施の形態例では、通常撮像による画像信号Ａ２と、シャッタを閉じた撮像による画像信号Ｂ２の双方を、一旦画像メモリ７に記憶させてから、前処理回路６ａに出力していたが、これに限らず、例えば、一方の画像信号を画像メモリ７に記憶させた後、その後の他方の撮像を行った時点で、一方の画像信号を画像メモリ７から読み出し、双方を同時に前処理回路６ａに供給するような構成としてもよい。さらに、前処理回路６ａから出力された画像信号Ｃ２を一旦画像メモリ７に記憶せずに、直接本処理回路６ｂに供給する構成としてもよい。
【００９８】
このような構成とすることで、画像メモリ７へのアクセス回数や転送データ量が抑制されるので、撮像開始から最終的な画像信号の記憶までの時間が短縮されるとともに、消費電力を低減することができる。
【図面の簡単な説明】
【００９９】
【図１】本発明の撮像装置の構成例を示すブロック図である。
【図２】前処理回路の内部構成例を示す図である。
【図３】演算回路に入力される各画像信号の信号波形の例を示す図である。
【図４】シャッタを閉じて撮像された画像信号とタイミングパルスとの関係を説明するための図である。
【図５】黒点ノイズの補正について説明するための波形例を示す図である。
【図６】演算回路の第１の内部構成例を示す図である。
【図７】演算回路の第２の内部構成例を示す図である。
【図８】演算回路の第２の内部構成例における各部の信号レベルについて１０ビットのデジタルデータを例として説明するための図である。
【図９】輝点検出回路の第１の内部構成例を示す図である。
【図１０】輝点検出回路に対する、オフセットレベルの異なる２つの画像信号についての輝点ノイズ発生位置の検出の様子を示す図である。
【図１１】輝点検出回路の第２の内部構成例を示す図である。
【図１２】第２の内部構成例における比較回路での輝点ノイズ検出と、タイミングパルスの出力との関係を示す図である。
【図１３】輝点検出回路の第３および第４の内部構成例を示す図である。
【図１４】黒点補正回路の第１の内部構成例を示す図である。
【図１５】セレクタにおける入出力信号の様子を示す図である。
【図１６】黒点補正回路の第２および第３の内部構成例を示す図である。
【図１７】撮像素子の構造の違いによる画像信号中の画素配列の違いの例について示す図である。
【図１８】従来のノイズ低減方法において撮像される画像信号の波形例を示す図である。
【図１９】従来のノイズ低減方法において出力される画像信号の波形例を示す図である。
【符号の説明】
【０１００】
１……撮像装置、２ａ……レンズ、２ｂ……アイリス、２ｃ……シャッタ、３……撮像素子、４……アンプ、５……フロントエンド、５ａ……Ｓ／Ｈ・ＧＣ回路、５ｂ……Ａ／Ｄ変換回路、６……カメラシステムＬＳＩ、６ａ……前処理回路、６ｂ……本処理回路、６ｃ……メモリコントローラ、６ｄ……タイミング発生回路、７……画像メモリ、８……ＴＧ、９……マイコン、６１……演算回路、６２……輝点検出回路、６３……黒点補正回路
【図１】
0004501926.tif 000002
【図２】
0004501926.tif 000003
【図３】
0004501926.tif 000004
【図４】
0004501926.tif 000005
【図５】
0004501926.tif 000006
【図６】
0004501926.tif 000007
【図７】
0004501926.tif 000008
【図８】
0004501926.tif 000009
【図９】
0004501926.tif 000010
【図１０】
0004501926.tif 000011
【図１１】
0004501926.tif 000012
【図１２】
0004501926.tif 000013
【図１３】
0004501926.tif 000014
【図１４】
0004501926.tif 000015
【図１５】
0004501926.tif 000016
【図１６】
0004501926.tif 000017
【図１７】
0004501926.tif 000018
【図１８】
0004501926.tif 000019
【図１９】
0004501926.tif 000020