(57)【要約】【課題】撮像素子の経年変化により動作中に発生する画素欠陥を高精度に検出して画素欠陥の補正を行う画像信号処理装置を提供すること。【解決手段】画素欠陥検出部２は、フレーム内の各画素の信号レベルを２つの閾値Ｔ１，Ｔ２と比較して、あるいは周辺画素との信号レベル差を閾値Ｔ３と比較することで、画素欠陥が白キズか黒キズかを識別した画素欠陥検出信号を生成する。補正制御部４は、複数フレームに対する画素欠陥検出信号を比較し、複数フレームの同じ画素位置に同種の画素欠陥が存在している場合は真の画素欠陥と判定し、画素欠陥補正部５に対し画素欠陥の補正を指示する。【選択図】図１
2012227840.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から出力された画像データに含まれる画素欠陥を検出して補正する画像信号処理装置において、
入力する画像データからフレーム毎に画素欠陥を検出して画素欠陥検出信号を生成する画素欠陥検出部と、
該画素欠陥検出信号を用いて前記入力した画像データの画素欠陥を補正する画素欠陥補正部と、
前記画素欠陥検出部の検出した画素欠陥の真偽を判定し、真の画素欠陥の場合のみ前記画素欠陥補正部に対し補正を指示する補正制御部とを備え、
前記画素欠陥検出部は、フレーム内の各画素の信号レベルを２つの閾値Ｔ１，Ｔ２と比較して、あるいは周辺画素との信号レベル差を閾値Ｔ３と比較することで、画素欠陥が白キズか黒キズかを識別した画素欠陥検出信号を生成し、
前記補正制御部は、Ｎ個のフレーム（Ｎは２以上の整数）に対する画素欠陥検出信号を比較し、Ｎ個のフレームの同じ画素位置に同種の画素欠陥が存在している場合は真の画素欠陥と判定し、Ｎ個のフレームの中に他のフレームとは画素位置や欠陥の種類が異なる画素欠陥が存在する場合は偽の画素欠陥と判定することを特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
前記画素欠陥検出部の生成した（Ｎ−１）フレーム分の画素欠陥検出信号を記憶する検出結果格納メモリを有し、
前記補正制御部は、該検出結果格納メモリから出力される画素欠陥検出信号を用いて画素欠陥の真偽を判定することを特徴とする画像信号処理装置。
【請求項３】
請求項１に記載の画像信号処理装置において、
入力する画像データを（Ｎ−１）フレーム分記憶する画像メモリを有し、
前記画素欠陥検出部は、該画像メモリから出力される画像データから画素欠陥検出信号を生成することを特徴とする画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の経時変化等により動作中に発生する画素欠陥を精度良く検出し、画素欠陥の補正を行う画像信号処理装置に関する。
【背景技術】
【０００２】
撮像素子の画素欠陥としては、白色の被写体を撮像した時に黒レベルの出力信号を出力する黒キズと、黒色の被写体を撮像した時に白レベルの出力信号を出力する白キズとがある。欠陥画素の検出方法として、特許文献１には、検出対象画素信号とその左右に存在する複数の画素信号のレベルを比較し、そのレベル差が閾値を超えている場合は検出対象画素信号に対応する画素を欠陥候補画素とする方法が提案されている。また特許文献１には、欠陥候補画素信号とその周辺の画素信号の相関をとり、相関がない場合にこの欠陥候補画素を疑似欠陥画素であるとし、この疑似欠陥画素検出が所定数フレームに亙って全回検出されると、この疑似欠陥画素を真の欠陥画素とすることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６６１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１による検出方法は、左右の画素とのレベル差を基に欠陥検出を行っているため、例えば画像全体の輝度レベルが高いところに生じた白キズや、画像全体の輝度レベルが低いところに生じた黒キズなどを検出する場合、検出ミスが発生する恐れがある。すなわち、画像信号に輝度ノイズが存在し判定基準となる閾値が不適切な場合には、画素欠陥を見逃したり、誤って画素欠陥と判断したりする問題があった。
【０００５】
本発明の目的は、撮像素子の経年変化により動作中に発生する画素欠陥を高精度に検出して画素欠陥の補正を行う画像信号処理装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像信号処理装置は、入力する画像データからフレーム毎に画素欠陥を検出して画素欠陥検出信号を生成する画素欠陥検出部と、画素欠陥検出信号を用いて入力した画像データの画素欠陥を補正する画素欠陥補正部と、画素欠陥検出部の検出した画素欠陥の真偽を判定し、真の画素欠陥の場合のみ画素欠陥補正部に対し補正を指示する補正制御部とを備える。ここに画素欠陥検出部は、フレーム内の各画素の信号レベルを２つの閾値Ｔ１，Ｔ２と比較して、あるいは周辺画素との信号レベル差を閾値Ｔ３と比較することで、画素欠陥が白キズか黒キズかを識別した画素欠陥検出信号を生成する。補正制御部は、Ｎ個のフレーム（Ｎは２以上の整数）に対する画素欠陥検出信号を比較し、Ｎ個のフレームの同じ画素位置に同種の画素欠陥が存在している場合は真の画素欠陥と判定し、Ｎ個のフレームの中に他のフレームとは画素位置や欠陥の種類が異なる画素欠陥が存在する場合は偽の画素欠陥と判定する。
【発明の効果】
【０００７】
本発明によれば、画素欠陥を高精度に検出して好適に画素欠陥の補正を行う画像信号処理装置を実現することができる。
【図面の簡単な説明】
【０００８】
【図１】画像信号処理装置の第１の実施例を示すブロック構成図。
【図２】画像信号処理装置の第２の実施例を示すブロック構成図。
【図３】図１における画素欠陥補正動作を説明する図。
【図４】画像信号処理装置の第３の実施例を示すブロック構成図。
【図５】画像信号処理装置の第４の実施例を示すブロック構成図。
【図６】図４における画素欠陥補正動作を説明する図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１０】
図１は、本発明の画像信号処理装置の第１の実施例を示すブロック構成図である。
画像信号処理装置には、図示しない撮像素子により画像信号に変換された画像データが入力する。画素欠陥検出部２は、１フレームごとに画像データ中の画素欠陥を検出し、画素欠陥検出信号（以下、単に「欠陥検出信号」と呼ぶ）を生成する。なお、この段階で検出されるのは画素欠陥の可能性のある「画素欠陥候補」である。検出結果格納メモリ３は、画素欠陥検出部２からの欠陥検出信号を１フレーム分保持する。補正制御部４は、検出結果格納メモリ３からの１フレーム前の欠陥検出信号ｆ（ｎ−１）と画素欠陥検出部２からの現在のフレームに対する欠陥検出信号ｆ（ｎ）とを基に、真の画素欠陥を判定し、画素欠陥補正部５に対して補正の制御を行う。画素欠陥補正部５は、入力した画像データの画素欠陥を画素補間等により補正し、補正後の画像データを出力する。
【００１１】
入力画像データは、撮像素子の画素を水平方向に走査する水平同期信号と、垂直方向に走査する垂直同期信号とに従い、時系列順に入力される。このときの入力画像データは、ＮＴＳＣ信号のように１画素ごとに入力されるフォーマットでよく、また複数画素が同時に入力されるフォーマットであっても良い。
【００１２】
画素欠陥検出部２の動作について説明する。一般に画素欠陥とは、撮像素子により被写体の光が光電変換される際、入射光の明るさに対して画素出力信号が期待値通りに出力されず、画像化した際にエラーとして表示されてしまう画素のことを言う。出力信号の信号レベル（輝度レベル）が期待値より高く出力される画素であれば、グレーの被写体を撮影した際に白い点として表示され（以下「白キズ」と呼ぶ）、出力信号の信号レベルが期待値より低く出力される画素であれば、グレーの被写体を撮影した際に黒い点として表示される（以下「黒キズ」と呼ぶ）。画素欠陥検出部２は、次の方法で画素欠陥（白キズまたは黒キズ）を検出する。
【００１３】
〔検出法１〕撮像素子から入力される１フレームの画像データの各画素の信号レベルについて、予め定めた２つの閾値Ｔ１，Ｔ２（ただしＴ１＜Ｔ２）と比較する。そして、画素の信号レベルが閾値Ｔ１以下であった場合に黒キズとし、画素の信号レベルが閾値Ｔ２以上であった場合に白キズとすることで、画素欠陥か否かの検出と画素欠陥であった場合に白キズか黒キズかの検出を行うものとする。この方法では、信号レベルの比較回路が２つあればよく、少ない回路規模で画素欠陥をリアルタイムに検出できる。
【００１４】
〔検出法２〕撮像素子から入力される１フレームの画像データの各画素の信号レベルについて、注目している１画素とその周辺画素との信号レベル差が閾値Ｔ３以上となる画素を検出する。そして注目画素の信号レベルが周辺画素に対して低い場合を黒キズとし、注目画素の信号レベルが周辺画素に対して高い場合を白キズとすることで、画素欠陥か否かの検出と画素欠陥であった場合に白キズか黒キズかの検出を行うものとする。この方法では、画素欠陥のうち画像上でエラーとして見えやすい画素欠陥のみを画素欠陥としてリアルタイムで検出することで、被写体の明るさに起因する画素欠陥の誤判定を避けることができる。
【００１５】
上記方法で検出した画素欠陥は、白キズと黒キズに区別され、各画素位置に対して画素欠陥の有無を示す情報にまとめられ、欠陥検出信号ｆとして出力される。なお、この欠陥検出信号には誤って画素欠陥と検出されたものが含まれる可能性があり、ここで検出されるのは画素欠陥候補である。画素欠陥検出部２は、水平同期信号及び垂直同期信号により動作するので、欠陥検出信号の出力タイミングは撮像画像上の画素の位置と１対１に対応することになる。
【００１６】
次に検出結果格納メモリ３の動作について説明する。検出結果格納メモリ３は、画素欠陥検出部２で検出した画素欠陥候補の情報（欠陥検出信号ｆ）を１フレーム分記憶・保持する。検出結果格納メモリ３は、水平同期信号及び垂直同期信号により動作し、撮像画像上の画素位置に対応する欠陥検出信号を記憶する。画素欠陥検出部２から次フレームの画像データに対する欠陥検出信号ｆ（ｎ）を受け取ると、検出結果格納メモリ３は記憶していた前フレームの欠陥検出信号ｆ（ｎ−１）を出力すると同時に、新たに入力される欠陥検出信号ｆ（ｎ）を記憶する。
【００１７】
次に補正制御部４の動作について説明する。補正制御部４は、水平同期信号及び垂直同期信号により動作し、画素欠陥検出部２から出力される現在のフレームの画像データに対する欠陥検出信号ｆ（ｎ）と、検出結果格納メモリ３から出力される１フレーム前の欠陥検出信号ｆ（ｎ−１）とを入力する。２つの欠陥検出信号を比較し、検出された画素欠陥候補の真偽を判定して画素欠陥補正部５に対し補正指示信号を送る。
【００１８】
補正制御部４は、入力した２フレーム分の欠陥検出信号ｆ（ｎ）、ｆ（ｎ−１）を比較し、両方の欠陥検出信号において、同じ画素位置に同種の画素欠陥候補（白キズ同士、黒キズ同士）が存在している場合は、真の画素欠陥と判定し画素欠陥補正を行うよう画素欠陥補正部５に指示する。これに対し、一方の欠陥検出信号にのみ画素欠陥候補が存在している場合は、偽の画素欠陥と判定し画素欠陥補正を行わないよう画素欠陥補正部５に指示する。これは、撮影画像中の被写体が移動したり画像にノイズが重畳したりして、誤って画素欠陥として検出された可能性が高いからである。
【００１９】
次に画素欠陥補正部５の動作について説明する。画素欠陥補正部５は、補正制御部４から画素欠陥補正を行うように指示された場合のみ、入力画像データに対して画素欠陥補正を行い出力する。画素欠陥補正の方法としては、注目画素に対して周辺画素の平均値を補間するのが一般的であるが、直前のデータで置き換える前値保持、あるいは前後のデータによる平均値補間なども可能である。またそれ以外の方法として、所定のフィルタ処理により生成した画素信号で置き換えても良い。
【００２０】
図３は、本実施例における画素欠陥補正動作を説明する図である。ここでは、図に示すように、撮像素子から入力される２つの画像フレームＦ１，Ｆ２に白キズ１１，１２及び黒キズ２１，２２が存在し、白キズ１１，１２はその位置が固定しており、黒キズ２１，２２はその位置が移動している場合を想定する。
【００２１】
画素欠陥検出部２は、入力されるフレームＦ１の各画素に対して、閾値Ｔ１，Ｔ２とのレベル比較あるいは周辺画素とのレベル差比較（閾値Ｔ３）などの方法により画素欠陥を検出し、その検出結果から欠陥検出信号ｆ１を生成し検出結果格納メモリ３に記憶する。欠陥検出信号ｆ１は欠陥フラグｄで表わし、例えば白キズに対してはフラグｄ＝１、黒キズに対してはｄ＝−１、欠陥なしに対してはｄ＝０で与える。ここでは、白キズ１１の位置にフラグｄ＝１、黒キズ２１の位置にｄ＝−１が与えられる。続いて画素欠陥検出部２は、次に入力されるフレームＦ２に対しても同様の方法により画素欠陥を検出し、欠陥検出信号ｆ２を生成する。ここでは、白キズ１２の位置にフラグｄ＝１、黒キズ２２の位置にｄ＝−１が与えられる。画素欠陥候補の検出位置は、白キズ（フラグｄ＝１）とされた画素位置１１，１２は同一位置であり、黒キズ（フラグｄ＝−１）とされた画素位置２１，２２は異なる位置である。
【００２２】
補正制御部４は、フレームＦ１に対する欠陥検出信号ｆ１と、フレームＦ２に対する欠陥検出信号ｆ２を比較して、真の画素欠陥かどうかを判定する。そのため、２つの欠陥検出信号ｆ１，ｆ２において同種の画素欠陥として検出された画素の位置を比較する。そして、同種の画素欠陥候補とされた画素位置が同じ位置に存在すれば真の画素欠陥と判定し、同種の画素欠陥候補とされた画素位置が異なる位置に存在すれば偽の画素欠陥と判定する。これは、真の画素欠陥はフレームが変わっても同じ位置に検出されるはずであり、画素欠陥候補の位置がフレーム間でずれる場合は、画素欠陥に類似した被写体の一部である可能性が高いためである。この場合、フレームＦ１，Ｆ２において同じ位置に検出された白キズ１１，１２は真の画素欠陥と判定し、異なる位置に検出された黒キズ２１，２２は偽の画素欠陥と判定する。
【００２３】
これに基づき補正制御部４は画素欠陥補正部５に対して補正指示を送り、真の画素欠陥と判定した画素位置１３の白キズに対して欠陥補正処理を行わせ、偽の画素欠陥と判定した黒キズ２３に対しては欠陥補正処理を行わせない。このようにして、画素欠陥補正されたフレームＦ３が出力される。
【００２４】
本実施例の補正制御部４によれば、欠陥候補として検出された画素がフレーム間で同位置であるか異なる位置であるかを加味することにより、真の画素欠陥の判定精度を向上できる。さらに、フレーム間で同じ位置に画素欠陥が存在する場合であっても、それらの画素欠陥が同種のものかどうかの情報を加味して判定する。すなわち、一方が白キズで他方が黒キズの場合は偽の画素欠陥と判定する。これは、画素欠陥はフレームが変わっても白キズと黒キズが入れ替わることはないため、画素欠陥に似た被写体の一部である可能性が高いためである。このように、欠陥候補として検出された画素が白キズか黒キズかを区別することで、画素欠陥の判定精度を向上できる。
【００２５】
以上の動作により、画素欠陥をリアルタイムで高精度に検出し、リアルタイムで補正することが可能となり、撮像素子の生産時にランダムな画素位置に発生する画素欠陥だけでなく、経年劣化によって発生する画素欠陥も含めて効果的に補正することが可能となる。
【００２６】
上記した実施例では、隣接するフレーム間でそれぞれ検出された画素欠陥の位置を比較する構成としたが、現在のフレームと、複数フレーム前の過去のフレームの画素欠陥の位置を比較する構成としても良く、その効果は同様に得られる。その場合には、検出結果格納メモリ３は、画素欠陥検出部２で検出した欠陥検出信号を複数フレーム分記憶・保持する構成にすれば良い。
【００２７】
また、撮像素子がインターレース方式の場合は次のようにする。インターレース方式では隣接するフィールド間で画素の位置が互いに異なるため、欠陥検出信号が画像上の画素位置と１対１に対応しない。そのため、上記実施例のように１フレーム分遅延した検出信号を用いた場合には、欠陥検出の精度が低下してしまう。そこで、検出結果格納メモリ３を２フィールド分の欠陥検出信号を保持可能なデータ容量とし、画素欠陥補正部５で参照する欠陥検出信号を２フィールド前のデータとすることにより、画像上の同位置の欠陥検出信号を用いた欠陥補正処理が可能となる。したがって、撮像素子の走査方式がプログレッシブ方式またはインターレース方式のいずれの方式であっても上記した効果を得ることができる。
【００２８】
本実施例の構成によれば、検出結果格納メモリ３に記憶する情報は、該当する画素における欠陥の有無と白キズか黒キズかの情報のみであるため、データ記憶に要するメモリ容量が少なくて済み、回路規模及び回路コスト低減に関して有効である。
【実施例２】
【００２９】
図２は、本発明の画像信号処理装置の第２の実施例を示すブロック構成図である。実施例１（図１）の構成と比較し、画素欠陥検出部２を２個備え、検出結果格納メモリ３に代えて画像メモリ１を有している。実施例１（図１）と同一機能の要素については説明を省略する。
【００３０】
画像信号処理装置には、撮像素子により画像信号に変換された画像データが入力する。画像メモリ１は、入力した１フレーム分の画像データを保持する。画素欠陥検出部２ａは、画像メモリ１により遅延した１フレーム前の画像データの画素欠陥（候補）を検出し、欠陥検出信号ｆ（ｎ−１）を生成する。画素欠陥検出部２ｂは、撮像素子から入力した次のフレームの画像データの画素欠陥（候補）を検出し、欠陥検出信号ｆ（ｎ）を生成する。補正制御部４は、画素欠陥検出部２ａからの１フレーム前の欠陥検出信号ｆ（ｎ−１）と画素欠陥検出部２ｂからの現在のフレームに対する欠陥検出信号ｆ（ｎ）とを基に、真の画素欠陥を判定し、画素欠陥補正部５に対して補正の制御を行う。画素欠陥補正部５は、入力した画像データの画素欠陥を画素補間等により補正し、補正後の画像データを出力する。
【００３１】
画像メモリ１は、撮像素子から出力される画像データを１フレーム分記憶・保持する。画像メモリ１は、水平同期信号及び垂直同期信号により動作し、撮像画像上の画素位置に対応する画像データを記憶する。撮像素子から次フレームの画像データが入力された場合、画像メモリ１は記憶している前フレームの画像データを出力すると同時に、新たに入力される画像データを記憶する。
【００３２】
画素欠陥検出部２ａ，２ｂの動作は実施例１に記載の方法と同様である。ただし本実施例では２個の画素欠陥検出部２ａ，２ｂを有し、両者を並行して動作させることで、前フレームの画素欠陥（候補）と次のフレームの画素欠陥（候補）とを同時に検出し、欠陥検出信号ｆ（ｎ−１），ｆ（ｎ）を同時に補正制御部４に出力することができる。
補正制御部４と画素欠陥補正部５の動作は実施例１（図１）の記載と同様であり、それらの動作の具体例は前記図３に示した通りである。
【００３３】
以上の動作により、画素欠陥をリアルタイムで高精度に検出し、リアルタイムで補正することが可能となり、撮像素子の生産時にランダムの画素位置に発生する画素欠陥だけでなく、経年劣化によって発生する画素欠陥も含めて効果的に補正することが可能となる。
【００３４】
本実施例においても、隣接するフレーム間でそれぞれ検出された画素欠陥の位置を比較する構成としたが、現在のフレームと、複数フレーム前の過去のフレームの画素欠陥の位置とを比較する構成としても良い。その場合には、画像メモリ１は複数フレーム分の画像データを記憶・保持するようにして、記憶している複数フレーム前の画像データを画素欠陥検出部２ａに出力する構成にすれば良い。
【００３５】
本実施例の構成では、既存システムにおいて画像メモリを保有している場合にその画像メモリを併用することができ、実施例１のような画素欠陥検出結果を格納するメモリを必要としない。このため、回路規模及び回路コスト低減に有効となる。
【実施例３】
【００３６】
図４は、本発明の画像信号処理装置の第３の実施例を示すブロック構成図である。実施例１（図１）の構成と比較し、検出結果格納メモリ３を３個備えている。実施例１（図１）と同一機能の要素については説明を省略する。
【００３７】
画像信号処理装置には、撮像素子により画像信号に変換された画像データが入力する。画素欠陥検出部２は、入力した画像データから１フレームごとに欠陥画素（候補）を検出し、欠陥検出信号を生成する。３個の検出結果格納メモリ３ａ，３ｂ，３ｃは、画素欠陥検出部２からの欠陥検出信号を時系列にそれぞれ１フレーム分ずつ保持し、計３フレーム分保持する。補正制御部４は、検出結果格納メモリ３ａ，３ｂ，３ｃからの過去の３フレーム分の欠陥検出信号ｆ（ｎ−１），ｆ（ｎ−２），ｆ（ｎ−３）と、画素欠陥検出部２からの現在のフレームにおける欠陥検出信号ｆ（ｎ）と基に、真の画素欠陥を判定し、画素欠陥補正部５に対して補正の制御を行う。画素欠陥補正部５は、入力した画像データの画素欠陥を画素補間等により補正し、補正後の画像データを出力する。
画素欠陥検出部２の動作は実施例１に記載の方法と同様である。
【００３８】
検出結果格納メモリ３ａ，３ｂ，３ｃの動作は次のように行う。画素欠陥検出部２から出力される欠陥検出信号は、まず検出結果格納メモリ３ａにて１フレーム分保持される。画素欠陥検出部２から次フレームの欠陥検出信号が出力されると、検出結果格納メモリ３ａは記憶していた前フレームの欠陥検出信号を検出結果格納メモリ３ｂに出力し、次フレームの欠陥検出信号を記憶する。これと同時に検出結果格納メモリ３ｂは、前フレームの欠陥検出信号を記憶する。さらに画素欠陥検出部２から次次フレームの欠陥検出信号が出力されると、検出結果格納メモリ３ａは次次フレームの欠陥検出信号を記憶し、検出結果格納メモリ３ｂは次フレームの欠陥検出信号を、検出結果格納メモリ３ｃは前フレームの欠陥検出信号を記憶する。このようにして、検出結果格納メモリ３ａ，３ｂ，３ｃにはそれぞれ欠陥検出信号ｆ（ｎ−１），ｆ（ｎ−２），ｆ（ｎ−３）が保持されている。
【００３９】
補正制御部４は、検出結果格納メモリ３ａ，３ｂ，３ｃから出力される３フレーム分の欠陥検出信号ｆ（ｎ−１），ｆ（ｎ−２），ｆ（ｎ−３）と、画素欠陥検出部２から出力される現在のフレームに対する欠陥検出信号ｆ（ｎ）に基づき、検出された画素欠陥候補の真偽を判定して画素欠陥補正部５に対し補正指示信号を送る。
【００４０】
補正制御部４は、入力した４フレーム分の欠陥検出信号ｆ（ｎ），ｆ（ｎ−１），ｆ（ｎ−２），ｆ（ｎ−３）を比較し、４フレーム全ての同じ画素位置に同種の画素欠陥候補が存在している場合は、真の画素欠陥と判定する。これに対し、４フレーム中の少なくとも１フレームにおいて他のフレームとは画素位置や欠陥の種類が異なる画素欠陥候補が存在する場合は、偽の画素欠陥と判定する。この場合も、撮影画像中の被写体が移動したり画像にノイズが重畳したりして、誤って画素欠陥として検出される可能性が高いからである。
画素欠陥補正部５の動作は実施例１に記載の方法と同様である。
【００４１】
図６は、本実施例における画素欠陥補正動作を説明する図である。ここでは、図に示すように撮像素子から入力される４つの画像フレームＦ１〜Ｆ４に白キズ１１〜１４及び黒キズ２１〜２４が存在し、白キズ１１〜１４はその位置が固定しており、黒キズ２１〜２４はその位置が連続且つ移動している場合を想定する。
【００４２】
画素欠陥検出部２は、入力される４つの画像フレームＦ１〜Ｆ４の各画素に対して閾値Ｔ１，Ｔ２とのレベル比較あるいは周辺画素とのレベル差比較（閾値Ｔ３）などの方法により画素欠陥を検出し、その検出結果から欠陥検出信号ｆ１〜ｆ４を生成する。このうち欠陥検出信号ｆ１〜ｆ３はそれぞれ検出結果格納メモリ３ｃ，３ｂ，３ａに記憶される。欠陥検出信号ｆ１〜ｆ４は欠陥フラグｄで表わし、例えば白キズに対してはフラグｄ＝１、黒キズに対してはｄ＝−１、欠陥なしに対してはｄ＝０で与える。ここでは、白キズ１１〜１４の位置にフラグｄ＝１、黒キズ２１〜２４の位置にｄ＝−１が与えられる。画素欠陥候補の検出位置に関しては、白キズ（フラグｄ＝１）とされた画素位置１１〜１４は同一位置にあり、黒キズ（フラグｄ＝−１）とされた画素位置２１〜２４は異なる位置にある。
【００４３】
補正制御部４は、フレームＦ１〜Ｆ４に対する欠陥検出信号ｆ１〜ｆ４を比較して、真の画素欠陥かどうかを判定する。すなわち、４フレーム全ての同じ画素位置に同種の画素欠陥候補（白キズ同士、黒キズ同士）が存在している場合は、真の画素欠陥と判定する。４フレーム中の少なくとも１フレームにおいて他のフレームとは画素位置や欠陥の種類が異なる画素欠陥候補が存在する場合は、偽の画素欠陥と判定する。その理由は実施例１の場合と同様である。この例では、フレームＦ１〜Ｆ４において同じ位置に検出された白キズ１１〜１４は真の画素欠陥と判定し、異なる位置に検出された黒キズ２１〜２４は偽の画素欠陥と判定する。
【００４４】
これに基づき補正制御部４は画素欠陥補正部５に対して補正指示を送り、真の画素欠陥と判定した画素位置１５の白キズに対して欠陥補正処理を行わせ、偽の画素欠陥と判定した黒キズ２５に対しては欠陥補正処理を行わせない。このようにして、画素欠陥補正されたフレームＦ５が出力される。
【００４５】
本実施例においては、欠陥候補として検出された画素が４つのフレームで同位置であるか異なる位置であるかの情報を加味することにより、真の画素欠陥の判定精度を向上できる。さらに、４つのフレームで同じ位置に画素欠陥が存在する場合であっても、それらの画素欠陥が同種のものかどうかを加味して判定する。本実施例では、４つのフレームでの画素欠陥データを用いて判定するので、画素欠陥の判定精度をより向上できる。すなわち、画素欠陥候補として検出された画素が複数フレームに連続する場合においても、本来検出すべき真の画素欠陥であるか単なる被写体の移動による偽の画素欠陥であるかを精度良く識別することができる。
【００４６】
本実施例では、４つのフレームでの画素欠陥データを用いて判定したが、比較するフレーム数はこれに限らず任意の数Ｎ（２以上）としても良いことは言うまでもない。その場合には、検出結果格納メモリ３を（Ｎ−１）個備える構成とすれば良い。
【００４７】
また本実施例における画素欠陥の判定基準は、Ｎフレームの全てにおいて同じ画素位置に同種の画素欠陥候補が存在している場合に真の画素欠陥と判定するものとした。判定基準はこれに限らず、Ｎフレーム中のＭフレーム以上（ただしＮ＞Ｍ）において同じ画素位置に同種の画素欠陥候補が存在している場合に真の画素欠陥と判定し、それ以外の場合は偽の画素欠陥と判定するようにしても良い。
【実施例４】
【００４８】
図５は、本発明の画像信号処理装置の第４の実施例を示すブロック構成図である。実施例２（図２）の構成と比較し、画素メモリ２を３個に、画素欠陥検出部２を４個に増設している。実施例２（図２）と同一機能の要素については説明を省略する。
【００４９】
画像信号処理装置には、撮像素子により画像信号に変換された画像データが入力する。３個の画像メモリ１ａ，１ｂ，１ｃは、入力した画像データを時系列にそれぞれ１フレーム分ずつ保持し、計３フレーム分保持する。画素欠陥検出部２ａ，２ｂ，２ｃは、画像メモリ１ａ，１ｂ，１ｃによりそれぞれ１，２，３フレーム分遅延された画像データの画素欠陥（候補）を検出し、欠陥検出信号ｆ（ｎ−１），ｆ（ｎ−２），ｆ（ｎ−３）を生成する。画素欠陥検出部２ｄは、撮像素子から入力した次のフレームの画像データの画素欠陥（候補）を検出し欠陥検出信号ｆ（ｎ）を生成する。補正制御部４は、４個の画素欠陥検出部２ａ〜２ｄからの欠陥検出信号ｆ（ｎ−１），ｆ（ｎ−２），ｆ（ｎ−３），ｆ（ｎ）を基に、真の画素欠陥を判定し、画素欠陥補正部５に対して補正の制御を行う。画素欠陥補正部５は、入力した画像データの画素欠陥を画素補間等により補正し、補正後の画像データを出力する。
【００５０】
画像メモリ１ａ，１ｂ，１ｃと画素欠陥検出部２ａ〜２ｄの動作は、実施例２（図２）と同様である。本実施例では４個の画素欠陥検出部２ａ〜２ｄを有していて、これらを並行して動作させることで、連続する４フレームの画素欠陥（候補）を同時に検出し、それぞれの欠陥検出信号を同時に補正制御部４に出力することができる。
【００５１】
補正制御部４は、４個の画素欠陥検出部２ａ〜２ｄから出力される４フレーム分の欠陥検出信号ｆ（ｎ−１），ｆ（ｎ−２），ｆ（ｎ−３），ｆ（ｎ）に基づき、検出された画素欠陥候補の真偽を判定して画素欠陥補正部５に対し補正指示信号を送る。
補正制御部４と画素欠陥補正部５の動作は実施例３（図４）の記載と同様であり、それらの動作の具体例は前記図６に示した通りである。
【００５２】
本実施例においても、欠陥候補として検出された画素が４つのフレームで同位置に存在するか、かつそれらの画素欠陥が同種のものかどうかを加味して判定することで、真の画素欠陥の判定精度を向上できる。すなわち、画素欠陥候補として検出された画素が複数フレームに連続する場合においても、本来検出すべき真の画素欠陥であるか単なる被写体の移動による偽の画素欠陥であるかを精度良く識別することができる。
【００５３】
本実施例においても、比較するフレーム数は４個に限らず任意の数Ｎ（２以上）とすることができる。その場合には、画像メモリ１を（Ｎ−１）個、画素欠陥検出部２をＮ個備える構成とすれば良い。また画素欠陥の判定基準についても、Ｎフレーム中のＭフレーム以上（ただしＮ＞Ｍ）において同じ画素位置に同種の画素欠陥候補が存在している場合に真の画素欠陥と判定し、それ以外の場合は偽の画素欠陥と判定するようにしても良い。
【００５４】
以上述べたように本実施例の画素欠陥検出・補正方法によれば、画素欠陥候補として検出された画素が複数フレームで同位置に存在するか、かつそれらの画素欠陥が同種のものかどうかを加味して判定することで、画素欠陥の判定精度が向上する。これにより、画像データ中のノイズの影響をなくし移動している被写体を画素欠陥と誤判定することをなくして、画質低下を招くことなく信頼性の高い画像信号処理装置を提供する。
【符号の説明】
【００５５】
１，１ａ，１ｂ，１ｃ：画像メモリ、
２，２ａ，２ｂ，２ｃ，２ｄ：画素欠陥検出部、
３，３ａ，３ｂ，３ｃ：検出結果格納メモリ、
４：補正制御部、
５：画素欠陥補正部。
【図１】
2012227840.tif 000003
【図２】
2012227840.tif 000004
【図３】
2012227840.tif 000005
【図４】
2012227840.tif 000006
【図５】
2012227840.tif 000007
【図６】
2012227840.tif 000008