(57)【要約】【課題】均一白色光照射を必要とすることなく、黒欠陥画素の検出と白欠陥画素の検出とを同時に行えるようにした画像処理装置、該画像処理装置を用いた電子カメラ、画像処理方法及び画像処理プログラムを提供する【解決手段】遮光状態の固体撮像素子２から出力される画像データを、第１の閾値及びこの第１の閾値よりも小さい第２の閾値と比較し、第１の閾値よりも大きい出力を有する画素を白欠陥画素として検出すると共に、第２の閾値よりも小さい出力を有する画素を黒欠陥画素として検出する欠陥検出回路５と、白欠陥画素あるいは黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正回路９とで画像処理装置を構成する。【選択図】        図１
2004336400.tif 000002
【特許請求の範囲】
【請求項１】
遮光状態の固体撮像素子から出力される画像データを、第１の閾値及びこの第１の閾値よりも小さい第２の閾値と比較し、第１の閾値よりも大きい出力を有する画素を白欠陥画素として検出すると共に、第２の閾値よりも小さい出力を有する画素を黒欠陥画素として検出する欠陥検出手段と、白欠陥画素あるいは黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とを備えたことを特徴とする画像処理装置。
【請求項２】
固体撮像素子から出力される露光状態の異なる複数の画像データを、黒欠陥を検出するための所定の閾値と比較し、いずれの画像データにおいても前記閾値よりも小さい出力を有する画素を黒欠陥画素として検出する欠陥検出手段と、黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とを備えたことを特徴とする画像処理装置。
【請求項３】
固体撮像素子から出力される連続した複数の被写体の画像データを、黒欠陥を検出するための所定の閾値と比較し、いずれの画像データにおいても前記閾値よりも小さい出力を有する画素を黒欠陥画素として検出する欠陥検出手段と、黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とを備えたことを特徴とする画像処理装置。
【請求項４】
固体撮像素子から出力される複数のシーンに係る複数の画像データを累積加算し、その累積加算された画像データを、黒欠陥を検出するための所定の閾値と比較し、前記閾値よりも小さい出力を有する画素を黒欠陥画素として検出する欠陥検出手段と、黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とを備えたことを特徴とする画像処理装置。
【請求項５】
前記請求項２〜４記載の前記欠陥検出手段を備え、少なくとも２つの前記欠陥検出手段により黒欠陥画素として検出された画素を黒欠陥画素として検出し、黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とを備えたことを特徴とする画像処理装置。
【請求項６】
前記欠陥検出手段は、前記欠陥画素を検出するための画像データとして、固定パターンノイズを検出するために遮光状態で撮像された画像データを用いることを特徴とする請求項１に係る画像処理装置。
【請求項７】
前記欠陥検出手段は、少なくとも、時間的に異なる２つの画像データにおいて白欠陥画素とされた画素を白欠陥画素として検出することを特徴とする請求項１に係る画像処理装置。
【請求項８】
前記白欠陥画素又は黒欠陥画素の画素の位置座標を記憶する記憶手段を更に有し、前記欠陥検出手段は、検出した前記白欠陥画素又は黒欠陥画素の画素の位置座標を前記記憶手段に記憶させ、前記欠陥補正手段は、前記記憶手段に記憶されている前記白欠陥画素又は黒欠陥画素の画素の位置座標を参照して該当する画素に対する補正を行なうことを特徴とする請求項１〜７のいずれか１項に係る画像処理装置。
【請求項９】
前記欠陥検出手段は、前記第１の閾値よりも大きい出力を有する画素の数が所定数以下の場合に当該画素を白欠陥画素とし、前記第２の閾値よりも小さい出力を有する画素の数が所定数以下の場合に当該画素を黒欠陥画素として検出することを特徴とする請求項１，６〜８のいずれか１項に係る画像処理装置。
【請求項１０】
前記欠陥検出手段は、前記所定の閾値よりも小さい出力を有する画素の数が所定数以下の場合に当該画素を黒欠陥画素として検出することを特徴とする請求項２〜５のいずれか１項に係る画像処理装置。
【請求項１１】
受光面に入射した被写体像を光電変換して画像データとして出力する固体撮像素子と、該固体撮像素子に入射する露光量を制御する露光量制御手段と、請求項１〜１０のいずれか１項に記載の画像処理装置と、該画像処理装置から出力される、補正後の画像データを表示する表示手段とを有することを特徴とする電子カメラ。
【請求項１２】
遮光状態の固体撮像素子から出力される画像データを第１の閾値及び第１の閾値よりも小さい第２の閾値と比較するステップと、第１の閾値よりも大きい出力を有する画素の数が所定数以下の場合に当該画素を白欠陥画素として検出すると共に、第２の閾値よりも小さい出力を有する画素の数が所定数以下の場合に当該画素を黒欠陥画素として検出するステップと、白欠陥画素あるいは黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正するステップとを有することを特徴とする画像処理方法。
【請求項１３】
遮光状態の固体撮像素子から出力される画像データを第１の閾値及び第１の閾値よりも小さい第２の閾値と比較する手順と、第１の閾値よりも大きい出力を有する画素の数が所定数以下の場合に当該画素を白欠陥画素として検出すると共に、第２の閾値よりも小さい出力を有する画素の数が所定数以下の場合に当該画素を黒欠陥画素として検出する手順と、白欠陥画素或は黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する手順とをコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、固体撮像素子の欠陥画素を検出し、検出した欠陥画素を補正する画像処理装置、この画像処理装置を用いた電子カメラ、画像処理方法、及び画像処理プログラムに関する。
【０００２】
【従来の技術】
【特許文献１】特開平６−６６８５号公報
【特許文献２】特開２００２−２８１３９１号公報
【０００３】
一般に、多画素のＣＣＤ撮像素子を用いたデジタルカメラのような撮像装置においては、均一な入射光レベルにも関わらず周辺のＣＣＤ素子とは特異なレベルを出力するいわゆる欠陥画素の発生頻度が高くなり、画質が劣化するという問題がある。
【０００４】
この欠陥画素には、製造前のＣＣＤ素子材料及び製造工程に起因して発生する、いわゆる初期的欠陥と、宇宙線、静電破壊等外部環境や経時変化に起因して発生する、いわゆる後発的欠陥がある。初期的欠陥の対策として、従来の撮像装置は、ユーザーに撮像装置を出荷する前に欠陥画素の位置情報をメモリ等に記憶しておき、撮像された画像を処理する画像処理装置内に搭載された補正回路によって、欠陥画素の出力信号を、周辺画素の出力信号などを用いて生成した補正信号に置換する回路構成になっている。
【０００５】
一方、後発的欠陥については、画像処理装置内に欠陥画素検出回路を搭載して、後発的欠陥を検出し、初期的欠陥と同様に、欠陥画素の出力信号を補正信号に置換する構成になっている。これらの欠陥画素を検出、補正することにより、ＣＣＤ等の固体撮像素子を用いた撮像装置は、画質を飛躍的に向上することができる。
【０００６】
これらの従来技術に関しては、例えば、特開平６−６６８５号公報には、電源オン直後にアイリスを閉じることでＣＣＤ撮像素子の受光面を遮光し、カメラの使用に先立ってＣＣＤ撮像素子の暗出力を評価することで欠陥画素を検出して、欠陥補償を行う技術が記載されている。一方、特開２００２−２８１３９１号公報には、遮光手段を持たない装置で、白欠陥と黒欠陥を同時に検出する手法が記載されている。この手法は、通常露光の状態で欠陥候補を抽出し、その中で絞り込んで真の欠陥を決定するというものである。
【０００７】
【発明が解決しようとする課題】
ところで、上記特開平６−６６８５号公報開示の手法によれば、暗電荷に起因するいわゆる白欠陥をカメラ単体で検出することができるが、黒欠陥の検出という観点について考慮がなされていない。一方、上記特開２００２−２８１３９１号公報開示の手法によれば、撮像するシーン及び環境によっては、黒欠陥又は白欠陥の欠陥１次候補が大量に抽出される場合もあり、そのアドレスを記憶するメモリ容量が必要になる。しかしながら、最近の多画素化対応やメモリ回路規模の削減という観点について、考慮がなされていない。
【０００８】
本発明は、従来の画像処理装置における上記課題を解決するためになされるもので、従来必要としていた均一白色光照射の条件なしに、黒欠陥画素の検出と白欠陥画素の検出とを同時に行えるようにした画像処理装置、該画像処理装置を用いた電子カメラ、画像処理方法及び画像処理プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、遮光状態の固体撮像素子から出力される画像データを第１の閾値及びこの第１の閾値よりも小さい第２の閾値と比較し、第１の閾値よりも大きい出力を有する画素を白欠陥画素として検出すると共に、第２の閾値よりも小さい出力を有する画素を黒欠陥画素として検出する欠陥検出手段と、白欠陥画素あるいは黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とで画像処理装置を構成するものである。
【００１０】
この請求項１に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理装置においては、遮光状態で撮像された画像データは、欠陥検出手段により、第１の閾値とこの第１の閾値よりも小さい第２の閾値と比較され、前記第１の閾値よりも大きい出力の画素が白欠陥画素として検出されると共に、第２の閾値よりも小さい出力の画素が黒欠陥画素として検出される。そして、白欠陥画素あるいは黒欠陥画素として検出された画素の位置座標に基づき、欠陥補正手段により、該当する画素の画素データが補正される。したがって、遮光状態で撮像された画像データで電荷の蓄積がほとんど行われない画素については黒欠陥と考えられるため、上記のように、第１の閾値よりも小さな第２の閾値を設け、この第２の閾値よりも小さい出力の画素を黒欠陥画素として検出することにより、黒欠陥画素の検出を、白欠陥画素の検出と同時に、且つ従来必要としていた均一白色光照射の条件なしで検出することができる。
【００１１】
請求項２に係る発明は、固体撮像素子から出力される露光状態の異なる複数の画像データを、黒欠陥を検出するための所定の閾値と比較し、いずれの画像データにおいても前記閾値よりも小さい出力を有する画素を黒欠陥画素として検出する欠陥検出手段と、黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とで画像処理装置を構成するものである。
【００１２】
この請求項２に係る発明に関する実施の形態には、第２の実施の形態が対応する。そして、このように構成された画像処理装置においては、露光状態の異なる複数の画像データの各々は、前記欠陥検出手段により、前記閾値と比較され、いずれの画像データにおいても前記閾値よりも小さい出力を有する画素が黒欠陥画素として検出される。したがって、露光状態に依らず常に低レベルを出力する画素は、黒欠陥画素と考えられるため、上記のように様々な露光状態にあるいずれの画像データにおいても前記閾値よりも小さい出力を有する画素を検出することにより、黒欠陥画素を高精度で検出することができる。
【００１３】
請求項３に係る発明は、固体撮像素子から出力される連続した複数の被写体の画像データを、黒欠陥を検出するための所定の閾値と比較し、いずれの画像データにおいても前記閾値よりも小さい出力を有する画素を黒欠陥画素として検出する欠陥検出手段と、黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とで画像処理装置を構成するものである。
【００１４】
この請求項３に係る発明に関する実施の形態には、第２の実施の形態が対応する。そして、このように構成された画像処理装置においては、連続した複数の被写体の画像データの各々は、前記欠陥検出手段により、前記閾値と比較され、いずれの画像データにおいても前記閾値よりも小さい出力を有する画素が黒欠陥画素として検出される。したがって、常に低レベルを出力する画素は、黒欠陥画素と考えられるため、連続した複数の画像データのいずれにおいても前記閾値よりも小さい出力を有する画素を検出することにより、黒欠陥画素を高精度で検出することができる。
【００１５】
請求項４に係る発明は、固体撮像素子から出力される複数のシーンに係る複数の画像データを累積加算し、その累積加算された画像データを、黒欠陥を検出するための所定の閾値と比較し、前記閾値よりも小さい出力を有する画素を黒欠陥画素として検出する欠陥検出手段と、黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とで画像処理装置を構成するものである。
【００１６】
この請求項４に係る発明に関する実施の形態には、第３の実施の形態が対応する。そして、このように構成された画像処理装置においては、複数のシーンに係る複数の画像データは、前記欠陥検出手段により累積加算され、その累積加算された画像データが前記閾値と比較され、前記閾値よりも小さい出力を有する画素が黒欠陥画素として検出される。したがって、画像データを累積加算することによって、黒欠陥画素と考えられる画素の累積加算値は正常画素に比較して際立って低くなるため、より確実に、黒欠陥画素を検出することができる。
【００１７】
請求項５に係る発明は、前記請求項２〜４記載の前記欠陥検出手段を備え、少なくとも２つの前記欠陥検出手段により黒欠陥画素として検出された画素を黒欠陥画素として検出し、黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する欠陥補正手段とで画像処理装置を構成するものである。
【００１８】
この請求項５に係る発明に関する実施の形態には、第２，３の実施の形態が対応する。そして、このように構成された画像処理装置においては、請求項２〜４に記載された前記欠陥検出手段の内の、少なくとも２つの前記欠陥検出手段により黒欠陥画素として検出された画素が、黒欠陥画素として検出される。このように、異なる欠陥検出手段により検出された黒欠陥画素を黒欠陥画素とすることにより、黒欠陥抽出の誤検出や未検出を防ぐことができる。
【００１９】
請求項６に係る発明は、請求項１に係る画像処理装置において、前記欠陥検出手段は、前記欠陥画素を検出するための画像データとして、固定パターンノイズを検出するために遮光状態で撮像された画像データを用いることを特徴とするものである。
【００２０】
この請求項６に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理装置においては、前記欠陥検出手段は、遮光状態で撮像された画像データを用い、前記欠陥画素を検出する。一方、固定パターンノイズをキャンセルする際には遮光状態による暗時画像データが用いられるため、この暗時画像データを前記欠陥画素の検出に用いることにより、黒欠陥及び白欠陥検出を固定パターンノイズのキャンセルと兼ねて実施でき、欠陥検出のみを目的とした撮像が必要なくなる。
【００２１】
請求項７に係る発明は、請求項１に係る画像処理装置において、前記欠陥検出手段は、少なくとも、時間的に異なる２つの画像データにおいて白欠陥画素とされた画素を白欠陥画素として検出することを特徴とするものである。
【００２２】
この請求項７に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理装置においては、少なくとも、時間的に異なる２つの画像データにおいて白欠陥画素とされた画素が、前記欠陥検出手段により白欠陥画素として検出される。したがって、時間的に異なる２つの画像データの何れにおいても白欠陥画素とされた画素を白欠陥画素とすることにより、１つの画像データにおいて検出された場合に比べて、誤検出を防ぐことができる。
【００２３】
請求項８に係る発明は、請求項１〜７のいずれか１項に係る画像処理装置において、前記白欠陥画素又は黒欠陥画素の画素の位置座標を記憶する記憶手段を更に有し、前記欠陥検出手段は、検出した前記白欠陥画素又は黒欠陥画素の画素の位置座標を前記記憶手段に記憶させ、前記欠陥補正手段は、前記記憶手段に記憶されている前記白欠陥画素又は黒欠陥画素の画素の位置座標を参照して該当する画素に対する補正を行なうことを特徴とするものである。
【００２４】
この請求項８に係る発明に関する実施の形態には、第１，２，３の実施の形態が対応する。そして、このように構成された画像処理装置においては、検出された前記白欠陥画素又は黒欠陥画素の画素の位置座標は、前記欠陥検出手段により記憶手段に記憶され、この記憶手段に記憶されている前記白欠陥画素又は黒欠陥画素の画素の位置座標は、前記欠陥補正手段により参照され、該当する画素に対する補正が行なわれる。したがって、検出した結果を、繰り返し用いることが可能となる。
【００２５】
請求項９に係る発明は、請求項１，６〜８のいずれか１項に係る画像処理装置において、前記欠陥検出手段は、前記第１の閾値よりも大きい出力を有する画素の数が所定数以下の場合に当該画素を白欠陥画素とし、前記第２の閾値よりも小さい出力を有する画素の数が所定数以下の場合に当該画素を黒欠陥画素として検出することを特徴とするものである。
【００２６】
この請求項９に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理装置においては、前記第１の閾値よりも大きい出力を有する画素の数が所定数以下の場合に、当該画素は、前記欠陥検出手段により白欠陥画素とされ、また、前記第２の閾値よりも小さい出力を有する画素の数が所定数以下の場合に、当該画素は、前記欠陥検出手段により黒欠陥画素として検出される。したがって、画像データを取得するシーンによっては、低レベルの出力を誤って欠陥と判断しかねないが、所定数を、例えば、白欠陥画素或は黒欠陥画素を記憶する記憶手段の容量以下とし、これにより、検出された数がこの所定数よりも多い場合は欠陥検出を行わないこととなり、欠陥検出に相応しいシーン及び環境かどうか自動的に判断することができる。
【００２７】
請求項１０に係る発明は、請求項２〜５のいずれか１項に係る画像処理装置において、前記欠陥検出手段は、前記所定の閾値よりも小さい出力を有する画素の数が所定数以下の場合に当該画素を黒欠陥画素として検出することを特徴とするものである。
【００２８】
この請求項１０に係る発明に関する実施の形態には、第２及び第３の実施の形態が対応する。そして、このように構成された画像処理装置においては、前記所定の閾値よりも小さい出力を有する画素の数が所定数以下の場合に、当該画素は、前記欠陥検出手段により黒欠陥画素として検出される。したがって、画像データを取得するシーンによっては、低レベルの出力を誤って黒欠陥画素と判断しかねないが、所定数を、例えば、黒欠陥画素を記憶する記憶手段の容量以下とし、これにより、検出された数がこの所定数よりも多い場合は欠陥検出を行わないこととなり、黒欠陥検出に相応しいシーン及び環境かどうか自動的に判断することができる。
【００２９】
請求項１１に係る発明は、受光面に入射した被写体像を光電変換して画像データとして出力する固体撮像素子と、該固体撮像素子に入射する露光量を制御する露光量制御手段と、請求項１〜１０のいずれか１項に記載の画像処理装置と、該画像処理装置から出力される、補正後の画像データを表示する表示手段とで電子カメラを構成するものである。
【００３０】
この請求項１１に係る発明に関する実施の形態には、第１〜第３の実施の形態が対応する。そして、このように構成された電子カメラにおいては、露光制御手段により露光量が制御され、受光面に入射した被写体像は、固体撮像素子により光電変換されて画像データとして出力され、請求項１〜１０のいずれか１項に記載の画像処理装置により、この画像データに対して欠陥画素補正が行なわれた後、表示手段に表示される。したがって、黒欠陥画素の検出を、白欠陥画素の検出と同時に、且つ従来必要としていた均一白色光照射の条件なしで検出可能な電子カメラを実現することができる。
【００３１】
請求項１２に係る発明は、遮光状態の固体撮像素子から出力される画像データを第１の閾値及び第１の閾値よりも小さい第２の閾値と比較するステップと、第１の閾値よりも大きい出力を有する画素の数が所定数以下の場合に当該画素を白欠陥画素として検出すると共に、第２の閾値よりも小さい出力を有する画素の数が所定数以下の場合に当該画素を黒欠陥画素として検出するステップと、白欠陥画素あるいは黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正するステップとで画像処理方法を構成するものである。
【００３２】
この請求項１２に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理方法においては、遮光状態で撮像された画像データは、第１の閾値とこの第１の閾値よりも小さい第２の閾値と比較され、前記第１の閾値よりも大きい出力の画素が白欠陥画素として検出されると共に、第２の閾値よりも小さい出力の画素が黒欠陥画素として検出され、そして、白欠陥画素あるいは黒欠陥画素として検出された画素の位置座標に基づき、該当する画素の画素データが補正される。したがって、遮光状態で撮像された画像データで電荷の蓄積がほとんど行われない画素については黒欠陥と考えられるため、第１の閾値よりも小さな第２の閾値を設け、この第２の閾値よりも小さい出力の画素を黒欠陥画素として検出することにより、黒欠陥画素の検出を、白欠陥画素の検出と同時に、且つ従来必要としていた均一白色光照射の条件なしで検出可能な画像処理方法を実現することができる。
【００３３】
請求項１３に係る発明は、遮光状態の固体撮像素子から出力される画像データを第１の閾値及び第１の閾値よりも小さい第２の閾値と比較する手順と、第１の閾値よりも大きい出力を有する画素の数が所定数以下の場合に当該画素を白欠陥画素として検出すると共に、第２の閾値よりも小さい出力を有する画素の数が所定数以下の場合に当該画素を黒欠陥画素として検出する手順と、白欠陥画素或は黒欠陥画素の位置座標に基づき、画像データの対応する画素の画素データを補正する手順とで、コンピュータに実行させるための画像処理プログラムを構成するものである。
【００３４】
この請求項１３に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理プログラムにおいては、遮光状態で撮像された画像データは、第１の閾値とこの第１の閾値よりも小さい第２の閾値と比較され、前記第１の閾値よりも大きい出力の画素が白欠陥画素として検出されると共に、第２の閾値よりも小さい出力の画素が黒欠陥画素として検出され、そして、白欠陥画素或は黒欠陥画素として検出された画素の位置座標に基づき、該当する画素の画素データが補正される。したがって、遮光状態で撮像された画像データで電荷の蓄積がほとんど行われない画素については黒欠陥と考えられるため、第１の閾値よりも小さな第２の閾値を設け、この第２の閾値よりも小さい出力の画素を黒欠陥画素として検出することにより、黒欠陥画素の検出を、白欠陥画素の検出と同時に、且つ従来必要としていた均一白色光照射の条件なしで検出可能な画像処理プログラムを提供することができる。
【００３５】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。以下述べる各実施の形態は、いずれも本発明に係る画像処理装置を電子カメラに適用した形態で、図面を適宜用いて説明する。図１は、本発明の第１の実施の形態を示すブロック構成図で、この実施の形態は、請求項１，６〜１２に関わるものである。この実施の形態に係る電子カメラは、次のように構成されている。すなわち、図１において、１はシャッターに代表される露光制御手段、２は受光面に入射した被写体像を光電変換して画像信号として出力するＣＣＤエリアセンサ及びその周辺回路からなる固体撮像素子、３は画像信号に対して前処理を行なう、アナログ回路で構成されるプリプロセス回路、４はプリプロセス回路３からの画像信号に対してＡ／Ｄ変換を行なうＡ／Ｄ変換回路、５は第１の閾値及びこの第１の閾値よりも小さい第２の閾値を用い、Ａ／Ｄ変換回路４から出力される同一フレームの画像信号から、後発的に発生する白欠陥画素と黒欠陥画素（以降、この２つを合せて「後発的欠陥画素」という）とを検知可能な欠陥検出回路、６は初期的及び追加された後発的欠陥画素の位置情報を格納する欠陥位置メモリ、７は暫定的に後発的欠陥画素の位置情報を格納する１次暫定欠陥位置メモリ、８は１次暫定欠陥位置メモリ７で繰り返し検出された後発的欠陥画素の位置情報を格納する２次暫定欠陥位置メモリ、９は欠陥位置メモリ６に格納されている欠陥画素の位置情報に従って、画像信号中に含まれる、欠陥ＣＣＤ画素に由来する画像信号を補正する欠陥補正回路、１０は映像信号処理回路、１１は表示手段、１２は電子カメラ全体の動作をつかさどるＣＰＵである。
【００３６】
本実施の形態は、同一フレームの画像信号から後発的に発生する白欠陥画素と黒欠陥画素とを検知可能とするために、欠陥検出回路５において、白欠陥を検出するための第１の閾値、及び黒欠陥を検出するための、第１の閾値よりも小さい第２の閾値を、予め設定していることに特徴がある。
【００３７】
次に、この実施の形態の動作を、図２，３を用いて説明する。図２に示すように、固体撮像素子２上に白欠陥画素（欠陥Ａ点）と黒欠陥画素（欠陥Ｂ点）があったとする。露光制御手段１により遮光状態として撮影を行うと、白欠陥画素（欠陥Ａ点）及び黒欠陥画素（欠陥Ｂ点）のＣＣＤ画素出力は、図３に示すように現れる。ここで、欠陥検出回路５に第１の閾値及び第２の閾値を予め設定しておくことで、欠陥検出回路５は、第１の閾値よりも大きいデータを出力する欠陥Ａ点、及び第２の閾値よりも小さいデータを出力する欠陥Ｂ点を、それぞれ白欠陥画素及び黒欠陥画素として、同一フレームの画像信号において検出可能となる。そして、この検出された白欠陥画素、黒欠陥画素の位置情報が、１次暫定欠陥位置メモリ７及び２次暫定欠陥位置メモリ８を介して、欠陥位置メモリ６に追加登録され、これらの登録された位置情報に基づき、欠陥Ａ点、欠陥Ｂ点に対応する画像信号が、欠陥補正ブロック９にて補正されることとなる。
【００３８】
したがって、遮光状態において、白欠陥画素だけでなく、出力がほとんどない黒欠陥画素についても、同一フレームの画像信号から検出できる。なお、本実施の形態では、１次暫定欠陥位置メモリ７を参照して、欠陥が想定される欠陥数（１次暫定欠陥位置メモリ７の容量）よりも多い場合には、欠陥検出回路５が欠陥を検出する環境が不適切な状態であると判断し、仮検出された欠陥の座標を、欠陥位置メモリ６に記憶することをキャンセルさせるようにしてもよい。また、この実施の形態での遮光は、欠陥検出を目的とした操作で行われる場合以外に、固定パターンノイズの暗時電流取り込みでも行うようにしてもよい。
【００３９】
また、上述の処理動作つまり処理方法を、フローチャートで示すと、図４，図５のようになる。図４は、欠陥検出のフローチャートである。画像データが入力されると、初期状態として、検出欠陥画素数ｎ＝０，第１の閾値Ｔｈ１  及び第２の閾値Ｔｈ２  がセットされる。次いで、画像データは各画素データについて、第１の閾値Ｔｈ１  及び第２の閾値Ｔｈ２  と比較され（ステップＳ１，Ｓ２）、上記動作説明と同様な動作で、欠陥画素が仮検出され、その座標が抽出されると共に欠陥画素数ｎがカウントされる（ステップＳ３）。この検出した欠陥画素数ｎが想定される数（所定数ａ）よりも少ない場合は（ステップＳ４）、欠陥として座標が登録される（ステップＳ５）。一方、検出した欠陥画素数が所定数ａよりも多い場合、並びに上記第１及び第２の閾値との比較において、画素データが第１の閾値より大きくない場合、あるいは画素データが第２の閾値より小さくない場合は、欠陥として座標を登録しない（ステップＳ６）。なおこの例では、白欠陥画素と黒欠陥画素の想定される数をまとめてｎとしているが、白欠陥画素と黒欠陥画素の想定される数を、各々ｎ１，ｎ２として所定数ａと比較することもできる。
【００４０】
図５は、欠陥補正のフローチャートである。画像データが入力されると、画素データ毎に座標が登録されているか否かの判定が行われ（ステップＳ１１）、登録されている場合は、その画素データは欠陥画素データとして補正が行われ（ステップＳ１２）、画像データとして出力される（ステップＳ１４）。一方、登録されていない場合は、補正を行わず（ステップＳ１３）、そのまま画像データとして出力される。
【００４１】
なお、図４及び図５に示したフローチャートに基づく処理方法は、図１の第１の実施の形態に示したハードウエアによる処理として説明したが、この画像処理方法は、ハードウエアによる処理を用いずに、図４及び図５に示すフローチャートを基に、この処理をプログラム化し、コンピュータに実行させるソフトウエア処理とするようにしてもよい。
【００４２】
（第２の実施の形態）
次に、この発明の第２の実施の形態を図６〜図１０を用いて説明する。この実施の形態は、請求項２，３，５，７，８，１０，１１に関わるものである。図６は、第２の実施の形態に係る電子カメラの構成を示すブロック図で、この実施の形態に係る電子カメラが図１に示した第１の実施の形態に係る電子カメラと異なる点は、露光制御手段１が通常の露光状態になっている点であり、その他の構成は、第１の実施の形態の構成と同じである。
【００４３】
次に、この実施の形態の動作について説明する。電子カメラは通常撮影をするときに、露光手段１は露光状態になる。仮に、２つの撮像シーンとして図７と図９に示す態様があるものとする。そして、各撮像シーンにおいて、それぞれ固体撮像素子上に欠陥画素としてＣ点〜Ｆ点（図７）及びＧ点〜Ｊ点（図９）があるものとする。図７及び図９に示す撮像シーンを撮影した場合の、ある１ラインのＣＣＤ画素出力は、それぞれ図８及び図１０に示すように現れる。そして、このＣＣＤ画素出力において、各画素の出力が第３の閾値以下の出力となる画素（黒欠陥画素と被写体の特に暗い部分）は、欠陥画素候補として１次暫定欠陥位置メモリ７に格納される。図７に示す撮像シーンのように、被写体で極めて暗い部分が多いときは、１次暫定欠陥位置メモリ７の容量を越えるため、欠陥画素抽出に適さないとして欠陥検出回路５により判断され、欠陥画素抽出は行わない。
【００４４】
一方、図９に示す撮像シーンのように、被写体で極めて暗い部分が少ないときは、出力が第３の閾値以下の出力となる画素の座標が、黒欠陥画素として全て１次暫定欠陥位置メモリ７に格納される。２次暫定欠陥位置メモリ８には、異なるシーンを撮像した場合に１次暫定欠陥位置メモリ７で毎回検出された座標のみ記憶される。あるタイミングで２次暫定欠陥位置メモリ８に記憶されている座標を、欠陥位置メモリ６に補正対象の後発的欠陥として追加登録する。以降、上記２次暫定欠陥位置メモリ８に格納されていた座標の欠陥画素が、欠陥補正回路９にて補正される。
【００４５】
次に、この実施の形態の構成に基づく動作による効果について説明する。通常、後発的欠陥画素は、頻発するものではなく、設計ルール、総画素数、製造プロセスなどを考慮すれば、寿命期間中の発生個数もある程度予測できるものである。そこで、上記項目を考慮して、１次暫定欠陥位置メモリ７及び２次暫定欠陥位置メモリ８のサイズを決定する。したがって、１次暫定欠陥位置メモリ７の容量を過剰に搭載しないで済む。
【００４６】
（第３の実施の形態）
次に、本発明の第３の実施の形態を図１１のブロック図を用いて説明する。この実施の形態は、請求項４，５，８，１０，１１に関わるものである。この実施の形態が図６に示した第２の実施の形態と異なる点は、フレーム加算を行なうための加算回路１３と加算結果を記憶する１フレーム分の容量を有するフレームメモリ１４とを備えている点であり、固体撮像素子２の出力をフレーム単位で累積加算できるように構成されている。そしてフレームメモリ１４から読み出した画像信号について、欠陥検出ができるような構成になっている。その他の構成は、第２の実施の形態の構成と同じである。
【００４７】
図１１に示すように、固体撮像素子２で撮像された画像信号は、フレーム単位でフレームメモリ１４に累積加算して記憶される。正常な画素においては、異なったシーンの画像を累積加算させると、飽和状態（高レベル）となるが、黒欠陥画素では、出力レベルが低いので累積加算しても、レベルが大幅に大きくなることはない。そこで、所定の第４の閾値を設定し、フレーム単位で、ある回数累積加算された画像信号について、第４の閾値よりも小さいデータを出力する画素を黒欠陥画素として、１次暫定欠陥位置メモリ７，２次暫定欠陥位置メモリ８を介して、暫定欠陥位置メモリ６に追加登録し、以後欠陥補正回路９にて補正されるようにする。
【００４８】
次に、この実施の形態の構成に基づく動作による効果について説明する。累積加算による画像信号の加工により、正常画素と黒欠陥画素のレベル差を顕著にして、欠陥検出の精度を向上させている。
【００４９】
なお、上記実施の形態の共通する効果として、１次暫定欠陥位置メモリ７を欠陥個数チェックのために使用しているが、検出を複数回実施し、１次暫定欠陥位置メモリ７と２次暫定欠陥位置メモリ８のいずれでも検出された欠陥を、改めて２次暫定欠陥位置メモリ８に上書きする手法により、欠陥検出の過剰検出を防ぐことができる。ここで、複数回の検出とは、特に請求項２，３及び７に関わる技術内容として示した、異なるシーンを撮像して検出するということ、及び連続した被写体の画像（動画像）を撮像して検出するということを意味する。
【００５０】
なお、第１の実施の形態と第２の実施の形態とを組み合せ、あるいは、第１の実施の形態と第３の実施の形態を組み合せ、更には、第１〜第３の実施の形態を組み合わせて、少なくとも２つの手法で共通に検出された画素を黒欠陥画素と判断して、補正の対象とすることができるのは、言うまでもないことである。この場合は、黒欠陥画素の誤検出や未検出を防止することができる。
【００５１】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、黒欠陥画素の検出を白欠陥画素の検出と同時に、且つ従来必要としていた均一白色光照射の条件なしに検出可能な画像処理装置を提供することができる。また請求項２に係る発明によれば、様々な露光状態にあるいずれの画像データにおいても所定の閾値よりも小さい出力を有する画素を検出するようにしているので、黒欠陥画素を高精度で検出することができる。また請求項３に係る発明によれば、連続した複数の画像データのいずれにおいても所定の閾値よりも小さい出力を有する画素を検出するようにしているので、黒欠陥画素を高精度で検出することができる。また請求項４に係る発明によれば、累積加算された画像データと所定の閾値と比較して黒欠陥画素を検出するようにしているので、より確実に黒欠陥画素を検出することができる。また請求項５に係る発明によれば、少なくとも２つの欠陥検出手段で黒欠陥画素を検出するようにしているので、黒欠陥の誤検出や未検出を防止することができる。
【００５２】
また請求項６に係る発明によれば、固定パターンノイズ検出用の暗時画像データを用いて、黒欠陥画素及び白欠陥画素検出を行うことにより、欠陥検出と固定パターンノイズのキャンセルとを兼ねて実施できるので、欠陥検出のみを目的とした撮像を必要としない。また請求項７に係る発明によれば、時間的に異なる２つの画像データのいずれにおいても白欠陥画素とされた画素を白欠陥画素とするようにしているので、誤検出を防止することができる。また請求項８に係る発明によれば、検出欠陥画素の位置座標を記憶手段に記憶するようにしているので、検出結果を繰り返し用いることが可能となる。また請求項９及び１０に係る発明によれば、検出された欠陥画素数が所定数より多い場合は欠陥検出を行わないようにしているので、欠陥検出に相応しいシーン及び環境か否かを自動的に判断することができる。また請求項１１に係る発明によれば、黒欠陥画素の検出を白欠陥画素の検出と同時に、且つ均一白色光照射を必要としないで検出可能な電子カメラを提供することができる。また請求項１２に係る発明によれば、黒欠陥画素の検出を白欠陥画素の検出と同時に、且つ均一白色光照射を必要としないで検出可能な画像処理方法を提供することができる。また請求項１３に係る発明によれば、黒欠陥画素の検出を白欠陥画素の検出と同時に、且つ均一白色光照射を必要としないで検出可能な画像処理プログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の第１の実施の形態を示すブロック図である。
【図２】固体撮像素子上に白欠陥画素と黒欠陥画素が存在している場合の態様を模式的に示す図である。
【図３】図２に示した欠陥画素が存在する場合のＣＣＤ画素出力を示す図である。
【図４】図１に示した第１の実施の形態における欠陥画素検出動作を説明するためのフローチャートである。
【図５】図１に示した第１の実施の形態における欠陥画素補正動作を説明するためのフローチャートである。
【図６】本発明の第２の実施の形態を示すブロック図である。
【図７】電子カメラの撮影シーンの一例を固体撮像素子上で示す図である。
【図８】図７に示した撮影シーンを撮像した場合のＣＣＤ画素出力を示す図である。
【図９】電子カメラの撮影シーンの他の例を固体撮像素子上で示す図である。
【図１０】図９に示した撮影シーンを撮像した場合のＣＣＤ画素出力を示す図である。
【図１１】本発明の第３の実施の形態を示すブロック図である。
【符号の説明】
１  露光制御手段
２  固体撮像素子
３  プリプロセス回路
４  Ａ／Ｄ変換回路
５  欠陥検出回路
６  欠陥位置メモリ
７  １次暫定欠陥位置メモリ
８  ２次暫定欠陥位置メモリ
９  欠陥補正回路
１０  映像信号処理回路
１１  表示手段
１２  ＣＰＵ
１３  加算回路
１４  フレームメモリ
【図１】
2004336400.tif 000003
【図２】
2004336400.tif 000004
【図３】
2004336400.tif 000005
【図４】
2004336400.tif 000006
【図５】
2004336400.tif 000007
【図６】
2004336400.tif 000008
【図７】
2004336400.tif 000009
【図８】
2004336400.tif 000010
【図９】
2004336400.tif 000011
【図１０】
2004336400.tif 000012
【図１１】
2004336400.tif 000013