(57)【要約】【課題】  メモリ容量が増大することなく、固体撮像素子による撮像画像信号を基にした欠陥画素検出の精度を高めることが可能な撮像装置を提供する。【解決手段】  欠陥検出部１３１は、撮像画像信号を基に欠陥画素候補を検出する。データ書き込み部１５１は、欠陥検出部１３１により欠陥画素候補が検出されるごとに、当該欠陥画素候補の位置に対応する欠陥判定用フレームメモリ２０上のアドレスのデータ値をインクリメントする。欠陥判定部１５２は、欠陥判定用フレームメモリ２０上の少なくとも１つのアドレスのデータ値が所定の基準値に達したときに、その時点でデータ値が大きい順に上位から所定数のアドレスを抽出し、当該アドレスに対応する画素を欠陥画素と判定して欠陥位置情報１９ａに登録する。これにより、１つの欠陥判定用フレームメモリ２０を用いて、複数フレームの撮像画像信号に基づく欠陥画素検出を行うことができる。【選択図】  図２
2005341244.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像装置を用いて画像を撮像する撮像装置において、
撮像画像の１フレームの各画素に対応するアドレスにデータを記憶するフレームメモリと、
撮像画像信号を基に欠陥画素候補を検出する欠陥画素候補検出手段と、
前記欠陥画素候補検出手段により前記欠陥画素候補が検出されるごとに、当該欠陥画素候補の位置に対応する前記フレームメモリ上のアドレスのデータ値をインクリメントするデータ書き込み手段と、
前記フレームメモリ上の少なくとも１つのアドレスのデータ値が所定の基準値に達したときに、その時点でデータ値が大きい順に上位から所定数のアドレスを抽出し、当該アドレスに対応する画素を欠陥画素と判定する欠陥画素判定手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記欠陥画素候補検出手段は、検出した前記各欠陥画素候補についての欠陥画素である可能性の高さを示す欠陥レベルを出力し、
前記データ書き込み手段は、１フレームの撮像画像から前記欠陥レベルが大きい順に上位から所定数の前記欠陥画素候補を抽出して、当該欠陥画素候補の位置に対応する前記フレームメモリ上のアドレスのデータ値をインクリメントすることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記欠陥画素候補検出手段は、撮像画像信号中の検出対象画素の信号レベルとその周囲画素の信号レベルとの比較結果に応じて前記欠陥レベルを出力することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記データ書き込み手段は、前記フレームメモリ上のデータ値をインクリメントするアドレス数を、直前の撮像時における露光条件に応じて変化させることを特徴とする請求項２記載の撮像装置。
【請求項５】
前記欠陥画素候補検出手段は、検出した前記各欠陥画素候補についての欠陥画素である可能性の高さを示す欠陥レベルを出力し、
前記データ書き込み手段は、前記欠陥レベルが所定の下限値に達している場合に、当該画素の位置に対応する前記フレームメモリ上のアドレスのデータ値をインクリメントし、さらに、前記下限値を直前の撮像時における露光条件に応じて変化させることを特徴とする請求項１記載の撮像装置。
【請求項６】
前記フレームメモリは、白欠陥判定用および黒欠陥判定用としてそれぞれ個別に設けられ、
前記欠陥画素候補検出手段は、前記各欠陥画素候補として白欠陥および黒欠陥についてそれぞれ検出し、
前記データ書き込み手段は、前記欠陥画素候補検出手段による検出結果に応じて白欠陥および黒欠陥にそれぞれ対応する前記フレームメモリのデータ値をインクリメントし、
前記欠陥画素判定手段は、白欠陥および黒欠陥についてそれぞれ対応する前記フレームメモリのデータ値に基づいて判定することを特徴とする請求項１記載の撮像装置。
【請求項７】
前記欠陥画素判定手段は、前記フレームメモリからデータ値が大きい順に抽出された所定数のアドレスのうち、そのデータ値が所定のしきい値以上のものに対応する画素を欠陥画素と判定することを特徴とする請求項１記載の撮像装置。
【請求項８】
前記欠陥画素判定手段により判定された欠陥画素の位置情報を記憶する欠陥位置記憶手段と、
前記欠陥位置記憶手段の記憶情報に基づいて撮像画像信号における欠陥画素の画素信号を補正する欠陥画素補正手段と、
をさらに有し、
前記欠陥画素判定手段は、新たな欠陥画素を判定するたびにその位置情報を前記欠陥位置記憶手段に書き加えるとともに、前記フレームメモリの全データ値をリセットすることを特徴とする請求項１記載の撮像装置。
【請求項９】
前記欠陥画素候補検出手段は、撮像画像信号中の検出対象画素の信号レベルとその周囲画素の信号レベルとに基づいて前記欠陥画素候補を検出することを特徴とする請求項１記載の撮像装置。
【請求項１０】
撮像画像の１フレームの各画素に対応するアドレスにデータを記憶するフレームメモリを用いて、固体撮像素子における欠陥画素を検出するための欠陥画素検出方法において、
撮像画像信号を基に欠陥画素候補が検出されるごとに、データ書き込み手段が、検出された前記欠陥画素候補の位置に対応する前記フレームメモリ上のアドレスのデータ値をインクリメントするステップと、
欠陥画素判定手段が、前記フレームメモリ上の少なくとも１つのアドレスのデータ値が所定の基準値に達したときに、その時点でデータ値が大きい順に上位から所定数のアドレスを抽出し、当該アドレスに対応する画素を欠陥画素と判定するステップと、
を含むことを特徴とする欠陥画素検出方法。
【請求項１１】
撮像画像の１フレームの各画素に対応するアドレスにデータを記憶するフレームメモリを用いて、固体撮像素子における欠陥画素を検出する処理をコンピュータに実行させる欠陥画素検出プログラムにおいて、
撮像画像信号を基に欠陥画素候補が検出されるごとに、当該欠陥画素候補の位置に対応する前記フレームメモリ上のアドレスのデータ値をインクリメントするデータ書き込み手段、
前記フレームメモリ上の少なくとも１つのアドレスのデータ値が所定の基準値に達したときに、その時点でデータ値が大きい順に上位から所定数のアドレスを抽出し、当該アドレスに対応する画素を欠陥画素と判定する欠陥画素判定手段、
として前記コンピュータを機能させることを特徴とする欠陥画素検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置を用いて画像を撮像する撮像装置、この撮像装置における欠陥画素検出方法およびプログラムに関し、特に、撮像画像の１フレームの各画素に対応するアドレスにデータを記憶するフレームメモリを用い、かつ撮像画像信号を基に欠陥画素を検出することが可能な撮像装置、欠陥画素検出方法およびプログラムに関する。
【背景技術】
【０００２】
一般に、デジタルスチルカメラやデジタルビデオカメラなどに搭載されて被写体を撮像するための固体撮像素子では、多数の画素のうちの一部に欠陥が生じることがある。このような欠陥画素は、例えば、固体撮像素子を構成する半導体の局部的な結晶欠陥などによる過剰電荷の発生といった原因により発生する。このような欠陥画素は異常なレベルの信号を出力するので、欠陥画素は画質を劣化させる原因となる。このため、固体撮像素子を用いた従来の撮像素子では、欠陥画素の位置を検出してその出力信号を補正することが行われていた。
【０００３】
欠陥画素の検出には、様々な方法がある。例えば、異常に出力レベルの高い欠陥画素（白欠陥と呼ばれる）は、シャッタを完全に閉じた状態で撮像することで検出することができる。また、異常に出力レベルの低い欠陥画素（黒欠陥と呼ばれる）は、基準光源などを受光面に照射して撮像することで検出することができる。
【０００４】
また、このような遮光手段や基準光源などを用いずに、通常撮像時の画像信号を基に欠陥画素の位置を検出する方法もある。例えば、所定の画素とその周囲の画素との信号レベル差などを基に欠陥画素位置を推定する方法が一般的に用いられており、さらに、このような方法による欠陥検出を複数フレームにわたって行い、複数フレーム分の検出結果をメモリに記憶しておき、その記憶情報に基づいて欠陥画素であるか否かを最終的に断定することで、検出精度を高めたものもあった（例えば、特許文献１参照）。ここで、複数フレーム分の検出結果を記憶しておくためには、１フレーム分の各画素に対応するアドレスにデータが配置される、いわゆるフレームメモリを用いることが望ましく、これにより処理を効率化することができる。
【０００５】
なお、固体撮像素子の受光面を遮光して輝点（白欠陥）を検出する方法を用いた従来技術としては、遮光時の撮像画像信号と基準信号との比較結果に応じて、１つのフレームメモリ上の対応アドレスのデータをインクリメントまたはデクリメントし、このような検出動作を複数フレーム分繰り返し行って、フレームメモリ上のデータが大きいアドレスに対応する画素を輝点と判定することで、メモリ容量を増やすことなく、ランダムノイズの影響が低減されて検出精度が高められた輝点検出装置があった（例えば、特許文献２参照）。
【特許文献１】特開平６−２８４３４６号公報（段落番号〔００３２〕〜〔００３８〕、図２）
【特許文献２】特開平４−１１５７８５号公報（第５５５頁−第５５７頁，図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、撮像画像信号を基に欠陥画素を検出する方法は、遮光手段や基準光源を用いる必要がないので、比較的簡単な構成で実現することができる。また、このような方法を用いた場合には、上記の特許文献１に開示されたように、より多くのフレーム分の欠陥検出を行ってそれらの検出結果に基づいて欠陥画素を断定する方が、検出精度を高くすることができる。
【０００７】
しかし、多くのフレーム分の欠陥検出を行う場合には、その分だけ検出結果を記憶しておくフレームメモリが必要となり、回路規模が大きくなり、製造コストが上昇するという問題がある。特に、近年では固体撮像素子の高画素化が進んでおり、ある程度の検出精度を満たすようにするためには非常に容量の大きいフレームメモリを設ける必要がある。
【０００８】
本発明はこのような課題に鑑みてなされたものであり、メモリ容量が増大することなく、固体撮像素子による撮像画像信号を基にした欠陥画素検出の精度を高めることが可能な撮像装置を提供することを目的とする。
【０００９】
また、本発明の他の目的は、メモリ容量を増大させることなく検出精度を高めることが可能な、固体撮像素子による撮像画像信号を基にした欠陥画素検出方法を提供することである。
【００１０】
さらに、本発明の他の目的は、メモリ容量を増大させることなく検出精度を高めることが可能な、固体撮像素子による撮像画像信号を基にした欠陥画素検出プログラムを提供することである。
【課題を解決するための手段】
【００１１】
本発明では上記課題を解決するために、固体撮像装置を用いて画像を撮像する撮像装置において、撮像画像の１フレームの各画素に対応するアドレスにデータを記憶するフレームメモリと、撮像画像信号を基に欠陥画素候補を検出する欠陥画素候補検出手段と、前記欠陥画素候補検出手段により前記欠陥画素候補が検出されるごとに、当該欠陥画素候補の位置に対応する前記フレームメモリ上のアドレスのデータ値をインクリメントするデータ書き込み手段と、前記フレームメモリ上の少なくとも１つのアドレスのデータ値が所定の基準値に達したときに、その時点でデータ値が大きい順に上位から所定数のアドレスを抽出し、当該アドレスに対応する画素を欠陥画素と判定する欠陥画素判定手段とを有することを特徴とする撮像装置が提供される。
【００１２】
このような撮像装置では、欠陥画素候補検出手段による欠陥画素候補の検出が複数フレーム分だけ行われると、欠陥画素候補として検出された回数がその画素の対応アドレスのデータ値として１つのフレームメモリに記録される。そして、欠陥画素判定手段により、フレームメモリ上の少なくとも１つのアドレスのデータ値が所定の基準値に達したときに、フレームメモリ上のデータ値が大きい画素のみが欠陥画素として最終的に判定される。
【００１３】
また、本発明では、撮像画像の１フレームの各画素に対応するアドレスにデータを記憶するフレームメモリを用いて、固体撮像素子における欠陥画素を検出するための欠陥画素検出方法において、撮像画像信号を基に欠陥画素候補が検出されるごとに、データ書き込み手段が、検出された前記欠陥画素候補の位置に対応する前記フレームメモリ上のアドレスのデータ値をインクリメントするステップと、欠陥画素判定手段が、前記フレームメモリ上の少なくとも１つのアドレスのデータ値が所定の基準値に達したときに、その時点でデータ値が大きい順に上位から所定数のアドレスを抽出し、当該アドレスに対応する画素を欠陥画素と判定するステップとを含むことを特徴とする欠陥画素検出方法が提供される。
【００１４】
このような欠陥画素検出方法では、欠陥画素候補検出手段による欠陥画素候補の検出が複数フレーム分だけ行われると、欠陥画素候補として検出された回数がその画素の対応アドレスのデータ値として１つのフレームメモリに記録される。そして、欠陥画素判定手段により、フレームメモリ上の少なくとも１つのアドレスのデータ値が所定の基準値に達したときに、フレームメモリ上のデータ値が大きい画素のみが欠陥画素として最終的に判定される。
【発明の効果】
【００１５】
本発明によれば、欠陥画素候補として検出された回数を画素ごとにフレームメモリに記録する構成としたことにより、複数フレームの撮像画像信号を基に欠陥画素候補を検出しながらもフレームメモリが１つしか必要とされない。また、いずれかの画素について欠陥画素候補とされた回数が所定値に達したときに最終的な欠陥画素の判定を行い、このときに上記回数の多い順に所定数の画素を欠陥画素とすることで、同じ検出条件下において欠陥画素である可能性の高い画素が優先的に欠陥画素と判定されるので、遮光手段や基準光源などを用いない比較的簡単な構成により実現可能な欠陥画素候補の検出を行いながらも、その検出精度を向上させることができる。従って、メモリ容量を増大させることなく、低コストで精度の高い欠陥画素検出を行うことが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明をデジタルスチルカメラに適用した場合を例に、本発明の実施の形態を図面を参照して詳細に説明する。
≪第１の実施の形態≫
図１は、本発明の第１の実施の形態に係るデジタルスチルカメラの全体構成を示すブロック図である。
【００１７】
図１に示すデジタルスチルカメラは、光学ブロック１１、アナログフロントエンド（ＡＦＥ）処理回路１２、カメラ信号処理回路１３、エンコーダ／デコーダ１４、システム制御部１５、入力部１６、グラフィックＩ／Ｆ（インタフェース）１７、ディスプレイ１７ａ、およびＲ／Ｗ（リーダ／ライタ）１８を具備する。また、システム制御部１５にはさらに、ＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）１９および欠陥判定用フレームメモリ２０が接続されている。また、Ｒ／Ｗ１８には、メモリカード１８ａが着脱可能な状態で接続される。
【００１８】
光学ブロック１１は、複数枚のレンズとその移動機構を含むレンズ機構部１１１、アイリスやシャッタ、およびそれらの駆動機構を含む露光機構部１１２、赤外カットフィルタなどからなるオプティカル・ローパスフィルタ（ＯＰ−ＬＰＦ）１１３、および、固体撮像素子の一つとしてＣＣＤ（Charge Coupled Device）１１４を具備する。また、レンズ機構部１１１、露光機構部１１２およびＣＣＤ１１４をそれぞれ駆動するためのレンズドライバ１１５、露光制御ドライバ１１６およびタイミングジェネレータ（ＴＧ）１１７が設けられている。
【００１９】
この光学ブロック１１では、レンズ機構部１１１、露光機構部１１２およびＯＰ−ＬＰＦ１１３を含む光学系を通過した被写体からの反射光がＣＣＤ１１４により受光されて光電変換される。なお、固体撮像素子としてはＣＣＤの他に、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどが用いられてもよい。
【００２０】
レンズドライバ１１５および露光制御ドライバ１１６は、システム制御部１５の制御の下で、レンズ機構部１１１および露光機構部１１２の動作をそれぞれ制御する。ＴＧ１１７は、システム制御部１５の制御の下で、ＣＣＤ１１４に対してタイミング信号を供給し、その駆動タイミングを制御する。また、このタイミング信号はＡＦＥ処理回路１２に対しても供給される。
【００２１】
ＡＦＥ処理回路１２は、ＣＣＤ１１４から出力されたアナログ画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。なお、ＡＦＥ処理回路１２は、ＴＧ１１７からのタイミング信号に従って動作し、またＡＧＣ処理のゲインなどはシステム制御部１５から与えられる。
【００２２】
カメラ信号処理回路１３は、システム制御部１５の制御の下で、ＡＦＥ処理回路１２からの画像信号に対して、欠陥画素の補正処理やホワイトバランス調整処理、色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などのカメラ信号処理を施す。また、例えば電源投入時、あるいは一定時間ごとなどに、後述するように、ＡＦＥ処理回路１２からの画像信号を基にした欠陥画素の検出処理を行う。なお、本実施の形態では、カメラ信号処理回路１３において検出された欠陥画素は欠陥画素候補として取り扱われ、欠陥か否かの最終的な判定はシステム制御部１５の処理により行われて、その画素位置は例えばＥＥＰＲＯＭ１９に記録される。
【００２３】
エンコーダ／デコーダ１４は、カメラ信号処理回路１３からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、システム制御部１５から供給された静止画像の符号化データを伸張復号化処理する。
【００２４】
システム制御部１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成されるマイクロコントローラであり、入力部１６からの制御信号に応じて、ＲＯＭやＥＥＰＲＯＭ１９などに記憶されたプログラムを実行することにより、デジタルスチルカメラの各部を統括的に制御する。
【００２５】
また、本実施の形態では特に、システム制御部１５は、カメラ信号処理回路１３による欠陥画素検出に基づく最終的な欠陥画素判定の処理を行い、この処理のために、システム制御部１５には、撮像画像の１フレーム分の各画素に対応するアドレスにデータが順次配置されるように構成された欠陥判定用フレームメモリ２０が接続されている。
【００２６】
システム制御部１５は、カメラ信号処理回路１３により欠陥画素が検出されるたびに、その画素に対応する欠陥判定用フレームメモリ２０のアドレスのデータ値をインクリメントし、この欠陥判定用フレームメモリ２０の記録データを基に欠陥画素の位置を最終判定して、その位置情報をＥＥＰＲＯＭ１９に記録する。そして、画像の撮像の際のカメラ信号処理回路１３による欠陥画素補正時には、ＥＥＰＲＯＭ１９から欠陥画素の位置情報を読み出して、カメラ信号処理回路１３に出力する。
【００２７】
入力部１６は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどにより構成され、ユーザによる入力操作に応じた制御信号をシステム制御部１５に出力する。
【００２８】
グラフィックＩ／Ｆ１７は、システム制御部１５から供給された画像信号から、ディスプレイ１７ａに表示させるための画像信号を生成して、この信号をディスプレイ１７ａに供給し、画像を表示させる。ディスプレイ１７ａは、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像やメモリカード１８ａに記録されたデータに基づく再生画像などを表示する。
【００２９】
Ｒ／Ｗ１８には、撮像により生成された画像データなどを記録する記録媒体として、可搬型のフラッシュメモリからなるメモリカード１８ａが着脱可能に接続される。Ｒ／Ｗ１８は、システム制御部１５から供給されたデータをメモリカード１８ａに書き込み、また、メモリカード１８ａから読み出したデータをシステム制御部１５に出力する。なお、記録媒体としては、他に、例えば書き込み可能な光ディスクやＨＤＤ（ハードディスクドライブ）などが用いられてもよい。
【００３０】
ここで、上記のデジタルスチルカメラにおける撮像時の基本的な動作について説明する。まず、静止画像の撮像時の動作について説明する。
静止画像の撮像前には、ＣＣＤ１１４によって受光されて光電変換された信号が、順次ＡＦＥ処理回路１２に供給される。ＡＦＥ処理回路１２は、入力信号に対してＣＤＳ処理、ＡＧＣ処理を施し、さらにデジタル信号に変換する。カメラ信号処理回路１３は、ＡＦＥ処理回路１２から供給されたデジタル画像信号を画質補正処理し、カメラスルー画像の信号として、システム制御部１５を介してグラフィックＩ／Ｆ１７に供給する。これにより、カメラスルー画像がディスプレイ１７ａに表示され、ユーザはディスプレイ１７ａを見て画角合わせを行うことが可能となる。
【００３１】
この状態で、入力部１６のシャッタレリーズボタンが押下されると、システム制御部１５は、露光制御ドライバ１１６やＴＧ１１７に制御信号を出力してシャッタを動作させる。これによりＣＣＤ１１４からは、１フレーム分の画像信号が出力される。なお、このとき、システム制御部１５は、カメラ信号処理回路１３におけるＡＦ処理およびＡＥ処理の結果に応じて、レンズドライバ１１５、露光制御ドライバ１１６およびＴＧ１１７に対して制御信号を出力し、これにより露光時間や露光量が適切になるように制御される。
【００３２】
カメラ信号処理回路１３は、ＣＣＤ１１４からＡＦＥ処理回路１２を介して供給された１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号をエンコーダ／デコーダ１４に供給する。エンコーダ／デコーダ１４は、入力された画像信号を圧縮符号化し、生成した符号化データを、システム制御部１５を介してＲ／Ｗ１８に供給する。これにより、撮像された静止画像のデータファイルがメモリカード１８ａに記憶される。
【００３３】
一方、メモリカード１８ａに記憶された静止画像ファイルを再生する場合には、システム制御部１５は、入力部１６からの操作入力に応じて、選択された静止画像ファイルをメモリカード１８ａからＲ／Ｗ１８を介して読み込み、エンコーダ／デコーダ１４に供給して伸張復号化処理を実行させる。復号化された画像信号はシステム制御部１５を介してグラフィックＩ／Ｆ１７に供給され、これによりディスプレイ１７ａに静止画像が再生表示される。
【００３４】
次に、このデジタルスチルカメラにおける欠陥画素検出について詳しく説明する。
図２は、このデジタルスチルカメラが具備する欠陥画素検出のための機能を示すブロック図である。
【００３５】
図２に示すように、上記のデジタルスチルカメラには、欠陥画素検出のための機能として、欠陥検出部１３１および欠陥判定処理部１５０が設けられている。また、検出された欠陥画素の位置情報（欠陥位置情報１９ａ）を基に欠陥画素の補正を行う欠陥補正部１３２も設けられている。
【００３６】
欠陥検出部１３１は、カメラ信号処理回路１３の機能として実現され、ＡＦＥ処理回路１２から出力された画像信号を基に欠陥画素を検出し、その画素位置を示すアドレスをシステム制御部１５に通知する。例えば、欠陥検出部１３１は、検出対象の画素とその周囲の画素との信号レベルを比較して、検出対象の画素の信号レベルが極端に大きい場合あるいは小さい場合などに欠陥画素と判断する。
【００３７】
欠陥判定処理部１５０は、システム制御部１５の機能として実現され、データ書き込み部１５１および欠陥判定部１５２を有している。データ書き込み部１５１は、欠陥検出部１３１の検出結果に応じて、欠陥判定用フレームメモリ２０に対してデータ値を書き込む機能ブロックである。具体的には、欠陥検出部１３１により欠陥画素の候補が検出されるごとに、その画素位置に対応する欠陥判定用フレームメモリ２０のアドレスのデータ値をインクリメントする。この処理の結果、欠陥判定用フレームメモリ２０には、欠陥検出部１３１により欠陥画素候補として検出された回数が画素ごとに記録される。
【００３８】
なお、欠陥画素候補としての検出回数を記録するためにフレームメモリを用いることにより、この検出回数の記録動作を欠陥検出部１３１による検出動作に容易に同期させることができ、処理効率が高められる。
【００３９】
欠陥判定部１５２は、欠陥判定用フレームメモリ２０の記録データに基づいて、最終的な欠陥画素の判定を行う。具体的には、欠陥判定用フレームメモリ２０に記録された各画素のデータ値を監視し、これらのデータ値の最大値が所定のしきい値に達したときに欠陥判定を行う。このとき、データ値が大きい順に上位から所定数のアドレスを抽出し、それらのアドレスに対応する画素を欠陥画素と判定して、欠陥位置情報１９ａとしてＥＥＰＲＯＭ１９に記録する。
【００４０】
なお、欠陥補正部１３２はカメラ信号処理回路１３の機能として実現され、画像の撮像時に、欠陥位置情報１９ａをＥＥＰＲＯＭ１９からシステム制御部１５を通じて読み出し、この情報に基づいてＡＦＥ処理回路１２からの画像信号に対して、補間演算などにより欠陥画素の信号補正を行う。補間演算など信号補正処理の一部はシステム制御部１５により行われてもよい。
【００４１】
以上のように、欠陥検出部１３１は、撮像画像信号を基に欠陥画素候補を検出するので、遮光手段や基準光源などを用いない比較的簡単な装置構成により実現される。そして、欠陥判定処理部１５０は、欠陥画素候補とされた回数を基にして最終的な欠陥画素の位置を判定するので、欠陥画素の検出精度を高めることができる。欠陥検出部１３１での欠陥検出方法としては、例えば以下の図３のような一般的な方法を用いることができる。
【００４２】
図３は、欠陥検出部１３１における欠陥検出方法の一例を説明するための図である。
図３では例として、ベイヤ配列のＲＧＢの原色フィルタが設けられた場合のＣＣＤ１１４の受光面の様子を示している。この場合、１画素おきに同色のフィルタが設けられる。欠陥の検出対象とする画素を注目画素Ｐとすると、この注目画素Ｐの検出を行うために、その周囲に存在する同色画素の信号が用いられる。ここでは例として、図３のように周囲の８画素（周辺画素Ｐ１〜Ｐ８）を用いる。このとき、周辺画素Ｐ１〜Ｐ８の信号レベルの平均値と、注目画素Ｐの信号レベルとの差分をとり、その絶対値がしきい値を超える場合に欠陥画素と判断する。これにより、周囲の画素との信号レベル差が極端に大きい画素が欠陥と判断される。
【００４３】
このような検出方法では、注目画素Ｐとの比較対照とする周辺画素の数を増加させることで、検出精度を高めることができる。また、例えば周辺画素の信号レベルの分散値算出などの統計的演算手法を用いたり、注目画素Ｐとは異なる色の周辺画素の信号レベルとの相関をとることなどにより、さらに検出精度を高めることができる。このように、撮像画像信号を基にした欠陥検出では、複雑な演算を用いるほど検出精度を高めることができる。
【００４４】
しかし、本実施の形態では、このような比較的簡単な装置構成により実現される欠陥検出を複数フレームに対して実行した検出結果を基に、欠陥判定処理部１５０により最終的な欠陥判定を行うので、欠陥検出部１３１において例えば図３に示したような比較的簡単な欠陥検出方法が採られた場合にも、その検出精度を高めることができる。
【００４５】
図４は、欠陥判定処理部１５０における欠陥判定時の処理の流れを示すフローチャートである。
図４に示す処理は、電源投入時、あるいは一定時間ごとなどに、欠陥検出部１３１により１フレーム分の撮像画像信号を基にした欠陥検出が行われる場合に実行される（後述する図５，図６，図７も同様）。まず、データ書き込み部１５１により、ステップＳ１０１〜Ｓ１０４が実行される。
【００４６】
〔ステップＳ１０１〕欠陥検出部１３１から、１画素についての欠陥検出結果を受信する。
〔ステップＳ１０２〕欠陥画素であることが検出された場合にはステップＳ１０３に進み、検出されなかった場合にはステップＳ１０４に進む。
【００４７】
〔ステップＳ１０３〕欠陥画素とされた画素の位置に対応する欠陥判定用フレームメモリ２０上のアドレスのデータ値をインクリメントする。
〔ステップＳ１０４〕１フレーム分の欠陥検出が終了したか否か判定し、終了していない場合はステップＳ１０１に戻って、次の画素についての検出結果を受信する。また、終了した場合には、続いて、欠陥判定部１５２によりステップＳ１０５〜Ｓ１０８が実行される。
【００４８】
〔ステップＳ１０５〕欠陥判定用フレームメモリ２０に記録されたデータ値の最大値が所定のしきい値（ここでは２５５）に達したか否かを判定し、達している場合はステップＳ１０６に進み、そうでない場合は処理を終了する。
【００４９】
〔ステップＳ１０６〕欠陥判定用フレームメモリ２０上で、データ値が大きい順に上位から所定個数（ここでは３０個）のアドレスを抽出する。なお、このとき、抽出対象とするデータ値の下限値を設けておき、上位から所定個数以内であっても、そのデータ値が下限値に達していない場合には、該当アドレスを抽出しないようにしてもよい。
【００５０】
〔ステップＳ１０７〕抽出したアドレスに対応する画素を欠陥画素と判定し、このアドレスをＥＥＰＲＯＭ１９に欠陥位置情報１９ａとして登録する。
〔ステップＳ１０８〕欠陥判定用フレームメモリ２０の記録データをリセットする。
【００５１】
以上の処理では、欠陥検出部１３１により欠陥画素候補とされた回数がいずれかの画素において所定値に達したときに欠陥画素の判定が行われ、このときにその回数の多い順に所定数の画素が欠陥画素と判定される。このため、すべての画素について検出条件が同じ状態となり、その条件下において欠陥画素である可能性の高い画素が優先的に欠陥画素と判定されるので、ステップＳ１０５における最大値やステップＳ１０６におけるアドレスの抽出個数を適正に設定することで、高い欠陥判定精度を得ることができる。
【００５２】
また、複数フレーム分の撮像画像信号を基に欠陥判定を行うので、ランダムノイズの発生や、画素エッジでの誤検出発生などに起因する検出誤差の影響を打ち消すことができる。そして、欠陥画素候補としての検出回数を１つのフレームメモリに記録する構成とすることで、このように複数フレーム分の欠陥検出を行いながらも必要なフレームメモリの容量を抑制することができるので、回路規模を縮小し、製造コストを抑制することができる。
【００５３】
≪第２の実施の形態≫
上述した第１の実施の形態では、欠陥検出部１３１は、対象の画素が欠陥画素であるか否かを判定するようになっていたが、この他に例えば、欠陥検出部１３１が欠陥検出時の演算結果に応じて各画素について欠陥レベルを出力することとしてもよい。欠陥レベルは、例えばその値が高いほど、欠陥画素である可能性が高いことを示す。例えば、上記の図３で説明した欠陥検出方法では、周辺画素の信号レベルの平均値と、注目画素の信号レベルとの差分値の絶対値が大きいほど欠陥画素である可能性が高いと考えられるので、この差分値の絶対値（またはこの値に応じて段階的に割り当てられた値など）を欠陥レベルとすることができる。
【００５４】
このように欠陥検出部１３１から欠陥レベルが出力される場合、欠陥判定処理部１５０では、欠陥レベルを基に欠陥画素候補とするか否かを独自に判定し、さらに欠陥画素候補とした回数を基に最終的な欠陥判定を行うことで、その判定精度を高めることができる。本実施の形態では、１フレーム分の撮像画像信号を基に検出された欠陥レベルを受け取ると、その欠陥レベルが大きい順に上位から所定個数の画素を欠陥画素候補とする。
【００５５】
図５は、この場合の欠陥判定処理部１５０における欠陥判定時の処理の流れを示すフローチャートである。
まず、図４と同様に、データ書き込み部１５１によりステップＳ２０１〜Ｓ２０３が実行される。
【００５６】
〔ステップＳ２０１〕欠陥検出部１３１から、１フレーム分の各画素の欠陥レベルを順次受信する。受信した欠陥レベルは、例えばＲＡＭなどに一時的に記憶しておく。
〔ステップＳ２０２〕１フレーム分のうち、欠陥レベルの大きい順に上位から所定数（ここでは３０個）の画素を、欠陥画素候補として抽出する。なお、このとき、欠陥画素候補とするための欠陥レベルの下限を設けておいてもよい。
【００５７】
〔ステップＳ２０３〕欠陥画素候補とされた画素の位置に対応する欠陥判定用フレームメモリ２０上のアドレスのデータ値をインクリメントする。
以下のステップＳ２０４〜Ｓ２０７の処理は、図４のステップＳ１０５〜Ｓ１０８に対応するので、ここでは説明を省略する。ただし、上記処理では、欠陥レベルの大きい順に上位から所定数の画素を欠陥画素候補とする判定により検出精度を高めることができるので、最終的な欠陥判定までに必要なフレーム数を少なくすることができる。従って、ステップＳ２０４では、欠陥画素とするための判定基準値を、第１の実施の形態の場合より低くすることができる。これとともに、欠陥判定用フレームメモリ２０に記録する画素当たりのビット数を減少させることができるので、メモリ容量が抑制される。
【００５８】
≪第３の実施の形態≫
ところで、欠陥検出部１３１における欠陥検出では誤検出を完全になくすことは不可能であるが、誤検出の発生確率は撮像時の露光条件によっても変化する。例えば、システム制御部１５は、カメラ信号処理回路１３によるＡＥ処理の結果に応じて、メカニカルシャッタや電子シャッタのシャッタ速度、ＡＦＥ処理回路１２内のＡＧＣのゲインなどを制御するが、この際に、ＡＧＣのゲインを高く設定した場合には、それに伴って画像信号に含まれるノイズ成分が増加するため、欠陥とノイズの区別が難しくなる。あるいは、ＣＣＤ１１４上で発生するランダムノイズに関しては、露光時間分の積分によりノイズ成分が打ち消し合うので、シャッタスピードが遅く、露光時間が長いほど、ノイズの発生が減少する。その一方で、白欠陥は欠陥画素における過剰電荷の発生に起因するので、露光時間が長いほど過剰電荷が多く蓄積され、白欠陥の検出が容易になる。
【００５９】
このような性質を加味して、本実施の形態では、欠陥検出部１３１の検出結果に基づいて欠陥画素候補とする条件を、露光条件に応じて変化させることで、欠陥画素の検出精度をより向上させる。このために、欠陥判定処理部１５０のデータ書き込み部１５１は、欠陥検出部１３１の検出が開始されると、システム制御部１５内で演算された、そのフレームの撮像のためのシャッタスピードやＡＧＣゲインなどの制御値を受け取り、欠陥画素候補として抽出する画素数を変化させる。
【００６０】
図６は、この場合の欠陥判定処理部１５０における欠陥判定時の処理の流れを示すフローチャートである。
まず、データ書き込み部１５１によりステップＳ３０１〜Ｓ３０４が実行される。
【００６１】
〔ステップＳ３０１〕撮像時の露光条件を取得し、この条件に応じて、後のステップＳ３０３で欠陥画素候補として抽出する画素数を設定する。例えば、ＡＧＣのゲインを高くするほど、抽出する画素数を減少させる。また、シャッタスピードが遅いほど、抽出する画素数を増加させる。
【００６２】
〔ステップＳ３０２〕欠陥検出部１３１から、１フレーム分の各画素の欠陥レベルを順次受信する。受信した欠陥レベルは、例えばＲＡＭなどに一時的に記憶しておく。
〔ステップＳ３０３〕欠陥レベルの大きい順に、ステップＳ３０１で設定された数だけの画素を欠陥画素候補として抽出する。なお、このとき、欠陥画素候補とするための欠陥レベルの下限を設けておいてもよい。
【００６３】
〔ステップＳ３０４〕欠陥画素候補とされた画素の位置に対応する欠陥判定用フレームメモリ２０上のアドレスのデータ値をインクリメントする。
この後のステップＳ３０５〜Ｓ３０８の処理は、図４のステップＳ１０５〜Ｓ１０８に対応するので、ここでは説明を省略する。以上の処理では、欠陥画素候補の判定精度がより高められるので、同じ欠陥検出精度を得るためには、上記の第２の実施の形態と比較して、最終的な欠陥判定までに必要なフレーム数を少なくすることができ、欠陥判定用フレームメモリ２０の容量をさらに抑制することができる。
【００６４】
≪第４の実施の形態≫
上記の第３の実施の形態では、欠陥画素候補とする画素数を露光条件に応じて変化させたが、この他に例えば、欠陥画素候補の判定を欠陥レベルの値に応じて行い、その判定基準値を露光条件に応じて変化させてもよい。
【００６５】
図７は、この場合の欠陥判定処理部１５０における欠陥判定時の処理の流れを示すフローチャートである。
まず、データ書き込み部１５１によりステップＳ４０１〜Ｓ４０５が実行される。
【００６６】
〔ステップＳ４０１〕撮像時の露光条件を取得し、この条件に応じて、後のステップＳ４０３で欠陥画素候補として抽出するための判定基準値を設定する。例えば、ＡＧＣのゲインを高くするほど、判定基準値を高くし、シャッタスピードが遅いほど、判定基準値を低くする。
【００６７】
〔ステップＳ４０２〕欠陥検出部１３１から、１画素についての欠陥レベルを受信する。
〔ステップＳ４０３〕欠陥レベルが、ステップＳ４０１で設定した判定基準値以上であるか否かを判定し、判定基準値以上である場合は欠陥画素候補であると判定してステップＳ４０４に進み、そうでない場合にはステップＳ４０５に進む。
【００６８】
〔ステップＳ４０４〕欠陥画素候補とされた画素の位置に対応する欠陥判定用フレームメモリ２０上のアドレスのデータ値をインクリメントする。
〔ステップＳ４０５〕１フレーム分の欠陥検出が終了したか否か判定し、終了していない場合はステップＳ４０２に戻って、次の画素についての欠陥レベルを受信する。また、終了した場合には、続いて、欠陥判定部１５２によりステップＳ４０６〜Ｓ４０９が実行されるが、これらのステップＳ４０６〜Ｓ４０９は図４のステップＳ１０５〜Ｓ１０８に対応するので、ここでは説明を省略する。
【００６９】
以上の処理では、欠陥画素候補の判定基準値を露光条件に応じて変化させることで、欠陥画素候補の判定精度がより高められるので、上記の第３の実施の形態と同様に、第２の実施の形態と比較して最終的な欠陥判定までに必要なフレーム数を少なくすることができ、欠陥判定用フレームメモリ２０の容量をさらに抑制することができる。
【００７０】
≪第５の実施の形態≫
図８は、本発明の第５の実施の形態に係るデジタルスチルカメラが具備する欠陥画素検出のための機能を示すブロック図である。
【００７１】
図８に示すデジタルスチルカメラでは、カメラ信号処理回路１３において、白欠陥検出用および黒欠陥検出用にそれぞれ欠陥検出部１３１ａおよび１３１ｂを設けている。このような場合に、システム制御部１５においても、白欠陥、黒欠陥についてそれぞれ欠陥判定処理部１５０ａおよび１５０ｂを設け、またそれぞれに専用のフレームメモリ（白欠陥判定用フレームメモリ２０ａ，黒欠陥判定用フレームメモリ２０ｂ）を設けてもよい。このように白欠陥および黒欠陥について個別に欠陥判定を行う場合にも、フレームメモリは白欠陥、黒欠陥のそれぞれについて１つずつしか必要とならないので、メモリ容量を増大させることなく、欠陥検出精度を高めることができる。
【００７２】
また、欠陥判定処理部１５０ａおよび１５０ｂでは、欠陥画素の判定処理として、上述した図４〜図７のいずれの処理手順が用いられてもよい。また、欠陥画素候補とするための判定基準や、最終的な欠陥画素判定を開始するためのフレームメモリ上のデータ値の最大値などについては、白欠陥および黒欠陥でそれぞれ異なる値が設定されてもよい。
【００７３】
さらに、白欠陥および黒欠陥のための欠陥検出部１３１ａおよび１３１ｂが個別に設けられた場合でも、欠陥判定用フレームメモリを１つだけ設けるようにし、処理を簡略化するとともにメモリ容量を抑制してもよい。この場合、欠陥判定処理部１５０ａおよび１５０ｂでは、欠陥画素候補を抽出するための機能（データ書き込み部１５１に対応）のみそれぞれ個別に設けて、このときに各機能が同じフレームメモリに対してデータ値のインクリメントを行うようにする。従って、フレームメモリには、白欠陥，黒欠陥を区別することなく欠陥画素候補とされた回数が記録される。また、フレームメモリ上のデータ値に基づく欠陥判定を行う機能（欠陥判定部１５２に対応）は１つだけ設けられて共用されればよい。
【００７４】
なお、以上の実施の形態では、本発明をデジタルスチルカメラに適用した場合について説明したが、固体撮像素子を用いたこれ以外の撮像装置に対しても本発明を適用することができる。例えば、デジタルビデオカメラや、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能などに適用可能である。
【００７５】
さらに、上記の撮像装置の処理機能は、コンピュータによって実現することができる。その場合、この撮像装置が有すべき機能（特に、上記の欠陥判定処理部１５０，１５０ａ，１５０ｂなどに対応する機能）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。
【００７６】
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００７７】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施の形態に係るデジタルスチルカメラの全体構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係るデジタルスチルカメラが具備する欠陥画素検出のための機能を示すブロック図である。
【図３】欠陥検出部における欠陥検出方法の一例を説明するための図である。
【図４】第１の実施の形態に係る欠陥判定処理部における欠陥判定時の処理の流れを示すフローチャートである。
【図５】第２の実施の形態に係る欠陥判定処理部における欠陥判定時の処理の流れを示すフローチャートである。
【図６】第３の実施の形態に係る欠陥判定処理部における欠陥判定時の処理の流れを示すフローチャートである。
【図７】第４の実施の形態に係る欠陥判定処理部における欠陥判定時の処理の流れを示すフローチャートである。
【図８】本発明の第５の実施の形態に係るデジタルスチルカメラが具備する欠陥画素検出のための機能を示すブロック図である。
【符号の説明】
【００７９】
１１……光学ブロック、１２……ＡＦＥ処理回路、１３……カメラ信号処理回路、１４……エンコーダ／デコーダ、１５……システム制御部、１６……入力部、１７……グラフィックＩ／Ｆ、１７ａ……ディスプレイ、１８……Ｒ／Ｗ、１８ａ……メモリカード、１９……ＥＥＰＲＯＭ、２０……欠陥判定用フレームメモリ、１１１……レンズ機構部、１１２……露光機構部、１１３……ＯＰ−ＬＰＦ、１１４……ＣＣＤ、１１５……レンズドライバ、１１６……露光制御ドライバ、１１７……ＴＧ、１３１……欠陥検出部、１３２……欠陥補正部、１５０……欠陥判定処理部、１５１……データ書き込み部、１５２……欠陥判定部
【図１】
2005341244.tif 000003
【図２】
2005341244.tif 000004
【図３】
2005341244.tif 000005
【図４】
2005341244.tif 000006
【図５】
2005341244.tif 000007
【図６】
2005341244.tif 000008
【図７】
2005341244.tif 000009
【図８】
2005341244.tif 000010