(57)【要約】【課題】撮影者の手を煩わすことなく、カメラに実装された既存の要素を用いて簡単に異物の検出ができる技術の提供。【解決手段】被写体の光学像を撮像する撮像手段と、前記撮像手段による被写体撮影を行う通常の撮影時に、撮影画像から異物検出用の比較画像を生成する生成手段と、前記比較画像と前記撮影画像から得られる撮影条件とを関連付けて記録する記録手段と、前記比較画像と前記撮影条件とを用いて前記撮像手段の撮像面に異物が存在するか否かを判定する判定手段とを具備する。【選択図】      図３
2006203688.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光学像を撮像する撮像手段と、
前記撮像手段による被写体撮影を行う通常の撮影時に、撮影画像から異物検出用の比較画像を生成する生成手段と、
前記比較画像と前記撮影画像から得られる撮影条件とを関連付けて記録する記録手段と、
前記比較画像と前記撮影条件とを用いて前記撮像手段の撮像面に異物が存在するか否かを判定する判定手段とを具備することを特徴とする撮像装置。
【請求項２】
前記判定手段は、前記撮影条件の異なる複数の比較画像を比較し、各画像に値の変化しない領域がある場合、異物があると判断することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は、前記比較画像を複数のブロックに分割し、各ブロックにおいて連続した値をとる画素数を計数した結果について、撮影条件が異なる比較画像を比較し、同じ画素数となるブロックに異物があると判断することを特徴とする請求項１に記載の撮像装置。
【請求項４】
新たに生成された比較画像が、過去に生成された画像と撮影条件が同じ場合、前記記録手段への記録を行わないことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮影条件として撮影日時情報を記録手段に記録し、
前記判定手段は、前記撮影日時から所定期間内の画像を用いて異物の有無を判定し、
前記所定期間が過ぎた画像及びその撮影条件を記録手段から削除することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記撮影条件は、撮像レンズの焦点距離情報、被写体までの撮影距離情報、手ぶれ検知手段により検知された手ぶれ情報、及び方位検知手段により検知された撮影時の方位情報の少なくともいずれかを含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
被写体の光学像を撮像面に結像させて撮像する撮像装置の異物検出方法であって、
被写体撮影を行う通常の撮影時に、撮影画像から異物検出用の比較画像を生成する生成工程と、
前記比較画像と前記撮影画像から得られる撮影条件とを関連付けて記録する記録工程と、
前記比較画像と前記撮影条件とを用いて前記撮像面に異物が存在するか否かを判定する判定工程とを備えることを特徴とする異物検出方法。
【請求項８】
前記判定工程では、前記撮影条件の異なる複数の比較画像を比較し、各画像に値の変化しない領域がある場合、異物があると判断することを特徴とする請求項７に記載の異物検出方法。
【請求項９】
前記判定工程では、前記比較画像を複数のブロックに分割し、各ブロックにおいて連続した値をとる画素数を計数した結果について、撮影条件が異なる比較画像を比較し、同じ画素数となるブロックに異物があると判断することを特徴とする請求項７に記載の異物検出方法。
【請求項１０】
新たに生成された比較画像が、過去に生成された画像と撮影条件が同じ場合、前記記録工程での記録を行わないことを特徴とする請求項７に記載の異物検出方法。
【請求項１１】
前記記録工程では、前記撮影条件として撮影日時情報を記録し、
前記判定工程では、前記撮影日時から所定期間内の画像を用いて異物の有無を判定し、前記所定期間が過ぎた画像及びその撮影条件を記録手段から削除することを特徴とする請求項７に記載の異物検出方法。
【請求項１２】
前記撮影条件は、撮像レンズの焦点距離情報、被写体までの撮影距離情報、手ぶれ情報、及び方位検知手段により検知された撮影時の方位情報の少なくともいずれかを含むことを特徴とする請求項７乃至１１のいずれか１項に記載の異物検出方法。
【請求項１３】
請求項７乃至１２のいずれか１項に記載の異物検出方法を撮像装置のコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子スチルカメラ等の撮像装置及びその異物検出方法に関する。
【背景技術】
【０００２】
従来、レンズ交換可能で、フォーカルプレーンシャッターを用いた電子スチルカメラでは、撮像素子にごみなどの異物が付着しないようにするために、ミラーボックスを密封構造にするというものや、撮像素子上に配置するフィルター（ローパスフルターや赤外カットフィルター）の表面と撮像素子の焦点面をできるだけ離し、異物に焦点が合わないようにするものや、フィルター上の異物を超音波振動で落とすといったものが知られている。
【０００３】
また、複数の異なる画像から、コントラスト等が変化しない画素を異物領域として検出し、撮像素子の清掃時や異物領域を補正するための画像処理に反映させる技術が提案されている（例えば、特許文献１参照。）
【特許文献１】特開２００４−１７２８２０公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のように撮像素子に異物が付着しないようにするために、ミラーボックスを密封構造にしても、フォーカルプレーンシャッターから出るシャッターのカス等のメカニカルな機構から発生する異物は防ぐことはできない。また、撮像素子上に配置するフィルター（ローパスフルターや赤外カットフィルター）の表面と撮像素子の焦点面をできるだけ離し、異物に焦点が合わないようにする方法もあるが、フィルターの表面と撮像素子の焦点面を離せば離すほどフォーカルプレーンシャッターにおけるシャッター効率は落ちていく。また、フィルター上の異物を超音波振動で落とすものは、コストが高くつく。また、異物の検出においては、フィルムスキャナーなどで赤外光を用いた異物検出や画像処理などを用いた異物検出があるが、カメラに実装された要素で低コストで、自動で簡単に異物を検出する方法は実現化されてない。
【０００５】
また、上記特許文献１に記載の異物検出は、異物検出モード時に実行されるため、通常の撮影モード時には異物の検出ができない。また、撮影者は異物検出モード時にも画像の撮影操作をしなければならないという煩わしさがある。
【０００６】
本発明は、上記課題に鑑みてなされ、撮影者の手を煩わすことなく、カメラに実装された既存の要素を用いて簡単に異物の検出ができる技術の提供を目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体の光学像を撮像する撮像手段と、前記撮像手段による被写体撮影を行う通常の撮影時に、撮影画像から異物検出用の比較画像を生成する生成手段と、前記比較画像と前記撮影画像から得られる撮影条件とを関連付けて記録する記録手段と、前記比較画像と前記撮影条件とを用いて前記撮像手段の撮像面に異物が存在するか否かを判定する判定手段とを具備する。
【０００８】
また、本発明の撮像装置の異物検出方法は、被写体の光学像を撮像面に結像させて撮像する撮像装置の異物検出方法であって、被写体撮影を行う通常の撮影時に、撮影画像から異物検出用の比較画像を生成する生成工程と、前記比較画像と前記撮影画像から得られる撮影条件とを関連付けて記録する記録工程と、前記比較画像と前記撮影条件とを用いて前記撮像面に異物が存在するか否かを判定する判定工程とを備える。
【０００９】
また、本発明のプログラムは、被写体の光学像を撮像面に結像させて撮像する撮像装置の異物検出方法を実行するためのプログラムであって、被写体撮影を行う通常の撮影時に、撮影画像から異物検出用の比較画像を生成する生成工程のコードと、前記比較画像と前記撮影画像から得られる撮影条件とを関連付けて記録する記録工程のコードと、前記比較画像と前記撮影条件とを用いて前記撮像面に異物が存在するか否かを判定する判定工程のコードとを備える。
【発明の効果】
【００１０】
本発明によれば、異物検出のための特別なモード設定や撮影操作を必要とせず、既存の構成を用いて低コストで実現することができる。また、撮影条件等を用いることで異物検出精度も向上する。従って、撮影画像に異物が写り込む不具合を軽減することができる。
【発明を実施するための最良の形態】
【００１１】
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１２】
尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１３】
［第１の実施形態］
以下に、本発明の特徴である撮影画像とその撮影データを用いた異物検出及びそれを実現するための電子カメラについて説明する。
【００１４】
＜カメラの構成＞
図１は、本発明に係る実施形態として適用した電子カメラの概略ブロック図である。
【００１５】
１は交換可能な撮影レンズを搭載するレンズユニットであるが、ズームレンズの場合もある。レンズユニット１はマイクロコンピュータ１６と通信し、内部のＡＦ（オートフォーカス）駆動回路１ａは、例えばステッピングモータによって構成され、マイクロコンピュータ１６の制御によってレンズユニット１内のフォーカスレンズ位置を変位させることにより焦点を合わせる。フォーカス演算に用いるデフォーカス量は、ＡＦセンサー２４の出力を用いて演算する。また、レンズユニット１内には絞り駆動回路１ｂが設けられ、マイクロコンピュータ１６の制御によって光学的な絞り値を変化させる。また、マイクロコンピュータ１６はレンズユニット１と通信し、現在のズーム位置（焦点距離情報）、現在の離間位置（被写体距離）の情報を取得することが可能である。
【００１６】
２はクイックリターンミラーで、露光の際にマイクロコンピュータ１６の指令で不図示のアクチュエーターによりアップダウンされる。また、本ミラー２はＡＦ光学系に光を導くためハーフミラーで構成され、サブミラーも連動する。
【００１７】
３はフォーカッシングスクリーンで、撮影者はペンタプリズム４と不図示のファインダー光学系を通して該フォーカシングスクリーンを観察することで、レンズユニット１を通して得た被写体の光学像の焦点や構図の確認が可能となる。
【００１８】
５はフォーカルプレーンシャッターで、マイクロコンピュータ１６の制御で撮像素子６の露光時間を自由に制御できる。フォーカルプレーンシャッターは一般的には先幕、後幕から構成され、２枚の幕の間隔で自由な露光時間が制御される。
【００１９】
撮像素子６としてはＣＣＤやＣＭＯＳセンサー等が用いられ、レンズユニット１を通して撮像素子６上に結像された被写体像を光電変換して電気信号として取り込む。
【００２０】
クランプ／ＣＤＳ（相関二重サンプリング）部７やＡＧＣ（オートゲインコントロール）部８は、Ａ／Ｄ変換前の基本的アナログ処理として、電気信号に変換された画像信号のノイズの低減や信号レベルの調整を行う。また、マイクロコンピュータ１６ではクランプレベルやＡＧＣ基準レベルの変更も可能である。
【００２１】
Ａ／Ｄ変換部９は、上記アナログ処理が施されたアナログ信号である画像信号を、デジタル信号である画像データに変換する。この変換は、設定されたＩＳＯ感度に応じて行われる。
【００２２】
映像信号処理回路１０は、デジタル信号に変換された画像データに対して、フィルター処理、色変換処理、ガンマー／ニー処理を行い、メモリーコントローラ１３に出力する。他方、この映像信号処理回路１０にはＤ／Ａ変換回路が内蔵されており、Ａ／Ｄ変換部９でデジタル信号に変換された画像データや、メモリーコントローラ１３から入力される画像データをアナログ信号に変換し、液晶駆動回路１１を通して液晶表示部１２に出力することも可能である。これらの映像信号処理回路１０による画像処理及び表示処理はマイクロコンピュータ１６により切り替えられる。また、マイクロコンピュータ１６は、撮影画像のカラーバランス情報をもとにホワイトバランス調整を行う。更に、映像信号処理回路１０は、本実施形態の特徴である異物検出用の複数の画像を作成する画像作成処理と、作成された画像同士を比較して異物を検出する異物検出処理を行う。
【００２３】
また、映像信号処理回路１０は、マイクロコンピュータ１６からの指令により、Ａ／Ｄ変換された画像データに対して上記のような画像処理を施さず、後述する撮影条件に関する情報のみを付加して、メモリーコントローラ１３を通してバッファーメモリー１９に保存することも可能である。また、映像信号処理回路１０はＪＰＥＧなどの圧縮処理機能も持っており、画像データを圧縮処理してからメモリー１４に格納する。
【００２４】
連写モードで撮影する際には、一旦、バッファーメモリー１９に撮影された画像データを格納し、後に映像信号処理回路１０の負荷状態が画像処理できるレベルであるときに、メモリーコントローラ１３を通して未処理の画像データをバッファーメモリー１９から読み出し、映像信号処理回路１０で画像処理や圧縮処理を施すことにより連写スピードを稼いでいる。なお、連写枚数はバッファーメモリー１９の容量に大きく左右される。
【００２５】
また、マイクロコンピュータ１６は撮影前に設定されたＩＳＯ感度、画像サイズ、画質に応じた画像サイズの予測値データをもとに、メモリーコントローラ１３を通してメモリー１４の残容量を検出し、この残容量を画像サイズに基づく画像一枚あたりの容量等で除することにより撮影可能残枚数を演算し、残り何枚の画像が撮影可能であるかを液晶表示部１２に表示する。
【００２６】
メモリーコントローラ１３は、映像信号処理回路１０から入力された未処理の画像データをバッファーメモリー１９に格納したり、画像処理済みのデジタル画像データをメモリー１４に格納したり、逆にバッファーメモリー１９やメモリー１４から画像データを取り出して映像信号処理回路１０に出力する。また、メモリーコントローラ１３は、ＰＣ等からUSB（Universal Serial Bus）やIEEE1394（Institute of Electrical and Electronics Engineers  1394）等の外部インターフェイス１５を介して送られてくる画像データをメモリー１４に格納したり、逆にメモリー１４に格納されている画像データを外部インターフェイス１５を介して出力することが可能である。なお、メモリー１４は着脱自在な態様である場合もある。着脱可能なメモリー１４としては、コンパクトフラッシュ（登録商標）などのメモリカードなどが考えられる。
【００２７】
後述する異物検出用画像は、白と黒で表される２値画像に変換されて、例えばビットマップ（ＢＭＰ）形式によりメモリー１４に保存される。
【００２８】
また、異物検出用画像の元画像の撮影条件に関する情報は、上記異物検出用画像のヘッダー部に付帯情報として関連付けられたり、もしくは、情報保持用のファイルとして、上記異物検出用画像とリンクを有する形で独立に、メモリー１４又はバッファーメモリー１９に格納される。
【００２９】
電源部１７は、各ＩＣや駆動系に必要な電力を供給する。
【００３０】
操作部材１８は、マイクロコンピュータ１６に操作状態を伝え、マイクロコンピュータ１６はその操作状態の変化に応じて各部を制御する。
【００３１】
２０ａ，２０ｂはレリーズ釦であり、操作部材１８の入力スイッチである。２０ａのＳＷ１のみオンの状態はレリーズ釦半押し状態であり、２０ａのＳＷ１、２０ｂのＳＷ２が共にオンの場合は、レリーズ釦のオン状態で撮影が行われる。
【００３２】
操作部材１８には、レリーズ釦２０ａ，２０ｂの他に、ＩＳＯ設定釦、画像サイズ設定釦、画質設定釦、情報表示釦など不図示のスイッチが接続されており、各スイッチの操作状態が入力される。なお、本実施形態では、異物検出用画像を通常の撮影画像から作成するため、異物検出モードや当該モードに切り替えるためのスイッチなどは設けられていない。
【００３３】
２１は液晶駆動回路であり、マイクロコンピュータ１６からの表示指令の内容に従って、外部液晶表示部２２やファインダー内液晶表示部２３を駆動する。また、ファインダー内液晶表示部２３には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも液晶駆動回路２１で駆動される。
【００３４】
２４はＡＦセンサーでマイクロコンピュータ１６にデフォーカス情報を出力し、それに基づいてレンズユニット１を制御し、内部のＡＦレンズ駆動回路１ａを用いて焦点を合わせる。
【００３５】
２５はＡＥセンサーで、ファインダースクリーン上を測光し、レンズユニット１を通した被写体の輝度を測光する。
【００３６】
また、マイクロコンピュータ１６には、方位を検知するセンサー２７の出力が入力されている。
【００３７】
そして、マイクロコンピュータ１６には、手ぶれを検知するセンサー２６の出力が入力されている。
【００３８】
＜カメラ動作＞
次に、図２のフローチャートを用いて、本実施形態で用いるカメラの全体動作について説明する。なお、以下の各ステップは、特に言及しない限りマイクロコンピュータ１６が処理を行う。
【００３９】
Ｓ３０１：処理が開始されると、電源ＯＦＦタイマーがタイムアウトしたかどうかの判定を行い、タイムアウトと判定された場合は電源ＯＦＦの処理のためにＳ３２０に進む。タイムアウトされていない場合はＳ３０２に進む。
【００４０】
Ｓ３０２：操作部材１８に接続されたスイッチによりＩＳＯ感度、画像サイズ、画質等の各種設定を行う。また、操作部材１８を介したスイッチ操作により、カメラの動作モードなどの設定や撮影モード（例えば、連写撮影）等の設定を行う。
【００４１】
Ｓ３０３：ＡＥセンサー２５を用いて被写体の輝度を測定し、適正露出を得るためのシャッター秒時や絞り値を演算する。
【００４２】
Ｓ３０４：ＡＦセンサー２４を用いて被写体のデフォ−カス量を検出し、ＡＦ駆動回路１ａによりレンズユニット１を合焦位置に駆動する。
【００４３】
Ｓ３０５：Ｓ３０２で設定した動作モードや撮影モード等の各種設定状態を、外部液晶表示部２２やファインダー内液晶表示部２３に表示する。また、Ｓ３０３、Ｓ３０４で検出された合焦状態やＳ３０３で演算されたシャッター秒時や絞り値を映像信号処理回路１０を介して液晶表示部１２に表示する。
【００４４】
Ｓ３０６：操作部材１８からの入力操作によりレリーズ釦２０ａ，２０ｂが半押し状態かどうかの判定を行い、２０ａのみオンの半押し状態の場合はタイマー更新のためにＳ３０７に進み、全く押されてない（２０ａも２０ｂも押されていない状態）ではＳ３０１に戻る。
【００４５】
Ｓ３０７：電源ＯＦＦタイマーの更新を行う。
【００４６】
Ｓ３０８：レリーズが可能な状態であり、かつ、レリーズ釦２０ａ，２０ｂが完全に押された（２０ａと２０ｂが同時にオン状態）かどうかの判定を行い、完全に押された状態の場合は画像を撮影するためにＳ３０９に進み、押されてない場合はＳ３０１に戻る。
【００４７】
Ｓ３０９：クイックリターンミラー２を制御し、ミラーをアップ状態にすると共に、レンズユニット１に対し、Ｓ３０３で演算された絞り値にレンズの絞りを制御する。
【００４８】
Ｓ３１０：フォーカルプレーンシャッター５により、Ｓ３０３で演算されたシャッター時間を制御し、また、撮像素子６で取り込んだ画像信号に対して、クランプ／ＣＤＳ部７やＡＧＣ部８により基本的アナログ処理を行うと共に、Ａ／Ｄ変換部９によりアナログ処理が施されたアナログ信号である画像信号をデジタル信号である画像データに変換する。
【００４９】
Ｓ３１１：クイックリターンミラー２を制御し、ミラーをダウン状態に戻すとともに、レンズユニット１に対して、レンズの絞りを開放状態に制御する。
【００５０】
Ｓ３１２：映像信号処理回路１０によりＡＧＣ部８に設定されたＩＳＯ値に対するゲイン値に基づきＩＳＯ感度を調整してメモリーコントローラ１３に画像データを送り、バッファーメモリー１９に一時保存する。
【００５１】
Ｓ３１３：映像信号処理回路１０から取得したホワイトバランス情報を基に、適正な色になるように映像信号処理回路１０で用いるＲ，Ｇ，Ｂの各色成分のゲインを演算し、ホワイトバランス調整を行う。
【００５２】
Ｓ３１４：映像信号処理回路１０の負荷状態が画像処理できるレベルであるときに、メモリーコントローラ１３を通して未処理の画像データをバッファーメモリー１９から読み出し、画像処理及び圧縮処理を施した後、メモリー１４への保存動作を開始する。連写モード等の場合は、バッファーメモリー１９に撮影画像が順次格納されるが、画像処理は停止した状態になることもある。
【００５３】
Ｓ３１５：マイクロコンピュータ１６は、Ｓ３０２で設定された、ＩＳＯ感度、画像サイズ、画質に応じた画像サイズの予測値データをもとに、メモリーコントローラ１３を通してメモリー１４の残容量を検出し、この残容量を画像サイズに基づく画像一枚あたりの容量等で除することにより撮影可能残枚数を演算し、残り何枚の画像が撮影可能であるかを液晶表示部１２に表示する。
【００５４】
Ｓ３１６：Ｓ３１４で処理された画像信号を液晶駆動回路１１に送り、液晶表示部１２に表示する。また、Ｓ３０３，Ｓ３０４，Ｓ３１５で決定された撮影情報を液晶駆動回路２１に送り、外部液晶表示部２２やファインダー内液晶表示部２３に表示する。
【００５５】
Ｓ３１７：過去に撮影された画像と比較し、同じ箇所に同じ大きさのある輝度レベル以下のものが存在するか検出し、画面に対する大きさも検出する。
【００５６】
Ｓ３１８：バッファーメモリー１９に格納された未処理の撮影画像も考慮して、メモリー１４に記憶可能領域が存在するかどうかの判定を行うことで、次の撮影が可能かどうかを判定し、撮影可能である場合はＳ３０１に戻り、撮影可能でない場合に警告表示を出すためにＳ３１９に進む。
【００５７】
Ｓ３１９：Ｓ３１８で撮影不可と判定された旨を液晶表示部１２に表示する。
【００５８】
Ｓ３２０：Ｓ３０１でタイムアウトと判定された場合、電源ＯＦＦ処理として液晶駆動回路１１により液晶表示部１２を消灯し、ファインダー内液晶表示部２３のバックライトも消灯する。
【００５９】
Ｓ３２１：Ｓ３１４での画像処理及び圧縮処理と画像データのメモリーへの格納が全て終了し、バッファーメモリー１９の撮影画像領域が空になるのを待つ。
【００６０】
Ｓ３２２：電源部１７を制御し撮影に必要の無い電源を停止する。
【００６１】
＜異物検出処理＞
先ず、本実施形態の異物検出処理を説明する前に、図４を用いて、本実施形態の前提となっている異物が写り込んだ画像の持つ特徴について説明する。
【００６２】
図４（ａ）は被写体としての山や木や雲がカラーで写り込んだ元画像で、図４（ｂ）は、図４（ａ）の元画像について、所定の輝度レベルを閾値として、写り込んだ異物４ａと被写体である木４ｂを所定の輝度レベル以下の「１（黒）」、それ以外を「０（白）」に２値化して抽出したものである。
【００６３】
また、図４（ｃ）は、図４（ａ）からフォーカスが変化して被写体の木４ｂに焦点が合ってない別のカラー画像である元画像（不図示）から、所定の輝度レベル以下の被写体を抽出したものであり、被写体である木４ｂの網掛け部分はピントがずれた部分を示している。
また、図４（ｄ）は、図４（ａ）の元画像に対して、ズーミングして被写体が大きく写っている別のカラー画像である元画像（不図示）から、図４（ｂ）と同様に、所定の輝度レベルを閾値として、写り込んだ異物４ａと被写体である木４ｂを所定の輝度レベル以下の「１（黒）」、それ以外を「０（白）」に２値化して抽出したものである。
【００６４】
更に、図４（ｅ）は、手ブレ等によって被写体の木４ｂが左右にぶれた別のカラー画像である元画像（不図示）から、所定の輝度レベル以下の被写体を抽出したものであり、被写体である木４ｂの網掛け部分はブレ部分を示している。
【００６５】
ここで、図４（ｂ）と図４（ｃ）〜（ｅ）を比べると、画面左上の異物４ａが存在する部分は常に同じであることがわかる。つまり、撮像素子６上の異物は撮像素子の画素に対して常に同一画素上に載っているのに対して、被写体像は撮影条件によって撮像素子上での結像状態が変化するので、撮影条件が異なる２枚以上の画像を比較することにより異物の有無が判定できることになる。また、上記のように２値化した画像を生成する際には、被写体中に写り込んだ異物は黒であることが想定されるので、例えば、黒色の部分を優先的に抽出し、かつ、測距の結果近いと思われる被写体を同時に抽出するようにすれば、輝度情報と測距情報を用いて異物の抽出が可能となる。
【００６６】
このような特徴を用いて、本実施形態では、図３（ｂ）で説明するように、撮影条件を基に、焦点距離の異なる画像同士や撮影距離、手ぶれ情報などが異なる画像同士を比較して、精度よく異物を検出する。
【００６７】
ここで、図３（ａ），（ｂ）のフローチャートを用いて本実施形態の異物検出処理について説明する。
【００６８】
図３（ａ）は図２のＳ３１４での処理の一部に含まれる、通常の撮影画像から異物検出用画像を作成する処理を示すフローであり、図３（ｂ）は図２のＳ３１７の異物検出処理を示すフローチャートである。
【００６９】
なお、以下に説明する異物検出用の複数の画像を作成する画像作成処理と、画像同士を比較して異物を検出する異物検出処理は、映像信号処理回路１０によって、通常の撮影時における撮影画像の画像処理時に実行される。
【００７０】
Ｓ１０１：先ず、映像信号処理回路１０は、バッファーメモリー１９から撮影画像を読み出す。
Ｓ１０２：次に、Ｓ１０１で読み出した撮影画像について、所定の輝度レベル以下を「１（黒）」、それ以外を「０（白）」に２値化することにより、異物検出用画像を作成する。
【００７１】
Ｓ１０３：Ｓ１０２で作成された異物検出用画像とその元になった撮影画像の撮影条件とを関連付けてメモリーコントローラ１３を通してバッファーメモリー１９又はメモリー１４に記録する。撮影条件には、レンズユニット１から取得可能な焦点距離情報や被写体距離情報、ＡＶ値、ＴＶ値、ＩＳＯ感度、手ぶれ検知センサー２６により検知された手ぶれ検出量、或いは方位検知センサー２７により検知された撮影方位情報などが含まれる。
【００７２】
次に、図３（ａ）のフローで記録された異物検出用画像及び撮影条件を用いた異物検出処理について図３（ｂ）のフローチャートを参照して説明する。
【００７３】
Ｓ１０４：映像信号処理回路１０は、Ｓ１０２で記録された異物検出用画像と撮影条件（これらセットが複数個、すでにバッファーメモリー１９もしくはメモリー１４に蓄積されている。）から、今撮った画像と撮影条件が異なるものを選択して読み出す。
【００７４】
Ｓ１０５：次に、今撮った画像から異物検出用画像を作成して、Ｓ１０４で選択した異物検出用画像と比較する。
Ｓ１０６：ここでは、Ｓ１０５での比較の結果、例えば、異物検出用画像の撮影条件から焦点距離のみ異なるもの、撮影距離のみ異なるもの、あるいは撮影方向のみ異なるものを選択し、今撮った画像と比較して、同じ面積、同じ形、同じ位置の２値化された「１」のエリアがある場合には異物があると判断する。
【００７５】
Ｓ１０７：Ｓ１０６で異物ありと判断された場合に液晶表示部１２に警告の表示などを行う。
【００７６】
上記実施形態によれば、撮影画像から異物検出用画像を別途作成し蓄積していくので、異物検出のための特別なモード設定や撮影操作を必要とせず、既存の構成を用いて低コストで実現することができる。また、撮影条件等の撮影情報を用いることで異物検出を高精度に行うことができる。
【００７７】
この結果、撮影画像に異物が写り込む不具合を軽減することができる。
【００７８】
［第２の実施形態］
第１の実施形態では異物検出用画像を用いて異物の検出を行ったが、第２の実施形態では２値化された画像を複数のブロックに分割し、各ブロック内の「１」が連続する画素数（比較画像）をブロックごとに比較することにより異物の検出を行う。
【００７９】
図５（ａ），（ｃ）は、焦点距離のみを変えて撮影された撮影画像について、所定の輝度レベル以下を「１（黒）」、それ以外を「０（白）」に２値化することにより作成された異物検出用画像を示しており、左上に異物が写り込んでいる。
【００８０】
本実施形態では、上記撮影条件に関連付けて、図５（ｂ）、（ｄ）に示すように、撮影画像から２値化された１枚の画像を６個のブロックに分割し、各ブロック内の「１」が連続する画素数とブロック位置をバッファーメモリー１９に記録する。そして、これらの情報を上記メモリー１４ではなく、バッファーメモリー１９に格納することで、メモリー１４を省略し、同時に異物検出に要する処理速度を上げている。これは、メモリー１４が着脱自在なメディアである場合、メディアを交換すると異物検出するために蓄積された情報がなくなってしまうからである。なお、検出精度を上げる場合には、ブロック数をさらに増やすのがよいが、ここでは、説明しやすいように６ブロックに分けた例について説明する。また、上記各ブロック位置と画素数は、上述のように、異物検出用画像データのヘッダー部や情報保持用のファイル内に関連付けられてバッファーメモリー１９に格納される。
【００８１】
先ず、各ブロック内の画素値のうち、連続した１（図では黒）の画素数を計数して対応するブロック位置と共にバッファーメモリー１９に記録する。本例では、説明の便宜上、１の画素が連続する箇所は、各ブロックに１つしかないが、複数ある場合にはその個数も記録する。そして、撮影条件（本例では、焦点距離）が異なる画像同士について、各ブロックごとの数値を比較し、同じ数値（例えば、５）となるブロックがある場合には、そのブロックに異物がある可能性が高いと判断できる。
【００８２】
図６（ａ），（ｂ）は第２の実施形態の異物検出処理を示したフローチャートである。なお、以下に説明する異物検出処理は、映像信号処理回路１０によって、通常の撮影時における撮影画像の画像処理時に実行される。
【００８３】
Ｓ６０１：映像信号処理回路１０は、バッファーメモリー１９から撮影画像を読み出す。
【００８４】
Ｓ６０２：Ｓ６０１で読み出した撮影画像について、所定の輝度レベル以下を「１（黒）」、それ以外を「０（白）」に２値化する。
【００８５】
Ｓ６０３：映像信号処理回路１０は、Ｓ６０２で作成された異物検出用画像を複数のブロックに分割し、各ブロック内の画素値のうち、連続した１（黒）の画素数を計数して対応するブロック位置（座標値）と共にバッファーメモリー１９に記録する。
【００８６】
次に、図６（ａ）のフローで記録された画素数及びブロック位置と撮影条件を用いた異物検出処理について図６（ｂ）のフローチャートを参照して説明する。
【００８７】
Ｓ６０４：映像信号処理回路１０は、Ｓ６０３で記録された画素数及びブロック位置と撮影条件（これらセットが複数個、すでにバッファーメモリー１９に蓄積されている。）から、今撮った画像と撮影条件が異なるものを選択して読み出す。
【００８８】
Ｓ６０５：次に、Ｓ６０４で選択した画素数及びブロック位置と今撮った画像について、ブロックごとの画素数を比較する。
【００８９】
Ｓ６０６：ここでは、Ｓ６０５での比較の結果、同じ数値となるブロックがある場合には、そのブロックに異物候補があると判断する。
【００９０】
Ｓ６０７：Ｓ６０６で異物候補ありと判断された場合に液晶表示部１２に警告の表示などを行う。
【００９１】
上記実施形態によれば、第１の実施形態の効果に加えて、メモリー１４を省略でき、同時に検出速度を上げることができる。
【００９２】
［第３の実施形態］
第１の実施形態では撮影画像ごとに異物検出用画像を作成し、その異物検出用画像と共に撮影条件を記録していたのに対し、第３の実施形態では、過去に作成された異物検出用画像と撮影条件が同一の場合には新たな異物撮影画像の作成及び記録を行わないことによりメモリーの記録容量を小さくするものである。
【００９３】
図７は第３の実施形態の異物検出用画像を作成する処理を示すフローチャートである。なお、以下に説明する異物検出処理は、映像信号処理回路１０によって、通常の撮影時における撮影画像の画像処理時に実行される。
【００９４】
Ｓ７０１：先ず、映像信号処理回路１０は、バッファーメモリー１９から撮影画像を読み出す。
【００９５】
Ｓ７０２：次に、Ｓ７０１で読み出した撮影画像が映像異物検出用画像を作成するのに有効な画像かどうかを判定する。つまり、現在までに作成及び記録された異物撮影用画像の撮影条件と比較し、例えば、焦点距離が変化していたり、撮影方向が異なっていれば有効なものと判断する。一方、撮影条件が同じ場合は異物検出用としては有効でないと判断する。
【００９６】
Ｓ７０３：次に、Ｓ７０１で有効なものと判断された撮影画像について、所定の輝度レベルを閾値として２値化して異物検出用画像を作成する。
【００９７】
Ｓ７０４：次に、Ｓ７０３で作成された異物検出用画像と撮影条件を関連付けてバッファーメモリー１９又はメモリー１４に記録する。
【００９８】
そして、図３（ｂ）と同様に、Ｓ７０４で記録された撮影条件の異なる異物検出用画像を用いて異物検出処理を実行する。
【００９９】
上記実施形態によれば、第１の実施形態の効果に加えて、異なる撮影条件の撮影画像を有効なものとして選択し、異物検出用画像を作成して蓄積していくので、異物検出に有効な異なる撮影条件のもののみを記録することが可能になり、カメラ内の有限なメモリーを有効に使用することができる。
【０１００】
なお、第３の実施形態において、上記異物検出用画像の代わりに、上述した第２の実施形態のブロック位置及び画素数を用いて異物の検出を行ってもよく、この場合には第２の実施形態の効果も付加される。
【０１０１】
［第４の実施形態］
第１の実施形態では撮影ごとに異物検出用画像を作成し、その異物検出用画像と共に撮影条件を記録し、第３の実施形態では撮影条件が同一の場合は新たな異物検出用画像の作成及び記録を行わない態様について説明した。第４の実施形態では、それに加え、異物検出用画像に撮影日時情報を付加し、現在の日時を基準として所定の時間遡った期間を有効期限として管理するものである。
【０１０２】
図８は第４の実施形態の異物検出処理を示すフローチャートである。なお、以下に説明する異物検出処理は、映像信号処理回路１０によって、通常の撮影時における撮影画像の画像処理時に実行される。また、本実施形態では、異物検出用画像のメモリーへの記録時に撮影条件に加えてその撮影日時情報が記録されている。
【０１０３】
Ｓ８０１：先ず、映像信号処理回路１０はメモリーコントローラ１３を通してメモリー１４に記録された異物検出用画像と撮影条件（これらセットが複数個、すでにバッファーメモリー１９もしくはメモリー１４に蓄積されている。）から、今撮った画像と撮影条件が異なるものを選択して読み出す。
【０１０４】
Ｓ８０２：次に、Ｓ８０１で読み出した異物検出用画像に付加された撮影日時情報が所定の有効期限内（例えば、１週間以内）か否かを判定し、有効期限内であればＳ８０３に進み、有効期限を過ぎていればＳ８０６に進む。
【０１０５】
Ｓ８０３：Ｓ８０１で選択した異物検出用画像と今撮った画像とを比較する。
【０１０６】
Ｓ８０４：ここでは、Ｓ８０３での比較の結果、例えば、異物検出用画像の撮影条件から焦点距離のみ異なるもの、撮影距離のみ異なるもの、あるいは撮影方向のみ異なるものを選択し、今撮った画像と比較して、同じ面積、同じ形、同じ位置の２値化された「１」のエリアがある場合には異物があると判断する。
【０１０７】
Ｓ８０５：Ｓ８０４で異物ありと判断された場合に液晶表示部１２に警告の表示などを行う。
【０１０８】
Ｓ８０６：一方、撮影日時が有効期限を過ぎた異物検出用画像は異物検出に不適なものとして、それに関連付けられた撮影条件と共にメモリー１４から消去し、Ｓ８０１に戻る。
【０１０９】
なお、本実施形態では、異物検出処理時に選択された異物検出用画像について有効期限を判断するものであるが、定期的（一週間ごと）あるいは決められたタイミングで（例えば、電源ＯＮ時）にメモリー内の画像について有効期限をチェックするようにしてもよい。
【０１１０】
上記実施形態によれば、有効期限内の異物検出用画像を用いることによって、より精度の高い異物検出が可能になる。つまり、異物は増減したり、移動することがあるため、撮影日時が近い画像を異物検出に用いることが望ましい。また、本実施形態では、撮影者が意識することなく通常の撮影画像から異物検出用画像を自動で作成し蓄えるので、ある特定の日時で画像を自動で消去しなければ蓄積される一方であり、異物検出用画像に有効期限を付加するのは有効な手段となる。なお、第４の実施形態において、上記異物検出用画像の代わりに、上述した第２の実施形態のブロック位置及び画素数を用いて異物の検出を行ってもよく、この場合には第２の実施形態の効果も付加される。
【０１１１】
［他の実施形態］
また、本発明の目的は、前述した実施形態の異物検出機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭ等を用いることが出来る。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１１２】
【図１】本発明に係る実施形態として適用した電子カメラの概略ブロック図である。
【図２】カメラの全体動作を示すフローチャートである。
【図３】（ａ）は第１の実施形態の異物検出用画像を作成する処理を示すフローチャート、（ｂ）は第１の実施形態の異物検出処理を示すフローチャートである。
【図４】異物が写り込んだ画像の持つ特徴及び異物検出方法を説明する図である。
【図５】第２の実施形態の異物検出処理を説明する図である。
【図６】（ａ）は第２の実施形態の異物検出用画像を作成する処理を示すフローチャート、（ｂ）は第２の実施形態の異物検出処理を示すフローチャートである。
【図７】第３の実施形態の異物検出用画像を作成する処理を示すフローチャートである。
【図８】第４の実施形態の異物検出処理を示すフローチャートである。
【符号の説明】
【０１１３】
１  レンズユニット
２  クイックリターンミラー
３  ファインダースクリーン
４  ペンタプリズム
５  フォーカルプレーンシャッター
６  撮像素子
７  クランプ／ＣＤＳ部
８  ＡＧＣ部
９  Ａ／Ｄ変換部
１０  映像信号処理回路
１１  液晶駆動回路
１２  液晶表示部
１３  メモリーコントローラ
１４  メモリー
１５  外部インターフェイス
１６  マイクロコンピュータ
１７  電源部
１８  操作部材
１９  バッファーメモリー
２０ａ，２０ｂ  レリーズ釦
２１  液晶駆動回路
２２  外部液晶表示部
２３  ファインダー内液晶表示部
２４  ＡＦセンサー
２５  ＡＥセンサー
２６  手ぶれ検知センサー
２７  方位検知センサー
【図１】
2006203688.tif 000003
【図２】
2006203688.tif 000004
【図３】
2006203688.tif 000005
【図４】
2006203688.tif 000006
【図５】
2006203688.tif 000007
【図６】
2006203688.tif 000008
【図７】
2006203688.tif 000009
【図８】
2006203688.tif 000010