(57)【要約】【課題】撮像画像処理装置における撮像手段の光学部材に付着したゴミの情報を得るための適切な基準画像を取得する。【解決手段】撮像画像処理装置は、外部装置接続インタフェースを介して互いに接続される電子カメラとＰＣ（パーソナルコンピュータ）とから構成される。ＰＣは、電子カメラとの接続を検出し（Ｓ４０１）、基準画像取得要求を受けると（Ｓ４０２）、モニタ画面上に一様面画像を表示し（Ｓ４０３）、その一様面画像を電子カメラが撮影することを指示する（Ｓ４０４）。撮影された画像を受信し（Ｓ４０５）、基準画像として適切か否かを判定する（Ｓ４０９）。肯定判定されると、受信した画像を基準画像として保存（Ｓ４１０）することによって、適切な基準画像を取得する。【選択図】図４
2010028709.tif 000002
【特許請求の範囲】
【請求項１】
被写体像が光学系を通して入力される撮像画像処理装置であって、
前記被写体像を撮像する撮像手段と、
前記撮像手段を制御することにより、前記撮像手段に付加されたゴミの像を含む参照画像を取得する取得手段と、
前記参照画像が所定の基準を満たすか否かを判定する判定手段と、
前記判定手段によって否定判定がなされたとき、前記参照画像を新たに取得するように前記取得手段を制御する取得制御手段と、
前記判定手段によって肯定判定がなされたとき、前記参照画像のデータを記憶する記憶手段とを備えることを特徴とする撮像画像処理装置。
【請求項２】
請求項１に記載の撮像画像処理装置において、
前記判定手段は、前記撮像手段から時系列で入力される被写体像に基づいて前記ゴミの像を含む複数の前記参照画像に対して前記所定の基準を満たすか否かを判定し、前記記憶手段は、前記判定手段によって肯定判定された少なくとも１枚の前記参照画像を記憶することを特徴とする撮像画像処理装置。
【請求項３】
被写体像が光学系を通して入力される撮像画像処理装置であって、
前記撮像画像処理装置は、互いに外部接続インタフェースを介して接続される撮像装置と画像処理装置とを有し、
前記画像処理装置は、
画像を画面に表示するための表示装置と、
前記表示装置の画面上に所定画像を表示するように制御する表示制御手段とを備え、
前記撮像装置は、
前記被写体像を撮像する撮像手段と
前記撮像手段を制御することにより、前記撮像手段に付加されたゴミの像を含む参照画像を取得する取得手段とを備え、
前記撮像手段が前記所定画像を撮像すると、前記取得手段が取得した前記参照画像を、前記外部接続インタフェースを介して前記画像処理装置へ転送することを特徴とする撮像画像処理装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の撮像画像処理装置において、
前記光学系において絞りを調節する光学系調節手段をさらに備え、
前記取得手段は、前記光学系調節手段が前記絞りを複数の絞り値に調節した時の各絞り値に対応する複数の画像に基づいて前記参照画像を取得することを特徴とする撮像画像処理装置。
【請求項５】
請求項３または４に記載の撮像画像処理装置において、
前記画像処理装置は、前記参照画像の取得のために指示する命令を前記撮像装置に対して発行する命令手段をさらに備えることを特徴とする撮像画像処理装置。
【請求項６】
請求項５に記載の撮像画像処理装置において、
前記命令は、前記撮像手段による撮像を指示する命令を含むことを特徴とする撮像画像処理装置。
【請求項７】
請求項５または６に記載の撮像画像処理装置において、
前記命令は、前記光学系の焦点調節状態を変化させるように指示する命令を含むことを特徴とする撮像画像処理装置。
【請求項８】
請求項５または６に記載の撮像画像処理装置において、
前記命令は、前記光学系の絞り調節状態を変化させるように指示する命令を含むことを特徴とする撮像画像処理装置。
【請求項９】
請求項５または６に記載の撮像画像処理装置において、
前記命令は、前記光学系の焦点距離を変化させるように指示する命令を含むことを特徴とする撮像画像処理装置。
【請求項１０】
請求項１または請求項４乃至９のうちのいずれか１項に記載の撮像画像処理装置において、
前記判定手段は、前記参照画像が所定の基準を満たすか否かを判定するため、前記参照画像における画素の輝度信号値の平均値および標準偏差の少なくとも一方が各々所定の範囲に含まれていることであることを特徴とする撮像画像処理装置。
【請求項１１】
請求項１乃至１０のいずれか１項に記載の撮像画像処理装置において、
前記参照画像は、他の被写体像を撮像した画像と異なる画像であることを識別できるための識別情報を付与されることを特徴する撮像画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して画像データを取得する撮像画像処理装置に関する。
【背景技術】
【０００２】
電子カメラなどの撮像装置では、撮像光路上にあり撮像素子の近傍に配置された光学フィルタ等の光学部材にゴミが付着すると、付着したゴミにより生じた影が撮像画像に現れ、その部分が画像欠陥となる。特にレンズ交換式の撮像装置では、レンズ交換時に塵や埃などのゴミが内部に侵入しやすい。そのため、撮像装置内部に侵入したゴミが光学部材に付着し、画像欠陥を生じやすい。このような問題点を解決するため、予め一様領域を撮像し、一様領域の中で光学部材に付着したゴミの像が写っている画像を、ゴミ情報を得るための基準画像として記憶し、基準画像に基づいて被写体画像に写ったゴミの像を画像処理によって除去する撮像装置および画像処理装置が知られている（特許文献１ ） 。
【０００３】
【特許文献１】特開２００４−３４３５１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されている発明によると、ゴミ情報を得るための基準画像は、ユーザが、たとえば、無地の壁面や紙を撮像することによって得られる。しかし、当該壁面がテクスチャを含むような場合や、当該紙に汚れが付いているか、または周辺物体の影が投影されているような場合は、低品質な基準画像が得られる。すなわち、基準画像品質についての判断がユーザに委ねられているため、基準画像に基づきゴミの付着が誤って肯定判定された場合、当該肯定判定の対象領域における像が被写体画像から欠損するという問題がある。
【課題を解決するための手段】
【０００５】
（１）  本発明の第１の態様は、被写体像が光学系を通して入力される撮像画像処理装置であって、被写体像を撮像する撮像手段と、撮像手段を制御することにより、撮像手段に付加されたゴミの像を含む参照画像として取得する取得手段と、参照画像が画素濃度の一様性に関して所定の基準を満たす基準画像であるか否かを判定する判定手段と、判定手段によって否定判定がなされたとき、参照画像を新たに取得するように取得手段を制御する取得制御手段と、判定手段によって肯定判定がなされたとき、基準画像のデータを記憶する記憶手段とを備えることを特徴とする。
（２）  本発明の第２の態様は、被写体像が光学系を通して入力される撮像画像処理装置であって、撮像画像処理装置は、互いに外部接続インタフェースを介して接続される撮像装置と画像処理装置とを有し、画像処理装置は、画像を画面に表示するための表示装置と、表示装置の画面上に無地画像を表示するように制御する表示制御手段とを備え、撮像装置は、被写体像を撮像する撮像手段と撮像手段を制御することにより、撮像手段に付加されたゴミの像を含む参照画像を取得する取得手段とを備え、撮像手段が無地画像を撮像すると、取得手段が取得した参照画像を、外部接続インタフェースを介して画像処理装置へ転送することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、光学部材に付着したゴミの情報を得るための適切な基準画像が得られる。
【発明を実施するための最良の形態】
【０００７】
−−−第１の実施の形態−−−
図１〜３を参照して、本発明による撮像画像処理装置を電子カメラに適用した第１の実施の形態を説明する。図１は、交換レンズ方式の電子カメラの構成を例示する図である。電子カメラ１は、カメラ本体２とマウント式交換レンズからなる可変光学系３を有する。可変光学系３は、内部にレンズ４と絞り５を有する。レンズ４は複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表し、そのレンズ４の位置を主瞳位置と言う（以下、単に瞳位置と言う） 。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。
【０００８】
カメラ本体２は、シャッター６、光学フィルタやカバーガラスなどの光学部品７、撮像素子８を有する。可変光学系３は、カメラ本体２のマウント部９に対して着脱可能である。また、可変光学系３は、マウント部９を介して、瞳位置に関する情報、絞り値に関する情報等の光学的パラメータを電子カメラ１の制御部１７（図２）に送信する。絞り値は、例えばＦ２．８〜Ｆ２２まで変化する。ゴミ１０は、撮像素子８前部の光学部品７の表面に付着している。
【０００９】
図２は、電子カメラ１のブロック図とＰＣ（パーソナルコンピュータ）３１および周辺装置を示す図である。ＰＣ３１は、画像処理装置として機能し、電子カメラ１から画像データを取得し後述するゴミ１０の影響除去処理をする。
【００１０】
電子カメラ１は、可変光学系３、光学部品７、シャッター６（図２では図示省略）、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、タイミング制御部１４、画像処理部１５、操作部１６、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、モニタ２１、メモリカード用インタフェース部２２、外部装置インタフェース部２３を備える。
【００１１】
撮像素子８は、可変光学系３を通して被写体を撮像し、撮像された被写体像に対応する画像信号（撮像信号）を出力する。撮像素子８は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部１２に出力する。撮像素子８は、例えば単板式カラーＣＣＤなどで構成される。アナログ信号処理部１２は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。Ａ／Ｄ変換部１３は、アナログ信号処理部１２で処理されたアナログ信号をデジタル信号に変換する。タイミング制御部１４は、制御部１７により制御され、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３ 、画像処理部１５の各動作のタイミングを制御する。
【００１２】
メモリカード用インタフェース部２２は、メモリカード（カード状のリムーバブルメモリ）３０用のインタフェースである。外部装置インタフェース部２３は、所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）３１等の外部装置と接続するためのインタフェースである。操作部１６は、レリーズボタンやモード切り換え用の選択ボタン等に相当する。モニタ２１は、各種メニューを表示したり、撮像素子８で撮像した被写体像やメモリカードに格納された画像データに基づく再生画像を表示したりする。撮像素子８で撮像した被写体像を時系列で再生した一連の画像群を、本発明の詳細な説明の記載においては、ライブビュー映像と呼び、モニタ２１に表示するライブビュー映像をライブビュー表示映像と呼ぶ。操作部１６の出力は制御部１７に入力され、モニタ２１には表示画像生成部２０の出力が入力される。画像処理部１５は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
【００１３】
Ａ／Ｄ変換部１３、画像処理部１５、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、メモリカード用インタフェース部２２、外部インタフェース部２３は、バス２４を介して相互に接続されている。
【００１４】
ＰＣ３１には、モニタ３２やプリンタ３３等が接続されており、ＣＤ−ＲＯＭ３４に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ３１は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード３０とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置と接続するための外部装置インタフェース部（不図示）を備える。
【００１５】
図１のような構成の電子カメラ１において、操作部１６を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１７は、タイミング制御部１４を介して、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３に対するタイミング制御を行う。このとき選択される撮影モードには、通常の被写体を撮影するときの通常モードと、ゴミ１０の情報を得るために基準画像を撮影するときのゴミ情報取得モードがある。なお、通常モードは被写体の種類などによって複数のモードに分かれていてもよい。
【００１６】
撮影した各画像データにおけるゴミ１０の影響を除去するには、まず、ゴミ情報を得るための基準画像を撮影する。光学的撮影条件の異なる複数の画像に対してもこの基準画像を利用してゴミ除去を行う。基準画像は、完全に一様な白基準データのほか、青空、一様に近い壁面、グレーチャート、無地の紙面など、実際に身近な場所で容易に撮影および取得可能であることを想定している。しかし、当該壁面がテクスチャを含むような場合や、当該紙面に汚れが付いているか、または周辺物体の影が投影されているような場合は、低品質な基準画像が得られる虞がある。したがって、図３または図４の説明で後述する基準画像取得処理によって高品質な基準画像が得られるようにする。
【００１７】
撮像素子８は、可変光学系３により撮像領域に結像された光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部１２で所定のアナログ信号処理が施され、アナログ処理後画像信号としてＡ／Ｄ変換部１３へ出力される。Ａ／Ｄ変換部１３では、アナログ処理後の画像信号をデジタル化し、画像データとして、画像処理部１５に供給する。
【００１８】
本実施の形態の電子カメラ１ では、撮像素子８において、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されている場合を例にとり、画像処理部１５に供給される画像データはＲＧＢ表色系で示されるものとする。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。ここで、撮像素子８を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。
【００１９】
画像処理部１５は、このような画像データに対し、補間、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１９で所定の圧縮処理が施され、メモリカード用インタフェース部２２を介してメモリカード３０に記録される。
【００２０】
画像処理が完了した画像データは、メモリカード３０を介してＰＣ３１に提供される。外部インタフェース２３および所定のケーブルや無線伝送路を介してＰＣ３１に提供してもよい。画像処理が完了した画像データは、補間処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。
【００２１】
図３は、本発明の第１の実施の形態による電子カメラ１における、ゴミ情報を得るための基準画像取得処理を表すフローチャートである。電子カメラ１は、ユーザによって通常モードとゴミ情報取得モードのいずれか一方の撮影モードが選択されると、撮像画像データをメモリカード３０に記録するとき、選択された撮影モードに対応するファイル情報（たとえば、拡張子）を設定する。
【００２２】
ステップＳ３０１では、モニタ２１の画面上にライブビュー映像が表示されている。ユーザ入力によって基準画像の取得を要求されるまではステップＳ３０２が否定判定され、ステップＳ３０２を繰り返す。ユーザ入力によって基準画像の取得が要求されると、ステップＳ３０２は肯定判定され、ステップＳ３０３にて、ゴミ情報取得モードへ遷移する。
【００２３】
ステップＳ３０４においては、ライブビュー表示映像の輝度面画像生成を常時または周期的に実行する。当該輝度面画像を用いた基準画像適性検査を実行した結果、ライブビュー表示映像がモニタ２１のほぼ全画面に渡って一様領域であることから、合格判定となるまで、ステップＳ３０５は否定判定されて、ステップＳ３０４へ戻る。ライブビュー表示映像がほぼ全画面に渡って一様領域となるのは、ユーザがゴミ情報を得るための基準画像を取得する目的で、たとえば、青空、一様に近い壁面、グレーチャート、または無地の紙面に向けて電子カメラ１を構えている場合に発生する。その場合、ステップＳ３０５は肯定判定され、ステップＳ３０６にて自動的に撮像され、画像データが生成される。
【００２４】
なお、ステップＳ３０４にて生成したライブビュー表示映像の輝度面画像は、各画素［ｉ，ｊ］において、ＲＧＢ信号から輝度信号を生成することにより、得られる。輝度面生成のためにＲＧＢ信号から輝度信号を生成する演算式としては、たとえば、特開２００４−３４３５１９号公報に記載の式（１）を採用する。ステップＳ３０５における判定は、その輝度面画像がほぼ全画面に渡って一様領域であるか否かに関する判定であり、具体的には、たとえば、以下に示す手順１〜４にしたがって実行される。
手順１：ステップＳ３０４にて生成したライブビュー表示映像の輝度面画像の各画素［ｉ，ｊ］における輝度信号値のヒストグラムを測定し、出現頻度が最大となる輝度信号値Ｙ＿０を特定する。
手順２：ステップＳ３０４にて生成したライブビュー表示映像の輝度面画像における各画素［ｉ，ｊ］について、局所平均処理を行ってＴ［ｉ，ｊ］を算出する。局所平均処理としては、たとえば、特開２００４−３４３５１９号公報に記載の式（３）を採用する。
手順３：手順２で得られた各画素［ｉ，ｊ］の輝度信号差分値Ｔ［ｉ，ｊ］に基づき、全画素における輝度信号差分値の平均値ｍおよび標準偏差ｄを算出する。
手順４：条件「（｜ｍ−Ｙ＿０｜≦ｍ＿０）かつ（ｄ≦ｄ＿０）」を満たす場合、ステップＳ４０５にて得られた受信画像は基準画像適性検査に合格であると判定する。ただし、ｍ＿０およびｄ＿０は予め設定される閾値である。
【００２５】
ステップＳ３０７においては、ステップＳ３０６にて生成された画像データを、ゴミ情報を得るための基準画像データとして、メモリカード３０に保存する。ステップＳ３０８においては、ステップＳ３０４にて開始された一様領域抽出演算が停止され、ステップＳ３０９にて通常モードへ遷移すると、本処理は終了する。
【００２６】
上述した第１の実施の形態による電子カメラ１は、次の作用効果を奏する。
（１）  ライブビュー表示映像が所定の基準を満たす基準画像であるか否かを常時または周期的に電子カメラ１が判定するように構成した。否定判定のとき、肯定判定となるまで電子カメラ１は撮像せず、肯定判定のとき、これを電子カメラ１が自動的に撮像して画像データを生成および記憶するように構成した。これにより、電子カメラ１の光学部材（上述した例では、撮像素子８およびその前部の光学部品７）に付着したゴミ１０の情報を得るための適切な基準画像が、ユーザによる電子カメラ１のレリーズボタン押下操作無しに得られるという効果がある。
【００２７】
−−−第２の実施の形態−−−
本発明の第１の実施の形態においては、電子カメラ１が一様領域を自動的に撮像し、画像データを生成した。本発明の第２の実施形態においては、撮像画像処理装置は、電子カメラ１と、電子カメラ１が接続され、画像処理プログラムがインストールされたＰＣ３１とから構成される。ＰＣ３１は、電子カメラ１がＰＣ３１のモニタ３２の画面上に表示される一様領域を撮像して得られる画像データが、ゴミ情報を得るための基準画像として適当であるか否かを判定する。電子カメラ１は、本発明の第２の実施形態においてはピントを無限遠に設定した撮像によってゴミ情報を得るための基準画像を取得する。なぜならば、電子カメラ１の光学部材（上述した例では、撮像素子８およびその前部の光学部品７）は図２に示されるように、可変光学系３の後段に位置しているため、その光学部材に付着したゴミ１０の像は、ピントが無限遠に設定されていても明瞭となるためである。図４は、本発明の第２の実施の形態における、ゴミ情報を得るための基準画像取得処理を表すフローチャートである。電子カメラ１は、ＰＣ３１のユーザによって通常モードとゴミ情報取得モードのいずれか一方の撮影モードが選択されると、撮像画像データをＰＣ３１へ送信するとき、選択された撮影モードに対応するファイル情報（たとえば、拡張子）を設定する。
【００２８】
ＰＣ３１は、ステップＳ４０１において、電子カメラ１との外部装置インタフェース部を介した接続を検出する。これに対応して、電子カメラ１は、ステップＳ４４１においては、ＰＣ３１との外部装置インタフェース部２３を介した接続を検出する。
【００２９】
電子カメラ１は、ステップＳ４４２において、モニタ２１の画面上へのライブビュー映像表示を開始する。ステップＳ４４２は、ステップＳ４４１以前に実行しても良い。ＰＣ３１においては、ユーザ入力によって基準画像の取得を要求されるまではステップＳ４０２が否定判定され、ステップＳ４０２を繰り返す。ユーザ入力によって基準画像の取得が要求されると、ステップＳ４０２は肯定判定され、ステップＳ４０３にて、モニタ３２の画面上に一様な画像を生成して全画面サイズまたは特定サイズで表示する。なお、ＰＣ３１は、後述する輝度信号差分値を演算するため、モニタ３２の画面上に必ずしも一様な画像を表示しなくとも良いが、ゴミ情報を得るのに好適な基準画像を取得するためには一様な画像を表示することが好ましい。
【００３０】
ＰＣ３１は、ステップＳ４０４において、電子カメラ１がゴミ情報取得モードへ遷移するように、電子カメラ１へ撮影モードの切換えを指示する。電子カメラ１は、ステップＳ４４３にて、ゴミ情報取得モードへ遷移し、ステップＳ４４４にて、ピントを無限遠に設定し、ＰＣ３１のモニタ３２の画面上に表示される一様な画像を撮像することを促すユーザ通知メッセージを、モニタ２１の画面上に表示する。このとき、ユーザは、ピントを無限遠に設定し、ＰＣ３１のモニタ３２の画面上に表示されている一様な画像に向けて、電子カメラ１を構え、撮像する。電子カメラ１は、ステップＳ４４５において、ユーザ入力によって、ピントが無限遠に設定され、画像が撮像されたことを検出すると、ステップＳ４４６において、撮像された画像をＰＣ３１へ送信する。
【００３１】
ＰＣ３１は、ステップＳ４０５において、電子カメラ１が送信した画像を受信すると、ステップＳ４０６において、その受信画像のサイズを特定する。ステップＳ４０７においては、ステップＳ４０３において、モニタ３２の画面上に表示した一様な画像を、ステップＳ４０６にて特定した受信画像サイズと同一のサイズに変更し、モニタ３２の画面上に再表示する。ステップＳ４０８においては、ステップＳ４０５にて受信した画像とステップＳ４０７にて再表示された一様面画像の輝度面画像を生成する。輝度面画像は、各画素［ｉ，ｊ］において、ＲＧＢ信号から輝度信号を生成することにより、得られる。輝度面生成のためにＲＧＢ信号から輝度信号を生成する演算式としては、たとえば、特開２００４−３４３５１９号公報に記載の式（１）を採用する。ステップＳ４０９において、基準画像適性検査を実行し、合否を判定する。
【００３２】
ステップＳ４０９における判定は、その輝度面画像が一様面画像であるか否かに関する判定であり、具体的には、たとえば、以下に示す手順１〜４にしたがって実行される。ただし、ステップＳ４０３にて、ＰＣ３１がモニタ３２の画面上に表示した一様な画像の各画素［ｉ，ｊ］における輝度信号値は全てＰ＿０であるものとし、Ｐ＿０が奇数の場合はＹ＿０＝（１＋Ｐ＿０）／２、Ｐ＿０が偶数の場合はＹ＿０＝（Ｐ＿０）／２と予め定める。
手順１：ステップＳ４０８にて得られた受信画像の輝度面画像における各画素［ｉ，ｊ］について、局所平均処理を行ってＴ［ｉ，ｊ］を算出する。局所平均処理としては、たとえば、特開２００４−３４３５１９に記載の式（３）を採用する。
手順２：手順１にて得られた各画素［ｉ，ｊ］におけるＴ［ｉ，ｊ］と、ステップＳ４０７にて得られた一様面の画像の各画素［ｉ，ｊ］における輝度信号値との輝度信号差分値Ｔ’［ｉ，ｊ］を算出し、Ｙ＿０を加えて輝度信号差分補正値とする。
手順３：手順２で得られた各画素［ｉ，ｊ］の輝度信号差分値Ｔ’［ｉ，ｊ］に基づき、全画素における輝度信号差分値の平均値ｍおよび標準偏差ｄを算出する。
手順４：条件「（｜ｍ−Ｙ＿０｜≦ｍ＿０）かつ（ｄ≦ｄ＿０）」を満たす場合、ステップＳ４０５にて得られた受信画像は基準画像適性検査に合格であると判定する。ただし、ｍ＿０およびｄ＿０は予め設定される閾値である。
【００３３】
ステップＳ４０９において、否定判定が得られた場合は、ステップＳ４２０において、電子カメラ１へ、撮像の再試行を促すユーザ通知メッセージ表示を指示し、ＰＣ３１における本処理はステップＳ４０５へ戻る。その指示を受けた電子カメラ１は、ステップＳ４４６において、肯定判定がなされ、ステップＳ４６０において、撮像の再試行のため、撮影方向の調節またはズームの調節をユーザに促すユーザ通知メッセージを、モニタ２１の画面上に表示し、電子カメラ１における本処理はステップＳ４４５へ戻る。
【００３４】
ステップＳ４０９において、肯定判定が得られた場合、ＰＣ３１は、ステップＳ４１０において、ステップＳ４０５にて受信した画像データを基準画像データとして保存し、ステップＳ４１１において、電子カメラ１に対して、撮影モード切換を指示する。電子カメラ１は、ＰＣ３１からの撮像の再試行を促すユーザ通知メッセージ表示を指示されていないため、ステップＳ４４６にて否定判定された後、ステップＳ４４７へ進む。ステップＳ４４７においては、ピントが無限遠を設定されていることを警告するユーザ通知メッセージをモニタ２１の画面に表示し、ステップＳ４４３にて遷移したゴミ情報取得モードから通常モードへ遷移する。以上をもって、本処理は終了する。
【００３５】
上述した第２の実施の形態による電子カメラ１およびＰＣ３１は、次の作用効果を奏する。
（１）  ＰＣ３１は、電子カメラ１が撮像した画像を受信し、所定の基準を満たす基準画像であるか否かを判定するように構成した。否定判定のとき、肯定判定となるまで電子カメラ１に再度の撮像を指示し、肯定判定のとき、これを基準画像として画像データを記憶するように構成した。これにより、電子カメラ１の光学部材（上述した例では、撮像素子８およびその前部の光学部品７）に付着したゴミ１０の情報を得るための適切な基準画像が、ユーザ自身の不適切な判断に基づくこと無く得られるという効果がある。
【００３６】
（２）  ＰＣ３１は、モニタ３２の画面上に一様面画像を表示するように構成し、電子カメラ１は、この一様面画像を撮像すると、外部装置接続インタフェース部２３を介してＰＣ３１へ転送するように構成した。これにより、電子カメラ１の光学部材に付着したゴミ１０の情報を得るための適切な基準画像を取得するために、ユーザが一様面に該当しない不適切な被写体物を撮像することを防止できるという効果がある。
【００３７】
（３）  ＰＣ３１からの指示にしたがって、電子カメラ１は、ユーザが、ピントを無限遠に設定して撮像することや、撮影方向やズームを調節して撮像をやり直すことを促すユーザ通知メッセージを表示するように構成した。これにより、電子カメラ１の光学部材（上述した例では、撮像素子８およびその前部の光学部品７）に付着したゴミ１０の情報を得るための適切な基準画像が、ユーザ自身の不適切な判断に基づくこと無く得られるという効果がある。
【００３８】
−−−第３の実施の形態−−−
本発明の第３の実施の形態においては、本発明の第２の実施形態と同様に、撮像画像処理装置は、電子カメラ１と、電子カメラ１が接続され、画像処理プログラムがインストールされたＰＣ３１とから構成される。ＰＣ３１は、電子カメラ１がＰＣ３１のモニタ３２の画面上に表示される一様領域を撮像して得られる画像データが、ゴミ情報を得るための基準画像として適当であるか否かを判定する。電子カメラ１は、本発明の第２の実施形態においてはピントを無限遠に設定した撮像によってゴミ情報を得るための基準画像を取得するが、本発明の第３の実施の形態においては、異なるＦ値による２回の撮像によってその基準画像を生成する。なぜならば、電子カメラ１の光学部材（上述した例では、撮像素子８およびその前部の光学部品７）に付着したゴミ１０の像は、異なるＦ値による２回の撮像によって明瞭度が変化することに基づき、そのゴミ１０の像の位置を特定することができるためである。図５は、本発明の第３の実施の形態における、ゴミ情報を得るための基準画像取得処理を表すフローチャートである。電子カメラ１は、ＰＣ３１のユーザによって通常モードとゴミ情報取得モードのいずれか一方の撮影モードが選択されると、撮像画像データをＰＣ３１へ送信するとき、選択された撮影モードに対応するファイル情報（たとえば、拡張子）を設定する。
【００３９】
ＰＣ３１および電子カメラ１は、本発明の第２の実施の形態を示す図４と一部同一の処理を実行する。それら同一の処理ステップについては、図４にて用いた符号と同一の符号を図５においても用いており、詳細な説明は省略する。図５において、本発明の第３の実施の形態においてのみ実行される処理ステップには新たな符号を付与しており、それらの処理ステップを中心に、以下にて説明する。
【００４０】
ＰＣ３１は、ステップＳ４０１からステップＳ４０４までの処理によって、モニタ３２の画面上に一様面画像を全画面表示し、その一様面画像をゴミ情報取得モードにて撮像することを、電子カメラ１に指示する。電子カメラ１は、ステップＳ４４３にて、ゴミ情報取得モードへ遷移し、ステップＳ５４１にて、Ｆ値（レンズの明るさを示す指標）が最小となるように絞りを調節し、撮像することを促すユーザ通知メッセージを、モニタ２１の画面上に表示する。このとき、ユーザは、Ｆ値が最小となるように絞りを調節し、ＰＣ３１のモニタ３２の画面上に表示されている一様な画像に向けて、電子カメラ１を構え、撮像する。電子カメラ１は、ステップＳ５４２において、ユーザ入力によって、Ｆ値が最小となるように絞りが調節され、画像が撮像されたことを検出すると、ステップＳ５４３において、撮像された画像をＰＣ３１へ送信する。さらに、電子カメラ１は、ステップＳ５４４およびＳ５４５において同様の処理を実行し、Ｆ値が最大となるように絞りが調節され、画像が撮像されたことを検出すると、ステップＳ５４６において、撮像された画像をＰＣ３１へ送信する。
【００４１】
ＰＣ３１は、電子カメラ１から、ステップＳ５０１において、Ｆ値が最小であるときに撮像された画像を受信し、ステップＳ５０２において、Ｆ値が最大であるときに撮像された画像を受信すると、ステップＳ５０３において、ゴミ１０の像の位置を特定する。前述したように、電子カメラ１の光学部材に付着したゴミ１０の像は、異なるＦ値による２回の撮像によって明瞭度が変化する。したがって、ＰＣ３１は、電子カメラ１から受信した２枚の受信画像を比較し、明瞭度の変化した領域を、Ｆ値が最大であるときに撮像された画像において特定し、その領域をゴミ１０の像の画素領域であると特定する。
【００４２】
ＰＣ３１は、ステップＳ５０３において特定したゴミ１０の像の位置を基に、ステップＳ５０４において、仮の基準画像データを生成する。これは、たとえば、特定したゴミ１０の像の画素領域は、ステップＳ５０２において受信した、Ｆ値が最大であるときに撮像された画像における画素値を採用し、他の領域については、ステップＳ４０３においてＰＣ３１のモニタ３２の画面上に表示している一様面画像における画素値を採用することによって得られる。ステップＳ５０５においては、ステップＳ５０４において得られた仮の基準画像のサイズを特定する。ステップＳ５０６において、モニタ３２の画面上に表示した一様な画像を、ステップＳ５０５にて特定した仮の基準画像のサイズと同一のサイズに変更し、モニタ３２の画面上に再表示する。ステップＳ５０７においては、ステップＳ５０４にて得られた仮の基準画像データによる画像とステップＳ５０６にて再表示された一様面画像の輝度面画像を生成する。輝度面画像は本発明の第２の実施の形態に関する図４の説明において述べたステップＳ４０８と同様の処理によって得られる。ステップＳ４０９においては、基準画像適性検査を実行し、合否を判定する。ステップＳ４０９における判定は、本発明の第２の実施の形態に関する図４の説明において述べたとおりである。
【００４３】
ステップＳ４０９において、否定判定が得られた場合は、本発明の第２の実施の形態に関する図４の説明において述べた処理と同様の処理が実行される。ステップＳ４０９において、肯定判定が得られた場合、ＰＣ３１は、ステップＳ４１０において、ステップＳ５０４において生成された仮基準画像データを基準画像データとして保存し、ステップＳ４１１において、電子カメラ１に対して、撮影モード切換を指示する。電子カメラ１は、ＰＣ３１からの撮像の再試行を促すユーザ通知メッセージ表示を指示されていないため、ステップＳ４４６にて否定判定された後のステップＳ５４７へ進む。ステップＳ５４７においては、Ｆ値が最大値を設定されていることを警告するユーザ通知メッセージをモニタ２１の画面に表示し、ステップＳ４４３にて遷移したゴミ情報取得モードから通常モードへ遷移する。以上をもって、本処理は終了する。
【００４４】
上述した第３の実施の形態による電子カメラ１およびＰＣ３１は、第２の実施の形態による電子カメラ１およびＰＣ３１における作用効果（１）および（２）を同様に奏するとともに、次の作用効果を奏する。
（１）  ＰＣ３１からの指示にしたがって、電子カメラ１は、ユーザが、Ｆ値を最大値および最小値に設定して２回撮像することや、撮影方向やズームを調節して撮像をやり直すことを促すユーザ通知メッセージを表示するように構成した。これにより、電子カメラ１の光学部材（上述した例では、撮像素子８およびその前部の光学部品７）に付着したゴミ１０の情報を得るための適切な基準画像が、ユーザ自身の不適切な判断に基づくこと無く得られるという効果がある。
【００４５】
−−−第４の実施の形態−−−
本発明の第４の実施形態においては、撮像画像処理装置は、電子カメラ１と、電子カメラ１が接続され、画像処理プログラムがインストールされたＰＣ３１とから構成される。ＰＣ３１は、電子カメラ１がＰＣ３１のモニタ３２の画面上に表示される一様領域の映像をライブビュー表示映像として得た映像データを受信し、ゴミ情報を得るための基準画像として適当であるか否かを判定する。電子カメラ１は、本発明の第４の実施形態においてはピントを無限遠に設定した撮像によってゴミ情報を得るための基準画像を取得する。ピントが無限遠に設定されるのは、本発明の第２の実施の形態と同一の理由に基づくものである。図６は、本発明の第４の実施の形態における、ゴミ情報を得るための基準画像取得処理を表すフローチャートである。電子カメラ１は、ＰＣ３１のユーザによって通常モードとゴミ情報取得モードのいずれか一方の撮影モードが選択されると、撮像画像データをＰＣ３１へ送信するとき、選択された撮影モードに対応するファイル情報（たとえば、拡張子）を設定する。
【００４６】
ＰＣ３１は、ステップＳ４０１からステップＳ４０３までの処理によって、モニタ３２の画面上に一様面画像を全画面表示し、ステップＳ６０１によって、ゴミ情報取得モードに切り換えることを電子カメラ１に指示する。電子カメラ１は、ステップＳ４４３にて、ゴミ情報取得モードへ遷移し、ステップＳ４４４にて、ピントを無限遠に設定することを促すユーザ通知メッセージを、モニタ２１の画面上に表示する。このとき、ユーザは、ピントを無限遠に設定し、ＰＣ３１のモニタ３２の画面上に表示されている一様な画像に向けて、電子カメラ１を構え、その一様な画像を撮影した映像がモニタ画面２１上にライブビュー表示されるようにする。電子カメラ１は、ステップＳ６４２において、モニタ画面２１上にライブビュー表示されている映像をＰＣ３１へ常時または周期的に送信する。
【００４７】
ＰＣ３１は、ステップＳ６０２において、電子カメラ１が送信した映像を受信すると、ステップＳ６０３において、その受信映像のサイズを特定する。ステップＳ６０４においては、ステップＳ４０３において、モニタ３２の画面上に表示した一様な画像を、ステップＳ６０３にて特定した受信映像サイズと同一のサイズに変更し、モニタ３２の画面上に再表示する。ステップＳ６０５においては、ステップＳ６０２にて受信した映像とステップＳ６０４にて再表示された一様面画像の輝度面画像を生成する。輝度面画像は本発明の第２の実施の形態に関する図４の説明において述べたステップＳ４０８と同様の処理によって得られる。ステップＳ４０９においては、基準画像適性検査を実行し、合否を判定する。ステップＳ４０９における判定は、本発明の第２の実施の形態に関する図４の説明において述べたとおりである。
【００４８】
ステップＳ４０９において、否定判定が得られた場合は、本発明の第２の実施の形態に関する図４の説明において述べた処理と同様の処理が実行される。ステップＳ４０９において、肯定判定が得られた場合、ＰＣ３１は、ステップＳ６０６において、電子カメラ１へ、位置を固定することを促すユーザ通知メッセージ表示を指示する。その指示を受けた電子カメラ１は、ＰＣ３１から撮影方向やズームの調節を促すユーザ通知メッセージ表示を指示されていないため、ステップＳ４４６にて否定判定された後のステップＳ６４３へ進む。ステップＳ６４３においては、撮影方向やズームをしばらく固定することを促すユーザ通知メッセージをモニタ２１の画面に表示する。
【００４９】
ＰＣ３１は、ステップＳ６０７において、電子カメラ１へ撮像を指示し、電子カメラ１は、ステップＳ６４４にて撮像する。電子カメラ１は、ステップＳ６４４によって得られた画像をステップＳ６４５においてＰＣ３１へ送信すると共に、撮影方向やズームを固定することを解除するユーザ通知メッセージを表示する。ＰＣ３１は、ステップＳ４１０において、ステップＳ６０８にて受信した画像データを基準画像データとして保存し、ステップＳ４１１において、電子カメラ１に対して、撮影モード切換を指示する。電子カメラ１は、ステップＳ６４６において、ピントが無限遠を設定されていることを警告するユーザ通知メッセージをモニタ２１の画面に表示し、ステップＳ４４３にて遷移したゴミ情報取得モードから通常モードへ遷移する。以上をもって、本処理は終了する。
【００５０】
上述した第４の実施の形態による電子カメラ１およびＰＣ３１は、第１の実施の形態による電子カメラ１と同様の作用効果と、第２の実施の形態による電子カメラ１およびＰＣ３１と同様の作用効果とを奏するとともに、次の作用効果を奏する。
（１）  ＰＣ３１からの指示にしたがって、電子カメラ１のモニタ２１の画面に表示されるライブビュー映像を常時または周期的に受信し、基準画像として適切であるか否かを判定し、肯定判定の際に撮影方向やズームを固定することを促すユーザ通知メッセージを表示するように構成した。これにより、ユーザは、電子カメラ１を手に持って、モニタ２１の画面に表示されるメッセージに従って、ＰＣ３１のモニタ３２の画面上に表示されている一様領域を撮影すれば、ＰＣ３１が自動的に電子カメラ１による基準画像の撮像を制御する。したがって、１回の撮像のみによって基準画像が得られるという効果がある。
【００５１】
−−−変形例−−−
上述した本発明の実施の形態を次のように変形して実施することも可能である。
（１）  上述の図２の説明では、ＰＣ３１にインストールされるアプリケーションプログラムはＣＤ−ＲＯＭ３４に記録されていることとした。しかし、ＰＣ３１を通信ネットワークに接続し、そのアプリケーションプログラムを、通信回線を経由してデータ信号としてダウンロードしてインストールするようにしてもよい。この場合、あらかじめ、通信ネットワークに接続されたサーバコンピュータのハードディスク装置などにそのアプリケーションプログラムを格納しておく。
【００５２】
（２）  上述の第１の実施の形態では、図３のステップＳ３０７において、ゴミ情報を得るための基準画像データをメモリカード３０に保存することとしたが、外部接続インタフェース部２３を介してＰＣ３１へ転送し、ＰＣ３１に保存することとしても良い。
【００５３】
（３）  上述の第２〜第４の実施の形態では、図３〜図５のステップＳ４６０において、電子カメラ１のモニタ２１にズームの調節を促すユーザ通知メッセージを表示することによって、ユーザがズームの調節を実行することとした。しかし、ステップＳ４２０において、ＰＣ３１が電子カメラ１に対してズーム調節開始を指示し、適切なタイミングでズーム調節停止を指示することとしても良い。たとえば、ユーザはＰＣ３１のモニタ３２の画面に表示されている一様面画像のみを撮影しているつもりでありながら、実際は画像の端にモニタ３２のフレームが映っているような場合、自動的にズームインがされることによって、一様面画像のみで構成される映像が得られる。ズームイン停止は、たとえば、ステップＳ６０６の処理タイミングにおいて指示することとすれば良い。また、電子カメラ１におけるズーム調節は、可変光学系３と撮像素子８との間の距離を調節することであっても良いし、他の方法であっても良い。
【００５４】
（４）  上述の第４の実施の形態では、ステップＳ６０７において、ＰＣ３１が電子カメラ１へ撮像を指示し、ステップＳ６４４において、電子カメラ１が撮像することによって得られる画像を基準画像とした。しかし、ＰＣ３１が、ステップＳ６０２以降、常時または周期的に受信している電子カメラ１のライブビュー表示映像のスナップショット画像を捕捉して基準画像としても良い。
【００５５】
（５）  上述の第４の実施の形態では、ステップＳ６４１以降、電子カメラ１におけるピントが無限遠に設定されている状態で、ステップＳ６４４にて撮像されることにより、基準画像を取得することとした。しかし、第２の実施の形態の説明において述べたように、異なるＦ値による２回の撮像によって明瞭度が変化するので、これに基づいてゴミ１０の像の位置を特定することとしても良い。その場合における、ゴミ情報を得るための基準画像取得処理を表すフローチャートを図７に示す。ＰＣ３１および電子カメラ１における処理のうち、既出の図４〜６と共通する処理ステップについては同番符号を付与している。ＰＣ３１は、ステップＳ４０３〜Ｓ４０９において、モニタ３２の画面上に表示する一様な画像を、電子カメラ１のモニタ２１の画面上にライブビュー映像として表示させ、その映像を受信して基準画像適性検査を常時または周期的に実行する。その基準画像適性検査に合格すると、ステップＳ６０７にて、ＰＣ３１は電子カメラ１に対して撮像を指示する。電子カメラ１は、ステップＳ７４１〜Ｓ６４５において、Ｆ値が最小と最大の２枚の画像を撮像し、それら２枚の画像をＰＣ３１へ送信する。ＰＣ３１は、ステップＳ７０１およびＳ７０２において、それら２枚の画像を受信し、ステップＳ７０３において、基準画像データを生成する。ＰＣ３１は、ステップＳ４１０およびＳ４１１にて、生成した基準画像データを保存し、通常モードへの切換を電子カメラ１へ指示する。電子カメラ１は、ステップＳ７４６にて、Ｆ値が最大値を設定されていることを警告するユーザ通知メッセージをモニタ２１の画面に表示し、ステップＳ４４３にて遷移したゴミ情報取得モードから通常モードへ遷移する。以上をもって、本処理は終了する。
【００５６】
（６）  上述の第２および第４の実施の形態では、ステップＳ４４４において、ピントを無限遠に設定し、ＰＣ３１のモニタ３２の画面上に表示される一様な画像を撮像することを促すユーザ通知メッセージを、モニタ２１の画面上に表示することとした。しかし、ＰＣ３１が電子カメラ１に対してピントを無限遠に設定することを指示することとしても良い。また、電子カメラ１においてピントを無限遠に設定するためには、可変光学系３と撮像素子８との間の距離を調節しても良いし、他の方法を用いても良い。
【００５７】
（７）  上述の第３の実施の形態および変形例（５）では、ステップＳ５４１、Ｓ５４４、Ｓ７４１、Ｓ７４４において、Ｆ値が最小値または最大値となるように絞りを調節し、撮像することを促すユーザ通知メッセージを、モニタ２１の画面上に表示することとした。しかし、ＰＣ３１が電子カメラ１に対してＦ値が最小値または最大値となるように絞りを調節することを指示することとしても良い。
【００５８】
（８）  上述の第１の実施の形態、第４の実施の形態および変形例（５）では、ステップＳ４０９において、ライブビュー表示映像を構成する画像群のうち、最初に基準画像適性検査に合格した画像を基準画像とした。しかし、所定枚数の画像が基準画像適性検査に合格したとき、ステップＳ３０５またはステップ４０９における手順４の判定式において最も閾値に近い演算結果が得られた画像を基準画像とすることとしても良い。
【００５９】
（９）  上述の第１〜４の実施の形態および変形例（５）では、ステップＳ３０５およびステップＳ４０９における手順４において、全画素における輝度信号差分値の平均値ｍおよび標準偏差ｄが共に所定の条件を満たす場合に、受信画像は基準画像適性検査に合格と判定することとした。しかし、全画素における輝度信号差分値の平均値ｍおよび標準偏差ｄのいずれか一方が所定の条件を満たす場合に、受信画像は基準画像適性検査に合格と判定することとしても良い。
【００６０】
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
【００６１】
また、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態およびその変形例における機器構成に何ら限定されない。
【図面の簡単な説明】
【００６２】
【図１】交換レンズ方式の電子カメラの構成を示す図。
【図２】電子カメラのブロック図とＰＣおよび周辺装置を示す図。
【図３】第１の実施の形態による電子カメラの処理手順を表すフローチャート。
【図４】第２の実施の形態による電子カメラおよびＰＣの処理手順を表すフローチャート。
【図５】第３の実施の形態による電子カメラおよびＰＣの処理手順を表すフローチャート。
【図６】第４の実施の形態による電子カメラおよびＰＣの処理手順を表すフローチャート。
【図７】変形例（５）による電子カメラおよびＰＣの処理手順を表すフローチャート。
【符号の説明】
【００６３】
１  電子カメラ                     ２  カメラ本体
３  可変光学系                     ４  レンズ
５  絞り                           ６  シャッター
７  光学部品                       ８  撮像素子
９  マウント部                     １２  アナログ信号処理部
１３  Ａ／Ｄ変換部                 １４  タイミング制御部
１５  画像処理部                   １６  操作部
１７  制御部                       １８  メモリ
１９  圧縮／伸長部                 ２０  表示画像生成部
２１、３２  モニタ                 ２２  メモリカード用インタフェース部
２３  外部装置接続インタフェース部 ２４  バス
３０  メモリカード                 ３１  ＰＣ（パーソナルコンピュータ）
３３  プリンタ                     ３４  ＣＤ−ＲＯＭ
【図１】
2010028709.tif 000003
【図２】
2010028709.tif 000004
【図３】
2010028709.tif 000005
【図４】
2010028709.tif 000006
【図５】
2010028709.tif 000007
【図６】
2010028709.tif 000008
【図７】
2010028709.tif 000009