(57)【要約】【課題】ゴミを自動で補正した場所を明示的に表示することで、ユーザが補正の結果を確認する視認性を向上させる。【解決手段】撮像素子の前方に配置された光学素子に付着した異物の影が写り込んだ撮影画像を、異物の影を除去するように補正し、補正された画像を可視画像として出力する出力装置に送信する画像処理装置１１２０であって、異物の影が写り込んだ撮影画像に対して、複数の異なる補正の度合いで異物の影を除去する補正処理を行い、複数パターンの補正画像を生成する画像補正部４２５と、生成された複数パターンの補正画像をレイアウトして、１枚の画像として出力するための画像信号を生成するレイアウト部４０２と、生成された画像信号を出力装置に送信する送信部４０４とを有し、レイアウト部は、複数パターンの補正画像のそれぞれの画像において、画像補正部によって補正処理がなされた異物の影の領域の少なくとも一部を、出力装置の出力サイズ相当に拡大してレイアウトする。【選択図】図５
2008306307.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換する撮像素子の前方に配置された光学素子に付着した異物の影が写り込んだ撮影画像を、前記異物の影を除去するように補正し、補正された画像を可視画像として出力する出力装置に送信する画像処理装置であって、
前記異物の影が写り込んだ撮影画像に対して、複数の異なる補正の度合いで前記異物の影を除去する補正処理を行い、複数パターンの補正画像を生成する画像補正手段と、
前記画像補正手段によって生成された前記複数パターンの補正画像をレイアウトして、１枚の画像として出力するための画像信号を生成するレイアウト手段と、
前記レイアウト手段により生成された画像信号を前記出力装置に送信する送信手段とを有し、
前記レイアウト手段は、前記複数パターンの補正画像のそれぞれの画像において、前記画像補正手段によって補正処理がなされた前記異物の影の領域の少なくとも一部を、ユーザによって指定された前記出力装置の出力サイズ相当に拡大してレイアウトすることを特徴とする画像処理装置。
【請求項２】
前記出力装置はプリンタであり、前記出力サイズとは、前記プリンタから出力されるプリントの用紙サイズであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補正手段は、前記撮影画像に関連付けて記録されている、前記異物の影に関する位置情報に基づいて補正することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
被写体像を光電変換する撮像素子の前方に配置された光学素子に付着した異物の影が写り込んだ撮影画像を、前記異物の影を除去するように補正し、補正された画像を可視画像として出力する出力装置に送信する画像処理方法であって、
前記異物の影が写り込んだ撮影画像に対して、複数の異なる補正の度合いで前記異物の影を除去する補正処理を行い、複数パターンの補正画像を生成する画像補正工程と、
前記画像補正工程において生成された前記複数パターンの補正画像をレイアウトして、１枚の画像として出力するための画像信号を生成するレイアウト工程と、
前記レイアウト工程において生成された画像信号を前記出力装置に送信する送信工程とを有し、
前記レイアウト工程では、前記複数パターンの補正画像のそれぞれの画像において、前記画像補正工程において補正処理がなされた前記異物の影の領域の少なくとも一部を、ユーザによって指定された前記出力装置の出力サイズ相当に拡大してレイアウトすることを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置において、光学系内に付着した異物が画像に写りこんでしまった際に、その異物を画像から除去するための画像補正技術に関する。
【背景技術】
【０００２】
従来より、レンズ交換式の一眼レフデジタルカメラにおいては、撮像光学系内（特に撮像素子の前方に配置されたローパスフィルタなどの光学素子の表面）にゴミ等の異物が付着すると、撮影された画像にその異物の影が写りこんでしまうことがある。その場合、撮影された画像の品質が低下してしまう。そのため、撮像光学系に異物を付着させない技術や、撮像光学系に付着した異物を取り除く技術、さらに画像に写りこんでしまった異物を取り除く技術の開発が近年盛んに行われている。
【０００３】
これらの技術の中で、画像上から異物を取り除く技術には、次のようなものがある。まず、白一色の一様な被写体を撮影し、ほぼ撮像光学系内のゴミのみが写りこんだ画像を撮影し、その画像から撮像光学系内のゴミの位置情報を得ておく。そして、本撮影した画像に対して、上記の位置情報をもとに自動で補正処理（除去、色補正、周辺画素による補間など）して、画像上からゴミを取り除くというものである。
【０００４】
このような自動での補正処理においては、ユーザの好みや撮影シーンによってすべてのユーザが望む補正結果にすることは実質上不可能であり、少なからずユーザが自動での補正を物足りなく思ったり、補正箇所の出来を不満に思ってしまう場合がある。
【０００５】
このような課題に対して、自動での補正処理を施すか否かをユーザに判断させるために、複数の画像に対して自動での補正処理を施した結果をサンプルとしてインデックス表示で表示するという提案がなされている（特許文献１参照）。
【特許文献１】特開２０００−２２１６１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、インデックス表示の画像サイズでは、各画像におけるゴミを補正した結果を把握することが非常に困難である。また、ユーザには自動での補正を施すか施さないかの二つの選択肢しかなく、「もう少しゴミを補正してほしい」「この場所は補正しないでほしい」といったユーザの嗜好を反映することができない。
【０００７】
本発明は、上述した課題に鑑みてなされたものであり、その目的は、ゴミを自動で補正した場所を明示的に表示することで、ユーザが補正の結果を確認する視認性を向上させることである。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、被写体像を光電変換する撮像素子の前方に配置された光学素子に付着した異物の影が写り込んだ撮影画像を、前記異物の影を除去するように補正し、補正された画像を可視画像として出力する出力装置に送信する画像処理装置であって、前記異物の影が写り込んだ撮影画像に対して、複数の異なる補正の度合いで前記異物の影を除去する補正処理を行い、複数パターンの補正画像を生成する画像補正手段と、前記画像補正手段によって生成された前記複数パターンの補正画像をレイアウトして、１枚の画像として出力するための画像信号を生成するレイアウト手段と、前記レイアウト手段により生成された画像信号を前記出力装置に送信する送信手段とを有し、前記レイアウト手段は、前記複数パターンの補正画像のそれぞれの画像において、前記画像補正手段によって補正処理がなされた前記異物の影の領域の少なくとも一部を、ユーザによって指定された前記出力装置の出力サイズ相当に拡大してレイアウトすることを特徴とする。
【０００９】
また、本発明に係わる画像処理方法は、被写体像を光電変換する撮像素子の前方に配置された光学素子に付着した異物の影が写り込んだ撮影画像を、前記異物の影を除去するように補正し、補正された画像を可視画像として出力する出力装置に送信する画像処理方法であって、前記異物の影が写り込んだ撮影画像に対して、複数の異なる補正の度合いで前記異物の影を除去する補正処理を行い、複数パターンの補正画像を生成する画像補正工程と、前記画像補正工程において生成された前記複数パターンの補正画像をレイアウトして、１枚の画像として出力するための画像信号を生成するレイアウト工程と、前記レイアウト工程において生成された画像信号を前記出力装置に送信する送信工程とを有し、前記レイアウト工程では、前記複数パターンの補正画像のそれぞれの画像において、前記画像補正工程において補正処理がなされた前記異物の影の領域の少なくとも一部を、ユーザによって指定された前記出力装置の出力サイズ相当に拡大してレイアウトすることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ゴミを自動で補正した場所を明示的に表示することで、ユーザが補正の結果を確認する視認性を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明を、レンズ交換式の一眼レフデジタルカメラと出力先であるプリンタを接続し、ＰｉｃｔＢｒｉｄｇｅ規格に基づくダイレクトプリント環境下で使用する一実施形態について、添付画像を参照して説明する。なお、一眼レフデジタルカメラとプリンタにより本実施形態の画像処理システムを構成する。
【００１２】
図１は、本発明の一実施形態であるレンズ交換式の一眼レフデジタルカメラとプリンタを接続した状態を示す図である。
【００１３】
図１において、一眼レフデジタルカメラ１１２０は、液晶表示器４１７と十字配置スイッチスイッチ（ＳＷ）１１６を有する。通信ケーブル１１３０は、一眼レフデジタルカメラ１１２０とプリンタ１１１０とを接続するＵＳＢ等の通信ケーブルである。
【００１４】
図２は、本実施形態におけるプリンタ１１１０の制御系のブロック構成図である。
【００１５】
図２において、１２１０は装置全体の制御を司るＣＰＵ、１２１１はＣＰＵ１２１０の動作手順（プログラム）やフォントを記憶しているＲＯＭ、１２１２はＣＰＵ１２１０のワークエリアとして使用されるＲＡＭである。１２１３は操作パネルである。１２１４はＰＣ（パーソナルコンピュータ）との接続を行うためのインターフェースであり、１２１５は一眼レフデジタルカメラ１１２０との接続を行うインターフェース（ＵＳＢのホスト側）である。１２１６はメモリカード等の記憶メディアを搭載したアダプタ(ＰＣＭＣＩＡ)１２１７を接続可能なカードインターフェースである。カードインターフェース１２１６は、プリンタ１１１０がＤＰＯＦ、すなわち、一眼レフデジタルカメラ１１２０で撮影され、記憶されたメモリーカード内の印刷指示に関する記述ファイルを読み取って、それに従って印刷するためのものである。２１８はプリンタエンジンである。
【００１６】
図３は、本実施形態に係る一眼レフデジタルカメラ１１２０の外観を示す斜視図であり、図４は図３に示した一眼レフデジタルカメラ１１２０の垂直断面図である。
【００１７】
図３において、カメラ本体１００の上部には、ファインダ観察用の接眼窓１１１、ＡＥ（自動露出）ロックボタン１１２、ＡＦ（自動焦点調整）の測距点選択ボタン１１３が設けられている。また、撮影に関する指示をするためのレリーズボタン１１４が設けられており、半押し状態（ＳＷ１）と全押し状態（ＳＷ２）の２段階の入力が可能となっている。さらに、諸々の設定値を選択するための電子ダイヤル４１１、撮影モード選択ダイヤル１１７および外部表示装置（ＯＬＣ）４０９が設けられている。外部表示装置４０９は、液晶表示装置から構成され、シャッタースピード、絞り、撮影モードなどの撮影条件や、他の情報を表示する。
【００１８】
カメラ本体１００の背面には、撮影された画像や補正処理を行った画像、メニュー画面等の各種設定画面などを表示するＬＣＤモニタ装置４１７が設けられている。
【００１９】
さらに、カメラ本体１００の背面には、ＬＣＤモニタ装置４１７をオン／オフするためのモニタスイッチ１２１、十字配置スイッチ１１６、およびメニューボタン１２４が設けられている。
【００２０】
十字配置スイッチ１１６は、上下左右に配された４つのボタンと、中央に配されたＳＥＴボタンを有し、ユーザがＬＣＤモニタ装置４１７に表示されるメニュー項目などの選択や実行をカメラに指示するために用いられる。
【００２１】
メニューボタン１２４は、ＬＣＤモニタ装置４１７にカメラの各種設定を行うためのメニュー画面を表示させるためのボタンである。例えば、撮影モードは、このメニューボタン１２４を押した後、十字配置スイッチ１１６の上下左右のボタンを操作し、希望のモードが選択された状態でＳＥＴボタンを押すことにより設定する。このメニューボタン１２４と十字配置スイッチ１１６は、後述する、画像データのゴミを補正してプリントする際の設定等にも使用される。
【００２２】
本実施形態のＬＣＤモニタ装置４１７は透過型であるため、ＬＣＤモニタ装置の駆動だけでは画像を視認することはできず、必ずその裏面には図４に示すようにバックライト照明装置４１６が必要である。このようにＬＣＤモニタ装置４１７とバックライト照明装置４１６は画像表示装置を構成している。
【００２３】
図４に示すように、撮像光学系である撮影レンズ２００はカメラ本体１００に対してレンズマウント２０２を介して着脱可能である。図４において２０１は撮影光軸、２０３はクイックリターンミラーである。
【００２４】
クイックリターンミラー２０３は撮影光路中に配置され、撮影レンズ２００からの被写体光をファインダ光学系に導く位置（図４に示す位置、斜設位置と呼ぶ）と撮影光路外に退避する位置（退避位置と呼ぶ）との間で移動可能である。
【００２５】
図４において、ピント板２０４上にはクイックリターンミラー２０３からファインダ光学系に導かれる被写体光が結像される。２０５はファインダの視認性を向上させるためのコンデンサレンズ、２０６はペンタゴナルダハプリズムであり、ピント板２０４およびコンデンサレンズ２０５を通った被写体光をファインダ観察用の接眼レンズ２０８および測光センサ２０７に導く。
【００２６】
２０９、２１０はそれぞれシャッターを構成する後幕と先幕で、これら後幕２０９、先幕２１０の開放によって後方に配置されている、被写体像を光電変換する固体撮像素子である撮像素子４１８が必要時間だけ露光される。撮像素子４１８によって画素毎の電気信号に変換された撮影画像は、後述のＡ／Ｄコンバータ４２３や画像処理回路４２５などによって処理され、画像データとして記録媒体４１９に記録される。撮像素子４１８は、その前面に光学ローパスフィルタ４１８ａが配設されており、撮像素子４１８に結像する被写体像の空間周波数を調整している。撮影画像に影響を及ぼすゴミ（異物）は、この光学ローパスフィルタ４１８ａに付着し、撮像素子４１８に結像する被写体像に影として現れることにより、撮影画像の品質を劣化させる。
【００２７】
撮像素子４１８はプリント基板２１１に保持されている。このプリント基板２１１の後方には、もう一枚のプリント基板である表示基板２１５が配置されている。この表示基板２１５の反対側の面にＬＣＤモニタ装置４１７およびバックライト照明装置４１６が配置されている。
【００２８】
４１９は画像データを記録する記録媒体であり、２１７は電池（携帯用電源）である。この記録媒体４１９および電池２１７は、カメラ本体に対して着脱可能である。
【００２９】
図５は、本発明の第１の実施形態に係る一眼レフデジタルカメラ１１２０の回路構成を示すブロック図である。
【００３０】
図５において、マイクロコンピュータ４０２は、撮像素子４１８が出力する画像データの処理や、ＬＣＤモニタ装置４１７の表示制御をはじめ、カメラ全体の動作を制御する。
【００３１】
スイッチ（ＳＷ１）４０５は、レリーズボタン１１４の半押し状態でオンになり、スイッチ（ＳＷ１）４０５がオンすると撮影準備状態になる。スイッチ（ＳＷ２）４０６は、レリーズボタン１１４が最後まで押された状態（全押し状態）でオンし、スイッチ（ＳＷ２）４０６がオンすると撮影動作を開始する。
【００３２】
レンズ制御回路４０７は、撮影レンズ２００との通信およびＡＦ時の撮影レンズ２００の駆動制御や絞り羽根の駆動制御を行う。
【００３３】
また図５において、外部表示制御回路４０８は、外部表示装置（ＯＬＣ）４０９や、ファインダ内の表示装置（不図示）の制御を行う。スイッチセンス回路４１０は、カメラに設けられた電子ダイヤル４１１を含む多数のスイッチ類の信号をマイクロコンピュータ４０２に伝える。
【００３４】
ストロボ発光調光制御回路４１２は、Ｘ接点４１２ａを介して接地されており、外部ストロボの制御を行う。測距回路４１３は、ＡＦのための被写体に対するデフォーカス量を検出する。測光回路４１４は、被写体の輝度を測定する。
【００３５】
シャッター制御回路４１５はシャッターの制御を行い、撮像素子４１８に対して適正な露光を行う。ＬＣＤモニタ装置４１７とバックライト照明装置４１６は、画像表示装置を構成している。記録媒体４１９は、例えばカメラ本体に着脱可能なハードディスクドライブや半導体メモリカード等である。
【００３６】
また、マイクロコンピュータ４０２には、Ａ／Ｄコンバータ４２３、画像バッファメモリ４２４、ＤＳＰなどからなる画像処理回路４２５、撮像素子内の所定画素そのものに欠陥があることを記憶している画素欠陥位置メモリ４２６が接続されている。また、ゴミによる画像不良を起こしている撮像素子内の画素位置を記憶しているゴミ位置メモリ４２７も接続されている。なお、画素欠陥位置メモリ４２６およびゴミ位置メモリ４２７は不揮発性メモリを用いることが好ましい。また、画素欠陥位置メモリ４２６とゴミ位置メモリ４２７は、同一メモリ空間の異なるアドレスを用いて記憶しても良い。
【００３７】
また、４２８は、マイクロコンピュータ４０２が実行するプログラム等を記憶する不揮発性のメモリである。
【００３８】
また、４０４はＰＣあるいは本実施形態におけるプリンタ１１１０と接続するためのＵＳＢインタフェース（ＵＳＢのスレーブ側）を含む、外部インタフェースである。
【００３９】
なお、一眼レフデジタルカメラとプリンタ間の通信手段としては、ＳＣＳＩやワイヤレスのＴＣＰ／ＩＰなどが考えられるが、ここではＵＳＢインターフェースとする。また、撮影画像から異物の影を除去した結果は、カメラの液晶表示器４１７に表示するのではなく、プリンタに送信して可視画像として印刷（プレ印刷）するものとする。
【００４０】
ただし、本発明は、この例に限らず、異物の影の除去結果をカメラの液晶表示器４１７に表示しても良いし、テレビなどの外部表示装置に表示しても良い。
【００４１】
次に、撮像光学系内に付着したゴミの位置を検出する処理の例を、図６のフローチャートを用いて説明する。
【００４２】
当該処理は、マイクロコンピュータ４０２がメモリ４２８に記憶されたゴミ検出処理プログラムを実行することにより実施される。
【００４３】
ゴミ検出処理は、ゴミ検出用画像を撮像することにより行われる。ゴミ検出処理を行う場合、面光源装置の射出面や白い壁などの均一な色を持つ面にレンズ２００の撮影光軸２０１を向けてカメラを設置し、ゴミ検出の準備を行なう。または、レンズマウント２０２にゴミ検出用のライトユニット（レンズの代わりに装着する小型の点光源装置）を装着し、ゴミ検出の準備を行う。ライトユニットの光源は例えば白色ＬＥＤが考えられ、発光面のサイズを予め定めた絞り値（例えば、Ｆ３２）相当になるように調整するのが望ましい。
【００４４】
本実施形態では、通常の撮影レンズを用いた場合について説明するが、上記のライトユニットをレンズマウント２０２に取り付けてゴミ検出を行っても良い。このように、本実施形態においてゴミ検出用画像は、均一な色を有する画像である。
【００４５】
準備が終了した後、十字配置スイッチ１１６からゴミ検出処理の開始が指示されると、マイクロコンピュータ４０２は、まず絞りの設定を行う。撮像素子近傍のゴミはレンズの絞り値によって結像状態が変わり、レンズの瞳位置によって位置が変化する。したがって、ゴミ補正データにはゴミの位置や大きさに加え、検出時の絞り値とレンズの瞳位置を保持する必要がある。
【００４６】
ただし、ゴミ補正データを作成する段階で、異なるレンズを用いたとしても常に同じ絞り値を使うことを予め決めておけば、必ずしもゴミ補正データ内に絞り値を保持する必要はない。また、瞳位置に関してもライトユニットを用いたり、特定のレンズのみの使用を許可することで、同様に必ずしもゴミ補正データ内に瞳位置を保持する必要はなくなる。
【００４７】
つまり、ゴミ補正データを作成する段階において、使用するレンズを複数許したり、絞り込む絞り値を適宜変更する場合には、検出時の絞り値とレンズの瞳位置を、ゴミ補正データ内に保持する必要があると言える。なお、ここで瞳位置とは、射出瞳の撮像面（焦点面）からの距離をいう。
【００４８】
ここでは、例えばＦ１６を指定する（ステップＳ２１）。
【００４９】
次にマイクロコンピュータ４０２はレンズ制御回路４０７に対し、撮影レンズ２００の絞り羽根制御を行わせ、ステップＳ２１で指定された絞り値に絞りを設定する（ステップＳ２２）。さらに、フォーカス位置を無限遠に設定する（ステップＳ２３）。
【００５０】
撮影レンズの絞り値とフォーカス位置が設定されると、ゴミ検出モードでの撮影を実行する（ステップＳ２４）。ステップＳ２４で行う撮像処理ルーチンの詳細に関しては図１１を用いて後に説明する。撮影された画像データは、バッファメモリ４２４に格納される。
【００５１】
撮影が終了すると、撮影時の絞り値とレンズ瞳位置を取得する（ステップＳ２５）。画像処理回路４２５に画像バッファメモリ４２４に記憶されている撮影画像の各画素に対応するデータを呼び出す（ステップＳ２６）。画像処理回路４２５は、図８に示す処理を行い、画像内のゴミが存在する画素の位置と大きさを取得する（ステップＳ２７）。ステップＳ２７で取得したゴミが存在する画素の位置と大きさ、およびステップＳ２５で取得した絞り値とレンズ瞳位置情報を、ゴミ位置メモリ４２７に登録する（ステップＳ２８）。ここで、前述したライトユニットを用いた場合には、レンズ情報を取得できない。そこで、レンズ情報が取得できない場合は、ライトユニットを使ったと判断し、予め定められたレンズ瞳位置情報と、ライトユニットの光源径から算出される換算絞り値を登録する。
【００５２】
ここで、ステップＳ２８において、予め画素欠陥位置メモリに記録されている製造時からの不良画素（画素欠陥）の位置と、読み出した画素データの位置を比べて画素欠陥であるかどうかを確認する。そして、画素欠陥によるものでは無いと判断された領域のみ、ゴミ位置メモリ４２７に位置を登録しても良い。
【００５３】
ゴミ位置メモリ４２７に格納されるゴミ補正データのデータ形式例を図７に示す。図７に示した通り、ゴミ補正データには、検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。このゴミ補正データは、通常撮影時に画像データの撮影時情報と共に画像に付加する。
【００５４】
具体的には、検出画像撮影時のレンズ情報として、検出画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画像領域における中心のｘ座標（例えば２バイト）、おなじく中心のｙ座標（例えば２バイト）の３つの数値のセットである。
【００５５】
ゴミ位置メモリ４２７の大きさ等によりゴミ補正データサイズに制限がある場合、ステップＳ２７で得たゴミ領域の先頭から優先してデータを格納する。これは、ステップＳ２７のゴミ領域取得ルーチン内では、後述するようにゴミ領域を、目立つゴミの順にソートするからである。
【００５６】
次に、図８から図１０を用いて、ステップＳ２７で行うゴミ領域取得ルーチンの詳細について説明する。
【００５７】
図９に示すように、呼び出した画像データをメモリ上に展開し、予め定められたブロック単位で処理を行う。これは、レンズやセンサ特性に起因する周辺減光に対応するためである。周辺減光とは、レンズの中央部に比べ周辺部の輝度が落ちてしまう現象であり、レンズの絞りを小さくすることである程度軽減されることが知られている。しかし、絞りを絞った状態でも、撮影画像に対して予め定められたスレッショルド値でゴミ位置の判定を行うと、レンズによっては周辺部のゴミが正確に検出できなくなるという問題がある。そこで、画像をブロック分割して周辺減光の影響を軽減する。
【００５８】
単純にブロック分割すると、ブロックとブロックの間でスレッショルド値が異なる場合、ブロック間をまたぐゴミの検出結果がずれてしまうという問題がある。そこで、ブロック間をオーバーラップさせ、オーバーラップ領域を構成するブロックのいずれかでゴミと判定された画素をゴミ領域として扱う。
【００５９】
ブロック内のゴミ領域判定は、図８に示す処理の流れで行う。まず、ブロック内の最大輝度Ｌmax、平均輝度Ｌaveを算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。
【００６０】
Ｔ１＝Ｌave×０.６ + Ｌmax×０.４
次に、スレッショルド値を超えない画素をゴミ画素とし（ステップＳ６１）、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする（ステップＳ６２）。図１０に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘmaxおよび最小値Ｘmin、垂直方向の座標の最大値Ｙmaxおよび最小値Ｙminを求め、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する（ステップＳ６３）。
【００６１】
ｒｉ＝√[｛（Ｘmax−Ｘmin）／２｝2＋｛（Ｙmax−Ｙmin）／２｝2]
Ｘmax、Ｘmin、Ｙmax、Ｙminとｒｉの関係を、図１０に示す。
【００６２】
その後ステップＳ６４で、ゴミ領域毎の平均輝度値を算出する。
【００６３】
ゴミ位置メモリ４２７のサイズによる制限などにより、ゴミ補正データのデータサイズが制限されている場合がある。このような場合に対応するために、ゴミ位置情報を、大きさやゴミ領域の平均輝度値によってソートする（ステップＳ６５）。本実施形態では、ｒｉの大きい順にソートする。ｒｉが等しい場合、平均輝度値の低い順にソートする。このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域をＤｉ、ゴミ領域Ｄｉの半径をＲｉとする。
【００６４】
なお、予め定められたサイズより大きいゴミ領域がある場合、ソートの対象から外し、ソート済みゴミ領域リストの末尾に配置しても良い。これは、大きいゴミ領域については、後に補間処理をするとかえって画質を低下させる場合があり、補正対象の優先順位としては最下位として扱うことが望ましいからである。
【００６５】
次に、図１１に示すフローチャートを用いて、図６のステップＳ２４で行われる撮像処理ルーチンの詳細について説明する。当該処理はマイクロコンピュータ４０２がメモリ４２８に記憶された撮像処理プログラムを実行することにより実施される。
【００６６】
この撮像処理ルーチンが実行されると、ステップＳ２０１でマイクロコンピュータ４０２は、図４に示すクイックリターンミラー２０３を作動させ、いわゆるミラーアップを行い、撮影光路外にクイックリターンミラー２０３を退避させる。
【００６７】
次に、ステップＳ２０２で撮像素子での電荷蓄積を開始し、次のステップＳ２０３では図４に示したシャッターの先幕２１０、後幕２０９をそれぞれ走行させて露光を行う。そして、ステップＳ２０４で撮像素子の電荷蓄積を終了し、次のステップＳ２０５で撮像素子から画像信号を読み出してＡ／Ｄコンバータ４２３および画像処理回路４２５で処理した画像データをバッファメモリ４２４に一次記憶する。
【００６８】
次のステップＳ２０６で撮像素子から全ての画像信号の読み出しが終了すると、ステップＳ２０７でクイックリターンミラー２０３をミラーダウンし、クイックリターンミラーを斜設位置に戻して一連の撮像動作を終了する。
【００６９】
ステップＳ２０８にて、通常撮影かゴミ検出用画像撮影かを判断する。通常撮影時にはステップＳ２０９へ進んで撮影時のカメラ設定値等と共に図７に示したゴミ補正データを画像データのヘッダ領域であるＥｘｉｆ領域に追記し、画像データと関連付けて記録媒体４１９に記録する。
【００７０】
以下の本実施形態では、ゴミ補正データと画像データが一体的に保持されている画像ファイルを用いて説明する。なお、ゴミ補正データと画像データが一体的ではなく、例えば関連付けられた別々のファイルとして記録されていたとしても、本実施形態が適用できる。
【００７１】
（実施例１）
図１２は、本実施形態において実行される、自動でゴミ補正を行い、画像を印刷するまでの印刷プロセスを示すフローチャートである。なお、図１２では、ユーザが一眼レフデジタルカメラ１１２０の液晶表示器４１７と十字配置スイッチ１１６とを使って、プリントする画像の選択、液晶表示器４１７に表示された図１４のような印刷設定画面６０１上の「用紙設定」ボタン６０３を押下して、図１５、図１６、図１７の順で画面を遷移させながらプリントに必要な条件である用紙サイズ、用紙タイプ、レイアウトの指定、図１４の「ゴミ補正」ボタン６０２を押下し、図１８の画面で、自動ゴミ補正をする「入」／しない「切」の選択といった作業を行った後のカメラ内部の処理手順を示している。なお、これら設定した情報や、選択された画像の画像データおよびそれに関連付けられたゴミ補正データなど必要なデータはすべてメモリ４２８上に記憶されているものとする。
【００７２】
まず、ステップＳ４０１で、図１４の「キャンセル」ボタン６０５が押されていた場合、印刷せずに印刷プロセスを終了し、押されていなかった場合はステップＳ４０２に進む。ステップＳ４０２では、図１４の「プレ印刷」ボタン６０４が押されていたらステップＳ４０３へ、押されていなかったらステップＳ４０８へ進む。
【００７３】
「プレ印刷」ボタン６０４が押されてステップＳ４０３へ進んだ場合、元画像に対して補正の度合い（レベル）を変えて、自動でゴミ補正する処理を施した画像を複数パターン生成する。例えば３パターンだった場合、補正レベルとしては、「空など一様色な部分のみを補正する」レベル、「ゴミは全て補正する」レベル、それらの間のレベルが考えられる。
【００７４】
複数パターンの自動補正画像を作成後、ステップＳ４０４で、各自動補正画像のゴミを補正した箇所を、図１５で指定された用紙サイズ相当のサイズに拡大し、各自動補正画像に合成する（以降、合成補正画像とする）。この処理は、画像合成手段でもあるＣＰＵ４０２により行われる。これは、プレ印刷では複数パターン（パターン数：ｍ）に元画像を追加した、ｍ＋１枚の画像を用紙１ページにｎ面配置（ｎ＞１）することを想定している。そのため、各画像は指定された用紙サイズよりも小さいサイズになってしまうので補正結果の視認性が低下してしまう。そこで、自動補正したゴミの箇所（一部）のみを用紙サイズ相当（出力サイズ相当）に拡大し、拡大した画像をゴミ箇所に合成して合成画像を生成することで、補正結果の視認性を向上させる。
【００７５】
図１３のような元画像に対して自動補正を行い、その合成補正画像を作成した例を、図２０（１２０１、１２０２、１２０３）に示す。なお、本実施例では、出力先がプリンタであるため、出力サイズが用紙サイズとなるが、例えばテレビや液晶モニターに出力する場合には、その解像度相当に拡大することになる。
【００７６】
そして、ステップＳ４０５で、パターン分用意された合成補正画像をｎ面配置で印刷する。なお、ファイル番号を印字する部分に、ユーザが好む補正パターンを選択するためのインデックス番号（選択番号）が印字される。なお、インデックス番号は合成補正画像に付加されて一眼レフデジタルカメラ１１２０からプリンタ１１１０に送信される。
【００７７】
図２１に、３パターンで４面配置（ｍ＝３、ｎ＝４）する例を示す。なお、ｎ＝１の場合は１画像を１ページに印刷するので、ステップＳ４０４は省略し、ステップＳ４０５でファイル番号として、フチに選択番号を表示して印刷する。また、パターン数ｍやｎ面配置のｎの値は、固定の値でも、一眼レフデジタルカメラ１１２０の液晶表示器４１７に表示されるメニューの項目としてユーザに設定させても良い。
【００７８】
ステップＳ４０６において、ユーザはプリンタより出力されたプレ印刷の画像を見て、ユーザの嗜好にあった補正パターンの選択番号を図１９のような画面（インデックス選択画面）で選択する。そして、ステップＳ４０７で「自動補正しない」が選択されたかを確認し、選択されなかった場合には、ステップＳ４０８で、選択された番号の補正パターンの補正画像を、指定された用紙サイズ・用紙レイアウト・用紙タイプで印刷する。例えば、Ｎｏ．４を選択し、Ｌ版・１ｕｐ・Ｐｈｏｔｏが指定されていれば、図２５のように、選択した補正パターンの補正画像をＬ版サイズに、１面配置で印刷する。「自動補正しない」が選択された場合には、ステップＳ４１２で元画像を指定された用紙サイズ・用紙レイアウト・用紙タイプで印刷する。
【００７９】
また、ステップＳ４０２で「プレ印刷」ボタン６０４が押されずに、ステップＳ４０９へ進んだ場合、ステップＳ４０９で図１４の「ゴミ補正」ボタン６０２を押下する。そして、図１８の画面で「する（入）」が選択されていれば、ステップＳ４１０で自動でゴミ補正処理を行い、ステップＳ４１１で、ゴミ補正処理を施した画像を、指定された用紙サイズ・用紙レイアウト・用紙タイプで印刷する。また、ステップＳ４０９で「する（入）」が選択されていなければ、ステップＳ４１２で、元画像を指定された用紙サイズ・用紙レイアウト・用紙タイプで印刷する。
【００８０】
以上の結果、ユーザはプレ印刷により、ユーザの嗜好にあった自動ゴミ補正処理結果の画像を得ることが可能となる。また、プレ印刷時、補正したゴミ箇所を用紙サイズ相当に拡大することで、自動補正された効果をユーザが確認する視認性を向上させることが可能となる。
【００８１】
（実施例２）
実施例２では、ユーザが自動でゴミを補正した箇所を確認する際の視認性をより向上させる手法について説明する。
【００８２】
図２２の１４０１〜１４１２のように、ゴミが密集している箇所（１４０１〜１４０５、１４０８〜１４１２）がある場合、図２０のようにゴミを補正した箇所を用紙サイズ相当に拡大し合成すると、拡大した画像が重なり合ってしまう。そのため、ゴミを補正した結果を確認することが逆に困難となってしまう。
【００８３】
そこで、図１２のステップＳ４０４において、画像に対して「ゴミが密集して多い箇所」を自動で検出し、図２３の１５０１〜１５０２のように、検出された領域の周辺部分（周辺領域）を用紙サイズ相当に拡大して合成する。なお、密集している程度を判定する方法としては、あるゴミを中心として適当な半径内に存在するゴミをゴミ位置情報より検索し、規定個数以上存在したならば密集していると判定するなどといった方法が考えられる。ただし、密集具合を判定する方法はこれに限らない。
【００８４】
以上の結果、ゴミが多い画像に対してプレ印刷を行った場合においても、ユーザは自動で補正されたゴミの場所を容易に確認することが可能となる。
【００８５】
（実施例３）
実施例３では、ユーザが自動でゴミを補正した箇所を確認する際の視認性を、さらに向上させる手法について説明する。
【００８６】
図２２の１４０１〜１４１２のように、ゴミが密集している箇所（１４０１〜１４０５、１４０８〜１４１２）と孤立している箇所（１４０６、１４０７）がある場合、実施例１のように補正した箇所を用紙サイズ相当に拡大し合成すると、次のようになる。即ち、密集している箇所（１４０１〜１４０５、１４０８〜１４１２）では拡大した箇所が重なり合い、補正した結果を確認しづらくなってしまう。また、実施例２のようにゴミのある領域を拡大表示した場合、孤立している箇所（１４０６、１４０７）は拡大されず、補正した結果を確認するには目を凝らしてよく見なければならない。
【００８７】
そこで、図１２のステップＳ４０４において、実施例２のようなゴミの領域を拡大表示する手法と実施例１のようなゴミの箇所を拡大表示する手法を、ゴミの箇所周辺の状況によって自動で切り替える。これにより、図２４のように、孤立している箇所（１６０２）や密集している箇所（１６０１）においても、自動で補正されたゴミの周辺を確認することが容易になる。
【００８８】
以上の結果、密集しているゴミについて実施例２のように拡大されるだけでなく、孤立しているゴミについても実施例１と同様に拡大されることになり、ユーザは画像上に存在するゴミ全ての自動補正の状況を、プレ印刷において容易に確認することが可能となる。
【００８９】
（他の実施形態）
本発明は前述した実施形態の機能を実現するソフトウエアのプログラム（実施形態では図に示す通信手順に対応したプログラム）を、各装置に直接、或いは遠隔から供給できるようにしても良い。また、その装置の処理部が該供給されたプログラムコードを読み出して実行することによって、上記の実施形態を実行可能とする場合を含む。
【００９０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態であるレンズ交換式の一眼レフデジタルカメラとプリンタを接続した状態を示す図である。
【図２】本発明の一実施形態におけるプリンタの制御系のブロック構成図である。
【図３】デジタルカメラの外観斜視図である。
【図４】デジタルカメラの内部構造を示す垂直断面図である。
【図５】一眼レフデジタルカメラの制御系のブロック構成図である。
【図６】デジタルカメラにおけるゴミ検出処理を説明するフローチャートである。
【図７】ゴミ補正データのデータ形式例を示す図である。
【図８】図６のステップＳ２７で行われるゴミ領域取得ルーチンの詳細を説明するフローチャートである。
【図９】図８のステップＳ６２で行われるゴミ領域判定処理の処理単位を示す図である。
【図１０】図８のステップＳ６３で行われるゴミ領域サイズ算出の概要を示す図である。
【図１１】図６のステップＳ２４で行われる撮像処理ルーチンの詳細を説明するフローチャートである。
【図１２】本発明の一実施形態において実行される、自動でゴミ補正を行い、画像を印刷するまでの印刷プロセスを示すフローチャートである。
【図１３】ゴミ除去処理を行う前の元画像を示す図である。
【図１４】印刷設定画面を示す図である。
【図１５】プリントに必要な条件である用紙サイズを指定する画面を示す図である。
【図１６】プリントに必要な条件である用紙タイプを指定する画面を示す図である。
【図１７】プリントに必要な条件であるレイアウトを指定する画面を示す図である。
【図１８】自動でゴミ補正処理を行うか否かを指定する画面を示す図である。
【図１９】ユーザの嗜好にあった補正パターンを選択する画面を示す図である。
【図２０】元画像に対して自動補正を行い、合成補正画像を作成した例を示す図である。
【図２１】３パターンの補正画像を４面配置で印刷する例を示す図である。
【図２２】ゴミが密集している箇所と孤立している箇所がある状態を示す図である。
【図２３】画像に対してゴミが密集して多い箇所を自動で検出し、検出された領域を用紙サイズ相当に拡大して合成する様子を示す図である。
【図２４】ゴミの領域を拡大表示する手法とゴミの箇所を拡大表示する手法を、ゴミの箇所周辺の状況によって自動で切り替える様子を示す図である。
【図２５】自動ゴミ補正を行った結果を印刷した例を示す図である。
【図１】
2008306307.tif 000003
【図２】
2008306307.tif 000004
【図３】
2008306307.tif 000005
【図４】
2008306307.tif 000006
【図５】
2008306307.tif 000007
【図６】
2008306307.tif 000008
【図７】
2008306307.tif 000009
【図８】
2008306307.tif 000010
【図９】
2008306307.tif 000011
【図１０】
2008306307.tif 000012
【図１１】
2008306307.tif 000013
【図１２】
2008306307.tif 000014
【図１３】
2008306307.tif 000015
【図１４】
2008306307.tif 000016
【図１５】
2008306307.tif 000017
【図１６】
2008306307.tif 000018
【図１７】
2008306307.tif 000019
【図１８】
2008306307.tif 000020
【図１９】
2008306307.tif 000021
【図２０】
2008306307.tif 000022
【図２１】
2008306307.tif 000023
【図２２】
2008306307.tif 000024
【図２３】
2008306307.tif 000025
【図２４】
2008306307.tif 000026
【図２５】
2008306307.tif 000027