(57)【要約】【課題】撮影画像の一部を切り出したときにも、その切り出し画像に対する異物除去処理を精度よく行えるようにする。【解決手段】画像処理装置は、撮像素子２で得られた異物検出用の撮影画像から抽出された異物の位置情報Ｄｉ及び異物の大きさ情報Ｒｉを含む異物情報を取得し、また、撮像素子２による通常撮影時の撮影画像から切り出す、切り出し画像２０１の切り出し位置情報Ｔを取得する。そして、異物の位置情報Ｄｉ及び切り出し位置情報Ｔに基づいて、異物の位置が切り出し画像２０１内にあるか否かを判定して、異物の位置が切り出し画像２０１内にないと判定された場合、異物の位置情報を、異物の大きさ情報Ｒｉに基づいて第２の異物の位置情報に変換する。【選択図】図７
2012044542.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で得られた異物検出用の撮影画像から抽出された異物の位置情報及び異物の大きさ情報を含む異物情報を取得する異物情報取得手段と、
前記撮像手段による通常撮影時の撮影画像から切り出す、切り出し画像の切り出し位置情報を取得する切り出し位置情報取得手段と、
前記異物の位置情報及び前記切り出し位置情報に基づいて、異物の位置が前記切り出し画像内にあるか否かを判定する判定手段と、
前記判定手段により、異物の位置が前記切り出し画像内にないと判定された場合、前記異物の位置情報を、前記異物の大きさ情報に基づいて第２の異物の位置情報に変換する変換手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記第２の異物の位置情報及び前記切り出し位置情報に基づいて、変換後の異物の位置が前記切り出し画像内にあるか否かを判定する第２の判定手段を更に備え、
前記第２の判定手段により、変換後の異物の位置が前記切り出し画像内にあると判定された場合、前記第２の異物の位置情報及び前記異物の大きさ情報に基づいて、前記切り出し画像に対して異物除去のための補間処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像手段で得られた異物検出用の撮影画像から抽出された異物の位置情報及び異物の大きさ情報を含む異物情報を取得するステップと、
前記撮像手段による通常撮影時の撮影画像から切り出す、切り出し画像の切り出し位置情報を取得するステップと、
前記異物の位置情報及び前記切り出し位置情報に基づいて、異物の位置が前記切り出し画像内にあるか否かを判定するステップと、
異物の位置が前記切り出し画像内にないと判定された場合、前記異物の位置情報を、前記異物の大きさ情報に基づいて第２の異物の位置情報に変換するステップとを有することを特徴とする画像処理方法。
【請求項４】
撮像手段で得られた異物検出用の撮影画像から抽出された異物の位置情報及び異物の大きさ情報を含む異物情報を取得する処理と、
前記撮像手段による通常撮影時の撮影画像から切り出す、切り出し画像の切り出し位置情報を取得する処理と、
前記異物の位置情報及び前記切り出し位置情報に基づいて、異物の位置が前記切り出し画像内にあるか否かを判定する処理と、
異物の位置が前記切り出し画像内にないと判定された場合、前記異物の位置情報を、前記異物の大きさ情報に基づいて第２の異物の位置情報に変換する処理とをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置における、光学ローパスフィルタ等の光学素子の表面に付着した異物による画質劣化を抑制する技術に関する。
【背景技術】
【０００２】
一眼レフ方式等のレンズ交換が可能なデジタルカメラにおいては、構造上、光学系内にゴミ等の異物が混入しやすい。特に撮像素子の前方に配置されたローパスフィルタ等の光学素子の表面に異物が付着すると、撮影画像にその異物の影が写り込み、画像の品質が低下するという問題がある。
【０００３】
そこで、レンズの絞りを絞った状態で白い壁等を撮影し、撮像素子上のゴミだけが写った画像を予め用意して通常撮影画像と組み合わせて使用することで、ゴミを目立たなくする方法が知られている（特許文献１参照）。
【０００４】
しかしながら、この方法では、ゴミ検出用に撮影した画像と、それに関連付ける本撮影画像群との対応付けを常に意識しなくてはならず、煩わしい。
【０００５】
そこで、白い壁等を撮影してゴミの位置を取得した後これをデジタルカメラ上で保持しておき、通常撮影時の画像データにゴミの位置や大きさのリスト（ダスト情報）を添付することが考えられる。例えば別途用意された画像処理装置を用い、添付されたゴミの位置から撮影画像データ上のゴミ位置を解析し、解析された領域を周囲の画素で補間処理することにより目立たなくすることができる（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４-２２２２３１号公報
【特許文献２】特開２００７-１８９４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一方、撮影時に、撮影画像の一部を切り出すことで、アスペクト比を変更した画像を記録したり、被写体をズームアップした画像を記録したりする機能がある。このような機能で生成した画像では、予め保存したゴミの位置をそのまま適用できないため、画像に全体から切り出した位置を記録して、補間処理を行う際にゴミ位置の変換を行うようになっている。
【０００８】
しかしながら、図２に示すように、撮影画像２００から切り出した画像２０１の近傍にゴミ１００がある場合、すなわちゴミ１００を囲む円の中心座標Ｄ(Ｘｉ，Ｙｉ)は画像の切り出し位置の外にありながら、ゴミ１００自体の大きさによって切り出し画像２０１に含まれてしまう場合、その含まれた部分の補間処理を行えないという問題がある。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、撮影画像の一部を切り出したときにも、その切り出し画像に対する異物除去処理を精度よく行えるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、撮像手段で得られた異物検出用の撮影画像から抽出された異物の位置情報及び異物の大きさ情報を含む異物情報を取得する異物情報取得手段と、前記撮像手段による通常撮影時の撮影画像から切り出す、切り出し画像の切り出し位置情報を取得する切り出し位置情報取得手段と、前記異物の位置情報及び前記切り出し位置情報に基づいて、異物の位置が前記切り出し画像内にあるか否かを判定する判定手段と、前記判定手段により、異物の位置が前記切り出し画像内にないと判定された場合、前記異物の位置情報を、前記異物の大きさ情報に基づいて第２の異物の位置情報に変換する変換手段とを備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影画像の一部を切り出したときにも、その切り出し画像に対する異物除去処理を精度よく行うことができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る電子カメラの回路構成を示すブロック図である。
【図２】画像とゴミの位置を説明する図である。
【図３】実施形態に係る電子カメラによるゴミ検出処理を説明するフローチャートである。
【図４】ゴミ補正データとなるゴミの位置と大きさを説明する図である。
【図５】実施形態に係る画像処理装置の概略構成を示す図である。
【図６】実施形態に係る画像処理装置によるゴミ除去処理を説明するフローチャートである。
【図７】実施形態に係る画像処理装置によるゴミ位置変換ルーチンを説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１は、本発明の実施形態に係る電子カメラの回路構成を示すブロック図である。１はレンズを含む撮像光学系である。２はＣＣＤＣＭＯＳセンサ等の撮像素子（光電変換素子）である。３はＡ／Ｄ変換回路であり、撮像素子２で得られたアナログ画像信号をデジタル信号に変換する。
【００１４】
４は画像処理回路（プロセス回路）であり、ガンマ補正等の画像処理を行う。５はメモリ制御回路（記録再生部）であり、画像データの圧縮・伸長を行い、外部メモリ７からの信号の授受を行う。６は画像の展開やカメラの制御に使用するフレームメモリである。７は画像を記録する外部メモリである。８は画像表示用のメモリ（バッファメモリ）である。９は撮影画像等を表示する画像表示部（モニタ）である。１０はＣＰＵ等からなるシステム制御回路である。
【００１５】
１１はレンズ駆動制御回路であり、撮像光学系１のフォーカシング駆動の制御を行う。１２は撮影情報表示部であり、シャッター速度や絞り値等を表示する。１３はカメラに撮影を指示する撮影指示スイッチである。１４はカメラに画像表示を行うよう指示する画像表示スイッチである。１５はカメラに設定変更のメニュー画面を表示するように指示する設定変更スイッチである。
【００１６】
次に、上記構成の電子カメラの動作について説明する。始めに、システム制御回路１０は、撮影者の操作によるスイッチ１３、１４、１５のいずれかの状態変化を検出し、他の各ブロック及び撮像光学系への電源供給を開始して、各ブロックを使用できる状態にする。
【００１７】
（撮像処理）
撮影者が撮影指示スイッチ１３の操作により撮影動作を行った場合、システム制御回路１０からの制御信号によって、撮像光学系１が作動し、撮像素子２上に被写体像が結像する。撮像素子２で光電変換された電気信号は、各画素毎に順々にＡ／Ｄ変換回路３を通して所定のデジタル信号に変換された後、画像処理回路４へ入力される。画像処理回路４では、撮像素子２の各画素データを基にＲＧＢの各色信号を生成する。次に、これら各画素データをメモリ６に記憶する。メモリ６に記憶された画像データは、画像表示メモリ８へ転送され、画像表示部９を介して表示される。
【００１８】
（切り出し画像生成処理）
また、システム制御回路１０は、メモリ６に記憶された画像データから、予め設定してある画像の切り出し位置情報、例えば図２の左上位置（Ｘｔ，Ｙｔ）と右下位置（Ｘｂ，Ｙｂ）といった情報Ｔに基づいて画像データを切り出す。そして、切り出し画像を新たな画像としてメモリ６に記憶することができる。
【００１９】
（画像保存処理）
撮影結果を保存する場合は、メモリ６に記憶された画像データを、メモリ制御回路５により所定の圧縮フォーマットに基づいてデータ圧縮し、その結果を外部メモリ７（通常フラッシュメモリ等の不揮発性メモリを使用）に記録する。その際、画像データに付随する情報として、画像の切り出し位置情報Ｔ（図２の左上位置（Ｘｔ，Ｙｔ）と右下位置（Ｘｂ，Ｙｂ））等の情報を付与することができる。
【００２０】
また、撮影者が設定変更スイッチ１５の操作によりカメラの設定を変更する場合、システム制御回路１０から画像表示メモリ８を通して画像表示部９に設定変更画面（メニュー等のユーザーインターフェースにより構成される）を表示して行うことができる。
【００２１】
（ゴミ検出処理）
図３は、本実施形態に係る電子カメラによるゴミ検出処理（ゴミによって画像不良が生じている画素位置の検出処理）を説明するフローチャートである。ゴミ検出処理は、ゴミ検出用画像を撮像することにより行われる。
【００２２】
ゴミ検出処理を行う場合、面光源装置の出射面や白い壁等の均一な色を持つ面に撮像光学系１を向けてカメラを設置し、ゴミ検出の準備を行う。準備が終了した後、例えば撮影指示スイッチ１３からゴミ検出処理の開始が指示されると、システム制御回路１０は、まず絞りの設定を行う。撮像素子２近傍のゴミはレンズの絞り値によって結像状態が変わり、レンズの瞳位置によって位置が変化する。したがって、異物情報たるゴミ補正データには、ゴミの位置情報及び大きさ情報に加え、ゴミ検出処理時の絞り値とレンズの瞳位置を保持する必要がある。ここでは、例えばＦ１６を指定する（ステップＳ２１）。
【００２３】
次に、システム制御回路１０は、レンズ駆動制御回路１１に対し、撮像光学系１の絞り羽根制御を行わせ、ステップＳ２１で指定された絞り値に絞りを設定する（ステップＳ２２）。また、フォーカス位置を無限遠に設定する（ステップＳ２３）。
【００２４】
絞り値とフォーカス位置が設定されると、ゴミ検出処理モードでの撮影を実行する（ステップＳ２４）。これにより、異物検出用の撮影画像であるゴミ検出用画像が得られる。
【００２５】
撮影が終了すると、撮影時の絞り値とレンズ瞳位置を取得する（ステップＳ２５）。次に、画像処理回路４とメモリ制御回路５を通してメモリ６に記憶されている撮影画像の各画素に対応するデータを呼び出す（ステップＳ２６）。
【００２６】
システム制御回路１０は、ゴミが存在する画素の位置と大きさを取得する（ステップＳ２７）。このステップＳ２７のゴミ領域取得処理は、公知の手法、例えば特許文献２に開示された手法を用いればよく、ここではその詳細な説明は省略する。ステップＳ２７のゴミ領域取得処理で取得されるゴミの位置情報とゴミの大きさ情報は、図４に示すように、ゴミ１００を囲む円の中心座標Ｄ(Ｘｉ，Ｙｉ)（以下、Ｄｉと略す）を位置情報、ゴミ１００を囲む円の半径Ｒｉを大きさ情報とする。
【００２７】
ステップＳ２７で取得したゴミが存在する画素の位置及び大きさ、及びステップＳ２５で取得した絞り値とレンズ瞳位置情報を、ゴミ補正データとして外部メモリ７に登録する（ステップＳ２８）。
【００２８】
（ゴミ除去（異物除去）処理）
次に、ゴミ除去処理の流れについて説明する。ゴミ除去処理は、電子カメラではなく、別途用意したパーソナルコンピュータ（ＰＣ）等の画像処理装置で行う。図５は、画像処理装置の概略構成を示す図である。ＣＰＵ１００１は、システム全体の動作をコントロールし、一次記憶部１００２に格納されたプログラムの実行等を行う。
【００２９】
一次記憶部１００２は、主にメモリであり、二次記憶部１００３に記憶されたプログラム等を読み込んで格納する。二次記憶部１００３は、例えばハードディスク等がこれに該当する。一般に一次記憶部の容量は二次記憶部の容量より小さく、一次記憶部に格納しきれないプログラムやデータ等は二次記憶部に格納される。また、長時間記憶しなくてはならないデータ等も二次記憶部に格納される。本実施形態では、プログラムを二次記憶部１００３に格納し、プログラム実行時に一次記憶部１００２に読み込んでＣＰＵ１００１が実行処理を行う。
【００３０】
入力デバイス１００４とは、例えばシステムのコントロールに用いるマウスやキーボードの他、画像データの入力に必要なカードリーダー、スキャナ、フィルムスキャナ等がこれに該当する。出力デバイス１００５とは、例えばモニタやプリンタ等が挙げられる。この装置の構成方法は他にも様々な形態が考えられるが、本発明の主眼ではないので説明を省略する。
【００３１】
図６は、本実施形態に係る画像処理装置によるゴミ除去処理を説明するフローチャートである。まず、画像処理装置は、電子カメラ内又は電子カメラから取り外された外部メモリ７からゴミ補正データが添付された通常撮影画像データを取り込んで、一次記憶部１００２又は二次記憶部１００３に記憶する（ステップＳ１０１）。
【００３２】
次に、通常撮影画像データから、異物情報取得のために、ステップＳ２８で登録されたゴミ補正データを抽出する（ステップＳ１０２）。
【００３３】
次に、ステップＳ１０２で抽出したゴミ補正データから、ゴミの位置情報である座標列Ｄｉ（ｉ＝１，２，…，ｎ）、ゴミの大きさ情報である半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１及びレンズ瞳位置Ｌ１を取得する（ステップＳ１０３）。
【００３４】
次に、通常撮影画像の撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２を取得する（ステップＳ１０４）。そして、ゴミの位置情報である座標Ｄｉとゴミの大きさ情報である半径列Ｒｉを次式（１）、（２）で変換して、変換後の座標Ｄｉ’と変換後の半径Ｒｉ’を得る（ステップＳ１０５）。ここで、ｄは画像中心から座標Ｄｉまでの距離、Ｈは撮像素子２の表面とゴミとの距離である。ここでの単位はピクセルであり、Ｒｉ’についての「＋３」はマージン量である。
Ｄｉ’＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ・・・（１）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２＋３）・・・（２）
【００３５】
次に、切り出し位置情報取得のために、画像保存時に付与した画像の切り出し位置情報Ｔ（図２の左上位置（Ｘｔ，Ｙｔ）と右下位置（Ｘｂ，Ｙｂ））を取得する。そして、ステップＳ１０５での変換後の座標Ｄｉ’を、画像の切り出し位置情報Ｔ、更には必要に応じてゴミの大きさ情報Ｒｉに基づいて変換して、変換後の座標Ｄｉａ(ｘ，ｙ)又はＤｉｂ(ｘ，ｙ)を得る（ステップＳ１０６）。このゴミ位置変換ルーチンの詳細については後述する。
【００３６】
次に、ステップＳ１０６での変換後の座標Ｄｉａ(ｘ，ｙ)又はＤｉｂ(ｘ，ｙ)、及び、ゴミの大きさ情報Ｒｉ’で示される領域内のゴミを検出し、必要に応じて補間処理を適用する（ステップＳ１０７）。このステップＳ１０７の補間処理は、公知の手法、例えば特許文献２に開示された手法を用いればよく、ここではその詳細な説明は省略する。
【００３７】
その後、全てのゴミについてゴミ除去処理を適用したか否かを判定し（ステップＳ１０８）、全てのゴミについて処理が終わっていれば処理を終了し、そうでなければステップＳ１０７に戻る。
【００３８】
（ゴミ位置変換ルーチン）
図７を参照して、図６のステップＳ１０６のゴミ位置変換ルーチンの流れを説明する。なお、このゴミ位置変換ルーチンで扱う座標は、切り出し画像２０１の左上を原点（０，０）とし、右及び下方向を増加する方向としている。
【００３９】
まずステップＳ２０１で、ステップＳ１０５での変換後の座標Ｄｉ’が、画像の切り出し範囲Ｔ（図２の左上位置（Ｘｔ，Ｙｔ）と右下位置（Ｘｂ，Ｙｂ））内にあるか否かを判定する。
【００４０】
ステップＳ２０１で座標Ｄｉ’が画像の切り出し範囲Ｔ内にあれば、ステップＳ２０２に進み、座標Ｄｉ’を切り出し画像２０１を基準とした座標に次式（３）で変換し、座標Ｄｉ’を変換後の座標Ｄｉａ(ｘ，ｙ)で置き換える。その後、ステップＳ２０７に進む。
Ｄｉａ(ｘ，ｙ)＝Ｄｉ’−（Ｘｔ，Ｙｔ）・・・（３）
【００４１】
一方、ステップＳ２０１で座標Ｄｉ’が画像の切り出し範囲Ｔ内になければ，ステップＳ２０３に進み、座標Ｄｉ’を切り出し画像２０１を基準とした座標に変換するとともに、ゴミの大きさ情報Ｒｉに基づいて変換する。ステップＳ２０３では、座標Ｄｉ’を以下のいずれかの条件に従って変換し、座標Ｄｉ’を変換後の座標Ｄｉｂ(ｘ，ｙ)（第２の異物の位置情報）で置き換える。
Ｄｉ’がＴ（図２の左上位置（Ｘｔ，Ｙｔ）と右下位置（Ｘｂ，Ｙｂ））より上位置にある場合、
Ｄｉｂ(ｘ，ｙ)＝Ｄｉ’−（Ｘｔ，Ｙｔ）＋（０，Ｒｉ）
Ｄｉ’がＴ（図２の左上位置（Ｘｔ，Ｙｔ）と右下位置（Ｘｂ，Ｙｂ））より下位置にある場合、
Ｄｉｂ(ｘ，ｙ)＝Ｄｉ’−（Ｘｔ，Ｙｔ）−（０，Ｒｉ）
Ｄｉ’がＴ（図２の左上位置（Ｘｔ，Ｙｔ）と右下位置（Ｘｂ，Ｙｂ））より左位置にある場合、
Ｄｉｂ(ｘ，ｙ)＝Ｄｉ’−（Ｘｔ，Ｙｔ）＋（Ｒｉ，０）
Ｄｉ’がＴ（図２の左上位置（Ｘｔ，Ｙｔ）と右下位置（Ｘｂ，Ｙｂ））より右位置にある場合、
Ｄｉｂ(ｘ，ｙ)＝Ｄｉ’−（Ｘｔ，Ｙｔ）−（Ｒｉ，０）
【００４２】
次に、ステップＳ２０４で、第２の判定として、ステップＳ２０３で変換した座標Ｄｉｂ(ｘ，ｙ)が画像の切り出し位置範囲Ｔ内にあるか否かを判定する。座標Ｄｉｂ(ｘ，ｙ)が画像の切り出し範囲Ｔ内にあれば、ステップＳ２０５に進み、座標Ｄｉ’を変換後の座標Ｄｉｂ(ｘ，ｙ)で置き換える。その後、ステップＳ２０７に進む。
【００４３】
一方、座標Ｄｉｂ(ｘ，ｙ)が画像の切り出し範囲Ｔ内になければ，ステップＳ２０６に進み、座標Ｄｉ’を座標列から削除し、ゴミ除去処理の対象としないようにする。この場合は、ゴミの位置が切り出し画像２０１の外であって、ゴミ自体の大きさによっても切り出し画像２０１に含まれない場合であり、ゴミ除去処理の対象外としたものである。
【００４４】
ステップＳ２０７で、全ての座標についてゴミ位置情報の変換を適用したか否かを判定し、全ての座標について処理が終わっていれば処理を終了し、そうでなければステップＳ２０１に戻る。
【００４５】
以上述べたように、切り出して作成した画像に対してでも、後のゴミ除去処理において、ゴミの位置が切り出し範囲外にあるにもかかわらず、ゴミの端が切り出し画像内にあるようなゴミであっても、ゴミの除去処理を適用することができるようになる。
【００４６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４７】
１００１：ＣＰＵ、１００２：一次記憶部、１００３：二次記憶部、１００４：入力デバイス、１００５：出力デバイス
【図１】
2012044542.tif 000003
【図２】
2012044542.tif 000004
【図３】
2012044542.tif 000005
【図４】
2012044542.tif 000006
【図５】
2012044542.tif 000007
【図６】
2012044542.tif 000008
【図７】
2012044542.tif 000009