(57)【要約】      （修正有）【課題】対象画像から高い精度でゴミ影等の画像欠損部位を検出することのできる画像処理装置および画像処理プログラムを提供する。【解決手段】画像処理装置は、撮像光学系を介して撮像部に撮像された処理対象画像に写る個々の画像の中から、該個々の画像の大きさが所定範囲にあるものを、光学部材に付着した異物の影による欠損部であると判定する欠損判定部６０を備え、前記所定範囲の上限下限は、前記処理対象画像が撮像された際の絞り値によって異なる。【選択図】図４
2012185648.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して撮像部に撮像された処理対象画像に写る個々の画像の中から、該個々の画像の大きさが所定範囲にあるものを、光学部材に付着した異物の影による欠損部であると判定する欠損判定部を備え、
前記所定範囲の上限下限は、前記処理対象画像が撮像された際の絞り値によって異なること、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記所定範囲の上限下限は、前記絞り値が第１の絞り閾値以下の場合、前記絞り値が前記第１の絞り閾値より大きいときの上限下限よりも大きい値であること、
を特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記絞り値が第１の絞り閾値より大きく、且つ前記個々の画像の大きさが前記所定範囲を超えている場合、
前記個々の画像の太さ判定を行い、所定の太さ以下のものをゴミ影部であると判定すること、
を特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像処理装置であって、
前記欠損判定部により前記個々の画像が前記異物影部と判定された場合、
前記処理対象画像から前記異物影部を除去する補正部を有すること、
を特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記欠損判定部は、
前記処理対象画像に対して、明るさの変化量に基づいて連結した画素領域を判定する連結領域判定部と、
前記連結領域判定部によって判定された連結した画素領域のうちから所定範囲の大きさの対象画素領域を抽出する抽出部と、を有すること、
を特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記連結領域判定部は、
輝度平面を求める輝度平面処理部、
前記輝度平面を逆ガンマ補正する逆ガンマ補正部と、
該逆ガンマ補正部によって逆ガンマ補正された輝度平面に対して平均化フィルタをかけるフィルタリング部と、を備え、
前記処理対象画像の撮影時のＩＳＯ感度が高い場合に、前記平均化フィルタのサイズを大きくすること、
を特徴とする画像処理装置。
【請求項７】
請求項１〜６に記載のいずれかに記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
電子カメラ等により撮像を行う際、光学フィルタ等にゴミが付着していると、ゴミの影が撮像画像に写り込む場合がある。このように画像に写り込んだゴミ影等による画像欠損部位を補正するものとして、ゴミ影の写り込んだ基準画像からゴミ位置の座標等の情報を得、その情報に基づいて通常撮影された撮影画像に写り込んだゴミ影による画像欠損を補正する画像処理装置が知られている。
また、補正対象の画像におけるゴミ影による透過率の変化（各画素における輝度情報の変化）からゴミを検出し、ゴミ影を削除する補正を行う技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ゴミ影部分の光の透過率（輝度変化）に基づくゴミ影の検出では、被写体像をゴミ影として誤検出してしまうことがある。
本発明の課題は、対象画像から高い精度でゴミ影等の画像欠損部位を検出することのできる画像処理装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００６】
請求項１に記載の発明は、撮像光学系（３６）を介して撮像部（１３）に撮像された処理対象画像に写る個々の画像の中から、該個々の画像の大きさが所定範囲にあるものを、光学部材に付着した異物の影による欠損部であると判定する欠損判定部（６０）を備え、前記所定範囲の上限下限は、前記処理対象画像が撮像された際の絞り値によって異なること、を特徴とする画像処理装置（５０）である。
請求項２に記載の発明は、請求項１に記載の画像処理装置（５０）であって、前記所定範囲の上限下限は、前記絞り値が第１の絞り閾値以下の場合、前記絞り値が前記第１の絞り閾値より大きいときの上限下限よりも大きい値であること、を特徴とする画像処理装置（５０）である。
請求項３に記載の発明は、請求項２に記載の画像処理装置（５０）であって、前記絞り値が第１の絞り閾値より大きく、且つ前記個々の画像の大きさが前記所定範囲を超えている場合、前記個々の画像の太さ判定を行い、所定の太さ以下のものをゴミ影部であると判定すること、を特徴とする画像処理装置（５０）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の画像処理装置（５０）であって、前記欠損判定部（６０）により前記個々の画像が前記異物影部と判定された場合、前記処理対象画像から前記異物影部を除去する補正部（５１）を有すること、を特徴とする画像処理装置（５０）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）であって、前記欠損判定部（６０）は、前記処理対象画像に対して、明るさの変化量に基づいて連結した画素領域を判定する連結領域判定部（６１）と、前記連結領域判定部（６１）によって判定された連結した画素領域のうちから所定範囲の大きさの対象画素領域を抽出する抽出部と、を有すること、を特徴とする画像処理装置（５０）である。
請求項６に記載の発明は、請求項５に記載の画像処理装置（５０）であって、前記連結領域判定部（６１）は、輝度平面を求める輝度平面処理部と、前記輝度平面を逆ガンマ補正する逆ガンマ補正部と、該逆ガンマ補正部によって逆ガンマ補正された輝度平面に対して平均化フィルタをかけるフィルタリング部と、を備え、前記処理対象画像の撮影時のＩＳＯ感度が高い場合に、前記平均化フィルタのサイズを大きくすること、を特徴とする画像処理装置（５０）である。
請求項７に記載の発明は、請求項１〜６に記載のいずれかに記載の画像処理装置（５０）の機能をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【０００７】
本発明によれば、対象画像から高い精度でゴミ影等の画像欠損部位を検出することのできる画像処理装置を提供できる。
【図面の簡単な説明】
【０００８】
【図１】レンズ交換式のカメラの構成を示す図である。
【図２】カメラと画像処理装置を構成するパーソナルコンピュータ（ＰＣ）および周辺装置を示すブロック図である。
【図３】画像欠損補正処理を行う画像処理装置の機能ブロック図である。
【図４】画像処理装置における欠損判定部の機能ブロック図である。
【図５】ＨＳＶ変換処理の六角錐モデルを表す概念図である。
【図６】画像処理装置における画像欠損補正処理のフローチャートである。
【図７】大きさ判定処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、レンズ交換式のカメラ１の構成を示す図である。図２は、カメラ１と画像処理装置を構成するパーソナルコンピュータ（ＰＣ）３０および周辺装置を示すブロック図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。
【００１０】
カメラ１は、カメラ本体２と、カメラ本体２に対して着脱可能な撮像レンズ３とにより構成されている。撮像レンズ３は、複数の光学レンズ群（図１においては１枚のレンズで示す）から成る結像光学系３Ｌを備えている。
【００１１】
カメラ１は、結像光学系３Ｌ（撮像レンズ３）とカメラ本体２とを備える。
カメラ本体２は、シャッター１１、光学フィルタ１２、撮像素子１３、画像処理部１４、操作部１５、表示部１６、メモリカード用インターフェース部１７、外部インターフェース部１８、電源１９、制御部２０等を備えている。
【００１２】
シャッター１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、符号４は、この光学フィルタ１２の表面に付着した塵や埃などのゴミを示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２にゴミ４が付着していると、撮像素子１３によって取得される画像データのなかに、ゴミ４の影響を受けた画素が含まれる場合がある。
【００１３】
撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１４に入力される。
【００１４】
画像処理部１４は、撮像素子１３から入力された画像データに対して、補間，階調変換や輪郭強調などの画像処理を行う。
なお、本実施形態のカメラ１では、撮像素子１３において、画像処理部１４に供給される画像データはＲＧＢ表色系で示されるものとする。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。ここで、撮像素子１３を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。画像処理が完了した画像データは、補間処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。
【００１５】
操作部１５は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１５は、それらの操作情報を制御部に入力する。
表示部１６は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。
【００１６】
メモリカード用インターフェース部１７は、メモリカード（カード状のリムーバブルメモリ）４０とのインターフェースをとる。
外部インターフェース部１８は、所定のケーブルや無線伝送路を介してＰＣ３０等の外部装置とのインターフェースをとる。
電源１９は、カメラ１の各機能部に電力を供給する。
【００１７】
制御部２０は、カメラ１における各機能部を統括制御する。すなわち、制御部２０は、操作部１５におけるレリーズスイッチから撮影指示信号が入力されると、シャッター１１を駆動制御して露光動作等の撮影動作を制御する。また、制御部２０は、撮像素子１３で取得されて画像処理部１４で画像処理が行われて入力された画像データを、メモリカード用インターフェース部１７に着脱可能に取り付けられたメモリカード４０等に記憶させ、保存する。さらに、制御部２０は、メモリカード４０等に記憶された画像データを呼び出し、表示部１６に表示させる。
【００１８】
上記のように構成されたカメラ１は、撮影時において制御部２０によって制御されて、下記のように作用する。
操作者によって操作部１５のレリーズボタンが押圧操作されると、シャッター１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１４に入力され、画像処理部１４によって所定の画像処理が施される。そして、画像処理部１４で画像処理された画像データに基づいて表示部１６に撮影画像を表示すると共に、その画像データに必要に応じてＪＰＥＧ等による圧縮処理を施してメモリカード用インターフェース部１７に装着されたメモリカード４０に記憶・保存する。また、外部インターフェース部１８を介して接続された後述するＰＣ３０に、画像データを送出する。
【００１９】
ここで、メモリカード４０に記憶・保存され、または、外部インターフェース部１８を介してＰＣ３０に送出される画像データは、たとえば、Ｅｘｉｆファイルに記録される。Ｅｘｉｆファイルには、絞り値、カメラ名，カメラメーカー名，シャッター速度および露光補正等の露出条件、撮影時刻などの付加情報が共に記録される。
【００２０】
パーソナルコンピュータ（ＰＣ）３０は、図示しないが、ＣＰＵ、メモリ、ハードディスク、メモリカード４０とのインターフェースをとるメモリカード用インターフェース部、ケーブルや無線伝送路を介してカメラ１等の外部装置とのインターフェースをとる外部インターフェース部等を備えている。また、ＰＣ３０には、モニタ３１やプリンタ３２等が接続されており、ＣＤ−ＲＯＭ３３に記録された画像欠損補正処理に係るアプリケーションプログラムが予めインストールされている。
【００２１】
つぎに、図３〜図６を参照して、撮影された対象画像データにおけるゴミ影（異物影）等による画像欠損を補正する処理（画像欠損補正処理）について説明する。図３は、画像欠損補正処理を行う画像処理装置５０の機能ブロック図である。図４は、画像処理装置５０における欠損判定部６０の機能ブロック図である。図５は、ＨＳＶ変換処理の六角錐モデルを表す概念図である。図６は、画像処理装置５０における画像欠損補正処理のフローチャートである。図７は、図６のステップ０８の連結領域画素大きさ判定のフローチャートである。
【００２２】
画像欠損補正処理は、メモリカード３０を介して提供された、または、カメラ１の外部インターフェース部１８から伝送された画像処理完了後の画像データに対して、ＰＣ３０によって行われる。前述したように、ＰＣ３０には、画像欠損補正処理のアプリケーションプログラムがインストールされており、ＰＣ３０はこのプログラムを実行することによって、画像欠損補正処理を行う画像処理装置として機能する。
【００２３】
ＰＣ３０とプログラムとによって機能する画像処理装置５０は、図３に示すように、画像欠損領域を検出する欠損判定部６０と、欠損判定部６０によって判定された画像欠損情報に基づいてその欠損部位を補正する補正部５１と、を備えている。
欠損判定部６０は、機能ブロック図である図４に示すように、連結領域判定部６１と、対象領域抽出部６２と、Ｆ値判定部６３と、太さ判定部６４と、明るさ判定部６５と、色相判定部６６と、誤検出排除部６７と、を備えている。
【００２４】
連結領域判定部６１は、対象画像における各画素の明るさ（たとえば輝度）情報から、画像欠損の可能性のある領域を抽出する。画像欠損は、たとえば光学フィルタ１２の前面に付着したゴミ４（図１参照）によるゴミ影を撮影することで生ずる。以下、このようなゴミ４（図１参照）によるゴミ影によって生じた画像欠損領域を例として説明する。
連結領域判定部６１による画像欠損領域（ゴミ影部位）の検出は、対象画像を形成するＲＧＢによる各画素の画像データをＨＳＶ変換して色相平面、彩度平面を求め、ＲＧＢから輝度平面を求め、さらにその輝度勾配を求めて行う。
【００２５】
ここで、ＨＳＶ変換について説明する。
図５は、ＨＳＶ変換の六角錐モデルの概念図である。明度値Ｖの座標軸は六角錐の中心軸で表され、彩度Ｓの座標軸は六角錐の中心軸に直交する軸で表され、色相Ｈは六角錐の中心軸を回転する回転角で表される。
明度値Ｖ（Ｖａｌｕ）、色相値Ｈ（Ｈｕｅ）および彩度値Ｓ（Ｓａｔｕｒａｔｉｏｎ）の各画素の要素は、ＲＧＢ画像データにおける各画素のＲＧＢ要素から、以下の数式（１）〜（１０）を用いて変換される。
【００２６】
Ｖｍａｘ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝・・・（１）
Ｖｍｉｎ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝・・・（２）
として、
Ｖ＝Ｖｍａｘ  ・・・（３）
Ｓ＝（Ｖｍａｘ−Ｖｍｉｎ）／Ｖｍａｘ  ・・・（４）
Ｈ＝（π／３）（ｂ−ｇ）（Ｒ＝Ｖｍａｘのとき）  ・・・（５）
Ｈ＝（π／３）（２＋ｒ−ｂ）（Ｇ＝Ｖｍａｘのとき）  ・・・（６）
Ｈ＝（π／３）（４＋ｇ−ｒ）（Ｂ＝Ｖｍａｘのとき）  ・・・（７）
【００２７】
ただし、
ｒ＝（Ｖｍａｘ−Ｒ）／（Ｖｍａｘ−Ｖｍｉｎ）  ・・・（８）
ｇ＝（Ｖｍａｘ−Ｇ）／（Ｖｍａｘ−Ｖｍｉｎ）  ・・・（９）
ｂ＝（Ｖｍａｘ−Ｂ）／（Ｖｍａｘ−Ｖｍｉｎ）  ・・・（１０）
なお、式（５）〜（７）で変換された結果、Ｈ＜０の時には、Ｈに２πを加える。また、Ｖｍａｘ＝０の時は、Ｓ＝０，Ｈ＝不定となる。
【００２８】
連結領域判定部６１では、対象画像を構成する各画素について、上述の式（１）〜（１０）で示すＨＳＶ変換処理を実行する。その後、輝度値Ｙを求め、対象画像平面に対応する輝度平面を生成する。
輝度情報Ｙの求め方は、人間の見た目と近い輝度情報を得るためには次のような算式が使用される。
Ｙ＝（０．２９９＊Ｒ＋０．５８９＊Ｇ＋０．１１４＊Ｂ）／２５５  
【００２９】
ついで、連結領域判定部６１は、上記のようにして求められた輝度平面に対して逆ガンマ補正をかけ、入出力の関係を線形に戻す。
すなわち、逆ガンマ補正後のＹ’は、輝度値Ｙを使って、
Ｙ’＝（Ｙ）γ
によって算出する。
これは、画像処理装置５０に入力された対象画像は表示装置等に対応すべくガンマ補正によって明るさ，調子，色のバランスなどの調整が行われているが、以降の画像処理を容易とするために入出力が線形となるように戻すための処理である。
【００３０】
そして、連結領域判定部６１は、このようにして得られた輝度平面Ｙ’に対して、平均化フィルタをかける。この処理によって輝度平面のノイズを除去する。例えば、ここでは３×３画素の平均化フィルタをかけるとすると、以下のようになる。
【数１】
2012185648.tif 000003
【００３１】
ここで、誤検出を減らす方法として、ＩＳＯ感度情報によって平均化フィルタサイズを変更する。これは、輝度勾配を求める直前の処理で、ＩＳＯ感度が高く、撮像画像にノイズが多く出始めるＩＳＯ１６００〜で平均化フィルタサイズを大きくするものである。ＩＳＯ感度が高いところでフィルタサイズを大きくすることで、平均化効果が大きくなり、ノイズ除去精度が向上する。したがってノイズ部分での誤検出を減らすことができる。
【００３２】
平均化フィルタがかけられた上記のＹ＿ａｖｅｒａｇｅに対して、縦方向横方向に微分フィルタをかけてそれぞれの差分Δｘｆ（ｉ，ｊ），Δｙｆ（ｉ，ｊ）を求め、下記式１によって画素の勾配（ｇｒａｄ）を計算し、これによって輝度勾配平面を得る。
【数２】
2012185648.tif 000004
輝度勾配平面では、ゴミ影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによってゴミ影のエッジ部分を検出できる。
【００３３】
また、連結領域判定部６１は、所定の閾値を設定して、輝度勾配平面を２値画像に変換する。すなわち、閾値より高い輝度勾配値を有する画素を「１」、閾値より低い輝度勾配値を有する画素を「０」と置換する。本実施形態では、閾値を０．３とする。
そして、連結領域判定部６１は、このようにして得られた２値画像から、「１」の画素が連結した領域（連結画素領域）を抽出する。連結画素領域とは、たとえば、矩形の画素の４辺の内の少なくとも１辺で連続した（４近傍の）画素領域とする。この連結画素領域が、ゴミ影による画像欠損の可能性のある領域である。
【００３４】
対象領域抽出部６２は、連結領域判定部６１によって抽出された連結画素領域の中から、ゴミ影のサイズ（大小）に基づいて補正候補領域を抽出する。
ここで、対象領域抽出部６２は、連結画素領域から補正候補領域を抽出する際において、画像欠損を生じさせるゴミ影の大きさを基準とする。
【００３５】
まず、ゴミ影の大きさ判定の基準となる方法について説明する。
ここでは、一般的なゴミのサイズである最小１００μｍ×１００μｍ〜最大４００μｍ×４００μｍのゴミによって投影されるゴミ影を検出対象とする。
【００３６】
しかし、同じゴミの場合、カメラのピクセルサイズによって写りこむゴミの大きさ（ピクセル数）が変化する。したがって、カメラ毎にサイズ閾値を決定しなくてはならない。この最小１００μｍ×１００μｍ、最大４００μｍ×４００μｍの範囲の大きさのゴミが、ピクセルサイズがαμｍ／ｐｉｘｅｌのセンサーに付いた場合の、サイズ閾値を求める。ここではゴミの１辺のサイズで考える。
【００３７】
オリジナル画像でのゴミ１辺のサイズ（ピクセル数）はおおよそ、［１００／α〜４００／α］ｐｉｘｅｌ程度である。したがって、検出したいゴミの面積（ピクセル数）は［（１００／α）２〜（４００／α）２］となる。センサーのピクセルサイズαは、α＝センサー水平方向サイズ［μｍ］／水平方向画素数［ｐｉｘｅｌ］である。
２値画像から抽出した連結領域が、ここで求めた大きさ（ピクセル数）閾値の範囲に入っていればゴミと判別し、次の判別処理へ進む。
【００３８】
上記、ゴミ影の大きさ判定の基準となる方法について説明したが、ここで、カメラの撮像素子の解像度のみから大きさ閾値を決めてしまうと、被写体部分で誤検出が発生する可能性がある。そこで、撮影時に記録される絞り値（Ｆ値）を参考に大きさ閾値をさらに変更する。一般的に、撮像画像に写りこむゴミは、絞りが開放側（Ｆ値が小さい）だと大きく薄くなり、絞りが絞られる（Ｆ値が大きい）と小さく濃くなる。この性質を利用し、前述した大きさ閾値を変更する。簡単のため大きさ閾値（ピクセル数）を［ａ〜ｂ］とすると、
Ｆ値が小さいとき（例：〜Ｆ８）    大きさ閾値  ［ａ＋（ｂ−ａ）／２〜ｂ］
Ｆ値が大きいとき（例：Ｆ８〜Ｆ３６）  大きさ閾値  ［ａ〜ａ＋（ｂ−ａ）／２］
このように設定することで、余計な誤検出が減り、ゴミ部分のみを検出の対象にすることができる。
【００３９】
さらに、Ｆ値が大きいときに検出されたごみの大きさが［ａ〜ａ＋（ｂ−ａ）／２］の範囲にあった場合は、ゴミの太さを算出する。
太さ判定は次のように行う。検出されたゴミの周囲長をＬ、ピクセル数（面積）をＳとし、仮にゴミが１辺の長さがｘの長方形だとすると以下の式が成り立つ。
【数３】
2012185648.tif 000005
このｘに関する２次方程式を解き、（Ｌ／２−ｘ）とｘの比を算出する。この比が、例えば０．５〜２の場合、ゴミが太く、被写体部分での誤検出の可能性が高い。逆に、この範囲外の場合、ゴミは細く、糸くずのような部分を検出している可能性が高い。したがって、Ｆ値が大きく、かつ、ごみの大きさが［ａ〜（ｂ−ａ）／２ｂ］の範囲にあった場合はゴミの太さ判定を行い、太いゴミを排除する。この処理によって、誤検出を減らすことができる。
【００４０】
明るさ判定部６５は、先の連結領域判定部６１において説明したＨＳＶ変換によって求められた輝度値Ｙと画像平面に対応する輝度平面とを用い、連結画素領域における内外の輝度を比較する。ここで、ゴミ影は、内部の輝度が周辺の輝度に比較して低い。このため、輝度比が小さい所定の閾値を設定し、連結画像領域の輝度比がこの閾値より小さいに場合にのみ、補正対象となり得るゴミ影であるとして補正候補領域と判定し、選択する。
【００４１】
色相判定６６は、先の連結領域判定部６１において説明したＨＳＶ変換によって、各画素の色相値Ｈを求めて画像平面に対応する色相平面を生成する。色相判定６６は、色相値Ｈと色相平面とを用い、連結画像領域における内外の色相を比較する。ここで、ゴミ影は、輝度には大きく影響するものの色相にはほとんど影響を与えず、連結画像領域の内外における色相比はほとんど１に近い。このため、１に近い所定の閾値を設定し、色相比がこの閾値より大きい場合にのみ、補正対象とすべきゴミ影であるとして補正候補領域と判定し、選択する。
【００４２】
つぎに、図６に示すフローチャートに従って、画像処理装置５０における画像欠損補正処理の流れを説明する。また、図６、図７および以下の説明中、ステップを「Ｓ」とも略記する。
【００４３】
画像処理装置５０は、メモリカード４０を介して、または、カメラ１の外部インターフェース部１８を介して入力された補正対象画像データを読み込み、１／４にリサイズし、領域を８×１６に分割する（Ｓ０１）。
【００４４】
読み込んだ対象画像データに対して、連結領域判定部６１は、ＲＧＢ画像データのＨＳＶ変換（Ｓ０２）し、色相を取り出す。
ＲＧＢから輝度Ｙを計算する（Ｓ０３）。
輝度Ｙに対して逆ガンマ補正してＹ’を求める（Ｓ０４）。
【００４５】
輝度平面Ｙ’に平均化フィルタをかける（Ｓ０５）。この平均化フィルタサイズは、ＩＳＯ感度が高く、撮像画像にノイズが多く出始めるＩＳＯ１６００〜で大きくする。
【００４６】
その後、Ｙの勾配（Ｙｇｒａｄ）を計算する（Ｓ０６）。
輝度勾配Ｙｇｒａｄが０．３以上のエリアを抽出する（Ｓ０７）。
【００４７】
続いて、連結領域判定部６１により連結画素領域を抽出する（Ｓ０８）。
さらに、抽出された連結画像領域の大きさ判定を行う（Ｓ０９）。
【００４８】
大きさ判定を図８のフローチャートで詳細に示す。
まず、絞り値が閾値（例えばＦ８）以上であるか否かを判定する（Ｓ１０１）。
絞り値が閾値以上（例えばＦ８〜Ｆ３６）であるとき（Ｓ１０１，ＹＥＳ）、次に連結領域内の画素数が［ａ〜ａ＋ｂ−ａ）／２］の範囲内かどうかを判定する（Ｓ１０２）。
Ｓ１０２において結領域内の画素数が［ａ〜ａ＋ｂ−ａ）／２］範囲内のとき（Ｓ１０２，ＹＥＳ）は補正対象領域であると判断する（Ｓ１０３）。
Ｓ１０２において結領域内の画素数が［ａ〜ａ＋ｂ−ａ）／２］範囲外のとき（Ｓ１０２，ＮＯ）、太さ判定を行う（Ｓ１０４）。
太さ判定（Ｓ１０４）においては、長さＬ／２−ｘとｘとの比（縦：横の比）が０．５〜２の範囲かどうかを判断する。この範囲内にあるときは（Ｓ１０４，ＹＥＳ）、ゴミでないと判定し、補正候補領域から排除する。またこの範囲内にないときは（Ｓ１０４，ＮＯ）、細長いゴミ影の可能性があり、補正候補領域に該当すると判定する。
【００４９】
絞り値が閾値以下（例えばＦ８以下）であるとき（Ｓ１０１，ＮＯ）、次に連結領域内の画素数が［ａ＋（ｂ−ａ）／２〜ｂ］の範囲内かどうかを判定する（Ｓ１０６）。
ここで、連結領域内の画素数が［ａ＋（ｂ−ａ）／２〜ｂ］の範囲内のときは、連結画素領域の大きさに基づいて補正候補領域に該当すると判定する（Ｓ１０３）。
また、連結領域内の画素数が［ａ＋（ｂ−ａ）／２〜ｂ］の範囲外のときは、連結画素領域の大きさに基づいて補正候補領域に該当しないと判定する（Ｓ１０５）。
【００５０】
補正候補領域に該当する場合、図６に戻り、さらにステップ１０で、明るさ判定部６５によって、連結画素領域における内外の輝度比に基づいて補正候補領域に該当するか否かを判定する（Ｓ１０）。
ステップ１１では、色相判定部６６によって、連結画素領域における内外の色相比に基づいて補正候補領域に該当するか否かを判定する。
【００５１】
さらに、ステップ１２で、誤検出排除部６７によって、連結画素領域が明るいエリアにあり、且つ、領域周辺の輝度標準偏差が小さく、補正候補領域に該当するか否かを判定する。
【００５２】
そして、ステップ１３において、上記ステップにおいて補正候補領域と判定されたものについて欠損の補正を行う。
【００５３】
以上、本実施形態によると、以下の効果を有する。
（１）本実施形態では、誤検出を減らす方法として、ＩＳＯ感度情報によって平均化フィルタサイズを変更する。フィルタサイズを大きくすることで平均化効果が大きくなってノイズ除去精度が向上し、ノイズ部分での誤検出を減らすことができる。
【００５４】
（２）カメラ毎にゴミのサイズ閾値を決定しているので、カメラのピクセルサイズが異なっても、適切なサイズのゴミを検出することができる。
【００５５】
（３）カメラの撮像素子の解像度のみから大きさ閾値を決めてしまうと、被写体部分で誤検出が発生する可能性がある。しかし、本実施形態によると、Ｆ値によりゴミと判断するサイズを変更しているので、余計な誤検出が減り、ゴミ部分のみを検出の対象にすることができる。
【００５６】
（４）絞り値が大きい場合にゴミサイズが閾値以下であっても、ゴミの太さ判断を行い、細いものはゴミの可能性ありと判断しているので、細く、糸くずのようなゴミの検出漏れを防止することが出来る。
【００５７】
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
【００５８】
（１）上記実施形態では、電子スチルカメラであるカメラ１で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【００５９】
（２）上記実施の形態では、電子スチルカメラであるカメラ１で撮影した画像データをＰＣ（パソコン）３１で処理してゴミの影響を除去する例を説明したが、この内容に限定するものではない。電子カメラ１にそのようなプログラムを備えてもよい。また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。
【００６０】
（３）ＰＣ３１で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００６１】
１：カメラ、１２：光学フィルタ、１３：撮像素子、１７：メモリカード用インターフェース部、１８：外部インターフェース部、３０：パーソナルコンピュータ（ＰＣ）、３３：ＣＤ−ＲＯＭ、４０：メモリカード、５０：画像処理装置、５１：補正部、６０：欠損判定部、６１：連結領域判定部、６２：対象領域抽出部、６３：Ｆ値判定部、６４：太さ判定部、６５：明るさ判定部、６６：色相判定部、６７：誤検出排除判定部
【図１】
2012185648.tif 000006
【図２】
2012185648.tif 000007
【図３】
2012185648.tif 000008
【図４】
2012185648.tif 000009
【図５】
2012185648.tif 000010
【図６】
2012185648.tif 000011
【図７】
2012185648.tif 000012