(57)【要約】  【課題】赤目等の画像中の特定領域の補正を適正に行うことができる画像処理方法および装置、これら実行するプログラムを提供する。  【解決手段】画像から検出した特定領域の信頼度、および、画像から検出した顔領域の信頼度を用いて、前記特定領域の補正強度を設定し、設定した補正強度に応じて、前記画像から検出もしくは指定された特定領域の補正を行うことにより、前記課題を解決する。【選択図】図３
2005286830.tif 000002
【特許請求の範囲】
【請求項１】
画像中の特定領域を補正するに際し、
画像から検出もしくは画像中で指定された特定領域の信頼度、および、画像から検出した顔領域の信頼度を用いて、前記特定領域の補正強度を設定し、設定した補正強度に応じて、前記画像から検出もしくは指定された特定領域の補正を行うことを特徴とする画像処理方法。
【請求項２】
前記特定領域が赤目であり、前記補正が赤目補正処理である請求項１に記載の画像処理方法。
【請求項３】
画像中の顔に存在し得る特定領域を補正する画像処理装置であって、
画像中の特定領域を指定する特定領域指定手段および画像中から特定領域を検出する特定領域検出手段の少なくとも一方と、
前記画像中から顔領域を検出する顔検出手段と、
前記指定もしくは検出された特定領域の信頼度、ならびに、前記検出された顔領域の信頼度を検出する信頼度検出手段と、
前記信頼度検出手段による信頼度の検出結果に応じて、前記特定領域の補正強度を設定する強度設定手段と、
前記強度設定手段が設定した補正強度に応じて、前記特定領域の補正処理を行う補正手段とを有することを特徴とする画像処理装置。
【請求項４】
前記特定領域が赤目であり、前記補正が赤目補正処理である請求項３に記載の画像処理装置。
【請求項５】
画像中の顔に存在し得る特定領域を補正する画像処理のプログラムであって、
画像中の特定領域を指定させる特定領域指定手段、および、画像中から特定領域を検出する特定領域検出手段の少なくとも一方、
前記画像中から顔領域を検出する顔検出手段、
前記指定もしくは検出された特定領域の信頼度、ならびに、前記検出された顔領域の信頼度を検出する信頼度検出手段、
前記信頼度検出手段による信頼度の検出結果に応じて、前記特定領域の補正強度を設定する強度設定手段、
および、前記強度設定手段が設定した補正強度に応じて、前記特定領域の補正処理を行う補正手段、をコンピュータに実行させることを特徴とするプログラム。
【請求項６】
前記特定領域が赤目であり、前記補正が赤目補正処理である請求項５に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真フィルムに撮影された画像やデジタルカメラで撮影された画像から、赤目等の顔領域に存在し得る特定領域を検出して、必要な補正を行う画像処理の技術分野に属し、詳しくは、画像異常を生じることなく、赤目補正等を行うことができる画像処理方法および画像処理装置、ならびに、これらを実行させるプログラムに関する。
【背景技術】
【０００２】
近年、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力するデジタルフォトプリンタが実用化されている。
デジタルフォトプリンタでは、フィルムに撮影された画像を光電的に読み取って、画像をデジタルの画像データとして、画像の処理や感光材料の露光を行う。そのため、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像（画像データ）からも、プリントの作成を行うことができる。
【０００３】
また、近年のパーソナルコンピュータ（ＰＣ）やデジタルカメラ、さらにはインクジェットプリンタなどの安価なカラープリンタの普及に伴い、デジタルカメラで撮影した画像をＰＣに取り込み、画像処理を施してプリンタで出力するユーザも多い。
さらに、近年では、デジタルカメラで撮影した画像を記憶した光磁気記録媒体（ＭＯなど）、小型半導体記憶メディア（スマートメディアＴＭやコンパクトフラッシュＴＭなど）、磁気記録メディア（フレキシブルディスクなど）、光ディスク（ＣＤやＣＤ−Ｒなど）等の記憶媒体から、直接的に画像データを読み取り、所定の画像処理を施して、プリント（ハードコピー）を出力するプリンタも実用化されている。
【０００４】
ところで、ポートレート等の人物を含む画像において、画質を左右する最も重要な要素は人物の仕上りである。従って、撮影時のストロボ発光の影響によって、人物の目（瞳）が赤くなる赤目現象は、重大な問題となる。
従来のフィルムから直接的に露光を行うフォトプリンタでは、赤目の補正は非常に困難である。しかしながら、デジタルフォトプリンタ等のデジタルの画像処理であれば、画像処理（画像解析）によって赤目を検出し、この赤目領域の輝度や彩度を補正することによって、赤目の補正を行うことができる。
【０００５】
赤目補正方法としては、一例として、オペレータによって領域を指定させ、この領域から赤目領域を検出して、彩度や明度の補正を行う方法が知られている。
例えば、特許文献１には、赤目領域（色調不良の目領域）を含む指定領域の画素の色相、彩度、明度等を組み合わせて画像特徴量を求め、前記指定領域をｘ−ｙ平面、前記画像特徴量を前記平面に対するｚ軸とする山状分布形状を作成して、この山状分布形状の形状情報、位置情報、面積情報、統計的画像特徴量等を用いて赤目領域を検出して、補正を行う画像処理が開示されている。
【０００６】
また、全自動での赤目補正を可能にする方法として、画像中から顔を検出し、次いで検出した顔の中から目の検出や赤い丸の検出を行い、補正を行う方法も知られている。この際には、適正な赤目補正を行うためには、顔検出の精度が重要となる。
このような顔検出を行う方法として、例えば、特許文献２には、画像から人物の顔に相当すると推定される候補領域を検出し、この候補領域を所定数の小領域に分割して、小領域毎に濃度や輝度の変化の頻度および大きさ関連する特徴量を求め、予め作成した人物の顔に相当する領域を前記所定数に分割した際における各小領域の特徴量の関係を表すパターンと、前記特徴量とを照合することにより、顔候補領域の角度を評価して、顔検出の精度を向上する方法が開示されている。
【０００７】
また、特許文献３には、画像から人物の顔に想到すると推定される候補領域を検出し、この顔候補領域の濃度が所定範囲で有る場合に、この顔候補領域を基準として胴体と推定される領域を設定し、設定した胴体領域と顔候補領域との濃度差が所定値以下の領域の有無に基づいて、もしくは、顔候補領域および胴体候補領域の濃度や彩度のコントラストに基づいて、顔候補領域の検出結果の確度を評価して、顔検出の精度を向上する方法が開示されている。
【０００８】
さらに、特許文献４には、画像から人物の顔に想到すると推定される候補領域を検出し、検出した候補領域のうち、画像中で他の候補領域と重複している候補領域について重複度を求め、この重複度が高い領域ほど顔領域である確度を高いと評価することにより、顔検出の精度を向上する方法が開示されている。
【０００９】
【特許文献１】特開２０００−７６４２７号公報
【特許文献２】特開２０００−１３７７８８号公報
【特許文献３】特開２０００−１４８９８０号公報
【特許文献４】特開２０００−１４９０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
通常の赤目補正処理では、このようにしてオペレータの入力指示に応じて検出した赤目領域、顔検出や赤目検出（赤い円領域検出）等に応じて検出した赤目領域に対して、例えば、彩度や明度を低減することにより、赤目の補正を行う。
ところが、このような補正方法では、必ずしも、適正な赤目補正処理を行うことができず、逆に、画像異常を起こしてしまう場合もある。
【００１１】
オペレータによる領域指定は、通常、ディスプレイ表示を用いるＧＵＩ（Graphical User Interface）によって行われる。ここで、撮影画像中の顔が小さい場合（赤目領域の解像度が低い場合）などは、適正な赤目の判定は困難であり、未熟なオペレータでは、赤目を発生していない領域を赤目と判断して、誤った指示を行ってしまう場合もある。
また、画像処理による画像中からの顔検出や赤目検出も、必ず適正に行われる訳ではなく、顔では無い領域を顔と検出し、また、赤目では無い領域を赤目と検出する、いわゆる誤検出を行ってしまう場合も、少なくない。
さらに、色（赤の度合い）や明度など、赤目の状態も画像によって様々である。
【００１２】
そのため、従来の赤目補正処理のように、指定された赤目や検出した赤目に対して、一概に補正処理を行ってしまうと、赤目では無い部分を補正して画像中に存在しない黒点が生じてしまう、目の色が濃すぎる（過剰補正）、逆に目の色が薄すぎる（補正不足）など、画像異常が発生し、かえって不適正な画像や違和感のある画像になってしまう場合も少なく無かった。
【００１３】
本発明の目的は、前記従来技術の問題点を解決することにあり、画像中の赤目など、画像中の顔領域に存在し得る特定領域を検出して必要な補正を行うに際し、例えば赤目補正であれば、赤の度合いや色相、明度の異なる様々な状態の赤目などに好適に対応でき、かつ、顔領域や赤目領域等の誤指示や誤検出などにも好適に対応することができ、赤目の過剰補正や補正不足、赤目以外の不要な領域の誤補正等に起因する画像異常の無い、高画質な画像を安定して得ることを可能にする画像処理方法および画像処理装置、ならびに、これらを実行するためのプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
前記目的を達成するために、本発明の画像処理方法は、画像中の特定領域を補正するに際し、画像から検出もしくは画像中で指定された特定領域の信頼度、および、画像から検出した顔領域の信頼度を用いて、前記特定領域の補正強度を設定し、設定した補正強度に応じて、前記画像から検出もしくは指定された特定領域の補正を行うことを特徴とする画像処理方法を提供する。
【００１５】
また、本発明の画像処理装置は、画像中の顔に存在し得る特定領域を補正する画像処理装置であって、画像中の特定領域を指定する特定領域指定手段および画像中から特定領域を検出する特定領域検出手段の少なくとも一方と、前記画像中から顔領域を検出する顔検出手段と、前記指定もしくは検出された特定領域の信頼度、ならびに、前記検出された顔領域の信頼度を検出する信頼度検出手段と、前記信頼度検出手段による信頼度の検出結果に応じて、前記特定領域の補正強度を設定する強度設定手段と、前記強度設定手段が設定した補正強度に応じて、前記特定領域の補正処理を行う補正手段とを有することを特徴とする画像処理装置を提供する。
【００１６】
さらに、本発明のプログラムは、画像中の顔に存在し得る特定領域を補正する画像処理のプログラムであって、画像中の特定領域を指定させる特定領域指定手段、および、画像中から特定領域を検出する特定領域検出手段の少なくとも一方、前記画像中から顔領域を検出する顔検出手段、前記指定もしくは検出された特定領域の信頼度、ならびに、前記検出された顔領域の信頼度を検出する信頼度検出手段、前記信頼度検出手段による信頼度の検出結果に応じて、前記特定領域の補正強度を設定する強度設定手段、および、前記強度設定手段が設定した補正強度に応じて、前記特定領域の補正処理を行う補正手段、をコンピュータに実行させることを特徴とするプログラムを提供する。
【００１７】
このような本発明の画像処理方法、特定領域処理装置、およびプログラムにおいて、前記特定領域が赤目であり、前記補正が赤目補正処理であるのが好ましい。
【発明の効果】
【００１８】
上記構成を有する本発明は、写真フィルムに撮影された画像（その画像データ）やデジタルカメラで撮影された画像（同前）などから、赤目やニキビなどの画像中の顔領域に存在する特定領域を検出し（あるいは指示され）、必要に応じた補正を行うにものであり、例えば、赤目補正であれば、顔検出および赤目検出を行って、両検出結果の信頼度に応じて、検出した赤目領域の補正の有無、補正時における補正強度を決定する。
そのため、赤目領域では無い部分の誤補正を低減し、さらに、赤目の程度の弱い領域に対する過剰補正（例えば、補正後の濃度が濃すぎる）、強い赤目領域や金目に対する補正の補正不足（例えば、補正後の濃度が薄すぎる）等の不適正な補正を大幅に低減することもできる。従って、本発明によれば、特定領域の誤補正、過剰補正や補正不足等に起因する画像異常の無い、高画質な画像を安定して出力することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の画像処理方法、画像処理装置、およびプログラムについて、添付の図面に示される好適実施例を基に、詳細に説明する。
なお、以下の説明は、画像中の顔領域に存在し得る特定領域として、赤目を検出して補正する場合を例に説明するが、本発明は、これに限定されない。
【００２０】
図１に、本発明の画像処理方法および画像処理装置を利用する赤目補正装置の一例をブロック図で概念的に示す。また、本発明のプログラムは、以下に説明する処理を実行させるプログラムである。
図１に示す赤目補正装置１０（以下、補正装置１０とする）は、入力された処理対象画像（以下、対象画像とする）から特定領域として赤目を検出して、検出した赤目領域に補正を行って出力するもので、基本的に、赤目検出手段１２と、顔検出手段１４と、検出情報処理手段１６と、強度設定手段１８と、赤目補正手段２０とを有して構成される。
このような補正装置１０は、一例として、パーソナルコンピュータ、ワークステーションなどのコンピュータや、ＤＳＰ（Digital Signal Processor）等を利用して構成される。また、補正装置１０は、色／濃度補正、階調補正、電子変倍処理、シャープネス処理等の各種の画像処理を行う画像処理装置（手段）に組み込まれるものであってもよい。
【００２１】
本発明の補正装置１０において、赤目補正を行う対象画像は、カラー画像であれば特に限定はなく、例えば、カメラによって写真フィルムに撮影された画像（画像を撮影された写真フィルムを光電的に読み取って得られた画像データ）や、デジタルカメラで撮影された画像（画像データ）であってもよい。また、対象画像は、撮影された画像そのものではなく、必要に応じて各種の画像処理を施された画像（画像データ）であってもよいのは、もちろんである。
【００２２】
補正装置１０において、対象画像は、赤目検出手段１２、顔検出手段１４、情報処理手段１６、および赤目補正手段２０に供給される。
赤目検出手段１２は、対象画像中から、赤目領域（赤目である可能性を有する領域）を検出して、赤目領域の位置情報（中心の座標位置情報）、赤目の領域情報、個数の情報等を、赤目の検出情報として赤目補正手段２０および情報処理手段１６に供給する。
【００２３】
赤目検出手段１２における赤目領域の検出（以下、赤目検出とする）は、公知の赤目検出方法が各種利用可能であり、特に限定はない。
一例として、赤色の色相で、かつ、所定画素数以上が集まっている領域を抽出し、予め多数の赤目の画像サンプルから設定した、赤目度（どの程度赤目らしい色か）および円形度（どの程度丸いか）を用い、赤目度および円形度が閾値を超えた領域を、赤目である可能性を有する赤目領域として検出する方法が例示される。また、前記特許文献１に開示される、オペレータによる領域指示に応じた赤目検出を行ってもとい。
【００２４】
顔検出手段１４は、対象画像中から、顔領域（顔である可能性を有する領域）を検出して、顔領域の位置情報（中心の座標位置情報）や領域情報等を、顔の検出情報として情報処理手段１６に供給する。
【００２５】
顔検出手段１４における顔領域の検出（以下、顔検出とする）も、公知の顔検出方法が各種利用可能であり、特に限定はない。
一例として、例えば肌色抽出等によって顔候補領域を抽出し、多数の顔の画像サンプルから予め作成した平均的な顔画像（学習画像）いわゆる顔のテンプレートを用いて、画像中の顔候補領域とのマッチング（一致度の確認）を、順次、行って、顔検出を行う方法が例示される。
また、特開平８−１８４９２５号や特開平９−１３８４７１号の各公報に開示される、エッジ（輪郭）抽出やエッジ方向の抽出による形状認識、肌色抽出や黒抽出等の色抽出を組み合わせた方法等も利用可能である。さらに、前記特許文献２〜４に開示される各種の顔検出方法も、好適に利用可能である。
【００２６】
なお、本発明において、赤目検出手段１２および顔検出手段１４での対象画像からの赤目検出および顔検出は、並行して行ってもよく、あるいは、予め設定した所定の順番で、順次、行ってもよい。
ここで、顔検出と赤目検出とを、順番に行う場合には、後に行う検出処理は、画像全体に対して行うのではなく、先の検出結果に応じて、検出できる可能性を有する領域のみに対して、対象物の検出を行うようにして、処理時間の短縮を図ってもよい。
例えば、先に顔検出を行って、顔を検出できた領域のみで赤目検出を行うことにより、対象画像中における赤目検出対象となる領域を削減する方法が例示される。あるいは、逆に、先に赤目検出を行い、赤目が検出できた領域を含む周辺領域のみで顔検出を行うことにより、顔検出の処理量を低減する方法も好適である。通常は顔検出は演算量が多く、時間がかかるので、顔検出の処理量を低減できる後者の方法は、好適である。
【００２７】
情報処理手段１６は、赤目検出手段１２から供給された赤目検出情報、顔検出手段１４から供給された顔検出情報、および対象画像を用い、赤目検出手段１２が検出した各赤目領域毎に、赤目信頼度ＲＴと顔信頼度ＦＴとを算出し、強度設定手段１８に供給する。
なお、本発明においては、対象画像を情報処理手段１６に供給せずに、各検出情報に加え、赤目検出手段１２が検出した赤目領域の画像データを、顔検出手段１４が検出した顔領域の画像データを、それぞれ情報処理手段１６に供給し、以下に示す赤目信頼度ＲＴおよび顔信頼度ＦＴの算出を行ってもよい。
【００２８】
赤目信頼度ＲＴは、赤目検出手段１２が検出した赤目領域が、赤目である可能性の高さ（赤目らしさ）を示すものであり、ある一定以上の赤色成分を有する円形の領域であることを示す度合いである。
図示例においては、赤目信頼度ＲＴは、例えば８ビット（０〜２５５）のデータで表現され、ある一定以上の赤色成分が円形に近い状態で集合している領域ほど、赤目信頼度ＲＴは２５５に近い値となる。なお、一定以上の赤色成分は、例えば、多数の赤目サンプル画像を用いて設定すればよく、円形に近いか否かは、前記円形度を利用すればよい。
【００２９】
一方、顔信頼度ＦＴは、赤目検出手段１２が検出した赤目領域が存在する領域が、顔である可能性の高さ（赤目領域が存在する領域の顔らしさ）を示すものであり、赤目領域の存在領域が、肌色成分、目や鼻や口等の顔構造成分を持つ円形の領域であることを示す度合いである。顔信頼度ＦＴは、例えば、多数の顔サンプル画像から予め設定した基準的な顔（例えば、前述の顔のテンプレートを用いてもよい）を用い、色、構造、形状等が，この基準顔に近い顔領域ほど、高くなる。
図示例においては、顔信頼度ＦＴも、例えば８ビット（０〜２５５）のデータで表現され、基準顔に近いほど顔信頼度ＦＴは２５５に近い値となる。なお、本発明において、赤目信頼度ＲＴおよび顔信頼度ＦＴの表現方法は、８ビットのデータに限定はされず、例えば１０ビットのデータでもよく、これ以外にも、各種の表現方法が利用可能である。
【００３０】
このような赤目信頼度ＲＴおよび顔信頼度ＦＴは、例えば、画像処理を用いた公知の画像マッチング（画像の一致度検出）技術を用いて、算出もしくは導出すればよい。
例えば、多数の赤目サンプル画像から学習して作成した赤目テンプレートや前述の顔テンプレートを用いて、画像中の候補領域とのマッチング（一致度の確認）を行って、予め設定したテンプレートと候補画像との一致度に対応する段階的な閾値などを用いて、赤目信頼度ＲＴや顔信頼度ＦＴを算出する方法が例示される。
あるいは、前記特開平８−１８４９２５号や特開平９−１３８４７１号の各公報に開示される、エッジ抽出等による形状認識や、肌色抽出等の色抽出を行う顔検出方法において、認識した形状と予め設定した顔形状との一致度や肌色の一致度等に対応する、段階的な閾値を用いて、顔信頼度ＦＴを算出する方法も利用可能である。なお、この方法は、赤目信頼度ＲＴの算出にも利用可能である。
【００３１】
強度設定手段１８は、情報処理手段１６から供給された赤目信頼度ＲＴおよび顔信頼度ＦＴを用いて、赤目検出手段１２が検出した各赤目領域毎に、赤目補正の実行／非実行を決定し、さらに、赤目補正を実行する際には、各赤目領域毎に赤目補正の強度（以下、補正強度とする）を設定する。
【００３２】
図示例においては、強度設定手段１８は、赤目信頼度ＲＴおよび顔信頼度ＦＴに応じて、赤目である可能性が低い場合には、その赤目領域には補正を行わず、もしくは補正強度（補正量）を低下させて、積極的な赤目補正を行わないようにする。
後述するが、図示例においては、顔信頼度ＲＴが設定した閾値を超えない場合には、その赤目領域は顔上に存在しないと判断して赤目補正を行わない。また、顔信頼度ＲＴが或る一定の閾値を超えるものの、赤目信頼度ＲＴが設定した閾値を超えない場合には、その赤目領域は軽度の赤目や赤目では無いと判断し、補正強度を弱くし、あるいは、赤目補正を行わない。
【００３３】
図２に、赤目信頼度ＲＴと顔信頼度ＦＴとの関係を模式的に示す。
この図において、エリアａは、顔上の赤目領域や、目尻や唇などの顔上の赤い領域など、顔領域に存在する赤い円形領域である。従って、このエリアａに属する赤目領域は、赤目である可能性が高く、赤目補正の対象領域となる。
エリアｂは、赤い光源、赤い物体の円形領域などや、帽子等を被った人物や横顔などの変形顔や隠れ顔上の赤い円形領域であり、赤い円形領域ではあるものの、それが顔領域に存在している可能性が低い領域である。従って、このエリアｂに属する赤目領域は、顔には存在しないすなわち赤目では無い可能性が高い領域であり、非補正対象領域となる。
エリアｃは、背景や顔以外のシーン、かつ赤以外の領域のシーンなど、赤い円形領域である可能性も、顔領域に存在している可能性も低い領域である。従って、このエリアｃに属する赤目領域は、赤目である可能性は極めて低い領域であり、非補正対象領域となる。
エリアｄは、顔上の目（黒目、金目）やその他の顔の部分など、顔領域には存在しているが、赤い円形領域を含んでいな領域である。従って、このエリアｄに属する赤目領域は、明確な赤目である可能性は低いが、金目や程度の軽い赤目等である可能性が有り、補正対象領域となる。
【００３４】
赤目補正手段２０は、強度設定手段１８が設定した赤目補正の実行／非実行および補正強度に応じて、赤目領域の赤目補正を行うものである。赤目補正手段２０による赤目補正の方法には特に限定はなく、彩度および明度を落すことによる赤目補正、色変換や濃度変換による赤目補正、画素の入れ換えによる赤目補正等、公知の各種の方法が利用可能である。
図示例においては、赤目補正手段２０は、赤目領域の彩度および明度を落すことにより、赤目補正を行う。従って、補正強度が強い赤目領域は、彩度および明度を大きく落とし、補正強度が弱い領域は、彩度および明度の落とし加減を小さくする。
【００３５】
以下、図３に示すフローチャートを参照して、補正装置１０の作用の一例を説明することにより、本発明について、より詳細に説明する。
【００３６】
前述のように、赤目検出手段１２による赤目検出情報、および、顔検出手段１４による顔検出情報は、情報処理手段１６に供給される。
情報処理手段１６は、前述のように、赤目検出情報および顔検出情報から、検出された各赤目領域について、顔信頼度ＦＴおよび赤目信頼度ＲＴを算出し、強度設定手段１８に供給する。
【００３７】
強度設定手段１８には、顔信頼度閾値α、ならびに、赤目信頼度閾値βおよびγが設定されており、各赤目領域（その画素）について、顔信頼度ＦＴや赤目信頼度ＲＴが閾値を超えているか否かを見て、赤目補正処理の実行／非実行、および、赤目補正処理の補正強度を設定する。
【００３８】
強度設定手段１８は、まず、赤目領域の顔信頼度ＦＴが顔信頼度閾値α１以上か否かを見る。
この顔信頼度閾値α１は、確実に顔では無いと判断できる閾値である。従って、顔信頼度ＦＴが顔信頼度閾値α１未満の赤目領域は、顔には存在せず、すなわち赤目では無いと判断して赤目補正対象から除外する。
【００３９】
次いで、強度設定手段１８は、顔信頼度ＦＴが顔信頼度閾値α１以上の赤目領域について、顔信頼度ＦＴが顔信頼度閾値αｎ以上か否かを見る。
この顔信頼度閾値αｎは、顔である可能性が高いと判断できる閾値である。従って、顔信頼度閾値ＦＴが顔信頼度閾値αｎを超えている赤目領域は、赤目補正対象となる。
【００４０】
顔信頼度ＦＴが顔信頼度閾値αｎ未満の赤目領域については、次いで、赤目信頼度ＲＴが赤目信頼度閾値γ以上か否かを判断する。赤目信頼度閾値γは、赤目として検出されたものの、確実に赤目では無いと判断できる閾値である（すなわち、低いレベルの赤目判定閾値である）。
従って、赤目信頼度ＲＴが赤目信頼度閾値γ未満の赤目領域については、赤目では無いと判断して、赤目補正対象から除外する。他方、赤目信頼度ＲＴが赤目信頼度閾値γ以上の赤目領域は、赤目である可能性は低いものの、顔に存在する赤目や金目である可能性を残す領域であり、強度設定手段１８は、極めて弱い強度で赤目補正を行うように、補正強度を算出する。
【００４１】
一方、強度検出手段１８は、顔信頼度ＦＴが顔信頼度閾値αｎ以上の赤目領域については、次いで、赤目信頼度閾値β（β１、β２……βｎ）を用い、各赤目領域について、赤目信頼度ＲＴが各閾値を超えるか否かを、順次、判定し、それに応じて赤目補正の補正強度を設定していく。
赤目信頼度閾値βは、１からｎまで、順次、レベルか低くなる閾値であり、赤目信頼度ＲＴが赤目信頼度閾値β１以上の赤目領域は赤目である可能性（赤目らしさ）が最も高く、以下、閾値に応じて赤目である可能性は低くなり、赤目信頼度ＲＴが赤目信頼度閾値βｎ未満の赤目領域は、赤目である可能性が最も低く、軽度の赤目や金目などである可能性が高い。
従って、強度設定手段１８は、赤目信頼度ＲＴが赤目信頼度閾値β１以上の赤目領域は最も強い赤目補正強度を設定し、同赤目信頼度閾値β２以上の赤目領域は次に強い赤目補正強度を設定し、……同赤目信頼度閾値βｎ以上の赤目領域は弱い赤目補正強度を設定し、同赤目信頼度閾値βｎ以上の赤目領域はより弱い赤目補正強度を設定する。
【００４２】
次いで、赤目補正手段２０が、赤目検出手段１２が検出した赤目領域について、強度設定手段１８による赤目補正の実行／非実行、および赤目補正の強度に応じて、赤目補正量を算出し、対象画像の各赤目領域の赤目補正を行って、赤目補正画像（出力画像）を生成し、出力する。
赤目補正手段２０は、一例として、デフォルトで設定された赤目補正量、シーンの解析結果、および、強度設定手段１８が設定した赤目補正強度に応じて、赤目補正量すなわち
彩度および明度の調整値を算出し、この赤目補正量に応じて、赤目補正対象となっている赤目領域について赤目補正（彩度／明度の低減）を行って、赤目補正画像を生成する。
なお、本発明において、赤目補正量の算出は、デフォルトの赤目補正量および／またはシーンの解析結果を用いるのに限定はされず、例えば、強度設定手段１８が設定した赤目補正強度のみを用いて、各赤目領域の赤目補正量を算出してもよい。
【００４３】
以上の説明より明らかなように、本発明によれば、検出（あるいは指示された）した顔領域および赤目領域の信頼度に応じて、各赤目領域毎に赤目補正の実行／非実行、および補正強度を決定するので、赤目領域では無い部分の誤補正を低減し、さらに、赤目の程度の弱い領域に対する過剰補正、強い赤目領域や金目に対する補正の補正不足等の不適正な補正を大幅に低減できる。
従って、本発明によれば、赤目の誤補正、過剰補正や補正不足等に起因する画像異常の無い、高画質な画像を安定して出力することができる。
【００４４】
本発明においては、顔信頼度閾値および赤目信頼度閾値に応じた判断は、図示例のように複数段に限定はされず、いずれか一方もしくは両者が１段の判断のみを行うものであってもよい。
しかしながら、より正確な赤目の判断を行うためには、図示例のように両者共に複数段の閾値で判断を行うのが好ましく、また、例えば、確実に顔／赤目では無いと判断できる閾値から、確実に顔／赤目で有ると判断できる閾値までを設けてもよい。さらに、赤目と金目とを分けるような制御や判断を設けてもよい。
【００４５】
また、赤目補正の強度設定は、赤目信頼度ＲＴおよび顔信頼度ＦＴのみから設定するのに限定はされず、これらに加え、各種の情報を用いて設定してもよい。
例えば、顔検出によって検出した顔のサイズに応じて、補正強度を変化してもよい。一般的な写真において、顔サイズが大きい場合には、主要被写体である可能性が高いので、この顔に存在する赤目領域は、確実に補正できるように補正強度を強くしてもよい。
さらに、検出した顔領域の色情報に応じて、より適正な赤目補正が行えるように補正強度を制御してもよい。
【００４６】
さらに、赤目補正を行った対象画像をディスプレイ等に表示して、オペレータによる入力指示等に応じて赤目補正強度を変更して、よりユーザの好み等に応じた赤目補正等を行ってもよく、さらに、何段階の補正強度の異なる複数の赤目補正結果をディスプレイに表示して、適宜、選択できるようにしてもよい。
【００４７】
以上、本発明の画像処理方法、画像処理装置、およびプログラムについて詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。
【００４８】
例えば、以上の例は、本発明を赤目補正に利用した例であるが、本発明は、これに限定はされず、目じり、ニキビ、ホクロ、しわ等、画像中の顔領域に存在し得る各種の物を特定領域として、画像中から例えばニキビを検出し、その周辺で顔検出を行い、検出したニキビや顔の信頼度を用いて補正処理の強度を設定して、ニキビの補正を行うようにしてもよい。
この際における特定領域候補の検出方法は、例えば、検出対象となる特定領域に固有の色や形状を有する領域を画像中から検出する方法、検出対象となる特定領域の多数の画像サンプルから学習して作成したテンプレートを用いてマッチングを行う方法等、公知の方法によればよい。また、信頼度も、前記顔信頼度等と同様に、例えば予め設定した基準画像とのマッチング等を行って、一致度を見て算出すればよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の画像処理装置を赤目補正装置に利用した一例を概念的に示すブロック図である。
【図２】本発明による赤目補正を説明するための概念図である。
【図３】図１に示す赤目補正装置における赤目補正の一例を説明するためのフローチャートである。
【符号の説明】
【００５０】
１０  （赤目）補正装置
１２  赤目検出手段
１４  顔検出手段
１６  情報処理手段
１８  強度設定手段
２０  赤目補正手段
【図１】
2005286830.tif 000003
【図２】
2005286830.tif 000004
【図３】
2005286830.tif 000005