(57)【要約】【課題】赤目補正処理の効率的処理を実現する構成を提供する。【解決手段】赤目補正をする画像から抽出される顔画像の赤目発生確率を示す［スコアＳ］と、赤目補正成功確率を示す［スコアＴ］を算出し、これらのスコアに基づいて補正処理の優先順位を設定して、優先順位に従って、赤目検出処理を実行して、赤目検出がなされた目のみの赤目補正を実行する。本構成により、無駄な赤目検出処理が大幅に削減され、効率的な赤目画像の検出および補正処理を実行することが可能となる。また、赤目補正成功率の高い顔画像の選定を行なうことで、赤目補正の成功率を高めた処理が実現される。【選択図】図１
2008217525.tif 000002
【特許請求の範囲】
【請求項１】
赤目補正処理を実行する画像処理装置であり、
入力画像から顔領域を検出する顔検出部と、
前記入力画像から顔領域画像を含む切り出し画像を生成する画像切り出し部と、
前記画像切り出し部の生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データとしての特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアを算出する赤目発生確率判定部と、
前記画像切り出し部の生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データ特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアを算出する赤目補正成功確率判定部と、
前記赤目補正成功確率判定スコアに基づいて、赤目補正を実行する顔の優先順位を決定する赤目補正優先順位決定部と、
前記赤目補正優先順位決定部において決定した優先順位に従って赤目検出処理を実行する赤目検出部と、
前記赤目検出部において検出された赤目の補正処理を実行する赤目補正処理実行部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像切り出し部は、
（１）顔領域画像
（２）顔周辺を含む画像
（３）画像全体画像
これらの切り出し画像を生成する構成であり、
前記赤目発生確率判定部、および前記赤目補正成功確率判定部は、上記各切り出し画像を適用した学習データ特徴量との比較処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
赤目補正成功確率判定部は、
前記赤目発生確率判定部において算出された前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアが予め定めた閾値以上である顔のみを対象として、各顔に対応する赤目補正成功確率判定スコアを算出する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記赤目補正優先順位決定部は、
前記赤目補正成功確率判定部において算出された前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアが予め定めた閾値以上である顔のみを対象として、赤目補正成功確率判定スコアの順に、赤目補正を実行する顔の優先順位の決定を行なう構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記赤目補正優先順位決定部は、
前記赤目発生確率判定部において算出された各顔に対応する赤目発生確率判定スコア［スコアＳ］と、
前記赤目補正成功確率判定部において算出された各顔に対応する赤目補正成功確率判定スコア［スコアＴ］に基づいて、
総合スコアＫを、
Ｋ＝Ｓ×Ｔ
上記式に従って算出し、算出した総合スコアＫの順に、赤目補正を実行する顔の優先順位の決定を行う構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
撮像装置であり、
画像の撮影を実行する撮像部と、
前記撮像部において撮影された撮影画像から顔領域を検出する顔検出部と、
前記撮影画像から顔領域画像を含む切り出し画像を生成する画像切り出し部と、
前記画像切り出し部の生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データとしての特徴量との比較処理により、前記撮影画像に含まれる各顔に対応する赤目発生確率判定スコアを算出する赤目発生確率判定部と、
前記画像切り出し部の生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データ特徴量との比較処理により、前記撮影画像に含まれる各顔に対応する赤目補正成功確率判定スコアを算出する赤目補正成功確率判定部と、
前記赤目補正成功確率判定スコアに基づいて、赤目補正を実行する顔の優先順位を決定する赤目補正優先順位決定部と、
前記赤目補正優先順位決定部において決定した優先順位に従って赤目検出処理を実行する赤目検出部と、
前記赤目検出部において検出された赤目の補正処理を実行する赤目補正処理実行部と、
を有することを特徴とする撮像装置。
【請求項７】
画像処理装置において、赤目補正処理を実行する画像処理方法であり、
顔検出部が、入力画像から顔領域を検出する顔検出ステップと、
画像切り出し部が、前記入力画像から顔領域画像を含む切り出し画像を生成する画像切り出しステップと、
赤目発生確率判定部が、前記画像切り出しステップにおいて生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データとしての特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアを算出する赤目発生確率判定ステップと、
赤目補正成功確率判定部が、前記画像切り出しステップにおいて生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データ特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアを算出する赤目補正成功確率判定ステップと、
赤目補正優先順位決定部が、前記赤目補正成功確率判定スコアに基づいて、赤目補正を実行する顔の優先順位を決定する赤目補正優先順位決定ステップと、
赤目検出部が、前記赤目補正優先順位決定部において決定した優先順位に従って赤目検出処理を実行する赤目検出ステップと、
赤目補正処理実行部が、前記赤目検出ステップにおいて検出された赤目の補正処理を実行する赤目補正処理実行ステップと、
を有することを特徴とする画像処理方法。
【請求項８】
前記画像切り出しステップは、
（１）顔領域画像
（２）顔周辺を含む画像
（３）画像全体画像
これらの切り出し画像を生成するステップであり、
前記赤目発生確率判定ステップ、および前記赤目補正成功確率判定ステップは、上記各切り出し画像を適用した学習データ特徴量との比較処理を実行することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
赤目補正成功確率判定ステップは、
前記赤目発生確率判定ステップにおいて算出された前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアが予め定めた閾値以上である顔のみを対象として、各顔に対応する赤目補正成功確率判定スコアを算出する処理を実行するステップであることを特徴とする請求項７に記載の画像処理方法。
【請求項１０】
前記赤目補正優先順位決定ステップは、
前記赤目補正成功確率判定ステップにおいて算出された前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアが予め定めた閾値以上である顔のみを対象として、赤目補正成功確率判定スコアの順に、赤目補正を実行する顔の優先順位の決定を行なうステップであることを特徴とする請求項７に記載の画像処理方法。
【請求項１１】
前記赤目補正優先順位決定ステップは、
前記赤目発生確率判定ステップにおいて算出された各顔に対応する赤目発生確率判定スコア［スコアＳ］と、
前記赤目補正成功確率判定ステップにおいて算出された各顔に対応する赤目補正成功確率判定スコア［スコアＴ］に基づいて、
総合スコアＫを、
Ｋ＝Ｓ×Ｔ
上記式に従って算出し、算出した総合スコアＫの順に、赤目補正を実行する顔の優先順位の決定を行うステップであることを特徴とする請求項７に記載の画像処理方法。
【請求項１２】
画像処理装置において、赤目補正処理を実行させるコンピュータ・プログラムであり、
顔検出部に、入力画像から顔領域を検出させる顔検出ステップと、
画像切り出し部に、前記入力画像から顔領域画像を含む切り出し画像を生成させる画像切り出しステップと、
赤目発生確率判定部に、前記画像切り出しステップにおいて生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データとしての特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアを算出させる赤目発生確率判定ステップと、
赤目補正成功確率判定部に、前記画像切り出しステップにおいて生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データ特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアを算出させる赤目補正成功確率判定ステップと、
赤目補正優先順位決定部に、前記赤目補正成功確率判定スコアに基づいて、赤目補正を実行する顔の優先順位を決定させる赤目補正優先順位決定ステップと、
赤目検出部に、前記赤目補正優先順位決定部において決定した優先順位に従って赤目検出処理を実行させる赤目検出ステップと、
赤目補正処理実行部に、前記赤目検出ステップにおいて検出された赤目の補正処理を実行させる赤目補正処理実行ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、フラッシュ発光に起因して発生する、いわゆる赤目の発生画像に対して赤目補正を行う画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
撮像装置（カメラ）を用いてフラッシュを発光させて人物の写真撮影を行なうと、人物の目が赤色に写る、いわゆる赤目現象が発生することがある。これは、比較的暗い環境下では人の瞳孔が大きく開いており、この状態でフラッシュを発光させると、フラッシュ光が網膜の毛細血管の赤色に反射し、この結果、目の部分を赤色として撮影してしまうことが原因とされている。
【０００３】
このような赤目現象の発生した撮影画像から赤目部分を検出して色変更等の補正であるいわゆる赤目補正を行なう構成がいくつかの従来技術に開示されている。例えば、特許文献１（特開２０００−１３７７８８）には、撮影画像から顔検出処理を行い、検出された顔内部でさらに目領域の検出を行い、その目が赤目かどうかを判定し、赤目ならば色補正を行うという手法を開示している。ただし、この手法では、顔検出もしくは目検出で誤検出が発生した場合、本来の目の領域でない赤い領域を黒く補正してしまうといった誤った補正が行なわれる可能性があり、赤目補正性能は顔検出や目検出の性能に強く依存してしまう。
【０００４】
また、特許文献２（特開２００４−２０８２７９）および特許文献３（特開２００４−２０８２８１）は、赤目補正が正しく実行されたか否かを確認するための情報表示構成を開示し、赤目等の不具合発生領域に優先順位をつけて、優先順位に従った表示による補正確認を行なう構成が示されている。さらに、特許文献３（特開２００５−１５０９７４）には、人物までの距離情報を用いて、距離情報に基づいて赤目補正の優先順位をつけて補正を実行する方法が示されている。すなわち、赤目の発生可能性のある被写体までの距離より遠い被写体については、赤目の発生可能性が高くなく、補正対象からはずして処理を効率的に行なおうとする手法である。
【０００５】
しかし、これらの文献に記載されている赤目補正処理では、特許文献２（特開２００４−２０８２７９）および特許文献３（特開２００４−２０８２８１）では、不具合発生領域に設定する優先順位は、例えばその領域の大きさなどによる優先順位であり、赤目の発生可能性等を考慮したものとはなっていない。また、特許文献３（特開２００５−１５０９７４）では、被写体までの距離を考慮して、一定距離以上の被写体の顔の目については補正処理を行なわない構成であるが、距離算出が必要となり処理負荷が増加するという問題があり、また、赤目の発生は距離のみに依存するものではなく、様々な要因によって赤目が発生する場合、しない場合等があり、補正が正確に実行されるとは限らないという問題がある。
【特許文献１】特開２０００−１３７７８８号公報
【特許文献２】特開２００４−２０８２７９号公報
【特許文献３】特開２００４−２０８２８１号公報
【特許文献４】特開２００５−１５０９７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、例えば上述のような問題点を解決するものであり、撮影画像に含まれる顔領域の画像の解析に基づいて、
「赤目が発生している可能性」
「赤目補正を行った場合の期待される成功率」
これらを判定して赤目補正優先度を決定して、赤目補正を優先度に従って実行することで、効率的で確実な赤目補正を実現する画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【０００７】
例えば、赤目補正優先度の高いもののみを補正対象とし、優先度の低いものは赤目補正を行わない、このような処理によって赤目が発生している可能性が高く、補正をした場合に成功率が高い顔画像のみの目を赤目補正対象として設定可能とし、画像処理における処理時間の短縮を可能とした画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の側面は、
赤目補正処理を実行する画像処理装置であり、
入力画像から顔領域を検出する顔検出部と、
前記入力画像から顔領域画像を含む切り出し画像を生成する画像切り出し部と、
前記画像切り出し部の生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データとしての特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアを算出する赤目発生確率判定部と、
前記画像切り出し部の生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データ特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアを算出する赤目補正成功確率判定部と、
前記赤目補正成功確率判定スコアに基づいて、赤目補正を実行する顔の優先順位を決定する赤目補正優先順位決定部と、
前記赤目補正優先順位決定部において決定した優先順位に従って赤目検出処理を実行する赤目検出部と、
前記赤目検出部において検出された赤目の補正処理を実行する赤目補正処理実行部と、
を有することを特徴とする画像処理装置にある。
【０００９】
さらに、本発明の画像処理装置の一実施態様において、前記画像切り出し部は、
（１）顔領域画像
（２）顔周辺を含む画像
（３）画像全体画像
これらの切り出し画像を生成する構成であり、
前記赤目発生確率判定部、および前記赤目補正成功確率判定部は、上記各切り出し画像を適用した学習データ特徴量との比較処理を実行する構成であることを特徴とする。
【００１０】
さらに、本発明の画像処理装置の一実施態様において、赤目補正成功確率判定部は、前記赤目発生確率判定部において算出された前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアが予め定めた閾値以上である顔のみを対象として、各顔に対応する赤目補正成功確率判定スコアを算出する処理を実行する構成であることを特徴とする。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記赤目補正優先順位決定部は、前記赤目補正成功確率判定部において算出された前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアが予め定めた閾値以上である顔のみを対象として、赤目補正成功確率判定スコアの順に、赤目補正を実行する顔の優先順位の決定を行なう構成であることを特徴とする。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記赤目補正優先順位決定部は、前記赤目発生確率判定部において算出された各顔に対応する赤目発生確率判定スコア［スコアＳ］と、前記赤目補正成功確率判定部において算出された各顔に対応する赤目補正成功確率判定スコア［スコアＴ］に基づいて、総合スコアＫを、Ｋ＝Ｓ×Ｔ、上記式に従って算出し、算出した総合スコアＫの順に、赤目補正を実行する顔の優先順位の決定を行う構成であることを特徴とする。
【００１３】
さらに、本発明の第２の側面は、
撮像装置であり、
画像の撮影を実行する撮像部と、
前記撮像部において撮影された撮影画像から顔領域を検出する顔検出部と、
前記撮影画像から顔領域画像を含む切り出し画像を生成する画像切り出し部と、
前記画像切り出し部の生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データとしての特徴量との比較処理により、前記撮影画像に含まれる各顔に対応する赤目発生確率判定スコアを算出する赤目発生確率判定部と、
前記画像切り出し部の生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データ特徴量との比較処理により、前記撮影画像に含まれる各顔に対応する赤目補正成功確率判定スコアを算出する赤目補正成功確率判定部と、
前記赤目補正成功確率判定スコアに基づいて、赤目補正を実行する顔の優先順位を決定する赤目補正優先順位決定部と、
前記赤目補正優先順位決定部において決定した優先順位に従って赤目検出処理を実行する赤目検出部と、
前記赤目検出部において検出された赤目の補正処理を実行する赤目補正処理実行部と、
を有することを特徴とする撮像装置にある。
【００１４】
さらに、本発明の第３の側面は、
画像処理装置において、赤目補正処理を実行する画像処理方法であり、
顔検出部が、入力画像から顔領域を検出する顔検出ステップと、
画像切り出し部が、前記入力画像から顔領域画像を含む切り出し画像を生成する画像切り出しステップと、
赤目発生確率判定部が、前記画像切り出しステップにおいて生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データとしての特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアを算出する赤目発生確率判定ステップと、
赤目補正成功確率判定部が、前記画像切り出しステップにおいて生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データ特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアを算出する赤目補正成功確率判定ステップと、
赤目補正優先順位決定部が、前記赤目補正成功確率判定スコアに基づいて、赤目補正を実行する顔の優先順位を決定する赤目補正優先順位決定ステップと、
赤目検出部が、前記赤目補正優先順位決定部において決定した優先順位に従って赤目検出処理を実行する赤目検出ステップと、
赤目補正処理実行部が、前記赤目検出ステップにおいて検出された赤目の補正処理を実行する赤目補正処理実行ステップと、
を有することを特徴とする画像処理方法にある。
【００１５】
さらに、本発明の画像処理方法の一実施態様において、前記画像切り出しステップは、
（１）顔領域画像
（２）顔周辺を含む画像
（３）画像全体画像
これらの切り出し画像を生成するステップであり、
前記赤目発生確率判定ステップ、および前記赤目補正成功確率判定ステップは、上記各切り出し画像を適用した学習データ特徴量との比較処理を実行することを特徴とする。
【００１６】
さらに、本発明の画像処理方法の一実施態様において、赤目補正成功確率判定ステップは、前記赤目発生確率判定ステップにおいて算出された前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアが予め定めた閾値以上である顔のみを対象として、各顔に対応する赤目補正成功確率判定スコアを算出する処理を実行するステップであることを特徴とする。
【００１７】
さらに、本発明の画像処理方法の一実施態様において、前記赤目補正優先順位決定ステップは、前記赤目補正成功確率判定ステップにおいて算出された前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアが予め定めた閾値以上である顔のみを対象として、赤目補正成功確率判定スコアの順に、赤目補正を実行する顔の優先順位の決定を行なうステップであることを特徴とする。
【００１８】
さらに、本発明の画像処理方法の一実施態様において、前記赤目補正優先順位決定ステップは、前記赤目発生確率判定ステップにおいて算出された各顔に対応する赤目発生確率判定スコア［スコアＳ］と、前記赤目補正成功確率判定ステップにおいて算出された各顔に対応する赤目補正成功確率判定スコア［スコアＴ］に基づいて、総合スコアＫを、Ｋ＝Ｓ×Ｔ、上記式に従って算出し、算出した総合スコアＫの順に、赤目補正を実行する顔の優先順位の決定を行うステップであることを特徴とする。
【００１９】
さらに、本発明の第４の側面は、
画像処理装置において、赤目補正処理を実行させるコンピュータ・プログラムであり、
顔検出部に、入力画像から顔領域を検出させる顔検出ステップと、
画像切り出し部に、前記入力画像から顔領域画像を含む切り出し画像を生成させる画像切り出しステップと、
赤目発生確率判定部に、前記画像切り出しステップにおいて生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データとしての特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目発生確率判定スコアを算出させる赤目発生確率判定ステップと、
赤目補正成功確率判定部に、前記画像切り出しステップにおいて生成した切り出し画像の特徴量と、サンプル画像に基づく学習によって生成した学習データ特徴量との比較処理により、前記入力画像に含まれる各顔に対応する赤目補正成功確率判定スコアを算出させる赤目補正成功確率判定ステップと、
赤目補正優先順位決定部に、前記赤目補正成功確率判定スコアに基づいて、赤目補正を実行する顔の優先順位を決定させる赤目補正優先順位決定ステップと、
赤目検出部に、前記赤目補正優先順位決定部において決定した優先順位に従って赤目検出処理を実行させる赤目検出ステップと、
赤目補正処理実行部に、前記赤目検出ステップにおいて検出された赤目の補正処理を実行させる赤目補正処理実行ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００２０】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２２】
本発明の一実施例の構成によれば、赤目補正をする画像から抽出される顔画像の赤目発生確率を示す［スコアＳ］と、赤目補正成功確率を示す［スコアＴ］を算出し、これらのスコアに基づいて補正処理の優先順位を設定して、優先順位に従って、赤目検出処理を実行して、赤目検出がなされた目のみの赤目補正を実行する構成としたので、無駄な赤目検出処理が大幅に削減され、効率的な赤目画像の検出および補正処理を実行することが可能となる。また、赤目補正成功率の高い顔画像の選定を行なうことで、赤目補正の成功率を高めた処理が実現される。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照しながら本発明の画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００２４】
［画像処理装置の全体構成］
前述したように、撮像装置（カメラ）を用いてフラッシュを発光させて人物の写真撮影を行なうと、人物の目が赤色に写る、いわゆる赤目現象が発生することがある。これは、比較的暗い環境下では人の瞳孔が大きく開いており、この状態でフラッシュを発光させると、フラッシュ光が網膜の毛細血管の赤色に反射し、この結果、目の部分を赤色として撮影してしまうことが原因とされている。本明細書では、フラッシュ撮影をした際に、虹彩部分が赤もしくは白くなる状態を総称して「赤目」と呼ぶ。
【００２５】
図１に本発明の一実施例に係る画像処理装置１００の構成を示すブロック図を示す。画像処理装置１００は、フラッシュ撮影によって赤目の発生した画像１０を入力して処理を実行する。処理対象とする画像１０は、例えば撮像装置（カメラ）における撮像部２０の撮影画像であってもよく、予め撮影済みの画像を記憶したメモリからの読み込み画像であってもよい。
【００２６】
画像処理装置１００は、図１に示すように、画像入力部１０１、顔検出部１０２、画像切り出し部１０３、赤目発生確率判定部１０４、赤目補正成功確率判定部１０５、赤目補正優先順位決定部１０６、赤目検出部１０７、および赤目補正処理部１０８、これらの構成部を有する。
【００２７】
［画像入力部および顔検出部の処理］
画像入力部１０１は、たとえば撮像装置の撮像部あるいはメモリに格納された画像１０を入力し顔検出部１０２に渡す。顔検出部１０２では、入力画像１０の画像解析により顔領域の検出処理を実行し、顔の位置と大きさを検出する。なお、１つの入力画像１０に複数の顔領域が含まれる場合は、個々の顔の位置と大きさを検出する。
【００２８】
なお、顔検出技術は、既存の技術を利用可能であり、例えば以下の手法を用いることが出来る。
「特開２００５−２８４３４８」
「特開２００５−０４４３３０」
「特開２００５−１５７６７９」
顔検出部１０２では、たとえば、上記文献に記載の処理を適用して、入力画像１０から顔領域各々の位置と大きさを検出する。例えば図２に示すような入力画像２０１に対して、顔検出部１０２では、たとえば、上記文献に記載の処理を適用して、検出結果２０２に示すように顔領域２１１，２１２の位置と大きさを検出する。
【００２９】
［画像切り出し部の処理］
画像切り出し部１０３は、顔検出部１０２の検出した顔領域などを切り出す処理を実行する。画像切り出し部１０３の切り出し範囲は、「顔領域画像」、「顔周辺を含む画像」、「全体画像」である。具体例について図３を参照して説明する。画像切り出し部１０３は、図３に示す画像の場合、
（１）顔領域画像：３１１，３２１
（２）顔周辺を含む画像：３１２，３２２
（３）画像全体画像：３１３
これらの切り出し画像を生成する。
１つの入力画像に複数の顔領域が含まれる場合は、個別の顔に対応する顔領域画像と、個別の顔に対応する顔周辺を含む画像をそれぞれ切り出す。
【００３０】
［赤目発生確率判定部の処理］
画像切り出し部１０３において切り出された各切り出し画像は、赤目発生確率判定部１０４に入力される。赤目発生確率判定部１０４は、画像切り出し部１０３から以下の情報を入力する。
（１）顔領域画像
（２）顔周辺を含む画像
（３）画像全体画像
これらの切り出し画像に基づいて、各々の顔領域画像に含まれる顔にある目の赤目発生確率を判定する。
【００３１】
赤目発生確率判定部１０４は、様々な画像データを用いた学習データに基づいて、入力画像１０に含まれる各顔の赤目発生確率を算出する。
【００３２】
すなわち、事前に学習データとして、
（ａ）赤目が発生しているサンプル画像、
（ｂ）赤目が発生していないサンプル画像、
これらのサンプル画像を多数用意し、これらのサンプル画像に基づく統計学習による学習結果として、
（ａ）赤目の発生している画像の持つ特徴量、
（ｂ）赤目の発生していない画像の持つ特徴量、
これらの特徴量を取得し、これらをメモリに保持しておく。
【００３３】
なお、
（ａ）赤目の発生している画像の持つ特徴量としては、
（ａ１）顔領域画像における特徴量、
（ａ２）顔周辺を含む画像における特徴量、
（ａ３）画像全体画像における特徴量、
これらの各切り出し画像に対応する特徴量を取得しておく、
同様に、
（ｂ）赤目の発生していない画像の持つ特徴量としても、
（ｂ１）顔領域画像における特徴量、
（ｂ２）顔周辺を含む画像における特徴量、
（ｂ３）画像全体画像における特徴量、
これらの各切り出し画像に対応する特徴量を取得し、
これらをメモリに格納しておく。
【００３４】
赤目発生確率判定部１０４は、入力画像１０から切り出した各切り出し画像、すなわち、
（１）顔領域画像
（２）顔周辺を含む画像
（３）画像全体画像
これらの切り出し画像を入力し、これらの切り出し画像から、サンプル画像の学習によって求めた各切り出し画像に対応する特徴量と比較可能な特徴量を取得して、
入力画像の各切り出し画像から得た特徴量が、
（ａ）赤目の発生している画像の持つ特徴量、
（ｂ）赤目の発生していない画像の持つ特徴量、
上記（ａ），（ｂ）のいずれの特徴量に類似するかを判定する。
【００３５】
入力画像の持つ特徴量が、
（ａ）赤目の発生している画像の持つ特徴量、
により近い（類似する）場合は、赤目発生確率が高いと判定し、
入力画像の持つ特徴量が、
（ｂ）赤目の発生している画像の持つ特徴量、
により近い（類似する）場合は、赤目発生確率が低いと判定する。
この学習データを用いた判定処理によって入力画像の各
顔領域で赤目が発生している確率を推定することができる。判定結果は赤目発生確率としてスコア（スコアＳ）として出力する。
【００３６】
学習用のサンプルデータとしては、例えば図４に示すような画像が用いられる。図４には、
（１）赤目の発生している画像
（２）赤目の発生していない画像
これらの画像の例を示している。
【００３７】
（１）赤目の発生している画像は、（２）赤目の発生していない画像に比べ、フラッシュの影響で額や頬が「てかる」傾向があり、顔領域の輝度の高さの割には周辺が暗い傾向があるように見える。このような傾向をＢｏｏｓｔｉｎｇなどの統計学習的に学習することで、統計的に最適な特徴量を選択しメモリに保持する。
【００３８】
例えばＨＡＡＲ特徴量やＰｉｘＤｉｆによるＷｅａｋ  ＬｅａｒｎｅｒをＢｏｏｓｔｉｎｇで学習すると、顔領域と背景領域の輝度差を特徴量とするＷｅｅｋ  Ｌｅａｒｎｅｒが学習され、赤目画像と通常画像の分離が出来ることが期待できる。
【００３９】
なお、Ｂｏｏｓｔｉｎｇの学習方法に関しては、たとえば前述した顔検出技術として紹介した下記文献、
「特開２００５−２８４３４８」
「特開２００５−０４４３３０」
「特開２００５−１５７６７９」
これらに開示されている顔検出と同様の手法を用いることができる。
【００４０】
赤目発生確率判定部１０４の出力する赤目発生確率のスコアＳは、例えばＢｏｏｓｔｉｎｇによる方法の場合は、下記式に示すように、Ｗｅａｋ  Ｌｅａｎｅｒの出力ｆｔ（Ｘ）とその重みαｔの総和Ｆ（Ｘ）、
【数１】
2008217525.tif 000003
【００４１】
上記Ｆ（Ｘ）を学習対象としたサンプル画像において正規化した値を用いることが出来る。なお、このＷｅａｋ  Ｌｅａｎｅｒの出力ｆｔ（Ｘ）とその重みαｔの総和Ｆ（Ｘ）の算出処理については、前述の特開２００５−２８４３４８に詳細に説明されている。なお、以降の説明では赤目発生確率判定部１０４が、入力画像１０に含まれる各顔の目の赤目発生確率として設定するスコア（スコアＳ）を０．０〜１．０の範囲で正規化するものとする。
【００４２】
なお、赤目発生確率としての［スコアＳ］は、例えば１つの顔を単位として算出する。スコアＳが低い値（０に近い）であれば、評価対象の顔は、赤目発生確率の低い顔であり、スコアＳが高い値（１に近い）であれば、評価対象の顔は、赤目発生確率の高い顔である。
【００４３】
前述したように、赤目発生確率判定部１０４は、入力画像１０から切り出した各切り出し画像、すなわち、
（１）顔領域画像
（２）顔周辺を含む画像
（３）画像全体画像
これらの切り出し画像を入力し、これらの切り出し画像から、サンプル画像の学習によって求めた各切り出し画像に対応する特徴量、すなわち、
（ａ）赤目の発生している画像の持つ特徴量としての、
（ａ１）顔領域画像における特徴量、
（ａ２）顔周辺を含む画像における特徴量、
（ａ３）画像全体画像における特徴量、
（ｂ）赤目の発生していない画像の持つ特徴量としての、
（ｂ１）顔領域画像における特徴量、
（ｂ２）顔周辺を含む画像における特徴量、
（ｂ３）画像全体画像における特徴量、
これらの各切り出し画像に対応する特徴量をメモリから取得して、入力画像の対応する切り出し画像から求めた特徴量と比較を行なう。
【００４４】
このように、比較する特徴量を各切り出し画像単位として限定することでより正確な赤目発生確率としてのスコア（スコアＳ）の設定が可能となる。たとえば顔領域に関しては顔に対するフラッシュによる反射の有無を検出するように学習を行わせることを期待できるし、顔領域周辺に関しては撮影環境の明るさを判定できるように学習を行わせることを期待できる。なお、画像切り出しサイズは、Ｂｏｏｓｔｉｎｇの手法により統計的に最適なサイズを求めるのが望ましい。全体画像に関しては、顔検出結果（顔位置、大きさ）情報も学習時に入れ込むことで、顔部分と背景部分を分けて学習を行わせることを期待できる。
【００４５】
なお、サンプル画像の学習情報の１つとして、フラッシュ撮影の有無を記録しておき、入力画像についてもフラッシュ撮影であるか否かの情報を入力し、その入力情報に基づいて比較すべきサンプルデータの特徴量を選択する設定としてもよい。なお、フラッシュ発光の有無は、カメラのフラッシュ発光時にカメラ機体自身でフラグによって識別データを取得し、画像対応の属性データとして記録する方法としてもよいし、撮像画像そのものからフラッシュが発行されているか否かを判定する構成としてもよい。このようなフラッシュ有無の判定結果を用いたスコア算出を行なうことで、例えばフラッシュが届かないような位置にいる人物に関しては顔領域にフラッシュの影響が少ないため、赤目が発生する確率が低いとの判定を行ないスコアを低く設定するといった処理が可能となる。
【００４６】
［赤目補正成功確率判定部の処理］
次に、図１に示す赤目補正成功確率判定部１０５の処理について説明する。赤目補正成功確率判定部１０５は、赤目発生確率判定部１０４において赤目発生確率が高いと判定された目の領域を優先して赤目補正成功確率を判定する処理を実行する。すなわち、赤目発生確率判定部１０４において赤目発生確率が高いスコアを持つ目を優先的に選択して赤目補正成功確率の判定を実行する。
【００４７】
なお、赤目発生確率判定部１０４において赤目発生確率が低いと判定されたデータについては、赤目補正成功確率の判定を省略する構成としてもよい。すなわち、処理の効率化のために、赤目発生確率を示す［スコアＳ］が低い顔については、赤目補正成功確率［スコアＴ］を算出する必要性が低いと判断し、赤目補正成功確率判定部１０５では、予め定めた赤目発生確率を示す［スコアＳ］に対応する閾値［Ｓｔｈ］以上の顔についてのみ、赤目補正成功確率［スコアＴ］を算出するという処理構成としてもよい。
【００４８】
赤目補正成功確率判定部１０５も、赤目発生確率判定部１０４と同様、サンプルテデータに基づく学習データをメモリに保持する。すなわち、様々な赤目発生画像のサンプルデータに対する赤目補正処理を実行した場合の成功の有無を学習データとして保持し、入力画像に類似する特徴を持つサンプルデータの学習結果としての赤目補正成功確率を算出して、その入力画像の目の赤目補正成功確率として出力する。
【００４９】
なお、サンプルデータを用いた学習時には、システムの赤目検出と赤目補正機能によって事前に赤目補正を行った画像データを検証し、補正結果を成功、失敗でグループ分けをし、例えば教師あり学習によって入力画像に対する赤目補正の成功率を学習する。なお、この学習でもＢｏｏｓｔｉｎｇの手法によりＨＡＡＲ特徴量やＰｉｘＤｉｆを用いる場合、輝度画像においては輝度差を、ＲＧＢカラー画像においては色相差をＷｅａｋ  Ｌｅａｒｎｅｒとして学習することができる。
【００５０】
赤目補正成功確率判定部１０５は、学習結果データとして、
（ａ）赤目の発生しているサンプル画像の持つ特徴量としての、
（ａ１）顔領域画像における特徴量、
（ａ２）顔周辺を含む画像における特徴量、
（ａ３）画像全体画像における特徴量、
これらの各特徴量に応じた赤目補正処理の成功確率と失敗確率をメモリに保持し、
入力画像から取得した
（１）顔領域画像における特徴量、
（２）顔周辺を含む画像における特徴量、
（３）画像全体画像における特徴量、
これらの特徴量と最も類似する赤目の発生している１つのサンプル画像を選択して、そのサンプル画像に対する赤目補正処理の成功確率をその入力画像に対する赤目補正成功確率とする処理を実行する。あるいは、入力画像の各切り出し画像の特徴量と類似する赤目の発生している複数のサンプル画像を選択して、その複数のサンプル画像に対する赤目補正処理の成功確率を取得して、複数の成功確率データの平均をその入力画像に対する赤目補正の成功確率として算出するといった処理を行なう。なお、赤目補正成功確率判定部１０５は、入力画像の各目に対応する赤目補正成功確率としてのスコア（スコアＴ）を０．０〜１．０の範囲で正規化して出力する。
【００５１】
なお、赤目補正成功確率としての［スコアＴ］は、例えば１つの顔を単位として算出する。スコアＴが低い値（０に近い）であれば、評価対象の顔は、赤目補正成功確率の低い顔であり、スコアＴが高い値（１に近い）であれば、評価対象の顔は、赤目補正成功確率の高い顔である。
【００５２】
［赤目補正優先順位決定部の処理］
次に、図１に示す赤目補正優先順位決定部１０６の処理について説明する。赤目補正優先順位決定部１０６は、赤目補正成功確率判定部において算出された赤目補正成功確率を示す［スコアＴ］、または［スコアＴ］と赤目発生確率判定部１０４において算出された赤目発生確率を示す［スコアＳ］とに基づく総合スコアに基づいて赤目補正を行う優先順位を決定する。
【００５３】
なお、決定した優先順位に基づく実際の赤目補正処理の実行態様としては、
（１）優先順位の高い順に処理する
（２）スコアが予め設定した値以上の顔画像のみ赤目検出、補正処理を行う
（３）予め決められた顔の数だけ、優先順位の上位から赤目検出、補正処理を行う
これらの処理態様がある。
【００５４】
赤目発生確率を示す［スコアＳ］と、赤目補正成功確率を示す［スコアＴ］に基づいて優先順位を設定する手法について説明する。
ただし、前述したように、処理の効率化のために、赤目発生確率を示す［スコアＳ］が低い顔については、赤目補正成功確率［スコアＴ］を算出する必要性が低いと判断し、赤目補正成功確率判定部１０５では、予め定めた赤目発生確率を示す［スコアＳ］に対応する閾値［Ｓｔｈ］以上の顔についてのみ、赤目補正成功確率［スコアＴ］を算出する。以下の例では、赤目発生確率判定スコアの閾値Ｓｔｈ＝０．７とする。
［スコアＳ］と、［スコアＴ］は、顔を単位として、それぞれ、
スコアＳ：０．０〜１．０
スコアＴ：０．０〜１．０（ただし、スコアＳ≧０．７の顔のみ）
このような正規化された値として決定される。
【００５５】
例えば、図５に示すように、画像４０１について、
人物Ａ：スコアＳ＝０．８，スコアＴ＝０．９
人物Ｂ：スコアＳ＝０．９，スコアＴ＝０．４
人物Ｃ：スコアＳ＝０．８，スコアＴ＝０．８
人物Ｄ：スコアＳ＝０．２，スコアＴ＝（算出なし）
【００５６】
図５に示す画像４０１から抽出された顔に対して、赤目発生確率判定部１０４は、画像４０１から抽出された４つの顔の各々について、それぞれ赤目発生確率判定スコアＳを算出する。赤目補正成功確率判定部１０５は、これら４つの各顔に対応する［スコアＳ］と、閾値［Ｓｔｈ＝０．７］とを比較し、閾値［Ｓｔｈ＝０．７］を上回る人物Ａ、Ｂ、Ｃのみに対して、赤目補正成功確率判定を行い、赤目補正成功確率判定スコア［スコアＴ］を算出する。
【００５７】
図１に示す赤目補正優先順位決定部１０６では、赤目補正成功確率判定スコア［スコアＴ］が算出された人物Ａ〜Ｃから、さらに、赤目補正成功確率判定スコア［スコアＴ］に対応する閾値［Ｔｔｈ］を用いて、閾値［Ｔｔｈ］以上の［スコアＴ］を持つ顔のみを赤目補正対象として、また優先順位判定対象として選択する。たとえば、閾値［Ｔｔｈ＝０．６］とすると、
人物Ａ：スコアＳ＝０．８，スコアＴ＝０．９
人物Ｂ：スコアＳ＝０．９，スコアＴ＝０．４
人物Ｃ：スコアＳ＝０．８，スコアＴ＝０．８
これらの３人物から、人物Ｂが排除され、人物Ａ，Ｃのみが赤目補正対象として、また優先順位判定対象として選択される。
【００５８】
赤目補正優先順位決定部１０６では、この人物Ａ，Ｃの赤目補正成功確率判定スコア［スコアＴ］の高いものから順に優先順位を決定する。この例では、
人物Ａ：スコアＴ＝０．９
人物Ｃ：スコアＴ＝０．８
であるので、人物Ａ→人物Ｃの順に赤目補正の優先順位を設定する。
【００５９】
なお、赤目発生確率を示す［スコアＳ］と、赤目補正成功確率を示す［スコアＴ］から総合スコア［スコアＫ］を算出し、総合スコア［スコアＫ］に基づいて優先順位を設定する構成としてもよい。
【００６０】
例えば、総合スコア［スコアＫ］の計算において、赤目発生確率判定スコア［スコアＳ］と赤目補正成功確率判定スコア［スコアＴ］の積、
Ｋ＝ＳｘＴ
として算出した総合スコア［スコアＫ］を用い、閾値判定処理や優先順位決定処理をこの総合スコア［スコアＫ］を適用して行う構成としてもよい。
【００６１】
［赤目検出部、および赤目補正処理部の処理］
図１に示す赤目検出部１０７では、赤目補正優先順位決定部１０６において決定した優先順位に従って顔を選択して、その顔の目領域が実際に赤目現象を発生しているか否かを判定する。赤目補正処理部１０８は、赤目検出部１０７において赤目であると判定された目領域の画素値変更等による赤目補正処理を実行する。なお、これらの赤目検出処理および赤目補正処理は既存の技術を適用して実行するこみとが可能である。例えば、特開２０００−１３７７８８において開示されている処理が適用可能である。
【００６２】
このように、本発明の処理構成によれば、赤目補正をする画像から抽出される顔画像の赤目発生確率を示す［スコアＳ］と、赤目補正成功確率を示す［スコアＴ］を算出し、これらのスコアに基づいて補正処理の優先順位を設定して、優先順位に従って、赤目検出処理を実行して、赤目検出がなされた目のみの赤目補正を実行する構成としたので、無駄な赤目検出処理が大幅に削減され、効率的な赤目画像の検出および補正処理を実行することが可能となる。また、赤目補正成功率の高い顔画像の選定を行なうことで、赤目補正の成功率を高めた処理が実現される。
【００６３】
［処理シーケンス］
次に、図６を参照して本発明の画像処理装置において実行する処理シーケンスについて説明する。まず、ステップＳ１０１において、入力画像の顔検出処理を実行する。この処理は、図１に示す構成図の顔検出部１０２の処理である。顔検出部１０２は、入力画像１０の画像解析により顔領域の検出処理を実行し、顔の位置と大きさを検出する。なお、１つの入力画像１０に複数の顔領域が含まれる場合は、個々の顔の位置と大きさを検出する。
【００６４】
ステップＳ１０２は、図１に示す画像切り出し部１０３の処理であり、ステップＳ１０１における顔検出結果を用いて、検出した顔領域などを切り出す処理を実行する。画像切り出し処理によって、「顔領域画像」、「顔周辺を含む画像」、「全体画像」これらの切り出し画像が生成される。図３を参照して説明した例では、
（１）顔領域画像：３１１，３２１
（２）顔周辺を含む画像：３１２，３２２
（３）画像全体画像：３１３
これらの切り出し画像を生成する。
【００６５】
ステップＳ１０３は、図１に示す構成図における赤目発生確率判定部１０４の処理である。赤目発生確率判定部１０４は、画像切り出し部１０３から入力する、
（１）顔領域画像
（２）顔周辺を含む画像
（３）画像全体画像
これらの切り出し画像に基づいて、各々の顔領域画像に含まれる顔にある目の赤目発生確率を判定する。
【００６６】
前述したように、この赤目発生確率判定処理は、様々な画像データを用いた学習データに基づいて、入力画像１０に含まれる各顔の赤目発生確率を算出する。
すなわち、先に図４を参照して説明したような、
（ａ）赤目が発生しているサンプル画像、
（ｂ）赤目が発生していないサンプル画像、
これらのサンプル画像を多数用意し、これらのサンプル画像に基づく統計学習による学習結果として、
（ａ）赤目の発生している画像における、
（ａ１）顔領域画像における特徴量、
（ａ２）顔周辺を含む画像における特徴量、
（ａ３）画像全体画像における特徴量、
これらの各切り出し画像に対応する特徴量、
（ｂ）赤目の発生していない画像における、
（ｂ１）顔領域画像における特徴量、
（ｂ２）顔周辺を含む画像における特徴量、
（ｂ３）画像全体画像における特徴量、
これらの各切り出し画像に対応する特徴量をメモリに格納し、これらの特徴量と、入力画像から切り出した各切り出し画像、すなわち、
（１）顔領域画像
（２）顔周辺を含む画像
（３）画像全体画像
これらの切り出し画像の特徴量と比較し、
（ａ）赤目の発生している画像の持つ特徴量、
（ｂ）赤目の発生していない画像の持つ特徴量、
上記（ａ），（ｂ）のいずれの特徴量に類似するかを判定する。
【００６７】
判定結果は赤目発生確率としてスコア（スコアＳ）として出力する。スコア（スコアＳ）は０．０〜１．０の範囲で正規化して出力される。赤目発生確率としての［スコアＳ］は、例えば１つの顔を単位として算出し、スコアＳが低い値（０に近い）であれば、評価対象の顔は、赤目発生確率の低い顔であり、スコアＳが高い値（１に近い）であれば、評価対象の顔は、赤目発生確率の高い顔となる。
【００６８】
ステップＳ１０４は、図１に示す赤目補正成功確率判定部１０５の赤目補正成功確率判定処理である。赤目補正成功確率判定部１０５は、予め定めた赤目発生確率を示す［スコアＳ］に対応する閾値［Ｓｔｈ］以上の顔についてのみ、赤目補正成功確率［スコアＴ］を算出する。
【００６９】
このステップＳ１０４の赤目補正成功確率判定処理も、ステップＳ１０３の赤目発生確率判定処理と同様、サンプルテデータに基づく学習データに基づく処理を行なう。すなわち、様々な赤目発生画像のサンプルデータに対する赤目補正処理を実行した場合の成功の有無を学習データとして保持し、入力画像に類似する特徴を持つサンプルデータの学習結果としての赤目補正成功確率を算出して、その入力画像の目の赤目補正成功確率として出力する。学習結果データとして、
（ａ）赤目の発生しているサンプル画像の持つ特徴量としての、
（ａ１）顔領域画像における特徴量、
（ａ２）顔周辺を含む画像における特徴量、
（ａ３）画像全体画像における特徴量、
これらの各特徴量に応じた赤目補正処理の成功確率と失敗確率をメモリに保持し、
入力画像から取得した
（１）顔領域画像における特徴量、
（２）顔周辺を含む画像における特徴量、
（３）画像全体画像における特徴量、
これらの特徴量と最も類似する赤目の発生している１つのサンプル画像を選択して、そのサンプル画像に対する赤目補正処理の成功確率をその入力画像に対する赤目補正成功確率とする処理を実行する。あるいは、入力画像の各切り出し画像の特徴量と類似する赤目の発生している複数のサンプル画像を選択して、その複数のサンプル画像に対する赤目補正処理の成功確率を取得して、複数の成功確率データの平均をその入力画像に対する赤目補正の成功確率として算出するといった処理を行なう。なお、赤目補正成功確率判定部１０５は、入力画像の各目に対応する赤目補正成功確率としてのスコア（スコアＴ）を０．０〜１．０の範囲で正規化して出力する。
【００７０】
赤目補正成功確率としての［スコアＴ］は、例えば１つの顔を単位として算出する。スコアＴが低い値（０に近い）であれば、評価対象の顔は、赤目補正成功確率の低い顔であり、スコアＴが高い値（１に近い）であれば、評価対象の顔は、赤目補正成功確率の高い顔である。
【００７１】
次のステップＳ１０５の処理は、図１に示す赤目補正優先順位決定部１０６の処理であり、赤目補正成功確率判定部において算出された赤目補正成功確率を示す［スコアＴ］、あるいは［スコアＴ］および赤目発生確率判定部１０４において算出された赤目発生確率を示す［スコアＳ］とに基づいて算出される総合スコアに基づいて赤目補正を行う優先順位を決定する。
【００７２】
例えば、赤目発生確率を示す［スコアＳ］が閾値［Ｓｔｈ］以上であり、赤目補正成功確率判定スコア［スコアＴ］が算出された人物から、さらに、赤目補正成功確率判定スコア［スコアＴ］に対応する閾値［Ｔｔｈ］を用いて、閾値［Ｔｔｈ］以上の［スコアＴ］を持つ顔のみを選択して、赤目補正成功確率判定スコア［スコアＴ］の高いものから順に優先順位を決定する。例えば図５を参照して説明した例では、
人物Ａ：スコアＴ＝０．９
人物Ｃ：スコアＴ＝０．８
であるので、人物Ａ→人物Ｃの順に赤目補正の優先順位を設定する。
【００７３】
あるいは、赤目発生確率を示す［スコアＳ］と、赤目補正成功確率を示す［スコアＴ］から、総合スコア［スコアＫ］を、
Ｋ＝ＳｘＴ
として算出し、この総合スコア［スコアＫ］を用いて優先順位の決定を行う構成としてもよい。
【００７４】
次のステップＳ１０６は、図１に示す赤目検出部１０７の処理であり、ステップＳ１０５において決定した赤目補正優先順位に従って顔を選択して、その顔の目領域が実際に赤目現象を発生しているか否かを判定する。
【００７５】
次のステップＳ１０７では、図１に示す赤目補正処理部１０８の処理であり、ステップＳ１０５において赤目であると判定された目領域の画素値変更等による赤目補正処理を実行する。
【００７６】
［撮像装置の構成例］
次に、上述した赤目補正を実行する撮像装置５００の構成例について、図７を参照して説明する。図７において、画像処理部５８０は、図１を参照して説明した画像処理装置１００と同様の構成を含み、上述した処理を実行する。
【００７７】
図５に示すフォーカスレンズ５０１、ズームレンズ５０２を介する入射光は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子５０３に入力し、撮像素子５０３において光電変換される。光電変換データは、アナログ信号処理部５０４に入力され、アナログ信号処理部５０４においてノイズ除去、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌｌｅｒ）によるゲイン制御等のアナログ信号処理が施され、その後Ａ／Ｄ変換部５０５においてデジタル信号に変換される。
【００７８】
レンズ駆動ドライバ５０７は、フォーカスレンズ５０１に対応して設定されたフォーカスレンズ駆動モータ５０８、ズームレンズ５０２に対応して設定されたズームレンズ駆動モータ５０９を駆動する。タイミングジェネレータ５０６は、撮像素子５０３の処理タイミングの制御信号を生成して、処理タイミングを制御する。
【００７９】
Ａ／Ｄ変換部５０５においてデジタル変換されたデータは、図１を参照して説明した画像処理装置１００と同様の構成を含む画像処理部５８０内のデジタル信号処理部（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）５１０に入力される。デジタル信号処理部（ＤＳＰ）５１０においては、出力または記録用画像の生成処理としての色調の調整、ガンマ補正等の、デジタルデータとしての画像データに対する信号処理が実行される。
【００８０】
さらに、デジタル信号処理部（ＤＳＰ）５１０および、制御部５２０の処理によって、図６に示したフローチャートを参照して説明した赤目補正処理が実行される。これらの処理に適用する様々な学習データ、すなわち、赤目発生確率［スコアＳ］の算出に適用する学習データや、赤目補正成功確率［スコアＴ］を算出するための学習データ、さらに、閾値［Ｓｔｈ］、閾値［Ｔｔｈ］などのパラメータは、メモリ５２２に格納されている。なお、図６に示す処理を実行させるプログラムもメモリ５２２に格納されており、ＣＰＵ５２１によって実行される。
【００８１】
この処理によって赤目の補正処理が実行された結果としての画像データは、モニタ５１１、ビューファインダ（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）５１２に表示される。
【００８２】
操作部５１５は、カメラ本体にあるシャッターとしてのレリーズスイッチの他、各種の操作情報を入力する操作ボタン、撮影モードの設定処理に適用するためのモードダイアル、さらにフラッシュ発光設定等の各種設定情報を入力する操作部である。操作部５１５を介するユーザの操作情報はインタフェース（Ｉ／Ｆ）５１６を介して制御部５２０に入力される。なお、操作部５１５を利用したユーザによる各種設定情報の入力処理に際しては、例えば、スルー画を表示するモニタ５１１に、操作情報（ガイド）を表示する処理が行なわれる。モニタ５１１をタッチパネルとして操作部（入力部）として兼用する構成としてもよい。
【００８３】
制御部５２０は、例えばマイクロコンピュータであり、ＣＰＵ５２１、メモリ５２２などによって構成される。制御部５２０は、撮像装置５００の実行する処理制御を予めメモリ５２２に格納されたプログラムに従って実行する。メモリ５２２は、処理実行プログラムの他、画像データの他、前述の学習データ、サンプル画像データ、閾値情報などのパラメータなどを格納する。
【００８４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８６】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００８７】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００８９】
以上、説明したように、本発明の一実施例の構成によれば、赤目補正をする画像から抽出される顔画像の赤目発生確率を示す［スコアＳ］と、赤目補正成功確率を示す［スコアＴ］を算出し、これらのスコアに基づいて補正処理の優先順位を設定して、優先順位に従って、赤目検出処理を実行して、赤目検出がなされた目のみの赤目補正を実行する構成としたので、無駄な赤目検出処理が大幅に削減され、効率的な赤目画像の検出および補正処理を実行することが可能となる。また、赤目補正成功率の高い顔画像の選定を行なうことで、赤目補正の成功率を高めた処理が実現される。
【図面の簡単な説明】
【００９０】
【図１】本発明の一実施例に係る画像処理装置の構成例について説明するブロック図である。
【図２】本発明の一実施例に係る画像処理装置において実行する顔検出処理について説明する図である。
【図３】本発明の一実施例に係る画像処理装置において実行する画像切り出し処理について説明する図である。
【図４】本発明の一実施例に係る画像処理装置において学習データ生成用のサンプル画像データの例を示す図である。
【図５】本発明の一実施例に係る画像処理装置において各人物の顔に対して設定するスコアの例について説明する図である。
【図６】本発明の画像処理装置において実行する処理シーケンスについて説明するフローチャートを示す図である。
【図７】赤目補正を実行する撮像装置の構成例について説明する図である。
【符号の説明】
【００９１】
１０  画像
２０  撮像部
１００  画像処理装置
１０１  画像入力部
１０２  顔検出部
１０３  画像切り出し部
１０４  赤目発生確率判定部
１０５  赤目補正成功確率判定部
１０６  赤目補正優先順位決定部
１０７  赤目検出部
１０８  赤目補正処理部
２０１  入力画像
２０２  検出結果
２１１，２１２  顔領域
３１１，３２１  顔領域画像
３１２，３２２  顔周辺を含む画像
３１３  画像全体画像
４０１  画像
５００  撮像装置
５０１  フォーカスレンズ
５０２  ズームレンズ
５０３  撮像素子
５０４  アナログ信号処理部
５０５  Ａ／Ｄ変換部
５０６  タイミングジェネレータ（ＴＡ）
５０７  レンズ駆動ドライバ
５１０  デジタル信号処理部
５１１  モニタ
５１２  ビューファインダ
５１３  記録デバイス
５１４  フラッシュ発光手段
５１５  操作部
５１６  インタフェース（Ｉ／Ｆ）
５２０  制御部
５２１  ＣＰＵ
５２２  メモリ
５８０  画像処理部
【図１】
2008217525.tif 000004
【図３】
2008217525.tif 000005
【図５】
2008217525.tif 000006
【図６】
2008217525.tif 000007
【図７】
2008217525.tif 000008
【図２】
2008217525.tif 000009
【図４】
2008217525.tif 000010