(57)【要約】【課題】  よりユーザの意図に合った画像評価を実行すること。【解決手段】  顔検出部１１によって検出された顔に対応する顔領域の周囲の複数の周辺領域について、ボケ評価部１４はボケの程度を評価する。ボケ評価部１４は、ボケの程度が第１の強さである場合は、前記第１の強さよりも弱い第２の強さである場合と比較してより高い評価値を算出する。画像の評価値を算出する制御部１５は、ボケ評価部１４によって算出されたボケの評価値が第１の評価である場合は、前記第１の評価よりも低い第２の評価である場合と比較して、より高い評価値を算出する。【選択図】  図３
2020096304.tif 000002
【特許請求の範囲】
【請求項１】
画像データに基づいて焦点検出を実行し、焦点検出結果を得る焦点検出手段と、
顔に対応する領域を含む顔領域を検出する顔検出手段と、
前記顔領域の合焦度を、前記焦点検出結果から判定する判定手段と、
前記顔領域の周辺の領域である周辺領域について、前記顔領域の周辺の複数の周辺領域のボケの程度を評価し、ボケの程度が第１の強さである場合は、前記第１の強さよりも弱い第２の強さである場合と比較してより高い評価値を算出するボケ評価手段と、
前記判定手段の判定の結果と前記ボケ評価手段の評価の結果とから、画像の評価値を算出する画像評価手段と、を有し、
前記画像評価手段は、ボケの評価が第１の評価である場合は、前記第１の評価よりも低い第２の評価である場合と比較して、より高い評価値を算出することを特徴とする画像処理装置。
【請求項２】
前記画像評価手段は、ボケの評価の評価値が最大である周辺領域のボケの評価値との差分が所定値以内である周辺領域が、第１の数である場合は前記第１の数よりも小さい第２の数である場合と比較して、より高い評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記焦点検出手段の検出結果の確からしさに対応する信頼度を、画像のコントラストに基づいて算出する信頼度算出手段を有し、
前記ボケ評価手段は、当該信頼度に基づいて評価値を算出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記焦点検出手段は、瞳分割された画像データから焦点検出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記焦点検出手段は、フォーカス位置の異なる複数の画像データから焦点検出することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
絞りの設定に関する情報を取得する取得手段を有し、
前記ボケ評価手段は、前記情報に基づいて評価値を算出することを特徴とする請求項３乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
画像データに基づいて焦点検出を実行し、焦点検出結果を得る焦点検出ステップと、
顔に対応する領域を含む顔領域を検出する顔検出ステップと、
前記顔領域の合焦度を、前記焦点検出結果から判定する判定ステップと、
前記顔領域の周辺の領域である周辺領域について、前記顔領域の周辺の複数の周辺領域のボケの程度を評価し、ボケの程度が第１の強さである場合は、前記第１の強さよりも弱い第２の強さである場合と比較してより高い評価値を算出するボケ評価ステップと、
前記判定ステップでの判定の結果と前記ボケ評価ステップでの評価の結果とから、画像の評価値を算出する画像評価ステップと、を有し、
前記画像評価ステップでは、ボケの評価が第１の評価である場合は、前記第１の評価よりも低い第２の評価である場合と比較して、より高い評価値を算出することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の評価する画像処理装置、及びその制御方法に関する。
【背景技術】
【０００２】
静止画像や動画像を撮像し、メモリーカード等の記録媒体に記録するデジタルカメラでは、記録容量が大幅に増え、多数の画像が記録可能になっている。記録媒体の容量が一杯になった場合はユーザが容量の空き領域を確保するための対応を取る必要がある。例えば、記録媒体に記録された画像データをＰＣ等に転送してから記録媒体を空にすることが考えられる。また、記録済みの画像の中から、ユーザが画像の良し悪しを判断して不要な画像を消去するなどして、記録媒体の空き領域を確保するとが考えられる。
【０００３】
しかし大量の画像をユーザが一枚ずつ確認していくのは大変な負荷となるため、特許文献１のように各画像を特定の評価基準で評価し、ユーザがその評価結果を元に削除候補を容易に抽出できる技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１７５８０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では人物を撮影するポートレートモードにおいて撮影された各画像を評価する場合に、当該人物の周辺の領域において撮影者が加えた表現手法を評価において考慮していない。このため、例えば当該人物の周辺の領域の表現において優れた画像であってもそうでない画像と評価が同等になるか、低くなる場合があり、評価がユーザの意図に沿わない場合がある。
【０００６】
そこで、本発明は、よりユーザの意図に合った画像評価を実行することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面は、画像データ画像データに基づいて焦点検出を実行し、焦点検出結果を得る焦点検出手段と、顔に対応する領域を含む顔領域を検出する顔検出手段と、前記顔領域の合焦度を、前記焦点検出結果から判定する判定手段と、前記顔領域の周辺の領域である周辺領域について、前記顔領域の周辺の複数の周辺領域のボケの程度を評価し、ボケの程度が第１の強さである場合は、前記第１の強さよりも弱い第２の強さである場合と比較してより高い評価値を算出するボケ評価手段と、前記判定手段の判定の結果と前記ボケ評価手段の評価の結果とから、画像の評価値を算出する画像評価手段と、を有し、前記画像評価手段は、ボケの評価が第１の評価である場合は、前記第１の評価よりも低い第２の評価である場合と比較して、より高い評価値を算出するよう構成したことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、よりユーザの意図に合った画像評価を実行することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置のブロック図
【図２】本実施形態の像信号及び相関演算の説明図
【図３】本実施形態の画像評価処理全体を示すフロー図
【図４】実施例１の周辺ボケ評価処理を示すフロー図
【図５】本実施形態の各種評価値の算出方法を示す図
【図６】本実施形態の顔領域及び周辺領域を示す入力画像の例
【図７】実施例２の周辺ボケ評価処理を示すフロー図
【図８】実施例２のＦ値評価値の算出方法を示す図
【発明を実施するための形態】
【００１０】
［実施形態１］
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図１は、本実施形態にかかわる画像処理装置の構成を示すブロック図である。
【００１１】
［撮像装置の構成］
図１に示すように、本実施形態の画像処理装置１０は、顔検出部１１、焦点検出部１２、メモリ部１３、ボケ評価部１４、制御部１５から構成され、外部から画像データや絞り情報（Ｆ値）などが入力され、各種処理を行いその画像の評価値を出力する。画像処理装置１０がＣＭＯＳセンサ等の撮像素子を有し、当該撮像素子から出力された画像を取得するようにしても良い。
【００１２】
顔検出部１１は入力された画像から顔領域を検出する。焦点検出部１２は入力された画像から焦点検出を行い、像ずれ量を算出する。また、焦点検出部１２は、ＡＦ評価値（本実施例の像ずれ量評価値ＰＲＥＤ）と、信頼度（本実施例の信頼度評価値ＣＯＮ）を出力する。ボケ評価部１４は焦点検出結果を元に、画像のボケの具合（程度とも称する）を評価する。制御部１５は各ブロックを制御し、各出力結果を元に画像評価値を算出する。焦点検出部１２及びボケ評価部１４、制御部１５の詳細は後述する。メモリ部１３は各ブロックの中間データや画像データが格納される。
【００１３】
ここで、本実施形態における焦点検出部１２における焦点検出方法について説明する。本実施例では画像処理部１０に入力される画像は視差のある２枚の画像（以下Ａ像、Ｂ像という）であるものとして、その２画像の像ずれ量を求める位相差焦点検出を行う。これら２枚の画像を、瞳分割された画像データとも称する。
【００１４】
本実施例の位相差焦点検出方法について図２を用いて具体的に説明する。
【００１５】
図２（ａ）は、入力されたＡ像、Ｂ像の説明図であり、縦軸は像信号のレベル（値）、横軸は画素位置をそれぞれ示している。一対の位相差検出用信号の像ずれ量を算出するため、相関演算を行う。相関演算では、Ａ像信号およびＢ像信号の画素をシフトさせながら相関量が演算される。図２（ｂ）は、像信号の画素をシフトさせていった時の相関量（以下、相関量波形という）を示す図である。図２（ｂ）において、横軸は画素のシフト量、縦軸はその時のＡ像信号とＢ像信号の相関量をそれぞれ示している。相関量が最大になる位置同士の差が像ずれ量として算出される。相関量を算出する際、二つの像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積を取得する。なお、大きい方の値の累積を取得しても良い。また、これらの値の差分を取得しても良い。累積は、相関を指し示す指標となり、小さい方の値の累積を取得した場合には、この値が最も大きいときが相関の高い時である。なお、大きい方の値の累積を取得した場合、または差分を取得した場合、この値が最も小さい時が相関の高い時となる。
【００１６】
この時、図２（ｃ）の像信号のように画素間で値の変化が少ない場合には、相関の高い箇所が分かり辛い。そのため図２（ｄ）のように相関量の変動が少なくなり、結果として算出される像ずれ量に対して誤差が大きくなってしまう可能性がある。
【００１７】
図２（ｃ）のような像信号は、ピントがあっておらず画像がボケてエッジがなまっている場合や、そもそもエッジ部分のない平坦な領域を撮影している場合に生じる。そのため、像信号の値すなわち輝度値によるコントラストの評価を行い、この評価値から算出した像ずれ量の信頼性を判断する。例えば、輝度値の一番高い値と低い値との差を求めて、この差が大きいほどコントラストがあるものとし、その際の像ずれ量は信頼度が高いと判断するといったようである。本実施例でもこの方法を用いるが、コントラストの評価方法はこれに限ったものではない。
【００１８】
［本実施形態が想定している課題］
ここで、画像処理装置の処理動作を説明する前に、本実施形態で想定している課題の一例について、より詳しく説明する。従来、画像を評価する際の判断基準として、狙った被写体にしっかりピントが合っているかが重要視され、ピントが合っていない画像は撮影に失敗した画像であり低い評価をつける。逆に被写体にピントがしっかり合っていれば高い評価となる。ただし人物を撮影するポートレート撮影においては、撮影したい人物の顔領域にしっかりピントを合わせることに加えて、あえて周辺をボカして被写体を強調する撮影手法が一般的である。つまり人物にピントがしっかりあっているかに加えて、周辺領域も含めてみた場合に被写体がいかに強調されているかも評価すべきである。
【００１９】
そこで本実施形態の画像処理装置は人物の顔領域の合焦度合いに加えて、周辺のボケ具合を評価する。これにより、ユーザの意図に沿ったより正確な画像評価ができる。
【００２０】
［撮像装置の動作］
次に、本実施形態における画像処理装置１０による画像評価値算出までの動作について図３〜６を用いて説明する。図３は、画像評価値算出までの全体の処理手順を示すフローチャートである。なお本実施例においては画像評価値は１〜５の５段階で評価するものとする。
【００２１】
Ｓ３０１において画像データが入力されると顔検出部１１により顔検出を実施する。本実施例ではＡ像のみ行うものとする。
【００２２】
次にＳ３０２において制御部１５は、顔検出部１１によって顔が検出されたか否かを判断する。顔が検出されなかった場合は評価対象外の画像であるため本フローを終了する。顔が検出された場合はＳ３０３に進む。
【００２３】
Ｓ３０３では、顔検出部１１によって検出された顔領域に対して焦点検出部１２により位相差焦点検出を実施する。
【００２４】
次にＳ３０４において、制御部１５は、焦点検出結果から顔領域が合焦しているかどうかを判定する。合焦しているか否かはＡＦ評価値である像ずれ量から判断する。例えば像ずれ量が５以下なら合焦と判定するといったようである。合焦していない場合は失敗画像であるため、Ｓ３０５において画像評価値を最低点の１として本フローを終了する。合焦している場合はＳ３０６に進み、周辺ボケ評価を行う。
【００２５】
ここで周辺ボケ評価の詳細について図４〜６を用いて説明する。図４はＳ３０６の周辺ボケ評価の処理手順を示すフローチャートである。
【００２６】
まずＳ４０１からＳ４０６で、顔領域の周辺への焦点検出が実行される。例えば図６の入力画像６００において、顔検出部１１によって顔領域６０１が検出されたとすると、その周辺領域６１１〜６１５を設定し、焦点検出部１２が順次焦点検出を実施する。
【００２７】
Ｓ４０１で、焦点検出部１２は、周辺の特定領域に対して焦点検出を行い、像ずれ量を算出する。
【００２８】
Ｓ４０２で、焦点検出部１２は、焦点検出結果の像ずれ量から像ずれ量評価値ＰＲＥＤを算出する。像ずれ量の値からどれだけ被写体がボケているかを評価し、ボケているほど高い評価する。具体的には図５（ａ）に示すように像ずれ量が多いほど、像ずれ量評価値ＰＲＥＤを高くするといったようである。
【００２９】
次にＳ４０３で、信頼度算出手段としての焦点検出部１２は、焦点検出結果の信頼度から信頼度評価値ＣＯＮを算出する。本来信頼度は焦点検出結果である像ずれ量がどれだけ信頼性が高いかを示す指標であるが、本実施例においてはボケているほど画像の評価を高くしたい。そのため、周辺領域においてはコントラストが低く信頼度が低いほうが評価を高くするべきである。具体的には画素データが１〜２５６までの範囲である場合に図５（ｂ）に示すようにコントラストの最大最小の差が小さいほど高い評価とする。
【００３０】
Ｓ４０４で、ボケ評価部１４は、枠内ボケ評価値ＢＵＲを像ずれ量評価値ＰＲＥＤと信頼度評価値ＣＯＮとを加算して算出する。
【００３１】
Ｓ４０５で、制御部１５は、全周辺領域に対して枠内ボケ評価値ＢＵＲの算出処理を実行したか判定し、まだの場合はＳ４０６で対象領域を変更する。全周辺領域に対して枠内ボケ評価値ＢＵＲを算出した場合はＳ４０７に進む。
【００３２】
Ｓ４０７では、制御部１５は、全周辺領域の枠内ボケ評価値の最大値ＢＵＲｍａｘを探索する。例えば図６の周辺領域６１１〜６１５の各枠内ボケ評価値が図５（ｃ）で示した値であった場合、ＢＵＲｍａｘは６となる。Ｓ４０８ではＳ４０７で求めたＢＵＲｍａｘとそれに近い値をもつ領域の数、最大ボケ近傍領域数ＢＵＲｎｕｍを算出する。本実施例においては、一例として、評価値の差分が所定値以内の領域を、近い値をもつ領域とする。また、一例として、近い値（所定値）を１と定義する。つまりＢＵＲｍａｘが６であれば５までを近い値として判断する。その場合、図５（ｃ）より周辺領域６１１、６１２、６１３が対象となり、ＢＵＲｎｕｍは３となる。Ｓ４０９では最終的な周辺ボケ評価値ＢＵＲｖａｌを算出する。ＢＵＲｖａｌはＢＵＲｍａｘとＢＵＲｎｕｍを乗算することで算出する。これは各周辺領域でボケが強いほど被写体が強調されるのと同時に、そのようなボケ領域が多いことによっても強調される。そのために最大となるボケ領域が周辺にどれだけあるかで最終的な周辺ボケ評価値を算出する。例えば図５（ｃ）の場合は最大ボケ評価値ＢＵＲｍａｘは６、最大ボケ近傍領域数ＢＵＲｎｕｍは３なので最終的な周辺ボケ評価値ＢＵＲｖａｌは１８となる。
【００３３】
図３のフローチャートの説明に戻る。
【００３４】
Ｓ３０７で、制御部１５は、Ｓ３０６で算出した周辺ボケ評価値から最終的な画像評価値を算出する。具体的には図５（ｄ）に示したように算出する。これは、まず顔にピントがあっていることが前提となっておりその段階で３以上の評価とする。そこに周辺のボケ具合を加味して１〜２点加点するといったようである。例えば画像６００の枠内ボケ評価値が図５（ｃ）である場合の周辺ボケ評価値は１８なので最終的な画像評価値は４となる。
【００３５】
［本実施例による効果］
以上のように、本実施形態では、人物撮影時において顔のピントがあっているかに加えて、周辺のボケ味を評価している。これにより、ユーザの意図に沿った画像評価をすることができる。
【００３６】
［実施形態２］
次に、本発明の実施例２における周辺ボケ評価方法について説明する。実施例１では像ずれ量と信頼度から周辺ボケ評価を行ったが、本実施例ではそれに加えてＦ値の情報も入力として受け取り、Ｆ値情報も考慮して評価する。なお本実施例において、実施例１と同一内容については同一の符号を用いてその説明を省略する。
【００３７】
図７、８を用いて本実施例における周辺ボケ評価方法について説明する。図７は本実施例の周辺ボケ評価全体の処理手順を示すフローチャートである。
【００３８】
Ｓ７０１において、制御部１５は、入力されたＦ値がボケ閾値以下か判定する。本実施例においてはボケ閾値を４とする。
【００３９】
ボケ閾値より大きかった場合は、Ｓ７１２において、ボケ制御部１４が周辺ボケ評価値を０にするよう制御部１５が制御する。これはＦ値が大きく小絞り側の設定とするほど、被写界深度が深くなりボケにくくなるためである。Ｆ値の設定が大きい場合はそもそもユーザは周辺をボカす意図がないと想定される。そのため周辺ボケ評価は実施せず、周辺ボケ評価値を０として本フローチャートを終了する。
【００４０】
Ｓ７０１でＦ値がボケ閾値以下であった場合、Ｓ７０２〜Ｓ７０４において、実施例１の図４のＳ４０１〜Ｓ４０３同様に像ずれ量評価値ＰＲＥＤと信頼度評価値ＣＯＮの算出が実行される。実施例１と同じ処理のため、説明は省略する。
【００４１】
次にＳ７０５において、制御部１５は、Ｆ値評価を行う。Ｆ値評価値Ｆｖａｌは図８に示した図に従って求める。例えば本実施例においてＦ値が２．８であったとするとＦ値評価Ｆｖａｌは２となる。次にＳ７０６において枠内ボケ評価値ＢＵＲを算出する。実施例１においては枠内ボケ評価値ＢＵＲを像ずれ量評価値ＰＲＥＤと信頼度評価値ＣＯＮとを加算して算出したが、本実施例では以下式（１）に示すようにＦ値評価Ｆｖａｌも用いる。
ＢＵＲ  ＝  ＰＲＥＤ  ＋  ＣＯＮ  ×  Ｆｖａｌ  ・・・（１）
【００４２】
上記式（１）に示したようにＦ値評価値Ｆｖａｌを信頼度評価値ＣＯＮと乗算することで絞りの設定が開放側であり、かつ信頼度が低い場合にはより高い評価値となるようにする。絞りを開放側にするということは、周辺をボカしたい意図がユーザにあることが想定されるためである。その場合に遠くを写しているとその周辺領域はエッジがなまり信頼度が低くなる。つまり上記状態はまさにポートレート撮影においてユーザが期待する画像であり、それを高く評価するために上記式（１）を適用する。
【００４３】
Ｓ７０７で、制御部１５は、全周辺領域に対して処理したか判定し、まだの場合はＳ７０８で対象領域を変更する。全周辺領域に対して枠内ボケ評価値を算出した場合はＳ７０９に進む。
【００４４】
Ｓ７０９〜Ｓ７１１では実施例１の図４のＳ４０７〜Ｓ４０９と同様に、全周辺領域の枠内ボケ評価値から周辺ボケ評価値を算出する。実施例１と同じ処理のため説明は省略する。
【００４５】
［本実施例による効果］
以上のように、本実施形態では、人物撮影時において顔のピントがあっているかに加えて、周辺のボケ味を画像情報だけでなく絞りの設定も含めて評価することでよりユーザの意図に沿った画像評価をすることができる。
【００４６】
［その他の構成］
以上のように本実施例の焦点検出方法として位相差焦点検出方式を用いたが、これに限ったものでなく、コントラストＡＦを用いてもよい。その場合は入力画像として視差画像Ａ像Ｂ像ではなく、フォーカス位置の異なる複数枚の画像から焦点検出を行う。その際には視野画像による像ずれ量の代わりにコントラスト変化量の相対比較から物体距離を推定し、その値を評価する。
【００４７】
また、本発明は上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み取り実行する処理でも実現できる。更に、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【００４８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４９】
１１  顔検出部
１２  焦点検出部
１４  ボケ評価部
１５  制御部
【図１】
2020096304.tif 000003
【図２】
2020096304.tif 000004
【図３】
2020096304.tif 000005
【図４】
2020096304.tif 000006
【図５】
2020096304.tif 000007
【図６】
2020096304.tif 000008
【図７】
2020096304.tif 000009
【図８】
2020096304.tif 000010