(57)【要約】【課題】画像が撮影された状況を意識することなく露出判定を行うことができ、多様な露出不良状況に対応した露出不良画像の検出を良好に行うことが可能な画像評価装置を提供する。【解決手段】評価対象画像及び当該評価対象画像の属性情報を対応付けて記憶する画像情報記憶部１３と、画像情報記憶部１３から評価対象画像１００を選択し、当該評価対象画像１００に対して露出判定を行う画像評価部１４とから画像評価システム１２を構成する。この画像評価部１４が、評価対象画像１００から少なくとも２以上の領域を抽出し、各領域毎にエッジ画像を生成し、当該エッジ画像から算出されるエッジ成分の最も高い前記領域を判定領域に選定し、当該判定領域のエッジ成分を基に露出判定を行う。【選択図】図２
2009151396.tif 000002
【特許請求の範囲】
【請求項１】
評価対象画像及び当該評価対象画像の属性情報を対応付けて記憶する画像情報記憶部と、
前記画像情報記憶部から前記評価対象画像を選択し、当該評価対象画像に対して露出良又は露出不良の露出判定を行う画像評価部とを有し、
前記画像評価部は、前記評価対象画像を複数の領域に分割し、当該分割された複数の領域の中から少なくとも２以上の領域を抽出した後、各領域毎にエッジ画像を生成し、当該エッジ画像から算出されるエッジ成分の最も高い前記領域を判定領域に選定し、当該判定領域のエッジ成分を基に前記露出判定を行うよう構成された画像評価装置。
【請求項２】
前記画像評価部は、前記分割された複数の領域のうち、前記評価対象画像の中央付近を含む領域を、少なくとも２以上抽出するよう構成された請求項１に記載の画像評価装置。
【請求項３】
前記画像評価部は、前記評価対象画像に対して顔検出処理を行い、前記分割された複数の領域のうち、当該顔検出処理により顔が検出された領域を含む領域を、少なくとも２以上抽出するよう構成された請求項１に記載の画像評価装置。
【請求項４】
前記画像評価部は、前記評価対象画像から選定した前記判定領域のエッジ成分の値が、閾値以上である場合は、当該評価対象画像を露出良画像と判定し、閾値未満である場合は、当該評価対象画像を露出不良画像と判定するよう構成された請求項１〜３いずれか一項に記載の画像評価装置。
【請求項５】
前記画像評価部は、
前記評価対象画像が露出不良画像と判定された場合に、前記判定領域を更に小領域に分割し、前記小領域毎に求められたエッジ画像から算出されるエッジ成分を基に、前記小領域毎に露出判定を行い、露出不良領域と判定された小領域の数が閾値を超える場合は、当該評価対象画像を露出不良画像と判定し、露出不良領域と判定された小領域の数が閾値以下の場合は、当該評価対象画像を露出良画像と判定するよう構成された請求項４に記載の画像評価装置。
【請求項６】
前記画像評価部は、
前記小領域毎の露出判定を行う際に、当該小領域の各画素（ｍ，ｎ）において、赤成分の強度をＲ（ｍ，ｎ）とし、緑成分の強度をＧ（ｍ，ｎ）とし、青成分の強度をＢ（ｍ，ｎ）とし、各画素において最も大きい成分の値Ｖmax（ｍ，ｎ）、最も小さい成分の値Ｖmin（ｍ，ｎ）及びその差分Ｓ（ｍ，ｎ）を次式
【数１】
2009151396.tif 000011
但し、ｍ，ｎは当該小領域における画素のｘ，ｙ座標値を表す
で定義し、当該Ｖmax（ｍ，ｎ）、Ｖmin（ｍ，ｎ）、及びＳ（ｍ，ｎ）に基づいて露出判定を行うように構成された請求項５に記載の画像評価装置。
【請求項７】
前記画像評価部は、
前記小領域毎の露出判定を行う際に、更に、当該小領域の各画素（ｍ，ｎ）において、赤成分を中心とした彩度Ｓ_red（ｍ，ｎ）、緑成分を中心とした彩度Ｓ_green（ｍ，ｎ）、青成分を中心とした彩度をＳ_blue（ｍ，ｎ）を次式
【数２】
2009151396.tif 000012
但し、ｍ，ｎは当該小領域における画素のｘ，ｙ座標値を表す
で定義し、前記Ｖmax（ｍ，ｎ）、Ｖmin（ｍ，ｎ）、及びＳ（ｍ，ｎ）、並びに、当該Ｓ_red、Ｓ_green、及びＳ_blueに基づいて露出判定を行うように構成された請求項６に記載の画像評価装置。
【請求項８】
前記小領域が、前記判定領域を、複数個に略等分して得られたものである請求項５〜７いずれかに記載の画像評価装置。
【請求項９】
前記画像評価部は、
前記各小領域に対して顔検出処理を行い、当該顔検出処理により顔が検出された小領域に対する露出判定の結果に基づいて、露出良領域の総数又は露出不良領域の総数を加算する際に、顔が検出された前記小領域に対して設定された重み係数を乗算した数を加算するよう構成された請求項５〜８いずれか一項に記載の画像評価装置。
【請求項１０】
前記画像評価部による露出判定の結果を、前記評価対象画像の前記属性情報に露出判定値として設定し、画像情報記憶部に記憶する判定結果設定部を有する請求項１〜９いずれか一項に記載の画像評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像評価装置に関する。
【背景技術】
【０００２】
デジタルカメラ等を中心とする画像等の撮像装置に、測光センサを搭載した上で、この測光センサで測定されたセンサ情報を基に露出状態を判定し、撮影対象画像の照度情報をセンシングし、撮影画像が適正な露出を得られるよう撮影パラメータを調整し、画像を撮像する撮像装置が各種提案されている。また、これらの測光センサを用いた露出判定手法の他に、既に撮影された画像に対して後処理にて、Ｅｘｉｆ情報などの画像情報を読み込み、この画像情報のみを用いて露出判定を行う手法も提案されている（例えば、特許文献１〜３参照）。
【特許文献１】特開２０００−１３４４６７号公報
【特許文献２】特開２００６−１３５５８７号公報
【特許文献３】特開２００２−２４７３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような従来方法のうち、測光センサのセンサ情報を基にした露出判定手法は、撮影後の画像に対する後処理において露出判定をすることを考えた際、すべての画像に対し、有益なセンサ情報（測光情報）が記録されているとは限らず、その適応範囲は測光センサを搭載したカメラ内で露出判定処理を行うケースに限定されている。一方、画像情報のみを用いた露出判定手法のうち、特許文献１に記載された手法は、単純に画像の輝度ヒストグラムの形状により露出の良、不良を判定するものであり、発明者が追実験を行った結果、誤判定が多いという課題があった。
【０００４】
このような誤判定を少なくするために、特許文献２に記載された手法では、露出判定者（以下、ユーザと呼ぶ）に露出不良検出を行う領域（以下、露出判定領域と呼ぶ）を手動で選択させる方式を取った上で、この露出判定領域における露出輝度ヒストグラムの形状を基に、露出判定を行っている。しかし、この手法では、ユーザによる露出判定領域の指定という手間を取らせるため、大量の画像に対してこれらの処理を行うには非効率的であるという課題があった。また、特許文献３に記載された手法では、撮影された画像が逆光若しくは夜間撮影であるかを判定した上で画像の露出判定を行っている。このように逆光若しくは夜間での状況下において機能する手法であるため、晴天、曇天、夕景等における撮影では、露出が全体的にアンダー又はオーバーとなってしまった場合、カメラに搭載された露出判定システムが誤判定を生じることがあり、露出判定システムが有効に機能しないという課題があった。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、画像情報のみを利用して露出の良、不良を判定する場合、画像が撮影された状況を意識することなく露出判定を行うことができ、多様な露出不良状況に対応した露出不良画像の検出を良好に行うことが可能な画像評価装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明に係る画像評価装置は、評価対象画像及び当該評価対象画像の属性情報を対応付けて記憶する画像情報記憶部と、この画像情報記憶部から評価対象画像を選択し、当該評価対象画像に対して露出良又は露出不良の露出判定を行う画像評価部とを有して構成される。そして、画像評価部は、評価対象画像を複数の領域に分割し、当該分割された複数の領域の中から少なくとも２以上の領域を抽出した後、各領域毎にエッジ画像を生成し、当該エッジ画像から算出されるエッジ成分の最も高い領域を判定領域に選定し、当該判定領域のエッジ成分を基に露出判定を行うよう構成される。
【０００７】
このような本発明に係る画像評価装置において、画像評価部は、分割された複数の領域のうち、評価対象画像の中央付近を含む領域を、少なくとも２以上抽出するように構成されることが好ましい。
【０００８】
また、本発明に係る画像評価装置において、画像評価部は、評価対象画像に対して顔検出処理を行い、分割された複数の領域のうち、当該顔検出処理により顔が検出された領域を含む領域を、少なくとも２以上抽出するよう構成されることが好ましい。
【０００９】
更に、本発明に係る画像評価装置において、画像評価部は、評価対象画像から選定した判定領域のエッジ成分の値が、閾値以上である場合は、当該評価対象画像を露出良画像と判定し、閾値未満である場合は、当該評価対象画像を露出不良画像と判定するよう構成されることが好ましい。
【００１０】
また、この場合、画像評価部は、評価対象画像が露出不良画像と判定された場合に、判定領域を更に小領域に分割し、小領域毎に求められたエッジ画像から算出されるエッジ成分を基に、小領域毎に露出判定を行い、露出不良領域と判定された小領域の数が閾値を超える場合は、当該評価対象画像を露出不良画像と判定し、露出不良領域と判定された小領域の数が閾値以下の場合は、当該評価対象画像を露出良画像と判定するよう構成されることが好ましい。
【００１１】
更に、この場合、画像評価部は、小領域毎の露出判定を行う際に、、当該小領域の各画素（ｍ，ｎ）において、赤成分の強度をＲ（ｍ，ｎ）とし、緑成分の強度をＧ（ｍ，ｎ）とし、青成分の強度をＢ（ｍ，ｎ）とし、各画素において最も大きい成分の値Ｖmax（ｍ，ｎ）、最も小さい成分の値Ｖmin（ｍ，ｎ）及びその差分Ｓ（ｍ，ｎ）を次式
【数３】
2009151396.tif 000003
但し、ｍ，ｎは当該小領域における画素のｘ，ｙ座標値を表す
で定義し、当該Ｖmax（ｍ，ｎ）、Ｖmin（ｍ，ｎ）、及びＳ（ｍ，ｎ）に基づいて露出判定を行うように構成されることが好ましい。
【００１２】
また、画像評価部は、この小領域毎の露出判定を行う際に、更に、当該小領域の各画素（ｍ，ｎ）において、赤成分を中心とした彩度Ｓ_red（ｍ，ｎ）、緑成分を中心とした彩度Ｓ_green（ｍ，ｎ）、青成分を中心とした彩度をＳ_blue（ｍ，ｎ）を次式
【数４】
2009151396.tif 000004
但し、ｍ，ｎは当該小領域における画素ののｘ，ｙ座標値を表す
で定義し、前記Ｖmax（ｍ，ｎ）、Ｖmin（ｍ，ｎ）、及びＳ（ｍ，ｎ）、並びに、当該Ｓ_red、Ｓ_green、及びＳ_blueに基づいて露出判定を行うように構成されることが好ましい。
【００１３】
また、この場合、この小領域が、判定領域を、複数個に略等分して得られたものであることが好ましい。
【００１４】
更に、この場合、画像評価部は、各小領域に対して顔検出処理を行い、当該顔検出処理により顔が検出された小領域に対する露出判定の結果に基づいて、露出良領域の総数又は露出不良領域の総数を加算する際に、顔が検出された小領域に対して設定された重み係数を乗算した数を加算するよう構成されることが好ましい。
【００１５】
また、本発明の画像評価装置は、画像評価部による露出判定の結果を、評価対象画像の属性情報に露出判定値として設定し、画像情報記憶部に記憶する判定結果設定部を有することが好ましい。
【発明の効果】
【００１６】
本発明に係る画像評価装置を以上のように構成すると、画像情報のみを利用して露出の良不良を判定する場合、画像が撮影された状況を意識することなく露出判定を行うことができ、多様な露出不良状況に対応した露出不良画像の検出を良好に行うことが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１及び図２を用いて本実施例に係る画像評価装置（画像評価システム１２）の構成について説明する。なお、本実施例においては、この画像評価システム１２を、撮像部１１を有するデジタルカメラ１０に適用した場合について説明する。図１に示すように、このデジタルカメラ１０は、表示再生装置であるディスプレイ２０とビデオ出力線３０を介して接続されている。そして、撮像部１１で撮影されたデジタル画像１００が、ディスプレイ２０の画面Ｇ１に表示される。また、この画面Ｇ１には、本実施例に係る画像評価システム１２で得られたデジタル画像１００の露出判定結果を表示するよう構成してもよい。
【００１８】
図２に示すように、デジタルカメラ１０は、撮像部１１と、この撮像部１１で撮像されたデジタル画像の露出判定を行う画像評価システム１２と、デジタル画像をディスプレイ２０に出力するビデオ出力部１６とから構成される。また、画像評価システム１２は、撮像部１１で撮影されたデジタル画像（評価対象画像１００）及びその属性情報が対応付けられて記憶される画像情報記憶部１３と、この画像情報記憶部１３から評価対象画像１００を選択し、当該評価対象画像１００に対して画像情報を基に露出判定を行う画像評価部１４と、この判定の結果を画像情報記憶部１３に記憶する判定結果設定部１５とから構成される。なお、このデジタルカメラ１０において、撮像部１１は光学系と撮像素子とを有して構成され、光学系により撮像素子の撮像面に結像された像を検出してデジタル画像とし、このデジタル画像と撮影日時等の属性情報を、画像情報記憶部１３に保存記録するように構成されている。
【００１９】
画像記憶部１３に記憶されるデジタル画像は、図３に示すデータ構造５０を有しており、ヘッダ領域５１、属性情報領域５２及び画像情報領域５３から構成されている。ここで、画像情報領域５３は、撮像部１１で撮影されたデジタル画像そのものが記憶される部分である。一方、属性情報領域５２は、デジタル画像の属性情報が記憶される部分であり、本実施例において画像評価システム１２による露出判定結果も記憶される。属性情報領域５２は、この露出判定の結果が記憶される露出判定値領域５２ａ、撮影日時が記憶される撮影日時領域５２ｂ、ＡＦエリア情報が記憶されるＡＦエリア情報領域５２ｃなどから構成される。このようなデータ構造としては、ＪＥＩＤＡで規格されたＥｘｉｆ（Exchangeable  image  file  format）等が知られている。なお、以降の説明では露出判定結果を文字列（露出良：「ｇｏｏｄ」、露出不良：「ｂａｄ」）で表現し、露出判定値領域５２ａに記憶する場合を例にして説明するが、本発明がこの実施例に限定されることはなく、例えば、判定結果の文字列を、数値に変換して露出判定値領域５２ａに記憶するように構成しても良い。
【００２０】
（画像の露出判定及び判定結果の設定）
それでは、図１に示すデジタルカメラの使用例の説明図、図２に示すブロック図、図３に示すデータ構造の説明図、図４、図５に示すフローチャート、並びに図６、図７に示す説明図を用いて、画像評価部１４による画像の露出判定処理及び判定結果の設定処理について説明する。これらの処理は、例えば、撮像部１１により撮影が行われ、画像情報記憶部１３にデジタル画像が登録されたタイミングで起動され、この登録されたデジタル画像に対して処理が実行される。なお、以降の説明では、撮像部１１により登録されたこのデジタル画像を「評価対象画像１００」と呼ぶ。
【００２１】
露出判定処理が起動されると、図４のフローチャートに示すように、画像評価部１４により、まず、画像情報記憶部１３から評価対象画像１００が読み出される（ステップＳ１０）。そして、読み出された評価対象画像１００に対して、露出判定処理が行われる（ステップＳ２０）。次に、判定結果設定部１５により、この画像評価部１４による露出判定の結果が（本実施例では、後述のように、変数「ｅｘｐｏｓｕｒｅ」に対して、露出良の場合は「ｇｏｏｄ」が、露出不良の場合は「ｂａｄ」が設定される）、図３に示す画像情報記憶部１３の露出判定値領域５２ａに記憶される（ステップＳ３０）。この露出判定処理及び判定結果の設定処理（ステップＳ２０及びＳ３０）は、撮影された画像が画像情報記憶部１３に登録された時点で起動された場合には、その登録された画像に対して行われることにより処理が終了し、何らかの操作により画像情報記憶部１３に登録されている画像に対して起動された場合には、評価がされていない全ての評価対象画像１００について行うことにより、処理が終了する。
【００２２】
（露出判定処理）
次に、露出判定処理（ステップＳ２０）について、図５のフローチャートを用いて詳しく説明する。この処理では、評価対象画像のエッジ成分に基づいて露出判定を行う。まず、画像評価部１４において、上述のステップＳ１０で読み出された評価対象画像１００（以下、評価対象画像Ｉと呼ぶ）から、エッジ画像集合Ｉedgeを作成する（ステップＳ１０１）。それには、図６（ａ）に示されるように、与えられた評価対象画像Ｉに対し、下記式（１）で定義するｓｏｂｅｌ  ｆｉｌｔｅｒ（ソーベルフィルター）Ｓh、ＳVを適用し、図６（ｂ）に示されるエッジ画像集合Ｉedgeを求めることにより行う。
【００２３】
【数５】
2009151396.tif 000005
【００２４】
ただし、上記式（１）中、＊は、コンボリュージョン演算を表し、ｍ，ｎは、各画素のｘ，ｙ座標値を表す。
【００２５】
次に、露出の判定対象となる判定領域Ｉedgeの抽出を行う(ステップＳ１０２）。それには、上記でエッジ画像集合Ｉedgeを求めた後、図６（ｂ）に示されるように、このエッジ画像集合Ｉedgeを縦横３等分、計９個の小領域集合｛Ｉsub_n｜ｎ＝１，２，．．．９｝に分割する。その後、評価対象画像Ｉの中央付近領域を含む領域として｛Ｉsub_2，Ｉsub_5，Ｉsub_8｝、｛Ｉsub_4，Ｉsub_5，Ｉsub_6｝の２つの領域を抽出し、それぞれのエッジ画像を、Ｉcand_1，Ｉcand_2と定義する（すなわち、領域毎のエッジ画像の生成を行う）。このＩcand_1,Ｉcand_2において、エッジ成分（すなわち、図６（ｂ）中の黒色でない画素）の数を各々合計し、Ｉcand_1，Ｉcand_2のうち、画素の合計値が多いほうを、当該エッジ画像集合Ｉedgeにおける判定領域Ｉcandとする（図６（ｃ）の模式図）。このＩcandを抽出するための処理を、数式で表したものを下記式（２）に示す。なお、図６（ｂ）は、エッジ画像を明確にするために、実際の処理で用いる画像とは異なり、白黒を反転して表示している。
【００２６】
【数６】
2009151396.tif 000006
【００２７】
ただし、上記式（２）中、添え字ｎ及びｋは、各領域を指定するインデックスを表し、ｓｕｍ（）は、与えられた２値画像の白色画素の総和を求める関数であり、ｍａｘ（）は、Ｉcand_kのうち最大値を返す関数であり、ａｒｇは、ｍａｘ（Ｉcand_k）のうち、最大値となる画像領域のインデックスを返す関数である。また、Ｒｅｇｉｏｎ（Ｉ，Ｉcand_n）は、評価対象画像ＩからＩcand_nに対応する領域を切り出す関数である。
【００２８】
次に、この切り出された画像領域Ｉcandの白色画素の総和ｓｕｍ（Ｉcand）と、予め定められた閾値Ｔcandとの比較を行う（ステップＳ１０３）。ここで、ｓｕｍ（Ｉcand）＜Ｔcand（エッジ成分が閾値未満）であれば、以下に示す露出不良判定処理（ステップＳ１０４〜Ｓ１１２）に移行する。これに対して、ｓｕｍ（Ｉcand）≧Ｔcand（エッジ成分が閾値以上）であれば、ステップＳ１１２に進み、価対象画像Ｉは露出良と判定し、パラメータ「ｅｘｐｏｓｕｒｅ」に「ｇｏｏｄ」を設定して露出判定処理を終了する。
【００２９】
なお、本実施例では、評価対象画像Ｉのエッジ画像集合Ｉedgeを生成した後、Ｉedgeから２つの領域｛Ｉsub_2，Ｉsub_5，Ｉsub_8｝、｛Ｉsub_4，Ｉsub_5，Ｉsub_6｝を抽出し、それぞれのエッジ画像Ｉcand_1、Ｉcand_2を得ている。これに対して、他の異なる実施例として、評価対象画像Ｉから２つの領域｛Ｉsub_2，Ｉsub_5，Ｉsub_8｝、｛Ｉsub_4，Ｉsub_5，Ｉsub_6｝を抽出した後、それぞれの領域についてのみエッジ画像Ｉcand_1、Ｉcand_2を生成するものであってもよい。
【００３０】
（露出不良判定処理）
以下、露出不良判定処理（ステップＳ１０４〜Ｓ１１２）について説明する。この処理では、判定領域Ｉcandの彩度及び明度に基づいて、より詳細に露出判定を行う。ここでは、上記Ｉcandとして、Ｉcand_1＝｛Ｉsub_2，Ｉsub_5，Ｉsub_8｝が選択された場合を例にとって説明を行う。まず、Ｉcandを構成する各小領域｛Ｉsub_k，｜ｋ＝２，５，８｝について、各画素（ｍ，ｎ）に対し、下記式（３）に定義する｛Ｖmax_k（ｍ，ｎ）｝、｛Ｖmin_k（ｍ，ｎ）｝、｛Ｓk（ｍ，ｎ）｝、並びに、下記式（４）に定義する｛Ｓ_redk（ｍ，ｎ）｝、｛Ｓ_greenk（ｍ，ｎ）｝、｛Ｓ_bluek（ｍ，ｎ）｝を求める（ステップＳ１０４）。
【００３１】
【数７】
2009151396.tif 000007
【００３２】
ただし、上記式（３）中、ｍ，ｎは小領域における画素のｘ，ｙ座標値を表し、ｋは小領域のインデックス（ｋ＝２，５，８）を表す。Ｒ_k（ｍ，ｎ）は、Ｉcand_kの各画素（ｍ，ｎ）における赤成分の強度を表し、Ｇ_k（ｍ，ｎ）は緑成分の強度を表し、Ｂ_k（ｍ，ｎ）は青成分の強度を表す。各画素において最も大きい成分の値｛Ｖmax_k（ｍ，ｎ）｝、最も小さい成分の値｛Ｖmin_k（ｍ，ｎ）｝及びその差分｛Ｓk（ｍ，ｎ）｝を求める。
【００３３】
【数８】
2009151396.tif 000008
【００３４】
但し、上記式（４）中、ｍ，ｎは小領域における画素のｘ，ｙ座標値を表し、ｋは小領域のインデックス（ｋ＝２，５，８）を表す。また、ｗｉｄｔｈｋ及びｈｅｉｇｈｔkは、各小領域の幅と高さをそれぞれ表す。Ｓ_redk（ｍ，ｎ）は赤成分を中心とした彩度、Ｓ_reenk（ｍ，ｎ）は緑成分を中心とした彩度、Ｓ_bluek（ｍ，ｎ）は青成分を中心とした彩度を表す。このように、ＲＧＢ各色に対応する彩度を定義し、これらの彩度を露出判定に用いることにより、より精細な露出判定を行うことができる。＿
【００３５】
その後、上記ステップＳ１０４で求めたＳk（ｍ，ｎ）、Ｖmax_k（ｍ，ｎ）、Ｖmin_k（ｍ，ｎ）、Ｓ_redk（ｍ，ｎ）、Ｓ_greenk（ｍ，ｎ）及びＳ_bluek（ｍ，ｎ）を用いて、露出不良判定値ｅｘｐｖund_k及びｅｘｐｖov_kを求める(ステップＳ１０５）。それには、まず、予め設定された閾値Ｔs_und、Ｔs_ov、Ｔmax、Ｔmin、Ｔred、Ｔgreen及びＴblueを用いて用いて、各小領域ごとに、下記式（５）で定義される判定式を満たす画素の個数Ｃund_k及びＣov_kを求める。次に、これらの個数を基に下記式（５）に定義するｅｘｐｖund_k及びｅｘｐｖov_kを求める。
【００３６】
【数９】
2009151396.tif 000009
【００３７】
ただし、上記式（５）中、ｍ，ｎは小領域における画素のｘ，ｙ座標値を表し、ｋは、各小領域を指定するインデックス（ｋ＝２，５，８）を表し、ｃｏｕｎｔ（）は、関数内の判定式を満たす画素の個数を数え上げることを意味する関数を表す。また、ｗｉｄｔｈｋ及びｈｅｉｇｈｔkは、各小領域Ｉsub_kの幅と高さをそれぞれ表す。
【００３８】
上記ステップＳ１０５でｅｘｐｖund_k及びｅｘｐｖov_kを求めた後、予め設定された閾値Ｔund及びＴovを用いて、評価対象画像Ｉについて露出良、露出不良を判定する処理を行う（以下で説明するステップＳ１０６〜Ｓ１１２）。まず、ステップＳ１０６では、ある小領域Ｉsub_kに対するｅｘｐｖund_k及びｅｘｐｖov_kが、下記式（６）で定義される判定式を満たすか否か判定する。判定式を満たす場合、すなわち、露出アンダー及び露出オーバーの小領域のいずれかが少なくとも１つ以上存在する場合は、当該小領域Ｉsub_kを「露出不良領域」と判定し（ステップＳ１０７）。判定式を満たさない場合、すなわち、露出アンダー及び露出オーバーの小領域のいずれも存在しない場合は、当該小領域Ｉsub_kを「露出良領域」と判定する（ステップＳ１０８）。
【００３９】
【数１０】
2009151396.tif 000010
【００４０】
全ての小領域Ｉsub_kに対して露出良、不良の判定を行ったか判定し（ステップＳ１０９）、判定すべき小領域がまだ存在する場合は、上記のステップＳ１０６〜ステップＳ１０８の処理を繰り返す。
【００４１】
全ての小領域Ｉsub_kに対して、上記露出判定を行った場合は、次に、上記ステップＳ１０７で「露出不良領域」と判定されたＩsub_kの集合が、判定領域Ｉcandに対して、どの程度の領域を占めるか判定する（ステップＳ１１０）。それには、当該判定領域Ｉcandにおいて、ある一定の範囲を超える領域で露出不良と判定された場合（閾値超）、評価対象画像Ｉを「露出不良画像」と判定し、パラメータ「ｅｘｐｏｓｕｒｅ」に「ｂａｄ」を設定する（ステップＳ１１１）。なお、この実施例では、評価対象画像Ｉが「露出不良画像」であると判定される条件は、Ｉcandにおいて、過半数を超える小領域が「露出不良領域」と判定されていることである。そのため、｛Ｉsub_k｝（ｋ＝２，５，８）のうち、２以上の小領域において「露出不良領域」と判定された場合、当該評価対象画像Ｉを「露出不良画像」とする。
【００４２】
上記以外の場合、すなわち、露出不良と判定された小領域が一定の範囲以下（この実施例では「露出不良領域」と判定された小領域が１以下）である場合（閾値以下）、評価対象画像Ｉを「露出良画像」と判定し、パラメータｅｘｐｏｓｕｒｅに「ｇｏｏｄ」を設定する（ステップＳ１１２）。
【００４３】
このように、評価対象画像の露出判定を行う際に、エッジ成分や彩度、明度などを用い、これらを定義する各条件式の閾値を適切に設定することにより、露出アンダー、露出オーバーなど、多様な露出状況に対応した露出判定が行え、露出不良の画像を良好に検出することができる。また、従来技術では、測光データなどの撮影時の情報を使用する必要があったが、本実施例では、画像が撮影された状況を意識することなく、画像情報記憶部１３に記憶された画像情報のみを用いて露出判定を行うことができる。
【００４４】
上記の実施例では、評価対象画像Ｉの中央付近領域を含む高さ方向及び幅方向の２つの領域Ｉcand_1、Ｉcand_2を抽出し、これらの中から判定領域Ｉcandを選択しているが、他の異なる実施例として、例えば、高さ方向、幅方向及び斜め方向など中央付近領域を含む３つ以上の領域を抽出し、これらの中から判定領域Ｉcandを選択してもよい。また、評価対象画像Ｉに対して、従来公知の顔検出機能を用いた処理を行い、このような顔検出処理により顔が検出された領域を中心として、２つ以上の領域を抽出し、これらの中から判定領域Ｉcandを選択してもよい。顔検出機能を用いた手法を下記に詳述する。また、上記の実施例では、エッジ画像集合を縦横を３分割して全体として９分割した場合について説明したが、本発明がこの実施例に限定されることはなく、それ以上の分割数でも良いし、それ以下の分割数でも良い。
【００４５】
［顔検出処理を用いた判定領域の選択手順］
ここで、上記の顔検出機能を用いた実施例において、ステップＳ１０２の判定領域Ｉcandの抽出手順について、図７を用いて説明する。ここでいう顔検出機能とは、評価対象画像中から人間の顔を検出する機能のことであり、その出力情報として、画像中に存在する顔の個数、画像中の顔の位置、顔のサイズを出力するものが既にデジタルカメラ分野やセキュリティ分野等で実用化されている。本実施例においても、同様の出力情報が得られる顔検出機能を用いることを前提とする。
【００４６】
まず、露出判定のための判定領域Ｉcandを選択する前提として、前処理として上記のような顔検出機能により、顔の個数及び個々の顔の位置、サイズが情報として得られているものとする。次に、先に述べた実施例と同様に、評価対象画像Ｉを小領域Ｉsub_kに分割した後、各小領域中で顔が占める割合が大きいものから順に３つの小領域を選択し、Ｉcand＝{Ｉsub_k}とする。図７の説明図においてはＩcand＝｛Ｉsub_5，Ｉsub_6，Ｉsub_9｝が選択される。その後、抽出したＩcandの各小領域に対し、ステップＳ１０１で作成されたエッジ画像集合Ｉedgeに基づいて、Ｉcandのエッジ成分を求める。このエッジ成分を基に、ステップＳ１０３以降の処理に従って、前述した実施例で用いた手法と同様に露出判定を行い、評価対象画像Ｉの露出判定を行う。なお、顔検出の結果のみから、３つの小領域が抽出できなかった場合（すなわち、顔の存在する小領域が１つ又は２つしか無かった場合）、顔の占める割合が最も大きい小領域に隣接する小領域において、前述のエッジ成分を求め、エッジ成分の多い小領域を選択し、当該判定領域Ｉcandに含めるものとする。
【００４７】
［顔検出処理を用いた小領域の露出判定］
更に異なる実施例として、露出不良判定処理（ステップＳ１０４〜Ｓ１１２）において、上記で選択された判定領域Ｉcandの各小領域Ｉsub_kに対して、前述のような顔検出機能を用いて顔検出処理を行い、当該顔検出処理により顔が検出された小領域に対して、露出判定を重点的に行うよう重み付けを行ってもよい。そして、この重み付けに応じて、画像評価部１４において、評価対象画像Ｉの露出判定を行うよう構成する。例えば、顔が検出された小領域に対して重み係数を設定しておき（例えば、重み係数＝２）、ステップＳ１０７において、露出不良領域と判定された小領域の数に、この重み係数を乗算する。すると、露出不良領域と判定された数が１のみであっても、乗算結果が２となるため、ステップＳ１１０において、「２以上」と判定されることとなり、当該評価対象画像Ｉが「露出不良画像」と判定される。また、顔以外の要素について、重み付けを行ってもよい。これらの重み付けは、システム中に各要素に対する重み係数を記憶しておき、この重み係数に応じて、画像評価部１４が露出判定を行うよう構成することができる。また、図示はしないが、重み係数設定部を設け、ユーザが重み係数の値を任意に設定、修正できるようにして、露出判定に対してユーザの好みを反映できるようにしてもよい。
【００４８】
デジタルカメラ１０に、以上のような画像評価システム１２を設けると、画像情報記憶部１３に記憶されたデジタル画像に対して、露出アンダー、露出オーバーなど、多様な露出不良状況に対応した露出不良画像の検出を良好に行うことができる。そのため、デジタル画像の整理などを行う場合に、露出良の画像と露出不良の画像との分類作業や、削除、印刷、表示、保存などの整理作業を、効率的に行うことができる。
【００４９】
なお、以上の実施例においては、画像評価システム１２をデジタルカメラ１０に設けた場合について説明したが、本発明がこの実施例に限定されることはなく、例えば、この画像評価システム１２を備える専用の画像表示装置として構成する場合や、ネットワークに接続されたサーバにこの画像評価システム１２を実装し、ネットワークに接続された端末（デジタルカメラ、携帯電話、ＰＤＡ又はパーソナルコンピュータ）からこのサーバにデジタル画像を転送して露出判定を行うように構成しても同様の効果を得ることができる。
【図面の簡単な説明】
【００５０】
【図１】本発明に係る画像評価システムが設けられたデジタルカメラの使用方法を説明する説明図である。
【図２】上記デジタルカメラの構成を示すブロック図である。
【図３】デジタル画像のデータ構造を説明するための説明図である。
【図４】画像の露出判定及び判定結果の設定の処理を示すフローチャートである。
【図５】露出判定処理を示すフローチャートである。
【図６】評価対象画像Ｉから判定領域Ｉcandを抽出する手順を説明するための説明図である。
【図７】顔検出処理を用いて評価対象画像Ｉから判定領域Ｉcandを抽出する手順を説明するための説明図である。
【符号の説明】
【００５１】
１０  デジタルカメラ    １１  撮像部    １２  画像評価システム（画像評価装置）
１３  画像情報記憶部    １４  画像評価部    １５  判定結果設定部
５２  属性情報（属性情報領域）    ５２ａ  露出判定領域
１００  評価対象画像
【図２】
2009151396.tif 000013
【図３】
2009151396.tif 000014
【図４】
2009151396.tif 000015
【図５】
2009151396.tif 000016
【図７】
2009151396.tif 000017
【図１】
2009151396.tif 000018
【図６】
2009151396.tif 000019