(57)【要約】      （修正有）【課題】画像に含まれる顔の情報を用いて、より精度良く画像の評価を行う。【解決手段】情報取得部３０が、顔を含む画像から顔のサイズおよび位置の情報を取得する。評価値算出部３２が、情報取得部３０が取得した顔のサイズおよび位置の情報に基づいて、画像の評価結果を表す評価値を算出する。顔のサイズ、向き、及び数に応じて予め決定された重み付け関数から重み付け係数を求め、この重み付け係数と距離情報に基づいて評価値を求める。【選択図】図１
2007213559.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの顔を含む画像から該顔のサイズおよび位置の情報を取得する情報取得手段と、
前記顔のサイズおよび位置の情報に基づいて統計的に前記画像の評価結果を表す評価値を算出する評価値算出手段とを備えたことを特徴とする画像評価装置。
【請求項２】
前記情報取得手段は、前記顔の数の情報をさらに取得する手段であり、
前記評価値算出手段は、さらに前記顔の数の情報に基づいて前記評価値を算出する手段であることを特徴とする請求項１記載の画像評価装置。
【請求項３】
前記情報取得手段は、前記画像に含まれる顔の前記画像の最も中心に位置する顔からの距離の情報を取得する手段であり、
前記評価値算出手段は、さらに前記距離の情報に基づいて前記評価値を算出する手段であることを特徴とする請求項１または２記載の画像評価装置。
【請求項４】
前記情報取得手段は、前記顔の向きの情報をさらに取得する手段であり、
前記評価値算出手段は、さらに前記顔の向きの情報に基づいて前記評価値を算出する手段であることを特徴とする請求項１から３のいずれか１項記載の画像評価装置。
【請求項５】
少なくとも１つの顔を含む画像から該顔のサイズおよび位置の情報を取得し、
前記顔のサイズおよび位置の情報に基づいて統計的に前記画像の評価結果を表す評価値を算出することを特徴とする画像評価方法。
【請求項６】
少なくとも１つの顔を含む画像から該顔のサイズおよび位置の情報を取得する手順と、
前記顔のサイズおよび位置の情報に基づいて統計的に前記画像の評価結果を表す評価値を算出する手順とを有することを特徴とする画像評価方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる顔を用いて画像の評価を行う画像評価装置および方法並びに画像評価方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの普及と画像を保存しておくための記録媒体の容量が飛躍的に大きくなったことにより、ユーザは多くの画像を１つの媒体内に保持することが可能になってきている。その一方で、プリント等の処理をすべき画像を膨大な画像の中から選ぶという手間が生じており、効率的に画像を選択するために、画像を評価することにより、最終的にユーザがプリントする画像として判断する前にある程度の条件で画像を絞り込む機能や、ユーザの嗜好に合わせてプリントに適した画像を選択する機能が求められている。
【０００３】
例えば、特許文献１には、画像の明るさ・加速度センサ・ＡＦ評価のいずれかを基準に画像を評価し、評価結果を用いてプリントに不適切な写真を自動的に省く手法が開示されている。
【０００４】
また、特許文献２には、画像に含まれる人物の顔の向きを判定し、判定結果に基づいて画像の評価値を算出し、算出した評価値に基づいて複数の画像から所望の画像を選択する手法が開示されている。
【０００５】
さらに、特許文献３には、画像において顔が占める割合、目の開き具合、顔の向き、ピント、ブレおよび明るさ等の複数の評価項目を総合した評価結果を用いて画像を評価する手法が開示されている。
【特許文献１】特開２００２−１０１７９号公報
【特許文献２】特開２００４−３６１９８９号公報
【特許文献３】特開２００２−３５８５２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように画像に含まれる顔に基づいて画像の評価を行う手法は各種提案されている。しかしながら、上記特許文献１〜３に記載された手法は、評価項目毎の評価値を単純に算出することにより画像の評価を行っているため、実際に画像を見た者の主観的な評価を必ずしも反映したものとはならず、画像を見た者の評価と算出した評価とが異なるものとなってしまう場合がある。
【０００７】
本発明は上記事情に鑑みなされたものであり、画像に含まれる顔の情報を用いて、より精度良く画像の評価を行うことを目的とする。
【課題を解決するための手段】
【０００８】
本発明による画像評価装置は、少なくとも１つの顔を含む画像から該顔のサイズおよび位置の情報を取得する情報取得手段と、
前記顔のサイズおよび位置の情報に基づいて統計的に前記画像の評価結果を表す評価値を算出する評価値算出手段とを備えたことを特徴とするものである。
【０００９】
具体的には、前記評価値算出手段を、各種顔のサイズおよび位置に応じてあらかじめ決定された第１の重みづけ関数を参照し、前記顔のサイズおよび位置の情報に応じて前記第１の重みづけ関数から求めた第１の重み係数を前記評価値として算出する手段とすればよい。
【００１０】
「評価値」とは、Ｓ／Ｎ比や解像度等の画像から定量的に算出することが可能な値ではなく、画像の評価を欲するユーザの可能評価レベルと相関を持つように算出された予測値を意味する。
【００１１】
ここで、「統計的」とは、評価値を算出するための重みづけ関数を求めるに際し、いくつかの仮説に基づいて演繹的に求めるのではなく、多数のサンプル画像の中から選択された好ましいとされる画像を正解データとして、帰納的に求めることを意味する。なお、正解データはどのように選択してもよいが、被験者が実際に選択した正解データを用いることが好ましい。また、重みづけ関数を求めるためのサンプル画像数は、３００以上、好ましくは１０００以上あることが好ましい。
【００１２】
なお、本発明による画像評価装置においては、前記情報取得手段を、前記顔の数の情報をさらに取得する手段とし、
前記評価値算出手段を、さらに前記顔の数の情報に基づいて前記評価値を算出する手段としてもよい。
【００１３】
この場合において、前記評価値算出手段を、各種顔の数に応じてあらかじめ決定された第２の重みづけ関数を参照し、前記顔の数の情報に応じて前記第２の重みづけ関数から第２の重み係数を求め、個々の顔について前記第１の重み係数を前記第２の重み係数により重みづけすることにより該個々の顔についての評価値である仮の評価値を算出し、すべての前記顔について算出した仮の評価値を加算することにより前記評価値を算出する手段としてもよい。
【００１４】
また、前記評価値算出手段を、各種顔のサイズおよび数に応じてあらかじめ決定された第３の重みづけ関数を参照し、前記顔の数の情報および前記顔のサイズの情報に応じて前記第３の重みづけ関数から第３の重み係数を求め、個々の顔について前記第１の重み係数を前記第３の重み係数により重みづけすることにより該個々の顔についての評価値である仮の評価値を算出し、すべての前記顔について算出した仮の評価値を加算することにより前記評価値を算出する手段としてもよい。
【００１５】
また、本発明による画像評価装置においては、前記情報取得手段を、前記画像に含まれる顔の前記画像の最も中心に位置する顔からの距離の情報を取得する手段とし、
前記評価値算出手段を、さらに前記距離の情報に基づいて前記評価値を算出する手段としてもよい。
【００１６】
この場合において、前記評価値算出手段を、画像に含まれる顔の位置に応じてあらかじめ決定された第４の重みづけ関数を参照し、前記距離の情報に応じて前記第４の重みづけ関数から第４の重み係数を求め、前記画像の中心に最も近い顔からの距離に応じて前記第１の重み係数または前記仮の評価値を重みづけし、重みづけられた前記第１の重み係数を前記評価値として算出する、または前記すべての顔について算出した前記重みづけられた仮の評価値を加算することにより前記評価値を算出する手段としてもよい。
【００１７】
また、本発明による画像評価装置においては、前記情報取得手段を、前記顔の向きの情報をさらに取得する手段とし、
前記評価値算出手段を、さらに前記顔の向きの情報に基づいて前記評価値を算出する手段としてもよい。
【００１８】
この場合において、前記評価値算出手段を、各種顔の向きに応じてあらかじめ決定された第５の重みづけ関数を参照し、前記顔の向きの情報に応じて前記第５の重みづけ関数から第５の重み係数を求め、前記第１の重み係数、前記仮の評価値または前記第４の重み係数により重みづけられた第１の重み係数を前記第５の重み係数により重みづけし、重みづけられた前記第１の重み係数または前記第４の重み係数により重みづけられた前記第１の重み係数を前記評価値として算出する、または前記すべての顔について算出した前記重みづけられた仮の評価値を加算することにより前記評価値を算出する手段としてもよい。
【００１９】
本発明による画像評価方法は、少なくとも１つの顔を含む画像から該顔のサイズおよび位置の情報を取得し、
前記顔のサイズおよび位置の情報に基づいて統計的に前記画像の評価結果を表す評価値を算出することを特徴とするものである。
【００２０】
なお、本発明による画像評価方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２１】
本発明によれば、少なくとも１つの顔を含む画像から顔のサイズおよび位置の情報が取得され、顔のサイズおよび位置の情報に基づいて統計的に画像の評価結果を表す評価値が算出される。このため、評価値に画像を見る者の平均的な趣向を反映させることができ、これにより、より精度良く画像を評価することができる。
【００２２】
また、評価値に基づいて複数の画像から画像を選択するようにすれば、画像を見る者の平均的な趣向を反映させてより適切に画像を選択することができる。
【００２３】
また、顔の数の情報をさらに取得し、さらに顔の数の情報に基づいて評価値を算出することにより、さらに精度良く画像を評価することができる。
【００２４】
また、画像に含まれる顔の最も中心に位置する顔からの距離の情報をさらに取得し、さらに距離の情報に基づいて評価値を算出することにより、さらに精度良く画像を評価することができる。
【００２５】
また、顔の向きの情報をさらに取得し、さらに顔の向きの情報に基づいて評価値を算出することにより、さらに精度良く画像を評価することができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像評価装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像評価装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。
【００２７】
また、画像評価装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム、後述するように統計的に求めた重みづけテーブル等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示を制御する表示制御部２８とを備える。
【００２８】
また、画像評価装置１は、画像から顔についての情報を取得する情報取得部３０と、情報取得部３０が取得した情報に基づいて画像の評価結果を表す評価値を算出する評価値算出部３２とを備える。
【００２９】
以下、情報取得部３０および評価値算出部３２の機能について、本実施形態において行われる処理と併せて説明する。なお、以降の説明においては、画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。
【００３０】
図２は本発明の第１の実施形態において行われる画像評価処理のフローチャートである。ここで、第１の実施形態においては、顔のサイズおよび位置の情報に基づいて評価値を算出するものである。ユーザが入力部１６から画像の評価開始の指示を行うことによりＣＰＵ１２が処理を開始し、まずハードディスク２４から画像を読み出し（ステップＳＴ１）、評価値の初期値を０に設定する（評価値＝０、ステップＳＴ２）。次いで、情報取得部３０が画像から人物の顔領域を検出する（ステップＳＴ３）。具体的には、例えば画像における肌色を有しかつ顔の輪郭形状を囲む矩形の領域を顔領域として検出する。なお、顔の輪郭形状をなす領域を顔領域として検出してもよい。また、顔領域を検出する手法はこれに限定されるものではない。ここで、顔が複数含まれている場合にはすべての顔領域を検出する。
【００３１】
次いで情報取得部３０が、画像に顔領域が含まれるか否かを判定し（ステップＳＴ４）、ステップＳＴ４が否定されると処理を終了する。ステップＳＴ４が肯定されると、検出した顔領域から画像に含まれる顔のサイズおよび位置の情報を取得する（ステップＳＴ５）。なお、顔のサイズとしては、顔領域内の画素数や顔領域の画像全体に対する割合を用いることができる。
【００３２】
顔のサイズの情報としては、顔領域のサイズを大中小の３段階で表したものを使用する。具体的には、あらかじめ２つのしきい値Ｔｈ１，Ｔｈ２（Ｔｈ１＜Ｔｈ２）を用意しておき、顔領域のサイズ≦Ｔｈ１の場合に顔のサイズ＝小とし、Ｔｈ１＜顔領域のサイズ≦Ｔｈ２の場合に顔のサイズ＝中とし、Ｔｈ２＜顔領域のサイズの場合に顔のサイズ＝大とする。
【００３３】
一方、顔の位置の情報としては、顔領域の中心の位置（例えば顔領域が矩形の場合、対角線の交点）の座標値の画像の横および縦方向の長さに対する割合を百分率にて表した値を使用する。なお、座標は画像を横長となるように配置した場合の横方向をｘ軸、縦方向をｙ軸とする。ここで、画像のｘ方向の長さが１００、ｙ方向の長さが５０であり、顔領域の中心の位置の座標が（３０，２５）であったとすると、顔の位置の情報は（３０，５０）となる。
【００３４】
ここで、第１の実施形態においては、ハードディスクに顔のサイズおよび位置に応じてあらかじめ決定された重みづけテーブルが保存されている。図３および図４は顔のサイズおよび位置についての重みづけテーブルを示す図である。なお、重みづけテーブルＬＵＴ１〜ＬＵＴ３、ＬＵＴ１１〜ＬＵＴ１３は、複数の被験者に対して、各種顔のサイズおよび位置を有する多数のサンプル画像から、各被験者が好ましいと思うサンプル画像を選択させるテストを行わせた結果に基づいて決定されたものであり、各サンプル画像を選択した被験者数の全被験者数に対する割合を重み係数としている。また、重みづけテーブルＬＵＴ１〜ＬＵＴ３、ＬＵＴ１１〜ＬＵＴ１３においては、最も多くの被験者が選択した画像についての重み係数が１となるように重み係数を規格化している。また、図３に示すように重みづけテーブルＬＵＴ１〜ＬＵＴ３は、顔のサイズが大中小のそれぞれについて横軸に縦方向（ｙ方向）の位置の情報を、縦軸に重み係数をプロットしたものである。また、図４に示すように重みづけテーブルＬＵＴ１１〜ＬＵＴ１３は、顔のサイズが大中小のそれぞれについて横軸に横方向（ｘ方向）の位置の情報を、縦軸に重み係数をプロットしたものである。
【００３５】
そして、評価値算出部３２が、重みづけテーブルＬＵＴ１〜ＬＵＴ３，ＬＵＴ１１〜ＬＵＴ１３から顔のサイズに応じた重みづけテーブルを選択する（ステップＳＴ６）。
【００３６】
図５は重みづけテーブル選択処理のフローチャートである。評価値算出部３２は、情報取得部３０が取得した顔のサイズの情報を取得し（ステップＳＴ２１）、顔のサイズを判断する（ステップＳＴ２２）。そして、顔のサイズ＝大の場合には顔のサイズ大用の重みづけテーブルＬＵＴ１，ＬＵＴ１１をハードディスク２４から読み出し（ステップＳＴ２３）、処理を終了する。また、顔のサイズ＝中の場合には顔のサイズ中用の重みづけテーブルＬＵＴ２，ＬＵＴ１２をハードディスク２４から読み出し（ステップＳＴ２４）、処理を終了する。さらに、顔のサイズ＝小の場合には顔のサイズ小用の重みづけテーブルＬＵＴ３，ＬＵＴ１３をハードディスク２４から読み出し（ステップＳＴ２５）、処理を終了する。
【００３７】
次いで、評価値算出部３２は、選択した重みづけテーブルを参照して重み係数を取得する（ステップＳＴ７）。なお、第１の実施形態においては、ｘ方向およびｙ方向についての２つの重みづけテーブルが選択されるため、２つの重み係数が取得される。そして、重み係数を加算することにより画像の仮の評価値を算出し（ステップＳＴ８）、仮の評価値を現在の評価値に加算して加算結果を新たな評価値とする（ステップＳＴ９）。そして、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が否定されると処理を終了する。ステップＳＴ１０が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ１１）、ステップＳＴ５に戻り、ステップＳＴ５以降の処理を繰り返す。
【００３８】
これにより、画像に顔領域が１つのみ含まれる場合には、ステップＳＴ９において算出した新たな評価値が最終的な評価値として算出される。また、画像に複数の顔領域が含まれる場合には、各顔領域について算出した仮の評価値を加算することにより最終的な評価値が算出される。
【００３９】
このように第１の実施形態によれば、画像から顔のサイズおよび位置の情報を取得し、顔のサイズおよび位置の情報に基づいて統計的に画像の評価結果を表す評価値を算出するようにしたため、評価値に画像を見る者の平均的な趣向を反映させることができ、これにより、より精度良く画像を評価することができる。
【００４０】
なお、上記第１の実施形態においては、情報取得部３０が顔のサイズの情報として、大中小の３通りの情報を取得しているが、顔領域内の画素数や顔領域の画像全体に対する割合等をそのまま顔のサイズの情報として用いてもよい。この場合、評価値算出部３２が重みづけテーブルを選択する際に、顔のサイズの情報と上記しきい値Ｔｈ１，Ｔｈ２を用いて、顔のサイズの大中小を判断することとなる。また、この場合、顔のサイズの情報を用いて重みづけテーブルを線形補間して求めるようにしてもよい。例えば、顔のサイズが顔のサイズ大と顔のサイズ中との間のサイズである場合には、顔のサイズ大用の重みづけテーブルＬＵＴ１，ＬＵＴ１１と顔のサイズ中用の重みづけテーブルＬＵＴ２，ＬＵＴ１２とを線形補間して新たな重みづけテーブルを求め、これを用いて重み係数を求めるようにしてもよい。
【００４１】
次いで、本発明の第２の実施形態について説明する。図６は本発明の第２の実施形態において行われる画像評価処理のフローチャートである。ここで、第２の実施形態においては、顔のサイズおよび位置の情報に加えて顔の向きの情報にも基づいて評価値を算出するものである。ユーザが入力部１６から画像の評価開始の指示を行うことによりＣＰＵ１２が処理を開始し、まずハードディスク２４から画像を読み出し（ステップＳＴ３１）、評価値の初期値＝０に設定する（ステップＳＴ３２）。次いで、情報取得部３０が画像から人物の顔領域を検出する（ステップＳＴ３３）。
【００４２】
次いで情報取得部３０が、画像に顔領域が含まれるか否かを判定し（ステップＳＴ３４）、ステップＳＴ３４が否定されると処理を終了する。ステップＳＴ３４が肯定されると、検出した顔領域から画像に含まれる顔のサイズおよび位置の情報、並びに顔の向きの情報を取得する（ステップＳＴ３５）。ここで、顔の向きの情報とは顔領域に含まれる顔の向きが正面または横であることを表す情報である。なお、顔の向きは検出した顔からさらに目を検出し、検出した目が２つある場合には正面、１つの場合には横向きであるとすればよい。また、顔領域から顔の向きを表す特徴量を求め、その特徴量を用いて顔の向きが正面か横かを決定するようにしてもよい。
【００４３】
そして、評価値算出部３２が、重みづけテーブルＬＵＴ１〜ＬＵＴ３，ＬＵＴ１１〜ＬＵＴ１３から顔のサイズに応じた重みづけテーブルを選択する（ステップＳＴ３６）。次いで、評価値算出部３２は、選択した重みづけテーブルを参照して、顔のサイズおよび位置に応じた重み係数を取得する（ステップＳＴ３７）。なお、第２の実施形態においても、ｘ方向およびｙ方向についての２つの重みづけテーブルが選択されるため、２つの重み係数が取得される。
【００４４】
さらに、評価値算出部３２は、顔の向きに応じた重み係数を取得する（ステップＳＴ３８）。ここで、ハードディスク２４には、顔の向きに応じた重み係数を求めるための関数が保存されている。この関数は、顔の向きの情報が正面である場合に重み係数＝１を、横向きである場合に重み係数＝０．５の値を与えるものである。
【００４５】
そして、顔のサイズおよび位置に応じた重み係数を加算し、これに顔の向きに応じた重み係数を乗算することにより画像の仮の評価値を算出し（ステップＳＴ３９）、仮の評価値を現在の評価値に加算して加算結果を新たな評価値とする（ステップＳＴ４０）。そして、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ４１）、ステップＳＴ４１が否定されると処理を終了する。ステップＳＴ４１が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ４２）、ステップＳＴ３５に戻り、ステップＳＴ３５以降の処理を繰り返す。
【００４６】
これにより、画像に顔領域が１つのみ含まれる場合には、ステップＳＴ４０において算出した新たな評価値が最終的な評価値として算出される。また、画像に複数の顔領域が含まれる場合には、各顔領域について算出した仮の評価値を加算することにより最終的な評価値が算出される。
【００４７】
このように第２の実施形態によれば、第１の実施形態に加えて、さらに顔の向きの情報をも用いて画像の評価結果を表す評価値を算出するようにしたため、評価値に画像を見る者の平均的な趣向を反映させることができ、これにより、より精度良く画像を評価することができる。
【００４８】
なお、上記第２の実施形態においては顔の向きに応じた重み係数を、顔のサイズおよび位置に応じた重み係数に乗算することにより仮の評価値を算出しているが、顔の向きに応じた重み係数を、顔のサイズおよび位置に応じた重み係数に加算することにより仮の評価値を算出するようにしてもよい。
【００４９】
次いで、本発明の第３の実施形態について説明する。図７は本発明の第３の実施形態において行われる画像評価処理のフローチャートである。ここで、第３の実施形態においては、顔のサイズおよび位置の情報に加えて顔の数の情報にも基づいて評価値を算出するものである。ユーザが入力部１６から画像の評価開始の指示を行うことによりＣＰＵ１２が処理を開始し、まずハードディスク２４から画像を読み出し（ステップＳＴ５１）、評価値の初期値＝０に設定する（ステップＳＴ５２）。次いで、情報取得部３０が画像から人物の顔領域を検出する（ステップＳＴ５３）。
【００５０】
次いで情報取得部３０が、画像に顔領域が含まれるか否かを判定し（ステップＳＴ５４）、ステップＳＴ５４が否定されると処理を終了する。ステップＳＴ５４が肯定されると、検出した顔領域から画像に含まれる顔のサイズおよび位置の情報、並びに顔の数の情報を取得する（ステップＳＴ５５）。
【００５１】
そして、評価値算出部３２が、重みづけテーブルＬＵＴ１〜ＬＵＴ３，ＬＵＴ１１〜ＬＵＴ１３から顔のサイズに応じた重みづけテーブルを選択する（ステップＳＴ５６）。なお、第３の実施形態においては、顔の数に応じてあらかじめ決定された重みづけテーブルも選択する。
【００５２】
図８は顔の数についての重みづけテーブルを示す図である。なお、重みづけテーブルＬＵＴ４は、複数の被験者に対して、各種顔の数を有する多数のサンプル画像から、各被験者が好ましいと思うサンプル画像を選択させるテストを行わせた結果に基づいて決定されたものであり、各サンプル画像を選択した被験者数の全被験者数に対する割合を重み係数としている。また、重みづけテーブルＬＵＴ４においては、顔の数が１つの場合の重み係数が１となるように重み係数を規格化している。また、図８に示すように重みづけテーブルＬＵＴ４は、横軸に顔の数を、縦軸に重み係数をプロットしたものである。
【００５３】
次いで、評価値算出部３２は、選択した顔のサイズに応じた重みづけテーブルを参照して、顔のサイズおよび位置に応じた重み係数を取得する（ステップＳＴ５７）。なお、第３の実施形態においても、ｘ方向およびｙ方向についての２つの重みづけテーブルが選択されるため、２つの重み係数が取得される。
【００５４】
さらに、評価値算出部３２は、重みづけテーブルＬＵＴ４を参照して顔の数に応じた重み係数を取得する（ステップＳＴ５８）。
【００５５】
そして、顔のサイズおよび位置に応じた重み係数を加算し、これに顔の数に応じた重み係数を乗算することにより画像の仮の評価値を算出し（ステップＳＴ５９）、仮の評価値を現在の評価値に加算して加算結果を新たな評価値とする（ステップＳＴ６０）。そして、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ６１）、ステップＳＴ６１が否定されると処理を終了する。ステップＳＴ６１が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ６２）、ステップＳＴ５５に戻り、ステップＳＴ５５以降の処理を繰り返す。
【００５６】
これにより、画像に顔領域が１つのみ含まれる場合には、ステップＳＴ６０において算出した新たな評価値が最終的な評価値として算出される。この場合、顔の数に応じた重み係数は１であるため、算出された評価値は上記第１および第２の実施形態と同様の評価値となる。また、画像に複数の顔領域が含まれる場合には、各顔領域について算出した仮の評価値を加算することにより最終的な評価値が算出される。
【００５７】
このように第３の実施形態によれば、第１の実施形態に加えて、さらに顔の数の情報をも用いて画像の評価結果を表す評価値を算出するようにしたため、評価値に画像を見る者の平均的な趣向を反映させることができ、これにより、より精度良く画像を評価することができる。
【００５８】
なお、上記第３の実施形態においては、上記第２の実施形態と同様に顔の向きの情報をさらに用いて画像の評価結果を表す評価値を算出するようにしてもよい。この場合、仮の評価値は、顔のサイズおよび位置に応じた２つの重み係数を加算し、これに顔の数に応じた重み係数を乗算し、さらに顔の向きに応じた重み係数を乗算することにより算出すればよい。
【００５９】
なお、上記第３の実施形態においては顔の数に応じた重み係数を、顔のサイズおよび位置に応じた重み係数に乗算することにより仮の評価値を算出しているが、顔の数に応じた重み係数を、顔のサイズおよび位置に応じた重み係数に加算することにより仮の評価値を算出するようにしてもよい。
【００６０】
次いで、本発明の第４の実施形態について説明する。図９は本発明の第４の実施形態において行われる画像評価処理のフローチャートである。ここで、第４の実施形態においては、顔のサイズおよび位置に応じた重みづけテーブルに加えて、対象となる顔のサイズおよび画像に含まれるすべての顔の数に応じた複数の重みづけテーブルを用意しておき、対象となる顔のサイズおよび画像に含まれるすべての顔の数に応じた重み係数を用いて評価値を算出するものである。ユーザが入力部１６から画像の評価開始の指示を行うことによりＣＰＵ１２が処理を開始し、まずハードディスク２４から画像を読み出し（ステップＳＴ７１）、評価値の初期値＝０に設定する（ステップＳＴ７２）。次いで、情報取得部３０が画像から人物の顔領域を検出する（ステップＳＴ７３）。
【００６１】
次いで情報取得部３０が、画像に顔領域が含まれるか否かを判定し（ステップＳＴ７４）、ステップＳＴ７４が否定されると処理を終了する。ステップＳＴ７４が肯定されると、検出した顔領域から画像に含まれる顔のサイズおよび位置の情報、並びに顔の数の情報を取得する（ステップＳＴ７５）。
【００６２】
そして、評価値算出部３２が、重みづけテーブルＬＵＴ１〜ＬＵＴ３，ＬＵＴ１１〜ＬＵＴ１３から顔のサイズに応じた重みづけテーブルを選択する（ステップＳＴ７６）。なお、第４の実施形態においては、顔のサイズおよび数に応じてあらかじめ決定された複数の重みづけテーブルから顔のサイズに応じた重みづけテーブルも選択する。
【００６３】
図１０は対象となる顔のサイズおよび画像に含まれるすべての顔の数についての重みテーブル（以下、顔のサイズおよび数についての重みづけテーブルとする）を示す図である。なお、重みづけテーブルＬＵＴ２１〜ＬＵＴ２３は、複数の被験者に対して、各種顔のサイズおよび顔の数を有する多数のサンプル画像から、各被験者が好ましいと思うサンプル画像を選択させるテストを行わせた結果に基づいて決定されたものであり、各サンプル画像を選択した被験者数の全被験者数に対する割合を重み係数としている。また、重みづけテーブルＬＵＴ２１〜ＬＵＴ２３においては、顔のサイズが中および大の場合には顔の数が１つの場合の重み係数が１となるように、顔のサイズが小の場合には顔の数が１つの場合の重み係数が１．２となるように重み係数を規格化している。また、図１０に示すように重みづけテーブルＬＵＴ２１〜ＬＵＴ２３は、顔のサイズが大中小のそれぞれについて横軸に顔の数を、縦軸に重み係数をプロットしたものである。
【００６４】
次いで、評価値算出部３２は、選択した顔のサイズに応じた重みづけテーブルを参照して、顔のサイズおよび位置に応じた重み係数を取得する（ステップＳＴ７７）。なお、第４の実施形態においても、ｘ方向およびｙ方向についての２つの重みづけテーブルが選択されるため、２つの重み係数が取得される。
【００６５】
さらに、評価値算出部３２は、選択した顔のサイズおよび数についての重みづけテーブルを参照して顔のサイズおよび数に応じた重み係数を取得する（ステップＳＴ７８）。
【００６６】
そして、顔のサイズおよび位置に応じた重み係数を加算し、これに顔のサイズおよび数に応じた重み係数を乗算することにより画像の仮の評価値を算出し（ステップＳＴ７９）、仮の評価値を現在の評価値に加算して加算結果を新たな評価値とする（ステップＳＴ８０）。そして、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ８１）、ステップＳＴ８１が否定されると処理を終了する。ステップＳＴ８１が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ８２）、ステップＳＴ７５に戻り、ステップＳＴ７５以降の処理を繰り返す。
【００６７】
これにより、画像に顔領域が１つのみ含まれる場合には、ステップＳＴ８０において算出した新たな評価値が最終的な評価値として算出される。この場合、顔のサイズおよび数に応じた重み係数は１であるため、算出された評価値は上記第１から第３の実施形態と同様の評価値となる。また、画像に複数の顔領域が含まれる場合には、各顔領域について算出した仮の評価値を加算することにより最終的な評価値が算出される。
【００６８】
このように第４の実施形態によれば、第１の実施形態に加えて、さらに顔のサイズおよび数の情報をも用いて画像の評価結果を表す評価値を算出するようにしたため、評価値に画像を見る者の平均的な趣向を反映させることができ、これにより、より精度良く画像を評価することができる。
【００６９】
なお、上記第４の実施形態においては、上記第２の実施形態と同様に顔の向きの情報をさらに用いて画像の評価結果を表す評価値を算出するようにしてもよい。この場合、仮の評価値は、顔のサイズおよび位置に応じた２つの重み係数を加算し、これに顔のサイズおよび数に応じた重み係数を乗算し、さらに顔の向きに応じた重み係数を乗算することにより算出すればよい。
【００７０】
なお、上記第４の実施形態においては顔のサイズおよび数に応じた重み係数を、顔のサイズおよび位置に応じた重み係数に乗算することにより仮の評価値を算出しているが、顔のサイズおよび数に応じた重み係数を、顔のサイズおよび位置に応じた重み係数に加算することにより仮の評価値を算出するようにしてもよい。
【００７１】
次いで、本発明の第５の実施形態について説明する。図１１は本発明の第５の実施形態において行われる画像評価処理のフローチャートである。ここで、第５の実施形態においては、顔のサイズおよび位置の情報に加えて、画像に含まれる顔の最も中心に位置する顔からの距離の情報にも基づいて評価値を算出するものである。ユーザが入力部１６から画像の評価開始の指示を行うことによりＣＰＵ１２が処理を開始し、まずハードディスク２４から画像を読み出し（ステップＳＴ９１）、評価値の初期値＝０に設定する（ステップＳＴ９２）。次いで、情報取得部３０が画像から人物の顔領域を検出する（ステップＳＴ９３）。
【００７２】
次いで情報取得部３０が、画像に顔領域が含まれるか否かを判定し（ステップＳＴ９４）、ステップＳＴ９４が否定されると処理を終了する。ステップＳＴ９４が肯定されると、検出した顔領域から画像に含まれる顔のサイズおよび位置の情報、並びに検出した顔領域に含まれる顔の最も中心に位置する顔からの距離の情報を取得する（ステップＳＴ９５）。
【００７３】
そして、評価値算出部３２が、重みづけテーブルＬＵＴ１〜ＬＵＴ３，ＬＵＴ１１〜ＬＵＴ１３から顔のサイズに応じた重みづけテーブルを選択する（ステップＳＴ９６）。なお、第５の実施形態においては、最も中心に位置する顔からの距離に応じてあらかじめ決定された重みづけテーブルも選択する。
【００７４】
図１２は最も中心に位置する顔からの距離についての重みづけテーブルを示す図である。なお、重みづけテーブルＬＵＴ３１は、複数の被験者に対して、画像上の各種位置に顔が含まれる多数のサンプル画像から、各被験者が好ましいと思うサンプル画像を選択させるテストを行わせた結果に基づいて決定されたものであり、各サンプル画像を選択した被験者数の全被験者数に対する割合を重み係数としている。また、重みづけテーブルＬＵＴ３１においては、最も多くの被験者が選択した画像についての重み係数が１．２５となるように重み係数を規格化している。
【００７５】
なお、重みづけテーブルＬＵＴ３１において、横軸の距離の値は、最も中心に近い顔のサイズを１に規格化している。これは、重みづけテーブルを決定する際に、中心に位置する顔からの距離が顔のサイズに影響されないようにするためである。このため、中心に位置する顔のサイズが３ｃｍであり対象の顔の距離が３ｃｍである場合と、中心に位置する顔のサイズが１ｃｍであり対象の顔の距離が１ｃｍである場合とでは、同じ重み係数となる。
【００７６】
次いで、評価値算出部３２は、選択した顔のサイズに応じた重みづけテーブルを参照して、顔のサイズおよび位置に応じた重み係数を取得する（ステップＳＴ９７）。なお、第５の実施形態においても、ｘ方向およびｙ方向についての２つの重みづけテーブルが選択されるため、２つの重み係数が取得される。
【００７７】
さらに、評価値算出部３２は、重みづけテーブルＬＵＴ３１を参照して最も中心に位置する顔からの距離に応じた重み係数を取得する（ステップＳＴ９８）。なお、顔が１つのみしか含まれない場合には、重み係数は距離が０であるとして０．２となる。
【００７８】
そして、顔のサイズおよび位置に応じた重み係数を加算し、これに最も中心に位置する顔からの距離に応じた重み係数を乗算することにより画像の仮の評価値を算出し（ステップＳＴ９９）、仮の評価値を現在の評価値に加算して加算結果を新たな評価値とする（ステップＳＴ１００）。そして、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ１０１）、ステップＳＴ１０１が否定されると処理を終了する。ステップＳＴ１０１が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ１０２）、ステップＳＴ９５に戻り、ステップＳＴ９５以降の処理を繰り返す。
【００７９】
これにより、画像に顔領域が１つのみ含まれる場合には、ステップＳＴ１００において算出した新たな評価値が最終的な評価値として算出される。この場合、最も中心に位置する顔からの距離に応じた重み係数は０．２であるため、算出された評価値は上記第１から第３の実施形態の評価値に０．２を乗算した値となる。また、画像に複数の顔領域が含まれる場合には、各顔領域について算出した仮の評価値を加算することにより最終的な評価値が算出される。
【００８０】
このように第５の実施形態によれば、第１の実施形態に加えて、さらに最も中心に位置する顔からの距離の情報をも用いて画像の評価結果を表す評価値を算出するようにしたため、評価値に画像を見る者の平均的な趣向を反映させることができ、これにより、より精度良く画像を評価することができる。
【００８１】
なお、上記第５の実施形態においては、上記第２の実施形態と同様に顔の向きの情報をさらに用いて画像の評価結果を表す評価値を算出するようにしてもよい。この場合、仮の評価値は、顔のサイズおよび位置に応じた２つの重み係数を加算し、これに距離に応じた重み係数を乗算し、さらに顔の向きに応じた重み係数を乗算することにより算出すればよい。
【００８２】
また、上記第５の実施形態においては、上記第３および第４の実施形態と同様に、顔の数の情報または顔のサイズおよび数の情報を用いて評価値を算出するようにしてもよい。この場合、仮の評価値は、顔のサイズおよび位置に応じた２つの重み係数を加算し、これに画像に含まれる顔の数に応じた重み係数、または対象の顔のサイズおよび画像に含まれる顔の数に応じた重み係数を乗算し、さらに距離に応じた重み係数を乗算することにより算出すればよい。この場合においてもさらに顔の向きの情報を用いて評価値を算出するようにしてもよいことはもちろんである。
【００８３】
なお、上記第１から第５の実施形態においては、画像に含まれる顔のサイズ、位置、向き、数、最も中心に位置する顔からの距離およびこれらの組み合わせの情報を用いて画像の評価値を算出しているが、これ以外にも顔の表情、顔の明るさ、目を閉じているか否かの情報等を用いて評価値を算出するようにしてもよい。
【００８４】
また、図１３に示すように、本発明の画像評価装置１に、評価値算出部３２が算出した評価値と、画像についての他の評価値を算出する複数（ここでは２つ）の評価値算出部４０，４２がそれぞれ算出した評価値から総合的に画像の評価値を算出する総合評価部４４を備えるようにしてもよい。なお、総合評価部４４は、評価値算出部３２，４０，４２が算出した評価値を単純に加算することにより総合評価を行うものであってもよく、重みづけ加算することにより総合評価を行うものであってもよい。
【００８５】
以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の情報取得部３０および評価値算出部３２に対応する手段として機能させ、図２，５，６，７，９，１１に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。これらの場合において、重みづけテーブルは、プログラム内あるいは同一の記録媒体内に含まれているものであってもよいし、外部の装置や別個の媒体から提供されるものであってもよい。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施形態による画像評価装置の構成を示す概略ブロック図
【図２】本発明の第１の実施形態において行われる画像評価処理のフローチャート
【図３】顔のサイズおよび位置についての重みづけテーブルを示す図（ｙ方向）
【図４】顔のサイズおよび位置についての重みづけテーブルを示す図（ｘ方向）
【図５】重みづけテーブル選択処理のフローチャート
【図６】本発明の第２の実施形態において行われる画像評価処理のフローチャート
【図７】本発明の第３の実施形態において行われる画像評価処理のフローチャート
【図８】顔の数についての重みづけテーブルを示す図
【図９】本発明の第４の実施形態において行われる画像評価処理のフローチャート
【図１０】顔のサイズおよび数についての重みづけテーブルを示す図
【図１１】本発明の第５の実施形態において行われる画像評価処理のフローチャート
【図１２】最も中心に位置する顔からの距離についての重みづけテーブルを示す図
【図１３】総合評価部を備えた画像評価装置の構成を示す概略ブロック図
【符号の説明】
【００８７】
１    画像評価装置
２    メモリカード
１２    ＣＰＵ
１４    システムメモリ
１６    入力部
１８    表示部
２０    カードスロット
２２    圧縮解凍部
２４    ハードディスク
２６    メモリ制御部
２８    表示制御部
３０    情報取得部
３２，４０，４２    評価値算出部
４４    総合評価部
【図１】
2007213559.tif 000003
【図２】
2007213559.tif 000004
【図３】
2007213559.tif 000005
【図４】
2007213559.tif 000006
【図５】
2007213559.tif 000007
【図６】
2007213559.tif 000008
【図７】
2007213559.tif 000009
【図８】
2007213559.tif 000010
【図９】
2007213559.tif 000011
【図１０】
2007213559.tif 000012
【図１１】
2007213559.tif 000013
【図１２】
2007213559.tif 000014
【図１３】
2007213559.tif 000015