(57)【要約】【課題】少人数の人物を撮影した画像に特化して画像の良し悪しを総合的に評価する技術が望まれていた。【解決手段】入力された画像データが表す画像内から顔画像を検出する顔検出工程と、上記検出された顔画像の数が特定数以下であるか否か判定する顔数判定工程と、上記顔画像の数が特定数以下であると判定された場合に、上記顔画像について、上記画像データ内における位置の評価と、顔映りの評価と、顔向きの評価と、所定の不良条件の評価とを行なうとともに、各評価結果に基づいた総合評価結果を算出し、総合評価結果を外部に出力する評価実行工程とを備える構成とした。【選択図】図２
2010224677.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データが表す画像内から顔画像を検出する顔検出工程と、
上記検出された顔画像の数が特定数以下であるか否か判定する顔数判定工程と、
上記顔画像の数が特定数以下であると判定された場合に、上記顔画像について、上記画像データ内における位置の評価と、顔映りの評価と、顔向きの評価と、所定の不良条件の評価とを行なうとともに、各評価結果に基づいた総合評価結果を算出し、総合評価結果を外部に出力する評価実行工程とを備えることを特徴とする画像評価方法。
【請求項２】
上記評価実行工程では、上記顔画像の数が特定数以下であってかつ画像データが表す画像内における顔画像の面積が占める割合が所定値以下である場合に、画像データが表す画像の構図を評価するとともに、当該構図の評価結果と当該構図の評価結果以外の上記各評価結果とに基づいて上記総合評価結果を算出することを特徴とする請求項１に記載の画像評価方法。
【請求項３】
上記評価実行工程では、上記構図の評価として、線遠近法に該当する構図であるか否かの評価、空気遠近法に該当する構図であるか否かの評価および水平線を含む構図であるか否かの評価のうち少なくとも一つの評価を行なうことを特徴とする請求項２に記載の画像評価方法。
【請求項４】
上記評価実行工程では、上記顔映りの評価として、顔の明暗、表情および顔のシャープさのうち少なくとも一つの要素について評価を行なうことを特徴とする請求項１〜請求項３のいずれかに記載の画像評価方法。
【請求項５】
上記評価実行工程では、上記顔向きの評価として、上記画像データが表す画像内において顔が向く方向に所定大きさの空間が存在するか否かの評価を行なうことを特徴とする請求項１〜請求項４のいずれかに記載の画像評価方法。
【請求項６】
上記評価実行工程では、上記不良条件の評価として、露出およびぼやけのうち少なくとも一つの要素について評価を行なうことを特徴とする請求項１〜請求項５のいずれかに記載の画像評価方法。
【請求項７】
コンピューターに画像評価を実行させる画像評価プログラムであって、
入力した画像データが表す画像内から顔画像を検出する顔検出機能と、
上記検出された顔画像の数が特定数以下であるか否か判定する顔数判定機能と、
上記顔画像の数が特定数以下であると判定された場合に、上記顔画像について、上記画像データ内における位置の評価と、顔映りの評価と、顔向きの評価と、所定の不良条件の評価とを行なうとともに、各評価結果に基づいた総合評価結果を算出し、総合評価結果を外部に出力する評価実行機能とを実行させることを特徴とする画像評価プログラム。
【請求項８】
入力された画像データが表す画像内から顔画像を検出する顔検出部と、
上記検出された顔画像の数が特定数以下であるか否か判定する顔数判定部と、
上記顔画像の数が特定数以下であると判定された場合に、上記顔画像について、上記画像データ内における位置の評価と、顔映りの評価と、顔向きの評価と、所定の不良条件の評価とを行なうとともに、各評価結果に基づいた総合評価結果を算出し、総合評価結果を外部に出力する評価実行部とを備えることを特徴とする印刷装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を評価するための画像評価方法、画像評価プログラムおよび印刷装置に関する。
【背景技術】
【０００２】
ユーザーは、デジタルスチルカメラ（ＤＳＣ）等の撮像装置を用いて自由に撮影行為をし、撮影結果（画像データ）を所定のメモリーに多数保存する。
【０００３】
ここで、撮像画像に人物が含まれている場合には、人物の顔の位置情報をポートレート構図あるいは記念撮影構図と比較することにより画像を評価し、撮像画像が人物を含まない場合には、画像中の線分要素や被写体を検出し、線分要素や被写体を三分割構図データと比較することにより画像を評価し、評価結果を画面に出力する撮像装置が知られている（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１‐１６７２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＤＳＣの大多数のユーザーにとって、例えば、街のＤＰＥショップ等でプリントする画像を選択したり、自宅のプリンターでプリントする画像を選択するとき等に、メモリーに大量に撮り貯めた画像のそれぞれについて良し悪しを客観的に判断することは難しい。また、上記ＤＰＥショップの従業員等も写真評価の専門家でないことが殆どであるため、ユーザーによって持ち込まれた画像データについて良し悪しの評価（提案）を行なうことは難しい。ここで、ユーザーによる撮影対象は、家族や友人や恋人など人物である場合が非常に多い。また、このように人物を撮影する場合、一枚の写真に収める人数は少人数（例えば１〜３人程度）であることが殆どである。
【０００６】
つまり、少人数の人物を撮影した画像に特化して画像の良し悪しを評価する技術の構築が望まれている。しかし上記文献は、人物画像である場合には顔の位置を評価するにとどまっているため、人物画像を多くの観点から総合的に評価することはできず、また人物画像であっても人物を含まない風景画像などであってもそれぞれ評価するため、少人数を写した人物画像についての総合的な評価を欲するユーザーのニーズを満足させるものではなかった。
【０００７】
本発明は上記課題にかんがみてなされたもので、少人数の人物を撮影した画像について正確かつ総合的に評価を行なうことが可能な画像評価方法、画像評価プログラムおよび印刷装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の画像評価方法は、入力された画像データが表す画像内から顔画像を検出する顔検出工程と、上記検出された顔画像の数が特定数以下であるか否か判定する顔数判定工程と、上記顔画像の数が特定数以下であると判定された場合に、上記顔画像について、上記画像データ内における位置の評価と、顔映りの評価と、顔向きの評価と、所定の不良条件の評価とを行なうとともに、各評価結果に基づいた総合評価結果を算出し、総合評価結果を外部に出力する評価実行工程とを備える。本発明によれば、特定数以下の顔画像を含む画像データに限定して、その画像データが含む顔画像についての総合的な評価を行い、総合評価結果をユーザーに対して提示することができる。ここで言う特定数とは、ある程度少ない数、例えば１〜３程度の数である。
【０００９】
上記評価実行工程では、上記顔画像の数が特定数以下であってかつ画像データが表す画像内における顔画像の面積が占める割合が所定値以下である場合に、画像データが表す画像の構図を評価するとともに、当該構図の評価結果と当該構図の評価結果以外の上記各評価結果とに基づいて上記総合評価結果を算出するとしてもよい。当該構成によれば、画像内において顔画像以外の画像（背景画像）の面積がある程度大きい場合に、背景の構図についても評価し、背景の構図に対する評価結果と上記顔画像についての各評価結果とに基づいて総合的な評価結果を得ることができる。なお上記評価実行工程では、上記構図の評価として、線遠近法に該当する構図であるか否かの評価、空気遠近法に該当する構図であるか否かの評価および水平線を含む構図であるか否かの評価のうち少なくとも一つの評価を行なうとしてもよい。
【００１０】
また、上記評価実行工程では、上記顔映りの評価として、顔の明暗、表情および顔のシャープさのうち少なくとも一つの要素について評価を行なうとしてもよい。
また、上記評価実行工程では、上記顔向きの評価として、上記画像データが表す画像内において顔が向く方向に所定大きさの空間が存在するか否かの評価を行なうとしてもよい。
また、上記評価実行工程では、上記不良条件の評価として、露出およびぼやけのうち少なくとも一つの要素について評価を行なうとしてもよい。
【００１１】
本発明の技術的思想は、画像評価方法以外によっても実現可能である。例えば、画像評価方法を実行する装置（印刷装置や、コンピューターや、撮像装置等）の発明や、画像評価方法において実行される処理を装置（印刷装置や、コンピューターや、撮像装置等）に実行させる画像評価プログラムの発明をも把握可能である。
【図面の簡単な説明】
【００１２】
【図１】コンピューターの構成を概略的に示したブロック図である。
【図２】画像評価処理を示したフローチャートである。
【図３】顔画像検出結果の一例を示した図である。
【図４】背景構図評価処理の詳細を示したフローチャートである。
【図５】顔位置評価処理の詳細を示したフローチャートである。
【図６】分割線の格子点に顔領域が重なった様子を示した図である。
【図７】対角関係にある各格子点に顔領域が重なった様子を示した図である。
【図８】親子配置の適切な一例を示した図である。
【図９】友達配置の適切な一例を示した図である。
【図１０】顔映り評価処理の詳細を示したフローチャートである。
【図１１】顔向き評価処理の詳細を示したフローチャートである。
【図１２】顔向きを判定する様子を示した図である。
【図１３】顔が向いた先に所定の空間がある場合および無い場合を示した図である。
【図１４】不良条件評価処理の詳細を示したフローチャートである。
【発明を実施するための形態】
【００１３】
１．画像評価装置の概略構成
図１は、本実施形態にかかる画像評価装置の一例としてのコンピューター１０の構成を概略的に示している。画像評価装置は、画像評価方法を実行するための具体的装置である。コンピューター１０は、ＣＰＵ１１と、ＲＯＭやＲＡＭからなる内部メモリー１２と、ハードディスクドライブ（ＨＤＤ）１３と、汎用インターフェース（ＧＩＦ）１４と、ビデオインターフェース（ＶＩＦ）１５と、入力インターフェース（ＩＩＦ）１６とを備える。これら各要素１１〜１６は、バス１７によって通信を実現している。ＨＤＤ１３には、オペレーティングシステム（ＯＳ）を含む各種プログラム（画像評価プログラムや各種ドライバーなど）を実行するためのプログラムデータＰが記憶されており、ＣＰＵ１１は、プログラムデータＰをＲＡＭに展開しながらプログラムデータＰに従った演算処理を行なう。
【００１４】
またＨＤＤ１３には、ＤＳＣ２０等の画像入力装置から入力された画像データＤが記憶される。本実施形態では、画像データＤとは、写真画像を表現したイメージデータである。ＧＩＦ１４は、例えばＵＳＢ規格に準じたインターフェースを提供するものであり、ＤＳＣ２０やプリンター３０をコンピューター１０に接続させている。さらにＧＩＦ１４は、図示しないカードスロットと接続したカードインターフェースの機能も備えており、カードスロットに挿入されたメモリーカード４０から当該メモリーカード４０に記憶されている画像データＤを入力することができる。ＶＩＦ１５はコンピューター１０を外部のディスプレー５０に接続し、ディスプレー５０に画像を表示するためのインターフェースを提供する。ＩＩＦ１６はコンピューター１０を外部の入力操作部（キーボードやマウス）６０に接続し、入力操作部６０からの入力信号をコンピューター１０が取得するためのインターフェースを提供する。
【００１５】
図１では、内部メモリー１２内に、プログラムデータＰによって実現される機能ブロックとしての、画像評価処理部１２１と、表示処理部１２２と、印刷処理部１２３とを示している。画像評価処理部１２１は、プログラムモジュールとして、顔画像検出部１２１ａと、顔数判定部１２１ｂと、顔位置評価部１２１ｃと、顔映り評価部１２１ｄと、顔向き評価部１２１ｅと、不良条件評価部１２１ｆと、背景構図評価部１２１ｇと、総合評価部１２１ｈとを有している。これら各部の機能については後述する。
【００１６】
表示処理部１２２は、ディスプレー５０を制御して、ディスプレー５０の画面に所定のユーザーインターフェース（ＵＩ）や、評価結果などを表示させるディスプレードライバーである。印刷処理部１２３は、印刷対象として選択された画像データＤに対して所定の画像処理を施すことにより印刷データを生成し、プリンター３０を制御して印刷データに基づいて画像の印刷を実行させるためのプリンタードライバーである。
【００１７】
２．画像評価処理
図２は、コンピューター１０が実行する画像評価処理をフローチャートにより示している。当該処理は、主に画像評価処理部１２１の機能によって実現される。
ステップＳ（以下、ステップの表記を省略。）１００では、画像評価処理部１２１は、画像データＤを取得するとともに、当該取得した画像データＤの中から一枚の画像にかかる画像データＤを評価対象の画像データＤとして設定する。つまり画像評価処理部１２１は、ユーザーがＵＩを介して画像評価処理の開始を指示した場合に、ＨＤＤ１３や、ＤＳＣ２０内のメモリーや、メモリーカード４０といった所定の記憶媒体から画像データＤを読み込む（取得する）。いずれの記憶媒体から画像データＤを取得するかはユーザーによって指示される。また取得する画像は、そのとき記憶媒体に保存されている画像全枚数であったり、記憶媒体内のフォルダ単位であったり、予め決められた所定枚数単位であったり、ユーザーに指示された画像であったりする。取得した画像数が一枚であれば、当該取得した画像を評価対象として設定する。
【００１８】
Ｓ１１０では、顔画像検出部１２１ａは、Ｓ１００で設定された画像データＤが表す画像（対象画像）から顔画像の検出を行なう。顔画像の検出とは、対象画像における領域であって少なくとも所定の顔器官（目や鼻や口）の各矩形を含むと想定される矩形の顔領域を検出する処理である。顔領域の検出は、例えば、目や口の各テンプレートを利用したパターンマッチング方法といった公知の検出方法を用いて実行される。顔画像検出部１２１ａは、パターンマッチング以外にも、顔領域を検出可能な手法であればあらゆる手法を採用できる。例えば、対象画像内に設定した矩形領域（検出対象領域）単位で、画像の各種情報（例えば、輝度情報やエッジ量やコントラスト等）を入力し検出対象領域が顔領域に該当するか否かを示す情報を出力する、予め学習されたニューラルネットワークを用いることにより、顔領域の検出を行なっても良いし、サポートベクタマシンを利用して検出対象領域毎に顔領域であるか否かを判断してもよい。
【００１９】
図３は、Ｓ１１０における検出結果の一例を示す図である。図３の例では、対象画像（画像データＤ）内に人物Ｐ１及び人物Ｐ２が含まれているため、人物Ｐ１の顔画像に対応する顔領域Ｆｄ１と人物Ｐ２の顔画像に対応する顔領域Ｆｄ２とが検出されている。顔領域Ｆｄ１，Ｆｄ２は、それぞれ両目と鼻と口の各画像をすべて含む矩形領域である。検出される顔領域Ｆｄ１，Ｆｄ２の大きさは人物Ｐ１，Ｐ２の顔毎に異なる。顔画像検出部１２１ａは、これら顔領域Ｆｄ１，Ｆｄ２をそれぞれ顔領域の４つの頂点の座標により特定する。
【００２０】
Ｓ１２０では、顔数判定部１２１ｂが、Ｓ１１０の処理によって顔領域が一つ以上検出されたか否か判定し、顔領域が一つも検出されていない場合には当該フローチャートを終える。なお、上記所定の記憶媒体から複数枚分の画像データＤを取得していた場合には、その取得した画像データＤの中から新たに評価対象の画像データＤを設定して（Ｓ１００）当該フローチャートを繰り返す。
【００２１】
一方、対象画像から顔領域が一つ以上検出されている場合には、顔数判定部１２１ｂは、Ｓ１３０において、対象画像から検出されている顔領域の数が特定数以下であるか否か判定する。特定数とはプログラム内で予め設定された数値であり「１」以上の比較的小さな整数である。特定数は例えば「３」である。顔領域の数が特定数以下である場合には、処理はＳ１４０に進み、顔領域の数が特定数を超えている場合には、Ｓ１２０において“Ｎｏ”の判定を行った場合と同様に、当該フローチャートを終了する。このようなＳ１１０〜Ｓ１３０の処理は、顔検出工程および顔数判定工程に相当する。
【００２２】
Ｓ１４０以降では、対象画像の特に顔領域に関して複数項目に亘る評価を行なう。Ｓ１４０以降の処理は、評価実行工程に相当する。つまり本実施形態では、１〜３人程度といった少ない人数が写っている画像のみを対象として画像評価を行なう。
Ｓ１４０では、画像評価処理部１２１は、対象画像において顔領域が占める割合（面積の割合）が所定のしきい値以下であるか否か判定し、顔領域が占める割合がしきい値以下であればＳ１５０（背景構図評価処理）に進み、顔領域が占める割合がしきい値を超える場合にはＳ１５０をスキップしてＳ１６０（顔位置評価処理）に進む。顔領域が複数ある場合には、各顔領域の面積の合計の、対象画像の大きさに対する割合を算出して判断する。顔領域の大きさは、対象画像内における顔領域の頂点の座標位置に基づいて算出することができる。
【００２３】
Ｓ１５０では、背景構図評価部１２１ｇが対象画像の構図を評価する。つまり、少ない人数が写っている画像のみを対象として各種画像評価を行なう際に、画像内に占める顔の大きさがある程度小さい場合には、背景の構図も評価するようにしている。背景構図評価部１２１ｇは、対象画像について、水平線を含む構図であるか否かの評価、線遠近法に該当する構図であるか否かの評価、空気遠近法に該当する構図であるか否かの評価、をそれぞれ行なう。
【００２４】
図４は、Ｓ１５０における背景構図評価処理の詳細をフローチャートにより示している。Ｓ１５１では、背景構図評価部１２１ｇは、対象画像におけるエッジを検出する。このときエッジ検出の対象とする領域は、対象画像全体であってもよいし、対象画像から顔領域を除いた領域であってもよい。エッジ検出は、例えば、２次微分フィルタ（ラプラシアンフィルタ）を用いたフィルタ処理を対象画像の画素毎に適用してエッジ量を算出し、そのエッジ量と所定のしきい値とを比較することにより、画素毎にエッジであるか否かを検出する。エッジ検出には、２次微分フィルタの代わりに、１次微分フィルタ（Prewittフィルタ、Sobelフィルタ、Robertsフィルタ、Kirshフィルタ等）を用いてもよい。
【００２５】
Ｓ１５２では、背景構図評価部１２１ｇは、対象画像が水平線を含む構図であるか否かを判定する。背景構図評価部１２１ｇは、Ｓ１５１で検出された各エッジに基づいて対象画像内における線分を抽出し、抽出した線分の中から水平線に相当するものがあるか否か判定する。例えば、背景構図評価部１２１ｇは、対象画像内においてある基準以上の長さを持った線分であって、対象画像の上下方向に対して略垂直である線分が存在すれば、水平線を含む構図と判定する。本実施形態では、対象画像が横長（ランドスケープ）の画像である場合には画像の短辺方向が上下方向となり、対象画像が縦長（ポートレート）の画像である場合には画像の長辺方向が上下方向となる。また略垂直とは、９０°を中心とした所定角度範囲内の角度を言う。
【００２６】
Ｓ１５３では、背景構図評価部１２１ｇは、対象画像が線遠近法に該当する構図であるか、空気遠近法に該当する構図であるか、あるいはいずれの遠近法の構図にも該当しないかを判定する。この場合、背景構図評価部１２１ｇは対象画像内における線分の消失点を検出する。例えば背景構図評価部１２１ｇは、対象画像内の上記線分のうち所定割合以上の本数の線分の端が画像内におけるある一点（或いはある一つの小領域）に収束しているか否か分析し、このような収束がある場合に消失点が検出できたものとし、その結果、対象画像における背景は線遠近法に該当する構図であると判定する。また、背景構図評価部１２１ｇは、上記エッジ検出の対象とした領域全体でのエッジ量を合計する。そして、エッジ量の合計が所定のしきい値（エッジ量比較用第一しきい値）以下である場合には、対象画像はぼやけ画像に近い画像、つまり空気遠近法に該当する構図の画像であると判定する。
【００２７】
Ｓ１５４では、背景構図評価部１２１ｇは、Ｓ１５２およびＳ１５３における判定結果に基づいて、対象画像について第一評価点を与える。まず、Ｓ１５２において水平線を含む構図であると判定した場合には、対象画像に対して所定の高得点を第一評価点として認定する。ここで言う得点とは、評価処理（背景構図評価処理、顔位置評価処理、顔映り評価処理、顔向き評価処理、不良条件評価処理）毎における満点（例えば１０点満点）内での相対的な得点を意味し、具体的な点数は各評価処理における各判定結果に対して予め決められている。また、Ｓ１５３において線遠近法に該当する構図あるいは空気遠近法に該当する構図と判定した場合にも、背景構図評価部１２１ｇは所定の高得点を第一評価点として認定する。さらに、水平線を含みかつ線遠近法にも該当する構図に対しては、さらなる高得点を第一評価点として認定する。
【００２８】
一方、水平線を含まず、上記いずれの遠近法にも該当しない対象画像に対しては、所定の低得点（あるいは得点なし）を第一評価点として認定する。背景構図評価部１２１ｇは、このように認定した第一評価点を内部メモリー１２の所定領域に記録する。なお背景構図評価部１２１ｇは、対象画像について、必ずしも水平線を含む構図であるか否か、線遠近法に該当する構図であるか否か、空気遠近法に該当する構図であるか否かの全ての判定を行なう必要はなく、少なくとも一部の判定を行うようにしてもよい。
【００２９】
Ｓ１４０の次、或いはＳ１５０の次に、顔位置評価部１２１ｃはＳ１６０にて、対象画像内の顔画像の位置を評価する。
図５は、Ｓ１６０における顔位置評価処理の詳細をフローチャートにより示している。Ｓ１６１では、顔位置評価部１２１ｃは、対象画像から検出されている顔領域の数が１か複数かで処理を分岐する。顔領域の数が１である場合（つまり人物が１人写った対象画像である場合）はＳ１６２に進み、人物の撮影範囲を判定する。人物の撮影範囲の判定とは、対象画像内での人物の撮影されている範囲が「体全体」、「バストアップ」、「顔全体のみ（首を含む）」、「顔の一部」のいずれに該当するかを判定する作業である。つまり、人間の顔と顔以外の体との大きさのバランスはおよそ決まっているため、顔位置評価部１２１ｃは、対象画像内における顔領域の位置および大きさに応じて人物の撮影範囲が「体全体」、「バストアップ」、「顔全体のみ（首を含む）」、「顔の一部」のいずれに該当するかを判定（推測）する。
【００３０】
Ｓ１６３では、顔位置評価部１２１ｃは、対象画像における人物の撮影範囲に応じて、その人物の顔領域が適切な位置に配置されているか否かを判定する。例えば、人物の撮影範囲が「体全体」、「バストアップ」または「顔全体のみ（首を含む）」のいずれかである場合には、顔領域が対象画像の中央領域内に位置するか否か判定する。中央領域とは、対象画像の中心を含む所定大きさの円領域である。また、人物の撮影範囲が「体全体」、「バストアップ」または「顔全体のみ（首を含む）」のいずれかである場合、対象画像の縦横をそれぞれ３分割した際の分割線の格子点上に、顔領域が重なっているか否か判定する。
【００３１】
図６では、上記分割線の各格子点のうち一つの格子点上に、顔領域Ｆｄが重なっている状態を示している。図６では、便宜的に分割線ｄＬ（鎖線）および格子点ｄＰ（黒丸）を示しているが、このような分割線ｄＬおよび格子点ｄＰは実際に対象画像（画像データＤ）に表れる訳ではない（図７も同様）。顔位置評価部１２１ｃは、このような格子点上に顔領域Ｆｄが重なっている場合には、さらに顔領域Ｆｄ内の目（右目または左目）領域が格子点上に重なっているか否かを判定する。
【００３２】
Ｓ１６３後のＳ１６６では、顔位置評価部１２１ｃは、Ｓ１６３における判定結果に基づいて、対象画像の顔画像について第二評価点を与える。まず、顔領域が対象画像の中央領域内に位置すると判定した場合、または格子点上に顔領域が重なっていると判定した場合には、所定の高得点を第二評価点として認定する。また、格子点上に顔領域内の目（右目または左目）領域が重なっていると判定した場合には、さらなる高得点を第二評価点として認定する。一方、Ｓ１６３で中央領域内にも格子点上にも存在していないと判定された顔領域や、Ｓ１６３の判定対象とならなかった顔領域に対しては、所定の低得点（あるいは得点なし）を第二評価点として認定する。
【００３３】
一方、顔領域の数が複数（２又は３）である場合は、顔位置評価部１２１ｃはＳ１６１からＳ１６４に進み、人物の配置パターンを特定する。ここで言う特定とは、人物の数の特定、および特定した人数における人物の配置関係の特定を意味する。より具体的には、「２人」であるか「３人」であるかを特定し、さらに「３人」であればその「３人」が「親子配置」か「友達配置」のいずれに該当するかを特定する。「親子配置」とは、３人の人物のうち１人だけが他の２人と比較して上下方向において顔領域の位置（高さ位置）が所定程度低い配置を言う。「３人」であって「親子配置」でなければ、顔位置評価部１２１ｃは「友達配置」であると特定する。
【００３４】
Ｓ１６５では、顔位置評価部１２１ｃは、Ｓ１６４で特定した配置パターンに応じて、各人物の顔領域が適切な位置に配置されているか否かを判定する。例えば、配置パターンが「２人」である場合は、対象画像の縦横をそれぞれ３分割した際の分割線の格子点であって、中央の格子ブロック上の対角の関係にある２つの格子点上に、それぞれの顔領域が重なっているか否か判定する。
【００３５】
図７では、上記対角の関係にある２つの格子点上に、それぞれの顔領域Ｆｄ，Ｆｄが重なっている状態を示している。また顔位置評価部１２１ｃは、配置パターンが「２人」であって当該対角の関係にある２つの格子点上にそれぞれの顔領域が重なっていない場合には、２つの顔領域の重心同士を結ぶ線分の中心がいずれかの格子点上に重なっているか（いずれかの格子点付近にあるか）否かを判定する。また顔位置評価部１２１ｃは、配置パターンが「３人」かつ「親子配置」である場合には、上下方向に直交する方向（左右方向）における顔領域の位置関係で真ん中に位置する顔領域の高さ位置が、３つの顔領域のなかで最も低いか否かを判定する。
【００３６】
図８では、配置パターンが「３人」かつ「親子配置」である場合に、上記真ん中に位置する顔領域Ｆｄの高さ位置が最も低い場合を例示している。つまり図８のような配置は、両親の間に子供が居る配置であると推測され、かかる配置は好ましいと言える。また顔位置評価部１２１ｃは、配置パターンが「３人」かつ「友達配置」である場合には、３つの顔領域の高さ位置が略同一であるかを判定する。また配置パターンが「３人」かつ「友達配置」である場合には、３つの顔領域の大きさに大中小の関係があり、かつ大中小の順番で各顔領域が一つの方向に並んでいる（遠近法的配置）か否かを判定する。
【００３７】
図９では、配置パターンが「３人」かつ「友達配置」である場合に、各顔領域Ｆｄ，Ｆｄ，Ｆｄが遠近法的配置となっている例を示している。Ｓ１６５後のＳ１６６では、顔位置評価部１２１ｃは、Ｓ１６５における判定結果に基づいて、対象画像の顔画像について第二評価点を与える。つまり、配置パターンが「２人」であって上記対角の関係にある２つの格子点上にそれぞれの顔領域が重なっていると判定した場合、配置パターンが「２人」であって２つの顔領域の重心同士を結ぶ線分の中心がいずれかの格子点上に重なっている（いずれかの格子点付近にある）と判定した場合、配置パターンが「３人」かつ「親子配置」であって真ん中に位置する顔領域の高さ位置が最も低いと判定した場合、配置パターンが「３人」かつ「友達配置」であって３つの顔領域の高さ位置が略同一であると判定した場合、配置パターンが「３人」かつ「友達配置」であって各顔領域が遠近法的配置であると判定した場合、のいずれかに該当するとき、それぞれの判定結果に応じた所定の高得点を第二評価点として認定し、これら以外の場合には所定の低得点（あるいは得点なし）を第二評価点として認定する。顔位置評価部１２１ｃは、このように認定した第二評価点を内部メモリー１２の所定領域に記録する。
【００３８】
Ｓ１７０では、顔映り評価部１２１ｄが、対象画像内の顔画像の顔映りを評価する。顔映り評価部１２１ｄは、顔映りの評価として、顔の明暗の評価、表情の評価、顔のシャープさの評価をそれぞれ行う。
【００３９】
図１０は、Ｓ１７０における顔映り評価処理の詳細をフローチャートにより示している。Ｓ１７１では、顔映り評価部１２１ｄは、対象画像内の顔領域について明暗（コントラスト）を評価する。具体的には、顔映り評価部１２１ｄは、一つの顔領域について領域内の各画素の輝度をヒストグラム（例えば、輝度範囲０〜２５５における輝度分布）化し、ヒストグラムの幅（最大輝度と最小輝度との差）を求める。そして、当該幅が所定のしきい値以上である場合には、明暗評価の対象とした顔領域は高コントラストであると判定する。このようなヒストグラムの生成および幅の判定は、顔領域が複数ある場合には顔領域単位で行う。
【００４０】
Ｓ１７２では、顔映り評価部１２１ｄは、対象画像内の顔領域について表情を評価する。具体的には、顔映り評価部１２１ｄは、一つの顔領域における表情が笑顔か否かを判定する。顔映り評価部１２１ｄは公知の表情判定機能を有するものとし、顔領域内の画像（例えば、口の形状）に基づいて顔が笑顔か否かを判定することができる。このような表情の判定は、顔領域が複数ある場合には顔領域単位で行う。なお、顔が笑顔か否かの判定は、顔画像検出部１２１ａがＳ１１０において顔領域の検出とともに実行する構成としてもよい。顔画像検出部１２１ａが顔領域が笑顔か否かの判定を実行済みである場合には、Ｓ１７２では、顔領域について笑顔と判定されているか否かを評価することになる。
【００４１】
Ｓ１７３では、顔映り評価部１２１ｄは、対象画像内の顔領域についてシャープさ（鮮鋭度）を評価する。シャープさの指標は様々であるが、ここでは顔映り評価部１２１ｄは、一つの顔領域を対象としてエッジ量を算出する。エッジ量算出は既に述べたように、対象となる領域内の各画素に対して所定のフィルタを適用することにより行う。顔映り評価部１２１ｄは、エッジ量算出の対象とした顔領域でのエッジ量を合計する。そして、エッジ量の合計が所定のしきい値（エッジ量比較用第二しきい値）以上である場合には、エッジ量算出の対象とした顔領域の顔はシャープな顔であると判定する。このようなシャープさの判定は、顔領域が複数ある場合には顔領域単位で行う。
【００４２】
Ｓ１７４では、顔映り評価部１２１ｄは、Ｓ１７１〜Ｓ１７３における判定結果に基づいて、対象画像の顔領域について第三評価点を与える。具体的には、顔映り評価部１２１ｄは、顔領域についてＳ１７１〜Ｓ１７３の３種類の判定において全て肯定的な判定（高コントラストという判定結果、笑顔という判定結果、シャープな顔という判定結果）がなされている場合には、その顔領域について所定の最も高い得点を第三評価点として認定する。また、当該３種類の判定における肯定的な判定結果の数が減るほどに、第三評価点として低い点数を認定する。対象画像内に複数の顔領域がある場合、顔映り評価部１２１ｄは、まず顔領域単位で第三評価点を付与するとともに、各顔領域の第三評価点の平均点を、対象画像内の複数の顔領域に対する一つの第三評価点として認定する。
【００４３】
顔映り評価部１２１ｄは、このように認定した第三評価点を内部メモリー１２の所定領域に記録する。なお顔映り評価部１２１ｄは、対象画像内の顔領域について、必ずしも顔の明暗、表情および顔のシャープさの全てについて判定を行なう必要はなく、少なくとも一部の判定を行うようにしてもよい。
【００４４】
Ｓ１８０では、顔向き評価部１２１ｅが、顔向き評価として、対象画像内において顔領域の顔が向く方向に所定大きさの空間が存在するか否かの評価を行なう。これは、対象画像内において顔が向く方向に所定大きさの空間が存在する場合には、写真を見る者に対して好印象を与える構図と言えるからである。
図１１は、Ｓ１８０における顔向き評価処理の詳細をフローチャートにより示している。Ｓ１８１では、顔向き評価部１２１ｅは、対象画像内の顔領域について顔の向きを判定する。
【００４５】
図１２Ａ，１２Ｂは、顔向き評価部１２１ｅが顔の向きを判定する様子を示している。顔向き評価部１２１ｅは、上記顔検出の際に検出された顔領域Ｆｄ内の右目の矩形領域（右目領域Ａｒ）、左目の矩形領域（左目領域Ａｌ）および口の矩形領域（口領域Ａｍ）の位置関係を解析することによって顔向きを判定する。顔向き評価部１２１ｅは、右目領域Ａｒの重心および左目領域Ａｌの重心を結んだ線分Ｍに直交し、かつ、口領域Ａｍの重心を通過する直線を顔の中央軸Ｌと定義する。顔向き評価部１２１ｅは、中央軸Ｌによって線分Ｍを分断したときの右目側の線分の長さｍ１と左目側の線分の長さｍ２との大小に基づき、顔向きを判定する。つまり、右目側の線分ｍ１＝左目側の線分ｍ２であれば顔が画像平面に対して垂直な方向に向いている（正面向き）と判定することができる（図１２Ａ参照）。また、右目側の線分ｍ１＞左目側の線分ｍ２であれば、顔は「右向き」と判定することができ（図１２Ｂ参照）、右目側の線分ｍ１＜左目側の線分ｍ２であれば、顔は「左向き」と判定することができる。
【００４６】
なお顔が「右向き」と判定した場合、対象画像内の人物は当該人物にとって左側を向いていることになり、「左向き」と判定した場合、その人物は当該人物にとって右側を向いていることになる。顔向き評価部１２１ｅは、このような右向き、左向きの判定を右目領域Ａｒの幅Ｗｒと左目領域Ａｌの幅Ｗｌとの比較によって行なってもよい（図１２参照）。つまり、顔に振りがある場合には、その振りの程度に応じて、検出される右目領域Ａｒや左目領域Ａｌの大きさが変るため、幅Ｗｒ＝幅Ｗｌであれば顔が正面向きと判定し、幅Ｗｒ＞幅Ｗｌであれば顔は右向きと判定し、幅Ｗｒ＜幅Ｗｌであれば顔は左向きと判定することができる。
【００４７】
Ｓ１８２では、顔向き評価部１２１ｅは、上記顔向きの判定結果に応じて、対象画像内において顔が向く方向に所定大きさの空間が存在するか否か判定する。例えば、顔向き評価部１２１ｅは、顔向きを「右向き」と判定した場合には、対象画像内における顔領域よりも右側の領域に、上記線分Ｍの延長線を含む所定大きさの空間が在るか否か判定する。ここで言う所定大きさの空間とは、対象画像内における人物画像を含まない領域であって対象画像の面積に対して所定比率以上の大きさを持った領域の塊を意味する。
【００４８】
図１３Ａは、対象画像における顔領域Ｆｄの顔の向きが右向き（右斜め上向き）であって、この顔領域Ｆｄの右側に線分Ｍの延長線を含む所定大きさの空間Ｅが在る場合を例示している。図１３Ａの例では、顔領域の顔（特に目線）が向いた先に所定の空間があるため、顔向き評価部１２１ｅは、対象画像内において顔が向く方向に所定大きさの空間が存在すると判定する。一方、対象画像が、図１３Ｂに示したような、顔が向いている先に線分Ｍの延長線を含む所定大きさの空間Ｅが無い画像である場合には、顔向き評価部１２１ｅは、対象画像内において顔が向く方向に所定大きさの空間が存在しないと判定する。なお、所定大きさの空間が在るか否かを判定するための顔の向きは、単なる右向き左向きの違いに加え、顔の傾き（対象画像の上下方向に対する中央軸Ｌの傾き）を含めて判断する。
【００４９】
Ｓ１８３では、顔向き評価部１２１ｅは、Ｓ１８２における判定結果に基づいて、対象画像の顔領域について第四評価点を与える。つまり顔向き評価部１２１ｅは、対象画像内において顔が向く方向に所定大きさの空間が存在すると判定した場合には、顔領域について所定の高得点を第四評価点として認定する。一方、顔領域の顔は正面向きであると評価した場合や、対象画像内において顔が向く方向に所定大きさの空間が存在すると判定しなかった場合には、当該高得点よりも低い所定得点を第四評価点として認定する。顔向き評価部１２１ｅは、対象画像内に顔領域が複数在る場合には、Ｓ１８１において顔領域単位で顔の向きを判定する。そしてＳ１８２では、全ての顔領域の顔の向きが同じである場合に限って、各顔領域における顔の各線分Ｍの延長線を含む所定大きさの空間が在るか否か判定することにより、対象画像内において顔が向く方向に所定大きさの空間が存在するか否かを判定するものとする。
【００５０】
顔向き評価部１２１ｅは、このように認定した第四評価点を内部メモリー１２の所定領域に記録する。なお顔向きの判定は、顔画像検出部１２１ａがＳ１１０において顔領域の検出とともに実行する構成としてもよい。顔画像検出部１２１ａが顔向きの判定を実行済みである場合には、顔向き評価部１２１ｅは、顔画像検出部１２１ａによる顔向きの判定結果を利用してＳ１８２の処理を行う。
【００５１】
Ｓ１９０では、不良条件評価部１２１ｆは、不良条件評価として、対象画像内の顔領域について露出の程度およびぼやけの程度を評価する。
図１４は、Ｓ１９０における不良条件評価処理の詳細をフローチャートにより示している。Ｓ１９１では、不良条件評価部１２１ｆは、顔領域における露出の程度を判定する。露出の程度を判定する手法は様々であるが、例えば、顔映り評価部１２１ｄは、一つの顔領域にかかる輝度のヒストグラムを生成するとともに、ヒストグラムにおける最大輝度から、サンプル数（当該ヒストグラムの生成に用いられた画素数）のうち所定数パーセント（例えば５％）の画素数分だけ低輝度側にある輝度を基準輝度とする。そして、基準輝度が所定のしきい値（露出判定用第一しきい値）より大きい場合には、顔領域の顔は露出過多であると判定する。一方、基準輝度が露出判定用第二しきい値（ただし、露出判定用第一しきい値＞露出判定用第二しきい値）以下である場合には、顔領域の顔は露出不足であると判定する。このような露出の程度の判定は、顔領域が複数ある場合には顔領域単位で行う。
【００５２】
Ｓ１９２では、不良条件評価部１２１ｆは、顔領域がぼやけているか否かを判定する。ぼやけの判定は、上述したシャープさの判定と基本的に同じである。つまり不良条件評価部１２１ｆは、顔領域でのエッジ量を合計するとともに、エッジ量の合計が所定のしきい値（エッジ量比較用第三しきい値。ただし、エッジ量比較用第二しきい値＞エッジ量比較用第三しきい値とする。）より少ない場合に、顔領域の顔はぼやけていると判定する。このようなぼやけの判定は、顔領域が複数ある場合には顔領域単位で行う。
【００５３】
Ｓ１９３では、不良条件評価部１２１ｆは、Ｓ１９１，Ｓ１９２における判定結果に基づいて、対象画像の顔領域について第五評価点を与える。具体的には、不良条件評価部１２１ｆは、一つの顔領域についてＳ１９１およびＳ１９２の二種類の判定においていずれも不良条件であるとの判定（露出過多または露出不足であり且つぼやけている、という判定）がなされている場合には、その顔領域について所定の最も低い得点を第五評価点として認定する。また、当該二種類の判定における不良条件であるとの判定結果の数が減るほどに、第五評価点として高い点数を認定する。対象画像内に複数の顔領域がある場合、不良条件評価部１２１ｆは、まず顔領域単位で第五評価点を付与するとともに、各顔領域の第五評価点の平均点を、対象画像内の複数の顔領域に対する一つの第五評価点として認定する。
【００５４】
不良条件評価部１２１ｆは、このように認定した第五評価点を内部メモリー１２の所定領域に記録する。なお不良条件評価部１２１ｆは、対象画像内の顔領域について、必ずしも露出およびぼやけの両方について判定を行なう必要はなく、少なくとも一部の判定を行うようにしてもよい。
【００５５】
Ｓ２００では、総合評価部１２１ｈは、Ｓ１５０〜Ｓ１９０の各評価処理によって認定された第一〜第五評価点（Ｓ１５０が実行されなかった場合には、Ｓ１６０〜Ｓ１９０の各評価処理によって認定された第二〜第五評価点）に基づいて総合評価点を算出する。総合評価部１２１ｈは、例えば、各評価処理における満点の合計値に対する各評価点の合計値の比率（得点率）を総合評価点として算出する。あるいは、総合評価部１２１ｆは、各評価点に対して所定の重み付けをした上で合計し、この合計（合計の得点率）を総合評価点としてもよい。
【００５６】
Ｓ２１０では、画像評価処理部１２１は、総合評価点を外部に対して出力する。具体的には、画像評価処理部１２１は、総合評価点を表示処理部１２２に通知し、表示処理部１２２に、総合評価点をディスプレー５０の画面に表示させる。この場合、表示処理部１２２は、対象画像のサムネイル画像とともにその画像にかかる総合評価点を表示するとしてもよい。また、画像評価処理部１２１は、複数の対象画像について繰り返し図２のフローチャートを実行した場合には、ディスプレー５０の画面に複数の対象画像のサムネイルと複数の対象画像の総合評価点とを対応付けて表示させてもよい。また、画像評価処理部１２１は、総合評価点だけでなく上記第一〜第五評価点をディスプレー５０の画面に表示させるとしてもよい。
【００５７】
３．まとめ
このように本実施形態の画像評価処理によれば、１〜３人程度の少人数の人物を写した画像のみを対象として、少なくとも、顔画像についての位置評価と、明暗や表情やシャープさといった顔映り評価と、顔の向きに関連した空間の有無の評価と、顔の露出過多・不足やぼやけ等の不良条件の評価とを実行し、これら各評価結果に基づいて総合評価点を算出し、総合評価点をユーザーに対して提示するとした。つまり、ＤＳＣの大多数のユーザーが通常頻繁に撮影する少人数の人物写真に対する客観的かつ総合的な評価を提示することができる。また、少人数の人物を写した対象画像内において顔領域以外の背景領域の面積がある程度大きい場合には、背景の構図についても評価し、かかる構図の評価結果も含めて上記総合評価点を算出するとした。そのため、様々な少人数の人物写真について的確かつ総合的な評価をユーザーに対して提示することができる。
【００５８】
画像評価処理を実行するコンピューター１０は、例えば、ユーザーが使用するパーソナルコンピューターであってもよいし、ＤＰＥショップに置かれた業務用プリントミニラボ機（いわゆるミニラボ機）を制御するコンピューターであってもよい。また、画像評価処理はプリンター３０によって実現されてもよい。この場合、プリンター３０が内臓するコントローラーが、上記プログラムデータＰに従った処理（図２に示した処理）を実行し、プリンター３０が備える表示部（液晶パネル）に総合評価点などを表示する構成とする。なお、図２のＳ１５０〜Ｓ１９０に示した各評価処理の順番は、上述した処理順序に限定されるものではない。
【符号の説明】
【００５９】
１０…コンピューター、１１…ＣＰＵ、１２…内部メモリー、１３…ＨＤＤ、２０…ＤＳＣ、３０…プリンター、４０…メモリーカード、５０…ディスプレー、６０…入力操作部、１２１…画像評価処理部、１２１ａ…顔画像検出部、１２１ｂ…顔数判定部、１２１ｃ…顔位置評価部、１２１ｄ…顔映り評価部、１２１ｅ…顔向き評価部、１２１ｆ…不良条件評価部、１２１ｇ…背景構図評価部、１２１ｈ…総合評価部、１２２…表示処理部、１２３…印刷処理部
【図１】
2010224677.tif 000003
【図２】
2010224677.tif 000004
【図３】
2010224677.tif 000005
【図４】
2010224677.tif 000006
【図５】
2010224677.tif 000007
【図６】
2010224677.tif 000008
【図７】
2010224677.tif 000009
【図８】
2010224677.tif 000010
【図９】
2010224677.tif 000011
【図１０】
2010224677.tif 000012
【図１１】
2010224677.tif 000013
【図１２】
2010224677.tif 000014
【図１３】
2010224677.tif 000015
【図１４】
2010224677.tif 000016