(57)【特許請求の範囲】
【請求項１】
処理対象の画像を取得する取得手段と、
前記取得手段により取得された前記画像を複数の部分領域に分割する分割手段と、
前記複数の部分領域の各々について、予め定められた評価基準に基づく評価値を算出する算出手段と、
前記算出手段により算出された前記複数の部分領域の各々の評価値を表す評価値情報と前記評価値情報を画像上に配置する位置とを関連付けた評価値マップを生成する評価値マップ生成手段と、
前記評価値マップ生成手段により生成された前記評価値マップを前記取得手段により取得された前記画像に重畳表示させた合成画像を出力する出力手段と、
を備え、
前記算出手段は、複数の構図パターンの各々について、前記複数の部分領域の各々の前記評価値を算出し、
前記評価値マップ生成手段は、前記複数の構図パターンに対応する複数の前記評価値マップを生成し、
前記出力手段は、ユーザによる構図パターンの選択操作に基づいて、前記取得手段により取得された前記画像に重畳表示させる前記評価値マップを切り替える、
画像評価装置。
【請求項２】
前記評価値情報は、前記評価値に応じた色であり、
前記出力手段は、前記複数の部分領域の各々を、前記部分領域の評価値に応じた色で表した前記合成画像を出力する、
請求項１に記載の画像評価装置。
【請求項３】
前記算出手段は、人の興味を惹く度合いを示す興味度を前記部分領域毎に算出し、前記興味度に応じた重み付けに基づいて前記部分領域の評価値を算出する、
請求項１又は２に記載の画像評価装置。
【請求項４】
コンピュータを、
処理対象の画像を取得する取得手段、
前記取得手段により取得された前記画像を複数の部分領域に分割する分割手段、
前記複数の部分領域の各々について、予め定められた評価基準に基づく評価値を算出する算出手段、
前記算出手段により算出された前記複数の部分領域の各々の評価値を表す評価値情報と前記評価値情報を画像上に配置する位置とを関連付けた評価値マップを生成する評価値マップ生成手段、
前記評価値マップ生成手段により生成された前記評価値マップを前記取得手段により取得された前記画像に重畳表示させた合成画像を出力する出力手段、
として機能させ、
前記算出手段は、複数の構図パターンの各々について、前記複数の部分領域の各々の前記評価値を算出し、
前記評価値マップ生成手段は、前記複数の構図パターンに対応する複数の前記評価値マップを生成し、
前記出力手段は、ユーザによる構図パターンの選択操作に基づいて、前記取得手段により取得された前記画像に重畳表示させる前記評価値マップを切り替える、
画像評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像評価装置及び画像評価プログラムに関する。
【背景技術】
【０００２】
従来、入力画像の構図等を評価し、その評価結果を入力画像（例えばユーザにより撮影された画像）とともに出力する手法が知られている（下記特許文献１参照）。上記手法によれば、ユーザは入力画像の構図等に関する評価値を把握することができるので、ユーザの撮影に関する技術の向上を図ることが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１９３１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記手法では、画像全体の構図等に関する評価結果が出力される一方で、画像を領域分割して得られる個々の部分領域毎の評価結果は出力されない。このため、ユーザは、画像内のどの部分領域が画像の見栄えの良し悪しにどの程度寄与しているかを把握することができず、画像の構図等の見栄えを改善するための調整（例えば被写体の位置の調整等）を容易に行うことができないといった問題がある。
【０００５】
そこで、本発明は、画像の見栄えを改善する調整を容易に行うための参考情報をユーザに提示することができる画像評価装置及び画像評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一形態に係る画像評価装置は、処理対象の画像を取得する取得手段と、取得手段により取得された画像を複数の部分領域に分割する分割手段と、複数の部分領域の各々について、予め定められた評価基準に基づく評価値を算出する算出手段と、算出手段により算出された複数の部分領域の各々の評価値を表す評価値情報を複数の部分領域の各々に対応付けて表示する合成画像を出力する出力手段と、を備える。
【０００７】
本発明の一形態に係る画像評価プログラムは、コンピュータを、処理対象の画像を取得する取得手段、取得手段により取得された画像を複数の部分領域に分割する分割手段、複数の部分領域の各々について、予め定められた評価基準に基づく評価値を算出する算出手段、算出手段により算出された複数の部分領域の各々の評価値を表す評価値情報を複数の部分領域の各々に対応付けて表示する合成画像を出力する出力手段、として機能させる。
【０００８】
このような画像評価装置又は画像評価プログラムでは、処理対象の画像を分割して得られた複数の部分領域の各々について、予め定められた評価基準（例えば構図及びピント等）に基づく評価値が算出される。そして、評価値を表す評価値情報を当該評価値が算出された部分領域に対応付けて表示する合成画像が出力される。以上により、画像内の部分領域毎の評価値を視覚的に把握することが可能になる。すなわち、画像内のどの部分領域が画像の見栄えの良し悪しにどの程度寄与しているかを合成画像に基づいて直感的に把握することが可能となる。従って、上記画像評価装置又は上記画像評価プログラムによれば、上述のように出力される合成画像を、画像の見栄えを改善する調整を容易に行うための参考情報として、ユーザに提示することができる。
【０００９】
評価値情報は、評価値に応じた色であり、出力手段は、複数の部分領域の各々を、部分領域の評価値に応じた色で表した合成画像を出力してもよい。
【００１０】
この構成によれば、ユーザに、合成画像において部分領域に着色される色の種類に基づいて、各部分領域の評価値を直感的に把握させることができる。
【００１１】
算出手段は、人の興味を惹く度合いを示す興味度を部分領域毎に算出し、興味度に応じた重み付けに基づいて部分領域の評価値を算出してもよい。
【００１２】
この構成によれば、画像内の各部分領域の評価値に対して、人の興味を惹く度合いに応じた重み付けを行うことにより、人の興味を惹く度合いが考慮された合成画像をユーザに提示することが可能となる。例えば、人の興味を惹き易い部分領域の評価結果がより重視された合成画像をユーザに提示することが可能となる。その結果、ユーザは、人の興味を惹き易い部分領域の構図等を重点的に改善することが可能となり、画像の見栄えを改善するための調整をより効果的に行うことが可能となる。
【発明の効果】
【００１３】
本発明によれば、画像の見栄えを改善する調整を容易に行うための参考情報をユーザに提示することができる画像評価装置及び画像評価プログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】一実施形態に係る画像評価装置の機能構成を示すブロック図である。
【図２】図１の画像評価装置のハードウェア構成を示すブロック図である。
【図３】処理対象の画像に対する領域分割により得られる部分領域の一例を示す図である。
【図４】領域情報格納部に格納される領域情報の一例を示す図である。
【図５】Ｎｏｉｓｅ（ｉ）の説明図である。
【図６】Ｐｉｎｔ（ｉ）の説明図である。
【図７】Ｃｏｍｐ（ｉ，ｊ）の説明図である。
【図８】Ｃｏｍｐ（ｉ，ｊ）の説明図である。
【図９】評価値格納部に格納される評価値の一例を示す図である。
【図１０】実画像及び合成画像の一例を示す図である。
【図１１】画像評価装置の動作の一例を示すフローチャートである。
【図１２】一実施形態に係る画像評価プログラムの構成を示すブロック図である。
【図１３】変形例に係る画像評価装置により表示される合成画像の例を示す図である。
【図１４】変形例に係る画像評価装置により表示されるアドバイス情報の例を示す図である。
【図１５】変形例に係る画像評価装置により表示されるアドバイス情報の他の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。
【００１６】
図１は、本発明の一実施形態に係る画像評価装置１の機能構成を示すブロック図である。画像評価装置１は、図１に示す各機能要素により、処理対象の画像（例えば、人物、動物、及び風景等の被写体を含んだ写真等）を複数の部分領域に分割し、予め定められた評価基準（例えば、構図及びピント等）に基づく評価値を部分領域毎に算出し、評価値を表す評価値情報を部分領域毎に対応付けて表示する合成画像を出力する。このように、画像評価装置１は、画像内の部分領域毎の評価値を可視化した合成画像を出力することにより、画像の評価結果を知りたいユーザ（例えば、写真を撮影しようとしているユーザ、及び写真の撮影技術を向上したいと考えているユーザ等）に対して、部分領域毎の詳細な評価結果を提示するように構成されている。
【００１７】
画像評価装置１は、例えば、被写体を撮像するカメラ機能を有するデジタルカメラ、スマートフォン、タブレット、及び携帯電話等の端末として実装される。この場合、画像評価装置１は、自装置が備えるカメラ機能で撮像した画像を処理対象の画像として取得することができる。また、画像評価装置１は、上述のカメラ機能を有さないサーバ装置として実装されてもよい。この場合、画像評価装置１は、例えば、他の装置（例えば上述したカメラ機能を有する端末等）によって撮像された画像を当該他の装置から受け取る（例えばＳＤカード等の記録媒体を介して受け取る）ことにより、処理対象の画像を取得することができる。なお、以降の説明においては、画像評価装置１は、カメラ機能を有するスマートフォン等の端末であることを主に想定して説明を行うが、上述の通り、画像評価装置１は、カメラ機能を有する端末に限定されない。
【００１８】
図２は、画像評価装置１のハードウェア構成を示すブロック図である。図２に示すように、画像評価装置１は、物理的には、一又は複数のＣＰＵ１０１と、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３と、入力キー及びタッチセンサ等の入力デバイスである入力装置１０４と、液晶ディスプレイ等の出力装置１０５と、データ送受信デバイスである通信モジュール１０６と、カメラモジュール１０７と、半導体メモリ等の補助記憶装置１０８と、を含むコンピュータシステムとして構成される。図１に示す画像評価装置１の各機能は、図２に示すＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェア（画像評価プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで入力装置１０４、出力装置１０５、通信モジュール１０６、及びカメラモジュール１０７を動作させるとともに、ＲＡＭ１０２及び補助記憶装置１０８等におけるデータの読み出し及び書き込みを行うことで実現される。
【００１９】
なお、画像評価装置１は、単一の装置として構成されてもよいし、２以上の装置によって機能を分散した構成とされてもよい。例えば、画像評価装置１は、上述したように、デジタルカメラ及びスマートフォン等の端末、或いは１台のサーバ装置として構成されてもよい。また、画像評価装置１は、例えば、カメラモジュール１０７及びディスプレイ（出力装置１０５）を搭載する端末と、当該端末により取得された画像に対する処理（例えば後述する領域分割部１３、評価値算出部１６、及び評価値マップ生成部１８等による処理）を実行するサーバ装置と、を含む分散システムとして構成されてもよい。
【００２０】
以下、図１に示す画像評価装置１の構成について詳述する。画像評価装置１は、機能的な構成要素として、画像取得部１１（取得手段）、画像情報格納部１２、領域分割部１３（分割手段）、領域情報格納部１４、構図パターン格納部１５、評価値算出部１６（算出手段）、評価値格納部１７、評価値マップ生成部１８、及び画像表示部１９（出力手段）を備える。
【００２１】
画像取得部１１は、処理対象の画像を取得する。画像取得部１１は、例えばカメラモジュール１０７によって実現される。具体的には、画像取得部１１は、レンズ及び光学素子等の複数の光学系の部品と、それらを駆動制御する複数の制御系の回路と、受光素子によって取得された画像を表す電気信号をデジタル信号である画像信号に変換する信号処理系の回路部と、を含む。画像取得部１１は、取得した被写体の画像信号を含む画像情報を画像情報格納部１２に格納する。取得される画像情報は、動画像の情報であってもよいし、静止画像の情報であってもよい。なお、上述の通り、画像評価装置１がカメラ機能を有さないサーバ装置等である場合、他の装置で取得されて記憶された画像ファイルを入力する部分が画像取得部１１となる。例えば、画像評価装置１が他の装置から通信ネットワークを介して画像ファイルを受信する場合、画像ファイルの受信処理を行う部分（通信モジュール１０６等）が画像取得部１１として機能する。画像取得部１１により取得される画像（動画像の場合には各フレーム）は、例えば、各画素（ピクセル）の画素値（例えば、輝度、明度及び色彩等の画素に関する数値）を示す画像情報として取得される。画像取得部１１は、このような画像情報を画像情報格納部１２に受け渡す。
【００２２】
画像情報格納部１２は、画像取得部１１から受け渡された画像情報を格納する。画像情報格納部１２に格納されている画像情報は、後述する領域分割部１３、評価値算出部１６、及び画像表示部１９により参照される。
【００２３】
領域分割部１３は、画像取得部１１により取得された画像を複数の部分領域に分割する。画像の分割には、任意の領域分割の手法を用いることができる。領域分割の手法自体は公知であるため詳細な説明を省略するが、例えば、領域分割部１３は、画像情報格納部１２に格納されている画像情報を参照し、各画素の画素値に基づいてエッジ検出等の処理を実行する。このような領域分割の処理を実行することにより、領域分割部１３は、各部分領域が予め定められた一様性の基準を満たし、且つ、隣接する２つの部分領域の和集合が上記一様性の基準を満たさないように、画像を互いに重ならない複数の部分領域に分割する。
【００２４】
図３は、処理対象の画像に対する領域分割により得られる部分領域の一例を示す図である。なお、図３に示す画像Ｐは、説明のために簡略化した画像であり、被写体の色及び明暗等の図示が省略されている。図３の例では、領域分割部１３は、処理対象の画像Ｐに対して上述した領域分割の処理を実行することで、画像Ｐを４つの部分領域ＩＤ０〜ＩＤ３に分割する。部分領域ＩＤ０は、背景（例えば空等）に対応する部分である。部分領域ＩＤ１は、背景とは異なる矩形状の物体に対応する部分である。部分領域ＩＤ２は、被写体である人の顔に対応する部分である。部分領域ＩＤ３は、画像Ｐ内に映り込んだ物体（例えば木の枝等）に対応する部分である。
【００２５】
領域情報格納部１４は、領域分割部１３により分割された部分領域に関する領域情報を格納する。なお、領域情報は、領域分割部１３により生成され、領域情報格納部１４に受け渡される。例えば、領域情報は、画像の各画素を識別するピクセル座標と画素が属する部分領域を識別する領域ＩＤとを関連付けた情報である。ピクセル座標は、例えば、画像の横方向をＸ軸方向、画像の縦方向をＹ軸方向として規定したＸＹ座標により表現される。本実施形態では一例として、ピクセル座標は、画像の左上隅の画素の座標を原点座標（０，０）とし、画像の右方向をＸ軸の正方向とし、画像の下方向をＹ軸の正方向とした場合のＸＹ座標として表現される。
【００２６】
図４は、領域情報の一例を示す図である。図４に示す領域情報の例では、ピクセル座標（０，０）及び（０，１）により識別される各画素が部分領域ＩＤ０に含まれ、ピクセル座標（４２７，３２０）及び（４２７，３２１）により識別される各画素が部分領域ＩＤ２に含まれることが示されている。
【００２７】
構図パターン格納部１５は、予め登録された複数の構図パターン（三分割構図及び黄金比構図等）の各々の評価ロジックを示す構図パターン情報を格納する。評価ロジックは、例えば、後述する評価値算出部１６が各部分領域の構図に関するスコアを算出する際に利用するための評価関数（計算式）等の情報である。例えば、三分割構図の評価ロジックとしては、部分領域の輪郭又は重心位置が画像を三分割した境界線又は境界線同士の交点に近いほどスコアが大きくなるような評価関数が格納されている。
【００２８】
評価値算出部１６は、画像情報格納部１２に格納されている画像情報、領域情報格納部１４に格納されている領域情報、及び構図パターン格納部１５に格納されている構図パターン情報を参照し、部分領域毎に予め定められた評価基準に基づく評価値を算出する。ここで、各部分領域の評価値は、画像全体の見栄えの良し悪しに対して当該部分領域が影響を与えている度合い（寄与度）と言い換えることもできる。本実施形態では、部分領域の評価値が大きいほど、当該部分領域が画像の印象を良くするのに貢献している度合いが大きいことを意味する。つまり、当該部分領域が画像に映っていることにより、画像が見栄えの良いものになっていることを意味する。
【００２９】
本実施形態では一例として、評価値算出部１６は、部分領域毎に、複数（本実施形態では一例として５つ）の評価項目の各々についての評価値（スコア）を算出し、評価項目毎のスコアの重み付け和を部分領域の評価値として算出する。本実施形態では一例として、評価値算出部１６は、下記式（１）により、構図パターンｊが目標とされる構図として定められた場合における部分領域ｉの評価値ｆ（ｉ，ｊ）を算出する。ここで、Ｎｏｉｓｅ（ｉ）、Ｐｉｎｔ（ｉ）、Ｖｉｖｉｄ（ｉ）、Ｃｏｎｔ（ｉ）、及びＣｏｍｐ（ｉ，ｊ）は、上述した５つの評価項目の各々のスコアを示す。また、重みｗ１〜ｗ５は、各評価項目のスコアに対して予め設定された重みである。このような重みｗ１〜ｗ５は、デフォルトで設定された固定値であってもよいし、ユーザの設定操作によって適宜変更可能な可変値であってもよい。
【数１】
0006608311.tif 000002
【００３０】
評価値算出部１６は、領域情報格納部１４に格納されている部分領域ｉの領域情報から、部分領域ｉに含まれる画素（ピクセル座標）を抽出する。これにより、評価値算出部１６は、画像Ｐにおいて部分領域ｉが占める範囲を把握する。また、評価値算出部１６は、画像情報格納部１２を参照することで、部分領域ｉに含まれる画素の画素値を把握する。評価値算出部１６は、画像Ｐにおいて部分領域ｉが占める範囲、及び部分領域ｉに含まれる各画素の画素値に基づいて、上述した各評価項目のスコアを算出する。以下、各評価項目のスコアの算出手法の一例について説明する。なお、評価値算出部１６は、評価項目毎に予め定められた判断ルール及び評価関数等に基づいて、各評価項目のスコアを算出する。以下、各評価項目のスコアの一例について説明する。
【００３１】
Ｎｏｉｓｅ（ｉ）は、部分領域ｉが不要な映り込みではないか否かについての評価項目のスコアである。Ｎｏｉｓｅ（ｉ）は、部分領域ｉが不要な映り込みではない場合に大きくなり、部分領域ｉが不要な映り込みである場合に小さくなるように算出される。例えば、評価値算出部１６は、領域情報格納部１４に格納されている部分領域ｉの領域情報から抽出された部分領域ｉが占める範囲に基づいて、部分領域ｉが画像Ｐの端に接しているか否かを判定する。具体的には、評価値算出部１６は、部分領域ｉに、画像Ｐの端のピクセル座標に対応する画素が含まれているか否かを判定し、含まれている場合に部分領域ｉが画像Ｐの端に接していると判定する。評価値算出部１６は、部分領域ｉが画像Ｐの端に接していないと判定された場合、部分領域ｉは不要な映り込みではないと判断する。一方、評価値算出部１６は、部分領域ｉが画像Ｐの端に接していると判定された場合（すなわち、部分領域ｉに対応する被写体の一部が画像Ｐの外に出ていることが想定される場合）、部分領域ｉは不要な映り込みであると判断する。
【００３２】
ここで、部分領域ｉが不要な映り込みである場合、当該部分領域ｉの面積が大きいほど、当該部分領域ｉが画像Ｐの見栄えに悪影響を与えている可能性が高いと考えられる。そこで、評価値算出部１６は、部分領域ｉが不要な映り込みであると判断された場合、当該部分領域ｉの面積が大きいほどＮｏｉｓｅ（ｉ）が小さくなるように、Ｎｏｉｓｅ（ｉ）を算出する。なお、背景部分（例えば図３の部分領域ＩＤ０）は、画像Ｐの端（上下左右の４辺）に接しているが、不要な映り込みとはいえない。そこで、評価値算出部１６は、このような背景部分を不要な映り込みであると判断する対象から除外すべく、例えば画像Ｐの４辺（或いは３辺以上）に接している部分領域ｉ（背景部分である可能性が高い部分領域ｉ）については、不要な映り込みではないと判断してもよい。
【００３３】
図５は、Ｎｏｉｓｅ（ｉ）の説明図である。図５の（ａ）の例では、部分領域ｉは、画像Ｐの端に接していないため、不要な映り込みではないと判断される。一方、図５の（ｂ）の例では、部分領域ｉは、画像Ｐの端（右辺）に接しているため、不要な映り込みであると判断される。このため、図５の例では、Ｎｏｉｓｅ（ｉ）は、図５の（ａ）に示す場合の方が、図５の（ｂ）に示す場合よりも大きい値となる。
【００３４】
Ｐｉｎｔ（ｉ）は、部分領域ｉに対してピントが合っているか（被写体である部分領域ｉがぶれていないか）否かについての評価項目のスコアである。例えば、評価値算出部１６は、部分領域ｉに含まれる画素の画素値から、部分領域ｉにおける空間周波数を算出する。一般にピントが合っておらずピンボケが発生している領域において、空間周波数が低くなる傾向がある。そこで、評価値算出部１６は、空間周波数が高いほどＰｉｎｔ（ｉ）が大きくなるように、Ｐｉｎｔ（ｉ）を算出する。
【００３５】
図６は、Ｐｉｎｔ（ｉ）の説明図である。図６の（ａ）の例では、部分領域ｉにピンボケは生じておらず、空間周波数は比較的高い値を示す。一方、図６の（ｂ）の例では、部分領域ｉにピンボケが生じており、空間周波数は比較的低い値を示す。このため、図６の例では、Ｐｉｎｔ（ｉ）は、図６の（ａ）に示す場合の方が、図６の（ｂ）に示す場合よりも大きい値となる。
【００３６】
Ｖｉｖｉｄ（ｉ）は、部分領域ｉの色が適度に鮮やかであるか否かについての評価項目のスコアである。例えば、評価値算出部１６は、部分領域ｉに含まれる画素の彩度（Saturation）の代表値（例えば平均値等）と予め設定された適正レベル（適正値）との誤差が小さいほどＶｉｖｉｄ（ｉ）の値が大きくなるように、Ｖｉｖｉｄ（ｉ）を算出する。なお、画像情報格納部１２に格納されている画像情報（各画素の画素値）がＲＧＢ色空間により表現されている場合、評価値算出部１６は、ＲＧＢ色空間からＨＳＶ色空間への公知の変換処理を行うことで、ＨＳＶ色空間の一成分である彩度（Ｓ）の情報を得ることができる。
【００３７】
Ｃｏｎｔ（ｉ）は、部分領域ｉが画像Ｐのコントラストの適正化に寄与しているか否かについての評価項目のスコアである。評価値算出部１６は、部分領域ｉが画像Ｐのコントラストの適正化に寄与している程度が大きいほどＣｏｎｔ（ｉ）が大きくなるように、Ｃｏｎｔ（ｉ）を算出する。例えば、評価値算出部１６は、画像Ｐのコントラスト値Ｃ１を計算するとともに、画像Ｐから部分領域ｉを除外した場合の画像Ｐのコントラスト値Ｃ２を計算する。ここで、予め設定された適正コントラストレベル（適正値）Ｃ０とコントラスト値Ｃ１との差の絶対値Ａ１（＝｜Ｃ１−Ｃ０｜）が、適正コントラストレベルＣ０とコントラスト値Ｃ２との差の絶対値Ａ２（＝｜Ｃ２−Ｃ０｜）よりも大きい場合、部分領域ｉは、画像Ｐのコントラストの適正化に寄与しているといえる。つまり、部分領域ｉが存在することにより、画像Ｐのコントラストが適正値に近付いているといえる。また、絶対値Ａ１と絶対値Ａ２との差（Ａ１−Ａ２）が大きいほど、部分領域ｉが画像Ｐのコントラストの適正化に寄与している程度が大きいといえる。そこで、評価値算出部１６は、絶対値Ａ１と絶対値Ａ２との差（Ａ１−Ａ２）に基づいて、当該差が大きいほどＣｏｎｔ（ｉ）が大きくなるように、Ｃｏｎｔ（ｉ）を算出することができる。
【００３８】
Ｃｏｍｐ（ｉ，ｊ）は、部分領域ｉが予め設定された構図パターンｊ（例えばデフォルト設定又はユーザ設定により選択された構図パターン）に忠実であるか否かについての評価項目のスコアである。例えば、評価値算出部１６は、構図パターン格納部１５に格納されている構図パターンｊ（例えば三分割構図等）の構図パターン情報を用いることにより、部分領域ｉのＣｏｍｐ（ｉ，ｊ）を算出する。ここで、被写体の重心が画像を縦横に三分割する仮想線の交点（縦方向に延びる仮想線と横方向に延びる仮想線との交点）に近いほど三分割構図に忠実であるといえる。このため、三分割構図の構図パターン情報として、部分領域ｉの重心と上記交点との距離が小さいほど値が大きくなるような評価関数が利用され得る。また、例えば海及び空等の背景部分の輪郭（例えば水平線及び地平線等）が上記仮想線に一致している場合にも、三分割構図に忠実であるといえる。このため、三分割構図の構図パターン情報として、部分領域ｉの輪郭と上記仮想線との一致度が高いほど値が大きくなるような評価関数も利用され得る。
【００３９】
図７及び図８は、Ｃｏｍｐ（ｉ，ｊ）の説明図である。図７の例において、構図パターンｊは三分割構図であり、画像Ｐ内の破線は、画像Ｐを縦横それぞれについて三分割する仮想線を示している。図７の（ａ）の例では、部分領域ｉは、その重心位置（部分領域ｉの中心位置）が三分割構図の仮想線の交点にほぼ一致しており、三分割構図に忠実に配置されている。一方、図７の（ｂ）の例では、部分領域ｉは、その重心位置が三分割構図の仮想線の交点と一致しておらず（交点から離れており）、三分割構図に忠実に配置されていない。このため、Ｃｏｍｐ（ｉ，ｊ）は、図７の（ａ）に示す場合の方が、図７の（ｂ）に示す場合よりも大きい値となる。
【００４０】
図８の例では、画像Ｐは、５つの部分領域ｉ（ｉ＝ｋ１〜ｋ５）に分割されている。図８の例においても、構図パターンｊは三分割構図であり、画像Ｐ内の破線は、画像を縦横それぞれについて三分割する仮想線を示している。画像Ｐには、背景として海（部分領域ｋ１）及び空（部分領域ｋ２）が映っており、さらに、海に浮かぶ船（部分領域ｋ３）、月（部分領域ｋ４）、及び雲（部分領域ｋ５）が映っている。ここで、海（部分領域ｋ１）及び空（部分領域ｋ２）は、いずれもその輪郭（境界線）が三分割構図の仮想線にほぼ一致している。このため、部分領域ｋ１，ｋ２のＣｏｍｐ（ｉ，ｊ）は比較的大きい値となる。一方、船（部分領域ｋ３）、月（部分領域ｋ４）、及び雲（部分領域ｋ５）の各々の重心位置はいずれも三分割構図の仮想線の交点から離れている。このため、部分領域ｋ３〜ｋ５のＣｏｍｐ（ｉ，ｊ）は比較的小さい値となる。より具体的には、部分領域ｋ３〜ｋ５のＣｏｍｐ（ｉ，ｊ）は、部分領域ｋ３〜ｋ５の重心位置と仮想線の交点（部分領域ｋ３〜ｋ５の重心位置から最も近い交点）との距離が大きいほど小さい値となる。
【００４１】
以上のようにして、評価値算出部１６は、画像Ｐに含まれる部分領域ｉ毎に、複数の評価項目の各々についてのスコア（Ｎｏｉｓｅ（ｉ）、Ｐｉｎｔ（ｉ）、Ｖｉｖｉｄ（ｉ）、Ｃｏｎｔ（ｉ）、Ｃｏｍｐ（ｉ，ｊ））を算出し、上記式（１）に基づいて部分領域ｉの総合評価としての評価値ｆ（ｉ，ｊ）を算出することができる。ただし、上記式（１）で算出される評価値ｆ（ｉ，ｊ）は一例であり、評価値は、上述した複数の評価項目のうちの一部の評価項目のスコアから決定される値であってもよいし、上述した評価項目以外の評価項目のスコアから決定される値であってもよい。なお、評価値算出部１６は、下記式（２）により、画像Ｐ全体の総合評価ｆ（ｊ）を算出することができる。
【数２】
0006608311.tif 000003
【００４２】
上記式（２）において、「Ｉ」は、画像Ｐ内に含まれる部分領域の集合を示す。また、重みｚｉは、部分領域ｉの評価値ｆ（ｉ，ｊ）に対する視覚的顕著性（興味度）に基づく重みである。具体的には、部分領域ｉが画像Ｐ内において視覚的に顕著な領域（すなわち、ユーザの興味を惹き易い領域）であるほど、重みｚｉは大きい値となる。これにより、ユーザの興味を惹く度合いである興味度が大きい部分領域ｉ（例えば、視覚的に目立つ物体等）の評価値ｆ（ｉ，ｊ）ほど、画像Ｐ全体の総合評価ｆ（ｊ）に与える影響を大きくすることができる。なお、画像Ｐ内のどの部分領域ｉがユーザの興味を惹くかは、例えばサリエンシーディテクション（Saliency  Detection）と呼ばれる公知の手法（例えば、「第５９回知っておきたいキーワード  サリエンシーディテクション，中澤篤志，映像情報メディア学会誌Ｖｏｌ．６４，Ｎｏ．１２，ｐｐ．１８３０〜１８３２（２０１０）」を参照）等を用いることで特定することができる。評価値算出部１６は、例えば上記公知の手法により特定されたユーザの興味を惹き易い部分（画素）を多く含む部分領域ｉほど重みｚｉが大きくなるように、所定の計算式によって重みｚｉを決定することができる。ここで、評価値算出部１６は、ｆ（ｉ，ｊ）に重みｚｉを乗じた値（＝ｚｉｆ（ｉ，ｊ））を部分領域ｉの評価値として算出してもよい。このようにして算出された評価値は、後述する評価値マップ生成部１８が興味度考慮済みマップを生成する際に用いられる。なお、上記式（２）の右辺の値を画像Ｐ内に含まれる部分領域の個数で割った値を画像Ｐ全体の総合評価としてもよい。このようにすれば、画像内に含まれる部分領域の個数が多いほど評価値が大きくなってしまうことを防ぎ、部分領域の個数が異なる画像間での評価値の比較を適切に行うことができる。
【００４３】
評価値格納部１７は、評価値算出部１６により算出された評価結果を格納する。例えば、評価値格納部１７は、評価値算出部１６により算出された部分領域ｉ毎の評価値ｆ（ｉ，ｊ）とともにｆ（ｉ，ｊ）の要素である評価項目毎のスコアを格納する。また、評価値格納部１７は、上述した部分領域ｉ毎の重みｚｉも部分領域ｉに関連付けて格納してもよい。
【００４４】
図９は、評価値格納部１７に格納される情報（ここでは一例として評価値及び評価項目毎のスコア）の一例を示す。図９の例は、図３の画像Ｐに含まれる部分領域ＩＤ０〜ＩＤ３の各々の評価値ｆ（ｉ，ｊ）及び評価項目毎のスコアの例を示している。また、この例では、各評価項目のスコアは、「−１００」から「＋１００」までの範囲に含まれるように評価値算出部１６により算出されている。また、各部分領域ＩＤ０〜ＩＤ３の評価値ｆ（ｉ，ｊ）は、重みｗ１〜ｗ５を全て「０．２」として上記式（１）により算出された値である。
【００４５】
評価値マップ生成部１８は、画像Ｐに重畳表示させるための評価値マップを生成する。評価値マップとは、例えば、部分領域ｉ毎の評価値ｆ（ｉ，ｊ）を表す評価値情報（例えば、色表示及び点数表示等）と、当該評価値情報を画像Ｐ上に配置する位置とを関連付けた情報である。例えば、評価値マップ生成部１８は、部分領域ｉに含まれる画素領域に対して、当該部分領域ｉについて算出された評価値ｆ（ｉ，ｊ）に応じた色（評価値情報の一例）を関連付けた評価値マップを生成する。一例としては、評価値マップ生成部１８は、「−１００」から「＋１００」までの間の各値に対応する色の情報を予め保持する。例えば、評価値「−１００」に対応する色は「青」、評価値「０」に対応する色は「黄」、評価値「＋１００」に対応する色は「赤」といったように、評価値マップ生成部１８は、各値に対応する色の情報を保持する。なお、実際の色の情報としては、評価値マップ生成部１８は、例えばＲＧＢ色空間で表現した数値情報を保持する。
【００４６】
評価値マップ生成部１８は、部分領域ｉ毎の評価値ｆ（ｉ，ｊ）に基づく評価値マップを生成する代わりに、或いは評価値ｆ（ｉ，ｊ）に基づく評価値マップを生成するとともに、評価項目毎のスコアに基づく評価値マップ（以下「スコアマップ」という。）を生成してもよい。このようなスコアマップによれば、評価項目毎の評価結果を把握することが可能となる。例えば、Ｎｏｉｓｅ（ｉ）に基づくスコアマップを画像Ｐに重畳表示させることで、不要な映り込みではないか否かといった観点について、画像Ｐの見栄えに悪影響を与えている部分領域（図３及び図９の例では、部分領域ＩＤ３）を把握することが可能となる。なお、このようなスコアマップは、例えば、上記式（１）の重みｗ１〜ｗ５を調整して評価値算出部１６にｆ（ｉ，ｊ）を再計算させることで生成することができる。具体的には、重みｗ１を「１」とし、その他の重みｗ２〜ｗ５を「０」にして上記式（１）により計算されたｆ（ｉ，ｊ）に基づく評価値マップを生成することは、上述したＮｏｉｓｅ（ｉ）に基づくスコアマップを生成することと同じである。
【００４７】
また、評価値マップ生成部１８は、部分領域ｉの評価値ｆ（ｉ，ｊ）又は評価項目毎のスコアに対して、当該部分領域ｉの興味度に応じた重み（上述した重みｚｉ）を乗じた値に基づく評価値マップ（以下「興味度考慮済みマップ」という。）を生成してもよい。このような興味度考慮済みマップによれば、ユーザの興味を惹く度合いが大きい部分領域ｉの評価結果がより重視されることになる。その結果、興味度考慮済みマップを画像Ｐに重畳表示させることで、興味度が大きい部分領域ｉの評価結果が重視された合成画像を得ることができる。
【００４８】
画像表示部１９は、出力装置１０５（図２）によって実現され、部分領域毎の評価値を表す評価値情報を複数の部分領域の各々に対応付けて表示する合成画像を出力する。具体的には、画像表示部１９は、評価値マップ生成部１８により生成された評価値マップを実画像（画像Ｐ）に重畳表示させることで、部分領域ｉ毎の評価値ｆ（ｉ，ｊ）を視覚的に把握可能な合成画像を出力する。
【００４９】
画像表示部１９は、例えば、画像評価装置１に設けられた液晶ディスプレイにより実現される。また、特に画像評価装置１がデジタルカメラ等のファインダーを有する装置である場合には、画像表示部１９は、ファインダー内部に設けられる液晶ディスプレイ等の表示装置によって実現されてもよい。なお、画像表示部１９は、画像評価装置１において評価モード（すなわち、上述の領域分割部１３、評価値算出部１６、及び評価値マップ生成部１８の処理を実行して合成画像を出力するモード）がＯＮになっていない場合には、画像取得部１１により取得された画像Ｐを出力表示する。
【００５０】
図１０は、実画像及び合成画像の一例を示す図である。図１０の（ａ）は、実画像（画像Ｐ）の例を示している。図１０の（ｂ）は、図１０の（ａ）に示す画像Ｐに対して画像表示部１９が評価値マップを重畳表示させることで得られる合成画像Ｉを示している。なお、図１０の（ｂ）に示す合成画像Ｉにおいて、各部分領域ｋ１〜ｋ６が、評価値に対応する濃淡で表現されているが、実際には濃淡の度合いに対応する色（すなわち、評価値に応じた色）で表現される。このように、部分領域ｋ１〜ｋ６に対して評価値に応じた色が着色された合成画像Ｉが画像表示部１９によって出力されることで、ユーザに、合成画像Ｉにおける部分領域ｋ１〜ｋ６の色の種類に基づいて、各部分領域ｋ１〜ｋ６の評価値を直感的に把握させることができる。すなわち、どの部分領域が画像Ｐの見栄えに良い影響を与えており、どの部分領域が画像Ｐの見栄えに悪い影響を与えているかを、ユーザに直感的に把握させることができる。図１０の例では、部分領域ｋ１，ｋ２の評価値が大きい一方で、部分領域ｋ５の評価値が小さいことがわかる。このため、ユーザに、例えば部分領域ｋ５が画像Ｐ内に映り込まないように構図を調整することで、画像Ｐの見栄えを改善する余地があることを一目で把握させることができる。
【００５１】
なお、画像表示部１９は、上述したスコアマップ又は興味度考慮済みマップを画像Ｐに重畳表示させることで合成画像を出力してもよい。例えば、画像表示部１９は、ユーザ操作等により、画像Ｐに重畳表示させるマップの種類（すなわち、評価値マップ、スコアマップ、及び興味度考慮済みマップ等）を切り替えて表示してもよい。この場合、ユーザは、マップの種類を指定することで、自身が把握したい評価結果だけを参照することができる。例えば、ユーザは、Ｃｏｍｐ（ｉ，ｊ）に基づくスコアマップを指定することで、Ｃｏｍｐ（ｉ，ｊ）のみに基づく評価結果が可視化された合成画像を把握することができる。なお、評価値マップ生成部１８は、マップの種類の切替操作がユーザにより実行された際に切替先のマップを生成してもよいし、マップの切替にかかる処理待ち時間を短縮するために予め全ての種類のマップを生成しておいてもよい。
【００５２】
次に、画像評価装置１の動作手順について説明する。図１１は、画像評価装置１の動作の一例を示すフローチャートである。ここでは、ユーザが画像評価装置１（一例としてカメラ機能付きスマートフォン）のカメラ機能（カメラアプリケーション及びカメラモジュール１０７）を利用して写真を撮影する場合を例に挙げて説明する。以下に述べる処理は、例えばユーザがカメラアプリケーションを起動することを契機として開始される。
【００５３】
まず、画像取得部１１により、処理対象の画像Ｐが取得される（ステップＳ１）。具体的には、ユーザが画像評価装置１のカメラアプリケーションを起動した後に、レンズが向けられている方向の画像が取得される。取得された画像Ｐの情報は、画像情報格納部１２に一時的に格納される。
【００５４】
続いて、画像評価装置１において評価モードがＯＮにされているか否かが判定される（ステップＳ２）。評価モードがＯＮにされていると判断された場合（ステップＳ２：ＹＥＳ）、部分領域毎の評価値が可視化された合成画像Ｉを表示するための処理（ステップＳ３〜ステップＳ６）が実行される。
【００５５】
以下、評価モードがＯＮにされていると判断された場合（ステップＳ２：ＹＥＳ）の処理について説明する。まず、領域分割部１３が、公知の領域分割の手法を用いて画像取得部１１により取得された画像Ｐを複数の部分領域に分割する（ステップＳ３）。続いて、評価値算出部１６が、複数の部分領域の各々について、上記式（１）等により評価値を算出する（ステップＳ４）。評価値算出部１６により算出された部分領域毎の評価値は、評価値格納部１７に格納される。続いて、評価値マップ生成部１８が、評価値格納部１７に格納されている部分領域毎の評価値に基づいて、画像Ｐに重畳表示させるための評価値マップを生成する（ステップＳ５）。ここでは一例として、評価値マップは、部分領域に含まれる画素領域に対して、当該部分領域について算出された評価値に応じた色を関連付けた情報である。続いて、画像表示部１９が、画像Ｐに評価値マップを重畳表示させることで、部分領域毎の評価値を視覚的に把握可能な合成画像Ｉ（図１０の（ｂ）参照）を出力する（ステップＳ６）。
【００５６】
一方、評価モードがＯＮにされていないと判断された場合（ステップＳ２：ＮＯ）、画像表示部１９は、ステップＳ１で取得された画像Ｐを表示する（ステップＳ７）。
【００５７】
その後、ステップＳ６で表示された合成画像Ｉ又はステップＳ７で表示された画像Ｐがユーザ（撮影者）によって確認され、所定の決定操作がなされると、画像評価装置１は、画像Ｐを撮影及び記録する（ステップＳ８）。特に、評価モードがＯＮになっている場合には、ユーザは、ステップＳ６で表示された合成画像Ｉを確認することにより、画像Ｐの構図等の調整をすべきか否かを判断することができる。
【００５８】
例えば、複数の人が被写体として含まれる集合写真を撮影しようとしており、合成画像Ｉにおいて、特定の一人の人物に対応する部分領域の評価値が低いことが確認できた場合には、当該特定の一人の人物に対して立ち位置の変更（例えば一歩右に移動すること）等の指示を出すことが容易になる。すなわち、ユーザは、画像Ｐの構図を悪くしている原因の被写体を、合成画像Ｉにおいて被写体に重畳表示されている色に基づいて視覚的且つ直感的に把握することができ、当該被写体に対して的確な指示を出すことができる。
【００５９】
また、肉眼では気付きにくい物体（例えば枝）が画像Ｐ内に映り込んでしまう場合もある。このような物体によって画像Ｐの見栄えが悪化している場合、ユーザは、合成画像Ｉにおいて、当該物体に対応する部分領域の評価値が低いことを、当該部分領域に着色されている色に基づいて容易に確認することができる。その結果、ユーザは、枝を取り除いたり、アングルを変えたりといった構図等の調整を適切に行った上で、写真を撮影することが可能となる。
【００６０】
なお、ステップＳ１〜Ｓ６の処理は、定期的に或いはレンズが向けられている方向が変化したタイミング等で、繰り返し実行されてもよい。これにより、現時点で撮影可能な画像Ｐについての評価結果（すなわち合成画像Ｉ）をほぼリアルタイムに更新しながらユーザに提示することができる。その結果、例えばユーザは、合成画像Ｉを確認して構図等の調整を行いつつ、調整後の画像Ｐの評価結果（すなわち合成画像Ｉ）をほぼリアルタイムに確認することが可能となる。これにより、ユーザは、画像Ｐの見栄えが改善したか否かを容易に確認することができる。そして、ユーザは、合成画像Ｉに基づいて調整後の画像Ｐで問題ないことを確認した後に所定の操作を行うことで、画像Ｐを撮影及び記録することができる。
【００６１】
続いて、画像評価装置１において、ユーザから撮影処理の終了を受け付けたか否かが判定される（ステップＳ９）。具体的には、カメラアプリケーションの終了操作を受け付けたか否かが判定される。撮影処理の終了を受け付けなかった場合（ステップＳ９：ＮＯ）、ステップＳ１からの処理が繰り返し実行され、２枚目以降の写真の撮影が実行される。一方、撮影処理の終了を受け付けた場合（ステップＳ９：ＹＥＳ）、画像評価装置１の動作（ここでは一例としてカメラアプリケーションによる写真撮影の処理）を終了する。
【００６２】
次に、図１２を参照して、コンピュータを画像評価装置１として機能させるための画像評価プログラムについて説明する。
【００６３】
画像評価プログラムＰＲ１は、メインモジュールＰＲ１０、画像取得モジュールＰＲ１１、領域分割モジュールＰＲ１３、評価値算出モジュールＰＲ１６、評価値マップ生成モジュールＰＲ１８、及び画像表示モジュールＰＲ１９を備える。メインモジュールＰＲ１０は、画像評価装置１としての処理を統括的に制御する部分である。画像取得モジュールＰＲ１１、領域分割モジュールＰＲ１３、評価値算出モジュールＰＲ１６、評価値マップ生成モジュールＰＲ１８、及び画像表示モジュールＰＲ１９を実行することにより実現される機能は、それぞれ、画像評価装置１の画像取得部１１、領域分割部１３、評価値算出部１６、評価値マップ生成部１８、及び画像表示部１９の機能と同様である。
【００６４】
画像評価プログラムＰＲ１は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ若しくはＲＯＭ等の記録媒体又は半導体メモリによって提供される。また、画像評価プログラムＰＲ１は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されてもよい。
【００６５】
以上説明した画像評価装置１では、処理対象の画像Ｐを分割して得られた複数の部分領域の各々について予め定められた評価基準（本実施形態では一例として上述した５つの評価項目）に基づく評価値が算出される。そして、評価値を表す評価値情報を当該評価値が算出された部分領域に対応付けて表示する合成画像Ｉが出力される。以上により、画像Ｐ内の部分領域毎の構図に関する評価値を視覚的に把握することが可能になる。すなわち、画像Ｐ内のどの部分領域が画像Ｐの見栄えの良し悪しにどの程度寄与しているかを合成画像Ｉに基づいて直感的に把握することが可能となる。従って、画像評価装置１によれば、上述のように出力される合成画像Ｉを、画像の見栄えを改善する調整を容易に行うための参考情報として、ユーザに提示することができる。その結果、ユーザは、合成画像Ｉを参考にすることで、画像Ｐの見栄えを改善するための調整を容易且つ的確に行うことが可能となる。
【００６６】
また、評価値情報は、評価値に応じた色であり、画像表示部１９は、複数の部分領域の各々を、部分領域の評価値に応じた色で表した合成画像Ｉを出力表示する。これにより、ユーザに、合成画像Ｉにおいて部分領域に着色される色の種類に基づいて、各部分領域の評価値を直感的に把握させることができる。
【００６７】
また、評価値算出部１６は、人の興味を惹く度合いを示す興味度を部分領域毎に算出し、興味度に応じた重み付けに基づいて部分領域の評価値（例えば上述したｚｉｆ（ｉ，ｊ））を算出することができる。このように算出された評価値に基づく評価値マップ（上述した興味度考慮済みマップ）が評価値マップ生成部１８により生成され、当該興味度考慮済みマップを画像Ｐに重畳表示させた合成画像Ｉが画像表示部１９により表示されることで、人の興味を惹く度合いが考慮された合成画像Ｉをユーザに提示することが可能となる。具体的には、人の興味を惹き易い部分領域の評価結果がより重視された合成画像Ｉをユーザに提示することが可能となる。その結果、ユーザは、人の興味を惹き易い部分領域の構図等を重点的に改善することが可能となり、画像Ｐの見栄えを改善するための調整をより効果的に行うことが可能となる。
【００６８】
なお、本発明は、上述した実施形態に限定されるものではない。
【００６９】
例えば、評価値マップ生成部１８は、評価値情報として、上述した色ではなく、評価値を表す数値表示を用いてもよい。図１３は、評価値情報として数値表示が用いられた場合に、画像表示部１９によって出力された合成画像の例である。このような数値表示であっても、ユーザは、部分領域毎の評価値を視覚的に把握することができる。なお、評価値を表す数値を配置する位置は、部分領域に重なる位置であってもよいし、部分領域の近傍の位置であってもよい。また、合成画像において、評価値を表す数値は、評価値に応じたサイズで表示されてもよい。例えば、評価値を表す数値は、評価値が小さい程（すなわち、改善の余地が大きいほど）目立つように、大きく表示されてもよい。これにより、ユーザは、構図等の改善の余地が大きい部分領域を直感的に把握することができる。また、合成画像において、評価値を表す数値は、評価値に応じた色で表示されてもよい。これにより、ユーザは、評価値を表す数値の文字色に基づいて、画像の見栄えに良い影響（或いは悪い影響）を与えている部分領域を直感的に把握することができる。また、評価値を表す数値に対する選択操作（例えばタッチパネルに対するタッチ操作）が実行された場合に、評価値の詳細（各評価項目のスコア）が表示されるように構成されてもよい。また、評価値マップ生成部１８は、本実施形態で説明した部分領域の着色表示と上述した数値表示との両方を表示するための評価値マップを生成してもよい。
【００７０】
また、画像表示部１９は、部分領域の評価値が改善するためのアドバイス情報を画像Ｐに重畳表示させた合成画像Ｉを出力してもよい。図１４及び図１５は、アドバイス情報の表示例を示す図である。図１４の（ａ）は、三分割構図が構図パターンｊとして選択されている場合の合成画像Ｉの例である。この例では、被写体（人の顔）である部分領域ｋ１，ｋ２の重心位置が三分割構図の仮想線の交点に一致するように、部分領域ｋ１，ｋ２の適切な調整方向（部分領域ｋ１，ｋ２を移動させる方向）を示す矢印Ａを画像Ｐに重畳表示させた合成画像Ｉが表示されている。図１４の（ｂ）は、アドバイス情報（矢印Ａ）に基づいて部分領域ｋ１，ｋ２の構図を調整した後の画像Ｐを示している。また、図１５の（ａ）は、水平・垂直構図が構図パターンｊとして選択されている場合の合成画像Ｉの例である。この例では、画像Ｐ内で斜めになっている被写体（家）である部分領域ｋ３の姿勢を水平又は垂直に沿うように促す矢印Ｂを画像Ｐに重畳表示させた合成画像Ｉが表示されている。図１５の（ｂ）は、アドバイス情報（矢印Ｂ）に基づいて部分領域ｋ３の構図を調整した後の画像Ｐを示している。なお、図１４及び図１５では、Ｃｏｍｐ（ｉ，ｊ）を改善するためのアドバイス情報を例示したが、アドバイス情報は他の評価項目のスコアを改善するための情報であってもよい。例えば、画像表示部１９は、Ｎｏｉｓｅ（ｉ）を改善するためのアドバイス情報として、Ｎｏｉｓｅ（ｉ）が小さい部分領域（すなわち、不要な映り込みであり見栄えに悪影響を与えている部分領域）を画面内から除外することを促す文字又は記号等を表示してもよい。
【００７１】
上述したアドバイス情報は、例えば評価値算出部１６によって生成される。例えば三分割構図が構図パターンｊとして選択されている場合、評価値算出部１６は、部分領域の重心位置と当該重心位置から最も近い仮想線（三分割構図の仮想線）の交点位置との距離に基づいて評価値を算出する。この際、評価値算出部１６は、部分領域の重心位置から上記交点位置へのベクトルを算出し、当該ベクトルをアドバイス情報（すなわち上記矢印の向き及び大きさを示す情報）として取得することができる。
【００７２】
また、評価値算出部１６は、２以上の構図パターンの各々についてＣｏｍｐ（ｉ，ｊ）を算出してもよい。例えば、三分割構図と水平・垂直構図（被写体の姿勢が画像Ｐ内で傾斜していないほど良いとされる構図）とは互いに共存可能な構図である。そこで、評価値算出部１６は、部分領域ｉについて、三分割構図の構図パターンｊ１についてのＣｏｍｐ（ｉ，ｊ１）を算出するとともに水平・垂直構図の構図パターンｊ２についてのＣｏｍｐ（ｉ，ｊ２）を算出する。そして、評価値算出部１６は、例えば、このように算出したＣｏｍｐ（ｉ，ｊ１）及びＣｏｍｐ（ｉ，ｊ２）の重み付け和を、部分領域ｉの構図パターンに関する評価値（すなわち、上記式（１）におけるＣｏｍｐ（ｉ，ｊ））としてもよい。例えば、Ｃｏｍｐ（ｉ，ｊ１）に対する重みをｗｊ１と表し、Ｃｏｍｐ（ｉ，ｊ２）に対する重みをｗｊ２と表した場合、部分領域ｉの構図パターンに関するスコアＣｏｍｐ（ｉ，ｊ）は、「ｗｊ１×Ｃｏｍｐ（ｉ，ｊ１）＋ｗｊ２×Ｃｏｍｐ（ｉ，ｊ２）」により求まる。これにより、複数の構図パターンの各々への忠実度を考慮して、構図パターンに関する評価値をより適切に算出することができる。
【００７３】
また、評価値算出部１６は、例えば三分割構図と黄金比構図等のように、適切とされる配置位置が互いに異なり共存可能でない構図パターンの各々についてのＣｏｍｐ（ｉ，ｊ）を算出し、評価値マップ生成部１８は、各々の構図パターンに対応する評価値マップを生成してもよい。そして、画像表示部１９は、ユーザによる構図パターンの選択操作（切替操作）に基づき、画像Ｐに重畳させる評価値マップを切り替えてもよい。これにより、ユーザは、所定の選択操作（入力装置１０４に対する操作）により、三分割構図に基づく評価結果が反映された合成画像と黄金比構図に基づく評価結果が反映された合成画像とを切り替えて表示させることができる。
【００７４】
また、評価値算出部１６は、部分領域ｉの評価値ｆ（ｉ，ｊ）を算出する際の評価項目として、被写体が笑顔であるか否かについての評価項目を用いてもよい。具体的には、評価値算出部１６は、下記式（３）に示すように、上記評価項目のスコアであるＳｍｉｌｅ（ｉ）を評価値ｆ（ｉ，ｊ）の構成要素に加えてもよい。Ｓｍｉｌｅ（ｉ）が考慮された評価値マップが重畳表示された合成画像によれば、例えば複数の人が含まれる集合写真を撮影しようとする際に、笑顔になっていない人を容易に特定することが可能となる。
【数３】
0006608311.tif 000004
【００７５】
具体的には、評価値算出部１６は、部分領域ｉが人の顔であるか否かを判別し、部分領域ｉが人の顔であると判別された場合に、表情が笑顔であるか否かを判定する。そして、評価値算出部１６は、表情が笑顔である場合の方が、表情が笑顔でない場合よりも大きくなるように、所定の計算式によりＳｍｉｌｅ（ｉ）を算出する。なお、部分領域ｉが人の顔であるか否か、及び表情が笑顔であるか否かは、公知の顔検出の手法を用いて判別することができる。また、部分領域ｉが人の顔でない場合にはＳｍｉｌｅ（ｉ）を算出できないため、評価値算出部１６は、部分領域ｉが人の顔である場合にのみ、上記式（３）を用いて評価値ｆ（ｉ，ｊ）を算出し、部分領域ｉが人の顔でない場合には、Ｓｍｉｌｅ（ｉ）を含まない上記式（１）を用いて評価値ｆ（ｉ，ｊ）を算出してもよい。
【００７６】
なお、上記実施形態では、合成画像を出力する出力手段の例として、合成画像をディスプレイ等に出力する表示装置について説明したが、出力手段は、必ずしも合成画像を表示しなくともよい。例えば、本発明の画像評価装置がサーバ装置であり、スマートフォン等の端末から処理対象の画像を受信し、受信した画像を元に合成画像を生成し、当該合成画像を端末に送信するような構成が考えられる。すなわち、端末が表示装置を備える一方で、画像評価装置自体は合成画像を表示する機能を備えない場合もあり得る。このような場合、画像評価装置において生成した合成画像を端末に送信する機能部分が、出力手段に相当する。
【符号の説明】
【００７７】
１…画像評価装置、１１…画像取得部（取得手段）、１２…画像情報格納部、１３…領域分割部（分割手段）、１４…領域情報格納部、１５…構図パターン格納部、１６…評価値算出部（算出手段）、１７…評価値格納部、１８…評価値マップ生成部、１９…画像表示部（出力手段）、ＰＲ１…画像評価プログラム、ＰＲ１１…画像取得モジュール、ＰＲ１３…領域分割モジュール、ＰＲ１６…評価値算出モジュール、ＰＲ１８…評価値マップ生成モジュール、ＰＲ１９…画像表示モジュール。
【図１】
0006608311.tif 000005
【図２】
0006608311.tif 000006
【図３】
0006608311.tif 000007
【図４】
0006608311.tif 000008
【図５】
0006608311.tif 000009
【図６】
0006608311.tif 000010
【図７】
0006608311.tif 000011
【図８】
0006608311.tif 000012
【図９】
0006608311.tif 000013
【図１０】
0006608311.tif 000014
【図１１】
0006608311.tif 000015
【図１２】
0006608311.tif 000016
【図１３】
0006608311.tif 000017
【図１４】
0006608311.tif 000018
【図１５】
0006608311.tif 000019