(57)【要約】【課題】構図を満たした領域を取得することができる画像評価装置、画像評価方法およびプログラムを提供する。【解決手段】重み設定部１２は、、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定する。第１の評価部１３は、切り出し領域内に配置された主題領域と構図重みに基づいて切り出し領域が所定の構図を満たす程度を表す第１の評価値を算出する。これにより、この第１の評価値に基づいて評価領域を選択することにより構図を満たした領域を取得することができる。【選択図】  図１
2014160380.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対し、主題を含む領域からなる主題領域と、前記入力画像から切り出され前記主題領域を含む切り出し領域とを設定する領域設定部と、
所定の構図に対応する重み分布である構図重みを前記主題領域の形状に基づいて前記切り出し領域に設定する重み設定部と、
前記切り出し領域内に配置された前記主題領域と前記構図重みに基づいて、前記切り出し領域が前記所定の構図を満たす程度を表す第１の評価値を算出する第１の評価部と
を備えたことを特徴とする画像評価装置。
【請求項２】
請求項１記載の画像評価装置において、
前記入力画像中の画素間の変化量と、複数の画素からなる部分領域間の類似度とに基づいて、前記入力画像中の各画素の重要度を算出する重要度算出部と、
前記重要度に基づいて、前記切り出し領域内の前記主題領域以外の背景領域の重要度を表す第２の評価値を算出する第２の評価部と、
前記第１の評価値および前記第２の評価値に基づいて、第３の評価値を算出する第３の評価部と
をさらに備えることを特徴とする画像評価装置。
【請求項３】
請求項２記載の画像評価装置において、
前記重要度算出部は、隣接する前記画素間の変化量と、周囲の前記部分領域間の相関による前記類似度とに基づいて前記重要度を算出する
ことを特徴とする画像評価装置。
【請求項４】
請求項１記載の画像評価装置において、
前記重要度算出部は、前記入力画像中の被写体の種別を示すラベルが前記画素に予め付された場合、前記ラベルに基づいて前記入力画像中の各画素の重要度を算出する重要度算出部と、
前記重要度に基づいて、前記切り出し領域内の前記主題領域以外の背景領域の重要度を表す第２の評価値を算出する第２の評価部と、
前記第１の評価値および前記第２の評価値に基づいて、第３の評価値を算出する第３の評価部と
をさらに備えることを特徴とする画像評価装置。
【請求項５】
請求項１乃至４の何れか１項に記載の画像評価装置において、
前記重み設定部は、前記主題領域が前記構図を満たす位置に前記重みの最大値を設定する
ことを特徴とする画像評価装置。
【請求項６】
請求項１乃至５の何れか１項に記載の画像評価装置において、
前記切り出し領域が所定の大きさに近づくほど大きな値となる第４の評価値を算出する第４の評価部と
をさらに備え、
前記第３の評価部は、前記第１の評価値、前記第２の評価値および前記第４の評価値に基づいて、前記第３の評価値を算出する
をさらに備えることを特徴とする画像評価装置。
【請求項７】
請求項２乃至６の何れか１項に記載の画像評価装置において、
前記切り出し領域中に前記入力画像外の領域が存在する場合、当該切り出し領域中の前記入力画像外の領域における前記重要度の予測値を算出する予測部をさらに備え、
前記第２の評価部は、前記切り出し領域中の前記入力画像の前記重要度および前記予測値に基づいて前記第２の評価値を算出する
ことを特徴とする画像評価装置。
【請求項８】
請求項２乃至７の何れか１項に記載の画像評価装置において、
前記入力画像中の前記主題とともに前記主題領域の配置を変更する変更部をさらに備える
ことを特徴とする画像評価装置。
【請求項９】
領域設定部が、入力画像に対し、主題を含む領域からなる主題領域と、前記入力画像から切り出され前記主題領域を含む切り出し領域とを設定するステップと、
設定部が、所定の構図に対応する重み分布である構図重みを前記主題領域の形状に基づいて前記切り出し領域に設定するステップと、
評価部が、前記切り出し領域内に配置された前記主題領域と前記構図重みに基づいて、前記切り出し領域が前記所定の構図を満たす程度を表す評価値を算出するステップと
を有することを特徴とする画像評価方法。
【請求項１０】
コンピュータを、
入力画像に対し、主題を含む領域からなる主題領域と、前記入力画像から切り出され前記主題領域を含む切り出し領域とを設定する領域設定部と、
所定の構図に対応する重み分布である構図重みを前記主題領域の形状に基づいて前記切り出し領域に設定する重み設定部と、
前記切り出し領域内に配置された前記主題領域と前記構図重みに基づいて、前記切り出し領域が前記所定の構図を満たす程度を表す第１の評価値を算出する第１の評価部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像を評価する画像評価装置、画像評価方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来より、カメラ等で画像を撮影する際には、構図に従って人物や背景を撮影することによって、見た目によい画像を撮影できることが知られている。その構図とは、美的効果が得られる画像全体の配置であって、３分割構図や斜線構図など様々な構図が提案されており、撮影者によって適宜選択されるものである。また、撮影画像の題目となる人物や風景は主題と呼ばれ、主題が１つの場合には一般に各構図の中心に配置される。しかし、主題が複数の場合には、主題の配置によって画像の見た目が大きく変わってしまう。このため、見た目のよい画像を撮影するには、適切な構図を選択するのみならず、構図内での主題の配置も考慮する必要がある。
ところが、撮影の初心者にとっては、構図に従った主題の最適な配置を考えることは困難である。このため、撮影後の画像から構図が考慮された領域を自動で切り出すことにより、見た目のよい画像を取得する方法が提案されている（例えば、特許文献１，２参照。）。
【０００３】
例えば、特許文献１では、入力画像の被写体や背景領域のエッジに重みを付けた重み画像と、入力画像を構図に基づいて設定されるグリッド線に対して重みを付けた構図グリッドとを作成し、重み画像と構図グリッドの相関値を評価値とし、この評価値が高くなる領域を切り出すようにしている。
また、特許文献２では、主題と構図との位置関係を表す構図評価値に加え、空および地面と構図との位置関係を表す興味領域評価値、主題と画像中心の位置関係を表す視覚一致性評価値、および、切り出す矩形領域に占める主題領域の面積比率を表す保存性評価値から総合評価値を算出し、この総合評価値が高くなる領域を切り出すようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２６７１８０号公報
【特許文献２】特開２００９−２１２９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した方法では構図を満たした領域が切り出されないことがあった。その理由は次のようなものである。
【０００６】
まず、特許文献１では、被写体等のエッジに重みを付けた重み画像と、グリッド上の重みとの相関演算値により評価値を決定しているので、例えば、主題の形状や入力画像内に複数の主題が分散して配置されているときなどには、切り出した領域（以下、「切り出し領域」ということがある。）内で主題が構図を満たすように配置されていなくても評価値が高くなることがあり、このような場合には切り出し領域が想定した構図を満たさないことがあった。
【０００７】
また、特許文献２では、各評価値の重み付き和から算出した総合評価値に基づいて切り出し領域を決定しているので、構図を評価する構図評価値が低い場合でも総合評価値が高い場合があるので、特許文献１の場合と同様、切り出し領域が想定した構図を満たさないことがあった。
【０００８】
そこで、本発明は、構図を満たした切り出し領域を取得することができる画像評価装置、画像評価方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述したような課題を解決するために、本発明に係る画像処理装置は、入力画像に対し、主題を含む領域からなる主題領域と、入力画像から切り出され主題領域を含む切り出し領域とを設定する領域設定部と、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定する重み設定部と、切り出し領域内に配置された主題領域と構図重みに基づいて、切り出し領域が所定の構図を満たす程度を表す第１の評価値を算出する第１の評価部とを備えたことを特徴とするものである。
【００１０】
また、本発明に係る画像評価方法は、領域設定部が、入力画像に対し、主題を含む領域からなる主題領域と、入力画像から切り出され主題領域を含む切り出し領域とを設定するステップと、設定部が、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定するステップと、評価部が、切り出し領域内に配置された主題領域と構図重みに基づいて、切り出し領域が所定の構図を満たす程度を表す評価値を算出するステップとを有することを特徴とするものである。
【００１１】
また、本発明に係るプログラムは、コンピュータを、入力画像に対し、主題を含む領域からなる主題領域と、入力画像から切り出され主題領域を含む切り出し領域とを設定する領域設定部と、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定する重み設定部と、切り出し領域内に配置された主題領域と構図重みに基づいて、切り出し領域が所定の構図を満たす程度を表す第１の評価値を算出する第１の評価部として機能させるためのものである。
【発明の効果】
【００１２】
本発明によれば、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定し、切り出し領域内に配置された主題領域と構図重みに基づいて切り出し領域が所定の構図を満たす程度を表す第１の評価値を算出することにより、この第１の評価値に基づいて評価領域を選択することにより構図を満たした領域を取得することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の第１の実施の形態に係る画像評価装置の構成を示すブロック図である。
【図２】図２は、本発明の第２の実施の形態に係る画像評価装置の構成を示すブロック図である。
【図３】図３は、本発明の第２の実施の形態に係る画像評価装置の動作を説明するためのフローチャートである。
【図４Ａ】図４Ａは、主題領域の設定方法を説明するための図である。
【図４Ｂ】図４Ｂは、主題領域の設定方法を説明するための図である。
【図４Ｃ】図４Ｃは、主題領域の設定方法を説明するための図である。
【図５】図５（ａ）は、主題領域と評価領域の一例を示す図、図５（ｂ）は、図５（ａ）の評価領域に設定される構図重みを示す図である。
【図６】図６（ａ）は、主題領域と評価領域の一例を示す図、図６（ｂ）は、図６（ａ）の評価領域に設定される構図重みを示す図である。
【図７】図７（ａ）は、主題領域と評価領域の一例を示す図、図７（ｂ）は、図７（ａ）の評価領域に設定される構図重みを示す図である。
【図８Ａ】図８Ａは、背景領域を説明するための図である。
【図８Ｂ】図８Ｂは、局所的なパターンの変化量を説明するための図である。
【図８Ｃ】図８Ｃは、大局的なパターンの類似度を説明するための図である。
【図９】図９は、第３の実施の形態に係る画像評価装置の構成を示すブロック図である。
【図１０】図１０は、第３の実施の形態に係る画像評価装置の動作を説明するためのフローチャートである。
【図１１Ａ】図１１Ａは、重要度予測部の動作を説明するための図である。
【図１１Ｂ】図１１Ｂは、重要度予測部の動作を説明するための図である。
【図１１Ｃ】図１１Ｃは、重要度予測部の動作を説明するための図である。
【図１２】図１２は、本発明の第４の実施の形態に係る画像評価装置の構成を説明するためのブロック図である。
【図１３】図１３は、第４の実施の形態に係る画像評価装置の動作を説明するためのフローチャートである。
【図１４Ａ】図１４Ａは、主題配置変更部の動作を説明するための図である。
【図１４Ｂ】図１４Ｂは、主題配置変更部の動作を説明するための図である。
【図１４Ｃ】図１４Ｃは、主題配置変更部の動作を説明するための図である。
【図１４Ｄ】図１４Ｄは、主題配置変更部の動作を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１５】
［第１の実施の形態］  
図１に示すように、本実施の形態に係る画像評価装置１は、領域設定部１１と、重み設定部１２と、第１の評価部１３とを備えている。
【００１６】
領域設定部１１は、入力画像に対し、主題を含む領域からなる主題領域と、入力画像から切り出され主題領域を含む切り出し領域とを設定する。
【００１７】
重み設定部１２は、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定する。
【００１８】
第１の評価部１３は、切り出し領域内に配置された主題領域と構図重みに基づいて、切り出し領域が所定の構図を満たす程度を表す第１の評価値を算出する。
【００１９】
このような画像評価装置１は、ＣＰＵ（Central Processing Unit）等の演算装置と、メモリ、ＨＤＤ（Hard Disc Drive）等の記憶装置と、キーボード、マウス、ポインティングデバイス、ボタン、タッチパネル等の外部から情報の入力を検出する入力装置と、外部との情報の送受を行うＩ／Ｆ（Interface）装置と、ＬＣＤ(Ｌiquid Crystal Display)や有機ＥＬ(Electro Ｌuminescence)等の表示装置とを備えたコンピュータから構成されている。すなわち、画像評価装置１では、そのコンピュータにインストールされたプログラムにより上述したようなハードウェア資源が制御されて、ハードウェア装置とソフトウェアが協働することにより、領域設定部１１、重み設定部１２、第１の評価部１３が実現されている。ここで、上記プログラムは、ＣＤ（Compact Disk）やＩＣメモリなどの公知の記録媒体に記録されるようにしてもよい。
【００２０】
このように、本実施の形態によれば、重み設定部１２が、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定し、第１の評価部１３が、切り出し領域内に配置された主題領域と構図重みに基づいて切り出し領域が所定の構図を満たす程度を表す第１の評価値を算出することにより、この第１の評価値に基づいて評価領域を選択することにより構図を満たした領域を取得することができる。
【００２１】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。
【００２２】
＜画像評価装置の構成＞
図２に示すように、本実施の形態に係る画像評価装置２は、入力部２１と、領域設定部２２と、構図重み設定部２３と、記憶部２４と、第１の評価部２５と、重要度算出部２６と、第２の評価部２７と、第４の評価部２８と、第３の評価部２９と、出力部３０とを備えている。
【００２３】
入力部２１は、スチルカメラやビデオカメラなどの撮像装置により撮影された画像データ（以下、「入力画像」と言う。）が入力される機能部である。入力画像は、領域設定部２２に送出される。なお、入力された画像データは、記憶部２４に送出して記憶されるようにしてもよい。
【００２４】
領域設定部２２は、入力画像から、主題を含む領域からなる主題領域と、この主題領域を含むそれぞれ異なる複数の切り出し領域（以下、「評価領域」と言うことがある。）とを設定する機能部である。ここで、主題とは、人物、車、建物や風景など撮影画像の題目となる対象を意味する。また、主題領域とは、入力画像中の主題を含む領域からなる。また、評価領域とは、入力画像中の部分領域であって、主題領域を含む領域からなる。
【００２５】
構図重み設定部２３は、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定する機能部である。設定した構図重みは、記憶部２４に送出される。
【００２６】
記憶部２４は、画像評価装置２の動作に必要な各種情報を記憶する機能部である。本実施の形態において、記憶部２４には、構図重み設定部２３により設定された構図重みが構図重みデータ２４ａが記憶されている。
【００２７】
第１の評価部２５は、評価領域内に配置された主題領域と、記憶部２４に記憶された構図重みデータ２４ａと基づいて、評価領域が所定の構図を満たす程度を表す第１の評価値を算出する機能部である。算出した第１の評価値は、第３の評価部２９に送出される。
【００２８】
重要度算出部２６は、入力画像中の各画素の重要度を算出する機能部である。重要度は、入力画像中の画素間の変化量と、複数の画素からなる部分領域間の類似度とに基づいて算出される。算出した重要度は、第２の評価部２７に送出される。
【００２９】
第２の評価部２７は、重要度算出部２６により算出された重要度に基づいて、評価領域内の主題領域以外の背景領域の重要度を表す第２の評価値を算出する機能部である。なお、本実施の形態では、第２の評価値を算出する背景領域を、評価領域内の主題領域以外の領域とした場合について説明するが、その背景領域としては、評価領域全体とするようにしてもよい。
【００３０】
第４の評価部２８は、切り出し領域が所定の大きさに近づくほど大きな値となる第４の評価値を算出する機能部である。算出した第４の評価値は、第３の評価部２９に送出される。
【００３１】
第３の評価部２９は、第１の評価部２５により算出された第１の評価値と、第２の評価部２７により算出された第２の評価値と、第４の評価部２８により算出された第４の評価値とに基づいて、第３の評価値を算出する機能部である。算出した第３の評価値は、出力部３０に送出される。
【００３２】
出力部３０は、第３の評価部２９により算出された第３の評価値を外部に出力する機能部である。
【００３３】
このような画像評価装置２は、ＣＰＵ等の演算装置と、メモリ、ＨＤＤ等の記憶装置と、キーボード、マウス、ポインティングデバイス、ボタン、タッチパネル等の外部から情報の入力を検出する入力装置と、外部との情報の送受を行うＩ／Ｆ装置と、ＬＣＤや有機ＥＬ等の表示装置とを備えたコンピュータから構成されている。すなわち、画像評価装置２では、そのコンピュータにインストールされたプログラムにより上述したようなハードウェア資源が制御されて、ハードウェア装置とソフトウェアが協働することにより、入力部２１、領域設定部２２、構図重み設定部２３、記憶部２４、第１の評価部２５、重要度算出部２６、第２の評価部２７、第４の評価部２８、第３の評価部２９、および、出力部３０が実現されている。ここで、上記プログラムは、ＣＤやＩＣメモリなどの公知の記録媒体に記録されるようにしてもよい。
【００３４】
＜画像評価装置の動作＞
次に、図３を参照して、本実施の形態に係る画像評価装置２の動作について説明する。
【００３５】
まず、入力部２１は、外部から入力される入力画像を受け付ける（ステップＳ１）。受け付けた入力画像は、領域設定部２２に送出される。
【００３６】
入力画像が入力されると、領域設定部２２は、その入力画像から、主題を含む領域からなる主題領域と、この主題領域を含むそれぞれ異なる複数の評価領域とを設定する（ステップＳ２）。
【００３７】
主題領域は、例えば、公知の顔検出技術や物体検出技術に基づいて主題を検出することにより設定することができる。なお、主題領域は、ユーザの手動によりその領域を指定することにより設定するようにしてもよい。
【００３８】
例えば、主題を人物とする場合、顔検出技術により顔を検出し、顔領域のサイズや数に応じて主題領域を設定するようにしてもよい。
一例として、図４Ａに示すように、入力画像Ｐ中に顔の画像からなる顔領域Ｆが１つ検出された場合、領域設定部２２は、顔領域Ｆを包含する矩形の主題領域Ｓを設定する。このとき、顔領域Ｆに対する主題領域Ｓの大きさ、および、顔領域Ｆの主題領域Ｓ中の位置は、適宜自由に設定することができる。例えば、図４Ｂに示す主題領域Ｓのように、横（幅）Ｓｗを顔領域Ｆの横（幅）Ｆｗの２倍、縦（高さ）Ｓｈを顔領域Ｆの縦（高さ）Ｆｈの３倍とし、かつ、顔領域Ｆを主題領域Ｓ中の上方に配置するようにしてもよい。このように顔領域Ｆ下方の空間が広くなるように主題領域Ｓを設定すると、顔領域Ｆ下部には体などの人体の一部があることが多いので、人体のできるだけ多くの部分を評価領域に含めることができる。また、図４Ｃに示すように、複数の顔領域Ｆを検出した場合には、これらを含むように主題領域Ｓを設定するようにしてもよい。なお、顔領域が極端に小さい場合や顔領域が離れすぎている場合、意図しない人物が写り込んでいる可能性があるので、そのような顔領域は予め除外するようにしてもよい。
【００３９】
また、評価領域は、ユーザによる操作入力や予め決められた値など、入力画像の領域中での位置と大きさを指定することにより設定される。その位置と大きさは、上限値や下限値など、予め設定した値の範囲に従って適宜自由に設定することができる。例えば、矩形からなる評価領域の縦横比率を、４：３や１６：９のように指定してもよいし、入力画像に対する比率によって決定してもよい。
このような評価領域は、形状、特に幅や高さを指定する大きさを、ユーザが指定した大きさや、入力画像に対する比率から算出した大きさを一定の範囲で変動させることにより、複数設定される。これにより、複数の大きさの評価領域について評価を行うことができる。
【００４０】
主題領域および評価領域が設定されると、構図重み設定部２３は、各評価領域に構図重みを設定する（ステップＳ４）。
【００４１】
ここで、構図重みは、所定の構図と、主題領域および評価領域の位置や形状とに基づいて設定される。具体的には、主題領域がその構図を満たす位置に最大値となる構図重みが設定される。例えば、所定の構図として３分割構図を採用する場合、３分割点や３分割線上に最大値となる重みが設定される。所定の構図として３分割法を適用した場合の具体例を以下に示す。この３分割法とは、画像を縦横に３分割し、特に分割線の４つの交点（３分割点）に主題を配置することで見栄えのよい写真を得られる構図である。なお、以下においては３分割構図を適用した場合について説明するが、本実施の形態は、例えば、水平線構図、放射線構図、３角形構図、対角線構図など、主題を構図上に配置する必要がある各種構図に適用できることは言うまでもない。
【００４２】
図５（ａ）に示すように、主題領域Ｓの縦横の長さが評価領域Ａの縦横の長さよりも一定の割合で短い場合、構図重み設定部２３は、図５（ｂ）に示すように、３分割点の重みが大きくなるように構図重みＷを設定する。なお３分割点上の重みを１、それ以外を０とすることで主題を必ず構図を見たす位置に設定することができる。
【００４３】
また、図６（ａ）に示すように、複数の顔画像を含む主題領域Ｓのように主題領域Ｓが横に長くなっている場合、構図重み設定部２３は、図６（ｂ）に示すように、横長の３分割線に構図重みＷを設定する。なお、主題領域の上部を重要視する場合は、２本の横３分割線のうち上部の３分割線の重みを重くする。
【００４４】
また、図７（ａ）に示すように評価領域Ａが縦長の場合、構図重み設定部２３は、図７（ｂ）に示すように、縦長の３分割線に構図重みＷを設定する。
【００４５】
このような構図重みは、主題領域および評価領域の形状や閾値等を用いた対応関係を用いて設定することができる。評価領域の縦の長さをＡｈ、評価領域の横の長さをＡｗ、主題領域の縦の長さをＳｗ、主題領域の横の長さをＳｗ、閾値をＴｈｗ、Ｔｈｈとしたとき、例えばＡｗ＞Ｓｗ×Ｔｈｗ、Ａｈ＞Ｓｈ×Ｔｈｈを満たす場合は３分割点の重みを重くする、と設定することができる。このような対応関係が記憶部２４の構図重みデータ２４ａとして記憶される。
なお、構図重みは、上述したように主題領域や評価領域の縦横の長さに基づいて設定するのみならず、主題領域や評価領域の幾何形状に基づいて設定するようにしてもよい。
【００４６】
構図重みが設定されると、重要度算出部２６は、入力画像中の各画素の重要度を算出する（ステップ５）。これにより、評価領域中の背景領域の重要度を算出することが可能となる。ここで、背景領域とは、図８Ａに示すように、入力画像Ｐ全体、または、入力画像Ｐから主題領域Ｓを除いた領域からなる。
【００４７】
背景領域には、主題以外の風景や建物など撮影状況を表す情報が多く含まれているため、評価領域中にはなるべく多くの意味のある背景領域を含めた方が望ましい。そこで、本実施の形態では、背景領域の重要度を算出する。この重要度は、意味のある領域を表す値であり、例えば高周波成分が多く含まれる領域や特定のテクスチャ領域に対して大きな値が付されるものである。本実施の形態において、重要度は、局所的なパターンの変化量と大局的なパターンの類似度から算出される。
【００４８】
局所的なパターンの変化量とは、周囲の画素間の画素値の変化量を表する。このような周囲の画素との変化量が大きい領域は、高周波成分が大きい領域なので、注目しがちな領域である。したがって、変化量が大きい程の重要度として高い値が付与される。しかしながら、そのような局所的なパターンの変化量が大きい領域が連続すると、これらの領域が入力画像中に占める割合が大きくなるので、それらの領域については低い値の重要度が付与される。
【００４９】
例えば、図８Ｂに示すように、１つの画素の画素値をＩ（ｘ、ｙ）とすると、ｘ方向に隣接する画素との輝度の変化量ΔＩは、下式（１）により表すことができる。
【００５０】
ΔＩ＝｜Ｉ（ｘ、ｙ）−Ｉ（ｘ＋１、ｙ）｜  ・・・（１）
【００５１】
なお、局所的なパターンの変化量は、隣接する画素の差分の絶対値のみならず、例えば、４つ隣の画素や８つ隣の画素など、周囲の画素の差分の絶対値としてもよい。
【００５２】
一方、大局的なパターンの類似度とは、複数の画素の集合からなる部分領域間の変化量を意味する。部分領域間での類似度が高い場合、草原や草など同じようなテクスチャが続く領域と考えられるので、重要度は低いものとなる。一方、類似度が低い場合には、異なるテクスチャが混在している領域と考えられるので、重要度が高いとものとなる。したがって、大局的なパターンの場合、類似度が高いほど高い値の重要度が付与され、類似度が低いほど低い値の重要度が付与されることとなる。
【００５３】
例えば、図８Ｃに示すように、縦横がそれぞれ５画素からなる矩形の部分領域Ｔ（ｘ、ｙ）が、同等の形状で座標が異なる部分領域Ｂ１〜ＢＮに類似している度合いを表す。このような類似度は、部分領域間の正規化相互相関や画素ごとの画素値（輝度）の差で表すことができる。例えば、Ｔ（ｘ、ｙ）とＢ（ｘ、ｙ）との正規化相互相関値Ｒは下式（２）で表される。なお、下式（２）において、ＴおよびＢは平均値、ｗは横方向の長さ、ｈは縦方向の長さを意味している。
【００５４】
【数１】
2014160380.tif 000003
【００５５】
そして、部分領域Ｔの周囲に存在するＮ個の部分領域の類似度は下式（３）で表される。
【００５６】
【数２】
2014160380.tif 000004
【００５７】
座標Ｉ（ｘ、ｙ）の画素の重要度Ｉｉｍｐ（ｘ、ｙ）は、下式（４）によって表される。なお、下式（４）において、ｗは重み係数である。
【００５８】
Ｉｉｍｐ（ｘ、ｙ）＝ΔＩ（ｘ、ｙ）＋ｗ・ｅｘｐ（Ｒａｌｌ（ｘ、ｙ））  ・・・（４）
【００５９】
なお、入力画像中の各画素の重要度は、画素にラベル付けされたラベルの内容に基づいて決定してもよい。例えば、画像認識技術を用いて、空、森、建物、空と地面の境界線などの被写体を認識し、それぞれに対応する画素に対して重要度を示す値をラベル付けを行う。空には重要度４０、森には重要度３０、建物には重要度６０、境界線には重要度１００というように予めラベルに対する重要度を決定するようにしてもよい。このように、入力画像中の被写体の種別を示すラベルが画素に予め付された場合、重要度算出部２６は、そのラベルに基づいて入力画像中の各画素の重要度を算出する。
これにより、背景にユーザの趣味や嗜好に合わせた重要度を付すことができるので、満足度の高い画像をユーザに提供することができる。
【００６０】
各画素の重要度が算出されると、第２の評価部２７は、評価領域中の背景領域の第２の評価値、すなわち、第２の評価領域の背景領域の重要度を算出する（ステップＳ６）。例えば、位置がｐ、面積がｓの評価領域Ａ中の背景の重要度Ｅｉｍｐ（ｐ、ｓ）は、下式（５）で表される。なお、下式（５）において、Ａｗは評価領域Ａの横方向の長さ、Ａｈは縦方向の長さを示している。
【００６１】
Ｅｉｍｐ（ｐ、ｓ）  ＝  （１／（Ａｗ×Ａｈ））（ΣＩｉｍｐ（ｘ、ｙ））  ・・・（５）
【００６２】
このようにして算出された評価領域Ａの背景領域の重要度は、第３の評価部２９に送出される。
【００６３】
背景領域の重要度（第２の評価値）が算出されると、第１の評価部２５は、第１の評価値、すなわち、主題領域の構図に対する評価値Ｅｃｏｍｐを算出する（ステップＳ７）。
【００６４】
評価値Ｅｃｏｍｐは、下式（６）により算出される。すなわち、評価値Ｅｃｏｍｐは、記憶部２４に格納されている構図重みデータ２４ａ（ＬＵＴ）に基づき、主題領域の一点Ｓｐが構図重み位置Ｃｎ（ｘ、ｙ）に近いほど高い値が付される。なお、下式（６）において、ｎは主題領域の配置パターン数を表し、３分割法の場合交点は４つあるのでｎ＝４となる。
【００６５】
Ｅｃｏｍｐ（ｎ）＝ＬＵＴ（Ｓ、Ａ、Ｃｎ（ｘ、ｙ））×ｅｘｐ（Ｓｐ（ｘ、ｙ）−Ｃｎ（ｘ、ｙ））  ・・・（６）
【００６６】
また、第４の評価部２８は、第４の評価値、すなわち、評価領域の大きさと所望の評価領域の大きさとの相違度を表すＥｓｉｚｅを算出する（ステップＳ８）。
【００６７】
サイズ相違度Ｅｓｉｚｅは、評価領域が切り出し領域のサイズなどユーザが所望する所定の大きさに近づくほど高い値が付与されるものであり、本実施の形態においては、下式（７）から算出される。この下式（７）から分かるように、サイズ相違度Ｅｓｉｚｅは、主題領域Ｓが評価領域Ａに包含されている場合、評価領域サイズＡｗ×Ａｈとユーザが所望する切り出し領域サイズＡｕｗ×Ａｕｈが近ければ高い値が出力されることとなる。
【００６８】
Ｅｓｉｚｅ（ｎ）＝ｅｘｐ（Ａｗ×Ａｈ−Ａｕｗ×Ａｕｈ）  ・・・（７）
【００６９】
このようにして、第１の評価値、第２の評価値および第４の評価値が算出されると、第３の評価部２９は、第３の評価値、すなわち、１つの評価領域の評価値を算出する（ステップＳ９）。
【００７０】
具体的には、第３の評価部２９は、１つの評価領域について、主題領域の構図に対する評価値Ｅｃｏｍｐと、重要な背景が含まれている度合いを表す重要度Ｅｉｍｐと、評価領域の大きさと所望の評価領域の大きさとの相違度を表すＥｓｉｚｅとに基づいて、評価値を算出する。
【００７１】
主題領域がｎ番目の配置パターン、位置がｐ、面積がｓの評価領域の評価値Ｅは、下式（８）により算出される。なお、下式（８）において、α、β、γは重み係数を示している。
【００７２】
Ｅ（ｐ、ｓ、ｎ）＝α×Ｅｉｍｐ（ｐ、ｓ、ｎ）＋β×Ｅｃｏｍｐ（ｐ、ｓ、ｎ）＋γ×Ｅｓｉｚｅ（ｐ、ｓ、ｎ）  ・・・（８）
で表される
【００７３】
１つの評価領域の評価値が算出されると、出力部３０は、全ての評価領域について評価値を算出したか否かを確認する（ステップＳ１０）。
【００７４】
評価値を算出していない評価領域が存在する場合（ステップＳ１０：ＮＯ）、出力部３０は、ステップＳ５の処理に戻らせ、重要度算出部２６により次の評価領域の重要度を算出させる。
【００７５】
一方、全ての評価値が算出された場合（ステップＳ１０：ＹＥＳ）、出力部３０は、その算出結果を出力する（ステップＳ１１）。例えば、出力部３０は、評価値Ｅ（ｐ、ｓ、ｎ）が最も高い評価領域を出力したり、各評価領域とその評価値とを対応付けて出力したりする。この出力の形態としては、例えば、ディスプレイ装置に表示させることができる。
【００７６】
以上説明したように、本実施の形態によれば、領域設定部２２により入力画像から主題領域と複数の評価領域とを設定し、構図重み設定部２３により各評価領域に構図重みを設定し、重要度算出部２６により背景領域の重要度を算出し、第３の評価部２９により各評価領域の評価値を設定することにより、入力画像から構図を満たし、かつ、重要な背景を含む領域を取得することができる。
【００７７】
すなわち、本実施の形態では、構図重み設定部２３により、各評価領域に構図重みが設定され、この構図重みに基づいて各評価領域の評価値が算出され、構図を満たす評価領域に高い評価値が付されるので、構図を満たす評価領域を取得することができる。
【００７８】
また、従来では、評価値をグリッド線上に存在する領域のみから算出していたので、グリッド線上から外れている領域については評価されておらず、グリッド線上以外に存在する重要な領域が切り出した領域に含まれないことがあった。
これに対して本実施の形態では、重要度算出部２６により背景領域の重要度を算出することにより、グリッド線上から外れている領域についても評価されるので、背景の重要度が高い評価領域には高い評価値が付されるため、結果として、重要な背景を含む評価領域を取得することができる。
【００７９】
また、本実施の形態では、重要度算出部２６により、周囲の画素間の変化量と、周囲の部分領域間の相関による類似度とに基づいて重要度を算出することにより、意味のある背景領域を含む評価領域に高い評価を付されることが可能となるので、結果として、重要な背景を含む評価領域を取得することができる。
【００８０】
また、本実施の形態では、構図重み設定部２３により、主題領域が所定の構図を満たす位置に最大値となる構図重みが設定されるので、より構図を満たした画像を取得することができる。
【００８１】
また、本実施の形態では、評価領域が切り出し領域のサイズなどユーザが所望する所定の大きさに近づくほど高い値が付与されるもので、ユーザにとって満足度の高い画像を提供することができる。
【００８２】
また、本実施の形態では、構図重み設定部２３により構図重みが設定された後に重要度算出部２６により重要度を算出する場合を例に説明したが、その順番はこれに限定されず、例えば、重要度算出部２６により重要度を算出した後に構図重み設定部２３が構図重みを設定したり、構図重み設定部２３と重要度算出部２６とが同時に構図重みや重要度を算出したりするようにしてもよい。
【００８３】
また、本実施の形態において、第３の評価部２９は、主題領域の構図に対する評価値Ｅｃｏｍｐ（第１の評価値）と、重要な背景が含まれている度合いを表す重要度Ｅｉｍｐ（第２の評価値）と、評価領域の大きさと所望の評価領域の大きさとの相違度を表すＥｓｉｚｅ（第４の評価値）という３つの値に基づいて評価値（第３の評価値）を算出する場合を例に説明したが、少なくとも評価値Ｅｃｏｍｐに基づいて評価値が算出されるのであれば、他の値については適宜自由に用いることができる。また、第１の評価値、第２の評価値および第４の評価値を算出する順番も上述した順番に限定されず、適宜自由に設定することができる。
【００８４】
また、本実施の形態では、撮影後の入力画像から設定された評価領域について評価を行ったが、撮影中の入力画像に対しても評価を行うことができる。
【００８５】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、本実施の形態において、上述した第２の実施の形態と同等の構成および動作については、同じ名称および符号を付し、適宜説明を省略する。
【００８６】
＜画像評価装置の構成＞
図９に示すように、本実施の形態に係る画像評価装置３は、入力部２１と、領域設定部２２と、構図重み設定部２３と、記憶部２４と、第１の評価部２５と、重要度算出部２６と、第２の評価部２７’と、第４の評価部２８と、第３の評価部２９’と、出力部３０と、重要度予測部３１とを備えている。
【００８７】
ここで、重要度予測部３１は、切り出し領域中に入力画像外の領域が存在する場合、当該切り出し領域中の入力画像外の領域における重要度の予測値を算出する機能部である。
【００８８】
第２の評価部２７’は、評価領域中の入力画像の重要度および重要度予測部３１により算出された予測値に基づいて第２の評価値を算出する。
【００８９】
上述した第２の実施の形態は、撮影後の入力画像から設定された評価領域について評価を行ったが、撮影中の入力画像に対しても評価を行うことができる。この撮影中の場合には、ユーザがカメラ等の撮像装置の向きを移動させることで入力画像を広く俯瞰することができるため、より良い評価領域を取得できる可能性がある。そこで、本実施の形態では、重要度予測部３１により、入力画像の周囲に存在する領域の重要度の予測値を算出することにより、評価領域に入力画像外の領域も含まれる場合であっても、より評価値の高い評価領域を取得できるようにする。
【００９０】
＜画像評価装置の動作＞
図１０を参照して、本実施の形態に係る画像評価装置３の動作について説明する。なお、以下において、図３等を用いて説明した第２の実施の形態に係る画像評価装置２と同等の動作については、同じ名称および符号を付して、適宜説明を省略する。
【００９１】
ステップＳ１〜Ｓ５の処理が行われ、入力画像の各画素の重要度が算出されると、重要度算出部２６’は、評価領域の重要度を算出するために、評価領域の全てが入力画像中に含まれているか否かを確認する（ステップＳ２１）。
【００９２】
評価領域の全てが入力画像中に含まれている場合（ステップＳ１２：ＮＯ）、第２の評価部２７’は、上述した第２の実施の形態と同様の方法により、背景領域の重要度を算出する（ステップＳ６）。
【００９３】
一方、評価領域の少なくとも一部が入力画像外に位置する場合（ステップＳ１１：ＹＥＳ）、重要度予測部３１は重要度の予測値を算出する（ステップＳ１２）。この予測値は、第２の評価部２７’により、第２の評価値として用いられる（ステップＳ６）。
【００９４】
本実施の形態において、重要度予測部３１は、入力画像内の重要度に基づいて撮影領域外の重要度を予測する。例えば、図１１Ａに示すように、主題位置ｐ０が近傍の２つの３分割点ｐ１、ｐ２の近傍に主題位置ｐ０が位置する評価領域Ａが存在するとき、２（＝ｎ）番目の配置パターンとして、図１１Ｂに示すように、評価領域Ａを紙面に対して右側に移動させることにより主題位置ｐ０がｐ２上に位置する評価領域Ａ’が設定されたとする。この評価領域Ａ’において、右側の領域Ｑは、入力画像Ｐの領域外に位置している。このため、その評価領域Ａ’の重要度を知ることができない。そこで、カメラ等の撮像装置を実際に移動させて、ｐ０をｐ２上に移動させることも考えられるが、その作業には手間がかかる。そこで、本実施の形態では、入力画像Ｐの領域外に位置する領域Ｑの重要度について、入力画像Ｐから予測値を算出している。
【００９５】
図１１Ｃに示すように、ｐ０がｐ２上に位置するように評価領域Ａを表示画面に対して右方向へ距離ｌ２（＝｜ｐ０−ｐ２｜）だけ移動させた評価領域Ａ’には、入力画像Ｐ外の領域Ｑが含まれている。本実施の形態では、その領域Ｑの重要度は、隣接する領域の重要度と同等であると考え、領域Ｑに隣接する入力画像Ｐの右端から距離ｌ２までの領域Ｌ２に含まれる重要度を、領域Ｑの重要度とする。また、評価領域Ａが右側に移動して評価領域Ａ’となると、この評価領域Ａ’には、評価領域Ａの左端から距離ｌ２までの領域Ｌ１が存在しなくなる。したがって、ｐ０がｐｎへ移動することによる重要度の増減値をΔＥ（ｎ）とすると、ｐ０がｐ２へ移動することによる重要度の増減値ΔＥ（２）は、Ｌ２−Ｌ１で表される。このΔＥ（２）が、ｐ０がｐ２へ移動するときの重要度の予測値として算出され、第２の評価値として扱われる。
なお、Ｌ２の重要度は、上述した第２の実施の形態で式（４）、（５）を参照して説明した重要度Ｅｉｍｐ（ｐ、ｓ）において、位置ｐと面積ｓの値を領域Ｌ２の値を代入することにより算出することが可能である。
【００９６】
重要度の予測値が算出され、ステップＳ７〜Ｓ８の処理が行われると、第３の評価部２９’は、第３の評価値を算出する（ステップＳ９）。例えば、主題領域がｎ番目の配置パターン、位置がｐ、面積がｓの評価領域の評価値Ｅは、下式（９）により算出される。なお、下式（９）において、β、γ、ηは重み係数を示している。
【００９７】
Ｅ（ｐ、ｓ、ｎ）＝β×Ｅｃｏｍｐ（ｐ、ｓ、ｎ）＋γ×Ｅｓｉｚｅ（ｐ、ｓ、ｎ）＋η×ΔＥ（ｎ）  ・・・（９）
【００９８】
なお、重要度の予測値が算出されなかった場合には、第３の評価部２９’は、上述した第２の実施の形態と同等の方法により、評価値を算出する。
【００９９】
１つの評価領域の評価値が算出されると、出力部３０は、全ての評価領域について評価値を算出したか否かを確認し（ステップＳ１０）、全ての評価値が算出された場合には（ステップＳ１０：ＹＥＳ）、その算出結果を出力する（ステップＳ１１）。
【０１００】
評価値を算出していない評価領域が存在する場合（ステップＳ１０：ＮＯ）、出力部３０は、ステップＳ５の処理に戻らせ、重要度算出部２６により次の評価領域の重要度を算出させる。
【０１０１】
以上説明したように、本実施の形態によれば、入力画像の領域外に少なくとも一部が位置する評価領域の重要度を予測することができるので、入力画像の領域外の重要度の高い領域を、評価領域に含めることができるため、より評価値の高い評価領域をユーザに提示することができる。また、重要度が高くなりそうな主題の位置を予測できるため、ユーザによりよい構図での撮影ができるナビゲーション機能を提供することも可能となる。
【０１０２】
なお、本実施の形態において、領域Ｑの重要度は、主題位置ｐ０から分割点ｐ１までの移動距離に対応させて、入力画像Ｐの右端から距離ｌ２までの領域Ｌ２の重要度とする場合を例に説明したが、入力画像Ｐの右端から、入力画像Ｐからはみ出した領域Ｑの距離までの領域の重要度とするようにしてもよい。これにより、より正確な重要度を算出することができる。
【０１０３】
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。なお、本実施の形態において、上述した第２の実施の形態と同等の構成および動作については、同じ名称および符号を付し、適宜説明を省略する。
【０１０４】
＜画像評価装置の構成＞
図１２に示すように、本実施の形態に係る画像評価装置４は、入力部２１と、領域設定部２２と、構図重み設定部２３と、記憶部２４と、第１の評価部２５と、重要度算出部２６と、第２の評価部２７’と、第４の評価部２８と、第３の評価部２９’と、出力部３０と、主題配置変更部４１とを備えている。
【０１０５】
主題配置変更部４１は、入力画像中の主題とともに主題領域の配置を変更する機能部である。本実施の形態においては、構図重み設定部２３に設定された構図重みが重い位置に主題領域を配置する。
【０１０６】
上述した第３の実施の形態では、ユーザがカメラ等の撮像装置の向きを移動させることを想定し、主題領域と背景領域の位置関係を変えないまま入力画像外も含めた評価領域の評価を実現した。ところが、評価値ごとに背景領域の画角が変わるので、画角を固定したい場合には適用することができない。そこで、本実施形態では、主題配置変更部４１により入力画像中の主題の配置を変更することにより、背景領域の画角を固定したままで主題領域の評価値を算出するものである。これにより、ユーザが建物や風景といった背景領域を気に入った画角で撮影したい場合に、背景領域の重要度が高くなるように、人物などの主題領域の配置を構図に基づいて決定して評価を行うことができる。
【０１０７】
＜画像評価装置の動作＞
図１３を参照して、本実施の形態に係る画像評価装置４の動作について説明する。なお、以下において、図３等を用いて説明した第２の実施の形態に係る画像評価装置２と同等の動作については、同じ名称および符号を付して、適宜説明を省略する。
【０１０８】
ステップＳ１〜Ｓ５の処理が行われ、入力画像の各画素の重要度が算出されると、主題配置変更部４１は、入力画像中の主題領域の配置を変更する（ステップＳ３１）。
【０１０９】
例えば、１つの評価領域Ａに主題領域Ｓを３分割法の４交点に配置する場合、主題領域Ｓの配置は図１４Ａ〜図１４Ｄの４つのパターンが想定される。そこで、主題配置変更部４１は、主題領域Ｓの配置を変更した４つの評価領域Ａを作成する。
例えば、図１４Ａに示すように、主題領域Ｓが左上の交点に配置された評価領域Ａ１が設定された場合、主題配置変更部４１は、図１４Ｂ〜図１４Ｄに示すように、その他の異なる交点に主題領域Ｓを配置した評価領域Ａ２〜Ａ４を生成する。なお、評価領域Ａ２〜Ａ４は、例えば、インペインティングやリターゲティングといった公知技術を用いて、主題領域Ｓに隠れている背景領域を復元することにより、生成することができる。
【０１１０】
主題領域Ｓの配置が変更された評価領域が生成されると、この評価領域についてステップＳ６〜Ｓ８の処理が行われると、第３の評価部２９’は、第３の評価値を算出する（ステップＳ９）。これらの演算は、上述した第２の実施の形態と同等の方法により行うことができる。
【０１１１】
そして、評価値が算出されると、出力部３０は、全ての評価領域について評価値を算出したか否かを確認し（ステップＳ１０）、全ての評価値が算出された場合には（ステップＳ１０：ＹＥＳ）、その算出結果を出力する（ステップＳ１１）。
【０１１２】
評価値を算出していない評価領域が存在する場合（ステップＳ１０：ＮＯ）、出力部３０は、ステップＳ５の処理に戻らせ、重要度算出部２６により次の評価領域の重要度を算出させる。
【０１１３】
以上説明したように、本実施の形態によれば、主題領域の配置を変更した場合の重要度を算出することにより、背景領域の画角を変えずに重要度の高い背景領域を含む主題領域配置を提示することができる。
【０１１４】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１１５】
（付記１）入力画像に対し、主題を含む領域からなる主題領域と、入力画像から切り出され主題領域を含む切り出し領域とを設定する領域設定部と、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定する重み設定部と、切り出し領域内に配置された主題領域と構図重みに基づいて、切り出し領域が所定の構図を満たす程度を表す第１の評価値を算出する第１の評価部とを備えたことを特徴とする画像評価装置。
【０１１６】
（付記２）付記１記載の画像評価装置において、入力画像中の画素間の変化量と、複数の画素からなる部分領域間の類似度とに基づいて、入力画像中の各画素の重要度を算出する重要度算出部と、重要度に基づいて、切り出し領域内の主題領域以外の背景領域の重要度を表す第２の評価値を算出する第２の評価部と、第１の評価値および第２の評価値に基づいて、第３の評価値を算出する第３の評価部とをさらに備えることを特徴とする画像評価装置。
【０１１７】
（付記３）付記２記載の画像評価装置において、重要度算出部は、隣接する画素間の変化量と、周囲の部分領域間の相関による類似度とに基づいて重要度を算出することを特徴とする画像評価装置。
【０１１８】
（付記４）付記１記載の画像評価装置において、重要度算出部は、入力画像中の被写体の種別を示すラベルが画素に予め付された場合、ラベルに基づいて入力画像中の各画素の重要度を算出する重要度算出部と、重要度に基づいて、切り出し領域内の主題領域以外の背景領域の重要度を表す第２の評価値を算出する第２の評価部と、第１の評価値および第２の評価値に基づいて、第３の評価値を算出する第３の評価部とをさらに備えることを特徴とする画像評価装置。
【０１１９】
（付記５）付記１乃至４の１つに記載の画像評価装置において、重み設定部は、主題領域が構図を満たす位置に重みの最大値を設定することを特徴とする画像評価装置。
【０１２０】
（付記６）付記１乃至５の何れか１つに記載の画像評価装置において、切り出し領域が所定の大きさに近づくほど大きな値となる第４の評価値を算出する第４の評価部とをさらに備え、第３の評価部は、第１の評価値、第２の評価値および第４の評価値に基づいて、第３の評価値を算出するをさらに備えることを特徴とする画像評価装置。
【０１２１】
（付記７）付記２乃至６の何れか１つに記載の画像評価装置において、切り出し領域中に入力画像外の領域が存在する場合、当該切り出し領域中の入力画像外の領域における重要度の予測値を算出する予測部をさらに備え、第２の評価部は、切り出し領域中の入力画像の重要度および予測値に基づいて第２の評価値を算出することを特徴とする画像評価装置。
【０１２２】
（付記８）付記２乃至７の何れか１つに記載の画像評価装置において、入力画像中の主題とともに主題領域の配置を変更する変更部をさらに備えることを特徴とする画像評価装置。
【０１２３】
（付記９）領域設定部が、入力画像に対し、主題を含む領域からなる主題領域と、入力画像から切り出され主題領域を含む切り出し領域とを設定するステップと、設定部が、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定するステップと、評価部が、切り出し領域内に配置された主題領域と構図重みに基づいて、切り出し領域が所定の構図を満たす程度を表す評価値を算出するステップとを有することを特徴とする画像評価方法。
【０１２４】
（付記１０）コンピュータを、入力画像に対し、主題を含む領域からなる主題領域と、入力画像から切り出され主題領域を含む切り出し領域とを設定する領域設定部と、所定の構図に対応する重み分布である構図重みを主題領域の形状に基づいて切り出し領域に設定する重み設定部と、切り出し領域内に配置された主題領域と構図重みに基づいて、切り出し領域が所定の構図を満たす程度を表す第１の評価値を算出する第１の評価部として機能させるためのプログラム。
【産業上の利用可能性】
【０１２５】
本発明は、画像処理を行う各種装置に適用することができる。
【符号の説明】
【０１２６】
１〜４…画像評価装置、１１…領域設定部、１２…重み設定部、１３…第１の評価部、２１…入力部、２２…領域設定部、２３…構図重み設定部、２４…記憶部、２５…第１の評価部、２６…重要度算出部、２７，２７’…第２の評価部、２８…第４の評価部、２９，２９’…第３の評価部、３０…出力部、３１…重要度予測部、４１…主題配置変更部。
【図１】
2014160380.tif 000005
【図２】
2014160380.tif 000006
【図３】
2014160380.tif 000007
【図４Ａ】
2014160380.tif 000008
【図４Ｂ】
2014160380.tif 000009
【図４Ｃ】
2014160380.tif 000010
【図５】
2014160380.tif 000011
【図６】
2014160380.tif 000012
【図７】
2014160380.tif 000013
【図８Ａ】
2014160380.tif 000014
【図８Ｂ】
2014160380.tif 000015
【図８Ｃ】
2014160380.tif 000016
【図９】
2014160380.tif 000017
【図１０】
2014160380.tif 000018
【図１１Ａ】
2014160380.tif 000019
【図１１Ｂ】
2014160380.tif 000020
【図１１Ｃ】
2014160380.tif 000021
【図１２】
2014160380.tif 000022
【図１３】
2014160380.tif 000023
【図１４Ａ】
2014160380.tif 000024
【図１４Ｂ】
2014160380.tif 000025
【図１４Ｃ】
2014160380.tif 000026
【図１４Ｄ】
2014160380.tif 000027