(57)【要約】  テンプレートは、画像配置用のフレームａ，フレームｂを有し、フレームａｂのセットにはオブジェクト紹介度（ＯＩ）が対応付けられている。  フレームａ、フレームｂに配置される一対の画像について、画像それぞれの特徴量を基に、対応付けられたオブジェクト紹介度を算出して、算出したオブジェクト紹介度を、配置パターンの評価値として用いる。
2012111275.tif 000002
【特許請求の範囲】
【請求項１】
画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、
複数の画像を取得する取得手段と、
取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、
前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段とを備え、
前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する
ことを特徴とする画像評価装置。
【請求項２】
前記枠セットに配置される画像それぞれの特徴量に係る評価項目とは、
枠セットに配置される画像が含むオブジェクトの紹介性、または、枠セットに配置される画像の場面の移り変わりを含む
ことを特徴とする請求項１に記載の画像評価装置。
【請求項３】
前記複数の画像に含まれるオブジェクトをクラスタリングするオブジェクトクラスタリング手段を備え、
前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトのオブジェクトクラスタが、相違しているほど、前記オブジェクトの紹介性を高く評価する
ことを特徴とする請求項２に記載の画像評価装置。
【請求項４】
クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段を備え、
前記評価手段は、前記枠セットに配置される画像が含むオブジェクトのオブジェクトクラスタの重要度がより高いほど、前記オブジェクトの紹介性を高く評価する
ことを特徴とする請求項３に記載の画像評価装置。
【請求項５】
前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、
前記評価手段は、前記枠セットに配置される画像において、各画像の背景の特徴量の非類似性または画像間の撮影間隔の大きさに基づいて前記場面の移り変わりを評価する
ことを特徴とする請求項２に記載の画像評価装置。
【請求項６】
前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、
前記評価手段は、前記枠セットに配置される画像において、各画像の背景の重要度が高いほど、前記場面の移り変わりを高く評価する
ことを特徴とする請求項５に記載の画像評価装置。
【請求項７】
前記複数の画像に含まれるオブジェクトをクラスタリングするオブジェクトクラスタリング手段を備え、
前記枠セットに配置される画像それぞれの特徴量に係る評価項目とは、背景が類似する画像間における同一のオブジェクトクラスタに係る変化度
を含むことを特徴とする請求項２に記載の画像評価装置。
【請求項８】
前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、
前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトクラスタが同一であって、各画像の背景の特徴量が類似しているほど、前記変化度を高く評価する
ことを特徴とする請求項７に記載の画像評価装置。
【請求項９】
クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段と、
前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段とを備え、
前記評価手段は、前記枠セットに配置される画像が含むオブジェクトのオブジェクトクラスタの重要度、および、前記枠セットに配置される画像の背景の重要度の少なくとも一方が高いほど、前記変化度をより高く評価する
ことを特徴とする請求項８に記載の画像評価装置。
【請求項１０】
前記複数の画像のそれぞれから、オブジェクトが占める占有領域を計算する計算手段を備え、
前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトクラスタが同一のオブジェクトが占める占有領域が、相違しているほど、前記変化度を高く評価する
ことを特徴とする請求項７に記載の画像評価装置。
【請求項１１】
クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段と、
前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段とを備え、
前記評価手段は、前記枠セットに配置される画像が含むオブジェクトのオブジェクトクラスタの重要度、および、前記枠セットに配置される画像の背景の重要度の少なくとも一方が高いほど、前記変化度をより高く評価する
ことを特徴とする請求項１０に記載の画像評価装置。
【請求項１２】
前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、
前記評価手段は、前記枠セットに配置される画像において、各画像の背景の重要度に基づいて前記評価値を算出する
ことを特徴とする請求項１に記載の画像評価装置。
【請求項１３】
前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、
前記背景重要度算出手段は、
算出対象となる一の画像と撮影日時が近い他の画像とのそれぞれの背景の特徴量との類似性、および、前記一の画像の背景の特徴量と、重要な人物が写る画像の背景の特徴量の類似性に基づいて、背景の重要度を算出する
ことを特徴とする請求項１２に記載の画像評価装置。
【請求項１４】
評価値の算出の基にした枠セットに係る評価項目に対応する情報を、当該枠セットに配置される画像に関連付けて表示する表示制御手段を備える
ことを特徴とする請求項１に記載の画像評価装置。
【請求項１５】
前記テンプレートにおいて、前記１以上の枠セットを構成する枠は、前記Ｎ個の枠のすべてを網羅している
ことを特徴とする請求項１に記載の画像評価装置。
【請求項１６】
前記評価手段は、取得された複数の画像の中から、絞り込みを行い、絞り込み後の画像を前記選択の対象とする
ことを特徴とする請求項１に記載の画像評価装置。
【請求項１７】
前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、
前記評価手段は、前記複数の画像それぞれの背景の重要度に基づいて、前記絞り込みを行う
ことを特徴とする請求項１６に記載の画像評価装置。
【請求項１８】
前記評価手段は、前記複数の画像を複数のシーンに分割し、分割したシーン毎の重要度に基づいて、前記絞り込みを行う
ことを特徴とする請求項１６に記載の画像評価装置。
【請求項１９】
複数の画像を取得する取得ステップと、
テンプレート記憶手段に記憶されたテンプレートを参照する参照ステップと、
ここで、前記テンプレートは、画像を配置するためのＮ個（Ｎは２以上の自然数。）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有し、
さらに、前記参照されたテンプレートに基づいて取得された複数の画像の中からＮ枚の画像を選択し、選択した前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価ステップと、
前記評価ステップにより算出された配置パターン毎の評価値を記憶する評価値記憶ステップと、
前記評価値記憶ステップに記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する特定ステップとを含む
ことを特徴とする画像評価方法。
【請求項２０】
コンピュータに画像評価処理を実行させるプログラムであって、
前記コンピュータに、
複数の画像を取得する取得ステップと、
テンプレート記憶手段に記憶されたテンプレートを参照する参照ステップと、
ここで、前記テンプレートは、画像を配置するためのＮ個（Ｎは２以上の自然数。）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有し、
さらに、前記参照されたテンプレートに基づいて取得された複数の画像の中からＮ枚の画像を選択し、選択した前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価ステップと、
前記評価ステップにより算出された配置パターン毎の評価値を記憶する評価値記憶ステップと、
前記評価値記憶ステップに記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する特定ステップを実行させる、
ことを特徴とするプログラム。
【請求項２１】
画像を配置するためのＮ個（Ｎは２以上の自然数。）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、
複数の画像を取得する取得手段と、
取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、
前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段と備え、
前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は適切な画像を配置してアルバムを作成するための技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及や記録メディアの容量増加により、ひとりのユーザが膨大な数の画像を撮影し、保存することが可能となってきている。その反面、膨大な数の画像の中から、適した画像だけを抜き出してアルバムを作成する作業が困難となりつつある。【０００３】
これに関して、特許文献１には、アルバム作成を支援する技術が記載されている。この特許文献１では、アルバムの１つの画像挿入領域に、目標値を設定した上で、その目標値に近い画像を表示するとしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第4315344号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、アルバムを作成するにあたっては、各画像を孤立して配置させるのではなく、画像同士の組み合わせを意味のある組み合わせとすることができれば、より見やすいアルバムになると考えられる。【０００６】
この点、特許文献１では、あくまでも１つの画像挿入領域に目標値に似た１枚の画像を挿入するという発想であり、画像同士の組み合わせを考慮して配置するような構成の開示はない。【０００７】
本発明はこのような背景の元になされたものであって、アルバムに適した画像の選択および選択した画像の配置を、画像間の組み合わせを基に評価することができる画像評価装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る画像評価装置は、画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、複数の画像を取得する取得手段と、取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段とを備え、前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定することを特徴とする。
【発明の効果】
【０００９】
本発明に係る画像評価装置によれば、上記枠セットに配置される画像それぞれの特徴量を組み合わせた評価項目に基づいた評価値を算出する。【００１０】
このため、アルバムに適した画像の選択および選択した画像の配置を、画像間の組み合わせを基に評価することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１における画像評価システムのブロック図
【図２】全体フローチャート
【図３】画像取得・オブジェクトと背景とイベント抽出の詳細を示すフローチャート
【図４】オブジェクトクラスタリングの動作の具体例を示すイメージ図
【図５】オブジェクトクラスタ情報のデータ構造を示す図
【図６】背景特徴量の抽出動作の具体例を示すイメージ図
【図７】背景特徴量のデータ構造を示す図
【図８】イベントクラスタリングの動作の具体例を示すイメージ図
【図９】イベントクラスタ情報のデータ構造を示す図
【図１０】画像評価の詳細を示すフローチャート
【図１１】オブジェクト重要度算出の詳細を示すフローチャート
【図１２】オブジェクト重要度のデータ構造を示す図
【図１３】背景重要度算出の詳細を示すフローチャート
【図１４】背景重要度の算出動作の具体例を示す図
【図１５】背景重要度のデータ構造を示す図
【図１６】画像セット評価の詳細を示すフローチャート
【図１７】オブジェクト紹介度算出の詳細を示すフローチャート
【図１８】オブジェクト紹介度算出の動作の具体例を示すイメージ図
【図１９】オブジェクト行動度算出の詳細を示すフローチャート
【図２０】オブジェクト行動度算出の動作の具体例を示すイメージ図
【図２１】場面遷移度算出の詳細を示すフローチャート
【図２２】場面遷移度算出の動作の具体例を示すイメージ図
【図２３】場面全体像度算出の詳細を示すフローチャート
【図２４】場面全体像度算出の動作の具体例を示すイメージ図
【図２５】画像セット情報のデータ構造を示す図
【図２６】配置パターン評価の詳細を示すフローチャート
【図２７】テンプレート情報のデータ構造を示す図
【図２８】配置パターン評価の動作の具体例を示すイメージ図その１
【図２９】配置パターン評価の動作の具体例を示すイメージ図その２
【図３０】配置パターン情報のデータ構造を示す図
【図３１】テンプレート情報のデータ構造を示す図
【図３２】アルバム表示の例を示す図
【図３３】テンプレート選択の例を示す図
【図３４】（ａ）テンプレート情報のデータ構造を示す図（ｂ）アルバム表示の例を示す図
【図３５】（ａ）テンプレート情報のデータ構造を示す図（ｂ）アルバム表示の例を示す図
【図３６】配置パターン情報のデータ構造を示す図
【図３７】枠と評価項目との関係を示す図
【図３８】（ａ）テンプレート情報の例を示す図（ｂ）配置パターンとその評価値を示す図
【図３９】画像の絞り込みの例を示す図
【図４０】画像の絞り込みの例を示す図
【図４１】数式の例を示す図
【図４２】数式の例を示す図
【図４３】数式の例を示す図
【図４４】数式の例を示す図
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
＜構成＞
以下、実施の形態１について図面を参照しながら説明する。
【００１３】
図１は、実施の形態１における画像評価装置の原理的な構成を示すブロック図である。
【００１４】
図１に示すように、画像評価システム１は、記憶媒体２、画像評価装置３およびディスプレイ４を含んで構成される。
【００１５】
画像評価装置３は、画像取得部１０、オブジェクト抽出部２０（オブジェクト特徴量抽出部２１、オブジェクトクラスタリング部２２を含む）、イベント抽出部３０（撮影日時情報抽出部３１、イベントクラスタリング部３２を含む）、背景抽出部４０（背景特徴量抽出部４１を含む）、画像評価部５０（オブジェクト重要度算出部５１、背景重要度算出部５２を含む）、記憶部９０（テンプレート情報記憶部９１、オブジェクトクラスタ情報記憶部９２、オブジェクト重要度記憶部９３、背景特徴量記憶部９４、背景重要度記憶部９５、イベントクラスタ情報記憶部９６、画像セット情報記憶部９７、配置パターン記憶部９８を含む）、アルバム情報選択部６０（イベントクラスタ選択部６１、テンプレート選択部６２を含む）、画像セット評価部７０（オブジェクト紹介度算出部７１、場面遷移度算出部７２、オブジェクト行動度算出部７３、場面全体像度算出部７４を含む）、配置パターン評価部８０、表示制御部１００を備える。
【００１６】
画像取得部１０は、記憶媒体２から画像データを取得する。画像取得部１０は例えばＳＤカードリーダーから構成され、ＳＤカードスロット内に挿入されたＳＤメモリカードとしての記憶媒体２から画像データを取得する。
【００１７】
オブジェクト抽出部２０は、取得された画像データからオブジェクトを抽出し、抽出したオブジェクトのクラスタリングを行う。
【００１８】
具体的には、オブジェクト特徴量抽出部２１が、画像取得部１０が取得した画像データを対象として、画像からオブジェクトの写る領域を切り出し、そのオブジェクトの特徴量を抽出する。
【００１９】
そして、オブジェクトクラスタリング部２２が、抽出した特徴量に基づいてクラスタリングを行い、その結果を示す情報をオブジェクトクラスタ情報記憶部９２に記憶させる。なお、以下では、オブジェクトは人の顔であるとして説明を行う。
【００２０】
上記抽出やクラスタリングは一般的な手法を用いることができる。一例として、画像からオブジェクト特徴量を抽出する方法については、Gaborフィルタによる抽出手法（後述の参考文献１参照）を用いることができる。
【００２１】
また、オブジェクト特徴量のクラスタリング手法については、非階層的な手法（固定されたクラスタのそれぞれに代表を与えてクラスタリングする手法）の１つである、k-means法（参考文献１参照）を用いることができる。
【００２２】
背景抽出部４０は、画像取得部１０が取得した画像データを対象として、背景（画像のうち、オブジェクト特徴量抽出部２１が切り出した領域を除く領域）の背景特徴量を抽出し、抽出した情報を背景特徴量情報記憶部９４に記憶させる。背景特徴量を抽出する手法については、画像を区分し、区分した領域における頻度の高い色特徴量を代表色として抽出し、代表色のヒストグラムを背景特徴量とする。
【００２３】
イベント抽出部３０は、画像取得部１０が取得した画像データを、イベントに基づいて分類する。
【００２４】
つまり、撮影日時情報抽出部３１は、画像取得部１０が取得した画像データを対象として、画像に付加された撮影日時情報を抽出する。
【００２５】
イベントクラスタリング部３２は、抽出した撮影日時情報に基づいて画像を複数のイベントへとクラスタリングする。そして、クラスタリングした結果を示す情報をイベントクラスタ情報記憶部９６に記憶させる。
【００２６】
なお、イベントのクラスタリング手法については、任意の時間を閾値として設定し、画像同士の撮影日時の差分が閾値を超えていたものを、イベントの区切りとする手法を用いることができる（参考文献２参照）。
【００２７】
画像評価部５０は、オブジェクト重要度算出部５１と背景重要度算出部５２とを含む。
【００２８】
オブジェクト重要度算出部５１は、オブジェクトクラスタ情報記憶部９２に記憶されたオブジェクトクラスタ情報に基づいて、画像に写る人物などのオブジェクトそれぞれの重要度を示すオブジェクト重要度を算出し、算出した情報をオブジェクト重要度記憶部９３に記憶させる。
【００２９】
この算出方法のあらましとしては、画像に表れるオブジェクトの出現頻度が多いクラスタほど高いオブジェクト重要度と算出するようにする。
【００３０】
一例として、
・画像取得部１０が取得した画像の枚数・・・１００枚
・人物ａが写る画像の枚数・・・３０枚
・人物ｂが写る画像の枚数・・・２０枚
・人物ｃが写る画像の枚数・・・１０枚
とする。この場合、オブジェクト重要度算出部５１は、出現する画像枚数に応じ、人物ａの重要度を３０、人物ｂの重要度を２０、人物ｃの重要度を１０と算出する（図１２参照）。
【００３１】
なお、付加的な要素として、各画像に写る人物の大きさ（占有度）を計算し、占有度が大きいほど重要度が高くなるようにしてもよい。
【００３２】
背景重要度算出部５２は、オブジェクトクラスタ情報記憶部９２に記憶されたオブジェクトクラスタ情報とイベントクラスタ情報記憶部９６に記憶されたイベントクラスタ情報と背景特徴量情報記憶部９４に記憶された背景特徴量に基づいて、ある同一イベントに属する画像それぞれの背景重要度を算出し、算出した背景重要度を背景重要度記憶部９５に記憶させる。この背景重要度の算出方法の詳細については図１４を用いて後述する。
【００３３】
記憶部９０は、テンプレート情報記憶部９１、オブジェクトクラスタ情報記憶部９２、オブジェクト重要度記憶部９３、背景特徴量情報記憶部９４、背景重要度記憶部９５、イベントクラスタ情報記憶部９６、画像セット情報記憶部９７、配置パターン記憶部９８を含む。記憶部は例えばＲＡＭから構成することができる。
【００３４】
アルバム情報選択部６０は、アルバムに関する情報（イベントおよびテンプレート）の選択に関する処理を行う機能を有する。
【００３５】
特に、イベントクラスタ選択部６１は、アルバムの作成に用いる画像が属するイベントを選択する機能を有する。
【００３６】
例えば、イベントクラスタ情報記憶部９６に３種類のイベントが記憶されているとする。この場合、イベントクラスタ選択部６１は、この３種の中から１種のイベントを選択する。この選択は、ユーザにイベント選択のメニューをディスプレイ４に表示し、入力デバイスからの入力を受け付けることにより行うとしてもよい。
【００３７】
テンプレート選択部６２は、テンプレート情報記憶部９１が記憶する複数種類のテンプレートの中から１種類のテンプレートを選択する。
【００３８】
詳しくは後述するが、テンプレート情報記憶部９１は、テンプレート毎に、（ａ）フレームのレイアウトなどを示すデザインに関する情報と、（ｂ）一対のフレームに配置される一対の画像に関する評価項目に関する情報とを記憶している。
【００３９】
配置パターン評価部８０は、テンプレート選択部６２が選択したテンプレートに対して、イベントクラスタ選択部６１が選択したイベントクラスタに属する画像を配置した際の配置パターン（複合画像セット）毎に評価値を算出し、算出した評価値を配置パターン情報記憶部９８に記憶させる。そして、配置パターン評価部８０は、評価値が最上位の配置パターンに対応するアルバムを作成する。
【００４０】
例えば、選択されたテンプレートのフレームの数が６個、選択されたイベントクラスタに属する画像の枚数が８枚とすると、８枚の画像を６個のフレームに配置するパターンは、順列で考えると、８！／（８−６）！＝２０１６０通りである。
【００４１】
この場合、配置パターン評価部８０は、総当たりアルゴリズムにしたがって、この２０１６０通りすべての配置パターン毎に評価値を算出する。
【００４２】
評価値の細部の算出は画像セット評価部７０が担当する。評価値の算出に際しては、
（ａ）イベントクラスタ情報、（ｂ）オブジェクトクラスタ情報、（ｃ）背景特徴量、（ｄ）オブジェクト重要度、（ｅ）背景重要度、これら（ａ）〜（ｅ）の要素を用いて、一対の枠に対して配置される一対の画像（画像セット）の評価を行うこととなる。
【００４３】
そして、評価値を構成する評価項目には次の４種類があり、各評価項目の概要、および評価の高低に用いる判断要素（カッコ内に簡単な理由を記載する。）の説明は次の通りである。
（評価項目１）「オブジェクト紹介度」・・・画像に写るオブジェクトの紹介性への適応度を示す。
（評価項目１の判断要素）
一対の画像に、より多種類の人物が写っているほど高評価
一対の画像に、写っている人物がより重要なほど高評価
（評価項目２）「オブジェクト行動度」・・・ある場面におけるオブジェクトの行動の度合いを示す。
（評価項目２の判断要素）
両方の画像に同一人物が写っていることが評価の前提条件
・写っている同一人物の重要度が高いほど高評価
・両方の画像の背景重要度が高いほど高評価
・一対の画像間の背景がより類似しているほど高評価（画像間で同じ場面との推測が働くため）
・一対の画像間の撮影日時がより近いほど高評価（日時が近いならば、両方の画像が同じ場面で撮影された一連の画像の関係にあるとの推測が働くため）
（評価項目３）「場面遷移度」・・・場面間の移り変わりの度合いを示す。
（評価項目３の判断要素）
・両方の画像の背景重要度が高いほど高評価
・一対の画像間の背景が非類似であるほど高評価（画像間で場面が異なるとの推測が働くため）
・一対の画像間の撮影日時がより遠いほど高評価（日時が遠いならば、その日時の間で撮影者が移動するなどして、画像間で場面が異なるとの推測が働くため）
（評価項目４）「場面全体像度」・・・特定の場面を振り返るための評価項目であり、ある人物が寄りと引きで写る場合に、この寄り引きの対照性の度合いを示す。
（評価項目４の判断要素）
一対の画像の少なくとも１枚の画像に人物が写っていることが評価の前提条件
・両方の画像の背景重要度が高いほど高評価
・一対の画像間に写っている人物の大きさが異なるほど高評価（寄り引きを示す）
・一対の画像間の背景がより類似しているほど高評価
・一対の画像間の撮影日時がより近いほど高評価
以上が４種類の評価項目１〜４の概要である。なお上に示した各評価項目１〜４の判断要素中で列挙したものはあくまでも一例であり、これに限られるものではない。
【００４４】
また、評価項目２，４のオブジェクト行動度，場面全体像度の両者は背景の類似性に着目するものであり、背景が類似する画像間で同一のオブジェクトクラスタに係る変化度を示すものといえる。
【００４５】
さて、画像セット評価部７０では、オブジェクト紹介度算出部７１、場面遷移度算出部７２、オブジェクト行動度算出部７３および場面全体像度算出部７４が、それぞれオブジェクト紹介度、場面遷移度、オブジェクト行動度および場面全体像度を算出する。
【００４６】
表示制御部１００は、ディスプレイ４に各種表示を行わせる機能を有する。
【００４７】
特に、表示制御部１００は、配置パターン情報記憶部９８に記憶された配置パターンの評価値とテンプレート情報記憶部９１に記憶されているテンプレート情報とに基づいて、アルバムの台紙であるテンプレートに、ある配置パターン（例えば、評価値が最高の配置パターン）にしたがって画像を当てはめたアルバムをディスプレイ４の画面に表示させる。
＜動作＞
以下、画像の配置パターンを評価するまでの流れについて説明する。
【００４８】
図２は、全体的な処理の流れを示すフローチャートである。画像評価装置３は、画像取得・オブジェクトと背景とイベント抽出（Ｓ２１）、画像評価（Ｓ２２）を行い、イベントクラスタ情報記憶部９６からイベントクラスタ情報を取得し、取得した複数のイベントクラスタの中から、ユーザから受け付けることにより、ユーザがアルバムにしたいイベントを選択し（Ｓ２３）、テンプレート情報記憶部９１からテンプレート情報を取得し、ユーザがアルバムの台紙とするテンプレートを選択する（Ｓ２４）。次に、選択されたイベントクラスタに属する画像群から２枚の画像（一対の画像）を設定し（Ｓ２５）、設定した一対の画像の画像セット評価（Ｓ２６）を行い、イベントクラスタに属する全ての画像の組み合わせを設定していなければ（Ｓ２７：Ｎｏ）、Ｓ２５に戻り、組み合わせていなかった２枚の画像を設定する。また、イベントクラスタに属する全ての画像の組み合わせを設定していれば（Ｓ２７：Ｙｅｓ）、配置パターン評価（Ｓ２８）を行い処理を終える。
【００４９】
続いて、ステップＳ２１の画像取得・オブジェクトと背景とイベント抽出の処理について図３を参照しながら説明する。
【００５０】
図３に示すように、画像取得部１０は、記憶媒体２から、記憶媒体２内に記憶された画像データを取得する（Ｓ３１）。
【００５１】
ここでは、一例として、記憶媒体２内には、図４のような人物ａや人物ｂが写る画像Ａ〜画像Ｃの３枚分の画像データが記憶されており、画像取得部１０はこの画像Ａ〜画像Ｃの画像データを取得するものとする。
【００５２】
続いて、オブジェクト抽出部２０は、取得された画像データを対象として、画像から顔の領域を切り出し、顔の輪郭などの特徴量や画像に対する顔の写る割合（占有度）などの顔特徴量を抽出する（Ｓ３２）。
【００５３】
そして、オブジェクトクラスタリング部２２は、抽出された顔特徴量を用いてクラスタリングを行い、クラスタリングした結果であるオブジェクトクラスタ情報をオブジェクトクラスタ情報記憶部９２に記憶させる（Ｓ３３）。
【００５４】
次に、背景抽出部４０の背景特徴量抽出部４１は、取得された画像データを対象として、背景特徴量を抽出し、背景特徴量情報記憶部９４に記憶させる（Ｓ３４）。この背景特徴量とは、画像の背景の領域（画像のうち、オブジェクトとして切り出された領域を除く領域）の色特徴量に関する情報である。その詳細は図６を用いて後述する。
【００５５】
そして、イベント抽出部３０の撮影日時情報抽出部３１は、取得された画像データを対象として、デジタルカメラ等で撮影された画像に付与されたExif（Exchangeable image file format）情報から撮影日時情報を抽出する（Ｓ３５）。そして、イベントクラスタリング部３２は、抽出された撮影日時情報を用いてクラスタリングを行い、クラスタリングした結果であるイベントクラスタ情報をイベントクラスタ情報記憶部９６に記憶させる（Ｓ３６）。
【００５６】
図４を用いて、ステップＳ３２、Ｓ３３の動作を具体的に説明すると、オブジェクト特徴量抽出部２１は、３枚の画像Ａ〜画像Ｃ（図４（ａ））から４つの顔Ｆ１〜Ｆ４を切り出し、顔Ｆ１〜Ｆ４それぞれの特徴量を抽出する（図４（ｂ））。
そして、オブジェクトクラスタリング部２２は、４つの顔Ｆ１〜Ｆ４のうち、類似している顔同士の顔Ｆ２、Ｆ３を人物ａとして、また顔Ｆ１、Ｆ４を人物ｂとクラスタリングする（図４（ｃ））。
【００５７】
図５は、オブジェクトクラスタリング（Ｓ３３）の結果を示すオブジェクトクラスタ情報のデータ構造を示す図である。オブジェクトクラスタ情報は、画像に出現する顔のそれぞれがどの人物クラスタに属しているかを示す情報であり、「オブジェクトクラスタ名」、「顔」、「画像」、「顔の占有度」の項目を含む。
【００５８】
図６を用いて、ステップＳ３４の動作を具体的に説明すると、背景特徴量抽出部４１は、３枚の画像Ａ〜画像Ｃ（図６（ａ））それぞれについて、３２個の領域に区分し（図６（ｂ））、その中から顔以外の領域である背景領域の区分において最も頻出する色をその区分の代表色として抽出し、抽出した代表色による各画像の色ヒストグラムを背景特徴量として算出する（図６（ｃ））。
【００５９】
そして、顔領域の大きさによる偏りを除くために、各背景特徴量に、（３２個／背景領域の個数）を掛け合わせる（正規化）。具体的には、画像Ａ，画像Ｂ，画像Ｃの各背景特徴量に、それぞれ３２／１８，３２／２５，３２／２２を掛け合わせる。
【００６０】
なお、ここでは一例として、画像Ａ、Ｂ、Ｃそれぞれの背景特徴量として、各画像の上部と下部に分かれたそれぞれ５色の代表色（黒・白・赤・緑・青）のヒストグラムを算出している。
【００６１】
背景特徴量抽出部４１は、正規化後の各背景特徴量を、背景特徴量情報記憶部９４に記憶させる（図７参照）。
【００６２】
図８を用いて、ステップＳ３５、Ｓ３６の動作を具体的に説明すると、撮影日時抽出部３１は、４枚の画像Ａ〜画像Ｄ（図８（ａ））からそれぞれ撮影日時を抽出する（図８（ｂ））。撮影日時の抽出方法としては、例えばデジタルカメラ等で撮影された画像に付与されるExif情報から撮影日時を抽出することができる。そして、イベントクラスタリング部３２は、４つの撮影日時の内、日時が近い画像同士の画像Ａ，Ｂをイベントｆとして、また画像Ｃ，Ｄをイベントｇとクラスタリングする（図８（ｃ））。
【００６３】
図９は、イベントクラスタリング（Ｓ３６）の結果を示すイベントクラスタ情報のデータ構造を示す図である。イベントクラスタ情報は、画像がどのイベントクラスタに属しているかを示す情報であり、「イベントクラスタ名」、「画像」、「撮影日時」の項目を含む。
【００６４】
図２に戻って説明を続ける。次に、画像評価（Ｓ２２）の処理について、図１０を用いて説明する。画像評価部は、画像に写るオブジェクトの重要度を算出するオブジェクト重要度を算出し（Ｓ１０１）、次に画像の背景の重要度を算出する（Ｓ１０２）。
【００６５】
図１１を用いて、オブジェクト重要度を算出する処理（Ｓ１０１）について、説明する。オブジェクト重要度算出部５１は、オブジェクトクラスタ情報記憶部９２からオブジェクトクラスタ情報を取得する（Ｓ１１１）。
【００６６】
オブジェクト重要度算出部５１は、取得されたオブジェクトクラスタ情報に基づいて、オブジェクトクラスタ毎に、オブジェクト重要度を算出する（Ｓ１１２）。
【００６７】
例えば、オブジェクトクラスタ毎に、画像に写るオブジェクトが属するオブジェクトクラスタの数をカウントし、カウントした数から出現頻度を求める。そして、出現頻度に比例するようにオブジェクト重要度を算出する。
【００６８】
これは、ユーザが重要と考えるオブジェクトを、ユーザは頻繁に撮影する傾向から考慮されたものであり、全ての画像において出現頻度が高いオブジェクトは重要であろうという考えに依拠する。
【００６９】
図１２は、オブジェクト重要度算出の結果を示すオブジェクト重要度のデータ構造を示す図である。オブジェクト重要度記憶部９３が記憶するオブジェクト重要度は、画像に写るオブジェクトの重要度を示す情報であり、「オブジェクトクラスタ名」「オブジェクト重要度」「順位」の項目を含む。ここでは一例として、画像に写る人物ａ，人物ｂおよび人物ｃそれぞれのオブジェクト重要度を３０，２０，１０とし、そしてその重要度に基づいた順位が付与されている。
【００７０】
図１０に戻って画像評価の処理に関する説明を続ける。次に背景重要度を算出する処理（Ｓ１０２）について、図１３を用いて説明する。背景重要度算出部５２は、イベントクラスタ情報記憶部９６からイベントクラスタ情報、背景特徴量情報記憶部９４から背景特徴量を取得する（Ｓ１３１）。
【００７１】
背景重要度算出部５２は、取得されたイベントクラスタ情報と背景特徴量に基づいて、ユーザがステップＳ２３（図２参照）で選択したイベントクラスタに属する画像群を特定する。そして、特定した画像群から任意の２枚の画像間の背景特徴量の類似度を算出する（Ｓ１３２）。
【００７２】
例えば、選択されたイベントクラスタの画像群が画像Ｃから画像Ｆまでの４枚（図１４参照）とすると、背景重要度算出部５２は、この４枚の中から２枚の画像の各組み合わせ（4Ｃ2＝４＊３／２＝６通りある。）について、ぞれぞれ背景特徴量の類似度を算出することとなる。
【００７３】
ステップＳ１３２に続いて、背景重要度算出部５２は、選択されたイベントクラスタに属する画像群の各画像について、その画像とそれ以外の他の画像との背景特徴量の類似度の総和を、対象画像の背景頻度として算出する（Ｓ１３３）。
【００７４】
例えば、選択されたイベントクラスタの画像群が画像Ｃから画像Ｆまでの４枚（図１４参照）とすると、画像Ｃの背景頻度は、画像Ｃと、画像Ｃ以外の画像Ｄ〜画像Ｆのいずれかの１枚とを組み合わせた背景特徴量の類似度の総和となる。つまり、
画像Ｃの背景頻度＝画像ＣＤ間の背景特徴量の類似度＋画像ＣＥ間の背景特徴量の類似度＋画像ＣＦ間の背景特徴量の類似度
となる。
【００７５】
これは、イベントにおいてユーザは重要な場面で頻繁に撮影をする傾向を考慮したものであり、類似する背景の画像数が多い（背景頻度が高い）ほど、その背景が写る画像が重要な場面であると考える。
【００７６】
続いて、背景重要度算出部５２は、オブジェクトクラスタ情報記憶部９２からオブジェクトクラスタ情報とオブジェクト重要度情報記憶部９３からオブジェクト重要度を取得する（Ｓ１３４）。
【００７７】
背景重要度算出部５２は、取得されたオブジェクトクラスタ情報とオブジェクト重要度情報とＳ１３２で算出された画像間の背景特徴量の類似度に基づいて、画像に写る背景と類似する背景の画像において、重要な人物が一緒に写る（共起する）度合いを示すオブジェクト共起度を算出する（Ｓ１３５）。
【００７８】
これは、イベントにおいてユーザは重要な場面で人物を頻繁に撮影する傾向を考慮したものであり、人物が写る背景と類似する背景の画像は、重要な画像であると考える。
【００７９】
そして、背景重要度算出部５２は、算出された画像の背景頻度とオブジェクト共起度に基づいて、背景重要度を算出し、背景重要度情報記憶部９５に記憶させる（Ｓ１３６）。
【００８０】
図１４を用いて、ステップ１３２〜１３６を具体的に説明する。
【００８１】
図１４（ａ）の画像Ｃ〜画像Ｆのうち、画像Ｃ〜画像Ｅは、浜辺で撮影された画像であるのに対して、画像Ｆだけは道路で撮影された画像である。
【００８２】
このため、画像Ｃから画像Ｅまで２枚を組み合わせたときのの背景類似度（０〜１の範囲であり、０が最も非類似、１が最も類似であることを示す。）は比較的高い値となっている。例えば、画像ＣＥ間は０．８、画像ＤＥ間は０．７である。
【００８３】
これに対して、画像Ｆを含めて２枚を組み合わせたときの背景類似度は低い値となっており、画像ＣＦ間、画像ＤＦ間および画像ＥＦ間すべて０．１である。
【００８４】
図１４（ｂ）は背景頻度を算出する例を示し、画像Ｅの背景頻度（１．６）は、画像ＣＥ間（０．８）、画像ＤＥ間（０．７）および画像ＥＦ間（０．１）の背景特徴量の類似度の総和となっている。
【００８５】
図１４（ｃ）は、人物共起度（オブジェクト共起度）を算出する例を示す。人物共起度は、画像Ｃ・Ｄに写る人物の重要度と算出した背景特徴量の類似度をそれぞれ掛け合わせ、算出された値の総和を求めることにより算出する。
【００８６】
そして、算出した背景類似度と人物共起度掛け合わせ、背景重要度を算出する（図１４（ｄ））。
【００８７】
図１４では一例として、画像Ｃ〜画像Ｆの画像から、画像Ｅと画像Ｆの背景重要度を算出している。この場合、人物が写る画像との背景が類似する画像Ｅの背景重要度が高く算出され、画像Ｆの背景重要度が低く算出される。
【００８８】
図１５は、背景重要度算出（Ｓ１３６）の結果を示す背景重要度のデータ構造を示す図である。背景重要度は、画像に写るオブジェクト以外の領域で、イベントの場面を示す背景の重要度を示す情報であり、「画像ＩＤ」「背景重要度」「順位」の項目を含む。ここでは一例として、画像Ａ、Ｂそれぞれの背景重要度０．６、０．４、そして背景重要度による順位を記憶している。
【００８９】
図２に戻って説明を続ける。次に画像セット評価（Ｓ２６）の処理について、図１６を用いて説明する。
【００９０】
画像セット評価部７０は、図２のステップＳ２３〜Ｓ２５を経て設定された２枚の画像（画像セット）に基づいて、以下の４種類の評価を行う。
【００９１】
まず、それぞれ違う重要な人物が写る画像の組み合わせを評価するオブジェクト紹介度を算出する（Ｓ１６１）。
【００９２】
続いて、同一の重要な場面で同一の重要な人物が写る画像の組み合わせを評価するオブジェクト行動度を算出する（Ｓ１６２）。
【００９３】
次に、それぞれ違う重要な場面の画像組合せを評価する場面遷移度を算出する（Ｓ１６３）。
【００９４】
そして、同一の重要な場面で重要な人物が寄りと引きで写る画像の組み合わせを評価する場面全体像度を算出する（Ｓ１６４）。
【００９５】
この４種類の評価により、イベントの参加者が分かる画像セット（オブジェクト紹介度）、特定の参加者がイベントで行なった行動が分かる画像セット（オブジェクト行動度）、イベントで参加者が行った場所が分かる画像セット（場面遷移度）、特定の場所の詳細が分かる画像のセット（場面全体像度）を導出することができる。
【００９６】
つまり、これら４種類の評価により、イベントで誰がどこでどんな場所でどんなことをしたのかを、効率的に振り返れる画像の組合せを導出することができる。次に、これら４種類の画像セットの評価の算出方法について、具体的に説明する。
【００９７】
図１７を用いて、オブジェクト紹介度を算出する処理（Ｓ１６１）について、説明する。オブジェクト紹介度算出部７１は、オブジェクトクラスタ情報記憶部からオブジェクトクラスタ情報、オブジェクト重要度情報記憶部からオブジェクト重要度を取得する（Ｓ１７１）。
【００９８】
オブジェクト紹介度算出部７１は、取得されたオブジェクトクラスタ情報とオブジェクト重要度情報に基づいて、設定された両画像にオブジェクトが写っていなければ（Ｓ１７２：Ｎｏ）、図１６のステップ１６２に移行し、これに対して、両画像にオブジェクトが写っていれば（Ｓ１７２：Ｙｅｓ）、両画像に写る各オブジェクトの重要度を総和でオブジェクト紹介度を算出し、算出したオブジェクト紹介度を画像セット情報記憶に記憶させる（Ｓ１７３）。
【００９９】
これは、イベントにおいて、ユーザが参加した全てのメンバを振り返る傾向を考慮したものであり、それぞれ違う重要な人物が写る画像セットであるほど、重要な画像セットと考える。
【０１００】
図１８を用いて、ステップ１７３を具体的に説明すると、オブジェクト紹介度算出部７１は、８枚の画像Ｇ〜画像Ｎ（図１８（ａ））から、例えば画像セットＧＨ（画像Ｇと画像Ｈの組み合わせ）では、画像Ｇに写る人物ｂ，ｃと、画像Ｈに写る人物ａとのオブジェクト重要度を総和を求め、この総和を画像セットのオブジェクト紹介度として算出する（図１８（ｂ））。
【０１０１】
図１８（ｂ）では、浜辺での画像Ｇ〜画像Ｉ、海上での画像Ｊ〜画像Ｍ，道路での画像Ｎの８つの画像から、画像セットＧＨと画像セットＪＫ（画像Ｊと画像Ｋの組合せ）のオブジェクト紹介度を算出している。この場合、家族が全員揃っている画像セットＧＨのオブジェクト紹介度が高く算出され、家族が揃っていない画像セットＪＫのオブジェクト紹介度が低く算出される。
【０１０２】
なお、図１８（ｂ）左下部に示した画像セットＨＪでは、画像Ｈ，画像Ｊ共に同一人物である人物ａが写っているため、オブジェクト重要度を加算しないとしている。同一人物の組み合わせは、多様な人物の紹介には寄与しない（相違する人物の組み合わせの方が好ましい）と考えられるからである。
【０１０３】
図１９を用いて、オブジェクト行動度を算出する処理（Ｓ１６２）について、説明する。オブジェクト行動度算出部７３は、オブジェクトクラスタ情報記憶部９２からオブジェクトクラスタ情報、オブジェクト重要度情報記憶部９３からオブジェクト重要度、背景特徴量情報記憶部９４から背景特徴量、背景重要度情報記憶部９５から背景重要度、イベントクラスタ情報記憶部９６から撮影日時情報を取得する（Ｓ１９１）。
【０１０４】
オブジェクト行動度算出部７３は、取得されたオブジェクトクラスタ情報に基づいて、設定された両画像に同一オブジェクトが写っていなければ（Ｓ１９２：Ｎｏ）、図１５のステップ１６３に移行し、両画像に同一オブジェクトが写っていれば（Ｓ１９２：Ｙｅｓ）、画像間の背景特徴量の類似度を算出し（Ｓ１９３）、続いて画像間の撮影日時の間隔を算出する（Ｓ１９４）。そして、算出された背景特徴量の類似度と撮影日時の間隔と両画像のオブジェクト重要度および両画像の背景重要度に基づいて、オブジェクト行動度を算出し、算出したオブジェクト行動度を画像セット情報記憶部９７に記憶させる（Ｓ１９５）。
これは、ユーザがイベントに参加した家族メンバが何をしたのかを振り返る傾向を考慮したものであり、同一の場面で同一の重要な人物が写る画像セットであるほど、重要な画像セットと考える。
【０１０５】
図２０を用いて、ステップＳ１９３〜Ｓ１９５を具体的に説明する。
【０１０６】
図２０の８枚の画像Ｇ〜画像Ｎは、ある同じイベントのイベントクラスタに属する画像群である。
【０１０７】
オブジェクト行動度算出部７２は、画像Ｇ〜画像Ｎの中から、同一のオブジェクトが写っている画像セットＨＪ，ＪＬ，ＨＬを算出対象として特定する。
【０１０８】
図２０（ｂ）では、これらの画像セットのうちで画像セットＨＪ，ＪＬについてのオブジェクト行動度の算出の流れを示している。
【０１０９】
つまり、画像セットＨＪ（画像Ｈと画像Ｊの組み合わせ）では、両画像に写る人物ａのオブジェクト重要度を抽出し、画像Ｈ，画像Ｊの背景重要度の平均を算出し、画像ＨＪ間の背景特徴量の類似度を算出し、画像ＨＪ間の撮影間隔を算出する。
【０１１０】
なお、背景特徴量の類似度の算出方法として、ヒストグラムインタセクション（参考文献３参照）を用いることができる。
【０１１１】
また、画像間の撮影間隔（０〜１の範囲であり、０が撮影間隔が最も離れていることを、１が最も近いことを示す。）については、イベントに属する全画像それぞれの撮影日時に基づいて、画像間の撮影間隔を算出し、算出した全ての撮影間隔が０〜１の範囲になるように正規化した値を用いる。
【０１１２】
そして、抽出したオブジェクト重要度と算出した背景重要度の平均と背景特徴量の類似度と撮影日時の間隔を掛け合わせて、画像セットＨＪのオブジェクト行動度を算出する。
【０１１３】
図２０（ｂ）では一例として、浜辺での画像Ｇ〜画像Ｉ、海上での画像Ｊ〜画像Ｍ，道路での画像Ｎの８枚の画像から、画像セットＨＪと画像セットＪＬ（画像Ｊと画像Ｌの組合せ）のオブジェクト行動度を算出している。
【０１１４】
この場合、同じ人物が同じような背景の場面で写る画像セットＪＬのオブジェクト行動度が高く算出され、同じ人物でも違う背景の場面で写る画像セットＨＪのオブジェクト行動度は低く算出される。
【０１１５】
図２１を用いて、場面遷移度を算出する処理（Ｓ１６３）について、説明する。場面遷移度算出部７２は、背景特徴量情報記憶部９４から背景特徴量、背景重要度情報記憶部９５から背景重要度、イベントクラスタ情報記憶部９６から撮影日時情報を取得する（Ｓ２１１）。
【０１１６】
場面遷移度算出部７２は、取得された背景特徴量と背景重要度と撮影日時情報に基づいて、設定された２枚の画像の背景特徴量の非類似度（＝１−類似度）を算出し（Ｓ２１２）、続いて画像間の撮影日時の間隔を算出する（Ｓ２１３）。そして、算出された画像間の背景の非類似度と撮影日時の間隔と両画像の背景重要度に基づいて、背景遷移度を算出し、画像セット情報記憶部に記憶させる（Ｓ２１４）。
【０１１７】
これはユーザがイベントを行なった複数の場面を振り返る傾向を考慮したものであり、違う場面が写る画像セットであるほど、重要な画像セットと考える。
【０１１８】
図２２を用いて、ステップＳ２１２〜Ｓ２１４を具体的に説明すると、場面遷移度算出部７２は、８枚の画像Ｇ〜画像Ｎ（図２２（ａ））から、例えば画像セットＩＭ（画像Ｉと画像Ｍの組み合わせ）では、両画像の背景重要度の平均を算出し、画像間の背景特徴量の非類似度と撮影日時の間隔を算出する。
【０１１９】
なお、画像間の背景特徴量の非類似度は、１から背景類似度を引いた値により算出する。つまり、画像セットＩＭの非類似度は、１から画像セットＩＭの類似度０．２を引いた０．８となる。
【０１２０】
そして、算出した背景重要度の平均と背景特徴量の非類似度と撮影日時の間隔を掛け合わせて、画像セットＩＭの場面遷移度を算出する（図２２（ｂ））。
【０１２１】
図２２では一例として、浜辺での画像Ｇ〜Ｉ、海上での画像Ｊ〜Ｍ，道路での画像Ｎの８つの画像から、画像セットＩＭと画像セットＭＮ（画像Ｍと画像Ｎの組合せ）の場面遷移度を算出している。
【０１２２】
場面遷移度は、背景重要度の平均が高くて、場面変遷の可能性が高い画像セットの組み合わせが高く評価される。
【０１２３】
背景重要度の平均が高いということは、撮影枚数が多くユーザが重要と考える画像セットである可能性が高いからである。
【０１２４】
また、場面変遷の可能性は、非類似度が高い、かつ、撮影日時間隔が大きいものほど、高いとする。背景が非類似で、撮影日時に隔たりがある画像セットはユーザが移動て場面が変わったであろうと推測が働くからである。
【０１２５】
なお、場面遷移度は、人物よりも場面の変遷に着目する変数であるので、人物が写る画像セットは算出対象から除外するとしても構わない。つまり、図２２（ａ）の８枚の画像のうち、人が写らない３枚の画像Ｉ、画像Ｍおよび画像Ｎを組み合わせた画像セットのみを算出対象とするとしてもよい。あるいは、算出対象から除外しないとしても、オブジェクトを含む画像セットについては低く評価するようにしてもよい。
【０１２６】
図２２（ｂ）では、より背景重要度が高く、撮影日時の間隔が大きい画像セットＩＭの方が、画像セットＭＮと比べて高い場面遷移度が算出されている。
【０１２７】
図２３を用いて、場面全体像を算出する処理（Ｓ１６４）について、説明する。背景全体像度算出部７４は、背景特徴量情報記憶部９４から背景特徴量、背景重要度情報記憶部９５から背景重要度、イベントクラスタ情報記憶部９６から撮影日時情報、オブジェクトクラスタ情報記憶部９２からオブジェクトクラスタ情報、オブジェクト重要度情報記憶部９３からオブジェクト重要度を取得する（Ｓ２３１）。
【０１２８】
場面全体像度算出部７４は、取得された情報に基づいて、設定された両画像にオブジェクトが写っていなければ（Ｓ２３２：Ｎｏ）、図２のステップＳ２８をに移行し、設定された２枚の画像のいずれかにオブジェクトが写っていれば（Ｓ２３２：Ｙｅｓ）、画像間のオブジェクト占有相違度を算出する（Ｓ２３３）。
【０１２９】
オブジェクト占有相違度とは、両画像で最も大きく写るオブジェクトに対して、画像間でそのオブジェクトが写る大きさの差分のことである。
【０１３０】
続いて、画像間の背景の類似度を算出する（Ｓ２３４）。次に、画像間の撮影日時の間隔を算出する（Ｓ２３５）。そして、算出されたオブジェクト占有相違度と背景の類似度と撮影日時の間隔に基づいて、背景全体像度を算出し、画像セット情報記憶部９７に記憶させる（Ｓ２３６）。
【０１３１】
この場面全体像度は、ユーザがイベントを行なった場面の詳細を振り返る傾向を考慮したものであり、同一の場面（＝背景特徴量の類似度が高い、撮影日時間隔が近い。）で人物が寄りと引きで写る（＝占有相違度が高い。）画像セットであるほど、イベントを振り返る上で重要な画像セットと考える。
【０１３２】
図２４を用いて、ステップＳ２３３〜Ｓ２３６を具体的に説明すると、場面全体像度算出部７４は、８枚の画像Ｇ〜画像Ｎから、例えば画像セットＨＩ（画像Ｈと画像Ｉの組み合わせ）に対して、画像間のオブジェクト占有相違度と背景特徴量の類似度と撮影日時の間隔を算出する。
【０１３３】
オブジェクト占有相違度の算出では、両画像に人物が写っている場合、両画像の人物の写る大きさの差分を算出するが、画像セットＨＩの場合、画像Ｈにのみに人物が写っているため、画像Ｈに写る人物の写る大きさ（占有度）をオブジェクト占有相違度とする。そして、算出したオブジェクト占有相違度と背景特徴量の類似度と撮影日時の間隔を掛け合わせて、画像セットＨＩの場面全体像度として算出する（図２４（ｂ））。
【０１３４】
ここでは一例として、浜辺での画像Ｇ〜Ｉ、海上での画像Ｊ〜Ｍ，道路での画像Ｎの８つの画像から、画像セットＨＩと画像セットＬＭ（画像Ｌと画像Ｍの組合せ）の場面全体像度を算出している。この場合、同じ場面で片方に人物が大きく写る画像セットＨＩの場面全体像度が高く算出され、同じ場面で片方に人物が小さく写る画像セットＬＭの場面全体像度が低く算出される。
【０１３５】
なお、重要な人物が写る画像セットの場面全体像度が高く評価されるようにするために、画像セット中に写るオブジェクト重要度を用いて場面全体像度を算出しても構わない。
【０１３６】
図２５は、画像セット評価算出の結果を示すオブジェクト紹介度・オブジェクト行動度・場面遷移度・場面全体像度のデータ構造を示す図である。
【０１３７】
画像セット情報記憶部９７は、オブジェクト紹介度を、イベントクラスタに属する２枚の画像の組み合わせから、それぞれ違う重要な人物が写る画像セットを評価する情報であり、図２５のテーブル９７ａのような構造で記憶する。
【０１３８】
また、オブジェクト行動度は、イベントクラスタに属する２枚の画像の組み合わせから、同一の重要な人物が写る画像セットを評価する情報であり、図２５のテーブル９７ｂのような構造で記憶する。
【０１３９】
場面遷移度は、イベントクラスタに属する２枚の画像の組み合わせから、それぞれ違う場面が写る画像セットを評価する情報であり、図２５のテーブル９７ｃのような構造で記憶する。
【０１４０】
場面全体像度は、イベントクラスタに属する２枚の画像の組み合わせから、同一の場面で重要な人物が寄りと引きで写る画像セットを評価する情報であり、図２５のテーブル９７ｄのような構造で記憶する。
【０１４１】
ここでは一例として、８枚の画像Ｇ〜画像Ｎによる組合せで算出されたオブジェクト紹介度・オブジェクト行動度・場面遷移度・場面全体像度をテーブル構造で記憶している。なお、図２５のテーブル９７ａ〜９７ｄでは、図１８，図２０，図２２，図２４に対応する値を記入しているだけで残部の値を省略しているが、実際には、具体的な値か、値を算出しない評価項目であれば「−」が記入される。
【０１４２】
図２に戻って説明を続ける。次に配置パターン評価（Ｓ２８）の処理について、図２６を用いて説明する。
【０１４３】
配置パターン評価部８０は、テンプレート情報記憶部９１からテンプレート情報、画像セット情報記憶部９７から画像セット評価情報、イベントクラスタ情報記憶部９６からイベントクラスタ情報を取得する（Ｓ２６１）。
【０１４４】
配置パターン評価部８０は、取得された情報に基づいて、ユーザが選択したイベントクラスタに属する画像群から、ユーザが選択したテンプレート情報に含まれるフレーム数分の枚数分だけ画像を選択し、フレームに配置した場合の配置パターンを生成する（Ｓ２６２）。
【０１４５】
続いて、テンプレート情報に含まれる２つのフレーム間の画像セットに定義された評価項目に基づいて、設定された配置パターンの評価値を算出し、配置パターン情報記憶部９８に記憶させる（Ｓ２６３）。
【０１４６】
次に、選択されたイベントクラスタに属する画像群において、すべての配置パターンで配置パターンの評価値を算出できていなければ（Ｓ２６４：Ｎｏ）、ステップ２６２に戻り、すべての配置パターンで評価値を算出できていれば（Ｓ２６４：Ｙｅｓ）、配置パターン評価部８０は、最高の順位の配置パターンを用いてアルバムを作成する（Ｓ２６５）。
【０１４７】
そして、表示制御部１００は、作成されたアルバムをディスプレイ４に表示する（Ｓ２６６）。
【０１４８】
図２７は、テンプレート情報のデータ構造を示す図である。
【０１４９】
テンプレート情報は、「デザイン（レイアウト）」「評価項目」、「フレーム間の評価項目」を含む。
【０１５０】
図２７には、一例として、テンプレートＡのテンプレート情報の詳細のみを示すが、テンプレートＢ，テンプレートＣについても同様なデータ構造となっている。
【０１５１】
テンプレートＡの「デザイン」としては、フレームのレイアウトに関する情報（フレームの座標位置、大きさ、角度）、個々のフレームに関する情報（フレームの背景の色、模様、枠の装飾など）、アルバムの台紙のデザインに関する情報（台紙のサイズ、台紙の背景色など）、などを含む。
【０１５２】
図２７では、簡単なイメージで示しているが、実際には、各種パラメータが所定のデータベース形式で格納されているものとする。
【０１５３】
テンプレートＡの「評価項目」には、画像の特徴量に関する条件の種類が含まれている。この例では、フレーム同士の組合せの条件として、当てはめたい画像の組合せをオブジェクト紹介度（ＯＩ）・オブジェクト行動度（ＯＡ）・場面遷移度（ＳＴ）・場面全体像度（ＳＯ）の４種類の条件がある。
【０１５４】
テンプレートＡの「フレーム間の評価項目」は、イベントを容易に振り返れる配置パターンを導出するために、一対のフレームに配置される一対の画像に適用したい評価項目の対応テーブルを含む。この対応テーブルは、例えば、一対のフレームａｂについてはオブジェクト紹介度（ＯＩ）が対応付けている。
【０１５５】
図２８を用いて、ステップＳ２６２〜Ｓ２６３を具体的に説明する。
【０１５６】
ここでは、ユーザによる選択されたテンプレート（図２：Ｓ２４）は、テンプレートＡであるとする。テンプレートＡには、フレームａ〜フレームｆまでの６個のフレームがある。
【０１５７】
このため、配置パターン評価部８０は、８枚の画像Ｇ〜画像Ｎ（図２８（ａ））から、６枚の画像を選択して、６個のフレームに並べる組み合わせ8Ｐ6＝８！／（８−６）！＝２０１６０通りの配置パターンＰ１〜Ｐ２０１６０を求める。
【０１５８】
続いて、配置パターン評価部８０は、配置パターン毎に、テンプレートＡの「フレーム間の評価項目」により規定されたフレーム間の条件に基づいて、配置パターン評価値を算出する（図２９）。
【０１５９】
図２９に示すように、配置パターン評価値は、テンプレートＡの「フレーム間の評価項目」（図２７参照）で規定された、
・フレームａｂ間のＯＩ
・フレームａｃ間のＳＯ
・フレームｂｃ間のＳＯ
・フレームｃｄ間のＳＴ
・フレームｄｅ間のＳＯ
・フレームｄｆ間のＳＯ
・フレームｅｆ間のＯＡ
の全評価項目を加算することにより求める。
【０１６０】
図２９の例では、配置パターンＰ１および配置パターンＰ２０１６０の配置パターン評価値が算出されており、配置パターンＰ２０１６０の評価値２００の方が、配置パターンＰ１よりも高い評価値１００となっている。
【０１６１】
図３０は、配置パターン評価算出の結果を示す配置パターン評価値のデータ構造を示す図である。
【０１６２】
配置パターン評価値は、選択されたイベント画像群とテンプレートに基づく、イベントを効率的に振り返ることができる画像組み合わせの評価を示す情報であり、「配置パターンＩＤ」、テンプレートに含むフレームを示す「テンプレートＡのパターン」、「配置パターン評価値」、「順位」の項目を含む。
【０１６３】
ここでは一例として、図２９のＰ１とＰ２０１６０の配置パターンのテンプレートαに対するそれぞれの配置パターン評価値１００と２００、またその配置パターン評価値による順位を記憶している。
【０１６４】
このうち、特に最高の順位（最高の評価値）の配置パターンＰ２０１６０は、テンプレートＡの各評価項目を最も満足したものであるので、この配置パターンＰ２０１６０に従ったアルバムは、ユーザの要望に沿ったものとすることができる。
【０１６５】
図２８〜図３０で説明した例では画像の枚数は８枚と少ないが、特に、ユーザがイベントで撮影して保有する画像の枚数が膨大である場合には、アルバムをユーザ自身が手動で作成するのは大変手間であるので、本実施の形態を適用すると効果的である。
【０１６６】
また、上記膨大な画像が、家族旅行のイベントに関するものであったとしても、上述の４種類の評価項目を用いて画像セットを評価することで、イベントを効率的に振り返ることができる画像の組み合わせを選別し、アルバムを自動作成することができる。
【０１６７】
家族旅行の画像は、結婚式の画像などとは違って定番の画像の構図パターンというものが無く、従来技術によるアプローチでは家族旅行のアルバムを適切に自動作成することが困難と考えられる。これに対して、本実施の形態によれば、家族旅行のアルバムの自動作成にも寄与することができる。
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
（１）アルバムの表示例
図３１は、テンプレート情報記憶部９１が記憶するテンプレートＡの別の例を示すものである。基本的には図２７と同様であるが、テンプレートＡが「評価項目，コメント」という欄を含む点が異なっている。
【０１６８】
この「評価項目，コメント」の欄は、評価項目に対するコメントを対応付けを示すものである。例えば、オブジェクト紹介度（ＯＩ）には、「こんなメンバーでした」というコメントが対応付けされている。
【０１６９】
このような対応付けを利用して、自動作成したアルバムのフレーム間にコメントを表示するとしてもよい。
【０１７０】
その表示例を図３２に示す。図３２（ａ）は、配置パターン評価値の順位が最上位（１位）の配置パターンＰ２０１６０を用いて作成したアルバム３２０ａを示し、図３２（ｂ）は、配置パターン評価値の順位が最下位（２０１６０位）の配置パターンＰ１を用いて作成したアルバム３２０ｂを示す。
【０１７１】
図３２に示すように、フレームａｂ間には「こんなメンバーでした」のコメントというように、図３１のテンプレートＡで規定された各フレーム間の評価項目に対応するコメントが表示されている。
【０１７２】
このようにコメントを表示することで、アルバム作成に際して考慮したフレーム間の関係付けをユーザに知らせることができる。よりユーザの満足度の高いアルバムとすることができ、また、手動でコメントを挿入するユーザの手間を軽減できる。
【０１７３】
なお、アルバム３２０ａにおいて、フレームａｂには、それぞれ人物が写る画像Ｈ画像Ｇが配置されており、「こんなメンバーでした」というコメントに沿うものとなっている。
【０１７４】
これに対して、アルバム３２０ｂにおいては、フレームａｂには、それぞれ人物が写らない画像Ｌ画像Ｉが配置されており、「こんなメンバーでした」というコメントとは沿わず、ちぐはぐである。
【０１７５】
両アルバム３２０ａ，３２０ｂを対比して見ると、アルバム３２０ａの方がより適切なアルバムに仕上がっていることがわかる。
（２）テンプレートの選択例
図２のステップＳ２４で説明したテンプレート選択のユーザインターフェイスの例について説明を加える。
【０１７６】
図３３は、テンプレート選択部６２が、ディスプレイ４に表示させるテンプレート選択の画面３３０を示す。
【０１７７】
テンプレート選択部６２は、テンプレート情報記憶部９１に記憶された３種類のテンプレートＡ〜Ｃを読み出し、画面３３０に表示している。そして、図示しない入力装置を介してユーザからテンプレートの選択を受け付ける。
（３）テンプレートの例
実施の形態で説明したテンプレートＡは、４種類の評価項目を用いていたが（図３１参照）、４種類の評価項目がすべて必須というわけではなく、そのうちの任意の評価項目を組み合わせてテンプレートとしてもよい
図３４（ａ）に、テンプレートＢのテンプレート情報のデータ構造を示す。テンプレートＢは、２個のフレームａｂだけを含む単純なものであり、フレームａｂ間の評価項目としてオブジェクト紹介度が対応付けられている。
【０１７８】
図３４（ｂ）に、テンプレートＢを用いた作成したアルバムの例を示す。
（４）アルバムの例
実施の形態では、台紙上のフレームに画像を貼り付けるタイプのアルバムを例に挙げて説明したが、これに限らず、スライドショータイプのアルバムであっても構わない。
【０１７９】
一例として、図３５（ａ）に、テンプレートＢ’のテンプレート情報のデータ構造を示す。
【０１８０】
テンプレートＢ’の「デザイン（レイアウト）」は、スライドショーにおけるスライド番号１〜５にそれぞれ対応する、スライドを示す情報を含んでいる。
例えば、スライド番号３には、スライド枠ａが対応付けられており、スライド番号４には、スライド枠ｂが対応付けられている。
【０１８１】
また、テンプレートＢ’の「フレーム間の評価項目」は、一対のスライド枠ａｂを、オブジェクト紹介度を用いて評価することを示す。
【０１８２】
図３５（ｂ）に、テンプレートＢを用いた作成したアルバムの例を示す。
（５）配置パターン評価値算出の処理の流れ
実施の形態では、図２６のＳ２６２〜Ｓ２６４に示すように、生成した配置パターンすべてについてそれぞれの評価値を算出するとしている（総当たり法）。
【０１８３】
もっともこれに限らず、例えば、ステップＳ２６３で算出された評価値が閾値以上であれば、その時点で評価値算出処理を打ち切ってステップＳ２６５に移行するとしても構わない。
（６）テンプレートの枠セットを構成する枠の数
実施の形態では、テンプレートの「フレーム間の評価項目」（図２７参照）は２個の枠のセットから構成されていたが、２個に限られない。２個より大きい個数の枠を枠セットとしてもよい。例えば、３個の枠を枠セットとして構成してもよい。
【０１８４】
一例として、テンプレートにおいて、３個のフレームであるフレーム１２３から構成される枠セットに対して、ある評価項目を定義付ける。そして、この枠セットに配置される３個の画像ＡＢＣそれぞれの特徴量を組み合わせて評価の高低を評価するとしてもよい。
【０１８５】
なお、演算に際しては、ステップＳ２５（図２）において３枚の画像を設定することで、３枚の画像セットの評価値を予め算出しておき、配置パターンの評価に用いるとしてもよい。もっとも、演算量を軽減するために（２個の画像セットの評価値が流用できるように）、画像ＡＢＣの３枚の画像セットの評価値は、画像ＡＢ，画像ＢＣおよび画像ＡＣとタスキ掛けし２個ずつの画像セットの評価値の平均値を用いる算出するとしてもよい。
【０１８６】
また、２個の枠セットと３個の枠セットとが混在するようなテンプレートとしても構わない。
【０１８７】
具体例を説明すると、図３７（ａ）の例では、フレーム１２３から構成される枠セットに対して、場面遷移度（ＳＴ）の評価項目が対応付けられている。
【０１８８】
この場面遷移度は、フレーム１２の場面遷移度ＳＴ12、フレーム２３の場面遷移度ＳＴ23、およびフレーム１３の場面遷移度ＳＴ13の３者をタスキ掛けして求めることができる。このような枠セットは、３つの場所で遊んだイベントの画像から、３つの場所が移る画像の組み合わせを取り出すのに有用である。
【０１８９】
また、図３７（ｂ）の例では、フレーム１２３４から構成される枠セットに対して、オブジェクト紹介度（ＯＩ）の評価項目が対応付けられている。このような枠セットは、４人家族のユーザが撮影した家族の画像の中から、家族の各人が写る画像の組み合わせを取り出すのに有用である。
（７）テンプレートの枠セットに関与しない枠
実施の形態では、テンプレートの「フレーム間の評価項目」（図２７参照）でフレームａｂ，ａｃ，ｂｃ，ｃｄ，ｄｅ，ｄｆ，ｅｆの７個の枠セットに評価項目が対応付けられている。
【０１９０】
このように、フレームａ〜ｆのすべてのフレームは、すくなくとも１つの枠セットを構成するフレームとなっている。言い換えると、上記７個の枠セットを構成する枠は、６個の前記Ｎ個の枠のすべてを網羅していることとなる。
【０１９１】
このため、作成したアルバムにおいては、アルバム内の全フレームが評価項目に関係するフレームであるので、全フレームにおいてフレーム間のつながりを反映させることができ、フレーム間に有機的な関係性を持たせたアルバムとすることができる。
（８）テンプレートの「フレーム間の評価項目」
図２７の「フレーム間の評価項目」に重みの項目を追加してもよい。
【０１９２】
こうすることで、テンプレート内で重要なフレーム（例えば、枠の領域が他と比べて大きい、枠の位置が中央であるなど。）があった場合、他のフレームに比べて優先的に、この重要なフレームに付随する重み値に基づいて適切な評価を行える。
（９）複数のテンプレートを用いた評価
実施の形態では、配置パターン評価（図２６）では、１つのテンプレートを用いて評価するとしたが、これに限らず複数のテンプレートを評価対象としてもよい。
【０１９３】
例えば、図３６に示すように、テンプレートＡおよびテンプレートＤについて配置パターン毎の評価値を算出するようにしてもよい。このような処理は、例えば図２のステップＳ２４においてテンプレートＡおよびテンプレートＤを自動的に選択し（あるいはユーザから受け付け）、そして、図２６のステップＳ２６１〜Ｓ２６４の処理を選択されたテンプレート毎に繰り返すことにより実現できる。
【０１９４】
なお、図３６の例のテンプレートＤは、６個のフレームを有している点はテンプレートＡと同様であるが、デザインやフレーム間の評価項目がテンプレートＡとは異なっている。
【０１９５】
図３６の例では、評価値２４０と最大の評価値であるテンプレートＤの配置パターンＰD２を用いてアルバムを自動作成することが考えられる。こうすることで、最適なテンプレートとそのテンプレートを用いた最適な配置パターンとを自動的に決定することができる。
（１０）配置パターンの数え方
実施の形態では、テンプレートＡのフレームａ〜ｆの６個のフレームを区別していたので、８枚の画像を６個のフレームに配置するパターンは、8Ｐ6＝２０１６０通りとしている、このような順列で考えるやり方は、各フレームの個性（テンプレートにおけるフレームの位置、フレームの装飾、フレームの大きさなど）を重視する場合には最適であるが、これに限られない。
【０１９６】
つまり、６個のフレームを区別せずに組み合わせで考え、８枚の画像を６個のフレームに配置するパターンを、8Ｃ6＝２８通りとして扱っても構わない。こうすると、計算量を減らせるという利点がある。
（１１）アルバム作成に用いる配置パターン
実施の形態では、最高の順位の配置パターンを用いてアルバムを作成するとしたが（図２６：Ｓ２６５）、これに限られない。例えば、上位３位までの配置パターンを用いて、対応する３つのアルバムを作成し、作成したアルバムの一覧をユーザに表示するとしてもよい。
（１２）単一枠の例
実施の形態では、複数の枠（枠セット）に挿入する画像の組み合わせにより評価値を算出するとしているが、必ずしもテンプレートの枠のすべてが枠セットのみから構成されるわけではない。
【０１９７】
例えば、テンプレートの枠の一部において、１つの枠（単一枠）に１つの評価項目を対応付けるとしてもよい。
【０１９８】
図３７（ａ）のテンプレートＤは、８個のフレーム（フレーム１〜８）を含んでおり、フレーム１    には人物重要度、フレーム２には背景重要度の評価項目が対応付けられている。このように、フレーム１，２は、枠と評価項目とが一対一に対応している。
【０１９９】
また、フレーム３，４にはオブジェクト紹介度（ＯＩ）、フレーム５，６には場面遷移度（ＳＴ）、フレーム７，８には場面全体像度（ＳＯ）の評価項目が対応付けられている。図３７（ｂ）にテンプレートＤの配置パターンとその評価値の例を示す。
（１３）枠と評価項目の関係
実施の形態では主に１つの枠セットに１つの評価項目を対応付けるとして説明したが、１つの枠セットに複数の評価項目を対応付けるとしても構わない。また、（１２）で説明した単一枠に複数の評価項目を対応付けるとしてもよい。
（１４）配置パターン数の削減
実施の形態では、テンプレートの枠に画像を配置した際の配置パターンを全通り生成するとしたが（図２６のＳ２６４など）、評価値算出に関する処理負荷を軽減するために、評価値を算出する配置パターンの数を減らすとしてもよい。
【０２００】
１つ目の削減手法は、各画像の背景重要度を基に、配置パターンの生成に用いる画像の数を絞り込むものである。図３９を用いて説明する。
【０２０１】
図３９の例では、あるイベントに属する画像が３０枚ある。配置パターン評価部８０は、３０枚の画像それぞれの背景重要度を降順にソートし、上位１５枚に絞り込む（Ｓ３９１）。そして、配置パターン評価部８０は、絞り込み後の画像を配置パターンの生成に用いる（Ｓ３９２）。
【０２０２】
例えば、テンプレートの枠の数が４個の場合、３０枚の画像の配置パターンは、657,720（=30×29×28×27）通りにもなるが、このような絞り込みを行うことにより、32,760（=15×14×13×12）通りに削減できる。
【０２０３】
２つ目の削減手法は、画像群をシーンに分割し、各シーンの画像群の平均シーン重要度を基にシーンを絞り込み、絞り込んだシーンを利用して配置パターンを生成するものである。図４０を用いて説明する。
【０２０４】
図４０の例では、あるイベントに属する３０枚の画像に対して、配置パターン評価部８０は、画像をシーン１〜８に分割し、各シーン毎にそのシーン内の画像の背景重要度の平均値をシーン重要度として求め、求めたシーン重要度を基にシーンを絞り込む。
【０２０５】
そして、配置パターン評価部８０は、シーン重要度が相対的に高いシーン２，４，６，７，８内の２１枚の画像を配置パターン生成に用いる（Ｓ４０２）。
【０２０６】
例えば、テンプレートの枠の数が４個の場合、３０枚の画像の配置パターンは、657,720（=30×29×28×27）通りにもなるが、このような絞り込みを行うことにより、143,640（=21×20×19×18）通りに削減できる。
【０２０７】
特に、シーン単位で組み合わせる場合には、600（=3×5×8×5）通りに削減できる。
【０２０８】
なお、シーン重要度の算出方法は、上に述べた画像の背景の重要度を用いる手法に限らず、画像のオブジェクトの重要度を考慮した算出手法、ユーザーの嗜好を反映して算出する手法など、その他一般的な手法を用いても構わない。
（１５）数式の例
以下、実施の形態で説明した値を評価するための数式の例について説明する。
【０２０９】
背景類似度は、図４１（ａ）の式（１）により求めることができる。なお、領域ｉは、画像を領域分割（セグメンテーション）したときのものである。また、ａｂｓは絶対値を得るための関数である。
【０２１０】
撮影時間間隔は、図４１（ｂ）の式（２）により求めることができる。
【０２１１】
背景重要度は、図４２（ａ）の式（３）により求めることができる。
【０２１２】
オブジェクト紹介度は、図４２（ｂ）の式（５）により求めることができる。
【０２１３】
オブジェクト行動度は、図４３（ａ）の式（６）により求めることができる。
【０２１４】
場面遷移度は、図４３（ｂ）の式（７）により求めることができる。
【０２１５】
場面全体像度は、図４４（ａ）の式（８）により求めることができる。
【０２１６】
配置パターン評価値は、図４４（ｂ）の式（９）により求めることができる。
（１６）実施の形態では、画像による作品としてアルバムを例として説明したが、ブック形式のアルバムに限らず、写真が遷移するスライドショー形式や写真が多彩なアニメーションで動作するムービー形式で、最適な画像組合せを選択して作品化するとしてもよい。
（１７）本実施の形態では、記憶媒体の例として、ＳＤメモリカードを例に挙げて説明したが、記録媒体であればこれに限られず、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)の記録媒体などを用いてもよい。
【０２１７】
また、画像評価装置を、画像を記憶するデジタルカメラや携帯電話の撮影機器と接続することにより、画像を取得することも考えられる。両者の接続の態様としては、有線（ＬＡＮケーブル、ＵＳＢケーブルなど）、無線（赤外線やBluetoothなど）を問わず様々な態様をとり得る。
（１８）実施の形態の画像評価装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２１８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
（１９）プログラム
実施の形態で示した画像評価に係る処理をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
【０２１９】
このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、ＳＤメモリーカード（登録商標）、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)等がある。
【０２２０】
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
＜補足２＞
本実施の形態は、以下の態様を含むものである。
【０２２１】
（１）本発明に係る画像評価装置は、画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、複数の画像を取得する取得手段と、取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段とを備え、前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定することを特徴とする。
【０２２２】
（２）前記枠セットに配置される画像それぞれの特徴量に係る評価項目とは、枠セットに配置される画像が含むオブジェクトの紹介性、または、枠セットに配置される画像の場面の移り変わりを含むとしても構わない。
【０２２３】
（３）前記複数の画像に含まれるオブジェクトをクラスタリングするオブジェクトクラスタリング手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトのオブジェクトクラスタが、相違しているほど、前記オブジェクトの紹介性を高く評価するとしても構わない。
【０２２４】
この構成によれば、人物などのオブジェクトの紹介に適したアルバムの作成に寄与する。
【０２２５】
（４）クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段を備え、前記評価手段は、前記枠セットに配置される画像が含むオブジェクトのオブジェクトクラスタの重要度がより高いほど、前記オブジェクトの紹介性を高く評価するとしても構わない。
【０２２６】
（５）前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像の背景の特徴量の非類似性または画像間の撮影間隔の大きさに基づいて前記場面の移り変わりを評価するとしても構わない。
【０２２７】
この構成によれば、場面の移り変わりの紹介に適したアルバムの作成に貢献できる。
【０２２８】
（６）前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像の背景の重要度が高いほど、前記場面の移り変わりを高く評価するとしても構わない。
【０２２９】
（７）前記複数の画像に含まれるオブジェクトをクラスタリングするオブジェクトクラスタリング手段を備え、前記枠セットに配置される画像それぞれの特徴量に係る評価項目とは、背景が類似する画像間における同一のオブジェクトクラスタに係る変化度を含むとしても構わない。
【０２３０】
（８）前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトクラスタが同一であって、各画像の背景の特徴量が類似しているほど、前記変化度を高く評価するとしても構わない。
【０２３１】
この構成によれば、人物などのオブジェクトの行動の紹介に適したアルバムの作成に貢献できる。
【０２３２】
（９）クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段と、前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段とを備え、前記評価手段は、前記枠セットに配置される画像が含むオブジェクトのオブジェクトクラスタの重要度が高いほど、および、前記枠セットに配置される画像の背景の重要度の少なくとも一方が高いほど、前記変化度をより高く評価するとしても構わない。
【０２３３】
（１０）前記複数の画像のそれぞれから、オブジェクトが占める占有領域を計算する計算手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像が含むオブジェクトクラスタが同一のオブジェクトが占める占有領域が、相違しているほど、前記変化度を高く評価するとしても構わない。
【０２３４】
この構成によれば、場面の全体像の紹介に適したアルバムの作成に貢献できる。
【０２３５】
（１１）クラスタリングされた各オブジェクトクラスタの重要度を算出するオブジェクト重要度算出手段と、前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段とを備え、前記評価手段は、前記枠セットに配置される画像が含むオブジェクトのオブジェクトクラスタの重要度の少なくとも一方が高いほど、および、前記枠セットに配置される画像の背景の重要度が高いほど、前記変化度をより高く評価するとしても構わない。
【０２３６】
（１２）前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、前記評価手段は、前記枠セットに配置される画像において、各画像の背景の重要度に基づいて前記評価値を算出するとしても構わない。
【０２３７】
（１３）前記複数の画像のそれぞれから、背景の特徴量を抽出する抽出手段を備え、前記背景重要度算出手段は、算出対象となる一の画像と撮影日時が近い他の画像とのそれぞれの背景の特徴量との類似性、および、前記一の画像の背景の特徴量と、重要な人物が写る画像の背景の特徴量の類似性に基づいて、背景の重要度を算出するとしても構わない。
【０２３８】
（１４）評価値の算出の基にした枠セットに係る評価項目に対応する情報を、当該枠セットに配置される画像に関連付けて表示する表示制御手段を備えるとしても構わない。
【０２３９】
この構成によれば、枠セットに配置される画像どうしの関係性をユーザに知らせることができる。
【０２４０】
（１５）前記テンプレートにおいて、前記１以上の枠セットを構成する枠は、前記Ｎ個の枠のすべてを網羅しているとしても構わない。
【０２４１】
この構成によれば、Ｎ個の枠のすべてに配置される画像間に、有機的な関係性を持たせることができる。
【０２４２】
（１６）前記評価手段は、取得された複数の画像の中から、絞り込みを行い、絞り込み後の画像を前記選択の対象とするとしても構わない。
【０２４３】
この構成によれば、評価値の算出の処理負荷の軽減に貢献することができる。
【０２４４】
（１７）前記複数の画像のそれぞれについて、背景の重要度を算出する背景重要度算出手段を備え、前記評価手段は、前記複数の画像それぞれの背景の重要度に基づいて、前記絞り込みを行うとしても構わない。
【０２４５】
（１８）前記評価手段は、前記複数の画像を複数のシーンに分割し、分割したシーン毎の重要度に基づいて、前記絞り込みを行うとしても構わない。
【０２４６】
（１９）本発明に係る画像評価方法は、複数の画像を取得する取得ステップと、テンプレート記憶手段に記憶されたテンプレートを参照する参照ステップと、ここで、前記テンプレートは、画像を配置するためのＮ個（Ｎは２以上の自然数。）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有し、さらに、前記参照されたテンプレートに基づいて取得された複数の画像の中からＮ枚の画像を選択し、選択した前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価ステップと、前記評価ステップにより算出された配置パターン毎の評価値を記憶する評価値記憶ステップと、前記評価値記憶ステップに記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する特定ステップとを含むとする。
【０２４７】
（２０）本発明に係るプログラムは、コンピュータに画像評価処理を実行させるプログラムであって、前記コンピュータに、複数の画像を取得する取得ステップと、テンプレート記憶手段に記憶されたテンプレートを参照する参照ステップと、ここで、前記テンプレートは、画像を配置するためのＮ個（Ｎは２以上の自然数。）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有し、さらに、前記参照されたテンプレートに基づいて取得された複数の画像の中からＮ枚の画像を選択し、選択した前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価ステップと、前記評価ステップにより算出された配置パターン毎の評価値を記憶する評価値記憶ステップと、前記評価値記憶ステップに記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定する特定ステップを実行させる、ことを特徴とする。
【０２４８】
（２１）本発明に係る集積回路は、画像を配置するためのＮ個（Ｎは２以上の自然数）の枠、前記Ｎ個の中から複数個の枠を組み合わせて構成される１以上の枠セット、および各枠セットに配置される画像それぞれの特徴量に係る評価項目、を有するテンプレートを記憶するテンプレート記憶手段と、複数の画像を取得する取得手段と、取得された複数の画像の中からＮ枚の画像を選択して前記Ｎ個の枠に配置した場合の配置パターンを複数生成し、生成した配置パターン毎の評価値を前記評価項目に基づいて算出する評価手段と、前記評価手段により算出された配置パターン毎の評価値を記憶する評価値記憶手段を備え、前記評価手段は、前記評価値記憶手段に記憶された評価値の中から、最上位の評価値に対応する配置パターンにて配置したＮ枚の画像を特定することを特徴とする。
【０２４９】
（２２）前記１以上の枠セットは、いずれも２個の枠から構成されているとしても構わない。
【０２５０】
（２３）前記評価項目は、複数の種類の評価項目を含み、前記１以上の枠セットのそれぞれには、前記評価項目として、前記複数種類の評価項目のうちの少なくとも１つが定義づけられているとしても構わない。
＜参考文献＞
（１）参考文献１
Ｇabor特徴の情報量による重みづけマッチングを用いた顔認識
堀田 一弘（埼玉大学(日本学術振興会特別研究員)）
電子情報通信学会技術研究報告. HIP,
ヒューマン情報処理  100(34)  pp.31-38 20000504
（２）参考文献２
AJohn C. Platt, Mary Czerwinski, Brent A. Field: PhotoTOC: Automatic Clustering for Browsing Personal Photographs, Fourth IEEEPacific Rim Conference on Multimedia (2003)
（３）参考文献３
Swain,M.J. and Ballard,D.H.:"Color Indexing",IJCV,7,pp.11-32(1991)
【産業上の利用可能性】
【０２５１】
本発明に係る画像評価装置および画像評価方法では、家族などの複数ユーザが保有する膨大量の画像コンテンツの中から、イベントを効率的に振り返ることができるアルバムを作成することができ、従来の画像の評価方法と比較して、ユーザは構図が定まらない多様なイベント画像群から品質の高いアルバムを容易に作成し、閲覧することが可能である。【０２５２】
例えば、家族が撮り溜めた膨大量の写真コンテンツの中から、家族でイベントを見返す状況において有用である。実施の形態に係る画像評価装置は、画像の組み合わせによる評価結果から、イベントにおける重要な場面と家族メンバが写る、人物と場面に基づく４つの観点による画像組み合わせを優先して選び、選んだものをアルバムとして表示する。このため、アルバムを通してユーザは効率的にイベントを振り返ることができる。また、パーソナルコンピュータやサーバ端末などの据置き型端末などで有用である。さらに、デジタルカメラや携帯電話などのモバイル型端末などとしても有用である。
【符号の説明】
【０２５３】
１  画像評価システム
２  記憶媒体
３  画像評価装置
４  表示ディスプレイ
１０  画像取得部
２０  オブジェクト抽出部
２１  オブジェクト特徴量抽出部
２２  オブジェクトクラスタリング部
３０  イベント抽出部
３１  撮影日時抽出部
３２  イベントクラスタリング部
４０  背景抽出部
４１  背景特徴量抽出部
５０  画像評価部
５１  オブジェクト重要度算出部
５２  背景重要度算出部
６０  アルバム情報選択部
６１  イベントクラスタ選択部
６２  テンプレート選択部
７０  画像セット評価部
７１  オブジェクト紹介度算出部
７２  場面遷移度算出部
７３  オブジェクト行動度算出部
７４  場面全体像度算出部
８０  配置パターン評価部
９０  記憶部
９１  テンプレート情報記憶部
９２  オブジェクトクラスタ情報記憶部
９３  オブジェクト重要度記憶部
９４  背景特徴量記憶部
９５  背景重要度記憶部
９６  イベントクラスタ情報記憶部
９７  画像セット情報記憶部
９８  配置パターン情報記憶部
１００  表示制御部
【図１】
2012111275.tif 000003
【図２】
2012111275.tif 000004
【図３】
2012111275.tif 000005
【図４】
2012111275.tif 000006
【図５】
2012111275.tif 000007
【図６】
2012111275.tif 000008
【図７】
2012111275.tif 000009
【図８】
2012111275.tif 000010
【図９】
2012111275.tif 000011
【図１０】
2012111275.tif 000012
【図１１】
2012111275.tif 000013
【図１２】
2012111275.tif 000014
【図１３】
2012111275.tif 000015
【図１４】
2012111275.tif 000016
【図１５】
2012111275.tif 000017
【図１６】
2012111275.tif 000018
【図１７】
2012111275.tif 000019
【図１８】
2012111275.tif 000020
【図１９】
2012111275.tif 000021
【図２０】
2012111275.tif 000022
【図２１】
2012111275.tif 000023
【図２２】
2012111275.tif 000024
【図２３】
2012111275.tif 000025
【図２４】
2012111275.tif 000026
【図２５】
2012111275.tif 000027
【図２６】
2012111275.tif 000028
【図２７】
2012111275.tif 000029
【図２８】
2012111275.tif 000030
【図２９】
2012111275.tif 000031
【図３０】
2012111275.tif 000032
【図３１】
2012111275.tif 000033
【図３２】
2012111275.tif 000034
【図３３】
2012111275.tif 000035
【図３４】
2012111275.tif 000036
【図３５】
2012111275.tif 000037
【図３６】
2012111275.tif 000038
【図３７】
2012111275.tif 000039
【図３８】
2012111275.tif 000040
【図３９】
2012111275.tif 000041
【図４０】
2012111275.tif 000042
【図４１】
2012111275.tif 000043
【図４２】
2012111275.tif 000044
【図４３】
2012111275.tif 000045
【図４４】
2012111275.tif 000046
【国際調査報告】
2012111275.tif 000047
2012111275.tif 000048