(57)【要約】一の画像に現れているオブジェクトが属するクラスタに基づいた第１値（例えば、このオブジェクトが全画像の全オブジェクト中で出現する頻度）、および上記一の画像に現れているオブジェクトが当該一の画像において現れる特徴（例えば占有度）を示す第２値を算出する。そして、この算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する。
2011099108.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
を備えることを特徴とする画像評価装置。
【請求項２】
前記評価手段は、
算出された第１値および第２値に基づいて、前記一の画像に現れているオブジェクトの重要度を算出するオブジェクト重要度算出手段と、
算出されたオブジェクトの重要度に基づいて、前記一の画像の評価を示す重要度を算出する画像重要度算出手段とを含む
ことを特徴とする請求項１に記載の画像評価装置。
【請求項３】
前記第１値算出手段は、前記複数の画像に含まれる全オブジェクトのうちで、一の画像に含まれるオブジェクトが属するクラスタのオブジェクト、が出現する頻度を算出し、
前記第２値算出手段は、前記一の画像に含まれるオブジェクトについて、
当該オブジェクトが前記一の画像において占める面積を示す占有度を算出し、
前記オブジェクト重要度算出部は、算出された頻度および占有度に基づいて、前記オブジェクトの重要度を算出する
ことを特徴とする請求項２に記載の画像評価装置。
【請求項４】
前記一の画像に第１オブジェクトと第２オブジェクトとが含まれる場合、
前記頻度算出手段は、
前記第１オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第１頻度と、
前記第２オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第２頻度と、
を算出し、
前記占有度算出手段は、
第１オブジェクトが前記一の画像において占める面積を示す第１占有度と、
第２オブジェクトが前記一の画像において占める面積を示す第２占有度と、
を算出し、
前記オブジェクト重要度算出手段は、
前記第１頻度および前記第１占有度に基づいて第１オブジェクトの重要度である第１重要度を算出し、
前記第２頻度および前記第２占有度に基づいて第２オブジェクトの重要度である第２重要度を算出し、
前記画像重要度算出手段は、
前記第１重要度および第２重要度に基づいて、前記一の画像の評価を示す重要度を算出する
ことを特徴とする請求項３に記載の画像評価装置。
【請求項５】
前記オブジェクトは、前記一の画像から切り出された人の顔である
ことを特徴とする請求項１に記載の画像評価装置。
【請求項６】
前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、
前記評価手段は、両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とする請求項１に記載の画像評価装置。
【請求項７】
前記オブジェクトが含まれる複数の画像はＰ個（Ｐは自然数）であって、
前記第１値算出手段は、Ｐ個の画像に含まれるオブジェクトが属するクラスタの個数のＱ個（Ｑは自然数）を算出し、
前記第２値算出手段は、前記Ｐ個の画像に現れているオブジェクトのそれぞれについて、当該オブジェクトが当該各画像において現れる特徴を示す第２値を算出し、
前記Ｐ個の画像をそれぞれ示すＰ個のノードと、前記Ｐ個の画像に含まれるオブジェクトが属するクラスタをそれぞれ示すＱ個のノードとを含むノードを作成するノード作成手段と、
ある画像Ａを示すノードＡと、当該画像Ａに含まれるオブジェクトが属するクラスタａを示すノードａについて、このノードＡ−ａ間のリンクの値を、クラスタａに属するオブジェクトの画像Ａにおける第２値を用いて設定するリンク設定手段と、
前記ノード作成手段に作成されたノードとリンク設定手段により設定されたリンクの値とにより構成されたグラフを表現する隣接行列を生成する隣接行列生成手段を備え、
前記評価手段は、
生成された隣接行列の主固有ベクトルを算出する固有ベクトル算出手段と、
算出された主固有ベクトルの要素に基づいてＮ個の画像それぞれの評価を示す重要度を算出する重要度算出手段と、
を含むことを特徴とする請求項１に記載の画像評価装置。
【請求項８】
前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値のうち、ノードＡからノードａへのリンクの値を前記第２値を用いて設定し、ノードａからノードＡへのリンクの値は前記第２値を用いずに設定する
ことを特徴とする請求項７に記載の画像評価装置。
【請求項９】
前記第２値算出手段が算出する第２値は、前記オブジェクトが当該各画像において占める面積を示す占有度である
ことを特徴とする請求項８に記載の画像評価装置。
【請求項１０】
前記第２値算出手段は、各画像においてオブジェクトが現れていない領域である背景の占有度を算出し、
前記ノード作成手段は、ダミーを示す１個のノードを作成し、
前記リンク設定手段は、
ある画像Ａを示すノードＡと、ダミーを示す１個のノードＺとについて、このノードＡ−Ｚ間のリンクの値のうちのノードＡからノードＺへのリンクの値を、画像Ａにおける背景の占有度を用いて設定する
ことを特徴とする請求項８に記載の画像評価装置。
【請求項１１】
前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値について、ノードＡからノードａへのリンクの値およびノードａからノードＡへのリンクの値を前記第２値を用いて設定する
ことを特徴とする請求項７に記載の画像評価装置。
【請求項１２】
前記複数の画像それぞれには撮影日時が関連付けられており、
さらに、日時の範囲の指定を受け付ける受付手段を備え、
前記第１値算出手段および第２値算出手段は、指定範囲に含まれる画像を用いて算出を行うが、指定範囲に含まれない画像を用いては算出を行わない
ことを特徴とする請求項１に記載の画像評価装置。
【請求項１３】
それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価方法であって、
各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
を含むことを特徴とする画像評価方法。
【請求項１４】
それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価処理をコンピュータに実行させるプログラムであって、
前記画像評価処理は、
各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
を含む処理であることを特徴とするプログラム。
【請求項１５】
オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
膨大な数の画像のそれぞれを評価する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及や記録メディアの容量増加により、ユーザひとりあたりで保有する画像の枚数が増加する傾向にある。【０００３】
このような大量の画像の中から、ユーザが見たい画像を簡単に探し出すことを支援するために、個々の画像を評価してランキングする手法が知られている。【０００４】
例えば、画像を用いて行われた作業（プリントやスライドショーなど）の回数などに応じて、各画像の評価値を算出する手法がある（特許文献１参照）。【０００５】
また、画像に基づき特徴量を算出し、算出した特徴量を用いて画像が選択されるか否かを表す確率を統計的に求める手法がある（特許文献２参照）。【０００６】
さらに、画像に含まれる顔の向きを判定し、正面を向いている度合いが大きいほど、その画像の評価値を高い値として算出する手法がある（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2007-135065公報
【特許文献２】特開2007-80014公報
【特許文献３】特開2004-361989公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の手法では、ユーザ操作が必須となっており、ユーザ操作が全く行われていない場合や操作回数が少ない時点では、ユーザの意図を反映した評価値を算出することができないという問題がある。【０００９】
また、特許文献３の手法では、人物の顔の向きに専ら依存して画像を評価するが、必ずしも顔の向きがユーザにとっての重要性に直結するとは限らない。【００１０】
ユーザが高評価を期待する画像は、写っている人物の顔の向きがよい画像ではなく、そのユーザにとって重要な人物が写る画像であるものと考えられる。【００１１】
本発明はこのような背景の下になされたものであって、各画像に現れる人物などのオブジェクトに基づいて、画像を評価することができる画像評価装置などを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る画像評価装置は、オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段とを備えることを特徴している。
【発明の効果】
【００１３】
本発明に係る画像評価装置によれば、各画像に現れる人物などのオブジェクトに基づいて、画像を評価することができる。【００１４】
また、前記評価手段は、算出された第１値および第２値に基づいて、前記一の画像に現れているオブジェクトの重要度を算出するオブジェクト重要度算出手段と、算出されたオブジェクトの重要度に基づいて、前記一の画像の評価を示す重要度を算出する画像重要度算出手段とを含むとしても構わない。【００１５】
また、前記第１値算出手段は、前記複数の画像に含まれる全オブジェクトのうちで、一の画像に含まれるオブジェクトが属するクラスタのオブジェクト、が出現する頻度を算出し、前記第２値算出手段は、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが前記一の画像において占める面積を示す占有度を算出し、前記オブジェクト重要度算出部は、算出された頻度および占有度に基づいて、前記オブジェクトの重要度を算出するとしても構わない。【００１６】
この構成によれば、一の画像に含まれるオブジェクトに基づいた算出した頻度と、そのオブジェクトが占める面積を示す占有度との双方を用いて重要度を算出するので、ユーザの期待に添う重要度の算出に寄与することができる。【００１７】
また、前記一の画像に第１オブジェクトと第２オブジェクトとが含まれる場合、前記頻度算出手段は、前記第１オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第１頻度と、前記第２オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第２頻度と、を算出し、前記占有度算出手段は、第１オブジェクトが前記一の画像において占める面積を示す第１占有度と、第２オブジェクトが前記一の画像において占める面積を示す第２占有度と、を算出し、前記オブジェクト重要度算出手段は、前記第１頻度および前記第１占有度に基づいて第１オブジェクトの重要度である第１重要度を算出し、前記第２頻度および前記第２占有度に基づいて第２オブジェクトの重要度である第２重要度を算出し、前記画像重要度算出手段は、前記第１重要度および第２重要度に基づいて、前記一の画像の評価を示す重要度を算出するとしても構わない。【００１８】
この構成によれば、一の画像に第１オブジェクトと第２オブジェクトとが現れている場合に、両オブジェクトの重要度に基づいて画像の重要度を算出するので、例えば、複数の人物が現れる画像の評価を高い値として算出することができる。【００１９】
また、前記オブジェクトは、前記一の画像から切り出された人の顔であるとしても構わない。【００２０】
この構成によれば、例えば、家族の集合写真を評価対象とする際に特に好適である。【００２１】
また、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、前記評価手段は、両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出するとしても構わない。【００２２】
オブジェクト間で重要度を伝播させるので、ユーザの期待に添うオブジェクトの重要度の算出に寄与することができる。【００２３】
また、前記オブジェクトが含まれる複数の画像はＰ個（Ｐは自然数）であって、前記第１値算出手段は、Ｐ個の画像に含まれるオブジェクトが属するクラスタの個数のＱ個（Ｑは自然数）を算出し、前記第２値算出手段は、前記Ｐ個の画像に現れているオブジェクトのそれぞれについて、当該オブジェクトが当該各画像において現れる特徴を示す第２値を算出し、前記Ｐ個の画像をそれぞれ示すＰ個のノードと、前記Ｐ個の画像に含まれるオブジェクトが属するクラスタをそれぞれ示すＱ個のノードとを含むノードを作成するノード作成手段と、ある画像Ａを示すノードＡと、当該画像Ａに含まれるオブジェクトが属するクラスタａを示すノードａについて、このノードＡ−ａ間のリンクの値を、クラスタａに属するオブジェクトの画像Ａにおける第２値を用いて設定するリンク設定手段と、前記ノード作成手段に作成されたノードとリンク設定手段により設定されたリンクの値とにより構成されたグラフを表現する隣接行列を生成する隣接行列生成手段を備え、前記評価手段は、生成された隣接行列の主固有ベクトルを算出する固有ベクトル算出手段と、算出された主固有ベクトルの要素に基づいてＮ個の画像それぞれの評価を示す重要度を算出する重要度算出手段と、を含むとしても構わない。【００２４】
この構成によれば、グラフを構成するノード間で重みを伝播させることができる。例えば、画像のノードＡとオブジェクトのノードａ間のリンクに基づいて、画像とオブジェクト間で重要度を伝搬させることができる。【００２５】
また、前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値のうち、ノードＡからノードａへのリンクの値を前記第２値を用いて設定し、ノードａからノードＡへのリンクの値は前記第２値を用いずに設定するとしても構わない。【００２６】
この構成によれば、画像Ａにおける特徴値を用いて、ノードＡ（画像Ａのノード）からノードａ（画像Ａに含まれるオブジェクトが属するクラスタａのノード）へのリンクの値を設定するので、例えば、画像Ａに上記オブジェクトが大写しされている場合には、リンクの値の重みを大きくするなどすることにより、画像Ａの内容に即した重みの伝搬が可能となる。【００２７】
また、前記第２値算出手段が算出する第２値は、前記オブジェクトが当該各画像において占める面積を示す占有度であるとしても構わない。【００２８】
また、前記第２値算出手段は、各画像においてオブジェクトが現れていない領域である背景の占有度を算出し、前記ノード作成手段は、ダミーを示す１個のノードを作成し、前記リンク設定手段は、ある画像Ａを示すノードＡと、ダミーを示す１個のノードＺとについて、このノードＡ−Ｚ間のリンクの値のうちのノードＡからノードＺへのリンクの値を、画像Ａにおける背景の占有度を用いて設定するとしても構わない。【００２９】
また、前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値について、ノードＡからノードａへのリンクの値およびノードａからノードＡへのリンクの値を前記第２値を用いて設定するとしても構わない。【００３０】
この構成によれば、オブジェクトが画像において現れる特徴を示す第２値を用いてリンクの値を設定することで、重要度の伝搬を最適化できる。【００３１】
また、前記複数の画像それぞれには撮影日時が関連付けられており、さらに、日時の範囲の指定を受け付ける受付手段を備え、前記第１値算出手段および第２値算出手段は、指定範囲に含まれる画像を用いて算出を行うが、指定範囲に含まれない画像を用いては算出を行わないとしても構わない。【００３２】
この構成によれば、上記評価手段は、指定範囲に対応したオブジェクトおよび画像の重要度を算出することが可能となる。【００３３】
また、本発明に係る画像評価方法は、それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価方法であって、各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップとを含むことを特徴とする。【００３４】
また、本発明に係るプログラムは、それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価処理をコンピュータに実行させるプログラムであって、前記画像評価処理は、各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップとを含む処理であることを特徴とする。【００３５】
また、本発明に係る集積回路は、オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段とを備えることを特徴とする。
【図面の簡単な説明】
【００３６】
【図１】画像評価システム１の機能ブロック図
【図２】画像評価処理のあらましを示すフローチャート
【図３】画像取得・クラスタリング処理の詳細を示すフローチャート
【図４】オブジェクト特徴量の抽出からクラスタリングまでの流れを示すイメージ図
【図５】クラスタ情報のデータ構造を示す図
【図６】オブジェクト出現特徴量の算出処理の詳細を示すフローチャート
【図７】頻度情報のデータ構造を示す図
【図８】占有度情報のデータ構造を示す図
【図９】画像の評価処理の詳細を示すフローチャート
【図１０】画像Ａ〜画像Ｃにおけるオブジェクト重要度および画像重要度を説明するための図
【図１１】画像重要度情報のデータ構造を示す図
【図１２】画像Ｘ，画像Ｙにおけるオブジェクト重要度および画像重要度を説明するための図
【図１３】画像評価システム１０１の機能ブロック図
【図１４】画像評価処理のあらましを示すフローチャート
【図１５】占有度算出・グラフの生成処理の詳細を示すフローチャート
【図１６】画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を説明するための図
【図１７】画像Ａ，Ｂ、人物ａ，ｂ、ダミーＺの５個のノードのリンク設定を説明するための図
【図１８】グラフのテーブル構造を示す図
【図１９】隣接行列生成・画像の評価を示すフローチャート
【図２０】隣接行列Ｍを示す図
【図２１】主固有ベクトルＰの成分から画像重要度およびオブジェクト重要度を求める流れを説明する図
【図２２】オブジェクト間の重要度の伝搬を説明するための図
【図２３】笑顔の度合いを用いたオブジェクト重要度の算出を説明する図
【図２４】画像評価システム１１１の機能ブロック図
【図２５】画像（画像Ｔ，画像Ｕ）と、タグ（タグａ，タグｂ）間の関係性を説明するための図
【図２６】画像Ｔ、タグａ、ダミーＺの間の関係性を説明するための図
【図２７】指定された日時範囲における人物・画像のランキングの表示例を示す図
【図２８】画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を説明するための図
【図２９】画像Ａ，Ｂ、人物ａ，ｂ、ダミーＺの５個のノードのリンク設定を説明するための図
【発明を実施するための形態】
【００３７】
（実施の形態１）
以下、本実施の形態について、図面を参照しながら説明する。
＜構成＞
図１に示すように、画像評価システム１は、画像評価装置２とＳＤメモリカード４とを含んで構成される。
【００３８】
画像評価装置２は、画像取得部１０、オブジェクト抽出部１１（オブジェクト特徴量抽出部１２，クラスタリング部１４を含む）、記憶部１５（クラスタ情報記憶部１６，頻度記憶部２６，占有度記憶部２８，オブジェクト重要度情報記憶部３４ａ，画像重要度情報記憶部３４ｂを含む）、オブジェクト出現特徴量算出部１８（頻度算出部２０，占有度算出部２２を含む）、評価部２９（オブジェクト重要度算出部３０，画像重要度算出部３２を含む）、表示制御部３６を備える。
【００３９】
画像取得部１０は、ＳＤカードリーダーから構成され、ＳＤカードスロット内に挿入されたＳＤメモリカード４から画像データを取得する。
【００４０】
オブジェクト特徴量抽出部１２は、画像取得部１０が取得した画像データを対象として、画像に写るオブジェクトの画像特徴量を抽出し、オブジェクト特徴量として出力する。
【００４１】
以下では、オブジェクトとして人の顔を例に挙げて説明する。
【００４２】
また、画像から顔に関する画像特徴量を抽出する手法として、Ｇａｂｏｒフィルタによる抽出手法で算出しても良い。Ｇａｂｏｒ法については、後述する参考文献１を参照されたい。
【００４３】
クラスタリング１４は、オブジェクト特徴量抽出部１２が出力するオブジェクト特徴量に基づいてクラスタリングを行い、その結果を示すクラスタ情報をクラスタ情報記憶部１６に記憶させる。クラスタリング手法については、非階層的な手法（固定されたクラスターのそれぞれに代表を与えてクラスタリングを行う手法）のひとつであるｋ−ｍｅａｎｓ法（参考文献１参照）を用いることができる。
【００４４】
記憶部１５は、クラスタ情報記憶部１６，頻度記憶部２６，占有度記憶部２８，オブジェクト重要度情報記憶部３４ａ，画像重要度情報記憶部３４ｂを含む。記憶部１５は、例えば、ＲＡＭから構成することができる。
【００４５】
オブジェクト出現特徴量算出部１８は、クラスタ情報記憶部１６に記憶されたクラスタ情報に基づいて、オブジェクト出現特徴量を算出する。「オブジェクト出現特徴量」は、同じクラスタに属するオブジェクトが画像においてどのように出現しているかを示す量である。具体的には（１）同じクラスタに属するオブジェクトが全画像枚数中において何枚出現しているかを示す「頻度」、（２）いずれかのクラスタに属するオブジェクトが各画像において占める割合を示す「占有度」、この２種から構成される。そして頻度、占有度はオブジェクト出現特徴量算出部１８に含まれる頻度算出部２０、占有度算出部２２がそれぞれ算出する。そして、算出された頻度は、頻度記憶部２６に記憶され、算出された占有度は、占有度記憶部２８に記憶される。
【００４６】
オブジェクト重要度算出部３０は、前記オブジェクト出現特徴量記憶部に記憶されたオブジェクト出現特徴量（頻度と占有度）に基づいて、全ての画像データにおいて各画像に現れるオブジェクトそれぞれの重要度を示すオブジェクト重要度を算出する。
【００４７】
オブジェクト重要度情報記憶部３４ａは、例えば、ＲＡＭから構成され、オブジェクト重要度算出部３０により算出されたオブジェクト重要度を含むオブジェクト重要度情報を記憶する。
【００４８】
画像重要度算出部３２は、オブジェクト重要度に基づいて個々の画像の重要度（画像重要度）を算出する。
【００４９】
画像重要度情報記憶部３４ｂは、例えば、ＲＡＭから構成され、画像重要度算出部３２により算出された画像重要度を含む画像重要度情報を記憶する。
【００５０】
表示制御部３６は、算出された画像重要度をディスプレイ６の画面に表示させる。
＜動作＞
次に、画像を評価するまでの流れについて説明する。
【００５１】
図２に示すように、画像取得・クラスタリング（Ｓ１１）、オブジェクト出現特徴量の算出（Ｓ１２）、画像の評価（Ｓ１３）の順で処理を行う。
【００５２】
図３に示すように、画像取得・クラスタリングの処理では、画像取得部１０は、ＳＤメモリカード４から、ＳＤメモリカード４内に記憶された画像データを取得する（Ｓ２１）。ここでは一例として、ＳＤメモリカード４内には、画像Ａ〜画像Ｃの３枚分の画像データが記憶されており、画像取得部１０はこの画像Ａ〜画像Ｃの画像データを取得するものとする。
【００５３】
続いて、オブジェクト特徴量抽出部１２は、取得された画像データを対象として、画像から顔の領域を切り出して、その顔の特徴量をオブジェクト特徴量として抽出する（Ｓ２２）。そして、クラスタリング部１４は、抽出されたオブジェクト特徴量を用いてクラスタリングを行い、クラスタリングした結果であるクラスタ情報をクラスタ情報記憶部１６に記憶させる（Ｓ２３）。
【００５４】
図４を用いて、ステップＳ２２，Ｓ２３の動作を具体的に説明すると、オブジェクト特徴量抽出部１２は、３枚の画像Ａ〜画像Ｃ（図４（ａ））から４つの顔Ｆ１〜Ｆ４を切り出し、顔Ｆ１〜Ｆ４それぞれの特徴量を抽出する（図４（ｂ））
そして、クラスタリング部１４は、４つの顔Ｆ１〜Ｆ４のうち、類似している顔どうしの顔Ｆ１，Ｆ２を人物ａとし、また顔Ｆ３，Ｆ４を人物ｂとクラスタリングする。
【００５５】
図５は、クラスタリングの結果を示すクラスタ情報のデータ構造を示す図である。クラスタ情報は、画像に出現する顔のそれぞれがどのクラスタに属しているかを示す情報であり、「クラスタ名」１７ａ、「顔」１７ｂ、「画像」１７ｃの項目を含む。
【００５６】
続いて、図６を用いてオブジェクト出現特徴量の算出処理（Ｓ１２）の詳細を説明する。オブジェクト出現特徴量算出部１８は、クラスタ情報記憶部１６からクラスタ情報を取得する（Ｓ３１）。
【００５７】
頻度算出部２０は、取得されたクラスタ情報に基づいて、同じクラスタ（「クラスタ名」１７ａが同一）に属する顔の数を計数することにより、頻度を算出する（Ｓ３２）。そして算出した頻度を含む頻度情報を頻度記憶部２６に記憶させる。
【００５８】
図７に、頻度情報のデータ構造を示す。頻度情報は、「クラスタ名」２７ａ、「画像」２７ｂ、「頻度」２７ｃの項目を含む。「頻度」２７ｃの値は、「画像」２７ｂの画像の枚数を数えたものである。
【００５９】
図７の例では、人物ａの頻度が２、人物ｂの頻度が２となっている。なお、上述のように、頻度は同じクラスタに属する顔の数を計数したものであるから、クラスタのメンバ数ともいえる。
【００６０】
図５に戻って説明を続ける。占有度算出部２２は、オブジェクト特徴量抽出部１２が抽出した顔の領域の大きさを、当該顔が出現した画像全体の大きさで除することにより、各顔が各画像において占める割合と、背景が占める割合を算出する。例えば、顔の領域の大きさが30万画素分を占め、画像の大きさが100万画素であれば、30/100=0.3が顔が占める割合となり、1-0.3=0.7が背景が占める割合となる。そして、占有度算出部２２は、クラスタ情報を参照して、それぞれの顔がどのクラスタに属しているか判別することによって、各画像においてどの人物がどの程度占めているかを示す占有度を算出する（Ｓ３３）。そして、算出した占有度を含む占有度情報を占有度記憶部２８に記憶させる。
【００６１】
図８に、占有度情報のデータ構造を示す。占有度情報は、「画像」２９ａ、「人物ａに属する顔の占有度」２９ｂ、「人物ｂに属する顔の占有度」２９ｃ、「背景の占有度」２９ｄの項目を含む。「人物ａに属する顔の占有度」２９ｂは、各画像において属するクラスタが人物ａである顔（オブジェクト）の占有度である。例えば、画像Ａにおいては、顔Ｆ１は人物ａのクラスタに属しており（図５参照）、顔の領域の大きさが30％であるので「人物ａに属する顔の占有度」は0.3となる。
【００６２】
続いて、図９を用いて画像の評価処理（Ｓ１３）の詳細を説明する。
【００６３】
オブジェクト重要度算出部３０は、評価対象のひとつの画像を設定する（Ｓ４１）。そして、オブジェクト重要度算出部３０は、設定した画像に写るオブジェクトの頻度を示す頻度情報を頻度記憶部２６から取得し、同オブジェクトの占有度を示す占有度情報を占有度記憶部２８から取得する（Ｓ４２）。
【００６４】
オブジェクト重要度算出部３０は、取得した頻度と占有度を積算することによりオブジェクト重要度を算出する。
【００６５】
設定した画像に写るすべてのオブジェクトのオブジェクト重要度を算出していなければ（Ｓ４４：Ｎｏ）、ステップＳ４３に戻り、未算出のオブジェクトについてオブジェクト重要度を算出する。
【００６６】
要するに、ステップＳ４２〜Ｓ４４は評価対象の画像に現れる全てのオブジェクトについてオブジェクト重要度を算出するステップである。例えば、評価対象の画像に現れるオブジェクトが３つであれば、３つのオブジェクトそれぞれについてオブジェクト重要度を算出することとなる。算出されたオブジェクト重要度は、オブジェクト重要度情報記憶部３４ａに記憶される。
【００６７】
すべてのオブジェクトについてオブジェクト重要度を算出し終えると（Ｓ４４：Ｙｅｓ）、画像重要度算出部３２は、評価対象のすべてのオブジェクトのオブジェクト重要度を加算することにより画像重要度を算出し、画像重要度を画像重要度情報として画像重要度情報記憶部３４ｂに記憶させる（Ｓ４５）。
【００６８】
画像重要度が未算出の画像があれば（Ｓ４６：Ｎｏ）、ステップＳ４１に戻って、未算出の画像を評価対象に設定し画像重要度を求める。
【００６９】
全画像の画像重要度を算出していれば（Ｓ４６：Ｙｅｓ）、表示制御部３６は、画像重要度情報記憶部３４ｂに記憶された評価情報を用いて、ディスプレイ６の画面上に画像重要度を表示する（Ｓ４７）。画像重要度の表示方法としては一般的な手法を用いることができ、個々の画像の得点（スコア）を表示したり、スコアの順位を表示してもよい。またスコアや順位を直接表示せずとも、大スコアの画像ほど優先的に表示する（サイズを大きく表示したり、スライドショーでより頻繁に表示したりするなど）。
【００７０】
次に、具体例として画像Ａ〜Ｃについてのオブジェクト重要度および画像重要度する流れについて図１０を用いて説明する。
【００７１】
（１）画像Ａ
画像Ａは、顔Ｆ１（人物ａのクラスタに属する。）のオブジェクトが写っている画像であり（図５参照）、顔Ｆ１が属する人物ａの頻度は2（図７参照）、顔Ｆ１の占有度は0.3である（図８参照）。
【００７２】
この場合、オブジェクト重要度算出部３０は、顔Ｆ１の占有度0.3と頻度2とを積算して、0.3×2=0.6を顔Ｆ１のオブジェクト重要度として算出する。
【００７３】
そして、画像重要度算出部３２は、画像Ａのオブジェクトは、顔Ｆ１だけであるので、顔Ｆ１の重要度0.6をそのまま画像Ａの画像重要度とする。
【００７４】
（２）画像Ｂ
画像Ｂは、顔Ｆ２（人物ａのクラスタに属する。）のオブジェクトと、顔Ｆ３（人物ｂのクラスタに属する。）のオブジェクトが写っている画像である（図５参照）。顔Ｆ２が属する人物ａの頻度は2、顔Ｆ３が属する人物ｂの頻度も2である（図７参照）。また、顔Ｆ２の占有度は0.4、顔Ｆ３の占有度は0.3である（図８参照）。
【００７５】
オブジェクト重要度算出部３０は、顔Ｆ２のオブジェクト重要度0.8(=2×0.4)、顔Ｆ３のオブジェクト重要度0.6（=2×0.3）を算出する。
【００７６】
そして、画像重要度算出部３２は、画像Ｂのオブジェクトは、顔Ｆ２と顔Ｆ３の２つであるので、両者を足し合わせて画像重要度(1.4=0.8+0.6)を算出する。
【００７７】
（３）画像Ｃ
画像Ｃは、顔Ｆ４（人物ｂのクラスタに属する。）のオブジェクトが写っている画像である。オブジェクト重要度算出部３０は、顔Ｆ４の頻度と占有度からオブジェクト重要度0.6(=2×0.3)を算出し、画像重要度算出部３２は、重要度0.6をそのまま画像Ｃの画像重要度とする。
【００７８】
なお、図１１に画像Ａ〜画像Ｃに対応する画像重要度情報を示す。
【００７９】
以上説明したように、本実施の形態によれば、画像に写ったオブジェクトをクラスタリングし、同じクラスタ（人物ａ、人物ｂ）に属するオブジェクトの頻度と、個々の画像で含まれるオブジェクトの占有度と用いて画像重要度を算出し、頻度または占有度に比例して画像重要度が高く算出できる。
【００８０】
このため、個々の画像で大きく写った人物やより頻繁に写る人物を高く評価することができる。また、ユーザによる特別な操作を必要とせずに、画像のランキングを行うことができる。
【００８１】
例えば、図１２（ａ）に示す画像Ｘのように人物が大きく写っていれば、高い画像重要度も算出することができる。
【００８２】
また、図１２（ｂ）に示す画像Ｙのように３人の人物が写っていれば、３つのオブジェクトのオブジェクト重要度を高い画像重要度に反映させることができる。例えば、ある家族が保有する画像を評価対象とするような場合には、家族を構成する人物が重要なオブジェクトとして評価され、この重要なオブジェクトが集まって写る写真（家族の集合写真）を特に高く評価することができる。したがって、ユーザの意向に沿う画像の評価に寄与することができる。
【００８３】
例えば、家庭で撮影された写真を対象とした場合、家族を構成する人物や、ユーザが良く撮影するペットなどの物体が映った画像を、ユーザにとって重要な写真として評価することができ、これらの画像の選択を容易にする、という効果を奏する。
【００８４】
なお、上記例では、オブジェクト重要度は、頻度と占有度とを積算して求めるとしたが（図９：Ｓ４３）、これに限られない。
【００８５】
例えば、重要度ＦＩを
ＦＩ＝Ｌｏｇ（ＦＲ＊１００＋１）／ｌｏｇ（ＦＮ＋１）＊ＦＦ・・・（式１）
の式から求めてもよい。ここでＦＮは画像に写るオブジェクト（人物）の数、ＦＲはオブジェクトの占有度である。
【００８６】
また、評価部３０は、オブジェクトが複数の場合には、各オブジェクトのオブジェクト重要度を加算することにより画像重要度を求めるとしたが、要は、オブジェクトの数が多いほど高スコアが出るような方法であればこれに限られない。
【００８７】
例えば、各オブジェクトのオブジェクト重要度を積算してもよい。その際には、各項が１未満となって積算により値が減少しないようにする。例えば、占有度を割合に代えて百分率を用いる。この場合、画像Ｂ（図１０（ｂ）参照）において、顔Ｆ２の占有度は40、顔Ｆ３の占有度は30であるので、Ｆ２のオブジェクト重要度は、80(=40×2)、Ｆ３のオブジェクト重要度は60(=30×2)となる。そして、評価部３０は、80×60=4800を画像Ｂの画像重要度として算出する。
【００８８】
（実施の形態２）
実施の形態２では、画像に写っているオブジェクトとそのオブジェクトが属するクラスタの結び付きに基づいて画像を評価する。また、共起関係にあるオブジェクト（ひとつの画像に共に写っている複数のオブジェクト）どうしで重要度を伝搬させる。これにより、頻度が少なかったり大きく写っていないオブジェクトでも、他の重要なオブジェクトと共起していれば、その重要度を引き上げことができる。
＜構成＞
図１３は、実施の形態２に係る画像評価システム１０１の機能ブロック図である。
【００８９】
図１と同じ構成要素には同じ符号を付して説明を省略する。
【００９０】
画像評価装置１０２のグラフ生成部４０は、ノードを生成する画像・被写体ノード生成部４４ａ１およびダミーノード生成部４４ａ２と、ノード間の連結関係を示すリンクの値を設定する被写体リンク設定部４４ｂ１およびダミーリンク設定部４４ｂ２を備える。
【００９１】
画像・被写体ノード生成部４４ａ１は、クラスタ情報記憶部１６から取得したクラスタ情報（図５参照）に基づいて画像を示すノードと、オブジェクトを示すノードとを生成する。ダミーノード生成部４４ａ２は、ダミーノード（背景ノード）を生成する。
【００９２】
被写体リンク設定部４４ｂ１は、占有度記憶部２８から取得した占有度と、クラスタ情報記憶部１６から取得したクラスタ情報とに基づいて、画像ノードとオブジェクトノード間のリンクを設定する。このリンクには向きあるのでグラフは有向グラフと呼ばれるタイプである。
【００９３】
ダミーリンク設定部４４ｂ２は、同様に画像ノードとダミーノード間のリンクを設定する。
【００９４】
グラフ記憶部４６は、グラフ生成部４０が生成したグラフを記憶する。
【００９５】
評価部４８は、隣接行列生成部５０と固有ベクトル算出部５２と重要度算出部５３を含む。
【００９６】
隣接行列生成部５０は、グラフ記憶部４６に記憶されたグラフを表現する隣接行列を生成する。
【００９７】
固有ベクトル算出部５２は、生成された隣接行列の固有ベクトルを算出する。
【００９８】
そして、重要度算出部５３は、算出された固有ベクトルの成分に基づいて、各オブジェクトのオブジェクト重要度および各画像の画像重要度を算出する。
【００９９】
算出されたオブジェクト重要度は、オブジェクト重要度情報記憶部３４ａに記憶される。また、算出された画像重要度は画像重要度情報記憶部３４ｂにより記憶される。
＜動作＞
次に、画像を評価するまでの流れについて説明する。
【０１００】
図１４に示すように、画像取得・クラスタリング（Ｓ１１）、占有度算出・グラフの生成（Ｓ５１）、隣接行列生成・固有ベクトル算出（Ｓ５２）の順で処理を行う。
【０１０１】
画像取得・クラスタリング処理の詳細は、図３を用いて説明したものと同様であるので説明を省略する。
【０１０２】
図１５に示すように、占有度算出・グラフの生成処理では、占有度算出部２２は、クラスタ情報記憶部１６からクラスタ情報を取得し（Ｓ３１）、各画像においてどの人物がどの程度占めているかを示す占有度を算出する（Ｓ３３）。この算出方法については、実施の形態１（図６参照）で説明した方法と同様なので同じステップ番号を付して説明を省略する。
【０１０３】
グラフ生成部４０の画像・被写体ノード生成部４４ａ１およびダミーノード生成部４４ａ２は、クラスタ情報記憶部１６のクラスタ情報と、占有度記憶部２８の占有度を取得する（Ｓ６１）。
【０１０４】
そして、画像・被写体ノード生成部４４ａ１は、クラスタ情報に含まれる画像（その数をＰ個とする。）に対応するＰ個のノード、およびクラスタの種類数（その数をＱ個とする。）に対応するＱ個のノードを生成する。また、ダミーノード生成部４４ａ２は背景（全画像に対する抽象的な１個のダミーＺを設定する。）に対応する１個のノードを生成する。生成されたノードの数は、（１＋Ｐ＋Ｑ）個となる（Ｓ６２）。
【０１０５】
図５に示したクラスタ情報の場合は、画像は画像Ａ〜画像Ｃの３個なのでＰ＝３、クラスタの数は人物ａ、人物ｂの２個なのでＱ＝２となり、（１＋３＋２）＝６個のノードを作成することとなる。
【０１０６】
なお、画像の個数やクラスタの数については、頻度算出部２０（図７）が算出した「画像」２７ｂにおける画像の個数や「クラスタ名」２７ａにおけるクラスタの種類を利用することができる。
【０１０７】
なお、以下では説明の簡単のため、画像Ｃを除いた画像Ａと画像Ｂの２つのみを評価対象の画像とする。この場合は、画像の個数がひとつ減るので５個のノードを作成する。
【０１０８】
続いて、グラフ生成部４０の被写体リンク設定部４４ｂ１およびダミーリンク設定部４４ｂ２は、作成したノード間にリンクを設定する（Ｓ６３）。リンクを設定する基本ルールは次の通りである。
【０１０９】
（１）各画像から各クラスタへのリンクの値は、そのクラスタに属するオブジェクトの占有度とする。
【０１１０】
（２）各クラスタから各画像へのリンクの値は、任意の固定値とする。
【０１１１】
（３）各画像からダミーＺへのリンクの値は、背景の占有度とする。
【０１１２】
（４）各クラスタからダミーへのリンクは、「１−（２）の固定値」とする。
【０１１３】
（５）ダミーＺから各クラスタおよび各画像へのリンクの値は、１をリンク先のノードの数で割った値とする（１を均等分配）。
【０１１４】
（６）他のノード間についてはリンクの値をゼロとする。
【０１１５】
図１６に、画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を示す。
【０１１６】
上記（１）〜（６）のルールに従ってリンクを設定すると、画像Ａから人物ａへのリンクの値（Ｆ（Ａ→ａ））は、画像Ａにおける人物ａの占有度α（ａ）となる。反対に、人物ａから画像Ａへのリンクの値（Ｆ（ａ→Ａ））は固定値βとなる。
【０１１７】
続いて、画像ＡからダミーＺへのリンクの値（Ｆ（Ａ→Ｚ））は、画像Ａにおける背景の占有度（１−α（ａ））となる。また、人物ａからダミーＺへのリンクの値（Ｆ（ａ→Ｚ））は、1-βとなる。
【０１１８】
ダミーＺから画像Ａへのリンクの値（Ｆ（Ｚ→Ａ））およびダミーＺから人物ａへのリンクの値（Ｆ（Ｚ→ａ））は、１をノード数２で割った0.5となる。
【０１１９】
図１７に、このようなリンクのルールに従ったリンク設定を説明する図を示す。
【０１２０】
図１７に示すように、画像Ａから人物ａへのリンクは、人物ａの占有度である0.3となる。反対に、人物ａから画像Ａへのリンクは固定値βであるが、ここではβ＝0.1としているので0.1となる。
【０１２１】
画像ＡからダミーＺへのリンクは画像Ａにおける背景の占有度0.7となる。ダミーＺから他の４つのノードへのリンクの値は、１をリンク先のノードの数４で割った0.25となる。同様に、上記ルールに従って他のノード間のリンクの値が設定されている。
【０１２２】
グラフ生成部４０は、このようなリンクの設定を終えると、ノードとノード間のリンクの確定により完成したグラフを出力し（Ｓ６４）、グラフ記憶部４６は出力されたグラフをテーブル構造に変換した上で記憶する。例えば、図１７のグラフは、図１８に示すようなテーブル構造として記憶する。
【０１２３】
続いて、隣接行列生成・画像の評価処理について図１９を用いて説明する。
【０１２４】
隣接行列に基づいて行列の各要素を評価する方法については、後述する参考文献２の手法を用いることができる。
【０１２５】
まず、隣接行列生成部５０は、グラフ記憶部４６に記憶されたテーブル構造を用いて隣接行列（adjacency matrix）Ｍを生成する（Ｓ７１）。図１８のテーブル構造を用いるのであれば、図２０に示すような５次（５行５列）の正方行列である隣接行列Ｍを生成する。
【０１２６】
続いて、固有ベクトル算出部５２は、隣接行列Ｍの固有ベクトルを算出する。ステップＳ７２〜Ｓ７４は、主固有値（dominant eigenvalue）とそれに属する主固有ベクトル（dominant eigenvector）とを同時に求める方法の一種である「べき乗法」（power method）の演算となっている。
【０１２７】
すなわち、
ＭＰ＝λＰ・・・（式２）
の式によって隣接行列Ｍにおいて、固有値λとして成立する固有ベクトルＰを求める（Ｓ７２）。この固有ベクトルＰが収束していない場合には（Ｓ７３）、算出した固有ベクトルＰに元の行列を積算し（Ｓ７４）、行列の固有ベクトルＰが収束（convergent）する（Ｓ７３：Ｙｅｓ）まで再帰的に計算処理を行う。
【０１２８】
そして、固有ベクトル算出部５２は、収束した固有ベクトルＰを主固有ベクトルＰと決定し（Ｓ７５）、重要度算出部５３は、主固有ベクトルの成分から、画像の成分とオブジェクトの成分を取り出す（Ｓ７６）。
【０１２９】
最後に、重要度算出部５３は、両成分をそれぞれ正規化し（合計が１になるようにする。）、画像重要度情報記憶部３４ｂへと出力する（Ｓ７７）。
【０１３０】
ステップＳ７６とＳ７７について詳しく説明する。図２１は、主固有ベクトルＰの成分から画像の画像重要度およびオブジェクト重要度を求める流れを説明する図である。
【０１３１】
図２１に示すように、主固有ベクトルＰ＝（ 0.25 , 0.19 , 0.25 , 0.22 , 0.08 ）から、画像Ａ，Ｂの成分および人物ａ，ｂの成分を取りだして、正規化することにより画像Ａ，Ｂの画像重要度および人物ａ，ｂの重要度を相対的な評価として算出することができる。
【０１３２】
以上、説明したように、本実施の形態２によれば、実施の形態１と同様に、全画像において大きく頻繁に写ったオブジェクトが重要と評価することができ、このオブジェクトが写る画像を高いスコアに評価することができる。
【０１３３】
また、それに加え、リンク関係を表す隣接行列Ｍの再帰的な固有ベクトルの算出処理により、オブジェクト間で重要度を伝播することができ、頻度が少ないあるいは大きく写っていないオブジェクトでも、重要なオブジェクトと共起することで、重要度を引き上げることができる。
【０１３４】
図２２を用いて具体的な例を挙げて説明すると、人物ａ（息子）、人物ｄ（息子の友人）、人物ｅ（祖母）の３種のクラスタの頻度は、人物ａ＞人物ｅ>人物ｄの順であり、特に人物ａの頻度が非常に高い（人物ａの重要度が高いことを意味する。）ものとする（図２２（ａ））。
【０１３５】
そして、評価対象の画像の中に、画像Ｄのように人物ａと人物ｄにそれぞれ属する２つのオブジェクト（顔）が共起していれば、人物ｅの重要度は、人物ａの高い重要度により、その重要度を引き上げることができる。このため、人物ｅは人物ｄより頻度が低いにも関わらず、人物ｅがひとりで写っている画像Ｅの画像重要度は、人物ｄがひとりで写っている画像Ｆの画像重要度を上回る結果となり得る。
【０１３６】
このように、図２２の例では、共起関係を利用して、写真が少ない祖母の重要度を向上させることができる。
【０１３７】
（実施の形態３）
実施の形態２では、画像と画像に含まれる（写っている）オブジェクトとの間のデータ構造を利用して、画像およびオブジェクトの重要度を算出したが、要は、データ構造としては、画像の集合と、画像に係る集合と、両集合間の関係付けを規定するような構造であればよい。
【０１３８】
画像に係る集合としては、実施の形態２のように画像に含まれるオブジェクトでもよいが、例えばExif（Exchangeable image file format）の規格のように画像に埋め込まれた各種情報でもよい。さらには、画像に付与されたタグであってもよい。
【０１３９】
実施の形態３では、このようなデータ構造の一例として、画像と画像に付与されたタグとの間のデータ構造について説明する。
【０１４０】
図２５に、画像（画像Ｔ，画像Ｕ）とタグ（タグａ，タグｂ）との関係性を示す。
【０１４１】
画像Ｔには、「ゴルフ」のタグａが付与され、画像Ｕには、「ゴルフ」のタグａと「バーディ」のタグｂとが付与されている。
【０１４２】
なお、タグの付与は、例えばユーザにより手動で設定されたものである。
【０１４３】
図２５において、画像Ｔ，Ｕとタグａ，ｂとの間で関係性を示すリンクが示されている。
【０１４４】
まず、画像からタグへのリンクの値について説明する。
【０１４５】
この画像からタグへのリンクの値は、画像の鮮度に1/10を掛けることで求める。
【０１４６】
ここで画像の鮮度とは、現在の日時（評価時点の日時）と、画像の追加日時との差分から求められる。
【０１４７】
例えば、画像Ｔが30日前に追加された画像であり、画像Ｕが360日前に追加された画像であるならば、画像Ｔと各タグａ，ｂと間の重みづけを大きくする。
【０１４８】
画像の鮮度とは、各画像の追加日時を正規化した値（０〜１）であり、具体的な算出式としては、
画像Ｔの鮮度＝（画像Ｔの追加日時−画像の中で最も古い追加日時）／（現在の日時−画像の中で最も古い追加日時）
の式を求めることにより算出する。なお、日時の差分は分単位換算で求める。
【０１４９】
例えば、画像Ｔの鮮度は0.994であるならば、画像Ｔから「ゴルフ」のタグａへのリンクの値は、0.994×0.1=0.0994となる。
【０１５０】
次に、タグから画像へのリンクについて説明する。
【０１５１】
このリンクは、例えば固定値0.01を割り当てる。
【０１５２】
例えば、「ゴルフ」のタグａから画像Ｔへのリンクの値は0.01となる。
【０１５３】
以上のように、各画像Ｔ，Ｕとタグａ，ｂまた、画像Ｔ，Ｕとタグａ，ｂとの関係性を求め、例えば実施の形態２と同様に隣接行列を利用することにより、各画像Ｔ，Ｕの画像重要度やタグａ，ｂのタグ重要度を算出することができる。
【０１５４】
そして、本実施の形態によれば、例えば、Ｗｅｂサーバ上の画像において、トレンドに基づく画像のランキングに利用することができる。
【０１５５】
なお、図２６に示すように、ダミーノードに重みづけを返すとしてもよい。
＜補足＞
以上、本発明の実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
【０１５６】
（１）クラスタリングについて
各実施の形態では、クラスタリング１４が行うクラスタリングの手法として、非階層的な手法であるｋ−ｍｅａｎｓ法を例に挙げたが、これに限らずウォード法(Ward's method)などの階層的な手法を用いてもよい。
【０１５７】
（２）オブジェクトについて
各実施の形態では、オブジェクトとして人の顔を例に挙げて説明したが、人に限らず、犬や猫などの動物の顔をオブジェクトとして画像特徴量の抽出対象としても構わない。また、画像に写るオブジェクトとしては、顔に限らず、自動車や植物、建物など様々な物体などが考えられる。
【０１５８】
（３）固有ベクトル算出方法について
実施の形態２では、固有ベクトル算出部５２はべき乗法を用いて固有ベクトルを算出するとしたが、これに限られない。例えば、逆反復法を用いてもよい。
【０１５９】
（４）固定値βについて
実施の形態２では、画像Ａ，Ｂへのリンクは固定値β（=0.1）を用いるとして説明した（図１７参照）が、固定値βの値は0.1に限らず、適宜設定することができる。また、人物ａから画像Ａへのリンクは固定値β１、ダミーＺから画像Ａへのリンクは固定値β２というように、画像へのリンクの固定値を個別に設定してもよい。
【０１６０】
また、下記参考文献２にあるように、外向きのリンクがなく重要度を吸い込んでしまうノードの問題(problem of rank sinks)に対する対処方法を利用して、画像Ａ，Ｂへのリンクの値を定めるとしてもよい。
【０１６１】
（５）背景のノードについて
実施の形態２では、全画像の背景を１個のノード（ダミーＺ）としてグラフ生成する例を説明したが、これに限らず、背景のノードを複数個作成したり、あるいは背景のノードを有さないグラフを作成しても構わない。
【０１６２】
（６）オブジェクトの重要度について
各実施の形態では、オブジェクトの重要度は、（Ａ）オブジェクトが属するクラスタの頻度と（Ｂ）オブジェクトの占有度とに基づいて求める例を挙げて説明した。
【０１６３】
もっとも、前者（Ａ）については、オブジェクトが属するクラスタを特徴付ける量であればよく、頻度（クラスタのメンバ数）に限られない。
【０１６４】
また後者（Ｂ）についても、例えば、占有度に加えて人物の笑顔の度合いや顔の向きの度合いさらには人物のピントの度合いを重みとしても良い。
【０１６５】
笑顔の度合いの具体例としては、図２３に示すように、各オブジェクト（Ｆ１，Ｆ６）の重要度を、笑顔の度合いを示す係数を用いて算出してもよい。このとき、より笑顔の度合いが大きい画像Ｓの方が画像Ａより高い画像重要度となる。
【０１６６】
また、顔の向きの度合いの場合は、より正面を向くほど、より高い画像重要度となるような計算式とすることができる。
【０１６７】
人物のピントの度合いについては、例えば、人物のピントがシャープであるほど高く評価し、ピントがぼけているほど低く評価する。このようなピント評価については、下記参考文献３の技術を用いることができる。
【０１６８】
さらに、占有度を全く用いずに、笑顔の度合いや顔の向きの度合いや人物のピントの度合いなどに基づいて各オブジェクトの重要度を算出しても構わない。
【０１６９】
要するに、オブジェクトが各画像において写り込んでいる特徴を示す値であれば足り、占有度、笑顔の度合い、顔の向きの度合い、などに限らず様々な値を用いることができる。
【０１７０】
（７）オブジェクト抽出・クラスタリングについて
各実施の形態では、画像評価装置２の内部にオブジェクト特徴量抽出部１２やクラスタリング部１４を備えるとして説明したが、これらは画像評価装置２の外部装置にあっても構わない。
【０１７１】
図２４に示す画像評価システム１１１は、画像評価装置１１２、ＳＤメモリカード４、クラスタリング装置１１４を備える。クラスタリング装置１１４は、ＳＤメモリカード４から取得した画像データを基にオブジェクト特徴量を抽出するオブジェクト特徴量抽出部１２、クラスタリング部１４、クラスタ記憶部１６を備える。画像評価装置１１２は、クラスタ記憶部１６のクラスタ情報を取得するクラスタ情報取得部６０を備える。
【０１７２】
（８）画像を記憶する主体について
各実施の形態では、ＳＤメモリカード４内に評価対象の画像を記憶するとして説明したが、記録媒体であればこれに限られず、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)の記録媒体などを用いてもよい。
【０１７３】
また、画像評価装置を、画像を記憶するデジタルカメラや携帯電話の撮影機器と接続することにより、画像を取得することも考えられる。両者の接続の態様としては、有線（ＬＡＮケーブル、ＵＳＢケーブルなど）、無線（赤外線やBluetoothなど）を問わず様々な態様をとり得る。
【０１７４】
（９）集積回路
各実施の形態の画像評価装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１７５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１７６】
（１０）プログラム
各実施の形態で示した画像評価に係る処理（図２，３，６，９，１４，１５，１９など参照）をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
【０１７７】
このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)等がある。
【０１７８】
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
【０１７９】
（１１）日時範囲の指定について
図９下部のディスプレイ６では、画像重要度の高い画像のランキングを表示するとしているが、これに限らずオブジェクト重要度の高い人物のランキングを表示するとしても構わない。
【０１８０】
さらには、日時範囲の指定を受け付けて重要度を算出の材料とする画像の対象を絞り込むことで、全画像から算出した重要度では分からなかった要素を浮かび上がらせるようにしてもよい。すなわち、ある特定の時期に限って重要とされた画像の表示や、ある特定の時期の人間関係を反映したランキングの表示を期待できる。
【０１８１】
この例を図２７の画面２７０に示す。画面２７０は、一般的なタッチスクリーンの画面であり、矢印やアイコンは指２７２のタッチにより選択可能である。
【０１８２】
画面２７０右下には、スケールバー２７４がある。このスケールバー２７４には、"year"（年），"month"（月），"week"（週），"day"（日）の目盛りが付されている。ユーザは丸ボタン２７６を左右にドラッグして目盛りを設定し、左右の矢印２７８Ｌ，２７８Ｒをタップすることで、日時範囲の指定を行う。
【０１８３】
図２７の例では、2010年が日時範囲として指定されている。この場合、オブジェクト抽出部１１は、画像取得部１０に取得された画像の中からその撮影日時が2010年（例えば、2010/01/01/00:00〜2010/12/31/23:59）のものだけを、抽出対象とすることにより、評価部４８は撮影日時が2010年の画像に対応する重要度を算出する。そして、図２７の「2010年 年間ランキング」は、算出された重要度を表示制御部３６が表示したものとなっている。
【０１８４】
このように日時範囲の指定を受け付けてから、その都度、対応する重要度を算出する手法でもよいが、これに代えて、予め指定され得る日時範囲ごとに重要度を算出し記憶しておく手法でも構わない。
【０１８５】
また、日時範囲の指定の受け付けは図２７のようなタッチ入力に限らず、キーボードからの数値入力により受け付けるとしても構わない。
【０１８６】
（１２）クラスタから画像へのリンクについて
実施の形態２では、人物などのクラスタからその人物が写った画像へのリンクの値は固定値としたが、占有度に応じて設定するとしても構わない。
【０１８７】
例えば、図２８のように、人物ａから画像Ａへのリンクの値（Ｆ（ａ→Ａ））を、Ｆ（ａ→Ａ）＝β×α（ａ）として、画像Ａにおける人物ａの占有度α（ａ）に比例するように設定してもよい。図２９に、このようなリンクのルールに従ったリンク設定を説明する図を示す。
＜参考文献＞
（１）参考文献１
「Ｇabor特徴の情報量による重みづけマッチングを用いた顔認識」
堀田 一弘（埼玉大学(日本学術振興会特別研究員)）
電子情報通信学会技術研究報告. HIP, 
ヒューマン情報処理  100(34)  pp.31-38 20000504
（２）参考文献２
The PageRank citation ranking: Bringing order to the Web.
Page, Lawrence; Brin, Sergey; Motwani, Rajeev and Winograd, Terry (1999).
（３）参考文献３
特開2006-172417号公報
【産業上の利用可能性】
【０１８８】
本発明に係る画像評価装置によれば、家族などの複数ユーザが保有する膨大量の画像コンテンツの中から、ユーザにとって重要な画像を効率的に検索することができ、従来のユーザ操作による画像の評価方法と比較して、ユーザはより負担なく容易にコンテンツの閲覧検索が可能である。【０１８９】
例えば、家族が撮り溜めた膨大量の写真コンテンツの中から、年賀状の作成で家族を代表する写真を探す場面において、画像のランキングに基づく検索結果から、ユーザは所望する画像を容易に選択することができ、パーソナルコンピュータやサーバ端末などの据置き型端末などで有用である。また、デジタルカメラや携帯電話などのモバイル型端末などとしても有用である。
【符号の説明】
【０１９０】
１，１０１，１１１  画像評価システム
２，１０２，１１２  画像評価装置
４  ＳＤメモリカード
１０  画像取得部
１１  オブジェクト抽出部
１２  オブジェクト特徴量抽出部
１４  クラスタリング部
１６  クラスタ情報記憶部
１８  オブジェクト出現特徴量算出部
２０  頻度算出部
２２  占有度算出部
２４  オブジェクト出現特徴量記憶部
２６  頻度記憶部
２８  占有度記憶部
３０  オブジェクト重要度算出部
３２  画像重要度算出部
３４ａ  オブジェクト重要度情報記憶部
３４ｂ  画像重要度情報記憶部
３６  表示制御部
４０  グラフ生成部
４４ａ１  画像・被写体ノード生成部
４４ａ２  ダミーノード生成部
４４ｂ１  被写体リンク設定部
４４ｂ２  ダミーリンク設定部
４６  グラフ記憶部
４８  評価部
５０  隣接行列生成部
５２  固有ベクトル算出部
５３  重要度算出部
【図１】
2011099108.tif 000003
【図２】
2011099108.tif 000004
【図３】
2011099108.tif 000005
【図４】
2011099108.tif 000006
【図５】
2011099108.tif 000007
【図６】
2011099108.tif 000008
【図７】
2011099108.tif 000009
【図８】
2011099108.tif 000010
【図９】
2011099108.tif 000011
【図１０】
2011099108.tif 000012
【図１１】
2011099108.tif 000013
【図１２】
2011099108.tif 000014
【図１３】
2011099108.tif 000015
【図１４】
2011099108.tif 000016
【図１５】
2011099108.tif 000017
【図１６】
2011099108.tif 000018
【図１７】
2011099108.tif 000019
【図１８】
2011099108.tif 000020
【図１９】
2011099108.tif 000021
【図２０】
2011099108.tif 000022
【図２１】
2011099108.tif 000023
【図２２】
2011099108.tif 000024
【図２３】
2011099108.tif 000025
【図２４】
2011099108.tif 000026
【図２５】
2011099108.tif 000027
【図２６】
2011099108.tif 000028
【図２７】
2011099108.tif 000029
【図２８】
2011099108.tif 000030
【図２９】
2011099108.tif 000031
【手続補正書】
【提出日】平成23年4月5日(2011.4.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
膨大な数の画像のそれぞれを評価する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及や記録メディアの容量増加により、ユーザひとりあたりで保有する画像の枚数が増加する傾向にある。
このような大量の画像の中から、ユーザが見たい画像を簡単に探し出すことを支援するために、個々の画像を評価してランキングする手法が知られている。
【０００３】
例えば、画像を用いて行われた作業（プリントやスライドショーなど）の回数などに応じて、各画像の評価値を算出する手法がある（特許文献１参照）。
また、画像に基づき特徴量を算出し、算出した特徴量を用いて画像が選択されるか否かを表す確率を統計的に求める手法がある（特許文献２参照）。
【０００４】
さらに、画像に含まれる顔の向きを判定し、正面を向いている度合いが大きいほど、その画像の評価値を高い値として算出する手法がある（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007-135065公報
【特許文献２】特開2007-80014公報
【特許文献３】特開2004-361989公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の手法では、ユーザ操作が必須となっており、ユーザ操作が全く行われていない場合や操作回数が少ない時点では、ユーザの意図を反映した評価値を算出することができないという問題がある。
【０００７】
また、特許文献３の手法では、人物の顔の向きに専ら依存して画像を評価するが、必ずしも顔の向きがユーザにとっての重要性に直結するとは限らない。
ユーザが高評価を期待する画像は、写っている人物の顔の向きがよい画像ではなく、そのユーザにとって重要な人物が写る画像であるものと考えられる。
【０００８】
本発明はこのような背景の下になされたものであって、各画像に現れる人物などのオブジェクトに基づいて、画像を評価することができる画像評価装置などを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像評価装置は、オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段とを備えることを特徴している。
【発明の効果】
【００１０】
本発明に係る画像評価装置によれば、各画像に現れる人物などのオブジェクトに基づいて、画像を評価することができる。
また、前記評価手段は、算出された第１値および第２値に基づいて、前記一の画像に現れているオブジェクトの重要度を算出するオブジェクト重要度算出手段と、算出されたオブジェクトの重要度に基づいて、前記一の画像の評価を示す重要度を算出する画像重要度算出手段とを含むとしても構わない。
【００１１】
また、前記第１値算出手段は、前記複数の画像に含まれる全オブジェクトのうちで、一の画像に含まれるオブジェクトが属するクラスタのオブジェクト、が出現する頻度を算出し、前記第２値算出手段は、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが前記一の画像において占める面積を示す占有度を算出し、前記オブジェクト重要度算出部は、算出された頻度および占有度に基づいて、前記オブジェクトの重要度を算出するとしても構わない。
【００１２】
この構成によれば、一の画像に含まれるオブジェクトに基づいた算出した頻度と、そのオブジェクトが占める面積を示す占有度との双方を用いて重要度を算出するので、ユーザの期待に添う重要度の算出に寄与することができる。
【００１３】
また、前記一の画像に第１オブジェクトと第２オブジェクトとが含まれる場合、前記頻度算出手段は、前記第１オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第１頻度と、前記第２オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第２頻度と、を算出し、前記占有度算出手段は、第１オブジェクトが前記一の画像において占める面積を示す第１占有度と、第２オブジェクトが前記一の画像において占める面積を示す第２占有度と、を算出し、前記オブジェクト重要度算出手段は、前記第１頻度および前記第１占有度に基づいて第１オブジェクトの重要度である第１重要度を算出し、前記第２頻度および前記第２占有度に基づいて第２オブジェクトの重要度である第２重要度を算出し、前記画像重要度算出手段は、前記第１重要度および第２重要度に基づいて、前記一の画像の評価を示す重要度を算出するとしても構わない。
【００１４】
この構成によれば、一の画像に第１オブジェクトと第２オブジェクトとが現れている場合に、両オブジェクトの重要度に基づいて画像の重要度を算出するので、例えば、複数の人物が現れる画像の評価を高い値として算出することができる。
【００１５】
また、前記オブジェクトは、前記一の画像から切り出された人の顔であるとしても構わない。
この構成によれば、例えば、家族の集合写真を評価対象とする際に特に好適である。
【００１６】
また、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、前記評価手段は、両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出するとしても構わない。
【００１７】
オブジェクト間で重要度を伝播させるので、ユーザの期待に添うオブジェクトの重要度の算出に寄与することができる。
また、前記オブジェクトが含まれる複数の画像はＰ個（Ｐは自然数）であって、前記第１値算出手段は、Ｐ個の画像に含まれるオブジェクトが属するクラスタの個数のＱ個（Ｑは自然数）を算出し、前記第２値算出手段は、前記Ｐ個の画像に現れているオブジェクトのそれぞれについて、当該オブジェクトが当該各画像において現れる特徴を示す第２値を算出し、前記Ｐ個の画像をそれぞれ示すＰ個のノードと、前記Ｐ個の画像に含まれるオブジェクトが属するクラスタをそれぞれ示すＱ個のノードとを含むノードを作成するノード作成手段と、ある画像Ａを示すノードＡと、当該画像Ａに含まれるオブジェクトが属するクラスタａを示すノードａについて、このノードＡ−ａ間のリンクの値を、クラスタａに属するオブジェクトの画像Ａにおける第２値を用いて設定するリンク設定手段と、前記ノード作成手段に作成されたノードとリンク設定手段により設定されたリンクの値とにより構成されたグラフを表現する隣接行列を生成する隣接行列生成手段を備え、前記評価手段は、生成された隣接行列の主固有ベクトルを算出する固有ベクトル算出手段と、算出された主固有ベクトルの要素に基づいてＮ個の画像それぞれの評価を示す重要度を算出する重要度算出手段と、を含むとしても構わない。
【００１８】
この構成によれば、グラフを構成するノード間で重みを伝播させることができる。例えば、画像のノードＡとオブジェクトのノードａ間のリンクに基づいて、画像とオブジェクト間で重要度を伝搬させることができる。
【００１９】
また、前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値のうち、ノードＡからノードａへのリンクの値を前記第２値を用いて設定し、ノードａからノードＡへのリンクの値は前記第２値を用いずに設定するとしても構わない。
【００２０】
この構成によれば、画像Ａにおける特徴値を用いて、ノードＡ（画像Ａのノード）からノードａ（画像Ａに含まれるオブジェクトが属するクラスタａのノード）へのリンクの値を設定するので、例えば、画像Ａに上記オブジェクトが大写しされている場合には、リンクの値の重みを大きくするなどすることにより、画像Ａの内容に即した重みの伝搬が可能となる。
【００２１】
また、前記第２値算出手段が算出する第２値は、前記オブジェクトが当該各画像において占める面積を示す占有度であるとしても構わない。
また、前記第２値算出手段は、各画像においてオブジェクトが現れていない領域である背景の占有度を算出し、前記ノード作成手段は、ダミーを示す１個のノードを作成し、前記リンク設定手段は、ある画像Ａを示すノードＡと、ダミーを示す１個のノードＺとについて、このノードＡ−Ｚ間のリンクの値のうちのノードＡからノードＺへのリンクの値を、画像Ａにおける背景の占有度を用いて設定するとしても構わない。
【００２２】
また、前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値について、ノードＡからノードａへのリンクの値およびノードａからノードＡへのリンクの値を前記第２値を用いて設定するとしても構わない。
【００２３】
この構成によれば、オブジェクトが画像において現れる特徴を示す第２値を用いてリンクの値を設定することで、重要度の伝搬を最適化できる。
また、前記複数の画像それぞれには撮影日時が関連付けられており、さらに、日時の範囲の指定を受け付ける受付手段を備え、前記第１値算出手段および第２値算出手段は、指定範囲に含まれる画像を用いて算出を行うが、指定範囲に含まれない画像を用いては算出を行わないとしても構わない。
【００２４】
この構成によれば、上記評価手段は、指定範囲に対応したオブジェクトおよび画像の重要度を算出することが可能となる。
また、本発明に係る画像評価方法は、それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価方法であって、各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップとを含むことを特徴とする。
【００２５】
また、本発明に係るプログラムは、それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価処理をコンピュータに実行させるプログラムであって、前記画像評価処理は、各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップとを含む処理であることを特徴とする。
【００２６】
また、本発明に係る集積回路は、オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段とを備えることを特徴とする。
【図面の簡単な説明】
【００２７】
【図１】画像評価システム１の機能ブロック図
【図２】画像評価処理のあらましを示すフローチャート
【図３】画像取得・クラスタリング処理の詳細を示すフローチャート
【図４】オブジェクト特徴量の抽出からクラスタリングまでの流れを示すイメージ図
【図５】クラスタ情報のデータ構造を示す図
【図６】オブジェクト出現特徴量の算出処理の詳細を示すフローチャート
【図７】頻度情報のデータ構造を示す図
【図８】占有度情報のデータ構造を示す図
【図９】画像の評価処理の詳細を示すフローチャート
【図１０】画像Ａ〜画像Ｃにおけるオブジェクト重要度および画像重要度を説明するための図
【図１１】画像重要度情報のデータ構造を示す図
【図１２】画像Ｘ，画像Ｙにおけるオブジェクト重要度および画像重要度を説明するための図
【図１３】画像評価システム１０１の機能ブロック図
【図１４】画像評価処理のあらましを示すフローチャート
【図１５】占有度算出・グラフの生成処理の詳細を示すフローチャート
【図１６】画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を説明するための図
【図１７】画像Ａ，Ｂ、人物ａ，ｂ、ダミーＺの５個のノードのリンク設定を説明するための図
【図１８】グラフのテーブル構造を示す図
【図１９】隣接行列生成・画像の評価を示すフローチャート
【図２０】隣接行列Ｍを示す図
【図２１】主固有ベクトルＰの成分から画像重要度およびオブジェクト重要度を求める流れを説明する図
【図２２】オブジェクト間の重要度の伝搬を説明するための図
【図２３】笑顔の度合いを用いたオブジェクト重要度の算出を説明する図
【図２４】画像評価システム１１１の機能ブロック図
【図２５】画像（画像Ｔ，画像Ｕ）と、タグ（タグａ，タグｂ）間の関係性を説明するための図
【図２６】画像Ｔ、タグａ、ダミーＺの間の関係性を説明するための図
【図２７】指定された日時範囲における人物・画像のランキングの表示例を示す図
【図２８】画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を説明するための図
【図２９】画像Ａ，Ｂ、人物ａ，ｂ、ダミーＺの５個のノードのリンク設定を説明するための図
【発明を実施するための形態】
【００２８】
（実施の形態１）
以下、本実施の形態について、図面を参照しながら説明する。
＜構成＞
図１に示すように、画像評価システム１は、画像評価装置２とＳＤメモリカード４とを含んで構成される。
【００２９】
画像評価装置２は、画像取得部１０、オブジェクト抽出部１１（オブジェクト特徴量抽出部１２，クラスタリング部１４を含む）、記憶部１５（クラスタ情報記憶部１６，頻度記憶部２６，占有度記憶部２８，オブジェクト重要度情報記憶部３４ａ，画像重要度情報記憶部３４ｂを含む）、オブジェクト出現特徴量算出部１８（頻度算出部２０，占有度算出部２２を含む）、評価部２９（オブジェクト重要度算出部３０，画像重要度算出部３２を含む）、表示制御部３６を備える。
【００３０】
画像取得部１０は、ＳＤカードリーダーから構成され、ＳＤカードスロット内に挿入されたＳＤメモリカード４から画像データを取得する。
オブジェクト特徴量抽出部１２は、画像取得部１０が取得した画像データを対象として、画像に写るオブジェクトの画像特徴量を抽出し、オブジェクト特徴量として出力する。
【００３１】
以下では、オブジェクトとして人の顔を例に挙げて説明する。
また、画像から顔に関する画像特徴量を抽出する手法として、Ｇａｂｏｒフィルタによる抽出手法で算出しても良い。Ｇａｂｏｒ法については、後述する参考文献１を参照されたい。
【００３２】
クラスタリング１４は、オブジェクト特徴量抽出部１２が出力するオブジェクト特徴量に基づいてクラスタリングを行い、その結果を示すクラスタ情報をクラスタ情報記憶部１６に記憶させる。クラスタリング手法については、非階層的な手法（固定されたクラスターのそれぞれに代表を与えてクラスタリングを行う手法）のひとつであるｋ−ｍｅａｎｓ法（参考文献１参照）を用いることができる。
【００３３】
記憶部１５は、クラスタ情報記憶部１６，頻度記憶部２６，占有度記憶部２８，オブジェクト重要度情報記憶部３４ａ，画像重要度情報記憶部３４ｂを含む。記憶部１５は、例えば、ＲＡＭから構成することができる。
【００３４】
オブジェクト出現特徴量算出部１８は、クラスタ情報記憶部１６に記憶されたクラスタ情報に基づいて、オブジェクト出現特徴量を算出する。「オブジェクト出現特徴量」は、同じクラスタに属するオブジェクトが画像においてどのように出現しているかを示す量である。具体的には（１）同じクラスタに属するオブジェクトが全画像枚数中において何枚出現しているかを示す「頻度」、（２）いずれかのクラスタに属するオブジェクトが各画像において占める割合を示す「占有度」、この２種から構成される。そして頻度、占有度はオブジェクト出現特徴量算出部１８に含まれる頻度算出部２０、占有度算出部２２がそれぞれ算出する。そして、算出された頻度は、頻度記憶部２６に記憶され、算出された占有度は、占有度記憶部２８に記憶される。
【００３５】
オブジェクト重要度算出部３０は、前記オブジェクト出現特徴量記憶部に記憶されたオブジェクト出現特徴量（頻度と占有度）に基づいて、全ての画像データにおいて各画像に現れるオブジェクトそれぞれの重要度を示すオブジェクト重要度を算出する。
【００３６】
オブジェクト重要度情報記憶部３４ａは、例えば、ＲＡＭから構成され、オブジェクト重要度算出部３０により算出されたオブジェクト重要度を含むオブジェクト重要度情報を記憶する。
【００３７】
画像重要度算出部３２は、オブジェクト重要度に基づいて個々の画像の重要度（画像重要度）を算出する。
画像重要度情報記憶部３４ｂは、例えば、ＲＡＭから構成され、画像重要度算出部３２により算出された画像重要度を含む画像重要度情報を記憶する。
【００３８】
表示制御部３６は、算出された画像重要度をディスプレイ６の画面に表示させる。
＜動作＞
次に、画像を評価するまでの流れについて説明する。
【００３９】
図２に示すように、画像取得・クラスタリング（Ｓ１１）、オブジェクト出現特徴量の算出（Ｓ１２）、画像の評価（Ｓ１３）の順で処理を行う。
図３に示すように、画像取得・クラスタリングの処理では、画像取得部１０は、ＳＤメモリカード４から、ＳＤメモリカード４内に記憶された画像データを取得する（Ｓ２１）。ここでは一例として、ＳＤメモリカード４内には、画像Ａ〜画像Ｃの３枚分の画像データが記憶されており、画像取得部１０はこの画像Ａ〜画像Ｃの画像データを取得するものとする。
【００４０】
続いて、オブジェクト特徴量抽出部１２は、取得された画像データを対象として、画像から顔の領域を切り出して、その顔の特徴量をオブジェクト特徴量として抽出する（Ｓ２２）。そして、クラスタリング部１４は、抽出されたオブジェクト特徴量を用いてクラスタリングを行い、クラスタリングした結果であるクラスタ情報をクラスタ情報記憶部１６に記憶させる（Ｓ２３）。
【００４１】
図４を用いて、ステップＳ２２，Ｓ２３の動作を具体的に説明すると、オブジェクト特徴量抽出部１２は、３枚の画像Ａ〜画像Ｃ（図４（ａ））から４つの顔Ｆ１〜Ｆ４を切り出し、顔Ｆ１〜Ｆ４それぞれの特徴量を抽出する（図４（ｂ））
そして、クラスタリング部１４は、４つの顔Ｆ１〜Ｆ４のうち、類似している顔どうしの顔Ｆ１，Ｆ２を人物ａとし、また顔Ｆ３，Ｆ４を人物ｂとクラスタリングする。
【００４２】
図５は、クラスタリングの結果を示すクラスタ情報のデータ構造を示す図である。クラスタ情報は、画像に出現する顔のそれぞれがどのクラスタに属しているかを示す情報であり、「クラスタ名」１７ａ、「顔」１７ｂ、「画像」１７ｃの項目を含む。
【００４３】
続いて、図６を用いてオブジェクト出現特徴量の算出処理（Ｓ１２）の詳細を説明する。オブジェクト出現特徴量算出部１８は、クラスタ情報記憶部１６からクラスタ情報を取得する（Ｓ３１）。
【００４４】
頻度算出部２０は、取得されたクラスタ情報に基づいて、同じクラスタ（「クラスタ名」１７ａが同一）に属する顔の数を計数することにより、頻度を算出する（Ｓ３２）。そして算出した頻度を含む頻度情報を頻度記憶部２６に記憶させる。
【００４５】
図７に、頻度情報のデータ構造を示す。頻度情報は、「クラスタ名」２７ａ、「画像」２７ｂ、「頻度」２７ｃの項目を含む。「頻度」２７ｃの値は、「画像」２７ｂの画像の枚数を数えたものである。
【００４６】
図７の例では、人物ａの頻度が２、人物ｂの頻度が２となっている。なお、上述のように、頻度は同じクラスタに属する顔の数を計数したものであるから、クラスタのメンバ数ともいえる。
【００４７】
図５に戻って説明を続ける。占有度算出部２２は、オブジェクト特徴量抽出部１２が抽出した顔の領域の大きさを、当該顔が出現した画像全体の大きさで除することにより、各顔が各画像において占める割合と、背景が占める割合を算出する。例えば、顔の領域の大きさが30万画素分を占め、画像の大きさが100万画素であれば、30/100=0.3が顔が占める割合となり、1-0.3=0.7が背景が占める割合となる。そして、占有度算出部２２は、クラスタ情報を参照して、それぞれの顔がどのクラスタに属しているか判別することによって、各画像においてどの人物がどの程度占めているかを示す占有度を算出する（Ｓ３３）。そして、算出した占有度を含む占有度情報を占有度記憶部２８に記憶させる。
【００４８】
図８に、占有度情報のデータ構造を示す。占有度情報は、「画像」２９ａ、「人物ａに属する顔の占有度」２９ｂ、「人物ｂに属する顔の占有度」２９ｃ、「背景の占有度」２９ｄの項目を含む。「人物ａに属する顔の占有度」２９ｂは、各画像において属するクラスタが人物ａである顔（オブジェクト）の占有度である。例えば、画像Ａにおいては、顔Ｆ１は人物ａのクラスタに属しており（図５参照）、顔の領域の大きさが30％であるので「人物ａに属する顔の占有度」は0.3となる。
【００４９】
続いて、図９を用いて画像の評価処理（Ｓ１３）の詳細を説明する。
オブジェクト重要度算出部３０は、評価対象のひとつの画像を設定する（Ｓ４１）。そして、オブジェクト重要度算出部３０は、設定した画像に写るオブジェクトの頻度を示す頻度情報を頻度記憶部２６から取得し、同オブジェクトの占有度を示す占有度情報を占有度記憶部２８から取得する（Ｓ４２）。
【００５０】
オブジェクト重要度算出部３０は、取得した頻度と占有度を積算することによりオブジェクト重要度を算出する。
設定した画像に写るすべてのオブジェクトのオブジェクト重要度を算出していなければ（Ｓ４４：Ｎｏ）、ステップＳ４３に戻り、未算出のオブジェクトについてオブジェクト重要度を算出する。
【００５１】
要するに、ステップＳ４２〜Ｓ４４は評価対象の画像に現れる全てのオブジェクトについてオブジェクト重要度を算出するステップである。例えば、評価対象の画像に現れるオブジェクトが３つであれば、３つのオブジェクトそれぞれについてオブジェクト重要度を算出することとなる。算出されたオブジェクト重要度は、オブジェクト重要度情報記憶部３４ａに記憶される。
【００５２】
すべてのオブジェクトについてオブジェクト重要度を算出し終えると（Ｓ４４：Ｙｅｓ）、画像重要度算出部３２は、評価対象のすべてのオブジェクトのオブジェクト重要度を加算することにより画像重要度を算出し、画像重要度を画像重要度情報として画像重要度情報記憶部３４ｂに記憶させる（Ｓ４５）。
【００５３】
画像重要度が未算出の画像があれば（Ｓ４６：Ｎｏ）、ステップＳ４１に戻って、未算出の画像を評価対象に設定し画像重要度を求める。
全画像の画像重要度を算出していれば（Ｓ４６：Ｙｅｓ）、表示制御部３６は、画像重要度情報記憶部３４ｂに記憶された評価情報を用いて、ディスプレイ６の画面上に画像重要度を表示する（Ｓ４７）。画像重要度の表示方法としては一般的な手法を用いることができ、個々の画像の得点（スコア）を表示したり、スコアの順位を表示してもよい。またスコアや順位を直接表示せずとも、大スコアの画像ほど優先的に表示する（サイズを大きく表示したり、スライドショーでより頻繁に表示したりするなど）。
【００５４】
次に、具体例として画像Ａ〜Ｃについてのオブジェクト重要度および画像重要度する流れについて図１０を用いて説明する。
（１）画像Ａ
画像Ａは、顔Ｆ１（人物ａのクラスタに属する。）のオブジェクトが写っている画像であり（図５参照）、顔Ｆ１が属する人物ａの頻度は2（図７参照）、顔Ｆ１の占有度は0.3である（図８参照）。
【００５５】
この場合、オブジェクト重要度算出部３０は、顔Ｆ１の占有度0.3と頻度2とを積算して、0.3×2=0.6を顔Ｆ１のオブジェクト重要度として算出する。
そして、画像重要度算出部３２は、画像Ａのオブジェクトは、顔Ｆ１だけであるので、顔Ｆ１の重要度0.6をそのまま画像Ａの画像重要度とする。
【００５６】
（２）画像Ｂ
画像Ｂは、顔Ｆ２（人物ａのクラスタに属する。）のオブジェクトと、顔Ｆ３（人物ｂのクラスタに属する。）のオブジェクトが写っている画像である（図５参照）。顔Ｆ２が属する人物ａの頻度は2、顔Ｆ３が属する人物ｂの頻度も2である（図７参照）。また、顔Ｆ２の占有度は0.4、顔Ｆ３の占有度は0.3である（図８参照）。
【００５７】
オブジェクト重要度算出部３０は、顔Ｆ２のオブジェクト重要度0.8(=2×0.4)、顔Ｆ３のオブジェクト重要度0.6（=2×0.3）を算出する。
そして、画像重要度算出部３２は、画像Ｂのオブジェクトは、顔Ｆ２と顔Ｆ３の２つであるので、両者を足し合わせて画像重要度(1.4=0.8+0.6)を算出する。
【００５８】
（３）画像Ｃ
画像Ｃは、顔Ｆ４（人物ｂのクラスタに属する。）のオブジェクトが写っている画像である。オブジェクト重要度算出部３０は、顔Ｆ４の頻度と占有度からオブジェクト重要度0.6(=2×0.3)を算出し、画像重要度算出部３２は、重要度0.6をそのまま画像Ｃの画像重要度とする。
【００５９】
なお、図１１に画像Ａ〜画像Ｃに対応する画像重要度情報を示す。
以上説明したように、本実施の形態によれば、画像に写ったオブジェクトをクラスタリングし、同じクラスタ（人物ａ、人物ｂ）に属するオブジェクトの頻度と、個々の画像で含まれるオブジェクトの占有度と用いて画像重要度を算出し、頻度または占有度に比例して画像重要度が高く算出できる。
【００６０】
このため、個々の画像で大きく写った人物やより頻繁に写る人物を高く評価することができる。また、ユーザによる特別な操作を必要とせずに、画像のランキングを行うことができる。
【００６１】
例えば、図１２（ａ）に示す画像Ｘのように人物が大きく写っていれば、高い画像重要度も算出することができる。
また、図１２（ｂ）に示す画像Ｙのように３人の人物が写っていれば、３つのオブジェクトのオブジェクト重要度を高い画像重要度に反映させることができる。例えば、ある家族が保有する画像を評価対象とするような場合には、家族を構成する人物が重要なオブジェクトとして評価され、この重要なオブジェクトが集まって写る写真（家族の集合写真）を特に高く評価することができる。したがって、ユーザの意向に沿う画像の評価に寄与することができる。
【００６２】
例えば、家庭で撮影された写真を対象とした場合、家族を構成する人物や、ユーザが良く撮影するペットなどの物体が映った画像を、ユーザにとって重要な写真として評価することができ、これらの画像の選択を容易にする、という効果を奏する。
【００６３】
なお、上記例では、オブジェクト重要度は、頻度と占有度とを積算して求めるとしたが（図９：Ｓ４３）、これに限られない。
例えば、重要度ＦＩを
ＦＩ＝Ｌｏｇ（ＦＲ＊１００＋１）／ｌｏｇ（ＦＮ＋１）＊ＦＦ・・・（式１）
の式から求めてもよい。ここでＦＮは画像に写るオブジェクト（人物）の数、ＦＲはオブジェクトの占有度である。
【００６４】
また、評価部３０は、オブジェクトが複数の場合には、各オブジェクトのオブジェクト重要度を加算することにより画像重要度を求めるとしたが、要は、オブジェクトの数が多いほど高スコアが出るような方法であればこれに限られない。
【００６５】
例えば、各オブジェクトのオブジェクト重要度を積算してもよい。その際には、各項が１未満となって積算により値が減少しないようにする。例えば、占有度を割合に代えて百分率を用いる。この場合、画像Ｂ（図１０（ｂ）参照）において、顔Ｆ２の占有度は40、顔Ｆ３の占有度は30であるので、Ｆ２のオブジェクト重要度は、80(=40×2)、Ｆ３のオブジェクト重要度は60(=30×2)となる。そして、評価部３０は、80×60=4800を画像Ｂの画像重要度として算出する。
（実施の形態２）
実施の形態２では、画像に写っているオブジェクトとそのオブジェクトが属するクラスタの結び付きに基づいて画像を評価する。また、共起関係にあるオブジェクト（ひとつの画像に共に写っている複数のオブジェクト）どうしで重要度を伝搬させる。これにより、頻度が少なかったり大きく写っていないオブジェクトでも、他の重要なオブジェクトと共起していれば、その重要度を引き上げことができる。
＜構成＞
図１３は、実施の形態２に係る画像評価システム１０１の機能ブロック図である。
【００６６】
図１と同じ構成要素には同じ符号を付して説明を省略する。
画像評価装置１０２のグラフ生成部４０は、ノードを生成する画像・被写体ノード生成部４４ａ１およびダミーノード生成部４４ａ２と、ノード間の連結関係を示すリンクの値を設定する被写体リンク設定部４４ｂ１およびダミーリンク設定部４４ｂ２を備える。
【００６７】
画像・被写体ノード生成部４４ａ１は、クラスタ情報記憶部１６から取得したクラスタ情報（図５参照）に基づいて画像を示すノードと、オブジェクトを示すノードとを生成する。ダミーノード生成部４４ａ２は、ダミーノード（背景ノード）を生成する。
【００６８】
被写体リンク設定部４４ｂ１は、占有度記憶部２８から取得した占有度と、クラスタ情報記憶部１６から取得したクラスタ情報とに基づいて、画像ノードとオブジェクトノード間のリンクを設定する。このリンクには向きあるのでグラフは有向グラフと呼ばれるタイプである。
【００６９】
ダミーリンク設定部４４ｂ２は、同様に画像ノードとダミーノード間のリンクを設定する。
グラフ記憶部４６は、グラフ生成部４０が生成したグラフを記憶する。
【００７０】
評価部４８は、隣接行列生成部５０と固有ベクトル算出部５２と重要度算出部５３を含む。
隣接行列生成部５０は、グラフ記憶部４６に記憶されたグラフを表現する隣接行列を生成する。
【００７１】
固有ベクトル算出部５２は、生成された隣接行列の固有ベクトルを算出する。
そして、重要度算出部５３は、算出された固有ベクトルの成分に基づいて、各オブジェクトのオブジェクト重要度および各画像の画像重要度を算出する。
【００７２】
算出されたオブジェクト重要度は、オブジェクト重要度情報記憶部３４ａに記憶される。また、算出された画像重要度は画像重要度情報記憶部３４ｂにより記憶される。
＜動作＞
次に、画像を評価するまでの流れについて説明する。
【００７３】
図１４に示すように、画像取得・クラスタリング（Ｓ１１）、占有度算出・グラフの生成（Ｓ５１）、隣接行列生成・固有ベクトル算出（Ｓ５２）の順で処理を行う。
画像取得・クラスタリング処理の詳細は、図３を用いて説明したものと同様であるので説明を省略する。
【００７４】
図１５に示すように、占有度算出・グラフの生成処理では、占有度算出部２２は、クラスタ情報記憶部１６からクラスタ情報を取得し（Ｓ３１）、各画像においてどの人物がどの程度占めているかを示す占有度を算出する（Ｓ３３）。この算出方法については、実施の形態１（図６参照）で説明した方法と同様なので同じステップ番号を付して説明を省略する。
【００７５】
グラフ生成部４０の画像・被写体ノード生成部４４ａ１およびダミーノード生成部４４ａ２は、クラスタ情報記憶部１６のクラスタ情報と、占有度記憶部２８の占有度を取得する（Ｓ６１）。
【００７６】
そして、画像・被写体ノード生成部４４ａ１は、クラスタ情報に含まれる画像（その数をＰ個とする。）に対応するＰ個のノード、およびクラスタの種類数（その数をＱ個とする。）に対応するＱ個のノードを生成する。また、ダミーノード生成部４４ａ２は背景（全画像に対する抽象的な１個のダミーＺを設定する。）に対応する１個のノードを生成する。生成されたノードの数は、（１＋Ｐ＋Ｑ）個となる（Ｓ６２）。
【００７７】
図５に示したクラスタ情報の場合は、画像は画像Ａ〜画像Ｃの３個なのでＰ＝３、クラスタの数は人物ａ、人物ｂの２個なのでＱ＝２となり、（１＋３＋２）＝６個のノードを作成することとなる。
【００７８】
なお、画像の個数やクラスタの数については、頻度算出部２０（図７）が算出した「画像」２７ｂにおける画像の個数や「クラスタ名」２７ａにおけるクラスタの種類を利用することができる。
【００７９】
なお、以下では説明の簡単のため、画像Ｃを除いた画像Ａと画像Ｂの２つのみを評価対象の画像とする。この場合は、画像の個数がひとつ減るので５個のノードを作成する。
続いて、グラフ生成部４０の被写体リンク設定部４４ｂ１およびダミーリンク設定部４４ｂ２は、作成したノード間にリンクを設定する（Ｓ６３）。リンクを設定する基本ルールは次の通りである。
【００８０】
（１）各画像から各クラスタへのリンクの値は、そのクラスタに属するオブジェクトの占有度とする。
（２）各クラスタから各画像へのリンクの値は、任意の固定値とする。
【００８１】
（３）各画像からダミーＺへのリンクの値は、背景の占有度とする。
（４）各クラスタからダミーへのリンクは、「１−（２）の固定値」とする。
（５）ダミーＺから各クラスタおよび各画像へのリンクの値は、１をリンク先のノードの数で割った値とする（１を均等分配）。
【００８２】
（６）他のノード間についてはリンクの値をゼロとする。
図１６に、画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を示す。
上記（１）〜（６）のルールに従ってリンクを設定すると、画像Ａから人物ａへのリンクの値（Ｆ（Ａ→ａ））は、画像Ａにおける人物ａの占有度α（ａ）となる。反対に、人物ａから画像Ａへのリンクの値（Ｆ（ａ→Ａ））は固定値βとなる。
【００８３】
続いて、画像ＡからダミーＺへのリンクの値（Ｆ（Ａ→Ｚ））は、画像Ａにおける背景の占有度（１−α（ａ））となる。また、人物ａからダミーＺへのリンクの値（Ｆ（ａ→Ｚ））は、1-βとなる。
【００８４】
ダミーＺから画像Ａへのリンクの値（Ｆ（Ｚ→Ａ））およびダミーＺから人物ａへのリンクの値（Ｆ（Ｚ→ａ））は、１をノード数２で割った0.5となる。
図１７に、このようなリンクのルールに従ったリンク設定を説明する図を示す。
【００８５】
図１７に示すように、画像Ａから人物ａへのリンクは、人物ａの占有度である0.3となる。反対に、人物ａから画像Ａへのリンクは固定値βであるが、ここではβ＝0.1としているので0.1となる。
【００８６】
画像ＡからダミーＺへのリンクは画像Ａにおける背景の占有度0.7となる。ダミーＺから他の４つのノードへのリンクの値は、１をリンク先のノードの数４で割った0.25となる。同様に、上記ルールに従って他のノード間のリンクの値が設定されている。
【００８７】
グラフ生成部４０は、このようなリンクの設定を終えると、ノードとノード間のリンクの確定により完成したグラフを出力し（Ｓ６４）、グラフ記憶部４６は出力されたグラフをテーブル構造に変換した上で記憶する。例えば、図１７のグラフは、図１８に示すようなテーブル構造として記憶する。
【００８８】
続いて、隣接行列生成・画像の評価処理について図１９を用いて説明する。
隣接行列に基づいて行列の各要素を評価する方法については、後述する参考文献２の手法を用いることができる。
【００８９】
まず、隣接行列生成部５０は、グラフ記憶部４６に記憶されたテーブル構造を用いて隣接行列（adjacency matrix）Ｍを生成する（Ｓ７１）。図１８のテーブル構造を用いるのであれば、図２０に示すような５次（５行５列）の正方行列である隣接行列Ｍを生成する。
【００９０】
続いて、固有ベクトル算出部５２は、隣接行列Ｍの固有ベクトルを算出する。ステップＳ７２〜Ｓ７４は、主固有値（dominant eigenvalue）とそれに属する主固有ベクトル（dominant eigenvector）とを同時に求める方法の一種である「べき乗法」（power method）の演算となっている。
【００９１】
すなわち、
ＭＰ＝λＰ・・・（式２）
の式によって隣接行列Ｍにおいて、固有値λとして成立する固有ベクトルＰを求める（Ｓ７２）。この固有ベクトルＰが収束していない場合には（Ｓ７３）、算出した固有ベクトルＰに元の行列を積算し（Ｓ７４）、行列の固有ベクトルＰが収束（convergent）する（Ｓ７３：Ｙｅｓ）まで再帰的に計算処理を行う。
【００９２】
そして、固有ベクトル算出部５２は、収束した固有ベクトルＰを主固有ベクトルＰと決定し（Ｓ７５）、重要度算出部５３は、主固有ベクトルの成分から、画像の成分とオブジェクトの成分を取り出す（Ｓ７６）。
【００９３】
最後に、重要度算出部５３は、両成分をそれぞれ正規化し（合計が１になるようにする。）、画像重要度情報記憶部３４ｂへと出力する（Ｓ７７）。
ステップＳ７６とＳ７７について詳しく説明する。図２１は、主固有ベクトルＰの成分から画像の画像重要度およびオブジェクト重要度を求める流れを説明する図である。
【００９４】
図２１に示すように、主固有ベクトルＰ＝（ 0.25 , 0.19 , 0.25 , 0.22 , 0.08 ）から、画像Ａ，Ｂの成分および人物ａ，ｂの成分を取りだして、正規化することにより画像Ａ，Ｂの画像重要度および人物ａ，ｂの重要度を相対的な評価として算出することができる。
【００９５】
以上、説明したように、本実施の形態２によれば、実施の形態１と同様に、全画像において大きく頻繁に写ったオブジェクトが重要と評価することができ、このオブジェクトが写る画像を高いスコアに評価することができる。
【００９６】
また、それに加え、リンク関係を表す隣接行列Ｍの再帰的な固有ベクトルの算出処理により、オブジェクト間で重要度を伝播することができ、頻度が少ないあるいは大きく写っていないオブジェクトでも、重要なオブジェクトと共起することで、重要度を引き上げることができる。
【００９７】
図２２を用いて具体的な例を挙げて説明すると、人物ａ（息子）、人物ｄ（息子の友人）、人物ｅ（祖母）の３種のクラスタの頻度は、人物ａ＞人物ｅ>人物ｄの順であり、特に人物ａの頻度が非常に高い（人物ａの重要度が高いことを意味する。）ものとする（図２２（ａ））。
【００９８】
そして、評価対象の画像の中に、画像Ｄのように人物ａと人物ｄにそれぞれ属する２つのオブジェクト（顔）が共起していれば、人物ｅの重要度は、人物ａの高い重要度により、その重要度を引き上げることができる。このため、人物ｅは人物ｄより頻度が低いにも関わらず、人物ｅがひとりで写っている画像Ｅの画像重要度は、人物ｄがひとりで写っている画像Ｆの画像重要度を上回る結果となり得る。
【００９９】
このように、図２２の例では、共起関係を利用して、写真が少ない祖母の重要度を向上させることができる。
（実施の形態３）
実施の形態２では、画像と画像に含まれる（写っている）オブジェクトとの間のデータ構造を利用して、画像およびオブジェクトの重要度を算出したが、要は、データ構造としては、画像の集合と、画像に係る集合と、両集合間の関係付けを規定するような構造であればよい。
【０１００】
画像に係る集合としては、実施の形態２のように画像に含まれるオブジェクトでもよいが、例えばExif（Exchangeable image file format）の規格のように画像に埋め込まれた各種情報でもよい。さらには、画像に付与されたタグであってもよい。
【０１０１】
実施の形態３では、このようなデータ構造の一例として、画像と画像に付与されたタグとの間のデータ構造について説明する。
図２５に、画像（画像Ｔ，画像Ｕ）とタグ（タグａ，タグｂ）との関係性を示す。
【０１０２】
画像Ｔには、「ゴルフ」のタグａが付与され、画像Ｕには、「ゴルフ」のタグａと「バーディ」のタグｂとが付与されている。
なお、タグの付与は、例えばユーザにより手動で設定されたものである。
【０１０３】
図２５において、画像Ｔ，Ｕとタグａ，ｂとの間で関係性を示すリンクが示されている。
まず、画像からタグへのリンクの値について説明する。
【０１０４】
この画像からタグへのリンクの値は、画像の鮮度に1/10を掛けることで求める。
ここで画像の鮮度とは、現在の日時（評価時点の日時）と、画像の追加日時との差分から求められる。
【０１０５】
例えば、画像Ｔが30日前に追加された画像であり、画像Ｕが360日前に追加された画像であるならば、画像Ｔと各タグａ，ｂと間の重みづけを大きくする。
画像の鮮度とは、各画像の追加日時を正規化した値（０〜１）であり、具体的な算出式としては、
画像Ｔの鮮度＝（画像Ｔの追加日時−画像の中で最も古い追加日時）／（現在の日時−画像の中で最も古い追加日時）
の式を求めることにより算出する。なお、日時の差分は分単位換算で求める。
【０１０６】
例えば、画像Ｔの鮮度は0.994であるならば、画像Ｔから「ゴルフ」のタグａへのリンクの値は、0.994×0.1=0.0994となる。
次に、タグから画像へのリンクについて説明する。
【０１０７】
このリンクは、例えば固定値0.01を割り当てる。
例えば、「ゴルフ」のタグａから画像Ｔへのリンクの値は0.01となる。
以上のように、各画像Ｔ，Ｕとタグａ，ｂまた、画像Ｔ，Ｕとタグａ，ｂとの関係性を求め、例えば実施の形態２と同様に隣接行列を利用することにより、各画像Ｔ，Ｕの画像重要度やタグａ，ｂのタグ重要度を算出することができる。
【０１０８】
そして、本実施の形態によれば、例えば、Ｗｅｂサーバ上の画像において、トレンドに基づく画像のランキングに利用することができる。
なお、図２６に示すように、ダミーノードに重みづけを返すとしてもよい。
＜補足＞
以上、本発明の実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
【０１０９】
（１）クラスタリングについて
各実施の形態では、クラスタリング１４が行うクラスタリングの手法として、非階層的な手法であるｋ−ｍｅａｎｓ法を例に挙げたが、これに限らずウォード法(Ward's method)などの階層的な手法を用いてもよい。
【０１１０】
（２）オブジェクトについて
各実施の形態では、オブジェクトとして人の顔を例に挙げて説明したが、人に限らず、犬や猫などの動物の顔をオブジェクトとして画像特徴量の抽出対象としても構わない。また、画像に写るオブジェクトとしては、顔に限らず、自動車や植物、建物など様々な物体などが考えられる。
【０１１１】
（３）固有ベクトル算出方法について
実施の形態２では、固有ベクトル算出部５２はべき乗法を用いて固有ベクトルを算出するとしたが、これに限られない。例えば、逆反復法を用いてもよい。
【０１１２】
（４）固定値βについて
実施の形態２では、画像Ａ，Ｂへのリンクは固定値β（=0.1）を用いるとして説明した（図１７参照）が、固定値βの値は0.1に限らず、適宜設定することができる。また、人物ａから画像Ａへのリンクは固定値β１、ダミーＺから画像Ａへのリンクは固定値β２というように、画像へのリンクの固定値を個別に設定してもよい。
【０１１３】
また、下記参考文献２にあるように、外向きのリンクがなく重要度を吸い込んでしまうノードの問題(problem of rank sinks)に対する対処方法を利用して、画像Ａ，Ｂへのリンクの値を定めるとしてもよい。
【０１１４】
（５）背景のノードについて
実施の形態２では、全画像の背景を１個のノード（ダミーＺ）としてグラフ生成する例を説明したが、これに限らず、背景のノードを複数個作成したり、あるいは背景のノードを有さないグラフを作成しても構わない。
【０１１５】
（６）オブジェクトの重要度について
各実施の形態では、オブジェクトの重要度は、（Ａ）オブジェクトが属するクラスタの頻度と（Ｂ）オブジェクトの占有度とに基づいて求める例を挙げて説明した。
【０１１６】
もっとも、前者（Ａ）については、オブジェクトが属するクラスタを特徴付ける量であればよく、頻度（クラスタのメンバ数）に限られない。
また後者（Ｂ）についても、例えば、占有度に加えて人物の笑顔の度合いや顔の向きの度合いさらには人物のピントの度合いを重みとしても良い。
【０１１７】
笑顔の度合いの具体例としては、図２３に示すように、各オブジェクト（Ｆ１，Ｆ６）の重要度を、笑顔の度合いを示す係数を用いて算出してもよい。このとき、より笑顔の度合いが大きい画像Ｓの方が画像Ａより高い画像重要度となる。
【０１１８】
また、顔の向きの度合いの場合は、より正面を向くほど、より高い画像重要度となるような計算式とすることができる。
人物のピントの度合いについては、例えば、人物のピントがシャープであるほど高く評価し、ピントがぼけているほど低く評価する。このようなピント評価については、下記参考文献３の技術を用いることができる。
【０１１９】
さらに、占有度を全く用いずに、笑顔の度合いや顔の向きの度合いや人物のピントの度合いなどに基づいて各オブジェクトの重要度を算出しても構わない。
要するに、オブジェクトが各画像において写り込んでいる特徴を示す値であれば足り、占有度、笑顔の度合い、顔の向きの度合い、などに限らず様々な値を用いることができる。
【０１２０】
（７）オブジェクト抽出・クラスタリングについて
各実施の形態では、画像評価装置２の内部にオブジェクト特徴量抽出部１２やクラスタリング部１４を備えるとして説明したが、これらは画像評価装置２の外部装置にあっても構わない。
【０１２１】
図２４に示す画像評価システム１１１は、画像評価装置１１２、ＳＤメモリカード４、クラスタリング装置１１４を備える。クラスタリング装置１１４は、ＳＤメモリカード４から取得した画像データを基にオブジェクト特徴量を抽出するオブジェクト特徴量抽出部１２、クラスタリング部１４、クラスタ記憶部１６を備える。画像評価装置１１２は、クラスタ記憶部１６のクラスタ情報を取得するクラスタ情報取得部６０を備える。
【０１２２】
（８）画像を記憶する主体について
各実施の形態では、ＳＤメモリカード４内に評価対象の画像を記憶するとして説明したが、記録媒体であればこれに限られず、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)の記録媒体などを用いてもよい。
【０１２３】
また、画像評価装置を、画像を記憶するデジタルカメラや携帯電話の撮影機器と接続することにより、画像を取得することも考えられる。両者の接続の態様としては、有線（ＬＡＮケーブル、ＵＳＢケーブルなど）、無線（赤外線やBluetoothなど）を問わず様々な態様をとり得る。
【０１２４】
（９）集積回路
各実施の形態の画像評価装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１２５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１２６】
（１０）プログラム
各実施の形態で示した画像評価に係る処理（図２，３，６，９，１４，１５，１９など参照）をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
【０１２７】
このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、SDメモリーカード、マルチメディアカード、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、ＢＤ(Blu-ray Disc)等がある。
【０１２８】
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
【０１２９】
（１１）日時範囲の指定について
図９下部のディスプレイ６では、画像重要度の高い画像のランキングを表示するとしているが、これに限らずオブジェクト重要度の高い人物のランキングを表示するとしても構わない。
【０１３０】
さらには、日時範囲の指定を受け付けて重要度を算出の材料とする画像の対象を絞り込むことで、全画像から算出した重要度では分からなかった要素を浮かび上がらせるようにしてもよい。すなわち、ある特定の時期に限って重要とされた画像の表示や、ある特定の時期の人間関係を反映したランキングの表示を期待できる。
【０１３１】
この例を図２７の画面２７０に示す。画面２７０は、一般的なタッチスクリーンの画面であり、矢印やアイコンは指２７２のタッチにより選択可能である。
画面２７０右下には、スケールバー２７４がある。このスケールバー２７４には、"year"（年），"month"（月），"week"（週），"day"（日）の目盛りが付されている。ユーザは丸ボタン２７６を左右にドラッグして目盛りを設定し、左右の矢印２７８Ｌ，２７８Ｒをタップすることで、日時範囲の指定を行う。
【０１３２】
図２７の例では、2010年が日時範囲として指定されている。この場合、オブジェクト抽出部１１は、画像取得部１０に取得された画像の中からその撮影日時が2010年（例えば、2010/01/01/00:00〜2010/12/31/23:59）のものだけを、抽出対象とすることにより、評価部４８は撮影日時が2010年の画像に対応する重要度を算出する。そして、図２７の「2010年 年間ランキング」は、算出された重要度を表示制御部３６が表示したものとなっている。
【０１３３】
このように日時範囲の指定を受け付けてから、その都度、対応する重要度を算出する手法でもよいが、これに代えて、予め指定され得る日時範囲ごとに重要度を算出し記憶しておく手法でも構わない。
【０１３４】
また、日時範囲の指定の受け付けは図２７のようなタッチ入力に限らず、キーボードからの数値入力により受け付けるとしても構わない。
（１２）クラスタから画像へのリンクについて
実施の形態２では、人物などのクラスタからその人物が写った画像へのリンクの値は固定値としたが、占有度に応じて設定するとしても構わない。
【０１３５】
例えば、図２８のように、人物ａから画像Ａへのリンクの値（Ｆ（ａ→Ａ））を、Ｆ（ａ→Ａ）＝β×α（ａ）として、画像Ａにおける人物ａの占有度α（ａ）に比例するように設定してもよい。図２９に、このようなリンクのルールに従ったリンク設定を説明する図を示す。
＜参考文献＞
（１）参考文献１
「Ｇabor特徴の情報量による重みづけマッチングを用いた顔認識」
堀田 一弘（埼玉大学(日本学術振興会特別研究員)）
電子情報通信学会技術研究報告. HIP, 
ヒューマン情報処理 100(34) pp.31-38 20000504
（２）参考文献２
The PageRank citation ranking: Bringing order to the Web.
Page, Lawrence; Brin, Sergey; Motwani, Rajeev and Winograd, Terry (1999).
（３）参考文献３
特開2006-172417号公報
【産業上の利用可能性】
【０１３６】
本発明に係る画像評価装置によれば、家族などの複数ユーザが保有する膨大量の画像コンテンツの中から、ユーザにとって重要な画像を効率的に検索することができ、従来のユーザ操作による画像の評価方法と比較して、ユーザはより負担なく容易にコンテンツの閲覧検索が可能である。
【０１３７】
例えば、家族が撮り溜めた膨大量の写真コンテンツの中から、年賀状の作成で家族を代表する写真を探す場面において、画像のランキングに基づく検索結果から、ユーザは所望する画像を容易に選択することができ、パーソナルコンピュータやサーバ端末などの据置き型端末などで有用である。また、デジタルカメラや携帯電話などのモバイル型端末などとしても有用である。
【符号の説明】
【０１３８】
１，１０１，１１１  画像評価システム
２，１０２，１１２  画像評価装置
４  ＳＤメモリカード
１０  画像取得部
１１  オブジェクト抽出部
１２  オブジェクト特徴量抽出部
１４  クラスタリング部
１６  クラスタ情報記憶部
１８  オブジェクト出現特徴量算出部
２０  頻度算出部
２２  占有度算出部
２４  オブジェクト出現特徴量記憶部
２６  頻度記憶部
２８  占有度記憶部
３０  オブジェクト重要度算出部
３２  画像重要度算出部
３４ａ  オブジェクト重要度情報記憶部
３４ｂ  画像重要度情報記憶部
３６  表示制御部
４０  グラフ生成部
４４ａ１  画像・被写体ノード生成部
４４ａ２  ダミーノード生成部
４４ｂ１  被写体リンク設定部
４４ｂ２  ダミーリンク設定部
４６  グラフ記憶部
４８  評価部
５０  隣接行列生成部
５２  固有ベクトル算出部
５３  重要度算出部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
を備えることを特徴とする画像評価装置。
【請求項２】
前記評価手段は、
算出された第１値および第２値に基づいて、前記一の画像に現れているオブジェクトの重要度を算出するオブジェクト重要度算出手段と、
算出されたオブジェクトの重要度に基づいて、前記一の画像の評価を示す重要度を算出する画像重要度算出手段とを含む
ことを特徴とする請求項１に記載の画像評価装置。
【請求項３】
前記第１値算出手段は、前記複数の画像に含まれる全オブジェクトのうちで、一の画像に含まれるオブジェクトが属するクラスタのオブジェクト、が出現する頻度を算出し、
前記第２値算出手段は、前記一の画像に含まれるオブジェクトについて、
当該オブジェクトが前記一の画像において占める面積を示す占有度を算出し、
前記オブジェクト重要度算出部は、算出された頻度および占有度に基づいて、前記オブジェクトの重要度を算出する
ことを特徴とする請求項２に記載の画像評価装置。
【請求項４】
前記一の画像に第１オブジェクトと第２オブジェクトとが含まれる場合、
前記頻度算出手段は、
前記第１オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第１頻度と、
前記第２オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第２頻度と、
を算出し、
前記占有度算出手段は、
第１オブジェクトが前記一の画像において占める面積を示す第１占有度と、
第２オブジェクトが前記一の画像において占める面積を示す第２占有度と、
を算出し、
前記オブジェクト重要度算出手段は、
前記第１頻度および前記第１占有度に基づいて第１オブジェクトの重要度である第１重要度を算出し、
前記第２頻度および前記第２占有度に基づいて第２オブジェクトの重要度である第２重要度を算出し、
前記画像重要度算出手段は、
前記第１重要度および第２重要度に基づいて、前記一の画像の評価を示す重要度を算出する
ことを特徴とする請求項３に記載の画像評価装置。
【請求項５】
前記オブジェクトは、前記一の画像から切り出された人の顔である
ことを特徴とする請求項１に記載の画像評価装置。
【請求項６】
前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、
前記評価手段は、両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とする請求項１に記載の画像評価装置。
【請求項７】
前記オブジェクトが含まれる複数の画像はＰ個（Ｐは自然数）であって、
前記第１値算出手段は、Ｐ個の画像に含まれるオブジェクトが属するクラスタの個数のＱ個（Ｑは自然数）を算出し、
前記第２値算出手段は、前記Ｐ個の画像に現れているオブジェクトのそれぞれについて、当該オブジェクトが当該各画像において現れる特徴を示す第２値を算出し、
前記Ｐ個の画像をそれぞれ示すＰ個のノードと、前記Ｐ個の画像に含まれるオブジェクトが属するクラスタをそれぞれ示すＱ個のノードとを含むノードを作成するノード作成手段と、
ある画像Ａを示すノードＡと、当該画像Ａに含まれるオブジェクトが属するクラスタａを示すノードａについて、このノードＡ−ａ間のリンクの値を、クラスタａに属するオブジェクトの画像Ａにおける第２値を用いて設定するリンク設定手段と、
前記ノード作成手段に作成されたノードとリンク設定手段により設定されたリンクの値とにより構成されたグラフを表現する隣接行列を生成する隣接行列生成手段を備え、
前記評価手段は、
生成された隣接行列の主固有ベクトルを算出する固有ベクトル算出手段と、
算出された主固有ベクトルの要素に基づいてＮ個の画像それぞれの評価を示す重要度を算出する重要度算出手段と、
を含むことを特徴とする請求項１に記載の画像評価装置。
【請求項８】
前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値のうち、ノードＡからノードａへのリンクの値を前記第２値を用いて設定し、ノードａからノードＡへのリンクの値は前記第２値を用いずに設定する
ことを特徴とする請求項７に記載の画像評価装置。
【請求項９】
前記第２値算出手段が算出する第２値は、前記オブジェクトが当該各画像において占める面積を示す占有度である
ことを特徴とする請求項８に記載の画像評価装置。
【請求項１０】
前記第２値算出手段は、各画像においてオブジェクトが現れていない領域である背景の占有度を算出し、
前記ノード作成手段は、ダミーを示す１個のノードを作成し、
前記リンク設定手段は、
ある画像Ａを示すノードＡと、ダミーを示す１個のノードＺとについて、このノードＡ−Ｚ間のリンクの値のうちのノードＡからノードＺへのリンクの値を、画像Ａにおける背景の占有度を用いて設定する
ことを特徴とする請求項８に記載の画像評価装置。
【請求項１１】
前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値について、ノードＡからノードａへのリンクの値およびノードａからノードＡへのリンクの値を前記第２値を用いて設定する
ことを特徴とする請求項７に記載の画像評価装置。
【請求項１２】
前記複数の画像それぞれには撮影日時が関連付けられており、
さらに、日時の範囲の指定を受け付ける受付手段を備え、
前記第１値算出手段および第２値算出手段は、指定範囲に含まれる画像を用いて算出を行うが、指定範囲に含まれない画像を用いては算出を行わない
ことを特徴とする請求項１に記載の画像評価装置。
【請求項１３】
それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価方法であって、
各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
を含むことを特徴とする画像評価方法。
【請求項１４】
それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価処理をコンピュータに実行させるプログラムであって、
前記画像評価処理は、
各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
を含む処理であることを特徴とするプログラム。
【請求項１５】
オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
を備えることを特徴とする集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011099108.tif 000032
【図２】
2011099108.tif 000033
【図３】
2011099108.tif 000034
【図４】
2011099108.tif 000035
【図５】
2011099108.tif 000036
【図６】
2011099108.tif 000037
【図７】
2011099108.tif 000038
【図８】
2011099108.tif 000039
【図９】
2011099108.tif 000040
【図１０】
2011099108.tif 000041
【図１１】
2011099108.tif 000042
【図１２】
2011099108.tif 000043
【図１３】
2011099108.tif 000044
【図１４】
2011099108.tif 000045
【図１５】
2011099108.tif 000046
【図１６】
2011099108.tif 000047
【図１７】
2011099108.tif 000048
【図１８】
2011099108.tif 000049
【図１９】
2011099108.tif 000050
【図２０】
2011099108.tif 000051
【図２１】
2011099108.tif 000052
【図２２】
2011099108.tif 000053
【図２３】
2011099108.tif 000054
【図２４】
2011099108.tif 000055
【図２５】
2011099108.tif 000056
【図２６】
2011099108.tif 000057
【図２７】
2011099108.tif 000058
【図２８】
2011099108.tif 000059
【図２９】
2011099108.tif 000060
【手続補正書】
【提出日】平成23年4月28日(2011.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、
前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
を備え、
前記評価手段は、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、共起関係にある両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とする画像評価装置。
【請求項２】
前記評価手段は、
算出された第１値および第２値に基づいて、前記一の画像に現れているオブジェクトの重要度を算出するオブジェクト重要度算出手段と、
算出されたオブジェクトの重要度に基づいて、前記一の画像の評価を示す重要度を算出する画像重要度算出手段と
を含むことを特徴とする請求項１に記載の画像評価装置。
【請求項３】
前記第１値算出手段は、前記複数の画像に含まれる全オブジェクトのうちで、一の画像に含まれるオブジェクトが属するクラスタのオブジェクト、が出現する頻度を算出し、
前記第２値算出手段は、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが前記一の画像において占める面積を示す占有度を算出し、
前記オブジェクト重要度算出部は、算出された頻度および占有度に基づいて、前記オブジェクトの重要度を算出する
ことを特徴とする請求項２に記載の画像評価装置。
【請求項４】
前記一の画像に第１オブジェクトと第２オブジェクトとが含まれる場合、
前記頻度算出手段は、前記第１オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第１頻度と、前記第２オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第２頻度と、を算出し、
前記占有度算出手段は、第１オブジェクトが前記一の画像において占める面積を示す第１占有度と、第２オブジェクトが前記一の画像において占める面積を示す第２占有度と、を算出し、
前記オブジェクト重要度算出手段は、前記第１頻度および前記第１占有度に基づいて第１オブジェクトの重要度である第１重要度を算出し、前記第２頻度および前記第２占有度に基づいて第２オブジェクトの重要度である第２重要度を算出し、
前記画像重要度算出手段は、前記第１重要度および第２重要度に基づいて、前記一の画像の評価を示す重要度を算出する
ことを特徴とする請求項３に記載の画像評価装置。
【請求項５】
前記オブジェクトは、前記一の画像から切り出された人の顔であることを特徴とする請求項１に記載の画像評価装置。
【請求項６】
前記オブジェクトが含まれる複数の画像はＰ個（Ｐは自然数）であって、
前記第１値算出手段は、Ｐ個の画像に含まれるオブジェクトが属するクラスタの個数のＱ個（Ｑは自然数）を算出し、
前記第２値算出手段は、前記Ｐ個の画像に現れているオブジェクトのそれぞれについて、当該オブジェクトが当該各画像において現れる特徴を示す第２値を算出し、
前記Ｐ個の画像をそれぞれ示すＰ個のノードと、前記Ｐ個の画像に含まれるオブジェクトが属するクラスタをそれぞれ示すＱ個のノードとを含むノードを作成するノード作成手段と、
ある画像Ａを示すノードＡと、当該画像Ａに含まれるオブジェクトが属するクラスタａを示すノードａについて、このノードＡ−ａ間のリンクの値を、クラスタａに属するオブジェクトの画像Ａにおける第２値を用いて設定するリンク設定手段と、
前記ノード作成手段に作成されたノードとリンク設定手段により設定されたリンクの値とにより構成されたグラフを表現する隣接行列を生成する隣接行列生成手段を備え、
前記評価手段は、
生成された隣接行列の主固有ベクトルを算出する固有ベクトル算出手段と、
算出された主固有ベクトルの要素に基づいてＮ個の画像それぞれの評価を示す重要度を算出する重要度算出手段と、
を含むことを特徴とする請求項１に記載の画像評価装置。
【請求項７】
前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値のうち、ノードＡからノードａへのリンクの値を前記第２値を用いて設定し、ノードａからノードＡへのリンクの値は前記第２値を用いずに設定する
ことを特徴とする請求項６に記載の画像評価装置。
【請求項８】
前記第２値算出手段が算出する第２値は、前記オブジェクトが当該各画像において占める面積を示す占有度である
ことを特徴とする請求項７に記載の画像評価装置。
【請求項９】
前記第２値算出手段は、各画像においてオブジェクトが現れていない領域である背景の占有度を算出し、
前記ノード作成手段は、ダミーを示す１個のノードを作成し、
前記リンク設定手段は、ある画像Ａを示すノードＡと、ダミーを示す１個のノードＺとについて、このノードＡ−Ｚ間のリンクの値のうちのノードＡからノードＺへのリンクの値を、画像Ａにおける背景の占有度を用いて設定する
ことを特徴とする請求項７に記載の画像評価装置。
【請求項１０】
前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値について、ノードＡからノードａへのリンクの値およびノードａからノードＡへのリンクの値を前記第２値を用いて設定する
ことを特徴とする請求項６に記載の画像評価装置。
【請求項１１】
前記複数の画像それぞれには撮影日時が関連付けられており、
さらに、日時の範囲の指定を受け付ける受付手段を備え、
前記第１値算出手段および第２値算出手段は、指定範囲に含まれる画像を用いて算出を行うが、指定範囲に含まれない画像を用いては算出を行わない
ことを特徴とする請求項１に記載の画像評価装置。
【請求項１２】
それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価方法であって、
各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
を含み、
前記評価ステップでは、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、共起関係にある両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とする画像評価方法。
【請求項１３】
それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価処理をコンピュータに実行させるプログラムであって、
前記画像評価処理は、
各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出ステップと、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
を含む処理であり、
前記評価ステップでは、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、共起関係にある両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とするプログラム。
【請求項１４】
オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、
前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
前記一の画像に含まれるオブジェクトについて、当該オブジェクトが当該一の画像において現れる特徴を示す第２値を算出する第２値算出手段と、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
を備え、
前記評価手段は、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、共起関係にある両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とする集積回路。 
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
この構成によれば、グラフを構成するノード間で重みを伝播させることができる。例えば、画像のノードＡとオブジェクトのノードａ間のリンクに基づいて、画像とオブジェクト間で重要度を伝播させることができる。 
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
この構成によれば、画像Ａにおける特徴値を用いて、ノードＡ（画像Ａのノード）からノードａ（画像Ａに含まれるオブジェクトが属するクラスタａのノード）へのリンクの値を設定するので、例えば、画像Ａに上記オブジェクトが大写しされている場合には、リンクの値の重みを大きくするなどすることにより、画像Ａの内容に即した重みの伝播が可能となる。 
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
この構成によれば、オブジェクトが画像において現れる特徴を示す第２値を用いてリンクの値を設定することで、重要度の伝播を最適化できる。
また、前記複数の画像それぞれには撮影日時が関連付けられており、さらに、日時の範囲の指定を受け付ける受付手段を備え、前記第１値算出手段および第２値算出手段は、指定範囲に含まれる画像を用いて算出を行うが、指定範囲に含まれない画像を用いては算出を行わないとしても構わない。 
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
【図１】画像評価システム１の機能ブロック図
【図２】画像評価処理のあらましを示すフローチャート
【図３】画像取得・クラスタリング処理の詳細を示すフローチャート
【図４】オブジェクト特徴量の抽出からクラスタリングまでの流れを示すイメージ図
【図５】クラスタ情報のデータ構造を示す図
【図６】オブジェクト出現特徴量の算出処理の詳細を示すフローチャート
【図７】頻度情報のデータ構造を示す図
【図８】占有度情報のデータ構造を示す図
【図９】画像の評価処理の詳細を示すフローチャート
【図１０】画像Ａ〜画像Ｃにおけるオブジェクト重要度および画像重要度を説明するための図
【図１１】画像重要度情報のデータ構造を示す図
【図１２】画像Ｘ，画像Ｙにおけるオブジェクト重要度および画像重要度を説明するための図
【図１３】画像評価システム１０１の機能ブロック図
【図１４】画像評価処理のあらましを示すフローチャート
【図１５】占有度算出・グラフの生成処理の詳細を示すフローチャート
【図１６】画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を説明するための図
【図１７】画像Ａ，Ｂ、人物ａ，ｂ、ダミーＺの５個のノードのリンク設定を説明するための図
【図１８】グラフのテーブル構造を示す図
【図１９】隣接行列生成・画像の評価を示すフローチャート
【図２０】隣接行列Ｍを示す図
【図２１】主固有ベクトルＰの成分から画像重要度およびオブジェクト重要度を求める流れを説明する図
【図２２】オブジェクト間の重要度の伝播を説明するための図
【図２３】笑顔の度合いを用いたオブジェクト重要度の算出を説明する図
【図２４】画像評価システム１１１の機能ブロック図
【図２５】画像（画像Ｔ，画像Ｕ）と、タグ（タグａ，タグｂ）間の関係性を説明するための図
【図２６】画像Ｔ、タグａ、ダミーＺの間の関係性を説明するための図
【図２７】指定された日時範囲における人物・画像のランキングの表示例を示す図
【図２８】画像Ａ、人物ａ、ダミーＺ間にリンクを設定する例を説明するための図
【図２９】画像Ａ，Ｂ、人物ａ，ｂ、ダミーＺの５個のノードのリンク設定を説明するための図
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
例えば、各オブジェクトのオブジェクト重要度を積算してもよい。その際には、各項が１未満となって積算により値が減少しないようにする。例えば、占有度を割合に代えて百分率を用いる。この場合、画像Ｂ（図１０（ｂ）参照）において、顔Ｆ２の占有度は40、顔Ｆ３の占有度は30であるので、Ｆ２のオブジェクト重要度は、80(=40×2)、Ｆ３のオブジェクト重要度は60(=30×2)となる。そして、評価部３０は、80×60=4800を画像Ｂの画像重要度として算出する。
（実施の形態２）
実施の形態２では、画像に写っているオブジェクトとそのオブジェクトが属するクラスタの結び付きに基づいて画像を評価する。また、共起関係にあるオブジェクト（ひとつの画像に共に写っている複数のオブジェクト）どうしで重要度を伝播させる。これにより、頻度が少なかったり大きく写っていないオブジェクトでも、他の重要なオブジェクトと共起していれば、その重要度を引き上げことができる。
＜構成＞
図１３は、実施の形態２に係る画像評価システム１０１の機能ブロック図である。
【手続補正書】
【提出日】平成23年7月26日(2011.7.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オブジェクトが含まれる複数の画像を対象として、各画像を評価する画像評価装置であって、
前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
前記一の画像に含まれるオブジェクトについて、当該一の画像における当該オブジェクトの写り方の度合いを示す第２値を算出する第２値算出手段と、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
を備え、
前記評価手段は、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、前記一の画像と当該一の画像に含まれるオブジェクトとの間のリンク関係を含むグラフを生成し、当該グラフを用いることにより、共起関係にある両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とする画像評価装置。
【請求項２】
前記評価手段は、
算出された第１値および第２値に基づいて、前記一の画像に現れているオブジェクトの重要度を算出するオブジェクト重要度算出手段と、
算出されたオブジェクトの重要度に基づいて、前記一の画像の評価を示す重要度を算出する画像重要度算出手段と
を含むことを特徴とする請求項１に記載の画像評価装置。
【請求項３】
前記第１値算出手段は、前記複数の画像に含まれる全オブジェクトのうちで、一の画像に含まれるオブジェクトが属するクラスタのオブジェクト、が出現する頻度を算出し、
前記第２値算出手段は、前記一の画像に含まれるオブジェクトについて、当該オブジェクトが前記一の画像において占める面積を示す占有度を算出し、
前記オブジェクト重要度算出部は、算出された頻度および占有度に基づいて、前記オブジェクトの重要度を算出する
ことを特徴とする請求項２に記載の画像評価装置。
【請求項４】
前記一の画像に第１オブジェクトと第２オブジェクトとが含まれる場合、
前記第１値算出手段は、前記第１オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第１頻度と、前記第２オブジェクトが属するクラスタに含まれるオブジェクトの頻度を示す第２頻度と、を算出し、
前記第２値算出手段は、第１オブジェクトが前記一の画像において占める面積を示す第１占有度と、第２オブジェクトが前記一の画像において占める面積を示す第２占有度と、
を算出し、
前記オブジェクト重要度算出手段は、前記第１頻度および前記第１占有度に基づいて第１オブジェクトの重要度である第１重要度を算出し、前記第２頻度および前記第２占有度に基づいて第２オブジェクトの重要度である第２重要度を算出し、
前記画像重要度算出手段は、前記第１重要度および第２重要度に基づいて、前記一の画像の評価を示す重要度を算出する
ことを特徴とする請求項３に記載の画像評価装置。
【請求項５】
前記オブジェクトは、前記一の画像から切り出された人の顔であることを特徴とする請求項１に記載の画像評価装置。
【請求項６】
前記オブジェクトが含まれる複数の画像はＰ個（Ｐは自然数）であって、
前記第１値算出手段は、Ｐ個の画像に含まれるオブジェクトが属するクラスタの個数のＱ個（Ｑは自然数）を算出し、
前記第２値算出手段は、前記Ｐ個の画像に現れているオブジェクトのそれぞれについて、当該オブジェクトが当該各画像において現れる特徴を示す第２値を算出し、
前記Ｐ個の画像をそれぞれ示すＰ個のノードと、前記Ｐ個の画像に含まれるオブジェクトが属するクラスタをそれぞれ示すＱ個のノードとを含むノードを作成するノード作成手段と、
ある画像Ａを示すノードＡと、当該画像Ａに含まれるオブジェクトが属するクラスタａを示すノードａについて、このノードＡ−ａ間のリンクの値を、クラスタａに属するオブジェクトの画像Ａにおける第２値を用いて設定するリンク設定手段と、
前記ノード作成手段に作成されたノードとリンク設定手段により設定されたリンクの値とにより構成されたグラフを表現する隣接行列を生成する隣接行列生成手段を備え、
前記評価手段は、
生成された隣接行列の主固有ベクトルを算出する固有ベクトル算出手段と、
算出された主固有ベクトルの要素に基づいてＰ個の画像それぞれの評価を示す重要度を算出する重要度算出手段と、
を含むことを特徴とする請求項１に記載の画像評価装置。
【請求項７】
前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値のうち、ノードＡからノードａへのリンクの値を前記第２値を用いて設定し、ノードａからノードＡへのリンクの値は前記第２値を用いずに設定する
ことを特徴とする請求項６に記載の画像評価装置。
【請求項８】
前記第２値算出手段が算出する第２値は、前記オブジェクトが当該各画像において占める面積を示す占有度である
ことを特徴とする請求項７に記載の画像評価装置。
【請求項９】
前記第２値算出手段は、各画像においてオブジェクトが現れていない領域である背景の占有度を算出し、
前記ノード作成手段は、ダミーを示す１個のノードを作成し、
前記リンク設定手段は、ある画像Ａを示すノードＡと、ダミーを示す１個のノードＺとについて、このノードＡ−Ｚ間のリンクの値のうちのノードＡからノードＺへのリンクの値を、画像Ａにおける背景の占有度を用いて設定する
ことを特徴とする請求項７に記載の画像評価装置。
【請求項１０】
前記リンク設定手段は、前記ノードＡ−ａ間のリンクの値について、ノードＡからノードａへのリンクの値およびノードａからノードＡへのリンクの値を前記第２値を用いて設定する
ことを特徴とする請求項６に記載の画像評価装置。
【請求項１１】
前記複数の画像それぞれには撮影日時が関連付けられており、
さらに、日時の範囲の指定を受け付ける受付手段を備え、
前記第１値算出手段および第２値算出手段は、指定範囲に含まれる画像を用いて算出を行うが、指定範囲に含まれない画像を用いては算出を行わない
ことを特徴とする請求項１に記載の画像評価装置。
【請求項１２】
それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価方法であって、
各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
前記一の画像に含まれるオブジェクトについて、当該一の画像における当該オブジェクトの写り方の度合いを示す第２値を算出する第２値算出ステップと、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
を含み、
前記評価ステップでは、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、前記一の画像と当該一の画像に含まれるオブジェクトとの間のリンク関係を含むグラフを生成し、当該グラフを用いることにより、共起関係にある両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とする画像評価方法。
【請求項１３】
それぞれオブジェクトを含む複数の画像を対象として、各画像を評価する画像評価処理をコンピュータに実行させるプログラムであって、
前記画像評価処理は、
各オブジェクトについて属するクラスタを示すクラスタ情報を取得する取得ステップと、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出ステップと、
前記一の画像に含まれるオブジェクトについて、当該一の画像における当該オブジェクトの写り方の度合いを示す第２値を算出する第２値算出ステップと、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価ステップと
を含む処理であり、
前記評価ステップでは、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、前記一の画像と当該一の画像に含まれるオブジェクトとの間のリンク関係を含むグラフを生成し、当該グラフを用いることにより、共起関係にある両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とするプログラム。
【請求項１４】
オブジェクトが含まれる複数の画像を対象として、各画像を評価する集積回路であって、
前記オブジェクトには、それぞれオブジェクトが属するクラスタを示すクラスタ情報がそれぞれ関連付けられており、
一の画像に含まれるオブジェクトについて、当該オブジェクトが属するクラスタに基づき第１値を算出する第１値算出手段と、
前記一の画像に含まれるオブジェクトについて、当該一の画像における当該オブジェクトの写り方の度合いを示す第２値を算出する第２値算出手段と、
算出された第１値および第２値に基づいて、前記一の画像に現れている１以上のオブジェクトの重要度と、前記一の画像の重要度とを算出する評価手段と
を備え、
前記評価手段は、前記一の画像に第１オブジェクトと第２オブジェクトとが現れている場合、前記一の画像と当該一の画像に含まれるオブジェクトとの間のリンク関係を少なくとも含むグラフを生成し、当該グラフを用いることにより、共起関係にある両オブジェクト間で重要度を伝播させつつ両オブジェクトの重要度を算出する
ことを特徴とする集積回路。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
図２２を用いて具体的な例を挙げて説明すると、人物ａ（息子）、人物ｄ（祖母）、人物ｅ（息子の友人）の３種のクラスタの頻度は、人物ａ＞人物ｅ>人物ｄの順であり、特に人物ａの頻度が非常に高い（人物ａの重要度が高いことを意味する。）ものとする（図２２（ａ））。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
そして、評価対象の画像の中に、画像Ｄのように人物ａと人物ｄにそれぞれ属する２つのオブジェクト（顔）が共起していれば、人物ｄの重要度は、人物ａの高い重要度により、その重要度を引き上げることができる。このため、人物ｄは人物ｅより頻度が低いにも関わらず、人物ｄがひとりで写っている画像Ｅの画像重要度は、人物ｅがひとりで写っている画像Ｆの画像重要度を上回る結果となり得る。
【国際調査報告】
2011099108.tif 000061
2011099108.tif 000062
2011099108.tif 000063
2011099108.tif 000064
2011099108.tif 000065
2011099108.tif 000066