(57)【要約】  被写体との対応付けを行う際にユーザへの負担を軽減する画像処理装置を提供する。  画像処理装置は、複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶、及び複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶し、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出し、抽出した撮影属性に対応付けられたイベントについて、対応付けられた被写体を特定し、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が特定された被写体を含む場合には当該被写体との対応付けを行う。
2012147256.tif 000002
【特許請求の範囲】
【請求項１】
複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、
複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、
撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、
抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、
前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、
前記画像群を当該画像群に含まれる前記複数の画像それぞれに対応する撮影に係る情報に基づいて１以上の画像集合に分割し、分割した画像集合毎に、１以上の前記撮影属性を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影に係る情報は、画像撮影時の時間を示す時間情報、場所を示す場所情報、被写体である人物の人物情報、撮影方法を示す撮影情報及び撮影時の環境を示す環境情報のうち、少なくとも１つの情報を含むものである
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記抽出手段は、
前記分割に用いる各情報間の類似度を算出し、算出した類似度を用いて類似する各画像を含むよう前記分割を行う
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記抽出手段は、
前記属性に含まれる各情報のうち、少なくとも１の情報を用いて取得される統計量情報を前記撮影属性とする
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記抽出手段は、前記画像集合毎に、当該画像集合における１つ以上の人物情報から一の人物の家族が特定される場合には当該家族を示す家族構成情報を前記統計量情報として、又は当該画像集合における１つ以上の人物情報それぞれから得られる人物の性別若しくは年齢の分布を示す人物被写体情報を前記統計量情報として取得する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記家族構成情報、又は前記被写体情報には、時間経過による顔や体の変化度合いとしての経年変化性を示す時間変遷情報が含まれる
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記イベントには、複数の被写体が対応付けられており、
前記撮影属性と、イベントについて撮影された画像に含まれ得る被写体とを対応付けることで、前記撮影属性とイベントとの対応付けがなされており、
前記特定手段は、
前記撮影属性それぞれについて、当該撮影属性に対応する被写体について優先度を計上し、前記複数のイベントのうち、被写体に対する優先度の合計が最も高いイベントを候補イベントとして特定し、特定した前記候補イベントに関連する複数のオブジェクトのうち、所定の値以上の優先度を有する被写体を特定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項９】
撮影属性毎に当該撮影属性に応じた優先度が割り当てられており、
前記特定手段は、
前記撮影属性それぞれについて、当該撮影属性に対応する被写体について当該撮影属性に割り当てられた優先度を計上する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
複数の被写体について類似する被写体の集合毎に、当該集合を識別する類似識別情報が対応付けられており、
前記特定手段は、
前記類似する被写体の集合毎に、所定の値以上の優先度のうち最も高い優先度を有する被写体を特定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記対応付手段は、
前記分類の結果により再度の分類が必要であるか否かを判断し、
前記特定手段は、
再度の分類が必要であると判断される場合に、当該分類に用いた前記被写体からなる集合を含まない他の集合、前記被写体を全て含む集合、又は前記被写体からなる集合の一部を含む他の集合を特定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１２】
前記対応付手段は、
分類結果により、一の被写体に分類される画像の枚数が所定数以上である場合には、再度の分類が必要であると判断し、
前記特定手段は、前記一の被写体を含む他のイベントを特定し、特定した他のイベントについて対応する複数の被写体のうち、前記所定の値以上の優先度を有する被写体を特定する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
被写体毎に撮影の難易度に応じた値が割り当てられており、
前記特定手段は、
前記撮影属性それぞれについて、当該撮影属性に対応する被写体について当該被写体に割り当てられた難易度に応じた値を優先度として計上する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１４】
前記画像処理装置は、さらに、
前記抽出手段による前記抽出に先立って、前記画像群に含まれる前記複数の画像それぞれについて、当該画像内の構成に応じて、複数の領域に分割する領域分割手段を備え、
前記抽出手段は、分割した領域毎に１以上の撮影属性を抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記領域分割手段は、
画像内における人物の領域とその他の領域とに分割する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記画像処理装置は、さらに、
ユーザから、同一イベントに属する一の画像群について被写体の抽出指示を受け付ける受付手段と、
前記抽出指示が受け付けられると、前記一の画像群から前記一の画像群が属するイベントにおける被写体を抽出し、抽出した被写体を前記一の画像群が属するイベントと対応付け、前記被写体情報記憶手段に登録する登録手段とを備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
前記登録手段は、
前記一の画像群から撮影属性を抽出し、抽出した撮影属性を、前記一の画像群が属するイベントと対応付ける
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記画像処理装置は、さらに、
前記特定手段で特定された被写体に対応付けられ、当該被写体の特徴量からなるモデル情報を外部の装置からネットワークを介して取得する取得手段を備え、
前記対応付手段は、
前記複数の画像それぞれに対して、当該画像の特徴量とから前記取得手段で取得したモデル情報が示す特徴量とから当該画像に前記特定手段で特定された被写体が含まれるか否かを判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１９】
前記画像処理装置は、さらに、
前記画像群を、外部の装置からネットワークを介して取得する取得手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項２０】
複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、抽出手段と、特定手段と対応付手段とを備える画像処理装置で用いられる処理方法であって、
前記抽出手段が、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出ステップと、
前記特定手段が、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定ステップと、
前記対応付手段が、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付ステップとを含む
ことを特徴とする処理方法。
【請求項２１】
複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、抽出手段と、特定手段と対応付手段とを備える画像処理装置で用いられるコンピュータプログラムであって、
前記抽出手段に、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出ステップと、
前記特定手段に、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定ステップと、
前記対応付手段に、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付ステップとを実行させる
ことを特徴とするコンピュータプログラム。
【請求項２２】
画像処理装置に用いられる集積回路であって、
複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、
複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、
撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、
抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、
前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備える
ことを特徴とする集積回路。
【請求項２３】
画像処理装置と、当該画像処理装置とネットワークを介して接続されたサーバ装置とからなる画像処理システムであって、
前記画像処理装置は、
複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、
複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、
撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、
抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、
前記特定手段で特定された被写体に対応付けられ、当該被写体の特徴量からなるモデル情報を前記サーバ装置から前記ネットワークを介して取得する取得手段と、
前記画像群に含まれる前記複数の画像それぞれについて、当該画像の特徴量とから前記取得手段で取得したモデル情報が示す特徴量とから当該画像に前記特定手段で特定された被写体が含まれるか否かを判定し、当該画像が当該被写体を含むと判定する場合には当該画像と当該被写体との対応付けを行う対応付手段とを備え、
前記サーバ装置は、
前記被写体情報記憶手段で記憶されるべき被写体それぞれについて、当該被写体の特徴量からなるモデル情報を当該被写体と対応付けて記憶しているモデル情報記憶手段と、
前記画像処理装置で特定された被写体に対応するモデル情報を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備える
ことを特徴とする画像処理システム。
【請求項２４】
画像処理装置と、当該画像処理装置とネットワークを介して接続された端末装置とからなる画像処理システムであって、
前記端末装置は、
撮影された複数の画像からなる画像群を記憶している画像記憶手段と、
前記画像群を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備え、
前記画像処理装置は、
複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、
複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、
前記画像群を前記ネットワークを介して前記端末装置から取得する取得手段と、
前記取得手段で取得した前記画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、
抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、
前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備える
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが保有する画像群に含まれる各画像にタグ付けを行う画像処理装置に関するものである。
【背景技術】
【０００２】
近年、例えば被写体像を撮像するＤＳＣ（Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａ）や一眼レフデジタルカメラ、さらにデジタルカメラ付き携帯電話やデジタルムービーカメラが広く普及し、さらには、画像データ保存用の記録媒体は大規模化が進んでいる。そのため、個人ユーザでも膨大な量の画像や動画等のＡＶ（ＡｕｄｉｏＶｉｄｅｏ）コンテンツを保有できる様になっている。しかし、ユーザが膨大な量の画像群や動画群から、ユーザにとって必要な画像や動画を探すことは、多大な時間と労力を必要とする。【０００３】
そこで、ユーザの所望画像を効率的に探せる様に、ユーザが保有する画像群において画像毎に含まれる被写体を自動的に分類しタグ付けする画像の整理支援技術が注目されている。【０００４】
例えば、画像に関する情報を簡単且つ迅速に取得するために複数のテーマ毎に画像認識エンジンとモデル辞書を用意しておき、ユーザがテーマを指定することにより、その指定されたモデル辞書と認識エンジンを用いて対象画像内のオブジェクトに適切なタグを付与すると共にそのオブジェクトの関連情報を抽出する事でユーザが知りたいオブジェクトの関連情報を効果的に抽出できる手法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−５８５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１で開示されている技術では、複数の画像についてタグ付け（オブジェクトとの対応付け）を行う場合には、ユーザが処理対象である複数の画像で用いられる一の画像認識エンジンとモデル辞書とを特定する必要がある。このような場合、処理対象となる画像の枚数が増えれば増えるほど、タグ付けの処理に用いる画像認識エンジンとモデル辞書とを特定することは困難になり、ユーザの負担が増すだけである。【０００７】
そこで、本発明は、上記問題に鑑みて、被写体との対応付けを行う際にユーザへの負担を軽減する画像処理装置、処理方法、コンピュータプログラム及び集積回路を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、画像処理装置であって、複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備えることを特徴とする。
【発明の効果】
【０００９】
上記構成によると、画像処理装置は、画像群における撮影属性に対応付けられたイベントから当該イベントで撮影された画像に含まれ得る被写体を特定して対応付けを行う。これにより、ユーザは、対応付けに用いる被写体を指定する必要がないので、画像と被写体との対応付け処理時におけるユーザの負担は軽減される。
【図面の簡単な説明】
【００１０】
【図１】画像分類装置（画像処理装置）１の構成を示すブロック図である。
【図２】メタデータ情報テーブルＴ１のデータ構造の一例を示す図である。
【図３】画像特徴量算出手段１２により抽出される画像特徴量の一例を示す図である。
【図４】共通属性抽出手段１３の構成を示すブロック図である。
【図５】撮影ユニット抽出手段１３２において抽出された撮影ユニットの一例を示す図である。
【図６】撮影ユニット抽出手段１３２において抽出された撮影ユニットから取得される共通属性の一例を示す図である。
【図７】物体カテゴリ毎の特徴量であるモデル情報を格納するテーブルＴ１０のデータ構造の一例を示す図である。
【図８】基本イベントオブジェクト表Ｔ２０のデータ構造の一例を示す図である。
【図９】属性情報テーブルＴ３０のデータ構造の一例を示す図である。
【図１０】イベント情報テーブルＴ４０のデータ構造の一例を示す図である。
【図１１】更新後の基本イベントオブジェクト表Ｔ２１のデータ構造の一例を示す図である。
【図１２】分類結果情報テーブルＴ５０のデータ構造の一例を示す図である。
【図１３】分類処理を示す流れ図である。
【図１４】分類辞書作成処理を示す流れ図である。
【図１５】画像分類装置１０００の構成を示すブロック図である。
【図１６】再帰的な分類処理を示す流れ図である。
【図１７】画像分類装置１０００Ａの構成を示すブロック図である。
【図１８】軸オブジェクトによる分類処理を示す流れ図である。
【図１９】画像分類装置２０００の構成を示すブロック図である。
【図２０】顔領域検出や人体領域検出結果の一例を示す図である。
【図２１】領域別被写体オブジェクトの分類処理を示す流れ図である。
【図２２】画像分類装置２０００Ａの構成を示すブロック図である。
【図２３】画像分類装置３０００の構成を示すブロック図である。
【図２４】共通属性の登録処理を示す流れ図である。
【図２５】画像分類システム４０００の構成を示す図である。
【図２６】画像分類装置４１００の構成を示すブロック図である。
【図２７】サーバ装置４５００の構成を示すブロック図である。
【図２８】モデル情報送信処理を示す流れ図である。
【図２９】画像分類システム４０００Ａの構成を示す図である。
【図３０】画像分類装置４１００Ａの構成を示すブロック図である。
【図３１】端末装置４６００の構成を示すブロック図である。
【図３２】多様性情報を含むテーブルＴ１００のデータ構造の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
１．実施の形態１
以下、図面を参照してこの発明の実施形態について説明する。本実施の形態１は、家庭内等のユーザのローカルな多くの画像や動画データからなる画像群を整理する画像分類装置において、画像群について共通する属性を利用することにより、各画像内に含まれる被写体オブジェクト（物体）を精度良く自動分類する仕組みに関するものである。
【００１３】
１．１  構成
図１は、画像分類装置（画像処理装置）１の構成を示すブロック図である。図１において、画像分類装置１は、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７とから構成されている。
【００１４】
（１）ローカルデータ蓄積手段１１
ローカルデータ蓄積手段１１は、一定の限られたユーザが保有する家庭内等のファイルデータを蓄積する記録媒体である。例えば、家族内の写真画像や動画像データが記憶されている。ローカルデータ蓄積手段は、HDDやDVD等の大容量メディアディスクや半導体メモリ等のストレージデバイス等である。
【００１５】
また、ローカルデータ蓄積手段１１は、家庭内等のファイルデータ（写真画像や動画像データ）に対応する、画像毎に撮影時に付与されるメタデータ情報を蓄積している。  画像のメタデータ情報とは、例えばＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）情報に含まれる、撮影日時情報や撮影場所情報であるＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報や撮影方法情報として撮影時の撮影モード情報や各種撮影時のカメラパラメータ等である。
【００１６】
ここで、メタデータ情報を含むメタデータ情報テーブルＴ１の一例を図２に示す。メタデータ情報テーブルＴ１に含まれるメタデータ情報は、図２に示すように、画像を一意に識別するための識別子である画像データ番号毎に、対応付けられている。メタデータ情報は、図２に示すように、ファイル名、撮影された時間を表す撮影時間情報、撮影時の地理的位置情報としてGPS情報から得られる経度及び緯度情報と、撮影時の明るさの調整を行うＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度情報、明るさを適正に視聴できるように調整する露出情報、及び撮影時の色バランスを調整するホワイトバランス情報（ＷＢ）等のカメラパラメータ情報等が含まれている。なお、画像特徴量算出手段１２で算出される画像解析により算出可能な画像特徴量情報も併せて画像情報とする構成としても良い。
【００１７】
（２）画像特徴量算出手段１２
画像特徴量算出手段１２は、画像特徴としてエッジや色やテクスチャ等の画像の基本的な低次特徴量から物体に特異な高次特徴量を算出するものである。
【００１８】
高次特徴量は、例えば、特徴的な点を中心に局所領域の特徴を表すＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）等の局所特徴量や物体の形状特徴を表すＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ）等の特徴量が存在する。また、画像内の顔や人や物体等の被写体オブジェクト（物体）を認識可能な特異な特徴量を算出しても良い。具体的な手法については、例えば特許文献（特開2008-250444号公報）に記載されている様な実用化されている顔検出装置や、人体検出や一般物体検出については、藤吉弘亘著の「Ｇｒａｄｉｅｎｔベースの特徴抽出−ＳＩＦＴとＨＯＧ−」（情報処理学会研究報告 ＣＶＩＭ  １６０，ｐｐ．２１１−２２４，２００７）に詳細が記載されている。
【００１９】
ここで、画像特徴量算出手段１２により抽出される画像特徴量の一例を図３に示す。画像特徴量には、画像の基本的な特徴量情報である色情報やテクスチャ情報の様な低次元特徴量から被写体オブジェクトの特徴を表現可能な高次元特徴量の算出が考えられる。画像特徴量は、画像データ番号毎に対応付けられており、カラー１、２、エッジ１、２、局所１、２、顔、顔数等が含まれる。
【００２０】
カラー１、２は、画像の色情報であり、ＲＧＢ値から画像内統計値として算出された値である。なお、画像の色情報は、ＨＳＶやＹＵＶ色空間へ変換した色相情報として算出された値、又はカラーヒストグラムやカラーモーメント等の統計量情報等として算出された値であってもよい。
【００２１】
エッジ１、２は、テクスチャ情報であり、画像内の線分検出された特徴を一定角度毎に画像内統計値として算出した値である。
【００２２】
局所１、２は、高次元特徴を示すものであり、特徴的な点を中心に局所領域の特徴を表したり物体の形状を表したりする特徴である。具体的には、ＳＩＦＴやＳＵＲＦやＨＯＧ等の特徴量が存在する。
【００２３】
また、顔は顔検出技術等から得られる顔情報に基づいて、画像内における顔の有無を示すものであり、顔数は顔検出技術により検出された顔の数を示す。
【００２４】
さらに、画像特徴として、顔の大きさ、服装の色や形状及び人検出技術等から人に関連する画像認識情報等を含めることも考えられる。また、車検出及び犬や猫などのペット検出に代表されるような画像認識技術による結果を利用することも可能である。
【００２５】
（３）共通属性抽出手段１３
共通属性抽出手段１３は、ローカルデータ蓄積手段１１に格納されている複数の画像からなる画像群について、１つ以上の共通の属性を抽出するものである。
【００２６】
共通属性抽出手段１３は、画像群から共通属性を抽出する際には、メタデータ情報やユーザが直接付与するタグ情報を利用して、共通するメタデータ情報、タグ情報を共通属性として取得する。さらに、顔検出や人体検出技術により検出可能な人物情報やユーザが付与する撮影理由情報等を用いて共通属性情報を抽出しても良い。
【００２７】
以下、共通属性抽出手段１３の詳細な構成について説明する。
【００２８】
共通属性抽出手段１３は、図４に示すように、画像情報抽出手段１３１と、撮影ユニット抽出手段１３２と、共通属性判定手段１３３とから構成されている。
【００２９】
（３−１）画像情報抽出手段１３１
画像情報抽出手段１３１は、分類対象となる画像群に含まれる画像それぞれから画像情報であるメタデータ情報やタグ情報を取得する。
【００３０】
（３−２）撮影ユニット抽出手段１３２
撮影ユニット抽出手段１３２は、画像情報抽出手段１３１で抽出された画像情報を利用して、ユーザが同じ撮影イベントとして撮影したと考えられる一連の複数の画像を一ユニットとするグループに画像群を分割する。以下において、分割されたグループを撮影ユニットを呼ぶ。
【００３１】
具体的には、撮影ユニット抽出手段１３２は、撮影間隔が一定時間幅以下でユニット化したり、画像撮影地の距離間隔が一定距離範囲以下であったり一定の敷地領域範囲内でユニット化する。また、時間情報と場所情報を合わせて撮影イベント単位を判定する手法等も存在する。例えば、Ｍｏｒ  Ｎａａｍａｎ  ｅｔｃ著の「Ａｕｔｏｍａｔｉｃ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｄｉｇｉｔａｌ  Ｐｈｏｔｏｇｒａｐｈｓ  ｗｉｔｈ  Ｇｅｏｇｒａｐｈｉｃ  Ｃｏｏｒｄｉｎａｔｅｓ」（ｈｅ  4ｔｈ  ＡＣＭ／ＩＥＥＥ−ＣＳ  ｊｏｉｎｔ  ｃｏｎｆ．  ｏｎ  Ｄｉｇｉｔａｌ  ｌｉｂｒａｒｉｅｓ，  ｐｐ．  ５３−６２，２００４）に詳細が記載されている。
【００３２】
また、撮影ユニット抽出手段１３２は、撮影画像間における検出された顔の類似度や人物情報である人数や服装等の類似度が一定値以上近似している場合にユニット化してもよい。さらに、撮影ユニット抽出手段１３２は、撮影時のカメラの撮影モード情報や各種撮影時のカメラパラメータ等の情報が撮影画像間で一定値以上近似している場合にユニット化してもよい。
【００３３】
撮影ユニット抽出手段１３２は、タグ情報を用いて、ユーザにより直接撮影イベント名が付与されて意図的にグループ化された単位でのユニット化してもよい。
【００３４】
なお、これらのユニット化手法を組み合わせて撮影ユニットを判定する構成としても良い。
【００３５】
（３−３）共通属性判定手段１３３
共通属性判定手段１３３は、撮影ユニット抽出手段１３２で判定された撮影ユニット単位毎に、当該撮影ユニットに含まれる画像それぞれについて画像情報抽出手段１３１で抽出された画像情報を用いて、当該撮影ユニットについての共通属性を抽出する。
【００３６】
ここで、共通属性の種類としては、季節や温度や撮影頻度や撮影時間帯といった時間情報、移動度合いや屋内外やランドマークといった場所情報、撮影イベントに対する参加者や家族構成や年齢といった人物情報、撮影カメラの撮影モードや撮影パラメータといった撮影方法情報、ユーザによる画像群に対して付与された撮影イベント等の撮影理由情報が存在する。例えば、季節は撮影時間から特定することができる。また、温度は、撮影時間、撮影場所に基づいて、外部の装置から取得してもよいし、画像分類装置１に温度計を備えて、撮影されると、そのときの温度を測定し、その測定結果をメタデータ情報に含めてもよい。
【００３７】
また、共通属性は、種類として示した各情報のうち少なくとも１つの情報を用いて算出された統計量としてもよい。例えば、撮影ユニットに含まれる１つ以上の画像それぞれから得られる時間情報から撮影ユニットの期間を特定し、特定した期間が属する季節を統計量として特定する。または、撮影ユニットに含まれる１つ以上の画像それぞれから得られる場所情報から、撮影ユニットにおける撮影範囲を特定し、特定した範囲が自宅内であるか、近所であるか等を判定し、その結果を共通属性とする。
【００３８】
また、人物情報から、統計量として家族の構成を示す家族構成情報を算出してもよい。たとえば、撮影ユニットにおいて、人物情報から子ども、父親、母親、兄弟等が撮影された画像の枚数を算出することができる。算出結果から家族を構成する全ての人物が撮影ユニットを構成する画像のうち少なくとも一の画像に含まれていること特定される場合には、共通属性として、撮影された各人物情報からなる家族構成情報を生成する。また、人物情報を基に、家族構成情報だけでなく友人に係る情報や親戚に係る情報等を生成してもよい。
【００３９】
または、人物情報から得られる人物に係る情報（被写体人物情報）を推定し、推定した被写体人物情報を基に共通属性を抽出してもよい。例えば被写体人物情報として年齢を推定し、推定した年齢を基に統計量を算出することが考えられる。この場合、撮影ユニットに含まれる１つ以上の画像それぞれから人物を抽出し、抽出した人物それぞれの年齢を推定し、１０代以下、２０代、３０代などの年代ごとの分布数を統計量として算出する。なお、推定対象は年齢だけでなく、男女、おとな・子ども等のように、人物情報から推定されるものであればよい。
【００４０】
（３−４）具体例
撮影ユニット抽出手段１３２で抽出された撮影ユニット毎に共通属性を抽出する具体的な処理内容について説明する。ここでは、短期的(１日)に撮影された画像群から撮影ユニット抽出手段１３２において抽出された撮影ユニットの一例を図５に示す。
【００４１】
撮影ユニット抽出手段１３２は、一定撮影間隔でまとめられた撮影ユニットをユニットＴ１−Ｔ６として抽出する。さらに、撮影ユニット抽出手段１３２は、一定撮影範囲（画像間の撮影場所の位置変化が１００ｍ以内）でまとめられたユニットＰ１−Ｐ３が撮影ユニットとして抽出される。
【００４２】
共通属性判定手段１３３が共通属性を抽出する際には、例えば、まず最小の撮影ユニット単位（ここでは、ユニットＴ１からＴ６）に対して各ユニット内の画像情報における同一項目を判定する。さらに、共通する項目で階層化して上位層の撮影ユニット（ここでは、ユニットＰ１からＰ３）について同一項目を判定することで階層化された画像情報の同一項目情報を抽出し、それを共通属性として出力する。
【００４３】
図５に示す例から取得される共通属性の一例を図６に示す。ユニットＴ１−Ｔ６のそれぞれの撮影ユニット内で同一な項目については階層４にその同一項目情報が存在し、場所も一致するユニットＰ１−Ｐ３に対応する撮影ユニット内で同一な項目については階層３にその同一項目情報が存在している。さらに、顔検出等の画像特徴量情報も利用することで人物情報を取得し、撮影ユニット内に存在する登場人物で同一項目を取得した結果が階層２になっており、階層１には全撮影ユニットに共通する同一項目が抽出されている。
【００４４】
なお、撮影時の撮影モード情報や各種撮影時のカメラパラメータ等の情報によりさらに詳細な撮影ユニットを抽出して同一項目情報を抽出したり、ユーザにより直接タグ付けされた又はユニット化された単位で階層化を行う様な構成としても良い。さらに、旅行の様な数日に渡る撮影ユニット単位やユーザのイベント毎の撮影スタイルや家族構成といった長期的な画像情報から判定される共通属性を抽出する事なども考えられる。
【００４５】
（４）分類手段１４
分類手段１４は、分類対象とである画像について、当該画像から算出された特徴量と、分類辞書作成手段１５で作成された分類辞書で示される１つ以上のモデル情報とを分類器を用いた判定処理を行い、当該画像内に含まれるモデルを判定するものである。
【００４６】
一般的な分類器としては、ＧＭＭ（Ｇａｕｓｓｉａｎ  ｍｉｘｔｕｒｅ  ｍｏｄｅｌ）やＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）などが存在する。モデル情報は、例えば顔や人体等を判別可能な画像の特徴量データをモデル化した情報である。分類器は、分類対象の画像に含まれるモデルの判別、及びその判別信頼度としての尤度を出力する。ここで、尤度は一般的に値が大きいほど信頼度が高いことを意味する。
【００４７】
分類手段１４は、分類器から出力されたモデルの判別結果とその尤度とを、分類対象の画像を示す画像データ番号と対応付けて、画像属性情報蓄積手段１７へ蓄積する。
【００４８】
（５）分類モデル情報蓄積手段１６
分類モデル情報蓄積手段１６は、物体カテゴリ（オブジェクト）毎に、当該オブジェクトに対応するモデル情報を蓄積する記憶媒体である。例えば、画像の特徴量と各特徴量の重要性などの重み付けを行った結果をそのままモデル情報とすること等が考えられる。モデル情報としての画像の特徴量の算出手法は、上述したように、ＧＭＭやＳＶＭがある。また、他の手法としては、ＡＤＡＢＯＯＳＴがある。これら手法は既知の技術であるので、ここでの説明は省略する。ここで、物体カテゴリ毎の特徴量であるモデル情報を格納するテーブルＴ１０の一例を図７に示す。テーブルＴ１０は、物体カテゴリ名とモデル情報とからなる組を複数記憶するための領域を有している。例えば、物体カテゴリ名が「桜」であれば、桜の画像についての特徴量と対応付けられている。
【００４９】
分類モデル情報蓄積手段１６は、図８に示す基本イベントオブジェクト表Ｔ２０を記憶している。基本イベントオブジェクト表Ｔ２０は、分類辞書作成手段１５で用いられる基本イベントオブジェクト情報を含んでいる。通常、一連の撮影イベントとして保有されるユーザのローカルデータではイベント内で撮影され易いオブジェクトほど分類優先度が高くなる。そのため、基本イベントオブジェクト表Ｔ２０には、撮影イベントで撮影され易い被写体オブジェクトと共にその種別の類似属性が記載されている。またそれぞれの被写体オブジェクトの分類優先度はデフォルトで１．０と設定している。
【００５０】
また、分類モデル情報蓄積手段１６は、分類辞書作成手段１５で用いられるオブジェクト優先属性情報からなる属性情報テーブルＴ３０を蓄積している。ここで、属性情報テーブルＴ３０の一例を図９に示す。属性情報テーブルＴ３０では、物体カテゴリ名それぞれに対して、季節、屋内外、参加者、場所等のオブジェクト優先属性情報が対応付けられている。
【００５１】
さらに、分類モデル情報蓄積手段１６は、撮影イベントに紐付くイベント関連物体及びその優先属性情報からなるイベント情報テーブルＴ４０を蓄積している。ここで、イベント情報テーブルＴ４０の一例を図１０の一覧表に示す。イベント情報テーブルＴ４０は、図１０に示すように、撮影のイベント毎に、イベント関連物体、時間情報、場所情報、人物情報が対応付けられている。イベント関連物体とは、対応するイベントを特徴付ける物体であり、例えば、「お花見」であれば、それを特徴付ける物体として、「桜」、「団子」、「屋台」、「ビール」などが挙げられる。時間情報とは、対応するイベントについて撮影される時期や撮影時間長を示すものである。また、場所情報は、対応するイベントが行われる場所を示し、人物情報は、対応するイベントに参加する人物の情報を示すものである。
【００５２】
（６）分類辞書作成手段１５
分類辞書作成手段１５は、共通属性抽出手段１３で抽出された共通属性に基づいて、複数のイベントのうち１つの候補イベントを特定し、特定した候補イベントに含まれるイベント関連物体に関連する１つ以上の物体カテゴリからなる分類辞書を作成するものである。
【００５３】
具体的には、分類辞書作成手段１５は、共通属性抽出手段１３により抽出された１つ以上の撮影ユニット毎に、当該撮影ユニットに含まれる複数の共通属性と、オブジェクト優先属性情報とを用いて優先度の増減を行う。例えば、ユニットＴ１に含まれる共通属性は、図６に示すように、「春」、「近所」、「朝」、「屋内」、「早朝」などである。分類辞書作成手段１５は、これら共通属性と、図９に示す属性情報テーブルＴ３０とから一致するオブジェクト優先属性情報を特定し、特定したオブジェクト優先属性情報に応じて、対応する物体カテゴリ名に対する優先度を更新する。更新後の基本イベントオブジェクト表Ｔ２１を、図１１に示す。ここでは、例えば、「季節」情報と一致する場合には＋１．０、「屋内外」情報と一致する場合には＋０．２、「参加者」情報と一致する場合には＋０．２、「場所」情報と一致する場合には＋０．２を加算して優先度を更新するものとする。「桜」は季節の共通属性のみと一致する場合には、優先度が２．０となり、「雛人形」について全ての共通属性と一致する場合には、優先度は２．６となる。なお、優先度の付与方法として、プラスの優先度だけではなくマイナスの優先度を付けたり、共通属性の種別毎に重み付けを変えて算出する又は複数の共通属性と一致する場合に優先度の増減を行う等の撮影イベントに伴い撮影される被写体オブジェクトの種類を絞り込むことが出来るような優先度の付与手法であればその種別は問わない。
【００５４】
分類辞書作成手段１５は、優先度を更新すると、イベントそれぞれを特徴付ける関連イベント物体に対応する優先度の合計値を算出し、イベント情報テーブルＴ４０の含まれるイベントのうち、算出した合計値が最も高いイベントを候補イベントとして特定する。
【００５５】
分類辞書作成手段１５は、特定した候補イベントを特徴付ける関連イベント物体のうち、優先度が所定の閾値以上であり、互いに異なる類似属性となる１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する。例えば、「お花見」のイベントが最も優先度が高い場合には、分類辞書作成手段１５は、関連物体として桜・団子・屋台・ビール等のイベント関連物体のうち優先度の高いものに限定して分類辞書を作成する。
【００５６】
（７）画像属性情報蓄積手段１７
画像属性情報蓄積手段１７は、分類手段１４で分類判定された結果の情報である分類モデルの判別結果及びその判別信頼度としての尤度等を蓄積する記憶媒体である。
【００５７】
ここでは、結果の一例として分類結果情報テーブルＴ５０を、図１２に示す。
【００５８】
分類結果情報テーブルＴ５０は、画像データ番号、物体カテゴリ、信頼性及び尤度からなる組を１つ以上記憶するための領域を有している。
【００５９】
画像データ番号は画像を一意に識別するための識別子であり、物体カテゴリは分類に用いたモデル情報を示すものである。
【００６０】
尤度は対応する画像データ番号で示される画像内に存在する物体と、分類に使用したモデル情報とが一致する尤もらしさを示す値である。
【００６１】
信頼性は、分類結果が信頼できるものであるか否かを示すものである。ここでは、対応する尤度が所定値以上（例えば、０．７以上）である場合には信頼性の値を１とし、分類結果が信頼できるものとする。また、対応する尤度が所定値（例えば、０．７）より小さい場合には信頼性の値を０とし、分類結果が信頼できないものとする。
【００６２】
１．２  動作
ここでは、画像分類装置１の動作について、説明する。
【００６３】
（１）全体の動作
画像分類装置１は、ユーザにより分類対象の画像群が選択される、又は自動的に分類可能な全ローカルデータや一定の画像数や動画数に達した場合に、画像内の被写体オブジェクトに対する分類処理を開始する。分類処理が開始されると、分類対象の画像群から共通属性を抽出し、抽出した共通属性に基づいて分類辞書を作成して、画像群に含まれる各画像内の被写体オブジェクトの分類を行う。
【００６４】
以下、図２に示す流れ図を用いて、当該処理について説明する。
【００６５】
画像特徴量算出手段１２は、ローカルデータ蓄積手段１１から分類対象となる複数の画像からなる画像群を取得し、取得した画像群に含まれる各画像について画像特徴量の算出処理を行う（ステップＳ１）。
【００６６】
共通属性抽出手段１３の画像情報抽出手段１３１は画像群に含まれる画像それぞれから画像情報であるメタデータ情報やタグ情報を取得し、撮影ユニット抽出手段１３２は抽出された画像情報を利用して、ユーザが同じ撮影イベントとして撮影したと考えられる一連の複数の画像を一つの撮影ユニットとして分割する（ステップＳ２）。
【００６７】
共通属性判定手段１３３は、分割された各撮影ユニットについて、当該撮影ユニットに属する画像に対応する、画像情報抽出手段１３１で抽出された画像情報を用いて、画像群に対する共通属性を抽出する（ステップＳ３）。
【００６８】
分類辞書作成手段１５は、共通属性抽出手段１３で抽出された１つ以上の共通属性と、分類モデル情報蓄積手段１６に蓄積されている物体カテゴリを用いて、分類手段１４で利用する分類辞書を作成する（ステップＳ４）。
【００６９】
分類手段１４は、分類対象画像群に対して、分類辞書作成手段１５で作成された分類辞書に含まれる物体カテゴリに対応するモデル情報と一致する特徴が各画像に存在するかどうかを判別し、画像属性情報として、その判別結果と尤度とを、分類対象の画像を示す画像データ番号と対応付けて、画像属性情報蓄積手段１７へ蓄積する（ステップＳ５）。
【００７０】
画像分類装置１は、全ての撮影ユニットに対して分類処理が終了したかどうかを判定する（ステップＳ６）。終了していると判定する場合には（ステップＳ６における「Ｙｅｓ」）、分類処理を終了し、終了していないと判断する場合には（ステップＳ６における「Ｎｏ」）、処理はステップＳ３に戻る。
【００７１】
（２）分類辞書作成処理について
ここでは、図１３に示すステップＳ４における分類辞書を作成する処理について、図１４に示す流れ図を用いて説明する。
【００７２】
分類辞書作成手段１５は、分類モデルを限定するために基本イベントオブジェクト表Ｔ２０及び属性情報テーブルＴ３０を取得する（ステップＳ１１）。
【００７３】
分類辞書作成手段１５は、共通属性抽出手段１３で抽出された共通属性で示される、基本イベントオブジェクト表Ｔ２０に含まれる１つ以上の物体カテゴリについての優先度を更新する（ステップＳ１２）。
【００７４】
分類辞書作成手段１５は、全ての共通属性に対して優先度の更新が行われたか否かを判定する（ステップＳ１３）。全ての共通属性に対して優先度の更新が行われていないと判断する場合には（ステップＳ１３における「Ｎｏ」）、処理はステップＳ１２に戻る。
【００７５】
全ての共通属性に対して優先度の更新が行われたと判断する場合には（ステップＳ１３における「Ｙｅｓ」）、分類辞書作成手段１５は、更新された基本イベントオブジェクト情報と、イベント情報テーブルＴ４０とから、分類対象の画像群の撮影が行われた候補イベントを特定する（ステップＳ１４）。具体的には、分類辞書作成手段１５は、更新された優先度を用いて、イベント情報テーブルＴ４０に含まれるイベントそれぞれについて、当該イベントを特徴付ける関連イベント物体（物体カテゴリ）に対応する優先度の合計値を算出し、算出した合計値が最も高いイベントを候補イベントとして特定する。これにより、分類辞書作成手段１５は、分類対象の画像群の撮影されたイベントの候補となるものを特定することができる。
【００７６】
分類辞書作成手段１５は、特定した候補イベントを特徴付ける関連イベント物体のうち、優先度が所定の閾値以上である１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する（ステップＳ１５）。
【００７７】
１．３  実施の形態１における効果
以上のように、実施の形態１における画像分類装置１は、従来のように一般的なオブジェクト全てを対象に画像内特徴量を中心に利用して分類するのではなく、ユーザが保有する画像群内の共通属性により分類に用いるモデル情報を限定して分類処理を行う。そのため、ユーザが保有する画像や動画像に対して精度よく分類を行うことが可能となり、ユーザが保有する画像や動画像に対して自動的にタグ付けし自動整理することやユーザが所望する画像を効率的に探す事ができる。
【００７８】
２．実施の形態２
以下、図面を参照して本発明に係る実施の形態２について説明する。本実施の形態２は、家庭内等のユーザのローカルな多くの画像や動画データからなる画像群を整理する画像分類装置において、共通属性を利用すると共に分類結果を用いて再帰的に分類処理を行うことで、各画像内に含まれる被写体オブジェクトを精度良く自動分類する仕組みに関するものである。なお、本実施の形態２において、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
【００７９】
以下において、画像群について行った分類結果を考慮し、再帰的に分類すべき被写体オブジェクト内容を更新して分類処理をすることで、様々な被写体オブジェクトを含む画像であってもユーザが撮影した画像や動画を精度良く分類する事が可能な方法について具体的に説明する。
【００８０】
２．１  構成
図１５は、本実施の形態２に係る画像分類装置１０００の構成を示すブロック図である。図１５において、画像分類装置１０００は、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４００と、分類辞書作成手段１５００と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７とから構成されている。
【００８１】
ローカルデータ蓄積手段１１、画像特徴量算出手段１２、共通属性抽出手段１３、分類モデル情報蓄積手段１６及び画像属性情報蓄積手段１７については、実施の形態１と同様であるので、ここでの説明は省略する。
【００８２】
以下、分類手段１４００と分類辞書作成手段１５００とについて説明する。
【００８３】
（１）分類手段１４００
分類手段１４００は、上記実施の形態１で示す分類手段１４と同様の機能に加えて、以下の機能を有する。
【００８４】
分類手段１４００は、分割された撮影ユニット毎の分類が完了すると、分類結果が適切であるか否かを判断する。具体的には、分類対象である物体カテゴリが含まれると判断された画像の合計数の撮影ユニットを構成する総数に対する割合が所定値より大きいものであれば、分類は適切であると判断し、所定値以下である場合には分類は適切でないと判断する。
【００８５】
分類手段１４００は、分類が適切でないと判断する場合には、辞書の再作成を行う旨の作成指示を分類辞書作成手段１５００へ出力する。
【００８６】
分類手段１４００は、分類が適切であると判断する場合には、分類結果を画像属性情報蓄積手段１７へ蓄積する。
【００８７】
（２）分類辞書作成手段１５００
分類辞書作成手段１５００は、上記実施の形態１で示す分類辞書作成手段１５と同様の機能に加えて、以下の機能を有する。
【００８８】
分類辞書作成手段１５００は、分類手段１４００から作成指示を受け付けると、分類辞書の再作成を行う。
【００８９】
具体的には、分類辞書作成手段１５００は、更新された基本イベントオブジェクト表及びイベント情報テーブルＴ４０を用いて、既に分類処理が行われた物体カテゴリを除く残りの物体カテゴリから、前回特定した候補イベントとは異なる候補イベント（以下、再候補イベント）を特定する。分類辞書作成手段１５００は、再度特定した再候補イベントを特徴付ける関連イベント物体のうち、優先度が所定の閾値以上であり、互いに異なる類似属性となる１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する。
【００９０】
２．２  動作
ここでは、画像分類装置１０００の動作について、図１６に示す流れ図を用いて説明する。
【００９１】
分類処理が開始されると、ローカルデータ蓄積手段１１から分類対象画像が取得され、分類手段１４００で分類対象である各画像の画像属性情報を抽出する分類処理が行われる（ステップＳ２１）。ステップＳ２１の処理は、図１３で示す処理であるステップＳ１〜ステップＳ５と同様である。
【００９２】
分類処理が完了すると、分類手段１４００は、分類結果が適切かどうかを判定する(ステップＳ２２)。具体的には、分類手段１４００は、分類対象となる撮影ユニット内の画像枚数がＮ枚あり、関連イベント物体（物体カテゴリ）が存在すると判定された画像枚数がＭ枚であり、所定値をＴとして、条件式“Ｍ／Ｎ＞Ｔ”を満たす場合には分類結果は適切であり、満たさない場合は分類結果は適切でないと判定する。
【００９３】
分類結果が適切でないと判断する場合（ステップＳ２２における「Ｎｏ」）、分類手段１４００は、作成指示を分類辞書作成手段１５００へ通知する。分類辞書作成手段１５００は、分類辞書の再作成を行う（ステップＳ２３）。具体的には、分類辞書作成手段１５００更新された基本イベントオブジェクト表及びイベント情報テーブルＴ４０を用いて、既に分類処理が行われた物体カテゴリを除く残りの物体カテゴリから、再候補イベントを特定し、特定した再候補イベントを特徴付ける関連イベント物体のうち優先度が所定の閾値以上であり、互いに異なる類似属性となる１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する。
【００９４】
分類結果が適切であると判断する場合（ステップＳ２２における「Ｙｅｓ」）、分類手段１４００は、分類結果を画像属性情報蓄積手段１７へ蓄積する（ステップＳ２４）。
【００９５】
２．３  変形例
ここでは、再帰的に分類辞書を作成する別の実施形態について説明する。
【００９６】
２．３．１  構成
図１７は、本変形例に係る画像分類装置１０００Ａの構成を示すブロック図である。図１７において、画像分類装置１０００Ａは、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４００Ａと、分類辞書作成手段１５００Ａと、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と、軸オブジェクト抽出手段１８００とから構成されている。
【００９７】
ローカルデータ蓄積手段１１、画像特徴量算出手段１２、共通属性抽出手段１３、分類モデル情報蓄積手段１６及び画像属性情報蓄積手段１７については、実施の形態１と同様であるので、ここでの説明は省略する。
【００９８】
以下、分類手段１４００Ａ、分類辞書作成手段１５００Ａ及び軸オブジェクト抽出手段１８００について説明する。
【００９９】
（１）軸オブジェクト抽出手段１８００
軸オブジェクト抽出手段１８００は、分類手段１４００Ａによって分類された結果、信頼度の高い軸となる物体カテゴリを抽出するものである。
【０１００】
具体的には、軸オブジェクト抽出手段１８００は、分類手段１４００Ａによって分類された結果を用いて、分類枚数が一の物体カテゴリに偏っているか否かを判断する。
【０１０１】
偏っていると判断する場合には、軸オブジェクト抽出手段１８００は、偏っている一の物体カテゴリを軸オブジェクトとして特定し、特定した軸オブジェクトに基づく分類辞書作成の指示を分類辞書作成手段１５００Ａへ出力する。
例えば、分類手段１４００Ａは、分類対象となる複数の物体カテゴリのうち何れかの物体カテゴリが存在すると判断された画像が２０枚あり、そのうち一の物体カテゴリ（例えば、「桜」）について１８枚検出される様な場合には、一の物体カテゴリに偏っていると判断し、軸オブジェクトとして偏っている当該一の物体カテゴリ（「桜」）を特定する。
【０１０２】
（２）分類辞書作成手段１５００Ａ
分類辞書作成手段１５００Ａは、上記分類辞書作成手段１５００と同様の機能に加えて、以下の機能を有する。
【０１０３】
分類辞書作成手段１５００Ａは、軸オブジェクト抽出手段１８００から指示を受け付けると、軸オブジェクト抽出手段１８００で特定された軸オブジェクトに基づいて分類辞書の再作成を行う。
【０１０４】
具体的には、分類辞書作成手段１５００は、更新された基本イベントオブジェクト表及びイベント情報テーブルＴ４０を用いて、軸オブジェクトとして特定された物体カテゴリを含むイベントを全て抽出する。抽出したイベントそれぞれから分類対象となる物体カテゴリを１つ以上抽出して分類辞書を作成する。
【０１０５】
例えば、分類辞書作成手段１５００は、「桜」が軸オブジェクトの場合、「桜」を含むイベントである「お花見」、「入学式」、「卒業式」等を抽出し、これらイベントに含まれる物体カテゴリを含む分類辞書を生成する。
【０１０６】
（３）分類手段１４００Ａ
分類手段１４００Ａは、上記分類手段１４００と同様の機能に加えて、分類辞書作成手段１５００が軸オブジェクトに基づいて作成した分類辞書を用いた分類を行う。
【０１０７】
分類の方法については、上記実施の形態１、２と同様であるので、ここでの説明は省略する。
【０１０８】
２．３．２  動作
ここでは、画像分類装置１０００Ａの動作、特に軸オブジェクトを用いた分類について、図１８に示す流れ図を用いて説明する。
【０１０９】
軸オブジェクト抽出手段１８００は、分類手段１４００Ａによって分類された結果を用いて、分類枚数が一の物体カテゴリに偏っているか否かを判断する（ステップＳ３１）。
【０１１０】
偏っていると判断する場合には（ステップＳ３１における「Ｙｅｓ」）、軸オブジェクト抽出手段１８００は、偏っている一の物体カテゴリを軸オブジェクトとして特定する（ステップＳ３２）。
【０１１１】
分類辞書作成手段１５００Ａは、軸オブジェクト抽出手段１８００で軸オブジェクトとして特定された物体カテゴリを含むイベントを全て抽出し、抽出したイベントそれぞれから分類対象となる物体カテゴリを１つ以上抽出して分類辞書を作成する（ステップＳ３３）。
【０１１２】
分類手段１４００Ａは、分類辞書作成手段１５００が軸オブジェクトに基づいて作成した分類辞書を用いた分類を行う（ステップＳ３４）。
【０１１３】
偏っていないと判断する場合には（ステップＳ３１における「Ｎｏ」）、処理は終了する。
【０１１４】
２．４  実施の形態２における効果
以上のように、画像分類装置１０００及び画像分類装置１０００Ａは、一般的なオブジェクト全てを対象に分類処理をするのではなく、ユーザが保有する画像群から抽出される共通属性及び再帰的に物体カテゴリを限定して分類処理を行うため、ユーザが保有する画像や動画像に対してより精度よく分類を行うことが可能となり、ユーザが保有する画像や動画像に対して自動的にタグ付けし自動整理することやユーザが所望する画像を効率的に探す事ができる。
【０１１５】
３．実施の形態３
以下、図面を参照して本発明に係る実施の形態３について説明する。本実施の形態３は、家庭内等のユーザのローカルな多くの画像や動画データからなる画像群を整理する画像分類装置において、分類対象となる画像について当該画像から得られる領域情報を用いて共通情報を取得し、分類を行うことで、各画像内の領域別に含まれる被写体オブジェクトを精度良く自動分類する仕組みに関するものである。ここで、領域情報とは、例えば、人物の顔が検出された顔検出領域や、人体が検出された人体検出領域や、検出された人体検出領域について手足周辺領域等を含めた人物周辺領域や、これら領域以外の領域である背景検出領域をいう。なお、本実施の形態３において、実施の形態１、又は実施の形態２と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
【０１１６】
３．１  構成
図１９は本実施の形態３における画像分類装置２０００の構成を示すブロック図である。図１９において、画像分類装置２０００は、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と、領域情報算出手段２８００とから構成されている。
【０１１７】
ローカルデータ蓄積手段１１、画像特徴量算出手段１２、共通属性抽出手段１３、分類手段１４、分類辞書作成手段１５、分類モデル情報蓄積手段１６及び画像属性情報蓄積手段１７については、実施の形態１と同様であるので、ここでの説明は省略する。
【０１１８】
（１）領域情報算出手段２８００
領域情報算出手段２８００は、ローカルデータ蓄積手段１１の分類対象である画像群の各画像に対して画像内に含まれる特定の領域情報を算出する。
【０１１９】
具体的には、領域情報算出手段２８００は、既出の顔検出や人体検出技術を用いて顔検出領域及び人体検出領域とそれ以外である背景検出領域を領域情報として算出する。顔検出領域や人体検出領域の具体的な検出手法については、例えば特許文献（特開2008-250444号公報）に記載されている様な実用化されている顔検出装置や、藤吉弘亘著の「Gradientベースの特徴抽出-SIFTとHOG-」（情報処理学会 研究報告 CVIM 160, pp.211-224, 2007）に詳細が記載されている。なお、領域情報算出手段２８００は、顔領域から人体領域を推測して算出することも可能であるが、ここでは、顔検出器に加えて人体検出器により人物領域を算出するものとする。
【０１２０】
ここで、図２０に、顔領域検出や人体領域検出結果の一例を示す。図２０においては、2人の人物について、顔検出領域Ｇ１０１、Ｇ１０２が検出されたことを、人体検出領域Ｇ２０１、Ｇ２０２が検出されたことを示している。また、領域情報算出手段２８００は、人物領域の周囲一定領域として手足周辺領域等を人物周辺領域とし、それ以外の領域を背景領域として算出する。
【０１２１】
この場合において、画像特徴量算出手段１２は、分類対象となる画像について算出された領域情報毎に特徴量を算出する。また、分類辞書作成手段１５は、実施の形態１と同様の機能であるが、検出された領域毎に分類辞書を作成する点が異なる。
【０１２２】
３．２  動作
ここでは、画像分類装置２０００の動作について、図２１に示す流れ図を用いて説明する。
【０１２３】
領域情報算出手段２８００は、分類処理が開始されると、ローカルデータ蓄積手段１１から分類対象となる複数の画像からなる画像群を取得し、取得した画像群に含まれる各画像について１つ以上の領域情報を算出する（ステップＳ４１）。例えば、図２０に示すように、領域情報として顔検出領域Ｇ１０１、Ｇ１０２と人体検出領域Ｇ２０１、Ｇ２０２に加えて、人体検出領域Ｇ２０１、Ｇ２０２それぞれに対する人物周辺領域と、これら領域以外の背景領域の４種類の領域が算出される。
【０１２４】
領域情報算出手段２８００で領域情報が算出されると、画像特徴量算出手段１２は、領域別に画像内特徴量を算出する（ステップＳ４２）。この場合、画像特徴量算出手段１２は、領域別にそれぞれの領域情報を表現するために必要な情報を算出する。例えば、顔領域に関しては顔に表れ易いＧａｂｏｒ特徴量であったり、人体領域に関してはＨＯＧ特徴量であったり、人体周辺領域や前景領域等に関してはSIFT等の局所特徴量であったり、背景領域に関しては色ヒストグラムや色モーメントやエッジ特徴量などの全体特徴量等である。なお、それらの特徴量を組み合わせて利用することや領域検出時に利用した特徴量を保持しておき、その特徴量を利用すること等も可能である。
【０１２５】
画像特徴量算出手段１２で領域別に特徴量が算出されると、共通属性抽出手段１３は、分類対象画像群についての共通属性を抽出する(ステップＳ４３)。この処理に関しては、実施の形態１におけるステップＳ３と同様な処理であるので、詳細な説明は省略する。
【０１２６】
分類辞書作成手段１５は、抽出された共通属性を用いて、領域情報で示される領域毎に分類辞書を作成する(ステップＳ４４)。基本的な処理は、実施の形態１におけるステップＳ４と同様な処理であるが、領域情報によって、分類辞書の対象である被写体オブジェクトの種別を限定して利用する点が異なる。例えば、顔領域に関しては、個別の人物や人種や年齢や家族属性や眼鏡や帽子の有無等の人の属性に関する項目に限定して辞書化する。また、人体領域に関しては、服装の種類や画像内の服装の一様性等に限定した項目で辞書する。人体周辺領域に関しては、季節毎または屋内外の種別に応じて存在し易い人工物の被写体オブジェクトに限定した項目で辞書化する。また、背景領域に関しては、季節毎または屋内外の種別に応じて存在し易い自然物の被写体オブジェクトに限定した項目で辞書化する。
【０１２７】
分類辞書作成手段１５により領域別に分類辞書が作成されると、分類対象である画像群について分類処理が行われる（ステップＳ４５）。基本的な処理は、実施の形態１におけるステップＳ５と同様な処理であるが、本実施の形態３における分類手段１４は、分類対象画像群に対して、領域別に分類辞書に含まれる物体カテゴリに対応するモデル情報と一致する特徴が各画像に存在するかどうかを判定する点が異なる。
【０１２８】
画像分類装置２０００は、全ての撮影ユニットに対して分類処理が終了したかどうかを判定する（ステップＳ４６）。終了していると判定する場合には（ステップＳ４６における「Ｙｅｓ」）、分類処理を終了し、終了していないと判断する場合には（ステップＳ４６における「Ｎｏ」）、処理はステップＳ３に戻る。
【０１２９】
３．３  変形例
上記実施の形態３においては、画像特徴量を抽出する前に、領域情報を算出したが、これに限定されない。画像特徴量を抽出した後に、領域情報を抽出してもよい。
【０１３０】
３．３．１  構成
この場合における画像分類装置２０００Ａの構成を図２２に示す。
【０１３１】
図２２は本変形例における画像分類装置２０００Ａの構成を示すブロック図である。図２２において、画像分類装置２０００Ａは、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段２４００Ａと、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と、領域情報算出手段２８００Ａとから構成されている。
【０１３２】
ローカルデータ蓄積手段１１、画像特徴量算出手段１２、共通属性抽出手段１３、分類辞書作成手段１５、分類モデル情報蓄積手段１６及び画像属性情報蓄積手段１７については、上記実施の形態３と同様であるので、ここでの説明は省略する。
【０１３３】
（１）領域情報算出手段２８００Ａ
領域情報算出手段２８００Ａは、ローカルデータ蓄積手段１１の分類対象である画像群の各画像に対して、画像特徴量算出手段１２で算出された各特徴量を用いて領域情報を算出する。
【０１３４】
具体的には、領域情報算出手段２８００Ａは、図２２に示すように、人エリア抽出部２８１１、季節抽出部２８１２及び場所抽出部２８１３を有している。
【０１３５】
人エリア抽出部２８１１は、画像特徴量算出手段１２で算出された各特徴量から顔検出領域、人体検出領域及び人体周辺領域を特定する。
【０１３６】
季節抽出部２８１２は、人エリア抽出部２８１１で特定された以外の領域、つまり背景領域を特定する。季節抽出部２８１２は、画像特徴量算出手段１２で算出された各特徴量を用いて特定した背景領域内において季節を示す物体（例えば、桜、雛人形など）の領域を抽出する。
【０１３７】
また、場所抽出部２８１３は、背景領域内において、撮影場所が屋内であるか屋外であるかを示す物体（例えば、建物や、室内インテリアであるソファなど）の領域を抽出する。
【０１３８】
（２）分類手段２４００Ａ
分類手段２４００Ａは、図２２に示すように、服装／帽子分類部２４１１、季節もの分類部２４１２、場所もの分類部２４１３、一般もの分類部２４１４を有している。
【０１３９】
服装／帽子分類部２４１１は、検出された人エリア（顔検出領域、人体検出領域）から眼鏡や帽子の有無等の人の属性に関する項目、及び服装の種類や画像内の服装の一様性等に関する項目に限定して分類処理を行う。
【０１４０】
季節もの分類部２４１２は、季節を表す人工物の被写体オブジェクトや自然物の被写体オブジェクトに関する項目に限定して分類処理を行う。
【０１４１】
場所もの分類部２４１３は、場所（屋内、屋外）を示す人工物の被写体オブジェクトや自然物の被写体オブジェクトに関する項目に限定して分類処理を行う。
【０１４２】
一般もの分類部２４１４は、個別の人物や人種や年齢や家族属性に限定して分類処理を行う。
【０１４３】
３．３．２  動作
画像分類装置２０００Ａの動作は、図２１に示すステップＳ４１とステップＳ４２とを入れ替えることで実現できるので、ここでの説明は省略する。
【０１４４】
３．４  実施の形態３における効果
以上のように、一般的なオブジェクト全てを対象に分類処理をするのではなく、ユーザが保有する画像群から抽出される共通属性を用いて画像内の一定領域別に分類に用いるモデル情報を限定して分類処理を行うため、ユーザが保有する画像や動画像に対してより精度よく分類することが可能となり、ユーザの保有する画像や動画像に対して自動的にタグ付けし自動整理することやユーザの所望画像を効率的に探す事ができる。
【０１４５】
４．実施の形態４
以下、図面を参照して本発明に係る実施の形態４について説明する。本実施の形態４は、家庭内等のユーザのローカルな多くの画像や動画データからなる画像群を整理する画像分類装置において、ユーザが分類したい対象を登録した際にその分類対象に関連する共通属性を併せて登録しておくことで、新しく登録された分類対象であっても予め登録した共通属性を利用して各画像内に含まれる被写体オブジェクトを精度良く自動分類する仕組みに関するものである。なお、本実施の形態において、実施の形態１、２、３と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
【０１４６】
４．１  構成
図２３は、本実施の形態４における画像分類装置３０００の構成を示すブロック図である。図２３において、画像分類装置３０００は、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段３８１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と、入力手段３８００と、登録手段３８０１とから構成されている。ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７については、実施の形態１と同様であるので、ここでの説明は省略する。
【０１４７】
（１）入力手段３８００
入力手段３８００は、ローカルデータ蓄積手段１１に蓄積されているローカルデータに対して行われる登録処理のためのユーザ操作の入力を受け付ける。
【０１４８】
例えば、タッチパネルディスプレイやマウスやキーボードやリモコンにより分類対象である画像群に対するタグ付け処理の入力の受け付け、及び画像群に含まれる画像について、当該画像内の被写体オブジェクトと物体カテゴリとを対応付けて登録する登録処理の入力を受け付ける。
【０１４９】
（２）登録手段３８０１
登録手段３８０１は、入力手段３８００の入力に基づいて、タグ付け処理や登録処理を行う。
【０１５０】
登録手段３８０１は、これら処理に利用された画像群、若しくはこれら処理に利用された画像群と関連する画像群から共通属性を抽出し、登録される物体カテゴリ名に属する共通属性として、当該物体カテゴリ名と対応付けて分類モデル情報蓄積手段１６に蓄積する。
【０１５１】
（３）分類辞書作成手段３８１５
分類辞書作成手段３８１５は、実施の形態１で示す機能に加えて、以下の機能を有する。
【０１５２】
分類辞書作成手段３８１５は、共通属性抽出手段１３で抽出された共通属性に対応付けたれた物体カテゴリ名が存在する場合には、その物体カテゴリを分類辞書に加える。
【０１５３】
４．２  動作
ここでは、登録手段３８０１が行う動作について、図２４に示す流れ図を用いて説明する。なお、画像群に対する分類処理については、実施の形態１で示す処理（図１３、１４参照）と同様であるので、ここでの説明は省略する。
【０１５４】
ユーザの指示によりタグ付け処理や登録処理が開始されると、入力手段３８００で、当該処理に伴う操作が入力される。登録手段３８０１は、当該処理を行うとともに、共通属性の抽出対象となる画像群を抽出する（ステップＳ５１）。例えば、タグ付け処理において「マイペット」や「花火大会」や「栗拾い」や「クリスマス」や「誕生日パーティー」等、ユーザにより指定されたタグとの対応付けが行われた画像群をそのまま選択したり、選択された画像群を基に関連する画像群を選択したり、一定の時系列的に連続する画像群を選択したりして、共通属性の抽出対象となる画像群を抽出する。
【０１５５】
登録手段３８０１は、抽出された画像群から実施の形態１における共通属性抽出手段１３と同様の手法を用いて抽出された画像群から共通属性を抽出する（ステップＳ５２）。
【０１５６】
登録手段３８０１は、画像群の共通属性を抽出した後、抽出した共通属性のうち、対応付けされるべき物体カテゴリに特有な共通属性を抽出する（ステップＳ４３）。共通属性の抽出は、例えば図９に示す様な形式と同じ形式であって共通属性が抽出可能な内容から抽出される。具体的には図５に示す様な画像メタデータ情報を画像群に含まれる各画像からそれぞれ抽出し、それらを特定の項目で抽象化させることで共通属性として抽出する。例えば、時間情報を季節等の時間帯情報に変換したり、場所情報を遊園地等のランドマーク（場所領域）情報に変換したり、画像群に頻出する人物情報を登場人物情報に変換することで共通情報を抽出することができる。
【０１５７】
抽出された共通属性を、登録される物体カテゴリに属する共通属性として、当該物体カテゴリと対応付けて分類モデル情報蓄積手段１６に登録する（ステップＳ４４）。
【０１５８】
４．３  実施の形態４における効果
以上により、登録する物体カテゴリに属する共通属性として予め対応付けて登録しておく事で、新しい画像群に対する分類処理時または既に蓄積されている画像群に対する再分類処理時に、対応付けされた共通属性に基づいて制限される物体カテゴリを分類対象として用いることができるため、よりユーザの意図に則した画像分類処理を行うことが可能となる。
【０１５９】
また、一般的なオブジェクト全てを対象に分類処理をするのではなく、ユーザが分類したい対象である物体カテゴリを登録した際にその分類対象に関連する共通属性を対応付けて登録しておくことで、ユーザが保有する画像群について新しく登録された物体カテゴリを用いた限定した分類処理を行うことができるため、ユーザが保有する画像や動画像に対してより精度よく分類することが可能となり、ユーザが保有する画像や動画像に対して自動的にタグ付けし自動整理することやユーザの所望画像を効率的に探す事ができる。
【０１６０】
５．実施の形態５
以下、図面を参照して本発明に係る実施の形態５について説明する。実施の形態１では、１つの装置内にて全ての構成要素を含むものとしたが、本実施の形態５では、構成要素の一部をネットワークを介して接続された外部の装置が有するものとしている。なお、本実施の形態５において、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
【０１６１】
５．１  画像分類システム４０００の構成
画像分類システム４０００は、図２５に示すように、画像分類装置４１００とサーバ装置４５００とから構成されており、画像分類装置４１００とサーバ装置４５００とは、インターネット等のネットワーク４００１を介して接続されている。
【０１６２】
以下、画像分類装置４１００とサーバ装置４５００との構成について説明する。
【０１６３】
（１）画像分類装置４１００
画像分類装置４１００は、図２６に示すように、ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、画像属性情報蓄積手段１７と、分類辞書作成手段４１１５と、イベント関連情報蓄積手段４１１６と送受信手段４１１０とから構成されている。
【０１６４】
ローカルデータ蓄積手段１１と、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、画像属性情報蓄積手段１７とについては、実施の形態１と同様であるので、ここでの説明は省略する。
【０１６５】
（１−１）イベント関連情報蓄積手段４１１６
イベント関連情報蓄積手段４１１６は、実施の形態１で示す基本イベントオブジェクト表Ｔ２０、属性情報テーブルＴ３０及びイベント情報テーブルＴ４０を蓄積している。
【０１６６】
基本イベントオブジェクト表Ｔ２０、属性情報テーブルＴ３０及びイベント情報テーブルＴ４０については、実施の形態１で既に説明しているので、ここでの説明は省略する。
【０１６７】
（１−２）分類辞書作成手段４１１５
分類辞書作成手段４１１５は、実施の形態１で示す分類辞書作成手段１５と同様に、特定した候補イベントを特徴付ける関連イベント物体のうち、優先度が所定の閾値以上であり、互いに異なる類似属性となる１つ以上の関連イベント物体（物体カテゴリ）からなる分類辞書を作成する。
【０１６８】
実施の形態１と異なる点は、作成した分類辞書に応じたモデル情報をサーバ装置４５００へ要求することである。
【０１６９】
具体的には、分類辞書作成手段４１１５は、作成した分類辞書に含まれる全ての物体カテゴリを識別する情報（例えば、名称や、識別子）を含み、モデル情報を要求する旨の要求情報を生成し、生成した要求情報を送受信手段４１１０を介してサーバ装置４５００へ送信する。
【０１７０】
その後、分類辞書作成手段４１１５は、サーバ装置４５００から送受信手段４１１０を介して、生成した分類辞書に含まれる物体カテゴリそれぞれと対応付けられた各モデル情報を受信する。分類辞書作成手段４１１５は、作成した分類辞書の物体カテゴリそれぞれと対応付けられた各モデル情報を分類手段１４へ出力する。
【０１７１】
分類手段１４では、分類辞書作成手段４１１５で作成された分類辞書の物体カテゴリそれぞれに対応付けられたモデル情報と、画像特徴量算出手段１２で算出された画像の特徴量とから画像の分類を行うことができる。
【０１７２】
（１−３）送受信手段４１１０
送受信手段４１１０は、分類辞書作成手段４１１５から要求情報を受け取ると、ネットワーク４００１を介してサーバ装置４５００へ受け取った要求情報を送信する。
【０１７３】
また、送受信手段４１１０は、サーバ装置４５００からネットワーク４００１を介して、分類辞書作成手段４１１５で作成された分類辞書の物体カテゴリそれぞれに対応付けられたモデル情報を受信すると、受信したモデル情報を分類辞書作成手段４１１５へ出力する。
【０１７４】
（２）サーバ装置４５００
サーバ装置４５００は、図２７に示すように、モデル情報蓄積手段４５１０、制御手段４５１１及び送受信手段４５１２から構成されている。
【０１７５】
（２−１）モデル情報蓄積手段４５１０
モデル情報蓄積手段４５１０は、実施の形態１に示す物体カテゴリ毎の特徴量であるモデル情報を格納しているテーブルＴ１０を蓄積している。
【０１７６】
なお、テーブルＴ１０については、既に実施の形態１にて説明しているので、ここでの説明は省略する。
【０１７７】
（２−２）制御手段４５１１
制御手段４５１１は、送受信手段４５１２を介して画像分類装置４１００から要求情報を受け取る。
【０１７８】
制御手段４５１１は、受け取った要求情報に含まれる、画像分類装置４１００で作成された分類辞書に含まれる物体カテゴリを識別する情報それぞれに応じたモデル情報を、モデル情報蓄積手段４５１０のテーブルＴ１０から取得する。
【０１７９】
そして、制御手段４５１１は、画像分類装置４１００で作成された分類辞書に含まれる物体カテゴリそれぞれに対して取得したモデル情報を対応付けて、送受信手段４５１２を介して画像分類装置４１００へ送信する。
【０１８０】
（２−３）送受信手段４５１２
送受信手段４５１２は、ネットワーク４００１を介して画像分類装置４１００から要求情報を受信すると、受信した要求情報を制御手段４５１１へ出力する。
【０１８１】
送受信手段４５１２は、分類辞書作成手段４１１５で作成された分類辞書の物体カテゴリそれぞれに対応付けられたモデル情報を制御手段４５１１から受け取り、ネットワーク４００１を介して画像分類装置４１００へ送信する。
【０１８２】
５．２  画像分類システム４０００の動作
ここでは、画像分類システム４０００の動作として、画像分類装置４１００及びサーバ装置４５００それぞれの動作について説明する。
【０１８３】
（１）画像分類装置４１００の動作
画像分類装置４１００の動作について、図１３に示す流れ図を用いて、実施の形態１と本実施の形態５との差異についてのみ説明する。
【０１８４】
画像分類装置４１００は、図１３に示すステップＳ４からステップＳ５との間に以下の２つのステップを追加する。
【０１８５】
まず、分類辞書作成手段４１１５が、要求情報を生成し、生成した要求情報を送受信手段４１１０を介してサーバ装置４５００へ送信するステップ（以下、ステップＳ１００とする。）を追加する。
【０１８６】
そして、ステップＳ１００の後に、分類辞書作成手段４１１５が、サーバ装置４５００から、分類辞書作成手段４１１５が生成した分類辞書に含まれる物体カテゴリそれぞれと対応付けられた各モデル情報を受信するステップ（以下、ステップＳ１０１とする。）を追加する。
【０１８７】
ステップＳ１００、Ｓ１０１が実行された後、ステップＳ５を実行することで、画像の分類がなされる。
【０１８８】
（２）サーバ装置４５００の動作
サーバ装置４５００の動作について、図２８に示す流れ図を用いて説明する。
【０１８９】
サーバ装置４５００の制御手段４５１１は、画像分類装置４１００からネットワーク４００１を介して、要求情報を受信する（ステップＳ１５０）。
【０１９０】
制御手段４５１１は、受信した要求情報に含まれる物体カテゴリを識別する情報それぞれに応じたモデル情報を、モデル情報蓄積手段４５１０のテーブルＴ１０から取得する（ステップＳ１５１）。
【０１９１】
制御手段４５１１は、受信した要求情報に含まれる物体カテゴリそれぞれに対して取得したモデル情報を対応付けて、ネットワーク４００１を介して画像分類装置４１００へ送信する（ステップＳ１５２）。
【０１９２】
５．３  変形例
上記実施の形態５では、モデル情報を外部の装置（サーバ装置４５００）に蓄積する画像分類システム４０００について、説明したが、システムの構成はこれに限られない。
【０１９３】
分類対象となる画像群を外部の装置で蓄積するシステムであってもよい。
【０１９４】
この場合の画像分類システム４０００Ａについて、以下に説明する。なお、本変形例において、他の実施の形態と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
【０１９５】
（１）画像分類システム４０００Ａの構成
画像分類システム４０００Ａは、図２９に示すように、画像分類装置４１００Ａと端末装置４６００とから構成されており、画像分類装置４１００Ａと端末装置４６００とは、インターネット等のネットワーク４００１を介して接続されている。
【０１９６】
以下、画像分類装置４１００とサーバ装置４５００との構成について説明する。
【０１９７】
（１−１）画像分類装置４１００Ａ
画像分類装置４１００Ａは、図２６に示すように、画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７と受信手段４１５０とから構成されている。
【０１９８】
画像特徴量算出手段１２と、共通属性抽出手段１３と、分類手段１４と、分類辞書作成手段１５と、分類モデル情報蓄積手段１６と、画像属性情報蓄積手段１７とについては、実施の形態１と同様であるので、ここでの説明は省略する。
【０１９９】
受信手段４１５０は、ネットワーク４００１を介して端末装置４６００から分類対象となる１つ以上の画像からなる画像群及び各画像に対応するメタデータ情報とを受信し、受信した画像群及びメタデータ情報を、画像特徴量算出手段１２及び共通属性抽出手段１３と、へ出力する。
【０２００】
画像特徴量算出手段１２では、受信手段４１５０から受け取った画像群に含まれる各画像の特徴量を算出する。また、共通属性抽出手段１３では、受信手段４１５０から受け取った画像群及びメタデータ情報を用いて共通属性を抽出する。
【０２０１】
（１−２）端末装置４６００
端末装置４６００は、図３１に示すように、データ蓄積手段４６１０と、制御手段４６１１と、送信手段４６１２とから構成されている。
【０２０２】
データ蓄積手段４６１０は、実施の形態１のローカルデータ蓄積手段１１と同様であるので、ここでの説明は省略する。
【０２０３】
制御手段４６１１は、ユーザ操作により、ローカルデータ蓄積手段１１で蓄積されている１つ以上の画像からなる画像群及び各画像に対応するメタデータ情報を取得し、送信手段４６１２を介して、画像分類装置４１００Ａへ送信する。
【０２０４】
送信手段４６１２は、制御手段４６１１から受け取った画像群及びメタデータ情報を、ネットワーク４００１を介して画像分類装置４１００Ａへ送信する。
【０２０５】
（２）動作
ここでは、画像分類システム４０００Ａの動作、特に画像分類装置４１００Ａの動作について、実施の形態１と異なる点を説明する。
【０２０６】
画像分類装置４１００Ａは、図１３にて示す流れ図において、ステップＳ１を実行する前に、受信手段４１５０が、端末装置４６００から分類対象となる１つ以上の画像からなる画像群及び各画像に対応するメタデータ情報とを受信するステップを追加する。
【０２０７】
これにより、画像分類装置４１００Ａは、外部の装置（端末装置４６００）から受け取った画像群について分類を行うことができる。
【０２０８】
（３）その他
本変形例では、端末装置４６００は、画像群を蓄積でき、ネットワーク接続できる装置であればよく、例えば、パーソナルコンピュータや、デジタルカメラ、デジタルビデオカメラ等である。
【０２０９】
また、実施の形態１に示す画像分類装置１の構成要素に、本変形例で説明した外部の装置から画像群を受信する機能を追加してもよい。この場合、画像分類装置１に蓄積された画像群だけでなく、外部の装置で蓄積された画像群についても分類ができる。
【０２１０】
また、外部の装置から取得される画像群は、分類を行おうとするユーザが撮影した画像に限定されない。例えば、ソーシャルネットワークを利用して、知人が撮影した画像群を取得してもよい。この場合、ユーザ自身が撮影した画像群と、知人が撮影した画像群とから撮影ユニットを生成してもよいし、知人が撮影した画像群のみから撮影ユニットを生成してもよい。
【０２１１】
６．変形例
以上、各実施の形態に基づいて説明したが、本発明は上記の実施の形態に限られない。例えば、以下のような変形例が考えられる。
【０２１２】
（１）上記各実施の形態において、イベント毎に対応するイベント関連物体は、イベント内で撮影される物体であればその種別は問わない。また、関連度によって予め優先度の重み付けをしておく構成にしても良い。または、イベントの優先度と物体カテゴリの優先度を個別に算出し、それらを任意の重み付けで合算して複合優先度を算出することで、その複合優先度に基づいて分類する物体カテゴリを決定してもよい。
【０２１３】
（２）上記実施の形態２において、条件式における所定値Ｔは、固定的な値としたが、これに限定されない。
【０２１４】
撮影ユニットに含まれる画像の枚数に応じて判定値の条件式を変えたり、分類対象となる物体オブジェクトの種別に応じて用いる条件式を変更したりする構成としてもよい。
【０２１５】
また、イベントにおける撮影され易さを物体カテゴリ毎にプリセットで規定しておき、一定の撮影され易い被写体オブジェクトが分類されているかどうかを判定することで適切かどうかを判定するといった構成にしてもよい。
【０２１６】
また、物体カテゴリが全画像で存在すると判定したり、複数の物体カテゴリが存在する等の分類され過ぎるような場合を適切でないと判断してもよい。
【０２１７】
（３）上記実施の形態２において、再候補イベントから物体カテゴリを抽出するときに、前回の抽出した物体カテゴリが抽出される可能性がある。そこで、前回の抽出した物体カテゴリを抽出の対象としてもよいし、対象外としてもよい。
【０２１８】
対象外とする場合には、前回利用した物体カテゴリを除く残りの物体カテゴリのうち優先度の高いものから順に一定の優先度範囲、又は一定数だけの物体カテゴリを抽出して分類辞書としてもよい。
【０２１９】
また、分類され過ぎるといった場合には、分類処理が行われた被写体オブジェクトからさらに優先度の高いものだけに限定して分類辞書としてもよい。この場合、候補イベントは再作成前のものと同一とする。
【０２２０】
（４）上記実施の形態３において、領域情報算出手段２８００は顔検出器及び人体検出器を有するものとしたが、これに限定されない。
【０２２１】
これら検出器以外に動物体検出器を備えてもよい。これにより、領域情報算出手段２８００は、動物体検出により検出されている動物体領域とそれ以外の背景領域を領域情報として算出することができる。また他の方法による検出器を備えることで、興味領域や注目領域とそれ以外の背景領域を領域情報として算出するとしてもよい。
【０２２２】
（５）上記各実施の形態において、分類辞書作成手段は、複数のイベントのうち１つの候補イベントを特定して分類辞書を作成したが、これに限定されない。
【０２２３】
分類辞書作成手段は、共通属性が季節や場所やイベント内容を示すもの（例えば、雛人形や鯉幟など）である場合には、季節や場所やイベント内容に合致する物体カテゴリだけを抽出して分類辞書を作成してもよい。
【０２２４】
（６）上記各実施の形態において、共通属性と、イベントとを、イベントに含まれる物体カテゴリを介して、対応付けを行ったが、これに限定されない。
【０２２５】
共通属性とイベントを直接対応付けてもよい。
【０２２６】
（７）上記実施の形態で示す家族構成情報や被写体人物情報には、時間経過による顔や体の変化度合いとしての経年変化性を示す時間変遷情報を含めてもよい。例えば、毎年決まったイベントについて撮影を行う場合、各年に撮影された画像に含まれる被写体の変化度合いを示すことができるので、同一の人物と見なすことができる。これにより、毎年行うイベントを個別のイベントではなく、１つのまとまった候補イベントして特定することができる。
【０２２７】
（８）上記各実施の形態において、分類手段は、分類対象の画像全体の特徴量に基づいて、分類を行ったが、これに限定されない。
【０２２８】
撮影対象の物体についての多様性を考慮して分類を行ってもよい。
【０２２９】
この場合、分類モデル情報蓄積手段は、テーブルＴ１０の代わりに、図３２に示すテーブルＴ１００を蓄積している。
【０２３０】
テーブルＴ１００は、物体カテゴリ名とモデル情報と多様性情報とからなる組を複数記憶するための領域を有している。例えば、物体カテゴリ名が「桜」であれば、桜の画像についての特徴量と及びその多様性情報と対応付けられている。
【０２３１】
物体カテゴリ名とモデル情報とは、実施の形態１で説明しているので、個々での説明は省略する。
【０２３２】
多様性情報は、対応する物体についての多様性の高低を示すものである。ここで、多様性とは、撮影対象の物体と、その物体についての背景との組み合わせに係るものである。多様性情報が“高”を示す場合には、撮影対象の物体と、その物体についての背景との組み合わせが多く存在することを意味し、多様性情報が“低”を示す場合には、撮影対象の物体と、その物体についての背景との組み合わせの存在が少ないことを意味している。例えば、物体が“飛行機”である場合には、その背景は、“空”や、“地面（滑走路）”であり、他の背景はほとんどない。そのため、“飛行機”に対応する多様性情報は、“低”となる。逆に、物体が“植木鉢”である場合には、植木鉢の配置場所は、“窓”や、“道路”や、“家（玄関）”や“庭”等、色々な場所が考えられ、その場所が背景となる。そのため、“植木鉢”と“背景”との組み合わせは多様であるので、多様性情報は“高”となる。
【０２３３】
分類手段は、画像の分類を行う際に用いるモデル情報について、テーブルＴ１００を用いて当該モデル情報が示す物体の多様性情報を取得する。分類手段は、取得した多様性情報が“低”を示す場合には、画像全体の特徴量を用いて分類処理を行う。分類手段は、取得した多様性情報が“高”を示す場合には、画像全体のうちＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ：関心領域）を特定し、特定した領域についてモデル情報を用いて分類処理を行う。ＲＯＩの特定については、公知の技術であるため、ここでの説明は省略する。
【０２３４】
これにより、多様性が高い物体（例えば、植木鉢）については、背景を排除した領域（植木鉢のみを含む領域）について分類処理を施すことで、より正確な分類を行うことができる。なお、ＲＯＩにより多様性が高い物体（分類対象となる物体）の領域を特定したが、特定の手法はこれに限らない。分類対象の物体の領域が特定できる手法であればよい。
【０２３５】
（９）上記実施の形態５では、画像分類に係る処理、具体的には画像特徴量算出手段１２、共通属性抽出手段１３、分類辞書作成手段４１１５及び分類手段１４における各処理は、画像分類装置４１００で行うとしたが、これに限定されない。
【０２３６】
画像特徴量算出手段１２、共通属性抽出手段１３、分類辞書作成手段４１１５及び分類手段１４のうち少なくとも１つの手段による処理をサーバ装置４５００で行うようにしてもよい。
【０２３７】
（１０）上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
【０２３８】
また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。
【０２３９】
（１１）上記の各実施の形態にかかる各構成は、集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成は、１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩと表現したが、回路の集積度の違いによっては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。また、集積回路化の手法は、ＬＳＩに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー（ＲｅＣｏｎｆｉｇｕｒａｂｌｅ  Ｐｒｏｃｅｓｓｏｒ）を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。
【０２４０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適応などが可能性としてあり得る。
【０２４１】
（１２）上記実施の形態及び変形例を組み合わせるとしてもよい。
【０２４２】
７．補足
（１）本発明の一実施態様である、画像処理装置は、複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を予め記憶する被写体情報記憶手段と、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備えることを特徴とする。
【０２４３】
この構成によると、画像処理装置は、画像群における撮影属性に対応付けられたイベントから当該イベントで撮影された画像に含まれ得る被写体を特定して対応付けを行う。これにより、ユーザは、対応付けに用いる被写体を指定する必要がないので、画像と被写体との対応付け処理時におけるユーザの負担は軽減される。また、画像処理装置は、対応付けに用いる被写体を、撮影属性に対応付けられたイベントに対応するものに限定するので、精度よく分類が行える。
【０２４４】
（２）ここで、前記抽出手段は、前記画像群を当該画像群に含まれる前記複数の画像それぞれに対応する撮影に係る情報に基づいて１以上の画像集合に分割し、分割した画像集合毎に、１以上の前記撮影属性を抽出するとしてもよい。
【０２４５】
この構成によると、画像処理装置は、画像群を１つ以上の画像集合に分割し、分割した画像集合毎に撮影属性を抽出するので、精度よく撮影属性を抽出することができる。
【０２４６】
（３）ここで、前記撮影に係る情報は、画像撮影時の時間を示す時間情報、場所を示す場所情報、被写体である人物の人物情報、撮影方法を示す撮影情報及び撮影時の環境を示す環境情報のうち、少なくとも１つの情報を含むものであるとしてもよい。
【０２４７】
この構成によると、画像処理装置は、時間情報、場所情報、人物情報、撮影情報及び環境情報のうち、少なくとも１つの情報に基づいて、画像群を１つ以上の画像集合に分割することができる。
【０２４８】
（４）ここで、前記抽出手段は、前記分割に用いる各情報間の類似度を算出し、算出した類似度を用いて類似する各画像を含むよう前記分割を行うとしてもよい。
【０２４９】
この構成によると、画像処理装置は、各情報間の類似度を用いてり画像集合に分割するので、類似する画像同士を１つの画像集合とすることができる。
【０２５０】
（５）ここで、前記抽出手段は、前記属性に含まれる各情報のうち、少なくとも１の情報を用いて取得される統計量情報を前記撮影属性とするとしてもよい。
【０２５１】
この構成によると、画像処理装置は、統計量情報を撮影属性として抽出することができる。
【０２５２】
（６）ここで、前記抽出手段は、前記画像集合毎に、当該画像集合における１つ以上の人物情報から一の人物の家族が特定される場合には当該家族を示す家族構成情報を前記統計量情報として、又は当該画像集合における１つ以上の人物情報それぞれから得られる人物の性別若しくは年齢の分布を示す人物被写体情報を前記統計量情報として取得するとしてもよい。
【０２５３】
この構成によると、画像処理装置は、統計量情報として、家族構成情報又は被写体情報を用いることができる。
【０２５４】
（７）ここで、前記家族構成情報、又は前記被写体情報には、時間経過による顔や体の変化度合いとしての経年変化性を示す時間変遷情報が含まれるとしてもよい。
【０２５５】
この構成によると、画像処理装置は、時間経過による顔や体の変化度合いとしての経年変化性を示す時間変遷情報を家族構成情報又は被写体情報に含めることができる。これにより、例えば、毎年決まったイベントについて撮影を行う場合、各年に撮影された画像に含まれる被写体の変化度合いを示すことができるので、同一の人物と見なすことができ、毎年行うイベントを個別のイベントではなく、１つのまとまったイベントして特定することができる。
【０２５６】
（８）ここで、前記イベントには、複数の被写体が対応付けられており、前記撮影属性と、イベントについて撮影された画像に含まれ得る被写体とを対応付けることで、前記撮影属性とイベントとの対応付けがなされており、前記特定手段は、前記撮影属性それぞれについて、当該撮影属性に対応する被写体について優先度を計上し、前記複数のイベントのうち、被写体に対する優先度の合計が最も高いイベントを候補イベントとして特定し、特定した前記候補イベントに関連する複数のオブジェクトのうち、所定の値以上の優先度を有する被写体を特定するとしてもよい。
【０２５７】
この構成によると、画像処理装置は、優先度を用いて被写体を選出するので、優先度の高い、つまり画像を分類するためにより有効な被写体を用いて画像分類を行うことができる。
【０２５８】
（９）ここで、撮影属性毎に当該撮影属性に応じた優先度が割り当てられており、前記特定手段は、前記撮影属性それぞれについて、当該撮影属性に対応する被写体について当該撮影属性に割り当てられた優先度を計上するとしてもよい。
【０２５９】
この構成によると、画像処理装置は、撮影属性毎に優先度を割り当てているので、例えば、画像の対応付けを行うためにより重要な被写体についてはより高い優先度を割り当てることで対応付けに用いる確率を高くすることができる。
【０２６０】
（１０）ここで、複数の被写体について類似する被写体の集合毎に、当該集合を識別する類似識別情報が対応付けられており、前記特定手段は、前記類似する被写体の集合毎に、所定の値以上の優先度のうち最も高い優先度を有する被写体を特定するとしてもよい。
【０２６１】
この構成によると、画像処理装置は、抽出されるオブジェクトそれぞれは、非類似であるので、被写体との対応付けを行う際にはより精度よく行うことができる。
【０２６２】
（１１）ここで、前記対応付手段は、前記分類の結果により再度の分類が必要であるか否かを判断し、前記特定手段は、再度の分類が必要であると判断される場合に、当該分類に用いた前記被写体からなる集合を含まない他の集合、前記被写体を全て含む集合、又は前記被写体からなる集合の一部を含む他の集合を特定するとしてもよい。
【０２６３】
この構成によると、画像処理装置は、対応付けの結果に応じて、再帰的に対応付けの処理を行う。つまり、画像処理装置は、対応付け処理を繰り返すことで、対応付けを精度よく行うことができる。
【０２６４】
（１２）ここで、前記対応付手段は、分類結果により、一の被写体に分類される画像の枚数が所定数以上である場合には、再度の分類が必要であると判断し、前記特定手段は、前記一の被写体を含む他のイベントを特定し、特定した他のイベントについて対応する複数の被写体のうち、前記所定の値以上の優先度を有する被写体を特定するとしてもよい。
【０２６５】
この構成によると、画像処理装置は、一の被写体により分類された画像の枚数が所定数以上である場合には、偏りが生じているので、再度対応付けを行うことで分類をより精度よく行うことができる。
【０２６６】
（１３）ここで、被写体毎に撮影の難易度に応じた値が割り当てられており、前記特定手段は、前記撮影属性それぞれについて、当該撮影属性に対応する被写体について当該被写体に割り当てられた難易度に応じた値を優先度として計上するとしてもよい。
【０２６７】
この構成によると、画像処理装置は、撮影の難易度に応じて撮影属性を抽出することができる。
【０２６８】
（１４）ここで、前記画像処理装置は、さらに、前記抽出手段による前記抽出に先立って、前記画像群に含まれる前記複数の画像それぞれについて、当該画像内の構成に応じて、複数の領域に分割する領域分割手段を備え、前記抽出手段は、分割した領域毎に１以上の撮影属性を抽出するとしてもよい。
【０２６９】
この構成によると、画像処理装置は、画像内を構成に応じて分割し、分割した領域毎に撮影属性を抽出するので、より的確な撮影属性を抽出することができる。
【０２７０】
（１５）ここで、前記領域分割手段は、画像内における人物の領域とその他の領域とに分割するとしてもよい。
【０２７１】
この構成によると、画像処理装置は、人物領域と他の領域とに分割するので、人物に関する撮影属性と、他の領域、例えば背景に関する撮影属性をより的確に抽出することができる。
【０２７２】
（１６）ここで、前記画像処理装置は、さらに、ユーザから、同一イベントに属する一の画像群について被写体の抽出指示を受け付ける受付手段と、前記抽出指示が受け付けられると、前記一の画像群から前記一の画像群が属するイベントにおける被写体を抽出し、抽出した被写体を前記一の画像群が属するイベントと対応付け、前記被写体情報記憶手段に登録する登録手段とを備えるとしてもよい。
【０２７３】
この構成によると、画像処理装置は、ユーザにより登録されたイベント及び当該イベントに対応する被写体を対応付けに用いることができるので、ユーザにより特化した対応付けができる。
【０２７４】
（１７）ここで、前記登録手段は、前記一の画像群から撮影属性を抽出し、抽出した撮影属性を、前記一の画像群が属するイベントと対応付けるとしてもよい。
【０２７５】
この構成によると、画像処理装置は、前記一の画像群から抽出された１以上の撮影属性それぞれを、前記一の画像群が属するイベントと対応付ける。そのため、以降、他の画像群について対応付けを行う際には、ユーザにより特化したイベントとして特定することができる。
【０２７６】
（１８）ここで、前記画像処理装置は、さらに、前記特定手段で特定された被写体に対応付けられ、当該被写体の特徴量からなるモデル情報を外部の装置からネットワークを介して取得する取得手段を備え、前記対応付手段は、前記複数の画像それぞれに対して、当該画像の特徴量とから前記取得手段で取得したモデル情報が示す特徴量とから当該画像に前記特定手段で特定された被写体が含まれるか否かを判定するとしてもよい。
【０２７７】
この構成によると、画像分類装置は、被写体についてのモデル情報を外部の装置から取得するので、全ての被写体についてのモデル情報を予め記憶しておく必要はない。そのため、当該画像分類装置は、記憶容量を節約することができる。
【０２７８】
（１９）ここで、前記画像処理装置は、さらに、前記画像群を、外部の装置からネットワークを介して取得する取得手段を備えるとしてもよい。
【０２７９】
この構成によると、画像分類装置は、分類対象となる画像群を外部の装置から取得するので、分類対象となる画像群を予め記憶しておく必要はない。そのため、当該画像分類装置は、記憶容量を節約することができる。
【０２８０】
（２０）また、本発明の一態様である、画像処理装置と、当該画像処理装置とネットワークを介して接続されたサーバ装置とからなる画像処理システムにおいて、前記画像処理装置は、複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、撮影された複数の画像からなる画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、前記特定手段で特定された被写体に対応付けられ、当該被写体の特徴量からなるモデル情報を前記サーバ装置から前記ネットワークを介して取得する取得手段と、前記画像群に含まれる前記複数の画像それぞれについて、当該画像の特徴量とから前記取得手段で取得したモデル情報が示す特徴量とから当該画像に前記特定手段で特定された被写体が含まれるか否かを判定し、当該画像が当該被写体を含むと判定する場合には当該画像と当該被写体との対応付けを行う対応付手段とを備え、前記サーバ装置は、前記被写体情報記憶手段で記憶されるべき被写体それぞれについて、当該被写体の特徴量からなるモデル情報を当該被写体と対応付けて記憶しているモデル情報記憶手段と、前記画像処理装置で特定された被写体に対応するモデル情報を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備えることを特徴とする。
【０２８１】
この構成によると、画像処理システムの画像処理装置は、画像群における撮影属性に対応付けられたイベントから当該イベントで撮影された画像に含まれ得る被写体を特定して対応付けを行う。これにより、ユーザは、対応付けに用いる被写体を指定する必要がないので、画像と被写体との対応付け処理時におけるユーザの負担は軽減される。また、画像処理装置は、対応付けに用いる被写体を、撮影属性に対応付けられたイベントに対応するものに限定するので、精度よく分類が行える。また、画像分類装置は、被写体についてのモデル情報をサーバ装置から取得するので、全ての被写体についてのモデル情報を予め記憶しておく必要はない。そのため、当該画像分類装置は、記憶容量を節約することができる。
【０２８２】
（２１）また、本発明の一態様である、画像処理装置と、当該画像処理装置とネットワークを介して接続された端末装置とからなる画像処理システムにおいて、前記端末装置は、撮影された複数の画像からなる画像群を記憶している画像記憶手段と、前記画像群を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備え、前記画像処理装置は、複数のイベント毎に、当該イベントに係る画像を撮影する際に満たされることが推定される撮影条件を示す撮影属性を対応付けて記憶する属性記憶手段と、複数のイベント毎に、当該イベントについて撮影された画像に含まれ得る被写体を記憶する被写体情報記憶手段と、前記画像群を前記ネットワークを介して前記端末装置から取得する取得手段と、前記取得手段で取得した前記画像群について、前記複数の画像それぞれに対応する撮影に係る情報に基づいて、所定数の画像に共通する撮影属性を抽出する抽出手段と、抽出された撮影属性に対応付けられたイベントについて、前記被写体情報記憶手段に記憶されている被写体を特定する特定手段と、前記画像群に含まれる前記複数の画像それぞれについて、当該画像が前記特定手段で特定された被写体を含む場合には当該被写体との対応付けを行う対応付手段とを備えることを特徴とする。
【０２８３】
この構成によると、画像処理システムの画像処理装置は、画像群における撮影属性に対応付けられたイベントから当該イベントで撮影された画像に含まれ得る被写体を特定して対応付けを行う。これにより、ユーザは、対応付けに用いる被写体を指定する必要がないので、画像と被写体との対応付け処理時におけるユーザの負担は軽減される。また、画像処理装置は、対応付けに用いる被写体を、撮影属性に対応付けられたイベントに対応するものに限定するので、精度よく分類が行える。また、画像分類装置は、分類対象となる画像群を端末装置から取得するので、分類対象となる画像群を予め記憶しておく必要はない。そのため、当該画像分類装置は、記憶容量を節約することができる。
【産業上の利用可能性】
【０２８４】
本発明における画像分類装置は、多くの画像からなる画像群について精度よくタグ付けを行う際に有効である。例えば、画像の自動整理や所望画像の検索をする際に、ユーザのローカルデータの撮影イベントに則した対応付けの処理を行うことができることによって、効率的に任意の対象を含む画像群を抽出できる。また、本発明における画像処理装置は、画像に対する処理を行うＤＶＤレコーダー、ＴＶやパーソナルコンピュータ及びデータサーバー等の用途にも応用できる。
【符号の説明】
【０２８５】
１、１０００、２０００、３０００、４１００    画像分類装置（画像処理装置）
１１    ローカルデータ蓄積手段
１２    画像特徴量算出手段
１３    共通属性抽出手段
１４、１４００、２４００    分類手段
１５、１５００、３８１５、４１１５    分類辞書作成手段
１６    分類モデル情報蓄積手段
１７    画像属性情報蓄積手段
１３１    画像情報抽出手段
１３２    撮影ユニット抽出手段
１３３    共通属性判定手段
１８００    軸オブジェクト抽出手段
２８００    領域情報算出手段
３８００    入力手段
３８０１    登録手段
３８１５    分類辞書作成手段
４０００    画像分類システム
４１１０、４５１２    送受信手段
４１１６    イベント関連情報蓄積手段
４１５０    受信手段
４５００    サーバ装置
４５１０    モデル情報蓄積手段
４５１１、４６１１    制御手段
４６００    端末装置
４６１０    データ蓄積手段
４６１２    送信手段
【図１】
2012147256.tif 000003
【図２】
2012147256.tif 000004
【図３】
2012147256.tif 000005
【図４】
2012147256.tif 000006
【図５】
2012147256.tif 000007
【図６】
2012147256.tif 000008
【図７】
2012147256.tif 000009
【図８】
2012147256.tif 000010
【図９】
2012147256.tif 000011
【図１０】
2012147256.tif 000012
【図１１】
2012147256.tif 000013
【図１２】
2012147256.tif 000014
【図１３】
2012147256.tif 000015
【図１４】
2012147256.tif 000016
【図１５】
2012147256.tif 000017
【図１６】
2012147256.tif 000018
【図１７】
2012147256.tif 000019
【図１８】
2012147256.tif 000020
【図１９】
2012147256.tif 000021
【図２０】
2012147256.tif 000022
【図２１】
2012147256.tif 000023
【図２２】
2012147256.tif 000024
【図２３】
2012147256.tif 000025
【図２４】
2012147256.tif 000026
【図２５】
2012147256.tif 000027
【図２６】
2012147256.tif 000028
【図２７】
2012147256.tif 000029
【図２８】
2012147256.tif 000030
【図２９】
2012147256.tif 000031
【図３０】
2012147256.tif 000032
【図３１】
2012147256.tif 000033
【図３２】
2012147256.tif 000034
【国際調査報告】
2012147256.tif 000035
2012147256.tif 000036
2012147256.tif 000037
2012147256.tif 000038