(57)【特許請求の範囲】
【請求項１】
メタデータの付与された1枚以上の画像からなる画像群に含まれる全てのメタデータを要約するメタデータ要約部と、
前記メタデータ要約部で要約されたメタデータとイラストパーツが登録されているイラストデータベースを使ってイラストを生成するイラスト生成部と、
を備えることを特徴とするデータ処理装置。
【請求項２】
前記メタデータ要約部は、入力されたメタデータをカテゴリごとに要約することを特徴とする、請求項１に記載のデータ処理装置。
【請求項３】
前記カテゴリは、「人物」、「場所」、「時間」であることを特徴とする、請求項２に記載のデータ処理装置。
【請求項４】
前記イラスト生成部は、前記イラストデータベースに保持されているイラストのパーツのうち、「人物」、「場所」、「時間」に関するイラストパーツを組み合わせてイラストを生成することを特徴とする、請求項１から３までのいずれか１項に記載のデータ処理装置。
【請求項５】
前記メタデータ要約部は、
処理対象となる画像群に含まれるメタデータの属するカテゴリが人物であるときに、すでに登録されている人物か否かを判定し、
登録されていない人物であると判定した場合には、人物名を代表メタデータとして登録し、
登録された人物名全てを代表メタデータとして出力する
ことを特徴とする、請求項３または４に記載のデータ処理装置。
【請求項６】
前記メタデータ要約部は、
処理対象となる画像群に含まれるメタデータの属するカテゴリが場所であるときに、すでに登録されているランドマーク名か否かを判定し、
登録されていないランドマーク名であると判定した場合には、当該ランドマーク名を代表メタデータとして登録し、カウンタの値を１に設定し、
登録されているランドマーク名であると判定した場合には、当該ランドマーク名に対するカウンタの値に１を加算し、
登録されたランドマーク名の中で、カウンタの値が最も大きいランドマーク名を代表メタデータとして出力する
ことを特徴とする、請求項３または４に記載のデータ処理装置。
【請求項７】
前記メタデータ要約部は、
処理対象となる画像群に含まれるメタデータの属するカテゴリが時間であるときに、所定の時間帯のいずれに属するかを判定し、
メタデータの属する時間帯に対するカウンタの値に１を加算し、
カウンタの値が最も大きい時間帯を代表メタデータとして出力する
ことを特徴とする、請求項３または４に記載のデータ処理装置。
【請求項８】
メタデータの付与された1枚以上の画像からなる画像群に含まれる全てのメタデータを要約するメタデータ要約ステップと、
前記メタデータ要約ステップで要約されたメタデータとイラストパーツが登録されているイラストデータベースを使ってイラストを生成するイラスト生成ステップと、
を含むことを特徴とするデータ処理方法。
【請求項９】
前記メタデータ要約ステップは、入力されたメタデータをカテゴリごとに要約することを特徴とする、請求項８に記載のデータ処理方法。
【請求項１０】
前記カテゴリは、「人物」、「場所」、「時間」であることを特徴とする、請求項９に記載のデータ処理方法。
【請求項１１】
前記イラスト生成ステップは、
前記イラストデータベースに保持されているイラストパーツのうち、「人物」、「場所」、「時間」に関するイラストパーツを組み合わせてイラストを生成することを特徴とする、請求項８から１０までのいずれか１項に記載のデータ処理方法。
【請求項１２】
前記メタデータ要約ステップは、
処理対象となる画像群に含まれるメタデータの属するカテゴリが人物であるときに、すでに登録されている人物か否かを判定し、
登録されていない人物であると判定した場合には、人物名を代表メタデータとして登録し、
登録された人物名全てを代表メタデータとして出力する
ことを特徴とする、請求項１０または１１に記載のデータ処理方法。
【請求項１３】
前記メタデータ要約ステップは、
処理対象となる画像群に含まれるメタデータの属するカテゴリが場所であるときに、すでに登録されているランドマーク名か否かを判定し、
登録されていないランドマーク名であると判定した場合には、当該ランドマーク名を代表メタデータとして登録し、カウンタの値を１に設定し、
登録されているランドマーク名であると判定した場合には、当該ランドマーク名に対するカウンタの値に１を加算し、
登録されたランドマーク名の中で、カウンタの値が最も大きいランドマーク名を代表メタデータとして出力する
ことを特徴とする、請求項１０または１１に記載のデータ処理方法。
【請求項１４】
前記メタデータ要約ステップは、
処理対象となる画像群に含まれるメタデータの属するカテゴリが時間であるときに、所定の時間帯のいずれに属するかを判定し、
メタデータの属する時間帯に対するカウンタの値に１を加算し、
カウンタの値が最も大きい時間帯を代表メタデータとして出力する
ことを特徴とする、請求項１０または１１に記載のデータ処理方法。
【請求項１５】
コンピュータに請求項８から１４までのいずれか１項に記載のデータ処理方法を実現させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画又は動画等の画像データおよび関連データを処理するデータ処理装置およびデータ処理方法に関するものであり、特に、データベースに蓄積されている画像データ群に含まれる関連データを要約し、該画像データ群から該画像データ群の内容を端的に表す代表画像を選択する機能を有するデータ処理装置および、データ処理方法に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ（以下、単にデジカメと記す）やカメラ付き携帯電話等の
デジタル映像を撮影する個人向けの撮影装置が急速に普及している。このような撮影装置
においては、記憶容量が増大し、ユーザは多くの写真を撮影して記録していくことが可能
となった。しかし、記録される写真の量が増加することで限られた時間で画像データの視
聴や、大量の写真の中から目的の写真の検索が困難となり、より効率的な写真の検索方法が求められている。
【０００３】
そして、個人がデジカメで撮影する機会は、旅行や運動会等のイベントであることが多く、撮影した写真はパーソナルコンピュータ（以下、単にパソコンと記す）等にイベントごとのフォルダを作成し、フォルダ内に複数の写真を格納し画像群として管理する方法がとられている。
イベントごとにフォルダを作成し写真を管理する方法において、Ｍｉｃｒｏｓｏｆｔ社のＯＳであるＷｉｎｄｏｗｓ(登録商標)ＸＰのアプリケーションであるＥｘｐｌｏｒｅｒなどでは、フォルダ内の写真数枚を該フォルダの代表画像としてサムネイル化し、フォルダアイコンにそのサムネイル化した代表画像を表示する方法もとられている。
【０００４】
1枚以上の写真で構成される画像群から、その画像群の内容を示す写真を代表画像として選択する方法（方法Ａ）として、写真を撮影時間順に並べ、最新の写真から順に所定の枚数を代表画像とする方法や、画像群の中で画像の再生時間が最も長い写真を代表画像として選択する方法（方法Ｂ）（例えば、特許文献１参照）、画像の属性と属性値をユーザーが抽出条件として入力し、その抽出条件に最も合致した画像を代表画像として選択する方法（方法Ｃ）がある（例えば、特許文献２参照）。
【特許文献１】特開２００３−３３９０１３号公報
【特許文献２】特開２００５−６３０４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来方法において、方法Ａでは、単に撮影時間順に代表画像を選択するため、画像群の内容を考慮した代表画像が選択されているわけではなく、選択された代表画像がユーザーが画像群の内容を把握するための情報としては不十分である。
また、方法Ｂでは、写真の視聴時間によって代表画像を選択するため、写真視聴時の興味により次回視聴時の代表画像が選ばれるため、画像群の内容を表す代表画像とならない。さらに、写真視聴のたびに代表画像が変更される可能性があり、前回視聴時と同じ画像群を検索することが困難となる。
【０００６】
また、方法Ｃでは、ユーザーが代表画像を選択するための抽出条件を入力する必要があり、ユーザーにより選択された項目について、降順や昇順、完全一致等の条件に従って画像群から代表画像を１枚選択するため、ユーザーが抽出条件として入力した項目の情報を持つ写真を代表画像とすることはできるが、代表画像の選択に画像群を構成する写真の内容の傾向は反映されず、ユーザーがその画像群がどういう写真の集まりであるかを代表画像から把握することは困難となる。
【課題を解決するための手段】
【０００７】
前記従来の課題を解決するために、本発明にかかるデータ処理装置は、メタデータの付与された1枚以上の画像からなる画像群に含まれる全てのメタデータを要約するメタデータ要約部と、前記メタデータ要約部で要約されたメタデータを使って前記画像群から１枚以上の画像を選択する代表画像選択部を備えることを特徴とする。
また、本発明にかかるデータ処理装置は、メタデータの付与された1枚以上の画像からなる画像群に含まれる全てのメタデータを要約するメタデータ要約部と、前記メタデータ要約部で要約されたメタデータとイラストパーツが登録されているイラストデータベースを使ってイラストを生成するイラスト生成部を備えることを特徴とする。
【０００８】
また、本発明にかかるデータ処理装置は、前記メタデータ要約部が、入力されたメタデータをカテゴリごとに要約することを特徴とする。
また、前記代表画像選択部は、前記メタデータ要約部で要約されたメタデータと画像に付与されたメタデータの一致度が高い順に前記画像群から１枚以上の画像を選択することを特徴とする。
【０００９】
また、本発明にかかるデータ処理装置は、前記イラスト生成部が、前記イラストデータベースに保持されているイラストのパーツのうち、「人物」、「場所」、「時間」に関するイラストパーツを組み合わせてイラストを生成することを特徴とする。
また、本発明にかかるデータ処理方法は、メタデータの付与された1枚以上の画像からなる画像群に含まれる全てのメタデータを要約するメタデータ要約手段と、前記メタデータ要約手段で要約されたメタデータを使って前記画像群から１枚以上の画像を選択する代表画像選択手段を備えることを特徴とする
また、本発明にかかるデータ処理方法は、メタデータの付与された1枚以上の画像からなる画像群に含まれる全てのメタデータを要約するメタデータ要約手段と、前記メタデータ要約手段で要約されたメタデータとイラストパーツが登録されているイラストデータベースを使ってイラストを生成するイラスト生成手段を備えることを特徴とする。
【００１０】
また、本発明にかかるデータ処理方法は、前記メタデータ要約手段が、入力されたメタデータをカテゴリごとに要約することを特徴とする。
また、本発明にかかるデータ処理方法は、前記代表画像選択手段が、前記メタデータ要約手段で要約されたメタデータと画像に付与されたメタデータの一致度が高い順に前記画像群から１枚以上の画像を選択することを特徴とする。
【００１１】
また、本発明にかかるデータ処理装置および、データ処理方法は、前記カテゴリが、「人物」、「場所」、「時間」であることを特徴とする。
また、本発明にかかるデータ処理装置および、データ処理方法は、前記画像群が、一つのイベントに関する画像で構成されていることを特徴とする。
また、本発明にかかるデータ処理装置および、データ処理方法は、前記イラストデータベースは、少なくとも人物を表すイラストパーツ、場所を表すイラストパーツ、時間を表すイラストパーツを保持していることを特徴とする。
【００１２】
また、本発明にかかるデータ処理方法は、前記イラスト生成方法が、前記イラストデータベースに保持されているイラストパーツのうち、「人物」、「場所」、「時間」に関するイラストパーツを組み合わせてイラストを生成することを特徴とする。
また、本発明にかかるデータ処理方法は、これらのデータ処理方法を実現させるためのプログラムである。
【００１３】
また、本発明にかかるデータ処理方法は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体として提供される。
【発明の効果】
【００１４】
本発明に係るデータ処理装置およびデータ処理方法は、画像群を構成する各写真に関連づけられているメタデータを要約し、要約された代表メタデータによって代表画像を選択することで、画像群の内容を反映し、画像群を構成する写真の内容の傾向をユーザーに示すことができる代表画像をユーザーに提供できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明のデータ処理装置およびデータ処理方法の実施の形態について図面を用いて説明する。
なお、本明細書での「イベント」とは、日常生活において撮影者が１つの出来事として認識する限られた時間・エリアで行われる活動であると定義し、例えば、クリスマスパーティ、北海道旅行、運動会、公園へ散歩などとする。
（実施の形態）
図１は、本実施の形態に係るデータ処理装置１００の構成を示す機能ブロック図である。
図１に示すように、データ処理装置１００は、撮影された写真がイベントごとに画像群として保存されている画像記憶部１５から、任意の画像群の各写真に関連づけられているメタデータを入力として受け、入力されたメタデータを要約するメタデータ要約部１０と、メタデータ要約部１０で要約され出力された代表メタデータを入力として受け、代表メタデータに応じて該画像群から代表画像１６を１枚以上選択し出力する代表画像選択部１４からなる。さらに、メタデータ要約部１０は、写っている人物に関するメタデータを要約する人物要約部１１および、写真を撮影した場所に関するメタデータを要約する場所要約部１２、写真を撮影した時間に関するメタデータを要約する時間要約部１３を持つ。また、画像記憶部１５には撮影された写真が保存されているとしたが、これに限定するのではなく、インターネット等の通信手段や、ＣＤ−ＲＯＭ、イメージスキャナなどから取り込んだものとしてもよい。また、画像記憶部３０には写真がイベントごとに画像群として保存されているとしたが、これに限定するのではなく、ユーザーの意図によって作成された画像群であってもよく、例えば、山の画像群、車の画像群など、ユーザーの興味単位で作成された画像群としてもよい。
【００１６】
なお、画像記憶部１５はデータ処理装置１００の外部に存在すると図示しているが、これに限定するのではなく、データ処理装置１００の内部に存在するとしてもよい。
なお、メタデータ要約部１０は人物要約部１１、場所要約部１２、時間要約部１３を持つとしたが、これに限定するのではなくその他のカテゴリを要約する要約部を持つとしてもよい。例えば、撮影時の天気や天候に関するメタデータを要約する要約部を持つとしてもよい。
【００１７】
次に、本実施の形態に係るデータ処理装置１００のメタデータ要約部１０の動作概要について説明する。図２は、メタデータ要約部１０の動作ステップを示すフローチャートである。以下の説明では、一例としてメタデータ要約部１０は人物要約部１１、場所要約部１２、時間要約部１３を使ってメタデータ要約処理をするものとし、処理対象となる写真には、メタデータとして、ユーザーの知人である人物の人物名、撮影場所を表すランドマーク名、写真の撮影日時が付与されているとして説明する。
【００１８】
なお、メタデータは文字列で表されているとしてもよいし、ＩＤで表されているとしてもよいし、数字の羅列で表されているとしてもよく、これに限定するものではない。例えば、人物を表すメタデータとして、「山本さん」等の人物名をメタデータとしてもよいし、「３５」など、その人物を表すＩＤでもよい。また、場所を表すメタデータを「大阪城」等のランドマークとしてもよいし、「門真市」等住所または、住所の一部としてもよいし、「Ｎ：３４．７４  Ｗ：１３５．５７」等緯度経度情報としてもよく、これに限定するものではない。また、これらの場所情報を複数組み合わせてメタデータとしてもよい。
【００１９】
処理対象となる画像群の各写真に付与されているメタデータの全数がｇとすると、
メタデータ要約部１０は以下のメインループをｇ回繰り返す。
メインループでは、最初に、メタデータを１つ取得する（ステップＳ２０１）。
次に、入力されたメタデータをカテゴリにより、以下のいずれかの処理に振り分ける（ステップＳ２０２）。
【００２０】
ステップＳ２０２で人物に関するメタデータとして判断したメタデータは人物要約処理（ステップＳ２０３）へ、場所に関するメタデータとして判断したメタデータは場所要約処理（ステップＳ２０４）へ、時間に関するメタデータとして判断したメタデータは時間要約処理（ステップＳ２０５）へ送られる。その他のメタデータと判断した場合は、処理せず次のメタデータを取得する。
【００２１】
次に、人物要約処理Ｓ２０３の動作概要について詳細に説明する。図３は人物要約処理の動作内容を示すフローチャートである。
最初に、人物要約処理Ｓ２０３に入力された人物に関するメタデータである人物名が現在処理対象となっている画像群のメタデータ要約処理において初出の人物名かを判断する（ステップＳ３０１）。
【００２２】
次に、初出の人物名か判断するステップＳ３０１において、人物要約処理Ｓ２０３に入力された人物名が既出であると判断された場合は処理を終了し、初出であると判断された場合は人物名を代表メタデータとして図示しない内部メモリ上に直接もしくは、データファイルに登録し、処理を終了する。以上が人物要約処理Ｓ２０３の動作概要である。
次に、場所要約処理Ｓ２０４の動作概要について詳細に説明する。図４は場所要約処理Ｓ２０４の動作内容を示すフローチャートである。また、図５は場所要約処理Ｓ２０４で用いる場所情報管理テーブル５００のデータ構成の一例を示す参考図である。この場所情報管理テーブル５００は複数のレコードで構成され、各レコードはランドマーク名を格納するランドマーク名フィールド５１と該ランドマーク名の出現回数を記録するカウントフィールド５２からなる。
【００２３】
場所情報要約処理Ｓ２０４では、最初に、場所要約処理Ｓ２０４に入力された場所に関するメタデータであるランドマーク名が、現在処理対象となっている画像群のメタデータ要約処理において、初出のランドマーク名かを判断する（ステップＳ４０１）。
次に、初出のランドマーク名か判断するステップＳ４０１において、場所要約処理Ｓ２０４に入力されたランドマーク名が、初出のランドマーク名であると判断された場合は図５に示す場所情報管理テーブル５００に新しいレコードを作成し、場所情報要約処理Ｓ２０４に入力されたランドマーク名を作成したレコードのランドマーク名フィールド５１に登録し、カウントフィールドに１を入力し（ステップＳ４０２）、既出であると判断された場合は、当該ランドマーク名のレコードを検索し、該レコードのカウントフィールド５２の数字に１を足し（ステップＳ４０３）処理を終了する。以上が場所要約処理Ｓ２０４の動作概要である。
【００２４】
次に、時間要約処理Ｓ２０５の動作概要について詳細に説明する。図６は時間要約処理Ｓ２０５で用いる時間情報管理テーブル６００のデータ構成の一例を示す参考図である。この時間情報管理テーブル６００は複数のレコードで構成され、各レコードは時間帯を格納する時間帯フィールド６１と該時間帯で撮影され写真の出現回数を記録するカウントフィールド６２からなる。ここで、時間帯とは、例えば、午前６時〜１０時までを「朝」、午前１０時から午後２時までを「昼」、午後２時から午後６時までは「夕」、午後６時から午後１０時までを「夜」、午後１０時から午前３時までを「深夜」、午前３時から午前６時までを「早朝」とする。なお、初期状態では、各レコードのカウントフィールド６２は初期値として０が入力されている。
【００２５】
時間情報要約処理Ｓ２０５では、時間情報要約処理Ｓ２０５に入力された撮影時間が当てはまる時間帯を示すレコードのカウントフィールド６２の数字に１を足す。以上が時間情報要約処理Ｓ２０５の動作概要である。
なお、それぞれのメタデータは補助情報として重要度を持つとしてもよい。例えば、人物であれば、任意の２人間の親密度を重要度としてもよく、本発明のデータ処理装置の所有者と被写体との親密度を補助情報としてもよく、また、ランドマークについては、当該ランドマークの有名度を重要度として補助情報としてもよいし、ユーザーの滞在履歴等を用いて場所情報の重要度を算出するとしてもよく、これに限定するものではない。
【００２６】
なお、時間に関するメタデータとしては、基準時間からの秒数や、「２００６／２／２８／１０：００：００」等年月日時分秒で整形された文字列や、「朝」、「昼」、「夜」等時間を表す言葉としてもよく、これに限定するものではない。
なお、時間帯について、上記に上げた分類以外にも1日単位の時間帯で、例えば「バレンタインデー」や「雛祭り」や「誕生日」としてもよく、ユーザーの経歴に合わせ「小学時代」「大学３回生」等としてもよく、これらを組み合わせて使ってもよい。また、それぞれの時間帯に重要度を設定してもよい。
【００２７】
なお、メタデータに重要度が設定されている場合は、メタデータ要約処理において、各メタデータの重要度を利用することもでき、例えば、ランドマークであれば、場所情報管理テーブル５００のカウントフィールド５２に格納する値を各ランドマーク名の補助情報として付与されているランドマークの重要度の合計値等としてもよい。これは、時間に関するメタデータや、人物に関するメタデータにおいても同様であり、これら以外のカテゴリのメタデータにおいても同様である。
【００２８】
代表メタデータを出力するステップＳ２０６では、人物に関するメタデータは人物要約処理Ｓ２０３が内部メモリに直接、またはファイルとして登録した人物名を全てを、場所に関するメタデータは場所要約処理Ｓ２０４が作成した場所情報管理テーブル５００のうち、カウントフィールド５２の値が最も大きいレコードのランドマーク名フィールド５１のランドマーク名を、時間に関するメタデータは時間要約処理Ｓ２０５が作成した時間情報管理テーブル６００のうち、カウントフィールド６２の値が最も大きいレコードの時間帯フィールド６１の時間帯を代表メタデータとして出力する。以上がメタデータ要約部１０の動作概要である。
【００２９】
次に、代表画像選択部１４の代表画像選択方法について詳細に説明する。代表画像選択部１４は、メタデータ要約部１０から出力された代表メタデータを利用し、画像記憶部１５から代表画像を選択する。本実施の形態では、一例として、代表画像を代表メタデータと各写真のメタデータの一致度から求める方法を説明する。
代表メタデータと各写真のメタデータの一致度Ｍは下記の（数１）で求められる。
【００３０】
（数１）
Ｍ＝αＸ＋βＹ＋γＺ
Ｘ＝（Ｈ／Ｈａ）
Ｙ＝Ｌ
Ｚ＝Ｔ
ここで、α、β、γは任意の定数であり、Ｈは一致度算出対象となっている写真に付与されているメタデータのうち、人物名の数、Ｈａは代表メタデータに存在する人物名の数である。また、Ｌは一致度算出対象となっている写真に付与されているメタデータのうち、代表メタデータと一致するランドマーク名があれば１、なければ０となる。また、Ｔは一致度算出対象となっている写真に付与されているメタデータのうち、撮影時間が代表メタデータの時間帯に含まれるならば１、含まれないならば０となる。なお、α、β、γは１と決めてもよいし、ユーザーに任意の数を入力させるとしてもよい。ユーザーに任意の数を入力させることによって、そのユーザーが重要と考えるカテゴリのメタデータを重視した一致度Ｍを求められる。
【００３１】
代表画像選択部１４では、該画像群に含まれる全ての写真に対して（数１）を用いてメタデータの一致度Ｍを算出し、一致度の高い写真から順に1枚以上任意の枚数の写真を代表画像１６として出力する。
なお、ここでは、代表画像を代表メタデータと各写真のメタデータの一致度から求める方法を説明したが、これに限定するのではなく、例えば、網羅性を高めるように代表画像を選択することもできる。網羅性を高める選択方法の一例としては、場所に関するメタデータと時間に関するメタデータは代表メタデータと完全に一致するが、人物に関するメタデータが一致しない場合、場所に関するメタデータと時間に関するメタデータは一致していなくても、人物に関するメタデータが完全に一致する写真をも代表画像として選択する方法があり、これにより、代表メタデータを全て表現する代表画像の組み合わせを作ることができる。
【００３２】
なお、代表メタデータを用いて、図示しないアノテーション生成部により、画像群にアノテーション（注釈）をつけるとしてもよい。例えば、Ｍｉｃｒｏｓｏｆｔ社のＯＳであるＷｉｎｄｏｗｓ(登録商標)  ＸＰのアプリケーションであるＥｘｐｌｏｒｅｒなどでは、フォルダに名前を付けて管理することができる。代表メタデータを用いて、画像群のアノテーションをフォルダ名として利用することにより、画像群の内容を考慮したフォルダ名を自動で付与する機能をも提供することができる。例えば、アノテーションのテンプレートを「［撮影日時］に［人物名］と［ランドマーク］へ」とした場合、メタデータ要約部１０が出力した代表メタデータを、人物名として、「Ａさん」および「Ｂさん」、ランドマークとして「Ｓスキー場」、撮影日時として「２００６年」および「冬」であるとした時、該画像群のアノテーションを「２００６年冬にＡさん、ＢさんとＳスキー場へ」とすることができる。
【００３３】
なお、代表画像選択部１４をイラスト生成部としてもよい。図７はデータ処理装置１００のうち代表画像生成部１４をイラスト生成部７１に変更したデータ処理装置７００の構成を示す機能ブロック図である。イラスト生成部７１はイラストデータベース７２からイラストパーツを取得し、イラスト７３を出力する。なお、画像記憶部１５および、イラストデータベース７２はデータ処理装置７００の外部にあるとして図示しているが、これに限定するのではなく、画像記憶部１５がデータ処理装置７００の内部にあってもよいし、イラストデータベース７２がデータ処理装置７００の内部にあるとしてもよい。
【００３４】
データ処理装置７００では、メタデータ要約部１０の動作内容はデータ処理装置１００のものと同等であり、画像群から代表メタデータを出力する。データ処理装置７００ではメタデータ要約部１０が出力した代表メタデータを用いてイラスト生成部７１がイラストを出力する。
イラスト生成部７１は、メタデータ要約部１０の出力した代表メタデータを取得し、それぞれの代表メタデータに対応するイラストパーツをイラストデータベース７２から取得する。イラストデータベース７２から取得したイラストパーツを一枚の画像中に適宜配置することで代表メタデータの内容を表すイラスト７３を生成する。例えば、イラスト生成部７１が代表メタデータとして、人物名として「Ａさん」、「Ｂさん」、ランドマークとして「キャンプ場」、撮影時間として「昼」を取得した場合、それぞれの代表メタデータを表すイラストパーツをイラストデータベース７２から取得し、「昼」に対応する空の風景のイラストパーツを中央上部に配置し、その上に重ねて「キャンプ場」に対応するイラストパーツを右方中部に配置し、その上に重ねて「Ａさん」と「Ｂさん」を表すイラストパーツを左方下部から右方下部に向かって順に配置することで、イラスト７３が生成できる。このように、イラスト７３を生成することで、代表メタデータをより的確に表す画像をユーザーに提示できる。なお、イラストの配置方法はこれに限定するものではない。
【００３５】
以上のように、本実施の形態に係るデータ処理装置１００において、メタデータ要約部１０は、画像群の内容を表す代表メタデータを出力することができ、また、代表画像選択部１４は代表メタデータを用いて、該画像群から代表画像１６を選択することができ、画像群の内容を反映した代表画像を選択することができ、画像群の検索、視聴等に役立てることができる。
【００３６】
また、メタデータ要約部１０が出力した代表メタデータを用いてアノテーションを生成することで、画像群の検索、視聴等に役立てることができる。
また、イラスト生成部７１がメタデータ要約部１０が出力した代表メタデータを用いてイラスト７３を生成することで、代表メタデータの内容をより的確に表す画像をユーザーに提示でき、画像群の検索、視聴等に役立てることができる。
【産業上の利用可能性】
【００３７】
本発明にかかるデータ処理装置は、例えば、静止画又は動画を撮影するデジタルスチルカメラ、カメラ付き携帯端末やムービーカメラ等の撮影装置、静止画又は動画を読み取るイメージスキャナ又はムービーキャプチャ等のデータ読み取り装置で読みとられた静止画または動画の画像情報を処理する装置、ＰＣ等に適用することができる。
【図面の簡単な説明】
【００３８】
【図１】データ処理装置の構成を示したブロック図
【図２】データ処理装置の動作ステップを示すフローチャート
【図３】人物要約処理の動作ステップを示すフローチャート
【図４】場所要約処理の動作ステップを示すフローチャート
【図５】場所情報管理テーブルのデータ構成の一例を示す参考図
【図６】時間情報管理テーブルのデータ構成の一例を示す参考図
【図７】イラストを出力すデータ処理装置の構成を示したブロック図
【符号の説明】
【００３９】
１０  メタデータ要約部
１１  人物要約部
１２  場所要約部
１３  時間要約部
１４  代表画像選択部
１５  画像記憶部
１６  代表画像
５１  ランドマーク名フィールド
５２  カウントフィールド
６１  時間帯フィールド
６２  カウントフィールド
７１  イラスト生成部
７２  イラストデータベース
７３  イラスト
１００  データ処理装置
５００  場所情報管理テーブル
６００  時間情報管理テーブル
７００  データ処理装置
Ｓ２０１  メタデータを取得するステップ
Ｓ２０２  メタデータの属するカテゴリを判断するステップ
Ｓ２０３  人物要約処理ステップ
Ｓ２０４  場所要約処理ステップ
Ｓ２０５  時間要約処理ステップ
Ｓ２０６  代表メタデータを出力するステップ
Ｓ３０１  初出の人物名か判断するステップ
Ｓ３０２  人物を代表メタデータとして登録するステップ
Ｓ４０１  初出のランドマーク名か判断するステップ
Ｓ４０２  新しいレコードにランドマーク名を登録しカウントフィールドを１にするステップ
Ｓ４０３  一致するランドマーク名のカウントフィールドを＋１するステップ
【図１】
0004638366.tif 000002
【図２】
0004638366.tif 000003
【図３】
0004638366.tif 000004
【図４】
0004638366.tif 000005
【図５】
0004638366.tif 000006
【図６】
0004638366.tif 000007
【図７】
0004638366.tif 000008