(57)【要約】【課題】  メタデータの付与にかかる負担を軽減しつつ、目的とする画像を効率よく検索できるようにする。【解決手段】  端末装置６は、カメラ７にて撮影された画像データを取り込むと、画像データへのメタデータの付与をメタデータ付与サーバ２に依頼し、メタデータ付与サーバ２は、画像データへのメタデータの付与の依頼を端末装置６から受けると、その画像データにメタデータを付与し、メタデータが付与された画像データを端末装置６に返信し、端末装置６は、メタデータが付与された画像データをメタデータ付与サーバ２から受け取ると、画像データに付与されたメタデータを個人名や愛称など自分にとって判り易い名称に変更し、変更されたメタデータに基づいて画像データを検索する。【選択図】      図１
2006099268.tif 000002
【特許請求の範囲】
【請求項１】
画像データへのメタデータの付与を依頼するメタデータ付与依頼手段と、
前記依頼に応じてメタデータが付与された画像データを受領するメタデータ付与画像受領手段と、
前記画像データに付与されたメタデータを変更するメタデータ変更手段と、
前記変更されたメタデータに基づいて前記画像データの検索を行う画像データ検索手段とを備えることを特徴とする画像検索装置。
【請求項２】
メタデータの付与の依頼が行われる画像データにその画像データが撮影された日時情報を含む付帯情報を付加する付帯情報付加手段をさらに備えることを特徴とする請求項１記載の画像検索装置。
【請求項３】
メタデータの付与の依頼が行われる画像データにメタデータの付与依頼条件を設定するメタデータ付与依頼条件設定手段をさらに備え、
前記メタデータの付与依頼条件には、前記画像データの公開条件を含むことを特徴とする請求項１または２記載の画像検索装置。
【請求項４】
前記変更されたメタデータをオブジェクトとして互いに関連するオブジェクトをネットワーク表示するオブジェクト表示手段をさらに備え、
前記オブジェクト表示手段は、
同一のメタデータが付与された画像データの数量に応じて前記オブジェクトの大きさを変更するオブジェクト変更手段および撮影された時間に連動してオブジェクト間の関連性を制御する関連性制御手段のいずれか少なくとも一方を備えることを特徴とする請求項１から３のいずれか１項記載の画像検索装置。
【請求項５】
画像データへのメタデータの付与の依頼を受け付けるメタデータ付与依頼受付手段と、
前記受け付けられた画像データにメタデータを付与するメタデータ付与手段と、
前記メタデータが付与された画像データを依頼元に提供するメタデータ付与画像提供手段とを備えることを特徴とする画像検索支援装置。
【請求項６】
前記メタデータ付与手段は、同一の人物、同一のイベントまたは同一の事象については、それぞれ同一のメタデータを付与することを特徴とする請求項５記載の画像検索支援装置。
【請求項７】
前記メタデータ付与手段は、
前記画像データの人物画像にメタデータを付与する人物画像メタデータ付与手段と、
前記画像データのイベントにメタデータを付与するイベントメタデータ付与手段と、
前記画像データの事象にメタデータを付与する事象メタデータ付与手段とを備えることを特徴とする請求項５または６記載の画像検索支援装置。
【請求項８】
前記人物画像メタデータ付与手段は、人物の振り分けを行うことで前記人物画像にメタデータを付与することを特徴とする請求項７記載の画像検索支援装置。
【請求項９】
前記メタデータ付与依頼受付手段は、
前記メタデータの付与の依頼が行われる画像データにその画像データが撮影された日時情報を含む付帯情報を取得する付帯情報取得手段をさらに備え、
前記イベントメタデータ付与手段は、前記付帯情報に基づいて前記画像データのイベントにメタデータを付与することを特徴とする請求項７記載の画像検索支援装置。
【請求項１０】
メタデータが付与された参照画像を蓄積する参照画像蓄積手段をさらに備え、
前記事象メタデータ付与手段は、前記画像データと前記参照画像との比較結果に基づいて、前記参照画像に付与されたメタデータを前記画像データの事象に付与することを特徴とする請求項７記載の画像検索支援装置。
【請求項１１】
メタデータの付与の依頼が行われる画像データに設定されたメタデータの付与依頼条件を取得するメタデータ付与依頼条件取得手段をさらに備え、
前記メタデータ付与画像提供手段は、前記メタデータの付与依頼条件に基づいて、メタデータの付与の依頼が行われた画像データを公開することを特徴とする請求項５から１０のいずれか１項記載の画像検索支援装置。
【請求項１２】
画像データが蓄積された端末とメタデータ付与サーバとがネットワークを介して接続された画像検索支援システムにおいて、
前記端末にて行われる前記画像データへのメタデータの付与に伴う処理の一部を前記メタデータ付与サーバに分担させることを特徴とする画像検索支援システム。
【請求項１３】
前記端末は、
画像データへのメタデータの付与を前記メタデータ付与サーバに依頼するメタデータ付与依頼手段と、
前記メタデータ付与サーバにてメタデータが付与された画像データを受領するメタデータ付与画像受領手段と、
前記画像データに付与されたメタデータを変更するメタデータ変更手段と、
前記変更されたメタデータに基づいて前記画像データの検索を行う画像データ検索手段とを備え、
前記メタデータ付与サーバは、
画像データへのメタデータの付与の依頼を前記端末から受け付けるメタデータ付与依頼受付手段と、
前記受け付けられた画像データにメタデータを付与するメタデータ付与手段と、
前記メタデータが付与された画像データを前記端末に提供するメタデータ付与画像提供手段とを備えることを特徴とする画像検索支援システム。
【請求項１４】
前記メタデータ付与手段は、
前記画像データの人物画像にメタデータを付与する人物画像メタデータ付与手段と、
前記画像データのイベントにメタデータを付与するイベントメタデータ付与手段と、
前記画像データの事象にメタデータを付与する事象メタデータ付与手段とを備えることを特徴とする請求項１３記載の画像検索支援システム。
【請求項１５】
前記人物画像メタデータ付与手段は、人物の振り分けを行うことで前記人物画像にメタデータを付与することを特徴とする請求項１４記載の画像検索支援システム。
【請求項１６】
前記端末は、メタデータの付与の依頼が行われる画像データにその画像データが撮影された日時情報を含む付帯情報を付加する付帯情報付加手段をさらに備え、
前記メタデータ付与依頼受付手段は、前記付帯情報を前記端末から取得する付帯情報取得手段をさらに備え、
前記イベントメタデータ付与手段は、前記付帯情報に基づいて前記画像データのイベントにメタデータを付与することを特徴とする請求項１４記載の画像検索支援システム。
【請求項１７】
前記メタデータ付与サーバは、メタデータが付与された参照画像を蓄積する参照画像蓄積手段をさらに備え、
前記事象メタデータ付与手段は、前記画像データと前記参照画像との比較結果に基づいて、前記参照画像に付与されたメタデータを前記画像データの事象に付与することを特徴とする請求項１４記載の画像検索支援装置。
【請求項１８】
前記端末は、前記画像データの公開条件を含むメタデータ付与依頼条件を前記画像データに設定するメタデータ付与依頼条件設定手段をさらに備え、
前記メタデータ付与サーバは、前記メタデータ付与依頼条件を前記端末から取得するメタデータ付与依頼条件取得手段をさらに備え、
前記メタデータ付与画像提供手段は、前記メタデータ付与依頼条件に基づいて、前記画像データを公開することを特徴とする請求項１２から１７のいずれか１項記載の画像検索支援システム。
【請求項１９】
前記端末は、前記変更されたメタデータをオブジェクトとして互いに関連するオブジェクトをネットワーク表示するオブジェクト表示手段をさらに備え、
前記オブジェクト表示手段は、
同一のメタデータが付与された画像データの数量に応じて前記オブジェクトの大きさを変更するオブジェクト変更手段および撮影された時間に連動してオブジェクト間の関連性を制御する関連性制御手段のいずれか少なくとも一方を備えることを特徴とする請求項１２から１８のいずれか１項記載の画像検索支援システム。
【請求項２０】
画像データへのメタデータの付与をメタデータ付与サーバに依頼するステップと、
前記端末から依頼された前記画像データへのメタデータの付与を前記メタデータ付与サーバにて受け付けるステップと、
前記メタデータ付与サーバにて受け付けられた画像データにメタデータを付与するステップと、
前記メタデータ付与サーバにてメタデータが付与された画像データを前記端末に提供するステップと、
前記メタデータ付与サーバにてメタデータが付与された画像データを前記端末にて受領するステップと、
前記画像データに付与されたメタデータを前記端末にて変更するステップと、
前記変更されたメタデータに基づいて前記画像データを前記端末にて検索するステップとを備えることを特徴とする画像検索方法。
【請求項２１】
前記画像データにメタデータを付与するステップは、
前記画像データに載っている人物画像の振り分けを行うことで前記人物画像にメタデータを付与するステップと、
メタデータが付与された参照画像と前記画像データとの比較結果に基づいて、前記参照画像に付与されたメタデータを前記画像データの事象に付与するステップとを備えることを特徴とする請求項２０記載の画像検索方法。
【請求項２２】
メタデータの付与の依頼が行われる画像データにその画像データが撮影された日時情報を含む付帯情報を前記端末にて付加するステップと、
前記端末にて付加された付帯情報を前記メタデータ付与サーバにて取得するステップとをさらに備え、
前記画像データにメタデータを付与するステップは、前記付帯情報に基づいて前記画像データのイベントにメタデータを付与するステップを備えることを特徴とする請求項２０または２１記載の画像検索方法。
【請求項２３】
前記端末は、前記画像データの公開条件を含むメタデータ付与依頼条件を前記端末にて設定するステップと、
前記端末にて設定されたメタデータ付与依頼条件を前記メタデータ付与サーバにて取得するステップと、
前記メタデータ付与依頼条件に基づいて、前記画像データを公開するステップとをさらに備えることを特徴とする請求項２０から２２のいずれか１項記載の画像検索方法。
【請求項２４】
前記変更されたメタデータをオブジェクトとして互いに関連するオブジェクトをネットワーク表示するステップと、
同一のメタデータが付与された画像データの数量に応じて前記オブジェクトの大きさを変更するステップと、
撮影された時間に連動してオブジェクト間の関連性を制御するステップとをさらに備えることを特徴とする請求項２０から２３のいずれか１項記載の画像検索方法。
【請求項２５】
画像データへのメタデータの付与をネットワーク上で行わせるステップと、
前記ネットワーク上で付与されたメタデータを端末上で変更するステップと、
前記変更されたメタデータに基づいて前記画像データの検索を行うステップとをコンピュータに実行させることを備えることを特徴とする画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像検索装置、画像検索支援装置、画像検索システム、画像検索方法および画像検索プログラムに関し、特に、画像データにメタデータを付与する方法に適用して好適なものである。
【背景技術】
【０００２】
近年の通信ネットワークの拡充やデジタルカメラなどのデジタル画像を扱う機器の低価格化に伴い、デジタル画像が盛んに利用されるようになっている。これらのデジタル画像の保存に関しては、プリンタを用いて直接写真として印刷するほかに、パーソナルコンピュータに保存することが一般的である。
また、パーソナルコンピュータのハードディスク容量やデジタルカメラのメモリ容量が増加すると、膨大な数のデジタル画像が個人のパーソナルコンピュータに保存されるようになる。このため、利用者が希望するデジタル画像を容易に探し出せるようにデジタル画像を整理する必要が発生する。ここで、パーソナルコンピュータでデジタル画像を整理する場合、同時期に撮影したデジタル画像を１つのディレクトリにまとめて保存し、各自が判り易い名前をディレクトリに付与し、ディレクトリを木構造で管理することが通常行われている。
【０００３】
また、例えば、特許文献１には、検索の対象となる画像について人が見て判断するのと同程度の理解および認識をシステムが行い、その認識結果をメタデータとして画像に付与し、画像の検索にあたっては、利用者の希望をキーワードとして表現し、メタデータとキーワードとの照合を行うことにより、任意の画像を数少ないステップ数で容易に見つけ出せるようにする方法が開示されている。
【０００４】
また、例えば、非特許文献１には、あるオブジェクトの中心にそのオブジェクトに関わるオブジェクトをネットワーク状に表示することにより、オブジェクト間の関連性を一覧表示し、オブジェクトの一覧性を考慮した検索ができるようにする方法が開示されている。
【特許文献１】特開平１１−３０６３２２号公報
【非特許文献１】ｈｔｔｐ：／／ｗｗｗ．ｄｏｂｌｏｇ．ｃｏｍ／ｗｅｂｌｏｇ／ＢｌｏｇＳｅｒｖｅｔ？ＣＭＤ＝ＧＲＡＰＨ＆ｕｓｅｒｉｄ＝８７１
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、デジタル画像が保存されているディレクトリに名前を付与し木構造で管理する方法では、画像群の特徴ではなく、個々の画像の特徴から画像を検索したり、抽象的な要求から画像を検索したりすることが難しいという問題があった。例えば、ある時期に旅行に行った時にデジタルカメラで撮影した複数の画像が「旅行」という名前のディレクトリに保存されている場合、「（時期は忘れてしまったが）旅行に行ったときの背景に山が写っている画像」、「お父さんが写っている画像全部」、あるいは「花が写っている画像」などの特徴から画像を検索する場合、「旅行」という名前のディレクトリに保存されている画像を一枚一枚開いて確認する必要があり、非常に手間がかかるという問題があった。
【０００６】
また、特許文献１に開示された方法では、メタデータの付与にあっては、対象とする画像の中から画像認識アルゴリズムを適用し画像の分析を行うモデル画像を選択し設定することから始めるなど、多くの時間と大きな処理能力が必要となるという問題があった。また、メタデータを個人で入力すると、正確だがメタデータの入力にかかる負担が非常に大きくなるという問題があった。
【０００７】
さらに、検索にあっては、利用者が検索条件を入力することにより、システムがフィルタリングキーを抽出し、そのフィルタリングキーとキーワードとの照合を行うことにより、これらの一致した画像が検索結果として出力される。このため、照合の動作が多段階となる上、検索条件を絞り込み過ぎたら緩めるなどの試行錯誤が行われることから、検索に時間がかかるとともに、少しの検索条件の違いにより関連する画像を見ることができなくなり、一覧性を考慮した検索ができないという問題もあった。また、複数のディレクトリにまたがった複数の画像を検索する場合には、複数のディレクトリの閲覧が必要となり、手間がかかるという問題もあった。
【０００８】
また、非特許文献１に開示された方法では、複数のオブジェクト間の関連性の有無および強弱という２次元的に広がった表示に留まっている。このため、時間軸を加え複数のオブジェクト間の関連性の移り変わりを３次元的に表示したり、オブジェクトが持つ情報量を多少（ここでは、キーワードとして記述されるメタデータを保存する画像の数）を同時に表示したりすることができないという問題があった。
そこで、本発明の目的は、メタデータの付与にかかる負担を軽減しつつ、目的とする画像を効率よく検索することが可能な画像検索装置、画像検索支援装置、画像検索システム、画像検索方法および画像検索プログラムを提供することである。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、請求項１記載の画像検索装置によれば、画像データへのメタデータの付与を依頼するメタデータ付与依頼手段と、前記依頼に応じてメタデータが付与された画像データを受領するメタデータ付与画像受領手段と、前記画像データに付与されたメタデータを変更するメタデータ変更手段と、前記変更されたメタデータに基づいて前記画像データの検索を行う画像データ検索手段とを備えることを特徴とする。
【００１０】
これにより、メタデータの付与を依頼先で行わせることが可能となり、メタデータの付与を自分の端末で行う必要がなくなるとともに、依頼先にて付与されたメタデータを自分の端末側にて個人名や愛称など自分にとって判り易い名称に変更することができる。このため、自分の端末に膨大な数のデジタル画像が保存されている場合においても、個人のプライバシーを保護しつつ、メタデータの付与にかかる負担を軽減することが可能となるとともに、メタデータを付与することで様々なキーワードから目的とする画像に辿り着くことが可能となり、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を効率よく行うことが可能となる。
【００１１】
また、請求項２記載の画像検索装置によれば、メタデータの付与の依頼が行われる画像データにその画像データが撮影された日時情報を含む付帯情報を付加する付帯情報付加手段をさらに備えることを特徴とする。
これにより、付帯情報を付加してメタデータの付与の依頼を行うことが可能となる。このため、画像データからイベントの抽出を効率よく行わせることが可能となり、メタデータの付与にかかる負担を軽減しつつ、画像データをイベントごとに検索することが可能となる。
【００１２】
また、請求項３記載の画像検索装置によれば、メタデータの付与の依頼が行われる画像データにメタデータの付与依頼条件を設定するメタデータ付与依頼条件設定手段をさらに備え、前記メタデータの付与依頼条件には、前記画像データの公開条件を含むことを特徴とする。
これにより、依頼者の希望に合ったメタデータの付与を行わせることが可能となるとともに、必要に応じて画像データを公開することが可能となる。
【００１３】
また、請求項４記載の画像検索装置によれば、前記変更されたメタデータをオブジェクトとして互いに関連するオブジェクトをネットワーク表示するオブジェクト表示手段をさらに備え、前記オブジェクト表示手段は、同一のメタデータが付与された画像データの数量に応じて前記オブジェクトの大きさを変更するオブジェクト変更手段および撮影された時間に連動してオブジェクト間の関連性を制御する関連性制御手段のいずれか少なくとも一方を備えることを特徴とする。
【００１４】
これにより、オブジェクト間の関連性のみならずオブジェクトの時間的特性や情報量を考慮しつつ、複数のオブジェクトを一覧表示させることが可能となる。このため、オブジェクトの表示画面から目的とする画像データを効率よく見つけ出すことが可能となるとともに、オブジェクトの表示画面から１ステップ（ダブルクリック）操作で画像のプレビュー画面に到達することが可能となり、検索時間を短縮することができる。
【００１５】
また、請求項５記載の画像検索支援装置によれば、画像データへのメタデータの付与の依頼を受け付けるメタデータ付与依頼受付手段と、前記受け付けられた画像データにメタデータを付与するメタデータ付与手段と、前記メタデータが付与された画像データを依頼元に提供するメタデータ付与画像提供手段とを備えることを特徴とする。
これにより、メタデータの付与の支援を行うことが可能となり、個人の端末に膨大な数のデジタル画像が保存されている場合においても、メタデータを個人で付与する際の負担を軽減することが可能となる。
【００１６】
また、請求項６記載の画像検索支援装置によれば、前記メタデータ付与手段は、同一の人物、同一のイベントまたは同一の事象については、それぞれ同一のメタデータを付与することを特徴とする。
これにより、同一の人物、同一のイベントまたは同一の事象が膨大な数のデジタル画像に写っている場合においても、それらのデジタル画像を個人の端末側で一括して扱うことが可能となる。このため、個々の画像の特徴から画像を検索する場合においても、それらの画像を人手で一枚一枚確認する必要がなくなり、個々の画像の特徴にも対応した漏れのない検索を効率よく行うことが可能となる。
【００１７】
また、請求項７記載の画像検索支援装置によれば、前記メタデータ付与手段は、前記画像データの人物画像にメタデータを付与する人物画像メタデータ付与手段と、前記画像データのイベントにメタデータを付与するイベントメタデータ付与手段と、前記画像データの事象にメタデータを付与する事象メタデータ付与手段とを備えることを特徴とする。
これにより、人物画像、イベントおよび事象ごとにメタデータを付与することが可能となる。このため、人物画像、イベントおよび事象ごとに画像データを検索することが可能となり、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を効率よく行うことが可能となる。
【００１８】
また、請求項８記載の画像検索支援装置によれば、前記人物画像メタデータ付与手段は、人物の振り分けを行うことで前記人物画像にメタデータを付与することを特徴とする。
これにより、同一画像に複数の人物が写っている場合においても、それらの人物を区別することが可能となるとともに、同一の人物が複数の画像に写っている場合においても、それらの画像間でその人物を同一視することができる。このため、個人の端末側に膨大な数のデジタル画像が保存されている場合においても、同一人物が写っている画像を個人の端末側で一括して扱うことが可能となり、個々の画像の特徴から画像を検索する場合においても、それらの画像を人手で一枚一枚確認することなく、個々の画像の特徴に対応した漏れのない検索を効率よく行うことが可能となる。
【００１９】
また、請求項９記載の画像検索支援装置によれば、前記メタデータ付与依頼受付手段は、前記メタデータの付与の依頼が行われる画像データにその画像データが撮影された日時情報を含む付帯情報を取得する付帯情報取得手段をさらに備え、前記イベントメタデータ付与手段は、前記付帯情報に基づいて前記画像データのイベントにメタデータを付与することを特徴とする。
これにより、画像データからイベントの抽出を効率よく行うことが可能となり、メタデータの付与にかかる負担を軽減しつつ、抽象的な検索要求にも対応した漏れのない検索を効率よく行わせることが可能となる。
【００２０】
また、請求項１０記載の画像検索支援装置によれば、メタデータが付与された参照画像を蓄積する参照画像蓄積手段をさらに備え、前記事象メタデータ付与手段は、前記画像データと前記参照画像との比較結果に基づいて、前記参照画像に付与されたメタデータを前記画像データの事象に付与することを特徴とする。
これにより、画像データから事象の抽出を効率よく行うことが可能となり、メタデータの付与にかかる負担を軽減しつつ、抽象的な検索要求にも対応した漏れのない検索を効率よく行わせることが可能となる。
【００２１】
また、請求項１１記載の画像検索支援装置によれば、メタデータの付与の依頼が行われる画像データに設定されたメタデータの付与依頼条件を取得するメタデータ付与依頼条件取得手段をさらに備え、前記メタデータ付与画像提供手段は、前記メタデータの付与依頼条件に基づいて、メタデータの付与の依頼が行われた画像データを公開することを特徴とする。
これにより、依頼者の希望に合ったメタデータを付与することが可能となるとともに、依頼者の希望に応じて画像データを公開することが可能となる。
【００２２】
また、請求項１２記載の画像検索支援システムによれば、画像データが蓄積された端末とメタデータ付与サーバとがネットワークを介して接続された画像検索支援システムにおいて、前記端末にて行われる前記画像データへのメタデータの付与に伴う処理の一部を前記メタデータ付与サーバに分担させることを特徴とする。
これにより、個人が行うには負担の大きな処理をメタデータ付与サーバに分担させるとともに、個人に特徴的な処理を自分の端末で分担しながら、メタデータを画像データに付与することができる。このため、自分の端末に膨大な数のデジタル画像が保存されている場合においても、個人のプライバシーを保護しつつ、メタデータの付与にかかる負担を軽減することが可能となるとともに、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を効率よく行うことが可能となる。
【００２３】
また、請求項１３記載の画像検索支援システムによれば、前記端末は、画像データへのメタデータの付与を前記メタデータ付与サーバに依頼するメタデータ付与依頼手段と、前記メタデータ付与サーバにてメタデータが付与された画像データを受領するメタデータ付与画像受領手段と、前記画像データに付与されたメタデータを変更するメタデータ変更手段と、前記変更されたメタデータに基づいて前記画像データの検索を行う画像データ検索手段とを備え、前記メタデータ付与サーバは、画像データへのメタデータの付与の依頼を前記端末から受け付けるメタデータ付与依頼受付手段と、前記受け付けられた画像データにメタデータを付与するメタデータ付与手段と、前記メタデータが付与された画像データを前記端末に提供するメタデータ付与画像提供手段とを備えることを特徴とする。
【００２４】
これにより、メタデータの付与をメタデータ付与サーバで行わせることが可能となり、メタデータの付与を自分の端末で行う必要がなくなるとともに、メタデータ付与サーバにて付与されたメタデータを自分にとって判り易い名称に変更することができる。このため、自分の端末に膨大な数のデジタル画像が保存されている場合においても、個人のプライバシーを保護しつつ、メタデータの付与にかかる負担を軽減することが可能となるとともに、メタデータを変更することで個々の画像の特徴から目的とする画像に容易に辿り着くことが可能となり、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を端末側で効率よく行うことが可能となる。
【００２５】
また、請求項１４記載の画像検索支援システムによれば、前記メタデータ付与手段は、前記画像データの人物画像にメタデータを付与する人物画像メタデータ付与手段と、前記画像データのイベントにメタデータを付与するイベントメタデータ付与手段と、前記画像データの事象にメタデータを付与する事象メタデータ付与手段とを備えることを特徴とする。
これにより、人物画像、イベントおよび事象ごとにメタデータをメタデータ付与サーバにて付与することが可能となり、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を端末側で効率よく行うことが可能となる。
【００２６】
また、請求項１５記載の画像検索支援システムによれば、前記人物画像メタデータ付与手段は、人物の振り分けを行うことで前記人物画像にメタデータを付与することを特徴と
する。
これにより、異なる人物が写っている人物画像には異なるメタデータをメタデータ付与サーバにて付与することが可能となり、個々の画像の特徴に対応した漏れのない検索を端末側で効率よく行うことが可能となる。
【００２７】
また、請求項１６記載の画像検索支援システムによれば、前記端末は、メタデータの付与の依頼が行われる画像データにその画像データが撮影された日時情報を含む付帯情報を付加する付帯情報付加手段をさらに備え、前記メタデータ付与依頼受付手段は、前記付帯情報を前記端末から取得する付帯情報取得手段をさらに備え、前記イベントメタデータ付与手段は、前記付帯情報に基づいて前記画像データのイベントにメタデータを付与することを特徴とする。
これにより、画像データからのイベントの抽出をメタデータ付与サーバにて効率よく行うことが可能となり、メタデータの付与にかかる負担を軽減しつつ、抽象的な検索要求にも対応した漏れのない検索を端末側にて効率よく行わせることが可能となる。
【００２８】
また、請求項１７記載の画像検索支援システムによれば、前記メタデータ付与サーバは、メタデータが付与された参照画像を蓄積する参照画像蓄積手段をさらに備え、前記事象メタデータ付与手段は、前記画像データと前記参照画像との比較結果に基づいて、前記参照画像に付与されたメタデータを前記画像データの事象に付与することを特徴とする。
これにより、画像データからの事象の抽出をメタデータ付与サーバにて効率よく行うことが可能となり、メタデータの付与にかかる負担を軽減しつつ、抽象的な検索要求にも対応した漏れのない検索を端末側にて効率よく行わせることが可能となる。
【００２９】
また、請求項１８記載の画像検索支援システムによれば、前記端末は、前記画像データの公開条件を含むメタデータ付与依頼条件を前記画像データに設定するメタデータ付与依頼条件設定手段をさらに備え、前記メタデータ付与サーバは、前記メタデータ付与依頼条件を前記端末から取得するメタデータ付与依頼条件取得手段をさらに備え、前記メタデータ付与画像提供手段は、前記メタデータ付与依頼条件に基づいて、前記画像データを公開することを特徴とする。
これにより、依頼者の希望に合ったメタデータをメタデータ付与サーバ側で付与することが可能となるとともに、依頼者の希望に応じて画像データを公開することが可能となる。
【００３０】
また、請求項１９記載の画像検索支援システムによれば、前記端末は、前記変更されたメタデータをオブジェクトとして互いに関連するオブジェクトをネットワーク表示するオブジェクト表示手段をさらに備え、前記オブジェクト表示手段は、同一のメタデータが付与された画像データの数量に応じて前記オブジェクトの大きさを変更するオブジェクト変更手段および撮影された時間に連動してオブジェクト間の関連性を制御する関連性制御手段のいずれか少なくとも一方を備えることを特徴とする。
これにより、オブジェクト間の関連性のみならずオブジェクトの時間的特性や情報量を考慮しつつ、複数のオブジェクトを一覧表示させることが可能となり、検索精度を向上させることが可能となるとともに、検索時間を短縮することができる。
【００３１】
また、請求項２０記載の画像検索方法によれば、画像データへのメタデータの付与をメタデータ付与サーバに依頼するステップと、前記端末から依頼された前記画像データへのメタデータの付与を前記メタデータ付与サーバにて受け付けるステップと、前記メタデータ付与サーバにて受け付けられた画像データにメタデータを付与するステップと、前記メタデータ付与サーバにてメタデータが付与された画像データを前記端末に提供するステップと、前記メタデータ付与サーバにてメタデータが付与された画像データを前記端末にて受領するステップと、前記画像データに付与されたメタデータを前記端末にて変更するステップと、前記変更されたメタデータに基づいて前記画像データを前記端末にて検索するステップとを備えることを特徴とする。
【００３２】
これにより、画像データへのメタデータの付与の処理の一部をメタデータ付与サーバに分担させることが可能となり、メタデータの付与にかかる負担を軽減することを可能としつつ、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を端末側で効率よく行うことが可能となる。
【００３３】
また、請求項２１記載の画像検索方法によれば、前記画像データにメタデータを付与するステップは、前記画像データに載っている人物画像の振り分けを行うことで前記人物画像にメタデータを付与するステップと、メタデータが付与された参照画像と前記画像データとの比較結果に基づいて、前記参照画像に付与されたメタデータを前記画像データの事象に付与するステップとを備えることを特徴とする。
これにより、画像データからの人物画像および事象の抽出をメタデータ付与サーバにて行うことが可能となり、メタデータの付与にかかる負担を軽減しつつ、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を端末側にて効率よく行うことが可能となる。
【００３４】
また、請求項２２記載の画像検索方法によれば、メタデータの付与の依頼が行われる画像データにその画像データが撮影された日時情報を含む付帯情報を前記端末にて付加するステップと、前記端末にて付加された付帯情報を前記メタデータ付与サーバにて取得するステップとをさらに備え、前記画像データにメタデータを付与するステップは、前記付帯情報に基づいて前記画像データのイベントにメタデータを付与するステップを備えることを特徴とする。
これにより、画像データからのイベントの抽出をメタデータ付与サーバにて効率よく行うことが可能となり、メタデータの付与にかかる負担を軽減しつつ、抽象的な検索要求にも対応した漏れのない検索を端末側にて効率よく行わせることが可能となる。
【００３５】
また、請求項２３記載の画像検索方法によれば、前記端末は、前記画像データの公開条件を含むメタデータ付与依頼条件を前記端末にて設定するステップと、前記端末にて設定されたメタデータ付与依頼条件を前記メタデータ付与サーバにて取得するステップと、前記メタデータ付与依頼条件に基づいて、前記画像データを公開するステップとをさらに備えることを特徴とする。
これにより、依頼者の希望に合ったメタデータをメタデータ付与サーバ側で付与することが可能となるとともに、依頼者の希望に応じて画像データを公開することが可能となる。
【００３６】
また、請求項２４記載の画像検索方法によれば、前記変更されたメタデータをオブジェクトとして互いに関連するオブジェクトをネットワーク表示するステップと、同一のメタデータが付与された画像データの数量に応じて前記オブジェクトの大きさを変更するステップと、撮影された時間に連動してオブジェクト間の関連性を制御するステップとをさらに備えることを特徴とする。
これにより、オブジェクト間の関連性のみならずオブジェクトの時間的特性や情報量を考慮しつつ、複数のオブジェクトを一覧表示させることが可能となり、検索精度を向上させることが可能となるとともに、検索時間を短縮することができる。
【００３７】
また、請求項２５記載の画像検索プログラムによれば、画像データへのメタデータの付与をネットワーク上で行わせるステップと、前記ネットワーク上で付与されたメタデータを端末上で変更するステップと、前記変更されたメタデータに基づいて前記画像データの検索を行うステップとをコンピュータに実行させることを備えることを特徴とする。
これにより、個人では負担の大きな汎用的な処理をメタデータ付与サーバに分担させるとともに、個人に特徴的な処理を自分の端末で分担しながら、メタデータを画像データに付与することができ、メタデータの付与にかかる負担を軽減しつつ、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を効率よく行うことが可能となる。
【発明の効果】
【００３８】
以上説明したように、本発明によれば、画像データへのメタデータの付与の処理の一部をネットワーク上で分担させることが可能となり、メタデータの付与にかかる負担を軽減しつつ、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を効率よく行うことが可能となる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明の実施形態に係る画像検索システムおよび画像検索方法について図面を参照しながら説明する。
図１は、本発明の一実施形態に係る画像検索システムの概略構成を示すブロック図である。
図１において、通信ネットワーク１には、メタデータ付与サーバ装置２、画像提供サーバ装置５および端末装置６、８が接続され、メタデータ付与サーバ装置２には、サービス端末装置４が接続され、端末装置６には、カメラ７が接続されている。
【００４０】
ここで、メタデータ付与サーバ装置２は、画像データへのメタデータの付与の依頼を端末装置６から受け付け、依頼された画像データにメタデータを付与してから端末装置６に返信することができる。サービス端末装置４は、メタデータ付与サーバ装置２にて行われるメタデータの付与処理を補助するもので、メタデータ付与サーバ装置２によるメタデータの自動付与が困難な場合、サービス端末装置４上で手動でメタデータを付与する。端末装置６は、画像データへのメタデータの付与をメタデータ付与サーバ２に依頼し、メタデータ付与サーバにて画像データに付与されたメタデータを自端末上で変更することができる。画像提供サーバ装置５は、撮影画像を蓄積し、Ｗｅｂ上で撮影画像を公開することができる。端末装置８は、画像提供サーバ装置５にアクセスすることにより、画像提供サーバ装置５にて公開された撮影画像を閲覧したり取り込んだりする。
【００４１】
なお、通信ネットワーク１としては、ＩＰ通信を行う公衆通信網を用いることができ、インターネットであってもよい。あるいは、固定電話通信網、移動体通信網やＬＡＮなどであってもよい。また、端末装置６、８は、ノート型パーソナルコンピュータあるいはデスクトップ型パーソナルコンピュータでもよく、携帯電話端末やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄａｔａ  Ａｓｓｉｓｔａｎｔ）などでもよい。
【００４２】
そして、端末装置６は、カメラ７にて撮影された画像データを取り込むと、画像データへのメタデータの付与をメタデータ付与サーバ２に依頼する。そして、メタデータ付与サーバ２は、画像データへのメタデータの付与の依頼を端末装置６から受けると、その画像データにメタデータを付与し、メタデータが付与された画像データを端末装置６に返信する。そして、端末装置６は、メタデータが付与された画像データをメタデータ付与サーバ２から受け取ると、画像データに付与されたメタデータを個人名や愛称など自分にとって判り易い名称に変更することができる。そして、端末装置６は、変更されたメタデータに基づいて画像データを検索することができる。
【００４３】
これにより、端末装置６では負担の大きな汎用的な処理をメタデータ付与サーバ２に分担させるとともに、個人情報にかかわる処理を端末装置６で分担しながら、メタデータを画像データに付与することができる。このため、端末装置６に膨大な数のデジタル画像が保存されている場合においても、個人のプライバシーを保護しつつ、メタデータの付与にかかる負担を軽減することが可能となるとともに、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を効率よく行うことが可能となる。
【００４４】
図２は、本発明の一実施形態に係るメタデータ付与処理方法の概要を示すブロック図である。
図２において、メタデータ付与サーバ装置２には、端末装置６からの画像データへのメタデータの付与の依頼を受け付けるメタデータ付与依頼受付部２１、画像データの人物画像にメタデータを付与する人物画像メタデータ付与部２３、画像データのイベントにメタデータを付与するイベントメタデータ付与部２４、画像データの事象にメタデータを付与する事象メタデータ付与部２５およびメタデータが付与された画像データを端末装置６に提供するメタデータ付与画像提供部２８が設けられている。また、メタデータ付与サーバ装置２には参照画像１０４が蓄積され、参照画像１０４にはメタデータが付与されている。
【００４５】
そして、端末装置６には、例えば、家族で動物園や外国に旅行に行った時にカメラ７にて撮影された画像が保存された画像ファイル１０１が格納されている。そして、端末装置６は、画像ファイル１０１に保存された画像データにメタデータ１１４を付与する場合、メタデータ付与サーバ２にアクセスし、その画像データへのメタデータ１１４の付与をメタデータ付与サーバ２に依頼する。なお、端末装置６は、メタデータ１１４の付与の依頼を行う場合、メタデータ１１４の付け方を指定するメタデータ付与依頼条件を設定することができる。なお、メタデータ付与依頼条件には、画像データを著作権フリーで公開するかどうかなどの公開の仕方についての条件を含めるようにしてもよい。
【００４６】
そして、メタデータ付与サーバ２は、メタデータ１１４の付与についての依頼が行われると、端末装置６からの画像データへのメタデータ１１４の付与の依頼をメタデータ付与依頼受付部２１にて受け付け、生画像アーカイバ１０３として保存する。そして、画像データへのメタデータ１１４の付与の依頼がメタデータ付与依頼受付部２１にて受け付けられると、画像データの人物画像を一意に特定可能なメタデータ１１４が人物画像メタデータ付与部２３にて付与される。ここで、人物画像メタデータ付与部２３は、人物の振り分けを行うことで人物画像にメタデータを付与することができる。
【００４７】
また、画像データへのメタデータ１１４の付与の依頼がメタデータ付与依頼受付部２１にて受け付けられると、画像データのイベントを一意に特定可能なメタデータ１１４がイベントメタデータ付与部２４にて付与される。ここで、イベントメタデータ付与部２４は、画像データが撮影された日時情報を含む付帯情報に基づいて画像データのイベントにメタデータ１１４を付与することができる。
【００４８】
さらに、画像データへのメタデータ１１４の付与の依頼がメタデータ付与依頼受付部２１にて受け付けられると、画像データの事象を一意に特定可能なメタデータ１１４が事象メタデータ付与部２５にて付与される。ここで、事象メタデータ付与部２５は、画像データと参照画像１０４とを比較し、類似性が高い参照画像が持つ１つ、あるいは複数のメタデータ１１４を画像データの事象に付与することができる。
【００４９】
また、メタデータ付与依頼受付部２１は、人物画像メタデータ付与部２３、イベントメタデータ付与部２４または事象メタデータ付与部２５にてメタデータ１１４を自動的に付与することが難しい場合、メタデータ１１４の付与をサービス端末装置４に依頼する。そして、サービス端末装置４は、メタデータ付与依頼受付部２１からメタデータ１１４の付与の依頼を受けると、サービス端末装置４上で手動でメタデータ１１４を付与し、メタデータ１１４が付与された画像データをメタデータ付与依頼受付部２１に提供する。ここで、サービス端末装置４は、メタデータ１１４の付与の依頼を受けた画像データにメタデータ１１４を付与する場合、メタデータ付与サーバ装置２に蓄積されている参照画像１０４を参照することができる。そして、サービス端末装置４にて画像データにメタデータ１１４を付与されると、メタデータ１１４が付与された画像データを参照画像１０４に蓄積することができる。これにより、参照画像１０４に付与されるメタデータの精度を向上させることができ、より多くの条件でのメタデータの自動付与が可能となる。
【００５０】
そして、メタデータ付与画像提供部２８は、端末装置６から依頼された画像データにメタデータ１１４が付与されると、メタデータ１１４が付与された画像データを端末装置６に提供する。そして、端末装置６は、メタデータが付与された画像データをメタデータ付与サーバ２から受け取ると、画像データに付与されたメタデータを個人名や愛称など自分にとって判り易い名称に変更する。例えば、メタデータ付与サーバ装置２にて人物画像にメタデータ１１４が付与されていた場合、その人物が自分の子供ならば、その人物画像に付与されているメタデータ１１４を自分の子供の名前に変更するようにしてもよいし、メタデータ付与サーバ装置２にてイベントにメタデータ１１４が付与されていた場合、そのイベントが動物園に行った時のことであれば、そのイベントに付与されているメタデータ１１４を動物園という名称に変更するようにしてもよい。
【００５１】
これにより、メタデータ１１４の付与をメタデータ付与サーバ装置２で行わせることが可能となり、メタデータ１１４の付与を自分の端末装置６で行う必要がなくなるとともに、メタデータ付与サーバ装置２にて付与されたメタデータ１１４を自分の端末装置６にて個人名や愛称など自分にとって判り易い名称に変更することができる。このため、自分の端末に膨大な数の画像ファイル１０１が保存されている場合においても、個人のプライバシーを保護しつつ、メタデータ１１４の付与にかかる負担を軽減することが可能となるとともに、メタデータ１１４を付与することで様々なキーワードから目的とする画像に辿り着くことが可能となり、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を効率よく行うことが可能となる。
【００５２】
また、メタデータ付与画像提供部２８は、画像データを著作権フリーで公開するという指定がメタデータ付与依頼条件にある場合、メタデータ１１４が付与された画像データを画像提供サーバ装置５に提供する。そして、画像提供サーバ装置５は、メタデータ１１４が付与された画像データをメタデータ付与画像提供部２８から受け取ると、その画像データを画像アーカイバ１０５に蓄積する。そして、端末装置８は、Ｗｅｂ５１サーバにアクセスすることにより、画像アーカイバ１０５に蓄積されている撮影画像を閲覧したり取り込んだりすることができる。
【００５３】
これにより、様々な人たちが撮影した画像データを容易に収集することが可能となるとともに、メタデータ１１４が付与された画像データを流通させることが可能となり、様々な再利用が可能となる。
ここで、画像アーカイバ１０５に蓄積されているメタデータが付与された画像データは、参照画像１０４としてメタデータ付与サーバ装置２に提供することができる。これにより、メタデータ付与サーバ装置２は、より多くの参照画像１０４を収集することが可能となり、パターンマッチングに使われる比較画像を増大させることを可能として、より多くの条件でのメタデータの自動付与が可能となる。
【００５４】
なお、上述した実施形態では、人物画像、イベントおよび事象に対してメタデータ１１４を付与する方法について説明したが、画像データに物体が映っている場合には、メタデータ付与サーバ装置２は、その物体にもメタデータ１１４を付与するようにしてもよい。例えば、メタデータ付与サーバ装置２は、画像データに自動車が映っていたら「自動車」というメタデータ１１４を付与してもよいし、画像データに犬が映っていたら「犬」というメタデータ１１４を付与してもよい。そして、端末装置６側では、「自動車」というメタデータ１１４が付与されていた場合、自分が「クラウン」を持っているならば、「自動車」というメタデータ１１４を「クラウン」というメタデータ１１４に変更するようにしてもよいし、「犬」というメタデータ１１４が付与されていた場合、その犬の名前が「ポチ」ならば、「犬」というメタデータ１１４を「ポチ」というメタデータ１１４に変更するようにしてもよい。
【００５５】
図３は、本発明の一実施形態に係るメタデータ付与処理方法の一例を示すブロック図である。
図３において、カメラ７にて撮影画像１１１が撮影されると、端末装置６はその撮影画像１１１を取り込む。ここで、カメラ７は、撮影画像１１１を撮影する時に撮影画像１１１に付帯情報１１２を付加することができ、端末装置６はその付帯情報１１２とともに撮影画像１１１を取り込むことができる。なお、付帯情報１１２には、撮影画像１１１が撮影された日時情報を含めることができる。また、カメラ７に位置情報を検知する機能がある場合、撮影画像１１１が撮影された時の位置を示す位置情報を付帯情報に付加するようにしてもよい。
【００５６】
そして、端末装置６は、撮影画像１１１に付帯情報１１２が付加された付帯情報付撮影画像１４１を取り込むと、その撮影画像１１１にメタデータ付与依頼条件１１３を設定することにより、メタデータ付与依頼画像１４２を生成する。ここで、メタデータ付与依頼条件１１３として、例えば、人物画像、イベントおよび事象に対してメタデータを付与するなどの条件を与えることができる。また、メタデータ付与依頼条件１１３には、画像データを著作権フリーで公開するかどうかなどの公開の仕方についての条件を含めるようにしてもよい。
【００５７】
そして、端末装置６は、メタデータ付与依頼画像１４２を生成すると、撮影画像１１１へのメタデータの付与をメタデータ付与サーバ装置２に依頼する。ここで、例えば、撮影画像１１１として４枚分の撮影画像１１１ａ〜１１１ｄへのメタデータの付与が依頼された場合、メタデータ付与サーバ装置２は、それらの４枚分の全ての撮影画像１１１ａ〜１１１ｄについてメタデータを付与することによりメタデータ付与画像１１０を生成する。すなわち、メタデータ付与サーバ装置２は、撮影画像１１１ａ〜１１１ｄの画像認識を行うことにより、撮影画像１１１ａ〜１１１ｄから人物画像を抽出し、それらの人物画像にメタデータを付与する。例えば、撮影画像１１１ａ〜１１１ｃに１人目の人物が写っている場合、撮影画像１１１ａ〜１１１ｃに１人目の人物画像を特定するメタデータ１１４を付与する。また、撮影画像１１１ｂ、１１１ｄに２人目の人物が写っている場合、撮影画像１１１ｂ、１１１ｄに２人目の人物画像を特定するメタデータ１１４を付与する。さらに、撮影画像１１１ｄに３人目の人物が写っている場合、撮影画像１１１ｄに３人目の人物画像を特定するメタデータ１１４を付与する。
【００５８】
また、メタデータ付与サーバ装置２は、付帯情報１１２に含まれる日時情報に基づいて撮影画像１１１ａ〜１１１ｄからイベントを抽出し、それらの撮影画像１１１ａ〜１１１ｄにイベントのメタデータ１１４を付与する。例えば、撮影画像１１１ａ、１１１ｂに１つ目のイベントが写っている場合、撮影画像１１１ａ、１１１ｂに１つ目のイベントを特定するメタデータ１１４を付与する。また、撮影画像１１１ｃ、１１１ｄに２つ目のイベントが写っている場合、撮影画像１１１ｃ、１１１ｄに２つ目のイベントを特定するメタデータ１１４を付与する。ここで、撮影画像１１１ａ〜１１１ｄにイベントのメタデータを付与する場合、撮影画像１１１ａ〜１１１ｄに付加されている日時情報を調べ、撮影された日時が互いに近い場合には、同一のイベントと判断し、撮影された日時が互いに離れている場合には、異なるイベントと判断することにより、異なるイベントごとに異なるメタデータ１１４を付与することができる。
【００５９】
図４（ａ）は、図３のメタデータ付与サーバ装置２のイベントの抽出方法の一例を示す図である。
図４（ａ）において、メタデータ付与サーバ装置２は、撮影画像に付加されている日時情報および撮影画像の枚数に基づいて、撮影画像をグルーピングすることができる。そして、撮影された日時が互いに接近している撮影画像をまとめることにより、撮影画像のグループを形成する。例えば、６月１６日から６月１７日にかけて継続して撮影されている撮影画像がある場合、それらの撮影画像をまとめたグループＧ１を生成する。また、グループＧから所定の時間だけ隔てて６月１８に継続して撮影されている撮影画像がある場合、それらの撮影画像はグループＧ１のイベントとは異なると判断し、それらの撮影画像をまとめたグループＧ２を生成する。
【００６０】
上記条件において、撮影画像１１１ａが６月１６日に撮像され、撮影画像１１１ｂが６月１７日に撮像されたものとすると、撮影画像１１１ａ、１１１ｂはグループＧ１に入るとみなして、１つ目のイベントを特定するメタデータ１１４を撮影画像１１１ａ、１１１ｂにそれぞれ付与することができる。また、撮影画像１１１ｃ、１１１ｄが６月１８日に撮像されたものとすると、撮影画像１１１ｃ、１１１ｄはグループＧ２に入るとみなして、２つ目のイベントを特定するメタデータ１１４を撮影画像１１１ｃ、１１１ｄにそれぞれ付与することができる。
これにより、撮影画像１１１ａ、１１１ｂが日付をまたいで撮影されている場合においても、同じイベントのメタデータ１１４を撮影画像１１１ａ、１１１ｂに付与することが可能となり、撮影画像１１１ａ〜１１１ｄからイベントの抽出を精度よく行うことが可能となる。
【００６１】
また、メタデータ付与サーバ装置２は、メタデータが付与された参照画像１０４と撮影画像１１１ａ〜１１１ｄとを比較することにより、撮影画像１１１ａ〜１１１ｄから事象を抽出し、それらの撮影画像１１１ａ〜１１１ｄに事象のメタデータ１１４を付与する。例えば、「春」というメタデータが付与された参照画像１０４と撮影画像１１１ａとが類似しているものとすると、撮影画像１１１ａに「春」というメタデータ１１４を付与する。また、「春山」というメタデータが付与された参照画像１０４と撮影画像１１１ｂとが類似しているものとすると、撮影画像１１１ｂに「春山」というメタデータ１１４を付与する。また、「山」というメタデータが付与された参照画像１０４と撮影画像１１１ｃとが類似しているものとすると、撮影画像１１１ｃに「山」というメタデータ１１４を付与する。また、「海」というメタデータが付与された参照画像１０４と撮影画像１１１ｄとが類似しているものとすると、撮影画像１１１ｄに「海」というメタデータ１１４を付与する。
【００６２】
図４（ｂ）は、図３のメタデータ付与サーバ装置２の事象のメタデータ付与方法の一例を示す図である。
図４（ｂ）において、メタデータ付与サーバ装置２には、参照画像１０４を蓄積する参照画像蓄積部２６が設けられている。そして、メタデータ付与サーバ装置２は、端末装置６から送られた撮影画像１１１と、参照画像蓄積部２６に蓄積されている参照画像１０４とのパターンマッチングを行う。そして、一定以上のスコアを得た参照画像１０４を類似性が高いとみなし、その参照画像１０４の付与されているメタデータを撮影画像１１１に付与する。
【００６３】
そして、メタデータ付与サーバ装置２は、撮影画像１１１ａ〜１１１ｄについてのメタデータ付与画像１１０を生成すると、メタデータ付与画像１１０を端末装置６に提供する。
そして、端末装置６は、メタデータ付与画像１１０を受け取ると、撮影画像１１１ａ〜１１１ｄに付与されたメタデータ１１４をメタデータ変更情報１１５に基づいて変更することにより、変更メタデータ付与画像１４３を生成するとともに、変更メタデータ付与画像１４３を管理するディレクトリを生成する。
【００６４】
例えば、メタデータ１１４にて特定された１人目の人物画像が子供の「みどり」、メタデータ１１４にて特定された２人目の人物画像が「お父さん」、メタデータ１１４にて特定された３人目の人物画像が「お母さん」、メタデータ１１４にて特定された１つ目のイベントが「動物園」、メタデータ１１４にて特定された２つ目のイベントが「イタリア旅行」であるとする。この場合、人物画像の１人目として「みどり」、人物画像の２人目として「お父さん」、人物画像の３人目として「お母さん」、イベントの１つ目として「動物園」、イベントの１つ目として「イタリア旅行」というメタデータ変更情報１１５を端末装置６に入力する。そして、端末装置６は、メタデータ変更情報１１５が入力されると、メタデータ付与サーバ装置２にて付与されたメタデータ１１４を撮影画像１１１ａ〜１１１ｃから抽出する。そして、メタデータ変更情報１１５にて変更されたメタデータ１２４を撮影画像１１１ａ〜１１１ｃに付け替えることにより、メタデータ１２４が撮影画像１１１ａ〜１１１ｃに付与された変更メタデータ付与画像１４３を生成する。
【００６５】
この結果、撮影画像１１１ａには、「みどり」、「動物園」および「春」というメタデータ１２４が付与され、撮影画像１１１ｂには、「みどり」、「お父さん」、「動物園」および「春山」というメタデータ１２４が付与され、撮影画像１１１ｃには、「みどり」、「イタリア旅行」および「山」というメタデータ１２４が付与され、撮影画像１１１ｄには、「お父さん」、「お母さん」、「イタリア旅行」および「海」というメタデータ１２４が付与される。
【００６６】
これにより、端末装置６とメタデータ付与サーバ装置２とで機能分担しながらメタデータを付与することが可能となり、メタデータ付与サーバ装置２には人物あるいはイベントの区別を分担させることを可能として負荷を軽減させることが可能となるとともに、利用者の個人名や行き先の地名などが外部に漏れることを防止することができる。
【００６７】
そして、端末装置６は、変更メタデータ付与画像１４３を生成すると、ネットワーク型表示のためのアドレス管理を行うことにより、ディレクトリ型表示とネットワーク型表示とができるようにする。すなわち、ネットワーク型表示の中心となるオブジェクトで特定される撮影画像１１１が、その撮影画像１１１に付加されている任意のメタデータ１１４にて特定できるように撮影画像アドレス１１６を管理する。例えば、「みどり」というオブジェクトを中心にネットワーク型表示を行うものとすると、「みどり」が写っている撮影画像１１１ａ〜１１１ｃが、その撮影画像１１１ａ〜１１１ｃに写っている任意の人物画像、イベントまたは事象ごとに特定できるように撮影画像アドレス１１６を管理する。
【００６８】
すなわち、「みどり」が写っている撮影画像１１１ａ〜１１１ｃは３枚、「みどり」がお父さんと一緒に写っている撮影画像１１１ｂは１枚、「みどり」が動物園にいる撮影画像１１１ａ、１１１ｂは２枚、「みどり」がイタリア旅行した時の撮影画像１１１ｃは１枚、「みどり」が春の装いで写っている撮影画像１１１ａは１枚、「みどり」が春山にいる撮影画像１１１ｂは１枚、「みどり」が山にいる撮影画像１１１ｃは１枚だけある。このため、これらのメタデータ１２４が付与された撮影画像１１１ａ〜１１１ｃごとに撮影画像アドレス１１６を管理する。そして、「みどり」というメタデータ１２４が付与された撮影画像１１１ａ〜１１１ｃごとに撮影画像アドレス１１６を管理することにより、「みどり」というオブジェクトを中心にネットワーク型表示を行うことができる。
【００６９】
図５は、図３の端末装置６の表示画面の一例を示す図である。
図５において、端末装置６では、ディレクトリ型表示画面１５１とネットワーク型表示画面１５２とが用意され、ディレクトリ型表示画面１５１とネットワーク型表示画面１５２とを切り替えることができる。ここで、ディレクトリ型表示画面１５１では、「みどり」、「春山」、「イタリア旅行」などのオブジェクトごとにフォルダ１５１ａが表示され、フォルダ１５１ａをダブルクリックすることで撮影画像１１１ａ〜１１１ｄのプレビュー画面に移行することができる。
【００７０】
一方、ネットワーク型表示画面１５２では、「みどり」というオブジェクト１５２ａを中心に、「お父さん」、「お母さん」、「イタリア旅行」、「動物園」、「海」、「春」、「山」および「春山」というオブジェクトが同心状に配置される。ここで、各オブジェクトが持つ撮影画像１１１ａ〜１１１ｄの数量に応じてオブジェクトの大きさを変更するようにしてもよいし、各オブジェクトが持つ撮影画像１１１ａ〜１１１ｄが撮影された時間に連動してオブジェクト間の関連性の有無を制御するようにしてもよい。
【００７１】
すなわち、「みどり」を中心として「みどり」と共通する撮影画像の数量の多いオブジェクトの順に同心状に配置される。また、中心に配置されたオブジェクト１５２ａと、中心に配置されたオブジェクト１５２ａと直接つながりを持つオブジェクトとの距離においては、中心に配置されたオブジェクト１５２ａと直接つながりを持つメタデータ１２４が付与された撮影画像の枚数が他に比べて多いほど、中心に配置されたオブジェクト１５２ａの近くに配置される。なお、中心に配置されたオブジェクト１５２ａと直接的または間接的なつながりを持つオブジェクトをいくつ配置するかは、コンフィグ画面で設定することができる。
【００７２】
そして、オブジェクトをクリックすることによりオブジェクトを選択され、オブジェクトの色が反転する、そして、ダブルクリックで画面検索に移行し、プレビュー画面を表示させることができる。また、「みどり」以外のオブジェクトを、例えば、「お父さん」というオブジェクトをドラッグ＆ドロップにてネットワーク型表示画面１５２の中央に近づけると、「お父さん」というオブジェクトを中心としたネットワーク型表示画面１５２に移行させることができる。また、オブジェクトの色はカテゴリまたは右クリックからの設定により変更することができる。また、右下に表示されているツールバーを操作することにより時間を変化させることができ、撮影された年月日などの写真以外の情報をフィルタリングして表示させることができる。これにより、ツールバーを移動させることにより、オブジェクトの有無やその関連性の強弱の移り変わりを表現することができる。
【００７３】
また、メタデータ付与依頼条件１１３において、例えば、事象のメタデータ１１４のみを付与して撮影画像１１１を公開するという条件が設定されている場合、メタデータ付与サーバ装置２は、事象のメタデータ１１４のみを付与した撮影画像１１１を画像提供サーバ装置５に提供する。そして、画像提供サーバ装置５は、事象のメタデータ１１４のみが付与された撮影画像１１１をメタデータ付与依頼条件１１３から受け取ると、事象のメタデータ１１４のみが付与された撮影画像１１１を公開画像１３０として公開する。
【００７４】
図６は、図１の画像検索システムの具体的な構成例を示すブロック図である。
図６において、端末装置６には、付帯情報付撮影画像受信部６１、メタデータ付与依頼条件設定部６２、メタデータ付与依頼画像申出部６３、メタデータ付与画像受領部６４、メタデータ変更部６５、変更メタデータ付与画像蓄積部６６および表示制御部６７が設けられている。
【００７５】
ここで、付帯情報付撮影画像受信部６１は、撮影画像１１１に付帯情報１１２が付加された付帯情報付撮影画像１４１をカメラ７から取り込む。メタデータ付与依頼条件設定部６２は、メタデータ付与依頼条件１１３を撮影画像１１１に自動またはマニュアルで設定することにより、メタデータ付与依頼画像１４２を生成する。なお、メタデータ付与依頼条件１１３には、撮影画像１１１の公開条件を含むことができる。メタデータ付与依頼画像申出部６３は、撮影画像１１１へのメタデータ１１４の付与をメタデータ付与サーバ２に依頼する。メタデータ付与画像受領部６４は、撮影画像１１１にメタデータ１１４が付与されたメタデータ付与依頼画像１４２をメタデータ付与サーバ２から受領する。メタデータ変更部６５は、撮影画像１１１に付与されたメタデータ１１４を変更する。変更メタデータ付与画像蓄積部６６は、変更されたメタデータ１２４が撮影画像１１１に付与された変更メタデータ付与画像１４３を蓄積する。表示制御部６７は、蓄積された撮影画像１１１のアドレスを管理し、ディレクトリ型表示またはネットワーク型表示にて撮影画像１１１のオブジェクトを表示させるとともに、選択されたオブジェクトに関連する撮影画像１１１のプレビュー表示を行わせる。なお、表示制御部６７は、ネットワーク型表示において各オブジェクトが持つ撮影画像１１１ａ〜１１１ｄの数量に応じてオブジェクトの大きさを変更したり、各オブジェクトが持つ撮影画像１１１ａ〜１１１ｄが撮影された時間に連動してオブジェクト間の関連性の有無を制御したりすることができる。
【００７６】
なお、付帯情報付撮影画像受信部６１、メタデータ付与依頼条件設定部６２、メタデータ付与依頼画像申出部６３、メタデータ付与画像受領部６４、メタデータ変更部６５および表示制御部６７は、これらの機能が記述されたプログラムをコンピュータに実行させることで実現することができる。
メタデータ付与サーバ装置２には、メタデータ付与依頼受付部２１、メタデータ付与依頼画像蓄積部２２、人物画像メタデータ付与部２３、イベントメタデータ付与部２４、事象メタデータ付与部２５、参照画像蓄積部２６、メタデータ付与画像蓄積部２７およびメタデータ付与画像提供部２８が設けられている。
【００７７】
ここで、メタデータ付与依頼受付部２１は、画像データへのメタデータの付与の依頼を端末装置６から受け付けるとともに、メタデータの付与を自動で行うことが難しい場合、サービス端末装置４を呼び出す。メタデータ付与依頼画像蓄積部２２は、メタデータ付与依頼受付部２１にて受け付けられたメタデータ付与依頼画像１４２を蓄積する。人物画像メタデータ付与部２３は、画像認識技術を用いることにより、撮影画像１１１の人物画像にメタデータ１１４を付与する。なお、人物画像メタデータ付与部２３は、人物の振り分けを行うことで人物画像にメタデータを付与することができる。イベントメタデータ付与部２４は、画像認識技術を用いることにより、撮影画像１１１のイベントにメタデータ１１４を付与する。なお、イベントメタデータ付与部２４は、日時情報を含む付帯情報に基づいて撮影画像１１１からイベントを抽出し、撮影画像１１１のイベントにメタデータ１１４を付与することができる。事象メタデータ付与部２５は、画像認識技術を用いることにより、撮影画像１１１の事象にメタデータ１１４を付与する。なお、事象メタデータ付与部２５は、参照画像蓄積部２６に蓄積されている類似性が高い参照画像１０４が持つ１または複数のメタデータを撮影画像１１１の事象に付与することができる。参照画像蓄積部２６は、メタデータが付与された参照画像１０４を蓄積する。メタデータ付与画像蓄積部２７は、撮影画像１１１にメタデータ１１４が付与されたメタデータ付与画像１１０を一時的に蓄積する。メタデータ付与画像提供部２８は、撮影画像１１１にメタデータ１１４が付与されたメタデータ付与画像１１０を端末装置６に提供する。なお、メタデータ付与画像提供部２８は、メタデータ付与依頼条件設定部６２にて設定された撮影画像１１１の公開条件に従って、撮影画像１１１を画像提供サーバ装置５に公開させることができる。
【００７８】
なお、メタデータ付与依頼受付部２１、人物画像メタデータ付与部２３、イベントメタデータ付与部２４、事象メタデータ付与部２５およびメタデータ付与画像提供部２８は、これらの機能が記述されたプログラムをコンピュータに実行させることで実現することができる。
画像提供サーバ装置５には、Ｗｅｂサーバ５１および画像蓄積部５２が設けられている。ここで、Ｗｅｂサーバ５１は、端末装置８からのアクセスを受けることにより、公開画像１３０を利用者に公開する。画像蓄積部５２は、メタデータ１１４が付与された公開画像１３０を蓄積する。ここで、画像提供サーバ装置５の画像蓄積部５２は、メタデータ付与サーバ装置２の参照画像蓄積部２６に接続されている。そして、画像蓄積部５２に蓄積された公開画像１３０はメタデータとともに参照画像蓄積部２６に蓄積することができる。これにより、メタデータ付与サーバ装置２は、より多くの参照画像１０４を収集することが可能となり、パターンマッチングに使われる比較画像を増大させることを可能として、より多くの条件でのメタデータの自動付与が可能となる。
【００７９】
また、サービス端末装置４は、メタデータ付与サーバ装置２でのメタデータ１１４の付与が難しい場合、メタデータ１１４を手動で撮影画像１１１に付与し、メタデータ１１４が付与された撮影画像１１１をメタデータ付与依頼受付部２１に提供する。ここで、サービス端末装置４は、撮影画像１１１にメタデータ１１４を付与する場合、参照画像蓄積部２６に蓄積されている参照画像１０４を参照することができる。そして、サービス端末装置４にて撮影画像１１１にメタデータ１１４を付与されると、メタデータ１１４が付与された撮影画像１１１を参照画像蓄積部２６に蓄積することができる。これにより、参照画像１０４に付与されるメタデータの精度を向上させることができ、事象へのメタデータ１１４の自動付与を充実させることができる。
【００８０】
図７は、図３の端末装置６の動作の一例を示すフローチャートである。
図７において、付帯情報付撮影画像受信部６１は、付帯情報付撮影画像１４１をカメラ７から取り込む（ステップＡ１）。次に、メタデータ付与依頼条件設定部６２は、メタデータ付与依頼条件１１３を付帯情報付撮影画像１４１に自動設定することにより、メタデータ付与依頼画像１４２を生成する（ステップＡ２）。次に、メタデータ付与依頼画像申出部６３は、メタデータ付与依頼条件設定部６２にてメタデータ付与依頼画像１４２が生成されると、撮影画像１１１へのメタデータ１１４の付与をメタデータ付与サーバ２に依頼する（ステップＡ３）。次に、メタデータ付与画像受領部６４は、メタデータ付与サーバ２からアクセスがあると（ステップＡ４）、メタデータ付与画像１１０をメタデータ付与サーバ２から受領する（ステップＡ５）。次に、メタデータ変更部６５は、利用者からアクセスがあると（ステップＡ６）、撮影画像１１１に付与されたメタデータ１１４を変更する（ステップＡ７）。次に、変更メタデータ付与画像蓄積部６６は、メタデータ変更部６５にてメタデータ１１４が変更されると、変更メタデータ付与画像１４３を蓄積する（ステップＡ８）。次に、表示制御部６７は、利用者からアクセスがあると（ステップＡ９）、ディレクトリ型表示またはネットワーク型表示にて撮影画像１１１を表示させる（ステップＡ１０）。
【００８１】
図８は、図３のメタデータ付与サーバ装置２の動作の一例を示すフローチャートである。
図８において、メタデータ付与依頼受付部２１は、画像データへのメタデータの付与の依頼を端末装置６から受け付けるとともに、メタデータの付与を自動で行うことが難しい場合、サービス端末装置４を呼び出す（ステップＢ１）。次に、メタデータ付与依頼画像蓄積部２２は、メタデータ付与依頼受付部２１にて受け付けられたメタデータ付与依頼画像１４２を蓄積する（ステップＢ２）。人物画像メタデータ付与部２３は、画像認識技術を用いることにより、撮影画像１１１の人物画像にメタデータ１１４を付与する（ステップＢ３）。次に、イベントメタデータ付与部２４は、画像認識技術を用いることにより、撮影画像１１１のイベントにメタデータ１１４を付与する（ステップＢ４）。次に、事象メタデータ付与部２５は、画像認識技術を用いることにより、撮影画像１１１の事象にメタデータ１１４を付与する（ステップＢ５）。次に、メタデータ付与画像蓄積部２７は、人物画像メタデータ付与部２３、イベントメタデータ付与部２４、事象メタデータ付与部２５から、あるいはサービス端末装置４からメタデータ付与画像１１０を取得することにより（ステップＢ６）、メタデータ付与画像１１０を一時的に蓄積する（ステップＢ７）。次に、メタデータ付与画像提供部２８は、メタデータ付与画像蓄積部２７に蓄積されたメタデータ付与画像１１０を端末装置６に提供するとともに、公開条件に従って撮影画像１１１を画像提供サーバ装置５に提供する（ステップＢ８）。
【００８２】
また、メタデータ付与サーバ装置２は、画像提供サーバ装置５の画像蓄積部５２からアクセスがあると（ステップＢ９）、参照画像蓄積部２６は、画像蓄積部５２から送られた画像を受信する（ステップＢ１０）。そして、画像蓄積部５２から送られた画像にメタデータを付与する必要がある場合には、サービス端末装置４を呼び出すことによりメタデータを付与させ、メタデータが付与された参照画像１０４を受け取る（ステップＢ１１）。そして、参照画像蓄積部２６は、メタデータが付与された参照画像１０４を受け取ると、メタデータが付与された参照画像１０４を蓄積する（ステップＢ１２）。
【００８３】
図９は、図３の画像検索システムの動作の一例を示すシーケンスチャートである。
図９において、付帯情報付撮影画像受信部６１は、付帯情報付撮影画像１４１をカメラ７から取り込む（ステップＣ２）。次に、メタデータ付与依頼条件設定部６２は、メタデータ付与依頼条件１１３を付帯情報付撮影画像１４１に自動設定することにより、メタデータ付与依頼画像１４２を生成する（ステップＣ３）。次に、メタデータ付与依頼画像申出部６３は、メタデータ付与依頼条件設定部６２にてメタデータ付与依頼画像１４２が生成されると、撮影画像１１１へのメタデータ１１４の付与をメタデータ付与サーバ２に依頼する（ステップＣ４）。
【００８４】
次に、メタデータ付与依頼受付部２１は、画像データへのメタデータの付与の依頼を端末装置６から受け付けるとともに、メタデータの付与を自動で行うことが難しい場合、サービス端末装置４を呼び出す（ステップＣ５）。次に、メタデータ付与サーバ２は、撮影画像１１１の人物画像、イベントおよび事象にメタデータ１１４を付与するとともに（ステップＣ６）、サービス端末装置４にてメタデータ１１４が付与された撮影画像１１１を受け取る（ステップＣ７）。そして、メタデータ付与画像提供部２８は、メタデータ付与画像１１０を端末装置６に提供するとともに、公開条件に従って撮影画像１１１を画像提供サーバ装置５に提供する（ステップＣ８）。
【００８５】
次に、メタデータ付与画像受領部６４は、メタデータ付与画像１１０をメタデータ付与サーバ２から受領し、メタデータ変更部６５は、利用者からアクセスがあると（ステップＣ９）、撮影画像１１１に付与されたメタデータ１１４を変更する（ステップＡＣ１０）。次に、変更メタデータ付与画像蓄積部６６は、メタデータ変更部６５にてメタデータ１１４が変更されると、変更メタデータ付与画像１４３を蓄積する（ステップＣ１１）。次に、表示制御部６７は、利用者からアクセスがあると（ステップＣ１２）、ディレクトリ型表示またはネットワーク型表示にて撮影画像１１１を表示させる（ステップＣ１３）。
【００８６】
一方、画像提供サーバ装置５は、メタデータ１１４が付与された公開画像１３０がメタデータ付与サーバ２から送られると、その公開画像１３０を画像蓄積部５２に蓄積する（ステップＣ１４）。そして、端末装置８からＷｅｂサーバ５１にアクセスがあると（ステップＣ１５）、画像蓄積部５２に蓄積されている公開画像１３０を端末装置８に送出する（ステップＣ１６）。
【産業上の利用可能性】
【００８７】
本発明は、メタデータの付与にかかる負担を軽減しつつ、個々の画像の特徴や抽象的な検索要求にも対応した漏れのない検索を効率よく行うことが可能となり、画像の再利用に関する利便性を向上させることが可能となるとともに、画像通信システムおよび画像機器の需要を増大させることができる。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施形態に係る画像検索システムの概略構成を示すブロック図である。
【図２】本発明の一実施形態に係るメタデータ付与処理方法の概要を示すブロック図である。
【図３】本発明の一実施形態に係るメタデータ付与処理方法の一例を示すブロック図である。
【図４】図４（ａ）は、図３のメタデータ付与サーバ装置２のイベントの抽出方法の一例を示す図、図４（ｂ）は、図３のメタデータ付与サーバ装置２の事象のメタデータ付与方法の一例を示す図である。
【図５】図３の端末装置６の表示画面の一例を示す図である。
【図６】図１の画像検索システムの具体的な構成例を示すブロック図である。
【図７】図３の端末装置６の動作の一例を示すフローチャートである。
【図８】図３のメタデータ付与サーバ装置２の動作の一例を示すフローチャートである。
【図９】図３の画像検索システムの動作の一例を示すシーケンスチャートである。
【符号の説明】
【００８９】
１  通信ネットワーク
２  メタデータ付与サーバ装置
４  サービス端末装置
５  画像提供サーバ装置
６、８  端末装置
７  カメラ
２１  メタデータ付与依頼受付部
２２  メタデータ付与依頼画像蓄積部
２３  人物画像メタデータ付与部
２４  イベントメタデータ付与部
２５  事象メタデータ付与部
２６  参照画像蓄積部
２７  メタデータ付与画像蓄積部
２８  メタデータ付与画像提供部
５１  Ｗｅｂサーバ
５２  画像蓄積部
６１  付帯情報付撮影画像受信部
６２  メタデータ付与依頼条件設定部
６３  メタデータ付与依頼画像申出部
６４  メタデータ付与画像受領部
６５  メタデータ変更部
６６  変更メタデータ付与画像蓄積部
６７  表示制御部
１０１  画像ファイル
１１４、１２４  メタデータ
１０３  生画像アーカイバ
１０４  参照画像
１０５  画像アーカイバ
１１０  メタデータ付与画像
１１１  撮影画像
１１２  付帯情報
１１３  メタデータ付与依頼条件
１１４ａ  人物画像
１１４ｂ  イベント
１１４ｃ  事象
１１５  メタデータ変更情報
１１６  撮影画像アドレス
１３０  公開画像
１４１  付帯情報付撮影画像
１４２  メタデータ付与依頼画像
１４３  変更メタデータ付与画像
１５１  ディレクトリ型表示画面
１５２  ネットワーク型表示画面
【図１】
2006099268.tif 000003
【図２】
2006099268.tif 000004
【図３】
2006099268.tif 000005
【図５】
2006099268.tif 000006
【図６】
2006099268.tif 000007
【図７】
2006099268.tif 000008
【図８】
2006099268.tif 000009
【図９】
2006099268.tif 000010
【図４】
2006099268.tif 000011