(57)【要約】      （修正有）【課題】画像データの中から所望の画像データを容易に検索することができる画像検索装置及び方法、並びにプログラムを提供する。【解決手段】電子カメラは、画像データに、それらの付帯情報を各画像データのヘッダデータとして付加する。ＰＣは、電子カメラから画像データを受信したときに、例えば画像データのファイル名と付帯情報との対応ファイルをＨＤＤに格納する。パターン情報ＮＸと読み出したパターン情報ＭＸとに基づいて画像データの絵柄の類似性Ｙを算出し、算出した類似性Ｙが絵柄の類似性の基準値である閾値より大きい場合において、Ｍ番目の画像データが他のグループに属しているときは、Ｎ番目の画像データをＭ番目の画像データのグループに追加し、Ｍ番目の画像が他のグループに属していないときは、Ｎ番目の画像データとＭ番目の画像データとで新グループを作成する。【選択図】      図２
2006338620.tif 000002
【特許請求の範囲】
【請求項１】
画像データ群から基準画像データと対象画像データを読み出す読出し手段と、前記基準画像データと前記対象画像データとの各絵柄のパターン情報を算出する画像パターン情報算出手段と、前記基準画像データの絵柄のパターン情報と前記対象画像データの絵柄の画像パターンとから絵柄の類似性を算出する類似性算出手段と、前記絵柄の類似性を所定値と比較する類似性比較手段と、前記所定値に対する類似性の比較結果に基づいて前記基準画像データと前記対象画像データとをグループ化するグループ化手段とを備えることを特徴とする画像データ検索装置。
【請求項２】
前記類似性比較手段は、前記算出された類似性が前記所定値を上回るか否かを判別する判別手段を含み、前記グループ化手段は、前記算出された類似性が前記所定値を上回るとき、前記基準画像データと前記対象画像データとをグループ化することを特徴とする請求項１記載の画像データ検索装置。
【請求項３】
前記グループ化手段は、前記画像データのグループ化情報を前記画像データのヘッダに格納するか又は管理ファイルで保有することを特徴とする請求項１又は２記載の画像データ検索装置。
【請求項４】
前記画像パターン情報算出手段は、顔認識技術、画像パターン認識技術、又は動き検出技術を用いて前記画像データの絵柄のパターン情報を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像データ検索装置。
【請求項５】
前記所定値を設定する所定値設定手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像データ検索装置。
【請求項６】
前記グループ化手段は、前記画像データに付加された撮影日時、連写情報、及び位置情報を含む付帯情報を読み取る読取り手段を含み、当該読み取られた付帯情報に基づいて前記画像情報をグループ化することを特徴とする請求項１乃至５のいずれか１項に記載の画像データ検索装置。
【請求項７】
前記グループ化された画像データ群毎に代表画像を表示すると共に、当該画像データ群の撮影日時及び期間、並びに当該画像データ群の画像データの枚数及び位置情報を含むグループ特徴パラメータも同時に表示する表示手段を備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像データ検索装置。
【請求項８】
前記表示手段は、前記位置情報として住所を表示することを特徴とする請求項７記載の画像データ検索装置。
【請求項９】
画像データ群から基準画像データと対象画像データを読み出す読出しステップと、前記基準画像データと前記対象画像データとの各絵柄のパターン情報を算出する画像パターン情報算出ステップと、前記基準画像データの絵柄のパターン情報と前記対象画像データの絵柄の画像パターンとから絵柄の類似性を算出する類似性算出ステップと、前記絵柄の類似性を所定値と比較する類似性比較ステップと、前記所定値に対する類似性の比較結果に基づいて前記基準画像データと前記対象画像データとをグループ化するグループ化ステップとを備えることを特徴とする画像データ検索方法。
【請求項１０】
前記類似性比較ステップは、前記算出された類似性が前記所定値を上回るか否かを判別する判別ステップを含み、前記グループ化ステップは、前記算出された類似性が前記所定値を上回るとき、前記基準画像データと前記対象画像データとをグループ化することを特徴とする請求項９記載の画像データ検索方法。
【請求項１１】
前記グループ化ステップは、前記画像データのグループ化情報を前記画像データのヘッダに格納するか又は管理ファイルで保有することを特徴とする請求項９又は１０記載の画像データ検索方法。
【請求項１２】
前記画像パターン情報算出ステップは、顔認識技術、画像パターン認識技術、又は動き検出技術を用いて前記画像データの絵柄のパターン情報を算出することを特徴とする請求項９乃至１１のいずれか１項に記載の画像データ検索方法。
【請求項１３】
前記所定値を設定する所定値設定ステップを備えることを特徴とする請求項９乃至１２のいずれか１項に記載の画像データ検索方法。
【請求項１４】
前記グループ化ステップは、前記画像データに付加された撮影日時、連写情報、及び位置情報を含む付帯情報を読み取る読取りステップを含み、当該読み取られた付帯情報に基づいて前記画像情報をグループ化することを特徴とする請求項９乃至１３のいずれか１項に記載の画像データ検索方法。
【請求項１５】
前記グループ化された画像データ群毎に代表画像を表示すると共に、当該画像データ群の撮影日時及び期間、並びに当該画像データ群の画像データの枚数及び位置情報を含むグループ特徴パラメータも同時に表示する表示ステップを備えることを特徴とする請求項９乃至１４のいずれか１項に記載の画像データ検索方法。
【請求項１６】
前記表示手段は、前記位置情報として住所を表示することを特徴とする請求項１５記載の画像データ検索方法。
【請求項１７】
画像データ群から基準画像データと対象画像データを読み出す読出しモジュールと、前記基準画像データと前記対象画像データとの各絵柄のパターン情報を算出する画像パターン情報算出モジュールと、前記基準画像データの絵柄のパターン情報と前記対象画像データの絵柄の画像パターンとから絵柄の類似性を算出する類似性算出モジュールと、前記絵柄の類似性を所定値と比較する類似性比較モジュールと、前記所定値に対する類似性の比較結果に基づいて前記基準画像データと前記対象画像データとをグループ化するグループ化モジュールとをコンピュータに実行させるることを特徴とする画像データ検索プログラム。
【請求項１８】
請求項１７記載のプログラムを格納することを特徴とするコンピュータ読取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ検索装置及び方法、並びにプログラムに関し、特に、複数の画像データ中から所望の画像データを検索する画像データ検索装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、被写体画像をデジタル撮像機能により画像データに変換して、当該画像データを記録媒体に保存する電子カメラが普及している。電子カメラは、デジタルカメラ以外にも、デジタルビデオカメラを含むものとするが、本明細書では、具体例としてデジタルカメラを想定する。
【０００３】
電子カメラにより撮影されたデジタル画像データは、通常では、メモリカードやディスク記録媒体などの記録媒体に保存される。記録媒体には、画像データだけでなく、付加情報として各種の付帯情報も記録される。付帯情報には、撮影日時、フォーカス情報（被写体距離）、ストロボ情報（ストロボ撮影の有無）、連写情報（連写撮影のフラグ）、温度湿度、位置情報などの撮影条件を示す情報以外に、画像サイズ（画素数）、ファイルサイズ、圧縮方式などの属性情報が含まれる。
【０００４】
一方、今後記録媒体の大容量化がますます進み、さらには、家庭内ファイルサーバーの普及により、誰もが電子カメラを持つ時代となって１つの記録媒体に複数の電子カメラで撮影した画像データを格納することが多くなると予想される。整理されていない多数の画像データの中から所望の画像データの検索は容易ではなく、このような多数の画像データを管理且つ再生するために、いわゆる電子アルバム機能を備えた画像再生装置が提案されている。この画像再生装置の概念には、電子カメラに内蔵される画像再生機能も含まれる。このような画像再生装置では、整理されていない大量の画像データの中から所望の画像データを検索する画像データ検索機能は必要不可欠である。このような画像検索機能を実現するには、各種方式が提案されているが、その中の１つとして、画像データに関連付けられた撮影日時情報を基に保存された画像データの数を所定の時間ごとに集計して、この集計結果から得られる所定の期間内に撮影された画像数の多いか少ないかを判断してグループ化を行い、所定の期間や基準値を変えることで所望の画像データを探し出すものがある（例えば、特許文献１参照）。
【特許文献１】特開２００３−１４１１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術により、確かに、自動的に画像データをグループ化することができるが、複数の電子カメラで撮影した画像データを１つの記録媒体に集めて保存した時、各々の電子カメラの時刻が正しく設定されているとは限らず、必ずしもユーザが意図した通りのグループ化ができない。
【０００６】
本発明の目的は、画像データの中から所望の画像データを容易に検索することができる画像データ検索装置及び方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、請求項１記載の画像検索装置は、画像データ群から基準画像データと対象画像データを読み出す読出し手段と、前記基準画像データと前記対象画像データとの各絵柄のパターン情報を算出する画像パターン情報算出手段と、前記基準画像データの絵柄のパターン情報と前記対象画像データの絵柄の画像パターンとから絵柄の類似性を算出する類似性算出手段と、前記絵柄の類似性を所定値と比較する類似性比較手段と、前記所定値に対する類似性の比較結果に基づいて前記基準画像データと前記対象画像データとをグループ化するグループ化手段とを備えることを特徴とする。
【０００８】
請求項９記載の画像検索方法は、画像データ群から基準画像データと対象画像データを読み出す読出しステップと、前記基準画像データと前記対象画像データとの各絵柄のパターン情報を算出する画像パターン情報算出ステップと、前記基準画像データの絵柄のパターン情報と前記対象画像データの絵柄の画像パターンとから絵柄の類似性を算出する類似性算出ステップと、前記絵柄の類似性を所定値と比較する類似性比較ステップと、前記所定値に対する類似性の比較結果に基づいて前記基準画像データと前記対象画像データとをグループ化するグループ化ステップとを備えることを特徴とする。
【０００９】
請求項１７記載の画像検索プログラムは、画像データ群から基準画像データと対象画像データを読み出す読出しモジュールと、前記基準画像データと前記対象画像データとの各絵柄のパターン情報を算出する画像パターン情報算出モジュールと、前記基準画像データの絵柄のパターン情報と前記対象画像データの絵柄の画像パターンとから絵柄の類似性を算出する類似性算出モジュールと、前記絵柄の類似性を所定値と比較する類似性比較モジュールと、前記所定値に対する類似性の比較結果に基づいて前記基準画像データと前記対象画像データとをグループ化するグループ化モジュールとをコンピュータに実行させるることを特徴とする。
【００１０】
請求項１８記載のコンピュータ読取り可能な記憶媒体は、請求項１７記載のプログラムを格納することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、絵柄の類似性を所定値と比較し、所定値に対する類似性の比較結果に基づいて基準画像データと対象画像データとをグループ化するので、ユーザは画像データ群から所望の画像データを容易に検索することができる。
【００１２】
好ましくは、算出された類似性が所定値を上回るとき、基準画像データと対象画像データとをグループ化するのがよい。これにより、ユーザの煩わしい操作なしにグループ化することができる。
【００１３】
好ましくは、画像データのグループ化情報を画像データのヘッダに格納するか又は管理ファイルで保有するのがよい。これにより、システムはグループ化された画像データがどのグループに属するかという情報を参照するだけで、グループ化することができる。
【００１４】
好ましくは、顔認識技術、画像パターン認識技術、又は動き検出技術を用いて画像データの絵柄のパターン情報を算出するのがよい。これにより、このパターン情報を基に画像データをグループ化することができる。
【００１５】
好ましくは、所定値を設定できるようにしてもよい。これにより、ユーザが所定値を任意に設定することができる。
【００１６】
好ましくは、画像データに付加された撮影日時、連写情報、及び位置情報を含む付帯情報を読み取り、当該読み取られた付帯情報に基づいて画像情報をグループ化するのがよい。これにより、付帯情報からのグループ化をさらに組み合わせて、画像データをグループ化することができる。
【００１７】
好ましくは、グループ化された画像データ群毎に代表画像を表示すると共に、当該画像データ群の撮影日時及び期間、並びに当該画像データ群の画像データの枚数及び位置情報を含むグループ特徴パラメータも同時に表示するのがよい。これにより、ユーザは表示装置に表示されている代表画像と特徴パラメータを見ることで該事象グループがどういったグループかを認識することができる。
【００１８】
好ましくは、位置情報として住所を表示するのがよい。これにより、ユーザは表示装置に表示された該事象グループの事象グループ特徴パラメータである都市名や住所を参照することで、該事象グループが撮影された場所を特定でき、ユーザは画像データ群から所望の画像データを容易に検索することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を図面を参照しながら詳述する。
【００２０】
図１は、本発明の実施の形態に係る画像データ検索装置の構成を概略的に示す。
【００２１】
図１において、パーソナルコンピュータ（ＰＣ）１０３（画像データ検索装置）は、後述する図２の処理を実行するＣＰＵ２０１と、制御用プログラムを格納するＲＯＭ２０２と、ＣＰＵ２０１の主メモリ及びワークエリア等として機能するＲＡＭ２０３と、ＵＳＢコネクタ２０４と、キーボードコントローラ（ＫＢＣ）２０５と、ＣＲＴコントローラ（ＣＲＴＣ）２０６と、ディスクコントローラ（ＤＫＣ）２０７と、これらを互いに接続するシステムバス２００とを備える。ＰＣ１０３は、また、ＫＢＣ２０５に接続されたキーボード（ＫＢ）２０８と、ＣＲＴＣ２０６に接続されたＣＲＴ２０９と、ＤＫＣ２０７に接続されたハードディスク（ＨＤＤ）２１０とを備える。
【００２２】
ＵＳＢコネクタ２０４には、ＵＳＢケーブルを介して電子カメラ２２０が接続され、これにより、電子カメラ２２０で撮影された画像データは、ＵＳＢケーブルを介してＰＣ１０３に送出される。
【００２３】
電子カメラ２２０は、画像データに、それらの付帯情報（撮影日時、ストロボ情報、連写情報、温度湿度情報、位置情報）を各画像データのヘッダデータとして付加する。また、ＰＣ１０３は、電子カメラ２２０から画像データを受信したときに、例えば画像データのファイル名と付帯情報との対応ファイルをＨＤＤ２１２に格納する。
【００２４】
図２は、図１におけるＰＣ１０３によって実行される画像データグループ化処理の手順を示すフローチャートである。
【００２５】
図２において、まず、基準画像データの枚数Ｎ、対象画像データの枚数Ｍ、記録部に保存されている全画像データの枚数Ｓを、夫々、１，１，全画像データ数に初期化し（ステップＳ１０１）、記録部に保存されているグループ化すべき画像データのうち基準画像データとしてＮ番目の画像データを読み出し（ステップＳ１０２）（読出し手段）、読み出したＮ番目の画像データが他のグループに属しているか否かを判別する（ステップＳ１０３）。このグループとは、例えば、ユーザが撮影した連写や記念撮影等といった類似する絵柄の複数の撮影画像データから成る画像データ群である。
【００２６】
ステップＳ１０３の判別の結果、読み出したＮ番目の画像データが他のグループに属していないときは、画像データの絵柄のパターン情報ＮＸを算出し（ステップＳ１０４）（画像パターン情報算出手段）、Ｎ番目の画像データとグループ化する対象画像データとしてのＭ番目の画像データを読み出し（ステップＳ１０５）（読出し手段）、基準画像データであるＮ番目の画像データと対象画像データであるＭ番目の画像データが同じものであるか否かを判別し（ステップＳ１０６）、同じものでないときは、ステップＳ１０５で読み出したＭ番目の対象画像データのパターン情報ＭＸを算出し（ステップＳ１０９）（画像パターン情報算出手段）、ステップＳ１０４で算出したパターン情報ＮＸとステップＳ１０９で読み出したパターン情報ＭＸとに基づいて画像データの絵柄の類似性Ｙを算出する（ステップＳ１１０）（類似性算出手段）。
【００２７】
次いで、ステップＳ１１０で算出した類似性Ｙが、絵柄の類似性の基準値である閾値より大きいか否かを判別する（ステップＳ１１１）。絵柄の類似性の基準値は、システムが予め持っていてもよく、ユーザが画像データのグループ化前に設定してもよい（設定手段）。
【００２８】
ステップＳ１１１の判別の結果、類似性Ｙが閾値より大きいときは、Ｍ番目の画像データが他のグループに属しているか否かを判別し（ステップＳ１１４）、Ｍ番目の画像データが他のグループに属しているときは、Ｎ番目の画像をＭ番目の画像のグループに追加し（ステップＳ１１５）（グループ化手段）、Ｍ番目の画像データが他のグループに属していないときは、Ｎ番目の画像データとＭ番目の画像データとで新グループを作成する（ステップＳ１１６）（グループ化手段）。
【００２９】
続くステップＳ１１７では、基準画像データの枚数Ｎが全画像枚数Ｓに等しくなったか否かを判別し、等しくなっていなければ、基準画像データの枚数Ｎをインクリメントして（ステップＳ１１８）、ステップＳ１０２以降の処理を繰り返し、等しくなったときは、本処理を終了する。
【００３０】
ステップＳ１０３の判別の結果、読み出したＮ番目の画像データが他のグループに属しているときは、ステップＳ１１７以降の処理を実行して、本処理を終了する。
【００３１】
ステップＳ１０６の判別の結果、基準画像データであるＮ番目の画像データと対象画像データであるＭ番目の画像が同じものであるときは、対象画像データの枚数Ｎが全画像データ数Ｓに等しくなったか否かを判別し（ステップＳ１０７）、等しくなっていなければ、対象画像データ枚数Ｍをインクリメントして（ステップＳ１０８）、ステップＳ１０５以降の処理を繰り返し、等しくなっていれば、ステップＳ１１７以降の処理を実行して、本処理を終了する。
【００３２】
ステップＳ１１１の判別の結果、類似性Ｙが絵柄の類似性の基準値である閾値より大きくないときは、基準画像データの枚数Ｍが全画像データ数Ｓに等しくなったか否かを判別し（ステップＳ１１２）、等しくなっていなければ、対象画像データ枚数Ｍをインクリメントして（ステップＳ１１３）、ステップＳ１０５以降の処理を繰り返し、等しくなっていれば、ステップＳ１１７以降の処理を実行して、本処理を終了する。
【００３３】
ステップＳ１０３やステップＳ１１４の判別時において、画像データがどのグループに属するかという情報を画像データの付帯情報として管理したり、そのグループ情報を別の管理ファイルとして管理してもよい。
【００３４】
図２の処理によれば、記録部が大量の画像データを保存しており、その画像データの付帯情報としての撮影日時等が正しく設定されていない場合でも、絵柄の類似性Ｙに基づいて画像データをグループ化する（ステップＳ１１０〜Ｓ１１６）ので、ユーザの意図に反した画像データのグループ化を防止して、所望の画像データの検索を容易に行うことができる。
【００３５】
上記実施の形態における画像データのグループ化処理において、絵柄の類似性だけでなく、画像データの付帯情報である撮像日時にも基づいてグループ化してもよい。
【００３６】
また、類似性の算出（パターンマッチング）方法や閾値の設定方法については、本発明を実現するための一手段に過ぎないため、ここでは詳しく記載しないが、既に多くの公知例が出ており、例えば、特開平０５−０２０４５９パターン認識方法およびその装置でパターンマッチング方法や閾値の設定方法が記載されてある。
【００３７】
図３は、図２の画像データグループ化処理の変形例についてのＣＲＴ２０９の表示例を示す図であり、撮像日時に基づいて画像データグループ化処理を行う場合を示し、図４は、図２の画像データグループ化処理の変形例についてのＣＲＴ２０９の表示例を示す図であり、絵柄の類似性だけでなく、撮像日時にも基づいて画像データグループ化処理を行う場合を示す。
【００３８】
図３において、画像データ群２０１〜２１１が既に撮影日ごとに２００４年０８月１０日のグループＧ２０１、２００４年０８月１１日のグループＧ２０２とにグループ化されている。画像データが持つ付帯情報である撮影日時は信頼性があるものとする。グループＧ２０２では、画像データ数が少ないため、似たような絵柄の画像データもなく、これ以上画像データの絵柄の類似性でグループ化しても変わらない状態にある。一方、グループＧ２０１においては、似たような絵柄の画像データが複数存在しており、更にグループ化ができる状態にある。グループＧ２０１において、図１の処理を実行し、画像データの絵柄の類似性に基づいて更にグループ化をすることにより、図４に示すように、４つのグループ１〜４にグループ化する。
【００３９】
図５は、図２の画像データグループ化処理の変形例についてのＣＲＴ２０９の表示例を示す図であり、４つに分類された各グループを代表画像で表示する場合を示す。
【００４０】
図５において、グループＧ４０２に属する画像データはグループＧ２０２に属する画像データと同じである。また、グループＧ２０１では、すべての画像データが表示されているのに対して、グループＧ４０１では、グループＧ２０１の画像データ群が絵柄の類似性に基づいて４つのグループに分類され、その４つのグループの代表画像だけが表示されている。代表画像とは、各グループにおいて最も撮影時間が早いものを代表画像として表示している。代表画像についてはユーザによる変更が可能である。代表画像決定手段は他にいくつも公知例があるのでここでは明示しない。
【００４１】
図５において、各グループに属している画像データが２枚以上あるものに関しては代表画像に枠を表示し、更にその枠内にグループ名、撮影時間、そのグループに属する画像データの枚数を表示しているもよい（図６）。
【００４２】
グループ名は初期状態では代表画像のファイル名になっている。グループ名はユーザにより変更することができる。撮影時間は代表画像の撮影時間でもよく、そのグループにおいて最も撮影時間が早いものと遅いものを表示し、期間を表示してもよい。また、その他の付帯情報、例えば、位置情報や連写情報等を表示してもよい。この表示する項目についてはユーザの意思により変更ができる。
【００４３】
本変形例によれば、画像データの付帯情報である撮影日時情報だけでは十分に整理できなかった画像データ群も、絵柄の類似性に基づいて更にグループ化することにより、絵柄の類似性が高い画像データ群を１つのグループと整理し、そのグループに属する代表画像をＣＲＴ２０９に表示するので、時間順でのサーチも可能となり、所望の画像データを容易に検索を行うことができ、また、段階的にグループ化するので、システムに大きな負荷をあたえず、スムーズにグループ化をすることができる。
【００４４】
上記実施の形態における画像データのグループ化処理において、絵柄の類似性だけでなく、画像データの付帯情報である位置情報に基づいてグループ化してもよい。
【００４５】
図７は、図２の画像データグループ化処理の他の変形例を説明する図である。
【００４６】
図７において、例えば海外旅行に３台の電子カメラＡ７００，Ｂ７００，Ｃ７００が使用されたとき、電子カメラＡ７００は画像Ａ７０１〜Ａ７０５を撮影し、電子カメラＢ７００は画像Ｂ７０１〜Ｂ７０５を撮影し、電子カメラＣ７００は画像Ｃ７０１〜Ｃ７０５を撮影した状態が示されている。これらの画像データが１つの記録媒体に保存されているものとする。
【００４７】
図７における画像データは、図８に示すように、夫々それに付帯する情報（撮影日時、連写情報、位置情報等）を含む。図８では、３台の電子カメラＡ７００，Ｂ７００，Ｃ７００の設定時刻がずれている。電子カメラＡ３００は海外に着いてから時差を修正している。電子カメラＢ３００は時差の修正はしていない。電子カメラＣ３００は現在時刻がもともと合っていない。このように３台の電子カメラで撮影された画像データが持つ付帯情報である撮影日時は信頼性が欠ける。ただし、画像データが持つ付帯情報である位置情報は信頼性がある。
【００４８】
図９は、図２の画像データグループ化処理の他の変形例の手順を示すフローチャートである。
【００４９】
図９において、まず、画像データのグループ数のカウント値ＧＮを「１」に初期化し（ステップＳ６０１）、次いで、各画像データが付帯情報としてもつ位置情報に基づいてグループ化する（ステップＳ６０２）。本変形例においては、信頼性がある位置情報に基づいて画像データをグループ化する理由は、画像データがもつ付帯除法である撮影日時が信頼性に欠けるためである。図７の画像データ群を位置情報でグループ化すると図１０のようになる。グループＧ９０１からＧ９０５は位置情報に基づいてグループ化されたグループを表している。グループＧ９０１は位置Ａグループ、グループＧ９０２は位置Ｂグループ、グループＧ９０３は位置Ｃグループ、グループＧ９０４は位置Ｃグループ、グループＧ９０５は位置Ｄグループである。
【００５０】
続くステップＳ６０３では、位置情報に基づいてグループ化されたグループ数ＧＳを「５」に設定し、次いで、位置情報に基づいてグループ化された１つのグループに対して、図１の処理を実行して、画像データの絵柄の類似性に基づいてさらにグループ化を行って（ステップＳ６０４）、グループ数のカウント値ＧＮがグループ化されたグループ数ＧＳに等しいか否かを判別し（ステップＳ６０５）、カウント値がグループ数ＧＳに等しくなく、すべてのグループに対して図１の処理が終了していないときは、ＧＮ値をインクリメントして（ステップＳ６０６）、ステップＳ６０４以降の処理を繰り返し、すべてのグループに対して図１の処理が終了したときは、本処理を終了する。
【００５１】
具体的には、図１０において、グループＧ９０１からグループＧ９０５に順番に図１の処理を実行してグループ化する。
【００５２】
図１０におけるグループＧ９０１からグループＧ９０５を画像データの絵柄の類似性で更にグループ化すると、グループＧ９０４は更にグループ化され、図１１に示すように３つの画像データ群にグループ化される、それ以外のグループに関しては、どのグループも類似性が高い絵柄の画像データがないと判断され、これ以上はグループ化されない。この結果、図９で示してある画像データ群はＧ９０１，Ｇ９０２，Ｇ９０３，Ｇ９０５，Ｇ１００１，Ｇ１００２，Ｇ１００３の７つのグループに分類される。
【００５３】
ここで、図１０のグループＧ９０４の画像データ群をグループ化した図１１のＧ１００３は連写情報を持っている。連写画像は類似性が閾値以下ということはめったにないが、多くの枚数の連写で撮影した場合に関しては絵柄の類似性が閾値を下回るという場合も出てくる。例えば、画像Ｃ７０１と画像Ｃ７０５は連写されたのにもかかわらず、画像Ｃ７０５が画像Ｃ７０１に比べて画像データの絵柄のパターン情報があまりにも変わっていて、全く別のグループと判断される。
【００５４】
このようなことがないためには、画像データの絵柄の類似性で判断する前に連写で撮影された画像は１つのグループとして判断するのが好ましい。
【００５５】
表示については、図５及び図６を用いて説明したように、グループに属している画像データが２枚以上あるものに関しては代表画像とその代表画像に枠を表示し、更にその枠内に図６に示すようにグループ名、撮影時間、そのグループに属する画像データの枚数を表示する。この画像データがもつ付帯情報である撮影日時は信頼性がないものとしているので表示をさせないか、又は、ユーザが撮影時間の正しいと思われる画像データの時刻を参照して入力してもよい。しかし、画像データの付帯情報である位置情報については信頼性があるとしているので、ＧＰＳデータを表示させる、又は、ＧＰＳデータに基づいて地理データベースを検索し都市名や住所を表示させてもよい。
【００５６】
本実施の形態によれば、撮影日時に信頼性がない場合でも、他の付帯情報（この場合は位置情報）でまずグループ化し、次に絵柄の類似性が高い画像データ群を１つのグループとして整理することで、所望の画像データを検索する際に、画像データの付帯情報である撮影日時情報だけでなく、その他の付帯情報、ここでは位置情報でのサーチも可能となり、所望の画像を容易に検索できるようになる。もちろん、その他の付帯情報、例えば、温度や湿度、ストロボ、連写等の付帯情報からのグループ化手段と画像データの絵柄の類似性でのグループ化手段を併用してもよい。
【００５７】
また、本発明の目的は、上記実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム又は装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００５８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５９】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(ＯＳ)等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
また、上記プログラムは、上述した実施の形態の機能をコンピュータで実現することができればよく、その形態は、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給されるスクリプトデータ等の形態を有するものでもよい。
【００６２】
プログラムを供給する記録媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムを記憶できるものであればよい。又は、上記プログラムは、インターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続される不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態に係る画像データ検索装置の構成を概略的に示す。
【図２】図１におけるＰＣによって実行される画像データグループ化処理の手順を示すフローチャートである。
【図３】図２の画像データグループ化処理の変形例についてのＣＲＴの表示例を示す図であり、撮像日時に基づいて画像データグループ化処理を行う場合を示す。
【図４】図２の画像データグループ化処理の変形例についてのＣＲＴの表示例を示す図であり、絵柄の類似性だけでなく、撮像日時にも基づいて画像データグループ化処理を行う場合を示す。
【図５】図２の画像データグループ化処理の変形例についてのＣＲＴの表示例を示す図であり、４つに分類された各グループを代表画像で表示する場合を示す。
【図６】図５における代表画像に付される情報を説明する図である。
【図７】図２の画像データグループ化処理の他の変形例を説明する図である。
【図８】図７における画像データに付帯する情報を説明する図である。
【図９】図２の画像データグループ化処理の他の変形例の手順を示すフローチャートである。
【図１０】図７における画像データ群を位置情報でグループ化した場合を示す図である。
【図１１】図９における画像データ群をグループ化した場合を示す図である。
【符号の説明】
【００６４】
１０３  ＰＣ
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  ＵＳＢコネクタ
２０５  ＫＢＣ
２０６  ＣＴＴＣ
２０７  ＤＫＣ
２０８  ＫＢ
２０９  ＣＲＴ
２１０  ＨＤＤ
２２０  電子カメラ
【図１】
2006338620.tif 000003
【図２】
2006338620.tif 000004
【図３】
2006338620.tif 000005
【図４】
2006338620.tif 000006
【図５】
2006338620.tif 000007
【図６】
2006338620.tif 000008
【図７】
2006338620.tif 000009
【図８】
2006338620.tif 000010
【図９】
2006338620.tif 000011
【図１０】
2006338620.tif 000012
【図１１】
2006338620.tif 000013