(57)【要約】【課題】  大量の画像の中から楽しみながら、お気に入りの一枚の画像を簡単に見つけることができる画像検索装置を提供する。【解決手段】  画像検索装置は、表示部１０６と、画像と、画像から抽出された画像特徴量と、画像の撮影条件を示すメタ情報とを関連付けて保持するデータベース１０４と、画像特徴量の種類を含む第１の情報を生成し、メタ情報の種類を含む第２の情報を生成する情報生成手段（入力部１０１）と、第１の情報に基づいて、画像特徴量を有する画像を検索するための第１の検索キーを生成する特徴量抽出部１０２と、第２の情報に基づいて、メタ情報に合致するメタ情報を有する画像を検索するための第２の検索キーを生成する検索キー生成部１０５と、第１の検索キーおよび第２の検索キーの少なくとも一つを用いてデータベース１０４を検索し、検索した複数の画像を表示部１０６に順次表示させる検索部１０３とを備える。【選択図】        図１
2006164008.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像の中から所望の画像を抽出する画像検索装置であって、
抽出された画像を表示するための表示手段と、
前記画像と、前記画像から抽出された画像特徴量と、前記画像の撮影条件を示すメタ情報とを関連付けて保持するデータベースと、
前記画像特徴量の種類を含む第１の情報を生成するとともに、前記メタ情報の種類を含む第２の情報を生成する情報生成手段と、
前記情報生成手段が生成した第１の情報に基づいて、前記画像特徴量を有する画像を検索するための第１の検索キーを生成する特徴量抽出手段と、
前記情報生成手段が生成した第２の情報に基づいて、前記メタ情報に合致するメタ情報を有する画像を検索するための第２の検索キーを生成する検索キー生成手段と、
前記第１の検索キーおよび前記第２の検索キーの少なくとも一つを用いて前記データベースを検索し、検索した複数の画像を前記表示手段に順次表示させる検索手段と
を備えることを特徴とする画像検索装置。
【請求項２】
前記情報生成手段は、前記表示手段に表示された画像に対してユーザが指定した画像の前記画像特徴量の種類と、当該画像のメタ情報の種類とを入力する入力手段により構成される
ことを特徴とする請求項１記載の画像検索装置。
【請求項３】
前記入力手段は、２つ以上の画像と画像特徴量の種類とを組とする指定を受け付けるとともに、２つ以上の画像特徴量の論理演算の種類の指定を受け付け、
前記画像特徴量抽出手段は、２つ以上の画像から指定された画像特徴量を抽出し、抽出した画像特徴量を前記指定の論理演算することによって、第１の検索キーを生成する
ことを特徴とする請求項２記載の画像検索装置。
【請求項４】
前記入力手段は、前記表示手段において、２つ以上の画像が重複して表示された場合に、この重複を検出して、重複した領域を指定領域として出力する重複判定手段を有し、
前記入力手段は、前記重複領域から抽出すべき画像特徴量の種類と、前記重複領域から抽出した画像特徴量による論理演算の種類の指定を受け付ける
ことを特徴とする請求項２または３記載の画像検索装置。
【請求項５】
前記表示手段は、ユーザーが選択した画像群の撮影日時の年に流行した音楽を選択し、再生する
ことを特徴とする請求項２〜３のいずれか１項記載の画像検索装置。
【請求項６】
前記検索手段は、第１の検索キーによってデータベースを検索する際に、同時にその抽出画像の第１の検索キーに対する一致度を取得し、前記一致度の降順および昇順のいずれかで、画像を前記表示手段に表示させる
ことを特徴とする請求項２〜５のいずれか１項記載の画像検索装置。
【請求項７】
前記検索手段は、最初に前記第２の検索キーで前記データベースを検索した後、次に前記第１の検索キーで前記データベースを検索する
ことを特徴とする請求項２記載の画像検索装置。
【請求項８】
前記検索キー生成手段は、２種類以上のメタ情報によって、２つ以上の検索キーを生成する
ことを特徴とする請求項２記載の画像検索装置。
【請求項９】
前記画像検索装置は、さらに前記画像特徴量中のオブジェクトを同定し、その名前を第１の検索キーとして出力する認識手段を備え、
前記検索手段は、前記認識手段が生成した前記第１の検索キーおよび前記第２の検索キーの少なくとも一つを用いて前記データベースを検索する
ことを特徴とする請求項１記載の画像検索装置。
【請求項１０】
前記画像検索装置は、さらに日時、位置、温度など外部から環境情報を取得する入力デバイスを有し、入力デバイスが取得した環境情報を出力する環境情報取得手段を備え、
前記検索手段は、前記第１の検索キーと前記第２の検索キーの少なくとも一つと、前記環境情報とを用いて前記データベースを検索する
ことを特徴とする請求項１記載の画像検索装置。
【請求項１１】
前記情報生成手段は、
音楽データを読み込み、その特徴量を解析し、音楽の特徴的な音に沿って検索を実施するシナリオを生成して出力するシナリオ生成手段と、
前記シナリオを読み出し、音楽の再生を開始すると同時に、シナリオにしたがって前記第１および第２の情報を発行することにより前記データベースの検索と抽出結果の表示を制御するシナリオ再生手段と
から構成されることを特徴とする請求項１記載の画像検索装置。
【請求項１２】
前記情報生成手段は、
ユーザに選択肢となる複数のテーマを提示し、その内の一つを選択させ、選択されたテーマを出力するテーマ入力手段と、
前記テーマに対応するシナリオを選択して、読み出すシナリオ読み出し手段と、
前記シナリオにしたがって前記第１および第２の情報を発行して、前記データベースの検索と抽出結果の表示を制御するシナリオ再生手段と
から構成されることを特徴とする請求項１記載の画像検索装置。
【請求項１３】
複数の画像の中から所望の画像を抽出する画像検索方法であって、
抽出された画像を表示するための表示ステップと、
前記画像と、前記画像から抽出された画像特徴量と、前記画像の撮影条件を示すメタ情報とを関連付けて保持するデータベースと、
前記画像から抽出された画像特徴量の種類を含む第１の情報を生成するとともに、前記画像の撮影条件を示すメタ情報の種類を含む第２の情報を生成する情報生成ステップと、
前記情報生成ステップにおいて生成された第１の情報に基づいて、前記画像特徴量を有する画像を検索するための第１の検索キーを生成する特徴量抽出ステップと、
前記情報生成ステップにおいて生成された第２の情報に基づいて、前記メタ情報に合致するメタ情報を有する画像を検索するための第２の検索キーを生成する検索キー生成ステップと、
前記第１の検索キーおよび前記第２の検索キーの少なくとも一つを用いて、前記画像と、前記画像特徴量と、前記メタ情報とを関連付けて保持するデータベースを検索し、検索した複数の画像を前記表示ステップにおいて順次表示させる検索ステップと
を含むことを特徴とする画像検索方法。
【請求項１４】
前記情報生成ステップは、前記表示手段に表示された画像に対してユーザが指定した画像の前記画像特徴量の種類と、当該画像のメタ情報の種類とを入力する入力ステップにより構成される
ことを特徴とする請求項１３記載の画像検索方法。
【請求項１５】
前記検索ステップでは、最初に前記第２の検索キーで前記データベースを検索した後、次に前記第１の検索キーで前記データベースを検索する
ことを特徴とする請求項１４記載の画像検索方法。
【請求項１６】
前記検索キー生成ステップでは、２種類以上のメタ情報によって、２つ以上の検索キーを生成する
ことを特徴とする請求項１４記載の画像検索方法。
【請求項１７】
前記情報生成ステップは、
音楽データを読み込み、その特徴量を解析し、音楽の特徴的な音に沿って検索を実施するシナリオを生成して出力するシナリオ生成ステップと、
前記シナリオを読み出し、音楽の再生を開始すると同時に、シナリオにしたがって前記第１および第２の情報を発行することにより前記データベースの検索と抽出結果の表示を制御するシナリオ再生ステップと
から構成されることを特徴とする請求項１３記載の画像検索方法。
【請求項１８】
前記情報生成ステップは、
ユーザに選択肢となる複数のテーマを提示し、その内の一つを選択させ、選択されたテーマを出力するテーマ入力ステップと、
前記テーマに対応するシナリオを選択して、読み出すシナリオ読み出しステップと、
前記シナリオにしたがって前記第１および第２の情報を発行して、前記データベースの検索と抽出結果の表示を制御するシナリオ再生ステップと
から構成されることを特徴とする請求項１３記載の画像検索方法。
【請求項１９】
請求項１３記載の画像検索方法に含まれるステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル写真などの画像を大量に保存・管理し、その画像を検索するための画像検索装置および方法に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルカメラ付け携帯電話が普及し、写真のデジタル化が目覚ましい。そして、従来の銀塩カメラの様に撮影した写真をすべて紙メディアにプリントアウトして、それらをアルバムに保存し、眺めるというサイクルから、デジタルデータのまま、パソコンに保存し、モニタ上で眺めたり、気に入ったデジタル写真だけを紙にプリントアウトするといったサイクルに変化している。
【０００３】
パソコン上でこれらの操作を行うために、一般的にデジカメソフトと総称されるアプリケーションソフトウェアが売られている。ただし、どの種類のデジカメソフトにおいても、大量の画像を管理する際には、基本的にはオペレーションシステムのファイルシステムの基本概念にしたがってい、フォルダをツリー状に構築し、それぞれのフォルダの下にデジタル写真を置くことによって管理している。ユーザはフォルダ名として、撮影日時、イベント名、撮影場所などによって固有の名前を付けて、区別できる。すなわち、フォルダとファイル名による分類が前提となっている。
【０００４】
こういったツリー構造によって管理されたデジタル写真の中から、希望する写真に辿り着くことが高速に、且つ容易にできることは重要になっている。しかしながら、ツリー構造による管理では、以下に示す３つの課題がある。
【０００５】
一つ目は、ユーザにとっては、夫々のフォルダに名前を付けるのは、非常に大変な作業であるということである。デジタルカメラの普及は、写真を撮ることを「特別なイベントを固定化する」という行為から、「何気ない日常を固定化する」といった行為へ変化させている。その結果、撮影される写真の枚数は膨大で、撮影頻度も頻繁で、その中の一つ一つのまとまりに名前を付けることは実際不可能に近い。
【０００６】
二つ目は、フォルダ間の関連を辿るのが大変であるということが挙げられる。ツリー構造のファイル管理においては、親フォルダの下に配置される子フォルダの間には何らかの関連性があるのが通常である。それでも、子フォルダ下の写真を見ていて、次に隣の子フォルダの写真を見るためには、ツリー構造を一旦上がり、隣の子フォルダに写った上でしか、見ることができず、写真を見るという一連の行為の中に、全く無関係な作業を差し挟むことになるため、作業効率が悪い。
【０００７】
最後の三つ目は、どこのフォルダにどんな写真があるかを覚えられないということが挙げられる。写真枚数が膨大になれば、それに伴いフォルダの数も膨大となるので、そのすべてについて構造と名前を覚えておくことは実際、不可能である。また、フォルダ名、もしくはファイル名を撮影日時によって自動的に与えたとしても、その日に何を固定化するために写真を撮ったか、何があったかなど覚えておくことは不可能であって、日時によるフォルダ名だけでは区別が付けかない。
【０００８】
さて、近年、目覚ましい普及を見せているインターネットの根幹を成す技術の一つが、ハイパーリンクである。ハイパーリンクは、文書内に埋め込まれた、他の文書や画像などの位置情報であり、ハイパーリンクを用いて複数の文書、および関連する画像などのオブジェクトを関連付けたシステム＝ハイパーテキストを構築すると、その位置情報を辿りながら、他の書類、画像を容易に閲覧することができる。
【０００９】
ハイパーリンクを用いた画像管理を行えば、先に挙げたツリー構造に基づく課題は解決できるが、新たな課題も発生する。例えば、リンクの無秩序化である。情報はまったく分類せずに同一の情報群として扱うため（フラットなファイル管理）、大量の情報を扱った場合に、リンクが無秩序なものとなって情報のブラウジング時にユーザの混乱を招くといった問題が生じている。また、情報の一部を更新した場合に、関連する情報の更新が困難であるといった課題もある。さらに、扱う情報が大きくなった場合に、リンクを辿る前にどのような情報が得られるかが判断できなくなるといった課題もある。
【００１０】
これらの課題を解決するために、特許文献１や特許文献２で開示される発明が従来から提案されている。
【００１１】
図１５は、特許文献２に記載された従来の画像検索装置および方法を示すものである。
図１５において、リンク情報管理部１は、画像内の特定の領域と画像を関連付けるためのリンク情報２を管理している。画像検索情報管理部３は、データ記憶部９から画像を読み出すために使用する情報である画像検索情報４をリンク情報２に基づいて管理する。グループ別管理部５は、上記したリンク情報２と画像検索情報４をグループ別に管理する。リンク検索部６は、表示部７において表示された画像に対して、入力部８によって指示された画像内の領域の位置情報を辿り、その領域に関連付けられた画像をデータ記憶部９から読み出し、表示部７に表示する。
【００１２】
リンク先判定部１１は、リンク情報２に基づいて、リンク先の画像グループが何で有るかを判定し、その判定結果に基づいて、リンク先視覚化部１２がリンク先の画像グループを視覚化し、表示部７に先に表示された画像と一緒に視覚化した情報を表示する。
【００１３】
以下、従来の画像検索装置における動作を図１６のフローチャート図を用いて説明する。
【００１４】
表示部７には画像として「地図」が表示されているものとする。リンク先判定部１１は、画像表示の際にリンク情報管理部１から表示画像の持つ領域情報と問合せ情報を取り出し、各領域情報のキーワード属性と問合せ情報の領域情報を比較する。
【００１５】
一致した場合には、リンク先視覚化部１２は、そのリンク先グループを”リンク有り”として画面上に表示する。
【００１６】
また、一致しなかった場合には、表示画像内の領域からリンクが張られない。以上のリンク先グループのガイド処理は、画像表示時に毎回行われるので、検索した画像を表示する都度、対応するリンク先を図１６のフローチャートに基づいて比較し、リンク先グループの表示内容を更新する。この結果、ユーザは画像表示の段階で、表示画像からのリンク先を予め確認でき、検索対象を認識しながら直接指示検索を効率よく行うことができる。
【特許文献１】特開平１−２３３６７０号公報
【特許文献２】特許第２５０６９８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、前記従来の構成であっても、すべての課題が解決された訳ではない。
すなわち、リンクが静的であるがために、予めリンク先の画像、もしくは画像群の名前を登録しておかなければならないことである。これは、大量の画像が日々生産される世界においては、非常に負荷の重いルーチンワークであり、画像の保存もしくは管理することへの敷居を高くしてしまう。
【００１８】
さらに、リンクの構築が恣意的であった場合に、リンク作成者と閲覧者が異なると、リンク作成者の意図がわからず、任意の画像へ辿り着けないことになる。さらに、大量のリンクを張ることになれば、リンク作成者自身もどのような画像へのリンクを構築したのかを忘れてしまって、任意の画像へ辿り着けないと言うことは、往々にしてありうる。
【００１９】
本発明は、上記の課題を鑑みて考案されたものであり、大量の画像が生産される世界にあっても、ユーザに対して保存／管理のための作業の負担がなく、興味の湧きそうな画像から画像へと遷移を繰り返しながら、お気に入りの一枚を見つけることができ、また、画像間の遷移そのものを楽しみながら、画像を辿り、眺めることができる画像検索装置および方法を提供することを目的とする。
【００２０】
つまり、大量の画像の中から楽しみながら、お気に入りの一枚の画像を簡単に見つけることができる画像検索装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００２１】
前記従来の課題を解決するために、本発明に係る画像検索装置においては、複数の画像の中から所望の画像を抽出する画像検索装置であって、抽出された画像を表示するための表示手段と、前記画像と、前記画像から抽出された画像特徴量と、前記画像の撮影条件を示すメタ情報とを関連付けて保持するデータベースと、前記画像特徴量の種類を含む第１の情報を生成するとともに、前記メタ情報の種類を含む第２の情報を生成する情報生成手段と、前記情報生成手段が生成した第１の情報に基づいて、前記画像特徴量を有する画像を検索するための第１の検索キーを生成する特徴量抽出手段と、前記情報生成手段が生成した第２の情報に基づいて、前記メタ情報に合致するメタ情報を有する画像を検索するための第２の検索キーを生成する検索キー生成手段と、前記第１の検索キーおよび前記第２の検索キーの少なくとも一つを用いて前記データベースを検索し、検索した複数の画像を前記表示手段に順次表示させる検索手段とを備えることを特徴とする。
【００２２】
これにより、ユーザはツリー構造を理解した上で、フォルダからフォルダへ移動して、そこに置かれている画像を表示し、イメージする画像を探したり、リンク先を予め作成したりするという作業が不要となり、単純に興味の湧きそうな画像から画像へと遷移を繰り返しながら、お気に入りの一枚を見つけることができ、また、画像間の遷移そのものを楽しみながら、画像を辿り、眺めることができる。
【００２３】
また、本発明に係る画像検索装置においては、前記情報生成手段は、前記表示手段に表示された画像に対してユーザが指定した画像の前記画像特徴量の種類と、当該画像のメタ情報の種類とを入力する入力手段により構成されることを特徴とすることができる。
【００２４】
これにより、ユーザは、興味のある画像に対して指定するという簡単な作業で、その画像を起点として、それによって関連する画像群が抽出されるので、画像群から次の画像群への移動が容易であり、それを繰り返すことによって、ネットサーフィンのごとく、所望の画像へ辿り着くことができる。
【００２５】
また、本発明に係る画像検索装置においては、前記入力手段は、２つ以上の画像と画像特徴量の種類とを組とする指定を受け付けるとともに、２つ以上の画像特徴量の論理演算の種類の指定を受け付け、前記画像特徴量抽出手段は、２つ以上の画像から指定された画像特徴量を抽出し、抽出した画像特徴量を前記指定の論理演算することによって、第１の検索キーを生成することを特徴とすることもできる。
【００２６】
これにより、ユーザの連想の幅を広げる画像の抽出をすることができる。
また、本発明に係る画像検索装置においては、前記入力手段は、前記表示手段において、２つ以上の画像が重複して表示された場合に、この重複を検出して、重複した領域を指定領域として出力する重複判定手段を有し、前記入力手段は、前記重複領域から抽出すべき画像特徴量の種類と、前記重複領域から抽出した画像特徴量による論理演算の種類の指定を受け付けることを特徴とすることもできる。
【００２７】
これによっても、ユーザの連想の幅を広げる画像の抽出をすることができる。
また、本発明に係る画像検索装置においては、前記表示手段は、ユーザーが選択した画像群の撮影日時の年に流行した音楽を選択し、再生することを特徴とすることもできる。
【００２８】
これによっても、ユーザの連想の幅を広げる画像の抽出をすることができるだけでなく、ユーザの写真と同時に表示／音楽再生することによって、ユーザはより鮮明に思い出を喚起でき、さらに、画像を辿る行為のエンタテイメント性を向上させることができる。
【００２９】
また、本発明に係る画像検索装置においては、前記検索手段は、第１の検索キーによってデータベースを検索する際に、同時にその抽出画像の第１の検索キーに対する一致度を取得し、前記一致度の降順および昇順のいずれかで、画像を前記表示手段に表示させることを特徴とすることもできる。
【００３０】
これにより、このルールであれば、ユーザが最初に指定した領域と最も類似性の高い画像群から並べることができ、したがって、ユーザの最も関心の高い画像群の順に抽出した画像群をユーザに提供ことができる。
【００３１】
また、本発明に係る画像検索装置においては、前記検索手段は、最初に前記第２の検索キーで前記データベースを検索した後、次に前記第１の検索キーで前記データベースを検索することを特徴とすることができる。
【００３２】
これによっても、ユーザは、興味のある画像に対して指定するという簡単な作業で、その画像を起点として、それによって関連する画像群が抽出されるので、画像群から次の画像群への移動が容易であり、それを繰り返すことによって、ネットサーフィンのごとく、所望の画像へ辿り着くことができる。
【００３３】
また、本発明に係る画像検索装置においては、前記検索キー生成手段は、２種類以上のメタ情報によって、２つ以上の検索キーを生成することを特徴とすることもできる。
【００３４】
これにより、第１の検索キーによって抽出した画像に対して、複数の関連性を持った画像群を提示できるので、ユーザはそれらの中からより興味を引く画像群へジャンプでき、より連想の幅を広げ、思わぬ画像を見つけることができる。
【００３５】
また、本発明に係る画像検索装置においては、前記画像検索装置は、さらに前記画像特徴量中のオブジェクトを同定し、その名前を第１の検索キーとして出力する認識手段を備え、前記検索手段は、前記認識手段が生成した前記第１の検索キーおよび前記第２の検索キーの少なくとも一つを用いて前記データベースを検索することを特徴とすることができる。
【００３６】
これにより、認識手段を付加することによって、キー画像による類似検索によって、同じ部分画像が含まれる画像だけでなく、オブジェクトに関するあらゆる画像を抽出できるので、先の類似検索では対応できない撮影角度の異なる画像や、経時変化によらない過去の画像も抽出することができ、ユーザの連想の幅をさらに広げることができる。
【００３７】
また、本発明に係る画像検索装置においては、前記画像検索装置は、さらに日時、位置、温度など外部から環境情報を取得する入力デバイスを有し、入力デバイスが取得した環境情報を出力する環境情報取得手段を備え、前記検索手段は、前記第１の検索キーと前記第２の検索キーの少なくとも一つと、前記環境情報とを用いて前記データベースを検索することを特徴とすることができる。
【００３８】
これにより、季節が初夏であれば、初夏シーズンに撮った写真群が優先的に抽出され、ユーザに季節らしさを訴える画像選択を誘導したり、メモリアルデーが近づいたら、過去のメモリアルデーに遡って写真を抽出し、ユーザにその思い出を喚起することを誘導したりすることができる。
【００３９】
また、本発明に係る画像検索装置においては、前記情報生成手段は、音楽データを読み込み、その特徴量を解析し、音楽の特徴的な音に沿って検索を実施するシナリオを生成して出力するシナリオ生成手段と、前記シナリオを読み出し、音楽の再生を開始すると同時に、シナリオにしたがって前記第１および第２の情報を発行することにより前記データベースの検索と抽出結果の表示を制御するシナリオ再生手段とから構成されることを特徴とすることができる。
【００４０】
これにより、ユーザはＢＧＭを選択しさえすれば、画像検索装置がその変化点に合わせて、選択対象の画像を切り替え、また、音の特徴量に合わせた画像を選択してくれるので、ユーザはその画像の移り変わりを楽しむことができる。つまり、ユーザが何らの操作を行わなくても、ネットサーフィンと同様に、画像が切り替わることになる。さらに、ユーザの好みに依存して、切り替わるわけではないので、思わぬ画像が掘り起こされて、表示されることになって、新たな思い出が喚起させることができる。
【００４１】
また、本発明に係る画像検索装置においては、前記情報生成手段は、ユーザに選択肢となる複数のテーマを提示し、その内の一つを選択させ、選択されたテーマを出力するテーマ入力手段と、前記テーマに対応するシナリオを選択して、読み出すシナリオ読み出し手段と、前記シナリオにしたがって前記第１および第２の情報を発行して、前記データベースの検索と抽出結果の表示を制御するシナリオ再生手段とから構成されることを特徴とすることができる。
【００４２】
これによっても、ユーザはテーマを選択しさえすれば、そのテーマに応じて選択されたシナリオに沿って、選択対象の画像群を切り替え、画像の遷移過程が表示されるので、ユーザは、その移り変わりを楽しむことができる。さらに、その遷移はユーザの意図に沿って切り替わるわけではないので、思わぬ画像が掘り起こされて、表示されることになり、それによって新たな思い出を喚起させることができる。
【００４３】
なお、本発明は、このような画像検索装置として実現することができるだけでなく、このような画像検索装置が備える特徴的な手段をステップとする画像検索方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００４４】
以上の説明から明らかなように、本発明に係る画像検索装置および方法によれば、第１の検索キーとなる画像の特徴量／メタ情報によって抽出した画像群の一枚一枚から、第２の検索キーを使って画像群を抽出し、抽出した画像群をマトリクス状に表示することにより、ユーザに関連する画像を提示できる。したがって、ユーザは関連する画像から一枚を選択し、さらに検索と表示を繰り返すことによって、関連する画像を辿っていくことができる。このとき、ある画像に関連する画像がどこに保存されているかをユーザは心配する必要はないので、画像を辿る行為を妨げられることなく、関連画像を辿って、お気に入りの一枚を見つけることができる。
【００４５】
よって、本発明により、大量の画像から目的の画像に辿り着くことが容易となり、デジタルカメラ等が普及してきた今日における本願発明の実用的価値は極めて高い。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１における画像検索装置の機能構成を示すブロック図である。
【００４７】
図１に示されるように、画像検索装置は、入力部１０１と、特徴量抽出部１０２と、検索部１０３と、データベース１０４と、検索キー生成部１０５と、表示部１０６とから構成される。
【００４８】
入力部１０１は、第１の検索キーを生成するために表示部１０６に表示された画像に対してユーザが指定した領域と、そこから抽出するべき特徴量の種類とを示す情報である第１のキータイプ（ｋｅｙ１．ｔｙｐｅ）と、第２の検索キーを生成するために第１の検索キーによって抽出された画像から読み出すべきメタ情報の種類を示す情報である第２のキータイプ（ｋｅｙ２．ｔｙｐｅ）を指示・入力する。
【００４９】
特徴量抽出部１０２は、入力部１０１によって指示された画像内の領域から、ｋｅｙ１．ｔｙｐｅで指定された種類の画像特徴量を抽出する。そして、特徴量抽出部１０２は、抽出した特徴量をｋｅｙ１．ｄａｔａとし、これを第１の検索キーとして出力する。なお、画像から抽出する特徴量は、指定された領域に対してオンデマンドに抽出する形式以外に、データベース１０４に登録する際に同時に特徴量の抽出を行い、画像データと関連付けて保存しておき、入力部１０１の指示にしたがってって、データベース１０４から読み出す形式であっても構わない。
【００５０】
検索キー生成部１０５は、第１の検索キー（ｋｅｙ１．ｄａｔａ）によって抽出された画像のメタ情報から、ｋｅｙ２．ｔｙｐｅで指定された情報を読み出し、その読み出した情報をｋｅｙ２．ｄａｔａにセットし、第２の検索キーとして出力する。例えば、ｋｅｙ２．ｔｙｐｅが撮影日時であった場合に、ｋｅｙ２．ｄａｔａは、抽出された画像の実際の撮影日時をメタ情報から取得し、ｋｅｙ２．ｄａｔａにセットする。
【００５１】
検索部１０３は、ｋｅｙ１．ｄａｔａおよびｋｅｙ２．ｄａｔａによって、データベース１０４を検索し、合致する特徴量を持つ画像を抽出する。つまり、検索部１０３は、ｋｅｙ１．ｄａｔａによって、データベース１０４を検索し、ｋｅｙ１．ｄａｔａに合致する特徴量を持つ画像を抽出し、抽出した画像の一枚一枚からｋｅｙ２．ｄａｔａを取得し、取得したｋｅｙ２．ｄａｔａによってデータベース１０４をさらに検索し、ｋｅｙ２．ｄａｔａ合致するメタ情報を持つ画像を抽出する。
【００５２】
データベース１０４は、ハードディスクを始めとする記憶手段によって構成され、大量の画像を保存可能である。この時、画像ファイルは、記憶手段において、それを制御するファイルシステムに依存して管理されているが、ツリー構造を構築する必要はなく、一つのフォルダにフラットにすべての画像を保存している。もちろん、ツリー構造にフォルダを構築し、ルートの下のすべてのサブフォルダを参照するように設定しても構わない。
【００５３】
なお、記憶手段は、ＣＤ／ＤＶＤなどのディスクドライブ単体、もしくは複数を組み合わせたものであっても構わないし、半導体記憶デバイスによって構成されていても構わない。
【００５４】
記憶手段に保存されるデータは、画像データそのものに加えて、撮影時に付加される撮影条件（撮影日時、撮影場所、撮影条件（絞り、明るさ、焦点距離など）、撮影機材名など）を示すメタ情報、並びに、画像データから抽出した画像特徴量を含む。それらのデータは、一つのファイルに保存されていても、別ファイルに保存されていても構わないが、相互に関連付けされて保存されていることが重要である。
【００５５】
画像データそのものとメタ情報は、ＥＸＩＦ形式で定義されたフォーマットで保存されるのが一般的である。もちろん、ＴＩＦＦ／ＥＰフォーマット、日本新聞協会のＮＳＫ−ＴＩＦＦ、Ｘｅｒｏｘ社のＦＡＸ向け規格ＴＩＦＦ−ＦＸなども候補の一つである。画像特徴量は、顔、もしくはオブジェクトの位置／大きさ／傾き／代表色／平均色や、画像中の注目領域の代表色、平均色など画像データを画像処理することによって抽出可能な物理特徴量であり、データベースに保存する際に抽出され、画像データと関連付けて保存される。
【００５６】
そして、表示部１０６は、検索部１０３によって抽出された画像群を表示する。
このように構成された画像検索装置においては、検索キーの組（ｋｅｙ１，ｋｅｙ２）があり、初期状態ではそれらの種類が決まっているだけである。ｋｅｙ１．ｔｙｐｅは、指定された領域から抽出する特徴量の種類であり、ｋｅｙ２．ｔｙｐｅは、日時とか場所とかの様にメタ情報に含まれる情報の種類である。ユーザは表示部１０６にランダムに表示された画像中の領域に対して、ｋｅｙ１．ｔｙｐｅ，ｋｅｙ２．ｔｙｐｅを指定する。特徴量抽出部１０２は、特徴量抽出部１０２を介して指定された領域に対して、指定された種類の特徴量を抽出することにより、ｋｅｙ１．ｄａｔａを生成する。検索部１０３は、ｋｅｙ１．ｄａｔａによって、データベース１０４を検索し、同一の特徴量をもつ画像群を得る。画像群の一枚一枚から、ｋｅｙ２．ｔｙｐｅで示される情報を検索キー生成部１０５が取得し、取得したデータをｋｅｙ２．ｄａｔａとして、検索部１０３はデータベースを検索する。そして、表示部１０６は、検索部１０３により、ｋｅｙ１．ｄａｔａ，ｋｅｙ２．ｄａｔａで抽出された画像群を表示する。
【００５７】
なお、本実施の形態において、「画像の検索」とは、表示された画像に関連する画像を辿っていくことによって、お気に入りの一枚に到達すると言う行為を想定している。図２は、その画像を辿る様子を図示したものであって、一連の画像群の中から興味を持った画像に対して、それと関連する画像を辿ることによって、お気に入りの一枚へ到達すること、あるいは、辿っていくことそのものを目的としている。
【００５８】
この点において、最初から目的とする画像があって、ユーザがその特定の一枚を大量の画像群から探す行為とは根本的に異なる。
【００５９】
図３は、本発明の一実施の形態の動作を示すフローチャートであって、ユーザが本発明の画像検索装置において、一枚の画像から関連の画像群を表示するまでを示したものである。以下、図２および図３を用いて、画像を辿る処理について詳細を説明する。
【００６０】
まず、画像を検索する前の定常状態においては、データベース１０４に保存された画像が、ランダムに選出され、順次表示部１０６に表示され、ユーザに提示されているものとする。この状態においては、まだ画像検索が始まっておらず、表示画像間に何ら関連性がないこともありうる。もちろん、何らかの条件を入力して、その条件に合致する写真だけを表示する形式であっても構わない。例えば、年・月が限定されて、その年、その月に撮った写真だけを表示する形式であっても、場所が限定されて、指定された場所で撮った写真だけを表示する形式であっても構わない。また、初期状態における画像抽出のルールはランダムのみならず、ラウンドロビンなど他のルールであっても構わない。
【００６１】
ユーザは、表示部１０６に表示されている画像に対して、たまたまその内の一枚に関心を持ち、それに関連する画像を見たいと思った場合に、ここから本発明の画像検索装置を使った画像の検索が始まる。
【００６２】
最初に、ユーザは、入力部１０１において、画像の関心を持った領域とその領域から抽出する情報の種類を指定する（Ｓ３０１）。指定する領域は、矩形、三角、丸などの幾何学的な形状であっても、画像全体であっても、画像内の被写体・オブジェクトなど一部領域であっても構わない。
【００６３】
この時点では、ｋｅｙ１．ｔｙｐｅと、ｋｅｙ２．ｔｙｐｅにおいて、その種類が指定されているだけで、検索キー自体（ｋｅｙ１．ｄａｔａ，ｋｅｙ２．ｄａｔａ）は決定していない。すなわち、（ｋｅｙ１．ｔｙｐｅ，ｋｅｙ２．ｔｙｐｅ）＝（代表色，日時）と言う組合せであれば、ｋｅｙ１．ｄａｔａとして抽出する特徴量は代表色であると指定されているが、実際にそれが赤なのか、緑なのかは決定していない。ｋｅｙ２．ｄａｔａについても同様で、日時と言う種類が指定されているだけで、実際に何年何月何日と決まっているわけではない。
【００６４】
次に、特徴量抽出部１０２は、画像内の指定領域に対して、ｋｅｙ１．ｔｙｐｅで指定された種類の特徴量を抽出する（Ｓ３０２）。この特徴量をｋｅｙ１．ｄａｔａとし、第１の検索キーとして出力する。
【００６５】
ステップＳ３０２で決定したｋｅｙ１．ｄａｔａを用いて、検索部１０３は、データベース１０４を検索し、同じ特徴量を持つ画像群（Ａ群の画像と呼ぶ）を抽出する（Ｓ３０３）。Ａ群の画像は、ｋｅｙ１．ｄａｔａという共通項を持つ画像の集合である。
【００６６】
次に、検索キー生成部１０５は、Ａ群に含まれる画像の一枚一枚のメタ情報から、ｋｅｙ２．ｔｙｐｅで指定された情報を取得し、これをｋｅｙ２．ｄａｔａとする（Ｓ３０４）。
【００６７】
ステップＳ３０４で決まったｋｅｙ２．ｄａｔａを使って、検索部１０３は、再度、データベース１０４を検索して、ｋｅｙ２．ｄａｔａのメタ情報を有する画像を抽出する（Ｓ３０５）。
【００６８】
ステップＳ３０３で抽出したＡ群の画像がｎ枚である場合、検索部１０３は、ステップＳ３０４，Ｓ３０５をｎ回繰り返す（Ｓ３０６）。これによって、Ａ群の各画像について、ｋｅｙ２．ｄａｔａの検索キーと同じメタ情報を持つ画像（１群からｎ群の画像群）が抽出されることになる。
【００６９】
最後に、検索部１０３は、抽出した画像すべてをＡ群の画像を代表画像として、２次元マトリクス状に、１群からｎ群までの画像群を表示部１０６に表示する。
【００７０】
図４は、表示部１０６における抽出画像の一表示例を示したものである。画像は２次元配列上に並べて表示され、横軸はｋｅｙ１．ｄａｔａによって抽出された画像群であり、縦軸はｋｅｙ２．ｄａｔａによって抽出された画像を示している。図３で、Ａ群の画像（Ａ１，Ａ２，Ａ３，…）は、ｋｅｙ１．ｄａｔａの特徴量を共通に持つ画像群であるが、Ｂ群の画像（Ｂ１，Ｂ２，Ｂ３，…）とＣ群の画像（Ｃ１，Ｃ２，Ｃ３，…）は何ら共通点を持たない。一方で、１群（Ａ１，Ｂ１，Ｃ１，…）、２群（Ａ２，Ｂ２，Ｃ２，…）、そして、３群（Ａ３，Ｂ３，Ｃ３，…）は、それぞれ、Ａ１，Ａ２，Ａ３から読み出したｋｅｙ２．ｄａｔａによって抽出された画像であるので、ｋｅｙ２．ｄａｔａという共通点がある。
【００７１】
図３のステップＳ３０１からステップＳ３０７は、本発明の画像検索装置によって画像を辿る作業の１サイクル分を示したもので、ユーザはこのサイクルを繰り返しすことによって、関連する画像を見ながら、自分自身の関心を遷移させ、データベース１０４中の大量の画像の中からお気に入りの一枚に到達する。
【００７２】
この時、重要なポイントは、画像からそれに関係のある画像へ遷移する際に、領域を選択すること以外のユーザ作業が含まれないことである。したがって、ユーザはツリー構造を理解した上で、フォルダからフォルダへ移動して、そこに置かれている画像を表示し、イメージする画像を探すと言う作業が不要であり、単純に画像から画像へと遷移を繰り返しながら、お気に入りの一枚を見つけることが可能である。あるいは、画像間の遷移そのものを楽しみながら、画像を辿り、眺めることが可能である。
【００７３】
さて、本発明による画像検索装置を使って、そこに保存された大量の画像の中から、年賀状に使う写真を選出するシチュエーションを例として、ユーザの画像検索装置の使用シーンについて説明する。
【００７４】
ユーザが、画像検索装置を使用するに当たっては、最初から最後まで、ユーザは特に目標となる一枚の画像イメージが頭の中にあってそれをデータベース中から探すわけではなく、検索と表示の繰り返しの過程で年賀状に適当であると思える写真を選出する。
【００７５】
まず、データベース１０４には、ユーザが撮ったデジタル写真が大量に保存され、それらは、２００４年１月家族全員で撮った正月の写真、２００４年２月家族でスキーに行った時の写真、２００４年３月子供１の誕生日の写真、子供２の卒業式の写真、２００４年４月子供２の入学式の写真、家族でテーマパーク（例えば、ユニバーサルスタジオジャパン（ＵＳＪ））へ行った時に撮った写真、２００４年５月家族＋祖父母で沖縄に旅行した時に撮った写真、２００４年６月夫婦の結婚記念日の写真、２００４年７月家族＋祖父母で海水浴に行った時の写真、２００４年９月運動会の写真、２００４年１０月動物園へ行った時の写真が含まれるものとする。
【００７６】
検索していない場合、初期状態においては、画像検索装置は、全部の画像からランダムに画像を選択しつつ、これを表示部１０６に表示している。
【００７７】
ユーザはたまたま目に付けいた一枚の画像に興味を持ち、ここから関連する画像を見たいと思うことが、本画像検索装置の使用シーンの始まりである。
【００７８】
最初に、ユーザは、その画像に写った子供１に興味を持ち、この画像中で子供１が写った領域を指示する。
【００７９】
すると、画像検索装置は、その領域にある顔と同一の顔が写った画像群をＡ群の写真群として抽出し、そして、Ａ群の写真群（３枚とする）に含まれる各写真の撮影年月日から、１群から３群の写真を抽出し、これらを表示部１０６に図４に示した形式で表示する。
【００８０】
ここでは、１群〜正月の写真群、２群〜スキーの写真群、３群〜ＵＳＪの写真群が抽出され、Ａ群の写真が代表画像として表示されているものとする。この中から、２群の写真群（スキーの写真群）を選択すると、そこに含まれる画像が表示される。当然、この中には、子供１以外（例えば、子供２）が写った写真も含まれている。
【００８１】
ユーザはそれらを眺めているうちに、子供２に興味を移し、子供２が写った写真から、子供２の顔がある領域を指示する。画像検索装置は、先述した同様のステップを繰り返し、指定した領域にある顔と同じ顔がある画像群を抽出し、さらにそれらと同一の撮影年月日の写真群を抽出して、これらを同様の形式で表示部１０６に表示する。ここでは、卒業式の写真群、正月の写真群、ＵＳＪの写真群が抽出されたものとする。
【００８２】
この中から卒業式の写真群を選択すると、その日に撮った写真が表示される。それらを眺めているうちに、一緒に出席した母親の服装についての話題となったので、母親の服装が含まれる領域を指示して、その色を特徴量として、画像群を抽出し、そして、抽出した画像と同一の撮影年月日の写真群を抽出して、それらを同様の形式で表示部１０６に表示する。ここでは、卒業式、入学式、結婚記念日の写真が抽出されたものとする。
【００８３】
入学式の写真を選択すると、母親と子供二人が写った写真があったので、これを年賀状に使うことに決定した。
【００８４】
以上の様に、ユーザは気になる画像の領域を指示しつつ、同時にそれによって関連する画像群が抽出されるので、画像群から次の画像群への移動が容易であり、それを繰り返すことによって、所望の画像へ辿り着くことができる。
【００８５】
本発明による画像検索装置を使えば、撮影したすべての画像をただ蓄積したデータベース１０４の記憶手段から、ユーザは興味のある画像群を抽出することができるので、画像に名前を付けたり、フォルダを作って分類したりする必要がない。ユーザは、興味を引いた画像を起点として、それと関連する画像を特徴量とメタ情報によって辿ることが可能であるので、フォルダを変更するような連想の作業を妨げるアクションが発生しない。
【００８６】
また、眺めることを邪魔されないので、連想キーを変えながら、大量の画像をネットサーフィンと同様に見ることが可能である。
【００８７】
なお、１群からｎ群の画像群を並べて表示する際には、それらの検索キーであるｋｅｙ２．ｄａｔａの昇順、もしくは降順に並べるだけでなく、Ａ群を抽出したｋｅｙ１．ｄａｔａによる特徴量の検索時にその一致度によってスコアを付与し、そのスコアの昇順に並べるようにしてもよい。
【００８８】
このルールであれば、ユーザが最初に指定した領域と最も類似性の高い画像群から並べることができ、つまり、ｋｅｙ１．ｄａｔａによって抽出された画像をその一致度（スコア）の順に並べることができる。したがって、ユーザの最も関心の高い画像群の順に抽出した画像群をユーザに提供できることになる。
【００８９】
また、上記実施の形態では指定する領域が一つの場合を例に挙げて説明したが、入力部１０１は、２つ以上の領域を指定可能であっても構わない。もちろん、領域が２つ以上の場合は、一枚の画像のみならず、２枚以上の画像からの指定であっても構わない。この時、入力部１０１では、領域、そこから抽出すべき特徴量の種類に加えて、さらに２つ以上の特徴量の論理演算の種類を入力可能とする。
【００９０】
２つ以上の領域が指定された場合は、検索部１０３では、その２つ以上の領域から抽出された特徴量をキーとして、指定された論理演算を行い、Ａ群に値する画像群を抽出することになる。
【００９１】
つまり、一枚、もしくは複数の写真において、複数の領域を指定し、その領域の特徴量の論理演算によって、検索するようにしてもよい。
【００９２】
本実施の形態における画像群の抽出の様子を図５のブロック図で示す。
表示部５０１に画像が６枚表示されていて、ユーザがその内の２枚（画像５０２、画像５０３）に興味を持ち、各画像５０２，５０３の領域をそれぞれ指定したものとする。そして、画像５０２から抽出する特徴量は代表色であり、画像５０３から抽出する特徴量は顔であったものとする。この場合、検索部１０３は、両者の画像特徴量を論理積の演算を行い、両方の特徴量を持つ画像を抽出する。この結果、Ａ群５０５として、顔Ａが写っていて、赤い領域を含む写真が抽出され、例えば、その内の一枚（画像５０７）は顔Ａが夕日（赤）をバックに写った写真が選択される。
【００９３】
これにより、ユーザの連想の幅を広げる画像の抽出をすることができる。
なお、本実施の形態では、ユーザが入力部１０１を使って、明示的に領域を指定するよう記述したが、本形式にのみ限定されるものではない。定常状態において、ランダムに画像を選択し、表示部１０６に表示している際に、２枚の画像が重なった場合に、その重なり部分を指定された領域として抽出する重複判定手段を含む構成であっても構わない。つまり、一枚もしくは複数の写真において、写真の重複を検出して、その領域の特徴量の論理演算によって、検索するようにしてもよい。
【００９４】
したがって、この場合には、ユーザは論理演算の種類と抽出するべき特徴量の種類を入力するだけである。もちろん、特徴量の種類もランダム、ラウンドロビンなどのルールによって、予め登録されたリストの中から自動的に選択する形式であっても構わない。
【００９５】
これによっても、ユーザの連想の幅を広げる画像の抽出をすることができる。
なお、実施の形態１において、ｋｅｙ１は特徴量、ｋｅｙ２はメタ情報を割当てて、まず最初に特徴量によって検索した後、抽出された画像のメタ情報を読み出して、ｋｅｙ２を決定していたが、その組合せに限定する必要はない。つまり、検索キーを入れ替えて、ｋｅｙ１．ｔｙｐｅ＝メタ情報、ｋｅｙ２．ｔｙｐｅ＝特徴量としてもよい。
【００９６】
例えば、検索キーの種類を入れ替えて、ｋｅｙ１がメタ情報の撮影年月日、ｋｅｙ２がメタ情報の撮影場所であっても構わない。この場合には、撮影年月日を２００４年８月１日と日付まで限定するのではなく、月だけの指定に留めた方が、ユーザの連想の幅を広げる画像の抽出をすることが可能であろう。
【００９７】
また、実施の形態１においては、第１の検索キーと第２の検索キーが一つづつである画像検索装置について説明してきたが、第２の検索キーの数は１つに限定する必要はなく、検索キーをｋｅｙ３，ｋｅｙ４，…のように２つ以上用意し、２つ以上の検索キーで画像を検索するようにしてもよい。この場合には、第１の検索キーによって抽出した画像に対して、複数の関連性を持った画像群を提示できるので、ユーザはそれらの中からより興味を引く画像群へジャンプできる。先述の効果と同様、より連想の幅を広げ、思わぬ画像を見つけることができることになる。
【００９８】
また、ｋｅｙ２．ｄａｔａによって抽出された画像群を開く際に、そのキーが年月日であるならば、その時代に流行った音楽をＢＧＭとして採用するようにしてもよい。具体的には、１群〜ｎ群の画像を展開する際には、ｋｅｙ２．ｔｙｐｅが年月日であるならば、データベースに登録された音楽を検索して、その年に流行った音楽をＢＧＭとして採用する。また、ｋｅｙ２．ｔｙｐｅが場所であるならば、その場所に関連する画像を取得して、ユーザが撮った画像に混ぜて表示しても面白い。いずれにしても、メタ情報によって関連する第２の情報を取得し、ユーザの写真と同時に表示／音楽再生することによって、ユーザはより鮮明に思い出を喚起でき、さらに、画像を辿る行為のエンタテイメント性が向上する。
【００９９】
（実施の形態２）
次いで、本発明の実施の形態２に係る画像検索装置について説明する。
【０１００】
図６は、本発明の実施の形態２における画像検索装置の機能構成を示すブロック図である。
【０１０１】
実施の形態１に対して、認識部１０７が追加された他は同様の構成である。
つまり、画像検索装置は、入力部１０１と、特徴量抽出部１０２と、検索部１０３と、データベース１０４と、検索キー生成部１０５と、表示部１０６との他、さらに認識部１０７を備えて構成される。
【０１０２】
認識部１０７は、特徴量抽出部１０２が抽出したオブジェクト（画像データ内の被写体）に対して、それが「顔」であるならば、人の名前、「物」であるならば、物の名前のようにその名前を同定する。
【０１０３】
すなわち、画像検索装置においては、認識部１０７が追加されており、認識部１０７によりオブジェクトを認識し、その名前によって画像を検索できるように構成されている。
【０１０４】
図７は、本発明の一実施の形態の動作を示すフローチャート図である。以下、図６および図７を用いて、その動作について説明する。
【０１０５】
最初に、ユーザは入力部１０１から任意の画像の領域を指定する。同時にそこから抽出する特徴量として、ｋｅｙ１．ｔｙｐｅ＝オブジェクトを指定する。また、第２の検索キーの種類（ｋｅｙ２．ｔｙｐｅ）も指定する（Ｓ７０１）。
【０１０６】
次に、特徴量抽出部１０２は、指定された領域からオブジェクトを抽出し（Ｓ７０２）、抽出したオブジェクトを認識部１０７において、その名前を認識する（Ｓ７０３）。
【０１０７】
そして、認識された名前をｋｅｙ１．ｄａｔａとして、出力する（Ｓ７０４）。
検索部１０３は、ｋｅｙ１．ｄａｔａによって、データベース１０４を検索し、合致するオブジェクトが含まれる画像を抽出する（Ｓ７０５）。
【０１０８】
以下のステップＳ７０７〜Ｓ７０９は、実施の形態１のステップＳ３０４〜３０７（図３参照）と同じである。
【０１０９】
本実施の形態においては、認識部１０７を付加することによって、キー画像による類似検索によって、同じ部分画像が含まれる画像だけでなく、オブジェクトに関するあらゆる画像を抽出できるので、先の類似検索では対応できない撮影角度の異なる画像や、経時変化によらない過去の画像も抽出することができるので、ユーザの連想の幅を広げることができる。
【０１１０】
（実施の形態３）
次いで、本発明の実施の形態３に係る画像検索装置について説明する。
【０１１１】
図８は、本発明の実施の形態３における画像検索装置の機能構成を示すブロック図である。この画像検索装置においては、実施の形態１に対して環境情報取得部１０８が追加された他は、同様の構成である。
【０１１２】
つまり、画像検索装置は、入力部１０１と、特徴量抽出部１０２と、検索部１０３と、データベース１０４と、検索キー生成部１０５と、表示部１０６との他、さらに環境情報取得部１０８を備えて構成される。
【０１１３】
環境情報取得部１０８は、検索部１０３に対して、一つ以上の検索キーを出力するブロックであって、入力デバイスを備え、年月日から予め登録された誕生日／結婚記念日などのメモリアルデーであることを判定したり、季節を判定したり、ＧＰＳによって位置情報を取得したりすることが可能である。
【０１１４】
検索部１０３は、画像特徴量と環境情報を論理演算して、データベース１０４から画像を抽出する。
【０１１５】
次に、図９のフローチャート図を用いて、本発明の一実施の形態における動作について説明する。本フローチャート図では、年月日から季節を判定し、それに重みを置く検索を行うことによって、画像を抽出することを仮定して、説明する。
【０１１６】
まず、ユーザは表示されている画像から適当な一枚を選び、その画像中の興味を引かれる領域を指定する（Ｓ９０１）。
【０１１７】
指定領域から、指定された種類の特徴量を抽出し、これをｋｅｙ１とする（Ｓ９０２）。
【０１１８】
環境情報取得部１０８は、今日の年月日から季節を判定し、これを環境情報（ｋｅｙ−ｅ）として出力する（Ｓ９０３）。本実施の形態では、今日の年月日が７月初旬であれば、季節を初夏として出力する。
【０１１９】
ｋｅｙ１，ｋｅｙ−ｅの論理演算（論理積）によって、検索部１０３は、データベース１０４を検索し、初夏の頃に撮影した写真で、特徴量ｋｅｙ１．ｄａｔａを持つ画像群（ｎ枚）をＡ群の画像群として抽出する（Ｓ９０４）。
【０１２０】
続いて、検索キー生成部１０５が、Ａ群中の画像から、ｋｅｙ２．ｔｙｐｅの種類のメタ情報を取得し、これをｋｅｙ２．ｄａｔａとして出力する（Ｓ９０５）。
【０１２１】
そして、今度は、検索部１０３は、ｋｅｙ２．ｄａｔａによってのみデータベース１０４を検索し、画像を抽出する（Ｓ９０６）。
【０１２２】
以上のステップＳ９０４，Ｓ９０５をＡ群の画像ｎ枚について繰り返し、１群からｎ群までの画像群を得る（Ｓ９０７）。
【０１２３】
最後に、検索部１０３は、Ａ群の画像を代表画像として、１群からｎ群の画像を表示する（Ｓ９０８）。
【０１２４】
以上のステップによって、季節が初夏であれば、初夏シーズンに撮った写真群が優先的に抽出されるので、ユーザに季節らしさを訴える画像選択を誘導することができる。
【０１２５】
なお、環境情報として季節だけに限定するものではなく、メモリアルデーを出力すれば、過去のメモリアルデーに遡って写真を抽出することも可能であり、メモリアルデーが近づいたら、ユーザにその思い出を喚起することを誘導することができる。
【０１２６】
さらに、年月日の判定に限定することなく、加速度センサーやマウスなどの入力デバイスを備え、それらの入力デバイスからのユーザの積極的な入力を受け付ける構成であっても構わない。加速度センサーを使えば、入力デバイスを振る動作によって、ユーザの感情を反映させることが可能で、いらいらしている場合はシャカシャカ振ることで、それを伝え、検索部１０３は風景画を中心とした癒し効果のある写真を選択するキーとすることができる。
【０１２７】
（実施の形態４）
次いで、本発明の実施の形態４に係る画像検索装置について説明する。
【０１２８】
図１０は、本発明の実施の形態４における画像検索装置の機能構成を示すブロック図である。
【０１２９】
本実施の形態は、実施の形態１〜３とは異なり、お気に入りの一枚に辿り着くことよりも、ゲームソフトウェアのデモ画面の様に、画像から画像へと辿っていく過程を見せることに主眼を置いたものである。すなわち、本発明は、ＢＧＭを選び、その特徴量を元に生成したシナリオに基づいて選択する画像を切り替えて表示し、その移り変わり自体を楽しむことを目的としている。つまり、ＢＧＭを選択し、音楽特徴量によって、検索キーを変更し、表示する画像を遷移させるようにしている。
【０１３０】
実施の形態１に対して、入力部１０１に代わって、シナリオ生成部１０９とシナリオ再生部１１０が追加され、他は同様の構成である。つまり、画像検索装置は、特徴量抽出部１０２と、検索部１０３と、データベース１０４と、検索キー生成部１０５と、表示部１０６との他、さらに入力部１０１に代えてシナリオ生成部１０９およびシナリオ再生部１１０を備えて構成される。
【０１３１】
シナリオ生成部１０９は音楽特徴量を読み込み、その特徴的な音を抽出して、また、その音の特徴量に合わせて、検索キーの組を決定することによって、シナリオを生成する。
【０１３２】
図１１は、そのシナリオの一例を示したものであり、特徴的な音が発生した時刻を変化点として、そこから見せるべき画像を検索するための検索キーの種類を定義している。
【０１３３】
（１）は、音楽の再生開始時（時刻：００分００秒０００ミリ秒）において、ｋｅｙ１．ｔｙｐｅ＝撮影年月日、ｋｅｙ２．ｔｙｐｅ＝代表色という画像から取得すべき検索キーの種類を定義している。本例では、音楽の再生開始時にキー画像となった画像（ここではランダムに選択）から撮影年月日を取得して、同一の年月日の静止画を選出し、次に選出した各画像から代表色となる色を取得し、その色によって再度画像を検索することを示している。
【０１３４】
（２）〜（５）についても、（１）の場合と同様に、シナリオにおいて予め定められる時刻に、ｋｅｙ１．ｔｙｐｅ＝撮影年月日、撮影場所、オブジェクトの特徴色、撮影年月日およびｋｅｙ２．ｔｙｐｅ＝人の名前、撮影年月日、撮影年月日、撮影場所の定義を取得し、条件に合致する静止画を検索する。
【０１３５】
図１２は、音楽をＢＧＭとして、画像を辿る様を見せるステップについて説明するためのフローチャート図である。以下、図１０〜図１２を用いて、本発明による画像検索装置を用いて、画像を辿るステップについて説明する。
【０１３６】
最初に、シナリオ生成部１０９は、選択された音楽に対応する音楽特徴量を読み出す（Ｓ１２０１）。音楽特徴量は、音楽データから予め抽出されたデータであって、音楽データと関連付けられてデータベース１０４に保存されている。なお、音楽特徴量は、予め抽出されたデータを読み出す形式だけでなく、シナリオ生成部が音楽特徴量抽出手段を備え、選択された音楽に対してリアルタイムに特徴量を抽出形式であっても構わない。
【０１３７】
次に、音楽特徴量に基づいて、シナリオを生成する（Ｓ１２０２）。
そして、音楽の再生を開始した後は、以下のステップＳ１２０３〜ステップＳ１２１０を音楽再生が終了するまで、つまりシナリオが終了するまで繰り返す。
【０１３８】
まず、シナリオ再生部１１０は、シナリオを読み出し、そこで指定された変化点の時刻になったら、（ｋｅｙ１．ｔｙｐｅ），（ｋｅｙ２．ｔｙｐｅ），（画像、領域）を出力する（Ｓ１２０４）。
【０１３９】
次に、特徴量抽出部１０２は、入力された（画像、領域）から、ｋｅｙ１．ｔｙｐｅの特徴量を抽出し、その結果をｋｅｙ１．ｄａｔａとして出力する（Ｓ１２０５）。
【０１４０】
そして、検索部１０３は、ｋｅｙ１．ｄａｔａによってデータベース１０４を検索する（Ｓ１２０６）。
【０１４１】
抽出された画像のそれぞれのメタ情報から、ｋｅｙ２．ｔｙｐｅで指定された情報を読み出し、これをｋｅｙ２．ｄａｔａとして出力する（Ｓ１２０７）。
【０１４２】
ｋｅｙ２．ｄａｔａによって、データベース１０４を検索する（Ｓ１２０８）。
以上のステップＳ１２０７，Ｓ１２０８を、ステップＳ１２０６で抽出されたすべての画像について、繰り返す（Ｓ１２０９）。
【０１４３】
ステップＳ１２０６、ステップＳ１２０８で抽出された画像群を表示部１０６に表示する（Ｓ１２１０）。この時、ｋｅｙ１．ｄａｔａによって選出した画像からランダムで一枚を選出し、その画像をフォーカスして、さらにその画像から抽出したキー（ｋｅｙ２．ｄａｔａ）によって選出した画像を一枚ずつ切り替えるスライドショー形式によって静止画を表示する。もちろん、画像の表示に関しては、スライドショー形式に限らず、様々なエフェクトを加味して、動的に画像を表示することも可能である。
【０１４４】
本実施の形態によれば、ユーザはＢＧＭを選択しさえすれば、画像検索装置がその変化点に合わせて、選択対象の画像を切り替え、また、音の特徴量に合わせた画像を選択してくれるので、ユーザはその画像の移り変わりを楽しむことができる。つまり、ユーザが何らの操作を行わなくても、ネットサーフィンと同様に、画像が切り替わることになる。さらに、ユーザの好みに依存して、切り替わるわけではないので、思わぬ画像が掘り起こされて、表示されることになって、新たな思い出が喚起される可能性がある。
【０１４５】
（実施の形態５）
次いで、本発明の実施の形態５に係る画像検索装置について説明する。
【０１４６】
図１３は、本発明の実施の形態５における画像検索装置の機能構成を示すブロック図である。
【０１４７】
本実施の形態では、実施の形態４と同様に、画像から画像へと辿っていく過程を見せることに主眼を置いている。実施の形態４に対して、シナリオ生成部１０９に代わって、シナリオ読み出し部１１１、テーマ入力部１１２が追加された他は、同様の構成である。
【０１４８】
テーマ入力部１１２は、予め与えられた複数のテーマを提示し、その中から任意の一つを選択する手段を含む。
【０１４９】
シナリオ読み出し部１１１は、選択されたテーマに対応するシナリオを読み出し、これをシナリオ再生部１１０に入力する。
【０１５０】
これにより、ユーザがテーマを選択すると、予め定義されたキーワード列に応じて、検索キーを変更し、表示する画像を遷移させるようにしている。
【０１５１】
図１４は、テーマ選択から画像表示までの過程を示すフローチャート図である。以下、図１３〜１４を用いて、本発明による画像検索装置によって画像を辿る様を示す。
【０１５２】
最初に、テーマ入力部１１２は、ユーザに選択可能なテーマを提示し、その中から任意の一つを選択してもらう（Ｓ１４０１）。
【０１５３】
次に、シナリオ読み出し部１１１は、テーマに対応するシナリオを読み出す（Ｓ１４０２）。この時、テーマとシナリオの対応は１対１であって、選択する必要のない形式であっても、一つのテーマに複数のシナリオを対応させておき、季節、一日での時間帯などに応じて自動選択しても構わない。
【０１５４】
そして、以下のステップＳ１４０４からＳ１４１０までをシナリオの再生が終了するまで繰り返す。
【０１５５】
まず、シナリオ再生部１１０は、００：００：００（＝分：秒：ミリ秒）にシナリオの再生を開始し、シナリオ中の各行に記述された時刻になれば、（ｋｅｙ１．ｔｙｐｅ），（ｋｅｙ２．ｔｙｐｅ），（画像、領域）を出力する（Ｓ１４０４）。
【０１５６】
次に、特徴量抽出部１０２は、入力された（画像、領域）から、ｋｅｙ１．ｔｙｐｅで指定された特徴量を抽出し、その結果をｋｅｙ１．ｄａｔａとして出力する（Ｓ１４０５）。
【０１５７】
検索部１０３は、ｋｅｙ１．ｄａｔａに合致する画像を検索する（Ｓ１４０６）。
抽出された画像のそれぞれのメタ情報から、ｋｅｙ２．ｔｙｐｅで指定された情報を読み出し、これをｋｅｙ２．ｄａｔａとして出力する（Ｓ１４０７）。
【０１５８】
検索部１０３は、さらにｋｅｙ２．ｄａｔａによって、データベース１０４を検索する（Ｓ１４０８）。
【０１５９】
以上のステップＳ１４０７，Ｓ１４０８をステップＳ１４０６で抽出されたすべての画像について繰り返す（Ｓ１４０９）。
【０１６０】
本実施の形態においても、実施の形態４と同様に、ユーザはテーマを選択しさえすれば、そのテーマに応じて選択されたシナリオに沿って、選択対象の画像群を切り替え、画像の遷移過程が表示されるので、ユーザは、その移り変わりを楽しむことができる。さらに、その遷移はユーザの意図に沿って切り替わるわけではないので、思わぬ画像が掘り起こされて、表示されることになり、それにより新たな思い出が喚起されることに繋がる。
【産業上の利用可能性】
【０１６１】
本発明に係る画像検索装置は、大量の画像を保存するデバイスを有するパーソナルコンピュータ（ＰＣ）や、デジタルカメラ、カメラ付け携帯電話、カーナビ、ＤＶＤレコーダ、ＤＶＤテレビ等の装置として適用することができ、また、本発明に係る画像検索方法は、ＰＣでのデジタル写真の検索においても有用である。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施の形態１における画像検索装置の機能構成を示すブロック図である。
【図２】本発明の実施の形態１における興味対象の画像の遷移例を示す図である。
【図３】本発明の実施の形態１における画像検索装置の動作を示すフローチャートである。
【図４】表示部１０６における抽出画像の一表示例を示す図である。
【図５】本発明の実施の形態１における複数領域を指定する場合のイメージを示す図である。
【図６】本発明の実施の形態２における画像検索装置の機能構成を示すブロック図である。
【図７】本発明の実施の形態２における画像検索装置の動作を示すフローチャートである。
【図８】本発明の実施の形態３における画像検索装置の機能構成を示すブロック図である。
【図９】本発明の実施の形態３における画像検索装置の動作を示すフローチャートである。
【図１０】本発明の実施の形態４における画像検索装置の機能構成を示すブロック図である。
【図１１】本発明の実施の形態４における画像検索装置が処理するシナリオの一例を示す図である。
【図１２】本発明の実施の形態４における画像検索装置の動作を示すフローチャートである。
【図１３】本発明の実施の形態５における画像検索装置の機能構成を示すブロック図である。
【図１４】本発明の実施の形態５における画像検索装置の動作を示すフローチャートである。
【図１５】従来の画像検索装置の機能構成を示すブロック図である。
【図１６】従来の画像検索装置の動作を示すフローチャートである。
【符号の説明】
【０１６３】
１０１  入力部
１０２  特徴量抽出部
１０３  検索部
１０４  データベース
１０５  検索キー生成部
１０６  表示部
１０７  認識部
１０８  環境情報取得部
１０９  シナリオ生成部
１１０  シナリオ再生部
１１１  シナリオ読み出し部
１１２  テーマ入力部
【図１】
2006164008.tif 000003
【図２】
2006164008.tif 000004
【図３】
2006164008.tif 000005
【図４】
2006164008.tif 000006
【図５】
2006164008.tif 000007
【図６】
2006164008.tif 000008
【図７】
2006164008.tif 000009
【図８】
2006164008.tif 000010
【図９】
2006164008.tif 000011
【図１０】
2006164008.tif 000012
【図１１】
2006164008.tif 000013
【図１２】
2006164008.tif 000014
【図１３】
2006164008.tif 000015
【図１４】
2006164008.tif 000016
【図１５】
2006164008.tif 000017
【図１６】
2006164008.tif 000018