(57)【要約】【課題】  キーワードなどの対応付けがされていない画像も含め、所望の画像を検索結果として抽出することのできる画像検索プログラム、画像検索方法、画像検索装置及び記録媒体を提供する。【解決手段】  前記画像記憶手段に記憶されている画像ファイルを複数選択し、選択した各画像ファイルから撮影情報を抽出し、抽出した撮影情報の分布範囲を算出し、算出した結果をもとに、前記撮影情報の類似範囲を決定し、決定された撮影情報の類似範囲にキーワードを対応させ、キーワードと類似範囲とを記憶し、前記画像記憶手段に記憶されている画像ファイルの撮影情報が類似範囲に入るか否かを判定し、当該撮影情報が類似範囲に入っていると判定された場合には、当該画像ファイルにそのキーワードを付与する画像検索方法である。【選択図】    図３
2006004157.tif 000002
【特許請求の範囲】
【請求項１】
画像とその画像の撮影情報を含む画像ファイルを記憶する画像記憶手段と、
外部から画像ファイルを読み込む画像入力手段と、
前記画像記憶手段に記憶されている画像ファイルから所望の画像ファイルを検索する検索手段とを有する画像管理装置で実行する画像検索プログラムであって、
前記画像記憶手段に記憶されている画像ファイルを複数選択する画像選択ステップと、
前記画像選択ステップで選択した各画像ファイルから撮影情報を抽出する撮影情報抽出ステップと、
前記撮影情報抽出ステップで抽出した撮影情報の分布範囲を算出する算出ステップと、
前記算出ステップで算出した結果をもとに、前記撮影情報の類似範囲を決定する範囲決定ステップと、
前記範囲決定ステップで決定された撮影情報の類似範囲にキーワードを対応させるキーワード対応ステップと、
前記キーワードとこのキーワードに対応付けられた前記撮影情報の類似範囲を記憶するキーワード記憶ステップと、
前記画像記憶手段に記憶されている画像ファイルに対して、当該画像の撮影情報が前記キーワードに対応する類似範囲に入るか否かを判定する判定ステップと、
前記判定ステップで、当該撮影情報が前記キーワード記憶ステップで記憶されたキーワードに対応する類似範囲に入っていると判定された場合には、当該画像ファイルにそのキーワードを付与するキーワード付与ステップと
をコンピュータに実行させるためのプログラム。
【請求項２】
前記キーワード記憶ステップで記憶されているキーワードを一覧表示するキーワード表示ステップと、
前記キーワード表示ステップで表示されているキーワードを選択するキーワード選択ステップと、
前記キーワード選択ステップで選択したキーワードが付与された画像ファイルを検索する検索ステップと
を更に有することを特徴とする請求項１に記載のプログラム。
【請求項３】
前記画像記憶手段に記憶されている画像ファイルを選択する第２の画像選択ステップと、
前記第２の画像選択ステップで選択した画像ファイルに付与されたキーワードを特定するキーワード特定ステップと、
前記キーワード特定ステップで特定したキーワードと同一のキーワードが付与された画像ファイルを検索する検索ステップと
を有することを特徴とする請求項１に記載のプログラム。
【請求項４】
前記画像入力手段で画像ファイルを読み込むたびに、当該画像ファイルに対して、前記判定ステップ及び前記キーワード付与ステップを実行し、付与されたキーワードとその画像ファイルとを前記記憶手段に記憶する管理情報記憶ステップを更に有することを特徴とする請求項１に記載のプログラム。
【請求項５】
前記撮影情報は、Ｅｘｉｆ形式の画像ファイルに記憶されている情報であることを特徴とする請求項１に記載のプログラム。
【請求項６】
画像とその画像の撮影情報を含む画像ファイルを記憶する画像記憶手段と、
外部から画像ファイルを読み込む画像入力手段と、
前記画像記憶手段に記憶されている画像ファイルから所望の画像ファイルを検索する検索手段とを有する画像管理装置で実行する画像検索プログラムを記録した記録媒体であって、
前記画像記憶手段に記憶されている画像ファイルを複数選択する画像選択ステップと、
前記画像選択ステップで選択した各画像ファイルから撮影情報を抽出する撮影情報抽出ステップと、
前記撮影情報抽出ステップで抽出した撮影情報の分布範囲を算出する算出ステップと、
前記算出ステップで算出した結果をもとに、前記撮影情報の類似範囲を決定する範囲決定ステップと、
前記範囲決定ステップで決定された撮影情報の類似範囲にキーワードを対応させるキーワード対応ステップと、
前記キーワードとこのキーワードに対応付けられた前記撮影情報の類似範囲を記憶するキーワード記憶ステップと、
前記画像記憶手段に記憶されている画像ファイルに対して、当該画像の撮影情報が前記キーワードに対応する類似範囲に入るか否かを判定する判定ステップと、
前記判定ステップで、当該撮影情報が前記キーワード記憶ステップで記憶されたキーワードに対応する類似範囲に入っていると判定された場合には、当該画像ファイルにそのキーワードを付与するキーワード付与ステップと
をコンピュータに実行させるためのプログラムを記録した記録媒体。
【請求項７】
画像とその画像の撮影情報を含む画像ファイルを記憶する画像記憶手段と、
外部から画像ファイルを読み込む画像入力手段と、
前記画像記憶手段に記憶されている画像ファイルから所望の画像ファイルを検索する検索手段とを有する画像管理装置の画像検索方法であって、
前記画像記憶手段に記憶されている画像ファイルを複数選択する画像選択ステップと、
前記画像選択ステップで選択した各画像ファイルから撮影情報を抽出する撮影情報抽出ステップと、
前記撮影情報抽出ステップで抽出した撮影情報の分布範囲を算出する算出ステップと、
前記算出ステップで算出した結果をもとに、前記撮影情報の類似範囲を決定する範囲決定ステップと、
前記範囲決定ステップで決定された撮影情報の類似範囲にキーワードを対応させるキーワード対応ステップと、
前記キーワードとこのキーワードに対応付けられた前記撮影情報の類似範囲を記憶するキーワード記憶ステップと、
前記画像記憶手段に記憶されている画像ファイルに対して、当該画像の撮影情報が前記キーワードに対応する類似範囲に入るか否かを判定する判定ステップと、
前記判定ステップで、当該撮影情報が前記キーワード記憶ステップで記憶されたキーワードに対応する類似範囲に入っていると判定された場合には、当該画像ファイルにそのキーワードを付与するキーワード付与ステップと
を備えたことを特徴とする画像検索方法。
【請求項８】
画像とその画像の撮影情報を含む画像ファイルを記憶する画像記憶手段と、
外部から画像ファイルを読み込む画像入力手段と、
前記画像記憶手段に記憶されている画像ファイルから所望の画像ファイルを検索する検索手段とを有する画像検索装置であって、
前記画像記憶手段に記憶されている画像ファイルを複数選択する画像選択手段と、
前記画像選択手段が選択した各画像ファイルから撮影情報を抽出する撮影情報抽出手段と、
前記撮影情報抽出手段が抽出した撮影情報の分布範囲を算出する算出手段と、
前記算出手段が算出した結果をもとに、前記撮影情報の類似範囲を決定する範囲決定手段と、
前記範囲決定手段が決定した撮影情報の類似範囲にキーワードを対応させるキーワード対応手段と、
前記キーワードとこのキーワードに対応付けられた前記撮影情報の類似範囲を記憶するキーワード記憶手段と、
前記画像記憶手段が記憶している画像ファイルに対して、当該画像の撮影情報が前記キーワードに対応する類似範囲に入るか否かを判定する判定手段と、
前記判定手段が、当該撮影情報が前記キーワード記憶手段が記憶したキーワードに対応する類似範囲に入っていると判定した場合には、当該画像ファイルにそのキーワードを付与するキーワード付与手段と
を備えたことを特徴とする画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索技術に関し、特に、キーワードが付与されていない画像も含めて所望の画像を検索する技術に関する。
【背景技術】
【０００２】
従来の画像検索における検索キーの指定方法には、画像にキーワードを付与し、キーワードによるテキスト検索の結果として画像を抽出する方法が知られている。
【０００３】
特許文献１には、複数のキーワードを用いて画像検索を行う場合、キーワードを語義別にグループ化し、さらに優先順位付けを行うことで画像検索処理を効率化する技術が開示されている。
【０００４】
また、特許文献２に開示された技術では、画像データの入力日時と名称の少なくとも１つを用いて第１キーワードを発生させ、さらに第１キーワードに関連する情報を参照して第２キーワードを発生させ、これら第１及び第２キーワードを用いることで、オペレータが理解しやすいキーワードを付与することができるとしている。
【特許文献１】特開２０００−２９９０１号公報
【特許文献２】特開平８−１６６１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１あるいは特許文献２に記載された画像検索方法では、人間による主観に基づいて画像とキーワードの対応付けがなされるため、同じ画像に対し、常に同じキーワードが付与されるとは限らず、検索者の望む検索結果が得られるとは限らないという問題がある。更に、キーワードなどの対応付けがされていない画像は検索結果として得ることができないなどの問題も指摘されている。
【０００６】
本発明は、かかる事情に鑑みてなされたものであり、キーワードなどの対応付けがされていない画像も含め、所望の画像を検索結果として抽出することのできる画像検索プログラム、画像検索方法、画像検索装置及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための、本発明に係る請求項１に記載の画像検索プログラムは、画像とその画像の撮影情報を含む画像ファイルを記憶する画像記憶手段と、外部から画像ファイルを読み込む画像入力手段と、前記画像記憶手段に記憶されている画像ファイルから所望の画像ファイルを検索する検索手段とを有する画像管理装置で実行する画像検索プログラムであって、前記画像記憶手段に記憶されている画像ファイルを複数選択する画像選択ステップと、前記画像選択ステップで選択した各画像ファイルから撮影情報を抽出する撮影情報抽出ステップと、前記撮影情報抽出ステップで抽出した撮影情報の分布範囲を算出する算出ステップと、前記算出ステップで算出した結果をもとに、前記撮影情報の類似範囲を決定する範囲決定ステップと、前記範囲決定ステップで決定された撮影情報の類似範囲にキーワードを対応させるキーワード対応ステップと、前記キーワードとこのキーワードに対応付けられた前記撮影情報の類似範囲を記憶するキーワード記憶ステップと、前記画像記憶手段に記憶されている画像ファイルに対して、当該画像の撮影情報が前記キーワードに対応する類似範囲に入るか否かを判定する判定ステップと、前記判定ステップで、当該撮影情報が前記キーワード記憶ステップで記憶されたキーワードに対応する類似範囲に入っていると判定された場合には、当該画像ファイルにそのキーワードを付与するキーワード付与ステップとをコンピュータに実行させる。
【０００８】
また、本発明に係る請求項２に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記キーワード記憶ステップで記憶されているキーワードを一覧表示するキーワード表示ステップと、前記キーワード表示ステップで表示されているキーワードを選択するキーワード選択ステップと、前記キーワード選択ステップで選択したキーワードが付与された画像ファイルを検索する検索ステップとを更に有する。
【０００９】
また、本発明に係る請求項３記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像記憶手段に記憶されている画像ファイルを選択する第２の画像選択ステップと、前記第２の画像選択ステップで選択した画像ファイルに付与されたキーワードを特定するキーワード特定ステップと、前記キーワード特定ステップで特定したキーワードと同一のキーワードが付与された画像ファイルを検索する検索ステップとを有する。
【００１０】
また、本発明に係る請求項４記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像入力手段で画像ファイルを読み込むたびに、当該画像ファイルに対して、前記判定ステップ及び前記キーワード付与ステップを実行し、付与されたキーワードとその画像ファイルとを前記記憶手段に記憶する管理情報記憶ステップを更に有する。
【００１１】
また、本発明に係る請求項５記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記撮影情報は、Ｅｘｉｆ形式の画像ファイルに記憶されている情報である。
【００１２】
また、本発明に係る請求項６記載の記録媒体は、画像とその画像の撮影情報を含む画像ファイルを記憶する画像記憶手段と、外部から画像ファイルを読み込む画像入力手段と、前記画像記憶手段に記憶されている画像ファイルから所望の画像ファイルを検索する検索手段とを有する画像管理装置で実行する画像検索プログラムを記録した記録媒体であって、前記画像記憶手段に記憶されている画像ファイルを複数選択する画像選択ステップと、前記画像選択ステップで選択した各画像ファイルから撮影情報を抽出する撮影情報抽出ステップと、前記撮影情報抽出ステップで抽出した撮影情報の分布範囲を算出する算出ステップと、前記算出ステップで算出した結果をもとに、前記撮影情報の類似範囲を決定する範囲決定ステップと、前記範囲決定ステップで決定された撮影情報の類似範囲にキーワードを対応させるキーワード対応ステップと、前記キーワードとこのキーワードに対応付けられた前記撮影情報の類似範囲を記憶するキーワード記憶ステップと、前記画像記憶手段に記憶されている画像ファイルに対して、当該画像の撮影情報が前記キーワードに対応する類似範囲に入るか否かを判定する判定ステップと、前記判定ステップで、当該撮影情報が前記キーワード記憶ステップで記憶されたキーワードに対応する類似範囲に入っていると判定された場合には、当該画像ファイルにそのキーワードを付与するキーワード付与ステップとをコンピュータに実行させるためのプログラムを記録した。
【００１３】
また、本発明に係る請求項７記載の画像検索方法は、画像とその画像の撮影情報を含む画像ファイルを記憶する画像記憶手段と、外部から画像ファイルを読み込む画像入力手段と、前記画像記憶手段に記憶されている画像ファイルから所望の画像ファイルを検索する検索手段とを有する画像管理装置の画像検索方法であって、前記画像記憶手段に記憶されている画像ファイルを複数選択する画像選択ステップと、前記画像選択ステップで選択した各画像ファイルから撮影情報を抽出する撮影情報抽出ステップと、前記撮影情報抽出ステップで抽出した撮影情報の分布範囲を算出する算出ステップと、前記算出ステップで算出した結果をもとに、前記撮影情報の類似範囲を決定する範囲決定ステップと、前記範囲決定ステップで決定された撮影情報の類似範囲にキーワードを対応させるキーワード対応ステップと、前記キーワードとこのキーワードに対応付けられた前記撮影情報の類似範囲を記憶するキーワード記憶ステップと、前記画像記憶手段に記憶されている画像ファイルに対して、当該画像の撮影情報が前記キーワードに対応する類似範囲に入るか否かを判定する判定ステップと、前記判定ステップで、当該撮影情報が前記キーワード記憶ステップで記憶されたキーワードに対応する類似範囲に入っていると判定された場合には、当該画像ファイルにそのキーワードを付与するキーワード付与ステップとを備えた。
【００１４】
また、本発明に係る請求項８記載の画像検索装置は、画像とその画像の撮影情報を含む画像ファイルを記憶する画像記憶手段と、外部から画像ファイルを読み込む画像入力手段と、前記画像記憶手段に記憶されている画像ファイルから所望の画像ファイルを検索する検索手段とを有する画像検索装置であって、前記画像記憶手段に記憶されている画像ファイルを複数選択する画像選択手段と、前記画像選択手段が選択した各画像ファイルから撮影情報を抽出する撮影情報抽出手段と、前記撮影情報抽出手段が抽出した撮影情報の分布範囲を算出する算出手段と、前記算出手段が算出した結果をもとに、前記撮影情報の類似範囲を決定する範囲決定手段と、前記範囲決定手段が決定した撮影情報の類似範囲にキーワードを対応させるキーワード対応手段と、前記キーワードとこのキーワードに対応付けられた前記撮影情報の類似範囲を記憶するキーワード記憶手段と、前記画像記憶手段が記憶している画像ファイルに対して、当該画像の撮影情報が前記キーワードに対応する類似範囲に入るか否かを判定する判定手段と、前記判定手段が、当該撮影情報が前記キーワード記憶手段が記憶したキーワードに対応する類似範囲に入っていると判定した場合には、当該画像ファイルにそのキーワードを付与するキーワード付与手段とを備えた。
【発明の効果】
【００１５】
本発明によれば、キーワードなどの対応付けがされていない画像も含め、所望の画像を検索結果として抽出することができる。
【発明を実施するための最良の形態】
【００１６】
［第１の実施の形態］
本発明の実施の形態に係る画像検索方法では、画像を撮影する際に付与される情報（以下、「撮影情報」という。）に基づいて、画像の分類・管理・検索を実行する。
【００１７】
図１は、画像の分類及び検索の原理を説明する図である。なお、説明を簡単にするために、２次元の座標を例としている。
【００１８】
図１のＸ軸とＹ軸は、撮影情報（例えば、シャッタ速度と撮影日時）を表わしている。そして、図中に示された点は、それぞれ撮影した画像を表わしている。この図から、撮影した画像は、撮影情報によってグループに分類できることが推認できる。そこで、検索する画像がどのグループに属するかを判定し、該当するグループに属する画像を抽出することにより所望の画像を検索することができる。
【００１９】
図２は、撮影情報の一種であるＥｘｉｆ形式の画像ファイルの付属情報の一例を示す図である。これらの情報は、画像ファイルに付属し当該画像と対応づけられている。従って、当該画像にはユーザに意識させることなく、暗黙の内にこれらの情報がキーワードとして付与されていると考えられる。
【００２０】
本発明は、以上の考察に基き、画像情報を暗黙のキーワードとして取り扱い、数理的な処理を施すことにより、画像の検索処理を行うものである。
【００２１】
図３は、本発明の実施の形態の画像検索方法が適用される画像検索装置１０の構成を示す図である。
【００２２】
画像検索装置１０には、中央処理装置１１、表示部１２及び入出力部１３が設けられている。中央処理装置１１は、画像の分類・管理・検索処理を実行する。表示部１２は、画像検索に関する画面などを表示するＣＲＴまたはＴＦＴ液晶ディスプレイである。入出力部１３は、ユーザからの操作指示入力を受取るためのキーボード、マウス等の入力デバイス及び、外部装置との間で画像データなどの情報の授受を行う通信インターフェースを備えている。
【００２３】
中央処理装置１１には、画像検索などの処理を行う処理部１５と画像検索処理に関する情報を格納した記憶部１６が設けられている。
【００２４】
そして処理部１５は、撮影情報抽出部２０、分布・範囲決定部２１、画像検索部２２、キーワード選択２３及びキーワード検索部２４を備えている。撮影情報抽出部２０は、特定した画像ファイルから画像情報を抽出する。分布・範囲決定部２１は、撮影情報をパラメータとして画像の分布情報を生成し、またその分布情報から特定のグループに属する範囲を決定する。キーワード選択部２２は、キーワードの一覧から特定のキーワードを選択する。キーワード検索部２３は、特定のキーワードを持つ画像ファイルを特定する。画像検索部２４は、特定の画像ファイルを検索する。
【００２５】
記憶部１６は、画像記憶部２７、キーワード記憶部２８及び管理データ記憶部２９を備えている。画像記憶部２７は、画像ファイルを記憶する。キーワード記憶部２８は、キーワードと分布範囲を対応付けて記憶する。管理データ記憶部２９は、キーワードと撮影情報を対応付けて記憶する。
【００２６】
続いて、本発明の実施の形態に係る画像検索処理の手順について説明する。
【００２７】
ユーザは、画像検索のための準備として、キーワード記憶部２８への登録処理を実行する。この処理は、ユーザが適宜設定したシチュエーションを表わすキーワード（以下、「シチュエーションキーワード」という。）と該当する画像ファイルに関する情報をキーワード記憶部２８に記憶する。
【００２８】
図４は、キーワード記憶部２８への登録処理の概略の手順を示すフロー図である。
【００２９】
ステップＳ０１において、ユーザはシチュエーションキーワードを入出力部１３から操作して入力する。シチュエーションキーワードは、例えば画像を撮影した際の状況などを表わす言葉で、「室内」、「夕焼け」、「夜景」等が該当する。
【００３０】
ステップＳ０２において、ユーザは画像記憶部２７に保存されている画像ファイルの内、そのシチュエーションキーワードを付与するにふさわしい画像を選択する。以下、選択された画像をサンプル画像と呼ぶ。サンプル画像がダブって選択された場合（Ｓ０３  Ｙｅｓ）は、ステップＳ０４において、エラーメッセージを表示部１２に出力して、ユーザが次の画像を選択するまで待機する。
【００３１】
サンプル画像がダブって選択されていない場合（Ｓ０３  Ｎｏ）は、ステップＳ０５において、入力されたシチュエーションキーワードとサンプル画像とを関連付ける。そして、更にサンプル画像を選択する場合（Ｓ０６  Ｎｏ）は、ステップＳ０２からの処理を繰り返す。なお、サンプル画像はユーザの意思により適宜の数を選択して良い。
【００３２】
選択が終了したとき（Ｓ０６  Ｙｅｓ）は、撮影情報抽出部２０がサンプル画像の画像ファイル中にあるＥｘｉｆ情報を抽出する。そして、分析・範囲決定部２１が、ステップＳ０８に示す類似分析処理（図５）を実行する。
【００３３】
類似分析処理は、サンプル画像のＥｘｉｆ情報に基づいてマハラノビスの距離を算出し、サンプル画像に類似する範囲を決定する処理である。具体的には、図１の中央部にある白い点がサンプル画像を表わしているときに、この白い点のデータ（以下、「サンプルデータ」という。）を包含するような範囲、即ち、図１では楕円で描かれている範囲を演算によって決定する。以下、マハラノビスの距離について説明する。
【００３４】
一般的な場合を考え、要因として考えられる変量がｐ個あるものとする。このとき、マハラノビスの汎距離Ｄ２は式（１）で表わされる。
【００３５】
【数１】
2006004157.tif 000003
【００３６】
式（１）中で、（ｘ−μ）は、変量１、変量２、…のデータｘ１、ｘ２、…とその変量の母平均μ１、μ２、…との差を行列で表現したものであり、各要素で書き表すと式（２）で表わされる。
【００３７】
【数２】
2006004157.tif 000004
【００３８】
また式（１）中で、（ｘ−μ）’は、（ｘ−μ）の行と列を入れ替えてできる行列、即ち、転置行列であり、式（３）で表わされる。
【００３９】
【数３】
2006004157.tif 000005
【００４０】
式（１）中で、Σは分散共分散行列であり、式（４）で表わされる。
【００４１】
【数４】
2006004157.tif 000006
【００４２】
ここで、分散共分散行列の対角要素である、σｉ２（ｉ＝１、２、…、ｐ）は、変量ｉの分散であり、
σｉｊ（ｉ、ｊ＝１、２、…、ｐ  ただしｉとｊは異なる）は、変量ｉ、変量ｊ間の共分散を表わす。またΣ−１は、Σの逆行列である。
【００４３】
図５に示す類似分析処理の手順は、上述の演算を実現するための手順を示している。
【００４４】
図５のステップＴ０１において、サンプルデータの平均値、即ち母平均（μ）を算出する。ステップＴ０２において、サンプルデータの分散（σｉ２）を算出する。ステップＴ０３において、サンプルデータの共分散（σｉｊ）を算出する。ステップＴ０４において、サンプルデータの分散共分散行列（Σ）を算出する。ステップＴ０５において、サンプルデータの分散共分散行列の逆行列（Σ−１）を算出する。そして、ステップＴ０６において、平均値と分散共分散行列の逆行列を基にマハラノビス距離（Ｄ２）を算出してリターンする。
【００４５】
図４に戻り、ステップＳ０９において、分布範囲を求める。ここで、１つの変量についての分布範囲は、図６に示す楕円で描かれている範囲に対応する１つの軸であるＸ軸の範囲である。そして、この分布範囲は、「中心点」と「巾」を１組として表現する。「中心点」は、その変量の母平均μを使用する。また、「巾」は、上述のマハラノビス距離（Ｄ２）に基づいて、その変量について算出した巾を使用する。
【００４６】
そして、求めた分布範囲とシチュエーションキーワードをキーワード記憶部２８に登録する。図７は、キーワード記憶部２８の構成を示す図である。キーワード記憶部２８には、ユーザが入力したシチュエーションキーワード毎に、各撮影情報（各Ｅｘｉｆ情報）の分布範囲が記録されている。このキーワード記憶部２８のデータに従うと、例えば、「夕焼け」というシチュエーションキーワードをもつ画像のＥｘｉｆ情報Ｘ２は、中心点が１７０、で巾が１７０の範囲に分布をしていることがわかる。そして、この分布範囲は、シチュエーションキーワードについての類似範囲を表わしている。
【００４７】
ユーザがシチュエーションキーワードをキーワード記憶部２８に登録して終わった後は、この登録情報に基づいて管理データ記憶部２９の登録処理を実行する。この処理は、画像記憶部２７に記憶されている全画像について、画像毎にシチュエーションキーワードを割り付ける処理である。
【００４８】
図８は、管理データ記憶部２９への登録処理の概略の手順を示すフロー図である。
【００４９】
ステップＳ１１において、シチュエーションキーワードのループを開始する。即ち、シチュエーションキーワード毎に以下の処理を全シチュエーションキーワードについて繰り返して実行する。また、ステップＳ１２において、全画像ループを開始する。即ち、画像毎に以下の処理を全画像について繰り返して実行する。
【００５０】
ステップＳ１３において、キーワード記憶部２８を検索して、その内から選択した１つのシチュエーションキーワードについての撮影情報の類似範囲を取り出す。次に、ステップＳ１４において、処理しようとする画像の画像ファイルに保存されている撮影情報を取り出す。
【００５１】
ステップＳ１５において、処理しようとする画像がこのシチュエーションキーワードの類似範囲に入っているかどうかを調べる。即ち、処理しようとする画像のそれぞれの撮影情報が、キーワード記憶部２８に記憶されている撮影情報の分布範囲（類似範囲）に属するかどうかを調べ、対象とする全ての撮影情報の類似範囲に属する場合（Ｓ１５  Ｙｅｓ）は、その画像とシチュエーションキーワードを対応付けて一時的に記憶する。
【００５２】
ステップＳ１７において、類似判別処理を全画像について繰り返したときは、全画像ループを終了する。そして、ステップＳ１８において、一時的に記憶した画像とシチュエーションキーワードとを管理データ記憶部２９に記憶する。図９は、管理データ記憶部２９の構成を示す図である。管理データ記憶部２９には、当該画像を特定するための情報である「画像ユニークＩＤ」、画像が記憶されている画像記憶部２７内の位置を表わす「画像参照アドレス」、当該画像のサムネイル画像である「Ｉｎｄｅｘ画像」及び当該画像に対応付けられた少なくとも１つのシチュエーションキーワードが設けられている。
【００５３】
そして、キーワード記憶部２８に記憶されている全てのシチュエーションキーワードについて、上述の処理を実行したときは、ステップＳ１９において、シチュエーションキーワードループを終了する。
【００５４】
上述の管理データ記憶部２９への登録処理は、新たに読込んだ画像についても追加して実行することができる。例えば、入出力部１３を介して、カメラなどから読込まれた画像について、管理データ記憶部２９へ追加登録することができる。
【００５５】
図１０は、管理データ記憶部２９への追加登録処理の概略の手順を示すフロー図である。
【００５６】
ステップＳ２１において、画像入力ループを開始する。即ち、入出力部１３を介して読込まれる画像毎に以下の処理を実行する。また、ステップＳ２２において、シチュエーションキーワードのループを開始する。即ち、シチュエーションキーワード毎に以下の処理を全シチュエーションキーワードについて繰り返して実行する。
【００５７】
ステップＳ２３において、処理しようとする入力された画像の画像ファイルに保存されている撮影情報を取り出す。次に、ステップＳ２４において、キーワード記憶部２８を検索して、選択した１つのシチュエーションキーワードに対応する撮影情報の類似範囲を取り出す。
【００５８】
ステップＳ２５において、処理しようとする画像がこのシチュエーションキーワードの類似範囲に入っているかどうかを調べる。即ち、処理しようとする画像のそれぞれの撮影情報が、キーワード記憶部２８に記憶されている撮影情報の分布範囲（類似範囲）に属するかどうかを調べ、対象とする全ての撮影情報の類似範囲に属する場合（Ｓ２５  Ｙｅｓ）は、ステップＳ２６において、入力された画像についてシチュエーションキーワードを管理データ記憶部２９に記憶する。
【００５９】
そして、キーワード記憶部２８に記憶されている全てのシチュエーションキーワードについて、上述の処理を実行したときは、ステップＳ２７において、シチュエーションキーワードループを終了する。また、ステップＳ２８において、類似判別処理を読込まれる全画像について繰り返したときは、画像入力ループを終了する。
【００６０】
キーワード記憶部２８の登録処理と管理データ記憶部２９の登録処理が終了した後は、画像を検索することができる。本実施の形態の画像検索方法では、キーワードを指定して検索する方法と、画像を指定してその画像に類似する画像を検索する方法を使用することができる。
【００６１】
図１１は、キーワードによる画像検索処理の概略の手順を示すフロー図である。
【００６２】
ユーザが入出力部１３を介して、キーワードによる画像検索の実行操作を行うと、ステップＳ３１において、表示部１２には登録済みシチュエーションキーワードの一覧が表示される。ユーザが表示されたシチュエーションキーワードを選択すると、ステップＳ３２において、管理データ記憶部２９を検索して、選択されたシチュエーションキーワードをもつ画像を全て抽出する。そして、ステップＳ３３において、抽出した画像のサムネイル画像を検索結果一覧として表示する。
【００６３】
図１２は、画像に基づく画像検索処理の概略の手順を示すフロー図である。
【００６４】
ステップＳ３６において、ユーザが入出力部１３を介して、画像記憶部２７の画像ファイルを選択して、この画像と類似する画像の検索を指示すると、ステップＳ３７において、管理データ記憶部２９から選択された画像に対応付けられているシチュエーションキーワードを全て抽出する。
【００６５】
次に、ステップＳ３８において、管理データ記憶部２９を検索して、選択されたシチュエーションキーワードをもつ画像を全て抽出する。そして、ステップＳ３９において、抽出した画像のサムネイル画像を検索結果一覧として表示する。
【００６６】
［実施の形態の効果］
本実施の形態に係る画像処理方法では、画像に付随する撮影時の画像情報（Ｅｘｉｆ情報）を基にした特徴空間に各画像を表し、予め選択したサンプル画像の分布範囲をマハラノビス距離を使用して決定し、そのシチュエーションキーワードと共にキーワード記憶部に登録する。次に、管理しうる全画像の各Ｅｘｉｆ情報がこの分布範囲に入るか否かを判定する。そして、入ると判定された画像の管理データ記憶部にシチュエーションキーワードを登録する。
【００６７】
そして、キーワード記憶部の登録されたシチュエーションキーワードを一覧表示し、選択されたシチュエーションキーワードをキーに管理データ記憶部を検索し検索結果を一覧表示する。
【００６８】
また、画像記憶部から画像ファイルを選択し、選択された画像の管理データ記憶部に登録されているシチュエーションキーワードを抽出しこれをキーに管理データ記憶部を検索し検索結果を一覧表示する。
【００６９】
さらに、カメラ等から画像データを入力した時点で入力された画像のＥｘｉｆ情報を抽出しキーワード記憶部の各キーワードの分布範囲内に在るか否かを判定し入る場合その管理データ記憶部にシチュエーションキーワードを登録する。
【００７０】
以上のように構成したことにより、画像データそのものに対する人間による主観に基づくキーワード付与や対応付けがされていない画像なども含めて正確に検索者の望む撮影状況下で撮影された画像を検索結果として抽出する事が出来る。
【００７１】
また、画像入力手段により装置内に入力された画像の管理データ記憶部には人間が付与せずとも正確に各画像の撮影状況を表わすシチュエーションキーワードが付与されるため、人間が改めてキーワードを付与する必要はない。
【００７２】
従って、画像データに含まれる撮影情報の値を直接検索条件として検索するよりも検索者にとって明らかに分かり易い検索が可能となる。
【００７３】
なお、上述の実施の形態では、予め選択したサンプル画像の分布範囲をマハラノビス距離を使用して算出しているが、分布範囲の算出方法はマハラノビス距離に限定されず、統計的手法に基づいて定義される各指標、例えば、平均値、分散、最大値、最小値などに基づいて分布範囲を決定するものであっても良い。
【００７４】
なお、上述の実施の形態で説明した各機能は、ハードウエアを用いて構成しても良く、また、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現しても良い。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【００７５】
更に、各機能は図示しない記録媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記録媒体は、プログラムを記録でき、かつコンピュータが読み取り可能な記録媒体であれば、その記録形式は何れの形態であってもよい。
【００７６】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００７７】
【図１】画像の分類及び検索の原理を説明する図。
【図２】Ｅｘｉｆ形式の画像ファイルの付属情報を示す図。
【図３】本発明の実施の形態の画像検索方法が適用される画像検索装置の構成を示す図。
【図４】キーワード記憶部への登録処理の概略の手順を示すフロー図。
【図５】類似分析処理の概略の手順を示すフロー図。
【図６】１つの変量についての分布範囲を示す図。
【図７】キーワード記憶部の構成を示す図。
【図８】管理データ記憶部への登録処理の概略の手順を示すフロー図。
【図９】管理データ記憶部の構成を示す図。
【図１０】管理データ記憶部への追加登録処理の概略の手順を示すフロー図。
【図１１】キーワードによる画像検索処理の概略の手順を示すフロー図。
【図１２】画像に基づく画像検索処理の概略の手順を示すフロー図。
【符号の説明】
【００７８】
１０…画像検索装置、１１…中央処理装置、１２…表示部、１３…入出力部、１５…処理部、１６…記憶部、１７…処理部、２０…撮影情報抽出部、２１…分析・範囲決定部、２２…キーワード選択部、２３…キーワード検索部、２４…画像検索部、２７…画像記憶部、２８…キーワード記憶部、２９…管理データ記憶部。
【図１】
2006004157.tif 000007
【図２】
2006004157.tif 000008
【図３】
2006004157.tif 000009
【図４】
2006004157.tif 000010
【図５】
2006004157.tif 000011
【図６】
2006004157.tif 000012
【図７】
2006004157.tif 000013
【図８】
2006004157.tif 000014
【図９】
2006004157.tif 000015
【図１０】
2006004157.tif 000016
【図１１】
2006004157.tif 000017
【図１２】
2006004157.tif 000018