(57)【要約】【課題】  元の画像全体のイメージを損なうことなく、特徴部分を視認し易くすることのできる画像検索プログラム、画像検索装置、画像検索方法及び記録媒体を提供する。【解決手段】  少なくとも１つの原画像を選択し、選択された前記原画像のインデックス画像を生成し、生成された前記原画像のインデックス画像をディスプレーに表示し、表示されたインデックス画像から所望のインデックス画像を選択し、選択されたインデックス画像に対応する原画像に記録されている人物の顔の部分を抽出し、抽出した顔部分を含むインデックス画像である顔インデックス画像を生成し、生成した顔インデックス画像を前記ディスプレーに表示する画像検索方法である。【選択図】    図５
2007041927.tif 000002
【特許請求の範囲】
【請求項１】
画像検索プログラムであって、
少なくとも１つの原画像を選択する画像選択ステップと、
前記画像選択ステップで選択された前記原画像のインデックス画像を生成するインデックス生成ステップと、
生成された前記原画像のインデックス画像をディスプレーに表示するインデックス表示ステップと、
前記ディスプレーに表示されたインデックス画像から所望のインデックス画像を選択するインデックス選択ステップと、
前記インデックス選択ステップで選択されたインデックス画像に対応する原画像に記録されている人物の顔の部分を抽出する顔抽出ステップと、
前記顔抽出ステップで抽出した顔部分を含むインデックス画像である顔インデックス画像を生成する顔インデックス生成ステップと、
前記顔インデックス生成ステップで生成した顔インデックス画像を前記ディスプレーに表示する顔インデックス表示ステップと、
をコンピュータに実行させるための画像検索プログラム。
【請求項２】
前記顔抽出ステップは、原画像に記録されている人物が複数の場合は、それぞれの人物の顔部分を抽出し、
前記顔インデックス生成ステップは、前記抽出された複数の顔部分からそれぞれの顔インデックス画像を生成し、
前記顔インデックス表示ステップは、前記顔インデックス生成ステップが生成した前記複数の顔インデックス画像を前記ディスプレーに表示すること、
を特徴とする請求項１に記載の画像検索プログラム。
【請求項３】
前記ディスプレーに表示された顔インデックス画像を選択する第２のインデックス選択ステップと、
前記第２のインデックス選択ステップで選択された顔インデックス画像に対応する顔部分を画像の中央に位置するように原画像中の人物の配置を変更した画像を前記ディスプレーに表示する原画像表示ステップと、
を更に供えたことを特徴とする請求項２に記載の画像検索プログラム。
【請求項４】
インデックス画像とそのインデックス画像に対応する原画像から抽出された顔インデックス画像とを当該原画像に関連付けて記憶するインデックス情報記憶ステップを更に有し、
前記インデックス表示ステップは、インデックス画像に対応する原画像に顔インデックス画像が関連付けられている場合には、当該原画像に対応するインデックス画像の代わりに顔インデックス画像を表示し、
前記顔インデックス表示ステップは、前記ディスプレーに表示された顔インデックスが選択されている場合は、対応する原画像のインデックス画像を当該顔インデックスの代わりに表示すること
を特徴とする請求項１に記載の画像検索プログラム。
【請求項５】
画像検索装置であって、
少なくとも１つの原画像を選択する画像選択手段と、
前記画像選択手段が選択した前記原画像のインデックス画像を生成するインデックス生成手段と、
生成された前記原画像のインデックス画像をディスプレーに表示するインデックス表示手段と、
前記ディスプレーに表示されたインデックス画像から所望のインデックス画像を選択するインデックス選択手段と、
前記インデックス選択手段が選択したインデックス画像に対応する原画像に記録されている人物の顔の部分を抽出する顔抽出手段と、
前記顔抽出手段が抽出した顔部分を含むインデックス画像である顔インデックス画像を生成する顔インデックス生成手段と、
前記顔インデックス生成手段が生成した顔インデックス画像を前記ディスプレーに表示する顔インデックス表示手段と、
を備えたことを特徴とする画像検索装置。
【請求項６】
前記顔抽出手段は、原画像に記録されている人物が複数の場合は、それぞれの人物の顔部分を抽出し、
前記顔インデックス生成手段は、前記抽出された複数の顔部分からそれぞれの顔インデックス画像を生成し、
前記顔インデックス表示手段は、前記顔インデックス生成手段が生成した前記複数の顔インデックス画像を前記ディスプレーに表示すること、
を特徴とする請求項５に記載の画像検索装置。
【請求項７】
前記ディスプレーに表示された顔インデックス画像を選択する第２のインデックス選択手段と、
前記第２のインデックス選択手段が選択した顔インデックス画像に対応する顔部分を画像の中央に位置するように原画像中の人物の配置を変更した画像を前記ディスプレーに表示する原画像表示手段と、
を更に供えたことを特徴とする請求項６に記載の画像検索装置。
【請求項８】
インデックス画像とそのインデックス画像に対応する原画像から抽出された顔インデックス画像とを当該原画像に関連付けて記憶するインデックス情報記憶手段を更に有し、
前記インデックス表示手段は、インデックス画像に対応する原画像に顔インデックス画像が関連付けられている場合には、当該原画像に対応するインデックス画像の代わりに顔インデックス画像を表示し、
前記顔インデックス表示手段は、前記ディスプレーに表示された顔インデックスが選択されている場合は、対応する原画像のインデックス画像を当該顔インデックスの代わりに表示すること
を特徴とする請求項５に記載の画像検索装置。
【請求項９】
画像検索方法であって、
少なくとも１つの原画像を選択する画像選択ステップと、
前記画像選択ステップで選択された前記原画像のインデックス画像を生成するインデックス生成ステップと、
生成された前記原画像のインデックス画像をディスプレーに表示するインデックス表示ステップと、
前記ディスプレーに表示されたインデックス画像から所望のインデックス画像を選択するインデックス選択ステップと、
前記インデックス選択ステップで選択されたインデックス画像に対応する原画像に記録されている人物の顔の部分を抽出する顔抽出ステップと、
前記顔抽出ステップで抽出した顔部分を含むインデックス画像である顔インデックス画像を生成する顔インデックス生成ステップと、
前記顔インデックス生成ステップで生成した顔インデックス画像を前記ディスプレーに表示する顔インデックス表示ステップと、
を備えたことを特徴とする画像検索方法。
【請求項１０】
画像検索プログラムを記録した記録媒体であって、
少なくとも１つの原画像を選択する画像選択ステップと、
前記画像選択ステップで選択された前記原画像のインデックス画像を生成するインデックス生成ステップと、
生成された前記原画像のインデックス画像をディスプレーに表示するインデックス表示ステップと、
前記ディスプレーに表示されたインデックス画像から所望のインデックス画像を選択するインデックス選択ステップと、
前記インデックス選択ステップで選択されたインデックス画像に対応する原画像に記録されている人物の顔の部分を抽出する顔抽出ステップと、
前記顔抽出ステップで抽出した顔部分を含むインデックス画像である顔インデックス画像を生成する顔インデックス生成ステップと、
前記顔インデックス生成ステップで生成した顔インデックス画像を前記ディスプレーに表示する顔インデックス表示ステップと、
をコンピュータに実行させるための画像検索プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の特定の対象を検索する場合において、元の画像イメージを損なうことなく、特徴部分を視認し易くすることのできる技術に関する。
【背景技術】
【０００２】
集合写真などで特定の人物を確認しようとしても、被写体の顔が小さいため視認性が良くなく特定の人物を探すのに苦労する場合が多い。  
そこで特許文献１には、画像中の特徴領域のみの表示倍率を拡大し縮小画像に合成して表示する技術が開示されている。
【特許文献１】特開平２００４−３２６５５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１に記載された方法では、表示される画像全体のイメージが元の画像と異なり、画像を損なうことにつながってしまう。また、特徴領域が隣り合って存在している場合は、特徴領域が重なり合い、隠されてしまった画像となる場合もある。  
本発明は、係る事情に鑑みてなされたものであって、元の画像全体のイメージを損なうことなく、特徴部分を視認し易くすることのできる画像検索プログラム、画像検索装置、画像検索方法及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決するための、本発明に係る請求項１に記載の画像検索プログラムは、画像検索プログラムであって、少なくとも１つの原画像を選択する画像選択ステップと、前記画像選択ステップで選択された前記原画像のインデックス画像を生成するインデックス生成ステップと、生成された前記原画像のインデックス画像をディスプレーに表示するインデックス表示ステップと、前記ディスプレーに表示されたインデックス画像から所望のインデックス画像を選択するインデックス選択ステップと、前記インデックス選択ステップで選択されたインデックス画像に対応する原画像に記録されている人物の顔の部分を抽出する顔抽出ステップと、前記顔抽出ステップで抽出した顔部分を含むインデックス画像である顔インデックス画像を生成する顔インデックス生成ステップと、前記顔インデックス生成ステップで生成した顔インデックス画像を前記ディスプレーに表示する顔インデックス表示ステップとをコンピュータに実行させる。
【０００５】
また本発明に係る請求項２に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記顔抽出ステップは、原画像に記録されている人物が複数の場合は、それぞれの人物の顔部分を抽出し、前記顔インデックス生成ステップは、前記抽出された複数の顔部分からそれぞれの顔インデックス画像を生成し、前記顔インデックス表示ステップは、前記顔インデックス生成ステップが生成した前記複数の顔インデックス画像を前記ディスプレーに表示する。
【０００６】
また本発明に係る請求項３に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記ディスプレーに表示された顔インデックス画像を選択する第２のインデックス選択ステップと、前記第２のインデックス選択ステップで選択された顔インデックス画像に対応する顔部分を画像の中央に位置するように原画像中の人物の配置を変更した画像を前記ディスプレーに表示する原画像表示ステップと、を更に供えた。
【０００７】
また本発明に係る請求項４に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、インデックス画像とそのインデックス画像に対応する原画像から抽出された顔インデックス画像とを当該原画像に関連付けて記憶するインデックス情報記憶ステップを更に有し、前記インデックス表示ステップは、インデックス画像に対応する原画像に顔インデックス画像が関連付けられている場合には、当該原画像に対応するインデックス画像の代わりに顔インデックス画像を表示し、前記顔インデックス表示ステップは、前記ディスプレーに表示された顔インデックスが選択されている場合は、対応する原画像のインデックス画像を当該顔インデックスの代わりに表示する。
【０００８】
また本発明に係る請求項５に記載の画像検索装置は、少なくとも１つの原画像を選択する画像選択手段と、前記画像選択手段が選択した前記原画像のインデックス画像を生成するインデックス生成手段と、生成された前記原画像のインデックス画像をディスプレーに表示するインデックス表示手段と、前記ディスプレーに表示されたインデックス画像から所望のインデックス画像を選択するインデックス選択手段と、前記インデックス選択手段が選択したインデックス画像に対応する原画像に記録されている人物の顔の部分を抽出する顔抽出手段と、前記顔抽出手段が抽出した顔部分を含むインデックス画像である顔インデックス画像を生成する顔インデックス生成手段と、前記顔インデックス生成手段が生成した顔インデックス画像を前記ディスプレーに表示する顔インデックス表示手段と、を備えた。
【０００９】
また本発明に係る請求項６に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記顔抽出手段は、原画像に記録されている人物が複数の場合は、それぞれの人物の顔部分を抽出し、前記顔インデックス生成手段は、前記抽出された複数の顔部分からそれぞれの顔インデックス画像を生成し、前記顔インデックス表示手段は、前記顔インデックス生成手段が生成した前記複数の顔インデックス画像を前記ディスプレーに表示する。
【００１０】
また本発明に係る請求項７に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記ディスプレーに表示された顔インデックス画像を選択する第２のインデックス選択手段と、前記第２のインデックス選択手段が選択した顔インデックス画像に対応する顔部分を画像の中央に位置するように原画像中の人物の配置を変更した画像を前記ディスプレーに表示する原画像表示手段と、を更に供えた。
【００１１】
また本発明に係る請求項８に記載の画像検索装置は、上記記載の発明である画像検索装置において、インデックス画像とそのインデックス画像に対応する原画像から抽出された顔インデックス画像とを当該原画像に関連付けて記憶するインデックス情報記憶手段を更に有し、前記インデックス表示手段は、インデックス画像に対応する原画像に顔インデックス画像が関連付けられている場合には、当該原画像に対応するインデックス画像の代わりに顔インデックス画像を表示し、前記顔インデックス表示手段は、前記ディスプレーに表示された顔インデックスが選択されている場合は、対応する原画像のインデックス画像を当該顔インデックスの代わりに表示する。
【００１２】
また本発明に係る請求項９に記載の画像検索方法は、少なくとも１つの原画像を選択する画像選択ステップと、前記画像選択ステップで選択された前記原画像のインデックス画像を生成するインデックス生成ステップと、生成された前記原画像のインデックス画像をディスプレーに表示するインデックス表示ステップと、前記ディスプレーに表示されたインデックス画像から所望のインデックス画像を選択するインデックス選択ステップと、前記インデックス選択ステップで選択されたインデックス画像に対応する原画像に記録されている人物の顔の部分を抽出する顔抽出ステップと、前記顔抽出ステップで抽出した顔部分を含むインデックス画像である顔インデックス画像を生成する顔インデックス生成ステップと、前記顔インデックス生成ステップで生成した顔インデックス画像を前記ディスプレーに表示する顔インデックス表示ステップと、を備えた。
【００１３】
また本発明に係る請求項１０に記載の記録媒体は、画像検索プログラムを記録した記録媒体であって、少なくとも１つの原画像を選択する画像選択ステップと、前記画像選択ステップで選択された前記原画像のインデックス画像を生成するインデックス生成ステップと、生成された前記原画像のインデックス画像をディスプレーに表示するインデックス表示ステップと、前記ディスプレーに表示されたインデックス画像から所望のインデックス画像を選択するインデックス選択ステップと、前記インデックス選択ステップで選択されたインデックス画像に対応する原画像に記録されている人物の顔の部分を抽出する顔抽出ステップと、前記顔抽出ステップで抽出した顔部分を含むインデックス画像である顔インデックス画像を生成する顔インデックス生成ステップと、前記顔インデックス生成ステップで生成した顔インデックス画像を前記ディスプレーに表示する顔インデックス表示ステップと、をコンピュータに実行させるための画像検索プログラムを記録した。
【発明の効果】
【００１４】
本発明によれば、元の画像全体のイメージを損なうことなく、特徴部分を視認し易くすることができる。これによって所望の人物を検索する効率を向上させることができる。
【発明を実施するための最良の形態】
【００１５】
〔第１の実施の形態〕  
図１は、本発明の一実施形態に係る画像の検索方法を説明する図である。  
縮小画像（インデックス画像）１０には、複数の人物が集合している状態が撮影されている。ユーザがこの縮小画像１０を選択して所定の操作をすると、それぞれの人物の顔部分のみを拡大した一覧表示画像１１が表示される。
【００１６】
そこで、ユーザがこの一覧表示画像１１の中から、探している人物を確認して、その人物の画像を選択すると、抽出画像１２が表示される。この抽出画像１２では、その人物の位置が画像の中央に位置するようにシフトされる。  
例えば図１で、ユーザが一覧表示画像１１から人物Ａを選択すると、抽出画像１２には人物Ａが中央位置に配されて表示される。従って、この方法によればユーザは集合写真から特定の人物を容易に検索することができる。
【００１７】
また、この方法のバリエーションとして上述の結果を保存して利用することにより、検索の処理効率を高めることができる。  
即ち、バリエーションの方法では、原画像の縮小画像と抽出した複数の顔部分の画像とが原画像と関連付けて保存されている。そして、顔部分の画像が原画像の縮小画像として扱われるように指定することができる。
【００１８】
図２は、抽出画像に基づいて検索する方法を説明する図である。  
ユーザが画像の検索操作を開始すると、指定された顔部分の画像が新たな縮小画像１３として表示される。ユーザがこの縮小画像１３に対して所定の操作をすると、それぞれの人物の顔部分のみを拡大した一覧表示画像１４が表示される。但し、一覧表示画像１１中には、人物Ａの顔部分の画像の表示はなく、それに代えて元の画像の縮小画像が表示されている。
【００１９】
ユーザが人物Ｂ，Ｃ，Ｄを選択すると上述のように、当該人物が中心位置に配された抽出画像１５が表示される。一方、ユーザが一覧表示画像１１中の元の画像の縮小画像を選択すると、抽出画像１５としてもとの画像が表示される。従って、ユーザは検索操作を継続することもでき、また初期の状態に戻すこともできる。
【００２０】
図３は、上述の検索動作を実行するための検索装置３０の構成を示すブロック図である。  
検索装置３０には、表示部３２、処理部３３、操作入力部３４、情報メモリ３５、プログラムメモリ３６、画像処理部３８が設けられている。
【００２１】
表示部３２は、縮小画像、一覧表示画像などを表示する。処理部３３は、検索装置３０の各部を統括して制御する。操作入力部３４は、マウスやキーボードなど種々の機能を操作し、指示入力を行うための入力部材である。  
情報メモリ３５は、顔部分の画像、原画像の縮小画像、画像検索に必要なデータなどを保存するための記憶領域である。プログラムメモリ３６は、検索装置３０で動作するプログラムを格納する。画像処理部３８は、本画像検索処理を実行する。
【００２２】
続いて、検索装置３０を用いた検索動作について説明する。  
ユーザが検索装置３０を起動すると、表示部３２には、検索画面１が表示される。  
図４は、検索画面１を示す図である。  
検索画面１には、ツールバーエリア２、フォルダツリーエリア３、画像一覧エリア４及び抽出画像一覧エリア５が設けられている。
【００２３】
ツールバーエリア２には、画像ファイルを指定するための開くボタン２１、本処理を終了するための終了ボタン２２が備えられている。フォルダツリーエリア３には、フォルダアイコン２３が階層別にツリー形式で表示される。画像一覧エリア４には、指定したフォルダに含まれる画像ファイルの縮小画像１０が表示される。抽出画像一覧エリア５には、一覧表示画像１１が表示される。
【００２４】
図５は、検索処理の概略の手順を示すフロー図である。なお、この処理は図１に記載された機能を実現する。  
ユーザが開くボタン２１を操作して、画像が記憶されている情報メモリ３５内のディレクトリを指定すると、そのディレクトリに保存されているフォルダを表すフォルダアイコン２３がフォルダツリーエリア３に表示される。  
ステップＳ０１、Ｓ０２において、ユーザがフォルダツリーエリア３に表示されているフォルダアイコン２３のいずれかを選択すると、選択されたフォルダに記憶されている画像ファイルの縮小画像１０が画像一覧エリア４に表示される。
【００２５】
ユーザが所望の縮小画像１０上にマウスポインタを移動してクリックするとステップＳ０３において、その縮小画像１０が選択状態となる。続いて、ユーザが再度クリックすると、ステップＳ０４において、顔画像のピックアップ処理が開始される。  
即ち、ステップＳ０５において、選択された縮小画像１０に対応する原画像を読み出し、ステップＳ０６において、人物の顔を含む領域を抽出する。そして、ステップＳ０７において、抽出した領域から顔画像を生成し、ステップＳ０８において、生成した顔画像の一覧を抽出画像一覧エリア５に表示する。
【００２６】
ステップＳ０９において、ユーザが抽出画像一覧エリア５に表示された顔画像の一つをダブルクリックすると、ステップＳ１０において、その顔部分の領域を中央位置に表示した抽出画像１２を表示する。
【００２７】
〔実施の形態のバリエーション〕  
第１の実施の形態のバリエーションでは、既に生成された顔画像が存在する場合の検索方法を含んでいる点が第１の実施の形態と異なっている。従って、第１の実施の形態と同一の部位には同一の符号を付してその詳細の説明は省略する。
【００２８】
図６、図７は、バリエーションに係る検索処理の概略の手順を示すフロー図である。  
ユーザが開くボタン２１を操作して、画像が記憶されている情報メモリ３５内のディレクトリを指定すると、そのディレクトリに保存されているフォルダを表すフォルダアイコン２３がフォルダツリーエリア３に表示される。  
ステップＳ２１、Ｓ２２において、ユーザがフォルダツリーエリア３に表示されているフォルダアイコン２３のいずれかを選択すると、選択されたフォルダに記憶されている画像ファイルの縮小画像１０を生成する。  
このとき、ステップＳ２３において、入替え用の抽出画像、即ち、当該画像ファイルに基づいて既に生成された顔画像が存在するかどうかを調べる。そして、ステップＳ２３でＹｅｓの場合、即ち、顔画像が存在する場合は、ステップＳ２４において、当該顔画像のうち指定された顔画像を縮小画像１０とする。  
そして、ステップＳ２５において、生成した縮小画像１０を画像一覧エリア４に表示する。
【００２９】
ユーザが所望の縮小画像１０上にマウスポインタを移動してクリックするとステップＳ２６において、その縮小画像１０が選択状態となる。続いて、ユーザが再度クリックすると、ステップＳ２７において、顔画像のピックアップ処理が開始される。  
即ち、ステップＳ２８において、選択された縮小画像１０に対応する原画像を読み出し、ステップＳ２９において、人物の顔を含む領域を抽出する。そして、ステップＳ３０において、抽出した領域から顔画像を生成する。
【００３０】
ここで、ステップＳ３１において、選択された縮小画像１０が入替え用の抽出画像かどうかを調べる。ステップＳ３１でＹｅｓの場合、即ち、入替え用の抽出画像である場合は、ステップＳ３２において、原画像の縮小画像を生成し、これを入替え用の抽出画像に対応する顔画像と入れ替える。そして、ステップＳ３４において、原画像の縮小画像と顔画像の一覧を抽出画像一覧エリア５に表示する。
【００３１】
ステップＳ３５において、ユーザが抽出画像一覧エリア５に表示された顔画像の一つをクリックすると、ステップＳ３６において、その顔画像を指定画像として原画像と関連付けて保存する。  
一方、ステップＳ３５において、ユーザが原画像の縮小画像をクリックした場合は、関連付けられた情報を消去して、初期状態に戻す。
【００３２】
なお、上述の実施の形態で説明した各機能は、ハードウエアを用いて構成しても良く、また、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現しても良い。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【００３３】
更に、各機能は図示しない記録媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記録媒体は、プログラムを記録でき、かつコンピュータが読み取り可能な記録媒体であれば、その記録形式は何れの形態であってもよい。
【００３４】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に係る画像の検索方法を説明する図。
【図２】抽出画像に基づいて検索する方法を説明する図。
【図３】検索動作を実行するための検索装置の構成を示すブロック図。
【図４】検索画面を示す図。
【図５】検索処理の概略の手順を示すフロー図。
【図６】バリエーションに係る検索処理の概略の手順を示すフロー図。
【図７】バリエーションに係る検索処理の概略の手順を示すフロー図。
【符号の説明】
【００３６】
１…検索画面、２…ツールバーエリア、３…フォルダツリーエリア、４…画像一覧エリア、５…抽出画像一覧エリア、１０…縮小画像、１１…一覧表示画像、１２…抽出画像、１３…縮小画像、１４…一覧表示画像、１５…抽出画像、３０…検索装置、３２…表示部、３３…処理部、３５…情報メモリ、３８…画像処理部。
【図１】
2007041927.tif 000003
【図２】
2007041927.tif 000004
【図３】
2007041927.tif 000005
【図４】
2007041927.tif 000006
【図５】
2007041927.tif 000007
【図６】
2007041927.tif 000008
【図７】
2007041927.tif 000009