(57)【要約】    【課題】  ユーザの利便性を向上させることができる画像検索方法を提供する。    【解決手段】  画像検索処理では、ファイルシステムに格納されている複数の画像データの中から、検索する対象となる画像データ群、すなわち、検索対象範囲を指定し、１つの画像データに対応する画像に含まれているべき人物の顔の数が入力されると、指定された検索対象範囲の各画像データに含まれている人物の顔に対応する顔画像データの数をカウントし、検索対象範囲の画像データの中から、カウントされた顔画像データの数が入力された人物の顔の数と一致する画像データを検出する。【選択図】      図２
2006301703.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データの中から所望の画像データを検索する画像検索方法であって、
前記所望の画像データが含むべき顔画像に関する情報の数を設定する顔画像情報数設定ステップと、
複数の画像データの中から、前記設定された顔画像に関する情報の数と同じ数の顔画像に関する情報を含む画像データを検出する所望画像データ検出ステップとを有することを特徴とする画像検索方法。
【請求項２】
前記検出すべき画像データにおける顔画像に関する情報の数を当該画像データの付属情報として設定する付属情報設定ステップを有することを特徴とする請求項１記載の画像検索方法。
【請求項３】
前記所望画像データ検出ステップは、前記設定された付属情報に基づいて、表示装置に表示する前記所望の画像データを選択する所望画像データ選択ステップから成ることを特徴とする請求項２記載の画像検索方法。
【請求項４】
前記顔画像情報数設定ステップは、顔画像に関する情報の数をスライダ又は少なくとも１つのボタンを介して入力することを特徴とする請求項１乃至３のいずれか１項に記載の画像検索方法。
【請求項５】
複数の画像データの中から所望の画像データを検索する画像検索装置であって、
前記所望の画像データが含むべき顔画像に関する情報の数を設定する顔画像情報数設定手段と、
複数の画像データの中から、前記設定された顔画像に関する情報の数と同じ数の顔画像に関する情報を含む画像データを検出する所望画像データ検出手段とを備えることを特徴とする画像検索装置。
【請求項６】
複数の画像データの中から所望の画像データを検索する画像検索方法をコンピュータに実行させるプログラムであって、
前記所望の画像データが含むべき顔画像に関する情報の数を設定する顔画像情報数設定モジュールと、
複数の画像データの中から、前記設定された顔画像に関する情報の数と同じ数の顔画像に関する情報を含む画像データを検出する所望画像データ検出モジュールとを備えることを特徴とするプログラム。
【請求項７】
請求項６記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索方法、画像検索装置、プログラム、及び記憶媒体に関し、特に、複数の画像データの中から所望の画像データを検索する画像検索方法、画像検索装置、プログラム、及び記憶媒体に関する。
【背景技術】
【０００２】
近年、映像などの画像から顔画像に特化した検出を行う顔画像検索技術が提案されている（例えば、特許文献１，非特許文献１参照）。顔画像検索技術では、検索対象となる画像データに対応する画像上で特定の人物を検索するために、まず、該人物の顔画像を特徴づけるデータを基準顔データとして予め登録し、次いで、検索対象となる画像データにおいて該登録された基準顔データを照合することにより、画像データから、基準顔データに近いデータ領域を抽出する。また、上記顔画像検索技術によれば、基準顔データに対応する顔画像を、その属性情報と共に所定のディスプレイに表示することが可能である。上記属性情報には、表示される顔画像に対応する人種、年代、表情、検出された人物の数などがある。
【特許文献１】特開２００１−１６７１１０号公報
【非特許文献１】Laurenz Wiskott、Jean-Marc Fellous、Norbert Kruger、及び Christoph von der Malsburg、「Face Recognition by Elastic Bunch Graph Matching」、 “IEEE Trans. on Pattern Analysis and Machine Intelligence”、１９９７年、第１９巻、第７号、ｐ．７７５−７７９
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記顔画像検索技術では、１つの画像データにおいて基準顔データに近いデータ領域を抽出するのみであり、複数の画像データの中から基準顔データに近いデータを含む画像データを検索するものではなかった。また、上記顔画像検索技術を応用して、複数の画像データの中から基準顔データに近いデータを含む画像データを検索するようにしても、基準顔データを予め登録する必要があるので、ユーザの漠然とした記憶を頼りにすることができない。例えば、ユーザが、自らの記憶を頼りに「自分１人で写っていた写真」、「５〜６人で撮影した記念写真」などに対応する画像データを複数の画像データの中から探し出すのが困難である。
【０００４】
本発明の目的は、複数の画像データの中から、漠然とした情報に基づいて所望の画像データを容易に探し出すことができる画像検索方法、画像検索装置、プログラム、及び記憶媒体を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の画像検索方法は、複数の画像データの中から所望の画像データを検索する画像検索方法であって、前記所望の画像データが含むべき顔画像に関する情報の数を設定する顔画像情報数設定ステップと、複数の画像データの中から、前記設定された顔画像に関する情報の数と同じ数の顔画像に関する情報を含む画像データを検出する所望画像データ検出ステップとを有することを特徴とする。
【０００６】
上記目的を達成するために、本発明の画像検索装置は、複数の画像データの中から所望の画像データを検索する画像検索装置であって、前記所望の画像データが含むべき顔画像に関する情報の数を設定する顔画像情報数設定手段と、複数の画像データの中から、前記設定された顔画像に関する情報の数と同じ数の顔画像に関する情報を含む画像データを検出する所望画像データ検出手段とを備えることを特徴とする。
【０００７】
上記目的を達成するために、本発明のプログラムは、複数の画像データの中から所望の画像データを検索する画像検索方法をコンピュータに実行させるプログラムであって、前記所望の画像データが含むべき顔画像に関する情報の数を設定する顔画像情報数設定モジュールと、複数の画像データの中から、前記設定された顔画像に関する情報の数と同じ数の顔画像に関する情報を含む画像データを検出する所望画像データ検出モジュールとを備えることを特徴とする。
【０００８】
上記目的を達成するために、本発明の記憶媒体は、上記プログラムを格納することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、所望の画像データが含むべき顔画像に関する情報の数が設定され、複数の画像データの中から、上記設定された顔画像に関する情報の数と同じ数の顔画像に関する情報を含む画像データが検出されるので、複数の画像データの中から、漠然とした情報に基づいて所望の画像データを容易に探し出すことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１１】
図１は、本発明の第１の実施の形態に係る画像検索方法を実行する情報処理装置の構成を概略的に示すブロック図である。
【００１２】
図１において、一般的な情報処理装置としてのパーソナルコンピュータ（ＰＣ）１００は、ＣＰＵ（中央演算装置）１０１と、主記憶装置としてのメモリ１０２と、画像を表示する表示部１０４と、大容量記憶手段としてのハードディスクドライブ（ＨＤＤ）１０５と、例えばキーボード及びマウスから成る入力部１０６と、ネットワークインタフェース（Ｉ／Ｆ）１０７とを備える。表示部１０４及び入力部１０６は、ユーザインタフェース（ＵＩ）を構成する。
【００１３】
ＣＰＵ１０１及びメモリ１０２は、メインバス１１１に接続されている。ＨＤＤ１０５、入力部１０６、及びネットワークＩ／Ｆ１０７は、周辺バス１１２に接続されている。メインバス１１１及び周辺バス１１２は、ブリッジ１０３を介して互いに接続されている。また、ブリッジ１０３は、表示部１０４のグラフィックポートと接続されている。
【００１４】
ＨＤＤ１０５には、ＰＣ１００の上で動作するＯＳ（オペレーティングシステム）のプログラムや、複数の画像データ（ファイル）が格納されたファイルシステムが格納されている。該ファイルシステムはＯＳによって管理される。
【００１５】
ＣＰＵ１０１は、ＰＣ１００の電源投入後、メモリ１０２に上記ＯＳのプログラムをロードし、ロードしたプログラムにしたがって処理を行うことにより、ブリッジ１０３、表示部１０４、ＨＤＤ１０５、入力部１０６、及びネットワークＩ／Ｆ１０７を制御する。これにより、プログラムに応じたサービスがユーザに提供される。
【００１６】
ＰＣ１００は、本実施の形態に係る画像検索方法としての後述する図２の画像検索処理を実行する。この画像検索処理は、ファイルシステム内の複数の画像データの中から、ユーザが漠然とした記憶を頼りに所望の画像データを容易に探し出すための処理である。なお、この画像検索処理に用いられる顔検索プログラムは、上記ＯＳ上で動作する。
【００１７】
図２は、図１におけるＣＰＵ１０１によって実行される画像検索処理のフローチャートである。
【００１８】
図２において、まず、ステップＳ１０１では、ファイルシステムに格納されている複数の画像データの中から、検索する対象となる画像データ群、すなわち、検索対象範囲を指定する。この指定は、ユーザがＵＩを用いて図３の検索対象範囲指定画面を介して行う。
【００１９】
図３は、図２のステップＳ１０１において表示部１０４に表示される検索対象範囲指定画面の構成を例示する図である。
【００２０】
図３に示す検索対象範囲指定画面３００において、その左部には、上記ファイルシステムのファイル構造がツリー状に表示されており、その右部には、該ファイル構造における、例えばディレクトリ名が「2003-3-3」のカレントディレクトリに格納されている１２個の画像データ（以下、「ファイル」という）が表示されている。
【００２１】
ユーザは、検索対象範囲指定画面３００におけるファイル構造の中から１つ以上のディレクトリを指定するか、カレントディレクトリの画像データを個別に指定することにより、１つ以上の画像データを検索対象範囲として指定する。検索対象範囲指定画面３００の下部に表示された「次へ」ボタンを押下すると、検索対象範囲指定画面３００は、図４に示すような検索方法指定画面４００に遷移する。
【００２２】
続いて、図２のステップＳ１０２では、ユーザは検索方法指定画面４００を介して検索方法を指定する。具体的には、図４の検索方法指定画面４００において、１つの画像データに対応する画像に含まれているべき人物の顔の数を、例えば「３−５」と入力する（顔画像情報数設定ステップ）。次いで、検索方法指定画面４００上の「はい」ボタンを押下することにより、検索対象範囲の画像データの中から、１人の人物の顔に対応する画像データ領域（以下、「顔画像データ」という。）を取得するための顔検索処理を後述する顔検索方法にしたがって実行する（ステップＳ１０３）。
【００２３】
上記顔検索処理は、上記ステップＳ１０２で入力された人物の顔の数「３−５」が、上記ステップＳ１０３で取得した顔画像データのカウント数と一致するか否かを判別して、含んでいる人物の顔の数が入力された人物の顔の数に一致する画像データを検出するものであり（所望画像データ検出ステップ）、また、この顔検索処理により、各画像データに含まれている顔画像データの数もカウントされる。
【００２４】
その後、ステップＳ１０４では、ステップＳ１０３の顔検索処理の結果を表示部１０４に、例えば図５の検索結果表示画面５００に示すように表示する。検索結果表示画面５００の右部には、検索対象範囲の画像データの中から検出された、人物の顔の数が３〜５の画像、即ち顔画像データの数が３〜５の画像データに対応する画像が１１個表示されている。なお、図３における検索対象範囲の画像データのうち、含んでいる人物の顔の数が入力された人物の顔の数に一致しない画像データに対応する画像をグレーアウトで表示してもよい。そして、本処理を終了する。
【００２５】
図２の処理によれば、１つの画像データに対応する画像に含まれているべき人物の顔の数を入力し（ステップＳ１０２）、入力された人物の顔の数と一致する数の顔画像データを含む画像データが検索対象範囲の画像データの中から検出される（ステップＳ１０４）ので、検索対象範囲の画像データの中から、ユーザの漠然とした記憶である人物の顔の数に基づいて、目的の画像データ、例えば「自分１人で写っていた写真」、「５〜６人で撮影した記念写真」などに対応する画像データを容易に探し出すことができ、もって、ユーザの利便性を向上させることができる。
【００２６】
以下、上記顔検索方法について説明する。
【００２７】
顔検索方法としては、例えば、非特許文献１において提案されているフェイスグラフとウェーブレット変換を用いた手法（Laurenz Wiskottのアルゴリズム）を利用する。具体的には、まず、フェイスグラフを用いて検索対象範囲の各画像データから顔画像に対応する領域を示す顔画像領域データを取得し、続いてウェーブレット変換の手法を用いて、該取得した顔画像領域データに対して顔画像の輪郭を検出する。すなわち、まず、各画像データに対応する画像に、いくつかのノードから成るフェイスグラフをあてはめ、続いて、各ノードに対してウェーブレット変換を行うことにより、人物の顔に固有の特徴を示すと判断されるグラフ、即ち顔画像の領域を検出する。この操作は、各画像データの領域データ全体に対して走査するように実行される。なお、Laurenz Wiskottのアルゴリズムに代えて他のアルゴリズムを利用してもよい。
【００２８】
このようなアルゴリズムにより、画像データに顔画像データが含まれているか否かを検出することができると共に、顔画像データが含まれているときは、その数をカウントすることができる。
【００２９】
なお、図２のステップＳ１０１における検索対象範囲の指定は、ユーザがＵＩを用いて図３の検索対象範囲指定画面３００を介して行ったが、これに代えて、所定の手段により予め行っておいてもよい。
【００３０】
次に、本発明の第２の実施の形態を説明する。
【００３１】
本実施の形態では、上記第１の実施の形態で使用されるＰＣ１００と実質的に同一に構成されたＰＣを使用するので、ＰＣ及びその構成要素には同一の符号を付し、それらの説明を省略する。
【００３２】
図６は、第２の実施の形態に係る画像検索方法として実行される画像検索処理のフローチャートである。
【００３３】
なお、図６におけるステップＳ２０１の処理、ステップＳ２０２の処理、ステップＳ２０５の処理は、それぞれ、上記図２のステップＳ１０１の処理、ステップＳ１０３の処理、ステップＳ１０４の処理と同様の処理であるので、同一の部分についてはそれらの説明を省略し、異なる点を説明する。
【００３４】
ステップＳ２０２では、上記ステップＳ１０３の処理と同様の処理を行い、各画像データに対する顔画像データのカウント数は、その画像データの属性を示す属性情報に付属情報として付加される（付属情報設定ステップ）。
【００３５】
ステップＳ２０３の処理はステップＳ２０２の顔検索処理の後に実行される。この処理では、１つの画像データに含まれているべき顔画像データの数、即ち人物の顔の数をデフォルト値、例えば「３−５」に設定する（顔画像情報数設定ステップ）。なお、このデフォルト値は、「１」以上の数値であればいかなる数値又は数値の範囲であってもよいが、「０」であってもよい。また、ユーザが前回の画像検索処理で指定したデフォルト値と同一の数値を設定するようにＰＣ１００を構成してもよい。
【００３６】
続くステップＳ２０４では、上記付属情報に基づいて、検索対象範囲の画像データの中から、ステップＳ２０３で設定された顔の数「３−５」と一致する数の顔画像データを含む画像データを選択し（所望顔画像データ検出ステップ）、該選択された画像データに対応する画像を検索結果として図７に示すような検索結果表示画面７００の右部に表示する（ステップＳ２０５）。
【００３７】
図７は、図６のステップＳ２０５において表示部１０４に表示される検索結果表示画面の構成を例示する図である。
【００３８】
図７に示すように、検索結果表示画面７００では、その左部に、上記ステップＳ２０３で設定された人物の顔の数と、上記ステップＳ２０４と同様の処理を再度実行するための「再検索」ボタンとが表示されており、その右部に、上記ステップＳ２０４の処理による検索結果である画像が表示される。また、検索結果表示画面７００の下部には、検索を終了するための「はい」ボタンが表示されている。左部に表示される人物の顔の数は、その数値をＵＩを介して容易に変更することが可能なコントロール画面上に表示されており、これにより下記ステップＳ２０６の処理を容易に実行することができる。
【００３９】
図６のステップＳ２０６では、検索結果表示画面７００において、ＵＩを介して人物の顔の数を、例えば「１−１０」に変更する再設定が行われて（顔画像情報数設定ステップ）、「再検索」ボタンが押下されたか否かを判別し、該再設定が行われたときは、ステップＳ２０４〜Ｓ２０５の処理を繰り返すことによって、人物の顔の数に応じた検索結果を検索結果表示画面７００の右部に表示する。なお、この検索は、上記ステップＳ２０２の顔検索処理の結果得られた属性情報（付属情報）である顔画像データの数に基づいて実行されるので、ステップＳ２０２の顔検索処理の結果を有効的に活用して非常に迅速に検索結果表示画面７００に検索結果を表示することができる。
【００４０】
一方、再設定が行われず「はい」ボタンが押下されたときは（ステップＳ２０６でＮＯ）、本処理を終了する。
【００４１】
図６の処理によれば、上記図２の処理による効果と同一の効果を奏することができる。また、ユーザが人物の顔の数を再設定すると（ステップＳ２０６でＹＥＳ）、上記図２の処理よりも検索結果を非常に高速に得ることができ、さらには、ユーザによる人物の顔の数の入力を容易に行うことができるので、ユーザの操作性を向上させることができる。
【００４２】
なお、図６のステップＳ２０５において表示される検索結果表示画面は、図７の検索結果表示画面７００に代えて、後述する図８の検索結果表示画面や図９の検索結果表示画面であってもよい。
【００４３】
図８は、図７の検索結果表示画面７００の第１の変形例に係る検索結果表示画面の構成を例示する図である。
【００４４】
本変形例に係る検索結果表示画面は、左部に表示される人物の顔の数を変更するためのコントロール画面の構成が図７の検索結果表示画面７００のコントロール画面と異なるのみであるので、同一の部分についてはその説明を省略する。
【００４５】
図８に示すように、検索結果表示画面８００のコントロール画面は、ＵＩを介して操作可能なスライダを含む。このスライダは、ＵＩを介して操作されると、上記図６のステップＳ２０６の判別結果が「ＹＥＳ」となるように構成されている。したがって、該コントロール画面は、検索結果表示画面７００上の「再検索」ボタンのような、上記ステップＳ２０４と同様の処理を再度実行するためのボタンを含まない。
【００４６】
図８の検索結果表示画面８００によれば、ユーザは、検索結果表示画面７００上の「再検索」ボタンの押下のような操作を省略することができ、操作が非常に簡単なＵＩを実現することができる。
【００４７】
図９は、図７の検索結果表示画面７００の第２の変形例に係る検索結果表示画面の構成を例示する図である。
【００４８】
本変形例に係る検索結果表示画面は、左部に表示される人物の顔の数を変更するためのコントロール画面の構成が図７の検索結果表示画面７００のコントロール画面と異なるのみであるので、同一の部分についてはその説明を省略する。
【００４９】
図９に示すように、検索結果表示画面９００のコントロール画面は、ＵＩを介して選択的に押下可能な複数のボタンを含む。各ボタンは、設定可能な人物の顔の数のいずれか１つの数に対応するように設けられており、複数のボタンのうち、いずれか１つのボタンがＵＩを介して押下されると、上記図６のステップＳ２０６の判別結果が「ＹＥＳ」となる。したがって、該コントロール画面は、検索結果表示画面７００上の「再検索」ボタンのような、上記ステップＳ２０４と同様の処理を再度実行するためのボタンを含まない。
【００５０】
図９の検索結果表示画面９００によれば、ユーザは、検索結果表示画面７００上の「再検索」ボタンの押下のような操作を省略することができ、操作が非常に簡単なＵＩを実現することができる。
【００５１】
なお、上記第１及び第２の実施の形態では、画像検索処理では、画像における人物の顔の数（画像データにおける顔画像データの数）を指定した（図２ステップＳ１０２、並びに図６のステップＳ２０３及びＳ２０６）が、画像検索処理のために指定可能なものは、人物の顔の数に限られることはなく、所定の物体に関する物体情報の属性であればいかなるデータであってもよい。物体情報の属性としては、画像における動物の数、人物が着用していた衣服の色、山や海などの背景などがあり、また、これらの２つ以上の組み合わせであってもよい。
【００５２】
また、本発明の目的は、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【００５３】
この場合、記憶媒体から読み出されたプログラムコード自体が上記各実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５４】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。又は、プログラムコードをネットワークを介してダウンロードしてもよい。
【００５５】
また、コンピュータが読み出したプログラムコードを実行することにより、上記各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【００５６】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【産業上の利用可能性】
【００５７】
本発明の実施の形態に係る画像検索方法は、複数の画像データの中から所望の画像データを検索する画像検索方法に適用することができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の第１の実施の形態に係る画像検索方法を実行する情報処理装置の構成を概略的に示すブロック図である。
【図２】図１におけるＣＰＵによって実行される画像検索処理のフローチャートである。
【図３】図２のステップＳ１０１において表示部に表示される検索対象範囲指定画面の構成を例示する図である。
【図４】図２のステップＳ１０２において表示部に表示される検索方法指定画面の構成を例示する図である。
【図５】図２のステップＳ１０４において表示部に表示される検索結果表示画面の構成を例示する図である。
【図６】本発明の第２の実施の形態に係る画像検索方法として実行される画像検索処理のフローチャートである。
【図７】図６のステップＳ２０５において表示部に表示される検索結果表示画面の構成を例示する図である。
【図８】図７の検索結果表示画面の第１の変形例に係る検索結果表示画面の構成を例示する図である。
【図９】図７の検索結果表示画面の第２の変形例に係る検索結果表示画面の構成を例示する図である。
【符号の説明】
【００５９】
１００  パーソナルコンピュータ（ＰＣ）
１０１  ＣＰＵ
１０２  メモリ
１０４  表示部
１０５  ハードディスクドライブ（ＨＤＤ）
１０６  入力部
１０７  ネットワークインタフェース（Ｉ／Ｆ）
３００  検索対象範囲指定画面
４００  検索方法指定画面
５００，７００，８００，９００  検索結果表示画面
【図１】
2006301703.tif 000003
【図２】
2006301703.tif 000004
【図３】
2006301703.tif 000005
【図４】
2006301703.tif 000006
【図５】
2006301703.tif 000007
【図６】
2006301703.tif 000008
【図７】
2006301703.tif 000009
【図８】
2006301703.tif 000010
【図９】
2006301703.tif 000011