(57)【要約】【課題】複数の顔を含む画像を効率よく検索する。【解決手段】少なくとも１つの顔を含む複数の検索対象画像から、複数の検索元の顔を含む画像を検索するに際し、類似度算出部３６が、複数の検索対象画像に含まれる顔と、複数の検索元の顔のそれぞれとの類似度を算出する。指標値算出部３８が、算出された類似度に基づいて、複数の検索対象画像毎に、すべての検索元の顔を含む確からしさを表す指標値を算出する。検索部４０が、指標値に基づいて、検索対象画像からすべての検索元の顔を含む画像を検索する。【選択図】図１
2008234507.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの顔を含む複数の検索対象画像から、複数の検索元の顔を含む画像を検索する画像検索装置であって、
前記複数の検索対象画像に含まれる顔と、前記複数の検索元の顔のそれぞれとの類似度を算出する類似度算出手段と、
前記算出した類似度に基づいて、前記複数の検索対象画像毎に、すべての前記検索元の顔を含む確からしさを表す指標値を算出する指標値算出手段と、
前記指標値に基づいて、前記検索対象画像から前記すべての検索元の顔を含む画像を検索する検索手段とを備えたことを特徴とする画像検索装置。
【請求項２】
前記類似度算出手段は、前記複数の検索対象画像毎に、該検索対象画像に含まれるすべての顔について、前記複数の検索元の顔のそれぞれとの類似度のうち、最も高い類似度を、該最も高い類似度を算出した検索元の顔との類似度に決定する手段であることを特徴とする請求項１記載の画像検索装置。
【請求項３】
前記確率指標値算出手段は、前記検索対象画像に含まれる顔について決定した前記類似度の乗算値、加算値または最小値を前記指標値として算出する手段であることを特徴とする請求項２記載の画像検索装置。
【請求項４】
少なくとも１つの顔を含む複数の検索対象画像から、複数の検索元の顔を含む画像を検索する画像検索方法であって、
前記複数の検索対象画像に含まれる顔と、前記複数の検索元の顔のそれぞれとの類似度を算出し、
前記算出した類似度に基づいて、前記複数の検索対象画像毎に、すべての前記検索元の顔を含む確からしさを表す指標値を算出し、
前記指標値に基づいて、前記検索対象画像から前記すべての検索元の顔を含む画像を検索することを特徴とする画像検索方法。
【請求項５】
少なくとも１つの顔を含む複数の検索対象画像から、複数の検索元の顔を含む画像を検索する画像検索方法をコンピュータに実行させるためのプログラムであって、
前記複数の検索対象画像に含まれる顔と、前記複数の検索元の顔のそれぞれとの類似度を算出する手順と、
前記算出した類似度に基づいて、前記複数の検索対象画像毎に、すべての前記検索元の顔を含む確からしさを表す指標値を算出する手順と、
前記指標値に基づいて、前記検索対象画像から前記すべての検索元の顔を含む画像を検索する手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の検索対象の画像から、顔、とくに複数の顔を含む画像を検索する画像検索装置および方法並びに画像検索方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの普及と画像を保存しておくための記録媒体の容量が飛躍的に大きくなったことにより、ユーザは多くの画像を１つの媒体内に保存することが可能となってきている。その一方で、プリント等の処理をすべき画像を膨大な画像の中から選ぶという手間が生じており、効率的に画像を選択するための必要性が高まっている。ここで、一般的に、撮影により取得した画像には人物の顔が含まれることが多いため、検索対象画像中の顔を検出して、検索対象画像から所望とする画像を検索するための手法が提案されている。
【０００３】
例えば、特許文献１には、顔の特徴に基づいて、画像から特定の顔を検出する手法が提案されている。また、特許文献２には、検索対象画像から顔を検出し、検出した顔とあらかじめ登録された顔との類似度を算出し、類似度に基づいて登録された顔を含む画像を検索する手法が提案されている。また、特許文献３には、画像から顔を選択し、選択した顔を含む画像を検索対象画像から検索する手法が提案されている。
【特許文献１】特開２００６−９２１９１号公報
【特許文献２】特開２００３−１７８３０４号公報
【特許文献１】特開２００６−７９２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、検索を所望する顔は１つのみではなく、例えば家族全員を含む画像のように複数の顔を含む画像の検索を所望する場合がある。しかしながら、上記特許文献１〜３に記載された手法は、検索元となる顔は１つのみであることから、所望とする複数の顔を含む画像を効率よく検索する手法が望まれている。
【０００５】
本発明は、上記事情に鑑みなされたものであり、複数の顔を含む画像を効率よく検索することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による画像検索装置は、少なくとも１つの顔を含む複数の検索対象画像から、複数の検索元の顔を含む画像を検索する画像検索装置であって、
前記複数の検索対象画像に含まれる顔と、前記複数の検索元の顔のそれぞれとの類似度を算出する類似度算出手段と、
前記算出した類似度に基づいて、前記複数の検索対象画像毎に、すべての前記検索元の顔を含む確からしさを表す指標値を算出する指標値算出手段と、
前記指標値に基づいて、前記検索対象画像から前記すべての検索元の顔を含む画像を検索する検索手段とを備えたことを特徴とするものである。
【０００７】
なお、本発明による画像検索装置においては、前記類似度算出手段を、前記複数の検索対象画像毎に、該検索対象画像に含まれるすべての顔について、前記複数の検索元の顔のそれぞれとの類似度のうち、最も高い類似度を、該最も高い類似度を算出した検索元の顔との類似度に決定する手段としてもよい。
【０００８】
この場合、前記確率指標値算出手段を、前記検索対象画像に含まれる顔について決定した前記類似度の乗算値、加算値または最小値を前記指標値として算出する手段としてもよい。
【０００９】
本発明による画像検索方法は、少なくとも１つの顔を含む複数の検索対象画像から、複数の検索元の顔を含む画像を検索する画像検索方法であって、
前記複数の検索対象画像に含まれる顔と、前記複数の検索元の顔のそれぞれとの類似度を算出し、
前記算出した類似度に基づいて、前記複数の検索対象画像毎に、すべての前記検索元の顔を含む確からしさを表す指標値を算出し、
前記指標値に基づいて、前記検索対象画像から前記すべての検索元の顔を含む画像を検索することを特徴とするものである。
【００１０】
なお、本発明による画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１１】
本発明によれば、複数の検索対象画像に含まれる顔と、複数の検索元の顔のそれぞれとの類似度が算出され、算出された類似度に基づいて、複数の検索対象画像毎に、すべての検索元の顔を含む確からしさを表す指標値が算出され、指標値に基づいて検索対象画像からすべての検索元の顔を含む画像が検索される。このため、指標値を用いることにより、検索元の顔をすべて含む画像を検索対象画像から効率よく検索することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による画像検索装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像検索装置１は、例えば、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されたプリント注文受付装置等に搭載されてなるものであり、画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするためのカードスロット４と、検索結果等の各種表示を行う液晶等の表示部６とを備え、写真店に設置されたプリンタ８と接続されている。
【００１３】
また、画像検索装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムや各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６とを備える。
【００１４】
また、画像検索装置１は、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、複数の画像を保存するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部２８と、プリンタ８を装置１に接続するためのプリンタインターフェース３０とを備える。
【００１５】
また、画像検索装置１は、後述するようにハードディスク２４に保存された複数の画像のそれぞれから顔領域を検出する顔検出部３２と、検出された顔領域を用いて顔の特徴量を算出する特徴量算出部３４と、あらかじめ登録された複数の検索元の顔Ｔｉと複数の画像に含まれる顔との類似度を算出する類似度算出部３６と、複数の画像毎に、すべての検索元の顔Ｔｉを含む確からしさを表す指標値Ｗ０を算出する指標値算出部３８と、指標値Ｗ０に基づいて複数の画像からすべての検索元の顔Ｔｉを含む画像を検索する検索部４０とを備える。
【００１６】
顔検出部３２は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、各画像上における顔の位置を顔領域として検出する。
【００１７】
特徴量算出部３４は、まず、登録された検索元の顔Ｔｉ（ｉ＝１〜ｎ）のそれぞれについて、顔Ｔｉを構成する主要な顔部品を顔の特徴点として検出する。具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法や顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻、左右小鼻、左右口角、上唇の計９個の特徴点の位置を検出する。
【００１８】
なお、検索元の顔Ｔｉの登録は、複数の画像を表示部６に表示してユーザに画像から顔を選択させることにより行ってもよく、ユーザが登録する顔Ｔｉの画像をメモリカード２に記憶して装置１に読み取らせることにより行ってもよい。
【００１９】
そして、検出した９個の特徴点があらかじめ定められた基準位置に近づくように、顔Ｔｉに対して施すアフィン変換のパラメータを求め、顔Ｔｉに対してアフィン変換を施して、正規化顔Ｔｃｉを取得する。
【００２０】
そして、正規化顔Ｔｃｉの画像データをより低次元の特徴量空間へ射影行列を用いて射影して、正規化顔Ｔｃｉにおける特徴量ＦＴｉを抽出する。ここで、特徴量空間は、下記のような学習により決定される。
【００２１】
各種表情および向きを有する多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を特徴量空間とする。
【００２２】
また、特徴量算出部３４は、ハードディスク２４に保存された複数の画像のそれぞれに含まれる、顔検出部３２が検出した顔領域の顔について、上記と同様に正規化を行って正規化顔Ｐ１を取得し、さらに正規化顔Ｐ１の画像データをより低次元の特徴量空間へ射影行列を用いて射影して、正規化顔Ｐ１における特徴量ＦＰ１を抽出する。
【００２３】
なお、特徴量算出部３４による特徴量の算出は、検索時に行う必要はなく、検索元の顔Ｔｉの登録時や、画像のハードディスク２４への保存時に行うようにすることが好ましい。
【００２４】
類似度算出部３６は、検索元の顔Ｔｉの特徴量ＦＴｉと、類似度算出の対象となる対象顔Ｐ０の特徴量ＦＰ１とを比較して、顔Ｔｉと対象顔Ｐ０との類似度Ｒ１ｉを算出する。なお、ここでは、例えば特開２００５−１４９５０６号公報に記載されているＡＧＭモデル（付加ガウスモデル）を利用して類似度Ｒ１ｉを算出する。ここで、類似度Ｒ１ｉは０〜１の間の値で算出され、１に近いほど類似度が高いものとなる。
【００２５】
なお、特徴量空間において、特徴量ＦＴｉで規定される顔Ｔｉの座標と、特徴量ＦＰ１で規定される類似度算出の対象顔Ｐ０の座標との間のユークリッド距離をそのまま類似度Ｒ１ｉとして用いる方法等、他の類似度算出方法を用いてもよい。
【００２６】
そして、類似度算出部３６は、算出した類似度Ｒ１ｉに基づいて、各顔Ｔｉと各画像に含まれる顔との最終的な類似度Ｒ２ｉを決定する。ここで、検索元の顔が３つあるとすると、顔Ｔ１〜Ｔ３のそれぞれについて、図２に示すように、顔Ｔｉと各画像に含まれるすべての顔との類似度Ｒ１ｉが算出される。
【００２７】
ここで、類似度算出の対象となる対象画像Ｇ０に、図３に示すように３つの顔Ｋ１〜Ｋ３が含まれており、各顔Ｋ１〜Ｋ３と３つの検索元の顔Ｔ１〜Ｔ３との類似度が図４に示すようにそれぞれ算出されたとすると、顔Ｋ１は顔Ｔ３との類似度が、顔Ｋ２は顔Ｔ１との類似度が、顔Ｋ３は顔Ｔとの類似度が最も高くなる。したがって、類似度算出部３６は、画像に含まれる各顔Ｋ１〜Ｋ３について、最も高い類似度をその最も高い類似度を算出した検索元の顔との類似度Ｒ２ｉに決定する。したがって、図４に示すように類似度Ｒ１ｉが算出された場合、顔Ｋ１の類似度は顔Ｔ３との類似度である０．８、顔Ｋ２の類似度は顔Ｔ１との類似度である０．６、顔Ｋ３の類似度は顔Ｔ２との類似度である０．８に決定される。
【００２８】
指標値算出部３８は、類似度算出部３６が決定した類似度Ｒ２ｉに基づいて、複数の画像毎に、すべての検索元の顔Ｔｉを含む確からしさを表す指標値Ｗ０を算出する。例えば、決定した検索元の顔Ｔｉの数に対応する類似度Ｒ２ｉの乗算値、加算値または最小値を指標値Ｗ０として算出する。ここで、上述したように顔Ｋ１〜Ｋ３の類似度Ｒ２ｉがそれぞれ０．８，０．６，０．８と決定されていたとすると、指標値Ｗ０を類似度Ｒ２ｉの乗算値とした場合、指標値Ｗ０＝０．８×０．６×０．８＝０．３８４となる。また、指標値Ｗ０を類似度Ｒ２ｉの加算値とした場合、指標値Ｗ０＝０．８＋０．６＋０．８＝２．２となる。また、指標値Ｗ０を類似度Ｒ２ｉの最小値とした場合、指標値Ｗ０＝０．６となる。
【００２９】
検索部４０は、指標値算出部３８が算出した指標値Ｗ０を所定のしきい値Ｔｈ１と比較し、しきい値Ｔｈ１以上となる指標値Ｗ０となった画像を、複数の画像から検索する。
【００３０】
次いで、本実施形態において行われる処理について説明する。図５は本実施形態において行われる処理を示すフローチャートである。なお、検索元の顔Ｔｉは登録済みであるものとする。また、ハードディスク２４に保存された複数の画像に含まれる顔の特徴量および検索元の顔Ｔｉの特徴量はすでに算出されて、ハードディスク２４に保存されているものとする。
【００３１】
ユーザが検索の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、まず、検索元の顔Ｔｉについて類似度算出の対象を最初の顔に設定する（ステップＳＴ１）。そして、類似度算出の対象となる対象画像を最初の画像（例えば撮影日時が最も古い画像）に設定し（ステップＳＴ２）、さらに対象画像に含まれる顔について、類似度算出の対象となる対象顔を最初の顔（例えば画像の左端にある顔）に設定する（ステップＳＴ３）。
【００３２】
そして、類似度算出部３６が、検索元の顔Ｔｉと対象顔との類似度Ｒ１ｉを算出し（ステップＳＴ４）、対象画像に含まれるすべての顔について現在の処理対象の検索元の顔Ｔｉとの類似度Ｒ１ｉを算出したか否かを判定する（ステップＳＴ５）。ステップＳＴ５が否定されると、対象顔を次の顔に設定し（ステップＳＴ６）、ステップＳＴ４に戻ってステップＳＴ４以降の処理を繰り返す。
【００３３】
ステップＳＴ５が肯定されると、ハードディスク２４に保存されたすべての画像について現在の処理対象となる検索元の顔Ｔｉとの類似度Ｒ１ｉを算出したか否かを判定する（ステップＳＴ７）。ステップＳＴ７が否定されると、対象画像を次の画像に設定し（ステップＳＴ８）、ステップＳＴ３に戻ってステップＳＴ３以降の処理を繰り返す。
【００３４】
ステップＳＴ７が肯定されると、すべての検索元の顔Ｔｉについて類似度Ｒ１ｉを算出したか否かを判定する（ステップＳＴ９）。ステップＳＴ９が否定されると、検索元の顔Ｔｉを次の顔に設定し（ステップＳＴ１０）、ステップＳＴ２に戻ってステップＳＴ２以降の処理を繰り返す。
【００３５】
ステップＳＴ９が肯定されると、指標値算出部３８が指標値Ｗ０を算出する（ステップＳＴ１１）。
【００３６】
図６は指標値算出の処理を示すフローチャートである。まず、指標値算出の対象画像を最初の画像（例えば撮影日時が最も古い画像）に設定し（ステップＳＴ２１）、対象画像に含まれる顔数が検索元の顔Ｔｉの数以上であるか否かを判定する（ステップＳＴ２２）。ステップＳＴ２２が否定されると、現在の対象画像は検索の対象ではないことから、現在の対象画像の指標値Ｗ０を０として対象画像を次の画像に設定し（ステップＳＴ２３）、ステップＳＴ２２に戻る。
【００３７】
ステップＳＴ２２が肯定されると、対象画像に含まれる顔について算出した類似度Ｒ１ｉのうち、最も高い類似度をその類似度を算出した検索元の顔Ｔｉとの類似度Ｒ２ｉに決定する（ステップＳＴ２４）。そして、登録されたすべての検索元の顔Ｔｉについて類似度Ｒ２ｉを決定したか否かを判定する（ステップＳＴ２５）。ステップＳＴ２５が否定されると、類似度を決定した顔およびその顔に対応する検索元の顔を類似度決定の対象から除外し（ステップＳＴ２６）、ステップＳＴ２４に戻ってステップＳＴ２４以降の処理を繰り返す。
【００３８】
ステップＳＴ２５が肯定されると、決定した類似度Ｒ２ｉの乗算値、加算値または最小値を指標値Ｗ０として算出する（ステップＳＴ２７）。そして、ハードディスク２４に保存されたすべての画像について指標値Ｗ０を算出したか否かを判定する（ステップＳＴ２８）。ステップＳＴ２８が否定されると、ステップＳＴ２３に戻り、ステップＳＴ２３以降の処理を繰り返す。ステップＳＴ２８が肯定されると、指標値Ｗ０の算出の処理を終了する。
【００３９】
図５に戻り、ステップＳＴ１１に続いて、検索部４０が指標値Ｗ０がしきい値Ｔｈ１以上となる画像を、ハードディスク２４に保存された画像から検索し（ステップＳＴ１２）、検索された画像のサムネイル画像の一覧を表示部６に表示し（ステップＳＴ１３）、処理を終了する。
【００４０】
このように、本実施形態によれば、複数の画像毎に、検索元のすべての顔Ｔｉを含む確からしさを表す指標値Ｗ０を算出し、指標値Ｗ０に基づいて画像から検索元のすべての顔Ｔｉを含む画像を検索するようにしたため、所望とする顔をすべて含む画像を検索対象画像から効率よく検索することができる。
【００４１】
なお、ユーザは表示された画像からプリントする画像を選択し、プリントの指示を行うことにより、選択した画像をプリンタ８からプリント出力することができる。
【００４２】
なお、上記実施形態においては、決定した類似度Ｒ２ｉの乗算値、加算値または最小値を指標値Ｗ０として算出しているが、指標値Ｗ０の算出はこれに限定されるものではなく、重み付け加算値および最大値等を用いることもできる。
【００４３】
また、上記実施形態においては、ハードディスク２４に保存されたすべての顔を検索の対象としているが、検索を行うユーザが所有する画像のみを先に検索しておき、検索されたユーザの画像のみを検索の対象としてもよい。
【００４４】
また、上記実施形態においては、本発明による画像検索装置を写真店の店頭に設置されたプリント注文受付装置に適用しているが、これに限定されるものではなく、ネットワーク経由でプリント注文を行う注文サーバに画像検索装置を適用し、ネットワーク経由で注文サーバに保管された画像の検索を行うようにしてもよい。
【００４５】
以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の類似度算出部３６、指標値算出部３８および検索部４０に対応する手段として機能させ、図５，６に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態による画像検索装置の構成を示す概略ブロック図
【図２】類似度の算出を説明するための図（その１）
【図３】類似度の算出を説明するための図（その２）
【図４】類似度の算出結果を示す図
【図５】本実施形態において行われる処理を示すフローチャート
【図６】指標値算出の処理のフローチャート
【符号の説明】
【００４７】
１    画像検索装置
２    メモリカード
４    カードスロット
６    表示部
８    プリンタ
１２    ＣＰＵ
１４    システムメモリ
１６    入力部
２２    圧縮解凍部
２４    ハードディスク
２６    メモリ制御部
２８    表示制御部
３０    プリンタインターフェース
３２    顔検出部
３４    特徴量算出部
３６    類似度算出部
３８    指標値算出部
４０    検索部
【図１】
2008234507.tif 000003
【図２】
2008234507.tif 000004
【図３】
2008234507.tif 000005
【図４】
2008234507.tif 000006
【図５】
2008234507.tif 000007
【図６】
2008234507.tif 000008