(57)【要約】【課題】画像に文字情報等を付加することなく、多数の画像ファイルから所望の顔画像が存在する画像を迅速に検索することが可能な画像検索装置を提供する。【解決手段】多数の画像ファイルから所望の顔画像が存在する画像を検索する検索画像検索装置において、顔画像の特徴情報を用いて顔画像の登録および検索を行なう。【選択図】      図１
2008158680.tif 000002
【特許請求の範囲】
【請求項１】
登録する人物の少なくとも顔を含む画像を取得する第１の画像取得手段と、
この第１の画像取得手段により取得された画像から人物の顔画像を検出する第１の顔検出手段と、
この第１の顔検出手段により検出された顔画像から固有の特徴情報を抽出する第１の特徴抽出手段と、
この第１の特徴抽出手段により抽出された特徴情報と当該特徴情報を抽出した元画像固有の識別情報とを関連付けて顔画像記憶手段に記憶する顔登録手段と、
検索対象とする人物の少なくとも顔を含む画像を取得する第２の画像取得手段と、
この第２の画像取得手段により取得された画像から人物の顔画像を検出する第２の顔検出手段と、
この第２の顔検出手段により検出された顔画像から固有の特徴情報を抽出する第２の特徴抽出手段と、
この第２の特徴抽出手段により抽出された特徴情報に基づき当該特徴情報と一致あるいは所定値以上の類似度を有する特徴情報を前記顔画像記憶手段から検索する顔検索手段と、
この顔検索手段により検索された特徴情報に基づき、少なくとも当該特徴情報と関連付けられた識別情報を検索結果として出力する検索結果出力手段と、
を具備したことを特徴とする画像検索装置。
【請求項２】
前記第１、第２の画像取得手段は、写真画像、印刷画像あるいはインタネット上の画像ファイルから人物の少なくとも顔を含む画像を取得することを特徴とする請求項１記載の画像検索装置。
【請求項３】
前記顔検索手段により検索された特徴情報と関連付けられた識別情報に基づき、外部に設けられた多数の人物の画像が保持された人物画像データベースを検索することにより対応する人物画像を取得する第３の画像取得手段をさらに具備し、
前記検索結果出力手段は、前記顔検索手段により検索された特徴情報と関連付けられた識別情報および前記第３の画像取得手段により取得された人物画像を対応させて出力することを特徴とする請求項１記載の画像検索装置。
【請求項４】
登録する人物の少なくとも顔を含む画像を取得する第１の画像取得ステップと、
この第１の画像取得ステップにより取得された画像から人物の顔画像を検出する第１の顔検出ステップと、
この第１の顔検出ステップにより検出された顔画像から固有の特徴情報を抽出する第１の特徴抽出ステップと、
この第１の特徴抽出ステップにより抽出された特徴情報と当該特徴情報を抽出した元画像固有の識別情報とを関連付けて顔画像記憶手段に記憶する顔登録ステップと、
検索対象とする人物の少なくとも顔を含む画像を取得する第２の画像取得ステップと、
この第２の画像取得ステップにより取得された画像から人物の顔画像を検出する第２の顔検出ステップと、
この第２の顔検出ステップにより検出された顔画像から固有の特徴情報を抽出する第２の特徴抽出ステップと、
この第２の特徴抽出ステップにより抽出された特徴情報に基づき当該特徴情報と一致あるいは所定値以上の類似度を有する特徴情報を前記顔画像記憶手段から検索する顔検索ステップと、
この顔検索ステップにより検索された特徴情報に基づき、少なくとも当該特徴情報と関連付けられた識別情報を検索結果として出力する検索結果出力ステップと、
を具備したことを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、多数の画像ファイルから所望の顔画像が存在する画像を検索する検索画像検索装置および画像検索方法に関する。
【背景技術】
【０００２】
多数の画像ファイルから、欲しい画像を検索する検索装置としては、画像そのものではなく、画像ファイルに添付した文字情報（ファイル名、画像の名称など）を対象とした検索が知られている。  
また、多数のサムネイル画像から、顔部分を検出することで、所望の顔画像が含まれる画像を検索する技術が知られている（たとえば、特許文献１参照）。
【特許文献１】特開２００６−７９２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記の文字情報による検索方法では、全ての画像に適切な文字情報が付加されていなければ、検索することができない。たとえば、人物の集合写真に写っている全員の氏名が付加されている必要がある。また、インタネット上の画像ファイル全体を検索範囲とした場合、そのような充実した文字情報は期待できない。
【０００４】
また、データベースが充実している場合であっても、検索したい元画像に関する情報が無い場合、やはり検索することができない。また、たとえば、名前のわからない人物の顔が写っている１枚の写真からは、何も検索することができない。
【０００５】
さらに、特許文献１は、多数のサムネイル画像から一致する顔を見つけ出す提案であるが、具体的な検索方法については記述がない。
【０００６】
そこで、本発明は、画像に文字情報等を付加することなく、多数の画像ファイルから所望の顔画像が存在する画像を迅速に検索することが可能な画像検索装置および画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像検索装置は、登録する人物の少なくとも顔を含む画像を取得する第１の画像取得手段と、この第１の画像取得手段により取得された画像から人物の顔画像を検出する第１の顔検出手段と、この第１の顔検出手段により検出された顔画像から固有の特徴情報を抽出する第１の特徴抽出手段と、この第１の特徴抽出手段により抽出された特徴情報と当該特徴情報を抽出した元画像固有の識別情報とを関連付けて顔画像記憶手段に記憶する顔登録手段と、検索対象とする人物の少なくとも顔を含む画像を取得する第２の画像取得手段と、この第２の画像取得手段により取得された画像から人物の顔画像を検出する第２の顔検出手段と、この第２の顔検出手段により検出された顔画像から固有の特徴情報を抽出する第２の特徴抽出手段と、この第２の特徴抽出手段により抽出された特徴情報に基づき当該特徴情報と一致あるいは所定値以上の類似度を有する特徴情報を前記顔画像記憶手段から検索する顔検索手段と、この顔検索手段により検索された特徴情報に基づき、少なくとも当該特徴情報と関連付けられた識別情報を検索結果として出力する検索結果出力手段とを具備している。
【０００８】
また、本発明の画像検索方法は、登録する人物の少なくとも顔を含む画像を取得する第１の画像取得ステップと、この第１の画像取得ステップにより取得された画像から人物の顔画像を検出する第１の顔検出ステップと、この第１の顔検出ステップにより検出された顔画像から固有の特徴情報を抽出する第１の特徴抽出ステップと、この第１の特徴抽出ステップにより抽出された特徴情報と当該特徴情報を抽出した元画像固有の識別情報とを関連付けて顔画像記憶手段に記憶する顔登録ステップと、検索対象とする人物の少なくとも顔を含む画像を取得する第２の画像取得ステップと、この第２の画像取得ステップにより取得された画像から人物の顔画像を検出する第２の顔検出ステップと、この第２の顔検出ステップにより検出された顔画像から固有の特徴情報を抽出する第２の特徴抽出ステップと、この第２の特徴抽出ステップにより抽出された特徴情報に基づき当該特徴情報と一致あるいは所定値以上の類似度を有する特徴情報を前記顔画像記憶手段から検索する顔検索ステップと、この顔検索ステップにより検索された特徴情報に基づき、少なくとも当該特徴情報と関連付けられた識別情報を検索結果として出力する検索結果出力ステップとを具備している。
【発明の効果】
【０００９】
本発明によれば、顔画像の特徴情報を用いて顔画像の登録および検索を行なうことで、画像に文字情報等を付加することなく、多数の画像ファイルから所望の顔画像が存在する画像を迅速に検索することが可能な画像検索装置および画像検索方法を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。  
図１は、本実施の形態に係る画像検索装置の構成を概略的に示すものである。この画像検索装置は、登録する人物の少なくとも顔を含む画像を取得したり、検索対象とする人物の少なくとも顔を含む画像を取得したりする画像取得手段としての画像取得部１１、画像取得部１１により取得された画像から人物の顔画像を検出する顔検出手段としての顔検出部１２、顔検出部１２により検出された顔画像から顔固有の特徴情報を抽出する特徴抽出手段としての顔特徴抽出部１３、顔特徴抽出部１３により抽出された特徴情報と当該特徴情報を抽出した元画像固有の識別情報とを関連付けて顔画像記憶手段としての顔画像データベース１４に記憶したり、顔特徴抽出部１３により抽出された特徴情報に基づき当該特徴情報と一致あるいは所定値以上の類似度を有する特徴情報を顔画像データベース１４から検索したりする顔登録手段および顔検索手段としての顔登録・検索部１５、および、顔登録・検索部１５により検索された特徴情報に基づき、少なくとも当該特徴情報と関連付けられた識別情報を検索結果として出力する検索結果出力手段としての検索結果出力部１６を有して構成される。
【００１１】
以下、各構成要素について詳細に説明する。  
画像取得部１１は、登録する人物の少なくとも顔を含む画像を取得（入力）したり、検索対象とする人物の少なくとも顔を含む画像を取得（入力）したりするもので、画像を入力する媒体として写真画像や印刷画像を用いる場合はカメラやスキャナが使用され、あるいは、磁気ディスク、光ディスク、ビデオテープなどの媒体やネットワークによる電子画像による入力でもよく、さらには、インタネットを利用してインタネット上の画像ファイルから取得する方法でも構わない。
【００１２】
顔検出部１２は、まず、画像取得部１１で入力された画像から人物の顔領域（顔画像）を検出する。たとえば、画像取得部１１からの入力画像内において、あらかじめ用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。
【００１３】
顔検出部１２は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部位の位置を検出する。その検出方法としては、たとえば、文献［１］（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年））に開示されている方法などを用いてよい。
【００１４】
顔特徴抽出部１３は、顔検出部１２で検出された部品の位置をもとに、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を顔固有の特徴情報として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ「１」とするように正規化を行ない、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。
【００１５】
顔画像データベース１４は、顔特徴抽出部１３により抽出された特徴情報と当該特徴情報を抽出した元画像固有の識別情報たとえばＩＤ番号あるいはＵＲＬ情報とを関連付けて記憶するもので、たとえば、ハードディスク記憶装置などが用いられる。
【００１６】
顔登録・検索部１５は、顔画像の登録時に、顔特徴抽出部１３により抽出された特徴情報と当該特徴情報を抽出した元画像固有の識別情報たとえばＩＤ番号あるいはＵＲＬ情報とを関連付けて顔画像データベース１４に記憶したり、顔画像の検索時に、顔特徴抽出部１３により抽出された特徴情報に基づき当該特徴情報と一致あるいは所定値以上の類似度を有する特徴情報を顔画像データベース１４から検索したりするもので、その検索結果を検索結果出力部１６へ送る。
【００１７】
検索結果出力部１６は、顔登録・検索部１５により検索された特徴情報に基づき、少なくとも当該特徴情報と関連付けられた識別情報を検索結果として出力するもので、たとえば、液晶表示器などの画像表示装置やプリンタなどの印刷装置が用いられる。
【００１８】
次に、このように構成された画像検索装置の動作を説明する。  
まず、顔画像の登録処理について図２に示すフローチャートを参照して説明する。まず、画像取得部１１により、登録する人物の少なくとも顔を含む画像を取得する（ステップＳ１）。この場合、画像を入力する媒体は、人物の顔画像を含む画像を有するものであれば何でもよい。たとえば、画像を入力する媒体として写真画像や印刷画像を用いてもよく、あるいは、磁気ディスク、光ディスク、ビデオテープなどの媒体やネットワークによる電子画像によるものでもよく、さらには、インタネット上の画像ファイルから取得するものでもよい。
【００１９】
次に、顔検出部１２は、画像取得部１１により取得（入力）された画像から人物の顔画像を検出する（ステップＳ２）。この場合、入力された画像内に複数の顔画像が存在していれば、それぞれの顔画像を検出する。なお、顔画像検出ができなかった画像に対しては、本システムの検索対象外として、扱わないものとし、たとえば、検索結果出力部１６によりその旨の警告を出力する。
【００２０】
次に、顔特徴抽出部１３は、顔検出部１２により検出された顔画像から顔固有の特徴情報を抽出する（ステップＳ３）。これにより、それぞれの顔画像に対して顔固有の特徴情報が得られる。
【００２１】
次に、顔登録・検索部１５は、顔特徴抽出部１３により抽出された特徴情報と当該特徴情報を抽出した元画像（ステップＳ１で取得した画像）の固有の識別情報としてのＩＤ番号あるいはＵＲＬ情報とを関連付けて顔画像データベース１４に記憶（登録）する（ステップＳ４）。
【００２２】
図３は、顔画像データベース１４に対する特徴情報の登録の具体例を示している。図３（ａ）は、識別情報としてＩＤ番号を用いた場合の例を示しており、特徴情報とＩＤ番号（たとえば、シリアル番号）とが対応して格納されている。図３（ｂ）は、識別情報として元画像を取得したインタネット上の画像ファイルの存在場所を示すＵＲＬ情報を用いた場合の例を示しており、特徴情報とＵＲＬ情報とが対応して格納されている。
【００２３】
次に、顔画像の検索処理について図４に示すフローチャートを参照して説明する。まず、画像取得部１１により、検索対象とする人物の少なくとも顔を含む画像を入力する（ステップＳ１１）。この場合も、画像を入力する媒体は、人物の顔画像を含む画像を有するものであれば、写真画像、印刷画像、磁気ディスク、光ディスク、ビデオテープ、インタネット上の画像ファイルなど、媒体を限定しない。
【００２４】
次に、顔検出部１２は、画像取得部１１により入力された画像から人物の顔画像を検出する（ステップＳ１２）。この場合、入力された画像内に複数の顔画像が存在していれば、それぞれの顔画像を検出する。なお、顔画像検出ができなかった画像に対しては、本システムの検索対象外として、扱わないものとし、たとえば、検索結果出力部１６によりその旨の警告を出力する。
【００２５】
次に、顔特徴抽出部１３は、顔検出部１２により検出された顔画像から顔固有の特徴情報を抽出する（ステップＳ１３）。これにより、それぞれの顔画像に対して顔固有の特徴情報が得られる。
【００２６】
次に、顔登録・検索部１５は、顔特徴抽出部１３により抽出された特徴情報（入力画像の特徴情報）を顔画像データベース１４内の各特徴情報とそれぞれ照合することにより、入力画像の特徴情報と一致あるいはあらかじめ定められた所定値以上の類似度を有する特徴情報を顔画像データベース１４から検索し、その検索した特徴情報に対応して格納されているＩＤ番号を検索結果として検索結果出力部１６へ送る（ステップＳ１４）。
【００２７】
次に、検索結果出力部１６は、顔登録・検索部１５から送られたＩＤ番号を検索結果として出力する（ステップＳ１５）。検索結果の出力方法としては、たとえば、液晶表示器などの画像表示装置で表示出力したり、プリンタなどの印刷装置で印刷出力したりすることが考えられる。
【００２８】
なお、前記実施の形態では、検索結果として、検索した特徴情報に対応して格納されているＩＤ番号を出力する場合について説明したが、本発明はこれに限定されるものではなく、たとえば、図１に破線で示すように、顔登録・検索部１５を外部に設けられた多数の人物の画像が保持された人物画像データベース（たとえば、警察の人物写真データベースやインタネット上の人物写真データベース等）１７に通信回線を介して接続することにより、顔画像データベース１４から検索した特徴情報に対応して格納されているＩＤ番号に基づき人物画像データベース１７を検索することにより、当該ＩＤ番号に対応する人物画像を取得する機能を追加し、この機能で取得した人物画像を当該ＩＤ番号と対応させて検索結果出力部１６で出力するようにしてもよい。
【００２９】
このようにすることにより、たとえば、名前のわからない人物が写っている１枚の写真画像から、警察の人物写真データベースに対して全検索をかけることが可能とする。また、インタネット全体を検索範囲とすることも可能である。
【００３０】
以上説明したように上記実施の形態によれば、人物の顔画像が存在する画像を対象に画像検索が可能となる。画像に文字の形で情報が付与されていなくても検索が可能である。  
また、画像の検索は、顔認識処理等で用いられる顔固有の特徴情報を用いることにより、画像と紐付けされる情報は画像そのものよりも小さな情報になる。このことで処理時間が短く済み、たとえば、数千件以上の大量の画像の検索が実現できる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態に係る画像検索装置の構成を概略的に示すブロック図。
【図２】顔画像の登録処理について説明するフローチャート。
【図３】顔画像データベースに対する特徴情報の登録の具体例を示す模式図。
【図４】顔画像の検索処理について説明するフローチャート。
【符号の説明】
【００３２】
１１…画像取得部（画像取得手段）、１２…顔検出部（顔検出手段）、１３…顔特徴抽出部（特徴抽出手段）、１４…顔画像データベース（顔画像記憶手段）、１５…顔登録・検索部（顔登録手段、顔検索手段）、１６…検索結果出力部（検索結果出力手段）、１７…人物画像データベース。
【図１】
2008158680.tif 000003
【図２】
2008158680.tif 000004
【図３】
2008158680.tif 000005
【図４】
2008158680.tif 000006