(57)【要約】【課題】検索したい人物の顔の特徴を検索条件として指定することで、指定された特徴を有する顔画像をデータベースの中から検索する。【解決手段】検索画面６００は、顔画像データベースの読み込み先を指定するデータベース読み込み先指定部６０１と、参照用顔画像データの読み込み先を指定する参照用顔画像データ読み込み先指定部６０２と、参照用顔画像を表示する参照用顔画像表示部６０３と、まぶた、ひげ、眼鏡、性別、推定年齢、肌の色等の容貌に関する特徴を検索条件として設定できる検索条件設定部６０４、６０５、６０６、６０７と、ほくろを検索する際にほくろ検出領域を指定することができる領域指定部６０８と、検索開始の指示を受け付ける検索開始指示部６０９と、設定された検索条件とその検索条件に該当する顔画像データの件数が表示される検索条件表示部６１０とを備える。【選択図】図５
2006318375.tif 000002
【特許請求の範囲】
【請求項１】
複数の顔画像データを有するデータベースから所定の検索条件を満たす顔画像データを検索する顔画像検索装置であって、
容貌に関する複数の特徴の中から少なくとも１つの特徴を検索条件として受け付ける検索条件受付部と、
それぞれが容貌に関し互いに異なる特徴にもとづいて前記データベースの検索を行う複数の検索部を有する検索実行部と、
前記検索実行部における検索結果を出力する検索結果出力部とを備え、
前記検索実行部は、前記複数の検索部の中から前記検索条件についての検索を行う検索部を選択して検索を実行させる
ことを特徴とする顔画像検索装置。
【請求項２】
前記検索条件受付部は、前記容貌に関する複数の特徴の中の少なくとも２つの特徴の組み合わせを検索条件として受け付け、
前記検索実行部は、前記少なくとも２つの特徴のそれぞれについて顔画像データを検索する検索部を前記複数の検索部の中から選択しそれぞれに検索を実行させ、その検索結果から前記検索条件を満たす顔画像データを得る
ことを特徴とする請求項１記載の顔画像検索装置。
【請求項３】
前記複数の検索部は、肌の色にもとづき顔画像データを検索する肌の色判定部を有し、
前記検索条件受付部において肌の色が検索条件として受け付けられたときには、前記検索実行部は、前記複数の検索部の中から前記肌の色判定部を選択して検索を実行させる
ことを特徴とする請求項１または請求項２記載の顔画像検索装置。
【請求項４】
前記複数の検索部は、ひげにもとづき顔画像データを検索するひげ検出部を有し、
前記検索条件受付部においてひげに関する特徴が検索条件として受け付けられたときには、前記検索実行部は、前記複数の検索部の中から前記ひげ検出部を選択して検索を実行させる
ことを特徴とする請求項１または請求項２記載の顔画像検索装置。
【請求項５】
前記複数の検索部は、まぶたの形状にもとづき顔画像データを検索するまぶた判定部を有し、
前記検索条件受付部においてまぶたに関する特徴が検索条件として受け付けられたときには、前記検索実行部は、前記複数の検索部の中から前記まぶた判定部を選択して検索を実行させる
ことを特徴とする請求項１または請求項２記載の顔画像検索装置。
【請求項６】
前記複数の検索部は、ほくろにもとづき顔画像データを検索するほくろ検出部を有し、
前記検索条件受付部においてほくろに関する特徴が検索条件として受け付けられたときには、前記検索実行部は、前記複数の検索部の中から前記ほくろ検出部を選択して検索を実行させる
ことを特徴とする請求項１または請求項２記載の顔画像検索装置。
【請求項７】
前記複数の検索部は、眼鏡の有無にもとづき顔画像データを検索する眼鏡検出部を有し、
前記検索条件受付部において眼鏡の有無が検索条件として受け付けられたときには、前記検索実行部は、前記複数の検索部の中から前記眼鏡検出部を選択して検索を実行させる
ことを特徴とする請求項１または請求項２記載の顔画像検索装置。
【請求項８】
前記複数の検索部は、性別を推定して顔画像データを検索する性別推定部を有し、
前記検索条件受付部において性別が検索条件として受け付けられたときには、前記検索実行部は、前記複数の検索部の中から前記性別推定部を選択して検索を実行させる
ことを特徴とする請求項１または請求項２記載の顔画像検索装置。
【請求項９】
前記複数の検索部は、年齢を推定して顔画像データを検索する年齢推定部を有し、
前記検索条件受付部において年齢が検索条件として受け付けられたときには、前記検索実行部は、前記複数の検索部の中から前記年齢推定部を選択して検索を実行させる
ことを特徴とする請求項１または請求項２記載の顔画像検索装置。
【請求項１０】
前記データベースの複数の顔画像データに対し、それぞれの顔画像の大きさを互いに揃えて正規化する正規化部を備えた
ことを特徴とする請求項１から請求項９のいずれか１項に記載の顔画像検索装置。
【請求項１１】
複数の顔画像データを有するデータベースから複数の検索部を用いて所定の検索条件を満たす顔画像データを検索する顔画像検索方法であって、
容貌に関する複数の特徴の中から少なくとも１つの特徴を検索条件として受け付けるステップと、
前記複数の検索部の中から、前記検索条件についての検索を行う検索部を選択して検索を実行させるステップとを備えた
ことを特徴とする顔画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の顔画像データを有するデータベースから所定の検索条件を満たす顔画像データを検索する顔画像検索装置および顔画像検索方法に関する。
【背景技術】
【０００２】
従来より、複数の顔画像データが蓄積されたデータベースから任意に顔画像を検索する方法として、目的とする顔画像またはその顔の人物に関連するキーワードを用いて検索を行う方法が一般に知られており、実用化されている。
【０００３】
このキーワードを用いた検索方法では、顔画像をデータベースに蓄積する際に、名前や住所、生年月日等のそれぞれの顔画像または人物に関連するキーワードをそれぞれの顔画像データに関連付けて保存し、検索の際には、検索したい顔画像に関連するキーワードを用いてキーワード検索を行うことで目的とする顔画像を検索する。こうすることで、データベースに蓄積された顔画像を画像表示装置に表示し、それを確認しながら検索を行うといった面倒な作業を行うことなく、速やかに目的とする顔画像を検索することができる。しかしながら、この方法を用いて検索を行うためには、データベース内に顔画像とそれに関連するキーワードとが互いに関連付けられて蓄積されていなければならず、検索に使用できるデータベースが制限されるといった課題があった。
【０００４】
そこで、検索したい人物の顔写真を用い、その顔写真に類似する顔画像をデータベースから検索する方法が提案されている（例えば、特許文献１を参照）。
【０００５】
その検索方法を実施する検索装置では、検索したい人物の顔写真等を参照用顔画像データとして検索装置に入力すると共に、年齢、性別、表情等の複数の検索項目の中から１つあるいは複数を選択する。検索装置は、入力された参照用顔画像データから、選択された検索項目に関する情報を特徴ベクトルとして抽出し、その特徴ベクトルと類似する特徴ベクトルを有する顔画像データをデータベースから検索する。
【特許文献１】特開２００２−１８３２０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された検索方法においては、検索者は、検索したい人物の顔写真等をあらかじめ用意しておく必要がある。したがって、そういった顔写真等の参照用顔画像がない場合には、検索したい人物の顔画像を速やかに検索することが難しい。
【０００７】
一方で、検索者が検索したい人物の顔の特徴を記憶している場合、その記憶している特徴にもとづいてデータベースを検索したいといった要望もある。
【０００８】
本発明はこのような課題に鑑みてなされたもので、たとえ参照用顔画像がなくとも、目的とする顔画像の容貌に関する特徴を検索条件として設定することで、設定された特徴を有する顔画像をデータベースの中から検索することができる顔画像検索装置および顔画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の顔画像検索装置は、複数の顔画像データを有するデータベースから所定の検索条件を満たす顔画像データを検索する顔画像検索装置であって、容貌に関する複数の特徴の中から少なくとも１つの特徴を検索条件として受け付ける検索条件受付部と、それぞれが容貌に関し互いに異なる特徴にもとづいてデータベースの検索を行う複数の検索部を有する検索実行部と、検索実行部における検索結果を出力する検索結果出力部とを備え、検索実行部は、複数の検索部の中から検索条件についての検索を行う検索部を選択して検索を実行させることを特徴とする。
【００１０】
この構成により、例えば検索者が、目的とする顔画像の容貌に関する特徴を検索条件として設定し、複数の顔画像データを有するデータベースの中からその特徴を有する顔画像を検索することが可能となる。
【００１１】
また、検索条件受付部は、容貌に関する複数の特徴の中の少なくとも２つの特徴の組み合わせを検索条件として受け付け、検索実行部は、少なくとも２つの特徴のそれぞれについて顔画像データを検索する検索部を複数の検索部の中から選択しそれぞれに検索を実行させ、その検索結果から検索条件を満たす顔画像データを得る構成としてもよい。この構成によれば、容貌に関する複数の特徴を組み合わせて検索条件を設定することができ、それら複数の特徴を合わせ持つ顔画像を検索することが可能となる。
【００１２】
また、複数の検索部は、肌の色にもとづき顔画像データを検索する肌の色判定部を有し、検索条件受付部において肌の色が検索条件として受け付けられたときには、検索実行部は、複数の検索部の中から肌の色判定部を選択して検索を実行させる構成としてもよい。この構成によれば、容貌に関する特徴の１つである肌の色を検索条件として設定することができ、肌の色による顔画像の検索を行うことができる。
【００１３】
また、複数の検索部は、ひげにもとづき顔画像データを検索するひげ検出部を有し、検索条件受付部においてひげに関する特徴が検索条件として受け付けられたときには、検索実行部は、複数の検索部の中からひげ検出部を選択して検索を実行させる構成としてもよい。この構成によれば、容貌に関する特徴の１つであるひげを検索条件として設定することができ、ひげを生やした顔画像の検索を行うことができる。
【００１４】
また、複数の検索部は、まぶたの形状にもとづき顔画像データを検索するまぶた判定部を有し、検索条件受付部においてまぶたに関する特徴が検索条件として受け付けられたときには、検索実行部は、複数の検索部の中からまぶた判定部を選択して検索を実行させる構成としてもよい。この構成によれば、容貌に関する特徴の１つであるまぶたの形、例えば一重まぶたか二重まぶたかを検索条件として設定し、一重まぶたの顔画像または二重まぶたの顔画像の検索を行うことができる。
【００１５】
また、複数の検索部は、ほくろにもとづき顔画像データを検索するほくろ検出部を有し、検索条件受付部においてほくろに関する特徴が検索条件として受け付けられたときには、検索実行部は、複数の検索部の中からほくろ検出部を選択して検索を実行させる構成としてもよい。この構成によれば、容貌に関する特徴の１つであるほくろを検索条件として設定することができ、ほくろのある顔画像の検索を行うことができる。また、ほくろを検出する領域を指定し、その指定された領域内にほくろがある顔画像の検索を行うこともできるようになる。
【００１６】
また、複数の検索部は、眼鏡の有無にもとづき顔画像データを検索する眼鏡検出部を有し、検索条件受付部において眼鏡の有無が検索条件として受け付けられたときには、検索実行部は、複数の検索部の中から眼鏡検出部を選択して検索を実行させる構成としてもよい。この構成によれば、容貌に関する特徴の１つである眼鏡の有無を検索条件として設定することができ、眼鏡をかけている顔画像または眼鏡をかけていない顔画像の検索を行うことができる。
【００１７】
また、複数の検索部は、性別を推定して顔画像データを検索する性別推定部を有し、検索条件受付部において性別が検索条件として受け付けられたときには、検索実行部は、複数の検索部の中から性別推定部を選択して検索を実行させる構成としてもよい。この構成によれば、性別を検索条件として設定することができ、顔画像から性別を推定して検索を行うことができる。
【００１８】
また、複数の検索部は、年齢を推定して顔画像データを検索する年齢推定部を有し、検索条件受付部において年齢が検索条件として受け付けられたときには、検索実行部は、複数の検索部の中から年齢推定部を選択して検索を実行させる構成としてもよい。この構成によれば、年齢を検索条件として設定することができ、顔画像から年齢を推定して検索を行うことができる。
【００１９】
また、データベースの複数の顔画像データに対し、それぞれの顔画像の大きさを互いに揃えて正規化する正規化部を備えた構成としてもよい。この構成によれば、データベース内の顔画像の大きさを互いに揃えることができ、顔画像の大きさが不揃いの場合に起こりうる誤判別等の不具合を低減することができる。
【００２０】
また、本発明の顔画像検索方法は、複数の顔画像データを有するデータベースから複数の検索部を用いて所定の検索条件を満たす顔画像データを検索する顔画像検索方法であって、容貌に関する複数の特徴の中から少なくとも１つの特徴を検索条件として受け付けるステップと、複数の検索部の中から、検索条件についての検索を行う検索部を選択して検索を実行させるステップとを備えたことを特徴とする。この方法により、例えば検索者が、目的とする顔画像の容貌に関する特徴を検索条件として設定し、複数の顔画像データを有するデータベースの中からその特徴を有する顔画像を検索することが可能となる。
【発明の効果】
【００２１】
本発明によれば、たとえ参照用顔画像がなくとも、目的とする顔画像の容貌に関する特徴を検索条件として設定し、その特徴を有する顔画像をデータベースの中から検索することができる顔画像検索装置および顔画像検索方法を提供できる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１における顔画像検索装置１の概要を示す外観図である。
【００２４】
図１に示す顔画像検索装置１は、画像等の表示を行う表示部２と、検索者が入力操作を行う入力部３と、検索等を実行する本体部１０とを備えている。
【００２５】
表示部２は液晶やＥＬ等の公知の表示装置からなり、検索者が設定可能な検索条件や検索者によって設定された検索条件等をいわゆるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）によって表示し、また、検索結果や検索結果にもとづく顔画像等の表示を行う。
【００２６】
入力部３は、文字、数字等を入力可能な公知の入力装置であるキーボード４およびポインティングデバイスとして公知の入力装置であるマウス５からなり、検索者は、表示部２に表示されたＧＵＩにもとづき、入力部３を操作して検索条件等を本体部１０へ入力する。
【００２７】
本体部１０は、検索者によって入力された検索条件を受け付け、受け付けた検索条件にもとづいてデータベースを検索し、検索結果を表示部２等へ出力する。
【００２８】
図２は、本発明の実施の形態１における顔画像検索装置１の構成を示すブロック図である。図２に示すように、顔画像検索装置１は、表示部２と、入力部３と、本体部１０とを備えている。本体部１０は、検索者によって入力された検索条件にもとづいた検索を行う検索部３０と、表示部２および入力部３と検索部３０とを接続してユーザインタフェースを行うユーザインタフェース部２０と、顔画像データや検索結果等を記憶する記憶部４０とを備えている。また、本体部１０は、複数の顔画像データからなる顔画像データベース５０を読み込むことができ、さらに、検索の参照用としての参照用顔画像データ６０を読み込むこともできる。
【００２９】
本体部１０において、ユーザインタフェース部２０は、検索者が設定可能な検索条件を表示部２に表示し、検索者による入力部３からの入力を受け付け、受け付けた入力部３からの入力を検索部３０に送信すると共に表示部２に表示する。また、検索部３０から検索結果が出力されればその検索結果を表示部２に表示する。
【００３０】
検索部３０は、顔画像データベース５０の顔画像データを読み込み、それを正規化して（以下、顔画像データベース５０の顔画像データを正規化したものを「正規化後顔画像データベース」と略記する）記憶部４０に記憶させる。また、検索者が参照用顔画像データ６０にもとづいて検索を行う場合には、その参照用顔画像データ６０を読み込み、それを正規化して（以下、参照用顔画像データ６０を正規化したものを「正規化後参照用顔画像データ」と略記する）記憶部４０に記憶させる。そして、ユーザインタフェース部２０から送信されてくる検索条件にもとづき、記憶部４０に記憶された正規化後顔画像データベースの顔画像データを検索する。そして、検索結果を記憶部４０に記憶すると共にユーザインタフェース部２０に出力する。なお、ここでの正規化とは、読み込まれた顔画像データベース５０内の顔画像データに対しそれぞれの顔画像の大きさを互いに揃える処理のことであり、顔画像データベース５０や参照用顔画像データ６０の各データ間での顔画像の大きさが不揃いの場合に起こりうる検索処理時の誤判別等の不具合を低減するために行うものである。
【００３１】
記憶部４０は、検索部３０において正規化された正規化後顔画像データベースや正規化後参照用顔画像データ等の顔画像データ、および検索部３０における検索結果等を記憶する。
【００３２】
図３は、本発明の実施の形態１の顔画像検索装置１における詳細な構成を示すブロック図である。図３に示すように、ユーザインタフェース部２０は、入力受付部２１と、表示制御部２２とを備えている。また、検索部３０は、顔画像データベース読み込み部３１と、参照用顔画像データ読み込み部３２と、正規化部３３と、検索条件受付部３４と、検索条件出力部３５と、検索結果選択部３６と、検索結果出力部３７と、検索実行部１００とを備えている。
【００３３】
ユーザインタフェース部２０において、入力受付部２１は、検索者によって入力部３を通して入力された検索条件や検索結果の選択、顔画像の表示の指示等の入力を受け付け、それを検索部３０の検索条件受付部３４および検索結果選択部３６に送信する。また、検索者の入力部３における操作内容が表示部２に表示されるように、入力受付部２１からの出力は表示制御部２２にも送信される。表示制御部２２は、検索条件出力部３５から送信されてくる、検索者が設定可能な検索条件を表示部２に表示する。また、表示制御部２２は、入力受付部２１において受け付けられた検索者の入力部３における操作内容や検索結果出力部３７から送信されてくる検索結果等を表示部２に表示する。
【００３４】
検索部３０において、顔画像データベース読み込み部３１は、顔画像データベース５０の顔画像データの読み込みを行い、参照用顔画像データ読み込み部３２は、検索者が参照用顔画像データ６０による検索を検索条件として設定した場合に、参照用顔画像データ６０を読み込む。このとき、顔画像データベース読み込み部３１および参照用顔画像データ読み込み部３２は、顔画像データベース５０および参照用顔画像データ６０の読み込みを、一般に知られている磁気や光を利用した記録媒体または半導体メモリによる記録媒体等に記録されたデータを読み取ることができる装置への接続によって行う。なお、そのような装置への接続だけでなく、例えば、一般に知られている電気通信回線やコンピュータネットワークへの接続、あるいは、あるいは一般に知られたスキャナやカメラ等の画像を電子データに変換する装置との接続等によって顔画像データベース５０および参照用顔画像データ６０の読み込みを行うようにしてもよい。
【００３５】
顔画像データベース読み込み部３１および参照用顔画像データ読み込み部３２において読み込まれた顔画像データは、正規化部３３において正規化され、正規化された顔画像データが記憶部４０に記憶される。このとき、正規化部３３では、読み込まれた顔画像データから両眼の位置とその間隔を検出し、検出された両眼の間隔が一定となるような画像処理を行うことで、それぞれの顔画像の大きさを互いに揃える正規化を行う。眼の検出方法としては、例えば、複数の眼画像を平均化することにより求めたテンプレートを用いてパターンマッチングを行い、類似度が最も高い領域を、対象部位、すなわち眼が存在する領域とする方法を用いることができる。あるいは、あらかじめ複数の顔画像の眼の位置を統計することにより求めた眼の位置の分布から眼を検索する領域を定めておき、その領域内において所定の輝度よりも暗い輝度の画素が所定の面積以上集まっている部分を瞳孔領域または虹彩領域として検出する。そして、瞳孔領域または虹彩領域の近傍に細線部分があるかどうかを判別し、細線部分があればそれをまぶたの縁として、眼を検出する方法を用いることも可能である。なお、細線部分は、隣接する画素間で輝度値を微分する等して検出することができる。
【００３６】
そして、記憶部４０に記憶される顔画像データのファイル名を、顔画像データベース５０の中で付けられているオリジナルのファイル名に正規化されたことがわかる記号あるいは単語等を付加したファイル名にする。これにより、オリジナルの顔画像データと正規化後の顔画像データとの区別を容易にすることができ、かつ、正規化後の顔画像データのファイル名からオリジナルの顔画像データを特定することができるようになる。ファイル名の設定の例としては、例えば顔画像データベース５０の中の１つの顔画像データが「Ｋａｏ１２３．ｊｐｇ」というファイル名であれば、正規化後の顔画像データのファイル名を、「Ｋａｏ１２３」に「＿ａｆｔｅｒ」を付加した「Ｋａｏ１２３＿ａｆｔｅｒ．ｊｐｇ」とする等がある。このようなファイル名とすることで、ある検索条件に該当する顔画像データとして「Ｋａｏ１２３＿ａｆｔｅｒ．ｊｐｇ」が検索された場合、「Ｋａｏ１２３＿ａｆｔｅｒ．ｊｐｇ」のオリジナルの顔画像データが「Ｋａｏ１２３．ｊｐｇ」であることが容易にわかるようになる。
【００３７】
検索条件受付部３４は、入力受付部２１から送信されてくる検索条件に関する信号や検索結果の選択に関する信号、顔画像の表示の指示に関する信号等の中から検索条件に関する信号だけを受け付け、それを検索実行部１００に出力する。また、受け付けられた検索条件は検索条件出力部３５にも送信される。検索条件出力部３５は、検索者が設定可能な検索条件を表示制御部２２に送信する。また、検索条件受付部３４において検索条件が受け付けられた場合は、例えば、設定可能な検索条件の中の該当する項目を色や輝度等を変え、その条件が受け付けられたことが容易にわかるようにして、表示制御部２２に送信する。
【００３８】
検索結果選択部３６は、入力受付部２１から送信されてくる検索条件に関する信号や検索結果の選択に関する信号、顔画像の表示の指示に関する信号等の中から検索結果の選択に関する信号と顔画像の表示の指示に関する信号とを受け付け、それを検索結果出力部３７に送信する。検索結果出力部３７は、検索結果選択部３６から送信されてくる検索結果の選択に関する信号と顔画像の表示の指示に関する信号とにもとづき、検索結果や正規化後顔画像データベースの中の検索条件を満たす顔画像データ等を選択して出力する。このとき、顔画像データを出力する場合には、記憶部４０に記憶されている正規化後顔画像データベースの顔画像データであってもよいが、正規化する前の、顔画像データベース５０に蓄積されているオリジナルの顔画像データを出力する構成としてもよい。
【００３９】
検索実行部１００は、設定された検索条件にもとづき、記憶部４０に記憶されている正規化後顔画像データベースを検索し、検索条件を満たす顔画像データの件数やその顔画像データに付けられているファイル名等を検索結果として記憶部４０に記憶させ、またその検索結果を検索結果出力部３７に送信する。
【００４０】
この検索実行部１００についてさらに詳しく説明する。
【００４１】
図４は、本発明の実施の形態１の顔画像検索装置１における検索実行部１００の構成を示すブロック図である。
【００４２】
検索実行部１００は、参照画像比較部１１０と、まぶた判定部１２０と、性別推定部１３０と、ひげ検出部１４０と、肌の色判定部１５０と、眼鏡検出部１６０と、ほくろ検出部１７０と、年齢推定部１８０と、検索結果演算部１９０とを備えている。
【００４３】
参照画像比較部１１０は、検索条件受付部３４から送信されてきた信号に参照用顔画像データ６０にもとづく検索に関する設定が含まれていた場合に、記憶部４０に記憶された正規化後参照用顔画像データを読み出し、同じく記憶部４０から読み出した正規化後顔画像データベースと比較する。そして、比較による類似度を算出し、それをスコアとして出力する。この類似度の算出方法としては、例えば、複数の顔画像を平均化することにより求めたテンプレートを用いてパターンマッチングを行う方法を用いることができる。あるいは、主成分分析にもとづく方法を用いてもよい。この方法では、まず顔画像データを各画素毎の濃淡値の集まりであるｍ×ｎ次元特徴ベクトル（但し、ｍは画像の縦方向の画素数、ｎは画像の横方向の画素数）の標本とし、標本としたＮ枚の顔画像から、正規直交基底（長さ１に規格化された、どの２つも互いに直交するようなベクトルからなる基底）を算出し、そのうち固有値の大きい順にＭ（≦ｍ×ｎ、Ｎ）個の基底軸を生成する。そして、生成された基底軸ｅｊ（１≦ｊ≦Ｍ）によって形成された空間に、互いに比較する２つの顔画像データをそれぞれ直交射影した後、その間の距離を算出することで、互いに比較する２つの顔画像データの相似度を算出し、それをスコアとして出力する。この主成分分析にもとづく方法としては、例えば特開２０００−３００６６号公報に記載された技術等がある。
【００４４】
また、参照画像比較部１１０は、検索者によって設定された検索件数を受け付け、参照画像比較部１１０における比較が終了した後、類似度のスコア上位から順に検索者によって設定された検索件数分の顔画像データを正規化後顔画像データベースの中から選択し、それぞれにスコアの上位からの順番がわかるフラグを付加する。また、本実施の形態においては、これらの比較を、顔全体について行うか、あるいは眼や鼻、口等のそれぞれの部位について行うかを検索者が任意に設定することが可能である。参照画像比較部１１０では、検索者によって設定された、顔全体、眼、鼻、口等の比較を行う部位に関する指定を受け付け、その指定された条件にもとづいて比較を行う。例えば、眼について比較を行うように指定された場合には、正規化後顔画像データベースおよび正規化後参照用顔画像データのそれぞれの顔画像データから眼を検出し、眼についての比較を行う。眼の検出方法としては、例えば上述したようなテンプレートを用いてのパターンマッチングや、瞳孔領域または虹彩領域とその近傍の細線部分とを検出する方法等を用いて行うことができる。
【００４５】
なお、ここでは、正規化後参照用顔画像データおよび正規化後顔画像データベースのそれぞれの顔画像データから眼を検出する構成としているが、例えば、正規化部３３において正規化を行うために検出された眼を用いる構成としてもよい。
【００４６】
鼻の検出方法としては、例えば、複数の鼻画像を平均化することにより求めたテンプレートを用いてパターンマッチングを行い、類似度が最も高い領域を、対象部位、すなわち鼻が存在する領域とする方法を用いることができる。あるいは、複数の鼻孔画像を平均化することにより求めた右鼻孔テンプレートおよび左鼻孔テンプレートを用いてパターンマッチングを行い、類似度が最も高い領域を右鼻孔および左鼻孔として検出し、検出された右鼻孔と左鼻孔との距離が所定の距離の範囲にあるかどうかでそれが鼻孔か否かを判断すると共に鼻孔の位置を鼻の下端とすることで、鼻の検出の精度を高めることもできる。
【００４７】
口の検出方法としては、例えば、複数の口画像を平均化することにより求めたテンプレートを用いてパターンマッチングを行い、類似度が最も高い領域を、対象部位、すなわち口が存在する領域とする方法を用いることができる。あるいは、あらかじめ複数の顔画像の口の位置を統計することにより求めた口の位置の分布から口を検索する領域を定めておき、口を検索する領域の周囲の肌部分の平均的な肌の色を求め、口を検索する領域内におけるその肌の色よりも赤みの強い領域を検出することで口の検出をすることもできる。この肌の色の検出方法については後述する。また、口があると推定される領域内においてその肌の色よりも赤みの強いと判断される画素の数を、その領域のＸ軸およびＹ軸それぞれに射影してヒストグラムを作成し、そのＸ軸、Ｙ軸それぞれのヒストグラムの分布を口の形として用いることも可能である。
【００４８】
まぶた判定部１２０は、検索条件受付部３４から送信されてきた信号に一重まぶたあるいは二重まぶたといったまぶたに関する検索条件が含まれていた場合に、記憶部４０に記憶された正規化後顔画像データベースを読み出し、一重まぶたか二重まぶたかの判定を行う。まぶたの判定方法としては、例えば、複数の一重まぶたの画像を平均化することにより求めたテンプレートおよび複数の二重まぶたの画像を平均化することにより求めたテンプレートを用いてパターンマッチングを行い、どちらのテンプレートとの類似度が高いかによって一重まぶたか二重まぶたかを判定する方法を用いることができる。あるいは、上述したような方法により瞳孔領域または虹彩領域を検出して瞳孔領域または虹彩領域の近傍に細線部分があるかどうかを判別し、細線部分が１本であればそれを一重まぶたとし、近接した２本の細線部分があればそれを二重まぶたとして検出することで、一重まぶたか二重まぶたかを判定する方法を用いることもできる。
【００４９】
性別推定部１３０は、検索条件受付部３４から送信されてきた信号に性別に関する検索条件が含まれていた場合に、記憶部４０に記憶された正規化後顔画像データベースを読み出し、男性か女性かを推定する。性別の推定方法としては、例えば、複数の男性の顔画像を平均化することにより求めた男性顔テンプレートおよび複数の女性の顔画像を平均化することにより求めた女性顔テンプレートを用いてパターンマッチングを行い、どちらのテンプレートとの類似度が高いかによって性別を推定する方法を用いることができる。あるいは、あらかじめ男性顔テンプレートおよび女性顔テンプレートと複数の顔画像データとの差を主成分分析してそのデータを統計しておき、男性顔テンプレートおよび女性顔テンプレートと顔画像データとの差を主成分分析して得られた結果とその統計したデータとを比較して性別を推定する方法を用いてもよい。
【００５０】
ひげ検出部１４０は、検索条件受付部３４から送信されてきた信号にひげに関する検索条件が含まれていた場合に、記憶部４０に記憶された正規化後顔画像データベースを読み出し、ひげの検出を行う。ひげの検出方法としては、例えば複数のあごひげの画像およびくちひげの画像をそれぞれ平均化することにより求めたテンプレートを用いてパターンマッチングを行う方法を用いることができる。あるいは、上述した口の検出によって口の位置を特定し、かつ口の周囲の肌部分の肌の色の平均または平均輝度を求め、口の周囲にその肌の色と異なる色相の画素またはその平均輝度と異なる輝度の画素が所定の面積以上ある場合にそれをひげとして検出することも可能である。この場合、口の上部において検出されればくちひげと見なし、口の下部において検出されればあごひげと見なす。また、ひげとして検出した領域の平均輝度や色相を検出することで、黒いひげか白いひげかといったひげの色の特定を行うこともできる。
【００５１】
肌の色判定部１５０は、検索条件受付部３４から送信されてきた信号に肌の色に関する検索条件が含まれていた場合に、記憶部４０に記憶された正規化後顔画像データベースを読み出し、肌の色の判定を行う。肌の色の判定方法としては、例えば、互いに異なる複数の肌の色のサンプルデータをそれぞれ顔画像の肌の色と比較し、最も近いサンプルデータの色を顔画像の肌の色として判定する方法を用いることができる。あるいは、顔画像の各画素の信号成分を、画像信号を輝度信号と色差信号とで表すために一般に用いられているＹＵＶ信号またはＹＣｂＣｒ信号等に変換し、色差信号であるＵ信号とＶ信号との比率またはＣｂ信号とＣｒ信号との比率によって各画素の色相を求める。そして、輝度信号であるＹ信号が所定の値よりも小さい画素あるいは大きい画素や色相が平均的な肌の色から所定の値以上ずれた画素等の肌ではないと見なせる画素を除き、顔の領域内の画素の色相を平均化することで肌の色を検出する方法を用いることもできる。同時に、各画素の輝度値を平均化して肌の平均的な輝度を求めることで、例えば黒い肌や白い肌といった肌の色を検出することも可能である。また、色相と輝度との双方を用いて褐色の肌といった肌の色を検出することも可能になる。
【００５２】
眼鏡検出部１６０は、検索条件受付部３４から送信されてきた信号に眼鏡に関する検索条件が含まれていた場合に、記憶部４０に記憶された正規化後顔画像データベースを読み出し、眼鏡の検出を行う。眼鏡の検出方法としては、例えば、複数の眼鏡の画像を平均化することにより求めたテンプレートを用いてパターンマッチングを行う方法を用いることができる。あるいは、上述した方法により眼を検出すると共にその検出された眼の周囲の肌部分の平均的な肌の色を検出し、その検出された眼の周囲を、その肌の色と異なる色相の画素が連なって取り囲んでいるかどうかを検出することにより眼鏡の検出を行うこともできる。また、所定のしきい値以下の輝度値の画素または所定のしきい値以上の輝度値の画素が、その検出された眼の周囲を連なって取り囲んでいるかどうかを検出することにより眼鏡の検出を行うこともできる。
【００５３】
ほくろ検出部１７０は、検索条件受付部３４から送信されてきた信号にほくろに関する検索条件が含まれていた場合に、記憶部４０に記憶された正規化後顔画像データベースを読み出し、ほくろの検出を行う。また、本実施の形態においては、ほくろの検出を行う領域を任意に指定することが可能であり、ほくろ検出部１７０では、その任意に指定された領域内においてほくろの検出を行うことができる。なお、ほくろ検出部１７０では、ほくろだけではなく、例えば「あざ」や「きず」等を検出する構成としてもよい。ほくろの検出方法としては、例えば、顔画像の指定された領域内の各画素の輝度値を所定のしきい値と比較し、そのしきい値以下の輝度値の画素が所定の数以上集まっている箇所をほくろとして判定することによって行うことができる。
【００５４】
年齢推定部１８０は、検索条件受付部３４から送信されてきた信号に年齢に関する検索条件が含まれていた場合に、記憶部４０に記憶された正規化後顔画像データベースを読み出し、年齢の推定を行う。年齢の推定方法としては、例えば、顔画像データから顔の形状、皺、しみ、たるみ、皮膚の色、髪等に関する複数の特徴量を抽出し、それらの特徴量から年齢を推定する方法を用いることができる。具体的には、年代別に集められた複数の顔画像を平均化することにより求めた年代毎のテンプレートを用いて、顔の形状、皺、しみ、たるみ、皮膚の色、髪の量等の複数の特徴に関しそれぞれパターンマッチングを行う。そして、それぞれの特徴に関し最も類似度が高いテンプレートの年代を、その特徴に関する年代情報として算出する。そして、算出された年代のうち共通する最も多くの年代情報を推定年齢とする。例えば、顔の形状に関するパターンマッチングの結果が４０代であり、皺に関するパターンマッチングの結果が４０代であり、しみ、たるみ、皮膚の色、髪の量に関するパターンマッチングの結果がそれぞれ、２０代、４０代、３０代、４０代であれば、４０代とした結果が最も多いので、推定年齢を４０代とする。なお、ここに挙げた、顔の形状、皺、しみ、たるみ、皮膚の色、髪の量といった特徴は単に一例を示したに過ぎず、例えばこれら以外の特徴を用いてもよく、あるいはこれらの中の任意の３つあるいはそれ以上の特徴を用いる構成としてもよい。
【００５５】
検索結果演算部１９０は、検索条件受付部３４から送信されてきた信号に、複数の検索条件を組み合わせた検索条件が含まれていた場合に、設定された個別の検索条件における検索結果から、設定された複数の検索条件を組み合わせた検索条件を満たす顔画像データを選択する。例えば検索者が「あごひげ」と「二重まぶた」との２つの検索条件を組み合わせた検索条件を設定した場合には、検索結果演算部１９０は、ひげ検出部１４０の検索結果とまぶた判定部１２０の検索結果とを参照し、ひげ検出部１４０において「あごひげ」が生えていると判定され、かつまぶた判定部１２０において「二重まぶた」であると判定された顔画像データを選択する。あるいは、検索者が「男性」と「眼鏡」と「年齢６０代」または「年齢７０代以上」の４つの条件を組み合わせた検索条件を設定した場合には、検索結果演算部１９０は、性別推定部１３０の検索結果と眼鏡検出部１６０の検索結果と年齢推定部１８０の検索結果とを参照し、年齢推定部１８０において「年齢６０代」または「年齢７０代以上」と推定され、かつ眼鏡検出部１６０において「眼鏡」をかけていると判定され、かつ性別推定部１３０において「男性」と推定された顔画像データを選択する。あるいは、検索者が参照用顔画像データ６０との比較および類似度のスコア上位１００件と、「褐色の肌色」の２つの条件を組み合わせた検索条件を設定した場合には、検索結果演算部１９０は、参照画像比較部１１０の検索結果と肌の色判定部１５０の検索結果とを参照し、参照画像比較部１１０において参照用顔画像データ６０との類似度のスコア上位１００件に含まれ、かつ肌の色判定部１５０において「褐色の肌色」と判定された顔画像データを選択する。
【００５６】
なお、本実施の形態においては、検索部３０、ユーザインタフェース部２０の各機能を、それぞれソフトウェアで実現可能に記述し、そのプログラムを演算装置にロードしたコンピュータを用いて実現しているが、何らこの構成に限定するものではなく、例えばそれぞれがハードウェアで実現される構成であってもよい。
【００５７】
図５は、本発明の実施の形態１の顔画像検索装置１における表示部２に表示する検索画面の表示例を示した図である。
【００５８】
図５に示すように、表示部２に表示されている検索画面６００には、データベース読み込み先指定部６０１、参照用顔画像データ読み込み先指定部６０２、参照用顔画像表示部６０３、検索条件設定部６０４、６０５、６０６、６０７、領域指定部６０８、検索開始指示部６０９、検索条件表示部６１０が表示されている。
【００５９】
まず、データベース読み込み先指定部６０１において、顔画像データベース５０を読み込むための読み込み先、例えば顔画像検索装置１に接続されている記録媒体読み取り部（図示せず）やフォルダ名等を指定することで、その指定先から顔画像データベース５０が読み込まれる。このとき、読み込まれた顔画像データベース５０内の顔画像データの総件数がデータベース読み込み先指定部６０１の横に表示される。
【００６０】
検索者が参照用顔画像データ６０を用いて検索を行う場合は、参照用顔画像データ読み込み先指定部６０２において、参照用顔画像データ６０を読み込むための読み込み先を指定する。そうすると、読み込み先から参照用顔画像データ６０が読み込まれ、読み込まれた参照用顔画像データ６０の顔画像が参照用顔画像表示部６０３に表示される。また、参照用顔画像表示部６０３の下には、参照用顔画像データ６０の読み込み先が表示される。
【００６１】
また、参照用顔画像データ６０を用いて検索を行う場合は、参照用顔画像データ６０の顔画像全体について比較を行うのか、それとも、目、鼻、口等のそれぞれの部位について比較を行うのかの設定を、検索条件設定部６０４において行う。例えば、顔全体について比較を行う場合は、図面中「Ａ．顔全体」と表示されている部分を入力部３のマウス等によって選択する。そうすると、「Ａ．顔全体」を表示している文字が濃く表示され、かつ文字列の先頭にある四角の記号が黒く塗りつぶされて、「Ａ．顔全体」が選択されていることが検索者に容易にわかるように表示される。また、「Ａ．顔全体」の文字列の後ろには「上位」という表示があり、その後ろに数字を入力できるようになっている。検索者は入力部３のキーボード等によってここに任意の数字を入力することで、顔画像データベース５０の顔画像データのうち参照用顔画像データ６０との類似度のスコアが高い方から、入力された件数分の顔画像データが検索結果として選択される。
【００６２】
また、検索条件設定部６０５、６０６では、顔の特徴に関する検索条件を設定することができる。検索者が、「Ｅ．まぶた」と表示されている部分を選択すると、「１．一重まぶた」か「２．二重まぶた」かを、選択条件として設定することができる。「Ｆ．ひげ」と表示されている部分を選択すると、「１．あごひげ」か「２．くちひげ」か「３．あごひげとくちひげ」かを選択条件として設定することができる。「Ｇ．眼鏡」と表示されている部分を選択すると、「１．眼鏡あり」か「２．眼鏡なし」かを選択条件として設定することができる。「Ｊ．性別」と表示されている部分を選択すると、「１．男性」か「２．女性」かを選択条件として設定することができる。「Ｋ．推定年齢」と表示されている部分を選択すると、「１．１０歳未満」、「２．１０代」、「３．２０代」、「４．３０代」、「５．４０代」、「６．５０代」、「７．６０代」、「８．７０代以上」と、１０歳毎の推定年齢を選択条件として設定することができる。「Ｌ．肌の色」と表示されている部分を選択すると、「１．白色」、「２．黄色」、「３．褐色」、「４．黒色」といった肌の色の違いを選択条件として設定することができる。
【００６３】
また、検索条件設定部６０７では、ほくろに関する検索条件を設定することができる。検索者が、「Ｈ．ほくろ」と表示されている部分を選択すると、領域指定部６０８では、検索者からの領域指定を受け付け可能になり、検索者は、領域指定部６０８内に表示されている顔モデルを参考にして、ほくろを検索する領域を入力部３のマウス５等によって指定することができる。
【００６４】
検索条件の入力が終了した後、検索開始指示部６０９が選択されると、入力された検索条件にもとづいた検索が検索実行部１００において実行される。
【００６５】
検索条件表示部６１０には、検索者によって設定された検索条件と検索実行後の検索条件に該当する顔画像データの件数が表示される。このとき、検索条件設定部６０４、６０５、６０６、６０７において設定された検索条件は、自動的に検索条件表示部６１０の検索条件の欄に表示される。また、本発明の実施の形態１における顔画像検索装置１では、複数の検索条件を組み合わせて検索を実行することができる。複数の検索条件を組み合わせたい場合は、検索条件表示部６１０の検索条件の欄に、組み合わせたい検索条件を検索式の形式で入力する。例えば、検索者が、「Ａ．顔全体」の上位１００件で、かつ「Ｈ．ほくろ」が領域指定部６０８に指定した領域にあり、かつ「Ｊ．性別」が「１．男性」であり、かつ「Ｋ．推定年齢」が「７．６０代」または「８．７０代以上」である顔画像を検索したい場合は、検索条件表示部６１０の検索条件の欄に、「Ａ．顔全体」の上位１００件を表す「Ａ１００」と、「Ｈ．ほくろ」を表す「Ｈ」と、「Ｊ．性別」が「１．男性」を表す「Ｊ１」と、「Ｋ．推定年齢」が「７．６０代」または「８．７０代以上」を表す「Ｋ７＋Ｋ８」とを論理演算のＡＮＤを表す「×」で接続し、「Ａ１００×Ｈ×Ｊ１×（Ｋ７＋Ｋ８）」と入力する。また、検索条件表示部６１０には、顔画像表示指定欄があり、例えば「Ａ１００×Ｈ×Ｊ１×（Ｋ７＋Ｋ８）」の検索条件で検索した結果の顔画像を表示したい場合は、その検索条件を入力した行と同じ行の顔画像表示指定欄に表示されている「ＹＥＳ」の表示をマウス等によって選択する。この選択により、表示部２に表示される画面は、検索画面６００から顔画像表示画面７００に切り替わる。
【００６６】
次に、この顔画像表示画面７００について説明する。
【００６７】
図６は、本発明の実施の形態１の顔画像検索装置１における表示部２に表示する検索結果の顔画像の表示例を示した図である。なお、図６では図５に示した検索条件にもとづく検索結果を顔画像表示画面７００に表示した例を示している。
【００６８】
図６に示すように、本発明の実施の形態１の顔画像検索装置１では、顔画像表示画面７００において検索結果の顔画像を表示する。
【００６９】
表示部２に表示されている顔画像表示画面７００には、検索条件表示部７０１、検索結果表示部７０２、選択画像表示部７０３が表示されている。
【００７０】
検索条件表示部７０１には、検索画面６００において検索者によって指定された検索条件とその検索結果の件数が表示されている。
【００７１】
検索結果表示部７０２には、検索条件表示部７０１に表示された検索条件における検索結果の顔画像の一覧が表示されている。このとき、検索結果の顔画像の件数が多く、検索結果表示部７０２に検索結果の全ての顔画像を一度に表示できない場合には、検索結果表示部７０２にその一部を表示し、検索結果表示部７０２の近傍に表示されている表示切替部７０４を操作することによって表示される顔画像を切り替え、残りの顔画像を表示することができる。また、検索結果表示部７０２には、表示されている顔画像内に数字が表示されている。これは、顔画像データベース５０の顔画像データのうち参照用顔画像データ６０との類似度のスコアが高い方から順に１からの数字が付けられたものである。したがって、１が付けられている顔画像が参照用顔画像データ６０との類似度のスコアが最も高いことを表す。
【００７２】
そして、検索結果表示部７０２に表示されている顔画像の一覧の中の任意の顔画像が選択されると、選択画像表示部７０３には選択された顔画像が拡大して表示される。このとき、検索結果表示部７０２では選択されている顔画像の枠を濃く表示する等して、検索結果表示部７０２に表示されている顔画像の一覧の中のどの顔画像が選択されているかがすぐにわかるようにしてもよい。また、選択画像表示部７０３では、拡大して表示された顔画像の下に、その顔画像の読み込み先が表示される。
【００７３】
図７は、本発明の実施の形態１の顔画像検索装置１における表示部２に表示する検索画面の他の表示例を示した図である。
【００７４】
図７に示す検索画面６００では、参照用顔画像データ読み込み先指定部６０２に参照用顔画像データ６０の読み込み先が指定されておらず、顔の特徴に関する検索条件だけが検索条件設定部６０５、６０６、６０７に設定されている。すなわち、「Ｅ．まぶた」が「１．一重」であり、かつ「Ｆ．ひげ」が「１．くちひげ」であり、かつ「Ｈ．ほくろ」が領域指定部６０８に指定した領域にあり、かつ「Ｋ．推定年齢」が「７．６０代」または「８．７０代以上」である顔画像を検索するようにそれぞれ検索条件設定部６０５、６０６、６０７に設定され、検索条件表示部６１０の検索条件の欄に、「Ｅ１×Ｆ１×Ｈ×（Ｋ７＋Ｋ８）」と入力されている。このように、本実施の形態においては、参照用顔画像データ６０を用いずに、顔の特徴だけを指定して検索を行わせることが可能である。
【００７５】
図８は、本発明の実施の形態１の顔画像検索装置１における表示部２に表示する検索結果の顔画像の他の表示例を示した図である。
【００７６】
図８では、図７に示した検索条件、すなわち「Ｅ．まぶた」が「１．一重」であり、かつ「Ｆ．ひげ」が「１．くちひげ」であり、かつ「Ｈ．ほくろ」が領域指定部６０８に指定した領域にあり、かつ「Ｋ．推定年齢」が「７．６０代」または「８．７０代以上」である顔画像を検索し、その検索結果の顔画像を検索結果表示部７０２に表示している。
【００７７】
すなわち、本実施の形態では、図５、図７に示したように検索画面６００において検索条件が検索者によって設定され、顔画像データベース５０から設定された検索条件に該当する顔画像が検索され、検索された顔画像は、図６、図８に示したように顔画像表示画面７００において検索結果の顔画像として表示される。また、本実施の形態においては、図５に示したように参照用顔画像を用いての検索も可能であるが、図７に示したように、参照用顔画像データ６０を用いず顔の特徴に関する条件だけを検索条件として設定することも可能であり、そのような場合でも、検索条件として設定された顔の特徴を含む顔画像を顔画像データベース５０の中から検索してその結果を表示することができる。
【００７８】
次に顔画像検索装置１の動作を示すフローチャートについて説明する。
【００７９】
図９は、本発明の実施の形態１の顔画像検索装置１における動作を示すフローチャートである。
【００８０】
まず、検索者は、入力部３を用いて顔画像データベース５０の読み込み先を指定し、顔画像検索装置１に、指定された読み込み先からの顔画像データベース５０の読み込みを開始させる（Ｓ１１）。すると顔画像データベース読み込み部３１が指定された読み込み先から顔画像データベース５０の読み込みを開始する（Ｓ１２）。正規化部３３は読み込まれた顔画像データベース５０の顔画像データを正規化し（Ｓ１３）、正規化後顔画像データベースを記憶部４０に記憶させる（Ｓ１４）。検索実行部１００は、検索者によって設定された検索条件にもとづき、記憶部４０に記憶された正規化後顔画像データベースの検索を行い、検索結果を記憶部４０に記憶させる（Ｓ１００）。検索実行部１００における検索の結果は検索結果出力部３７からユーザインタフェース部２０に送信され、表示部２に表示されている検索画面の中に検索結果が検索条件と合わせて表示される（Ｓ２０）。このとき、検索条件の追加や変更があれば、検索条件受付部３４がそれを受け付け、追加または変更された検索条件にもとづき検索実行部１００が再度検索を実行する（Ｓ２１）。検索者から検索結果の顔画像を表示するように指示があれば、検索結果選択部３６は検索結果出力部３７に、表示部２の表示画面を検索画面から顔画像表示画面に切り替えて検索結果の顔画像を表示するように指示する（Ｓ２２）。このとき、検索結果の顔画像データが複数であれば、検索結果選択部３６は検索者からの顔画像の選択に関する指示を受け付け、検索者によって選択された顔画像を表示するように検索結果出力部３７に指示する。検索結果出力部３７は該当する顔画像データのファイル名からオリジナルの顔画像データのファイル名を特定し、そのファイル名の顔画像データを顔画像データベース読み込み部３１を経由して顔画像データベース５０から読み込み、それをユーザインタフェース部２０を経由して表示部２に表示する（Ｓ２３）。そして、検索者から検索終了の指示がなければ、ステップＳ２２に戻り、検索結果選択部３６は、検索画面を表示するのか顔画像を表示するのかの指示を待ち、顔画像の表示から検索画面の表示への切り替えが指示されれば、検索画面の表示に切り替え、ステップＳ２０に戻って、検索画面を表示する。
【００８１】
次に、図９に示したフローチャートのステップＳ１００の詳細について説明する。
【００８２】
図１０は、本発明の実施の形態１の顔画像検索装置１における検索に関する動作を示すフローチャートである。
【００８３】
まず、検索条件受付部３４において、参照用顔画像データ６０の参照が検索条件として設定されているかどうかが判断される（Ｓ１０１）。そして参照用顔画像データ６０の参照が設定されている場合は、参照用顔画像データ読み込み部３２において、設定された読み込み先から参照用顔画像データ６０が読み込まれ、それが正規化されて正規化後参照用顔画像データとなり、参照画像比較部１１０において、記憶部４０に記憶された正規化後顔画像データベースの顔画像データと比較され、比較結果の類似度がスコアとして算出される（Ｓ１１０）。そして、算出された類似度のスコアを顔画像データと関連付けて記憶部４０に記憶させる（Ｓ１２０）。
【００８４】
また、顔の特徴が検索条件として設定されている場合には（Ｓ１０２）、設定された検索条件にもとづき、まぶた判定部１２０、性別推定部１３０、ひげ検出部１４０、肌の色判定部１５０、眼鏡検出部１６０、年齢推定部１８０のそれぞれのブロックにおいて正規化後顔画像データベースが検索され（Ｓ１３０）、検索結果が記憶部４０に記憶される（Ｓ１５０）。
【００８５】
また、ほくろを検出する領域が設定されている場合には（Ｓ１０３）、ほくろ検出部１７０において、正規化後顔画像データベースのそれぞれの顔画像データにおける指定された領域内でのほくろの有無の検出によって検索が行われる（Ｓ１６０）。そして、検索結果が記憶部４０に記憶される（Ｓ１７０）。
【００８６】
また、検索者によって複数の検索条件が組み合わせて設定されている場合には（Ｓ１０４）、個々の検索条件における検索結果から、設定された複数の検索条件の組み合わせを満たす顔画像データが検索され（Ｓ１８０）、検索結果が記憶部４０に記憶される（Ｓ１９０）。
【００８７】
次に、図１０に示したフローチャートのステップＳ１１０の詳細について説明する。
【００８８】
図１１は、本発明の実施の形態１の顔画像検索装置１における参照用顔画像データを用いた検索に関する動作を示すフローチャートである。
【００８９】
ステップＳ１０１において参照用顔画像データ６０の参照が設定されていると判断された場合には、参照用顔画像データ読み込み部３２は、指定された読み込み先から参照用顔画像データ６０の読み込みを開始する（Ｓ１１１）。正規化部３３は、読み込まれた参照用顔画像データ６０の顔画像データを正規化し（Ｓ１１２）、正規化後参照用顔画像データを記憶部４０に記憶させる（Ｓ１１３）。参照画像比較部１１０は、正規化後顔画像データベースの顔画像データおよび正規化後参照用顔画像データを読み出し（Ｓ１１４）、検索者によって設定された比較の範囲にもとづき、顔全体での比較が設定されていれば顔全体での比較を、眼、鼻、口等のそれぞれの部位での比較が設定されていれば、設定された部位における比較を、記憶部４０から読み出した正規化後顔画像データベースの顔画像データと正規化後参照用顔画像データとで行う。そして、参照画像比較部１１０は、その類似度をスコアとして算出する（Ｓ１１５）。そして、参照画像比較部１１０は、正規化後顔画像データベースの全ての顔画像データとの比較が終了した後、正規化後顔画像データベースの顔画像データのうちのスコアの上位から順に検索者が設定した件数分に、その順位がわかるフラグを付加する（Ｓ１１６）。そして、正規化後顔画像データベースの全ての顔画像データに、算出された類似度のスコアおよびスコア上位からの順位がわかるフラグを関連付けて記憶部４０に記憶させる（Ｓ１２０）。
【００９０】
次に、図１０に示したフローチャートのステップＳ１３０の詳細について説明する。
【００９１】
図１２は、本発明の実施の形態１の顔画像検索装置１における設定された顔の特徴にもとづく検索に関する動作を示すフローチャートである。
【００９２】
ステップＳ１０２において顔の特徴、すなわち、本実施の形態においてはまぶた、ひげ、性別、眼鏡、肌の色、推定年齢に関する検索条件の設定がなされていると判断された場合は、ステップＳ１３０に進んでそれら顔の特徴に関する検索を実行する。
【００９３】
まぶたに関する検索条件が設定されている場合には（Ｓ１３１）、まぶた判定部１２０において、設定された検索条件が「一重まぶた」か「二重まぶた」かの判断がなされ（Ｓ１３２）、検索条件が「一重まぶた」の顔画像データを検索するように設定されていれば、まぶた判定部１２０は正規化後顔画像データベースから「一重まぶた」と判定される顔画像データを検索し、その顔画像データに一重まぶたであることを表すフラグを付加する（Ｓ１３３）。また、検索条件が「二重まぶた」の顔画像データを検索するように設定されていれば、まぶた判定部１２０は正規化後顔画像データベースから「二重まぶた」と判定される顔画像データを検索し、その顔画像データに二重まぶたを表すフラグを付加する（Ｓ１３３）。
【００９４】
ひげに関する検索条件が設定されている場合には（Ｓ１３５）、ひげ検出部１４０において、設定された検索条件が「くちひげ」か「あごひげ」か「くちひげとあごひげ」かの判断がなされ（Ｓ１３６）、検索条件が「くちひげ」の顔画像データを検索するように設定されていれば、ひげ検出部１４０は正規化後顔画像データベースから「くちひげ」のある顔画像データを検索し、その顔画像データにくちひげを表すフラグを付加する（Ｓ１３７）。また、検索条件が「あごひげ」の顔画像データを検索するように設定されていれば、ひげ検出部１４０は正規化後顔画像データベースから「あごひげ」のある顔画像データを検索し、その顔画像データにあごひげを表すフラグを付加する（Ｓ１３８）。また、検索条件が「くちひげとあごひげ」の顔画像データを検索するように設定されていれば、ひげ検出部１４０はステップＳ１３７とステップＳ１３８とを実行して正規化後顔画像データベースから「くちひげとあごひげ」のある顔画像データを検索し、その顔画像データにくちひげを表すフラグおよびあごひげを表すフラグを付加する。
【００９５】
性別に関する検索条件が設定されている場合には（Ｓ１３９）、性別推定部１３０において、設定された検索条件が「男性」か「女性」かの判断がなされる。そして、検索条件が「男性」の顔画像データを検索するように設定されていれば、性別推定部１３０は正規化後顔画像データベースから「男性」と推定される顔画像データを検索し、その顔画像データに男性を表すフラグを付加する。また、検索条件が「女性」の顔画像データを検索するように設定されていれば、性別推定部１３０は正規化後顔画像データベースから「女性」と推定される顔画像データを検索し、その顔画像データに女性を表すフラグを付加する（Ｓ１４０）。
【００９６】
眼鏡に関する検索条件が設定されている場合には（Ｓ１４１）、眼鏡検出部１６０において、設定された検索条件が「眼鏡をかけている」か「眼鏡をかけていない」かの判断がなされる。そして、検索条件が「眼鏡をかけている」顔画像データを検索するように設定されていれば、正規化後顔画像データベースから「眼鏡をかけている」顔画像データを検索し、その顔画像データに眼鏡をかけていることを表すフラグを付加する。また、検索条件が「眼鏡をかけていない」顔画像データを検索するように設定されていれば、正規化後顔画像データベースから「眼鏡をかけていない」顔画像データを検索し、その顔画像データに眼鏡をかけていないことを表すフラグを付加する（Ｓ１４２）。
【００９７】
肌の色に関する検索条件が設定されている場合には（Ｓ１４３）、肌の色判定部１５０において、設定された検索条件が「白色」か「黄色」か「褐色」か「黒色」かの判断がなされる。そして、検索条件として、肌の色が「白色」である顔画像データを検索するように設定されていれば、肌の色判定部１５０は正規化後顔画像データベースから肌の色が「白色」と判定される顔画像データを検索し、その顔画像データに肌の色が白色であることを表すフラグを付加する。また、検索条件として、肌の色が「黄色」である顔画像データを検索するように設定されていれば、肌の色判定部１５０は正規化後顔画像データベースから肌の色が「黄色」と判定される顔画像データを検索し、その顔画像データに肌の色が黄色であることを表すフラグを付加する。検索条件として、肌の色が「褐色」あるいは「黒色」である顔画像データを検索するように設定されている場合も同様に顔画像データを検索し、その顔画像データに肌の色が褐色あるいは黒色であることを表すフラグを付加する（Ｓ１４４）。
【００９８】
年齢に関する検索条件が設定されている場合には（Ｓ１４５）、年齢推定部１８０において、設定された検索条件が「１０歳未満」か「１０代」か「２０代」か「３０代」か「４０代」か「５０代」か「６０代」か「７０代以上」かの判断がなされる。そして、検索条件として、例えば推定年齢が「１０歳未満」である顔画像データを検索するように設定されていれば、年齢推定部１８０は正規化後顔画像データベースから推定年齢が「１０歳未満」である顔画像データを検索し、その顔画像データに推定年齢が１０歳未満であることを表すフラグを付加する。あるいは、検索条件として、推定年齢が「１０代」である顔画像データを検索するように設定されていれば、年齢推定部１８０は正規化後顔画像データベースから推定年齢が「１０代」である顔画像データを検索し、その顔画像データに推定年齢が１０代であることを表すフラグを付加する。そして、推定年齢が「２０代」、「３０代」、「４０代」、「５０代」、「６０代」、「７０代以上」のそれぞれの検索条件に対しても同様に、それぞれ設定されている検索条件にもとづき顔画像データを検索し、その検索結果にもとづき顔画像データにそれぞれ適切なフラグを付加する（Ｓ１４６）。
【００９９】
そして、ステップＳ１５０において、各ステップにおいて検出あるいは算出された情報や各種のフラグを正規化後顔画像データベースのそれぞれの顔画像データに付加して、記憶部４０に記憶させる。なお、一旦検出あるいは算出されたスコアや情報、各種のフラグ等は、正規化後顔画像データベース内に蓄積しておくことで、それ以降の検索の際、同様の検索条件が指定されたときの検索時間を短縮することができる。
【０１００】
次に、図１０に示したフローチャートのステップＳ１６０の詳細について説明する。
【０１０１】
図１３は、本発明の実施の形態１の顔画像検索装置１におけるほくろを検索条件とした検索に関する動作を示すフローチャートである。
【０１０２】
ステップＳ１０３において、ほくろを検出する領域が指定されていると判断された場合、ほくろ検出部１７０は、検索者によって指定された領域をほくろ検出領域として受け付け（Ｓ１６１）、ほくろ検出領域内にほくろがある顔画像データを正規化後顔画像データベースから検索し（Ｓ１６２）、ほくろ検出領域内からほくろが検出された顔画像データには、ほくろがあることを表すフラグを付加する（Ｓ１６３）。そして、ステップＳ１７０において、ほくろがあることを表すフラグをその顔画像データに関連付けて記憶部４０に記憶させる。
【０１０３】
以上述べたように、本発明の実施の形態によれば、検索したい人物の顔写真等の画像情報がない場合であっても、検索したい人物の顔の特徴を検索条件として指定することで、指定された特徴を有する顔画像をデータベースの中から検索することが可能となる。
【０１０４】
なお、本実施の形態においては、肌の色、まぶた、ひげ、ほくろ、眼鏡、性別、推定年齢を検索条件として設定する構成を説明したが、何らこれらの検索条件に限定するものではなく、例えば、唇の厚さ、口の大きさ、鼻の形状、輪郭、眉毛、皺等、顔の特徴として記憶されやすいものを検索条件として設定できるようにしてもよい。
【０１０５】
また、本実施の形態においては、「男性」を表すフラグ等の各種フラグを付加する構成を説明したが、フラグの代わりに「らしさ」や「程度」を表す点数を付加する構成としてもよい。このように点数によって「らしさ」や「程度」を表す構成であれば、例えば「とても」、「やや」といった程度を表す表現を用いた検索条件の設定も可能となり、人の容貌に対して抱く感覚により近い検索ができるようになる。
【０１０６】
なお、本発明の実施の形態においては、正規化部において、読み込まれた顔画像データベース内の顔画像データに対しそれぞれの顔画像の大きさを互いに揃える構成を説明したが、これは実質的な意味での大きさを揃えることであり、本発明の目的とする効果を得られる範囲で多少のずれは許容される。また、あらかじめ正規化された顔画像データが蓄積された顔画像データベースを用いる場合は、正規化部における正規化は不要である。
【産業上の利用可能性】
【０１０７】
本発明に係る顔画像検索装置および顔画像検索方法によれば、検索したい人物の顔の特徴を検索条件として指定することで、指定された特徴を有する顔画像をデータベースの中から検索することが可能となるので、顔画像検索装置および顔画像検索方法として有用である。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施の形態１における顔画像検索装置の概要を示す外観図
【図２】同顔画像検索装置の構成を示すブロック図
【図３】同顔画像検索装置における詳細な構成を示すブロック図
【図４】同顔画像検索装置における検索実行部の構成を示すブロック図
【図５】同顔画像検索装置における表示部に表示する検索画面の表示例を示した図
【図６】同顔画像検索装置における表示部に表示する検索結果の顔画像の表示例を示した図
【図７】同顔画像検索装置における表示部に表示する検索画面の他の表示例を示した図
【図８】同顔画像検索装置における表示部に表示する検索結果の顔画像の他の表示例を示した図
【図９】同顔画像検索装置における動作を示すフローチャート
【図１０】同顔画像検索装置における検索に関する動作を示すフローチャート
【図１１】同顔画像検索装置における参照用顔画像データを用いた検索に関する動作を示すフローチャート
【図１２】同顔画像検索装置における設定された顔の特徴にもとづく検索に関する動作を示すフローチャート
【図１３】同顔画像検索装置におけるほくろを検索条件とした検索に関する動作を示すフローチャート
【符号の説明】
【０１０９】
１    顔画像検索装置
２    表示部
３    入力部
４    キーボード
５    マウス
１０    本体部
２０    ユーザインタフェース部
２１    入力受付部
２２    表示制御部
３０    検索部
３１    顔画像データベース読み込み部
３２    参照用顔画像データ読み込み部
３３    正規化部
３４    検索条件受付部
３５    検索条件出力部
３６    検索結果選択部
３７    検索結果出力部
４０    記憶部
５０    顔画像データベース
６０    参照用顔画像データ
１００    検索実行部
１１０    参照画像比較部
１２０    まぶた判定部
１３０    性別推定部
１４０    ひげ検出部
１５０    肌の色判定部
１６０    眼鏡検出部
１７０    ほくろ検出部
１８０    年齢推定部
１９０    検索結果演算部
６００    検索画面
６０１    データベース読み込み先指定部
６０２    参照用顔画像データ読み込み先指定部
６０３    参照用顔画像表示部
６０４，６０５，６０６，６０７    検索条件設定部
６０８    領域指定部
６０９    検索開始指示部
６１０，７０１    検索条件表示部
７００    顔画像表示画面
７０２    検索結果表示部
７０３    選択画像表示部
７０４    表示切替部
【図１】
2006318375.tif 000003
【図２】
2006318375.tif 000004
【図３】
2006318375.tif 000005
【図４】
2006318375.tif 000006
【図５】
2006318375.tif 000007
【図６】
2006318375.tif 000008
【図７】
2006318375.tif 000009
【図８】
2006318375.tif 000010
【図９】
2006318375.tif 000011
【図１０】
2006318375.tif 000012
【図１１】
2006318375.tif 000013
【図１２】
2006318375.tif 000014
【図１３】
2006318375.tif 000015