(57)【要約】【課題】入力された顔特徴情報の品質に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる人物検索装置を提供する。【解決手段】複数のカメラを用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより上記対象者と類似した人物を検索する人物検索装置において、上記複数のカメラにより取得した顔画像から得られる各顔特徴情報の品質に基づき当該各顔特徴情報に対してそれぞれ確信度を設定し、この設定された確信度の高い順に上記検索処理を実行する。【選択図】      図１
2008197904.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置において、
前記複数の撮像手段により取得した顔画像から得られる各顔特徴情報の品質に基づき当該各顔特徴情報に対してそれぞれ確信度を設定し、この設定された確信度の高い順に前記検索処理を実行することを特徴とする人物検索装置。
【請求項２】
複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置において、
複数箇所において、対象者の少なくとも顔を含む画像を取得する複数の撮像手段と、
この複数の撮像手段により取得された画像からそれぞれ顔領域を検出する顔検出手段と、
この顔検出手段により検出された各顔領域の画像からそれぞれ個人の顔特徴情報を抽出出する顔特徴抽出手段と、
前記顔検出手段により検出された各顔領域の画像から前記顔特徴抽出手段により抽出される各顔特徴情報の品質を示す顔特徴品質情報をそれぞれ取得する顔特徴品質取得手段と、
この顔特徴品質取得手段により取得された各顔特徴品質情報に基づき当該各顔特徴情報に対してそれぞれ確信度を設定する確信度設定手段と、
あらかじめ対象者の顔画像から得られる個人の顔特徴情報が登録されている登録情報記憶手段と、
前記顔特徴抽出手段により抽出された各顔特徴情報を、前記確信度設定手段により設定された確信度の高いものから順に前記登録情報記憶手段に登録された顔特徴情報と照合することにより両顔特徴情報の類似度を算出し、類似性の高い少なくとも１つ以上の顔特徴情報を検索する顔検索手段と、
この顔検索手段の検索結果を出力する出力手段と、
を具備したことを特徴とする人物検索装置。
【請求項３】
前記顔特徴品質取得手段は、顔特徴品質情報として顔の検出枚数を取得することを特徴とする請求項２記載の人物検索装置。
【請求項４】
前記顔特徴品質取得手段は、顔特徴品質情報として顔の向きを示す情報を取得することを特徴とする請求項２記載の人物検索装置。
【請求項５】
前記顔特徴品質取得手段は、顔特徴品質情報として顔画像を形成する画素値の飽和数を取得することを特徴とする請求項２記載の人物検索装置。
【請求項６】
前記顔検索手段は、前記確信度設定手段により設定された確信度があらかじめ定められた所定値以下の場合、当該顔特徴情報に対する検索処理を実行しないことを特徴とする請求項２記載の人物検索装置。
【請求項７】
複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置において、
前記複数の撮像手段が設置された各位置情報に基づき前記複数の撮像手段により取得した顔画像から得られる各顔特徴情報に対してそれぞれ確信度を設定し、この設定された確信度の高い順に前記検索処理を実行することを特徴とする人物検索装置。
【請求項８】
複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置において、
複数箇所において、対象者の少なくとも顔を含む画像を取得する複数の撮像手段と、
この複数の撮像手段により取得された画像からそれぞれ顔領域を検出する顔検出手段と、
この顔検出手段により検出された各顔領域の画像からそれぞれ個人の顔特徴情報を抽出出する顔特徴抽出手段と、
前記複数の撮像手段が設置された各位置情報があらかじめ記憶されている位置情報記憶手段と、
この位置情報記憶手段に記憶された位置情報に基づき前記顔特徴抽出手段により抽出された各顔特徴情報に対してそれぞれ確信度を設定する確信度設定手段と、
あらかじめ対象者の顔画像から得られる個人の顔特徴情報が登録されている登録情報記憶手段と、
前記顔特徴抽出手段により抽出された各顔特徴情報を、前記確信度設定手段により設定された確信度の高いものから順に前記登録情報記憶手段に登録された顔特徴情報と照合することにより両顔特徴情報の類似度を算出し、類似性の高い少なくとも１つ以上の顔特徴情報を検索する顔検索手段と、
この顔検索手段の検索結果を出力する出力手段と、
を具備したことを特徴とする人物検索装置。
【請求項９】
前記位置情報記憶手段に記憶する位置情報として前記複数の撮像手段の中で一番注目したい撮像手段の位置情報を用いることを特徴とする請求項８記載の人物検索装置。
【請求項１０】
前記位置情報記憶手段に記憶する位置情報として前記複数の撮像手段の中の特定の撮像手段と当該撮像手段に隣接する撮像手段との位置関係を示す位置関係情報を用いることを特徴とする請求項８記載の人物検索装置。
【請求項１１】
前記顔検索手段は、前記確信度設定手段により設定された確信度があらかじめ定められた所定値以下の場合、当該顔特徴情報に対する検索処理を実行しないことを特徴とする請求項８記載の人物検索装置。
【請求項１２】
複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置において、
前記複数の撮像手段間を移動する対象者の追跡状態に応じて前記複数の撮像手段により取得した顔画像から得られる各顔特徴情報に対してそれぞれ確信度を設定し、この設定された確信度の高い順に前記検索処理を実行することを特徴とする人物検索装置。
【請求項１３】
複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置において、
複数箇所において、対象者の少なくとも顔を含む画像を取得する複数の撮像手段と、
この複数の撮像手段により取得された画像からそれぞれ顔領域を検出する顔検出手段と、
この顔検出手段により検出された各顔領域の画像からそれぞれ個人の顔特徴情報を抽出出する顔特徴抽出手段と、
前記顔検出手段により検出された各顔領域の画像から当該対象者固有の人物特徴情報をそれぞれ取得する人物特徴取得手段と、
この人物特徴取得手段により取得された各人物特徴情報により当該人物特徴情報を取得した撮像手段とは別の箇所に設置された撮像手段との間で人物の対応関係を取得する人物追跡手段と、
この人物追跡手段により取得された人物追跡情報に基づき前記顔特徴抽出手段により抽出された各顔特徴情報に対してそれぞれ確信度を設定する確信度設定手段と、
あらかじめ対象者の顔画像から得られる個人の顔特徴情報が登録されている登録情報記憶手段と、
前記顔特徴抽出手段により抽出された各顔特徴情報を、前記確信度設定手段により設定された確信度の高いものから順に前記登録情報記憶手段に登録された顔特徴情報と照合することにより両顔特徴情報の類似度を算出し、類似性の高い少なくとも１つ以上の顔特徴情報を検索する顔検索手段と、
この顔検索手段の検索結果を出力する出力手段と、
を具備したことを特徴とする人物検索装置。
【請求項１４】
前記顔検索手段は、前記確信度設定手段により設定された確信度があらかじめ定められた所定値以下の場合、当該顔特徴情報に対する検索処理を実行しないことを特徴とする請求項１３記載の人物検索装置。
【請求項１５】
複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索方法において、
複数の撮像手段を用いて複数箇所の対象者から少なくとも顔を含む画像を取得する撮像ステップと、
この撮像ステップにおいて前記複数の撮像手段により取得された画像からそれぞれ顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された各顔領域の画像からそれぞれ個人の顔特徴情報を抽出出する顔特徴抽出ステップと、
前記顔検出ステップにより検出された各顔領域の画像から前記顔特徴抽出ステップにより抽出される各顔特徴情報の品質を示す顔特徴品質情報をそれぞれ取得する顔特徴品質取得ステップと、
この顔特徴品質取得ステップにより取得された各顔特徴品質情報に基づき当該各顔特徴情報に対してそれぞれ確信度を設定する確信度設定ステップと、
前記顔特徴抽出ステップにより抽出された各顔特徴情報を、前記確信度設定ステップにより設定された確信度の高いものから順に、あらかじめ対象者の顔画像から得られる個人の顔特徴情報が登録されている登録情報記憶手段に登録された顔特徴情報と照合することにより両顔特徴情報の類似度を算出し、類似性の高い少なくとも１つ以上の顔特徴情報を検索する顔検索ステップと、
この顔検索手段の検索結果を出力する出力ステップと、
を具備したことを特徴とする人物検索方法。
【請求項１６】
複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索方法において、
複数の撮像手段を用いて複数箇所の対象者から少なくとも顔を含む画像を取得する撮像ステップと、
この撮像ステップにおいて前記複数の撮像手段により取得された画像からそれぞれ顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された各顔領域の画像からそれぞれ個人の顔特徴情報を抽出出する顔特徴抽出ステップと、
前記複数の撮像手段が設置された各位置情報があらかじめ記憶されている位置情報記憶手段に記憶された位置情報に基づき前記顔特徴抽出ステップにより抽出された各顔特徴情報に対してそれぞれ確信度を設定する確信度設定ステップと、
前記顔特徴抽出ステップにより抽出された各顔特徴情報を、前記確信度設定ステップにより設定された確信度の高いものから順に、あらかじめ対象者の顔画像から得られる個人の顔特徴情報が登録されている登録情報記憶手段に登録された顔特徴情報と照合することにより両顔特徴情報の類似度を算出し、類似性の高い少なくとも１つ以上の顔特徴情報を検索する顔検索ステップと、
この顔検索ステップの検索結果を出力する出力ステップと、
を具備したことを特徴とする人物検索方法。
【請求項１７】
複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索方法において、
複数の撮像手段を用いて複数箇所の対象者から少なくとも顔を含む画像を取得する撮像ステップと、
この撮像ステップにおいて前記複数の撮像手段により取得された画像からそれぞれ顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された各顔領域の画像からそれぞれ個人の顔特徴情報を抽出出する顔特徴抽出ステップと、
前記顔検出ステップにより検出された各顔領域の画像から当該対象者固有の人物特徴情報をそれぞれ取得する人物特徴取得ステップと、
この人物特徴取得ステップにより取得された各人物特徴情報により当該人物特徴情報を取得した撮像手段とは別の箇所に設置された撮像手段との間で人物の対応関係を取得する人物追跡ステップと、
この人物追跡ステップにより取得された人物追跡情報に基づき前記顔特徴抽出ステップにより抽出された各顔特徴情報に対してそれぞれ確信度を設定する確信度設定ステップと、
前記顔特徴抽出ステップにより抽出された各顔特徴情報を、前記確信度設定ステップにより設定された確信度の高いものから順に、あらかじめ対象者の顔画像から得られる個人の顔特徴情報が登録されている登録情報記憶手段に登録された顔特徴情報と照合することにより両顔特徴情報の類似度を算出し、類似性の高い少なくとも１つ以上の顔特徴情報を検索する顔検索ステップと、
この顔検索ステップの検索結果を出力する出力ステップと、
を具備したことを特徴とする人物検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを用いて複数箇所の対象者（人物）から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置および人物検索方法に関する。
【背景技術】
【０００２】
一般に、この種の人物検索装置では、あらかじめ検索対象者の登録処理を行なう。この登録処理を行なう場合、検索対象としたい人物（以下、対象者ともいう）の少なくとも顔を含む画像をカメラやセンサなどの撮像手段を用いて取得し、この取得した画像から個人の顔特徴情報を抽出し、この抽出した顔特徴情報を登録情報（辞書情報）として登録情報記憶手段に登録（記憶）しておく。
【０００３】
そして、検索処理を行なう場合、対象者から少なくとも顔を含む画像をカメラやセンサなどの撮像手段を用いて取得し、この取得した画像から個人の顔特徴情報を抽出し、この抽出した顔特徴情報を登録情報記憶手段にあらかじめ登録された顔特徴情報と照合することにより両顔特徴情報の類似度を求め、類似性の高い順に上位数名を検索結果として出力（たとえば、表示）する技術が公知である。
【０００４】
たとえば、歩行中の人物を対象に顔特徴情報を取得することにより、対象者が立ち止まる必要がなく、利便性の向上した歩行者顔認証装置が開発されている（たとえば、特許文献１参照）。
【０００５】
また、複数の撮像手段を利用するように拡張し、第１の認証手段では処理対象領域の絞込み、検索候補の絞込み、画質の判定を行ない、第２の認証手段では絞込み領域のみでの処理、絞込み候補のみからの検索、フラッシュ制御による画質補正など、第１の認証手段の認証結果に基づいて撮像・認証処理を制御する認証システムが開発されている（たとえば、特許文献２参照）。
【特許文献１】特開２００５−５３３８５号公報
【特許文献２】特開２００５−１００３６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
複数の撮像手段を用いて複数箇所の対象者を撮像して検索するシステムでは、検索要求が発生した順に顔特徴情報を検索処理手段に送信して検索処理を行なう。しかし、検索処理手段の計算能力が充分でない場合は、ある一定時間内に検索処理することができず、検索の応答時間が長くなってしまうという問題が発生する。
【０００７】
そこで、本発明は、入力された顔特徴情報の品質に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる人物検索装置および人物検索方法を提供することを目的とする。
【０００８】
また、本発明は、撮像手段の位置情報に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる人物検索装置および人物検索方法を提供することを目的とする。
【０００９】
また、本発明は、対象者の追跡状態に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる人物検索装置および人物検索方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の人物検索装置は、複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置において、複数箇所において、対象者の少なくとも顔を含む画像を取得する複数の撮像手段と、この複数の撮像手段により取得された画像からそれぞれ顔領域を検出する顔検出手段と、この顔検出手段により検出された各顔領域の画像からそれぞれ個人の顔特徴情報を抽出出する顔特徴抽出手段と、前記顔検出手段により検出された各顔領域の画像から前記顔特徴抽出手段により抽出される各顔特徴情報の品質を示す顔特徴品質情報をそれぞれ取得する顔特徴品質取得手段と、この顔特徴品質取得手段により取得された各顔特徴品質情報に基づき当該各顔特徴情報に対してそれぞれ確信度を設定する確信度設定手段と、あらかじめ対象者の顔画像から得られる個人の顔特徴情報が登録されている登録情報記憶手段と、前記顔特徴抽出手段により抽出された各顔特徴情報を、前記確信度設定手段により設定された確信度の高いものから順に前記登録情報記憶手段に登録された顔特徴情報と照合することにより両顔特徴情報の類似度を算出し、類似性の高い少なくとも１つ以上の顔特徴情報を検索する顔検索手段と、この顔検索手段の検索結果を出力する出力手段とを具備している。
【００１１】
また、本発明の人物検索装置は、複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置において、複数箇所において、対象者の少なくとも顔を含む画像を取得する複数の撮像手段と、この複数の撮像手段により取得された画像からそれぞれ顔領域を検出する顔検出手段と、この顔検出手段により検出された各顔領域の画像からそれぞれ個人の顔特徴情報を抽出出する顔特徴抽出手段と、前記複数の撮像手段が設置された各位置情報があらかじめ記憶されている位置情報記憶手段と、この位置情報記憶手段に記憶された位置情報に基づき前記顔特徴抽出手段により抽出された各顔特徴情報に対してそれぞれ確信度を設定する確信度設定手段と、あらかじめ対象者の顔画像から得られる個人の顔特徴情報が登録されている登録情報記憶手段と、前記顔特徴抽出手段により抽出された各顔特徴情報を、前記確信度設定手段により設定された確信度の高いものから順に前記登録情報記憶手段に登録された顔特徴情報と照合することにより両顔特徴情報の類似度を算出し、類似性の高い少なくとも１つ以上の顔特徴情報を検索する顔検索手段と、この顔検索手段の検索結果を出力する出力手段とを具備している。
【００１２】
また、本発明の人物検索装置は、複数の撮像手段を用いて複数箇所の対象者から顔画像を取得し、この取得した各顔画像から得られる顔特徴情報に対して、それぞれ、あらかじめ登録された少なくとも１つ以上の顔特徴情報の中から類似した顔特徴情報を検索することにより前記対象者と類似した人物を検索する人物検索装置において、複数箇所において、対象者の少なくとも顔を含む画像を取得する複数の撮像手段と、この複数の撮像手段により取得された画像からそれぞれ顔領域を検出する顔検出手段と、この顔検出手段により検出された各顔領域の画像からそれぞれ個人の顔特徴情報を抽出出する顔特徴抽出手段と、前記顔検出手段により検出された各顔領域の画像から当該対象者固有の人物特徴情報をそれぞれ取得する人物特徴取得手段と、この人物特徴取得手段により取得された各人物特徴情報により当該人物特徴情報を取得した撮像手段とは別の箇所に設置された撮像手段との間で人物の対応関係を取得する人物追跡手段と、この人物追跡手段により取得された人物追跡情報に基づき前記顔特徴抽出手段により抽出された各顔特徴情報に対してそれぞれ確信度を設定する確信度設定手段と、あらかじめ対象者の顔画像から得られる個人の顔特徴情報が登録されている登録情報記憶手段と、前記顔特徴抽出手段により抽出された各顔特徴情報を、前記確信度設定手段により設定された確信度の高いものから順に前記登録情報記憶手段に登録された顔特徴情報と照合することにより両顔特徴情報の類似度を算出し、類似性の高い少なくとも１つ以上の顔特徴情報を検索する顔検索手段と、この顔検索手段の検索結果を出力する出力手段とを具備している。
【発明の効果】
【００１３】
本発明によれば、入力された顔特徴情報の品質に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる人物検索装置および人物検索方法を提供できる。
【００１４】
また、本発明によれば、撮像手段の位置情報に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる人物検索装置および人物検索方法を提供できる。
【００１５】
また、本発明によれば、対象者の追跡状態に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる人物検索装置および人物検索方法を提供できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面を参照して説明する。  
まず、本発明の第１の実施の形態について説明する。  
図１は、第１の実施の形態に係る人物検索装置の構成を概略的に示すものである。この人物検索装置は、複数の端末部１０１  〜１０Ｎ  、および、これらの端末部１０１  〜１０Ｎ  がそれぞれ接続される単数のサーバ部２０から構成されている。
【００１７】
複数の端末部１０１  〜１０Ｎ  は、たとえば、対象者（人物）の少なくとも顔を含む画像を撮像する撮像手段としてのビデオカメラ（以降、単にカメラと略称する）１０１、顔検出手段としての顔検出部１０２、および、顔特徴抽出手段および顔特徴品質取得手段としての顔特徴抽出部１０３を有して構成されている。
【００１８】
サーバ部２０は、確信度設定手段としての確信度設定部１０４、登録情報記憶手段としての顔登録情報記憶部１０５、顔検索手段としての顔検索部１０６、出力手段としての表示部１０７および通知部１０８を有して構成されている。
【００１９】
以下、各構成要素について詳細に説明する。  
カメラ１０１は、対象者から検索用の少なくとも顔を含む画像を取得するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。カメラ１０１で取得された画像は、たとえば、横方向に５１２画素、縦方向に５１２画素のデジタル濃淡画像データとして顔検出部１０２に送られる。
【００２０】
顔検出部１０２は、カメラ１０１で撮像された画像から対象者の顔領域を検出する。これは、たとえば、文献（福井，山口．”形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論，（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−Ｈ，Ｎｏ．８，ｐｐ．２１７０−２１７７，１９９７）に記載されている方法などを用いることで、精度の高い顔領域の検出が実現可能である。検出された顔領域情報は顔特徴抽出部１０３に送られる。
【００２１】
顔特徴抽出部１０３は、検索時に利用する特徴量を抽出するもので、たとえば、顔検出部１０２から得られる顔領域情報から、顔の特徴点を基準に一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらのデータから特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列
【数１】
2008197904.tif 000003
と対角化して、固有ベクトルの行列Φを求める。この部分空間は、人物の検索を行なうための顔特徴情報として利用する。この顔特徴情報をあらかじめ登録しておいて、それを辞書情報として登録しておけばよい。また、後で述べるように、検索を行なうための顔特徴情報として部分空間自身を利用してもよい。抽出された顔特徴情報は顔検索部１０６へ送られる。
【００２２】
また、顔特徴抽出部１０３は、顔特徴情報を抽出する際に顔特徴品質情報を求める。顔特徴品質情報は、たとえば、顔検出枚数、顔の向き、顔画像を形成する画素値の飽和率（白とび率、黒つぶれ率）などを利用する。顔の向きに関しては、顔検出部１０２で取得できる特徴点座標と３Ｄモデルとの対応付けを行なうことにより推測が可能である。求められた顔特徴品質情報は確信度設定部１０４に送られる。
【００２３】
確信度設定部１０４は、複数の端末部１０１  〜１０Ｎ  の各顔特徴抽出部１０３から取得した顔特徴品質情報に基づき、複数の端末部１０１  〜１０Ｎ  の各顔特徴抽出部１０３より取得した顔特徴情報に対してそれぞれ確信度を設定する。設定された確信度情報は顔検索部１０６に送られる。
【００２４】
ここに、上記確信度の設定方法は、たとえば、顔特徴品質情報として顔検出枚数を利用した場合、顔検出枚数が多いものから順に高い確信度を設定する方法、逆に顔検出枚数が少ないものから順に高い確信度を設定する方法などが考えられる。顔検出枚数の多いものから順に高い確信度を設定するのは、検索に成功する可能性が高い試行を優先して検索したい場合である。一方、顔検出枚数の少ないものから順に高い確信度を設定するのは、顔検出枚数の少なくなる傾向の挙動不審者などを優先して検索したい場合である。
【００２５】
また、顔特徴品質情報として顔の向きを利用した場合、正面顔に近いものから順に高い確信度を設定する方法、逆に正面顔に遠いものから順に高い確信度を設定する方法などが考えられる。正面顔に近いものから順に高い確信度を設定するのは、検索に成功する可能性が高い試行を優先して検索したい場合である。一方、正面顔に遠いものから順に高い確信度を設定するのは、正面顔に遠いものになる傾向の挙動不審者などを優先して検索したい場合である。
【００２６】
さらに、顔特徴品質情報として画素値の飽和率を利用した場合、画素値の飽和率の低いものから順に高い確信度を設定する方法が考えられる。画素値の飽和率の低いものから順に高い確信度を設定するのは、検索に成功する可能性が高い試行を優先して検索したい場合である。
【００２７】
顔登録情報記憶部１０５は、あらかじめ対象者の顔画像から得られる個人の顔特徴情報が顔登録情報として保持（記憶）し、入力された顔特徴情報との類似度を計算できるようにしている。保持された顔登録情報は必要に応じて顔検索部１０６に出力される。
【００２８】
顔検索部１０６は、顔登録情報記憶部１０５に記憶されている顔登録情報を辞書情報とし、顔特徴抽出部１０３から取得した顔特徴情報との類似度を計算する。この処理には、たとえば、文献（山口．福井．前田，”動画像を用いた顔認識システム”，信学技報ＰＲＭＵ９７−５０，ｐｐ．１７−２３，１９９７−０６）に記載されている相互部分空間法を用いることで実現可能である。
【００２９】
検索処理は、たとえば、図２（ａ）に示すように、確信度設定部１０４により設定された確信度の高いものから順に実行する方法、確信度設定部１０４により設定された確信度があらかじめ定められた所定値以下の場合は検索処理を実行しない方法などが考えられる。得られた顔検索結果は表示部１０７および通知部１０８に送られる。  
なお、図２（ｂ）は、比較として従来の検索処理実行例を模式的に示している。
【００３０】
表示部１０７は、当該人物検索装置の管理者に対して、顔検索部１０６により得られた顔検索結果を表示するものであり、たとえば、液晶表示器またはＣＲＴ表示器などから構成されている。表示内容としては、たとえば、図３に示すように、顔検索結果として類似性の高い順に上位１０名の顔画像を表示する。
【００３１】
通知部１０８は、当該人物検索装置の管理者に対して、顔検索部１０６により得られた顔検索結果を確実に通知するものであり、たとえば、警報装置または携帯端末装置などから構成される。通知方法としては、たとえば、警報装置であれば特定人物の検索に成功した場合に警報を鳴らして管理者に通知する。
【００３２】
以上説明したように、第１の実施の形態によれば、入力された顔特徴情報の品質に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる。
【００３３】
次に、第２の実施例の形態について説明する。
【００３４】
図４は、第２の実施の形態に係る人物検索装置の構成を概略的に示すものである。この人物検索装置は、前述した第１の実施の形態と同様に、複数の端末部１０１  〜１０Ｎ  、および、単数のサーバ部２０から構成されている。
【００３５】
複数の端末部１０１  〜１０Ｎ  は、たとえば、対象者（人物）の少なくとも顔を含む画像を撮像する撮像手段としてのカメラ２０１、顔検出手段としての顔検出部２０２、および、顔特徴抽出手段としての顔特徴抽出部２０３を有して構成されている。
【００３６】
サーバ部２０は、位置情報記憶手段としての撮像位置情報記憶部２０４、位置情報設定手段としての撮像位置情報設定部２０５、確信度設定手段としての確信度設定部２０６、登録情報記憶手段としての顔登録情報記憶部２０７、顔検索手段としての顔検索部２０８、出力手段としての表示部２０９および通知部２１０を有して構成されている。
【００３７】
以下、各構成要素について詳細に説明するが、カメラ２０１、顔検出部２０２、顔登録情報記憶部２０７、表示部２０９および通知部２１０については、前述した第１の実施の形態におけるカメラ１０１、顔検出部１０２、顔登録情報記憶部１０５、表示部１０７および通知部１０８と同一であるため説明は省略する。
【００３８】
顔特徴抽出部２０３は、検索時に利用する特徴量を抽出するもので、第１の実施の形態における顔特徴抽出部１０３と同じ方法で顔特徴情報を抽出できる。抽出された顔特徴情報は顔検索部２０７へ送られる。
【００３９】
撮像位置情報記憶部２０４は、複数の端末部１０１  〜１０Ｎ  における各カメラ２０１が設置された位置情報をあらかじめ記憶している。記憶された位置情報は確信度設定部２０６に送られる。
【００４０】
撮像位置情報設定部２０５は、撮像位置情報記憶部２０４に対し位置情報を設定したり、撮像位置情報記憶部２０４に記憶されている位置情報を更新したりするもので、たとえば、注目位置情報や位置関係情報などを更新する。
【００４１】
確信度設定部２０６は、撮像位置情報記憶部２０４から取得した位置情報に基づき、複数の端末部１０１  〜１０Ｎ  の各顔特徴抽出部２０３から取得した顔特徴情報に対してそれぞれ確信度を設定する。設定された確信度情報は顔検索部２０８に送られる。
【００４２】
ここに、上記確信度の設定方法は、たとえば、位置情報として一番注目したいカメラの位置情報を利用した場合、その注目位置情報で指定されるカメラに対して高い確信度を設定する方法が考えられる。これは、セキュリティレベルの高い場所における検索結果を優先して取得したい場合などでの利用が考えられる。
【００４３】
また、位置情報としてカメラの位置関係情報を利用した場合、検索要求が発生している場所に隣接するカメラに対して高い確信度を設定する方法が考えられる。具体的には、たとえば、図５に示すように、地点Ｅのカメラにより取得した顔特徴情報を利用して検索処理に失敗した場合、隣接する地点Ｂ、地点Ｇ、地点Ｈのカメラに対して高い確信度を設定する。これは、検索に失敗した人物が再度現れる可能性の高いのカメラの優先度をあげてリトライ結果を優先して取得したい場合などでの利用が考えられる。この場合、顔検索部２０８から顔検索結果を取得して確信度の設定を行なう。
【００４４】
顔検索部２０８は、顔登録情報記憶部２０７に記憶されている顔登録情報を辞書情報とし、顔特徴抽出部２０３から取得した顔特徴情報との類似度を計算するもので、前述した第１の実施の形態における顔検索部１０６と同じ方法で顔検索結果を取得できる。得られた顔検索結果は確信度設定部２０６、表示部２０９、通知部２１０に送られる。
【００４５】
以上説明したように、第２の実施の形態によれば、カメラの位置情報に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる。
【００４６】
次に、第３の実施例の形態について説明する。
【００４７】
図６は、第３の実施の形態に係る人物検索装置の構成を概略的に示すものである。この人物検索装置は、前述した第１の実施の形態と同様に、複数の端末部１０１  〜１０Ｎ  、および、単数のサーバ部２０から構成されている。
【００４８】
複数の端末部１０１  〜１０Ｎ  は、たとえば、対象者（人物）の少なくとも顔を含む画像を撮像する撮像手段としてのカメラ３０１、顔検出手段としての顔検出部３０２、および、顔特徴抽出手段としての顔特徴抽出部３０３を有して構成されている。
【００４９】
サーバ部２０は、人物追跡手段としての人物追跡部３０４、確信度設定手段としての確信度設定部３０５、登録情報記憶手段としての顔登録情報記憶部３０６、顔検索手段としての顔検索部３０７、出力手段としての表示部３０８および通知部３０９を有して構成されている。
【００５０】
以下、各構成要素について詳細に説明するが、カメラ３０１、顔検出部３０２、顔登録情報記憶部３０６、表示部３０８および通知部３０９については、前述した第１の実施の形態におけるカメラ１０１、顔検出部１０２、顔登録情報記憶部１０５、表示部１０７および通知部１０８と同一であるため説明は省略する。
【００５１】
顔特徴抽出部３０３は、検索時に利用する特徴量を抽出するもので、第１の実施の形態における顔特徴抽出部１０３と同じ方法で顔特徴情報を抽出できる。抽出された顔特徴情報は顔検索部３０７へ送られる。
【００５２】
また、顔特徴抽出部３０３は、顔特徴情報を抽出する際に人物特徴情報を求める。人物特徴情報は、たとえば、図７（ａ）に示すように、画像中の人物の存在する領域Ｅ２を検出された顔領域Ｅ１から推定し、その人物領域Ｅ２内の色ヒストグラム（図７（ｂ）参照）を利用する。求められた人物特徴情報は人物追跡部３０４に送られる。
【００５３】
人物追跡部３０４は、過去に検索済みの人物特徴情報を保持しておき、この保持してある過去に検索済みの人物特徴情報と顔特徴抽出部３０３から取得した人物特徴情報との対応関係を求める。この対応関係の算出方法は、たとえば、人物特徴情報として色ヒストグラムを用いた場合、２つの人物特徴情報間の類似度Ｓを下記数２のように定義する。
【数２】
2008197904.tif 000004
こうして求めた類似度Ｓがあらかじめ定められた所定の閾値以上であれば同一の人物とし、所定の閾値未満であれば異なる人物として人物追跡情報を取得する。取得した人物追跡情報は確信度設定部３０５に送られる。
【００５４】
確信度設定部３０５は、人物追跡部３０４から取得した人物追跡情報、顔検索部３０７から取得した顔検索結果に基づき、複数の端末部１０１  〜１０Ｎ  の各顔特徴抽出部３０３から取得した顔特徴情報に対してそれぞれ確信度を設定する。設定された確信度情報は顔検索部３０７に送られる。
【００５５】
ここに、上記確信度の設定方法は、たとえば、検索処理に失敗したが追跡に成功している顔特徴情報に対し高い確信度を設定する方法、検索処理に成功しかつ追跡に成功している顔特徴情報に対し低い確信度を設定する方法などが考えられる。前者については、検索に失敗した人物を追跡して再度検索を行なうことができ、リトライ結果を優先して取得したい場合での利用が考えられる。後者は、再度検索を行なう必要のない人物を追跡しておき、他の検索結果を優先して取得したい場合での利用が考えられる。
【００５６】
顔検索部３０７は、顔登録情報記憶部３０６に記憶されている顔登録情報を辞書情報とし、顔特徴抽出部３０３から取得した顔特徴情報との類似度を計算するもので、前述した第１の実施の形態における顔検索部１０６と同じ方法で顔検索結果を取得できる。得られた顔検索結果は人物追跡部３０４、確信度設定部３０５、表示部３０８、通知部３０９に送られる。
【００５７】
以上説明したように、第３の実施の形態によれば、対象者の追跡状態に応じて確信度を設定し、確信度の高い順に検索処理を実行することで、検索の応答時間を短くすることができる。
【００５８】
なお、前記実施の形態では、端末部に顔検出部および顔特徴抽出部を設けた場合について説明したが、たとえば、端末部に顔検出部を設け、サーバ部に顔特徴抽出部を設けてもよく、また、端末部はカメラのみとし、サーバ部に顔検出部および顔特徴抽出部を設けてもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施の形態に係る人物検索装置の構成を概略的に示すブロック図。
【図２】第１の実施例における確信度に応じた検索処理実行に関する説明図。
【図３】第１の実施例における顔検索結果の表示例を示す模式図。
【図４】本発明の第２の実施の形態に係る人物検索装置の構成を概略的に示すブロック図。
【図５】第２の実施例における確信度の設定に関する説明図。
【図６】本発明の第３の実施の形態に係る人物検索装置の構成を概略的に示すブロック図。
【図７】第３の実施例における人物特徴情報に関する説明図。
【符号の説明】
【００６０】
１０１  〜１０Ｎ  …端末部、２０…サーバ、１０１，２０１，３０１…ビデオカメラ（撮像手段）、１０２，２０２，３０２…顔検出部（顔検出手段）、１０３，２０３，３０３…顔特徴抽出部（顔特徴抽出手段）、１０４，２０６，３０５…確信度設定部（確信度設定手段）、１０５，２０７，３０６…顔登録情報記憶部（登録情報記憶手段）、１０６，２０８，３０７…顔検索部（顔検索手段）、１０７，２０９，３０８…表示部（出力手段）、１０８，２１０，３０９…通知部（出力手段）、２０４…撮像位置情報記憶部（位置情報記憶手段）、２０５…撮像位置情報設定部（位置情報設定手段）、３０４…人物追跡部（人物追跡手段）。
【図１】
2008197904.tif 000005
【図２】
2008197904.tif 000006
【図３】
2008197904.tif 000007
【図４】
2008197904.tif 000008
【図５】
2008197904.tif 000009
【図６】
2008197904.tif 000010
【図７】
2008197904.tif 000011