(57)【要約】【課題】  拡張性が高く、効率的な運用を行うことができ、さらには、ネットワーク負荷を軽減し、セキュリティ性を向上することができるシステムを提供できる。【解決手段】  入力端末とサーバと有するシステムであって、サーバのデータベースには検索対象となる複数の人物の顔の特徴データを登録しておき、入力端末が顔画像から顔の特徴データを生成し、顔画像データではなく、顔画像データから抽出された顔の特徴データを入力端末からサーバへ送信し、サーバが入力端末から受信された顔の特徴データにより照合処理を行うようにしている。【選択図】      図１
2006293842.tif 000002
【特許請求の範囲】
【請求項１】
端末機器と、サーバ装置とを有する検索システムにおいて、
前記端末機器は、
特徴量を含むデータを入力するデータ入力手段と、
このデータ入力手段により取得したデータから特徴データを生成する特徴データ生成手段と、
この特徴データ生成手段により生成した特徴データをサーバ装置に送信するデータ送信手段と、を有し、
前記サーバ装置は、
予め特定の特徴データが記憶されている記憶手段と、
前記端末機器からの送信された特徴データを受信するデータ受信手段と、
このデータ受信手段により受信した特徴データと所定の基準値以上類似している特徴データを前記記憶手段に記憶されている特徴データから検索する検索手段と、を有する、
ことを特徴とする検索システム。
【請求項２】
端末機器とサーバ装置とを有する検索システムにおいて、
前記端末機器は、
人物の生体情報を含むデータを取得するデータ入力手段と、
このデータ入力手段により取得したデータから生体情報を抽出する生成情報抽出手段と、
この生成情報抽出手段により抽出した生体情報から生体情報の特徴を示す特徴データを生成する特徴データ生成手段と、
この特徴データ生成手段により生成した特徴データをサーバ装置に送信するデータ送信手段と、を有し、
前記サーバ装置は、
登録者の生体情報の特徴データが記憶されている記憶手段と、
前記端末機器からの送信された特徴データを受信するデータ受信手段と、
このデータ受信手段により受信した特徴データと所定の基準以上類似している特徴データを前記記憶手段に記憶されている登録者の生体情報の特徴データから検索する検索手段と、を有する、
ことを特徴とする検索システム。
【請求項３】
端末機器とサーバ装置とを有する検索システムにおいて、
前記端末機器は、
人物の生体情報を含むデータを取得するデータ入力手段と、
このデータ入力手段により取得したデータから生体情報を抽出する生成情報抽出手段と、
この生成情報抽出手段により抽出した生体情報から生体情報の特徴を示す特徴データを生成する特徴データ生成手段と、
前記データ入力手段により入力したデータに含まれる生体情報の人物の個人情報を取得する個人情報入力手段と、
前記特徴データ生成手段により生成した特徴データと前記個人情報入力手段により取得した個人情報とをサーバ装置に送信するデータ送信手段と、を有し、
前記サーバ装置は、
登録者の生体情報の特徴データと個人情報とを対応づけて記憶している記憶手段と、
前記端末機器からの送信された特徴データと個人情報とを受信するデータ受信手段と、
前記データ受信手段により受信した個人情報に基づいて前記記憶手段に記憶されている登録者の生体情報の特徴データから検索対象とする特徴データを絞り込む絞込手段と、
前記データ受信手段により前記端末機器から受信した特徴データに対して所定の基準以上類似している特徴データを前記絞込手段により絞り込んだ特徴データから検索する検索手段と、を有する、
ことを特徴とする検索システム。
【請求項４】
前記生体情報は、人物の顔画像であり、前記生体情報の特徴データは、各個人の顔の特徴を示す特徴データである、
ことを特徴とする前記請求項２又は３に記載の検索システム。
【請求項５】
さらに、上記サーバ装置の検索手段による検索結果を受信し、受信した検索結果を表示する第２の端末機器を有する、
ことを特徴とする前記請求項２又は３に記載の検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、人物の顔などの生成情報を含むデータを取得し、取得したデータから顔画像などの生成情報を検出し、検出した顔画像などの生成情報と一致する生成情報の人物をデータベースから検索する検索システムに関する。
【背景技術】
【０００２】
近年、顔画像などの生体情報を用いて人物を認証あるいは検索する装置やシステムが提案されている。たとえば、顔画像を用いて人物を検索する顔検索システムでは、入力された画像に含まれる顔画像と予めデータベースに登録されている顔画像とを照合することにより、入力された画像に含まれる顔の人物を検索するものがある。
【０００３】
たとえば、特開２００４−２５８７６４号公報では、ＬＡＮを介して複数の装置間で顔画像をやり取りし、１：Ｎの顔照合を行うシステムについて記載されている。このシステムでは、まず、撮影・照合機が撮影した画像から顔画像を抽出し、この顔画像をＬＡＮ経由でオペレータ用の端末へ送信する。オペレータ用端末では照合対象とする顔画像をオペレータが指定し、指定された顔画像を撮影・照合機へ返送する。顔撮影・照合機では、端末から返送された顔画像から顔特徴量を抽出し、抽出した顔特徴量と予め登録済みのＮ個の顔特徴量と１：Ｎの照合処理を行い、その照合結果を表示機にＬＡＮ経由で送付する。すなわち、上記システムは、画像取得、顔検出、特徴量抽出、顔照合が１つの装置内で実施されていて、実質的なスタンドアロン構成となっている。
【０００４】
しかしながら、上述した従来技術では、以下の（１）〜（３）のような問題点がある。
【０００５】
（１）顔撮影・照合機が実質的にはスタンドアロン構成であるため、ＤＢ顔情報の登録数が多くなるほど装置の規模が大きくなる。
【０００６】
（２）顔撮影・照合機の規模が大きくなるため、設置性の融通が利かなくなり、顔画像を撮影する装置の設置性の自由度が奪われる。
【０００７】
（３）１つのデータベースに記憶している顔情報を複数の装置で利用したい場合であっても、顔画像を撮影する装置の拡張数に制限が生じる。
【０００８】
また、特開２００４−３１８４０９号公報では、端末機器で撮影した顔画像とＩＤカードに保存された顔画像及び個人情報（氏名等）を、ＬＡＮを介して接続されているサーバへ転送し、サーバが顔照合処理を行うものが記載されている。このシステムでは、サーバが端末機器からＬＡＮ経由で転送された個人情報により人物を特定し、当該人物の登録済みの顔画像を端末機器からＬＡＮ経由で転送された顔画像と１：１の照合処理を行い、その照合結果を端末にＬＡＮ経由で返し、端末上がサーバからの照合結果を表示する。また、上記システムでは、顔画像として再生可能な画像データ（例えばビットマップファイル）、個人情報及び照合結果などがＬＡＮ上を転送される。
【０００９】
しかしながら、上述した従来技術では、以下の（１）〜（４）のような問題点がある。
【００１０】
（１）１人分の顔画像データ量が数十キロバイト以上となるため、データベースに顔情報を登録する登録者数が多くなるほどＤＢ容量が増大する。
【００１１】
（２）端末数が増大した場合、あるいは、１つの端末からの顔検索要求が増大した場合、ネットワークの転送情報量が増大する。
【００１２】
（３）サーバ側の顔検索アルゴリズムでは、顔画像から顔特徴量にデータ変換する必要があり、ＤＢ顔情報の登録数が多くなったり、端末数が増大したり、１つの端末からの顔検索要求が増大するほど、検索処理の時間が長くなる。
【００１３】
（４）ネットワーク上に画像として再生可能な画像データが流れることで、盗聴による情報漏洩の危険が生じる。
【特許文献１】特開２００４−２５８７６４号公報
【特許文献２】特開２００４−３１８４０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
この発明は、上記のような問題点を解決するものであり、効率的な運用を行うことができ、拡張性あるいはセキュリティ性が高い検索システムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
この発明の一形態としての検索システムは、端末機器とサーバ装置とを有するシステムであって、前記端末機器は、特徴量を含むデータを入力するデータ入力手段と、このデータ入力手段により取得したデータから特徴データを生成する特徴データ生成手段と、この特徴データ生成手段により生成した特徴データをサーバ装置に送信するデータ送信手段とを有し、前記サーバ装置は、予め特定の特徴データが記憶されている記憶手段と、前記端末機器からの送信された特徴データを受信するデータ受信手段と、このデータ受信手段により受信した特徴データと所定の基準値以上類似している特徴データを前記記憶手段に記憶されている特徴データから検索する検索手段とを有する。
【００１６】
この発明の一形態としての検索システムは、端末機器とサーバ装置とを有するシステムであって、前記端末機器は、人物の生体情報を含むデータを取得するデータ入力手段と、このデータ入力手段により取得したデータから生体情報を抽出する生成情報抽出手段と、この生成情報抽出手段により抽出した生体情報から生体情報の特徴を示す特徴データを生成する特徴データ生成手段と、この特徴データ生成手段により生成した特徴データをサーバ装置に送信するデータ送信手段とを有し、前記サーバ装置は、登録者の生体情報の特徴データが記憶されている記憶手段と、前記端末機器からの送信された特徴データを受信するデータ受信手段と、このデータ受信手段により受信した特徴データと所定の基準以上類似している特徴データを前記記憶手段に記憶されている登録者の生体情報の特徴データから検索する検索手段とを有する。
【発明の効果】
【００１７】
この発明は、上記のような問題点を解決するものであり、効率的な運用を行うことができ、拡張性あるいはセキュリティ性が高い検索システムを提供することを目的とする。
【発明を実施するための最良の形態】
【００１８】
この発明を実施するための最良の形態について図面を参照しつつ説明する。  
まず、この発明の第１の実施の形態について説明する。  
図１は、本第１の実施の形態に係る顔検索システムの構成例を概略的に示すものである。この顔検索システムは、図１に示すように、画像入力装置１、入力端末２、サーバ３、出力端末４などにより構成される。上記画像入力装置１は、上記入力端末２に接続されている。また、上記入力端末２、サーバ３および出力端末４は、ＬＡＮなどのネットワークにより接続されている。なお、上記入力端末２と上記出力端末４とは、同一に端末機器により構成されるようにしても良い。
【００１９】
まず、上記画像入力装置１について説明する。  
上記画像入力装置１は、動画または静止画の画像を入力する装置であり、たとえば、ビデオカメラや画像スキャナなどにより構成される。また、上記画像入力装置１は、人物の顔画像（少なくとも顔を含んでいる画像）を入力する画像入力手段として機能する。また、人物の顔画像を撮影するためのビデオカメラとして画像入力装置１が設置される場合、上記画像入力装置１は、撮影中の画像や案内などを表示する表示部、および、明るさが不測している環境において被撮影者などを照明する補助照明などを有するユーザインターフェース装置に組み込まれて構成されるようにしても良い。
【００２０】
次に、上記入力端末２について説明する。  
上記入力端末２は、たとえば、コンピュータ等の構成によって実現可能である。すなわち、上記入力端末２は、ハードディスク装置や光ディスク等の記憶媒体に予め記録した種々の制御プログラムを図示しないＣＰＵなどからなる制御部が実行することによって後述するような種々の処理を実現している。
【００２１】
以下、入力端末２の具体的な構成例について図１を参照して詳細に説明する。  
上記入力端末２は、図１に示すように、画像取得手段としての画像取得部２１、顔画像検出手段としての顔検出部２２、特徴量抽出手段としての特徴抽出部２３、および、特徴データ送信部２４を有している。
【００２２】
上記画像取得部２１は、上記画像入力装置１からの画像データを受信するためのインターフェースにより構成される。つまり、上記画像取得部２１は、上記画像入力装置１の構成に応じたインターフェースにより構成される。例えば、上記画像入力装置１がアナログの画像を撮影するカメラである場合、上記画像取得部２１は、画像入力装置１としてのカメラから取得した撮影画像としてのアナログの画像データをＡ／Ｄ変換してデジタル化し、後段の顔検出部２２へ供給するようになっている。
【００２３】
上記顔検出部２２は、上記画像取得部２１から供給された画像から人物の顔の領域を検出し、人物の顔画像として抽出するものである。上記顔検出部２２では、たとえば、あらかじめ用意されたテンプレートと画像中を移動させながら相関値を求めることにより、最も高い相関値をもった場所を顔領域として検出し、その顔領域の画像を顔画像として抽出する。その他、上記顔検出部２２では、顔画像を抽出する方法として、固有空間法や部分空間法を利用した顔領域抽出法などの顔領域の検出方法を用いるようにしても良い。
【００２４】
上記特徴抽出部２３は、上記顔検出部２２にて抽出した顔画像から顔の特徴量を検出し、当該顔画像の特徴データを生成するものである。上記特徴抽出部２３では、上記顔検出部２２にて抽出した顔画像における濃淡情報あるいは部分空間情報などの顔の特徴量を検出して顔の特徴データを生成する。例えば、上記特徴抽出部２３は、上記顔検出部２２にて検出された顔画像から顔の特徴量としての目、鼻の位置を検出する。さらに、上記特徴抽出部２３は、顔画像から検出された顔の特徴量としての目、鼻などの位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として検出する。
【００２５】
また、上記特徴抽出部２３では、ｍピクセル×ｎピクセルの領域における濃淡値を用いて、ｍ×ｎ次元の情報を特徴ベクトルとして抽出し、その特徴ベクトルを特徴量としての顔の特徴データとして生成する。この顔の特徴量を示す特徴データは、上記画像取得部２１が画像入力装置１から取得した画像のデータあるいは上記顔検出部２２が検出した顔画像のデータに比べてデータ量が少ない。たとえば、上記顔検出部２２が検出する顔画像データが数十キロバイトであるのに対して、上記特徴抽出部２３により抽出される顔の特徴データは数キロバイトである。
【００２６】
上記特徴データ送信部２４は、上記特徴抽出部２３により生成された顔の特徴データを上記サーバ３へ送信するものである。上記特徴データ送信部２４は、たとえば、ネットワークインターフェースにより構成される。さらに、上記特徴データ送信部２４には、上記サーバ３へ送信する顔の特徴データなどのデータを暗号化する暗号化機能を設けるようにしても良い。つまり、上記サーバ３が復号化できるように顔の特徴データなどの送信データを暗号化して送信することにより、上記特徴データ送信部２４がサーバ３へ送信するデータのセキュリティ性を向上するさせることができる。
【００２７】
次に、上記サーバ３について説明する。  
上記サーバ３は、たとえば、コンピュータ等の構成によって実現可能である。すなわち、上記サーバ３は、ハードディスク装置や光ディスク等の記憶媒体に予め記録した種々の制御プログラムを図示しないＣＰＵなどからなる制御部が実行することによって後述するような種々の処理を実現している。
【００２８】
以下、上記サーバ３の具体的な構成例について図１を参照して詳細に説明する。  
上記サーバ３は、図１に示すように、特徴データ受信手段としての特徴データ受信部３１、記憶手段としての顔特徴データベース３２、顔検索手段としての顔検索部３３、出力手段としての検索結果送信部３４を有している。
【００２９】
上記特徴データ受信部３１は、上記入力端末２から送信された顔の特徴データを受信するものである。上記特徴データ受信部３１は、たとえば、ネットワークインターフェースにより構成される。さらに、上記特徴データ受信部３１には、上記特徴データ送信部２４の暗号化機能に対応した復号化機能を設けるようにしても良い。つまり、上記入力端末２の特徴データ送信部２４がサーバ３へ送信するデータを暗号化している場合、上記特徴データ受信部３１には、受信したデータを復号化する機能が追加される。
【００３０】
上記顔特徴データベース３２は、ハードディスク装置などの記憶装置により構成される。上記顔特徴データベース３２には、予め登録者の個人情報などに対応づけて登録者の顔画像における顔の特徴データ等が登録されるまた、上記顔特徴データベース３２には、例えば、登録者の顔画像を登録するしておくようにしても良い。
【００３１】
上記顔検索部３３は、上記特徴データ受信部３１により受信した顔の特徴データと上記顔特徴データベース３２に登録されている顔の特徴データとの照合処理を行うものである。上記顔検索部３３では、上記顔特徴データベース３２に登録されている顔の特徴データのうち上記特徴データ受信部３１により受信した顔の特徴データと最も類似する顔の特徴データを登録者を顔の検索結果として出力する。つまり、上記特徴データ受信部３１により受信した顔の特徴データと最も類似度の高い特徴データの登録者が人物の検索結果として出力される。また、所定の類似度以上の特徴データが複数存在する場合、それらの登録者全てを検索結果として出力するようにしても良い。
【００３２】
また、本第１の実施の形態では、上記顔検索部３３における顔画像の照合処理として、上記画像入力装置１により入力した画像から検出した顔画像が上記顔特徴データベース３２に登録されている登録者のうち誰であるか検索（認識）する１対Ｎ照合と呼ばれる処理モード（１対Ｎ照合モード）で認識処理を行う。このような１対Ｎ照合モードでの認識処理では、上記顔検索部３３は、上記入力端末２から供給された特徴データと上記顔特徴データベース３２に登録されている各登録者の顔の特徴データとの照合度を算出し、それらの照合度から最大の照合度を抽出し、その最大照合度が所定の閾値以上である場合に、上記入力端末２から供給された特徴データが当該最大類似度となった特徴データに対応する登録者のものであると判断する。
【００３３】
上記検索結果送信部３４は、上記顔検索部３３による顔の検索結果を示すデータを上記出力端末４へ送信するものである。上記検索結果送信部３４は、たとえば、ネットワークインターフェースにより構成される。なお、上記特徴データ受信部３１と上記検索結果送信部３４とを実現するハードウエアとしては、１つのネットワークインターフェースによって構成されるようにしても良い。また、上記検索結果送信部３４には、上記出力端末４へ送信する検索結果などのデータを暗号化する暗号化機能を設けるようにしても良い。つまり、上記出力端末４が復号化できるように送信データを暗号化して送信することにより、上記検索結果送信部３４が出力端末４へ送信するデータのセキュリティ性を向上するさせることができる。
【００３４】
次に、上記出力端末４について説明する。  
上記出力端末４は、たとえば、コンピュータ等の構成によって実現可能である。すなわち、上記出力端末４は、ハードディスク装置や光ディスク等の記憶媒体に予め記録した種々の制御プログラムを図示しないＣＰＵなどからなる制御部が実行することによって後述するような種々の処理を実現している。また、上記入力端末２と上記出力端末４とを実現するハードウエアとしては、コンピュータなどの１つの機器により構成するようにしても良い。
【００３５】
以下、上記出力端末４の具体的な構成例について図１を参照して詳細に説明する。  
上記出力端末４は、図１に示すように、検索結果受信手段としての検索結果受信部４１、表示手段としての表示部４２を有している。  
上記検索結果受信部４１は、上記サーバ３から送信された顔の特徴データによる顔の検索結果を示すデータを受信するものである。上記検索結果受信部４１は、たとえば、ネットワークインターフェースにより構成される。さらに、上記検索結果受信部４１には、上記検索結果送信部３４の暗号化機能に対応した復号化機能を設けるようにしても良い。つまり、上記サーバ３の検索結果送信部３４が出力端末４へ送信するデータを暗号化している場合、上記検索結果受信部４１には、受信したデータを復号化する機能が追加される。上記表示部４２は、上記検索結果受信部４１により受信した顔の検索結果を表示するものである。
【００３６】
なお、上記した顔検索システムには、運用形態に応じて様々な機構や機能を追加するようにようにしても良い。たとえば、当該顔検索システムを入退出管理システムとして適用する場合、上記サーバ３あるいは出力端末４にドアの開閉機構などの通行制御部を追加し、上記サーバ３の顔検索部３３による顔の検索結果に応じて通行制御部により上記画像入力装置１に顔画像を入力した人物に対する通行を制御することが可能である。これにより、顔画像による入退出管理システムが実現できる。
【００３７】
また、当該顔検索システムを人物監視システムとして適用する場合、顔特徴データベース３２に監視対象とする人物の顔の特徴データを登録しておき、上記サーバ３の顔検索部３３による顔の検索結果として上記画像入力装置１に顔画像を入力した人物が監視対象の人物であれば、上記出力端末４の表示部４２には監視対象の人物が発見された旨を表示することが可能である。これにより、顔画像による人物監視システムが実現できる。
【００３８】
次に、上記のように構成される第１の実施の形態に係る顔検索システムにおける処理の流れについて説明する。  
図２は、第１の実施の形態に係る顔検索システムにおける処理の流れを説明するためのフローチャートである。  
まず、上記画像入力装置１では、人物の顔を含む画像が入力される。例えば、上記画像入力装置１がビデオカメラとして構成される場合、上記画像入力装置１では、人物の顔を含む画像が撮影される。上記画像入力装置１に人物の顔を含む画像が入力されると、上記入力端末２では、上記画像入力装置１に入力された画像を上記画像取得部２１により取得する（ステップＳ１１）。
【００３９】
上記入力端末２の画像取得部２１により取得された画像は、上記顔検出部２２へ供給される。上記顔検出部２２では、上記画像取得部２１にて取得した画像から顔の領域を検出し、検出した顔の領域を顔画像として抽出する（ステップＳ１２）。上記顔検出部２２により抽出された顔画像は、上記特徴抽出部２３へ供給される。上記特徴抽出部２３では、上記顔検出部２２により抽出された顔画像から顔の特徴点などの特徴量を検出し、検出した顔の特徴点などの特徴量に基づいて顔の特徴データを生成する（ステップＳ１３）。
【００４０】
上記特徴抽出部２３により生成された顔の特徴データは、上記特徴データ送信部２４へ供給される。上記特徴データ送信部２４では、上記特徴抽出部２３により生成された顔の特徴データを上記サーバ３へ送信する（ステップＳ１４）。この際、上記サーバ３へ送信するデータを暗号化する場合、上記特徴データ送信部２４は、上記特徴抽出部２３により生成された顔の特徴データを暗号化し、ネットワークを介してサーバ３へ送信する。
【００４１】
上記入力端末２から顔の特徴データが送信されると、上記サーバ３では、上記特徴データ受信部３１により上記入力端末２からの特徴データを受信する（ステップＳ２１）。上記特徴データ受信部３１により受信した特徴データは、上記顔検索部３３へ供給される。なお、上記入力端末２からの特徴データが暗号化されている場合、上記特徴データ受信部３１では、受信した特徴データを復号化して顔検索部３３へ供給する。
【００４２】
上記顔検索部３３では、上記特徴データ受信部３１により受信した特徴データと顔特徴データベース３２に登録されている全ての特徴データとの検索処理（照合処理）を行う（ステップＳ２２）。上記検索処理（照合処理）は、上記特徴データ受信部３１により受信した顔の特徴データと一致する顔の特徴データを上記顔特徴データベース３２から検索する処理である。
【００４３】
たとえば、上記顔検索部３３は、上記特徴データ受信部３１により受信した特徴データと顔特徴データベース３２に登録されている全ての特徴データとの照合度を算出する。これにより算出した照合度のうち最大照合度が所定の閾値以上であれば、上記顔検索部３３は、上記特徴データ受信部３１により受信した特徴データが最大照合度を与える特徴データと一致したものと判断する。この場合、上記顔検索部３３は、検索結果として最大照合度となった特徴データの登録者を示す情報を上記検索結果送信部３４へ出力する。
【００４４】
また、算出した照合度のうち最大の照合度が所定の閾値未満であれば、上記顔検索部３３は、上記特徴データ受信部３１により受信した特徴データと一致する特徴データが顔特徴データベース３２に登録されていないものと判断する。この場合、上記顔検索部３３は、検索結果として該当する登録者がいない旨を示す情報を上記検索結果送信部３４へ出力する。
【００４５】
上記顔検索部３３の検索処理による検索結果は、上記顔検索部３３から検索結果送信部３４へ供給される。上記検索結果送信部３４では、上記顔検索部３３により得られた検索結果を上記出力端末４へ送信する（ステップＳ２３）。この際、上記出力端末４へ送信するデータを暗号化する場合、上記検索結果送信部３４は、上記顔検索部３３により得られた検索結果を暗号化し、ネットワークを介して出力端末４へ送信する。
【００４６】
上記サーバ３から検索結果が送信されると、上記出力端末４では、上記検索結果受信部４１により上記サーバ３からの検索結果を受信する（ステップＳ３１）。上記検索結果受信部４１により受信した検索結果は、上記表示部４２へ供給される。なお、上記サーバ３からの検索結果を示すデータが暗号化されている場合、上記検索結果受信部４１では、受信したデータを復号化して表示部４２へ供給する。また、上記検索結果受信部４１により受信した検索結果が供給された上記表示部４２では、上記検索結果受信部４１から供給された検索結果を表示する（ステップＳ３２）。
【００４７】
上記のように、上記第１の実施の形態に係る顔検索システムでは、入力端末が顔画像から顔の特徴データを生成し、サーバが入力端末から送信された顔の特徴データにより照合処理を行うようにしている。これにより、検索対象としての顔特徴データベースの情報量が増大しても、入力端末の規模には影響を与えずに、入力端末の設置条件を緩和することができる。また、１台のサーバに対して複数の入力端末を接続することが容易であるため、システム構成の拡張性が高くなるとともに、システム設計の自由度が高くなる。
【００４８】
さらに、上記第１の実施の形態に係る顔検索システムでは、入力端末からサーバに送る情報として、顔画像データではなく、顔画像データから抽出された顔の特徴データを送信するようにし、サーバのデータベースには検索対象となる複数の人物の顔の特徴データを登録しておくようにしている。
【００４９】
これにより、入力端末から送信された人物の顔の特徴データと、データベースに記憶されている顔の特徴データを突き合わせて照合する照合処理に要する処理時間を、顔画像を用いた場合の照合処理に要する時間に比べて短縮することが可能となる。これは、顔の特徴データ（例えば数キロバイト）の方が顔画像データ（例えば数十キロバイト）より小さく取り扱いやすいことと、データベースに記憶されている各顔画像から特徴量を抽出する処理時間が省略できるためである。このため、ネットワークに流れる情報量も少なくすることができ、ネットワークにかかる負荷を軽減することも可能となる。
【００５０】
さらに、上記第１の実施の形態に係る顔検索システムでは、入力端末において生成される顔の特徴データは顔画像に復元不可能なデータである。つまり、入力端末では、顔画像から顔特徴データを抽出するためのアルゴリズムとして顔画像に復元不可能な顔の特徴データを生成するものを使用している。これにより、入力端末からサーバへ伝送される情報がネットワーク上で盗聴などにより不正に取得されても、それらの情報が悪用される危険性を低減させることができる。
【００５１】
次に、第２の実施の形態について説明する。  
図３は、第２の実施の形態に係る顔検索システムの構成例を概略的に示すものである。この第２の実施の形態に係る顔検索システムは、図３に示すように、画像入力装置１、入力端末２、サーバ３、出力端末４および個人情報入力装置５などにより構成される。また、図１に示す第１の実施の形態に係る顔検索システムの構成に加えて、個人情報入力装置５が設けられている。図３に示す第２の実施の形態に係る顔検索システムにおいて、図１に示す第１の実施の形態に係る顔検索システムと同様な構成については、同一箇所に同一符号を付して詳細な説明を省略するものとする。
【００５２】
すなわち、図３に示す顔検索システムにおいて、上記画像入力装置１は、人物の顔を含む画像を入力する装置であり、図１に示す画像入力装置１と同様な構成を有している。また、図３に示す顔検索システムにおいて、上記出力端末４は、上記サーバ３による顔の検索結果を表示する端末であり、図１に示す出力端末４と同様な構成を有している。
【００５３】
上記個人情報入力装置５は、上記画像入力装置１により顔を含む画像を入力する人物の個人情報を入力する装置である。上記個人情報入力装置５は、個人情報あるいは個人情報の一部を入力するものであれば良く、種々の装置で実現可能である。たとえば、上記個人情報入力装置５としては、キーにより個人情報が入力されるキーボード、画面上に表示したキーに触れることにより個人情報が入力されるタッチパネル、個人情報が記憶されているＩＤカードから個人情報を読取るカードリーダなどが適用可能である。
【００５４】
また、図３に示す顔検索システムにおいて、上記入力端末２は、画像取得手段としての画像取得部２１、顔画像検出手段としての顔検出部２２、特徴量抽出手段としての特徴抽出部２３、特徴データ及び個人情報送信部２４、および、個人情報取得手段としての個人情報取得部２５を有している。
【００５５】
上記画像取得部２１は、上記画像入力装置１から画像データを取得するインターフェースであり、図１に示す画像取得部２１と同様な機能を有している。上記顔検出部２２は、上記画像取得部２１にて取得した画像から人物の顔画像を抽出するものであり、図１に示す顔検出部２２と同様な機能を有している。上記特徴抽出部２３は、上記顔検出部２２にて抽出した顔画像から顔の特徴量としての特徴データを生成するものであり、図１に示す特徴抽出部２３と同様な機能を有している。
【００５６】
上記特徴データ及び個人情報送信部２４は、上記特徴抽出部２３により生成された顔の特徴データと上記個人情報取得部２５により取得した個人情報を上記サーバ３へ送信するものである。上記特徴データ・個人情報送信部２４は、図１に示す特徴データ送信部２４と同様に、ネットワークインターフェースにより構成される。また、上記特徴データ・個人情報送信部２４は、上記サーバ３へ送信する顔の特徴データ及び個人情報などのデータを暗号化する暗号化機能を設けるようにしても良い。
【００５７】
また、図３に示す顔検索システムにおいて、上記サーバ３は、特徴データ受信手段あるいは個人情報受信手段としての特徴データ・個人情報受信部３１、記憶手段としての顔特徴データベース３２、顔検索手段としての顔検索部３３、および、出力手段としての検索結果送信部３４を有している。
【００５８】
上記特徴データ・個人情報受信部３１は、上記入力端末２から送信された顔の特徴データと個人情報とを受信するものであり、図１に示す特徴データ受信部３１と同様に、ネットワークインターフェースにより構成される。また、上記特徴データ・個人情報受信部３１には、上記特徴データ・個人情報送信部２４の暗号化機能に対応した復号化機能を設けるようにしても良い。
【００５９】
上記顔特徴データベース３２は、図１に示す顔特徴データベース３２と同様に、ハードディスク装置などの記憶装置により構成される。なお、図３に示す構成においては、上記顔特徴データベース３２には、登録者を特定するための個人情報とともに上記個人情報入力装置５により入力される個人情報に対応づけて登録者の顔画像における顔の特徴データ等が登録される。
【００６０】
上記顔検索部３３は、上記特徴データ・個人情報受信部３１により受信した顔の特徴データと上記顔特徴データベース３２に登録されている顔の特徴データとの照合処理を行うものであり、図１に示す顔検索部３３と同様な機能を有している。さらに、図３に示す顔検索部３３は、上記特徴データ・個人情報受信部３１により受信した個人情報により上記顔特徴データベース３２に登録されている顔の特徴データを絞り込むための条件抽出部３３ａを有している。上記条件抽出部３３ａは、上記特徴データ・個人情報受信部３１により受信した個人情報により上記顔特徴データベース３２に登録されている顔の特徴データのうち検索対象とする特徴データを絞り込むものである。
【００６１】
すなわち、上記顔検索部３３では、上記条件抽出部３３ａにより上記入力端末２から受信した個人情報に基づいて検索対象とする特徴データを絞り込み、上記条件抽出部３３ａにより絞り込まれた検索対象の特徴データと上記入力端末２から受信した特徴データとの照合処理を行う。これにより、上記顔検索部３３では、上記条件抽出部３３ａにより絞り込まれた検索対象の特徴データのうち上記特徴データ受信部３１により受信した顔の特徴データと最も類似する顔の特徴データを登録者を顔の検索結果として出力する。
【００６２】
また、上記条件抽出部３３ａでは、個人情報により上記顔特徴データベース３２から複数の特徴データを検索対象として絞り込むようにしても良いし、個人情報により上記顔特徴データベース３２から１つの特徴データを検索対象として絞り込むようにしても良い。前者の場合、上記顔検索部３３では、１：ｎ（個人情報により絞り込んだ特徴データの数）の照合処理を行い、後者の場合には、１：１の照合処理を行う。なお、本第２の実施の形態では、１：ｎ（個人情報により絞り込んだ特徴データの数）の照合を行う場合を想定して説明するものとする。
【００６３】
また、上記検索結果送信部３４は、上記顔検索部３３による顔の検索結果を示すデータを上記出力端末４へ送信するものであり、図１に示す検索結果送信部３４と同様に、ネットワークインターフェースにより構成される。また、上記検索結果送信部３４には、上記出力端末４へ送信する検索結果などのデータを暗号化する暗号化機能を設けるようにしても良い。なお、上記特徴データ・個人情報受信部３１と上記検索結果送信部３４とは、１つのネットワークインターフェースによって構成されるようにしても良い。
【００６４】
次に、上記のように構成される第２の実施の形態に係る顔検索システムにおける処理の流れについて説明する。  
図４は、第２の実施の形態に係る顔検索システムにおける処理の流れを説明するためのフローチャートである。なお、図４に示す処理は、図２に示す処理に対して、入力端末２に入力された個人情報に基づいて検索対象なる特徴データを絞り込む処理を加えたものである。このため、図４において、図２の処理ステップと同様な処理ステップには、同一箇所に同一符号を付して詳細な説明を省略するものとする。
【００６５】
まず、第２の実施の形態に係る顔検索システムでは、上記画像入力装置１により人物の顔を含む画像を入力するとともに、上記個人情報入力装置５により人物の個人情報が入力される。例えば、上記画像入力装置１がビデオカメラとして構成され、上記個人情報入力装置５がキーボードで構成される場合、上記画像入力装置１としてのビデオカメラが人物の顔を含む画像を撮影するとともに、上記個人情報入力装置５としてのキーボードを用いて当該人物により個人情報が入力される。
【００６６】
上記画像入力装置１に人物の顔を含む画像が入力されると、上記入力端末２では、上記画像取得部２１が上記画像入力装置１に入力された画像を取得する（ステップＳ１１）。上記画像取得部２１により上記画像入力装置１から画像を取得すると、上記顔検出部２２は、取得した画像から顔画像を抽出する（ステップＳ１２）。上記顔検出部２２により顔画像を抽出すると、上記特徴抽出部２３は、顔画像から顔の特徴点などの特徴量としての顔の特徴データを生成する（ステップＳ１３）。上記特徴抽出部２３により生成された顔の特徴データは、上記特徴データ・個人情報送信部２４へ供給される。
【００６７】
また、上記個人情報入力装置５に個人情報が入力されると、上記入力端末２では、上記個人情報入力装置５に入力された個人情報を上記個人情報取得部２５により取得する（ステップＳ１６）。上記個人情報取得部２５により取得された個人情報は、上記特徴データ・個人情報送信部２４へ供給される。
【００６８】
上記特徴データ・個人情報送信部２４では、上記特徴抽出部２３により生成された顔の特徴データと、上記個人情報取得部２５により取得された個人情報とを対応づけて上記サーバ３へ送信する（ステップＳ１７）。この際、上記サーバ３へ送信するデータを暗号化する場合、上記特徴データ・個人情報送信部２４は、上記特徴抽出部２３により生成された顔の特徴データと個人情報とを暗号化し、ネットワークを介してサーバ３へ送信する。
【００６９】
上記入力端末２から特徴データと個人情報とが送信されると、上記サーバ３では、上記特徴データ・個人情報受信部３１により上記入力端末２からの特徴データと個人情報とを受信する（ステップＳ２５）。上記特徴データ・個人情報受信部３１により受信した特徴データと個人情報とは、上記顔検索部３３へ供給される。なお、上記入力端末２からの特徴データおよび個人情報が暗号化されている場合、上記特徴データ・個人情報受信部３１では、受信した特徴データと個人情報を復号化して顔検索部３３へ供給する。
【００７０】
上記顔検索部３３では、上記条件抽出部３３ａが上記特徴データ・個人情報受信部３１により受信した個人情報に応じて上記顔特徴データベース３２に登録されている特徴データを絞り込むための条件を抽出し、この条件に基づいて上記顔特徴データベース３２に登録されている特徴データから検索対象としての特徴データを絞り込む（ステップＳ２６）。
【００７１】
上記条件抽出部３３ａにより検索対象の特徴データを絞り込むと、上記顔検索部３３では、上記特徴データ・個人情報受信部３１により受信した特徴データと上記条件抽出部３３ａにより絞り込んだ検索対象の特徴データとの検索処理（照合処理）を行う（ステップＳ２７）。上記検索処理（照合処理）は、上記特徴データ受信部３１により受信した顔の特徴データと一致する顔の特徴データを上記条件抽出部３３ａにより絞り込んだ検索対象から検索する処理である。
【００７２】
たとえば、上記顔検索部３３は、上記特徴データ受信部３１により受信した特徴データと上記条件抽出部３３ａにより絞り込んだ全ての特徴データとの照合度を算出する。これにより算出した照合度のうち最大照合度が所定の閾値以上であれば、上記顔検索部３３は、上記特徴データ受信部３１により受信した特徴データが最大照合度を与える特徴データと一致したものと判断する。この場合、上記顔検索部３３は、検索結果として最大照合度となった特徴データの登録者を示す情報を出力する。
【００７３】
また、算出した照合度のうち最大照合度が所定の閾値未満であれば、上記顔検索部３３は、上記特徴データ受信部３１により受信した特徴データと一致する特徴データが上記条件抽出部３３ａにより絞り込んだ特徴データ（入力された個人情報に対応する特徴データ）には存在しないものと判断する。この場合、上記顔検索部３３は、検索結果として該当する登録者がいない旨を示す情報を出力する。
【００７４】
上記ような検索処理による検索結果は、上記顔検索部３３から検索結果送信部３４へ供給され、上記検索結果送信部３４により上記出力端末４へ送信される（ステップＳ２８）。上記サーバ３から検索結果が送信された出力端末４では、上記検索結果受信部４１により上記サーバ３からの検索結果を受信し（ステップＳ３１）、受信した検索結果を上記表示部４２により表示する（ステップＳ３２）。
【００７５】
上記第２の実施の形態に係る顔検索システムでは、第１の実施の形態で説明した顔検索システムに加えて、入力端末が個人情報入力装置に入力された個人情報を取得し、取得した個人情報を顔の特徴データとともにサーバへ転送し、サーバが個人情報により絞り込んだ特徴データを検索対象として顔検索処理を行うようにしたものである。
【００７６】
これにより、上記第２の実施の形態に係る顔検索システムによれば、第１の実施の形態で説明した効果に加えて、サーバでの顔検索処理に要する時間を削減することが可能となり、顔特徴データベースに記憶されている情報量が増大しても顔検索処理に要する時間の増加を抑えられ、さらには、検索結果の精度を向上させることが可能となる。
【００７７】
なお、上記第１及び第２の実施の形態として説明した顔検索システムは、入力端末で取得した顔画像に対するサーバでの顔検索結果を出力端末へ送付するようになっている。また、照合対象となる人物の顔を含む画像を入力するための入力端末、顔検索処理を行うサーバ、および、検索結果を表示するための出力端末とは、離れた場所に設置した別々の装置で実現することができる。従って、入力端末、サーバおよび出力端末は、それぞれ離れた場所に設置することができ、人物の顔検索状況を遠隔監視することが可能となる。この結果、入力端末やサーバ以外の設置場所以外の場所に設置した出力端末で検索結果を確認することなどが可能である。
【００７８】
また、上記第１及び第２の実施の形態では、生体情報として顔画像を用いた人物の検索システム（顔検索システム）について説明したが、他の生体情報を用いた人物などの検索システムにも同様に適用できる。さらには、上記第１及び第２の実施の形態は、入力されたデータから得られる特徴データと、データベースに予め記憶されている特徴データとを照合することにより検索処理を行うシステムにも適用可能である。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態に係る顔検索システムの概略構成を示す図。
【図２】第１の実施の形態としての顔検索システムにおける処理の流れを説明するためのフローチャート。
【図３】本発明の第２の実施の形態に係る顔検索システムの概略構成を示す図。
【図４】第２の実施の形態としての顔検索システムにおける処理の流れを説明するためのフローチャート。
【符号の説明】
【００８０】
１…画像入力装置、２…入力端末、３…サーバ、４…出力端末、５…個人情報入力装置、２１…画像取得部、２２…顔検出部、２３…特徴抽出部、２４…特徴データ送信部（特徴データ・個人情報送信部）、２５…個人情報取得部、３１…特徴データ受信部（特徴データ・個人情報受信部）、３２…顔特徴データベース、３３…顔検索部、３３ａ…条件抽出部、３４…検索結果送信部、４１…検索結果受信部、４２…表示部
【図１】
2006293842.tif 000003
【図２】
2006293842.tif 000004
【図３】
2006293842.tif 000005
【図４】
2006293842.tif 000006