(57)【要約】 【課題】  特定地点を通過する人物の顔照合を相互に照合し、当該地点を通過する人物の通過日時、通過回数などの通過履歴を検出することができる顔照合装置及び顔照合システムを提供すること。【解決手段】  特定地点を通過する人物をカメラ１Ｘで撮像し、当該撮像した画像から顔画像を検出し、記憶部２６Ｘに記憶する。記憶された顔画像データは、照合部２３Ｘで相互に照合される。この照合結果により、当該特定地点を通過した通過地点、通過日時及び通過回数などの要素と共に記憶部２６Ｘに記憶される。記憶部２６Ｘに記憶された顔画像データは、監視員ＧＸの操作により操作表示部２７Ｘに表示される。【選択図】  図１
2014006750.tif 000002
【特許請求の範囲】
【請求項１】
通過する人物を撮像するカメラから出力された画像を入力して当該画像の顔照合を行う顔照合装置であって、
前記カメラで撮像した画像を入力する画像入力手段と、
この画像入力手段が入力した画像から顔画像を検出する顔検出手段と、
この顔検出手段で検出された顔画像の照合を行う照合手段と、
前記顔検出部で検出された顔画像及びその顔画像を取得したときの場所及び年月日などの要素と共に前記照合部で照合された照合結果を記憶する記憶手段と、
この記憶手段に記憶された顔画像データ及び照合結果を表示する操作表示手段と、
これらを制御する制御手段と、
を備え、
前記照合手段は、
前記記憶手段に記憶された顔画像データの類似度を算出する類似度算出手段と、
この類似度算出手段によって算出された類似度に基づいて同一顔画像が複数回検出されたか否かを検知する同一顔画像検出手段と、を有し、
前記制御手段は、
顔画像データを、前記要素をインデックスとして前記操作表示部に表示する表示用リストを作成する際、この作成されたリストの同一配列位置に前記同一顔画像検出手段で同一とされた複数の顔画像を配置する表示用リスト作成手段と、
この表示用リスト作成手段で作成された表示用リストに同一顔画像が複数存在する場合には、その中の１つを代表顔画像として表示する画像表示手段と、
を有する顔照合装置。
【請求項２】
前記制御手段はさらに、
前記記憶手段に記憶された顔画像データで未分類の顔画像データを示すフラグがあり、かつ、当該未分類の顔画像データが所定の閾値を超えるとき、前記要素をインデックスとして作成された前記表示用リストに、当該要素に基づいて設定された配列位置に追加すると共に、当該未分類の画像データを示すフラグを分類済み画像データに更新する請求項１記載の顔照合装置。
【請求項３】
通過する人物を撮像するカメラから出力された画像を入力して当該画像の顔照合を行う顔照合装置を複数配置し、当該複数の顔照合装置を通信回線で接続した顔照合システムであって、
一方の顔照合装置は、
前記カメラで撮像した画像を入力する画像入力手段と、
この画像入力手段が入力した画像から顔画像及びその顔画像を取得したときの場所及び年月日などの要素と共に検出する顔検出手段と、
この顔検出手段で検出された顔画像の照合を行う照合手段と、
前記顔検出部で検出された顔画像、要素及び前記照合手段で照合された照合結果を記憶する記憶手段と、
この記憶手段に記憶された顔画像データ及び照合結果を表示する操作表示手段と、
他方の顔照合装置と通信する通信手段と、
これらを制御する制御手段と、を備え
前記制御手段は、
前記操作表示手段から入力された操作情報に基づいて他方の顔照合装置から送信された顔画像データを受信して当該記憶手段に記憶された顔画像データに追加して記憶し、
当該追加された顔画像データを基に前記照合手段による顔照合を行い、
前記顔画像データを、前記要素をインデックスとして前記操作表示部に表示する表示用リストを作成する際、この作成されたリストの同一配列位置に前記同一顔画像検出手段で同一とされた複数の顔画像を配置する表示用リスト作成手段と、
この表示用リスト作成手段で作成された表示用リストに同一顔画像が複数存在する場合には、その中の１つを代表顔画像として表示する画像表示手段と、
を有する顔照合システム。
【請求項４】
前記制御手段はさらに、
前記記憶手段に記憶された顔画像データで未分類の顔画像データを示すフラグがあり、かつ、当該未分類の顔画像データが所定の閾値を超えるとき、前記要素をインデックスとして作成された前記表示用リストに、当該要素に基づいて設定された配列位置に追加すると共に、当該未分類の画像データを示すフラグを分類済み画像データに更新する請求項３記載の顔照合システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、顔照合装置及び顔照合システムに関する。
【背景技術】
【０００２】
近年、人物の顔照合を行うことにより人物認証を行う顔照合装置が知られている。この種の顔照合装置は、照合する顔画像の標準パターンをデータベースに保存しておき、被検出顔画像が当該データベースに保存されている顔画像の標準パターンと照合することにより当該被検出顔画像の認証を行っており、被検出顔画像に対して認証が得られた顔画像ごとの照合結果を表示している。このような認証を行う顔照合装置は、例えば、管理されているエリアへの入室を登録者に限定する入退出の鍵として用いられている。また、顔画像を照合することにより、登録遊技者の来店を通知又は管理する情報処理装置が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−８８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した顔照合装置においては、事前に登録された人物の顔照合を行うことを目的にしているため、例えば、特定地点を通過する人物の通過日時、通過回数などの通過履歴を検出できないという課題があった。
【０００５】
本発明は、上述した課題を解決するためになされたもので、特定地点を通過する人物の顔画像を相互に照合し、当該特定地点を通過する人物の通過日時、通過回数などの通過履歴を検出することができる顔照合装置及び顔照合システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の請求項１記載の顔照合装置は、通過する人物を撮像するカメラから出力された画像を入力して当該画像の顔照合を行う顔照合装置であって、前記カメラで撮像した画像を入力する画像入力手段と、この画像入力手段が入力した画像から顔画像及びその顔画像を取得したときの場所及び年月日などの要素と共に検出する顔検出手段と、この顔検出手段で検出された顔画像の照合を行う照合手段と、前記顔検出部で検出された顔画像、要素及び前記照合部で照合された照合結果を記憶する記憶手段と、この記憶手段に記憶された顔画像データ及び照合結果を表示する操作表示手段と、これらを制御する制御手段と、を備え、前記照合手段は、前記記憶手段に記憶された顔画像データの類似度を算出する類似度算出手段と、この類似度算出手段によって算出された類似度に基づいて同一顔画像が複数回検出されたか否かを検知する同一顔画像検出手段と、を有し、前記制御手段は、顔画像データを、前記要素をインデックスとして前記操作表示部に表示する表示用リストを作成する際、この作成されたリストの同一配列位置に前記同一顔画像検出手段で同一とされた複数の顔画像を配置する表示用リスト作成手段と、この表示用リスト作成手段で作成された表示用リストに同一顔画像が複数存在する場合には、その中の１つを代表顔画像として表示する画像表示手段と、を有する。
【図面の簡単な説明】
【０００７】
【図１】実施例１に係る顔照合システムの概略構成図
【図２】Ｘ地点を通過した人物の顔画像リストで、顔画像ごとに検出された地点及び検出された日時が顔画像の属性として登録された図
【図３】Ｘ地点における顔照合装置の顔照合方法を説明する図
【図４】Ｘ地点で、図３に基づいて検出された顔画像が複数回検出された場合の表示方法を説明する図
【図５】１地点での顔画像を表示する場合のフローチャート
【図６】類似度を取得するための類似度算出手段のフローチャート
【図７】表示用リスト作成手段のフローチャート
【図８】１地点での表示用リストを表示する画面表示手段のフローチャート
【図９】実施例２に係る顔照合システムの概略構成図
【図１０】Ａ地点及びＢ地点を通過した人物の顔画像リストで、顔画像ごとに検出された地点及び検出された日時が顔画像の属性として登録された図
【図１１】Ａ地点及びＢ地点で検知された顔画像を統合した状態のイメージ図
【図１２】２地点の顔画像を表示する場合のフローチャート
【図１３】類似度値を取得するための類似度算出手段のフローチャート
【図１４】表示用リスト作成手段のフローチャート
【図１５】２地点での表示用リストを表示する画面表示手段のフローチャート
【発明を実施するための形態】
【０００８】
本実施例に係る顔照合システムは、人物を撮像するカメラ及び当該カメラから送信された画像を取り込み、顔照合を行う顔照合装置を有して構成される。
【０００９】
顔照合装置は、画像入力部、顔検出部、照合部、通信部、照合結果保存部、操作表示部及びこれらを制御する制御部を有して構成される。
【００１０】
複数地点で上述した顔照合を行う場合は、上述しカメラ及び顔照合装置を当該複数の地点に設置し、当該複数の地点で検出された顔画像を送信することにより、各地点を通過する人物の顔画像の顔照合結果を基に複数地点を通過する人物の顔画像を相互に照合することができる。以下、図面を参照して本実施例を説明する。
【実施例１】
【００１１】
図１は、実施例１に係る顔照合システム１００の概略構成図の一例である。図１に示す顔照合システムは、Ｘ地点に設置したカメラ１Ｘ及び顔照合装置２０Ｘ並びに通信回線２を介して他と通信可能に接続された場合を示す。
【００１２】
カメラ１Ｘは、例えばカメラリンクをＩ／Ｆ（Inter Face）に有するカメラリンクカメラなどのデジタルカメラで構成される。
【００１３】
カメラ１Ｘと顔照合装置２０Ｘは、カメラリンクケーブル（カメラリンクＩ／Ｆを構成するケーブル）で接続される。
【００１４】
顔照合装置２０Ｘは、画像入力部２１Ｘ、顔検出部２２Ｘ、照合部２３Ｘ、通信部２４Ｘ、記憶部２６Ｘ、操作表示部２７Ｘ及びこれらを制御する制御部２５Ｘを有して構成される。
【００１５】
画像入力部２１Ｘ（画像入力手段）は、キャプチャボード又はグラバボードなどの基板で構成され、カメラ１Ｘから送信される画像を取り込む。
【００１６】
顔検出部２２Ｘ（顔検出手段）は、画像入力部２１Ｘで取り込んだ画像から顔画像を検出する。検出された顔画像は、記憶部２６Ｘに記憶される。
【００１７】
照合部２３Ｘ（照合手段）は、顔検出部２２Ｘで検出した顔画像をすでに分類されている顔画像と一致するか顔画像の照合（顔照合）を行う。
【００１８】
通信部２４Ｘ（通信手段）は、通信回線２を介して他地点に設置された顔照合装置と通信し、当該他地点を通過する人物の顔画像データを受信する。また、自地点（例えば、Ｘ地点）で撮像した顔画像を、通信回線２を介して他地点に設置された顔照合装置に送信する。
【００１９】
制御部２５Ｘ（制御手段）は、顔照合装置２０Ｘを構成する構成装置を制御する。
【００２０】
記憶部２６Ｘ（記憶手段）には、顔検出部２２Ｘで検出された顔画像及び当該顔画像の要素である通過地点、通過日時、通過回数並びに当該顔画像の照合結果などが記憶される。
【００２１】
操作表示部２７Ｘ（操作表示手段）は、操作部及び表示部を有するＰＣ（Personal Computer）で構成される。
【００２２】
操作部は、表示部を構成する表示画面の表面に配置されたタッチパネル、キーボード又はマウスなどの入力装置を有して構成され、操作員（監視員）によって操作される。
【００２３】
表示部には、操作案内が表示され、操作員が当該操作部を操作することによりＸ地点で検出された顔画像及び当該顔画像の要素である検出された日時、地点、回数及び照合結果が表示される。
【００２４】
監視員ＧＸは、操作表示部２７Ｘを操作することにより、当該照合結果を表示することができる。例えば、以下の表示が可能である。
【００２５】
（１）Ｘ地点を通過した顔画像を、日時を指定して時系列に表示すると共に当該Ｘ地点を複数回通過した場合にはその通過回数を表示する。
【００２６】
（２）Ｘ地点を通過した通過回数の多い顔画像を表示する。
【００２７】
監視員ＧＸは、上述した顔画像を表示する表示内容を表示部に配置されたタッチパネルを選択的にタッチすることにより又は操作表示部に接続されたマウス又はキーボードなどの入力装置から入力することにより、上記操作表示部２７Ｘに抽出された顔画像を表示することができる。
【００２８】
図２は、Ｘ地点を通過した人物の顔画像リストで、顔画像ごとに検出された地点及び検出された日時が顔画像の属性として登録された図である。図示した例は、顔画像Ｘ１〜顔画像Ｘ４についてその一例が示されている。
【００２９】
なお、図示した例には、顔画像ごとに分類済みフラグが設定される。すなわち、検出された顔画像が顔照合用として認識可能なデータであるか否か判別され、分類するためのフラグである。例えば、顔検出部２２Ｘで顔画像として検出したが、移動する荷物を顔画像と誤って検出し顔画像データとして登録する場合がある。このような場合を防ぐために、人物としての要件に基づいて分類する場合に当該フラグが使用される。
【００３０】
分類されなかった顔画像は顔画像データ（顔データ）としてはデータベースに保存されるが、後述する類似度値を算出する場合などは排除することにより効率よく人物の顔照合を行うことができる。
【００３１】
図３は、Ｘ地点における顔照合装置の顔照合方法を説明する図である。Ｘ地点に設置されたカメラ１Ｘ及び顔照合装置２０Ｘにおいて、当該Ｘ地点を通過する通行者ＰＸ（人物）が同一人物であるか否かを照合する照合方法を示す。
【００３２】
図３（１）は、Ｘ地点を通過した人物の顔画像がＸ１、Ｘ２・・・・・Ｘｎであることを示す。この顔画像Ｘｎには同一人物の顔画像が複数回現れる場合もある。
【００３３】
図３（２）は、図３（１）で示す顔画像が同一人物であるか否かを、類似度値を用いて検出する方法（類似度算出手段）を示すマトリクス図である。図に示す類似度値Ｒ１２は、顔画像Ｘ１と顔画像Ｘ２との類似度値である。従って、類似度値Ｒｉｊは、顔画像Ｒｉと顔画像Ｒｊとの類似度値である。類似度値は一致した場合を「１」とし、類似度値の閾値をＲｓとするとき、類似度値Ｒｉｊが下記（１）式の要件を満たすときに同一顔画像であると判定される。
【００３４】
Ｒｉｊ≧Ｒｓ・・・・・・・・・・・・・・・（１）
Ｒｉｊ：顔画像Ｒｉと顔画像Ｒｊとの間の類似度値
Ｒｓ  ：類似度値の閾値
図３（３）は、同一顔画像検出手段を説明する図で、上記（１）式を満たすＲｉｊを図３（２）から抽出した図である。図示した例は、顔画像Ｘ１と顔画像Ｘ３の類似度値Ｒ１３又はＲ３１が上記（１）式を満たし、顔画像Ｘ１と顔画像Ｘ３が同一であるとして抽出された場合を示す。
【００３５】
図４は、Ｘ地点で、図３に基づいて検出された顔画像が複数回検出された場合の表示方法を説明する図である。
【００３６】
図３に示す顔照合の結果、Ｘ地点を通過した人物の顔画像が記録される。また、同一人物が当該Ｘ地点を複数回通過した場合にはその通過回数が記録される。図４は、このようにして記録された顔画像を表示するためのリストである。
【００３７】
図に示す配列番号は、表示順序を示す。ここで、顔画像Ｘ１と顔画像Ｘ３が同一顔画像であると判定された場合は、同一配列番号に対するデータ列に表示する。図示した一例では、配列番号１に対するデータ１にＸ１を表示し、データ２にＸ３を表示する。また、配列番号２のデータ１にはＸ２を表示する。
【００３８】
このようにして図２に示すＸ地点の顔画像で、かつ、分類済みの顔画像は、図４に示す表示リストに表示される。分類されなかった顔画像は、顔画像と認識されなかった顔画像であるため、当該図４に示す表示リストには表示されない。以上の説明で明らかなように、特定の地点（Ｘ地点）が1か所の場合は上述した方法により、当該Ｘ地点を通過する人物が当該Ｘ地点を複数回通過した場合であっても通過した人物の全てを表示することができる。もちろん、当該顔画像を登録するための記憶容量による制限を受けるのは言うに及ばない。
【００３９】
図５は、1地点（Ｘ地点）での顔画像を表示する場合のフローチャートである。Ｘｉをｉ番目の画像（顔画像）データとするとき、Ｘ地点（1地点）の画像データは、Ｘ１〜Ｘｎとして表現できるものとして以下に説明する。
【００４０】
画像データＸｉの分類済みフラグを確認し、未分類画像を登録する（Ｓ０２）。この処理をＸ１からＸｎまで確認し、登録する。実際には、ｉを１からｎまでｉの値を１ずつ加算しながら確認及び登録を繰り返す（Ｓ０１−Ｓ０３、ループ処理）。
【００４１】
次に、表示リストを初期化し（Ｓ０４）、類似度値を算出し（類似度算出手段、Ｓ０５）、当該算出した類似度値に基づいて表示用リストを作成し（表示用リスト作成手段、Ｓ０６）、当該作成した表示用リストを画面表示する（表示用リスト画面表示手段、Ｓ０７）。
【００４２】
図６は、類似度を取得するための類似度算出手段である。ここでの、類似度算出手段は、ｉ番目の画像データＸｉと、ｊ番目の画像データＸｊとの類似度値Ｒｉｊを算出する（Ｓ１３）。
【００４３】
最初に画像データＸｉに対して画像データＸｊをＸ１からＸｎまでｊの値を１ずつ加算したときの画像データに対する類似度値を算する（Ｓ１２−Ｓ１５、ループ処理）。
【００４４】
次に、画像データＸ（ｉ＋１）に対して画像データＸｊをＸ１からＸｎまでｊの値を１ずつ加算したときの画像データに対する類似度値を算する。
【００４５】
この処理を画像データＸｉがＸ１からＸｎまでｉの値を１ずつ加算したときの画像データに対する類似度値を算出する（Ｓ１１−Ｓ１６、ループ処理）。
【００４６】
以上の処理の結果、1地点（Ｘ地点）で得られた顔画像の全ての類似度値が算出される。なお、ｉ＝ｊの場合は同一顔画像同士の類似度値を算出することになるため、当該処理は省略することができる。
【００４７】
図７は、表示用リスト作成手段のフローチャートである。最初に、カウンタｋを初期化する（ｋ＝０）（Ｓ２１）。
【００４８】
この処理は、画像データＸｉの未分類フラグが検知された場合（Ｓ２３のＹ）、当該未分類の画像データＸｉを表示用リストに登録し（Ｓ２５）、当該登録された画像データＸｉと他の分類済み画像データＸｊとの類似度値Ｒｉｊが所定の閾値（Ｒｓ）以上の場合には、当該画像データＸｊは既に分類済みになっている（例えば、ｋ番目の）画像データと同一の通行者としてＸ地点のｋ番目に再度現れた画像データとしてｋ番目に追加される（Ｓ３０）。
【００４９】
この様にして、追加された画像データＸｊの未分類フラグを分類済みに更新する（Ｓ３１）。
【００５０】
この処理を行うために、ｊの値を1からｍまでｊを１ずつ加算する処理（Ｓ２７−Ｓ３２、ループ処理）及び、ｉの値を１からｎまで１ずつ追加する処理（Ｓ２２−Ｓ３３、ループ処理）は、図６で説明した通りである。
【００５１】
以上の処理を経て、表示用リストが作成される。
【００５２】
図８は、１地点での表示用リストを表示する画面表示手段のフローチャートである。最初に、表示用リストの行数ｃを取得する（Ｓ４１）。
【００５３】
次に、表示用リストの行数ｃの要素数ｒを取得する（Ｓ４３）。要素数とは、同一顔画像が複数検知された場合、当該画像データＸｉが検知された時の画像データＸｉの属性のことである。例えば、当該検知した日時、曜日、月、年、検知回数などである。
【００５４】
次に、表示用リストの行数ｃの要素（１〜ｒ）を日時の順に並べ替える（Ｓ４４）。
【００５５】
次に、代表画像表示用の変数Ｈを初期化する（Ｓ４５）。次に、代表画像Ｈの顔らしさＨｆよりも要素ｑ（１≦ｑ≦ｒ）の顔らしさｑｆが大きい場合（Ｓ４８のＹ）、代表画像Ｈｆに要素ｑｆを代入する。すなわち、代表顔画像Ｈｆをｑｆの顔画像に変更する（Ｓ４９）。より、類似度値のよい顔画像が検知されたため、当該顔画像を代表顔画像に設定する。
【００５６】
この処理を要素ｑが１からｒの間で行う（Ｓ４６−Ｓ５０、ループ処理）。この結果、代表画像Ｈが更新される。この更新された代表画像Ｈを画面に出力する（Ｓ５１）。
【００５７】
次に、表示用リストの行数ｃの要素数ｒを画面に出力する（Ｓ５２）。以上の処理を、全ての表示用の行数ｐについてｐが１からｃの間で行う（Ｓ４２-Ｓ５３、ループ処理）。
【００５８】
以上の処理の結果、当該1地点（Ｘ地点）での表示用リストの画像表示を行うことができる。
【００５９】
以上の処理を行うことにより、図１に示す記憶部２６Ｘの記憶容量の制限を緩和することができる。すなわち、Ｘ地点で同一顔画像が複数回検出された場合には、同一顔画像と認識された顔画像データの類似度値の上位データのみ保存し、同一顔画像とされた類似度値の低い顔画像データは当該Ｘ地点を通過した日時等の履歴は保存するが、顔画像データは保存しないようにする。このようにすることにより、記憶容量の制限を緩和することができる。
【００６０】
以上説明したように、本実施例１によれば、１地点に通過する人物の顔画像を相互に照合し、当該１地点を通過する人物の検出日時・検出回数などの検出履歴を検出することができる。
【実施例２】
【００６１】
図９は、実施例２に係る顔照合システム２００の概略構成図の一例である。図に示す顔照合システム２００は、Ａ地点に設置したカメラ１Ａ及び顔照合装置２０Ａ並びにＢ地点に設置したカメラ１Ｂ及び顔照合装置２０Ｂが、通信回線２を介して通信可能に接続された場合を示す。
【００６２】
Ａ地点に設置されるカメラ１Ａ及び顔照合装置２０ＡとＢ地点に設置される顔照合装置２０Ｂは同様に構成されているため、ここではＡ地点に設置されるカメラ１Ａ及び顔照合装置２０Ａについて説明する。
【００６３】
カメラ１Ａは、例えばカメラリンクをＩ／Ｆ（Inter Face）に有するカメラリンクカメラなどのデジタルカメラで構成される。
【００６４】
カメラ１Ａと顔照合装置２０Ａは、カメラリンクケーブル（カメラリンクＩ／Ｆを構成するケーブル）で接続される。
【００６５】
顔照合装置２０Ａは、画像入力部２１Ａ、顔検出部２２Ａ、照合部２３Ａ、通信部２４Ａ、照合結果保存部２６Ａ、操作表示部２７Ａ及びこれらを制御する制御部２５Ａを有して構成される。
【００６６】
画像入力部２１Ａ（画像入力手段）は、キャプチャボード又はグラバボードなどの基板で構成され、カメラ１Ａから送信される画像を取り込む。
【００６７】
顔検出部２２Ａ（顔検出手段）は、画像入力部２１Ａで取り込んだ画像から顔画像を検出する。
【００６８】
照合部２３Ａ（照合手段）は、顔検出部２２Ａで検出した顔画像をすでに分類されている顔画像と一致するか顔画像の照合（顔照合）を行う。
【００６９】
通信部２４Ａ（通信手段）は、通信回線２を介して他地点に設置された顔照合装置と通信し、当該他地点（例えば、Ｂ地点）を通過する人物の顔画像データを受信する。また、自地点（例えば、Ａ地点）で撮像した顔画像を、通信回線２を介して他地点（例えば、Ｂ地点）に設置された顔照合装置に送信する。
【００７０】
制御部２５Ａ（制御手段）は、通信部２４Ａで受信した他地点（例えば、Ｂ地点）の顔画像を入力して照合部２３Ａに出力し、Ａ地点で検出された顔画像とＢ地点で検出された顔画像で一致する顔画像があるか顔画像の照合を行う。このことにより、Ａ地点に設置された顔照合装置２０Ａの監視員ＧＡは、Ａ地点のカメラ１Ａで検知した顔画像のみならず、Ｂ地点のカメラ１Ｂで検知した顔画像の表示用リストの画像表示を行うことができる。
【００７１】
記憶部２６Ａ（記憶手段）には、顔検出部２２Ａで検出された顔画像及び当該顔画像の要素である通過地点、通過日時、通過回数並びに当該顔画像の照合結果などが記憶される。
【００７２】
操作表示部２７Ａ（操作表示手段）は、操作部及び表示部を有するＰＣ（Personal Computer）で構成される。
【００７３】
操作部は、表示部を構成する表示画面の表面に配置されたタッチパネル、キーボード又はマウスなどの入力装置を有して構成され、操作員（監視員）によって操作される。
【００７４】
表示部には、操作案内が表示され、操作員が当該操作部を操作することによりＡ地点及びＢ地点で検出された顔画像及び当該顔画像の要素である検出された日時、地点、回数及び照合結果が表示される。
【００７５】
操作員ＧＡは、操作表示部２７Ａを操作することにより、例えば、以下の表示が可能である。
【００７６】
（１）Ａ地点を通過した顔画像を、日時を指定して時系列に表示すると共に当該Ａ地点を複数回通過した場合にはその通過回数を表示する。
【００７７】
（２）Ａ地点及びＢ地点を共に通過した顔画像を表示する。
【００７８】
（３）Ａ地点又はＢ地点を通過した通過回数の多い顔画像を表示する。
【００７９】
例えば、図示したようにＡ地点に設置された顔画像装置２０Ａ又はＢ地点に設置された顔画像装置２０Ｂの何れの顔照合装置を主（マスター）装置とし、何れを従（サブ）装置とするかは操作員が操作する操作表示部２７Ａ又は２７Ｂから任意に設定することができる。
【００８０】
また、設定したマスター装置に対して、何れの地点のサブ装置で取得した顔画像を顔照合の対象にするかも任意に設定できる。
【００８１】
このような構成にすれば、何れかの地点のマスター装置から選択した複数地点のサブ装置で検出された顔画像の画像データの送信を受け、顔照合を行うことが可能になる。
【００８２】
図１０は、Ａ地点及びＢ地点を通過した人物の顔画像リストで、顔画像ごとに検出された地点及び検出された日時が顔画像の属性として登録された図である。
【００８３】
図１０（１）は、Ａ地点を通過した人物の顔画像がＡ１、Ａ２、Ａ３、Ａ４であることを示す。
【００８４】
図１０（２）は、Ｂ地点を通過した人物の顔画像がＢ１、Ｂ２、Ｂ３、Ｂ４であることを示す。
【００８５】
図中、分類済みフラグは、実施例１で説明した通りである。すでに分類済みの顔画像データは１に登録され、未分類の顔画像データは０に登録される。
【００８６】
日時は、当該顔画像が検知された年月日及び時刻（時・分・秒）が登録される。これらの顔画像は、Ａ地点及びＢ地点で独立に検知後、登録される。
【００８７】
図１１は、Ａ地点及びＢ地点で検知された顔画像を統合した状態のイメージ図である。すなわち、Ａ地点の顔照合システム２０ＡとＢ地点の顔照合システム２０Ｂは、通信回線２を介して接続されており、Ａ地点の画像データ及びＢ地点の画像データは当該通信回線２を介して一体化することができる。図示した一例は、Ａ地点の画像がＡ１〜Ａｍまで存在し、Ｂ地点の画像がＢ１〜Ｂｎまで存在した場合について示したものである。
【００８８】
画像間の類似度値は下記（１）〜（４）に示す４種類の類似度値が得られる。なお、（１）〜（４）に示す類似度値を算出する範囲は、図に太枠で図示してある。
【００８９】
（１）ｉ≦ｍ、ｊ≦ｍの場合  ：ＡｉとＡｊ間の類似度値
（２）ｉ≦ｍ、ｊ＞ｍの場合  ：ＡｉとＢ（ｊ−ｍ）間の類似度値
（３）ｉ＞ｍ、ｊ≦ｍの場合  ：Ｂ（ｉ−ｍ）とＡｊ間の類似度値
（４）ｉ＞ｍ、ｊ＞ｍの場合  ：Ｂ（ｉ―ｍ）とＢ（ｊ―ｍ）間の類似度値
図中に示す斜線は、同一画像間の類似度値は、意味をなさないため、算出する必要がないことを示す。
【００９０】
以上、図示した方法によれば、Ａ地点の画像とＢ地点の画像を一体にした画像に対して1地点の画像の類似度値を算出する場合と同様に算出することができる。
【００９１】
図１２は、図９〜図１１を用いて説明した２地点の顔画像を表示する場合のフローチャートである。Ａ地点の画像データＡｉをｉ番目の画像（顔画像）データとするとき、Ａ地点の画像データはＡ１〜Ａｍとして表現できる。同様に、Ｂ地点の画像データＢｉをｉ番目の画像（顔画像）データとするとき、Ｂ地点の画像データはＢ１〜Ｂｎとして表現できるものとして以下に説明する。
【００９２】
Ａ地点及びＢ地点の画像を一体として１地点の画像と同様に取り扱うため、画像データＡｉの分類済みフラグを初期化する（Ｓ６１〜Ｓ６３、ループ処理）、同様に画像データＢｉの分類済みフラグを初期化する（Ｓ６４〜Ｓ６６、ループ処理）。
【００９３】
次に、表示用リストを初期化し（Ｓ６７）、画像データＡｉ及び画像データＢｉについて、画像データ間の類似度値を算出する（類似度算出手段、Ｓ６８）。画像データＡｉ間、画像データＢｉ間、画像データＡｉと画像データＢｉ間、画像データＢｉと画像データＡｉ間からなる４種類の類似度値が図１１に示すように算出される。ただし、例えば、画像データＡ２と画像データＡ３間の類似度値と、画像データＡ３と画像データＡ２間の類似度値は同一類似度値になることから、類似度値の演算を省略することができる。上述した通りである。
【００９４】
この様にして算出した類似度値に基づいて表示用リストを作成し（表示用リスト表示処理、Ｓ６９）、当該作成した表示用リストを画面表示する（表示用リスト画面表示手段、Ｓ７０）。
【００９５】
図１３は、類似度算出手段である。ここでの類似度算出手段は、上記４種類の類似度値算出に関する（１）〜（４）に示した場合の類似度値を算出することである。
【００９６】
ｉ及びｊの値が設定した範囲の値を取る範囲で類似度値Ｒｉｊを算出する（Ｓ８０−Ｓ８９）。図１１ですでに説明してあるので、その詳細は省略する。この様にして、Ａ地点の画像データ及びＢ地点の画像データ間の類似度値が、図示矢印Ａ−Ａ間のループ処理及びＢ−Ｂ間のループ処理によって、図１１に示す範囲で算出される。
【００９７】
図１４は、表示用リスト作成手段のフローチャートである。最初に、カウンタｋを０に初期化する（Ｓ１００）。
【００９８】
次に、画像データＢｊのｊ≦ｍの範囲内であって（Ｓ１１３）、未分類フラグがあるか確認する（Ｓ１１４）。未分類フラグがある場合には（Ｓ１１４のＹ）、類似度値を算出する（Ｓ１１５）。算出した類似度値Ｒｉｊが閾値Ｒｓ以上の場合（Ｓ１１５のＹ）、画像データＢｊを表示用リストのｋ番目に追加する（Ｓ１１６）。
【００９９】
画像データＢｊの未分類フラグを分類済みに更新する（Ｓ１１７）。以上の処理をｊが１からｍ＋ｎに達するまで繰り返す（Ｓ１１２-Ｓ１２３、ループ処理）。
【０１００】
なお、ステップＳ１１２において、画像データＢｊのｊ＞ｍの場合（Ｓ１１２のＮ）、ｊ＝ｊ−ｍとしたときの画像データＢ検索用インデックス（配列）を算出する。
【０１０１】
算出されたインデックス（配列）の画像データＢｊの未分類フラグが有るか確認する（Ｓ１１９）。未分類フラグが有る場合（Ｓ１１９のＹ）、類似度値Ｒｉｊを算出する（Ｓ１２０）。算出した類似度値Ｒｉｊが、閾値Ｒｓ以上の場合（Ｓ１２０のＹ）、画像データＢｊを表示用リストのｋ番目に追加する（Ｓ１２１）。
【０１０２】
次に、画像データＢｊの未分類フラグを分類済みフラグに更新する（Ｓ１２２）。
【０１０３】
次に、以上の処理を画像データＡｉのｉ≦ｍの範囲内であって（Ｓ１０２）、画像データの未分類ファイルがあるか確認する（Ｓ１０３）。未分類フラグがある場合には（Ｓ１０３のＹ）、カウンタｋを１加算し（Ｓ１０４）、画像データＡｉを表示用リストのｋ番目に追加し（Ｓ１０５）、画像データＡｉの未分類フラグを分類済みに更新する（Ｓ１０６）。
【０１０４】
以上の処理を、ｉが１からｍ＋ｎに達するまで繰り返す（Ｓ１０1−Ｓ１２４、ループ処理）。
【０１０５】
また、ステップＳ１０２において、画像データＡｉのｉがｉ＞ｍの場合（Ｓ１０２のＮ）、ｉ＝ｉ―ｍとしたときの画像データＢの検索用インデックスを計算する（Ｓ１０７）。
【０１０６】
画像データＢｉの未分類フラグを確認する（Ｓ１０８）。未分類フラグがある場合には（Ｓ１０８ｎｏＹ）、カウンタｋを１加算し（Ｓ１０９）、画像データＢｉを表示用リストのｋ番目に追加し（Ｓ１１０）、画像データＢｉの未分類フラグを分類済みに更新する（Ｓ１１１）。
【０１０７】
この処理後は、ステップＳ１１２以降の処理を行う。
【０１０８】
以上の処理を経て、２地点の顔画像を表示する表示リストが作成される。
【０１０９】
図１５は、２地点での表示用リストを表示する画面表示手段のフローチャートである。最初に表示用リストの行数ｃを取得する（Ｓ１３１）。
【０１１０】
次に、表示用リストの行数ｃの要素数ｒを取得する（Ｓ１３３）。要素数ｒとは、同一顔画像が複数検知された場合、当該画像データＸｉが検知された時の画像データＸｉの属性のことである。例えば、当該検知した日時、曜日、月、年、検知回数などである。
【０１１１】
次に、表示用リストの行数ｃの要素（１〜ｒ）を日時の順に並べ替える（Ｓ１３４）。
【０１１２】
次に、代表画像表示用の変数ＨＡ、ＨＢを初期化する（Ｓ１３５）。次に、要素ｑの顔画像、通行日時を画面へ出力する（Ｓ１３７）。
【０１１３】
次に、要素ｑがＡ地点の画像の場合（Ｓ１３８のＹ）、代表画像ＨＡの顔らしさＨＡｆよりも要素ｑ（１≦ｑ≦ｒ）の顔らしさｑｆが大きい場合（Ｓ１３９のＹ）、代表画像ＨＡに要素ｑを代入する（Ｓ１４０）。すなわち、代表顔画像ＨＡｆをｑｆの顔画像に変更することにより、類似度値のよい顔画像が検知されたため、当該顔画像を代表顔画像ＨＡに設定する。
【０１１４】
この処理を要素ｑが１からｒに達するまで行う（Ｓ１３６−Ｓ１４３、ループ処理）。この結果、代表画像ＨＡが更新される。
【０１１５】
なお、ステップＳ１３８において、要素ｑがＡ地点の画像でなかった場合（Ｓ１３８のＮ）、代表画像ＨＢの顔らしさＨＢｆよりも要素ｑの顔らしさｑｆが大きい場合（Ｓ１４1のＹ）、代表画像ＨＢに要素ｑを代入する（Ｓ１４２）。
【０１１６】
以上の処理をｑが１からｒに達するまで行う（Ｓ１３６-Ｓ１４３、ループ処理）。この結果、代表画像ＨＢが更新される。
【０１１７】
以上の処理をカウンタｐが１からｃに達するまで行う（Ｓ１３２−Ｓ１４６、ループ処理）。
【０１１８】
以上説明したように、本実施例２によれば、２地点を通過する人物の顔画像を相互に照合し、当該２地点を通過する人物の検出日時・検出回数等の検出履歴を検出することができる。
【０１１９】
当然、実施例では、特定地点として２地点にカメラ及び顔照合装置を設置した場合を説明したが、これに限らず、複数地点にカメラ及び顔照合装置を設置し、これら本実施例で説明したような通信回線を介して接続することにより、当該複数地点を通過する人物の顔画像を相互に照合し表示することは可能なのは言うに及ばない。
【符号の説明】
【０１２０】
１００  実施例１に係る顔照合システム
２０Ｘ  顔照合装置
ＧＸ  監視員
１Ｘ  カメラ
２  通信回線
２００  実施例２に係る顔照合システム
２０Ａ、２０Ｂ  顔照合装置
ＧＡ、ＧＢ  監視員
１Ａ、１Ｂ  カメラ
２  通信回線
【図１】
2014006750.tif 000003
【図２】
2014006750.tif 000004
【図３】
2014006750.tif 000005
【図４】
2014006750.tif 000006
【図５】
2014006750.tif 000007
【図６】
2014006750.tif 000008
【図７】
2014006750.tif 000009
【図８】
2014006750.tif 000010
【図９】
2014006750.tif 000011
【図１０】
2014006750.tif 000012
【図１１】
2014006750.tif 000013
【図１２】
2014006750.tif 000014
【図１３】
2014006750.tif 000015
【図１４】
2014006750.tif 000016
【図１５】
2014006750.tif 000017