(57)【要約】【課題】店舗等で検出した来客者の顔画像が登録されている場合に通知するシステムにおいて同一顔画像が連続的に複数回通知されるのを防止する顔照合システムを提供する。【解決手段】店舗内で撮影した来客の顔画像を検出して切出し、当該切り出した顔画像を顔画像データベースに登録されている顔画像との間の特徴量を検出し、当該検出された特徴量に対し相互の類似度値を算出する。算出された類似度値が所定の閾値を超える場合には、最も類似度値の高い顔画像を抽出する。このようにして抽出された顔画像の登録情報を確認し、当該登録情報にＶＩＰのフラグが設定されている場合は、ＶＩＰの通知処理に移行する。【選択図】  図１
2014016969.tif 000002
【特許請求の範囲】
【請求項１】
カメラから出力された顔画像を取り込む画像取込手段と、
この画像取込手段で取り込んだ画像の顔画像を検出する顔画像検出手段と、
この顔画像検出手段で検出した顔画像と顔画像データベースに保存されている顔画像とを照合する顔照合手段と、
この顔照合手段による照合の結果、前記顔画像データベースに保存されている顔画像の何れかと認識されたとき、前記顔画像検出手段で検出された顔画像、前記顔照合手段によって認識された顔画像及び当該認識された顔画像の顧客情報からなる通知情報を顧客端末に通知する通知手段と、
前記通知情報を前記顧客端末に通知しない時間を設定する照合結果非通知時間設定手段と、
を備え、
前記通知手段は、
当該通知手段によって前記通知情報が既に通知されており、かつ、前記照合結果非通知時間設定手段によって設定された非通知時間内の場合は、前記通知情報を前記顧客端末へ通知しない顔照合システム。
【請求項２】
前記通知手段はまた、前記通知情報が既に通知されており、かつ、前記照合結果非通知時間設定手段によって設定された非通知時間内でない場合は、前記通知情報を前記顧客端末に通知する請求項１記載の顔照合システム。
【請求項３】
前記照合手段は、
前記顔画像検出手段で検出された被検出顔画像と前記顔画像データベースに登録されている顔画像との間の特徴量を検出する特徴量検出手段と、
この特徴量検出手段で検出された特徴量に対して相互の類似度を算出する類似度算出手段と、
この類似度算出手段で算出された類似度が設定された閾値を超える顔画像の中で、最も類似度の高い顔画像を抽出する顔画像抽出手段と、を備え、
前記顧客端末は、
前記顔画像検出手段で検出された被検出顔画像と、
前記顔画像抽出手段で抽出された顔画像と、
前記被検出顔画像と、前記顔画像抽出手段で抽出された顔画像との間の類似度値と、
当該抽出された顔画像の登録情報と、
を表示する請求項１記載の顔照合システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、顔照合システムに関する。
【背景技術】
【０００２】
近年、顔照合技術を用いて店舗への来客の画像を店舗内カメラで撮影し、撮影した画像から顔画像を検出し、当該検出された顔画像の顔照合を行い、特別なお客であるＶＩＰ（Very Important person）又は不審者を端末画面に表示して店舗スタフに通知するシステムが知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２８７１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、店舗内において、上記カメラの撮影範囲で人物を検出すると、当該カメラは当該人物を追跡（トラッキング）し続けるため、当該システムは、既に通知されているお客、不審者であっても何度も通知してしまうために、新しいお客が来店したのか、都度、店舗スタフが確認しなければならないことがあり、人間系よる確認が必要であった。
【０００５】
本発明は、上述した課題を解決するためになされたもので、既に通知済みの顔画像に対しては、照合結果の非通知時間を設定することにより同一顔画像に対して複数回通知されることがない顔照合システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の請求項１記載の顔照合システムは、カメラから出力された顔画像を取り込む画像取込手段と、この画像取込手段で取り込んだ画像の顔画像を検出する顔画像検出手段と、この顔画像検出手段で検出した顔画像と顔画像データベースに保存されている顔画像とを照合する顔照合手段と、この顔照合手段による照合の結果、前記顔画像データベースに保存されている顔画像の何れかと認識されたとき、前記顔画像検出手段で検出された顔画像、前記顔照合手段によって認識された顔画像及び当該認識された顔画像の顧客情報からなる通知情報を顧客端末に通知する通知手段と、前記通知情報を前記顧客端末に通知しない時間を設定する照合結果非通知時間設定手段と、を備え、前記通知手段は、当該通知手段によって前記通知情報が既に通知されており、かつ、前記照合結果非通知時間設定手段によって設定された非通知時間内の場合は、前記通知情報を前記顧客端末へ通知しない顔照合システム。
【図面の簡単な説明】
【０００７】
【図１】実施例１に係る顔照合システムの概略構成図
【図２】図１に示す顧客端末の情報表示画面
【図３】図１に示す管理端末の環境設定画面
【図４】顔照合システムの起動処理のフローチャート
【図５】顔照合・通知処理のフローチャート
【図６】ＶＩＰの通知処理フローチャート
【発明を実施するための形態】
【０００８】
本実施例に係る顔照合システムは、店舗等に設置されるカメラ、顧客サーバ、顔照合サーバ、管理端末及び顧客端末がＬＡＮ等の通信回線を介して接続され、カメラから出力された画像を取り込んで顔画像を検出し、当該検出した顔画像の顔照合を行う。顔照合の結果、登録された重要顧客（ＶＩＰ）又は不審者が検出された場合には当該顔画像を顧客端末に表示する。この際、当該検出された顔画像を連続して通知することがないように、既に通知済みの顔画像に対しては、照合結果の非通知時間が設定される。この非通知時間内は通知済みの顔画像は顧客端末に送信されない。この結果、通知済みの顔画像が顧客端末に連続し表示されることによる不具合を防止することができる。以下、図面を参照して詳細に説明する。
【実施例１】
【０００９】
図１は、実施例１に係る顔照合システム１００の概略構成図の一例である。顔照合システム１００は、店舗等に設置されるカメラ１０、顔照合サーバ２０、顧客サーバ３０、管理端末４０及び顧客端末５０がＬＡＮ（Local Area Network）等の通信回線を介して接続される。
【００１０】
監視範囲に応じて複数台のカメラが用いられる場合もある。また、当該システムを構成する各機器も必要に応じて拡張される場合がある。
【００１１】
カメラ１０は、ＬＡＮＩ／Ｆ（Inter Face）を有する監視カメラ等で構成される。カメラ１０は、移動する物体を追跡しながら人物を検出する。検出した人物画像は、ＬＡＮを介して顔照合サーバ２０に送信される。
【００１２】
顔照合サーバ２０は、顔照合装置２１及び顔画像データベース２２を有して構成される。顔照合装置２１は、カメラ１０から出力された画像を取り込む画像取込部（画像取込手段）、取り込んだ画像の顔画像を検出する顔画像検出部（顔画像検出手段）、この顔画像検出部で検出された顔画像を顔画像データベース２２に登録されている顔画像と照合する顔照合部（顔照合手段）などを有して構成される。
【００１３】
顧客サーバ３０は、顧客データベース３１と接続され、顧客端末５０からの要求に応じて、顧客の個人情報（顧客情報）が登録される。また、後述する顧客端末からの要求応じて当該顧客データベースに登録された顧客情報を出力する。
【００１４】
管理端末４０は、ＰＣ（Personal Computer）で構成され、顧客の顔画像の登録、削除を管理する。
【００１５】
顧客端末５０は、ＰＣ（Personal Computer）で構成され、顧客の個人情報（顧客情報）の登録、顔照合サーバから通知される通知情報の表示などを行うことができる。
【００１６】
図２は、図１に示す顧客端末５０の情報表示画面５０ａである。顔照合サーバ２０から通知（送信）された顔画像検出部で検出された顔画像、顔照合部で認識された顔画像及び当該認識された顔画像の顧客情報からなる通知情報は、当該顧客端末５０の情報表示画面５０ａに表示される。
【００１７】
撮影画像５１には、上記顔画像検出部で検出した顔画像が表示される。
【００１８】
データベースの画像５２には、上記顔照合部で認識された顔画像であって、撮影画像５１と顔照合し、照合率が一番高い顔画像が顔画像データの中から抽出された顔画像である。
【００１９】
照合率５３は、撮影画像と上記照合率が一番高い顔画像との顔照合の照合率である類似度値を表示する。
【００２０】
顧客情報フィールド５４には、上記顔照合の結果照合率が一番高い値の個人情報を表示する。表示した顧客番号、氏名、生年月日、購入履歴及び来店回数は表示内容の一例であり、本システムを利用する側が必要に応じて設定することができる。
【００２１】
操作ボタン５５は、オペレータが操作するためのボタンである。印刷ボタン、→（次ページ表示）、←（戻りページ表示）などの操作を行うことができる。
【００２２】
図３は、図１に示す管理端末４０の環境設定画面４０ａである。設定情報フィールド４１は、顔照合の環境設定条件を入力することができる。例えば、照合時間非通知時間の設定やＶＩＰ／不審者フラグの何れを表示するかの設定、アラームの種類設定などができる。
【００２３】
（１）照合結果の非通知時間：１０
照合結果の非通知時間を１０分に設定した場合の一例である。
【００２４】
（２）ＶＩＰ／不審者フラグ：
１：ＶＩＰ、２：不審者、３：ＶＩＰ及び不審者
顔画像データベースから抽出された顔画像がＶＩＰの場合に図２に示す表示を行うのか、不審者が抽出された場合に表示を行うのか又はＶＩＰ又は不審者が抽出された場合に表示を行うのかプルダウンメニューの中から選択することができる。
【００２５】
（３）アラームの種類：
１：ＶＩＰ、２：不審者
アラームの種類をプルダウンメニューの中から選択することができる。
【００２６】
図４は、顔照合システムの起動処理のフローチャートである。システム起動後、顔照合システムの環境設定ファイルを読み込み、動作環境を設定する（Ｓ０１）。
【００２７】
動作環境設定後、顔画像データベースに登録されている顔画像（照合用テンプレート）をメモリ上に展開する（Ｓ０２）。この処理は、類似度演算処理を高速に行うために、登録されている顔画像をメモリ上に展開するのである。この処理は顔照合システムを起動した際に、例えば朝、オペレータが当該顔照合システムを起動した際に1回行われる。又は所定の起動時刻を設定することにより、自動的に起動される。
【００２８】
顔画像（照合用テンプレート）と個人照合（顧客管理番号、ＶＩＰ／不審者）の展開後、顔照合処理を起動する。この処理は、顔照合処理の処理プログラムを起動し、メモリ上に展開することを意味する。メモリ上にこのような展開を行うことにより、顔照合を行う必要が発生した場合に高速処理を行うことが可能になる。
【００２９】
以上の処理を経て、顔照合システムの起動処理を完了する。
【００３０】
図５は、顔照合サーバ２０による顔照合・通知処理のフローチャートである。オペレータより処理終了の要求を受けていないか確認する（Ｓ２０）。この確認の結果、処理終了の要求を受けていない場合（Ｓ２０のＮｏ）、カメラ１０から送信された人物の検出画像が有るか確認する（Ｓ２１）。
【００３１】
この確認の結果、人物の検出画像がない場合（Ｓ２１のＮｏ）、検出画像が受信されるまでループする。検出画像を受信すると（Ｓ２１のＹｅｓ）、顔画像を検出し、当該検出した顔画像を切り出す（Ｓ２２）。
【００３２】
切り出した顔画像（被検出顔画像）と顔画像データベースに登録されている顔画像（照合用テンプレート）との顔照合を行う（Ｓ２３）。顔照合方法は、被検出顔画像と顔画像データベース２２に登録されている顔画像との間の特徴量を検出し当該検出された特徴量に対して相互の類似度値を算出することにより行う。このようにして算出された類似度値が設定された閾値を超える顔画像の中から、最も類似度値の高い顔画像を抽出する。
【００３３】
このようにして抽出された顔画像の登録情報を確認する（Ｓ２４）。実施例では、顧客データベース３１に登録情報を登録した場合を示しているが、必ずしもこれに限るものではなく、顔画像を登録する顔照合サーバ２０に顔画像と共に登録しても同様の結果を得ることができる。このようにして抽出された顔画像の登録情報の中にＶＩＰのフラグが設定されている場合はＶＩＰの通知処理に移行する（Ｓ２５）。一方、不審者フラグが設定されている場合は不審者の通知処理に移行する（Ｓ２６）。
【００３４】
なお、ＶＩＰフラグ又は不審者フラグの何れも設定されていない場合は、終了する。
【００３５】
なお、ステップＳ２１において、顔照合サーバ２０が検出画像を受信するまで待っている（ループしている）間、カメラ１０は、人物が検出されるまで、店舗の来場者を検出・追跡する（Ｓ３０）、人物が検出されると（Ｓ３０のＹｅｓ）、検出された検出画像は、ＬＡＮ６０を介して顔照合サーバ２０に送信される。その後の処理は上述した通りである。
【００３６】
図６は、ＶＩＰの通知処理を示すフローチャートである。最初に、当該顔画像が既に通知済みであるか確認する（Ｓ４０）。この確認の結果、既に通知済みの場合（Ｓ４０のＹｅｓ）、照合結果の非通知時間内であるか確認する（Ｓ４１）。この確認に結果、照合結果の非通知時間内の場合は（Ｓ４１のＹｅｓ）、そのまま終了する。既に照合結果を通知済みであり、本発明の趣旨に基づいて連続して通知しないためである。一方、照合結果の非通知時間内でない場合は（Ｓ４１のＮｏ）、画面上にＶＩＰの来客通知を行う（Ｓ４２）。
【００３７】
以上説明したように本発明によれば、店舗等での来客の顔画像を検出して当該来客者が登録されている場合には当該来客の顔画像と共に登録情報を通知する顔照合システムにおいて、既に通知済みの顔画像に対しては照合結果の非通知時間を設定することにより同一顔画像に対して複数回通知されることがない顔照合システムを提供することができる。
【符号の説明】
【００３８】
１００  顔照合システム
１０  カメラ
２０  顔照合サーバ
２２  顔画像データベース
３０  顧客サーバ
３１  顧客データベース
４０  管理端末
５０  顧客端末
６０  ネットワーク
【図１】
2014016969.tif 000003
【図２】
2014016969.tif 000004
【図３】
2014016969.tif 000005
【図４】
2014016969.tif 000006
【図５】
2014016969.tif 000007
【図６】
2014016969.tif 000008