(57)【要約】【課題】撮影された来店者の顔画像に基づいて来店者の検証を行う顔認識による来店者検証システムであって、顔画像を表示するか否かを制御するものを提供すること。【解決手段】顔画像とその特徴量の一方又は両方と個人に関する情報とを組み合わせた個人別データ１６を保持し、撮影された顔画像から特徴量を抽出して各々の個人との類似度を計算する類似度計算部１３と、類似度に基づいて撮影された顔画像に係る個人が同一人である可能性を検出する判定部１４とを備え、来店不適格者は第１の来店不適格者と第２の来店不適格者に分別され、判定部１４が同一人である可能性を第１の来店不適格者について検出した際には顔画像を画面に表示せず、第２の来店不適格者について検出した際には顔画像を画面に表示する、顔認識による来店者検証システムを提供する。【選択図】図１
2020190781.tif 000002
【特許請求の範囲】
【請求項１】
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算部と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする、顔認識による来店者検証システム。
【請求項２】
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証システム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示部を備えることを特徴とする、顔認識による来店者検証システム。 
【請求項３】
前記判定部は、前記第１の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第１の閾値）と、前記第２の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第２の閾値）とを備え、前記第１の閾値は前記第２の閾値よりも大きな値であることを特徴とする、請求項１又は２に記載の顔認識による来店者検証システム。
【請求項４】
１の店舗において前記個人別データに前記第２の来店不適格者を登録する際に、該１の店舗のみで第２の来店不適格者として登録するか、他の店舗についても第２の来店不適格者として登録するかを選択できる来店不適格者共有部を備えることを特徴とする、請求項１〜３のいずれか１項に記載の顔認識による来店者検証システム。
【請求項５】
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算処理と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする、顔認識による来店者検証プログラム。
【請求項６】
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証プログラム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示処理を備えることを特徴とする、顔認識による来店者検証プログラム。 
【請求項７】
前記判定処理は、前記第１の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第１の閾値）と、前記第２の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第２の閾値）とを備え、前記第１の閾値は前記第２の閾値よりも大きな値であることを特徴とする、請求項５又は６に記載の顔認識による来店者検証プログラム。
【請求項８】
１の店舗において前記個人別データに前記第２の来店不適格者を登録する際に、該１の店舗のみで第２の来店不適格者として登録するか、他の店舗についても第２の来店不適格者として登録するかを選択する来店不適格者共有処理を備えることを特徴とする、請求項５〜７のいずれか１項に記載の顔認識による来店者検証プログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された来店者の顔画像に基づいて来店者の検証（来店不適格者の検出）を行う顔認識による来店者検証システム、及びコンピュータを該顔認識による来店者検証システムとして機能させる顔認識による来店者検証プログラムに関する。
【背景技術】
【０００２】
従業員が顧客と１対１で対応を行う店舗や、数多くの顧客が来店する店舗において、従業員との間でトラブルが発生した来店者や、万引き等を行った来店者の来店を拒否したいことがある。専任の担当者を常勤させて対応することも考えられるが、その方法ではコストがかかり、また店舗間で情報を共有することができない。可能であれば、カメラで撮影した顔画像を認識し、省力化と店舗間での情報共有を実現したい。
【０００３】
この点、特許文献１には、顔画像を認識するシステムであって、予め許可された者以外のデータを外部に配信する顔画像照合システムが開示されている。
【０００４】
また、特許文献２には、顔画像が本人のものであることを確認し、プライバシーに配慮した人物画像検索方法が開示されている。
【０００５】
特許文献１、２はともに、顔画像を保持される個人の意向を配慮するが、画像に基づいて来店者を検証し、実際に入店を認める又は拒否する場合にいかなる問題が発生するかに特化したものではない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３５５３７７号公報
【特許文献２】特開２０１４−０８９６２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
来店者の多くは、自らの顔画像が保持され、それを第三者に見られてしまうことを好まないと考えられる。
【０００８】
本発明は、撮影された来店者の顔画像に基づいて来店者の検証（来店不適格者の検出）を行う顔認識による来店者検証システムであって、顔画像を表示するか否かを制御するものを提供することを課題とする。合わせて、コンピュータを該顔認識による来店者検証システムとして機能させる顔認識による来店者検証プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明の顔認識による来店者検証システムは、
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算部と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする。
【００１０】
本発明の顔認識による来店者検証システムは、
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証システム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示部を備えることを特徴とする。 
【００１１】
この特徴によれば、第１の来店不適格者に係る顔画像を表示せず、第２の来店不適格者に係る顔画像を表示する来店者検証システムが提供される。第２の来店不適格者は、不適格性の高い者（例えば反社会的団体に属する者）である。不適格性の低い第１の来店不適格者については、顔画像を表示しない。同一人である可能性を検出するためには特徴量のみを使用する。通常、特徴量から顔画像を復元できないので、第１の来店不適格者については個人別データに特徴量を含み顔画像を含まないものとして、顔画像が保持されていない形態とすることもできる。
【００１２】
本発明の顔認識による来店者検証システムは、
前記判定部は、前記第１の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第１の閾値）と、前記第２の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第２の閾値）とを備え、前記第１の閾値は前記第２の閾値よりも大きな値であることを特徴とする。
【００１３】
この特徴によれば、第１の来店不適格者については同一人である可能性が極めて高い場合にのみ検出し、第２の来店不適格者については同一人である可能性が極めて高くなくとも一定以上高い場合に検出することができる。第２の来店不適格者を入店させないことを確実にするため、顔画像を表示して店舗（受付職員、警備担当者）が確認することができる。
【００１４】
本発明の顔認識による来店者検証システムは、
１の店舗において前記個人別データに前記第２の来店不適格者を登録する際に、該１の店舗のみで第２の来店不適格者として登録するか、他の店舗についても第２の来店不適格者として登録するかを選択できる来店不適格者共有部を備えることを特徴とする。
【００１５】
この特徴によれば、特定の店舗に固有の来店不適格者（例えば特定の従業員へのストーカー）と、店舗間で共通の来店不適格者（例えば反社会的団体に属する者）とを区分して処理することができる。
【００１６】
本発明の顔認識による来店者検証プログラムは、
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算処理と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする。
【００１７】
本発明の顔認識による来店者検証プログラムは、
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証プログラム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示処理を備える
ことを特徴とする。
【００１８】
本発明の顔認識による来店者検証プログラムは、
前記判定処理は、前記第１の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第１の閾値）と、前記第２の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第２の閾値）とを備え、前記第１の閾値は前記第２の閾値よりも大きな値であることを特徴とする。
【００１９】
本発明の顔認識による来店者検証プログラムは、
１の店舗において前記個人別データに前記第２の来店不適格者を登録する際に、該１の店舗のみで第２の来店不適格者として登録するか、他の店舗についても第２の来店不適格者として登録するかを選択する来店不適格者共有処理を備えることを特徴とする。
【００２０】
これらの特徴によれば、コンピュータを本発明の来店者検証システムとして機能させる来店者検証プログラムが提供される。
【発明の効果】
【００２１】
本発明によれば、顔画像を表示するか否かを制御する顔認識による来店者検証システム及び顔認識による来店者検証プログラムが提供される。
【図面の簡単な説明】
【００２２】
【図１】図１は、第１実施形態における顔認識による来店者検証システムの構成を示す図である。
【図２】図２は、第１実施形態における個人別データの構成例を示す図である。
【図３】図３は、第１実施形態における判定部の処理を示すフローチャートである。
【図４】図４は、第１実施形態における来店不適格者受信部の処理を示すフローチャートである。
【図５】図５は、第２実施形態における顔認識による来店者検証システムの構成を示す図である。
【発明を実施するための形態】
【００２３】
以下、第１実施形態における本発明の実施例を説明する。
【００２４】
（実施例：第１実施形態）
図１は、第１実施形態における顔認識による来店者検証システムの構成を示す図である。顔認識による来店者検証システムは、顔認識による来店者検証システム（サーバ）１に、顔認識による来店者検証システム（各店舗機器）２がネットワークを介して接続されている。顔認識による来店者検証システム（各店舗機器）２は、１台のみでなく、２台以上を接続することができる。各々の顔認識による来店者検証システム（各店舗機器）２が、各店舗に設置されて運用される。
【００２５】
顔認識による来店者検証システム（サーバ）１は、顔画像受信部１１、特徴量抽出部１２、類似度計算部１３、判定部１４、結果送信部１５及び来店不適格者受信部１７を備え、個人別データ１６を保持している。
【００２６】
顔認識による来店者検証システム（各店舗機器）２は、顔画像送信部２１、結果表示部２２、顔画像表示部２３及び来店不適格者登録部２４を備え、カメラ２５及びユーザ端末２６が接続されている。
【００２７】
顔画像受信部１１は、各店舗機器２から顔画像を受信する。
【００２８】
特徴量抽出部１２は、受信した顔画像を分析し、特徴量を抽出する。
【００２９】
類似度計算部１３は、特徴量を抽出された顔画像と、個人別データ１６内の顔画像との類似度を計算する。類似度の計算は、抽出された特徴量と特徴量データ１６ｄとを対照して行われる。
【００３０】
判定部１４は、類似度に基づき、受信した顔画像に係る個人が個人別データに含まれる個人のいずれかと同一人である可能性を検出する。
【００３１】
結果送信部１５は、判定部１４が同一人である可能性を検出した個人に係るデータを、各店舗機器２に送信する。
【００３２】
個人別データ１６は、個人データ１６ａ、店舗データ１６ｂ、顔画像データ１６ｃ及び特徴量データ１６ｄの集合体である。
【００３３】
個人データ１６ａは、個人を表すデータの集合体である。各々の個人を表すデータには、個人のＩＤ（図２において、「個人Ａ」「個人Ｂ」．．．で示す）と当該個人に関する情報（例えば、氏名等の同定情報、過去のトラブルの記録）を含む。
【００３４】
店舗データ１６ｂは、各々の店舗がいずれの個人を来店不適格者とするかを表すデータである。店舗データ１６ｂは、各々の店舗が来店不適格者とする個人のＩＤを保持する。また、店舗が属するグループの情報を含む。
【００３５】
顔画像データ１６ｃは、顔画像のイメージデータを個人のＩＤとともに保持する。ここで、１の個人について２以上の顔画像データを有する場合もある。
【００３６】
特徴量データ１６ｄは、顔画像から抽出された特徴量の数値もしくは記号データを個人のＩＤとともに保持する。ここで、１の個人について２以上の特徴量データを有する場合もある。例えば目の吊り上がり具合（目を楕円近似した場合の長径の傾斜角）、目・鼻・口の位置（顔の周縁を円形に規格化した場合の目・鼻・口の座標）が、特徴量データとして使用し得る。
【００３７】
図２は、第１実施形態における個人別データの構成例を示す図である。個人データ１６ａ、店舗データ１６ｂ、顔画像データ１６ｃ及び特徴量データ１６ｄの相互の関係を示すものである。
【００３８】
店舗データ１６ｂには、来店不適格者とする全ての個人について、第１の来店不適格者／第２の来店不適格者の別を含み保持されている。また、店舗が属するグループの情報が保持されている。図においては、店舗ＸとＹとが同一のグループＧに属し、店舗Ｚはいずれのグループにも属していない。
【００３９】
ここで、来店不適格者（個人）が第１の来店不適格者であるか第２の来店不適格者であるかは、個人データ１６ａでなく店舗データ１６ｂに保持されている。個人Ａが店舗Ｘでは第１の来店不適格者であり店舗Ｙでは第２の来店不適格者であるということがあり得る。このように、同一個人について店舗に依存して来店不適格の度合いが相違することに対応するものである。
【００４０】
以上の個人別データ１６の構成は一例である。各々の店舗について、その店舗が第１の来店不適格者とする個人及び第２の来店不適格者とする個人が判り、それらの個人についての顔画像データの一覧もしくは顔画像データが存在しないこと、特徴量データの一覧もしくは特徴量データが存在しないことが判ればよい。かかる構成は、多種考えられるが、いずれでもよい。
【００４１】
個人別データ１６を物理的にどのように実現するかについては様々な実現方法が考えられる。個人別データ１６はサーバ１が動作する装置に備わるＨＤＤやＳＳＤなどのストレージ上に保存されることが多いが、それに限定するものではない。例えば、個人別データ１６の一部を、外部のクラウドストレージサービス上に保存する構成をとってもよい。
【００４２】
来店不適格者受信部１７は、各店舗機器２から、新たに来店不適格者とする個人のデータを受信し、個人別データ１６を更新する。
【００４３】
その際、データを送信した各店舗機器２を用いる店舗（各店舗機器２のＩＤ等で決定できる）に係る店舗データ１６ｂを更新するが、来店不適格者共有部１７ａにより、他の店舗の店舗データ１６ｂを更新してもよい。
【００４４】
顔画像送信部２１は、カメラ２５によって撮影された顔画像を、サーバ１に送信する。
【００４５】
結果表示部２２は、サーバ１（結果送信部１５）によって送信された結果を、ユーザ端末２６に表示する。
【００４６】
顔画像表示部２３は、結果表示部２２の指示により、顔画像をユーザ端末２６に表示する。
【００４７】
結果送信部１５によって送信される結果には、第１の来店不適格者については顔画像が含まれず、第２の来店不適格者については顔画像が含まれる。したがって、顔画像表示部２３は、第１の来店不適格者については顔画像を表示せず、第２の来店不適格者についてのみ顔画像を表示する。
【００４８】
来店不適格者登録部２４は、新たに来店不適格者とする個人のデータをサーバ１に送信する。 
【００４９】
以上、顔認識による来店者検証システムの構成について説明した。以下、本発明の第１実施形態に係る実際の処理について具体的に説明する。
【００５０】
（第１実施形態：来店者の検証）
来店者が来店不適格者であることを検証する処理の一例を示す。
【００５１】
来店者が店内に入った時、カメラ２５によって顔画像を撮影する。カメラ２５は、例えば量販店の天井に設けられた防犯カメラであってもよく、クラブ等の受付を有する店舗では受付に設けられたカメラであってもよい。
【００５２】
次に、顔画像送信部２１が撮影された顔画像をサーバ１に送信し、顔画像受信部１１がその顔画像を受信し、特徴量抽出部１２がその顔画像から特徴量を抽出する。
【００５３】
次に、類似度計算部１３が、抽出された特徴量を特徴量データ１６ｄのデータと照合し、特徴量データを有する個人ｊと抽出された特徴量との類似度Ｓｊを計算する。
【００５４】
次に、判定部１４が、各々の個人について結果を各店舗機器２に送信するか否かを決定する。図３は、第１実施形態における判定部の処理を示すフローチャートである。判定部１４は、類似度Ｓｊの計算された個人ｊのそれぞれについて、以下の処理を行う。
【００５５】
処理を行う個人を個人ｉとする。判定部１４は、まず、店舗データ１６ｂを参照して、個人ｉが店舗機器２が所属する店舗において、第１の来店不適格者であるか第２の来店不適格者であるかを求める。
【００５６】
個人ｉが当該店舗において、第１の来店不適格者、第２の来店不適格者のどちらにも登録されていない場合においても、ある店舗において第１の来店不適格者もしくは第２の来店不適格者として登録されている場合は、当該店舗において第１の来店不適格者に登録されているとみなして後続の処理をするとしてよい。こうすることにより、ある店舗で登録された来店不適格者の情報を、他の店舗で共有することができる。また、個人ｉがある店舗において第２の来店不適格者に登録されている場合のみ、当該店舗において第１の来店不適格者に登録されているとみなして後続の処理をするとしてもよい。
【００５７】
第１の来店不適格者であればＳｉ≧Ｔ１、第２の来店不適格者であればＳｉ≧Ｔ２の場合に個人ｉを結果報告対象者として選択する。ここで、Ｔ１＞Ｔ２である。
【００５８】
Ｓｉの値の意味は、類似度計算部１３（顔画像認識）の処理によって異なるが、認識対象の顔画像（特徴量）が個人ｉの顔画像（特徴量）に近似するほど大きな値となる。以下、Ｓｉの値は、認識対象の顔画像の個人が個人ｉである可能性（確率）であるとして説明するが、Ｓｉの値が他の意味であってもＳｉの値の大小関係は個人ｉである可能性の大小関係と同じであり、同様の結果となる。
【００５９】
例えば、Ｔ１＝８０％、Ｔ２＝５０％とする。第１の来店不適格者については可能性が大きい場合にのみ報告し、第２の来店不適格者については可能性がやや小さくても報告するものである。第２の来店不適格者については入店を確実に阻止したいので、可能性がやや小さくても各店舗機器２に顔画像を送信して、店舗スタッフの判断とする。
【００６０】
マスクを装着する、眼鏡を変更する等によってＳｉの値が小さくなるので、第２の来店不適格者についてはかかる場合にも報告対象とすることが好ましい。
【００６１】
判定部１４は、結果送信部１５を起動する。
【００６２】
次に、結果送信部１５が選択された個人ｉのそれぞれについて、個人ｉに係るデータと類似度Ｓｉを各店舗機器２に送信する。個人ｉに係るデータには、個人データ１６ａの当該個人に関する情報（例えば、氏名等の同定情報、過去のトラブルの記録）及び個人ｉが第２の来店不適格者の場合には顔画像データ１６ｃの顔画像が含まれる。ただし、個人ｉが第１の来店不適格者の場合には顔画像は含まれない。
【００６３】
最後に、結果表示部２２が結果をユーザ端末２６に表示する。その際、結果に顔画像が含まれる場合には、顔画像表示部２３が顔画像をユーザ端末２６に表示する。
【００６４】
結果表示部２２は、結果送信部１５から送信された結果の一部のみを表示するとしてもよい。その際に様々な選別方法が考えられる。例えば、類似度が最も大きい個人データと、それ以外の個人データでかつ第２の来店不適格者の個人データを類似度とともに表示するとしてもよい。
【００６５】
（第１実施形態：来店不適格者の登録）
新たに来店不適格者をシステムに登録する処理の一例を示す。
【００６６】
店舗が個人を来店不適格者として登録したい場合、来店不適格者登録部２４を起動し、その個人に関する情報（例えば、氏名等の同定情報、トラブルの記録）、第１の来店不適格者か第２の来店不適格者かの別、及び顔画像をサーバ１に送信する。なお、個人に関する情報が具体的に取得できていない場合には「〇月〇日登録」という情報でもよい。
【００６７】
来店不適格者登録部２４は、第２の来店不適格者である場合には、自店舗のみの登録とするか他店舗でも登録するかを合わせて送信する。他店舗でも登録する場合、全ての他店舗とするか、自分の属するグループの店舗のみとするかを選択する。かかる情報は、例えば「自店舗」「全店舗」を表すフラグ、「グループ名」によることができる。例えば、第２の来店不適格者が反社会的組織の者であれば全ての他店舗とする。また、第２の来店不適格者が地域内の競合する店舗の関係者（いわゆる産業スパイ）であれば自分の属するグループの店舗（例えば、同一の地域の店舗群）とする。
【００６８】
なお、第１の来店不適格者についても、自店舗のみの登録とするか他店舗でも登録するかを合わせて送信することとしてもよい。上述したように、ある店舗で来店不適格者として登録されている場合、来店不適格者の情報共有の観点から自店舗において来店不適格者の登録がなくても第１の来店不適格者として扱うことが望まれるが、そうでない場合もあるためである。
【００６９】
図４は、第１実施形態における来店不適格者受信部の処理を示すフローチャートである。来店不適格者受信部１７は、各店舗機器２から上記情報を受信して動作する。来店不適格者受信部１７は、まず、個人データ１６ａを参照して受信した個人のデータが存在するか否かを確認し、存在しない場合には、個人データを追加する。
【００７０】
来店不適格者受信部１７は、次に、個人データ１６ａを更新し、個人データに、各店舗機器２から受信した情報（例えば、氏名等の同定情報、トラブルの記録）と、登録された時刻や登録した店舗の名称等を追記する。
【００７１】
来店不適格者受信部１７は、次に、新たな登録が第２の来店不適格者である場合には、顔画像データ１６ｃを追加する。
【００７２】
来店不適格者受信部１７は、次に、顔画像データから特徴量を抽出して特徴量データ１６ｄを追加する。
【００７３】
来店不適格者受信部１７は、次に、新たな登録を送信した各店舗機器２に係る店舗の店舗データを更新（個人を追加）する。
【００７４】
来店不適格者受信部１７は、次に、他店舗の指定の有無を確認し、指定がない場合には処理を終了する。
【００７５】
他店舗の指定がある場合には、来店不適格者共有部１７ａの処理を行う。来店不適格者共有部１７ａは、グループが指定された場合にはグループに属する店舗の店舗データを更新（個人を追加）し、全店舗が指定された場合には全店舗の店舗データを更新（個人を追加）する。
【００７６】
以上、本発明の第１実施形態に係る顔認識による来店者検証システムの構成及び処理について説明した。同等の処理を他の構成でも実現可能であり、かかる構成も本発明の技術的範囲に含まれる。処理は、サーバ１、店舗機器２のいずれでも行うことができる。データは、サーバ１、店舗機器２のいずれにも保持することができる。
【００７７】
例えば、来店者の検証を行う処理において、特徴量抽出部１２を各店舗機器２に設け、顔画像に替えて特徴量を送信することとしてもよい。送信データ量が小さくなる。
【００７８】
以下、第２実施形態における本発明の実施例を説明する。
【００７９】
（実施例：第２実施形態）
図５は、第２実施形態における顔認識による来店者検証システムの構成を示す図である。顔認識による来店者検証システムは、顔認識による来店者検証システム（サーバ）３と、登録済みの顔画像から類似している顔画像を検索する機能を備える外部機器４と、顔認識による来店者検証システム（各店舗機器）２がネットワークを介して接続されている。顔認識による来店者検証システム（各店舗機器）２は、１台のみでなく、２台以上を接続することができる。各々の顔認識による来店者検証システム（各店舗機器）２が、各店舗に設置されて運用される。ここで、外部機器４は、来店者検証システム３の外に設けられる機器であるが、登録済みの顔画像から類似している顔画像を検索する機能は多数の者に向けたサービスとして提供されており、かかるサービスを外部機器４として利用することができる。
【００８０】
顔認識による来店者検証システム（サーバ）３は、顔画像受信部３１、検索要求部３２、検索結果受信部３３、判定部３４、結果送信部３５、来店不適格者受信部３７、来店不適格者共有部３７ａ、及び検索対象登録部３８を備え、個人別データ３６を保持している。
【００８１】
顔認識による来店者検証システム（各店舗機器）２は、第１実施形態における顔認識による来店者検証システム（各店舗機器）２と同等のものである。
【００８２】
顔画像受信部３１は、各店舗機器２から顔画像を受信する。
【００８３】
検索要求部３２は、顔画像受信部３１が受信した顔画像と類似した顔画像を検索するために、外部機器４に顔画像を送信する。
【００８４】
検索結果受信部３３は、外部機器４から、類似している顔画像に係る個人のＩＤの一覧と、個人のＩＤごとの類似度を受信する。
【００８５】
判定部３４は、 検索結果受信部３３が受信した検索結果に基づき、受信した顔画像に係る個人が個人別データに含まれる個人のいずれかと同一人である可能性を検出する。
【００８６】
結果送信部３５は、判定部３４が同一人である可能性を検出した個人に係るデータを、各店舗機器２に送信する。
【００８７】
個人別データ３６は、個人データ３６ａ、店舗データ３６ｂ、顔画像データ３６ｃの集合体である。
【００８８】
個人データ３６ａは、個人を表すデータの集合体である。各々の個人を表すデータには、個人のＩＤと当該個人に関する情報（例えば、氏名等の同定情報、過去のトラブルの記録）を含む。
【００８９】
店舗データ３６ｂは、各々の店舗がいずれの個人を来店不適格者とするかを表すデータである。店舗データ３６ｂは、各々の店舗が来店不適格者とする個人のＩＤを保持する。また、店舗が属するグループの情報を含む。
【００９０】
顔画像データ１６ｃは、顔画像のイメージデータを個人のＩＤとともに保持する。
【００９１】
以上の個人別データ３６の構成は一例である。各々の店舗について、その店舗が第１の来店不適格者とする個人及び第２の来店不適格者とする個人が判り、それらの個人についての顔画像データの一覧もしくは顔画像データが存在しないことが判ればよい。かかる構成は多種考えられるが、いずれでもよい。
【００９２】
個人別データ３６を物理的にどのように実現するかについては様々な実現方法が考えられる。個人別データ３６はサーバ３が動作する装置に備わるＨＤＤやＳＳＤなどのストレージ上に保存されることが多いが、それに限定するものではない。例えば、個人別データ３６の一部を、外部のクラウドストレージサービス上に保存する構成をとってもよい。
【００９３】
来店不適格者受信部３７は、各店舗機器２から、新たに来店不適格者とする個人のデータを受信し、個人別データ３６を更新する。
【００９４】
その際、データを送信した各店舗機器２を用いる店舗（各店舗機器２のＩＤ等で決定できる）に係る店舗データ３６ｂを更新するが、来店不適格者共有部３７ａにより、他の店舗の店舗データ３６ｂを更新してもよい。
【００９５】
以上、本発明の第２実施形態に係る顔認識による来店者検証システムの構成について説明した。以下、本発明の第２実施形態に係る実際の処理について具体的に説明する。
【００９６】
（第２実施形態：来店者の検証）
来店者が来店不適格者であることを検証する処理の一例を示す。
【００９７】
来店者が店内に入った時、カメラ２５によって顔画像を撮影する。カメラ２５は、例えば量販店の天井に設けられた防犯カメラであってもよく、クラブ等の受付を有する店舗では受付に設けられたカメラであってもよい。
【００９８】
次に、顔画像送信部２１が撮影された顔画像をサーバ３に送信し、顔画像受信部３１がその顔画像を受信する。
【００９９】
検索要求部３２は、顔画像受信部３１が受信した顔画像を、外部機器４に送信する。外部機器４が検索のパラメータとして類似度の閾値を受け入れる場合は、顔画像とともに類似度の閾値を送信するとしてもよい。
【０１００】
検索結果受信部３３は、外部機器４から、顔画像受信部３１が受信した顔画像と類似している個人のＩＤと類似度の一覧を受信する。
【０１０１】
次に、判定部３４が、各々の個人について結果を各店舗機器２に送信するか否かを決定する。判定部３４は、類似度Ｓｊの個人ｊのそれぞれについて、以下の処理を行う。
【０１０２】
処理を行う個人を個人ｉとする。判定部３４は、まず、店舗データ３６ｂを参照して、個人ｉが店舗機器２が所属する店舗において、第１の来店不適格者であるか第２の来店不適格者であるかを求める。
【０１０３】
個人ｉが当該店舗において、第１の来店不適格者、第２の来店不適格者のどちらにも登録されていない場合においても、ある店舗において第１の来店不適格者もしくは第２の来店不適格者として登録されている場合は、当該店舗において第１の来店不適格者に登録されているとみなして後続の処理をするとしてよい。こうすることにより、ある店舗で登録された来店不適格者の情報を、他の店舗で共有することができる。また、個人ｉがある店舗において第２の来店不適格者に登録されている場合のみ、当該店舗において第１の来店不適格者に登録されているとみなして後続の処理をするとしてもよい。
【０１０４】
第１の来店不適格者であればＳｉ≧Ｔ１、第２の来店不適格者であればＳｉ≧Ｔ２の場合に個人ｉを結果報告対象者として選択する。ここで、Ｔ１＞Ｔ２である。
【０１０５】
Ｓｉの値の意味は、外部機器４の処理によって異なるが、一般的には認識対象の顔画像が個人ｉの顔画像に近似するほど大きな値となる。
【０１０６】
判定部３４は、結果送信部３５を起動する。
【０１０７】
次に、結果送信部３５が選択された個人ｉのそれぞれについて、個人ｉに係るデータと類似度Ｓｉを各店舗機器２に送信する。個人ｉに係るデータには、個人データ３６ａの当該個人に関する情報（例えば、氏名等の同定情報、過去のトラブルの記録）、及び個人ｉが第２の来店不適格者の場合には顔画像データ３６ｃの顔画像が含まれる。
【０１０８】
最後に、結果表示部２２が結果をユーザ端末２６に表示する。その際、結果に顔画像が含まれる場合には、顔画像表示部２３が顔画像をユーザ端末２６に表示する。
【０１０９】
結果表示部２２は、結果送信部３５から送信された結果の一部のみを表示するとしてもよい。その際に様々な選別方法が考えられる。例えば、類似度が最も大きい個人データと、それ以外の個人データでかつ第２の来店不適格者の個人データのみを、類似度とともに表示するとしてもよい。
【０１１０】
（第２実施形態：来店不適格者の登録）
新たに来店不適格者をシステムに登録する処理の一例を示す。
【０１１１】
店舗が個人を来店不適格者として登録したい場合、来店不適格者登録部２４を起動し、その個人に関する情報（例えば、氏名等の同定情報、トラブルの記録）、第１の来店不適格者か第２の来店不適格者かの別、及び顔画像をサーバ３に送信する。なお、個人に関する情報が具体的に取得できていない場合には「〇月〇日登録」という情報でもよい。
【０１１２】
来店不適格者登録部２４は、第２の来店不適格者である場合には、自店舗のみの登録とするか他店舗でも登録するかを合わせて送信する。他店舗でも登録する場合、全ての他店舗とするか、自分の属するグループの店舗のみとするかを選択する。かかる情報は、例えば「自店舗」「全店舗」を表すフラグ、「グループ名」によることができる。例えば、第２の来店不適格者が反社会的組織の者であれば全ての他店舗とする。また、第２の来店不適格者が地域内の競合する店舗の関係者（いわゆる産業スパイ）であれば自分の属するグループの店舗（例えば、同一の地域の店舗群）とする。
【０１１３】
なお、第１の来店不適格者についても、自店舗のみの登録とするか他店舗でも登録するかを合わせて送信することとしてもよい。上述したように、ある店舗で来店不適格者として登録されている場合、来店不適格者の情報共有の観点から自店舗において来店不適格者の登録がなくても第１の来店不適格者として扱うことが望まれるが、そうでない場合もあるためである。
【０１１４】
来店不適格者受信部３７は、各店舗機器２から上記情報を受信して動作する。来店不適格者受信部３７は、まず、個人データ３６ａを参照して受信した個人のデータが存在するか否かを確認し、存在しない場合には、個人データを追加する。
【０１１５】
来店不適格者受信部３７は、次に、個人データ３６ａを更新し、個人データに、各店舗機器２から受信した情報（例えば、氏名等の同定情報、トラブルの記録）と、登録された時刻や登録した店舗の名称等を追記する。
【０１１６】
来店不適格者受信部３７は、次に、新たな登録が第２の来店不適格者である場合には、顔画像データ３６ｃを追加する。
【０１１７】
来店不適格者受信部３７は、次に、検索対象登録部３８を通して、外部機器４に顔画像データと個人のＩＤを登録する。
【０１１８】
来店不適格者受信部３７は、次に、新たな登録を送信した各店舗機器２に係る店舗の店舗データを更新（個人を追加）する。
【０１１９】
来店不適格者受信部３７は、次に、他店舗の指定の有無を確認し、指定がない場合には処理を終了する。
【０１２０】
他店舗の指定がある場合には、来店不適格者共有部３７ａの処理を行う。来店不適格者共有部３７ａは、グループが指定された場合にはグループに属する店舗の店舗データを更新（個人を追加）し、全店舗が指定された場合には全店舗の店舗データを更新（個人を追加）する。
【０１２１】
以上、本発明の第２実施形態に係る顔認識による来店者検証システムの構成及び処理について説明した。同等の処理を他の構成でも実現可能であり、かかる構成も本発明の技術的範囲に含まれる。処理は、サーバ３、店舗機器２のいずれでも行うことができる。データは、サーバ３、店舗機器２のいずれにも保持することができる。
【０１２２】
例えば、検索要求部３２、検索結果受信部３３を店舗機器２に設け、外部機器４を利用した類似顔画像の検索を各店舗機器２で行うという構成をとってもよい。来店者が来店したときに店舗機器２がサーバ３に顔画像を送信する必要がなくなるため、サーバ３が受信するデータ量が小さくなる。
【産業上の利用可能性】
【０１２３】
撮影された来店者の顔画像に基づいて来店者の検証（来店不適格者の検出）を行う顔認識による来店者検証システム（顔認識による来店者検証プログラム）であって、顔画像を表示するか否かを制御するものである。多くの店舗における利用が考えられる。
【符号の説明】
【０１２４】
１      顔認識による来店者検証システム（サーバ）
１１    顔画像受信部
１２    特徴量抽出部
１３    類似度計算部
１４    判定部
１５    結果送信部
１６    個人別データ
１６ａ  個人データ
１６ｂ  店舗データ
１６ｃ  顔画像データ
１６ｄ  特徴量データ
１７    来店不適格者受信部
１７ａ  来店不適格者共有部
２      顔認識による来店者検証システム（各店舗機器）
２１    顔画像送信部
２２    結果表示部
２３    顔画像表示部
２４    来店不適格者登録部
２５    カメラ
２６    ユーザ端末
３      顔認識による来店者検証システム（サーバ）
３１    顔画像受信部
３２    検索要求部
３３    検索結果受信部
３４    判定部
３５    結果送信部
３６    個人別データ
３６ａ  個人データ
３６ｂ  店舗データ
３６ｃ  顔画像データ
３７    来店不適格者受信部
３７ａ  来店不適格者共有部
３８    検索対象登録部
４      外部機器
【図１】
2020190781.tif 000003
【図２】
2020190781.tif 000004
【図３】
2020190781.tif 000005
【図４】
2020190781.tif 000006
【図５】
2020190781.tif 000007
【手続補正書】
【提出日】令和1年9月28日(2019.9.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算部と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、前記第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする、顔認識による来店者検証システム。
【請求項２】
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認  識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証システム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、前記第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示部を備えることを特徴とする、顔認識による来店者検証システム。 
【請求項３】
前記判定部は、前記第１の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第１の閾値）と、前記第２の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第２の閾値）とを備え、前記第１の閾値は前記第２の閾値よりも大きな値であることを特徴とする、請求項１又は２に記載の顔認識による来店者検証システム。
【請求項４】
１の店舗において前記個人別データに前記第２の来店不適格者を登録する際に、該１の店舗のみで第２の来店不適格者として登録するか、他の店舗についても第２の来店不適格者として登録するかを選択できる来店不適格者共有部を備えることを特徴とする、請求項１〜３のいずれか１項に記載の顔認識による来店者検証システム。
【請求項５】
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算処理と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定処理が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、前記第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする、顔認識による来店者検証プログラム。
【請求項６】
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証プログラム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定処理が同一人である可能性を前記第１の来店不適格者について
検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、前記第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示処理を備えることを特徴とする、顔認識による来店者検証プログラム。 
【請求項７】
前記判定処理は、前記第１の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第１の閾値）と、前記第２の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第２の閾値）とを備え、前記第１の閾値は前記第２の閾値よりも大きな値であることを特徴とする、請求項５又は６に記載の顔認識による来店者検証プログラム。
【請求項８】
１の店舗において前記個人別データに前記第２の来店不適格者を登録する際に、該１の店舗のみで第２の来店不適格者として登録するか、他の店舗についても第２の来店不適格者として登録するかを選択する来店不適格者共有処理を備えることを特徴とする、請求項５〜７のいずれか１項に記載の顔認識による来店者検証プログラム。