(57)【特許請求の範囲】
【請求項１】
人物の顔画像を照合する顔照合システムにおいて、
平面方向に回転可能に構成されたカメラと、
前記カメラによる撮影画像に含まれる顔画像をデータベースと照合し、該顔画像に対応する人物の属性を示す属性情報を前記データベースから取得する顔認証サーバとを備え、
前記カメラは、撮影画像及びその撮影時の平面方向のカメラ角度である撮影角度を前記顔認証サーバへ送信し、
前記顔認証サーバは、前記カメラから受信した撮影画像及び撮影角度に基づいて、前記撮影画像に含まれる顔画像の前記カメラに対する平面方向の角度である人物角度を算出し、該顔画像に係る属性情報と対応付けて出力する処理の際に、複数の人物がいる場合には、撮影角度が異なる複数の撮影画像に基づいて、前記カメラの画角よりも平面方向に広い範囲を撮影した仮想パノラマ画像を生成し、当該仮想パノラマ画像に含まれる顔画像毎に、該顔画像に係る属性情報又は人物角度を出力し、
前記顔認証サーバは、前記仮想パノラマ画像の生成において、撮影角度が異なる複数の撮影画像に含まれる顔画像毎に、該顔画像に係る人物角度を算出し、人物角度が一致する複数の顔画像を同一人物の顔画像として前記仮想パノラマ画像を生成することを特徴する顔照合システム。
【請求項２】
人物の顔画像を照合する顔照合システムにおいて、
平面方向に回転可能に構成されたカメラと、
前記カメラによる撮影画像に含まれる顔画像をデータベースと照合し、該顔画像に対応する人物の属性を示す属性情報を前記データベースから取得する顔認証サーバとを備え、
前記カメラは、撮影画像及びその撮影時の平面方向のカメラ角度である撮影角度を前記顔認証サーバへ送信し、
前記顔認証サーバは、前記カメラから受信した撮影画像及び撮影角度に基づいて、前記撮影画像に含まれる顔画像の前記カメラに対する平面方向の角度である人物角度を算出し、該顔画像に係る属性情報と対応付けて出力する処理の際に、複数の人物がいる場合には、撮影角度が異なる複数の撮影画像に基づいて、前記カメラの画角よりも平面方向に広い範囲を撮影した仮想パノラマ画像を生成し、当該仮想パノラマ画像に含まれる顔画像毎に、該顔画像に係る属性情報又は人物角度を出力し、
前記属性情報は、年齢及び性別を含み、
前記顔認証サーバは、前記仮想パノラマ画像の生成において、撮影角度が異なる複数の撮影画像に含まれる顔画像毎に、該顔画像に係る属性情報を前記データベースから取得し、属性情報中の年齢及び性別が一致する複数の顔画像を同一人物の顔画像として前記仮想パノラマ画像を生成することを特徴する顔照合システム。
【請求項３】
請求項１に記載の顔照合システムにおいて、
前記属性情報は、年齢及び性別を含み、
前記顔認証サーバは、前記仮想パノラマ画像の生成において、撮影角度が異なる複数の撮影画像に含まれる顔画像毎に、該顔画像に係る属性情報を前記データベースから取得し、属性情報中の年齢及び性別が一致する複数の顔画像を同一人物の顔画像として前記仮想パノラマ画像を生成することを特徴する顔照合システム。
【請求項４】
請求項１乃至３のいずれかに記載の顔照合システムにおいて、
前記顔認証サーバは、時刻に応じて前記仮想パノラマ画像を定期的に生成し直すことを特徴する顔照合システム。
【請求項５】
請求項１乃至４のいずれかに記載の顔照合システムにおいて、
前記カメラは、ロボットに搭載され、
前記ロボットは、音声メッセージを出力する音声出力機能を有することを特徴とする顔照合システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の顔画像を照合する顔照合システムに関する。
【背景技術】
【０００２】
従来より、ホテル、ビル、コンビニエンスストア、金融機関、ダム、道路のような、不特定多数の人が訪れる施設や設備には、犯罪防止や事故防止等の目的で、映像監視システムが設置されている。【０００３】
このような映像監視システムに関しては、種々の発明が提案されている。例えば、特許文献１には、可搬型の監視装置の監視カメラで撮像した映像を記録し、犯罪捜査等に使用する監視装置や監視カメラシステムに関する発明が開示されている。また、特許文献２には、人物検索を高精度に行うことができる監視システムや人物検索方法に関する発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１５３３０４号公報
【特許文献２】特開２００９−１９９３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、レストラン、回転ずし店、ファーストフード店などを含む飲食施設において、来店者別に好みのメニューなどの情報を収集し、新メニューの開発や来店統計などのマーケティングに活用することが行われている。マーケティング情報の収集に、映像監視システムを利用することも検討されている。【０００６】
マーケティング情報を正確に収集するには、映像監視システムで撮影された来店者の顔画像に対して顔認証を行い、来店者の年齢や性別といった人物情報を取得することが必要となる。しかしながら、飲食施設に設けられる映像監視システムの多くは、テーブル（食卓）の上方の天井にカメラを設置し、上部側から撮影した映像で来店者の様子を監視する形態となっている。この形態では、主に着席者の頭部しか撮影できず、その人物の顔画像を正確に撮影できない。したがって、頭部をカウントすることにより人数の把握は可能であるが、顔認証技術を用いることができないので、各々の来店者を識別したマーケティング情報の収集を行えないという問題があった。このような問題は、飲食施設に限らず、受付け、出入り口、会計、接客等のコミュニケーションの必要なサービス一般に適用され、小売店、ショッピング施設、宿泊施設、オフィスビル、公共施設等の施設において、求められる課題である。【０００７】
本発明は、上記のような従来の事情に鑑みて為されたものであり、各人物をそれぞれ正確に特定することが可能な顔照合システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では、上記目的を達成するために、顔照合システムを以下のように構成した。
すなわち、人物の顔画像を照合する顔照合システムにおいて、平面方向に回転可能に構成されたカメラと、前記カメラによる撮影画像に含まれる顔画像をデータベースと照合し、該顔画像に対応する人物の属性を示す属性情報を前記データベースから取得する顔認証サーバとを備え、前記カメラは、撮影画像及びその撮影時の平面方向のカメラ角度である撮影角度を前記顔認証サーバへ送信し、前記顔認証サーバは、前記カメラから受信した撮影画像及び撮影角度に基づいて、前記撮影画像に含まれる顔画像の前記カメラに対する平面方向の角度である人物角度を算出し、該顔画像に係る属性情報と対応付けて出力する。【０００９】
ここで、前記顔認証サーバは、複数の人物がいる場合に、撮影角度が異なる複数の撮影画像に基づいて、前記カメラの画角よりも平面方向に広い範囲を撮影した仮想パノラマ画像を生成し、当該仮想パノラマ画像に含まれる顔画像毎に、該顔画像に係る属性情報又は人物角度を出力することが好ましい。【００１０】
また、前記顔認証サーバは、撮影角度が異なる複数の撮影画像に含まれる顔画像毎に、該顔画像に係る人物角度を算出し、人物角度が一致する複数の顔画像を同一人物の顔画像として前記仮想パノラマ画像を生成することが好ましい。【００１１】
また、前記属性情報は、年齢及び性別を含み、前記顔認証サーバは、撮影角度が異なる複数の撮影画像に含まれる顔画像毎に、該顔画像に係る属性情報を前記データベースから取得し、属性情報中の年齢及び性別が一致する複数の顔画像を同一人物の顔画像として前記仮想パノラマ画像を生成することが好ましい。【００１２】
また、前記顔認証サーバは、時刻に応じて前記仮想パノラマ画像を定期的に生成し直すことが好ましい。【００１３】
また、前記カメラは、ロボットに搭載され、前記ロボットは、音声メッセージを出力する音声出力機能を有することが好ましい。
【発明の効果】
【００１４】
本発明によれば、各人物をそれぞれ正確に特定することが可能な顔照合システムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る顔照合システムの構成例を示す図である。
【図２】ロボットでテーブルの着席者を撮影する様子を示す図である。
【図３】ロボットの撮影角度を説明する図である。
【図４】ロボットの撮影仰角を説明する図である。
【図５】同一人物が複数の画像に重複して撮影された様子を示す図である。
【図６】仮想パノラマ画像の生成の様子を示す図である。
【図７】仮想パノラマ画像の生成に関する処理フローを示す図である。
【図８】ロボット、顔認証サーバ、クライアントの連携に関する処理フローを示す図である。
【図９】顔画像の登録に関する処理フローを示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。以下では、本発明に係る顔照合システムを飲食施設でのマーケティング情報の収集に利用する場合を例にして説明する。
【００１７】
図１には、本発明の一実施形態に係る顔照合システムの構成例を示してある。本例の顔照合システムは、ロボット１０と、顔認証サーバ２０と、クライアント３０とを有しており、これらはハブ４０に接続され、互いに通信可能に構成されている。また、ハブ４０は、他のシステム（例えば、上位システム）にも接続されている。なお、図１では、各装置をケーブル接続した構成となっているが、これらは無線により接続されても構わない。
【００１８】
ロボット１０は、例えば、飲食施設内のテーブル（食卓）上に設置される。ロボット１０は、人型を模した形状であってもよく、頭部にカメラが搭載されている。ロボット１０のカメラは、好ましくは、テーブルの座席に着席した人物（着席者）の目線に近い高さに配置される。顔認証サーバ２０は、画像中に含まれている人物の顔画像をデータベースと照合して顔認証を行う装置である。クライアント３０は、マーケティング情報の収集を行う装置である。
【００１９】
図２には、ロボット１０でテーブルの着席者を撮影する様子を示してある。本例では、ロボット１０がテーブルの端部中央に載置されており、このテーブルを取り囲むように５人の人物（Ｘ１〜Ｘ５）が着席している。ロボット１０は、カメラが搭載されている頭部を平面方向および上下方向に回転させる機構を有している。すなわち、ロボット１０の頭部を平面方向または上下方向に回転させることで、カメラ角度（撮影方向）を調整できるように構成されている。本明細書では、平面方向のカメラ角度を「撮影角度」といい、上下方向のカメラ角度を「撮影仰角」という。
【００２０】
図３は、ロボット１０の撮影角度を説明する図である。同図では、撮影対象となる着席者の位置（撮影角度）を、ロボット１０が正対する正面を基準（０°）として、左側にマイナス角度、右側にプラス角度で規定している。なお、これは一例に過ぎず、例えば、ロボット１０が頭部を平面方向に回転できる最左端の角度を基準（０°）として、時計回りにプラス角度で規定してもよい。
【００２１】
図４は、ロボット１０の撮影仰角を説明する図である。同図では、撮影対象となる着席者の仰角を、水平方向を基準（０°）として、下側をマイナス角度、上側をプラス角度で規定している。一般に、座高が低い人物（例えば、子供）を撮影する場合はマイナスの撮影仰角となり、座高が高い人物（例えば、大人）を撮影する場合はプラスの撮影仰角となる。なお、これは一例に過ぎず、例えば、ロボット１０が頭部を上下方向に回転できる最下端の角度を基準（０°）として、上部方向にプラス角度で規定してもよい。
【００２２】
ロボット１０により撮影された画像は、その画像の撮影角度および撮影仰角の情報と共に、顔認証サーバ２０へ送信される。ロボット１０による撮影および画像送信のタイミングは任意であり、常に行っても構わない。
【００２３】
撮影角度を変更しながら撮影を行うと、同一人物が複数の画像に重複して撮影されることがある。図５には、人物Ｘ２が複数の画像Ｐ１，Ｐ２に重複して撮影された様子を示してある。このままの状況で処理を進めると、同一のテーブルに着席しているグループの人数の誤カウント（本来より増加）や同一グループ内の人物の重複が発生し、マーケティング情報に大きな誤差が生じてしまうため、問題となる。
【００２４】
そこで、本例の顔照合システムでは、ロボット１０が撮影画像と共に撮影角度および撮影仰角の情報を顔認証サーバ２０へ送信することで、顔認証サーバ２０で複数の画像を合成して仮想パノラマ画像を生成できるように構成してある。図６には、仮想パノラマ画像の生成の様子を示してある。同図では、５枚の撮影画像Ｐ１〜Ｐ６を合成して、ロボット１０のカメラの画角よりも平面方向に広い範囲を撮影した仮想パノラマ画像Ｑを生成している。ここで、テーブル上のロボット１０の位置や向きに応じて撮影角度の基準位置は種々変化するが、全員が着席した状態では各人物の相対的な位置関係（着座相対角度）は変わらない。このため、各画像の撮影角度に基づいて、各人物の相対的な位置関係を示す仮想パノラマ画像を生成することが可能となる。
【００２５】
このような仮想パノラマ画像を用いることで、グループ内の各人物の着座位置（ロボットから見た平面方向の角度）を特定でき、グループの人員構成を正確に把握できるようになる。したがって、グループ人数の誤カウントや同一グループ内の人物重複を抑制できるようになる。その結果、グループ内の人物毎のマーケティング情報を正確に収集することができる。なお、仮想パノラマ画像は、各人物の座高差を考慮して、撮影仰角を均して仮想的に表現することが好ましい。
【００２６】
本例の顔照合システムでは、仮想パノラマ画像を生成する際に、個々の画像に映っている人物の属性を数値化して各人物の着座位置を判断するように構成してある。詳細については、図７に示す処理フローを参照して説明する。
【００２７】
なお、顔認証サーバ２０は、画像中に含まれている人物の顔画像について顔認証を行う顔認証部２２と、顔認証の結果に基づいてグループの人員構成を判定する判定部２１とを有することとする。また、顔認証サーバ２０は、本システムが適用される飲食施設を利用する人物（顧客）の情報を記憶した顧客情報データベースを有していることとする。顧客情報データベースには、各顧客を一意に識別する個人ＩＤ番号、顔認証の際に照合される基準顔画像、顧客の属性を示す属性情報（例えば、年齢、性別、顔特徴量など）が記憶される。なお、顔認証サーバ２０は、外部の顧客情報データベースにアクセス可能に構成されてもよい。
【００２８】
ロボット１０は、角度３０°で撮影した画像Ｐ１を顔認証サーバ２０に送信する（ステップＳ１１）。顔認証サーバ２０は、ロボット１０から画像Ｐ１を受信すると、以下の処理を行う。まず、判定部２１から顔認証部２２に画像Ｐ１を送信する（ステップＳ１２）。顔認証部２２は、画像Ｐ１に含まれる顔画像毎に顔認証を行って、該顔画像に対応する人物の属性情報を顧客情報データベースから取得する（ステップＳ１３）。顔認証は、例えば、撮影画像に含まれる顔画像を顧客情報データベースの各基準顔画像と照合し、その類似度が所定値以上の基準顔画像の人物を検索することで行われる。複数の人物が検索された場合には、例えば、類似度が最も高い人物を検索結果とすればよい。顔認証部２２は、顔認証処理により得られた各顔画像に係る属性情報を、結果応答として判定部２１に送信する（ステップＳ１４）。判定部２１は、画像Ｐ１に含まれる顔画像毎に、該顔画像の人物の着座相対角度を算出し（ステップＳ１５）、各顔画像に係る属性情報と共にメモリ１（第１のメモリ領域）に記憶する（ステップＳ１６）。ここで、着座相対角度は、撮影画像に含まれる顔画像の人物をロボット１０から見た平面方向の角度（カメラに対する平面方向の角度）である。着座相対角度は、撮影画像内における顔画像の位置と、撮影画像の撮影角度とに基づいて算出することができる。
【００２９】
次に、ロボット１０は、角度６０°で撮影した画像Ｐ２を顔認証サーバ２０に送信する（ステップＳ２１）。顔認証サーバ２０は、ロボット１０から画像Ｐ２を受信すると、以下の処理を行う。まず、判定部２１から顔認証部２２に画像Ｐ２を送信する（ステップＳ２２）。顔認証部２２は、画像Ｐ２に含まれる顔画像毎に顔認証を行って、該顔画像に対応する人物の属性情報を顧客情報データベースから取得する（ステップＳ２３）。顔認証部２２は、顔認証処理により得られた各顔画像に係る属性情報を、結果応答として判定部２１に送信する（ステップＳ２４）。判定部２１は、画像Ｐ２に含まれる顔画像毎に、該顔画像の人物の着座相対角度を算出し（ステップＳ２５）、各顔画像に係る属性情報と共にメモリ２（第２のメモリ領域）に記憶する（ステップＳ２６）。
【００３０】
この時点で、画像Ｐ１に含まれる２人目の人物（画像右側の人物）と、画像Ｐ２に含まれる１人目の人物（画像左側の人物）とは、年齢、性別、顔特徴量が一致しているので、個人ＩＤ番号も同一値が得られる。また、着座相対角度も同一値となっている。
判定部２１は、メモリ１，２に記憶した内容（年齢、性別、顔特徴量、個人ＩＤ番号および着座相対角度）に基づいて、メモリ１の２人目の人物とメモリ２の１人目の人物とが同一人物であると判定する（ステップＳ３１）。同一人物判定は、着差相対角度の一致、または、顔認証によって得られる属性情報（特に年齢及び性別）の一致のいずれかだけでも実施できるが、両方の一致を以って同一人物と判定した方が、誤判定を減らすことができる。
【００３１】
顔認証サーバ２０は、上記の処理を繰り返して、異なる撮影角度で撮影された複数の撮影画像を統合して、カメラの画角よりも平面方向に広い範囲を撮影した仮想パノラマ画像を生成する。そして、仮想パノラマ画像に含まれる顔画像毎に、該顔画像に係る属性情報及び人物角度を出力する。すなわち、同一のテーブルを取り囲む各人物の属性情報を、各々の着席位置を特定可能な人物角度と共に出力する。顔認証サーバ２０から出力される属性情報及び人物角度は、マーケティング情報の収集用のクライアント３０に提供される。
【００３２】
このような処理により、同一のテーブルに着席しているグループの各人物を着席位置に応じて特定することができ、人物毎のマーケティング情報を正確に収集することが可能となる。また、グループ内の人物毎の年齢、性別、顔特徴量、個人ＩＤ番号を把握することで、そのグループがどのような集団であるかを総合的に判断することも可能となる。つまり、例えば、同一年代の同一性別のグループは、友達関係のグループである可能性が高いと判断できるし、性別が異なり且つ年齢の幅が広い等のばらつきがあるグループは、家族または親戚関係のグループである可能性が高いと判断することができる。更に、構成が似たような複数のグループがあったとしても、グループ内の各人物の属性情報および着座位置に基づいて各グループを識別することができる。
【００３３】
なお、仮想パノラマ画像の生成は、テーブルに複数人のグループが着席した際に１回だけ行うのではなく、それ以降にも行うことが好ましい。すなわち、ロボットに搭載されたカメラによりテーブルの様子を常時撮影することが可能であるため、時刻に応じて仮想パノラマ画像を定期的に生成し直すようにする。これにより、テーブルに着席する人の増員または減員や、着席位置の入れ替わりなども検知することができる。したがって、グループの人員構成や配置の変化にも柔軟に対応して、正確にマーケティング情報を収集できるようになる。
【００３４】
また、本システムでは、顔認証機能を利用して、撮影角度が異なる複数の撮影画像の人物の同一性を判定する仕組みを取り入れたので、グループ人数の誤カウントや同一グループ内の人物重複を抑制し、マーケティング情報の精度の誤差を低減して信頼性を向上させることができる。また、撮影を行った日時の情報も記憶しておくことで、来店の時間帯を考慮してグループを特定（例えば、家族連れは夜の早い時間に来店する、同世代の友達グループは夜中に来店する等）したり、グループの特性を把握したりすることも可能となる。
【００３５】
顔認証を精度良く行う際の問題として、（１）正面顔を撮影できない、（２）マスクを着用しているが挙げられる。この対策について、図８の処理フローを参照して説明する。
ロボット１０は、スピーカから音声メッセージを出力する音声出力機能を備えており、テーブルに人物が着席したことを認識すると、着席者に問いかける音声メッセージを出力する。このように、ロボットから積極的に声を掛けることで、着席者の顔をロボット１０に向けさせて、着席者の正面顔を撮影できるようにする。事前にシナリオを準備しておくことで、着席者の正面顔の撮影を良好に行うことが可能となり、顔認証サーバ２０による顔認証の精度が高められる。
【００３６】
ロボット１０は、着席者を撮影すると、撮影した画像を顔認証サーバー２０へ送信する（ステップＳ１０１）。顔認証サーバー２０は、ロボットから受信した画像に含まれる人物の顔画像を、顧客情報データベースに登録されている基準顔画像と照合し、顔認証を行う（ステップＳ１０２）。その後、顔認証サーバー２０は、顔認証の結果を、画像の送信元のロボット１０に送信する（ステップＳ１０３〜１０４）。
【００３７】
なお、ロボット１０は、顔認証サーバ２０から顔認証に失敗した旨の応答を得た場合には、更なる声掛けを行って、着席者を撮影し直すことが好ましい。例えば、顔認証の結果、着席者がマスクを着用していることが判明した場合には、マスクの取り外しを促す音声メッセージをロボットから出力させればよい。
【００３８】
クライアント３０は、新規来店者の有無を顔認証サーバ２０に定期的に問い合わせ、顔認証サーバ２０から新規来店者の顧客識別内部ＩＤを受信した場合には、マーケティング情報データベースから該当する人物について過去に収集したマーケティング情報を取得して、その人物が着席しているテーブル上のロボット１０に送信する（ステップＳ１２１〜１２７）。
具体的には、まず、クライアント３０が、顔認証サーバ２０のマーケティング機能Ｉ／Ｆを介して顧客情報データベースに最新顧客情報を問い合わせる（ステップＳ１２１，１２２）。顧客情報データベースは、クライアント３０からの問い合わせに応じて、新規来店者の顧客識別内部ＩＤをマーケティング機能Ｉ／Ｆを介してクライアント３０に応答する（ステップＳ１２３，１２４）。クライアント３０は、顔認証サーバ２０から取得した新規来店者の識別内部ＩＤに基づいて、マーケティング情報データベースに顧客情報の登録又は更新問い合わせを行い、該当する人物について過去に収集したマーケティング情報を取得して（ステップＳ１２５，１２６）、その人物が着席しているテーブル上のロボット１０に送信する（ステップＳ１２７）。
【００３９】
ロボット１０は、クライアント３０からマーケティング情報を受信すると、そのマーケティング情報に応じた音声メッセージを出力する。例えば、以前に来店したグループが再度来店した場合には、「みなさんでのまたのお越し、ありがとうございます。」といった音声メッセージを出力したり、前回の来店時と比較して今回は不在の人物が生じている場合には、「本日は○○さんはいらっしゃらないですね、残念です。」といった音声メッセージを出力したりすることで、サービス向上を図る。
【００４０】
ロボットによる撮影回数を多くすると、同一人物の画像が多数撮影されることがある。次回の来店時などに別人と判断されないように、同一人物を撮影した複数の画像の中から顔認証に最適な顔画像を選別し、基準顔画像として顧客情報データベースに常に最新の顔画像を登録する必要がある。この処理について、図９の処理フローを参照して説明する。
【００４１】
本例では、顔画像の登録を、顔画像の選別処理（Ｔ１）と、顔画像の登録処理（Ｔ２）の２段階で行う。これらの処理は、クライアント３０が行う。顔画像の選別処理（Ｔ１）は、ロボットが撮影して仮登録テーブルに蓄積した来店者の顔画像の中から、顔認証を行う上で最良な画像を絞り込む処理である。顔画像を絞り込む際には、顔認証精度向上のために撮影時の顔の向き・大きさが最良の顔画像を選定し、来店グループの人数分の顔画像リストを保持する仮登録候補テーブルを作成する。顔画像の登録処理（Ｔ２）は、最良の画像を選定した顔画像リストに基づいて、顔認証サーバ２０の顧客情報データベースに基準顔画像を登録する処理である。なお、撮影済みの顔画像（ＪＰＥＧファイル）が、仮登録の顔画像として、その人物の入店日時の情報と共に、仮登録テーブルに記憶されているものとする。
【００４２】
顔画像の選別処理（Ｔ１）では、まず、仮登録テーブルから、入店日時で仮登録の顔画像をグループ化することで算出できるグループ数（来店したグループの数）を取得する（ステップＳ２０１）。その後、グループ数分、以下の処理（ステップＳ２０３〜Ｓ２０５）を繰り返す（ステップＳ２０２）。
仮登録テーブルから、グループの来店人数を取り出す（ステップＳ２０３）。次に、仮登録テーブルから、仮登録中の顔画像のデータ数を算出する（ステップＳ２０４）。仮登録の顔画像のデータ数は、入店日時とテーブルＩＤで集計することで算出できる。次に、仮登録の顔画像のデータ数分、以下の処理（ステップＳ２０６〜Ｓ２１７）を繰り返す（ステップＳ２０５）。
【００４３】
仮登録テーブルから、仮登録の顔画像のデータ（ＪＰＥＧファイル）を取り出す（ステップＳ２０６）。次に、取り出した顔画像のデータについて、顔検出処理（ステップＳ２０７）、顔属性取出し処理（ステップＳ２０８）を行い、顔の検出条件（向き、大きさ等）を判定する（ステップＳ２０９）。
【００４４】
ステップＳ２０９で、顔の検出条件が良好でないと判定された場合は、その顔画像のデータは破棄し、次の顔画像のデータの処理（ステップＳ２０６〜）に進む。
一方、ステップＳ２０９で、顔の検出条件が良好であると判定された場合は、顔器官検出処理（ステップＳ２１０）、顔特徴量抽出処理（ステップＳ２１１）を行って顔特徴量を抽出した後、顔特徴量を内部メモリの登録顔データと照合する顔照合処理（ステップＳ２１２）を行い、顔の類似度（信頼度）を判定する（ステップＳ２１３）。なお、１回目の顔照合時は、内部メモリに登録顔データは存在しないが、２回目以降の顔照合時には、内部メモリに登録顔データが存在する。
【００４５】
ステップＳ２１３で、顔の類似度が低いと判定された場合は、その顔画像を登録候補として新規に顧客識別ＩＤを発行して、顔の向き（角度）、大きさ、類似度等と共に仮登録候補テーブルに新規追加し（ステップＳ２１７）、次の顔画像のデータの処理（ステップＳ２０６〜）に進む。
一方、ステップＳ２１３で、顔の類似度が高いと判定された場合は、仮登録候補テーブルから、その顔画像の人物に該当する顧客識別ＩＤ及び検索条件（顔画像が類似する登録候補の検出条件）を取り出し（ステップＳ２１４）、今回の顔画像における顔の検出条件（向き、大きさ等）が登録候補を上回るか判定する（ステップＳ２１５）。
【００４６】
ステップＳ２１５で、顔の検出条件が登録候補を上回らないと判定された場合は、その顔画像のデータは破棄し、次の顔画像のデータの処理（ステップＳ２０６〜）に進む。
一方、ステップＳ２１５で、顔の検出条件が登録候補を上回ると判定された場合は、今回の顔画像における顔の検出条件で、該当する顧客識別ＩＤに対応する検索条件を更新し（ステップＳ２１６）、次の顔画像のデータの処理（ステップＳ２０６〜）に進む。
全てのグループについて処理を終えると、顔画像の選別処理（Ｔ１）は終了し、顔画像の登録処理（Ｔ２）を行う。
【００４７】
顔画像の登録処理（Ｔ２）では、仮登録候補テーブルから、新規の顔登録候補のリストを取り出す（ステップＳ２２１）。
次に、顔登録候補のリスト数分、以下の処理（ステップＳ２２３〜Ｓ２２７）を繰り返す（ステップＳ２２２）。
仮登録候補テーブルから、仮登録候補の顔画像のデータ（ＪＰＥＧファイル）を取り出し（ステップＳ２２３）、顔認証サーバ２０に新規の顔登録を依頼する（ステップＳ２２４）。顔認証サーバ２０は、顔画像の登録依頼を受信すると、その顔画像を基準顔画像として顧客情報データベースに登録する（ステップＳ２２５）。その後、顔認証サーバー２０は、基準顔画像の登録結果を、クライアント３０に送信する（ステップＳ２２６〜２２７）。
【００４８】
以上の処理により、顔認証サーバー２０が顔認証の際に参照する顧客情報データベースの基準顔画像を最適化することができる。すなわち、撮影された多数の画像の中から、「正面を向いている」、「顔部分が大きく撮影されている」といった条件を満たす画像を選別して、基準顔画像として登録することができる。
【００４９】
以上説明したように、本例の顔照合システムは、テーブル上に設置され、平面方向に回転可能に構成されたカメラを有するロボット１０と、ロボット１０による撮影画像に含まれる顔画像をデータベースと照合し、該顔画像に対応する人物の属性を示す属性情報を顧客情報データベースから取得する顔認証サーバ２０とを備え、ロボット１０は、撮影画像及びその撮影時の平面方向のカメラ角度である撮影角度を顔認証サーバ２０へ送信し、顔認証サーバ２０は、ロボット１０から受信した撮影画像及び撮影角度に基づいて、撮影画像に含まれる顔画像のロボット１０に対する平面方向の角度である人物角度を算出し、該顔画像に係る属性情報と対応付けて出力する構成となっている。
【００５０】
このような構成によれば、テーブルの着席者の目線に近い位置から撮影した画像を用いて各人物の顔認証を行えるだけでなく、各人物を着席位置（ロボットから見た角度）で区別して各人物の属性情報を取得することができる。したがって、テーブルの周囲にいる各人物をそれぞれ正確に特定することが可能となる。
【００５１】
また、本例の顔照合システムでは、顔認証サーバ２０は、テーブルの周囲に複数の人物がいる場合に、撮影角度が異なる複数の撮影画像に基づいて、カメラの画角よりも平面方向に広い範囲を撮影した仮想パノラマ画像を生成し、当該仮想パノラマ画像に含まれる顔画像毎に、該顔画像に係る属性情報及び人物角度を出力する構成となっている。更に、一致する人物角度および年齢・性別から得られた顔画像を同一人物のものと見なして仮想パノラマ画像を生成する構成となっている。したがって、グループ内の各人物の着座位置を特定でき、グループの人員構成および配置を正確に把握できるので、グループ人数の誤カウントや同一グループ内の人物重複を抑制することが可能となる。
【００５２】
また、本例の顔照合システムでは、顔認証サーバ２０は、仮想パノラマ画像を定期的に生成し直す構成となっている。したがって、テーブルに着席する人の増員または減員や、着席位置の入れ替わり等があっても、最新のグループの人員構成や配置を正確に把握することが可能となる。
【００５３】
また、本例の顔照合システムでは、カメラを搭載したロボット１０が、音声メッセージを出力する音声出力機能を有する構成となっている。したがって、テーブルの着席者の目線をカメラに向けさせたり、マスクを取り外させたりすることができ、顔認証の正確性を更に高めることが可能となる。
【００５４】
以上、本発明について詳細に説明したが、本発明は、ここに記載されたシステムに限定されるものではなく、上記以外のシステムにも広く適用できることは言うまでもない。例えば、一般的なレストランなどの食卓を囲む施設だけでなく、会社の受付や施設への入り口など、無人化を検討するような場所への適用も考えられる。また、公共施設の休憩場所などにも設置することで、ロボットの声掛けによるコミュニケーション向上や、利用者の実態分析（マーケティング）などへの応用展開が考えられる。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。
【産業上の利用可能性】
【００５５】
本発明は、飲食店、小売店、ショッピング施設、宿泊施設、オフィスビル、公共施設といった各種の施設における受付け、出入り口、会計、接客等のコミュニケーションが必要なサービス提供の場において、人物の顔画像を照合する顔照合システムに利用することができる。
【符号の説明】
【００５６】
１０：ロボット、  ２０：顔認証サーバー、  ３０：クライアント、  ４０：ハブ
【図１】
0006982168.tif 000002
【図２】
0006982168.tif 000003
【図３】
0006982168.tif 000004
【図４】
0006982168.tif 000005
【図５】
0006982168.tif 000006
【図６】
0006982168.tif 000007
【図７】
0006982168.tif 000008
【図８】
0006982168.tif 000009
【図９】
0006982168.tif 000010