(57)【要約】【課題】カメラで撮像された画像を利用して特定人物を高精度に検知して監視する。【解決手段】特定人物を検知する特定人物監視システムを、店舗に来店した各人物を撮像して特定人物を検知するための検知用カメラと、店舗内の人物を撮像するための店内カメラと、店内カメラによって撮像された人物画像に含まれる人物を特定人物として設定する顧客管理部と、顧客管理部によって選択された特定人物の画像から検索照合用顔画像又はアピアランス特徴の少なくともいずれか一方を抽出して検知用カメラ又は店内カメラで撮像された顔部が写っている各画像との間で顔照合処理又はアピアランス照合処理の少なくともいずれか一方を行うことにより特定人物の顔画像を検索して顔照合処理に適した特定人物の登録用顔画像を取得する登録顔画像取得部と、登録顔画像取得部により取得された検知用カメラ又は店内カメラで撮像された特定人物の登録用顔画像をリアルタイム照合用登録顔画像として登録する照合用画像管理部とによって構成する。【選択図】  図２
2013196043.tif 000002
【特許請求の範囲】
【請求項１】
予め登録された特定人物のリアルタイム照合用登録顔画像とカメラで撮像された顔画像との間で顔照合処理を行うことにより前記特定人物を検知する特定人物監視システムであって、
店舗に来店した各人物を撮像して特定人物を検知するための検知用カメラと、
前記店舗内の人物を撮像するための店内カメラと、
前記店内カメラによって所定条件を満たすタイミングで撮像された人物画像を取得して、該人物画像に含まれる人物を特定人物として設定する顧客管理部と、
前記顧客管理部によって選択された前記特定人物の画像から検索照合用顔画像又はアピアランス特徴の少なくともいずれか一方を抽出して、前記検知用カメラ又は前記店内カメラで撮像された顔部が写っている各画像との間で、顔照合処理又はアピアランス照合処理の少なくともいずれか一方を行うことにより前記特定人物の顔画像を検索して、顔照合処理に適した前記特定人物の登録用顔画像を取得する登録顔画像取得部と、
前記登録顔画像取得部により取得された前記検知用カメラ又は前記店内カメラで撮像された前記特定人物の登録用顔画像を、前記リアルタイム照合用登録顔画像として登録する照合用画像管理部と
を備えることを特徴とする特定人物監視システム。
【請求項２】
店舗を出ようとする人物が通過する出口通路に設置され、代金未払いの商品を持ったまま前記出口通路を通過しようとする不正顧客を検知して、該不正顧客を撮像するゲートカメラを有する監視ゲートをさらに備え、
前記店内カメラは前記ゲートカメラを含み、
前記顧客管理部は、前記ゲートカメラによって撮像された画像から前記不正顧客を選択して前記特定人物として設定することを特徴とする請求項１に記載の特定人物監視システム。
【請求項３】
前記店内カメラは前記ゲートカメラと連動して前記不正顧客を略正面から撮像する出口カメラを含み、
前記顧客管理部は、前記ゲートカメラによって撮像された前記不正顧客を前記出口カメラによって撮像された画像から選択して前記特定人物として設定することを特徴とする請求項２に記載の特定人物監視システム。
【請求項４】
購入した商品の精算処理を行う顧客を検知して撮像するレジカメラを有するレジをさらに備え、
前記店内カメラは前記レジカメラを含み、
前記顧客管理部は、前記レジで代金を支払う顧客と前記レジカメラで撮像された前記顧客の顔画像とを管理して、前記精算処理により予め設定された所定条件を満たした優良顧客を前記特定人物として設定することを特徴とする請求項１〜３に記載の特定人物監視システム。
【請求項５】
前記照合用画像管理部は、前記特定人物のうち前記不正顧客及び前記優良顧客のいずれか一方又は両方を、前記検知用カメラの検知対象として設定することを特徴とする請求項４に記載の特定人物監視システム。
【請求項６】
前記登録顔画像取得部は、前記顧客管理部によって設定された特定人物が前記不正顧客である場合にのみ、アピアランス照合による前記特定人物の検索照合を行うことを特徴とする請求項５に記載の特定人物監視システム。
【請求項７】
前記検知用カメラは、前記店舗の入口に設置され来店者を撮像する入口カメラを含むことを特徴とする請求項１〜６のいずれか１項に記載の特定人物監視システム。
【請求項８】
前記検知用カメラは、環境光の影響を受けることなく来店者を撮像可能な位置で該来店者が一人ずつ通過するように通路幅が規制された通路に設置され、前記来店者を撮像する通路カメラを含むことを特徴とする請求項１〜７のいずれか１項に記載の特定人物監視システム。
【請求項９】
前記照合用画像管理部は、リアルタイム照合用登録顔画像として登録する顔画像が顔照合処理に適した画像であることを評価する評価値を算出すると共に、
リアルタイム照合用登録顔画像として新たに登録しようとした顔画像が、既にリアルタイム照合用登録顔画像を登録済みの人物のものである場合には、新たに登録しようとした前記顔画像の評価値が登録済みの前記リアルタイム照合用登録顔画像の評価値より高い値である場合にのみ、登録済みのリアルタイム照合用登録顔画像を新たに登録しようとした前記顔画像に置き換えて更新することを特徴とする請求項１〜８のいずれか１項に記載の特定人物監視システム。
【請求項１０】
前記顧客管理部によって選択された前記特定人物の略正面の顔画像が、前記検知用カメラで撮像された画像から得られなかった場合に、
前記登録顔画像取得部は、各カメラの優先度が設定された登録優先度設定に基づいて、別のカメラで撮像された画像から前記特定人物の顔画像を検索照合して、
前記照合用画像管理部は、前記登録顔画像取得部による検索照合の結果、前記特定人物であると判定された略正面の顔画像を、前記検知用カメラによる前記特定人物の検知に利用するリアルタイム照合用登録顔画像として登録することを特徴とする請求項１又は２に記載の特定人物監視システム。
【請求項１１】
前記登録顔画像取得部によって、前記登録優先度設定で設定された各カメラで撮像された全ての画像から不正顧客の略正面の顔画像が取得されずかつ前記アピアランス照合処理により前記不正顧客と同一人物であると判定された画像が取得された場合には、
前記照合用画像管理部は、前記アピアランス照合により取得された前記不正顧客が撮像された前記画像から得られる情報を補助データとして登録することを特徴とする請求項１０に記載の特定人物監視システム。
【請求項１２】
複数画像を表示して、表示された前記複数画像の中から１つの画像を選択するための操作表示部をさらに備え、
前記照合用画像管理部は、前記登録顔画像取得部によって取得されたアピアランス照合処理による顔画像が複数ある場合には、全ての前記顔画像を前記操作表示部に表示して、前記操作表示部による操作によって選択された顔画像をリアルタイム照合用登録顔画像として登録することを特徴とする請求項１又は２に記載の特定人物監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラで撮像された画像の中から所定条件に合致する特定人物を検出して監視するための特定人物監視システムに関する。
【背景技術】
【０００２】
従来、店舗等での不正行為の監視や販売促進のために顧客を監視する監視システムが利用されている。監視システムを利用して、店舗に設置したカメラで撮像した画像から顧客の行動を監視したり購入履歴を分析したデータと顧客の画像を関連付けて管理することにより、防犯や販売促進に役立てることができる。
【０００３】
例えば、特許文献１では、不正行為を監視するための監視ゲートに関する技術が開示されている。この監視ゲートは、出入口に設置して利用され、入退出する顧客をカメラによって撮像する機能と、商品に取り付けられた無線タグによって代金が支払われていない商品の通過を検知する機能とを有している。代金未払いの商品通過時に、商品を持って出ようとする人物をカメラによって撮像して、この画像を人物の追跡や防犯目的のために利用する。例えば、監視ゲートで撮像した人物を監視対象として登録することで、次に来店した際にこの人物を検出して適切な対応を取ることができる。
【０００４】
また、特許文献２では、監視ゲートに加えて、店内に設置された複数のカメラを利用する技術が開示されている。複数の店内カメラによって撮像された画像から監視対象として登録された人物の探索を行うことにより高い防犯効果を得ることができる。
【０００５】
また、特許文献３では、カメラを利用して不正行為を検知するための技術が開示されている。店内に設置されたカメラによって買い物中の顧客を撮像して、この顧客によって選択された商品とレジで実際に代金が支払われた商品とを比較することにより、代金未払いの商品の有無を検知する。これにより、不正行為が行われたことが確実であればこれを摘発することができるし、不正行為が行われた疑いがある場合にはこの人物の画像を監視対象として登録して利用することができる。
【０００６】
また、特許文献４では、カメラによって顧客を撮像した画像と顧客の購入した商品データとを管理して、インストアプロモーションに利用する技術が開示されている。購入履歴から顧客の好みを分析して、顧客を撮像した画像と関連付けて管理する。そして、入店者を撮像するカメラによって顧客の来店を検知すると、店員が利用する端末上に顧客が関心を示すと推測される商品がリスト表示される。これにより店員の販売促進活動を支援することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−７９２７０号公報
【特許文献２】特開２０１１−２３３１３３号公報
【特許文献３】特開２００４−１７１２４０号公報
【特許文献４】特開２００８−２５７４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来技術によれば、カメラで撮像された画像に含まれる人物が特定人物であるか否かを高精度に判定することが求められ、これをいかにして実現するかが問題となる。例えば、販売促進活動の対象となる人物を誤判定すると、販売促進の効果を得ることができない。また、防犯の対象となる人物を誤判定して摘発しようとした場合には店舗の信頼を損なう問題となる。このため、特定人物の監視を行う監視システムには高い判定精度が求められる。
【０００９】
画像に特定人物が含まれるか否かの判定は顔照合技術を利用して行われる。具体的には、判定対象となる人物が撮像された画像を入力画像として該入力画像から顔画像を抽出して、この顔画像が予めデータベースに登録された特定人物の照合用顔画像と一致するか否かが顔照合技術によって判定される。
【００１０】
顔照合技術は、出入口で入退出可否を判定するための顔認証にも利用される。出入口で顔認証を行う場合には正面から顔画像を撮像できるように協力を求めることもできるが、店舗で撮像される場合には自由に移動する顧客を撮像するので鮮明な顔画像を得られない場合がある。このため、顔認証に利用可能な高い顔照合技術を有しながら、この技術を有効に活用できない場合がある。例えば、顔照合を行う際に、入力画像と照合用顔画像との間で顔の向きが大きく異なっていたり一方又は両方の画像で顔の一部しか撮像されていないような場合は顔照合によって同一人物であると判定することが困難となり、判定精度が低下する。
【００１１】
顔照合の対象となる入力画像と予め登録された照合用顔画像は、同じカメラで同じ撮像環境で撮像されたものであることが好ましい。店舗への来店を検出するために撮像された入力画像と、特定人物の照合用顔画像とが、異なる撮像環境で撮像されたものである場合には、判定精度が低下する原因となる。
【００１２】
また、従来利用されているカメラは、店舗内での不正行為を監視することを目的として、顧客の行動を撮像しやすい位置に設置されている。人物の顔画像を撮像することや撮像環境等が考慮されていないので、これらのカメラでは顔画像を鮮明に撮像できない場合がある。このため、撮像された画像から特定人物の顔画像を抽出して照合用顔画像としてデータベースに登録しても、高い判定精度を得ることはできない。
【００１３】
本発明は、上述した従来技術による問題点を解消するためになされたもので、店舗に設置されたカメラで撮像された画像を利用して高精度な顔照合を行い、所定条件に合致する特定人物を検出して監視することができる特定人物監視システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するために、本発明は、予め登録された特定人物のリアルタイム照合用登録顔画像とカメラで撮像された顔画像との間で顔照合処理を行うことにより前記特定人物を検知する特定人物監視システムであって、店舗に来店した各人物を撮像して特定人物を検知するための検知用カメラと、前記店舗内の人物を撮像するための店内カメラと、前記店内カメラによって所定条件を満たすタイミングで撮像された人物画像を取得して、該人物画像に含まれる人物を特定人物として設定する顧客管理部と、前記顧客管理部によって選択された前記特定人物の画像から検索照合用顔画像又はアピアランス特徴の少なくともいずれか一方を抽出して、前記検知用カメラ又は前記店内カメラで撮像された顔部が写っている各画像との間で、顔照合処理又はアピアランス照合処理の少なくともいずれか一方を行うことにより前記特定人物の顔画像を検索して、顔照合処理に適した前記特定人物の登録用顔画像を取得する登録顔画像取得部と、前記登録顔画像取得部により取得された前記検知用カメラ又は前記店内カメラで撮像された前記特定人物の登録用顔画像を、前記リアルタイム照合用登録顔画像として登録する照合用画像管理部とを備えることを特徴とする。
【００１５】
また、本発明は、上記発明において、店舗を出ようとする人物が通過する出口通路に設置され、代金未払いの商品を持ったまま前記出口通路を通過しようとする不正顧客を検知して、該不正顧客を撮像するゲートカメラを有する監視ゲートをさらに備え、前記店内カメラは前記ゲートカメラを含み、前記顧客管理部は、前記ゲートカメラによって撮像された画像から前記不正顧客を選択して前記特定人物として設定することを特徴とする。
【００１６】
また、本発明は、上記発明において、前記店内カメラは前記ゲートカメラと連動して前記不正顧客を略正面から撮像する出口カメラを含み、前記顧客管理部は、前記ゲートカメラによって撮像された前記不正顧客を前記出口カメラによって撮像された画像から選択して前記特定人物として設定することを特徴とする。
【００１７】
また、本発明は、上記発明において、購入した商品の精算処理を行う顧客を検知して撮像するレジカメラを有するレジをさらに備え、前記店内カメラは前記レジカメラを含み、前記顧客管理部は、前記レジで代金を支払う顧客と前記レジカメラで撮像された前記顧客の顔画像とを管理して、前記精算処理により予め設定された所定条件を満たした優良顧客を前記特定人物として設定することを特徴とする。
【００１８】
また、本発明は、上記発明において、前記照合用画像管理部は、前記特定人物のうち前記不正顧客及び前記優良顧客のいずれか一方又は両方を、前記検知用カメラの検知対象として設定することを特徴とする。
【００１９】
また、本発明は、上記発明において、前記登録顔画像取得部は、前記顧客管理部によって設定された特定人物が前記不正顧客である場合にのみ、アピアランス照合による前記特定人物の検索照合を行うことを特徴とする。
【００２０】
また、本発明は、上記発明において、前記検知用カメラは、前記店舗の入口に設置され来店者を撮像する入口カメラを含むことを特徴とする。
【００２１】
また、本発明は、上記発明において、前記検知用カメラは、環境光の影響を受けることなく来店者を撮像可能な位置で該来店者が一人ずつ通過するように通路幅が規制された通路に設置され、前記来店者を撮像する通路カメラを含むことを特徴とする。
【００２２】
また、本発明は、上記発明において、前記照合用画像管理部は、リアルタイム照合用登録顔画像として登録する顔画像が顔照合処理に適した画像であることを評価する評価値を算出すると共に、リアルタイム照合用登録顔画像として新たに登録しようとした顔画像が、既にリアルタイム照合用登録顔画像を登録済みの人物のものである場合には、新たに登録しようとした前記顔画像の評価値が登録済みの前記リアルタイム照合用登録顔画像の評価値より高い値である場合にのみ、登録済みのリアルタイム照合用登録顔画像を新たに登録しようとした前記顔画像に置き換えて更新することを特徴とする。
【００２３】
また、本発明は、上記発明において、前記顧客管理部によって選択された前記特定人物の略正面の顔画像が、前記検知用カメラで撮像された画像から得られなかった場合に、前記登録顔画像取得部は、各カメラの優先度が設定された登録優先度設定に基づいて、別のカメラで撮像された画像から前記特定人物の顔画像を検索照合して、前記照合用画像管理部は、前記登録顔画像取得部による検索照合の結果、前記特定人物であると判定された略正面の顔画像を、前記検知用カメラによる前記特定人物の検知に利用するリアルタイム照合用登録顔画像として登録することを特徴とする。
【００２４】
また、本発明は、上記発明において、前記登録顔画像取得部によって、前記登録優先度設定で設定された各カメラで撮像された全ての画像から不正顧客の略正面の顔画像が取得されずかつ前記アピアランス照合処理により前記不正顧客と同一人物であると判定された画像が取得された場合には、前記照合用画像管理部は、前記アピアランス照合により取得された前記不正顧客が撮像された前記画像から得られる情報を補助データとして登録することを特徴とする。
【００２５】
また、本発明は、上記発明において、複数画像を表示して、表示された前記複数画像の中から１つの画像を選択するための操作表示部をさらに備え、前記照合用画像管理部は、前記登録顔画像取得部によって取得されたアピアランス照合処理による顔画像が複数ある場合には、全ての前記顔画像を前記操作表示部に表示して、前記操作表示部による操作によって選択された顔画像をリアルタイム照合用登録顔画像として登録することを特徴とする。
【発明の効果】
【００２６】
本発明によれば、監視対象である特定人物として設定された顔画像（検索照合用顔画像）を利用して検索照合を行うことにより、次回来店時等にこの特定人物を検知するために利用する顔画像（リアルタイム照合用登録顔画像）とこの特定人物を検知するための入力画像とを同一の検知用カメラで撮像された画像とすることができるので、特定人物の検知時に顔照合処理を行う２つの画像の撮像環境が異なるために判定精度が低下するという事態を回避することができる。また、特定人物が設定された画像で該特定人物の顔が鮮明に撮像されていない場合でも、服装等の外見の特徴を利用したアピアランス照合による検索照合を行うことにより、検知用カメラで撮像された画像の中から特定人物の顔画像を得て、リアルタイム照合用登録顔画像として登録することができる。さらに、検索照合時に検知用カメラによる顔画像が得られなかった場合でも、店内カメラで撮像された顔画像を得てリアルタイム照合用登録顔画像として登録することも可能である。
【００２７】
また、本発明によれば、代金未払いの商品を持ったまま店舗を出ようとする不正顧客を監視ゲートによって検知して、この不正顧客をゲートカメラによって撮像することにより特定人物として設定することができる。
【００２８】
また、本発明によれば、監視ゲートで不正顧客を検知した場合に、ゲートカメラに加えて、監視ゲートを通過する不正顧客を出口カメラによって略正面から撮像することができるので、不正顧客の横顔しか撮像されていないという事態を回避することができる。
【００２９】
また、本発明によれば、顧客がレジで支払った商品代金に関する情報から優良顧客を設定して、この顧客をレジに設置されたレジカメラによって撮像し、特定人物として設定することができる。
【００３０】
また、本発明によれば、特定人物として設定された人物のうち不正顧客及び優良顧客の両方を検知するか、不正顧客のみを検知するか、又は優良顧客のみを検知するかを、検知用カメラ毎に設定することができるので、検知用カメラの利用目的に応じて必要な人物のみを検知することができる。
【００３１】
また、本発明によれば、カメラで撮像されないように行動する傾向がある不正顧客についてはアピアランス照合により顔画像を検索することでリアルタイム照合用登録顔画像が登録できないという事態を回避しながら、リアルタイム照合用登録顔画像が登録できなかった場合でも次に来店した際に店舗への悪影響がない優良顧客についてはアピアランス照合を省略することで、リアルタイム照合用登録顔画像の登録に係る処理負荷を軽減することができる。
【００３２】
また、本発明によれば、店舗の入口に設置した入口カメラを検知用カメラとすることで、特定人物が来店してすぐにこれを検知することができるので、不正顧客の行動監視や優良顧客へのサービス等、迅速に適切な対応を取ることができる。
【００３３】
また、本発明によれば、外光等の環境光の影響を受けない場所で来店者が自然と一列になるように通路幅を規制した通路を設けて、この通路に設置した通路カメラを検知用カメラとして利用することで、各来店者を確実に撮像して特定人物を高精度に検知することができる。
【００３４】
また、本発明によれば、検索照合で得られた顔画像の有効性を評価する評価値を算出して、登録済みのリアルタイム照合用登録顔画像よりも評価値の高い顔画像が得られた場合には、登録済みのリアルタイム照合用登録顔画像を新たに得られた顔画像と置き換えて更新するので、特定人物の検知精度を向上させることができる。
【００３５】
また、本発明によれば、検知用カメラで撮像された画像の中から特定人物の顔画像が得られなかった場合でも、他のカメラで撮像された画像から得られた顔画像を、順次、検索照合の対象として、得られた顔画像をリアルタイム照合用登録顔画像として登録することができるので、検知用カメラで撮像された有効な顔画像が無いために特定人物を検知できないという事態を極力回避することができる。
【００３６】
また、本発明によれば、リアルタイム照合用登録顔画像として利用可能な不正顧客の顔画像が得られなかった場合でも、不正顧客の外見、不正顧客の利用する車両、同伴者等、不正顧客が撮像された画像から得られる情報を補助データとして登録することができるので、次に不正顧客が来店した際に不正顧客を検知するための手掛かりを残すことができる。
【００３７】
また、本発明によれば、アピアランス照合処理により、外見の特徴が似ているために複数の人物が特定人物であると判定された場合でも、これらの人物の顔画像を表示して選択することができるので、リアルタイム照合用登録顔画像を容易かつ正確に選択して登録することができる。
【図面の簡単な説明】
【００３８】
【図１】図１は、本発明に係る特定人物監視システムで利用するカメラの配置例を示す模式図である。
【図２】図２は、本実施形態に係る特定人物監視システムの構成概略を示すブロック図である。
【図３】図３は、本実施形態に係る特定人物監視システムで管理される監視対象設定の例を示す図である。
【図４】図４は、本実施形態に係る特定人物監視システムで管理されるリアルタイム照合用登録顔画像データについて説明する図である。
【図５】図５は、本実施形態に係る特定人物監視システムで管理される顧客情報の例を示す図である。
【図６】図６は、本実施形態に係る特定人物監視システムで管理される登録優先度設定の例を示す図である。
【図７】図７は、本実施形態に係る特定人物監視システムで管理される補助データの例を示す図である。
【図８】図８は、本実施形態に係る特定人物監視システムで管理されるカメラ毎の監視対象の設定例を示す図である。
【図９】図９は、本実施形態に係る特定人物監視システムで行われる優良顧客のリアルタイム照合用登録顔画像の登録処理を示すフローチャートである。
【図１０】図１０は、本実施形態に係る特定人物監視システムで行われる不正顧客のリアルタイム照合用登録顔画像の登録処理を示すフローチャートである。
【図１１】図１１は、本実施形態に係る特定人物監視システムで行われるリアルタイム照合用登録顔画像の登録処理の別の例を示すフローチャートである。
【発明を実施するための形態】
【００３９】
以下に添付図面を参照して、この発明に係る特定人物監視システムについて詳細に説明する。特定人物監視システムは、特定の人物を検知して監視する金融機関、小売店、レストラン等、商品やサービスを提供する様々な場所で利用できるものである。以下では、小売店の店舗での利用を例に説明する。
【００４０】
図１は、特定人物監視システムで利用するカメラ１０Ａ〜１０Ｇの配置例を示す図である。このように、店舗５０では屋内及び屋外に複数のカメラ１０Ａ〜１０Ｇが設置される。図１に示すカメラ１０Ａ〜１０Ｇは、ネットワークを介して管理装置や記憶装置に接続されているが、これについては後述する。
【００４１】
店舗５０の入口５１Ａには入口カメラ１０Ａを設置して、入店する人物１００Ａを撮像する。入口カメラ１０Ａは、複数人で来店した人物を撮像可能な位置かつ各人の顔を撮像可能な位置に設置されている。これにより、グループで来店した人物を撮像して各人の顔画像を関連付けて管理することができる。
【００４２】
店舗５０の入口５１Ａでは屋外の明るさの変化に伴って撮像環境が変化しやすい。入口カメラ１０Ａは外光の影響を受け難いように設置位置が設定され、さらに、図示しない照明を利用して撮像環境が一定となるように外光に応じて照明が制御されている。
【００４３】
なお、ここで言う入口カメラ１０Ａとは、１台のカメラを利用する場合に限定されず、複数台のカメラを入口カメラ１０Ａとして利用する場合を含むものである。例えば、来店したグループ全員を上方から撮像するカメラと、来店者の目線又はそれよりも低い位置からグループ各人の顔を撮像するカメラとを、入口カメラ１０Ａとして利用する態様であっても構わない。また、例えば、大規模店舗等で入口が複数ある場合には、各入口に入口カメラ１０Ａを設置して利用する。
【００４４】
また、店内の所定通路５２に通路カメラ１０Ｂを設置して、入店した人物１００Ｂを撮像する。この通路５２は、入口５１Ａから店舗５０内に入った人物１００Ａが通過する位置にあり、店舗５０の営業時間全体に渡って外光の影響を受けることなく一定の環境光下で人物１００Ｂを撮像できるようになっている。この通路５２は、顧客が圧迫感を感じることがなくかつ顧客が１列になって通過するように通路幅が規制されている。例えば、大人２人が密着しないと通過できない通路幅としながら、この通路幅を大人の腰位置より低い商品の陳列棚等によって規制することにより、通路５２の狭さを感じ難いようにされている。このように通路幅を規制することにより、グループで店舗５０に入店した場合でも、各人を分離して１人ずつ顔画像を撮像することができる。
【００４５】
なお、通路カメラ１０Ｂについても、入口カメラ１０Ａの場合と同様に、複数台のカメラを通路カメラ１０Ｂとして利用する態様であってもよい。また、店舗５０の規模や出入口のレイアウトによっては、通路カメラ１０Ｂが入口カメラ１０Ａとしての機能を兼ねる態様であっても構わない。
【００４６】
店内では、買い物中の人物１００Ｃを撮像するための複数の店内カメラ１０Ｃが設置されている。これらの店内カメラ１０Ｃは、店内での不正行為を監視するために商品の陳列棚や売り場通路に向けて設置され、撮像された画像から不審な行動をとる人物１００Ｃがいないかを監視できるようになっている。
【００４７】
また、商品の精算が行われるレジ５３にレジカメラ１０Ｄを設置して、購入した商品の代金を支払う人物１００Ｄを撮像する。レジカメラ１０Ｄで撮像された画像は、レジ５３で精算された商品の情報や支払金額と関連付けて管理される。
【００４８】
また、店内から店舗５０の出口５１Ｂに至る出口通路５４には、ゲートカメラ１０Ｅを有する監視ゲート４０が設置されている。監視ゲート４０は、店舗５０で取り扱う商品に付された無線タグの通過を検出する機能を有しており、レジ５３で代金が支払われずに通過する商品を検知して、これを店員に報知する。このとき、ゲートカメラ１０Ｅにより、代金未払いの商品を持って監視ゲート４０を通過しようとする人物１００Ｅを撮像できるようになっている。
【００４９】
監視ゲート４０から出口５１Ｂに至る出口通路５４には、出口カメラ１０Ｆが設置され、監視ゲート４０を通過して店舗５０を出ようとする人物１００Ｅを撮像する。出口カメラ１０Ｆは、ゲートカメラ１０Ｅと連動して動作するようになっている。具体的には、監視ゲート４０によって不正行為が検知され、ゲートカメラ１０Ｅによって人物１００Ｅの撮像がされるときには、出口カメラ１０Ｆでもこの人物１００Ｅを撮像するようになっている。ゲートカメラ１０Ｅは監視ゲート４０を通過する人物１００Ｅを側方から撮像するが、出口カメラ１０Ｆを利用することにより監視ゲート４０を通過する人物１００Ｅを前方から撮像することができる。このように、出口カメラ１０Ｆによって略正面から人物を撮像することにより顔画像照合に利用可能な顔画像を撮像できる可能性が高くなる。
【００５０】
なお、本実施形態では、複数カメラを容易に区別できるように記載しているが、店内カメラ１０Ｃ、レジカメラ１０Ｄ、ゲートカメラ１０Ｅ及び出口カメラ１０Ｆは、店内カメラに含まれるものである。
【００５１】
また、店舗５０の屋外にも、複数の屋外カメラ１０Ｇが設置されている。屋外カメラ１０Ｇは、駐車場等を移動する人物１００Ｆ〜１００Ｈを撮像する。不正行為を行う人物は、店内では、監視カメラの存在を意識して顔が撮像されないように、目深に帽子をかぶったり顔を伏せた状態で店内を移動する場合がある。しかし、屋外では監視カメラに対する意識が低いので顔画像を撮像できる可能性がある。また、二輪車に乗る人物１００Ｇや四輪車を運転する人物１００Ｈは前方を向いて運転するので、店内で撮像する場合に比べて顔画像を撮像できる可能性が高くなる。また、顔画像を撮像できなかった場合でも、不正行為を行った人物の乗る二輪車や四輪車の特徴、四輪車のナンバーを手掛かりとして利用できる可能性がある。このため、屋内で顔画像を撮像できなかった人物の顔画像を屋外で撮像することと、顔画像が撮像できなかった場合でもこの人物に関する車両情報等の情報を得ることを目的として、屋外カメラ１０Ｇが設置される。
【００５２】
次に、特定人物監視システム１の構成、機能及び動作について説明する。図２は、特定人物監視システム１の構成概略を示すブロック図である。特定人物監視システム１は、図１に示すカメラ１０Ａ〜１０Ｇ、監視ゲート４０及びレジ５３に加えて、管理装置２０及び記憶装置３０を有している。特定人物監視システム１を構成する各部は、各カメラ１０Ａ〜１０Ｇで撮像された画像や各種情報を含むデータを送受信できるように、ネットワーク６０に接続されている。
【００５３】
管理装置２０は、顧客に関する情報を管理する顧客管理部２０Ａと、カメラによって撮像された画像を利用して顔照合を行う顔照合処理部２０Ｂと顔照合可能な画像が得られなかった場合にアピアランス照合を行って顔画像を得るアピアランス照合処理部２０Ｃとからなる登録顔画像取得部２０Ｆと、照合用の顔画像データ等を管理する照合用画像管理部２０Ｄと、顔照合処理により特定人物を検知した場合にこれを通知する照合結果通知部２０Ｅとを有している。また、管理装置２０は、撮像した入店顧客の画像からリアルタイム照合用登録画像と比較を行って特定顧客の来店を検知するリアルタイム顔照合処理部２０Ｇを有している。管理装置２０は、例えば、キーボードやマウス等の入力装置及び液晶ディスプレイ等の表示装置等を操作表示部として備えるコンピュータ装置によって構成される。
【００５４】
記憶装置３０には、店舗５０への来店を検知したい特定人物の顔画像がリアルタイム照合用登録顔画像として登録された照合用登録顔画像データ３０Ａと、特定人物に関する顔画像以外の情報である補助データ３０Ｂと、リアルタイム照合用登録顔画像として登録する画像を撮像するカメラの優先度が設定された登録優先度設定３０Ｃと、監視対象とする特定人物の種類等が設定された監視処理設定３０Ｄと、特定人物を含む顧客に関する情報である顧客情報３０Ｅとが保存されている。記憶装置３０は、例えば、不揮発性の半導体メモリやハードディスク等によって構成される。
【００５５】
ここで、リアルタイム照合用登録顔画像とは、店舗５０への来店を検知したい特定人物の顔画像であって、入力画像と比較するための比較元の登録画像である。顔照合処理に利用可能な顔画像がリアルタイム照合用登録顔画像として記憶装置３０に保存される。特定人物監視システム１では、検知用カメラとして設定された入口カメラ１０Ａや通路カメラ１０Ｂで撮像された画像を入力画像として、管理装置２０での顔照合処理によって入力画像の中にリアルタイム照合用登録顔画像と一致する顔画像を検知した場合に、特定人物が来店したと判定される。
【００５６】
顧客管理部２０Ａは、顧客に関する情報を管理する機能を有する。例えば、レジ５３で精算された商品情報や金額情報に基づいて各顧客の購入履歴を管理する。各顧客の識別は、レジカメラ１０Ｄによって撮像された顔画像を利用して行ってもよいし、店舗で会員カード等を発行している場合には、精算時にレジ５３で提示されたカード情報を利用して行ってもよい。
【００５７】
また、顧客管理部２０Ａは、特定人物監視システム１の監視対象となる特定人物を管理する機能を有する。特定人物監視システム１では、所定条件を満たした顧客を、店舗にとって好ましくない顧客と好ましい顧客とに分けて管理する。例えば、万引き等の不正行為を行った人物や不正行為を行った可能性のある人物を不正顧客として管理して、買い物の回数や金額等の条件が予め設定された条件を満たした顧客を優良顧客として管理する。
【００５８】
図３は、顧客管理部２０Ａによって管理される特定人物の種類の例を示す図である。このように、優良顧客がＰ１〜Ｐ３の３つのランクに分けて管理される。例えば、優良顧客のランクＰ１〜Ｐ３は、購入した商品の種類や購入金額の累積値に基づいて設定される。具体的には、高級商品を購入する顧客を商品の価格や種類に応じてランク分けしたり、購入金額の累積値を金額に応じてランク分けする。
【００５９】
また、不正顧客についても同様にランク分けして管理される。例えば、過去に何度も不正行為を行った人物をランクＮ１、不正行為を１回行った人物をランクＮ２、不正行為を行った可能性がある人物をランクＮ３として設定する。特定人物の種類に関する情報は、監視処理設定３０Ｄの一部として記憶装置３０に保存されている。なお、ランクＮ３の顧客は、不正行為を行った可能性があるに留まるため、図３に示すように不正顧客と区別して要注意顧客として管理してもよいが、以下では、ランクＮ１〜Ｎ３の人物が全て不正顧客として管理されるものとして説明する。
【００６０】
なお、特定人物の種類に関する設定は、特定人物監視システム１の利用者が自由に変更することできる。例えば、優良顧客や不正顧客を４つ以上のランクに分けることもできるし、ランク分けしない設定とすることもできる。また、ランク分けの条件も変更することができる。例えば、ライバル店舗の価格調査員を不正顧客として設定する等、所定条件に合致する者を区別して管理することもできる。
【００６１】
優良顧客の設定は、レジ５３で取得された情報に基づいて顧客管理部２０Ａによって自動的に行われる場合もあるし、レジ５３を操作して手動で行われる場合もある。また、不正顧客の設定についても、自動的に行われる場合と手動で行われる場合がある。例えば、監視ゲート４０による監視結果に基づいて、代金未払いの商品を持ったまま店舗５０を出ようとした人物は、自動的に、不正顧客として設定される。また、店内カメラ１０Ｃによる情報とレジ５３で代金が支払われた商品情報とに基づいて、代金未払いの商品を所持する可能性がある場合には、自動的に、この人物が不正顧客として設定される。また、各カメラ１０Ａ〜１０Ｇで撮像された画像を監視する監視員や店員が居る場合には、不正行為を発見された際に、手動で、この不正行為を行った人物を画像上で選択して不正顧客として設定する。
【００６２】
顔照合処理部２０Ｂは、優良顧客や不正顧客が特定人物として設定された際に、特定人物のリアルタイム照合用登録顔画像を検索照合するための顔照合処理を行う機能を有する。検索の結果、得られたリアルタイム照合用登録顔画像は、記憶装置３０の照合用登録顔画像データ３０Ａに登録される。また、顔照合処理部２０Ｂは、記憶装置３０の照合用登録顔画像データ３０Ａに登録済みのリアルタイム照合用登録顔画像を利用して、来店者の中から特定人物を検知するための顔照合処理を行う機能も有している。
【００６３】
まず、リアルタイム照合用登録顔画像の取得処理及び登録処理について説明する。顔照合処理部２０Ｂは、店舗５０に設置されたカメラで撮像された画像を利用して、自動又は手動で特定人物が設定されると、この人物の顔画像（検索照合用顔画像）を抽出して顔照合処理を行うことにより、検知用カメラで撮像された画像の中からこの人物の顔画像を検索する。顔照合処理の結果、得られた顔画像が、この顔画像を撮像したカメラ用のリアルタイム照合用登録顔画像として、照合用登録顔画像データ３０Ａに登録される。
【００６４】
図４は、照合用登録顔画像データ３０Ａとして管理されているデータの例を示す図である。このように、照合用登録顔画像データ３０Ａでは、各特定人物が顧客ＩＤによって管理される。また、検知目的として、各人物が、図３に示す監視処理設定３０Ｄで設定された特定人物の種類のいずれに該当するのかが管理されている。図４では、例えば、顧客ＩＤがＰ０００１の特定人物はランクＰ１の優良顧客として管理され、顧客ＩＤがＮ０００１の特定人物はランクＮ３の不正顧客として管理されている。
【００６５】
また、図４に示すように、リアルタイム照合用登録顔画像は、各カメラ毎に区別して保存されている。例えば、顧客管理部２０Ａによってレジカメラ１０Ｄで撮像された人物１００ＤがランクＰ１の優良顧客として設定されると、この人物１００Ｄに顧客ＩＤが付与される。これを受けて、顔照合処理部２０Ｂは、レジカメラ１０Ｄで撮像された画像からこの人物１００Ｄの顔画像を検索照合用顔画像として抽出して顔照合処理を開始する。そして、検知用カメラで撮像された画像の中からこの人物１００Ｄの顔画像を得るための検索照合処理を行う。例えば、入口カメラ１０Ａで撮像された画像の中からこの人物１００Ｄの顔画像が得られると、これを入口カメラ１０Ａ用のリアルタイム照合用登録顔画像として照合用登録顔画像データ３０Ａに登録する。同様に、通路カメラ１０Ｂで撮像された人物１００Ｄの顔画像を検索して、顔画像が得られると、これを通路カメラ１０Ｂ用のリアルタイム照合用登録顔画像として照合用登録顔画像データ３０Ａに登録する。また、店内カメラ１０Ｃ、ゲートカメラ１０Ｅ、出口カメラ１０Ｆ等によって撮像された画像で不正顧客が設定された場合も、同様に、不正顧客の顔画像を得るための検索照合処理とリアルタイム照合用登録顔画像の登録処理が行われる。
【００６６】
図４では、例えば、顧客ＩＤがＰ０００１の優良顧客について、入口カメラ１０Ａ用のリアルタイム照合用登録顔画像であるデータＡ１と、通路カメラ１０Ｂ用のリアルタイム照合用登録顔画像であるデータＢ１とが登録されている。また、顧客ＩＤがＮ０００１の不正顧客について、入口カメラ１０Ａ用のリアルタイム照合用登録顔画像であるデータＡ３と、通路カメラ１０Ｂ用のリアルタイム照合用登録顔画像であるデータＢ３とが登録されている。
【００６７】
なお、リアルタイム照合用登録顔画像は、入口カメラ１０Ａ及び通路カメラ１０Ｂについて設定される態様に限定されず、例えば、通路カメラ１０Ｂについてのみ設定されてもよいし、入口カメラ１０Ａ及び通路カメラ１０Ｂに加えて他のカメラ１０Ｃ〜１０Ｇについてもリアルタイム照合用登録顔画像が登録されても構わない。また、顧客ＩＤや検知目的に応じて、リアルタイム照合用登録顔画像が登録されるカメラの種類が異なる態様であってもよい。これについての詳細は後述する。また、取付け位置が同等で略正面顔が得られるカメラの顔画像をリアルタイム照合用登録顔画像として登録してもよい。
【００６８】
図４で下線が付された顧客ＩＤやリアルタイム照合用登録顔画像は、関連するデータが記憶装置３０に保存されていることを示している。管理装置２０上で、操作表示部を利用して、閲覧したい顧客ＩＤや顔画像を選択すると、関連する情報を確認することができる。例えば、顧客ＩＤを選択すると、この顧客について記録されている顧客情報を確認することができる。
【００６９】
図５は、顧客管理部２０Ａによって管理される顧客情報３０Ｅの例を示す図である。顧客情報３０Ｅには、店舗会員である場合には店舗会員ＩＤが含まれ、その他に、検知目的としての設定履歴、購入／事象履歴、画像データが管理される。検知目的の設定履歴として、特定人物としての種類と、特定人物に設定された日付とが記録されている。また、購入／事象履歴として、過去に購入した商品や金額に関する購入履歴や、不正行為の履歴が記録されている。また、画像データとして、記憶装置３０に保存されている画像データに関する情報が含まれている。
【００７０】
例えば、購入履歴として記録された金額を選択すると、購入された商品や金額等の情報が管理装置２０の操作表示部に表示され、詳細を確認できるようになっている。また、事象履歴として記録された行為を選択すると、不正行為とされた行為の詳細を確認できるようになっている。また、画像データに関する情報を選択すると、記憶装置３０に保存されている画像が管理装置２０の操作表示部に表示される。図５に示すように、顧客情報３０Ｅでは、保存されている情報の一部のみが表示されるが、過去履歴又はその他と表示されたボタンを押すことにより、記憶装置３０内に保存されている他のデータについても確認できるようになっている。
【００７１】
顧客情報３０Ｅで管理される顧客のうち、特定人物として設定された人物のリアルタイム照合用登録顔画像が、図４に示す照合用登録顔画像データ３０Ａに登録されている。リアルタイム照合用登録顔画像として登録される顔画像は顔照合処理部２０Ｂにより検索されるが、１台のカメラで撮像された画像の中から、リアルタイム照合用登録顔画像として利用可能な複数の顔画像が得られた場合には、これらの中からリアルタイム照合用登録顔画像として登録する顔画像が選択される。具体的には、得られた各顔画像が、リアルタイム照合用登録顔画像としての利用に適した画像であるか否かを評価する評価値を算出して、最大の評価値、あるいは所定の評価値以上の値を有する顔画像を、リアルタイム照合用登録顔画像として照合用登録顔画像データ３０Ａに登録する。
【００７２】
ここで、リアルタイム照合用登録顔画像としての評価値は、例えば、顔画像データの解像度、明るさ、コントラスト等に基づいて算出されたり、両目等の顔パーツ等の特徴に基づいて顔画像が略正面を向いた顔画像であるか否かを評価することによって算出される。特定人物として設定された顔画像と同一人物の顔画像が顔照合処理によって検索されるが、同一人物と判定された顔画像の中で、さらに、顔画像としての有効性を比較するために算出される値が評価値である。評価値は、照合用画像管理部２０Ｄによって算出されて、図４に示すように、各顧客ＩＤの顔画像は評価値と共に管理される。
【００７３】
顔画像の評価値は、得られた顔画像がリアルタイム照合用登録顔画像として利用可能であるか否かを評価するためにも利用される。顔照合処理部２０Ｂによって各カメラで撮像された画像の中から、特定人物の顔画像を検索した際に、評価値が所定のしきい値以上の値を示す顔画像が見つからなかった場合には、リアルタイム照合用登録顔画像として他のカメラで撮像された顔画像が利用される。このとき、他のカメラの顔画像を利用する際の優先度が、登録優先度設定３０Ｃとして記憶装置３０に保存されている。
【００７４】
図６は、登録優先度設定３０Ｃの例を示す図である。顧客管理部２０Ａによって優良顧客が設定された場合には、まず、優良顧客の来店を検知するための検知カメラ（自カメラ）で撮像された画像の中からリアルタイム照合用登録顔画像が検索される。すなわち、特定人物を検知する際に、同一のカメラで撮像された入力画像とリアルタイム照合用登録顔画像との間で、顔照合処理を行うことができるように、リアルタイム照合用登録顔画像が検索される。
【００７５】
図６に示すように、検知カメラで撮像された画像の中からリアルタイム照合用登録顔画像として利用可能な顔画像が得られなかった場合には、次に、登録優先度設定３０Ｃに従って通路カメラ１０Ｂによって撮像された画像の中から顔画像が検索される。通路カメラ１０Ｂで撮像された画像からもリアルタイム照合用登録顔画像として利用可能な顔画像が得られなかった場合には、次に、入口カメラ１０Ａによって撮像された画像の中から顔画像が検索される。
【００７６】
検知カメラ以外のカメラで撮像された画像からリアルタイム照合用画像として利用可能な顔画像が得られて登録された場合には、照合用登録顔画像データ３０Ａ上で、これが分かるように区別して表示される。具体的には、図４の顧客ＩＤがＮ０００２の欄に示すように、入口カメラ１０Ａ及び通路カメラ１０Ｂ用のリアルタイム照合用登録顔画像として、例えば出口カメラ１０Ｆで撮像された顔画像が登録されている場合には、リアルタイム照合用登録顔画像のデータ名及び評価値に括弧を付して表示される。その他、顔画像のデータ名からも検知カメラで撮像された顔画像データであるか否かを判断できるようになっている。
【００７７】
顧客管理部２０Ａによって不正顧客が設定された場合にも、図６に示すように、自カメラ、通路カメラ、入口カメラと続く優先度設定に基づいて、リアルタイム照合用登録顔画像を得るための検索照合処理がなされる。不正顧客の場合には、カメラで顔を撮像されないように帽子やサングラスを着用したり、顔を伏せるような行動をとる傾向があるため、リアルタイム照合用登録顔画像として利用可能な顔画像が得られ難い。このため、不正顧客については、優良顧客に比べて多くのカメラを優先度設定に加えて、リアルタイム照合用登録顔画像の検索対象となる画像が増えるように設定されている。なお、図６に示す自カメラとは、不正顧客の略正面の顔画像をリアルタイム照合用登録顔画像として登録する処理の処理対象となる検知用カメラである。本実施形態では、入口カメラ及び通路カメラについて、各々、図６に従ってリアルタイム照合用登録顔画像の登録処理がなされることになる。
【００７８】
なお、リアルタイム照合用登録顔画像として利用可能か否かの判定は、顔画像の評価値と、予め設定されたしきい値とを比較することによって行われるが、このしきい値についても利用者による設定変更が可能となっている。しきい値は、優良顧客と不正顧客で同一の値とすることもできるし、異なる値とすることもできる。また、カメラ毎に異なるしきい値を設定することもできる。
【００７９】
図６に示す登録優先度設定３０Ｃに基づいて顔画像の検索が行われるが、評価値が所定のしきい値を超える顔画像が得られなかった場合には、続いて、アピアランス照合による顔画像の検索が行われる。例えば、店内カメラ１０Ｃを利用した監視活動によって、不正行為を行った人物１００Ｃが不正顧客として設定された場合に、店内カメラ１０Ｃによる画像から抽出した顔画像を検索照合用顔画像として検索照合を行っても、評価値が所定のしきい値を超える顔画像を得られない場合がある。店内カメラ１０Ｃは、不正行為を発見することを目的として、例えば天井等の高い位置から売り場を撮像するように設置される。このため、不正行為を発見することはできても、この人物１００Ｃの顔画像の解像度が低かったり、顔がカメラの方を向いていないために、顔照合処理に有効な顔画像を抽出できない場合がある。このような顔画像を利用して、入口カメラ１０Ａや通路カメラ１０Ｂで撮像した画像から顔画像の検索を行った場合には、実際には特定人物として設定された人物１００Ｃの顔画像が鮮明に撮像されているにも拘わらず、同一人物ではないと判定される場合がある。特定人物監視システム１では、このような場合に対応するために、アピアランス照合処理が行われるようになっている。
【００８０】
アピアランス照合処理部２０Ｃが、アピアランス照合を行う。ここで、アピアランス照合処理とは、カメラによって撮像された人物のアピアランス（外見）特徴を利用して行う照合処理である。具体的には、帽子や着衣等を含む服装、髪形、身長等の外見から、２つの画像で撮像された人物が同じ人物であるか否かを判定する。店内カメラ１０Ｃで撮像された不正顧客のアピアランス特徴を利用してアピアランス照合を行って、入口カメラ１０Ａで撮像された画像の中から不正顧客を検索する。この結果、同一人物であると判定された人物が見つかった場合には、この人物の顔画像を抽出して、この顔画像の評価値が所定のしきい値を超える場合に、入口カメラ１０Ａ用のリアルタイム照合用登録顔画像として照合用登録顔画像データ３０Ａに登録する。通路用カメラ１０Ｂ等の他のカメラについても、同様の処理を行って、リアルタイム照合用登録顔画像を登録する。
【００８１】
このように、特定人物監視システム１では、顔照合処理部２０Ｂ及びアピアランス照合処理部２０Ｃが、特定人物のリアルタイム照合用登録顔画像を得るための検索照合処理を行う登録顔画像取得部２０Ｆとして動作する。
【００８２】
顔照合処理部２０Ｂによる顔照合及びアピアランス照合処理部２０Ｃによるアピアランス照合を行って、略正面顔に近い画像を探すことにより、リアルタイム照合用登録顔画像の検索照合処理が行われるが、顔照合処理及びアピアランス照合処理のいずれの処理によっても、有効な顔画像が得られない場合がある。特定人物監視システム１では、このような場合でも、不正顧客に関する情報を補助データとして残すことができる。
【００８３】
照合用画像管理部２０Ｄは、照合用登録顔画像データ３０Ａ、登録優先度設定３０Ｃ及び監視処理設定３０Ｄを管理する機能を有する。また、リアルタイム照合用登録顔画像としての有効性を評価するための評価値の算出を行う機能を有する。さらに、不正顧客のリアルタイム照合用登録顔画像が得られなかった場合でも、不正顧客に関する顔アピアランス情報、車両情報及び同伴者情報を検索して、これらを補助データ３０Ｂとして記憶装置３０に登録する機能を有する。補助データ３０Ｂとして検索される情報は、図６に示すように登録優先度設定３０Ｃとして管理されている。補助データ３０Ｂとして保存したい情報をチェックボックスによって選択すると、不正顧客として設定された人物のリアルタイム照合用登録顔画像が得られなかった場合に、選択された情報を検索して保存する処理が行われる。
【００８４】
図７は、記憶装置３０に保存される補助データ３０Ｂの例を示す図である。図７で下線が付された補助データは、関連するデータが保存されていることを示している。管理装置２０の操作表示部を利用して、これらのデータを選択すると、関連する画像や情報の詳細を確認することができる。
【００８５】
図７に示す顔アピアランス情報とは、不正顧客の顔部分の画像である。顔照合処理及びアピアランス照合処理によって、有効なリアルタイム照合用登録顔画像が見つからなかった場合でも、不正顧客として登録された人物の顔部分の画像を顔アピアランス情報として記憶装置３０に保存する。
【００８６】
図７に示す車両画像とは、不正顧客が利用した二輪車又は四輪車の車両の画像であり、車両ナンバーとは車両が四輪車である場合の車両ナンバー部分の画像である。車両ナンバーとして、画像が保存される場合の他、文字認識結果が保存される場合もある。アピアランス照合処理部２０Ｃによってアピアランス照合を行った場合には、不正顧客の服装等から同一人物である可能性が高いと判定された場合でも、抽出された顔画像の評価値がしきい値より小さくリアルタイム照合用登録顔画像として登録されない場合がある。具体的には、顔画像がサングラスやマスクを着用した画像である場合や、カメラに対する顔の向きによって顔の一部しか撮像されていない場合には、不正顧客と同一人物である可能性が高い場合でも、リアルタイム照合用登録顔画像としては利用できないと判定される。このとき、屋外カメラ１０Ｇで撮像された画像の中に、アピアランス照合により不正顧客であると判定された人物が利用する二輪車や四輪車が撮像されていた場合に、これらの車両画像やナンバーに関する情報を補助データ３０Ｂとして記憶装置３０に保存する。
【００８７】
その他、図６に示す同伴者情報とは、不正顧客の同伴者に関する情報である。入口カメラ１０Ａによって撮像された画像の中に、アピアランス照合により不正顧客であると判定された人物と、この人物の同伴者と推測される人物が撮像されていた場合に、同伴者の画像を同伴者情報として記憶装置３０に保存する。なお、同伴者であるか否かの判定は、複数人物の間の距離によって判定される。
【００８８】
このように、不正顧客のリアルタイム照合用登録顔画像が得られなかった場合でも、この人物に関連する情報を補助データ３０Ｂとして記憶装置３０に保存することにより、不正顧客の特定に利用可能な手掛かりをデータとして残すことができる。例えば、不正顧客が特徴を有する帽子を被っている場合や、マスクを着用しているが特徴的なほくろや傷がある場合には、顔アピアランス画像を不正顧客を特定する手掛かりとして利用できる可能性がある。また、不正顧客が再び来店した合に、服装等のアピアランスは変わる可能性があるが、これに比べて車両や同伴者は同一である可能性が高いので、これらの情報を不正顧客の特定に利用できる可能性がある。なお、補助データ３０Ｂは、リアルタイム照合用登録顔画像が得られなかった場合にのみ取得する態様に限られず、顔画像が得られた場合にも保存されるように設定することも可能である。
【００８９】
検索照合処理の結果、リアルタイム照合用登録顔画像が得られ、照合用登録顔画像データ３０Ａに登録された場合には、このデータを利用して、店舗５０への来店者の中から特定人物を検知する処理が行われる。具体的には、例えば、店舗５０に来店した人物１００Ａが入口カメラ１０Ａによって撮像されると、この画像を入力画像として、入力画像から抽出された顔画像と入口カメラ１０Ａ用のリアルタイム照合用登録顔画像とを利用して、顔照合処理部２０Ｂによる顔照合処理が行われる。同様に、入店して通路５２を通過する人物１００Ｂが通路カメラ１０Ｂによって撮像されると、この画像を入力画像として、入力画像から抽出された顔画像と通路カメラ１０Ｂ用のリアルタイム照合用登録顔画像とを利用して、顔照合処理部２０Ｂによる顔照合処理が行われる。そして、顔照合処理の結果、図４に示すように監視対象として設定された特定人物であると判定されると、照合結果通知部２０Ｅによって、これが監視員や店員に通知される。
【００９０】
照合結果通知部２０Ｅは、予め照合結果を通知する対象者として設定された監視員や店員等に対して、特定人物が検知されたことを通知する機能を有する。例えば、検知された特定人物の顔画像や顧客情報等のデータが、監視員や店員が有する携帯端末に送信される。また、例えば、来店した特定人物のランクに応じて（図３参照）、異なる店内放送や効果音を店内スピーカから再生することによって、特定人物の来店を監視員や店員に報知して注意喚起を行う。
【００９１】
店舗５０には複数のカメラ１０Ａ〜１０Ｇが設置されているが、これらのうち、特定人物の検知に利用する検知用カメラは予め設定されている。また、各検知用カメラが検知対象とする特定人物の種類も設定されている。
【００９２】
図８は、各カメラが検知対象とする特定人物の設定例を示す図である。この設定では、各カメラで特定人物の検知を行うか否かと、特定人物を検知する場合に検知対象とする特定人物の種類と、特定人物を検知する場合の判定レベルとを設定することができる。これらの情報は、監視処理設定３０Ｄの一部として記憶装置３０に保存されている。特定人物であるか否かを判定する際の判定レベルは、最も厳しい判定から順にレベルＡ〜Ｃとして、検知対象毎に設定することができる。
【００９３】
例えば、入口カメラ１０Ａ及び通路カメラ１０Ｂを利用して、来店者の中から優良顧客及び不正顧客を検知するように設定される。このとき、誤判定した場合に問題となる可能性がある不正顧客については優良顧客より厳しい判定レベルに設定したり、撮像環境が良好な通路カメラ１０Ｂでは入口カメラ１０Ａより判定レベルを厳しく設定して、特定人物を検知するための判定精度を高くすることができる。
【００９４】
また、優良顧客に対して特別なサービスを行うためにレジカメラ１０Ｄでは優良顧客のみを検知するように設定したり、店内での不正顧客の位置を把握するために店内カメラ１０Ｃでは不正顧客のみを検知するように設定することもできる。このとき、サービスを行うために優良顧客のみを検知するレジカメラ１０Ｄでは、仮に誤判定されても大きな問題は生じないため判定レベルを甘く設定する等、目的に応じて判定レベルを調整することができる。
【００９５】
図８に示す監視処理設定３０Ｄは、リアルタイム照合用登録顔画像の登録にも利用される。具体的には、検知対象として新たに優良顧客が設定された場合には、優良顧客を検知対象とするカメラでリアルタイム照合用登録顔画像の検索照合処理及び登録処理が行われるが、優良顧客を検知対象としないカメラではこれらの処理は行われない。また、新たに不正顧客が設定された場合には、不正顧客を検知対象とするカメラでリアルタイム照合用登録顔画像の検索照合処理及び登録処理や、補助データの検索及び保存等の処理が行われるが、不正顧客を検知対象としないカメラではこれらの処理は行われない。例えば、図８に示すように、レジカメラ１０Ｄでは優良顧客のみを検知するよう設定されている。このため、特定人物として新たに優良顧客が設定された場合には、レジカメラ１０Ｄ用のリアルタイム照合用登録顔画像として、この優良顧客の顔画像を検索して登録するための処理が行われる。しかし、新たに不正顧客が登録されても、レジカメラ１０Ｄでは不正顧客の検知は行われないので、レジカメラ１０Ｄ用のリアルタイム照合用登録顔画像を登録する処理は行われない。
【００９６】
次に、リアルタイム照合用登録顔画像の登録処理について、図９及び図１０を参照しながら詳細を説明する。図９は、優良顧客のリアルタイム照合用登録顔画像を登録する処理を示すフローチャートである。また、図１０は、不正顧客のリアルタイム照合用登録顔画像を登録する処理を示すフローチャートである。
【００９７】
なお、特定人物が新たに設定された際に開始されるリアルタイム照合用登録顔画像の登録処理について説明するため、図９及び図１０では優良顧客又は不正顧客が新たに設定されると次の処理へ移るように図示しているが、実際には、カメラ１０Ａ〜１０Ｇによる画像の記録は店舗５０が営業している間継続して行われている。また、図９及び図１０では顔画像の登録等の処理が行われた後に終了するように図示しているが、実際には、これらの処理が店舗５０が営業している間継続して行われる。さらに、処理内容を容易に理解できるように優良顧客に係る処理と不正顧客に係る処理とを分けて記載しているが、実際には、複数の処理が、その一部又は全部を重複した状態で並列処理される場合もある。
【００９８】
まず、図９に示す優良顧客の顔画像登録の処理について説明する。店舗５０では、各カメラ１０Ａ〜１０Ｇによって撮像された画像が順次記録されている（ステップＳ１）。各カメラ１０Ａ〜１０Ｇによる画像の記録は、店舗５０が営業している間、継続して行われる（ステップＳ２；Ｎｏ）。なお、各カメラ１０Ａ〜１０Ｇで撮像された画像は、画像を撮像した日時やカメラの情報と関連付けて記憶装置３０に保存され、所定期間経過後に削除される。
【００９９】
顧客管理部２０Ａによって優良顧客の設定が行われると（ステップＳ２；Ｙｅｓ）、顔照合処理部２０Ｂによって、優良顧客が設定された画像から検索照合用顔画像が抽出される（ステップＳ３）。
【０１００】
具体的には、例えば、レジ５３での精算情報に基づいて、予め設定された所定金額以上の高額商品を購入した顧客や、これまでの購入金額の累積金額が予め設定された所定金額以上となった顧客が、自動的に、優良顧客として設定される。また、レジ係が、レジ５３に表示された情報に基づいて、所定のキーを操作して、精算処理中の顧客を、手動で、優良顧客として設定してもよい。各顧客に関する情報は、図５を参照しながら説明したように顧客管理部２０Ａによって管理されている。なお、各顧客の識別は、店舗で会員カード等を発行している場合には、精算時にレジ５３で提示されたカード情報を利用して行われる。また、会員カード等の情報が利用できない場合には、レジカメラ１０Ｄで顧客を撮像して得られた顔画像を利用して、顔照合処理によって各顧客を識別して管理してもよい。優良顧客の検索照合用顔画像の抽出は、精算時にレジカメラ１０Ｄによって撮像された画像を利用して行われる。
【０１０１】
そして、抽出された検索照合用顔画像を利用して、優良顧客の顔画像を切出して顔照合による検索を行って、複数個の顔画像が得られた場合にはこれらの顔画像の類似度を評価して最も類似度が高い略正面顔を取得する（ステップＳ４）。顔照合処理部２０Ｂによる顔照合処理によって、例えば、入口カメラ１０Ａで撮像された画像の中から、優良顧客として設定された人物の顔画像が検索される。ステップＳ４以降の処理は、優良顧客を検知対象とする各カメラで行われるが、以下では、入口カメラ１０Ａを例に説明を続ける。
【０１０２】
検索照合処理によって顔画像が得られると、顔照合処理でリアルタイム照合用登録顔画像として利用するのに適した画像であるか否かが、照合用画像管理部２０Ｄによって評価される（ステップＳ５）。具体的には、得られた顔画像で人物の顔が鮮明に撮像されているか否かを評価する評価値が算出され、この評価値が予め設定されたしきい値以上である場合に、リアルタイム照合用登録顔画像として利用可能な有効顔画像であると判定される。１つのカメラで複数の有効顔画像が検索された場合には、評価値が最大の有効顔画像が、このカメラの有効顔画像とされる。
【０１０３】
検索照合処理によって有効顔画像が得られなかった場合には（ステップＳ５；Ｎｏ）、登録優先度設定３０Ｃに基づいて顔画像の検索対象となる別のカメラがあるか否かが判定される（ステップＳ６）。そして、検索対象となる別のカメラが残っていれば（ステップＳ６；Ｎｏ）、顔画像の検索対象とするカメラを変更して（ステップＳ７）、再び顔画像の検索照合処理が行われる。例えば、入口カメラ１０Ａで撮像した画像の中に有効顔画像が含まれなかった場合には、図６に示す登録優先度設定３０Ｃに基づいて、顔画像の検索対象が通路カメラ１０Ｂに変更され、通路カメラ１０Ｂで撮像された画像の中から優良顧客の顔画像の検索が行われる。
【０１０４】
一方、検索照合処理によって有効顔画像が得られず（ステップＳ５；Ｎｏ）かつ登録優先度設定３０Ｃに設定された全てのカメラを対象とする顔画像検索が完了した場合には（ステップＳ６；Ｙｅｓ）、顔画像の登録は行われず、優良顧客の顔画像登録に係る処理を終了する。
【０１０５】
検索照合処理によって有効顔画像が得られた場合には（ステップＳ５；Ｙｅｓ）、得られた有効顔画像が既に登録された特定人物の顔画像であるか否かが判定される（ステップＳ８）。この判定は、優良顧客として設定された人物が店舗５０の会員カード等を有している場合には、この人物を特定する会員ＩＤを利用して図５に示す顧客情報３０Ｅを参照することによって行われる。顧客ＩＤ等の人物を特定する情報が無い場合には、新たに得られた有効顔画像と、特定人物として登録済みのリアルタイム照合用登録顔画像との顔照合処理を行うことによって判定される。例えば、入口カメラ１０Ａによる新たな有効顔画像が得られた場合には、これを、図４に示す照合用登録顔画像データ３０Ａで入口カメラ１０Ａ用のリアルタイム照合用登録顔画像として登録された顔画像と顔照合することによって判定が行われる。
【０１０６】
優良顧客として設定された人物が、既に特定人物として登録済みであった場合には（ステップＳ８；Ｙｅｓ）、新たに得られた有効顔画像と既に登録済みのリアルタイム照合用登録顔画像の評価値が比較される（ステップＳ９）。そして、新たに得られた有効顔画像の評価値の方が、既に登録済みのリアルタイム照合用登録顔画像より高い評価値を有する場合には、照合用登録顔画像データ３０Ａのリアルタイム照合用登録顔画像を、新たに得られた有効顔画像と置き換えることによって更新する（ステップＳ１０）。例えば、新たに得られた顔画像が、図４に示す顧客ＩＤがＰ０００１の顔画像であり評価値が８０より大きい場合には、登録済みのリアルタイム照合用登録顔画像データＡ１が、新たに得られた顔画像と置き換えられる。このとき、顧客情報３０Ｅの更新も行われる。
【０１０７】
一方、新たに得られた有効顔画像より登録済みのリアルタイム照合用登録顔画像の方が評価値が高い場合には（ステップＳ９；Ｎｏ）、照合用登録顔画像データ３０Ａに登録済みのリアルタイム照合用登録顔画像を維持する。
【０１０８】
優良顧客として設定された人物が、既に設定された特定人物に該当しなかった場合には（ステップＳ８；Ｎｏ）、有効顔画像が、リアルタイム照合用登録顔画像として新規登録される（ステップＳ１１）。例えば、入口カメラ１０Ａで撮像された顔画像が得られた場合には、この顔画像が入口カメラ１０Ａ用のリアルタイム照合用登録顔画像として登録される。また、入口カメラ１０Ａで撮像された画像から顔画像が得られず、登録優先度設定３０Ｃに基づいて通路カメラ１０Ｂで撮像された画像から顔画像が得られた場合には、この顔画像が入口カメラ１０Ａ用のリアルタイム照合用登録顔画像として登録されることになる。このとき、新たに設定された特定人物に関する情報は、顧客情報３０Ｅに追加して管理される。
【０１０９】
次に、図１０に示す不正顧客のリアルタイム照合用登録顔画像の登録処理について説明する。店舗５０では、各カメラ１０Ａ〜１０Ｇによって撮像された画像が順次記録されている（ステップ２１）。各カメラ１０Ａ〜１０Ｇによる画像の記録は、店舗５０が営業している間、継続して行われる（ステップＳ２２；Ｎｏ）。
【０１１０】
顧客管理部２０Ａによって、自動的に又は監視員や店員によって手動で不正顧客の設定がなされると（ステップＳ２２；Ｙｅｓ）、顔照合処理部２０Ｂによって、不正顧客が設定された画像から顔画像及びアピアランス特徴が抽出される（ステップＳ２３）。
【０１１１】
具体的には、例えば、監視ゲート４０で、商品に付された無線タグを利用して代金未払いの商品の通過が検知されると、この商品を持って監視ゲート４０を通過しようとする顧客がゲートカメラ１０Ｅ及び出口カメラ１０Ｆによって撮像される。そして、撮像された顧客が自動的に不正顧客として設定され、撮像された画像から、不正顧客の検索照合用顔画像と服装等の外見の特徴であるアピアランス特徴とが抽出される。このとき、ゲートカメラ１０Ｅで撮像された顔画像と出口カメラ１０Ｆで撮像された顔画像が比較され、顔照合処理に利用する顔画像としての評価が高い顔画像が、検索照合用顔画像として以降の処理に利用される。また、店内カメラ１０Ｃ等で撮像された映像を利用して店員や監視員によって監視活動が行われている場合には、不正行為が発見されると、画像上で不正顧客が手動で設定される。そして、不正顧客が設定されると、検索照合用顔画像及びアピアランス特徴の抽出が行われる。
【０１１２】
まず、抽出された検索照合用顔画像を利用して、不正顧客の顔画像の検索が行われる（ステップＳ２４）。顔照合処理部２０Ｂによる顔照合処理によって、例えば、入口カメラ１０Ａで撮像された画像の中から、不正顧客として設定された人物の顔画像を検索する検索照合処理が行われる。ステップＳ２４以降の処理は、特定人物を検知対象とする各カメラで行われるが、以下では、入口カメラ１０Ａを例に説明を続ける。
【０１１３】
検索照合処理によって顔画像が得られると、顔照合処理でリアルタイム照合用登録顔画像として利用するのに適した有効顔画像であるか否かが、照合用画像管理部２０Ｄによって評価される（ステップＳ２５）。そして、有効顔画像が得られなかった場合には（ステップＳ２５；Ｎｏ）、登録優先度設定３０Ｃに基づいて顔画像の検索対象となる別のカメラがあるか否かが判定される（ステップＳ２６）。そして、検索対象となる別のカメラが残っていれば（ステップＳ２６；Ｎｏ）、顔画像の検索対象とするカメラを変更して（ステップＳ２７）、再び顔画像の検索処理が行われる。例えば、入口カメラ１０Ａで撮像した画像の中に有効顔画像が含まれなかった場合には、図６に示す登録優先度設定３０Ｃに基づいて、顔画像の検索対象が通路カメラ１０Ｂに変更され、通路カメラ１０Ｂで撮像された画像の中から不正顧客の顔画像の検索が行われることになる。
【０１１４】
一方、検索照合処理によって有効顔画像が得られず（ステップＳ２５；Ｎｏ）かつ登録優先度設定３０Ｃに設定された全てのカメラを対象とする顔画像検索が完了した場合には（ステップＳ２６；Ｙｅｓ）、不正顧客の人物画像を探してアピアランス特徴を利用したアピアランス照合処理（検索照合処理）が行われる（ステップＳ２８）。なお、アピアランス照合処理についても、登録優先度設定３０Ｃに基づいて、複数カメラで撮像された画像を対象に処理が行われる。すなわち、実際には、ステップＳ２８及びＳ２９の処理の中で、顔照合処理時に行われるステップＳ２４〜Ｓ２７のループに該当する処理が実行されるが、この処理は顔画像処理と同様であるため説明及び図示を省略する。
【０１１５】
アピアランス照合処理部２０Ｃによるアピアランス照合処理の結果、不正顧客と同一人物であると判定された人物が得られた場合には、この人物の顔画像が抽出され、リアルタイム照合用登録顔画像として利用するのに適した有効顔画像であるか否かが評価される（ステップＳ２９）。
【０１１６】
得られた顔画像が有効顔画像ではないと判定された場合には（ステップＳ２９；Ｎｏ）、顔画像の登録は行われず、次に、補助データ３０Ｂの検索が行われる（ステップＳ３０）。具体的には、アピアランス照合による顔画像の検索照合処理により、アピアランス特徴から不正顧客が特定されたにも拘わらず、この人物の顔画像が有効顔画像ではないと判定された場合に、不正顧客が特定された画像を利用して補助データ３０Ｂが検索される。
【０１１７】
そして、得られた補助データ３０Ｂを、記憶装置３０へ保存する（ステップＳ３１）。例えば、不正顧客の顔画像がサングラスやマスク等を含むために有効顔画像と判定されなかった場合でも、図７に示すように、これを顔アピアランス情報として保存する。また、屋外カメラ１０Ｇで不正顧客が利用する車両が撮像されていた場合には、車両の画像等が保存される。また、入口カメラ１０Ａで不正顧客が同伴者と共に撮像されていた場合には、同伴者に関する情報が保存される。
【０１１８】
顔照合処理により有効顔画像が得られた場合（ステップＳ２５；Ｙｅｓ）、又はアピアランス照合処理により有効顔画像が得られた場合には（ステップＳ２９；Ｙｅｓ）、得られた有効顔画像が既に登録された特定人物の顔画像であるか否かが判定される（ステップＳ３２）。例えば、入口カメラ１０Ａで撮像された顔画像の中から有効顔画像が得られた場合に、この顔画像が、特定人物のリアルタイム照合用登録顔画像として照合用登録顔画像データ３０Ａに登録済みであるか否かが判定される。なお、入口カメラ１０Ａで撮像された有効顔画像が複数ある場合には、評価値が最も高い顔画像、すなわちリアルタイム照合用登録顔画像に最も適した顔画像が選択され、この顔画像について登録済みであるか否かの判定が行われる。
【０１１９】
この判定は、不正顧客として設定された人物が店舗５０の会員カード等を有している場合には、この人物を特定する会員ＩＤを利用して図５に示す顧客情報３０Ｅを参照することによって行われる。顧客ＩＤ等の人物を特定する情報が無い場合には、特定人物として登録済みのリアルタイム照合用登録顔画像との顔照合処理を行うことによって判定される。例えば、入口カメラ１０Ａによる新たな有効顔画像が得られた場合には、これを、図４に示す照合用登録顔画像データ３０Ａで入口カメラ１０Ａ用のリアルタイム照合用登録顔画像として登録された顔画像と顔照合することによって判定が行われる。
【０１２０】
不正顧客として設定された人物が、既に特定人物として登録済みであった場合には（ステップＳ３２；Ｙｅｓ）、新たに得られた有効顔画像と既に登録済みのリアルタイム照合用登録顔画像の評価値が比較される（ステップＳ３３）。そして、新たに得られた有効顔画像の評価値の方が、既に登録済みのリアルタイム照合用登録顔画像より高い評価値を有する場合には、照合用登録顔画像データ３０Ａのリアルタイム照合用登録顔画像を、新たに得られた有効顔画像と置き換えることによって更新する（ステップＳ３４）。このとき、顧客情報３０Ｅの更新も行われる。
【０１２１】
一方、新たに得られた有効顔画像より登録済みのリアルタイム照合用登録顔画像の方が評価値が高い場合には（ステップＳ３３；Ｎｏ）、照合用登録顔画像データ３０Ａに登録済みのリアルタイム照合用登録顔画像を維持する。
【０１２２】
不正顧客として設定された人物が、既に設定された特定人物に該当しなかった場合には（ステップＳ３２；Ｎｏ）、有効顔画像が、入口カメラ１０Ａ用のリアルタイム照合用登録顔画像として、照合用登録顔画像データ３０Ａに新規登録される（ステップＳ３５）。このとき、新たに設定された特定人物に関する情報は、顧客情報３０Ｅに追加して管理される。
【０１２３】
なお、本実施形態では、顔画像の検索照合処理を行う際に、顔を隠すような行動を取らない優良顧客については顔照合処理のみを利用して、カメラを意識して顔を隠す可能性がある不正顧客については顔照合処理及びアピアランス照合処理の両方を利用することとした。しかし、本実施形態がこれに限定されるものではなく、優良顧客の有効顔画像を検索する際にもアピアランス照合処理を利用しても構わない。
【０１２４】
また、本実施形態では、顔画像を検索する際に、顔照合による検索のみを行う場合と、顔照合による検索及びアピアランス照合による検索を行う場合とについて説明した。しかし、本実施形態がこれに限定されるものではなく、アピアランス照合による検索のみを行う態様であってもよい。具体的な例を、図１１に示す。
【０１２５】
図１１は、図１０に示す不正顧客の顔画像の検索及び登録の処理を、アピアランス照合のみによって行う場合の処理を示すフローチャートである。図１１では、破線で囲まれた処理（ステップＳ４１〜Ｓ４４）が、図１０との主な相違点である。アピアランス照合のみを行う場合には、アピアランス照合に利用するアピアランス特徴の抽出のみが行われる（ステップＳ４１）。そして、このアピアランス特徴を利用して同一人物が撮像された画像を検索し、その画像から顔画像を切り出して略正面顔かどうか等の評価を行う(ステップＳ４２)。これらの処理は、図１０のステップＳ２４及びＳ２８の処理と同様であるため、詳細な説明は省略する。なお、アピアランス照合によって複数の有効顔画像が得られる場合があるが、これらの顔画像は記憶装置３０に一時的に保存される。
【０１２６】
図１１では、アピアランス照合によって得られた顔画像から、最終的に、不正顧客の顔画像を選択する処理（ステップＳ４３及びＳ４４）が行われる点が、図１０に示す処理と異なっている。アピアランス照合により顔画像を検索した場合には、検索結果として複数の顔画像が得られる場合がある。具体的には、例えば、不正顧客の有効顔画像が複数得られる場合や、同じような服装の顧客が存在したために不正顧客以外の人物の顔画像が有効顔画像とされる場合がある。このような場合に対応するため、特定人物監視システム１では、アピアランス照合で得られた顔画像が記憶装置３０に一時保存され、管理装置２０の備える操作表示部に一覧表示される（図１１ステップＳ４３）。このとき、得られた顔画像と共に、不正顧客が設定されアピアランス特徴が抽出された画像も表示される。店員や監視員は、アピアランス特徴が抽出された画像と、このアピアランス特徴を利用してアピアランス照合によって得られた複数の顔画像とを操作表示部上で目視により比較する。そして、不正顧客の顔画像を選択する（ステップＳ４４）。これ以降の処理は、図１０と同様に行われる。なお、図１０における処理についても、ステップＳ２９とＳ３２の間で、図１１に示すステップＳ４３及びＳ４４の処理を行ってもよい。
【０１２７】
このように、特定人物監視システム１では、顔照合のみ、アピアランス照合のみ、又は顔照合及びアピアランス照合の両方によって特定人物の顔画像を得るための検索照合処理を行って、リアルタイム照合用登録顔画像を登録することができる。なお、検索照合処理として行われる処理内容は設定により選択できるようになっている。
【０１２８】
上述してきたように、本実施形態によれば、店舗５０の出入口に設置されるカメラを外光による影響を受け難いように設置したり、照明を利用して撮像環境を整えることにより良好な顔画像を撮像することができる。また、撮像環境が安定した場所に、来店者が一人ずつ分離されるように幅を規制した通路を設けて各人物の顔画像を撮像することにより、各人について良好な顔画像を撮像することができる。
【０１２９】
また、監視対象となる特定人物が設定された場合に、この人物の顔画像を、検知用カメラで撮像された画像の中から検索してリアルタイム照合用登録顔画像として登録するので、顔照合処理による判定精度を高くすることができる。また、顔画像を検索する際に、リアルタイム照合用登録顔画像としての有効性を評価する評価値を算出して、所定の評価値以上の有効顔画像のみをリアルタイム照合用登録顔画像として利用するので判定精度を高くすることができる。また、より評価値の高い有効顔画像が得られた場合には、登録済みのリアルタイム照合用登録顔画像を更新することにより判定精度をさらに高くすることができる。
【０１３０】
また、登録優先度設定３０Ｃを利用することにより、検知用カメラで撮像された有効顔画像が得られなかった場合には、他のカメラで撮像された有効顔画像を検索してリアルタイム照合用登録顔画像とすることができるので、検知用カメラで撮像された顔画像を優先しながら、検知用カメラで撮像されたリアルタイム照合用登録顔画像が得られなかったために特定人物の検知ができないという事態を回避することができる。
【０１３１】
また、不正顧客が設定された場合に、不正行為を確認した画像では不正顧客の顔画像が鮮明に撮像されていない場合でも、服装等のピアランス特徴を利用したアピアランス照合処理により、検知用カメラで撮像された画像の中から不正顧客を特定してリアルタイム照合用登録顔画像を登録することができる。
【産業上の利用可能性】
【０１３２】
以上のように、本発明は、店舗等の場所で、カメラで撮像した画像から所定条件を満たす特定の人物を高精度に検知するために有用な技術である。
【符号の説明】
【０１３３】
１  特定人物監視システム
１０Ａ〜１０Ｇ  カメラ
２０  管理装置
２０Ａ  顧客管理部
２０Ｂ  顔照合処理部
２０Ｃ  アピアランス照合処理部
２０Ｄ  照合用画像管理部
２０Ｅ  照合結果通知部
２０Ｆ  登録顔画像取得部
２０Ｇ  リアルタイム顔照合処理部
３０  記憶装置
３０Ａ  照合用登録顔画像データ
３０Ｂ  補助データ
３０Ｃ  登録優先度設定
３０Ｄ  監視処理設定
３０Ｅ  顧客情報
４０  監視ゲート
５０  店舗
５１Ａ  入口
５１Ｂ  出口
５２  通路
５３  レジ
５４  出口通路
６０  ネットワーク
【図１】
2013196043.tif 000003
【図２】
2013196043.tif 000004
【図３】
2013196043.tif 000005
【図４】
2013196043.tif 000006
【図５】
2013196043.tif 000007
【図６】
2013196043.tif 000008
【図７】
2013196043.tif 000009
【図８】
2013196043.tif 000010
【図９】
2013196043.tif 000011
【図１０】
2013196043.tif 000012
【図１１】
2013196043.tif 000013