(57)【要約】【課題】疑わしい人物の顔画像を短時間で自動的に取得でき、かつ、常習者を登録件数順にリストアップすることができる人物監視システムを提供する。【解決手段】各種店舗から商品の不正な持ち出し行為を行なった人物を監視する人物監視システムにおいて、疑わしい人物が検知された場合、そのときの撮像画像から当該人物の顔画像を検出して登録し、必要に応じて登録された顔画像を検索することで、同一人物で登録されている件数順に登録リストを作成する。【選択図】      図１
2008252706.tif 000002
【特許請求の範囲】
【請求項１】
監視対象である出入口付近に設置された監視用センサを用いて、当該出入口を通過する人物とともに移動する監視用素子の通過を検知する検知手段と、
この検知手段により前記監視用素子の通過が検知された場合、そのときの少なくとも前記監視用センサ付近を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から人物の顔画像を検出する顔検出手段と、
この顔検出手段により検出された顔画像を顔画像記憶手段に登録する顔画像登録手段と、
この顔画像登録手段により顔画像を登録する際、今回の顔画像と過去に登録された顔画像とを照合し、同一人物の顔画像が過去に存在する場合にはそれらをまとめて登録するよう制御する登録制御手段と、
必要に応じて登録リスト作成条件を入力する登録リスト作成条件入力手段と、
この登録リスト作成条件入力手段により入力された登録リスト作成条件に基づき前記顔画像記憶手段から該当する顔画像を検索する検索手段と、
この検索手段により検索された顔画像を同一人物ごとにカウントし、そのカウント値順に顔画像をソートすることで登録リストを作成する登録リスト作成手段と、
を具備したことを特徴とする人物監視システム。
【請求項２】
前記検知手段により前記監視用素子の通過が検知された場合、係員に対しその旨の警報を出力するとともに、前記顔検出手段により検出された顔画像を表示出力する報知手段をさらに具備したことを特徴とする請求項１記載の人物監視システム。
【請求項３】
前記登録リスト作成手段により作成された登録リストを可視画像として出力する出力手段をさらに具備したことを特徴とする請求項１記載の人物監視システム。
【請求項４】
前記監視対象である出入口は各種店舗の出入口であり、前記監視用素子は当該店舗から客が持ち出す商品に取り付けられていることを特徴とする請求項１記載の人物監視システム。
【請求項５】
前記監視対象である出入口は各種病院における病室の出入口であり、前記監視用素子は当該病室から出と行く患者に取り付けられていることを特徴とする請求項１記載の人物監視システム。
【請求項６】
監視対象である出入口付近に設置された監視用センサを用いて、当該出入口を通過する人物とともに移動する監視用素子の通過を検知する検知工程と、
この検知工程により前記監視用素子の通過が検知された場合、そのときの少なくとも前記監視用センサ付近を含む画像を撮像手段で撮像する撮像工程と、
この撮像工程により撮像された画像から人物の顔画像を検出する顔検出工程と、
この顔検出工程により検出された顔画像を顔画像記憶手段に登録する顔画像登録工程と、
この顔画像記憶工程により顔画像を登録する際、今回の顔画像と過去に登録された顔画像とを照合し、同一人物の顔画像が過去に存在する場合にはそれらをまとめて登録するよう制御する登録制御工程と、
必要に応じて登録リスト作成条件を入力する登録リスト作成条件入力工程と、
この登録リスト作成条件入力工程により入力された登録リスト作成条件に基づき前記顔画像記憶手段から該当する顔画像を検索する検索工程と、
この検索工程により検索された顔画像を同一人物ごとにカウントし、そのカウント値順に顔画像をソートすることで登録リストを作成する登録リスト作成工程と、
を具備したことを特徴とする人物監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、各種店舗から商品の不正な持ち出し行為を行なった人物や、各種病院における病室から無断に出て行く患者等を監視する人物監視システムおよび人物監視方法に関する。
【背景技術】
【０００２】
従来、たとえば、各種店舗から商品の不正な持ち出し行為を行なった人物を監視する人物監視システム、いわゆる万引防止システムとして、あらかじめ商品に万引き防止用の無線タグ等の監視素子を取り付けておき、店舗の出入口に設置されたセンサ機能を備えたゲートから構成される監視用センサを用いて、当該店舗から客が持ち出す商品に取り付けらた監視用素子の通過を検知するものが知られている（たとえば、特許文献１参照）。
【０００３】
また、この種の万引防止システムでは、万引きが検知された場合、同時に撮影されていた動画を再生することで、万引きした人物を目視で特定している。さらに、常習者かどうかの判断を人間の記憶力をよりどころとしており、同一人物の再犯頻度の多寡の判断ができない。
【特許文献１】特開２００１−１２６１５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
人間の判断で人物を目視で特定をしているため、記録した動画を注意深く確認する必要があり、そのため時間と労力が多大である。また、常習者かどうかの判断を人間が行なうため、あいまいな記憶のために認知できなかったり、複数の人が別々に見ているため同一人物と判断できなかったり、主観や対象者の姿かたちにより正確な判断ができないことが多い。
【０００５】
そこで、本発明は、疑わしい人物の顔画像を短時間で自動的に取得でき、かつ、常習者を登録件数順にリストアップすることができる人物監視システムおよび人物監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の人物監視システムは、監視対象である出入口付近に設置された監視用センサを用いて、当該出入口を通過する人物とともに移動する監視用素子の通過を検知する検知手段と、この検知手段により前記監視用素子の通過が検知された場合、そのときの少なくとも前記監視用センサ付近を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から人物の顔画像を検出する顔検出手段と、この顔検出手段により検出された顔画像を顔画像記憶手段に登録する顔画像登録手段と、この顔画像登録手段により顔画像を登録する際、今回の顔画像と過去に登録された顔画像とを照合し、同一人物の顔画像が過去に存在する場合にはそれらをまとめて登録するよう制御する登録制御手段と、必要に応じて登録リスト作成条件を入力する登録リスト作成条件入力手段と、この登録リスト作成条件入力手段により入力された登録リスト作成条件に基づき前記顔画像記憶手段から該当する顔画像を検索する検索手段と、この検索手段により検索された顔画像を同一人物ごとにカウントし、そのカウント値順に顔画像をソートすることで登録リストを作成する登録リスト作成手段とを具備している。
【０００７】
また、本発明の人物監視方法は、監視対象である出入口付近に設置された監視用センサを用いて、当該出入口を通過する人物とともに移動する監視用素子の通過を検知する検知工程と、この検知工程により前記監視用素子の通過が検知された場合、そのときの少なくとも前記監視用センサ付近を含む画像を撮像手段で撮像する撮像工程と、この撮像工程により撮像された画像から人物の顔画像を検出する顔検出工程と、この顔検出工程により検出された顔画像を顔画像記憶手段に登録する顔画像登録工程と、この顔画像記憶工程により顔画像を登録する際、今回の顔画像と過去に登録された顔画像とを照合し、同一人物の顔画像が過去に存在する場合にはそれらをまとめて登録するよう制御する登録制御工程と、必要に応じて登録リスト作成条件を入力する登録リスト作成条件入力工程と、この登録リスト作成条件入力工程により入力された登録リスト作成条件に基づき前記顔画像記憶手段から該当する顔画像を検索する検索工程と、この検索工程により検索された顔画像を同一人物ごとにカウントし、そのカウント値順に顔画像をソートすることで登録リストを作成する登録リスト作成工程とを具備している。
【発明の効果】
【０００８】
本発明によれば、疑わしい人物が検知された場合、そのときの撮像画像から当該人物の顔画像を検出して登録し、必要に応じて登録された顔画像を検索することにより、同一人物で登録されている件数順に登録リストを作成することで、疑わしい人物の顔画像を短時間で自動的に取得でき、かつ、常習者を登録件数順にリストアップすることができる人物監視システムおよび人物監視方法を提供できる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態について図面を参照して説明する。  
図１は、本実施の形態に係る人物監視システムの構成を概略的に示すものである。この人物監視システムは、監視用センサとしての送信用ゲート１１および受信用ゲート１２、検知手段としての異常検知部１３、撮像手段としてのテレビジョンカメラ（以後、単にカメラと呼称する）１４、顔検出手段としての顔検出部１５、報知手段としての報知部１６、顔照合手段および顔画像登録手段および登録制御手段としての顔照合部１７、顔画像記憶手段としての顔画像データベース１８、登録リスト作成条件入力手段としての条件入力部１９、検索手段および登録リスト作成手段としてのリスト作成部２０を有して構成されている。
【００１０】
以下、各構成要素について詳細に説明する。  
送信用ゲート１１および受信用ゲート１２は、たとえば、店舗の出入口付近に設置されていて、それらの間を来店した客Ｍあるいは退店する客Ｍが通過するようになっている。送信用ゲート１１から受信用ゲート１２に向けて微弱な電波が放射されていて、その電波は受信用ゲート１２で受信される。
【００１１】
また、店舗内の各商品には無線タグ等の監視用素子１０が取り付けられていて、客Ｍが持ち出す商品とともに送信用ゲート１１と受信用ゲート１２との間を通過することを、当該ゲート１１，１２間で送受信されている微弱電波の状態が変化することにより感知されるようになっている。
【００１２】
ここに、監視用素子１０としての無線タグ、送信用ゲート１１および受信用ゲート１２としては、たとえば、特開２００１−１２６１５８号公報に記載された技術を用いることができる。
【００１３】
異常検知部１３は、送信用ゲート１１および受信用ゲート１２をそれぞれ制御していて、監視用素子１０が送信用ゲート１１と受信用ゲート１２との間を通過したときの微弱電波の状態変化を感知することにより異常（万引き）を検知し、異常検知信号を顔検出部１５および報知部１６に送る。
【００１４】
カメラ１４は、少なくとも送信用ゲート１１と受信用ゲート１２との間の画像、具体的には当該ゲート１１，１２間を通過する人物Ｍの少なくとも顔を含む画像を撮像できるように設置されており、たとえば、イメージセンサ等を主体に構成されている。
【００１５】
顔検出部１５は、カメラ１４で撮像された画像から人物Ｍの顔領域（顔画像）を検出する。これは、たとえば、文献（福井，山口．”形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論，（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−Ｈ，Ｎｏ．８，ｐｐ．２１７０−２１７７，１９９７）に記載された手法などを用いることで、精度の高い顔領域の検出が実現可能である。検出された顔領域情報は顔照合部１７に送られる。
【００１６】
報知部１６は、異常検知部１３から異常検知信号を受取ると（監視用素子１０のゲート通過が検知された場合）、係員（あるいは店員）に対しその旨の警報をアラーム等で出力するとともに、そのとき顔検出部１５により検出された人物Ｍの顔画像を画面に可視表示する。
【００１７】
顔照合部１７は、顔検出部１５により検出された顔画像を顔画像データベース１８に登録（記憶）するが、その際、今回の顔画像と過去に登録された顔画像とを照合し、同一人物の顔画像が過去に存在する場合にはそれらをまとめて同一グループとして登録する。
【００１８】
条件入力部１９は、必要に応じて登録リスト作成条件を入力するもので、たとえば、キーボード等を主体に構成されている。登録リスト作成条件としては、たとえば、リストアップする同一人物で登録されている件数、あるいは、リストアップする期間等が考えられる。
【００１９】
リスト作成部２０は、条件入力部１９により入力された登録リスト作成条件に基づき顔画像データベース１８から該当する顔画像を検索し、この検索された顔画像を同一人物ごとにカウントし、そのカウント値順に顔画像をソートすることで登録リストを作成し、この作成した登録リストをプリントアウトしたり画面に表示したりする。
【００２０】
次に、このような構成において顔画像の登録処理について図２に示すフローチャートを参照して説明する。  
異常検知部１３は、送信用ゲート１１および受信用ゲート１２をそれぞれ制御していて、監視用素子１０が送信用ゲート１１と受信用ゲート１２との間を通過したことを異常検知部１３が検知し、異常検知信号を出力すると（ステップＳ１）、報知部１６は係員（あるいは店員）に対しその旨の警報をアラーム等で出力する（ステップＳ２）。
【００２１】
次に、顔検出部１５は、このときカメラ１４で撮像された画像から人物（商品を無断で持ち出した客）Ｍの顔領域（顔画像）を検出し、検出した顔画像を報知部１６および顔照合部１７へ送る（ステップＳ３）。報知部１６は、係員（あるいは店員）に対し、そのとき顔検出部１５により検出された人物Ｍの顔画像を画面に可視表示する（ステップＳ４）。
【００２２】
顔照合部１７は、顔検出部１５により検出された顔画像を顔画像データベース１８に登録（記憶）するが、その際、今回の顔画像と過去に登録された顔画像とを照合し（ステップＳ５）、同一人物の顔画像が過去に存在するか否かをチェックし（ステップＳ６）、存在する場合にはそれらをまとめて同一グループとして追加登録する（ステップＳ７）。
【００２３】
ステップＳ６におけるチェックの結果、同一人物の顔画像が過去に存在しない場合、今回の顔画像を新規な画像として登録する（ステップＳ８）。ステップＳ７，Ｓ８の処理が終了すると、次の異常検知信号待機状態となる（ステップＳ９）。
【００２４】
次に、顔画像の登録リストを作成する登録リスト作成処理について図３に示すフローチャートを参照して説明する。  
まず、条件入力部１９により、登録リスト作成条件を入力する（ステップＳ１１）。たとえば、登録リスト作成条件として、５件（５つ）以上同一人物として登録されている顔画像を件数の多い順にリストアップすると設定したものとする。
【００２５】
登録リスト作成条件が入力されると、リスト作成部２０は、当該入力された登録リスト作成条件に基づき顔画像データベース１８から該当する顔画像を検索し（ステップＳ１２）、この検索された顔画像を同一人物のグループごとにカウントし、そのカウント値の大きい順に顔画像をソートすることで登録リストを作成し（ステップＳ１３）、この作成した登録リストをプリントアウトしたり画面に表示したりする（ステップＳ１４）。
【００２６】
このように、登録リストとして、同一人物で登録されている件数の多い順にリストアップすることが可能である。登録件数の多い人物は要注意の常習者として、店舗作業者全員の共有情報として、以後の万引防止策の検討に役立てることができる。  
また、疑わしい人物の顔画像を短時間で自動的に取得できるので、従来のように監視者による人物の特定作業が不要となり、その人物の早期発見が可能となる。  
また、自動的に人物検出・照合が行なわれるため、監視者の不注意によるミス、意図的な黙認などを防止することができる。  
さらに、常習者の判別を自動的に行なうため、人物の記憶のあいまいさにたよることのない正確な判別結果を得ることができる。
【００２７】
なお、前記実施の形態では、店舗の出入口付近に監視用センサを設置することで、当該出入口を通過する客が持ち出す商品に取り付けられた監視用素子の通過（万引き）を検知する場合について説明したが、本発明はこれに限定されるものではなく、たとえば、各種病院における病室の出入口付近に監視用センサを設置することで、当該出入口を通過する患者に取り付けられた監視用素子の通過（患者の無断外出）を検知する場合にも同様に適用でき、前記実施の形態と同様な作用効果が期待できる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態に係る人物監視システムの構成を概略的に示すブロック図。
【図２】顔画像の登録処理について説明するフローチャート。
【図３】顔画像の登録リスト作成処理について説明するフローチャート。
【符号の説明】
【００２９】
Ｍ…人物（客）、１０…監視用素子（無線タグ）、１１…送信用ゲート（監視用センサ）、１２…受信用ゲート（監視用センサ）、１３…異常検知部（検知手段）、１４…カメラ（撮像手段）、１５…顔検出部（顔検出手段）、１６…報知部（報知手段）、１７…顔照合部（顔照合手段、顔画像登録手段、登録制御手段）、１８…顔画像データベース（顔画像記憶手段）、１９…条件入力部（登録リスト作成条件入力手段）、２０…リスト作成部（検索手段、登録リスト作成手段）。
【図１】
2008252706.tif 000003
【図２】
2008252706.tif 000004
【図３】
2008252706.tif 000005