(57)【要約】セキュリティシステム（１０）は、店舗内の人物を撮像した入力画像情報を取得する画像情報取得部（１１）と、入力画像情報に基づいて、人物の手の動作をトラッキングするトラッキング部（１２）と、トラッキングした手の動作に基づいて、人物の不審動作を検出する不審動作検出部（１３）と、を備えるものである。これにより、精度良く不審動作を検出することが可能なセキュリティシステム、セキュリティ方法及びセキュリティプログラムを提供する。
2015033576.tif 000002
【特許請求の範囲】
【請求項１】
店舗内の人物を撮像した入力画像情報を取得する画像情報取得手段と、
前記入力画像情報に基づいて、前記人物の手の動作をトラッキングするトラッキング手段と、
前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する不審動作検出手段と、
を備えるセキュリティシステム。
【請求項２】
前記入力画像情報は、対象を撮像した画像情報と前記対象までの距離を計測した距離情報を含む距離画像情報である、
請求項１に記載のセキュリティシステム。
【請求項３】
前記不審動作検出手段は、前記手の動作に基づいて、前記人物が商品を不正に取得する動作を検出する、
請求項１または２に記載のセキュリティシステム。
【請求項４】
前記不審動作検出手段は、前記手の動作に基づいて、前記人物が商品を不正に改変する動作を検出する、
請求項１乃至３のいずれか一項に記載のセキュリティシステム。
【請求項５】
前記不審動作検出手段は、前記手の動作に基づいて、前記人物が金銭を不正に取得する動作を検出する、
請求項１乃至４のいずれか一項に記載のセキュリティシステム。
【請求項６】
前記不審動作検出手段は、前記検出した不審動作に応じた不審レベルを判定する、
請求項１乃至５のいずれか一項に記載のセキュリティシステム。
【請求項７】
前記不審動作検出手段は、前記不審動作の動作時間の長さに応じて前記不審レベルを判定する、
請求項６に記載のセキュリティシステム。
【請求項８】
前記不審動作検出手段は、前記不審動作に関する商品の数に応じて前記不審レベルを判定する、
請求項６または７に記載のセキュリティシステム。
【請求項９】
前記不審動作検出手段は、前記不審動作に関する金額に応じて前記不審レベルを判定する、
請求項６乃至８のいずれか一項に記載のセキュリティシステム。
【請求項１０】
前記不審動作検出手段は、前記人物が不審者であるか否かに応じて前記不審レベルを判定する、
請求項６乃至９のいずれか一項に記載のセキュリティシステム。
【請求項１１】
前記不審動作検出手段は、前記店舗の混雑状況に応じて前記不審レベルを判定する、
請求項６乃至１０のいずれか一項に記載のセキュリティシステム。
【請求項１２】
前記検出された不審動作に応じて警告を出力する警告出力手段を備える、
請求項１乃至１１のいずれか一項に記載のセキュリティシステム。
【請求項１３】
前記判定された不審レベルに応じて、前記不審動作の警告を出力する警告出力手段を備える、
請求項６乃至１１のいずれか一項に記載のセキュリティシステム。
【請求項１４】
店舗内の人物を撮像した入力画像情報を取得し、
前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、
前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、
セキュリティ方法。
【請求項１５】
店舗内の人物を撮像した入力画像情報を取得し、
前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、
前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、
セキュリティ処理をコンピュータに実行させるためのセキュリティプログラムが格納された非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、セキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、人物の画像を用いたセキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体に関する。
【背景技術】
【０００２】
店舗では、顧客による万引きやアルバイトによる横領などの被害が後を絶たない。このような不正行為を防ぐために、店員や店舗マネージャが目視にて監視を行ったり、通常の２Ｄカメラで監視した画像を録画し目視にて事後確認を行ったりしている。【０００３】
目視で不正行為を確認することは、効率が悪いことから、例えば、関連する技術である特許文献１〜５のようなシステムの開発が進められている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０６５３２８号公報
【特許文献２】特開２０１０−０９４３３２号公報
【特許文献３】特開２００９−０４８４３０号公報
【特許文献４】特開２００９−００９２３１号公報
【特許文献５】特開２００８−２５７４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、特許文献１などの関連する技術では、店員の顔の振れた回数が所定回数以上で、かつ、レジの取消金額が基準金額以上の場合、不正行為の疑い（不審動作）があることを検出している。【０００６】
しかしながら、関連する技術では、顔の振れ等により検出を行っているため、店員等の不審動作を検出することができない場合がある。例えば、不審動作は手元で行われることが多いが、関連する技術では、手元の動作に基づいた行為を検出することはできない。【０００７】
したがって、関連する技術では、店員や顧客等の不審動作を精度よく検出することが困難であるという問題があった。【０００８】
本発明は、このような問題に鑑み、精度良く不審動作を検出することが可能なセキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るセキュリティシステムは、店舗内の人物を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記人物の手の動作をトラッキングするトラッキング部と、前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する不審動作検出部と、を備えるものである。【００１０】
本発明に係るセキュリティ方法は、店舗内の人物を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出するものである。【００１１】
本発明に係るセキュリティプログラムが格納された非一時的なコンピュータ可読媒体は、店舗内の人物を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、セキュリティ処理をコンピュータに実行させるためのものである。
【発明の効果】
【００１２】
本発明によれば、精度良く不審動作を検出することが可能なセキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係るセキュリティシステムの主要な構成を示す構成図である。
【図２】実施の形態１に係るセキュリティシステムの構成を示す構成図である。
【図３Ａ】実施の形態１に係る３Ｄカメラの構成例を示す図である。
【図３Ｂ】実施の形態１に係る３Ｄカメラの構成例を示す図である。
【図４】実施の形態１に係る距離画像解析部の構成を示す構成図である。
【図５】実施の形態１に係るセキュリティシステムの動作を示すフローチャートである。
【図６】実施の形態１に係る距離画像解析処理の動作を示すフローチャートである。
【図７】実施の形態１に係る警告情報生成処理の動作を示すフローチャートである。
【図８】実施の形態１に係る警告情報生成処理の動作を説明するための説明図である。
【図９】実施の形態２に係るセキュリティシステムの構成を示す構成図である。
【図１０】実施の形態２に係る距離画像解析部の構成を示す構成図である。
【発明を実施するための形態】
【００１４】
（実施の形態の概要）
実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。図１は、実施の形態に係るセキュリティシステムの主要な構成を示している。
【００１５】
図１に示すように、実施の形態に係るセキュリティシステム１０は、画像情報取得部１１、トラッキング部１２、不審動作検出部１３を備えている。画像情報取得部１１は、店舗内の人物を撮像した入力画像情報を取得する。トラッキング部１２は、入力画像情報に基づいて、人物の手の動作をトラッキング（追跡）する。不審動作検出部１３は、トラッキングした手の動作に基づいて、人物の不審動作を検出する。
【００１６】
このように、実施の形態では、店舗内の人物の手の動作をトラッキングし、トラッキング結果に基づいて不審動作を検出する。例えば、店舗の商品棚の前における顧客や店員の手元の動作をトラッキングすることで、万引きや横領などにつながる不審動作を、精度よく検出することができる。
【００１７】
（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図２は、本実施の形態に係るセキュリティシステムの構成を示している。このセキュリティシステムは、店舗等において、顧客や店員の不審動作を検出し、警告（警報）の出力（表示）等を行うシステムである。なお、顧客には、店舗に来店（入店）した全ての人物を含み、店員には、店舗の業務に関わる全ての人物を含む。
【００１８】
図２に示すように、本実施の形態に係るセキュリティシステム１は、セキュリティ装置１００、３Ｄカメラ２１０、顔認識カメラ２２０、店内カメラ２３０、警告装置２４０を備えている。例えば、セキュリティシステム１の各構成は同一の店舗に設けられているが、セキュリティ装置１００や警告装置２４０を店舗の外部に設けてもよい。なお、ここでは、セキュリティシステム１の各構成を別々の装置として説明するが、各構成を１または任意の数の装置としてもよい。
【００１９】
３Ｄカメラ（３次元カメラ）２１０は、対象を撮像及び計測し、距離画像（距離画像情報）を生成する撮像装置（距離画像センサ）である。距離画像は、対象を撮像した画像情報と、対象までの距離を計測した距離情報を含んでいる。例えば、３Ｄカメラ２１０は、Ｍｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔ（登録商標）や、ステレオカメラなどで構成される。３Ｄカメラを用いることで、距離情報を含めて対象（顧客の動作など）を認識（トラッキング）できるため、高精度な認識処理を行うことができる。
【００２０】
図３Ａ及び図３Ｂのように、本実施の形態では、３Ｄカメラ２１０は、顧客や店員の手元による不審動作を検出するために、店内の特定の位置で顧客や店員を撮像する。図３Ａの例では、３Ｄカメラ２１０は、商品３０１が配置（陳列）された商品棚（商品陳列棚）３００を撮像し、特に、商品棚３００の前で商品３０１に接触しようとしている顧客４００を撮像する。３Ｄカメラ２１０は、商品棚３００の商品配置領域と商品棚３００の前で顧客が商品を手に取る／見る領域、すなわち、商品棚３００が商品を顧客に提示する提示領域を撮像する。３Ｄカメラ２１０は、商品棚３００と、商品棚３００の前（近傍）の顧客４００が撮像可能な位置、例えば、商品棚３００の上方（天井など）や前方（壁など）、もしくは商品棚３００に設置されている。
【００２１】
図３Ｂの例では、３Ｄカメラ２１０は、レジ３１１が設置されたレジカウンター３１０を撮像し、特に、レジカウンター３１０の前に立ち、顧客４００へ商品３０１を販売しようとしている店員４１０、もしくは、金銭３０２に接触しようとしている店員４１０を撮像する。３Ｄカメラ２１０は、レジカウンター３１０と、レジカウンター３１０の前（近傍）の店員４１０が撮像可能な位置、例えば、レジカウンター３１０（天井など）の上方や前方（壁など）、もしくはレジカウンター３１０（レジ３１１）などに設置されている。
【００２２】
なお、商品棚３００やレジカウンター３１０を撮像する装置として、３Ｄカメラ２１０の例について説明するが、３Ｄカメラに限らず、撮像した画像のみを出力する一般的なカメラ（２Ｄカメラ）で構成してもよい。この場合、画像情報のみを用いてトラッキングが行われる。
【００２３】
顔認識カメラ２２０及び店内カメラ２３０は、対象を撮像した画像を生成する撮像装置（２Ｄカメラ）である。顔認識カメラ２２０は、顧客の顔を認識するために、店舗の入口などに設置され、来店した顧客の顔を撮像し顔画像を生成する。店内カメラ２３０は、店内の顧客による混雑状況を検出するために、店内の複数の位置に配置され、店内の各売り場を撮像し店内画像を生成する。なお、顔認識カメラ２２０及び店内カメラ２３０は、３Ｄカメラで構成してもよい。３Ｄカメラとすることで、顧客の顔や店内の混雑状況を精度よく認識できる。
【００２４】
警告装置２４０は、店舗マネージャ、経営者、警備員などの監視者へ警告情報（アラーム）を通知（出力）し、また記録を行う装置である。監視者へ通知（出力）する方法は任意の方法でよく、例えば、表示装置による文字や画像等の表示や、スピーカ等による音声出力でもよい。警告装置２４０は、監視者が視認可能（聞き取り可能）な位置に設置される。警告装置２４０は、例えば、棚・レジ・警備員室・店内の従業員端末などでもよいし、店舗の外部にネットワークで接続された監視装置でもよい。例えば、警告装置２４０は、パーソナルコンピュータやサーバコンピュータなど表示装置や記憶装置を含むコンピュータで構成される。
【００２５】
図２に示すように、セキュリティ装置１００は、距離画像解析部１１０、人物認識部１２０、店内状況解析部１３０、警告情報生成部１４０、不審動作情報ＤＢ（データベース）１５０、３Ｄ動画情報記録部１６０、不審者情報ＤＢ１７０を備えている。なお、ここでは、これらの各ブロックをセキュリティ装置１００の機能として説明するが、後述する本実施の形態に係る動作が実現できれば、その他の構成であってもよい。
【００２６】
セキュリティ装置１００における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。セキュリティ装置１００の各機能（各処理）を、ＣＰＵやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施の形態におけるセキュリティ方法（セキュリティ処理）を行うためのセキュリティプログラムを格納し、各機能を、記憶装置に格納されたセキュリティプログラムをＣＰＵで実行することにより実現してもよい。
【００２７】
このセキュリティプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００２８】
距離画像解析部１１０は、３Ｄカメラ２１０が生成した距離画像を取得し、取得した距離画像に基づいて検出対象をトラッキングし、その動作を認識する。本実施の形態では、距離画像解析部１１０は、主に、顧客や店員の手元の動作をトラッキングし認識する。距離画像解析部１１０は、距離画像に含まれる顧客や店員の不審動作を認識するため不審動作情報ＤＢ１５０を参照する。距離画像解析部１１０は、不審動作の認識や不審レベルの判定などに必要な検出も行う。例えば、不審動作を行っている時間や、対象商品の数量、金額、対象行為の規模（傷の大きさなど）なども検出する。また、距離画像解析部１１０は、３Ｄカメラ２１０から取得した距離画像を３Ｄ動画として、３Ｄ動画情報記録部１６０に記録する。
【００２９】
人物認識部１２０は、顔認識カメラ２２０が生成した顧客の顔画像を取得し、取得した顔画像に含まれる人物を認識する。人物認識部１２０は、不審者情報ＤＢ１７０を参照し、顔画像と比較することで不審者か否か判定する。店内状況解析部１３０は、店内カメラ２３０が生成した店内画像を取得し、取得した店内画像に基づいて店内における顧客の人数を解析し、店内の混雑状況を検出する。
【００３０】
警告情報生成部１４０は、距離画像解析部１１０、人物認識部１２０、店内状況解析部１３０の検出結果に基づいて、監視者へ通報する警告情報を生成し、生成した警告情報を警告装置２４０へ出力する。警告情報生成部１４０は、距離画像解析部１１０により検出された顧客や店員の手元の動作に基づいた警告情報、人物認識部１２０が認識した不審者に基づいた警告情報、店内状況解析部１３０が解析した店内の混雑状況に基づいた警告情報を生成し出力する。また、警告情報生成部１４０は、生成した警告情報を３Ｄ動画情報記録部１６０の３Ｄ動画に記録してもよい。
【００３１】
不審動作情報ＤＢ１５０は、顧客や店員による不審動作を検出するための不審動作パターン（不審動作パターン情報）を記憶する。なお、不審動作とは、顧客や店員などの人物による不正行為が疑われる動作（予備的行為）であり、不正行為を含んでいてもよい。不審動作情報ＤＢ１５０は、不審動作パターンとして、例えば、商品不正取得パターン１５１、商品不正改変パターン１５２、金銭不正取得パターン１５３などを記憶する。
【００３２】
商品不正取得パターン１５１は、商品を不正に取得する動作のパターン情報であり、例えば、顧客が商品をカゴやカート以外の不正な場所に入れる動作などを含む。商品不正改変パターン１５２は、商品を不正に改変する動作のパターン情報であり、例えば、顧客が商品を破壊したり傷つける動作などを含む。金銭不正取得パターン１５３は、金銭を不正に取得する動作のパターン情報であり、例えば、店員が金銭をレジからポケットなどの不正な場所に入れる動作などを含む。
【００３３】
不審者情報ＤＢ１７０は、来店した顧客が不審者であることを検出するための不審者識別情報を記憶する。不審者には、前歴者、常習者、要注意者が含まれ、不審者識別情報には、氏名、性別、年齢、顔のイメージ情報（画像）などを含む。例えば、不審者情報ＤＢ１７０は、クラウド（クラウドネットワーク）２５０などから前歴者などの不審者情報を取得して記憶し、また、店舗の履歴などに基づいて常習者（要注意者）などの不審者情報を記憶する。
【００３４】
図４は、セキュリティ装置１００の距離画像解析部１１０の構成を示している。図４に示すように、距離画像解析部１１０は、距離画像取得部１１１、領域検出部１１２、手元トラッキング部１１３、手元動作認識部１１４を備えている。なお、主に、人物の手元の動作を認識するための構成について説明するが、その他、人物の顔や視線、商品や金銭なども同様の構成により検出可能である。
【００３５】
距離画像取得部１１１は、３Ｄカメラ２１０が撮像し生成した顧客や店員を含む距離画像を取得する。領域検出部１１２は、距離画像取得部１１１が取得した距離画像に含まれる顧客や店員の各部の領域を検出する。
【００３６】
手元トラッキング部１１３は、領域検出部１１２が検出した顧客や店員の手元（手）の動作をトラッキングする。手元動作認識部１１４は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、顧客や店員の不審動作を認識する。手元動作認識部１１４は、不審動作情報ＤＢ１５０に基づいて、例えば、商品を服のポケットに入れる等のような商品不正取得パターン、商品を壊す等のような商品不正改変パターン、金銭を服のポケットに入れる等のような金銭不正取得パターンに該当するか否か判定する。
【００３７】
次に、図５を用いて、本実施の形態に係るセキュリティシステム（セキュリティ装置）で実行されるセキュリティ方法（セキュリティ処理）について説明する。
【００３８】
図５に示すように、まず、顧客が店舗に入り、店舗内の棚に近づく（Ｓ１０１）。そうすると、店舗内の顔認識カメラ２２０が、顧客の顔撮像を生成し、セキュリティ装置１００が、顔画像を前歴者／要注意リストなどの不審者情報と照合する（Ｓ１０２）。すなわち、セキュリティ装置１００の人物認識部１２０は、不審者情報ＤＢ１７０に記憶された不審者（前歴者／要注意リスト）の顔のイメージ情報と、顔認識カメラ２２０が撮像した顔画像とを比較し、マッチング（一致）する人物を検索することで、顧客が不審者か否か判定する。
【００３９】
続いて、顧客がカート／カゴ以外へ商品を入れるなど不審動作を行う（Ｓ１０３）。そうすると、棚近傍の３Ｄカメラ２１０が顧客の手元を撮像し、セキュリティ装置１００が、３Ｄカメラ２１０の距離画像により顧客の手元の動きを認識する（Ｓ１０４）。すなわち、セキュリティ装置１００の距離画像解析部１１０は、顧客の手元を撮像した距離画像をトラッキングし、顧客が商品を手に取り不正な場所へ入れたことを認識する。
【００４０】
続いて、セキュリティ装置１００は、Ｓ１０４で認識した顧客の手元の動作に基づいて不審行為を判定し、店員端末・警備端末などの警告装置２４０へ警告を表示、記録を行う（Ｓ１０５）。すなわち、セキュリティ装置１００の警告情報生成部１４０は、判定した不審動作を示す警告情報を生成し出力する。また、警告情報生成部１４０は、Ｓ１０２で認識した不審者に基づいた警告情報を生成して出力する。
【００４１】
また、顧客の他に、店員がレジカウンターに近づき（Ｓ１０６）、レジ以外へ金銭を入れるなど不審行動を行う（Ｓ１０７）。そうすると、上記顧客の動作の場合と同様に、セキュリティ装置１００が、３Ｄカメラ２１０の距離画像により店員の手元の動きを認識し（Ｓ１０４）、警告装置２４０へ警告を表示、記録を行う（Ｓ１０５）。
【００４２】
図６は、図５のＳ１０４における距離画像解析部１１０で実行される認識処理（トラッキング処理）の詳細を示している。なお、図６の処理は一例であり、その他の画像解析処理により、手元の動作を認識してもよく、同様に、人物の顔や視線、商品や金銭などを検出してもよい。
【００４３】
図６に示すように、まず、距離画像取得部１１１は、３Ｄカメラ２１０から顧客または店員を含む距離画像を取得する（Ｓ２０１）。続いて、領域検出部１１２は、Ｓ２０１で取得した距離画像に含まれる顧客または店員の人物を検出し（Ｓ２０２）、さらに人物の各領域の領域を検出する（Ｓ２０３）。例えば、領域検出部１１２は、ＳＶＭ（Support Vector Machine）などの識別器を用いて、距離画像に含まれる画像及び距離に基づき、人物（顧客または店員）を検出し、検出した人物の関節を推定することで、人物の骨格を検出する。領域検出部１１２は、検出した骨格に基づいて、人物の手（手元）などの各部の領域を検出する。
【００４４】
続いて、手元トラッキング部１１３は、Ｓ２０３で検出した顧客または店員の手元の動作をトラッキングする（Ｓ２０４）。手元トラッキング部１１３は、距離画像に含まれる画像及び距離に基づいて、顧客の手の周辺の骨格をトラッキングし、手の指や手のひらの動作を検出する。
【００４５】
続いて、手元動作認識部１１４は、Ｓ２０４でトラッキングした手元の動作に基づいて、手元の動作の特徴を抽出し（Ｓ２０５）、抽出した特徴に基づいて、顧客や店員の不審動作を認識する（Ｓ２０６）。手元動作認識部１１４は、指、手のひら（手首）の向き、角度、移動量の変化を特徴量として抽出する。
【００４６】
例えば、手元動作認識部１１４は、指の角度から顧客が商品を握っていることを検出し、また、手を服のポケットに近づけた状態で指を商品から離した場合、顧客が商品を服のポケットに入れたことを検出する。そして、手元動作認識部１１４は、検出した動作のパターンと、不審動作情報ＤＢ１５０の商品不正取得パターン１５１、商品不正改変パターン１５２、金銭不正取得パターン１５３とを比較し、これらの動作パターンに該当する場合、不審動作であると判定する。また、商品不正取得パターン１５１、商品不正改変パターン１５２、金銭不正取得パターン１５３の画像の特徴を予め学習しておき、学習した特徴量と検出した特徴量を比較することで、手元の状態を識別してもよい。
【００４７】
図７は、図５のＳ１０４及びＳ１０５において実行される警告出力処理の詳細を示している。
【００４８】
図７に示すように、まず、距離画像解析部１１０において、顧客または店員が不審動作を行ったか否か判断する（Ｓ３０１）。例えば、顧客が、商品をポケット・手持ち袋など、商品カゴ・カート以外に入れる動作や、商品を壊す、傷を付ける、異物を混入する、配置を不正に変える等の動作を判断する。また、店員が、売上を着服する、商品を横領(ポケットなどへ金銭を入れる)する、正規の代金を受け取らずに共謀する顧客に商品を渡す等の動作を判断する。その他、不審動作として、頻繁に周りを見回す、パチンコ台に細工・不正操作する、ＡＴＭ（Automated Teller Machine）にスキミング機器を取り付ける、レジや電子マネー装置の不正操作、公金収納／チケット発行などでの正規プロセスを逸脱する動作などを検出してもよい。顧客または店員が該当する動作を行った場合、動作に応じた警告情報を出力するため、以下の処理を行う。
【００４９】
すなわち、警告情報生成部１４０は、不審者情報を取得し（Ｓ３０２）、店内の混雑状況を取得する（Ｓ３０３）。警告情報生成部１４０は、顔認識カメラ２２０の顔画像による人物認識結果に基づいた警告情報を提供するため、人物認識部１２０から顧客が不審者か否かを示す不審者情報を取得する。また、警告情報生成部１４０は、店内カメラ２３０の店内画像による混雑状況解析結果に基づいた警告情報を提供するため、店内状況解析部１３０から店内の混雑状況を取得する。なお、顧客を認識する前や、混雑状況を解析する前、各情報が不要な場合においては、不審者情報の取得や混雑状況の取得は省略してもよい。
【００５０】
続いて、警告情報生成部１４０は、検出した顧客または店員の不審動作に対して不審レベルを判定する（Ｓ３０４）。例えば、不審動作情報ＤＢ１５０の不審動作パターンごとに不審レベルが割り当てられており、不審動作情報ＤＢ１５０を参照して不審レベルを決定する。
【００５１】
図８は、不審動作に対する不審レベルの例を示している。例えば、図８に示すように、不審レベル１〜５の間でレベルを設定する。例えば、不審レベルが大きいほど、不正行為である疑いが強い。
【００５２】
一例として、顧客の動作が、商品不正取得パターンの「商品を不正場所に入れた」に該当する場合、不審動作情報ＤＢ１５０を参照して不審レベル３とする。そして、他のパラメータを考慮して不審レベルを調整する。
【００５３】
例えば、不審動作の時間が短い場合や、商品が大量の場合、商品が高額の場合、万引きの可能性が高い。このため、動作時間、商品数、商品の値段について閾値を設定する。この閾値よりも時間が短い場合や、商品数が多い場合、商品の値段が高い場合には、閾値を超える量に応じて不審レベルを大きくし、閾値よりも時間が長い場合や、商品数が少ない場合、商品の値段が安い場合には、閾値を下回る量に応じて不審レベルを小さくする。
【００５４】
同様に、顧客の動作が、商品不正改変パターンの「商品を傷つけた」、「商品箱を開けた」、「商品箱を変形させた」に該当する場合、不審動作情報ＤＢ１５０を参照して不審レベル３とする。そして、他のパラメータを考慮して不審レベルを調整する。
【００５５】
例えば、傷が大きい場合や商品箱が変形している場合、不審動作の時間が短い場合、商品が大量の場合、商品が高額の場合、悪質である可能性が高い。このため、傷の大きさ（割合）、動作時間、商品数、商品の値段について閾値を設定する。この閾値よりも傷が大きい場合や、時間が短い場合、商品数が多い場合、商品の値段が高い場合には、閾値を超える量に応じて不審レベルを大きくし、閾値よりも傷が小さい場合や、時間が長い場合、商品数が少ない場合、商品の値段が安い場合には、閾値を下回る量に応じて不審レベルを小さくする。
【００５６】
同様に、店員の動作が、金銭不正取得パターンの「金銭を不正場所に移動した」に該当する場合、不審動作情報ＤＢ１５０を参照して不審レベル３とする。そして、他のパラメータを考慮して不審レベルを調整する。
【００５７】
例えば、不審動作の時間が短い場合や、高額の場合、横領である可能性が高い。このため、動作時間、金額について閾値を設定する。この閾値よりも時間が短い場合や、金額が高い場合には、閾値を超える量に応じて不審レベルを大きくし、閾値よりも時間が長い場合や、金額が安い場合には、閾値を下回る量に応じて不審レベルを小さくする。
【００５８】
さらに、顧客が不審者の場合や、店内の状況が混雑／閑散の場合には、不審動作を行う可能性が高いため、不審レベルを大きくする。その他、顧客や店員が周りを見回すような行為の場合に、不審レベルを大きくしてもよい。
【００５９】
なお、ここでは、不審動作を検出した場合に、不審者や店内の状況に基づいて不審レベルを判定するが、不審動作の検出前に考慮してもよい。例えば、顧客が不審者の場合や、店内の状況が混雑／閑散の場合、開いた袋を持っていた場合などに、不審動作を未検出でも警告情報（注意情報）を出力してもよい。また、この場合に、不審動作検出の閾値（例えば不審動作を検出するまでの時間など）を下げて、不審動作を検出しやすいようにしてもよい。
【００６０】
続いて、警告情報生成部１４０は、判定結果に基づいて警告情報を出力する（Ｓ３０５）。警告情報生成部１４０は、検出した不審動作と、判定した不審レベルを警告装置２４０へ出力する。例えば、不審レベルに基づいて警告情報の出力を制御してもよい。不審レベルが所定値よりも小さい場合、警告が不要であるため、警告装置２４０へ出力しなくてもよく、また、この場合、警告装置２４０で表示せずに記録のみを行ってもよい。
【００６１】
また、不審動作及び不審レベルを３Ｄ動画情報に記録してもよい。不審レベルを記録しておくことで、不審レベルの高い部分の前後のみを抽出して確認することができ、３Ｄ動画の内容を効率よく確認することができる。
【００６２】
以上のように、本実施の形態では、商品棚やレジの前の顧客（ショッパー）や店員が見える位置に配置した３Ｄカメラにより顧客や店員の手元の動きを観察し、顧客や店員の不審な動作を認識する。そして、不審動作を認識すると棚・レジ・警備員室・店内の従業員端末などに警告情報（アラーム）を通知し、また動作を記録する。
【００６３】
これにより、３Ｄカメラにより手の動きが精密に把握でき、商品を不正に取得したり、商品を不正に改変したり、金銭を不正に取得したりするなどの動作を把握できるため、精度良く不審動作を検出し、不審動作に応じた警告情報を出力することができる。したがって、不審動作／不正行為の監視を自動化し、効率的にセキュリティ強化が図れ、利益率を向上することができる。
【００６４】
（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態は、実施の形態１における不審動作認識の補完として、正常動作情報パターンからの外れ動作を検知することで、不審動作を検知する例である。すなわち、実施の形態１の例に限らず、店員が、売上を着服する、商品を横領(ポケットなどへ金銭を入れる)する、正規の代金を受け取らずに共謀する顧客に商品を渡す等の動作を検知するのでは無く、店員の通常のレジ作業等の動作からの逸脱を検知することで、不審動作と判定してもよい。
【００６５】
図９は、本実施の形態に係るセキュリティシステムの構成を示している。図９に示すように、本実施の形態では、実施の形態１の図２の構成に対して、セキュリティ装置１００がさらに正常動作情報ＤＢ１８０を備えている。
【００６６】
正常動作情報ＤＢ１８０は、顧客や店員による正常な動作を示す正常動作パターン（正常動作パターン情報）を記憶する。正常動作情報ＤＢ１８０は、正常動作パターンとして、例えば、商品正常取得パターン１８１、商品正常変更パターン１８２、金銭正常取得パターン１８３などを記憶する。
【００６７】
商品正常取得パターン１８１は、商品を正常に取得する動作のパターン情報であり、例えば、顧客が商品をカゴやカートに入れる動作などを含む。商品正常変更パターン１８２は、商品を正常に変更する動作のパターン情報であり、例えば、店員が商品の陳列を変更する動作などを含む。金銭正常取得パターン１８３は、金銭を正常に取得する動作のパターン情報であり、例えば、店員の通常のレジ作業動作、店員が金銭をレジから顧客へ渡す動作などを含む。
【００６８】
図１０は、本実施の形態に係るセキュリティ装置１００の距離画像解析部１１０の構成を示している。図１０に示すように、本実施の形態では、実施の形態１の図４の構成に対して、さらに外れ行動検知部１１５を備えている。
【００６９】
外れ行動検知部１１５は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、顧客や店員の動作が正常動作から外れている（不審動作）か否かを検出する。外れ行動検知部１１５は、正常動作情報ＤＢ１８０を参照し、検出した顧客や店員の動作と商品正常取得パターン１８１、商品正常変更パターン１８２、金銭正常取得パターン１８３とを比較し、顧客や店員の動作がこれらの動作パターンに該当しない場合、不審動作であると判定する。例えば、正常動作パターンから外れている度合（不一致の度合）に応じて不審レベルを設定してもよい。
【００７０】
また、不正動作パターンを用いた手元動作認識部１１４による検出結果と正常動作パターンを用いた外れ行動検知部１１５による検出結果の両方を考慮して不審動作を判定してもよい。例えば、手元動作認識部１１４と外れ行動検知部１１５のいずれかが不審と判定した場合に、不審動作であると決定してもよいし、手元動作認識部１１４と外れ行動検知部１１５の両方が不審と判定した場合に、不審動作であると決定してもよい。
【００７１】
以上のように、実施の形態１における不正動作パターンを用いた不審動作検出に限らず、顧客や店員の動作が正常動作パターンから外れているか否かに基づいて不審動作を検出することにより、さらに精度よく不審動作を検出することができる。
【００７２】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００７３】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００７４】
この出願は、２０１３年９月６日に出願された日本出願特願２０１３−１８５１３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００７５】
１、１０    セキュリティシステム
１１      画像情報取得部
１２      トラッキング部
１３      不審動作検出部
１００    セキュリティ装置
１１０    距離画像解析部
１１１    距離画像取得部
１１２    領域検出部
１１３    手元トラッキング部
１１４    手元動作認識部
１１５    外れ行動検知部
１２０    人物認識部
１３０    店内状況解析部
１４０    警告情報生成部
１５０    不審動作情報ＤＢ
１５１    商品不正取得パターン
１５２    商品不正改変パターン
１５３    金銭不正取得パターン
１６０    動画情報記録部
１７０    不審者情報ＤＢ
１８０    正常動作情報ＤＢ
１８１    商品正常取得パターン
１８２    商品正常変更パターン
１８３    金銭正常取得パターン
２１０    ３Ｄカメラ
２２０    顔認識カメラ
２３０    店内カメラ
２４０    警告装置
３００    商品棚
３０１    商品
３０２    金銭
３１０    レジカウンター
３１１    レジ
４００    顧客
４１０    店員
【図１】
2015033576.tif 000003
【図２】
2015033576.tif 000004
【図３Ａ】
2015033576.tif 000005
【図３Ｂ】
2015033576.tif 000006
【図４】
2015033576.tif 000007
【図５】
2015033576.tif 000008
【図６】
2015033576.tif 000009
【図７】
2015033576.tif 000010
【図８】
2015033576.tif 000011
【図９】
2015033576.tif 000012
【図１０】
2015033576.tif 000013
【手続補正書】
【提出日】平成28年2月29日(2016.2.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
店舗内の人物を撮像した入力画像情報を取得する画像情報取得手段と、
前記入力画像情報に基づいて、前記人物の手の動作をトラッキングするトラッキング手段と、
前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する不審動作検出手段と、
を備えるセキュリティシステム。
【請求項２】
前記入力画像情報は、対象を撮像した画像情報と前記対象までの距離を計測した距離情報を含む距離画像情報である、
請求項１に記載のセキュリティシステム。
【請求項３】
前記不審動作検出手段は、前記手の動作に基づいて、前記人物が商品を不正に取得する動作を検出する、
請求項１または２に記載のセキュリティシステム。
【請求項４】
前記不審動作検出手段は、前記手の動作に基づいて、前記人物が商品を不正に改変する動作を検出する、
請求項１乃至３のいずれか一項に記載のセキュリティシステム。
【請求項５】
前記不審動作検出手段は、前記手の動作に基づいて、前記人物が金銭を不正に取得する動作を検出する、
請求項１乃至４のいずれか一項に記載のセキュリティシステム。
【請求項６】
前記不審動作検出手段は、前記検出した不審動作に応じた不審レベルを判定する、
請求項１乃至５のいずれか一項に記載のセキュリティシステム。
【請求項７】
前記不審動作検出手段は、前記不審動作の動作時間の長さに応じて前記不審レベルを判定する、
請求項６に記載のセキュリティシステム。
【請求項８】
前記不審動作検出手段は、前記不審動作に関する商品の数に応じて前記不審レベルを判定する、
請求項６または７に記載のセキュリティシステム。
【請求項９】
前記不審動作検出手段は、前記不審動作に関する金額に応じて前記不審レベルを判定する、
請求項６乃至８のいずれか一項に記載のセキュリティシステム。
【請求項１０】
前記不審動作検出手段は、前記人物が不審者であるか否かに応じて前記不審レベルを判定する、
請求項６乃至９のいずれか一項に記載のセキュリティシステム。
【請求項１１】
前記不審動作検出手段は、前記店舗の混雑状況に応じて前記不審レベルを判定する、
請求項６乃至１０のいずれか一項に記載のセキュリティシステム。
【請求項１２】
前記検出された不審動作に応じて警告を出力する警告出力手段を備える、
請求項１乃至１１のいずれか一項に記載のセキュリティシステム。
【請求項１３】
前記判定された不審レベルに応じて、前記不審動作の警告を出力する警告出力手段を備える、
請求項６乃至１１のいずれか一項に記載のセキュリティシステム。
【請求項１４】
店舗内の人物を撮像した入力画像情報を取得し、
前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、
前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、
セキュリティ方法。
【請求項１５】
店舗内の人物を撮像した入力画像情報を取得し、
前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、
前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、
セキュリティ処理をコンピュータに実行させるためのセキュリティプログラム。
【国際調査報告】
2015033576.tif 000014
2015033576.tif 000015
2015033576.tif 000016
2015033576.tif 000017