(57)【要約】  商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出する商品状態検出部と、前記商品状態検出部が前記取出しを検出した場合、前記商品状態検出部が前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力する変化検知情報出力部と、を備える商品監視装置。
2018163547.tif 000002
【特許請求の範囲】
【請求項１】
商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出する商品状態検出部と、
前記商品状態検出部が前記取出しを検出した場合、前記商品状態検出部が前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力する変化検知情報出力部と、
を備える商品監視装置。
【請求項２】
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点より後の時点の前記商品の販売履歴を示す販売情報を取得し、前記販売情報を含む前記変化検知情報を前記出力先装置へ出力する
請求項１に記載の商品監視装置。
【請求項３】
前記変化検知情報出力部は、前記変化検知情報を前記出力先装置へ出力した後に、前記商品状態検出部が前記取出しを検出した時点より後の時点の前記商品の販売履歴を示す販売情報を取得し、前記販売情報を前記出力先装置へ出力する
請求項１に記載の商品監視装置。
【請求項４】
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点から所定の時間以内に販売情報管理装置に登録された販売情報を取得する
請求項２または請求項３に記載の商品監視装置。
【請求項５】
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点から所定の時間以内に前記販売情報管理装置から前記商品に関連する販売情報を取得できない場合には、前記販売情報を含まない前記変化検知情報を前記出力先装置へ出力する
請求項４に記載の商品管理装置。
【請求項６】
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点を基準とする前記商品群エリアの過去の画像に基づいて、前記商品を取り出した人物に関する情報を取得し、前記商品を取り出した人物に関する情報を前記出力先装置へ出力する
請求項１から５の何れか一項に記載の商品監視装置。
【請求項７】
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点を基準とする前記商品群エリアの過去の画像に基づいて、前記商品を取り出した人物に関する情報を検出し、前記変化検知情報を前記出力先装置へ出力した後に、前記人物に関する情報を前記出力先装置へ出力する
請求項１から５のいずれか一項に記載の商品監視装置。
【請求項８】
前記変化検知情報出力部は、前記商品を取り出した人物に関する情報に基づいて前記人物が前記商品を所定の清算エリアを通過させたか否かを判定し、通過させていないと判定した場合に、前記人物に関する情報を前記出力先装置へ出力する
請求項７に記載の商品監視装置。
【請求項９】
商品監視装置と出力先装置とを備えた商品監視システムであって、
前記商品監視装置は、
商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出する商品状態検出部と、
前記商品状態検出部が前記取出しを検出した場合、前記商品状態検出部が前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を前記出力先装置へ出力する変化検知情報出力部と、
を備える商品監視システム。
【請求項１０】
前記出力先装置は、
前記変化検知情報に含まれる前記画像の時系列データのうちの何れかの画像をユーザ操作に基づいて表示する表示部を備える
請求項９に記載の商品監視システム。
【請求項１１】
前記商品状態検出部が前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの動画像を表示する表示装置を備える
請求項９又は請求項１０に記載の商品監視システム。
【請求項１２】
所定条件を満たす、商品棚に設定された商品群エリアからの数量の商品の取出しが検出された場合、前記取出しが検出された時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を取得する変化検知情報取得部と、
前記変化検知情報に含まれる前記商品群エリアの前記画像を表示する表示部と
を備える出力先装置。
【請求項１３】
商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出した場合、前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力する
ことを含む商品監視方法。
【請求項１４】
所定条件を満たす、商品棚に設定された商品群エリアからの数量の商品の取出しが検出された場合、前記取出しが検出された時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を取得し、
前記変化検知情報に含まれる前記商品群エリアの前記画像を表示する
ことを含む表示方法。
【請求項１５】
コンピュータに、
商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出した場合、前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力させる
処理を実行させるプログラム。
【請求項１６】
コンピュータに、
所定条件を満たす、商品棚に設定された商品群エリアからの数量の商品の取出しが検出された場合、前記取出しが検出された時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を取得させ、
前記変化検知情報に含まれる前記商品群エリアの前記画像を表示させる
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品監視装置、商品監視システム、出力先装置、商品監視方法、表示方法及びプログラムに関する。
【背景技術】
【０００２】
商品棚に置かれた商品の管理に関連して幾つかの技術が提案されている。
例えば、特許文献１に記載の在庫状況管理方法では、商品の陳列棚（商品棚）の画像を監視し、陳列棚に設けられた商品無マーカを検知したときに、その商品無マーカに関連付けられた該当商品を割り出す。そして、商品無マーカが検知された陳列棚の画像の位置に在庫確認中である旨のメッセージを重ねる処理が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１７４１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
商品を販売する店舗において、商品の不正な店外への持ち出しが予想される事象を、なるべく低コストで検出できることが好ましい。これに対し、特許文献１には、商品の不正な店外への持ち出しが予想される事象を検出する方法は示されていない。【０００５】
本発明は、上述の課題を解決することのできる商品監視装置、商品監視システム、出力先装置、商品監視方法、表示方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、商品監視装置は、商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出する商品状態検出部と、前記商品状態検出部が前記取出しを検出した場合、前記商品状態検出部が前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力する変化検知情報出力部と、を備える。【０００７】
本発明の第２の態様によれば、商品監視システムは、商品監視装置と出力先装置とを備えた商品監視システムであって、前記商品監視装置は、商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出する商品状態検出部と、前記商品状態検出部が前記取出しを検出した場合、前記商品状態検出部が前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を前記出力先装置へ出力する変化検知情報出力部と、を備える。【０００８】
本発明の第３の態様によれば、出力先装置は、所定条件を満たす、商品棚に設定された商品群エリアからの数量の商品の取出しが検出された場合、前記取出しが検出された時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を取得する変化検知情報取得部と、前記変化検知情報に含まれる前記商品群エリアの前記画像を表示する表示部とを備える。【０００９】
本発明の第４の態様によれば、商品監視方法は、商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出した場合、前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力することを含む。【００１０】
本発明の第５の態様によれば、表示方法は、所定条件を満たす、商品棚に設定された商品群エリアからの数量の商品の取出しが検出された場合、前記取出しが検出された時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を取得し、前記変化検知情報に含まれる前記商品群エリアの前記画像を表示することを含む。【００１１】
本発明の第６の態様によれば、プログラムは、コンピュータに、商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出した場合、前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力させる処理を実行させる。【００１２】
本発明の第７の態様によれば、プログラムは、コンピュータに、所定条件を満たす、商品棚に設定された商品群エリアからの数量の商品の取出しが検出された場合、前記取出しが検出された時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を取得させ、前記変化検知情報に含まれる前記商品群エリアの前記画像を表示させる処理を実行させる。
【発明の効果】
【００１３】
この発明によれば、商品の不正な店外への持ち出しが予想される事象を、比較的低コストで検出することができる。
【図面の簡単な説明】
【００１４】
【図１】一実施形態に係る商品監視システムの装置構成例を示す概略構成図である。
【図２】同実施形態に係る商品監視装置の機能構成の例を示す概略ブロック図である。
【図３】同実施形態に係る商品群エリアの設定例を示す図である。
【図４】同実施形態に係る端末装置の機能構成例を示す概略ブロック図である。
【図５】同実施形態に係る第二表示部が表示する通知画面の例を示す図である。
【図６】同実施形態に係る第二表示部が表示する検知情報画面の例を示す図である。
【図７】同実施形態に係る第二表示部が表示する詳細登録画面の第一例を示す図である。
【図８】同実施形態に係る第二表示部が表示する詳細登録画面の第二例を示す図である。
【図９】同実施形態に係る第二表示部が表示する被害情報一覧画面の例を示す図である。
【図１０】同実施形態に係る第二表示部が表示する販売履歴画面の例を示す図である。
【図１１】同実施形態に係る第二表示部が表示する動線画面の例を示す図である。
【図１２】同実施形態で、取出しを検出する場合の商品監視システムの動作の一例を示す図である。
【図１３】同実施形態に係る商品監視装置が取出しの有無を判定する処理手順の例を示すフローチャートである。
【図１４】本実施形態に係る商品監視装置の最小構成の例を示す図である。
【図１５】本実施形態に係る商品監視システムの最小構成の例を示す図である。
【図１６】本実施形態に係る出力先装置の最小構成の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、一実施形態に係る商品監視システムの装置構成例を示す概略構成図である。図１の例で、商品監視システム１０は、棚監視カメラ１１と、ハブ１２と、商品監視装置１３と、無線ルータ装置１４と、端末装置１５と、店内監視カメラ１６と、ＰＯＳ（Point Of Sales）システム１７とを備える。
【００１６】
また、図１には、商品監視システム１０が監視する対象の商品が陳列される商品棚９１０が示されている。商品監視システム１０が対象とする商品棚９１０は１つであってもよいし複数あってもよい。
また、図１の例では、棚監視カメラ１１と、端末装置１５と、店内監視カメラ１６と、ＰＯＳシステム１７と、商品棚９１０とが売場に配置されている。ハブ１２と、商品監視装置１３と、無線ルータ装置１４とがバックルームに配置されている。バックルームは、基本的には顧客の立ち入りが禁止されている部屋である。
【００１７】
商品監視システム１０は、商品棚９１０に陳列された商品を監視する。特に、商品監視システム１０は、商品棚９１０から、所定条件を満たす数量の商品が纏めて取り出されたことを検出する。
商品棚から一度に多数の商品が取り出された場合、これらの商品が盗まれると１つの商品が盗まれる場合よりも被害額が大きくなる。また、ある店舗で一度に多数の商品が盗まれた場合に、同じ店舗又は同系列の他の店舗で同様の盗難が行われる事例が見受けられる。
【００１８】
そこで、商品監視システム１０が商品の取出しを検出した場合、店員が商品棚９１０付近の状況を確認し、必要に応じて顧客への声掛け、顧客の近くでの作業、警備員への通報等を行う。これにより、盗難を未然に防げる可能性がある。また、商品監視システム１０が取出しを検出した商品が盗まれたことが事後に判明した場合、従業員や系列店に注意喚起する。これにより、盗難の再発を防止できる可能性がある。
【００１９】
棚監視カメラ１１は、商品棚９１０を撮影し、商品棚９１０の画像を商品監視装置１３へ送信する。
店内監視カメラ１６は、例えば店舗の天井に設けられ、店内を撮影する。特に店内監視カメラ１６は、店内の通路を撮影する。店内監視カメラ１６は、撮影した店内の画像を商品監視装置１３へ送信する。店内監視カメラ１６が撮影した画像は、商品監視装置１３が顧客の動線を検出するために用いられる。
ＰＯＳシステム１７は、顧客が商品又はサービスを購入する際の代金のやり取りに用いられ、販売情報を記憶する。ＰＯＳシステム１７は、商品監視装置１３からの要求に応じて販売情報を商品監視装置１３へ送信する。ＰＯＳシステム１７は、販売情報管理装置の例に該当する。
【００２０】
商品監視装置１３は、棚監視カメラ１１が撮影した画像に基づいて、商品棚９１０の商品を監視する。特に、商品監視装置１３は、商品棚９１０から所定条件を満たす数量の商品が纏めて取り出されたことを検出する。
また、商品監視装置１３は、端末装置１５に対するサーバ装置として機能する。特に、商品監視装置１３は、商品棚９１０から所定条件を満たす数量の商品が纏めて取り出されたことを検出した場合、変化検知情報を端末装置１５へ送信する。ここでいう変化検知情報は、商品棚９１０から所定条件を満たす数量の商品が纏めて取り出されたことを通知する情報である。変化検知情報は、商品棚９１０から所定条件を満たす数量の商品が纏めて取り出された時点から過去に遡った時点の商品棚９１０の画像の画像データを含む。
商品監視装置１３は例えばノートパソコン（Personal Computer；ＰＣ）又はワークステーション（Workstation）等のコンピュータを用いて構成される。
【００２１】
図２は、商品監視装置１３の機能構成の例を示す概略ブロック図である。図２の例で、商品監視装置１３は、第一通信部１１０と、第一操作入力部１２０と、第一表示部１３０と、第一記憶部１８０と、第一制御部１９０とを備える。第一制御部１９０は、商品状態検出部１９１と、変化検知情報出力部１９２と、動画像処理部１９３とを備える。
【００２２】
第一通信部１１０は、他の装置と通信を行う。特に、第一通信部１１０は、棚監視カメラ１１及び店内監視カメラ１６が撮影した画像データを受信する。また、第一通信部１１０は、ＰＯＳシステム１７に対する販売情報の要求（リクエスト）を送信し、ＰＯＳシステム１７が送信した販売情報を受信する。また、第一通信部１１０は、変化検知情報を端末装置１５へ送信する。
第一操作入力部１２０は、例えばキーボード及びマウス等の入力デバイスを備え、ユーザ操作を受ける。
【００２３】
第一表示部１３０は、例えば液晶パネル等の表画面を備え、第一制御部１９０の制御に従って各種画像を表示する。
第一記憶部１８０は、各種データを記憶する。第一記憶部１８０は、商品監視装置１３が備える記憶デバイスを用いて構成される。
第一制御部１９０は、商品監視装置１３の各部を制御して各種処理を行う。第一制御部１９０は、商品監視装置１３が備えるＣＰＵ（Central Processing Unit、中央処理装置）が第一記憶部１８０からプログラムを読み出して実行することで構成される。
【００２４】
商品状態検出部１９１は、商品棚９１０に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、商品群エリアからの数量の商品の取出しを検出する。具体的には、商品状態検出部１９１は、棚監視カメラ１１が撮影した商品棚９１０の画像を商品群エリア毎に過去の画像と比較する。商品群エリアの画像の面積のうち過去の画像との相違が検出された部分面積の割合が、所定の閾値以上であった場合、商品状態検出部１９１は、その商品群エリアから所定条件を満たす数量の商品が取り出されたと判定する。
顧客が棚の前を通過した場合の一時的な画像の変化による誤検出の可能性を低減させるために、比較対象の過去の画像として、例えば３秒前の画像などある程度、長い時間を遡った過去の画像を用いるようにしてもよい。
【００２５】
このように、商品状態検出部１９１の判定基準に用いられる所定条件を満たす数量が、面積の割合を示す場合を例として説明する。所定の条件は、例えば、棚監視カメラ１１が撮影した画像における取り出された商品の画像の面積が、その商品の画像を含む商品群エリアの画像の面積のうち所定の割合以上を占めることである。
但し、商品状態検出部１９１の判定基準に用いられる所定条件を満たす数量は、この例に限定されない。例えば、所定条件を満たす数量は、所定以上の商品の個数を示していてもよい。この場合、例えば、商品状態検出部１９１は、商品群エリアの画像情報に基づいて取り出された商品の個数を算出し、取り出された商品の個数が所定数以上であるか否かを判定するようにしてもよい。
【００２６】
ここでの所定の閾値は、例えば５０％に設定される。ただし、所定の閾値は５０％に限定されない。また、商品群エリア毎に異なる閾値が設定されていてもよい。例えばユーザが、高価な商品のエリアには比較的小さい閾値が設定されていてもよい。これにより、商品状態検出部１９１は、高価な商品については、比較的少数の商品が取り出された場合でも取出しを検知する。
【００２７】
図３は、商品群エリアの設定例を示す図である。図３に示す実線の矩形は、商品群エリアを示す。図３に示すように、商品棚９１０の画像には、商品の配置に応じて１つ以上の商品群エリアが予め設定されている。上記のように商品状態検出部１９１は、図３に示す商品群エリア毎に所定条件を満たす数量の商品の取出しの有無を判定する。
商品群エリアの設定基準は特定の基準に限定されない。例えば、同一商品の配置エリア毎に商品群エリアが設定されていてもよいし、同一メーカの商品の配置エリア毎に商品群エリアが設定されていてもよい。或いは、雑誌など同一種類の商品の配置エリア毎に商品群エリアが設定されていてもよい。或いは、商品棚９１０の段ごとに商品群エリアが設定されていてもよい。また、複数の基準の組み合わせにて商品群エリアが設定されていてもよい。
商品状態検出部１９１の検出精度を高める観点からは、同一の商品群エリア内に配置される商品の大きさは同じぐらいの大きさであることが好ましい。
以下では、商品群エリアからの所定条件を満たす数量の商品の取出しを、単に取出しとも称する。
【００２８】
変化検知情報出力部１９２は、商品状態検出部１９１が取出しを検出した場合、商品状態検出部１９１が取出しを検出した時点から所定の過去の時点までの商品群エリアの画像の時系列データを含む変化検知情報を端末装置１５へ出力する。
具体的には、棚監視カメラ１１が撮影した商品棚９１０の画像のうち直近の所定期間分の画像を第一記憶部１８０が記憶しておく。商品状態検出部１９１が取出しを検出した場合、例えば取り出しの検出時から過去１０秒間など予め定められた期間分の画像データのうち、例えば１秒毎など予め定められた周期毎の画像データを第一記憶部１８０から読み出す。そして、変化検知情報出力部１９２は、読み出した画像データを含む変化検知情報を生成する。変化検知情報出力部１９２は、生成した変化検知情報を、第一通信部１１０を介して端末装置１５へ送信する。
【００２９】
また、変化検知情報出力部１９２は、商品状態検出部１９１が取出しを検出した時点より後の商品の販売履歴を示す販売情報を、第一通信部１１０を介してＰＯＳシステム１７から取得する。そして、変化検知情報出力部１９２は、取得した販売情報を含む変化検知情報を、第一通信部１１０を介して端末装置１５へ出力する。端末装置１５を参照する店員は、販売情報を参照することで、取出しが購入目的の正当な取出しであったか否かを判定することができる。つまり、店員は、販売情報に基づいて、商品の取出しが検出された後に当該商品の購入が行われたか否かを判定する。
【００３０】
変化検知情報出力部１９２は、変化検知情報を端末装置１５へ出力した後に、取得した販売情報を端末装置１５へ出力するようにしてもよい。具体的に、変化検知情報出力部１９２は、商品状態検出部１９１が取出しを検出した時点より後の、取り出された商品の販売履歴を示す販売情報をＰＯＳシステム１７から取得し、取得した販売情報を端末装置１５へ出力する。このように、変化検知情報出力部１９２が、販売情報の取得を待たずに変化検知情報を端末装置１５へ出力する。これにより、端末装置１５を所持する店員（端末装置１５のユーザ）は、商品棚９１０からの商品の取出しをいち早く認識して対応することができる。
【００３１】
変化検知情報出力部１９２が、商品状態検出部１９１が取出しを検出した時点から所定の時間以内にＰＯＳシステム１７に登録された販売情報を取得するようにしてもよい。この場合の所定の時間を第一時間とも表記する。
このように、変化検知情報出力部１９２が販売情報を取得する時間範囲を限定することで、端末装置１５を所持する店員が参照する販売情報を限定することができる。この点で、店員の負荷を軽減することができる。
【００３２】
商品状態検出部１９１が取出しを検出した時点から所定の時間以内に、取り出された商品の販売情報をＰＯＳシステム１７から取得できない場合、変化検知情報出力部１９２は、販売情報を含まない変化検知情報を端末装置１５へ出力するようにしてもよい。この場合の所定の時間を第二時間とも表記する。
端末装置１５を所持する店員は、変化検知情報に販売情報が含まれていない場合、該当商品がＰＯＳシステム１７によって処理されずに店外へ持ち出された可能性が高いと推定することできる。すなわち、店員は、該当商品が盗まれた可能性が高いと推定することができる。
【００３３】
第一時間と第二時間とは同じ時間であってもよいし、異なる時間であってもよい。例えば、第二時間が第一時間よりも長い時間に設定されていてもよい。第一時間が長くなると、端末装置１５を所持する店員が参照する販売情報の個数が増えて店員の負荷が増加することが考えられる。一方、第二時間が長くなっても、店員の負荷は増加しない。そこで、第二時間は、比較的長い時間に設定されてもよい。これにより、商品がＰＯＳシステム１７によって処理されずに店外へ持ち出されたか否かの判定が、より正確に行われる。
【００３４】
変化検知情報出力部１９２が、商品状態検出部１９１が取出しを検出した時点を基準とする商品群エリアの過去の画像に基づいて、取出しを行った人物に関する情報を取得するようにしてもよい。そして、変化検知情報出力部１９２は、取出しを行った人物に関する情報を含む変化検知情報を端末装置１５へ出力するようにしてもよい。
商品状態検出部１９１が取出しを検出した時点から近い過去の画像に映っている人物は、取出しを行った人物である可能性が高い。そこで、変化検知情報出力部１９２が、商品状態検出部１９１が取出しを検出した時点から過去に遡って、棚監視カメラ１１の画像に映っている人物を検出するようにしてもよい。例えば、変化検知情報出力部１９２は、商品状態検出部１９１が取出しを検出した時点の画像から順に過去にさかのぼって、人物の検出に成功するまで人物の検出を行う。或いは、変化検知情報出力部１９２が、商品状態検出部１９１が取出しを検出した時点から過去の所定時間（例えば３秒）以内の画像について、画像に映っている全ての人を検出するようにしてもよい。
変化検知情報出力部１９２は、人物の検出に成功した場合、その人物に関する情報を、取出しを行った人物（取出しを行った可能性のある人物）に関する情報として検出する。
【００３５】
変化検知情報出力部１９２は、例えばこの人物の服の色を判定し、判定した服の色の情報を変化検知情報に含めて端末装置１５へ出力する。取出しを行った人物に関する情報は、この人物の服の色の情報に限らずいろいろな情報とすることができる。例えば、変化検知情報出力部１９２が、取出しを行った人物に関する情報として、この人物の服の色の情報に加えて、或いは、この人物の服の色の情報に代えて、この人物に関する別の情報を変化検知情報に含めるようにしてもよい。人物に関する別の情報は、例えば、この人物の顔画像、この人物の動きを示す動線情報、この人物が商品をＰＯＳシステム１７で処理したか否かを示す情報、又は、この人物の属性情報等、或いはこれらの組み合わせである。人物の属性情報は、性別及び身長のうち何れか一方、または両方である。
このように、端末装置１５を所持する店員が、取出しを行った人物を特定する際、取出しを行った人物に関する情報を参照する。これにより、人物特定の精度を高めることができる。
【００３６】
或いは変化検知情報出力部１９２が、変化検知情報を端末装置１５へ出力した後に、取出しを行った人物に関する情報を端末装置１５へ出力するようにしてもよい。
このように、変化検知情報出力部１９２が取出しを行った人物に関する情報の取得を待たずに、変化検知情報を端末装置１５へ出力する。これにより、端末装置１５を所持する店員は、商品棚９１０からの商品の取出しをいち早く認識して対応することができる。
【００３７】
変化検知情報出力部１９２が、取出しを行った人物に関する情報に基づいて、この人物がその商品を所定の清算エリアを通過させたか否かを判定するようにしてもよい。具体的には、変化検知情報出力部１９２は、この人物がＰＯＳシステム１７にて代金を清算したか否かを判定するようにしてもよい。この人物が商品を精算エリアに通過させていないと判定した場合、変化検知情報出力部１９２が、変化検知情報を端末装置１５へ出力した後に、取出しを行った人物に関する情報を端末装置１５へ出力するようにしてもよい。
【００３８】
このように、変化検知情報出力部１９２が、取出しを行った人物がその商品を所定の清算エリアを通過させていないと判定した場合に限定して、取出しを行った人物に関する情報を端末装置１５へ出力する。これにより、変化検知情報出力部１９２は、端末装置１５を所持する店員が人物に関する情報を参照する回数を減らすことができる。取出しを行った人物がその商品を所定の清算エリアを通過させていない場合、この商品が盗まれた可能性が高い。したがって、店員は、商品が盗まれた可能性が高い場合のみ、その取出しを行った人物に関する情報を参照すればよい。このため、店員の負荷を軽減することができる。
【００３９】
動画像処理部１９３は、商品状態検出部１９１が取出しを検出した場合に、商品状態検出部１９１が取出しを検出した時点から過去の所定時間分の商品棚９１０の動画像を第一表示部１３０に表示させる。この場合、第一表示部１３０を備える商品監視装置１３は、表示装置の例に該当する。
例えば、棚監視カメラ１１が商品棚９１０の動画像を撮影して動画像データを商品監視装置１３へ送信する。商品監視装置１３では、動画像処理部１９３が、棚監視カメラ１１によって撮影された過去の動画像データのうち、直近の所定時間分を第一記憶部１８０に一時的に記憶させる。商品状態検出部１９１が取出しを検出した場合、動画像処理部１９３は、第一記憶部１８０が一時的に記憶している動画像データのうち、商品状態検出部１９１が取出しを検出した時点から過去所定時間分の動画像データを第一記憶部１８０に保存させる。第一記憶部１８０は、動画像処理部１９３から保存が指示された動画像データを消去せずに記憶しておく。そして、動画像処理部１９３は、ユーザ操作に従って動画像データを再生し第一表示部１３０に表示させる。
商品監視装置１３は商品棚９１０の動画像を表示し、端末装置１５は商品棚９１０のコマ送り画像（一定時間毎の静止画像）を表示する。このように、通信帯域及び装置の処理能力に応じて画像を使い分けることができる。
但し、端末装置１５が商品棚９１０の動画像を表示するようにしてもよい。
【００４０】
端末装置１５は、商品監視装置１３から変化検知情報を受信すると、取出し警報（アラーム）を出力する。ここでいう取出し警報は、取出しが行われたことを示す警報である。端末装置１５は、出力先装置の例に該当する。
また、端末装置１５は、ユーザ操作に従って被害情報を生成及び更新する。ここでいう被害情報は、取出しが不正な取出しか否か、及び、取出しの状況を示す情報である。
【００４１】
端末装置１５は、例えばタブレット端末装置又はスマートフォンなど携帯型の端末装置を用いて構成される。或いは、端末装置１５は、固定型の端末装置として構成されていてもよい。例えば、端末装置１５は、ＰＯＳシステム１７の付近に固定して設置される。
例えば売場にいる店員が端末装置１５を所持しておく。端末装置１５が取出し警報を出力した場合、店員は商品棚９１０の状況を確認する。上記のように、店員が商品棚９１０付近の状況を確認し、必要に応じて顧客への声掛け、顧客の近くでの作業、警備員への通報等を行う。これにより、盗難を未然に防げる可能性がある。
また、店員は、商品棚９１０の状況の確認結果に基づいて、被害情報を端末装置１５へ入力する。
【００４２】
図４は、端末装置１５の機能構成例を示す概略ブロック図である。図４の例で、端末装置１５は、第二通信部２１０と、第二操作入力部２２０と、第二表示部２３０と、第二記憶部２８０と、第二制御部２９０とを備える。第二制御部２９０は、変化検知情報取得部２９１と、被害情報処理部２９２を備える。
第二通信部２１０は、他の装置と通信を行う。特に、第二通信部２１０は、商品監視装置１３から変化検知情報を受信する。また、第二通信部２１０は、被害情報を商品監視装置１３へ送信する。
【００４３】
第二表示部２３０は、例えは液晶パネル等の表示画面を備え、第二制御部２９０の制御に従って各種画像を表示する。特に第二表示部２３０は、第二制御部２９０の制御に従って、変化検知情報に含まれる画像の時系列データのうちの何れかの画像をユーザ操作に基づいて表示する。具体的には、変化検知情報には棚監視カメラ１１が商品棚９１０を撮影した画像のうち所定時間毎の画像が含まれている。第二表示部２３０は、変化検知情報に含まれる商品棚９１０の画像のうち、ユーザ操作にて指定された画像を第二制御部２９０の制御に従って表示する。
【００４４】
第二操作入力部２２０は、例えば第二表示部２３０の表示画面に設けられてタッチパネルを構成するタッチセンサを備え、ユーザ操作を受ける。
第二記憶部２８０は、各種データを記憶する。第二記憶部２８０は、端末装置１５が備える記憶デバイスを用いて構成される。
第二制御部２９０は、端末装置１５の各部を制御して各種処理を行う。第二制御部２９０は、端末装置１５が備えるＣＰＵが第二記憶部２８０からプログラムを読み出して実行することで構成される。
【００４５】
変化検知情報取得部２９１は、商品監視装置１３からの変化検知情報を取得する。具体的には、商品監視装置１３が取出しを検出して変化検知情報を送信すると、第二通信部２１０が、商品監視装置１３からの通信データを受信する。変化検知情報取得部２９１は、第二通信部２１０が受信した通信データから変化検知情報を取り出す。
変化検知情報取得部２９１は、変化検知情報に基づいて、取出し警報を第二表示部２３０に表示させる。端末装置１５は、取出し警報を、第二表示部２３０の表示に加えて、或いは第二表示部２３０の表示に代えて、音声及び振動のうち何れか一方又は両方で出力するようにしてもよい。
【００４６】
被害情報処理部２９２は、ユーザ操作に従って被害情報の生成及び更新を行う。具体的には、被害情報処理部２９２は、変化検知情報の受信又はユーザ操作を契機（トリガ）として、被害情報を編集するための詳細登録画面を第二表示部２３０に表示させる。そして、端末装置１５のユーザである店員が詳細登録画面に従って被害情報を入力するユーザ操作を行うと、被害情報処理部２９２は、ユーザ操作に従って被害情報を生成又は更新する。
【００４７】
図１に戻り、ハブ１２は、ハブ１２に接続された各装置間の通信を仲介する。特に、ハブ１２は、棚監視カメラ１１と商品監視装置１３との間、店内監視カメラ１６と商品監視装置１３との間、ＰＯＳシステム１７と商品監視装置１３との間、無線ルータ装置１４と商品監視装置１３との間それぞれの通信経路を確立する。
無線ルータ装置１４は、端末装置１５と無線通信を行って、端末装置１５と各機器との間の通信を仲介する。特に、ハブ１２と無線ルータ装置１４との組み合わせにより、商品監視装置１３と端末装置１５との通信経路を確立する。
【００４８】
但し、商品監視システム１０の構成は、図１に示す構成に限定されない。
例えば、端末装置１５が商品監視装置１３の機能も兼ね備えるようにしてもよい。この場合、商品監視システム１０が商品監視装置１３を備えていなくてもよい。
また、店内監視カメラ１６及びＰＯＳシステム１７は、商品監視システム１０に必須ではない。商品監視システム１０は、店内監視カメラ１６及びＰＯＳシステム１７の何れか一方又は両方を備えていなくてもよい。
また、商品監視装置１３は、他の機器と直接通信を行うようにしてもよい。この場合、商品監視システム１０は、ハブ１２及び無線ルータ装置１４の何れか一方又は両方を備えていなくてもよい。
【００４９】
次に、図５〜図１１を参照して、端末装置１５の第二表示部２３０（図４）による画面表示について説明する。
図５は、第二表示部２３０が表示する通知画面の例を示す図である。第二表示部２３０による通知画面の表示は、取出し警報の出力の例に該当する。
図５の例で第二表示部２３０は、取出しが検知された商品群エリアを表示するとともに、取出しが検知された旨を示すメッセージを表示している。さらに、第二表示部２３０は、領域Ａ１１１、Ａ１１２のそれぞれに押ボタンのアイコンを表示している。
【００５０】
領域Ａ１１１へのタッチ操作が行われた場合、第二表示部２３０は、第二制御部２９０の制御に従って取出し警報の表示を終了し、待ち受け画面（デスクトップ画面）を表示する。
領域Ａ１１２へのタッチ操作が行われた場合、第二表示部２３０は、第二制御部２９０の制御に従って、検知情報画面を表示する。検知情報画面を図６にしたがって説明する。
【００５１】
図６は、第二表示部２３０が表示する検知情報画面の例を示す図である。
図６の例で、第二表示部２３０は、領域Ａ２１１に棚監視カメラ１１が撮影した商品棚９１０の画像を表示している。商品棚９１０の画像中の領域Ａ２１２は、商品状態検出部１９１が画像の変化を検出した領域である。第二表示部２３０は、商品棚９１０の画像中で画像の変化を検出した領域を示している。
第二表示部２３０が領域Ａ２１１に表示する画像は、商品状態検出部１９１が取出しを検出した時点から所定の過去の時点までの時系列の複数の画像のうち、１つの画像である。第二表示部２３０は、ユーザ操作に従って画像を切り替える。例えば、領域Ａ２１１内で右方向へのフリック操作が行われた場合、第二表示部２３０は、第二制御部２９０の制御に従って後の時点の画像を表示する。領域Ａ２１１内で左方向へのフリック操作が行われた場合、第二表示部２３０は、第二制御部２９０の制御に従って前の時点の画像を表示する。
【００５２】
第二表示部２３０は、領域Ａ２１１に表示している画像の撮影時刻情報を領域Ａ２２１示している。また、領域Ａ２２２へのタッチ操作が行われた場合、第二表示部２３０は、第二制御部２９０に従って、領域Ａ２１１に表示する画像を商品状態検出部１９１が取出しを検出した時点における画像に切り替える。
また、第二表示部２３０は、表示領域Ａ２３１、Ａ２３２のそれぞれに押ボタンのアイコンを表示している。
領域Ａ２３１へのタッチ操作が行われた場合、第二表示部２３０は、第二制御部２９０の制御に従って詳細登録画面を表示する。詳細登録画面を図７にしたがって後述する。
【００５３】
一方、領域Ａ２３２へのタッチ操作が行われた場合、第二表示部２３０は、待ち受け画面を表示する。この場合、端末装置１５のユーザである店員が、取出しが正当な取出しであったと判定したことを意味する。そこで、端末装置１５は、取出しについての詳細情報の入力をユーザに要求することなく、取出しに関する画面表示を終了する。
また、第二表示部２３０は、商品状態検出部１９１が取出しを検出した時刻を領域Ａ２４１に表示し、商品状態検出部１９１が取出しを検出した商品群エリアの名称を領域Ａ２４２に表示している。商品群エリアの名称は、例えばユーザが予め設定しておく。
【００５４】
図７は、第二表示部２３０が表示する詳細登録画面の第一例を示す図である。
図７の例で、領域Ａ３１１、Ａ３２１、Ａ３２２は、それぞれ図６の領域Ａ２１１、Ａ２２１、Ａ２２２と同様である。領域Ａ３３１、Ａ３３２は、それぞれ図６の領域Ａ２４１、Ａ２４２と同様である。
図７の詳細登録画面において、第二表示部２３０は、領域Ａ３３３に状況情報を表示している。この状況情報は、端末装置１５のユーザである店員が取出しについて問題の有無を判定した判定結果を示す情報である。図６の領域Ａ２３１へのタッチ操作によって状況情報の値は「問題あり」に設定される。または、図６の領域Ａ２３２へのタッチ操作によって状況情報の値は「問題なし」に設定される。領域Ａ３３３では、ユーザは、状況情報の値を変更することができる。具体的には、領域Ａ３３３の黒塗りの下向きの三角形のボタンへのタッチ操作が行われると、第二表示部２３０は、「問題あり」及び「問題なし」を示すプルダウンメニューを表示する。プルダウンメニューにて「問題あり」、「問題なし」の何れかへのタッチ操作が行われると、被害情報処理部２９２は、状況情報の値をタッチ操作にて選択された値に更新する。
【００５５】
図８は、第二表示部２３０が表示する詳細登録画面の第二例を示す図である。
図８は、図７に示した詳細登録画面の下方向の続きの詳細登録画面の例を示している。第二表示部２３０は、図７の詳細登録画面に対するスクロールダウンによって、被害情報処理部２９２の制御に従って図８の画面を表示している。
領域Ａ３３４は、被害商品に関する情報を入力可能な入力欄である。第二操作入力部２２０は、盗難に遭った商品（商品棚９１０から取り出された商品）の商品名及び数量入力をフリーワード入力にて受け付ける。
【００５６】
領域Ａ３３５は、被害総額の入力欄である。第二操作入力部２２０は、対象となっている取出しによる被害の総額（例えば盗難被害の合計金額）の入力をフリーワード入力にて受け付ける。
領域Ａ３３６は、コメントの入力欄である。第二操作入力部２２０は、ユーザのコメントをフリーワード入力にて受け付ける。
【００５７】
領域Ａ３３７は、登録者の表示欄である。第二操作入力部２２０は、登録者名の入力操作を受け付けるようにしてもよい。或いは、第二操作入力部２２０は、被害情報の入力時に端末装置１５にログインしているユーザの氏名を、被害情報処理部２９２が自動的に領域Ａ３３７に表示するようにしてもよい。
領域Ａ３４１へのタッチ操作が行われた場合、被害情報処理部２９２は、入力された被害情報を、第二通信部２１０を介して商品監視装置１３へ送信する。商品監視装置１３では、第一記憶部１８０が被害情報を、変化検知情報と対応付けて記憶する。また、領域Ａ３４１へのタッチ操作により、第二表示部２３０は詳細登録画面の表示を終了し、例えば被害情報一覧画面を表示する。被害情報一覧画面を図９にしたがって説明する。
【００５８】
図９は、第二表示部２３０が表示する被害情報一覧画面の例を示す図である。
図９の例で、第二表示部２３０は、領域Ａ４１１に被害情報のリストを表示している。
領域Ａ４２１は、被害情報の更新を受け付けるタッチ領域である。領域Ａ４１１のリストでいずれかの被害情報がタッチ操作にて選択された状態で、領域Ａ４２１へのタッチ操作が行われると、被害情報処理部２９２は、選択された被害情報を商品監視装置１３から取得する。そして、被害情報処理部２９２は、取得した被害情報を有する詳細登録画面を、第二表示部２３０に表示させる。被害情報処理部２９２は、ユーザ操作に従って更新された情報にしたがって、被害情報を更新する。
【００５９】
領域Ａ４２２は、被害情報の削除を受け付けるタッチ領域である。領域Ａ４１１のリストでいずれかの被害情報がタッチ操作にて選択された状態で、領域Ａ４２２へのタッチ操作が行われると、被害情報処理部２９２は、選択された被害情報の削除指示を、第一通信部１１０を介して商品監視装置１３へ送信する。商品監視装置１３は、削除指示に従って被害情報を削除する。
【００６０】
被害情報に対する不正操作を防止するために、複数の店員のうち権限を付与された店員のみが、被害情報の更新又は削除を行えるようにしてもよい。
領域Ａ４３１は、取出しに関する表示の終了指示を受け付けるタッチ領域である。領域Ａ４３１へのタッチ操作が行われると、第二表示部２３０は、第二制御部２９０の制御に従って、取出しに関する表示を終了し待ち受け画面を表示する。
【００６１】
図１０は、第二表示部２３０が表示する販売履歴画面の例を示す図である。
商品状態検出部１９１が検出した取出しに対応付けられる販売情報がある場合、商品監視装置１３がＰＯＳシステム１７から販売情報を取得し、変化検知情報と販売情報とを対応付けて第一記憶部１８０に記憶させる。ここで、取出しと販売情報との対応関係として、いろいろな対応関係を採用することができる。例えば、商品監視装置１３が、取出しが行われた後、所定時間以内の販売情報を、この取出しに対応する販売情報として判定してもよい。あるいは、商品監視装置１３が、取出しが行われた後、所定時間以内の販売情報のうち、商品棚９１０から取り出された商品の購入を示す販売情報を、この取出しに対応する販売情報として判定してもよい。
【００６２】
第二表示部２３０が検知情報画面（図６）を表示しているときに販売履歴画面（図１０）の表示を指示するユーザ操作が行われた場合、被害情報処理部２９２は、検知情報画面に対応付けられた販売情報を第二表示部２３０に表示させる。具体的に、被害情報処理部２９２は、表示中の検知情報画面で対象となっている取出しに対応付けられた販売情報を商品監視装置１３から取得して、第二表示部２３０に表示させる。
第二表示部２３０が詳細登録画面（図７、図８）を表示しているときに販売履歴画面（図１０）の表示を指示するユーザ操作が行われた場合、被害情報処理部２９２は、詳細登録画面に対応付けられた販売情報を第二表示部２３０に表示させる。具体的に、被害情報処理部２９２は、表示中の詳細登録画面で対象となっている取出しに対応付けられた販売情報を商品監視装置１３から取得して第二表示部２３０に表示させる。
販売履歴画面の表示終了を指示するユーザ操作が行われた場合、第二表示部２３０は、販売履歴画面の表示を終了し、検知情報画面（図６）の表示又は詳細登録画面（図７、図８）の表示へ戻る。
【００６３】
図１１は、第二表示部２３０が表示する動線画面の例を示す図である。
図１１の例で、第二表示部２３０は、取出しを行った顧客の動線情報を店舗の見取り図上に表示している。
図１１の例では、顧客はカウンタに立ち寄っている。カウンタは、所定の精算エリアの例に該当する。第二表示部２３０は、顧客の動線情報に加えて、顧客がカウンタに立ち寄った時刻を表示している。
【００６４】
端末装置１５のユーザである店員は、顧客がカウンタに立ち寄ったタイミングにおける販売情報を端末装置１５に表示させる。これにより、取出しが正当な取出しであるか否かを判定することができる。顧客がカウンタに立ち寄ったタイミングにおける販売情報が、取出しの対象となった商品が購入されたことを示す場合、取出しが正当な取出しであったと判定することができる。
あるいは、第二表示部２３０が、動線情報に代えて、または、動線情報に加えて、取出しを行った顧客がカウンタで支払いを行ったか否かを示す情報を文字、又は記号で表示してもよい。支払いを行ったか否かを示す文字は、例えば、「支払有」／「支払無」である。支払いを行ったか否かを示す記号は、例えば「マル」／「バツ」である。
【００６５】
次に図１２及び図１３を参照して、商品監視システム１０の動作について説明する。
図１２は、取出しを検出する場合の商品監視システム１０の動作の一例を示す図である。
棚監視カメラ１１は、商品棚９１０を撮影して生成した画像データを商品監視装置１３へ送信する（シーケンスＳ１０１）。棚監視カメラ１１は、商品棚９１０の動画像データを連続的に商品監視装置１３へ送信するようにしてもよい。或いは、棚監視カメラ１１は、商品棚９１０の動画像データを一定時間分毎に纏めて商品監視装置１３へ送信するようにしてもよい。或いは、棚監視カメラ１１は動画像データの送信に代えて、動画像データのフレームに相当する静止画像データを商品監視装置１３へ送信するようにしてもよい。
【００６６】
商品棚９１０の画像データを取得した商品監視装置１３は、得られた画像データに基づいて取出しの有無を判定する（シーケンスＳ１０２）。具体的には、商品監視装置１３は、新たに取得した商品棚９１０の画像と、商品棚９１０の過去の画像とを比較し、画像の差分を検出する。商品監視装置１３は、いずれかの商品群エリアについて、検出された差分に対応する部分面積の商品群エリア全体の面積に対する割合が閾値以上であるか否かを判定する。割合が閾値以上であると判定した場合、商品監視装置１３は、取出し有りと判定する。図１２の例では、商品監視装置１３は取出し有りと判定している。
【００６７】
取出し有りと判定した商品監視装置１３は、検出した取出しに関する変化検知情報を生成して端末装置１５へ送信する（シーケンスＳ１０３）。
端末装置１５は、商品監視装置１３から受信した変化検知情報に基づいて、取出し警報を出力する（シーケンスＳ１０４）。
また、商品監視装置１３は、生成した変化検知情報を保存（記憶）する（シーケンスＳ１０５）。
商品監視装置１３は、販売情報及び動線情報のうち何れか一方又は両方を含む変化検知情報を生成するようにしてもよい。或いは、商品監視装置１３が、変化検知情報を端末装置１５へ送信した後に、販売情報及び動線情報のうち何れか一方又は両方を端末装置１５へ送信するようにしてもよい。
【００６８】
図１３は、商品監視装置１３が取出しの有無を判定する処理手順の例を示すフローチャートである。
図１３の処理で、商品状態検出部１９１は、第一通信部１１０を介して棚監視カメラ１１から商品棚９１０の画像データを取得する（ステップＳ２０１）。そして、商品状態検出部１９１は、ステップＳ２０１で得られた商品棚９１０の画像データと、商品棚９１０の過去の画像データ（例えば１０秒前の画像）とを比較する（ステップＳ２０２）。そして、商品状態検出部１９１は、商品群エリアそれぞれについて、商品群エリアの画像の相違部分（差分）の面積の、商品群エリア全体の面積に対する割合が閾値以上か否かを判定する（ステップＳ２０３）。
【００６９】
何れの商品群エリアについても割合が閾値未満であると判定した場合（ステップＳ２０３：ＮＯ）、ステップＳ２０１へ戻る。一方、何れかの商品群エリアについて割合が閾値以上であると判定した場合（ステップＳ２０３：ＹＥＳ）、商品監視装置１３は取出し検出時の処理を行う（ステップＳ２０４）。例えば、図１２を参照して説明したように、商品監視装置１３は、変化検知情報を生成して端末装置１５へ送信し、また、生成した変化検知情報を記憶する。
ステップＳ２０４の後、ステップＳ２０１へ戻る。
【００７０】
以上のように、商品状態検出部１９１は、商品棚９１０に設定された商品群エリアの画像情報に基づいて、商品群エリアからの所定条件を満たす数量の商品の取出しを検出する。
変化検知情報出力部１９２は、商品状態検出部１９１が取出しを検出した場合、取出しが検出された時点から所定の過去の時点までの商品群エリアの画像の時系列データを含む変化検知情報を、端末装置１５へ出力する。
端末装置１５のユーザである店員は、変化検知情報に基づいて取出しを認識することで、不正な取出しの可能性を認識することができる。例えば、端末装置１５が変化検知情報に基づいて取出し警報を出力することで、店員は、取出しを認識することができる。
特に商品監視システム１０では、棚監視カメラ１１で商品棚９１０を撮影するという比較的簡単な構成で不正な取出しの可能性を検出することができる。この点で、商品監視システム１０によれば、商品の不正な店外への持ち出しが予想される事象を、比較的低コストで検出することができる。
【００７１】
変化検知情報出力部１９２は、商品状態検出部１９１が取出しを検出した時点より後の販売情報を取得し、販売情報を含む変化検知情報を端末装置１５へ出力するようにしてもよい。
これにより、端末装置１５のユーザである店員は、変化検知情報を参照して取出しが正当な取出しであったか否かを判定することができる。
【００７２】
変化検知情報出力部１９２は、変化検知情報を端末装置１５へ出力した後に、商品状態検出部１９１が取出しを検出した時点より後の販売情報を取得して端末装置１５へ出力するようにしてもよい。
端末装置１５のユーザは、販売情報を参照することで取出しが正当な取出しか否かを判定することができる。また、変化検知情報出力部１９２は、販売情報の取得を待たずに変化検知情報を端末装置１５へ出力する。このため、端末装置１５のユーザは、商品棚９１０からの商品の取出しをいち早く認識して対応することができる。
【００７３】
変化検知情報出力部１９２は、商品状態検出部１９１が取出しを検出した時点から所定の時間以内にＰＯＳシステム１７に登録された販売情報を取得するようにしてもよい。このように、変化検知情報出力部１９２は、販売情報を取得する時間範囲を限定する。これにより、端末装置１５を所持する店員が参照する販売情報を限定することができる。この点で、店員の負荷を軽減することができる。
【００７４】
変化検知情報出力部１９２が、取り出された商品に関連する販売情報を、商品状態検出部１９１が取出しを検出した時点から所定の時間以内にＰＯＳシステム１７から取得できない場合には、販売情報を含まない変化検知情報を端末装置１５へ出力するようにしてもよい。
端末装置１５を所持する店員は、変化検知情報に販売情報が含まれていない場合、該当商品がＰＯＳシステム１７を経ずに店外へ持ち出された可能性が高いと推定することできる。すなわち、店員は、該当商品が盗まれた可能性が高いと推定することができる。
【００７５】
変化検知情報出力部１９２は、商品状態検出部１９１が取出しを検出した時点を基準とする商品群エリアの過去の画像に基づいて、取出しを行った人物に関する情報を取得して端末装置１５へ出力するようにしてもよい。
端末装置１５のユーザは、取出しを行った人物を特定する際、取出しを行った人物に関する情報を参照することで、人物特定の精度を高めることができる。
【００７６】
変化検知情報出力部１９２は、商品状態検出部１９１が取出しを検出した時点を基準とする商品群エリアの過去の画像に基づいて、取出しを行った人物に関する情報を検出する。このとき、変化検知情報出力部１９２は、変化検知情報を端末装置１５へ出力した後に、取出しを行った人物に関する情報を端末装置１５へ出力するようにしてもよい。
端末装置１５のユーザは、取出しを行った人物を特定する際、取出しを行った人物に関する情報を参照することで、特定の精度を高めることができる。また、変化検知情報出力部１９２は、取出しを行った人物に関する情報の取得を待たずに変化検知情報を端末装置１５へ出力する。これにより、端末装置１５のユーザは、商品棚９１０からの商品の取出しをいち早く認識して対応することができる。
【００７７】
変化検知情報出力部１９２は、取出しを行った人物に関する情報に基づいて、その人物がその商品（取り出された商品）を所定の清算エリアを通過させたか否かを判定するようにしてもよい。通過させていないと判定した場合、変化検知情報出力部１９２は、変化検知情報を端末装置１５へ出力した後に、取出しを行った人物に関する情報を端末装置１５へ出力するようにしてもよい。
このように、変化検知情報出力部１９２が、取出しを行った人物が、取り出された商品を精算エリアに通過させたか否かを判定する。これにより、端末装置１５のユーザは、取出しが正当な取出しか否かを判定する際の参考情報とすることができる。
【００７８】
端末装置１５の第二表示部２３０は、変化検知情報に含まれる画像の時系列データのうちの何れかの画像をユーザ操作に基づいて表示するようにしてもよい。
端末装置１５のユーザは、第二表示部２３０が表示する画像を参照して、取出しが行われたときの状況を把握することができる。
【００７９】
商品監視装置１３の第一表示部１３０が、商品状態検出部１９１が取出しを検出した時点から所定の過去の時点までの商品群エリアの動画像を表示するようにしてもよい。
商品監視装置１３のユーザは、この動画像を参照して、取出しが行われたときの状況を把握することができる。
【００８０】
次に、図１４〜図１６を参照して、本実施形態の最小構成について説明する。
図１４は、本実施形態に係る商品監視装置の最小構成の例を示す図である。図１４に示す商品監視装置２０は、商品状態検出部２１と、変化検知情報出力部２２とを備える。
かかる構成にて、商品状態検出部２１は、商品棚に設定された商品群エリアの画像情報に基づいて、商品群エリアからの所定条件を満たす数量の商品の取出しを検出する。変化検知情報出力部２２は、商品状態検出部２１が取出しを検出した場合、商品状態検出部２１が取出しを検出した時点から所定の過去の時点までの商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力する。
ユーザは、変化検知情報に基づいて取出しを認識することで、不正な取出しの可能性を認識することができる。特に商品監視装置２０では、カメラで商品棚を撮影するという比較的簡単な構成で不正な取出しの可能性を検出することができる。この点で、商品監視装置２０によれば、商品の不正な店外への持ち出しが予想される事象を、比較的低コストで検出することができる。
【００８１】
図１５は、本実施形態に係る商品監視システムの最小構成の例を示す図である。図１５に示す商品監視システム３０は、商品監視装置３１と、出力先装置３４とを備える。商品監視装置３１は、商品状態検出部３２と、変化検知情報出力部３３とを備える。
かかる構成にて、商品状態検出部３２は、商品棚に設定された商品群エリアの画像情報に基づいて、商品群エリアからの所定条件を満たす数量の商品の取出しを検出する。変化検知情報出力部３３は、商品状態検出部３２が取出しを検出した場合、商品状態検出部３２が取出しを検出した時点から所定の過去の時点までの商品群エリアの画像の時系列データを含む変化検知情報を出力先装置３４へ出力する。
ユーザは、変化検知情報に基づいて取出しを認識することで、不正な取出しの可能性を認識することができる。特に商品監視システム３０では、カメラで商品棚を撮影するという比較的簡単な構成で不正な取出しの可能性を検出することができる。この点で、商品監視システム３０によれば、商品の不正な店外への持ち出しが予想される事象を、比較的低コストで検出することができる。
【００８２】
図１６は、本実施形態に係る出力先装置の最小構成の例を示す図である。図１６に示す出力先装置４０は、変化検知情報取得部４１と、表示部４２とを備える。
かかる構成にて、変化検知情報取得部４１は、商品棚に設定された商品群エリアから所定条件を満たす数量の商品の取出しが検出された場合、取出しが検出された時点から所定の過去の時点までの商品群エリアの画像の時系列データを含む変化検知情報を取得する。表示部４２は、変化検知情報に含まれる前記商品群エリアの画像を表示する。
ユーザは、商品群エリアの画像を参照することで、取出しが行われたときの状況を把握することができる。
【００８３】
なお、第一制御部１９０及び第二制御部２９０の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより処理を行うようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００８５】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出する商品状態検出部と、
前記商品状態検出部が前記取出しを検出した場合、前記商品状態検出部が前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力する変化検知情報出力部と、
を備える商品監視装置。
【００８６】
（付記２）
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点より後の時点の前記商品の販売履歴を示す販売情報を取得し、前記販売情報を含む前記変化検知情報を前記出力先装置へ出力する
付記１に記載の商品監視装置。
【００８７】
（付記３）
前記変化検知情報出力部は、前記変化検知情報を前記出力先装置へ出力した後に、前記商品状態検出部が前記取出しを検出した時点より後の時点の前記商品の販売履歴を示す販売情報を取得し、前記販売情報を前記出力先装置へ出力する
付記１に記載の商品監視装置。
【００８８】
（付記４）
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点から所定の時間以内に販売情報管理装置に登録された販売情報を取得する
付記２または付記３に記載の商品監視装置。
【００８９】
（付記５）
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点から所定の時間以内に前記販売情報管理装置から前記商品に関連する販売情報を取得できない場合には、前記販売情報を含まない前記変化検知情報を前記出力先装置へ出力する
付記４に記載の商品管理装置。
【００９０】
（付記６）
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点を基準とする前記商品群エリアの過去の画像に基づいて、前記商品を取り出した人物に関する情報を取得し、前記商品を取り出した人物に関する情報を前記出力先装置へ出力する
付記１から５の何れか一項に記載の商品監視装置。
【００９１】
（付記７）
前記変化検知情報出力部は、前記商品状態検出部が前記取出しを検出した時点を基準とする前記商品群エリアの過去の画像に基づいて、前記商品を取り出した人物に関する情報を検出し、前記変化検知情報を前記出力先装置へ出力した後に、前記人物に関する情報を前記出力先装置へ出力する
付記１から５のいずれか一項に記載の商品監視装置。
【００９２】
（付記８）
前記変化検知情報出力部は、前記商品を取り出した人物に関する情報に基づいて前記人物が前記商品を所定の清算エリアを通過させたか否かを判定し、通過させていないと判定した場合に、前記人物に関する情報を前記出力先装置へ出力する
付記７に記載の商品監視装置。
【００９３】
（付記９）
商品監視装置と出力先装置とを備えた商品監視システムであって、
前記商品監視装置は、
商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出する商品状態検出部と、
前記商品状態検出部が前記取出しを検出した場合、前記商品状態検出部が前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を前記出力先装置へ出力する変化検知情報出力部と、
を備える商品監視システム。
【００９４】
（付記１０）
前記出力先装置は、
前記変化検知情報に含まれる前記画像の時系列データのうちの何れかの画像をユーザ操作に基づいて表示する表示部を備える
付記９に記載の商品監視システム。
【００９５】
（付記１１）
前記商品状態検出部が前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの動画像を表示する表示装置を備える
付記９又は付記１０に記載の商品監視システム。
【００９６】
（付記１２）
所定条件を満たす、商品棚に設定された商品群エリアからの数量の商品の取出しが検出された場合、前記取出しが検出された時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を取得する変化検知情報取得部と、
前記変化検知情報に含まれる前記商品群エリアの前記画像を表示する表示部と
を備える出力先装置。
【００９７】
（付記１３）
商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出した場合、前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力する
ことを含む商品監視方法。
【００９８】
（付記１４）
所定条件を満たす、商品棚に設定された商品群エリアからの数量の商品の取出しが検出された場合、前記取出しが検出された時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を取得し、
前記変化検知情報に含まれる前記商品群エリアの前記画像を表示する
ことを含む表示方法。
【００９９】
（付記１５）
コンピュータに、
商品棚に設定された商品群エリアの画像情報に基づいて、所定条件を満たす、前記商品群エリアからの数量の商品の取出しを検出した場合、前記取出しを検出した時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を出力先装置へ出力させる
処理を実行させるプログラム。
【０１００】
（付記１６）
コンピュータに、
所定条件を満たす、商品棚に設定された商品群エリアからの数量の商品の取出しが検出された場合、前記取出しが検出された時点から所定の過去の時点までの前記商品群エリアの画像の時系列データを含む変化検知情報を取得させ、
前記変化検知情報に含まれる前記商品群エリアの前記画像を表示させる
処理を実行させるプログラム。
【０１０１】
この出願は、２０１７年３月６日に日本出願された特願２０１７−０４２０７９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１０２】
この発明によれば、商品の不正な店外への持ち出しが予想される事象を、比較的低コストで検出することができる。
【符号の説明】
【０１０３】
１０  商品監視システム
１１  棚監視カメラ
１２  ハブ
１３  商品監視装置
１４  無線ルータ装置
１５  端末装置
１６  店内監視カメラ
１７  ＰＯＳシステム
１１０  第一通信部
１２０  第一操作入力部
１３０  第一表示部
１８０  第一記憶部
１９０  第一制御部
１９１  商品状態検出部
１９２  変化検知情報出力部
２１０  第二通信部
２２０  第二操作入力部
２３０  第二表示部
２８０  第二記憶部
２９０  第二制御部
２９１  変化検知情報取得部
２９２  被害情報処理部
【図１】
2018163547.tif 000003
【図２】
2018163547.tif 000004
【図３】
2018163547.tif 000005
【図４】
2018163547.tif 000006
【図５】
2018163547.tif 000007
【図６】
2018163547.tif 000008
【図７】
2018163547.tif 000009
【図８】
2018163547.tif 000010
【図９】
2018163547.tif 000011
【図１０】
2018163547.tif 000012
【図１１】
2018163547.tif 000013
【図１２】
2018163547.tif 000014
【図１３】
2018163547.tif 000015
【図１４】
2018163547.tif 000016
【図１５】
2018163547.tif 000017
【図１６】
2018163547.tif 000018
【国際調査報告】
2018163547.tif 000019
2018163547.tif 000020
2018163547.tif 000021
2018163547.tif 000022