(57)【要約】【課題】有効に万引き被害を低減することができる販売管理システムを提供することである。【解決手段】本発明に係る販売管理システム１００において、ストアコントローラ２００は、記録装置２０５に記録された精算カメラ２１３からの精算撮像データＳｄａおよび陳列棚カメラ５００からの陳列棚撮像データＴｄａが一致した場合、記録装置２０５から精算撮像データＳｄａおよび陳列棚撮像データＴｄａを消去する。そして、所定期間において陳列棚撮像データＴｄａが残存した場合、万引きの可能性の高い人物を特定することができる。【選択図】図３
2012242912.tif 000002
【特許請求の範囲】
【請求項１】
商品棚を有する販売店舗における販売管理システムであって、
前記商品棚に陳列された商品の移動を認識する計量装置と、
前記商品棚に配設された商品棚撮像装置と、
前記商品の各商品データを記録し、かつ前記商品の総合精算を行う精算装置と、
前記精算装置に配設された精算撮像装置と、
前記計量装置、前記商品棚撮像装置、前記精算装置および前記精算撮像装置からの各情報を記録する記録装置と、
前記記録装置の各情報を判定する判定装置と、を含み、
前記判定装置は、前記記録装置に記録された前記精算撮像装置からの精算撮像データおよび前記商品棚撮像装置からの移動撮像データが一致した場合、前記記録装置から一致した前記精算撮像データおよび前記移動撮像データを消去する、販売管理システム。
【請求項２】
前記判定装置は、前記精算撮像装置からの精算撮像データおよび前記商品棚撮像装置からの移動撮像データの一致を判定する顔認識システムをさらに有する、請求項１記載の販売管理システム。
【請求項３】
前記判定装置は、前記計量装置により前記商品が移動された前後の所定期間の移動撮像データを前記記録装置に記録するよう指示する、請求項１または２記載の販売管理システム。
【請求項４】
前記判定装置は、前記商品棚撮像装置における移動撮像データおよび前記精算撮像装置における精算撮像データに時間情報を付加する、請求項１から３のいずれか１項に販売管理システム。
【請求項５】
前記記録装置は、前記精算装置からの商品情報の個数情報と、当該商品情報に該当する在庫個数情報とを記録し、
前記判定装置は、前記商品情報の個数情報と、当該商品情報に該当する商品の在庫個数とが一致する場合に、前記記録装置の当該商品情報に対応する移動撮像データおよび精算撮像データを消去する、請求項１から４のいずれか１項に販売管理システム。
【請求項６】
前記販売店舗に配設された撮像装置と、
前記販売店舗の店員に注意を促す報知装置と、をさらに含み、
前記判定装置は、
精算撮像データと一致しない移動撮像データと、前記撮像装置により撮像された現在撮像データと、が一致した場合、報知装置により報知させる、請求項１から５のいずれか１項に販売管理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品を販売する店舗において使用される販売管理システムに関する。
【背景技術】
【０００２】
従来から、商品を販売する販売店舗においては、商品の窃盗および万引きが発生している。特に、一度窃盗または万引きを行われた店舗は、継続して商品の窃盗または万引きが発生する。
【０００３】
特許文献１には、物品販売店舗における万引き現行犯検知、常習者の再販防止を確実化し、実効性の高い顔認証応用万引き検知システムについて開示されている。
【０００４】
特許文献１記載の顔認証応用万引きシステムにおいては、物品販売店舗において、店舗内監視カメラによる顧客撮影映像・画像及び店舗内陳列商品取付けＩＣタグ・該当陳列台設置ＩＣタグ情報読取器間交信信号により顔認証照合機能の適用を前提に万引き現行犯及び万引き常習犯検知を行うシステムであって、顧客来店時にその正面画像を入店者撮影カメラが撮影し、入店月日、時刻と共にその画像をリアルタイムに記憶する入店顧客画像ファイル部と、顧客退店時にその正面画像を退店者撮影カメラが撮影し、退店月日、時刻と共にその画像をリアルタイムに記憶する退店顧客画像ファイル部と、店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号を受信するが、通常商品が陳列台に陳列された状態にて交信、顧客品評等により陳列台から商品が一定距離離れた段階で交信断となり、この交信通断のタイミングを検知し、顧客品評映像収集の起点となる信号を得るＩＣタグ交信部と、店舗内の総てのカメラを制御する部分であり、入退店者撮影カメラは店舗営業時間中常時作動、店舗内カメラの起動、停止、更に店舗内カメラに就いては該当カメラ各々の撮影分担に関わる撮影方向プリセットによる角度制御を行い、それら制御起点となる指令は、店舗内陳列商品毎に取付けたＩＣタグと該当陳列台に設置されたＩＣタグ情報読取器アンテナとの交信信号等による監視カメラ操作部と、顧客が店舗内にて品定めをする際の、該当商品を陳列台から取上げ、再び戻すという一連の購買行動を撮影した映像記憶部であり、撮影期間は顧客が該当商品を陳列台から取上げたタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信断の時点から陳列台に商品を戻したタイミング即ち、商品取付けＩＣタグとＩＣタグ情報読取器との交信の時点、もしくは該当商品を陳列台に戻すまでに時間を要した場合は、一定時間後に撮影は自動的に打ち切られ映像は終了するが、この撮影は、顧客が入れ替わっても同様に繰り返され該当陳列台位置相当の映像ファイルは常に最新情報に更新される、即ち、該当陳列台位置相当映像ファイルには、常に最後に品定めをした顧客映像が記憶されている顧客品評現場映像ファイル部と、顧客退店間際に撮影した該当顧客画像と、店舗内顧客購買行動を撮影した顧客品評現場映像とを順次リアルタイムに顔認証照合し、その結果照合一致した場合、その時点で、映像に写る該当商品ＩＤからその商品がレジ精算済みであるかを照会し、未清算であった場合に該当顧客を万引き現行犯として特定、該当画像をデータベースに蓄積すると共に、その結果をアラームとして発報するための信号を送る万引き現行犯顔認証照合部とを備えたものである。
【０００５】
特許文献２には、小売店舗における万引被害の回避策として、顧客による商品陳列棚からの人為的商品の取上げ状況をリアルタイムに監視し、万引行為を早期発見、店舗関係者に通報する万引検知機能付商品陳列システムについて開示されている。
【０００６】
特許文献２記載の万引検知機能付商品陳列システムにおいては、商品陳列ラックの陳列商品の万引検知に関するシステムであって、商品陳列ラックの棚毎に設けられ、棚上陳列商品総重量をリアルタイムに計測できる重量センサーと、棚上商品人為取上げ動作に起因する棚上陳列商品総重量の変動を検知する際の比較対象となる時系列２点の重量計測値の採取時間間隔に相当するサンプリングタイムを秒単位にて、該サンプリングタイム時間幅内での重量値変化分を異常と判定する基準となる変化分上限値を重量絶対値にて、もしくは、その重量絶対値を
該当棚上商品単体重量で除した製品個数換算値にて棚毎に外部設定する棚上商品重量変動異常判定パラメータ設定部と、重量センサーの計測値をリアルタイムに受信し、該当棚上商品人為取上げ動作に関わる棚上陳列商品総重量変動値を棚上商品重量変動異常判定パラメータ設定部より送られたサンプリングタイムに基づき棚毎に算出する棚上商品重量変動検知部と、商品搭載の無い棚上に商品を陳列する場合に、該当商品の単体重量を外部設定で入力するか、もしくは該当棚上に商品を順次並べる段階で棚上商品重量変動
検知部が有する重量値リアルタイム計測値より変動分を算出して該当数値を商品単体重量と見做して棚毎に認識し記憶する商品単体重量認識記憶部と、棚上商品重量変動検知部および商品単体重量認識記憶部の情報を受取り、棚上商品重量変動異常判定パラメータ設定部からの変化分上限値相当重量絶対値もしくは、その重量絶対値を該当棚上商品単体重量で除した製品個数換算値に基づいて、該当サンプリングタイム時間幅内の各棚の重量値変化分が変化分上限値以内であるか否かを棚毎に判断する棚上商品重量変動異常判定部と、を備え、小売店舗内商品陳列ラック棚上陳列商品が万引行為により所定時間内に多数消滅した場合、その異常現象発生を陳列棚の商品重量変化により瞬時に検出し店舗関係者への通報を行い、もしくは、店舗内における警報発報を可能とするものである。
【０００７】
さらに、特許文献３には、計量器を複数持った防犯システムについて開示されている。特許文献３記載の計量器を複数持った防犯システムにおいては、店舗内に設置された万引き防止用ユニットである。また、入口用・出口用の複数の計量器を有している万引き防止ユニットである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２５７４８７号公報
【特許文献２】特開２００９−７２３９１号公報
【特許文献３】特開２００８−１９７９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上のように、万引きに関しては、種々の発明が提案されている。特許文献１記載の顔認証応用万引きシステムにおいては、ＩＣタグを利用しており、高額商品には対応できるが、バックヤード等で加工される加工商品等の日々種別が変更する商品については、対応することができない。
【００１０】
また、特許文献２記載の万引検知機能付商品陳列システムにおいては、同一商品を多数個窃盗する窃盗団等に対して有効であるものの、一般に継続して行われる小数個窃盗に対しては、有効性が低い。なお、小数個窃盗の方が多発しており、被害額も大きい。
【００１１】
さらに、特許文献３記載の計量器を複数持った防犯システムにおいては、入店時と退店時との体重差を検出するが、入退店時のいずれも歩行した状態であり、体重計測が静止した状態ではないため、正確な計量が困難となり、誤差が生じる。したがって、商品の単位重量が数百グラム等の小さい場合には、当該システムによる防犯の実行性がない。
【００１２】
本発明の目的は、有効に万引き被害を低減することができる販売管理システムを提供することである。
【００１３】
（１）
一局面に従う販売管理システムは、商品棚を有する販売店舗における販売管理システムであって、商品棚に陳列された商品の移動を認識する計量装置と、商品棚に配設された商品棚撮像装置と、商品の各商品データを記録し、かつ商品の総合精算を行う精算装置と、精算装置に配設された精算撮像装置と、計量装置、商品棚撮像装置、精算装置および精算撮像装置からの各情報を記録する記録装置と、記録装置の各情報を判定する判定装置と、を含むものである。
【００１４】
販売管理システムにおいて、判定装置は、記録装置に記録された精算撮像装置からの撮像データおよび商品棚撮像装置からの撮像データが一致した場合、記録装置から撮像データを消去する。
【００１５】
この場合、記録装置には、商品棚から商品が移動された際の移動撮像データと、精算撮像装置における精算撮像データとが一致しないデータのみ残される。すなわち、移動撮像データのみが残る場合には、商品の盗難の可能性があることが認識できる。さらに、記録装置において、継続的に記録を保管することで、多数回、移動撮像データに記録された人物が要注意人物であると推定することができる。また、記録装置の容量を最小限にすることができる。
【００１６】
（２）
販売管理システムにおいて、判定装置は、精算撮像装置からの精算撮像データおよび商品棚撮像装置からの移動撮像データの一致を判定する顔認識システムをさらに有してもよい。
【００１７】
この場合、判定装置は、顔認識システムを有するので、精算撮像データおよび移動撮像データを高い確率で判定することができる。
【００１８】
（３）
販売管理システムにおいて、判定装置は、計量装置により商品が移動された前後の所定期間の移動撮像データを記録装置に記録するよう指示してもよい。
【００１９】
この場合、判定装置は、移動撮像データを所定期間に限定することができるので、記録装置の容量を最小限にすることができ、コスト低減を図ることができるとともに、各撮像データの一致判定の処理速度を高めることができる。
【００２０】
（４）
販売管理システムにおいて、判定装置は、時間測定装置を含み、判定装置は、商品棚撮像装置における移動撮像データおよび前記精算撮像装置における精算撮像データに時間情報を付加してもよい。
【００２１】
この場合、判定装置は、移動撮像データおよび精算撮像データに時間情報が付加されているので、移動撮像データおよび精算撮像データの一致処理を、時間情報に応じて実施することができる。その結果、一致処理のデータを限定できるので、処理を円滑にすることができる。
【００２２】
（５）
販売管理システムにおいて、記録装置は、精算装置からの商品情報の個数情報と、当該商品情報に該当する在庫個数情報とを記録し、判定装置は、商品情報の個数情報と、当該商品情報に該当する商品の在庫個数とが一致する場合に、記録装置の当該商品情報に対応する移動撮像データおよび精算撮像データを消去してもよい。
【００２３】
この場合、判定装置は、商品の在庫個数が正しい場合、正常に当該商品情報の商品が販売されているとして、判定することができる。そのため、移動撮像データおよび精算撮像データが不要となり、当該撮像データを消去することで、一致処理の負荷を減らすことができ、高速処理化を図ることができる。
【００２４】
（６）
販売管理システムにおいて、販売店舗に配設された撮像装置と、販売店舗の店員に注意を促す報知装置と、をさらに含み、判定装置は、精算撮像データと一致しない移動撮像データと、撮像装置により撮像された現在撮像データと、が一致した場合、報知装置により報知させてもよい。
【００２５】
この場合、精算撮像データと一致しない移動撮像データと、現在撮像データとが、一致した場合には、精算しないで商品を持ち帰る人物が、店舗内に来店している可能性があるので、報知手段により店員に注意を促すことができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施の形態に係る販売管理システムの一例を示す模式図である。
【図２】図１の陳列棚カメラおよび陳列棚計量装置を備えた陳列棚の一例を示す模式図である。
【図３】陳列棚撮像処理の一例を示すフローチャートである。
【図４】精算撮像処理の一例を示すフローチャートである。
【図５】閉店時における処理の一例を示すフローチャートである。
【図６】注意勧告処理の一例を示すフローチャートである。
【図７】販売管理システムにおけるストアコントローラにおける動作の他の例を説明するためのフローチャートである。
【図８】販売管理システムにおけるストアコントローラにおける動作の他の例を説明するためのフローチャートである。
【図９】販売管理システムにおけるストアコントローラにおける動作の他の例を説明するためのフローチャートである。
【００２７】
以下、本発明に係る実施の形態について図面を用いて説明する。本実施の形態においては、販売店舗における販売管理システムの一例を示しつつ説明を行う。
【００２８】
（一実施の形態）
まず、図１は、本発明の一実施の形態に係る販売管理システムの一例を示す模式図である。
【００２９】
図１に示すように、販売管理システム１００は、ストアコントローラ２００、ＰＯＳ（Point of sale）システム２１０、ターミナル（以下、ＴＡと呼ぶ。）３００、本部システム３１０、複数の陳列棚に設けられた陳列棚カメラ５００、複数の陳列棚に設けられた陳列棚計量装置６００、音声表示装置７００および入退店カメラ９００を含む。
【００３０】
また、図１のＰＯＳシステム２１０には、商品マスタ２１１、ＰＯＳレジスタ２１２および精算カメラ２１３が含まれる。さらに、図１のストアコントローラ２００には、記録装置２０５が内蔵される。
【００３１】
なお、商品マスタ２１１には、商品コード、商品名、原料、原産、加工条件、賞味期限、商品の単位重量、その他の情報が含まれる。
【００３２】
図１に示すように、陳列棚カメラ５００および陳列棚計量装置６００は、ストアコントローラ２００に対してＬＡＮ（ローカルエリアネットワーク）等で接続されている。陳列棚カメラ５００および陳列棚計量装置６００は、陳列棚に配設される商品毎に設けられる。すなわち、本実施の形態においては、陳列棚カメラが５０個配設されており、陳列棚カメラ５０１，〜，陳列棚カメラ５５０を総称して陳列棚カメラ５００と呼ぶ。また、同様に、陳列棚計量装置６００が５０個配設されており、陳列棚計量装置６０１，〜，陳列棚計量装置６５０を総称して陳列棚計量装置６００と呼ぶ。
【００３３】
なお、本実施の形態においては、陳列棚カメラ５００、陳列棚計量装置６００の個数を５０個で図示して説明しているが、これに限定されず、販売店舗の大きさおよび商品の陳列棚の個数に応じた他の任意の数であってもよい。同様に、音声表示装置７００および入退店カメラ９００の個数も本実施の形態においては、１個としているが、これに限定されず、他の任意の個数であってもよい。さらに、入退店カメラ９００は、監視カメラを併用してもよく、入店カメラ機能のみであってもよい。
【００３４】
また、図１の販売管理システム１００において、ストアコントローラ２００は、一般的なコンピュータにより構成されている。また、ストアコントローラ２００は、当該販売店舗内の販売管理システム１００における最上位の制御システムとして配置され、外部ネットワークに接続可能な機能を有する。例えば、当該機能は、販売店舗が系列店である場合に、当該外部ネットワークと接続されるＴＡ３００を通じて本部システム３１０のコンピュータと通信可能なものである。
【００３５】
続いて、図２は、図１の陳列棚カメラ５００および陳列棚計量装置６００を備えた陳列棚８００の一例を示す模式図である。
【００３６】
図２に示すように、陳列棚８００には、複数種の商品Ａ，〜，商品Ｋが陳列されている。陳列棚８００の各載置部分の底面には、陳列棚計量装置６０１，〜，陳列棚計量装置６１１が配設されている。また、各載置部分の前面には、陳列棚カメラ５０１，〜，陳列棚カメラ５１１が配設されている。
例えば、商品Ａの陳列棚の載置面に、陳列棚計量装置６０１が備えられており、陳列棚の前面に陳列棚カメラ５０１が設けられている。
【００３７】
次に、図３から図６までは、販売管理システム１００におけるストアコントローラ２００における動作を説明するためのフローチャートである。図３から図６においては、それぞれバッチ処理がなされる。
【００３８】
図３は、陳列棚撮像処理の一例を示すフローチャートであり、図４は精算撮像処理の一例を示すフローチャートである。また、図５は、閉店時における処理の一例を示すフローチャートであり、図６は注意勧告処理の一例を示すフローチャートである。
【００３９】
（陳列棚撮像処理）
図３に示すように、開店時において、ストアコントローラ２００は、陳列棚カメラ５００から陳列棚撮像データＴｄａを受け取る(ステップＳ１)。ストアコントローラ２００は、内蔵されたバッファに（図示せず）陳列棚撮像データＴｄａを記録する。また、ストアコントローラ２００は、陳列棚撮像データＴｄａをコピーした陳列棚撮像データＴｄａ２を後述する入店撮像データｂとして記録する。
【００４０】
続いて、ストアコントローラ２００は、陳列棚計量装置６００の計測値が減少したか否かを判定する（ステップＳ２）。当該計測値が減少した場合、所定の陳列棚計量装置６００の配設された面上の商品が顧客によって取られたことを意味する。
一方、当該計測値が減少しない場合、当該陳列棚計量装置６００の配設された面上の商品が顧客によって取られていないことを意味する。
さらに、当該計測値が増加した場合、当該陳列棚計量装置６００の配設された面上の商品が並んでいる陳列棚８００に他の商品を顧客が戻したことを意味する。この場合、商品マスタに記録された商品単位重量と一致または倍数でない場合、後述する音声表示装置７００により店内従業員に指示を出してもよい。
【００４１】
次に、ストアコントローラ２００は、陳列棚計量装置６００の計測値が減少した場合、所定期間の陳列棚撮像データＴｄａを記録装置２０５に記録する（ステップＳ３）。また、ストアコントローラ２００は、時間データおよび減少した計測値から陳列された商品の取り出された個数を算出し、陳列棚撮像データＴｄａに付加する（ステップＳ４）。
ここで、所定期間の陳列棚撮像データＴｄａとは、計測値が減少する前後各３分程度の陳列棚撮像データＴｄａを示す。
【００４２】
すなわち、計測値が減少した後に陳列棚撮像データＴｄａを記録することとした場合、陳列棚撮像データＴｄａに顧客の顔が撮像されていない場合があるため、バッファにより保持している陳列棚撮像データＴｄａを記録する。
一方、継続的に陳列棚撮像データＴｄａを記録させた場合、記録装置２０５の容量として大容量が必要となり、費用面および処理速度の点から問題が生じる。
【００４３】
（精算撮像処理）
次に、精算撮像処理について説明する。図４に示すように、開店時において、ストアコントローラ２００は、精算カメラ２１３から精算撮像データＳｄａを受け取る（ステップＳ５）。ストアコントローラ２００は、内蔵されたバッファ（図示せず）に精算撮像データＳｄａを記録する。また、ストアコントローラ２００は、精算撮像データＳｄａをコピーした精算撮像データＳｄａ２を後述する入店撮像データｃとして記録する。
【００４４】
次いで、ＰＯＳシステム２１０のＰＯＳレジスタ２１２において顧客が商品を精算する場合、所定期間の精算撮像データＳｄａを記録装置２０５に記録する（ステップＳ６）。
ここで、所定期間の精算撮像データＳｄａとは、ＰＯＳレジスタ２１２において商品が精算開始される前後各５分程度の精算撮像データＳｄａを示す。
すなわち、ＰＯＳレジスタ２１２において精算が開始された後に精算撮像データＳｄａを記録することとした場合、精算撮像データＳｄａに顧客の顔が撮像されていない場合があるため、バッファにより保持している精算撮像データＳｄａを記録する。
また、陳列棚撮像データＴｄａと同様に、継続的に精算撮像データＳｄａを継続的に記録させた場合、記録装置２０５の容量が大容量となり、費用面および処理速度の点から問題が生じる。
【００４５】
次に、ＰＯＳシステム２１０のＰＯＳレジスタ２１２において、商品の個数を認識することができるので、商品個数と時間データとを精算撮像データＳｄａに付加する（ステップＳ７）。
【００４６】
（閉店時処理）
続いて、閉店時における処理について説明する。上記の陳列棚撮像処理と精算撮像処理とは、開店時にそれぞれバッチ処理したが、下記の処理は、ハード的な負担を避けるために閉店時に単独でバッチ処理されることが望ましい。
【００４７】
図５に示すように、ストアコントローラ２００は、閉店後に、記録装置２０５に記録された精算撮像データＳｄａと陳列棚撮像データＴｄａとを比較し、商品の個数および顧客の顔情報が一致するか否かを判定する（ステップＳ８）。なお、顧客の顔情報が一致するか否かの判定の詳細については、後述する。
【００４８】
次に、ストアコントローラ２００は、精算撮像データＳｄａと陳列棚撮像データＴｄａとが一致した場合、該当する記録装置２０５の記録を消去する（ステップＳ９）。
【００４９】
一方、ストアコントローラ２００は、精算撮像データＳｄａと陳列棚撮像データＴｄａとが一致しない場合、納入された当該商品の個数から、現在の在庫個数と販売実績個数とをあわせた商品個数が一致するか否かを判定する（ステップＳ１０）。ここで、商品個数が一致した場合、該当する記録装置２０５の記録を消去する（ステップＳ１１）。一方、商品個数が一致しない場合、該当する記録装置の記録を保持する（ステップＳ１２）。
【００５０】
続いて、ストアコントローラ２００は、同一人物における所定回数の陳列棚撮像データＴｄａのみが記録装置２０５に記録されているか否かの判定を行う（ステップＳ１３）。
ここで、ストアコントローラ２００は、同一人物における陳列棚撮像データＴｄａが１回のみ記録されていると判定した場合、ステップＳ８の処理に戻り、ステップＳ８からステップＳ１３の処理を繰り返す（ステップＳ１３のＮｏ）。
【００５１】
一方、ストアコントローラ２００は、同一人物における陳列棚撮像データＴｄａが所定回数以上（２回以上）記録されていると判定した場合、記録装置２０５に注意情報として記録する（ステップＳ１４）。
【００５２】
（注意勧告処理）
続いて、上記の陳列棚撮像処理および精算撮像処理とともに開店時にバッチ処理する注意勧告処理について説明を行う。
図６に示すように、開店時において、ストアコントローラ２００は、記録装置２０５に記録された注意情報の読み込みを行う（ステップＳ１５）。次いで、ストアコントローラ２００は、入退店カメラ９００の入店撮像データＩｄａを受信し（ステップＳ１６）、入店撮像データａとしてバッファに記録する。ここで、ストアコントローラ２００は、随時注意情報として記録された顔データと、入退店カメラ９００から受信する入店撮像データａとを比較する（ステップＳ１７）。
【００５３】
ここで、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データａとが一致した場合、音声表示装置７００に注意勧告指示を行う（ステップＳ１８）。
一方、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データａとが一致しない場合またはステップＳ１８の処理が終了した場合には、バッファに記録された陳列棚カメラによる入店撮像データｂを受信する（ステップＳ１９）。次いで、ストアコントローラ２００は、注意情報として記録された顔データと、入店撮像データｂとを比較する（ステップＳ２０）。
【００５４】
ここで、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データｂとが一致した場合、音声表示装置７００に注意勧告指示を行う（ステップＳ２１）。
一方、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データｂとが一致しない場合、またはステップＳ２１の処理が終了した場合には、バッファに記録され精算カメラによる入店撮像データｃを受信する（ステップＳ２２）。次いで、ストアコントローラ２００は、注意情報として記録された顔データと、入店撮像データｃとを比較する（ステップＳ２３）。
【００５５】
ここで、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データｃとが一致した場合、音声表示装置７００に注意勧告指示を行う（ステップＳ２４）。
【００５６】
一方、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データａ,ｂ,ｃとが一致しない場合、またはステップＳ２４の処理を終了した場合には、当該工程の処理を終了する。
【００５７】
なお、具体的に、音声表示装置７００は、管理者または警備員の常駐するモニター等である。その結果、音声表示装置７００に注意勧告と、該当する要注意人物の顔写真が表示される。なお、入退店カメラ９００は、店内出入り口のみならず、陳列棚８００およびＰＯＳシステム２１０にそれぞれ配設し、注意情報と比較判定を行ってもよい。
【００５８】
次に、ストアコントローラ２００における顔認識の処理について説明を行う。
本実施の形態においては、ＯｐｅｎＣＶ（Intel Open
Source Computer 
Vision Library）のライブラリを用いた機械学習を主に使用する。ここで、機械学習とは、人工知能における研究課題のひとつで、人間が自然に行っている学習能力と同様の機能をコンピュータで実現させるための技術または手法のことをいう。
【００５９】
具体的には、ある程度の数のサンプルデータ集合（陳列棚撮像データＴｄａ）を対象に解析を行い、特徴量を抽出し、学習を行い、当該学習結果データと、他の入力されたサンプルデータ（精算撮像データＳｄａ）の特徴量を抽出し、相互の特徴量の判定を行って認識結果を算出するものである。本実施の形態においては、当該機械学習を用いて顔認識を実施する。
【００６０】
（リアルタイム処理）
次に、図７、図８および図９は、販売管理システム１００におけるストアコントローラ２００における動作の他の例を説明するためのフローチャートである。上記の図３から図６までのストアコントローラ２００の動作の一例は、個々にバッチ処理を行うこととしたが、これに限定されず、以下のように、ハード的問題が生じない場合、またはストアコントローラ２００の性能が飛躍的に向上した場合であれば、以下のリアルタイム処理を行ってもよい。
【００６１】
まず、ストアコントローラ２００は、陳列棚カメラ５００から陳列棚撮像データＴｄａを受け取る(ステップＳ８１)。ストアコントローラ２００は、内蔵されたバッファに（図示せず）陳列棚撮像データＴｄａを記録する。また、ストアコントローラ２００は、陳列棚撮像データＴｄａをコピーした陳列棚撮像データＴｄａ２を後述する入店撮像データｂとして記録する。
【００６２】
同様に、ストアコントローラ２００は、精算カメラ２１３から精算撮像データＳｄａを受け取る（ステップＳ８２）。ストアコントローラ２００は、内蔵されたバッファ（図示せず）に精算撮像データＳｄａを記録する。
【００６３】
続いて、ストアコントローラ２００は、陳列棚計量装置６００の計測値が減少したか否かを判定する（ステップＳ８３）。当該計測値が減少した場合、所定の陳列棚計量装置６００の配設された面上の商品が顧客によって取られたことを意味する。
一方、当該計測値が減少しない場合、当該陳列棚計量装置６００の配設された面上の商品が顧客によって取られていないことを意味する。
【００６４】
次に、ストアコントローラ２００は、陳列棚計量装置６００の計測値が減少した場合、所定期間の陳列棚撮像データＴｄａを記録装置２０５に記録する（ステップＳ８４）。また、ストアコントローラ２００は、時間データおよび減少した計測値から陳列された商品の取り出された個数を算出し、陳列棚撮像データＴｄａに付加する（ステップＳ８５）。
ここで、所定期間の陳列棚撮像データＴｄａとは、計測値が減少する前後各３分程度の陳列棚撮像データＴｄａを示す。
【００６５】
すなわち、計測値が減少した後に陳列棚撮像データＴｄａを記録することとした場合、陳列棚撮像データＴｄａに顧客の顔が撮像されていない場合があるため、バッファにより保持している陳列棚撮像データＴｄａを記録する。
一方、継続的に陳列棚撮像データＴｄａを記録させた場合、記録装置２０５の容量として大容量が必要となり、費用面および処理速度の点（ハード的面）から問題が生じる。なお、ハード的面から問題が生じなければ、継続処理を行ってもよい。
【００６６】
次いで、ＰＯＳシステム２１０のＰＯＳレジスタ２１２において顧客が商品を精算する場合、所定期間の精算撮像データＳｄａを記録装置２０５に記録する（ステップＳ６）。
ここで、所定期間の精算撮像データＳｄａとは、ＰＯＳレジスタ２１２において商品が精算開始される前後各５分程度の精算撮像データＳｄａを示す。
すなわち、ＰＯＳレジスタ２１２において精算が開始された後に精算撮像データＳｄａを記録することとした場合、精算撮像データＳｄａに顧客の顔が撮像されていない場合があるため、バッファにより保持している精算撮像データＳｄａを記録する。また、ストアコントローラ２００は、精算撮像データＳｄａをコピーした精算撮像データＳｄａ２を後述する入店撮像データｃとして記録する。
また、陳列棚撮像データＴｄａと同様に、継続的に精算撮像データＳｄａを継続的に記録させた場合、記録装置２０５の容量が大容量となり、費用面および処理速度の点（ハード的面）から問題が生じる。
【００６７】
次に、ＰＯＳシステム２１０のＰＯＳレジスタ２１２において、商品の個数を認識することができるので、商品個数と時間データとを精算撮像データＳｄａに付加する（ステップＳ８７）。
【００６８】
続いて、図８に示すように、ストアコントローラ２００は、記録装置２０５に記録された精算撮像データＳｄａと陳列棚撮像データＴｄａとを比較し、商品の個数および顧客の顔情報が一致するか否かを判定する（ステップＳ８８）。なお、顧客の顔情報が一致するか否かの判定の詳細については、図３から図６までの場合と同じである。
【００６９】
次に、ストアコントローラ２００は、精算撮像データＳｄａと陳列棚撮像データＴｄａとが一致した場合、該当する記録装置２０５の記録を消去する（ステップＳ８９）。
【００７０】
一方、ストアコントローラ２００は、精算撮像データＳｄａと陳列棚撮像データＴｄａとが一致しない場合、納入された当該商品の個数から、現在の在庫個数と販売実績個数とをあわせた商品個数が一致するか否かを判定する（ステップＳ９０）。ここで、商品個数が一致した場合、該当する記録装置２０５の記録を消去する（ステップＳ９１）。一方、商品個数が一致しない場合、該当する記録装置の記録を保持する（ステップＳ９２）。
【００７１】
続いて、ストアコントローラ２００は、同一人物における所定回数の陳列棚撮像データＴｄａのみが記録装置２０５に記録されているか否かの判定を行う（ステップＳ９３）。
ここで、ストアコントローラ２００は、同一人物における陳列棚撮像データＴｄａが１回のみ記録されていると判定した場合、ステップＳ８１の処理に戻り、ステップＳ８１からステップＳ９３の処理を繰り返す（ステップＳ９３のＮｏ）。
【００７２】
一方、ストアコントローラ２００は、同一人物における陳列棚撮像データＴｄａが所定回数以上（２回以上）記録されていると判定した場合、記録装置２０５に注意情報として記録する（ステップＳ９４）。
【００７３】
次に、ストアコントローラ２００は、入退店カメラ９００の入店撮像データＩｄａを受信し、（ステップＳ９５）入店撮像データａとしてバッファに記録する。ここで、ストアコントローラ２００は、随時注意情報として記録された顔データと、入退店カメラ９００から受信する入店撮像データａとを比較する（ステップＳ９６）。
【００７４】
ここで、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データａとが一致した場合、音声表示装置７００に注意勧告指示を行う（ステップＳ９７）。
なお、具体的に、音声表示装置７００は、管理者または警備員の常駐するモニター等である。その結果、音声表示装置７００に注意勧告と、該当する要注意人物の顔写真が表示される。なお、入退店カメラ９００は、店内出入り口のみならず、陳列棚８００およびＰＯＳシステム２１０にそれぞれ配設し、注意情報と比較判定を行ってもよい。
【００７５】
一方、図９に示すように、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データａとが一致しない場合またはステップＳ９７の処理が終了した場合には、バッファに記録された陳列棚カメラによる入店撮像データｂを受信する（ステップＳ９８）。次いで、ストアコントローラ２００は、注意情報として記録された顔データと、入店撮像データｂとを比較する（ステップＳ９９）。
【００７６】
ここで、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データｂとが一致した場合、音声表示装置７００に注意勧告指示を行う（ステップＳ１００）。
一方、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データｂとが一致しない場合またはステップＳ１００の処理が終了した場合には、バッファに記録され精算カメラによる入店撮像データｃを受信する（ステップＳ１０１）。次いで、ストアコントローラ２００は、注意情報として記録された顔データと、入店撮像データｃとを比較する（ステップＳ１０２）。
【００７７】
ここで、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データｃとが一致した場合、音声表示装置７００に注意勧告指示を行う（ステップＳ１０３）。
【００７８】
一方、ストアコントローラ２００は、随時注意情報として記録された顔データと、入店撮像データａ,ｂ,ｃとが一致しない場合、またはステップＳ１０２の処理を終了した場合には、当該工程の処理を終了する。
なお、上記の実施の形態においては、ステップＳ９８からステップＳ１０３を実施することとしたが、これに限定されず、ステップＳ９８からステップＳ１０３を実施しなくてもよい。
【００７９】
＜他の例＞
なお、上記の実施の形態においては、機械学習を用いるとしたが、これに限定されず、他の任意の顔認識システムを用いてもよい。
【００８０】
また、本実施の形態においては、陳列棚計量装置６００を用いることとしたが、これに限定されず、陳列棚計量装置６００にＲＦＩＤ等の他のシステムを用いてもよい。
【００８１】
なお、上記の実施の形態においては、音声表示装置７００は、モニター等であることとしたが、これに限定されず、さらに販売店舗の店員が所有するハンディターミナル、携帯端末装置等の無線機器を含めてもよい。
【００８２】
また、図３のステップＳ３および図７のステップＳ８３の処理において異常な計測値の変化がある場合、音声表示装置７００に警告を表示させてもよい。その結果、大量商品窃盗の可能性を防止することができる。
【００８３】
さらに、陳列棚カメラ５００または陳列棚計量装置６００に個別に音声発生装置を設け、“商品のお買い上げありがとうございました。”という音声等を流すようにしてもよい。その結果、犯罪者の心理に影響を与え、防犯対策になる。
【００８４】
以上のように、販売管理システム１００において、記録装置２０５には、陳列棚８００から商品が移動された際の陳列棚撮像データＴｄａと、精算カメラ２１３における精算撮像データＳｄａが一致しない、すなわち、陳列棚撮像データＴｄａのみが残る場合には、盗難の可能性があることが認識できる。また、ストアコントローラ２００は、顔認識システムを有するので、精算撮像データＳｄａおよび陳列棚撮像データＴｄａを高い確率で判定することができる。さらに、記録装置２０５において、継続的に記録を保管することで、多数回、陳列棚撮像データＴｄａに記録された人物が要注意人物であると推定することができる。
【００８５】
また、ストアコントローラ２００は、バッファに陳列棚撮像データＴｄａを所定期間保持させているので、記録装置２０５の容量を最小限にすることができ、コスト低減を図ることができるとともに、一致か否かの判定の処理速度を高めることができる。
さらに、ストアコントローラ２００は、陳列棚撮像データＴｄａおよび精算撮像データＳｄａに時間情報が付加されているので、陳列棚撮像データＴｄａおよび精算撮像データＳｄａの一致処理を、時間情報に応じて実施することができる。その結果、一致処理のデータを限定できるので、処理を円滑にすることができる。
【００８６】
また、ストアコントローラ２００は、ステップＳ１１に示すように、商品の在庫個数が正しい場合、正常に当該商品情報の商品が販売されているとして、判定することができる。そのため、陳列棚撮像データＴｄａおよび精算撮像データＳｄａが不要となり、当該撮像データ（Ｔｄａ，Ｓｄａ）を消去することで、一致処理の負荷を減らすことができ、高速処理化を図ることができる。
特に、同一商品を複数個取り、複数のうち一部の商品だけ精算する狡猾な万引きまたは窃盗に対しても判定することができるため、有効である。
【００８７】
さらに、ストアコントローラ２００は、入退店カメラ９００からの入店撮像データＩｄａと、精算撮像データＳｄａと一致せず、記録されている陳列棚撮像データＴｄａとが、一致した場合には、精算しないで商品を持ち帰る人物が、店舗内に来店している可能性があるので、音声表示装置７００により店員に注意を促すことができる。
【００８８】
また、図３から図６までの処理の場合、ハード的に容量が必要となる閉店時処理を開店時に実施しないことで、処理を円滑に行うことができ、他の営業時における処理を阻害することを防止できる。
【００８９】
本実施の形態においては、陳列棚８００が商品棚に相当し、販売管理システム１００が販売管理システムに相当し、商品Ａ，〜，商品Ｋが商品に相当し、陳列棚計量装置６００が計量装置に相当し、陳列棚カメラ５００が商品棚撮像装置に相当し、ＰＯＳレジスタ２１２が精算装置に相当し、精算カメラ２１３が精算撮像装置に相当し、記録装置２０５が記録装置に相当し、ストアコントローラ２００が判定装置に相当し、入退店カメラ９００が撮像装置に相当し、音声表示装置７００が報知装置に相当する。
【００９０】
本発明の好ましい一実施の形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。
【符号の説明】
【００９１】
１００  販売管理システム
２００  ストアコントローラ
２１０  ＰＯＳシステム
２１２  精算カメラ
５００  陳列棚カメラ
６００  陳列棚計量装置
７００  音声表示装置
８００  陳列棚
９００  入退店カメラ
【図１】
2012242912.tif 000003
【図２】
2012242912.tif 000004
【図３】
2012242912.tif 000005
【図４】
2012242912.tif 000006
【図５】
2012242912.tif 000007
【図６】
2012242912.tif 000008
【図７】
2012242912.tif 000009
【図８】
2012242912.tif 000010
【図９】
2012242912.tif 000011