(57)【要約】【課題】顧客や陳列商品を撮影し、この撮影画像に基づいて商品が不正に持ち出されるかを自動監視できるようにする。【解決手段】管理センタ１は、陳列商品が取り出された際に、通路監視カメラ５、商品監視カメラ６によって撮影された撮影画像に基づいて当該商品が取り出された個数を監視対象として特定すると共に、この商品個数と当該顧客を撮影した顧客画像とを対応付けて商品監視データベース内に記憶管理しておく。ＰＯＳ端末２側において１取引分の商品を登録する精算時に当該顧客が撮影された際に、この顧客画像に対応付けられている監視対象の商品個数と登録済みの商品個数とを比較することによって登録済み商品の個数分を監視対象外として処理するが、監視対象個数分の全てが監視対象外となっていなければ、不正持ち出しの可能性が有ると判断してその旨を報知する。【選択図】  図１
2004171241.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像に基づいて陳列商品が不正に持ち出されるかを監視する不正監視システムであって、
陳列商品がその位置から取り出される毎にその商品個数を監視対象として特定する特定手段と、
この特定手段によって監視対象として特定された商品個数と当該顧客を撮影した顧客画像とを対応付けて記憶管理する監視情報記憶手段と、
顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に基づいて前記監視情報記憶手段を検索し、その顧客に対応付けられている監視対象の商品個数と登録済みの商品個数とを比較することによって登録済み商品の個数分を監視対象外とする精算手段と、
この精算処理によって前記監視情報記憶手段内の監視対象個数分の全てが監視対象外となったかを顧客毎に判別する判別手段と、
この判別手段によって監視対象個数分の全てが監視対象外となっていないことが判別された場合には、不正持ち出しの可能性が有ると判断してその旨を報知する報知手段と、
を具備したことを特徴とする不正監視システム。
【請求項２】
前記判別手段は、１取引分の登録終了時において監視対象個数分の全てが監視対象外となったかを判別し、
前記報知手段は、全てが監視対象外となっていないことが判別された場合には、１取引分の登録終了時に不正持ち出しの可能性が有る旨を報知する、
ようにしたことを特徴とする請求項１記載の不正監視システム。
【請求項３】
前記判別手段は、顧客が退場する際に、その退場者を撮影した退場者画像に基づいて前記監視情報記憶手段を検索し、その顧客の監視対象個数分の全てが監視対象外となったかを判別し、
前記報知手段は、全てが監視対象外となっていないことが判別された場合には、その顧客の退場時に不正持ち出しの報知を行う、
ようにしたことを特徴とする請求項１記載の不正監視システム。
【請求項４】
前記特定手段は、商品陳列付近を撮影した撮影画像を解析することによってその付近に顧客が存在しているかを認識し、商品陳列付近に顧客が居る場合には、その解析結果にしたがって顧客の手の動きを監視し、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する、
ようにしたことを特徴とする請求項１記載の不正監視システム。
【請求項５】
前記特定手段は、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する際に、複数台のカメラによって撮影された各撮影画像を照らし合わせることによって商品が取り出されたかを認識する、
ようにしたことを特徴とする請求項４記載の不正監視システム。
【請求項６】
前記特定手段は、陳列商品がその位置から取り出された後において当該商品が戻されたかを監視し、商品が戻された場合には、戻された個数分の当該商品を監視対象外とする、
ようにしたことを特徴とする請求項１記載の不正監視システム。
【請求項７】
前記監視対象個数分の全てが監視対象外ではない場合に、その顧客画像を不正者画像として不正者リストに登録する不正者登録手段と、
入場者を撮影した入場者画像に基づいて前記不正者リストを検索し、入場者画像が不正者画像に該当する場合には、不正者が入場した旨を報知する不正者入場報知手段と、
を設けたことを特徴とする請求項１記載の不正監視システム。
【請求項８】
前記各顧客画像は、顧客の全体を撮影した全身画像であり、各顧客画像を比較する際には、顧客の性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色の各特徴要素のうち、少なくとも、その顔画像と他の要素とを総合的に解析して画像比較を行う、
ようにしたことを特徴とする請求項１、２、７何れか記載の不正監視システム。
【請求項９】
顧客が入場してから最初に商品を取り出した際に、その時の顧客画像を前記監視対象の商品個数に対応付けて保存し、次に同一顧客が商品を取り出す際に、今回撮影された顧客画像と保存画像とを比較処理し、その結果、保存画像よりも今回の画像の方が顧客の特徴をより現している場合には、保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新する、
ようにしたことを特徴とする請求項１記載の不正監視システム。
【請求項１０】
コンピュータに対して、
陳列商品がその位置から取り出される毎に、その商品個数を監視対象として特定する機能と、
監視対象として特定された商品個数と当該顧客を撮影した顧客画像とを対応付けて記憶管理する機能と、
顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に対応付けられている監視対象の商品個数と登録済みの商品個数とを比較することによって登録済み商品の個数分を監視対象外とする機能と、
監視対象個数分の全てが監視対象外となったかを顧客毎に判別する機能と、
監視対象個数分の全てが監視対象外となっていないことが判別された場合には、不正持ち出しの可能性が有ると判断してその旨を報知する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、撮影画像に基づいて陳列商品が不正に持ち出されるかを監視する不正監視システムおよびプログラムに関する。
【０００２】
【従来の技術】
一般に、店舗において陳列商品が不正に持ち出されることを防止する万引き防止策としては、店内に各箇所に顧客監視用のカメラを配置し、この監視カメラによるモニタ画面を見ながら係員が不正者を見つけ出すようにしているが、専任の係員を必要としたり、見落としも多く、万引き防止策としては、万全ではなかった。
そこで、従来においては、予め商品の個々に感知タグと呼ばれる万引き防止用のタグを取り付けておき、出口において未精算の商品を検知するようにしたものが知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−０７４２８６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、この種の感知タグ方式においては、万引き防止策としては有効に機能するが、予め販売対象の全ての商品に専用タグを取り付る作業を必要とすると共に、精算時においては商品からタグを取り外す等の特殊な作業を必要とする為に、万引き防止用として店側に特別な労力を強要することになり、その改善が要望されていた。
【０００５】
この発明の課題は、顧客や陳列商品を撮影し、この撮影画像に基づいて商品が不正に持ち出されるかを自動監視できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、撮影画像に基づいて陳列商品が不正に持ち出されるかを監視する不正監視システムであって、陳列商品がその位置から取り出される毎にその商品個数を監視対象として特定する特定手段と、この特定手段によって監視対象として特定された商品個数と当該顧客を撮影した顧客画像とを対応付けて記憶管理する監視情報記憶手段と、顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に基づいて前記監視情報記憶手段を検索し、その顧客に対応付けられている監視対象の商品個数と登録済みの商品個数とを比較することによって登録済み商品の個数分を監視対象外とする精算手段と、この精算処理によって前記監視情報記憶手段内の監視対象個数分の全てが監視対象外となったかを顧客毎に判別する判別手段と、この判別手段によって監視対象個数分の全てが監視対象外となっていないことが判別された場合には、不正持ち出しの可能性が有ると判断してその旨を報知する報知手段とを具備するものである。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１０記載の発明）。
【０００７】
したがって、請求項１、１０記載の発明は、陳列商品がその位置から取り出される毎にその商品個数を監視対象として特定すると共に、この商品個数と当該顧客を撮影した顧客画像とを対応付けて記憶管理しておき、１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に対応付けられている監視対象の商品個数と登録済みの商品個数とを比較することによって登録済み商品の個数分を監視対象外として処理するが、監視対象個数分の全てが監視対象外となっていなければ、不正持ち出しの可能性が有ると判断してその旨を報知するようにしたから、商品が不正に持ち出されるかを撮影画像に基づいて自動監視することができ、万引き防止策として面倒な作業を必要としたり、人手を要することなく不正監視が可能となる他、個数管理によって不正持ち出しを確実に発見することができる等、実用的効果の高い不正監視システムを提供することが可能となる。
【０００８】
なお、請求項１記載の発明は次のようなものであってもよい。
前記判別手段は、１取引分の登録終了時において監視対象個数分の全てが監視対象外となったかを判別し、前記報知手段は、全てが監視対象外となっていないことが判別された場合には、１取引分の登録終了時に不正持ち出しの可能性が有る旨を報知する（請求項２記載の発明）。
したがって、請求項２記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、１取引分の登録終了時に未登録の商品個数（監視対象商品）が残っている場合には、不正持ち出しの可能性が有る旨を報知するようにしたから、一部の商品の精算忘れの場合（過失）や隠し持っている場合（故意）、１取引分の登録終了時にその旨を指摘することができ、故意過失を問わず、未精算商品の持ち出しを確実に防止することが可能となる。
【０００９】
前記判別手段は、顧客が退場する際に、その退場者を撮影した退場者画像に基づいて前記監視情報記憶手段を検索し、その顧客の監視対象個数分の全てが監視対象外となったかを判別し、前記報知手段は、全てが監視対象外となっていないことが判別された場合には、その顧客の退場時に不正持ち出しの報知を行う（請求項３記載の発明）。
したがって、請求項３記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、顧客が退場する際に、未登録商品（監視対象商品）があれば、不正持ち出しの可能性が有る旨を報知するようにしたから、店から退場する寸前にその顧客を引き止めることができる他、会計（精算）を通さずに、そのまま退場しようとした顧客を不正者としてみなすことができる。
【００１０】
前記特定手段は、商品陳列付近を撮影した撮影画像を解析することによってその付近に顧客が存在しているかを認識し、商品陳列付近に顧客が居る場合には、その解析結果にしたがって顧客の手の動きを監視し、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する（請求項４記載の発明）。
したがって、請求項４記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、商品陳列付近を撮影した撮影画像を解析することによって顧客の手の動きを監視し、商品が取り出されたかを認識するようにしたから、商品の取り出しを画像解析という新たな手法によって検知することができると共に、商品が取り出される毎にその商品個数の特定も可能となる。なお、手の動きを解析する際には、手の平部分を拡大撮影し、その拡大画像に基づいて商品が取り出されたか、つまり、商品を掴んだかを認識すればよい。
【００１１】
この場合、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する際に、複数台のカメラによって撮影された各撮影画像を照らし合わせることによって商品が取り出されたかを認識するようにすれば（請求項５記載の発明）、例えば、顧客の背後・横・正面、上方向等、様々な方向（少なくとも２方向）から撮影した各撮影画像を照らし合わせて顧客の手の動き監視することができ、商品の取り出しをより確実に検知することが可能となる。
【００１２】
前記特定手段は、陳列商品がその位置から取り出された後において当該商品が戻されたかを監視し、商品が戻された場合には、戻された個数分の当該商品を監視対象外とする（請求項６記載の発明）。
したがって、請求項６記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、商品を取り出したり、戻したり思案中の手の動きを監視し、商品が戻された場合には、その商品個数分を監視対象外とするようにしたから、実際に取り出された商品のみを監視対象個数として特定することができる。
【００１３】
前記監視対象個数分の全てが監視対象外ではない場合に、その顧客画像を不正者画像として不正者リストに登録する不正者登録手段と、入場者を撮影した入場者画像に基づいて前記不正者リストを検索し、入場者画像が不正者画像に該当する場合には、不正者が入場した旨を報知する不正者入場報知手段とを設ける（請求項７記載の発明）。
したがって、請求項７記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、過去に商品を不正に持ち出した不正者を撮影した不正者画像を不正者リストに登録しておき、入場者画像に基づいて不正者リストを検索するようにしたから、入場者が不正者に該当するか場合には、不正者が入場した旨を報知するようにしたから、過去に不正を行った不正者を撮影画像に基づいて自動監視することができ、人手を要さずに常習的な不正者を効果的に監視してその取り締まりが可能となる。この場合、不正者を入場時に検知することができるので、例えば、監視カメラによる追跡監視が可能となる。つまり、入場者が過去に不正を行った者であれば、その不正者を特定し、複数台の監視カメラによって追跡監視してモニタ表示するようにすれば、常習的な不正者の行動を監視することが可能となる。
【００１４】
前記各顧客画像は、顧客の全体を撮影した全身画像であり、各顧客画像を比較する際には、顧客の性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色の各特徴要素のうち、少なくとも、その顔画像と他の要素とを総合的に解析して画像比較を行う（請求項８記載の発明）。
したがって、請求項８記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、各顧客画像を比較する際に、顧客の顔画像の他に、性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色のうち、少なくともその何れかを含めて総合的に解析することによって画像比較を行うようにしたから、確実な顧客認識が可能となり、誤認識によって正規な顧客に不愉快な思いをさせることを防止することができる。
【００１５】
顧客が入場してから最初に商品を取り出した際に、その時の顧客画像を前記監視対象の商品個数に対応付けて保存し、次に同一顧客が商品を取り出す際に、今回撮影された顧客画像と保存画像とを比較処理し、その結果、保存画像よりも今回の画像の方が顧客の特徴をより現している場合には、保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新する（請求項９記載の発明）。
したがって、請求項９記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、監視対象の商品個数に対応付けて保存される顧客画像を顧客の特徴をより現している最適画像に自動的に更新するようにしたから、同一顧客が商品を取り出す毎に撮影された各顧客画像を全て保存する必要が無くなると他に、精算時等において画像比較によって顧客照合を行う際に、その照合を確実に行うことが可能となる。
【００１６】
【発明の実施の形態】
以下、図１〜図１４を参照してこの発明の一実施形態を説明する。
図１は、この実施形態における店舗内システムの全体構成を概念的に示したブロック図である。
この店舗内システムは、例えば、デパート、スーパーマーケット、ショッピングモール等の店舗内に構築された構内通信システム（ＬＡＮ）である。そして、この店舗内システムは、通常のＰＯＳ（ポイント・オブ・セールス）システムとして機能する他に、撮影画像に基づいて陳列商品が不正に持ち出されたか否かを監視したり、過去に商品を不正に持ち出した不正者が入場したか否かを監視する不正監視（万引き監視）システムとして機能するもので、管理センタ１を中核とする構成となっている。
【００１７】
この管理センタ１には、有線ＬＡＮを介して複数台のＰＯＳ端末２が接続されている他に、各種のカメラ装置が接続されている。すなわち、入口側に設置されて入場者をその正面方向から撮影する為の入口監視カメラ３と、出口側に設置されて退場者をその正面方向から撮影する為の出口監視カメラ４と、店内の通路毎に設置されて通路全体を撮影する為の通路監視カメラ５と、店内の各所に配置されて陳列商品をエリア別に撮影する為の商品監視カメラ６とを有し、これらの各カメラ装置は、有線ＬＡＮを介して管理センタ１に接続されている。また、管理センタ１には、アクセスポイント等を含む無線ＬＡＮを介して出入り口付近等に居る警備員が所持している携帯端末７に接続されている。
【００１８】
管理センタ１は、機能別に設けられた複数のデータ処理装置を集合した集合体であり、後述する「商品監視処理」、「センタ応答処理」、「退場者監視処理」、「入場者監視処理」等の処理機能を別個独立して実行可能なもので、各ＰＯＳ端末２が登録処理した売上データを定期的に収集して売上集計を行ったり、各種の設定データを各ＰＯＳ端末２へ送信するＰＯＳ管理処理を行う他に、各種のカメラ３〜６から取得した撮影画像を解析して不正監視処理を行う。なお、この管理センタ１側には、ＰＯＳ管理処理用としてのデータベース群の他に、不正監視用としての後述するデータベース群および画像ファイル群が設けられている。
【００１９】
ＰＯＳ端末２は、顧客が買い上げた１取引分の商品を登録する精算処理を実行するもので、１取引分の登録終了時にレシートを発行する。
各種カメラ３〜６は、動画撮影を行うビデオカメラあるいは所定タイミング毎（例えば、０．５秒あるいは１秒毎）に連続撮影を行うスチールカメラであり、管理センタ１からの制御命令にしたがってその撮影開始／停止が制御されると共に、この各種カメラ３〜６によって撮影された撮影画像（カラー画像）は、管理センタ１に転送されて画像解析される。
【００２０】
図２は、店舗内の一部に配置されているカメラの配置状態を示した図である。
すなわち、商品陳列棚８によって仕切られた通路９には、その一端方向から通路全体を撮影する通路監視カメラ５が配置されている。なお、通路９の床面には、顧客位置や商品陳列位置を確認する為の床マーカＭがペインティングされており、通路監視カメラ５によって撮影された撮影画像の中に含まれている床マーカＭを基準として、顧客が通路内のどのエリアに居るかを認識可能としている。また、通路９の両側には、商品陳列エリアＡ１、Ａ２、‥‥毎にそのエリア全体を前方方向から撮影する商品監視カメラ６が配置されている。
【００２１】
図３は、顧客の行動（商品の取り出し）を複数台のカメラによって監視することを説明する為の図である。
ここで、何れかの商品陳列エリアの前面に居る顧客Ｘは、通路監視カメラ５によってその横方向から撮影されると共に、その商品陳列エリア対応の商品監視カメラ６によって顧客の背後方向から撮影される。つまり、顧客の行動は、少なくとも２台のカメラによって監視されており、管理センタ１は、各カメラから取得した撮影画像を解析することによって商品陳列エリア付近に顧客が存在しているか否かを認識し、商品陳列付近に顧客が居る場合には、その解析結果にしたがって顧客の手の動きを監視し、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識するようにしている。この場合、図示の例では、商品陳列エリアＡ１付近に居る顧客Ｘは、通路監視カメラ５の他に、２台の商品監視カメラ６（顧客の後方に配置されている商品監視カメラ６と横方向に配置されている商品監視カメラ６）によってその顧客の手の動きが監視される。
【００２２】
図４（Ａ）は、管理センタ１側に設けられている商品監視データベース１１の構成を示した図である。
この商品監視データベース１１は、顧客が商品を取り出した際にその顧客に関する情報と商品に関する情報とを対応付けた監視レコードを記憶管理するもので、顧客が取り出した商品個数は、不正監視対象の商品個数としてその顧客に対応付けて記録される。すなわち、この商品監視データベース１１は、商品を取り出した顧客画像をアクセスする為の「顧客画像Ｎｏ」と、取り出した「商品個数」を記憶すると共に、精算時において当該商品個数分が正規に登録された際にセットされる「登録済みフラグ」とを記憶する構成となっている。
なお、顧客の退場時においてその顧客に関する全ての監視レコードを商品監視データベース１１内から削除するようにしている為、この商品監視データベース１１は、現在、店舗内に居る顧客に関する監視レコードのみを記録するようにしている。
【００２３】
図４（Ｂ）は、管理センタ１側に設けられている顧客画像ファイル群１２を示した図である。
この場合、１人の顧客が商品を取り出す毎に、その顧客の全身を撮影する他に、その顔画像を拡大撮影し、この全身画像と顔画像とを“対”にして顧客画像として顧客画像ファイル群１２内に保存するようにしている。その際、同一顧客が商品を取り出す毎に撮影された全ての顧客画像を保存せず、その顧客が入場してから退場するまでの間において顧客照合として最適な顧客画像のみを記憶管理するようにしている。つまり、顧客が入場してから最初に商品を取り出した際には、その時の顧客画像を保存するが、次に同一顧客が商品を取り出す際には、今回撮影された顧客画像と保存画像とを比較処理し、その結果、保存画像よりも今回の画像の方が顧客の特徴をより現している場合には、保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新するようにしている。
【００２４】
ここで、商品監視データベース１１内の「顧客画像Ｎｏ」は、上述のようにして更新された顧客画像（最適画像）ファイル群１２をアクセスする為の識別情報であり、管理センタ１は、顧客が入場してから最初に商品を取り出した際に「顧客画像Ｎｏ」を自動生成し、この「顧客画像Ｎｏ」を含む監視レコードを商品監視データベース１１内に新規登録するようにしている。
また、商品監視データベース１１内の「商品個数」は、同一商品の取り出した個数を示している。この場合、商品を取り出した後においても顧客の手の動きを画像解析し、商品が戻された場合には、その戻された商品個数を認識し、実際に取り出された個数だけをセットするようにしている。
【００２５】
図５は、ＰＯＳ端末２側に設けられている売上データ合計器２１の構成を示した図である。
この売上データ合計器２１は、商品別の売上合計等を記憶管理するもので、商品毎に「商品コード」、「単価」、「売上個数」、「その他」の項目を有した通常の構成となっている。ここで、ＰＯＳ端末２は、顧客が買い上げた１取引分の商品を登録する精算処理を行うが、その際、ＰＯＳ端末２側に備えられている後述の精算顧客カメラによって精算時に撮影された顧客画像を管理センタ１へ転送する他に、１取引分の登録終了時には、精算終了通知を管理センタ１へ送信するようにしている。
【００２６】
この場合、管理センタ１とＰＯＳ端末２との間では次のようなやり取りを行うようにしている。すなわち、管理センタ１は、ＰＯＳ端末２から送信されて来た精算顧客画像に基づいて画像ファイル群１２を検索し、該当する「顧客画像Ｎｏ」を取得すると共に、この「顧客画像Ｎｏ」に基づいて商品監視データベース１１を検索し、この「顧客画像Ｎｏ」対応の各監視レコードから監視対象の「商品個数」を読み出し、１顧客分の「商品個数」を累計して監視対象の「累計個数」を求める。そして、ＰＯＳ端末２から送信されて来た精算終了通知に応答してこの「監視累計個数」をそのＰＯＳ端末２へ送信する。ＰＯＳ端末２は、１取引分の精算終了時においてその取引分の「登録済み合計個数」と管理センタ１側から送信されて来た「監視累計個数」とを比較し、監視対象の商品個数が全て登録済みであれば、その旨を管理センタ１へ送信するが、「登録済み合計個数」よりも「監視累計個数」の方が多い場合には、つまり、未登録商品があれば、不正持ち出しの可能性が有ると判断してその旨を報知する出力処理を行う。ここで、管理センタ１は、監視対象の商品個数が全て登録済みであれば、当該顧客対応の各監視レコード内に「登録済みフラグ」をセットしてそれらを監視対象外とする。
【００２７】
このような不正持出報知は、精算時の他に、精算を行わずに、そのまま退場しようとした顧客に対しても行うようにしている。つまり、管理センタ１は、顧客の退場時に出口監視カメラ４によって撮影された退場者画像を取得し、この退場者画像に基づいて商品監視データベース１１を検索し、その顧客に対応付けられている監視対象の商品個数の全てが登録済みであるか否かを判別し、１つでも未登録商品があれば、不正持ち出しの可能性が有ると判断してその旨を警備員所持の携帯端末７へ通知して不正報知を行うようにしている。
【００２８】
図６は、管理センタ１側に設けられているブラックリスト１３の構成を示した図である。
このブラックリスト１４は、過去に商品を不正に持ち出そうとした不正者を管理する為の不正者リストであり、不正が行われる毎に、その「不正日付」と、不正者を撮影した不正者画像をアクセスする為の「顧客画像Ｎｏ」と、不正に持ち出そうとした商品が陳列されている「陳列エリア」の各項目を記憶する構成となっている。つまり、精算時に一部の商品を隠し持って持ち出そうとした顧客あるいは精算を行わずにそのまま退場しようとした顧客に関する情報とその商品に関する情報とを対応付けて記憶管理するもので、管理センタ１は、ブラックリスト１３の出力指示に応じてその内容を集計処理してリスト印刷を行うようにしている。また、管理センタ１は、入口監視カメラ３によって撮影された入場者画像に基づいてブラックリスト１３を検索し、過去に不正を行った顧客が再入場した場合には、その旨を警備員所持の携帯端末７へ通知して注意報知を行うようにしている。
【００２９】
図７は、管理センタ１を構成する機能別の各データ処理装置、つまり、「商品監視処理」、「センタ応答処理」、「退場者監視処理」、「入場者監視処理」等の処理機能に対応するデータ処理装置のうち、その１つのデータ処理装置の基本的な構成要素を示したブロック図である。
ＣＰＵ１０１は、記憶装置１０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのデータ処理装置の全体動作を制御する中央演算処理装置である。記憶装置１０２は、プログラム記憶領域とデータ記憶領域とを有し、このプログラム記憶領域内には、オペレーティングシステムの他に、各種のアプリケーションプログラムが格納され、また、データ記憶領域には、上述したデータベース群や画像ファイル群等が格納され、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。この記録装置１０２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。
【００３０】
この記憶装置１０２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）１０３にロードされたり、ＲＡＭ１０３内のデータが記憶装置２にセーブされる。なお、ＲＡＭ１０３内には、プログラム実行領域と作業領域とを有している。更に、ＣＰＵ１０１は通信装置１０４を介して他の電子機器側のプログラム／データを直接アクセスして使用したり、通信装置１０４を介してダウンロード受信することもできる。通信装置１０４は、有線／無線の通信インターフェイスである。一方、ＣＰＵ１０１にはその入出力周辺デバイスである入力装置１０５、表示装置１０６、印字装置１０７がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１０１はそれらの動作を制御する。
【００３１】
なお、入力装置１０５はキーボードやタッチパネルあるいはマウスやタッチ入力ペン等のポインティングデバイスを構成する操作部であり、文字列データや各種コマンドを入力する。表示装置１０６は、例えば、液晶表示素子やＣＲＴあるいはプラズマ表示装置などであり、入力された売上データ等を表示すると共に、各種のメッセージ表示を行う。印字装置１０７は、例えば、熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタであり、例えば、売上集計レポートやブラックリストを印字発行する。
なお、入力装置１０５、表示装置１０６、印字装置１０７は、そのデータ処理装置の機能に応じて設けられたものである。
【００３２】
図８は、ＰＯＳ端末２の基本的構成要素を示したブロック図である。
ＰＯＳ端末２は、管理センタ１と同様の構成要素としてＣＰＵ２０１、記憶装置２０２、ＲＡＭ２０３、通信装置２０４、入力装置２０５、表示装置２０６、印字装置２０７の他に、精算顧客カメラ２０８が設けられ、更に、入力装置２０５には、登録モード、設定モード、点検モード等を切り換えるモードスイッチ、商品登録キー、１取引分の登録終了時に操作される現金キー等の締めキー、テンキー等を有し、顧客が買い上げた１取引分の商品を登録する精算処理を実行するもので、１取引分の登録終了時にレシートを発行する。精算顧客カメラ２０８は、端末本体に取り付けられ、顧客側に指向するもので、精算時（１取引分の登録開始時）に顧客の正面方向からその顔画像と共に全身画像を撮影すると、この顧客画像は管理センタ１へ転送される。
【００３３】
次に、この実施形態における店舗内システムの動作概念を図９〜図１４に示すフローチャートを参照して説明する。
ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００３４】
図９および図１０は、管理センタ１が常時実行する商品監視処理を示したフローチャートである。
先ず、管理センタ１は、複数台の通路監視カメラ５からの撮影画像を取得して（ステップＡ１）、画像解析を行い（ステップＡ２）、商品陳列付近に顧客が居るかをチェックする（ステップＡ３）。この場合、通路撮影画像の中に人物像が写っており、しかも、人物像の位置が商品陳列付近であれば、商品をその陳列位置から取り出される可能性がある為に、この顧客位置付近に設置されている１台あるいは複数台の商品監視カメラ６からの撮影画像を取得し（ステップＡ４）、通路監視カメラ５および商品監視カメラ６によって顧客の背後方向や横方向等から撮影された各撮影画像を照らし合わせながら顧客の手の動きを立体的（３次元的）に解析する（ステップＡ５）。
【００３５】
この解析結果にしたがって顧客の手が商品陳列方向に伸びて商品位置に近づいたかをチェックすると共に（ステップＡ６）、顧客が商品を取り出したかをチェックする（ステップＡ７）。この場合、手に商品を持っていれば、確実に取り出したと認識することができるが、商品を掴み込んでいるような状態、例えば、小さい商品を手の平に隠し持っているような不自然に状態であれば、万引きの可能性が極めて高い為、商品を取り出したものと認識するようにしている。このように手の動きを解析する際には、手の平部分を拡大撮影し、その拡大画像に基づいて商品が取り出されたかをチェックするようにしている。
【００３６】
いま、顧客が商品を見ているだけで取り出さなかった場合には、ステップＡ３に戻って商品陳列付近に顧客が居るかをチェックするが、顧客の手が商品陳列位置に近づいて商品を取り出した場合には、撮影画像の解析によって取り出した商品の個数を特定する（ステップＡ８）。この場合、顧客の手の動きを監視し続けており、１度に同一商品を複数取り出した場合や同一商品を何回にも分けて取り出した場合には、その取り出し個数を特定する。更に、顧客の手の動きを監視し続け、その商品が戻されたかをチェックし（ステップＡ９）、商品が戻された場合には、その個数を特定する（ステップＡ１０）。以下、顧客が商品陳列付近から立ち去ったかをチェックし（ステップＡ１１）、その顧客が立ち去るまでステップＡ６に戻って上述の動作を繰り返す。
【００３７】
ここで、その顧客が商品陳列付近から立ち去った場合には（ステップＡ１１）、取り出された商品個数から戻された商品個数を減算することによって実際に取り出された商品の個数（実商品数）を求める（図１０のステップＡ１２）。そして、この実商品数が“１”以上であるか否かをチェックする（ステップＡ１３）。いま、商品を取り出さずに立ち去った場合には、実商品数が“０”であるから、図１０のステップＡ１に戻るが、商品を取り出した場合には、実商品数は“１”以上であるから、以下、その商品個数を監視対象の商品個数として、商品監視データベース１１内に記録する処理に移る（ステップＡ１４〜Ａ２４）。
【００３８】
先ず、顧客が商品陳列位置に近づいてから立ち去るまでの間に撮影された各顧客画像の中からその顧客の特徴を最も良く現している画像（顔画像および全身画像）を抽出する（ステップＡ１４）。そして、この抽出画像に基づいて顧客画像ファイル群１２をアクセスし、該当する顧客画像の有無をチェックする（ステップＡ１５）。その際、撮影画像との特徴比較を行う。つまり、撮影画像の中から特徴部分を抽出して特徴比較を行うが、その際、撮影画像の顔の向き、大きさを補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ等を比較する。ここで、顧客の顔画像を比較する他、性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色を総合的に比較して顧客特定を行う。つまり、顔画像だけで顧客を特定することができなかった場合には、身長、体型、衣服、髪型等の他の要素も考慮して画像比較を総合的に行う。なお、このような顧客画像の比較処理は、以下の処理においても同様に行われる。
【００３９】
これによって該当顧客が無ければ（ステップＡ１５）、新規入場顧客として判断し、「顧客画像Ｎｏ」を新規生成すると共に（ステップＡ１６）、今回の抽出画像に「顧客画像Ｎｏ」を付加して顧客画像ファイル群１２内に新規保存する（ステップＡ１７）。
一方、該当顧客が有れば（ステップＡ１５）、顧客画像ファイル群１２内から当該顧客対応の保存画像を取得し（ステップＡ１８）、今回の抽出画像と保存画像とを比較し、保存画像よりも今回の抽出画像の方が顧客の特徴をより現している場合には（ステップＡ１９）、この保存画像に代えて今回の顧客画像を上書保存することで顧客画像を最適画像に更新する（ステップＡ２０）。この場合、顧客の特徴をより現している画像として顧客の正面方向から撮影した顔画像および全身画像が最適画像となる。
【００４０】
そして、上述の図９のステップＡ１２で求められた実商品個数を読み出し（ステップＡ２１）、更に、新規生成した「顧客画像Ｎｏ」あるいは上書保存先の「顧客画像Ｎｏ」を読み出す（ステップＡ２２）。そして、「顧客画像Ｎｏ」、「個数（実商品数）」を含む監視レコードを新規生成して（ステップＡ２３）、商品監視データベース１１に追加記録する（ステップＡ２４）。
以下、図９のステップＡ１に戻り、上述の動作を繰り返す結果、同一顧客が商品を取り出す毎に、その監視レコードが生成されて商品監視データベース１１内に追加記録される。
【００４１】
図１１は、ＰＯＳ端末２における売上データを登録して精算する精算処理を示したフローチャートである。
図１２は、ＰＯＳ端末２側での精算処理に応答して実行されるセンタ応答処理を示したフローチャートである。
先ず、ＰＯＳ端末２において、商品登録の開始かをチェックし（ステップＢ１）、１取引分の最初の登録操作が行われた場合には、精算顧客カメラ２０８を作動させて精算顧客画像を取得し（ステップＢ２）、この精算顧客画像を管理センタ１へ送信する（ステップＢ３）。この場合、顧客の正面方向から撮影した顔画像および全身画像を取得して送信する。
【００４２】
そして、通常の売上データ登録処理を行って売上データ合計器２１の内容を更新すると共に（ステップＢ４）、１取引分の登録済み合計個数を更新する（ステップＢ５）。以下、１取引分の登録を終了させる締めキーが操作されるまで（ステップＢ６）、売上データ登録処理および合計個数更新処理を繰り返す（ステップＢ４〜Ｂ６）。ここで、締めキーが操作された場合には、精算終了通知を管理センタ１へ送信する（ステップＢ７）。
【００４３】
管理センタ１側においては、ＰＯＳ端末２からの精算顧客画像を受信すると（ステップＣ１）、この精算顧客画像に基づいて顧客画像ファイル群１２を検索して該当顧客を特定すると共に（ステップＣ２）、特定顧客対応の「顧客画像Ｎｏ」を読み出して商品監視データベース１１をアクセスし、この「顧客画像Ｎｏ」対応の監視レコードを全て抽出する（ステップＣ３）。そして、各抽出レコードから監視対象の「商品個数」を読み出し、１顧客分の「商品個数」を累計して監視対象の「監視対象累計個数」を算出する（ステップＣ４）。
この状態において、管理センタ１は、ＰＯＳ端末２から送信されて来た精算終了通知に応答して（ステップＣ５）、この「監視累計個数」をそのＰＯＳ端末２へ送信する（ステップＣ６）。
【００４４】
ＰＯＳ端末２は、１取引分の精算終了時において、管理センタ１側から送信されて来た「監視対象累計個数」を受信すると（ステップＢ８）、当該取引分の「登録済み合計個数」と「監視対象累計個数」との比較を行うが、その際、「監視対象累計個数」から「登録済み合計個数」を減算し（ステップＢ９）、その値が“０”かをチェックする（ステップＢ１０）。ここで、減算結果が“１以上”であれば、未登録商品が残っている場合であるから、不正持ち出しの可能性が有ると判断してその旨を報知する出力処理を行う（ステップＢ１１）。つまり、未登録商品有りを示す案内メッセージと共に未登録商品に関する情報（未登録の商品数）を表示出力させると共に、レシート用紙に未登録に関する情報を印字出力させて不正確認レシートを発行させる。
【００４５】
この場合、オペレータは、不正確認レシートを顧客に提示してその旨を伝え、不正有無の確認を行い、一部の商品の精算忘れなのか、故意に商品を隠し持っていたのかを顧客の態度や応答の仕方によって判断する。ここで、故意であると判断した場合には、不正者発見用のキーを操作すると（ステップＢ１２）、管理センタ１へ不正者発見の通知を送信するが（ステップＢ１３）、過失であること判断した場合には、その商品分を次の取引分として新たな登録操作を行う（ステップＢ１）。一方、減算結果が“０”であれば、監視対象の商品個数は全て登録済みであるので、登録完了通知を管理センタ１へ送信する（ステップＢ１４）。
【００４６】
管理センタ１は、ＰＯＳ端末２から登録完了通知を受信すると（ステップＣ７）、当該顧客対応の各監視レコード内に「登録済みフラグ」をそれぞれセットしてそれらを監視対象外とする（ステップＣ８）。
一方、管理センタ１は、不正者発見通知を受け取ると（ステップＣ９）、警備員所持の携帯端末７へ不正者発見通知を行う他に（ステップＣ１０）、「不正日付」、「顧客画像Ｎｏ」等を含むブラックリストレコードを生成して（ステップＣ１１）、ブラックリスト１３へ追加登録する（ステップＣ１２）。
【００４７】
図１３は、顧客の退場に伴って管理センタ１が実行する退場者監視処理を示したフローチャートである。
先ず、管理センタ１は、出口監視カメラ４によって撮影された撮影画（退場者画像）を取得し（ステップＤ１）、その画像解析によって退場者の有無をチェックし（ステップＤ２）、退場者が居れば、この退場者画像に基づいて顧客画像ファイル群１２をアクセスして該当顧客の画像を特定すると共に（ステップＤ３）、特定顧客対応の「顧客画像Ｎｏ」を読み出し（ステップＤ４）、この「顧客画像Ｎｏ」に基づいて商品監視データベース１１をアクセスし、この「顧客画像Ｎｏ」対応の各監視レコードを全て抽出する（ステップＤ５）。
【００４８】
そして、各抽出レコード内の「登録済みフラグ」を参照し、１商品分でも未登録商品が有るかをチェックする（ステップＤ６）。この場合、精算を行わずに退場しようとした顧客は不正者とみなし、上述の場合と同様、警備員所持の携帯端末７へ不正者発見通知を行うと共に（ステップＤ７）、必要事項をブラックリスト１３へ登録する処理を行う（ステップＤ８）。
一方、未登録商品が１商品も無ければ（ステップＤ６）、「顧客画像Ｎｏ」に対応して抽出された各監視レコードを商品監視データベース１２から削除する（ステップＤ９）。これによって、商品監視データベース１２の内容は、現在、店舗内に居る顧客に関する監視レコードのみとなる。
【００４９】
図１４は、顧客の入場に伴って管理センタ１が実行する入場者監視処理を示したフローチャートである。
先ず、管理センタ１は、入口監視カメラ３によって撮影された撮影画像（入場者画像）を取得し（ステップＥ１）、その画像解析によって入場者の有無をチェックし（ステップＥ２）、入場者が居れば、この入場者画像に基づいて顧客画像ファイル群１２をアクセスして該当顧客の画像を特定すると共に（ステップＥ３）、特定顧客対応の「顧客画像Ｎｏ」を読み出し（ステップＥ４）、この「顧客画像Ｎｏ」に基づいてブラックリスト１３をアクセスし、該当する「顧客画像Ｎｏ」の有無に基づいて過去に不正を行った不正者が入場したかをチェックする（ステップＥ５）。ここで、リスト登録されている不正者が入場した場合には、不正者入場通知を警備員所持の携帯端末７へ送信して注意報知を行う（ステップＥ６）。
【００５０】
以上のようにこの実施形態において店舗内システムを構成する管理センタ１は、陳列商品がその位置から取り出された際に、通路監視カメラ５、商品監視カメラ６によって撮影された撮影画像に基づいて当該商品が取り出された個数を監視対象として特定すると共に、この商品個数と当該顧客を撮影した顧客画像とを対応付けて商品監視データベース１１内に記憶管理しておき、ＰＯＳ端末２側において１取引分の商品を登録する精算時に当該顧客が撮影された際に、この顧客画像に対応付けられている監視対象の商品個数と登録済みの商品個数とを比較することによって登録済み商品の個数分を監視対象外として処理するが、監視対象個数分の全てが監視対象外となっていなければ、不正持ち出しの可能性が有ると判断してその旨を報知するようにしたから、商品が不正に持ち出されるかを撮影画像に基づいて自動監視することができ、万引き防止策として面倒な作業を必要としたり、人手を要することなく不正監視が可能となる他、個数管理によって不正持ち出しを確実に発見することができる等、実用的効果の高い不正監視システムを提供することが可能となる。
【００５１】
ＰＯＳ端末２は、１取引分の登録終了時に未登録の商品個数（監視対象商品）が残っている場合には、ＰＯＳ端末２側で不正持ち出しの可能性が有る旨を報知するようにしたから、一部の商品の精算忘れの場合（過失）や隠し持っている場合（故意）、１取引分の登録終了時にその旨を指摘することができ、故意過失を問わず、未精算商品の持ち出しを確実に防止することが可能となる。
また、管理センタ１は、顧客が退場する際に、未登録の商品個数があれば、不正持ち出しの可能性が有る旨を報知するようにしたから、店から退場する寸前にその顧客を引き止めることができる他、会計（精算）を通さずに退場する顧客を不正者としてみなすことができる。
【００５２】
また、管理センタ１は、商品陳列付近を撮影した撮影画像を解析することによって顧客の手の動きを監視し、商品が取り出されたかを認識するようにしたから、商品の取り出しを画像解析という新たな手法によって検知することができると共に、商品が取り出される毎にその商品の特定も可能となる。
この場合、顧客の手の動きに基づいて陳列商品がその位置から取り出されたかを認識する際に、複数台のカメラによって撮影された各撮影画像を照らし合わせることによって商品が取り出されたかを認識するようにしたから、例えば、顧客の背後・横・正面、上方向等、様々な方向から撮影した各撮影画像を照らし合わせて顧客の手の動き監視することができ、商品の取り出しをより確実に検知することが可能となる。
【００５３】
この場合、陳列商品がその位置から取り出された際に、取り出された商品を監視対象として特定する他に、同一商品が１度にあるいは別々に複数個取り出されたとしても、その個数を特定しておき、精算時に監視対象商品のうち登録された個数分を監視対象外とするようにしたから、例えば、複数の同一商品のうち、その一部だけを精算し、他の商品を隠し持っている場合でも、それを監視することができ、確実な不正監視が可能となる。
また、商品を取り出したり、戻したり思案中の手の動きを監視し、商品が戻された場合には、その商品を監視対象外とするようにしたから、実際に取り出された商品のみを監視対象商品として特定することができる。
【００５４】
更に、各顧客画像を比較する際に、顧客の顔画像の他に、性別、顔、眼鏡の有無、身長、体型、衣服、髪型、色を含めて総合的に解析することによって画像比較を行うようにしたから、確実な顧客認識が可能となり、誤認識によって正規な顧客に不愉快な思いをさせることを防止することができる。
また、監視対象商品に対応付けて保存される顧客画像を顧客の特徴をより現している最適画像に自動的に更新するようにしたから、同一顧客が商品を取り出す毎に撮影された各顧客画像を全て保存する必要が無くなると他に、精算時等において画像比較によって顧客照合を行う際に、その照合を確実に行うことが可能となる。
【００５５】
一方、管理センタ１は、過去に商品を不正に持ち出した不正者を撮影した不正者画像をブラックリスト１３に登録しておき、顧客を撮影した顧客画像に基づいてブラックリスト１３を検索し、その顧客が不正者に該当するか場合には、その旨を報知するようにしたから、過去に不正を行った不正者を撮影画像に基づいて自動監視することができ、人手を要さずに常習的な不正者を効果的に監視してその取り締まりが可能となる等、実用性の高い不正監視システムを提供することが可能となる。この場合、入場者画像に基づいてブラックリスト１３を検索するようにしたから、不正者を入場時に検知することができる。その際、顧客が過去に不正を行った不正者であることが判別された場合に、警備員所持の携帯端末７へ注意報知を行うようにしたから、警備員による追跡監視が可能となる。
【００５６】
なお、上述した実施形態においては、各種のカメラ装置として、入口監視カメラ３、出口監視カメラ４、通路監視カメラ５、商品監視カメラ６を常時作動させるようにしたが、入口監視カメラ３によって顧客の入場が検知され、店内に顧客が居る場合に限って他のカメラを作動させるようにしてもよい。また、機能別に通路監視カメラ５と商品監視カメラ６とを分けたが、それらの機能を兼用するようにしてもよい。
上述した実施形態においては、商品の不正持ち出しを警備員所持の携帯端末７へ通知するようにしたが、その他に、各店員が所持している携帯端末へ通知するようにしてもよく、更に、警備員が待機している警備システム側へ通知するようにしてもよい。
【００５７】
また、上述した実施形態においては、顧客が過去に不正を行った不正者が入場した際に、警備員所持の携帯端末７へ注意報知を行うようにしたが、例えば、監視カメラによってその不正者を追跡監視するようにしてもよい。つまり、入場者が過去に不正を行った者であれば、その撮影画像に基づいて不正者を特定し、複数台の監視カメラによって店内を移動する不正者を追跡監視してモニタ表示するようにすれば、常習的な不正者の行動を監視することが可能となる。
【００５８】
その他、上述した実施形態においては、精算時に撮影された顧客画像に対応付けられている監視対象の商品個数と登録済み商品の個数とを比較する処理をＰＯＳ端末２側で行うようにしたが、この処理を管理センタ１側で行うようにしてもよい。
上述した実施形態においては、構内通信システムに適用した場合を示したが、例えば、コンビニエンスストア等において、広域通信回線を介して複数の支店間と本部側の管理センタとを接続した広域通信システムにも勿論、適用可能である。この場合、管理センタは、各支店毎に撮影された撮影画像を取得して不正監視を行えばよい。また、ブラックリストを各支店共通の資料として活用し、何れかの支店で過去に不正を行った者が他の支店に入場した際に、その旨を報知するようにしてもよい。
【００５９】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、陳列商品がその位置から取り出される毎に、その商品個数を監視対象として特定する機能と、監視対象として特定された商品個数と当該顧客を撮影した顧客画像とを対応付けて記憶管理する機能と、顧客が買い上げた１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に対応付けられている監視対象の商品個数と登録済みの商品個数とを比較することによって登録済み商品の個数分を監視対象外とする機能と、監視対象個数分の全てが監視対象外となったかを顧客毎に判別する機能と、監視対象個数分の全てが監視対象外となっていないことが判別された場合には、不正持ち出しの可能性が有ると判断してその旨を報知する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００６０】
【発明の効果】
この発明（請求項１記載の発明）によれば、陳列商品がその位置から取り出される毎にその商品個数を監視対象として特定すると共に、この商品個数と当該顧客を撮影した顧客画像とを対応付けて記憶管理しておき、１取引分の商品を登録する精算時において当該顧客を撮影した顧客画像に対応付けられている監視対象の商品個数と登録済みの商品個数とを比較することによって登録済み商品の個数分を監視対象外として処理するが、監視対象個数分の全てが監視対象外となっていなければ、不正持ち出しの可能性が有ると判断してその旨を報知するようにしたから、商品が不正に持ち出されるかを撮影画像に基づいて自動監視することができ、万引き防止策として面倒な作業を必要としたり、人手を要することなく不正監視が可能となる他、個数管理によって不正持ち出しを確実に発見することができる等、実用的効果の高い不正監視システムを提供することが可能となる。
【図面の簡単な説明】
【図１】店舗内システムの全体構成を概念的に示したブロック図。
【図２】店舗内の一部に配置されているカメラの配置状態を示した図。
【図３】顧客の行動（商品の取り出し）を複数台のカメラによって監視することを説明する為の図。
【図４】（Ａ）は、管理センタ１側に設けられている商品監視データベース１１の構成を示した図、（Ｂ）は、管理センタ１側に設けられている顧客画像ファイル群１２を示した図。
【図５】ＰＯＳ端末２側に設けられている売上データ合計器２１の構成を示した図。
【図６】管理センタ１側に設けられているブラックリスト１３の構成を示した図。
【図７】管理センタ１を構成する機能別の各データ処理装置のうち、その１つのデータ処理装置の基本的な構成要素を示したブロック図。
【図８】ＰＯＳ端末２の基本的構成要素を示したブロック図。
【図９】管理センタ１が常時実行する商品監視処理を示したフローチャート。
【図１０】図９に続く、商品監視処理を示したフローチャート。
【図１１】ＰＯＳ端末２における売上データを登録して精算する精算処理を示したフローチャート。
【図１２】ＰＯＳ端末２側での精算処理に応答して実行されるセンタ応答処理を示したフローチャート。
【図１３】顧客の退場に伴って管理センタ１が実行する退場者監視処理を示したフローチャート。
【図１４】顧客の入場に伴って管理センタ１が実行する入場者監視処理を示したフローチャート。
【符号の説明】
１  管理センタ
２  ＰＯＳ端末
３  入口監視カメラ
４  出口監視カメラ
５  通路監視カメラ
６  商品監視カメラ
７  警備員所持の携帯端末
８  商品陳列棚
９  通路
１１  商品監視データベース
１２  顧客画像ファイル群
１３  ブラックリスト
２１  売上データ合計器
１０１、２０１  ＣＰＵ
１０２、２０２  記憶装置
１０４、２０４  通信装置
１０５、２０５  入力装置
１０６、２０６  表示装置
１０７、２０７  印字装置
２０８  精算顧客カメラ
【図１】
2004171241.tif 000003
【図２】
2004171241.tif 000004
【図３】
2004171241.tif 000005
【図４】
2004171241.tif 000006
【図５】
2004171241.tif 000007
【図６】
2004171241.tif 000008
【図７】
2004171241.tif 000009
【図８】
2004171241.tif 000010
【図９】
2004171241.tif 000011
【図１０】
2004171241.tif 000012
【図１１】
2004171241.tif 000013
【図１２】
2004171241.tif 000014
【図１３】
2004171241.tif 000015
【図１４】
2004171241.tif 000016