(57)【要約】  監視対象の物品Ａ，Ｂ，Ｃを追跡する物品位置特定部１４の追跡結果を参照して、物品Ａ，Ｂ，Ｃが辿っている経路を把握する経路把握部１５を設け、不正持出認定部１６が経路把握部１５により把握された経路が不正経路に相当する場合、物品Ａ，Ｂ，Ｃの不正持ち出しを認定する。
2008117356.tif 000002
【特許請求の範囲】
【請求項１】
所定の監視領域内に存在している監視対象の物品を追跡する物品追跡手段と、上記物品追跡手段の追跡結果を参照して、上記物品が辿っている経路を把握する経路把握手段と、上記経路把握手段により把握された経路が不正経路に相当する場合、上記物品の不正持ち出しを認定する不正持出認定手段とを備えた物品監視装置。
【請求項２】
不正持出認定手段は、経路把握手段により把握された経路が清算場所を通過することなく、店舗の出口を通過している経路であれば、上記経路把握手段により把握された経路が不正経路に相当するものとして、物品の不正持ち出しを認定することを特徴とする請求項１記載の物品監視装置。
【請求項３】
不正持出認定手段により物品の不正持ち出しが認定された場合、不正持ち出しの発生を報知する報知手段を設けたことを特徴とする請求項１記載の物品監視装置。
【請求項４】
物品追跡手段は、監視対象の物品を撮影するビデオカメラと、上記ビデオカメラにより撮影された映像を解析して物品の位置を特定する物品位置特定部とから構成されていることを特徴とする請求項１記載の物品監視装置。
【請求項５】
物品位置特定部は、複数のビデオカメラにより撮影された映像を解析して、物品の３次元位置を特定することを特徴とする請求項４記載の物品監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、スーパーマーケットやコンビニエンスストアなどの店舗からの物品の不正な持ち出しを検出する物品監視装置に関するものである。
【背景技術】
【０００２】
例えば、スーパーマーケットやコンビニエンスストアなどの店舗においては、顧客が代金を支払わずに物品を店舗から持ち出すなどの不正行為が少なからず行われている。
このような不正行為に対処するため、店舗内の個々の物品に異なるＩＤを割り当てて、物品を個々に管理するＰＯＳシステムと、店舗内を撮影するビデオカメラの映像を監視する映像監視装置とを連携させて、物品の不正な持ち出しを検出する物品監視装置が開発されている（例えば、特許文献１を参照）。【０００３】
この物品監視装置では、例えば、店舗内の陳列棚に物品Ａと物品Ｂが陳列されていれば、映像監視装置がビデオカメラの映像を解析して、陳列棚から取り出された物品が、物品Ａであるのか、物品Ｂであるのかを識別する。
また、ＰＯＳレジスターにおいて、物品に割り当てられているＩＤを読み取ることにより、清算済みの物品が、物品Ａであるのか、物品Ｂであるのかを識別する。【０００４】
この物品監視装置では、映像監視装置により識別された物品と、ＰＯＳレジスターにより識別された物品とが一致すれば、物品の正当な持ち出しであると判断され、映像監視装置により識別された物品と、ＰＯＳレジスターにより識別された物品とが一致しない場合、物品の不正な持ち出しであると判断される。【０００５】
【特許文献１】特開２００４−１７１２４０号公報（段落番号［００４６］から［０５６］、図１）
【０００６】
従来の物品監視装置は以上のように構成されているので、映像監視装置が陳列棚から取り出された物品を正確に識別することができれば、物品の不正な持ち出しを正確に検出することができる。しかし、物品Ａと物品Ｂが似通っている商品である場合（例えば、表紙が類似しているシリーズ本や、パッケージの大きさと絵柄が類似しているスナック菓子などの商品）、ビデオカメラの映像を解析しても、陳列棚から取り出された物品が、物品Ａであるのか、物品Ｂであるのかを正確に識別することが困難であり、物品の不正な持ち出しを正確に検出することができないことがある課題があった。
また、物品を個々に管理するＰＯＳシステムが導入されていない店舗では適用することができない課題もあった。【０００７】
この発明は上記のような課題を解決するためになされたもので、物品を個々に管理するＰＯＳシステムが導入されていない店舗でも、物品の不正な持ち出しを検出することができるとともに、陳列棚に似通っている物品が陳列されている場合でも、物品の不正な持ち出しを正確に検出することができる物品監視装置を得ることを目的とする。
【発明の開示】
【０００８】
この発明に係る物品監視装置は、監視対象の物品を追跡する物品追跡手段の追跡結果を参照して、物品が辿っている経路を把握する経路把握手段を設け、不正持出認定手段が経路把握手段により把握された経路が不正経路に相当する場合、物品の不正持ち出しを認定するようにしたものである。
【０００９】
このことによって、物品を個々に管理するＰＯＳシステムが導入されていない店舗でも、物品の不正な持ち出しを検出することができるとともに、陳列棚に似通っている物品が陳列されている場合でも、物品の不正な持ち出しを正確に検出することができる効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による物品監視装置を示す構成図である。
【図２】この発明の実施の形態１による物品監視装置が物品の清算判定を行う際の処理内容を示すシーケンス図である。
【図３】この発明の実施の形態１による物品監視装置が物品の不正持出判定を行う際の処理内容を示すシーケンス図である。
【図４】小領域単位の映像走査を示す説明図である。
【図５】判定結果記憶部１７に記憶されている判定結果記憶テーブルを示す説明図である。
【図６】判定結果記憶部１７に記憶されている判定時刻付の判定結果記憶テーブルを示す説明図である。
【発明を実施するための最良の形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による物品監視装置を示す構成図である。
図１では、物品監視装置が店舗１内に存在している物品Ａ，Ｂ，Ｃを監視対象としている例を示している。【００１２】
図１において、ビデオカメラ１１は撮影範囲が１１ａの定点カメラであり、撮影範囲１１ａ内に存在するキャッシュレジスタ２や物品Ｂを撮影している。
ビデオカメラ１２は撮影範囲が１２ａの定点カメラであり、撮影範囲１２ａ内に存在する物品Ａを撮影している。
ビデオカメラ１３は撮影範囲が１３ａの定点カメラであり、撮影範囲１３ａ内に存在する店舗出口３や物品Ｃを撮影している。
なお、ビデオカメラ１１〜１３は、店舗１の全体が監視下に収まるように配置されているものとする。【００１３】
物品位置特定部１４は例えばＭＰＵなどを実装している半導体集積回路基板から構成されており、店舗１内に存在している監視対象の物品Ａ，Ｂ，Ｃを追跡する処理を実施する。即ち、ビデオカメラ１１〜１３により撮影された映像を解析して物品Ａ，Ｂ，Ｃの位置を特定する処理を実施する。
なお、ビデオカメラ１１〜１３及び物品位置特定部１４から物品追跡手段が構成されている。【００１４】
経路把握部１５は例えばＭＰＵなどを実装している半導体集積回路基板から構成されており、物品位置特定部１４による物品Ａ，Ｂ，Ｃの追跡結果を参照して、物品Ａ，Ｂ，Ｃが辿っている経路を把握する処理を実施する。
なお、経路把握部１５は経路把握手段を構成している。【００１５】
不正持出認定部１６は例えばＭＰＵなどを実装している半導体集積回路基板から構成されており、経路把握部１５により把握された経路（例えば、物品Ｃが辿っている経路）が不正経路に相当する場合、物品Ｃの不正持ち出しを認定する処理を実施する。即ち、経路把握部１５により把握された経路が清算場所であるキャッシュレジスタ２を通過することなく、店舗出口３を通過している経路である場合、経路把握部１５により把握された経路が不正経路に相当するものとして、物品Ｃの不正持ち出しを認定する処理を実施する。
なお、不正持出認定部１６は不正持出認定手段を構成している。【００１６】
判定結果記憶部１７は不正持出認定部１６による清算判定や不正持出判定の判定結果を示す判定結果記憶テーブルを記憶しているメモリである。
不正持出発生報知部１８は例えばＭＰＵなどを実装している半導体集積回路基板から構成されており、不正持出認定部１６により物品の不正持ち出しが認定された場合、不正持ち出しの発生を報知する処理を実施する。即ち、物品の不正持ち出しが発生した旨を知らせる警告灯の点灯又は点滅等の処理や、物品の不正持ち出しが発生した旨を示すメールを店舗１のオーナーや店舗１を経営する会社などに送信する処理や、ビデオカメラ１１〜１３により撮影された映像を保存する処理などを実施する。
なお、不正持出発生報知部１８は報知手段を構成している。【００１７】
図１では、物品監視装置の構成要素である物品位置特定部１４、経路把握部１５、不正持出認定部１６及び不正持出発生報知部１８がそれぞれ専用のハードウェアで構成されているものを想定しているが、物品監視装置がコンピュータを用いて構成される場合、物品位置特定部１４、経路把握部１５、不正持出認定部１６及び不正持出発生報知部１８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。【００１８】
図２はこの発明の実施の形態１による物品監視装置が物品の清算判定を行う際の処理内容を示すシーケンス図である。
図３はこの発明の実施の形態１による物品監視装置が物品の不正持出判定を行う際の処理内容を示すシーケンス図である。【００１９】
次に動作について説明する。
この実施の形態１では、物品Ａ，Ｂ，Ｃを監視対象として、物品Ａ，Ｂ，Ｃを並行して追跡するものとし、物品Ａ，Ｂ，Ｃを区別する物品番号が割り振られる。
物品番号
物品Ａ  →    １
物品Ｂ  →    ２
物品Ａ  →    ３【００２０】
ビデオカメラ１１〜１３は、連続的又は定期的に、それぞれの撮影範囲１１ａ〜１３ａを撮影し、撮影範囲１１ａ〜１３ａの映像を物品位置特定部１４に提供する（図２及び図３のステップＳＴ１）。
物品位置特定部１４は、ビデオカメラ１１〜１３により撮影された映像を受けると、撮影範囲１１ａ〜１３ａの映像を解析して、物品Ａ，Ｂ，Ｃの位置を特定する（ステップＳＴ２）。【００２１】
物品Ａ，Ｂ，Ｃの位置は、監視領域である店舗１内の位置を示すものであり、例えば、店舗１におけるビデオカメラ１１〜１３の撮影範囲１１ａ〜１３ａの位置情報と、ビデオカメラ１１〜１３により撮影された映像上の２次元座標とから特定することができる。
映像上の２次元座標は、例えば、パターンマッチングのような画像処理を実施すれば得ることができる。【００２２】
即ち、映像上の２次元座標を取得するには、例えば、物品監視装置を初期設定する段階において、主成分分析や線形分別法を実施することにより、映像から物品の特徴量を抽出して保存する。もしくは、物品の映像自体を保存する。
次に、運用中、ビデオカメラ１１〜１３により撮影された映像の小領域から、初期設定時と同様にして特徴量を抽出する。
そして、初期設定時に抽出した特徴量と運用中に抽出した特徴量とを比較（または、初期設定時に保存された物品の映像と運用中の小領域とを比較）することにより、運用中、ビデオカメラ１１〜１３により撮影された映像の複数の小領域の中で、どの小領域の特徴量が物品の特徴量と一致するかを判別して、映像上の２次元座標を取得する。【００２３】
比較対象の小領域の選択は、以下のように実施して、小領域単位の映像走査を行う。
図４は小領域単位の映像走査を示す説明図である。
図４の例では、３×３のピクセルからなる小領域を水平方向又は垂直方向に１ピクセルずつずらしながら、小領域を順次選択して、比較処理を実施するようにしている。【００２４】
即ち、映像内の一番左上の小領域２００を最初に選択し、次に右方向に１ピクセルずれている位置にある小領域２０１を選択する。
以降、同様に、右方向に１ピクセルずれている位置にある小領域を順次選択して、小領域２００から右方向にＸピクセルずれている位置にある小領域２０９を選択する。
次に、小領域２００から下方向に１ピクセルずれている位置にある小領域２１０を選択し、以降、右方向に１ピクセルずれている位置にある小領域を順次選択して、小領域２１０から右方向にＸピクセルずれている位置にある小領域を選択する。【００２５】
最終的には、小領域２００から下方向にＹピクセルずれている位置にある小領域２９０を選択し、以降、右方向に１ピクセルずれている位置にある小領域を順次選択して、小領域２９０から右方向にＸピクセルずれている位置にある小領域を選択することにより、映像の全体を網羅するようにする。【００２６】
なお、物品位置特定部１４は、物品Ａ，Ｂ，Ｃの位置を特定する際、同様の映像パターンを有する小領域が移動していれば、その小領域の移動を物品の移動と見なして追跡する。
このとき、似通った物品のように同様の映像パターンを有する複数の物品Ａ，Ｂ，Ｃを追跡する場合には、物品の入れ替わりが起きる可能性があるが、店舗１から持ち出される時点まで、全ての物品Ａ，Ｂ，Ｃを追跡することができれば、不正持ち出しを検出することができるため、追跡時の物品の入れ替わりは問題にならない。【００２７】
ここでは、主成分分析や線形分別法を実施することにより、映像の小領域から特徴量を抽出するものについて示したが、物品の特徴量として、バーコードの類の情報を読み取るようにしてもよい。
なお、この実施の形態１では、物品の特徴量や映像自体を保存するようにしているが、物品を個々に管理するために保存するわけではなく、運用中の映像に映っているものが、監視対象の物品であるか否かを判別するために保存している。【００２８】
物品位置特定部１４は、上記のようにして、物品Ａ，Ｂ，Ｃの位置を特定すると、物品Ａ，Ｂ，Ｃの物品番号と、物品Ａ，Ｂ，Ｃの位置を示す位置情報を経路把握部１５に通知する（図２及び図３のステップＳＴ５）。
ただし、物品位置特定部１４は、監視対象として、既に登録されている物品Ａ，Ｂ，Ｃの他に、新たな物品を検出すると、新たな物品を登録するため、新たな物品に物品番号を割り振って、判定結果記憶部１７に記憶されている図５の判定結果記憶テーブルに新たなレコード（新たな物品番号に係るレコード）を追加する（図２及び図３のステップＳＴ３，ＳＴ４）。【００２９】
経路把握部１５は、物品位置特定部１４から物品Ａ，Ｂ，Ｃの物品番号と、物品Ａ，Ｂ，Ｃの位置を示す位置情報との通知を受けると、物品番号と位置情報を蓄積する。
そして、経路把握部１５は、蓄積している物品番号と位置情報を参照して、過去から現在に至る物品Ａ，Ｂ，Ｃの位置の変化を把握することにより、物品Ａ，Ｂ，Ｃが辿っている経路を把握する（図２及び図３のステップＳＴ６）。
経路把握部１５は、物品Ａ，Ｂ，Ｃが辿っている経路を把握すると、物品Ａ，Ｂ，Ｃの物品番号と、物品Ａ，Ｂ，Ｃが辿っている経路を示す経路情報を不正持出認定部１６に通知する（図２及び図３のステップＳＴ７）。【００３０】
不正持出認定部１６は、経路把握部１５から物品Ａ，Ｂ，Ｃの物品番号と、物品Ａ，Ｂ，Ｃが辿っている経路を示す経路情報との通知を受けると、その物品番号と経路情報を参照して、物品Ａ，Ｂ，Ｃが辿っている経路が不正経路に相当するか否かを判定する。
即ち、不正持出認定部１６は、物品Ａ，Ｂ，Ｃが清算場所であるキャッシュレジスタ２を通過することなく、店舗出口３を通過している場合、清算されずに持ち出されている可能性が高いので、最初に、物品Ａ，Ｂ，Ｃが清算場所であるキャッシュレジスタ２を通過しているか否かを判定することにより、清算済みであるか否かを判定する（図２のステップＳＴ８）。【００３１】
つまり、不正持出認定部１６は、物品Ａ，Ｂ，Ｃが辿っている経路の中に、清算場所であるキャッシュレジスタ２の位置（映像上の一定の範囲）が含まれているか否かを判定することにより、物品Ａ，Ｂ，Ｃが清算場所であるキャッシュレジスタ２を通過しているか否かを判定し、物品Ａ，Ｂ，Ｃがキャッシュレジスタ２を通過していれば、清算済みであると判定し、物品Ａ，Ｂ，Ｃがキャッシュレジスタ２を通過していなければ、未清算であると判定する。【００３２】
不正持出認定部１６は、上記のようにして、清算判定を行うと、物品Ａ，Ｂ，Ｃの物品番号と清算判定の判定結果を判定結果記憶部１７に通知する（図２のステップＳＴ９）。
判定結果記憶部１７は、不正持出認定部１６から物品Ａ，Ｂ，Ｃの物品番号と清算判定の判定結果の通知を受けると、その物品番号に該当する判定結果記憶テーブルのレコードに清算判定の判定結果を記録する（図２のステップＳＴ１０）。【００３３】
次に、不正持出認定部１６は、判定結果記憶部１７に記憶されている判定結果記憶テーブルから物品Ａ，Ｂ，Ｃに関する清算判定の判定結果を取得する（図３のステップＳＴ１１，ＳＴ１２）。
不正持出認定部１６は、物品Ａ，Ｂ，Ｃに関する清算判定の判定結果を取得すると、その清算判定の判定結果を参照して、未清算である物品を特定する。
図５の例では、物品番号が“１”の物品Ａと、物品番号が“３”の物品Ｃが未清算の物品である。【００３４】
不正持出認定部１６は、経路把握部１５から通知された物品Ａ，Ｂ，Ｃの物品番号と、物品Ａ，Ｂ，Ｃが辿っている経路を示す経路情報とを参照して、物品Ａ，Ｂ，Ｃが店舗出口３を通過しているか否かを判定する。
即ち、不正持出認定部１６は、物品Ａ，Ｂ，Ｃが辿っている経路の中に、店舗出口３の位置（映像上の一定の範囲）が含まれているか否かを判定することにより、物品Ａ，Ｂ，Ｃが店舗出口３を通過しているか否かを判定する。【００３５】
不正持出認定部１６は、物品Ａ，Ｂ，Ｃが未清算の物品であり、かつ、物品Ａ，Ｂ，Ｃが店舗出口３を通過していれば、物品Ａ，Ｂ，Ｃが辿っている経路が不正経路であると判定して、物品Ａ，Ｂ，Ｃの不正持ち出しを認定する（図３のステップＳＴ１３）。
例えば、物品Ｂ，Ｃが店舗出口３を通過している場合、物品Ｂは清算済みであるため、正当な持ち出しであると認定するが、物品Ｃは未清算であるため、不正な持ち出しであると認定する。
なお、物品Ａは、未清算であるが、店舗出口３を通過していないので、不正持ち出しの認定はされない。【００３６】
不正持出認定部１６は、上記のようにして、不正持出判定を行うと、物品Ａ，Ｂ，Ｃの物品番号と不正持出判定の判定結果を判定結果記憶部１７に通知する（図３のステップＳＴ１４）。
判定結果記憶部１７は、不正持出認定部１６から物品Ａ，Ｂ，Ｃの物品番号と不正持出判定の判定結果の通知を受けると、その物品番号に該当する判定結果記憶テーブルのレコードに不正持出判定の判定結果を記録する（図３のステップＳＴ１５）。【００３７】
不正持出認定部１６は、不正な持ち出しが行われた物品を認定すると、その物品の物品番号を不正持出発生報知部１８に通知する（図３のステップＳＴ１６）。
不正持出発生報知部１８は、不正持出認定部１６から不正な持ち出しが行われた物品の物品番号の通知を受けると、不正持ち出しの発生を報知する（図３のステップＳＴ１７）。【００３８】
即ち、不正持出発生報知部１８は、判定結果記憶部１７に記憶されている判定結果記憶テーブルを参照して、不正持出認定部１６より通知された物品番号から不正な持ち出しが行われた物品（例えば、物品Ｃ）を認識し、物品Ｃの不正持ち出しが発生した旨を知らせる警告灯を点灯（または、点滅）する。
あるいは、物品Ｃの不正持ち出しが発生した旨を示すメールを店舗１のオーナーや店舗１を経営する会社などに送信する。【００３９】
また、不正持出発生報知部１８は、物品Ｃの不正持ち出しが発生した時点のビデオカメラ１１〜１３により撮影された映像をファイルに保存する。
なお、不正持出発生報知部１８は、その映像を保存しているファイルを、例えば、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）などのプロトコルを用いて、他の任意の装置に転送するようにしてもよい。【００４０】
以上で明らかなように、この実施の形態１によれば、監視対象の物品Ａ，Ｂ，Ｃを追跡する物品位置特定部１４の追跡結果を参照して、物品Ａ，Ｂ，Ｃが辿っている経路を把握する経路把握部１５を設け、不正持出認定部１６が経路把握部１５により把握された経路が不正経路に相当する場合、物品Ａ，Ｂ，Ｃの不正持ち出しを認定するように構成したので、物品を個々に管理するＰＯＳシステムが導入されていない店舗でも、物品の不正な持ち出しを検出することができるとともに、陳列棚に似通っている物品が陳列されている場合でも、物品の不正な持ち出しを正確に検出することができる効果を奏する。【００４１】
また、この実施の形態１によれば、経路把握部１５により把握された経路が清算場所であるキャッシュレジスタ２を通過することなく、店舗出口３を通過している経路であれば、経路把握部１５により把握された経路が不正経路に相当するものとして、物品の不正持ち出しを認定するように構成したので、物品を個々に管理するＰＯＳシステムを導入することなく、物品の不正持ち出しを認定することができる効果を奏する。【００４２】
さらに、この実施の形態１によれば、不正持出認定部１６により物品の不正持ち出しが認定された場合、不正持ち出しの発生を報知するように構成したので、例えば、店舗１のオーナーや店員等が、速やかに不正持ち出しの発生を認識することができる効果を奏する。【００４３】
実施の形態２．
上記実施の形態１では、物品位置特定部１４がビデオカメラ１１〜１３により撮影された映像を解析して、物品Ａ，Ｂ，Ｃの位置を特定するものについて示したが、２台以上のビデオカメラにより撮影された映像上の２次元座標から物品の３次元位置を示す３次元座標を推定するようにしてもよい。
なお、物品の３次元座標は、予め用意したカメラの３次元座標、方向、視野角などを用いて、異なる方向から撮影された２枚以上の映像中の物品の２次元座標から得ることができる。
カメラの３次元座標、方向、視野角などを容易に求める手法として、公知のＴＳＡＩ法などを用いることができる。【００４４】
実施の形態３．
上記実施の形態１では、不正持出認定部１６が清算判定と不正持出判定の判定結果を判定結果記憶テーブル（図５を参照）に記録するものについて示したが、図６に示すように、不正持出認定部１６が清算判定と不正持出判定の判定結果を判定結果記憶テーブルに記録する際、清算判定と不正持出判定の判定時刻を判定結果記憶テーブルに記録するようにしてもよい。
この場合、判定結果記憶テーブルの判定時刻を参照することにより、物品の不正持ち出しの行為を解析することが可能になる。
【産業上の利用可能性】
【００４５】
以上のように、この発明に係る物品監視装置は、物品の不当な持ち出しを検出できるようにして、顧客が代金を支払わずに物品を持ち出すなどの不正行為を減らす必要がある店舗などに用いるのに適している。
【図１】
2008117356.tif 000003
【図２】
2008117356.tif 000004
【図３】
2008117356.tif 000005
【図４】
2008117356.tif 000006
【図５】
2008117356.tif 000007
【図６】
2008117356.tif 000008
【国際調査報告】
2008117356.tif 000009
2008117356.tif 000010