(57)【特許請求の範囲】
【請求項１】
商品を識別する商品識別情報と、前記商品を見るために人が滞留する領域を識別する領域識別情報とを対応付けて記憶する陳列情報記憶手段と、
監視カメラが撮像した画像情報と、当該画像情報の撮像時刻と、当該画像情報を撮像した監視カメラを識別する監視カメラ識別情報とを対応付けて記憶する画像情報記憶手段と、
前記画像情報記憶手段に記憶された前記画像情報から所定時間以上に人が滞留している画像情報を検出し、検出された前記画像情報から人が滞留している領域に対応する前記領域識別情報を判定する滞留検出手段と、
前記滞留検出手段によって検出された前記画像情報に対応する撮像時刻および前記監視カメラ識別情報と、前記領域識別情報とを対応付けて記憶する滞留情報記憶手段と、
在庫情報と仕入れ情報と販売情報とに基づいて、数量が不足している前記商品識別情報を特定する不足商品特定手段と、
前記不足商品特定手段によって特定された前記商品識別情報に対応する前記領域識別情報を前記陳列情報記憶手段から取得する領域取得手段と、
前記領域取得手段によって取得された前記領域識別情報に対応する前記撮像時刻と前記監視カメラ識別情報とを前記滞留情報記憶手段から取得し、取得された前記撮像時刻と前記監視カメラ識別情報とに対応する前記画像情報を前記画像情報記憶手段から抽出する画像抽出手段と、
前記画像抽出手段によって抽出された前記画像情報を表示する表示手段と、
を備えることを特徴とする画像抽出装置。
【請求項２】
前記監視カメラが撮像した画像情報と、当該画像情報の撮像時刻と、当該画像情報を撮像した監視カメラの前記監視カメラ識別情報とを受信する画像情報受信手段、をさらに備え、
前記画像情報記憶手段は、前記画像情報受信手段によって受信された前記画像情報と前記撮像時刻と前記監視カメラ識別情報とを対応付けて記憶すること、を特徴とする請求項１に記載の画像抽出装置。
【請求項３】
前記商品識別情報と、商品が販売された時刻を示す販売時刻とを対応付けて記憶する販売情報記憶手段と、
前記販売情報記憶手段から取得した、前記不足商品特定手段によって特定された前記商品識別情報に対応する前記販売時刻と、前記商品識別情報に対応する前記領域識別情報での前記撮像時刻とに基づいて、万引きの可能性を判定する可能性判定手段と、をさらに備えることを特徴とする請求項１または請求項２に記載の画像抽出装置。
【請求項４】
前記可能性判定手段は、前記販売時刻と前記撮像時刻から前記不足商品特定手段によって特定された前記商品識別情報に対応する前記商品が所定時間以内に販売されていないと判断した場合は、所定時間以内に販売された場合より万引きの可能性が高いと判定すること、を特徴とする請求項３に記載の画像抽出装置。
【請求項５】
画像抽出装置で実行される画像抽出方法において、
前記画像抽出装置は、
商品を識別する商品識別情報と、前記商品を見るために人が滞留する領域を識別する領域識別情報とを対応付けて記憶する陳列情報記憶手段と、
監視カメラが撮像した画像情報と、当該画像情報の撮像時刻と、当該画像情報を撮像した監視カメラを識別する監視カメラ識別情報とを対応付けて記憶する画像情報記憶手段と、を備え、
滞留検出手段が、前記画像情報記憶手段に記憶された前記画像情報から所定時間以上に人が滞留している画像情報を検出し、検出された前記画像情報から人が滞留している領域に対応する前記領域識別情報を判定する滞留検出ステップと、
滞留情報格納手段が、前記滞留検出ステップによって検出された前記画像情報に対応する撮像時刻および前記監視カメラ識別情報と、前記領域識別情報とを対応付けて滞留情報記憶手段に格納する滞留情報格納ステップと、
不足商品特定手段が、在庫情報と仕入れ情報と販売情報とに基づいて、数量が不足している前記商品識別情報を特定する不足商品特定ステップと、
領域取得手段が、前記不足商品特定手段によって特定された前記商品識別情報に対応する前記領域識別情報を前記陳列情報記憶手段から取得する領域取得ステップと、
画像抽出手段が、前記領域取得ステップによって取得された前記領域識別情報に対応する前記撮像時刻と前記監視カメラ識別情報とを前記滞留情報記憶手段から取得し、取得された前記撮像時刻と前記監視カメラ識別情報とに対応する前記画像情報を前記画像情報記憶手段から抽出する画像抽出ステップと、
表示手段が、前記画像抽出手段によって抽出された前記画像情報を表示する表示ステップと、
を有することを特徴とする画像抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像抽出装置および画像抽出方法に関する。
【背景技術】
【０００２】
従来、コンビニエンスストアやスーパーマーケット等において、万引き対策として監視カメラを設置し、店舗内を撮像することによって万引き犯を含めた画像を撮像する監視システムが一般に知られている。このような監視システムでは、監視カメラごとに大量の画像が蓄積されるため、事後に画像で万引き犯を確認するには膨大な確認時間が必要になるという問題があった。
【０００３】
このような問題を解決するものとして、画像から万引き犯を検出する監視システムが開示されている（特許文献１参照）。かかる監視システムでは、予め人物ごとの行動テーブルを作成しておき、行動テーブルに記録された行動によって画像から人物を検出することにより、万引きの被疑者を特定することができる。
【０００４】
【特許文献１】特開２００３−８７７７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載された技術では、行動テーブルを作成するアルゴリズムや行動テーブルに記録された行動によって特定の人物を判断するアルゴリズムは複雑であり、監視システムでの処理に時間がかかってしまうという問題があった。また、同一人物であっても行動テーブルに記録された行動をとらない場合は、注目すべき人物を検出できず、当該人物が撮像されていても画像で確認することができないという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、簡易な処理で漏れのなく確認したい画像を抽出することができる画像抽出装置および画像抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、商品を識別する商品識別情報と、前記商品を見るために人が滞留する領域を識別する領域識別情報とを対応付けて記憶する陳列情報記憶手段と、監視カメラが撮像した画像情報と、当該画像情報の撮像時刻と、当該画像情報を撮像した監視カメラを識別する監視カメラ識別情報とを対応付けて記憶する画像情報記憶手段と、前記画像情報記憶手段に記憶された前記画像情報から所定時間以上に人が滞留している画像情報を検出し、検出された前記画像情報から人が滞留している領域に対応する前記領域識別情報を判定する滞留検出手段と、前記滞留検出手段によって検出された前記画像情報に対応する撮像時刻および前記監視カメラ識別情報と、前記領域識別情報とを対応付けて記憶する滞留情報記憶手段と、在庫情報と仕入れ情報と販売情報とに基づいて、数量が不足している前記商品識別情報を特定する不足商品特定手段と、前記不足商品特定手段によって特定された前記商品識別情報に対応する前記領域識別情報を前記陳列情報記憶手段から取得する領域取得手段と、前記領域取得手段によって取得された前記領域識別情報に対応する前記撮像時刻と前記監視カメラ識別情報とを前記滞留情報記憶手段から取得し、取得された前記撮像時刻と前記監視カメラ識別情報とに対応する前記画像情報を前記画像情報記憶手段から抽出する画像抽出手段と、前記画像抽出手段によって抽出された前記画像情報を表示する表示手段と、を備えることを特徴とする。
【０００８】
また、請求項２にかかる発明は、請求項１に記載の画像抽出装置において、前記監視カメラが撮像した画像情報と、当該画像情報の撮像時刻と、当該画像情報を撮像した監視カメラの前記監視カメラ識別情報とを受信する画像情報受信手段、をさらに備え、前記画像情報記憶手段は、前記画像情報受信手段によって受信された前記画像情報と前記撮像時刻と前記監視カメラ識別情報とを対応付けて記憶すること、を特徴とする。
【０００９】
また、請求項３にかかる発明は、請求項１または請求項２に記載の画像抽出装置において、前記商品識別情報と、商品が販売された時刻を示す販売時刻とを対応付けて記憶する販売情報記憶手段と、前記販売情報記憶手段から取得した、前記不足商品特定手段によって特定された前記商品識別情報に対応する前記販売時刻と、前記商品識別情報に対応する前記領域識別情報での前記撮像時刻とに基づいて、万引きの可能性を判定する可能性判定手段と、をさらに備えることを特徴とする。
【００１０】
また、請求項４にかかる発明は、請求項３に記載の画像抽出装置において、前記可能性判定手段は、前記販売時刻と前記撮像時刻から前記不足商品特定手段によって特定された前記商品識別情報に対応する前記商品が所定時間以内に販売されていないと判断した場合は、所定時間以内に販売された場合より万引きの可能性が高いと判定すること、を特徴とする。
【００１１】
また、請求項５にかかる発明は、画像抽出装置で実行される画像抽出方法において、前記画像抽出装置は、商品を識別する商品識別情報と、前記商品を見るために人が滞留する領域を識別する領域識別情報とを対応付けて記憶する陳列情報記憶手段と、監視カメラが撮像した画像情報と、当該画像情報の撮像時刻と、当該画像情報を撮像した監視カメラを識別する監視カメラ識別情報とを対応付けて記憶する画像情報記憶手段と、を備え、滞留検出手段が、前記画像情報記憶手段に記憶された前記画像情報から所定時間以上に人が滞留している画像情報を検出し、検出された前記画像情報から人が滞留している領域に対応する前記領域識別情報を判定する滞留検出ステップと、滞留情報格納手段が、前記滞留検出ステップによって検出された前記画像情報に対応する撮像時刻および前記監視カメラ識別情報と、前記領域識別情報とを対応付けて滞留情報記憶手段に格納する滞留情報格納ステップと、不足商品特定手段が、在庫情報と仕入れ情報と販売情報とに基づいて、数量が不足している前記商品識別情報を特定する不足商品特定ステップと、領域取得手段が、前記不足商品特定手段によって特定された前記商品識別情報に対応する前記領域識別情報を前記陳列情報記憶手段から取得する領域取得ステップと、画像抽出手段が、前記領域取得ステップによって取得された前記領域識別情報に対応する前記撮像時刻と前記監視カメラ識別情報とを前記滞留情報記憶手段から取得し、取得された前記撮像時刻と前記監視カメラ識別情報とに対応する前記画像情報を前記画像情報記憶手段から抽出する画像抽出ステップと、表示手段が、前記画像抽出手段によって抽出された前記画像情報を表示する表示ステップと、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、監視カメラで撮像された膨大な画像情報から、商品を選択するために滞留している人が撮像されている画像情報および人が滞留している領域を検出し、検出された画像情報に対応する撮像時刻と監視カメラ識別情報と領域識別情報を保持し、保持した情報に基づいて不足している商品に対応する画像情報を抽出して表示するため、簡易な処理で漏れのなく確認したい画像を抽出することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、本発明にかかる画像抽出装置および画像抽出方法の最良な実施の形態を詳細に説明する。なお、本発明はこれらの実施の形態に限定されるものではない。
【００１４】
（第１の実施の形態）
第１の実施の形態について、添付図面を参照して説明する。まず、本発明が適用される画像抽出装置の構成例について説明する。図１は、第１の実施の形態にかかる画像抽出装置の構成を示すブロック図である。画像抽出装置１００は、警備領域に設置されている監視カメラ２００と有線または無線の通信線で接続されている。
【００１５】
本実施の形態にかかる画像抽出装置１００は、画像情報受信部１０１と、画像情報記憶部１０２と、滞留検出部１０３と、滞留情報記憶部１０４と、不足商品特定部１０５と、画像情報抽出部１０６と、表示部１０７と、抽出画像情報記憶部１０８と、在庫情報取得部１０９と、仕入れ情報取得部１１０と、販売情報取得部１１１と、陳列情報データベース１２０と、監視領域データベース１３０と、在庫情報データベース１４０と、仕入れ情報データベース１５０と、販売情報データベース１６０とを備えている。
【００１６】
画像情報受信部１０１は、監視カメラ２００が撮像した画像情報と、撮像時刻と、画像情報を撮像した監視カメラを識別する監視カメラＩＤとを通信線で接続された監視カメラ２００それぞれから受信する。なお、撮像時刻は、監視カメラ２００それぞれで計時せず、画像抽出装置１００側に備えた図示しないタイマ部から取得するようにしてもよい。また、撮像時刻に代えて、すべての監視カメラ２００で同期をとったカウンタ値を受信するようにしてもよい。画像情報記憶部１０２は、画像情報受信部１０１によって受信した画像情報と撮像時刻と監視カメラＩＤを対応付けて記憶する。
【００１７】
滞留検出部１０３は、画像情報記憶部１０２に記憶された監視カメラ２００ごとの画像情報から１つの領域に滞留している人を検出し、人が滞留を開始した撮像時刻と人が滞留している領域を判定し、判定した撮像時刻と領域を識別する領域ＩＤと監視カメラＩＤを滞留情報記憶部１０４に格納する。ここで、領域とは、棚に陳列された商品を選択する際に滞留する（すなわち足を止めている）人の足が置かれる場所である。このように、滞留を検出することにより、商品購入のために立ち止まった人が撮像された画像、および万引き等の目的で隙を窺うために商品の付近で立ち止まった人が撮像された画像の抽出が可能となる。なお、滞留検出部１０３で滞留している人を検出する画像情報は、画像情報記憶部１０２に記憶された画像情報に代えて、画像情報受信部１０１によって受信された画像情報を用いてもよい。また、滞留の検出に用いるアルゴリズムは、画像中から人が滞留した領域を検出できるものであれば、任意のアルゴリズムを利用してもよい。
【００１８】
滞留情報記憶部１０４は、滞留検出部１０３で検出された滞留情報を格納する。図２は、滞留情報記憶部のデータ構成の一例を示す説明図である。滞留情報記憶部１０４は、人が滞留を開始した撮像時刻と、人が滞留した領域ＩＤと、滞留している人物を撮像した監視カメラＩＤとを対応付けて記憶する。
【００１９】
在庫情報データベース１４０は、棚卸しで確認した商品ごとの在庫数量である在庫情報を格納する。図３は、在庫情報データベースのデータ構成の一例を示す説明図である。在庫情報データベース１４０は、商品ＩＤと、棚卸し日付ごとの数量とを対応付けて記憶している。
【００２０】
仕入れ情報データベース１５０は、商品ごとの仕入れ数量である仕入れ情報を格納する。図４は、仕入れ情報データベースのデータ構成の一例を示す説明図である。仕入れ情報データベース１５０は、商品ＩＤと、仕入れ日付ごとの数量とを対応付けて記憶している。
【００２１】
販売情報データベース１６０は、商品ごとの販売数量である販売情報を格納する。図５は、販売情報データベースのデータ構成の一例を示す説明図である。販売情報データベース１６０は、商品ＩＤと、販売日付ごとの数量とを対応付けて記憶している。
【００２２】
不足商品特定部１０５は、在庫情報データベース１４０から取得した所定期間の在庫情報と、仕入れ情報データベース１５０から取得した所定期間の仕入れ情報と、販売情報データベース１６０から取得した所定期間の販売情報から数量が一致しない商品ＩＤを特定する。
【００２３】
陳列情報データベース１２０は、商品と人が商品を選択するために滞留する領域を格納する。図６は、陳列情報データベースのデータ構成の一例を示す説明図である。陳列情報データベース１２０は、商品を識別する商品ＩＤと、領域を識別する領域ＩＤとを対応付けて記憶する。図６に示すように、商品ＩＤ“食品Ａ”と領域ＩＤ“Ｅ１”とが対応付けて記憶されていることから、人が商品ＩＤ“食品Ａ”の商品を選択する際には、領域ＩＤ“Ｅ１”の領域に滞留する。なお、商品が複数の領域にまたがって陳列される場合や、複数の領域の境界付近に陳列される場合など、必要に応じて商品ＩＤに対応付ける領域ＩＤを複数にしてもよい。
【００２４】
監視領域データベース１３０は、監視カメラ２００が撮像する領域を格納する。図７は、監視領域データベースのデータ構成の一例を示す説明図である。監視領域データベース１３０は、監視カメラＩＤと領域ＩＤとを対応付けて記憶する。図７に示すように、例えば監視カメラＩＤ“１”は、領域ＩＤ“Ａ１〜Ａ４，Ｂ１〜Ｂ４”の領域を撮像する。
【００２５】
画像情報抽出部１０６は、不足商品特定部１０５によって特定された商品ＩＤに対応する領域ＩＤを陳列情報データベース１２０から取得し、取得した領域ＩＤに対応する撮像時刻と監視カメラＩＤを滞留情報記憶部１０４から取得する。さらに、画像情報抽出部１０６は、画像情報記憶部１０２に記憶された画像情報から、取得された監視カメラＩＤと撮像時刻に対応する画像情報を抽出する。画像情報抽出部１０６は、本発明にかかる領域取得手段および画像抽出手段を構成する。
【００２６】
表示部１０７は、画像情報抽出部１０６によって抽出された画像情報を表示モニタに表示する。なお、画像情報は、撮像時刻の画像情報を次々に表示するようにしてもよいし、滞留時間を保持しておき撮像時刻から滞留時間が終了するまでの画像情報を次々に表示するようにしてもよい。抽出画像情報記憶部１０８は、画像情報抽出部１０６によって抽出された画像情報を記憶する。抽出画像情報記憶部１０８は、ＲＡＭ(Random Access Memory)、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disk）ドライブ装置のほか、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。
【００２７】
在庫情報取得部１０９は、棚卸しで確認した商品ＩＤごとの数量を在庫情報として取得し、取得した在庫情報を在庫情報データベース１４０に格納する。仕入れ情報取得部１１０は、配達された商品ごとの数量を仕入れ情報として取得し、取得した仕入れ情報を仕入れ情報データベース１５０に格納する。販売情報取得部１１１は、ＰＯＳ（Point Of Sales）レジスタから取得した販売商品に対応する商品ＩＤと数量を販売情報として取得し、取得した販売情報を販売情報データベース１６０に格納する。
【００２８】
監視カメラ２００は、撮像領域を撮像し、撮像した画像情報と撮像時刻と監視カメラＩＤとを通信線を介して画像抽出装置１００に送出する。監視カメラ２００それぞれは、監視領域データベース１３０に格納されている監視カメラＩＤに対応付けられた領域を撮像する。
【００２９】
次に、以上のように構成されている画像抽出装置１００による滞留情報生成処理について説明する。図８は、画像情報受信部、滞留検出部が行う滞留情報生成処理手順を示すフローチャートである。
【００３０】
まず、画像情報受信部１０１は、監視カメラ２００から画像情報と撮像時刻と監視カメラＩＤを受信する（ステップＳ８０１）。画像情報受信部１０１は、受信した画像情報と撮像時刻と監視カメラＩＤを画像情報記憶部１０２に格納する（ステップＳ８０２）。
【００３１】
滞留検出部１０３は、画像情報から滞留している人を検出する（ステップＳ８０３）。例えば、連続する画像情報において人体、特に足の部分が一定時間停止している画像情報を検出する。これにより、人が商品を選択する際に立ち止まっている画像情報を検出することができる。滞留検出部１０３は、検出した画像情報に対応する撮像時刻と監視カメラＩＤを画像情報記憶部１０２から取得する（ステップＳ８０４）。
【００３２】
次に、滞留検出部１０３は、検出した画像情報から人が立ち止まっている領域の領域ＩＤを判定する（ステップＳ８０５）。例えば、監視カメラ２００によって予め無人の状態で撮像された画像情報における領域に対応した位置情報を登録しておき、検出した画像情報での人の足の位置がどの領域にあるかを判断することによって、人が立ち止まっている領域を判定し、判定した領域に対応する領域ＩＤを取得する。
【００３３】
滞留検出部１０３は、撮像時刻と領域ＩＤと監視カメラＩＤを滞留情報記憶部１０４に格納する（ステップＳ８０６）。このように、滞留情報記憶部１０４には、人が滞留した際の画像情報を検索するためのインデックスとして滞留情報が図２に示すように格納される。
【００３４】
次に、画像抽出装置１００による画像情報抽出処理について説明する。図９は、不足商品特定部、画像情報抽出部が行う画像情報抽出処理手順を示すフローチャートである。
【００３５】
まず、不足商品特定部１０５は、在庫情報データベース１４０から所定期間の在庫情報を取得する（ステップＳ９０１）。例えば、図３に示す在庫情報データベース１４０において、８月１日００：００の在庫数量と８月２日００：００の在庫数量を取得する。次に、不足商品特定部１０５は、仕入れ情報データベース１５０から所定期間に仕入れられた仕入れ情報を取得する（ステップＳ９０２）。例えば、図４に示すように、８月１日００：００〜８月１日２３：５９の間に仕入れられた商品ＩＤと数量を取得する。
【００３６】
不足商品特定部１０５は、販売情報データベース１６０から所定期間に販売された販売情報を取得する（ステップＳ９０３）。例えば、図５に示すように、８月１日００：００〜８月１日２３：５９の間に販売された商品ＩＤと数量を取得する。
【００３７】
不足商品特定部１０５は、在庫情報と仕入れ情報と販売情報から不足している商品ＩＤを特定する（ステップＳ９０４）。例えば、上述したような在庫情報と仕入れ情報と販売情報の場合、商品ＩＤ“雑貨Ａ”は、８月１日００：００の在庫数量が“１５”、８月２日００：００の在庫数量が“１５”、８月１日００：００〜２３：５９の仕入数量が“１０”、販売数量が“８”であることから、不明数量が“２”であり、不足商品として特定される。また、商品ＩＤ“化粧品Ａ”は、８月１日００：００の在庫数量が“１２”、８月２日００：００の在庫数量が“１２”、８月１日００：００〜２３：５９の仕入数量が“１０”、販売数量が“８”であることから、不明数量が“２”であり、不足商品として特定される。
【００３８】
画像情報抽出部１０６は、陳列情報データベース１２０から不足商品として特定された商品ＩＤに対応する領域ＩＤを取得する（ステップＳ９０５）。例えば、図６に示すように、商品ＩＤ“雑貨Ａ”に対応する領域ＩＤ“Ｃ３”を取得する。次に、画像情報抽出部１０６は、滞留情報記憶部１０４から領域ＩＤに対応する撮像時刻と監視カメラＩＤを取得する（ステップＳ９０６）。例えば、図２に示すような場合に、領域ＩＤ“Ｃ３”に対応する撮像時刻“０８／０１  １６：０５：０５”、監視カメラＩＤ“２”が取得される。
【００３９】
画像情報抽出部１０６は、画像情報記憶部１０２から撮像時刻と監視カメラＩＤに対応する画像情報を取得する（ステップＳ９０７）。表示部１０７は、取得した画像情報を表示モニタに表示する（ステップＳ９０８）。画像情報抽出部１０６は、抽出画像情報記憶部１０８に取得した画像情報を出力する（ステップＳ９０９）。図１０は、抽出画像情報記憶部に記憶される画像情報のインデックスの一例を示す説明図である。図１０に示すように、図２に示す滞留情報のなかから図１０に対応する画像情報が抽出され、抽出画像情報記憶部１０８に画像情報が格納される。これにより、画像情報を事後繰り返し確認することが可能であり、また警察等へ捜査協力するために画像情報を提出することができる。なお、抽出画像情報記憶部１０８は、画像情報に加えて図１０に示すようなインデックスを保持し、保持したインデックスで画像情報を選択するようにしてもよい。
【００４０】
このように、監視カメラで撮像された膨大な画像情報から、商品を選択するために滞留している人が撮像されている画像情報および人が滞留している領域を検出し、検出された画像情報に対応する撮像時刻と監視カメラ識別情報と領域識別情報を保持することによって、不足している商品に対応する画像情報を容易に抽出して表示することができる。これにより、膨大な画像情報から万引き犯が撮像されている可能性の高い画像情報を漏れなく表示することができ、画像情報の確認作業時間が大幅に短縮することができる。
【００４１】
次に、商品棚と監視カメラと領域の関係について説明する。図１１は、店舗における商品棚と監視カメラ、領域の一例を示す説明図である。図１１に示すように、コンビニエンスストア等の店舗において、監視カメラ２００−１〜２００−７が配置されている。例えば、監視カメラ２００−２は、領域ＩＤ“Ｃ１〜Ｃ４、Ｄ１〜Ｄ４”を撮像する。
【００４２】
ここで、上述したように、監視カメラ２００−２（監視カメラＩＤ＝２）が撮像した画像情報が撮像時刻と監視カメラＩＤとともに画像情報記憶部１０２に記憶される。また、撮像された画像情報から滞留している人を検出し、検出された画像情報に対応する撮像時刻と監視カメラＩＤを滞留情報記憶部１０４に格納する。一方、在庫情報データベース１４０や仕入れ情報データベース１５０、販売情報データベース１６０から不足している商品ＩＤ“雑貨Ａ”を特定し、特定された商品ＩＤ“雑貨Ａ”に対応する領域ＩＤ“Ｃ３”を陳列情報データベース１２０から取得する。
【００４３】
滞留情報記憶部１０４から領域ＩＤ“Ｃ３”に対応する撮像時刻と監視カメラＩＤを取得し、取得した撮像時刻“０８／０１  １６：０５：０５”と監視カメラＩＤ“２”に対応する画像情報を画像情報記憶部１０２から取得し、取得した画像情報を表示する。これにより、商品ＩＤ“雑貨Ａ”が陳列してある棚から商品を選択する際に立ち止まる領域である領域ＩＤ“Ｃ３”で滞留していた人物を漏れなく表示し、確認することができる。また、他の不要な画像情報は表示されることがないため、不要な確認時間を削減することができる。
【００４４】
なお、図１１に示す領域の分け方は一例であり、設定する領域の大きさや数は任意に選択してもよく、隣り合う領域が重複していてもよい。
【００４５】
（第２の実施の形態）
第２の実施の形態について、添付図面を参照して説明する。本発明が適用される画像抽出装置の構成例について、第１の実施の形態と異なる部分を説明する。他の部分については第１の実施の形態と同様であるので、上述した説明を参照し、ここでの説明を省略する。図１２は、第２の実施の形態にかかる画像抽出装置の構成を示すブロック図である。
【００４６】
本実施の形態の画像抽出装置３００は、画像情報受信部１０１と、画像情報記憶部１０２と、滞留検出部１０３と、滞留情報記憶部３０４と、不足商品特定部１０５と、画像情報抽出部３０６と、表示部１０７と、抽出画像情報記憶部１０８と、在庫情報取得部１０９と、仕入れ情報取得部１１０と、販売情報取得部１１１と、可能性判定部３１２と、陳列情報データベース１２０と、監視領域データベース１３０と、在庫情報データベース１４０と、仕入れ情報データベース１５０と、販売情報データベース３６０とを備えている。
【００４７】
ここで、画像情報受信部１０１と、画像情報記憶部１０２と、滞留検出部１０３と、不足商品特定部１０５と、表示部１０７と、抽出画像情報記憶部１０８と、在庫情報取得部１０９と、仕入れ情報取得部１１０と、販売情報取得部１１１と、陳列情報データベース１２０と、監視領域データベース１３０と、在庫情報データベース１４０と、仕入れ情報データベース１５０の構成、機能は、第１の実施の形態と同様であるので、説明を省略する。
【００４８】
販売情報データベース３６０は、第１の実施の形態でのデータ構成に加え、商品ＩＤと販売時刻とを対応付けて記憶する。図１３は、販売情報データベースのデータ構成の一例を示す説明図である。図１３に示すように、商品ＩＤに対応して販売時刻が格納されている。このように、商品ごとに販売された時刻を保持することにより、在庫管理上に不足している商品が購入された可能性が高いのか万引きされた可能性が高いのかを判断するための情報を得ることができる。
【００４９】
可能性判定部３１２は、滞留を検出した領域ＩＤに対応する商品が所定時間内に販売されたか否かによって万引きの可能性を判断し、滞留情報記憶部３０４に格納する。
【００５０】
滞留情報記憶部３０４は、滞留検出部１０３によって検出された撮像時刻と領域ＩＤと監視カメラＩＤとを格納し、その後可能性判定部３１２によって判定された万引き可能性を加えて格納する。図１４は、滞留情報記憶部のデータ構成の一例を示す説明図である。滞留情報記憶部３０４は、撮像時刻と領域ＩＤと監視カメラＩＤと可能性とを対応付けて記憶する。
【００５１】
画像情報抽出部３０６は、第１の実施の形態の機能、構成に加え、さらに可能性によって、例えば可能性の高い順に画像情報を抽出する。
【００５２】
次に、以上のように構成されている画像抽出装置３００による可能性格納処理について説明する。図１５は、可能性判定部が行う可能性格納処理手順を示すフローチャートである。なお、他の処理については、上述した第１の実施の形態での処理と同様であるため、ここでの説明を省略する。
【００５３】
まず、可能性判定部３１２は、滞留情報記憶部３０４から撮像時刻と領域ＩＤを取得する（ステップＳ１５０１）。可能性判定部３１２は、陳列情報データベース１２０から領域ＩＤに対応する商品ＩＤを取得する（ステップＳ１５０２）。可能性判定部３１２は、販売情報データベース３６０から商品ＩＤに対応する販売時刻を取得する（ステップＳ１５０３）。
【００５４】
次に、可能性判定部３１２は、撮像時刻と販売時刻から商品の棚の前で滞留して５分以内に商品が販売されたか否かを判断する（ステップＳ１５０４）。５分以内に商品が販売されたと判断した場合は（ステップＳ１５０４：Ｙｅｓ）、滞留情報記憶部３０４の可能性に“低”を格納する（ステップＳ１５０５）。例えば、図１４に示すように撮像時刻が“０８／０１  １９：２０：５５”で、図１３に示すように販売時刻が“０８／０１  １９：２２：４５”の場合は、５分以内であるため、図１４に示すように可能性には“低”が格納される。
【００５５】
５分以内に商品が販売されていないと判断した場合は（ステップＳ１５０４：Ｎｏ）、可能性判定部３１２は撮像時刻と販売時刻から商品の棚の前で滞留して１０分以内に商品が販売されたか否かを判断する（ステップＳ１５０６）。１０分以内に商品が販売されたと判断した場合は（ステップＳ１５０６：Ｙｅｓ）、滞留情報記憶部３０４の可能性に“中”を格納する（ステップＳ１５０７）。例えば、図１４に示すように撮像時刻が“０８／０１  １９：４８：０５”で、図１３に示すように販売時刻が“０８／０１  １９：５４：００”の場合は、５分を超えて１０分以内であるため、図１４に示すように可能性には“中”が格納される。
【００５６】
１０分以内に商品が販売されていないと判断した場合は（ステップＳ１５０６：Ｎｏ）、滞留情報記憶部３０４の可能性に“高”を格納する（ステップＳ１５０８）。例えば、図１４に示すように撮像時刻が“０８／０１  １９：５５：４０”で、図１３に示すように撮像時刻から１０分以下に販売時刻が格納されていないため、図１４に示すように可能性には“高”が格納される。
【００５７】
このように、ある商品の付近で滞留した人の撮像時刻と商品の販売時刻とを比較し、撮像時刻から販売時刻までの時間をもとに万引きされた可能性を判断する。撮像後すぐに商品が販売された場合は、正規に購入した人が撮像されたものとして、可能性“低”を判断する。画像情報抽出部において万引きされた可能性を考慮して画像情報を抽出することにより、より可能性の高い画像情報から確認することができるため、確認時間を短縮することが可能となる。
【００５８】
なお、ここで判断に用いられている時間は、５分や１０分に限るものではなく、店舗の規模または業種、訪れる客層に応じて自由に変更することができる。また、本実施の形態では、万引きされた可能性について、３段階に分けた例を示しているが、２段階あるいは４段階以上に分けてもよい。
【００５９】
以上、本発明を第１および第２の実施の形態を用いて説明してきたが、上述した実施の形態に多様な変更または改良を加えることができる。なお、上述した第１の実施の形態、第２の実施の形態において説明した構成や機能は、自由に組み合わせることができる。
【図面の簡単な説明】
【００６０】
【図１】第１の実施の形態にかかる画像抽出装置の構成を示すブロック図である。
【図２】滞留情報記憶部のデータ構成の一例を示す説明図である。
【図３】在庫情報データベースのデータ構成の一例を示す説明図である。
【図４】仕入れ情報データベースのデータ構成の一例を示す説明図である。
【図５】販売情報データベースのデータ構成の一例を示す説明図である。
【図６】陳列情報データベースのデータ構成の一例を示す説明図である。
【図７】監視領域データベースのデータ構成の一例を示す説明図である。
【図８】画像情報受信部、滞留検出部が行う滞留情報生成処理手順を示すフローチャートである。
【図９】不足商品特定部、画像情報抽出部が行う画像情報抽出処理手順を示すフローチャートである。
【図１０】抽出画像情報記憶部に記憶される画像情報のインデックスの一例を示す説明図である。
【図１１】店舗における商品棚と監視カメラ、領域の一例を示す説明図である。
【図１２】第２の実施の形態にかかる画像抽出装置の構成を示すブロック図である。
【図１３】販売情報データベースのデータ構成の一例を示す説明図である。
【図１４】滞留情報記憶部のデータ構成の一例を示す説明図である。
【図１５】可能性判定部が行う可能性格納処理手順を示すフローチャートである。
【符号の説明】
【００６１】
１００  ３００  画像抽出装置
１０１  画像情報受信部
１０２  画像情報記憶部
１０３  滞留検出部
１０４  ３０４  滞留情報記憶部
１０５  不足商品特定部
１０６  ３０６  画像情報抽出部
１０７  表示部
１０８  抽出画像情報記憶部
１０９  在庫情報取得部
１１０  仕入れ情報取得部
１１１  販売情報取得部
１２０  陳列情報データベース
１３０  監視領域データベース
１４０  在庫情報データベース
１５０  仕入れ情報データベース
１６０  ３６０  販売情報データベース
２００  監視カメラ
３１２  可能性判定部
【図１】
0004948343.tif 000002
【図２】
0004948343.tif 000003
【図３】
0004948343.tif 000004
【図４】
0004948343.tif 000005
【図５】
0004948343.tif 000006
【図６】
0004948343.tif 000007
【図７】
0004948343.tif 000008
【図８】
0004948343.tif 000009
【図９】
0004948343.tif 000010
【図１０】
0004948343.tif 000011
【図１１】
0004948343.tif 000012
【図１２】
0004948343.tif 000013
【図１３】
0004948343.tif 000014
【図１４】
0004948343.tif 000015
【図１５】
0004948343.tif 000016