(57)【要約】【課題】監視システムにおいて、店員の精算ミスに対して事後的な検証を容易に行うための技術を提供すること。【解決手段】ＰＯＳレジ端末と、撮影装置と、サーバとを含む監視システムであって、撮影装置で撮影された撮影画像からＰＯＳレジ端末で支払いを行う顧客の顔を検出する検出手段と、検出手段で顧客の顔が検出されない場合に、ＰＯＳレジ端末における精算機能を制限するように制御する制御手段と、を備えることを特徴とする。【選択図】図７
2019113971.tif 000002
【特許請求の範囲】
【請求項１】
ＰＯＳレジ端末と、撮影装置と、サーバとを含む監視システムであって、
前記撮影装置で撮影された撮影画像から前記ＰＯＳレジ端末で支払いを行う顧客の顔を検出する検出手段と、
前記検出手段で前記顧客の顔が検出されない場合に、前記ＰＯＳレジ端末における精算機能を制限するように制御する制御手段と、を備えることを特徴とする監視システム。
【請求項２】
前記制御手段は、前記検出手段で顧客の顔が検出されない場合に、前記ＰＯＳレジ端末に対してレシートを発行させないように制御することを特徴とする請求項１に記載の監視システム。
【請求項３】
前記制御手段は、前記検出手段で顧客の顔が検出されない場合に、前記ＰＯＳレジ端末における顧客からの入金／出金処理を受け付けないように制御することを特徴とする請求項１または２に記載の監視システム。
【請求項４】
前記検出手段で前記顧客の顔が検出された場合に、前記ＰＯＳレジ端末に記憶される電子ジャーナル情報と、前記撮影画像とを対応づけて記憶する記憶手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の監視システム。
【請求項５】
ＰＯＳレジ端末と、撮影装置と、サーバとを含む監視システムの制御方法であって、
前記撮影装置で撮影された撮影画像から前記ＰＯＳレジ端末で支払いを行う顧客の顔を検出する検出工程と、
前記検出工程で前記顧客の顔が検出されない場合に、前記ＰＯＳレジ端末における精算機能を制限するように制御する制御工程と、を備えることを特徴とする監視システムの制御方法。
【請求項６】
コンピュータを、請求項１から４のいずれか１項に記載された監視システムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システム、監視システムの制御方法、およびプログラムに関する。
【背景技術】
【０００２】
コンビニエンスストアやスーパーマーケットなどの店舗において、店員は、ＰＯＳレジ端末を用いて会計処理を行う。例えば、店員は、顧客から支払い額を受け取り、ＰＯＳレジ端末に該支払い額を入力し、釣銭を顧客へ渡し精算を終了する。また、顧客は、紙幣や貨幣だけでなく、これらに相当する商品券により支払いを行うことがある。
【０００３】
特許文献１には、店舗に設置した監視カメラとＰＯＳレジ端末とが接続されたシステムであって、運用状況の撮影した監視画像を用いて監視する監視システムが開示されている。ここで、監視画像は、店員の行動、顧客の購入商品が撮影された画像である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２１７０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述のような店舗での会計処理において、店員が釣銭の額を誤って支払ってしまう場合がある。この場合に、顧客および店員は、該精算の際のレシートおよび監視画像があれば、釣銭の額が一致しないこと確認することが可能となる。しかしながら、従来の監視システムでは、レシート等の顧客側で購入したことを特定できる情報を保有していない場合には、誤った精算に対して事後的な対応を行うことは困難であった。
【０００６】
そこで、本発明は、上記課題に鑑みてなされたものであり、店員の精算ミスに対して事後的な検証を容易に行うための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、ＰＯＳレジ端末と、撮影装置と、サーバとを含む監視システムであって、前記撮影装置で撮影された撮影画像から前記ＰＯＳレジ端末で支払いを行う顧客の顔を検出する検出手段と、前記検出手段で前記顧客の顔が検出されない場合に、前記ＰＯＳレジ端末における精算機能を制限するように制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、店員の精算ミスに対して事後的な検証を容易に行うための技術を提供することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第一の実施形態における監視システムの一例を示す図である。
【図２】第一の実施形態におけるサーバおよびクライアント端末のハードウェア構成の一例を示す図である。
【図３】第一の実施形態における撮影装置の一例を示す図である。
【図４】第一の実施形態におけるＰＯＳレジ端末の一例を示す図である。
【図５】第一の実施形態における監視システムの機能構成の一例を示すフローチャートである。
【図６】第一の実施形態におけるクライアント端末での再生画像の一例を示す図である。
【図７】第一の実施形態におけるＰＯＳレジ端末の制御処理のフローチャートの一例を示す図である。
【図８】第一の実施形態におけるデータベースの一例を示す図である。
【図９】第二の実施形態におけるＰＯＳレジ端末の制御処理のフローチャートの一例を示す図である。
【図１０】第二の実施形態におけるデータベースの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つであ
【００１１】
（第一の実施形態）
本実施形態における監視システムの一例を図１に示す。図１は、第一の実施形態における監視システムのシステム構成の一例を示す図である。監視システム１０は、サーバ１０１と、クライアント端末１０２と、撮影装置１０３と、ＰＯＳレジ端末１０４とを備える。
【００１２】
図１において、撮影装置（ネットワークカメラ）１０３は、ＰＯＳレジ端末の１０４の周辺を撮影するように設置されている。サーバ１０１は、撮影装置１０３で撮影された撮影画像の取得を行う。
【００１３】
クライアント端末１０２は、サーバ１０１が生成した画面の表示を行う。図１では、サーバ１０１とクライアント端末１０２とを各々独立した装置として示したが、サーバ１０１とクライアント端末１０２とを一体化して構成してもよい。クライアント端末１０２は、例えば、ＰＣ等の情報処理装置である。
【００１４】
ＰＯＳレジ端末１０４は、店舗内に設置され、店員が顧客単位で売上・入金に関する処理を行う装置である。
【００１５】
ネットワーク１０５は、サーバ１０１と、クライアント端末１０２と、撮影装置１０３と、ＰＯＳレジ端末１０４とを通信可能に接続する。ネットワーク１０５は、例えばローカルネットワーク等の通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。なお、本実施形態においては撮影装置、クライアント間の通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク１０５は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等により構成されてもよい。また、サーバ１０１に接続される撮像装置の数は１台に限られず、複数台であってもよい。また、サーバ１０１に接続されるＰＯＳレジ端末の数は１台に限られず、複数台であってもよい。
【００１６】
次に、図２を用いて、図１に示したサーバ１０１、クライアント端末１０２に適用可能なハードウェア構成について説明する。
【００１７】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００１８】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
【００１９】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。
【００２０】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２１】
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２２】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２３】
本実施形態を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。
【００２４】
次に、図３を用いて、図１に示した撮影装置１０３のハードウェア構成の一例について説明する。
【００２５】
図３は、本実施形態における、撮影装置１０３のハードウェアの構成の一例を示す図である。
【００２６】
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３０５には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像処理サーバ１０８の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。
【００２７】
ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００２８】
メモリコントローラ（ＭＣ）３０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるＣＦメモリやスマートメディア（登録商標）等の外部メモリ３０５へのアクセスを制御する。
【００２９】
カメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。
【００３０】
画像処理部３０８は、ＲＧＢ信号や補色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。
【００３１】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ３０５に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器へ送信される。
【００３２】
次に、図４を用いてＰＯＳレジ端末のハードウェア構成の一例について説明する。
【００３３】
図４は、本実施形態における、ＰＯＳレジ端末１０４のハードウェアの構成の一例を示す図である。
【００３４】
４０１はＣＰＵで、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ４０２あるいは外部メモリ４１２には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００３５】
４０３はＲＡＭで、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＯＭ４０２あるいは外部メモリ４１２からＲＡＭ４０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
【００３６】
４０５はスキャナＩ／Ｆで、バーコードスキャナ４１０からのバーコードをスキャンした情報を制御する。
【００３７】
また、４０６は入力コントローラで、キーボード（ＫＢ）４１１等のポインティングデバイス等からの入力を制御する。
【００３８】
４０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ４１２へのアクセスを制御する。
【００３９】
４０８は、プリンタＩ／Ｆで、レシートプリンタ４１３へのレシートの出力を制御する。
【００４０】
４０９は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００４１】
次に、図５を用いて本実施形態における監視システムの一例について説明する。尚、図５に示す機能構成はあくまで一例であり、用途や目的に応じて様々な構成例があるため、これに限定されない。これらの各機能は、サーバ１０１のＣＰＵ２０１、クライアント端末１０２のＣＰＵ２０１、撮影装置１０３のＣＰＵ３０１、およびＰＯＳレジ端末１０４のＣＰＵ４０１により実行される。
【００４２】
サーバ１０１は、検出結果取得部５１１と、表示制御部５１２と、レジ制御部５１３と、データベース記憶部５１４とを備える。
【００４３】
検出結果取得部５１１は、撮影装置１０３で撮影された撮影画像を取得する機能部である。また、検出結果取得部５１１は、顔検出部５３１と、金券検出部５３２と、釣銭検出部５３３のそれぞれで検出された結果を、撮影画像とともに取得する。
【００４４】
表示制御部５１２は、撮影装置１０３で撮影された撮影画像をクライアント端末１０２の表示部５２２へ表示するように制御する。なお、当該表示画面は、図６を用いて後述する。
【００４５】
レジ制御部５１３は、検出結果取得部５１１で取得した各検出部の検出結果に基づいて、ＰＯＳレジ端末１０４の精算機能を制御する。ここで、レジ制御部５１３は、所定の期間において、顧客の顔を検出されないことを条件として、ＰＯＳレジ端末１０４の機能を制限する。なお、レジ制御部５１３は、図６で示すように、顧客である人物の顔を検出している場合には、ＰＯＳレジ端末の機能の制限をしないように制御する。また、第二の実施形態で示すように、レジ制御部５１３は、図６で示すように、金券を検出している場合には、ＰＯＳレジ端末の機能の制限をしない。一方で、レジ制御部５１３は、所定の期間において、金券が検出されないことを条件として、ＰＯＳレジ端末１０４の機能を制限する。ここで、金券とは、硬貨や紙幣等の現金通貨を含まず、現金通貨に準じる形で流通している物を示す。金券の具体的な例としては、例えば、商品券、ギフト券、グルメカード、お米券、ビール券、図書券、ＱＵＯカード、旅行券、ホテル券、宿泊券、レジャー券、クーポン券などが挙げられる。またクーポン券とは、特定の商品やサービスの値引や割引あるいは特定の商品やサービスとの引き換えといった利益を受ける際に必要となる、様々な券を意味する。このようなクーポン券の具体的な例としては、例えば、商品やサービスの値引や割引を受けるための引換券や、各社から発行される特定商品またはサービスとの引換券などが挙げられる。
【００４６】
データベース記憶部５１４は、後述する図８で示す顧客リスト８００および金券リスト１０００を記憶する。
【００４７】
クライアント端末１０２は、操作部５２１と、表示部５２２とを備える。
【００４８】
操作部５２１は、表示部５２２に表示された画面を操作する機能を備える。
【００４９】
表示部５２２は、サーバ１０１の制御に基づいて、撮影画像を表示する。
【００５０】
撮影装置１０３は、顔検出部５３１と、金券検出部５３２と、釣銭検出部５３３とを備える。
【００５１】
顔検出部５３１は、撮影された撮影画像から人物の顔を検出する。具体的には、顔検出部５３１は、ＰＯＳレジ端末１０４の周辺であって、顧客が立つ位置を撮影範囲としている。そのため、顔検出部５３１は、ＰＯＳレジ端末１０４の顧客の顔を検出することができる。なお、顔検出部５３１は、予め店員の顔を検出させないようにしてもよい。
【００５２】
ＰＯＳレジ端末１０４は、入金／出金処理部５４１と、レシート印刷処理部５４２と、電子ジャーナル記憶部５４３とを備える。
【００５３】
入金／出金処理部５４１は、ＰＯＳレジ端末１０４に入金された金額、あるいは、ＰＯＳレジ端末１０４から出金された金額を管理する機能部である。
【００５４】
レシート印刷処理部５４２は、レシートの印刷処理を行う機能部である。
【００５５】
電子ジャーナル記憶部５４３は、電子ジャーナルを記憶する記憶部である。電子ジャーナルとは、日時、時間、商品名、単価、消費税、総額、支払額等の情報を含む。電子ジャーナル記憶部５４３は、当該情報に識別番号（電子ジャーナルＩＤ）を付して対応づけて記憶している。図８、１０に示すように、電子ジャーナルＩＤは、顔検出の結果や金券を検出した結果と対応づけて、サーバ１０１に記憶されている。なお、上述したように、ＰＯＳレジ端末１０４は、サーバ１０１の制御により、所定の条件下で、入金／出金処理部５４１およびレシート印刷処理部５４２の機能が制限される。
【００５６】
なお、図５で示す各構成要素に対する機能部の配置は適宜入れ替え可能である。例えば、サーバ１０１が持つものとして説明した機能をクライアント端末１０２、撮影装置１０３、ＰＯＳレジ端末１０４に持たせることとしてもよいし、その逆も想定し得る。
【００５７】
次に、図６を用いて、クライアント端末での再生画像の一例を説明する。図６は、クライアント端末１０２のディスプレイ２１０で表示される再生画面６００である。
【００５８】
再生画面６００は、再生画像６１０と、顔検出表示６２０と、金券検出表示６３０と、を含む。更に、再生画面６００は、スクロールバー６４０と、再生ボタン６５０と、選択ボタン６６０とを含む。
【００５９】
再生画像６１０は、撮影装置１０３で撮影された動画である。クライアント端末１０２は、再生画像６１０のうち、人物の顔が検出された箇所を識別可能な表示（顔検出表示６２０）を行うことができる。
【００６０】
顔検出表示６２０は、再生画像６１０に重畳して表示され、人物の顔を検出した箇所を示す表示である。
【００６１】
金券検出表示６３０は、再生画像６１０に重畳して表示され、金券を検出した箇所を示す表示である。
【００６２】
スクロールバー６４０は、動画におけるどの時点の再生画像であるかを示す表示である。
【００６３】
再生ボタン６５０は、再生画像６１０を再生・停止・早送りを行うための入力を受け付けるボタンである。
【００６４】
選択ボタン６６０は、撮影装置１０３が複数存在する場合に、動画を再生する装置を選択するための入力を受け付ける。管理者等のユーザは、クライアント端末１０２の再生画面を閲覧することで、事後的に、精算がきちんと行われたか、あるいは金券のやり取りが適切に行われたかを確認することができる。
【００６５】
次に図７を用いて、本実施形態におけるＰＯＳレジ端末の制御処理の一例を示すフローチャートについて説明する。
【００６６】
Ｓ７０１において、サーバ１０１は、ＰＯＳレジ端末１０４から、精算開始の信号を受信する。精算とは、ある顧客が購入を希望する商品に対して行う会計処理である。
【００６７】
Ｓ７０２において、サーバ１０１は、撮影装置１０３から撮影画像を取得する。さらに、サーバ１０１は、撮影装置１０３から撮影画像に対して顔検出を行った結果を示す顔検出結果を併せて取得する。なお、サーバ１０１は、撮影画像および顔検出結果を取得するとともに、撮影画像が撮影された時刻を取得する。
【００６８】
Ｓ７０３において、サーバ１０１は、顧客の顔を検出したか否かを判定し処理を決定する。サーバ１０１は、顧客の顔が検出されていないと判定した場合は、Ｓ７０４の処理を行い、顧客の顔が検出されていると判定した場合には、Ｓ７０７の処理を行う。
【００６９】
Ｓ７０４において、サーバ１０１は、ＰＯＳレジ端末１０４のおける精算機能を制限する。具体的には、サーバ１０１は、ＰＯＳレジ端末１０４に対して、レシートを発行させないように制御する。サーバ１０１は、他の制御の一例として、入金／出金処理を受け付けないように制御する。つまり、店員は、ＰＯＳレジ端末１０４からお金を出すことが制限される。さらに、店員は、ＰＯＳレジ端末１０４へ顧客から受け取ったお金を入れることが制限される。より具体的には、サーバ１０１は、ＰＯＳレジ端末１０４の金銭を収納する部分を開閉できないようにすることもできる。なお、他の方法として、サーバ１０１は、ＰＯＳレジ端末１０４への入力操作を受け付けないように制御することで、精算機能を制限することもできる。
【００７０】
Ｓ７０５において、サーバ１０１は、再度撮影装置１０３から顔検出結果を取得するとともに、顧客の顔が検出されているか否かを判定する。ここで、サーバ１０１は、引き続き顧客の顔が検出されていないと判定された場合には、ＰＯＳレジ端末１０４の機能を制限する。サーバ１０１は、顧客の顔が検出されていると判定した場合には、ＰＯＳレジ端末１０４の機能の制限を解除する。このため、サーバ１０１は、顔が再度検出できたことによりＰＯＳレジ端末１０４を容易に元の状態に戻すことができるため、機能制限を行いつつも迅速に機能の復旧を行うことが可能となる。
【００７１】
Ｓ７０６において、サーバ１０１は、ＰＯＳレジ端末１０４の精算機能の制限を解除する。
【００７２】
Ｓ７０７において、サーバ１０１は、ＰＯＳレジ端末１０４からの精算終了の信号を受信する。なお、サーバ１０１は、当該精算終了の信号を受信するまでは、所定のタイミングで、Ｓ７０１〜Ｓ７０７のフローを繰り返す。ここで、所定のタイミングとは撮影装置１０３の動画撮影のフレームレートとしてもよい。また、ＰＯＳレジ端末１０４は、１組の顧客の精算が終了するごとに精算終了の信号を送信してもよい。
【００７３】
Ｓ７０８において、サーバ１０１は、取得した顔画像と精算情報を対応づけて保存する。これは、店員が事後的に、顧客とのやりとりを検証する際に用いる情報である。サーバ１０１は、例えば、図８の顧客リスト８００を保存している。
【００７４】
ここで、図８を用いて、顧客リスト８００について説明する。顧客リスト８００は、訪問日時８０１と、電子ジャーナルＩＤ８０２と、顧客情報８０３と、顧客画像パス８０４と、を対応づけて記憶している。
【００７５】
訪問日時８０１は、ＰＯＳレジ端末１０４で精算を行った時間である。精算を行った時間は、例えば、特定の顧客に対して精算を開始または終了した時刻とすることができる。
【００７６】
電子ジャーナルＩＤ８０２は、会計情報を識別する情報である。サーバ１０１は、当該電子ジャーナルＩＤ８０２を用いることにより、会計情報と顧客とを対応づけることができる。
【００７７】
顧客情報８０３は、顧客を撮影した撮影画像から、顧客の属性を抽出したものである。サーバ１０１は、当該顧客情報を保持していることにより、事後的に、特定の情報を容易に検索することができる。
【００７８】
顧客画像パス８０４は、顧客の顔を抽出した画像のパスを示す情報である、顧客の顔の画像はパスが示す先のフォルダに格納されている。
【００７９】
以上、上述の本実施形態によれば、ＰＯＳレジ端末と、撮影装置と、サーバとを含む監視システムにおいて、撮影装置で撮影された撮影画像からＰＯＳレジ端末の顧客の顔を検出し（顔検出部５３１）、顧客の顔が検出されないことを条件の一つとして、ＰＯＳレジ端末における精算機能を制限している。このことにより、店員の精算ミスに対して事後的な検証を容易に行うことができる。つまり、上述の監視システムでは、ＰＯＳレジ端末で精算ができたという場合には、必ず顧客の顔が検出できているということになる。そのため、特定の顧客の精算内容と、当該顧客との対応づけを容易に行うことができるため、精算ミスに対する事後的な検証を容易に行いうる。
【００８０】
更に、上述の本実施形態によれば、監視システムは、顧客の顔が検出された場合に、ＰＯＳレジ端末に記憶される電子ジャーナル情報と、撮影画像とを対応づけて記憶する。このため、監視システムは、精算内容と顧客との対応づけを容易に行うことができ
【００８１】
（第二の実施形態）
次に、図９、１０を用いて、第二の実施形態について説明する。なお、本実施形態は、金券を検出したか否かに基づいて、ＰＯＳレジ端末１０４の機能を制限する点で第一の実施形態と異なる。以下、詳細に説明する。
【００８２】
図９は、第二の実施形態におけるＰＯＳレジ端末の制御処理の一例を示すフローチャートである。
【００８３】
Ｓ９０１において、サーバ１０１は、ＰＯＳレジ端末１０４から、精算開始の信号を受信する。
【００８４】
Ｓ９０２において、サーバ１０１は、撮影装置１０３から撮影画像を取得する。さらに、サーバ１０１は、撮影装置１０３から撮影画像に対して金券検出を行った結果を示す金券検出結果を併せて取得する。なお、サーバ１０１は、撮影画像および金券検出結果を取得するとともに、撮影画像が撮影された時刻を取得する。
【００８５】
Ｓ９０３において、サーバ１０１は、金券検出結果に基づき処理を決定する。サーバ１０１は、顧客の金券が検出されていないと判定した場合は、Ｓ９０４の処理を行い、顧客の金券が検出されていると判定した場合には、Ｓ９０７の処理を行う。
【００８６】
Ｓ９０４において、サーバ１０１は、ＰＯＳレジ端末１０４のおける精算機能を制限する。具体的には、サーバ１０１は、ＰＯＳレジ端末１０４に対して、レシートを発行させないように制御する。サーバ１０１は、他の制御の一例として、入金／出金処理を受け付けないように制御する。つまり、店員は、ＰＯＳレジ端末１０４からお金を出すことが制限される。さらに、店員は、顧客から受け取ったお金をＰＯＳレジ端末１０４へ入れることが制限される。より具体的には、サーバ１０１は、ＰＯＳレジ端末１０４の金銭を収納する部分を開閉できないようにすることもできる。サーバ１０１は、ＰＯＳレジ端末１０４への入力を受け付けないように制御することで、精算機能を制限することもできる。
【００８７】
Ｓ９０５において、サーバ１０１は、再度撮影装置１０３から金券検出結果を取得するとともに、顧客の金券が検出されているか否かを判定する。ここで、サーバ１０１は、引き続き顧客の金券が検出されていないと判定された場合には、ＰＯＳレジ端末１０４の機能を制限する。サーバ１０１は、顧客の金券が検出されていると判定した場合には、ＰＯＳレジ端末１０４の機能の制限を解除する。これは、サーバ１０１は、金券が再度検出できたことによりＰＯＳレジ端末１０４を容易に元の状態に戻すことができるため、機能制限を行いつつも迅速な機能の復旧を行うことが可能となる。
【００８８】
Ｓ９０６において、サーバ１０１は、ＰＯＳレジ端末１０４の精算機能の制限を解除する。
【００８９】
Ｓ９０７において、サーバ１０１は、ＰＯＳレジ端末１０４からの精算終了の信号を受信する。なお、サーバ１０１は、当該精算終了の信号を受信するまでは、所定のタイミングで、Ｓ９０１〜Ｓ９０７のフローを繰り返す。ここで、所定のタイミングとは撮影装置１０３の動画撮影のフレームレートとしてもよい。また、ＰＯＳレジ端末１０４は、１組の顧客の精算が終了するごとに精算終了の信号を送信してもよい。
【００９０】
Ｓ９０８において、サーバ１０１は、店員と金券画像を対応づけて保存する。これは、店員が事後的に、顧客とのやりとりを追う際に用いる情報である。例えば、図１０の金券リスト１０００のようなデータベースを保存している。ここで、金券画像とは、金券が検出された撮影画像である。
【００９１】
ここで、図１０を用いて、金券リスト１０００について説明する。金券リスト１０００は、使用日時１００１と、電子ジャーナルＩＤ１００２と、金券情報１００３と、金券画像パス１００４と、を対応づけて記憶している。
【００９２】
使用日時１００１は、ＰＯＳレジ端末１０４で金券を使用して精算を行った時間である。精算を行った時間は、例えば、特定の顧客に対して金券を用いた精算を開始または終了した時刻とすることができる。
【００９３】
電子ジャーナルＩＤ１００２は、会計情報を識別する情報である。サーバ１０１は、当該電子ジャーナルＩＤ１００２を用いることにより、会計情報と金券情報１００３とを対応づけることができる。
【００９４】
金券情報１００３は、金券情報を識別する情報である。サーバ１０１は、金券情報を対応づけておくことで事後的に使用状況を容易に検索することができる。
【００９５】
金券画像パス１００４は、顧客を撮影した撮影画像から、金券の属性を抽出したものである。サーバ１０１は、当該金券画像を保持していることにより、事後的に金券の情報を容易に特定することができる。
【００９６】
なお、図９のフローチャートにおいて、サーバ１０１は、更に、Ｓ９０３とＳ９０７の処理との間に、金券が所定の場所に収容されたか否かを判定してもよい。つまり、サーバ１０１は、商品券が検出された場合であって、該商品券が所定の位置に収容されなかったことを条件の一つとして、ＰＯＳレジ端末１０４における精算機能を制限してもよい。
【００９７】
また、サーバ１０１は、更に、Ｓ９０３とＳ９０７の処理との間に、釣銭が適切に支払われたか否かを判定してもよい。つまり、サーバ１０１は、商品券が検出され、且つ、出金されたおつりが検出されないことを条件の一つとして、ＰＯＳレジ端末１０４における出金処理を制限するように制御してもよい。
【００９８】
上述の本実施形態によれば、ＰＯＳレジ端末と、撮影装置と、サーバとを含む監視システムであって、撮影装置で撮影された撮影画像から商品券を検出しつつ、商品券が検出されない場合に、ＰＯＳレジ端末における精算機能を制限するように制御する。このことにより、店員の不正行為や精算ミスを抑制することができる。
【００９９】
更に、上述の本実施形態によれば、監視システムは、撮影画像から商品券が検出された場合であって、該商品券が所定の位置に収容されなかったことを条件の一つとして、ＰＯＳレジ端末における精算機能を制限する。このため、店員が金券の受領を適切に行った後に、金券を収納すべき場所に配置しないといったケースを防ぐことができる。このため、店員の不正行為を未然に防止することができる。金券は、ＰＯＳレジ端末に明確な置き場所がなく、店舗独自の運用がされている場合が多い。そのため、店舗側は、紙幣等の現金よりも適切に収容されたかどうかを管理しづらい。そのため、監視システムは、精算時に金券画像を取得できるように精算しつつ、その後金券を持ち去される可能性を低減できる。
【０１００】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１０１】
なお、本実施形態は、コンピュータや制御コンピュータがプログラム（コンピュータプログラム）を実行することによって実現することもできる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータが読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も実施例として適用することができる。また、上記のプログラムも実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【０１０２】
以上、実施形態に基づいて詳述してきたが、特定の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲の様々な形態も本発明の範疇に含まれる。さらに、上述した実施形態は一実施形態を示すものにすぎず、上述した実施形態から容易に想像可能な発明も本発明の範疇に含まれる。
【符号の説明】
【０１０３】
１０      監視システム
１０１    サーバ
１０３    撮影装置
１０４    ＰＯＳレジ端末
５３１    顔検出部
５３２    金券検出部
５４１    入金／出金処理部
５４２    レシート印刷処理部
【図１】
2019113971.tif 000003
【図２】
2019113971.tif 000004
【図３】
2019113971.tif 000005
【図４】
2019113971.tif 000006
【図５】
2019113971.tif 000007
【図６】
2019113971.tif 000008
【図７】
2019113971.tif 000009
【図８】
2019113971.tif 000010
【図９】
2019113971.tif 000011
【図１０】
2019113971.tif 000012