(57)【特許請求の範囲】
【請求項１】
店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、
前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、
前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えたことを特徴とするモニタリング装置。
【請求項２】
前記棚検出部は、店舗を撮影した映像の中で、所定の期間にわたって変化のない領域を固定エリアの候補として抽出し、
前記固定エリア設定部は、前記抽出された固定エリア候補の中から、ユーザが選択したものを前記固定エリアとして設定することを特徴とする請求項１記載のモニタリング装置。
【請求項３】
前記固定エリア設定部は、前記固定エリアとして設定した領域の位置情報と、前記固定エリアを設定した時の画像と、前記陳列棚の識別子とを対応付けて記憶部に記憶させることを特徴とする請求項１または請求項２記載のモニタリング装置。
【請求項４】
前記固定エリア設定部は、複数の領域を複数の前記固定エリアとして設定し、
前記棚検出部は、前記複数の固定エリアの各々について、同位置の画像との類似を判定し、
前記アラート通知部は、前記複数の固定エリアのうちひとつでも類似しないと判定されたとき、前記陳列棚が検出されないことをユーザに通知することを特徴とする請求項１から請求項３のいずれかに記載のモニタリング装置。
【請求項５】
前記棚検出部は、前記固定エリアの画像の輝度と、前記固定エリアと同位置の画像の輝度とを比較することによって、類似か否かを判定することを特徴とする請求項１から請求項４のいずれかに記載のモニタリング装置。
【請求項６】
前記棚検出部により前記固定エリアの画像と、前記固定エリアと同位置の画像とが類似しないと判定されたとき、店舗を撮影した映像の中から、前記固定エリアの画像と類似する類似画像を検索し、検索された前記類似画像の位置が前記固定エリアの位置になるよう、撮影しているカメラの画角を制御する自動追従部を備え、
前記アラート通知部は、前記類似画像を検索できないとき、前記陳列棚が検出されないことをユーザに通知することを特徴とする請求項１から請求項５のいずれかに記載のモニタリング装置。
【請求項７】
前記棚検出部により検出された前記陳列棚の中から、商品の検出を行う商品検出部と、
前記商品の検出結果および前記陳列棚を撮影した映像をモニタに表示するモニタリング画面を生成する表示画面生成部と、を備えたことを特徴とする請求項１から請求項６のいずれかに記載のモニタリング装置。
【請求項８】
店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視するモニタリングシステムであって、
前記陳列棚を撮影するカメラと、
情報処理装置と、を有し、
前記情報処理装置が、
店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、
前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、
前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えたことを特徴とするモニタリングシステム。
【請求項９】
店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視する処理を情報処理装置に行わせるモニタリング方法であって、
前記陳列棚を撮影した映像の中から、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、
前記固定エリアを設定した時の画像を記憶部に記憶させ、
設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定し、類似しないと判定されたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知することを特徴とするモニタリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗を撮影した映像に基づいて、陳列棚を監視するモニタリング装置、モニタリングシステムおよびモニタリング方法に関するものである。
【背景技術】
【０００２】
コンビニエンスストアなどの店舗においては、陳列棚に陳列された商品の陳列状態に不備、すなわち商品の陳列が乱れていたり、商品が不足していたりすると、販売機会損失が発生し、この販売機会損失は店舗の売上げに大きな影響を及ぼすことから、陳列棚をモニタリングして陳列状態に不備がないかどうかを確認し、不備がある場合には、それを解消する商品管理作業（整頓作業や補充作業）を速やかに実施する必要がある。
【０００３】
このような商品管理作業に関連するものとして、従来、陳列エリアを撮影した映像に基づいて、商品の補充の必要性を判断して、補充作業を指示する報知を行う技術が知られている（特許文献１参照）。また、陳列エリアを撮影した映像に基づいて、商品の陳列方法や欠品状況に関する情報を生成して、その情報を本部の端末に送信する技術が知られている（特許文献２参照）。また、陳列エリアを撮影した映像に基づいて、商品の整頓の必要性を判断して、整頓作業を指示する報知を行う技術が知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−０８１５５２号公報
【特許文献２】特開２００２−３６６６２１号公報
【特許文献３】特許第３９０８０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記従来の技術では、陳列エリアにおける商品の陳列状況を監視して、必要に応じて商品管理作業（整頓作業や補充作業）を店員に指示することができるが、カメラの位置にずれが生じていたり、店員が陳列棚を別の場所に移動させてしまったような場合には、間違った映像データを監視し続けることになり、商品の陳列状況を正しく監視することができないという問題があった。
【０００６】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、監視中の陳列棚の位置がずれる等により商品の陳列状況を正しく監視することができなくなった場合に、速やかに店舗の店員や本部のスーパーバイザー等にアラート通知を行う、あるいは、監視ずれ量を自動的に補正して、商品の陳列状況の監視を正しく継続できるように構成したモニタリング装置、モニタリングシステムおよびモニタリング方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のモニタリング装置は、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
【０００８】
また、本発明のモニタリングシステムは、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視するモニタリングシステムであって、前記陳列棚を撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
【０００９】
また、本発明のモニタリング方法は、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視する処理を情報処理装置に行わせるモニタリング方法であって、前記陳列棚を撮影した映像の中から、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させ、設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定し、類似しないと判定されたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知する構成とする。
【発明の効果】
【００１０】
本発明によれば、監視中の陳列棚の位置が移動されたり、カメラと陳列棚の間に障害物が置かれたり、カメラの位置がずれたりなど、モニタリングの環境に異常が生じた場合に、迅速に店員にアラート通知を行うことができる。これにより、長期に亘って安定した陳列棚のモニタリングを実施することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係るモニタリングシステムの全体構成図
【図２】店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図
【図３】第１の実施形態に係るＰＣ３のハードブロック図
【図４】第１の実施形態に係るＰＣ３の概略構成を示す機能ブロック図
【図５】第１の実施形態に係る陳列棚の映像上に設定される固定エリアを示す説明図
【図６】第１の実施形態に係る陳列棚の映像上に設定される固定エリア候補を示す説明図
【図７】第１の実施形態に係る棚管理情報を示す説明図
【図８】第１の実施形態に係るアラート通知画面を示す説明図
【図９】第１の実施形態に係る陳列棚の位置ずれを検出しアラート通知する手順を示す動作フロー図
【図１０】第１の実施形態に係る輝度値から類似度を計算する例を示す説明図
【図１１】第２の実施形態に係るＰＣ３の概略構成を示す機能ブロック図
【図１２】第２の実施形態に係る自動追従の動作手順を示す動作フロー図
【図１３】第３の実施形態に係るＰＣ３の概略構成を示す機能ブロック図
【図１４】第３の実施形態に係る陳列棚に付加されたマーキングを示す説明図
【図１５】第３の実施形態に係る自動追従の動作手順を示す動作フロー図
【発明を実施するための形態】
【００１２】
前記課題を解決するためになされた第１の発明は、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
【００１３】
これによると、陳列棚において画像変化がないはずの部分を登録しておき、その部分（固定エリア）が変化していたら、陳列棚の位置が変わった等のモニタリング環境に異常が発生したことを店員に通知することができるため、陳列棚のない場所を無駄にモニタリングし続けたりすることを防止できる。
【００１４】
また、第２の発明は、前記棚検出部は、店舗を撮影した映像の中で、所定の期間にわたって変化のない領域を固定エリアの候補として抽出し、前記固定エリア設定部は、前記抽出された固定エリア候補の中から、ユーザが選択したものを前記固定エリアとして設定する構成とする。
【００１５】
これによると、画像変化のない領域を店員に提示し、その中から選択してもらうため、容易に固定エリアを設定することができる。
【００１６】
また、第３の発明は、前記固定エリア設定部は、前記固定エリアとして設定した領域の位置情報と、前記固定エリアを設定した時の画像と、前記陳列棚の識別子とを対応付けて記憶部に記憶させる構成とする。
【００１７】
これによると、陳列棚ごとに固定エリアの位置および設定時画像を記憶させておくため、いつでも現在の撮影状態と比較することができる。
【００１８】
また、第４の発明は、前記固定エリア設定部は、複数の領域を複数の前記固定エリアとして設定し、前記棚検出部は、前記複数の固定エリアの各々について、同位置の画像との類似を判定し、前記アラート通知部は、前記複数の固定エリアのうちひとつでも類似しないと判定されたとき、前記陳列棚が検出されないことをユーザに通知する構成とする。
【００１９】
これによると、ひとつの陳列棚について画像変化のない領域を複数、固定エリアとして設定できるため、確実に陳列棚のモニタリング環境の変化を把握することができる。
【００２０】
また、第５の発明は、前記棚検出部は、前記固定エリアの画像の輝度と、前記固定エリアと同位置の画像の輝度とを比較することによって、類似か否かを判定する構成とする。
【００２１】
これによると、撮影画像の色や明るさに基づいて、類似する画像かどうかを正確に判定することができる。
【００２２】
また、第６の発明は、前記棚検出部により前記固定エリアの画像と、前記固定エリアと同位置の画像とが類似しないと判定されたとき、店舗を撮影した映像の中から、前記固定エリアの画像と類似する類似画像を検索し、検索された前記類似画像の位置が前記固定エリアの位置になるよう、撮影しているカメラの画角を制御する自動追従部を備え、前記アラート通知部は、前記類似画像を検索できないとき、前記陳列棚が検出されないことをユーザに通知する構成とする。
【００２３】
これによると、固定エリアの位置が設定時からずれたとしても撮影画像中に固定エリアと同じ画像があれば、元の設定時の位置に固定エリアがくるようにカメラの撮影方向を変更するため、店員の手間をとらせることなく、陳列棚の位置が変更されてもカメラが追いかけて監視を継続することができる。
【００２６】
また、第７の発明は、前記棚検出部により検出された前記陳列棚の中から、商品の検出を行う商品検出部と、前記商品の検出結果および前記陳列棚を撮影した映像をモニタに表示するモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
【００２７】
これによると、陳列棚の位置を明確に把握したうえで、その棚の中に陳列される商品を検出するため、商品の陳列状況等を正しくモニタリングすることができる。
【００２８】
また、第８の発明は、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視するモニタリングシステムであって、前記陳列棚を撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗における陳列棚を撮影した映像に基づいて、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させる固定エリア設定部と、前記固定エリア設定部により設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定することにより、前記陳列棚の検出を行う棚検出部と、前記判定により類似しないとされたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知するアラート通知部と、を備えた構成とする。
【００２９】
これによると、陳列棚において画像変化がないはずの部分を登録しておき、その部分（固定エリア）が変化していたら、陳列棚の位置が変わった等のモニタリング環境に異常が発生したことを店員に通知することができるため、陳列棚のない場所を無駄にモニタリングし続けたりすることを防止できる。
【００３０】
また、第９の発明は、店舗における陳列棚を撮影した映像に基づいて、前記陳列棚を監視する処理を情報処理装置に行わせるモニタリング方法であって、前記陳列棚を撮影した映像の中から、監視対象とする陳列棚の一部の領域を固定エリアとして設定し、前記固定エリアを設定した時の画像を記憶部に記憶させ、設定された前記固定エリアの画像と、店舗を撮影した映像の中の前記固定エリアと同位置の画像との類似を判定し、類似しないと判定されたとき、前記固定エリアを設定した時の画像と前記固定エリアと同位置の画像とを並べて表示する通知画面によって、監視対象である前記陳列棚が検出されないことをユーザに通知する構成とする。
【００３１】
これによると、陳列棚において画像変化がないはずの部分を登録しておき、その部分（固定エリア）が変化していたら、陳列棚の位置が変わった等のモニタリング環境に異常が発生したことを店員に通知することができるため、陳列棚のない場所を無駄にモニタリングし続けたりすることを防止できる。
【００３２】
（実施の形態１）
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３３】
図１は、本実施形態に係るモニタリングシステムの全体構成図である。このモニタリン
グシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ１、レコーダ（映像蓄積装置）２、ＰＣ３（情報処理装置）と、複数の店舗を総括する本部に設けられたＰＣ１１と、ネットワーク上に設けられたクラウドコンピューティングシステムを構成するクラウドコンピュータ２１と、任意の場所でアラート通知を受信可能とするスマートフォン２２やタブレット端末２３を備えている。
【００３４】
カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた映像がレコーダ２に蓄積される。店舗に設置されたＰＣ３や本部に設置されたＰＣ１１では、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に蓄積された過去の店舗内の映像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
【００３５】
本部に設置されたＰＣ１１は、店舗を管理するスーパーバイザーの業務を支援する施設管理支援装置として構成される。また、このＰＣ１１で生成した情報は、ＰＣ１１のモニタによりスーパーバイザーが閲覧することができ、さらに、店舗に設置されたＰＣ３に送信されて、このＰＣ３でも店長などが閲覧することができる。このように、ＰＣ３、ＰＣ１１が閲覧装置として構成される。また、スマートフォン２２やタブレット端末２３を閲覧装置とすることもできる。
【００３６】
次に、コンビニエンスストアを例にして店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
【００３７】
店舗には、出入口、陳列棚、レジカウンタ、および調理器具などが設けられている。陳列棚は、ファーストフード、米飯（おにぎり、弁当、寿司などの商品）、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の種類に分けて設置されている。調理器具は、からあげなどのファーストフードを店内で調理するものであり、レジカウンタの隣には、ファーストフードの陳列棚（ＦＦケース）が設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
【００３８】
また、店舗には、店舗内を撮影する複数のカメラ１が設置されている。このカメラは、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、陳列棚などに陳列された商品、出入口から店舗に出入りする人物、および店舗内に滞在する人物などを撮影することができる。
【００３９】
図３は、店舗に設置されるＰＣ３（情報処理装置）のハードブロック図である。ＰＣ３は、各ユニット間を接続するバス４００と、コンピュータシステムの制御を司る中央演算装置（ＣＰＵ）４０１と、ランダムアクセスメモリ（ＲＡＭ）４０２と、ＣＰＵで実行され、モニタリング装置の動作処理手順や各機能構成を実現させるプログラムを記憶しているリードオンリーメモリ（ＲＯＭ）４０３と、ネットワークを介して外部装置とのデータ転送を行うネットワークインタフェース（ＮＷ  Ｉ／Ｆ）４０４と、画像情報をモニタに表示させるビデオＲＡＭ（ＶＲＡＭ）４０５と、キーボードやポインティングデバイス等からなる入力デバイスから入力された入力信号を制御する入力コントローラ４０６と、ハードディスクドライブ（ＨＤＤ）４０７と、外部記憶装置からの入出力を制御する外部記憶装置インタフェース４０８とを備えている。
【００４０】
図４は、店舗に設置されるＰＣ３の概略構成を示す機能ブロック図である。ＰＣ３は、カメラ１あるいはレコーダ２から映像を取得する映像取得部３０と、取得した映像の中から陳列棚を検出する棚検出部３１と、検出した陳列棚の映像の中から商品を検出する商品検出部３２と、商品の検出結果により陳列状態（陳列量、陳列乱れ等）を判定する状態判定部３３と、陳列棚の位置がずれていると判定された場合、または陳列状態に不備があると判定された場合にアラート通知を行うアラート通知部３４と、アラート通知を受けてモニタ５にアラート内容を表示するための画面を生成する表示画面生成部３５と、入力デバイス６からの操作入力を制御する操作入力制御部３６と、陳列棚の映像の一部を固定エリアとして設定する固定エリア設定部３７と、固定エリアを含む陳列棚の管理情報を記憶する記憶部３８とを備えている。
【００４１】
なお、図４に示す各機能構成は、図３に示すＣＰＵ４０１が、ＲＯＭ４０３に記憶されているプログラムを実行することで、各ハードウェアが制御されて実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成しても良い。また、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録されても良い。また、ネットワークを介して、ユーザに提供されるようにしても良い。また、ＰＣ１１もＰＣ３と同様の構成である。
【００４２】
図４において、映像取得部３０は、カメラ１およびレコーダ２から店舗内を撮影した映像を取得する。ここで、店舗内を撮影した映像をモニタ５でモニタリングする際に、当日の映像をリアルタイムに表示させる場合にはカメラ１から映像を取得し、過去の一定期間の映像を表示させる場合にはレコーダ２から映像を取得する。
【００４３】
棚検出部３１は、類似度計算部３１１と環境変化判定部３１２を備え、店舗内の映像上において陳列棚の位置に変化がないかどうかを検出する。陳列棚が移動されている場合や、陳列棚とカメラ１の間に障害物が置かれた場合や、カメラ１の左右や上下の撮影角度（画角）が変化した場合等に、映像上の陳列棚の位置に変化が生じる。
【００４４】
類似度計算部３１１は、陳列棚の映像の中で変化が起きない領域としてあらかじめ記憶された固定エリアの画像と、現在の映像上における固定エリアに対応する位置の画像とを比較して類似度を計算する。
【００４５】
環境変化判定部３１２は、類似度計算部３１１により算出された類似度をしきい値と比較して、映像上の固定エリア部分に変化が発生しているか否かを判定し、変化しているときアラート通知部３４に通知する。ここで、類似度が高ければ、陳列棚の位置に変化がないということになり、反対に、類似度が低ければ、陳列棚が移動されている、あるいは陳列棚とカメラの間に障害物がある、あるいはカメラの画角がずれた等の陳列棚のモニタリング環境に異常が発生していることになる。
【００４６】
商品検出部３２では、環境変化判定部３１２により、類似度が高い、すなわち陳列棚の位置に変化がないと判定された場合に、陳列棚に陳列された商品を検出する処理が行われる。商品検出処理は、商品と想定される物体が映った画素の陳列棚全画素に対する割合を求める等の既知の方法により行われる。
【００４７】
状態判定部３３では、商品検出部３２の検出結果をしきい値と比較することにより、陳列量が少ない等の陳列棚に不備があるか否かを判定する処理が行われる。
【００４８】
アラート通知部３４では、環境変化判定部３１２が陳列棚のモニタリング環境に異常があると判定した場合に、異常を知らせるアラート情報を生成して通信デバイス４に通知する処理が行われる。また、アラート通知部３４は、表示画面生成部３５にアラート情報を
通知する。さらに、アラート通知部３４は、状態判定部３３により陳列棚に不備があるとされた場合も、その旨のアラート情報を通信デバイス４や表示画面生成部３５に通知する。
【００４９】
表示画面生成部３５では、店舗の映像をユーザが監視するためのモニタリング画面を生成する処理が行われ、生成されたモニタリング画面はモニタ５に表示される。また、表示画面生成部３５は、状態判定部３３による陳列量不足や陳列乱れの判定結果や、アラート通知部３４によるアラート情報に関する表示画面も生成し、モニタ５に表示する。
【００５０】
操作入力制御部３６は、モニタ５に表示された画面上で、マウスおよびキーボードなどの入力デバイス６を用いて行われるユーザの入力操作に応じて、入力情報を取得する。
【００５１】
固定エリア設定部３７では、陳列棚の一部を固定エリアとしてあらかじめ設定する処理が行われる。固定エリア設定部３７は、ユーザが入力デバイス６を用いて指定した陳列棚の一部の領域（固定エリア）の位置情報、この固定エリアを設定した時の映像（設定時映像）および設定日時を記憶部３８に記憶する。
【００５２】
記憶部３８は、固定エリア設定部３７から受け取った設定時画像および設定日時、固定エリアの位置情報を、監視対象となる陳列棚の識別子に対応付けて、棚管理情報として記憶する。また、記憶部３８は、類似度を比較するためのしきい値等も記憶している。
【００５３】
図５は、陳列棚の映像上に設定される固定エリアを示す説明図である。図５に示すように、入力デバイス６を用いたユーザの入力操作に応じて、固定エリア設定部３７が、陳列棚の映像の中から固定エリア５１および固定エリア５２を設定し記憶する。固定エリアは陳列棚上の変化の起きない領域を指定するものとし、ここでは、固定エリア５１は陳列棚の一方の棚枠、固定エリア５２は他方の棚枠を矩形状の領域として指定している。このとき、映像取得部３０により取得された映像をモニタ５に表示させ、このモニタ５上で固定エリアをユーザが指定入力するようにしても良い。なお、固定エリアを矩形状ではなく、三角形または五角形等の形状で指定しても構わない。三角形の領域を指定した場合は３点の座標により、五角形の領域を指定した場合は５点の座標により、固定エリアの位置が表される。
【００５４】
図６は、陳列棚の映像上に設定される固定エリア候補を示す説明図である。図６においては、図５のようにユーザが直接、固定エリアを入力設定するのではなく、陳列エリアの映像の中から、固定エリアとして適切な領域の候補をユーザに提示し、この候補の中からユーザに選択してもらうようにする。固定エリアの候補は、棚検出部３１が、映像取得部３０により取得された映像の中から、一定期間変化のない領域を取り出し、表示画面生成部３５が、図６に示すように、店舗の映像上に固定エリアの候補領域を重畳した画面を生成するようにすれば良い。図６に示す例では、映像上に、棚番号００１と棚番号００２の２つの陳列棚があるが、棚番号００１の商品を監視するものとして、棚番号００１の左右の棚枠である固定エリア（１）および固定エリア（２）を選択しているが、棚の上面（固定エリア（３））を選択しても良い。
【００５５】
図７は、記憶部３８が記憶する棚管理情報を示す説明図である。棚管理情報は、固定エリアが設定された陳列棚の識別子７１（棚番号）に対応付けて、設定時画像７２および設定日時７３、設定された固定エリアの座標である固定エリア情報７４を保持している。ひとつの陳列棚に複数の固定エリアが設定されている場合は、同じ棚番号を持つ複数のレコードが格納されるようにすれば良い。または、棚番号ごとにひとつのレコードとし、固定エリア情報７４を複数分持つようにしても良い。
【００５６】
図６、図７に示す例では、棚番号００１に矩形状の固定エリア（１）と固定エリア（２）の２つを設定しているので、レコードＮＯ.１の固定エリア情報７４に固定エリア（１）の４点の座標を保持し、レコードＮＯ.２の固定エリア情報７４に固定エリア（２）の４点の座標を保持している。なお、この棚管理情報では、設定時画像７２として画像ファイルのファイル名を格納し、実際の画像ファイルは記憶部３８内の所定の保存場所に保存されているものとするが、保存場所（パス）とファイル名の両方を設定時画像７２として格納しても良い。
【００５７】
図８は、アラート通知画面を示す説明図である。棚検出部３１の環境変化判定部３１２が、固定エリアに変化があると判定した場合、アラート通知部３４はアラート情報を表示画面生成部３５に送信する。そして、表示画面生成部３５は、図８に示すようなアラート通知用の表示画面を生成し、モニタ５に表示する。このアラート通知画面では、記憶部３８に記憶されている棚管理情報から読み出した陳列棚を特定するための識別子７１（棚番号）およびこの陳列棚の固定エリア設定時画像７２と、現在の映像とを並べて表示している。このようにすると、店舗の店員または本部のスーパーバイザー等が、どの陳列棚にどのような問題が発生しているのかを明確に認識することができる。また、アラート通知部３４は、アラート情報を電子メールとして、通信デバイス４や他のネットワーク装置に送信することもできる。
【００５８】
なお、アラート通知画面に表示される棚番号や設定時画像は、表示画面生成部３５が記憶部３８の棚管理情報から読み出すようにしても良いし、環境変化判定部３１２が記憶部３８から読み出して判定結果とともにアラート通知部３４に送信し、アラート通知部３４から表示画面生成部３５に送信されるようにしても良い。また、固定エリアが設定されたときの設定日時や現在画像を取得したときの日時も合わせて、アラート通知画面に表示させるようにしても良い。
【００５９】
次に、ＰＣ３で行われる処理について説明する。図９は、監視中の陳列棚の異常を検出しアラート通知する手順を示す動作フロー図である。図１０は、固定エリアの輝度から類似度を計算する例を示す説明図である。
【００６０】
図９において、ＰＣ３は、映像取得部３０により、カメラ１から店舗内を撮影した映像を取得する（ＳＴ９０１）。
【００６１】
次に、類似度計算部３１１により、記憶部３８の棚管理情報から、固定エリアを設定した際の画像(設定時画像７２）および固定エリアの位置情報（固定エリア情報７４）を読み出して、設定時画像上の固定エリアの画像の輝度値を抽出する（ＳＴ９０２）。図１０に示す例では、設定時画像７２には、２つの固定エリア５１、固定エリア５２が設定されているので、まず、１つめの固定エリア５１の画像の輝度値を抽出し、抽出した固定エリア５１の輝度値１０１を輝度ベクトル１０２に変換する。なお、輝度値の抽出および輝度ベクトルへの変換は既知の方法により行うものとする。
【００６２】
続いて、類似度計算部３１１により、映像取得部３０で取得した現在の画像から固定エリア５１に対応する画像（固定エリア対応画像）の輝度値を抽出する（ＳＴ９０３）。図１０に示す例では、現在画像１０３の固定エリア５１に対応する位置にある固定エリア対応画像１０４の輝度値を抽出し、抽出した固定エリア対応画像１０４の輝度値１０６を輝度ベクトル１０７に変換する。
【００６３】
なお、同じ映像であっても時間帯によって色や明るさが変わるので、固定エリアを設定したときと同じ時間帯の映像の中から固定エリア対応画像１０４、１０５の輝度値を抽出するようにしても良い。この場合は、棚管理情報の設定日時７３を利用して同じ時間帯の
映像を選択するようにする。さらに、天候によっても色や明るさが変わるので、固定エリアを設定したときと同じ天候の映像の中から固定エリア対応画像の輝度値を抽出するようにしても良い。この場合は、棚管理情報あるいは他の記憶領域に、固定エリアを設定したときの天候の情報も記憶するようにすると良い。
【００６４】
次に、類似度計算部３１１により、固定エリア５１の輝度ベクトル１０２と、固定エリア対応画像１０４の輝度ベクトル１０６の類似度を計算する（ＳＴ９０４）。類似度の計算方法としては、方向余弦（内積）を用いる方法やベクトル間の距離を計測する方法等、既知の方法を利用するものとする。図９に示す方向余弦計算式を用いた場合、固定エリア５１と固定エリア対応画像１０４の類似度は０．５４となる。
【００６５】
次に、環境変化判定部３１２により、類似度計算部３１１で算出された類似度をあらかじめ設定されるしきい値と比較し、比較結果に応じて固定エリア５１と固定エリア対応画像１０４が類似しているか否かを判定する（ＳＴ９０５）。例えば、しきい値を０．７とした場合、図９に示す例で算出した類似度は０．５４であるため、しきい値以下または未満となり、陳列棚の位置に変化があったと判定する。
【００６６】
ＳＴ９０５において、類似していない（陳列棚の位置に変化あり）と判定された場合（ＳＴ９０５のＮｏ）、環境変化判定部３１２からアラート通知部３４に変化ありの情報が通知され、アラート通知部３４により、アラート情報が生成される（ＳＴ９０６）。このアラート情報は、アラート通知部３４から表示画面生成部３５に送付され、表示画面生成部３５は、アラート情報に基づいて図８に示すようなアラート通知画面を生成し（ＳＴ９０８）、モニタ５に表示する。なお、アラート情報は、アラート通知部３４から通信デバイス４に電子メールで送信することもできる。
【００６７】
一方、ＳＴ９０５において、類似している（陳列棚の位置に変化なし）と判定された場合（ＳＴ９０５のＹｅｓ）、他にも固定エリアが設定されているかを記憶部３８の棚管理情報の内容から判定する（ＳＴ９０７）。ここでは、図１０に示すように他にも固定エリア５２があり、図７に示すように、同じ棚番号００１に対してレコードＮＯ１とＮＯ２の２つのレコードが格納されているので、他の固定エリアがあると判定されて（ＳＴ９０７のＹｅｓ）、固定エリア５２と固定エリア対応画像１０５についてＳＴ９０２以降の処理が繰り返される。
【００６８】
すべての固定エリアが類似し、他に類似度を判定すべき固定エリアがなくなったとき（ＳＴ９０７のＮｏ）、表示画面生成部３５は、陳列棚の映像を監視するモニタリング画面を生成しモニタ５に表示する。
【００６９】
以上、第１の実施形態によれば、監視対象である陳列棚の映像上に固定エリアを設定し、１つでも固定エリアの位置にずれがある等の異常があるときは、ユーザにアラート通知を行うので、モニタリング環境が変わってしまった状態のまま陳列棚を監視し続けることを防止できる。
【００７０】
（実施の形態２）
図１１は、第２の実施形態に係るＰＣ３の概略構成を示す機能ブロック図である。第２の実施形態においては、固定エリアの位置が棚管理情報に登録されている設定時の位置と異なる場合に、棚検出部３１が、映像上から固定エリアの画像を検索し、検索した固定エリアの画像が元の設定時の位置にくるように、自動追従部１１１がカメラ１の画角を制御する。以下、第２の実施形態の説明において、第１の実施形態と実質的に同一の構成に対しては重複説明を省略する場合がある。
【００７１】
図１２は、第２の実施形態に係る自動追従の動作手順を示す動作フロー図である。図１２において、ＳＴ９０１からＳＴ９０５の処理は上記の説明のとおりである。ＳＴ９０５の判定において、類似していない（陳列棚の位置に変化あり）と判定された場合（ＳＴ９０５のＮｏ）、棚検出部３１は、現在画像１０３（図１０参照）の中から、固定エリア５１と同じ形状と大きさの領域で、固定エリア５１と類似する輝度を持つ画像を検索する（ＳＴ１２０１）。複数の固定エリアが設定されている場合は、すべての固定エリアについて検索を行う。
【００７２】
次に、すべての固定エリアの画像を検索できた場合（ＳＴ１２０２のＹｅｓ）、棚検出部３１から自動追従部１１１に対し、検索された現在の固定エリアの位置情報と、本来の固定エリア設定時の固定エリアの位置情報（棚管理情報の固定エリア情報７４）を通知する。自動追従部１１１は、映像上において、検索された固定エリアの位置が、設定時の固定エリアの位置になるように、カメラ１の上下左右の向き（画角）を制御する自動追従を行う（ＳＴ１２０３）。なお、棚検出部３１から自動追従部１１１に、検索された現在の固定エリアの位置を本来の固定エリア設定時の固定エリアの位置（棚管理情報の固定エリア情報７４）に変更するために必要なカメラの画角を通知するようにしても良い。この場合、自動追従部１１１は、通知された画角に基づいてカメラ１を制御するものとする。
【００７３】
次に、カメラの画角制御ができずに自動追従できなかったとき（ＳＴ１２０４のＮｏ）、あるいは、ＳＴ１２０２において、固定エリアの検索ができなかったとき（ＳＴ１２０２のＮｏ）、その旨がアラート通知部３４に通知され、アラート通知部３４がアラート情報を生成する（ＳＴ９０６）。すなわち、カメラの画角制御ができなかったことを通知するアラート通知画面、あるいは、現在の映像から固定エリアが検索できなかったことを通知するアラート通知画面を生成する。ＳＴ１２０４において、カメラの画角を制御して自動追従ができたとき（ＳＴ１２０４のＹｅｓ）、棚管理情報に記憶されているとおりの位置に固定エリアを捉えた陳列棚のモニタリング画面が生成される（ＳＴ９０８）。
【００７４】
以上、第２の実施形態によれば、陳列棚の移動等により、陳列棚に設定された固定エリアの位置がずれた場合にも、ずれた後の固定エリアの位置を元の固定エリア設定時の位置に戻すように、カメラを制御して撮影方向を変更する。これにより、陳列棚が実際に移動された場合でも、撮影するカメラの画角が変わってしまった場合でも、ユーザの手を煩わせることなく、陳列棚の位置を正確に撮影しモニタリングを継続することができる。
【００７５】
なお、第２の実施形態においては、カメラの撮影方向を変更して自動追従するようにしたが、カメラの撮影方向は変更せずに、現在の画像上の固定エリアの位置により最新の陳列棚の位置を認識し、この中から商品を検出するようにしても良い。その場合は、自動追従部１１１は、商品検出部３２に移動後の陳列棚の位置を知らせるだけで良い。これにより、映像内において陳列棚が移動した場合にも、ユーザの手を煩わせることなく、移動後の陳列棚から正確に商品の検出を行うことができる。
【００７６】
（実施の形態３）
図１３は、第３の実施形態に係るＰＣ３の概略構成を示す機能ブロック図である。第３の実施形態においては、陳列棚にあらかじめマーキングを付加し、棚検出部３１が、映像上からマーキング画像を検索し、検索したマーキング画像が初期位置にくるように、自動追従部１１１がカメラ１の画角を制御する。以下、第３の実施形態の説明において、第１および第２の実施形態と実質的に同一の構成に対しては重複説明を省略する場合がある。
【００７７】
図１４は、第３の実施形態に係る陳列棚に付加されたマーキングを示す説明図である。図１４に示すように、商品やその他陳列物によって隠されることがなく、常時、撮影可能な陳列棚の露出部分に、他と混同されることのない一意に識別可能なシールを貼り、マー
キング１４１とする。図１４に示す例では、陳列棚の上部と下部の左右の計４箇所をマーキング１４１としているが、陳列棚の領域を特定可能であれば適宜変更して良い。例えば、上部の左右と下部１箇所の計３箇所、あるいは、右上と左下の計２箇所としても構わない。
【００７８】
図１３に示すように、棚検出部１３０は、マーキング検出部１３０１と、マーキング変化判定部１３０２を備え、さらに、処理条件設定部１３１を備える。マーキング検出部１３０１は、陳列棚上に付加されたマーキング１４１を、映像取得部３０から入力した映像の中から検出し、検出したマーキング１４１の位置情報をマーキング変化判定部１３０２に送る。また、映像の中からマーキング１４１を検出できなかったときは、マーキング検出不可をアラート通知部３４に通知する。これにより、アラート通知部３４は、表示画面生成部３５を介してモニタ５にアラート通知画面を表示させたり、通信デバイス４にアラート通知をメール送信して、ユーザに陳列棚の異常を迅速に知らせることができる。
【００７９】
マーキング変化判定部１３０２は、マーキング検出部１３０１から得たマーキングの位置情報が、記憶部３８に記憶されるマーキングの初期位置から変化しているか否かを判定し、マーキング位置が初期位置から変化している（陳列棚の位置がずれている）とき、検出されたマーキングの位置情報と、マーキングの初期位置の位置情報を自動追従部１１１に通知する。なお、マーキング変化判定部１３０２が、位置情報ではなく、両者の位置情報から導き出される画角の情報を自動追従部１１１に通知するようにしても良い。
【００８０】
自動追従部１１１は、検出されたマーキングの位置が、マーキングの初期位置となるように、カメラの画角を制御する。これにより、商品検出部３２は、陳列棚が多少移動されたとしても、映像上にマーキング１４１を検出できれば、商品を検出すべき領域を把握して商品の検出を正確に行うことができる。
【００８１】
処理条件設定部１３１は、入力デバイス６によりユーザが設定入力する処理条件を設定し記憶部３８に記憶する。まず、ユーザは、第３の実施の形態に係るマーキング１４１を用いた陳列棚の検索を行うことを指示する。その際に、陳列棚に付加されたマーキング１４１の画像や各マーキング１４１の位置情報（初期位置）を入力するようにする。処理条件設定部１３１は、これらの入力された処理条件を記憶部３８に記憶する。
【００８２】
なお、各マーキング１４１の位置情報（初期位置）の入力に関しては、マーキング検出部１３０１に指示して、映像の中から、すべてのマーキング１４１の位置を検出させ、この位置情報をマーキング１４１の初期の位置情報として、記憶部３８に記憶させるようにしても良い。マーキング変化判定部１３０２がマーキング位置の変化を判定する際に、検出したマーキング位置とこの初期の位置情報（初期のマーキング位置）との比較を行う。
【００８３】
図１５は、第３の実施形態に係る自動追従の動作手順を示す動作フロー図である。  図１５において、ＰＣ３は、映像取得部３０により、カメラ１から店舗内を撮影した映像を取得する（ＳＴ１５０１）。次に、マーキング検出部１３０１により、取得した映像の中からマーキング１４１（図１４参照）を検索する（ＳＴ１５０２）。検索対象となるマーキング画像はあらかじめ記憶部３８に記憶されている。
【００８４】
次に、処理条件設定部１３１により記憶部３８に記憶されたすべてのマーキング（図１４の場合は４個）を検出できなかったとき（ＳＴ１５０３のＮｏ）、マーキング検出部１３０１は、アラート通知部３４にマーキング検出不可を通知し、アラート通知部３４はアラート情報を生成する（ＳＴ１５０４）。生成されたアラート情報は、表示画面生成部３５に送付される。アラート情報を受けて、表示画面生成部３５は、マーキングが検出できなかった旨のアラート通知画面を生成する（ＳＴ１５０８）。
【００８５】
すべてのマーキング１４１を検出できたとき（ＳＴ１５０３のＹｅｓ）、検出したマーキング位置が記憶部３８に記憶された初期のマーキング位置とすべて一致するか否かを判定する（ＳＴ１５０５）。マーキング変化判定部１３０２により、マーキング位置が一致しないと判定された場合は（ＳＴ１５０５のＮｏ）、自動追従部１１１により、映像上のマーキング位置が初期のマーキング位置と重なるように、カメラ１の上下左右の撮影方向（画角）を制御する（ＳＴ１５０６）。
【００８６】
なお、マーキング変化判定部１３０２から自動追従部１１１に、検出したマーキングの位置情報と初期のマーキング位置情報を通知し、自動追従部１１１が、両者の位置情報を元に現在のマーキング位置を初期位置に戻すためのカメラの画角を計算してカメラを制御するようにしても良い。または、マーキング変化判定部１３０２が現在のマーキング位置を初期位置に戻すためのカメラの画角を計算して、画角の情報を自動追従部１１１に通知し、自動追従部１１１が画角の情報に従ってカメラを制御するようにしても良い。
【００８７】
次に、カメラ１の制御によって映像上のマーキング位置を初期のマーキング位置に変更する自動追従ができたか否かを判定する（ＳＴ１５０７）。自動追従できなかったとき（ＳＴ１５０７のＮｏ）、自動追従部１１１により、アラート通知部３４に自動追従不可が通知され、アラート通知部３４はアラート情報を生成する（ＳＴ１５０４）。生成されたアラート情報は、表示画面生成部３５に送付される。アラート情報を受けて、表示画面生成部３５は、カメラの制御による自動追従ができなかった旨のアラート通知画面を生成する（ＳＴ１５０８）。
【００８８】
ＳＴ１５０５において、マーキング位置が初期のマーキング位置と一致したとき（ＳＴ１５０５のＹｅｓ）、または、ＳＴ１５０７において、自動追従ができたとき（ＳＴ１５０７のＹｅｓ）、表示画面生成部３５により、陳列棚を監視するモニタリング画面が生成される。このとき、商品検出部３２はマーキング位置に基づき陳列棚の領域を把握して商品の検出を行うことができるので、表示画面生成部３２は、商品検出結果を合わせてモニタリング画面に表示させるようにしても良い。
【００８９】
以上、第３の実施形態によれば、あらかじめユニークなシール（マーキング）を陳列棚に貼り、これをカメラで認識し、マーキングの初期位置と現在の映像上のマーキング位置とにずれが発生していた場合に、カメラの上下左右の撮影方向（画角）を初期位置に合わせるように制御する。これにより、陳列棚が実際に移動された場合でも、撮影するカメラの画角が変わってしまった場合でも、ユーザの手を煩わせることなく、陳列棚の位置を正確に撮影しモニタリングを継続することができる。
【００９０】
なお、第３の実施形態においては、カメラの撮影方向を変更して自動追従するようにしたが、カメラの撮影方向は変更せずに、現在のマーキング位置により最新の陳列棚の位置を認識し、この中から商品を検出するようにしても良い。その場合は、自動追従部１１１は、商品検出部３２に移動後の陳列棚の位置を知らせるだけで良い。これにより、映像内において陳列棚が移動した場合にも、ユーザの手を煩わせることなく、移動後の陳列棚から正確に商品の検出を行うことができる。
【００９１】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【００９２】
例えば、本実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。
【００９３】
また、本実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
【００９４】
また、本実施形態では、図８に示したように、アラート通知画面に、固定エリアを設定したときの設定時画像と、現在の映像を並べて表示するようにしたが、設定時画像と同じ時間帯の映像あるいは同じ天候の映像と類似度を比較した場合は、比較対象とした映像を表示するようにすると良い。また、テキスト表示のみで映像は表示しないようにしても良い。
【００９５】
また、本実施形態では、モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしても良い。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしても良い。この場合、必要な処理を分担する複数の情報処理装置でモニタリングシステムが構成される。
【００９６】
このような構成では、モニタリングに必要な処理のうち、少なくともデータ量が大きな処理、例えば商品検出処理を、店舗に設けられたＰＣ３などの装置に行わせるようにすると良い。このように構成すると、残りの処理のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
【００９７】
また、クラウドコンピュータ２１に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも画面出力処理をクラウドコンピュータ２１に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３、１１の他に、スマートフォン２２やタブレット端末２３などの携帯端末でもモニタリング画面を表示させることができるようになり、店舗を巡回中のスーパーバイザー等が店舗や本部の他に外出先などの任意の場所で遠隔の店舗における機会損失要因を監視することができる。
【００９８】
また、本実施形態では、店舗に設置されたＰＣ３にモニタリングに必要な処理を行わせるとともに、ＰＣ３に接続されたモニタ５にモニタリング画面などを表示させて、ＰＣ３で必要な入力および出力を行う場合について説明したが、モニタリングに必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やスマートフォン２２やタブレット端末２３などの携帯端末で必要な入力および出力を行うことができるようにしても良い。
【産業上の利用可能性】
【００９９】
本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法は、監視中の陳列エリア内の陳列棚の位置が移動されたり、カメラと陳列棚の間に障害物が置かれたり、カメラの位置がずれたりなど、モニタリングの環境に変化が生じた場合に、迅速に店員にアラート通知を行って、正しいモニタリング環境に戻させることにより、商品の陳列状況の監視を正しく継続させることができる。これにより、長期に亘って安定した陳列棚のモニタリングを実施することができる効果を有し、店舗の映像に基づいて商品を監
視するモニタリング装置、モニタリングシステムおよびモニタリング方法などとして有用である。
【符号の説明】
【０１００】
１  カメラ
２  レコーダ
３  ＰＣ（モニタリング装置）
４  通信デバイス
５  モニタ
６  入力デバイス
１１  ＰＣ
２１  クラウドコンピュータ
２２  スマートフォン
２３  タブレット端末
３０  映像取得部
３１、１３０  棚検出部
３１１  類似度計算部
３１２  環境変化判定部
３２  商品検出部
３３  状態判定部
３４  アラート通知部
３５  表示画面生成部
３６  操作入力制御部
３７  固定エリア設定部
３８  記憶部
５１、５２  固定エリア
７２  設定時画像
１０３  現在画像
１０４、１０５  固定エリア対応画像
１１１  自動追従部
１３１  処理条件設定部
１３０１  マーキング検出部
１３０２  マーキング変化判定部
１４１  マーキング
【図１】
0006019414.tif 000002
【図２】
0006019414.tif 000003
【図３】
0006019414.tif 000004
【図４】
0006019414.tif 000005
【図５】
0006019414.tif 000006
【図６】
0006019414.tif 000007
【図７】
0006019414.tif 000008
【図８】
0006019414.tif 000009
【図９】
0006019414.tif 000010
【図１０】
0006019414.tif 000011
【図１１】
0006019414.tif 000012
【図１２】
0006019414.tif 000013
【図１３】
0006019414.tif 000014
【図１４】
0006019414.tif 000015
【図１５】
0006019414.tif 000016