(57)【特許請求の範囲】
【請求項１】
店舗に来店した来店客数を取得する来店客数取得部と、
前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、
前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、
前記統計情報に基づいて販売機会損失の発生を検出する評価部と、
この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、
この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、
この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、
を備えたことを特徴とする商品モニタリング装置。
【請求項２】
前記商品検出部は、前記陳列エリアを撮影した映像において、商品が陳列される領域として設定された状態監視エリア内の映像の中から、商品を検出することを特徴とする請求項１記載の商品モニタリング装置。
【請求項３】
前記商品検出部は、前記映像の中から、あらかじめ記憶された商品画像と一致する商品を検出し、前記商品画像と一致する商品があった場合に１種類として、商品の種類数を計数することを特徴とする請求項１または請求項２記載の商品モニタリング装置。
【請求項４】
前記商品検出部は、前記映像の中から、あらかじめ記憶された商品画像と一致する商品の占有率を検出することを特徴とする請求項１から請求項３のいずれかに記載の商品モニタリング装置。
【請求項５】
前記商品検出部は、前記映像において、陳列棚の前列として設定された領域の中から、商品の占有率を検出することを特徴とする請求項１から請求項４のいずれかに記載の商品モニタリング装置。
【請求項６】
前記商品検出部は、前記映像において、陳列棚の正面横方向を横列、陳列棚の正面縦方向を縦列、前記横列のうち陳列棚手前側を前列、陳列棚奥側を後列として設定し、前記前列および前記後列の商品の有無に基づいて計数される前記縦列の列数を検出することを特徴とする請求項１から請求項４のいずれかに記載の商品モニタリング装置。
【請求項７】
前記評価部は、前記来店客数と前記購入客数との差を所定値と比較した結果に基づいて、販売機会損失の発生を検出することを特徴とする請求項１記載の商品モニタリング装置。
【請求項８】
前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列された商品の陳列量が所定量以下または未満の場合に、販売機会損失の要因を陳列量不足と分析することを特徴とする請求項１または請求項２記載の商品モニタリング装置。
【請求項９】
前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列された商品の種類数が所定数以下または未満の場合に、販売機会損失の要因を種類数不足と分析することを特徴とする請求項１から請求項３のいずれかに記載の商品モニタリング装置。
【請求項１０】
前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列棚の前列に陳列された商品の陳列量が所定量以下または未満の場合に、販売機会損失の要因をフェイスアップ不足と分析することを特徴とする請求項１または請求項２または請求項５記載の商品モニタリング装置。
【請求項１１】
前記販売機会損失分析部は、前記商品検出部の検出結果において、前記後列に商品がある前記縦列の列数と、前記前列に商品がなく前記後列に商品がある前記縦列の列数とから求められるフェイスアップ不足率が所定値以上または所定値超の場合に、販売機会損失の要因をフェイスアップ不足と分析することを特徴とする請求項６記載の商品モニタリング装置。
【請求項１２】
前記表示画面生成部は、販売機会損失の要因ごとに色分けされた同一形状の表示画像を前記陳列エリアの映像上に重畳させたモニタリング画面を生成することを特徴とする請求項１記載の商品モニタリング装置。
【請求項１３】
前記表示画面生成部は、販売機会損失の要因を示す表示画像を、軽度から重度までの程度が判別可能に、前記陳列エリアの映像上に重畳させたモニタリング画面を生成することを特徴とする請求項１記載の商品モニタリング装置。
【請求項１４】
前記表示画面生成部は、前記統計情報を時間軸に沿って表示するとともに、その時間軸上において選択された時間に対応する前記陳列エリアの映像上に、当該時間での販売機会損失の要因を表す表示画像を重畳させたモニタリング画面を生成することを特徴とする請求項１記載の商品モニタリング装置。
【請求項１５】
店舗に来店した来店客数を取得する来店客数取得部と、
前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、
前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、
前記統計情報に基づいて販売機会損失の発生を検出する評価部と、
前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、
前記評価部によって販売機会損失の発生が検出されていないとき、前記商品検出部の検出結果に基づき商品の陳列量の平均値を算出し、前記評価部によって販売機会損失の発生が検出されているとき、前記商品検出部の検出結果において、商品の陳列量が、前記平均値を基準として設定される所定値以下または未満の場合に、販売機会損失の要因を陳列量不足と分析する販売機会損失分析部と、
この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、
を備えたことを特徴とする商品モニタリング装置。
【請求項１６】
店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する商品モニタリングシステムであって、
前記陳列エリアを撮影するカメラと、
情報処理装置と、
を有し、
前記情報処理装置が、
店舗に来店した来店客数を取得する来店客数取得部と、
前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、
前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、
前記統計情報に基づいて販売機会損失の発生を検出する評価部と、
この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、
この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、
この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、
を備えたことを特徴とする商品モニタリングシステム。
【請求項１７】
店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、
店舗に来店した来店客数を取得し、
前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得し、
前記来店客数および前記購入客数に基づいて統計情報を生成し、
前記統計情報に基づいて販売機会損失の発生を検出し、
販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて陳列された商品を検出し、
この商品の検出結果によって販売機会損失の要因を分析し、
この分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成することを特徴とする商品モニタリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗における陳列エリアを撮影した映像および店舗の販売情報に基づいて、販売機会損失を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法に関するものである。
【背景技術】
【０００２】
コンビニエンスストアなどの店舗においては、陳列棚に陳列された商品の陳列状態に不備がある、すなわち商品の量が不足していたり、商品の種類が少なかったり、陳列棚の前方に商品が出ていない、いわゆるフェイスアップ不足であったりすると、販売機会損失が発生し、この販売機会損失は店舗の売上げに大きな影響を及ぼすことから、商品の陳列状態に不備がある場合には、それを解消する商品管理作業（量や種類の補充作業、前出し作業）を速やかに実施する必要がある。このような改善策を検討するにあたっては、まず、店舗での販売機会損失の状況、すなわち、機会損失が生じているか否か、さらには、どのような要因で機会損失が生じているかを管理者が適切に把握する必要がある。
【０００３】
このような店舗での販売機会損失の状況を店舗の管理者が把握する業務に関連するものとして、従来、種類ごとに商品が陳列された売場をカメラで撮影して、その映像を用いて、売場に滞在する顧客の人数を売場ごとに取得するとともに、ＰＯＳシステムの売上データを用いて、商品ごとの売上げ数を取得して、売場での滞在客数および売上げ数を映像と共に表示するようにした技術が知られている（特許文献１参照）。また、ＰＯＳシステムの売上データをもとに商品の売上げを時間帯ごとに集計して、この時間帯ごとの売上げの状況を、時間帯ごとの売場の映像の一覧とともに表示するようにした技術が知られている（特許文献２参照）。また、従来、陳列エリアを撮影した映像に基づいて、商品の補充の必要性を判断して、補充作業を指示する報知を行う技術が知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２１０９５３号公報
【特許文献２】特許第５０７２９８５号公報
【特許文献３】特開平５−０８１５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、前記特許文献１、２に開示された技術では、売場での滞在客数や商品の売上げ数が売場の映像とともに表示されるので、これらの表示内容から、滞在客数は多いのに商品の売上げが少ないという状況を把握することができる。しかしながら、これら従来の技術では、売場ごとの表示内容を確認することで、機会損失の状況を個々の売場ごとに判断するに過ぎず、まず、店舗全体で機会損失の状況を把握した上で、その機会損失の状況を詳細に検討しようとすると、業務の効率が著しく低下するという問題があった。
【０００６】
また、前記特許文献３に開示された技術では、陳列エリアにおける商品の陳列状況を監視して、必要に応じて商品管理作業（整頓作業や補充作業）を店員に指示することができるが、どの陳列棚にどのような機会損失の要因があるのかを店員が容易に把握することができないという問題があった。
【０００７】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、陳列棚における販売機会損失の要因（商品の量、種類、フェイスアップの不足）を店舗の店員や本部のスーパーバイザー等が容易に確認することができ、速やかに商品管理作業（量や種類の補充作業、前出し作業）を実施することで、販売機会損失を防止することができるように構成された商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の商品モニタリング装置は、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
【０００９】
また、本発明の商品モニタリングシステムは、店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する商品モニタリングシステムであって、前記陳列エリアを撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
【００１０】
また、本発明の商品モニタリング方法は、店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、店舗に来店した来店客数を取得し、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得し、前記来店客数および前記購入客数に基づいて統計情報を生成し、前記統計情報に基づいて販売機会損失の発生を検出し、販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて陳列された商品を検出し、この商品の検出結果によって販売機会損失の要因を分析し、この分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する構成とする。
【発明の効果】
【００１１】
本発明によれば、商品棚から販売機会損失の要因を分析し、要因を示す表示画像を、商品棚の陳列状態のモニタリング映像に付加することにより、ユーザが即座にどの商品棚にどのような販売機会損失の要因があるかを把握することができる。これにより、店員が速やかに商品管理作業を実施することで、販売機会損失を防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る商品モニタリングシステムの全体構成図
【図２】店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図
【図３】陳列エリアの映像上に設定される状態監視エリアを示す説明図
【図４】ＰＣ３の概略構成を示すハードブロック図
【図５】ＰＣ３の概略構成を示す機能ブロック図
【図６】統計情報の一例を示す説明図
【図７】販売機会損失の要因を表す表示画像を重畳したモニタリング画面を示す説明図
【図８】販売機会損失の要因を判定しモニタリング映像に重畳させて表示する手順を示す動作フロー図
【図９】陳列棚の前列と後列からフェイスアップ不足を判定するための説明図
【図１０】本実施形態の変形例の動作手順を示す動作フロー図
【発明を実施するための形態】
【００１３】
前記課題を解決するためになされた第１の発明は、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
【００１４】
これによると、陳列棚における販売機会損失の要因（商品の量、種類、フェイスアップの不足）を店員が容易に確認することができ、速やかに商品管理作業（量や種類の補充作業、前出し作業）を実施することで、販売機会損失を防止することができる。
【００１５】
また、第２の発明は、前記商品検出部は、前記陳列エリアを撮影した映像において、商品が陳列される領域として設定された状態監視エリア内の映像の中から、商品を検出する構成とする。
【００１６】
これによると、陳列エリアの映像の中から陳列棚を特定して商品の検出を行うため、商品の検出を容易に迅速に行うことができる。
【００１７】
また、第３の発明は、前記商品検出部は、前記映像の中から、あらかじめ記憶された商品画像と一致する商品を検出し、前記商品画像と一致する商品があった場合に１種類として、商品の種類数を計数する構成とする。
【００１８】
これによると、記憶させておいた商品画像が陳列棚に並んでいるか否かを検出することができるため、品揃えとして必要な複数種類の商品画像を記憶させておくことで、販売機会損失の要因となり得る、商品種類数の不足を把握することができる。
【００１９】
また、第４の発明は、前記商品検出部は、前記映像の中から、あらかじめ記憶された商品画像と一致する商品の占有率を検出する構成とする。
【００２０】
これによると、記憶させておいた商品画像が、どの程度の陳列量で陳列棚に並んでいるかを検出することができるため、販売機会損失の要因となり得る、売れ筋商品のような特定商品の陳列量不足を把握することができる。
【００２１】
また、第５の発明は、前記商品検出部は、前記映像において、陳列棚の前列として設定された領域の中から、商品の占有率を検出する構成とする。
【００２２】
これによると、顧客が商品を手に取り易い陳列棚の前列に商品が並んでいるか否かを検出することができるため、販売機会損失の要因となり得る、陳列棚の手前に商品が出ていない、いわゆるフェイスアップ不足を把握することができる。
【００２３】
また、第６の発明は、前記商品検出部は、前記映像において、陳列棚の正面横方向を横列、陳列棚の正面縦方向を縦列、前記横列のうち陳列棚手前側を前列、陳列棚奥側を後列として設定し、前記前列および前記後列の商品の有無に基づいて計数される前記縦列の列数を検出する構成とする。
【００２４】
これによると、陳列棚の前列における商品の有無のみならず、陳列棚の後列における商品の有無も考慮して判定するため、販売機会損失の要因となり得る、陳列棚の手前に商品が出ていない、いわゆるフェイスアップ不足をより的確に把握することができる。
【００２５】
また、第７の発明は、前記評価部は、前記来店客数と前記購入客数との差を所定値と比較した結果に基づいて、販売機会損失の発生を検出する構成とする。
これによると、来店客数が多いのに購入客数が少ないという両者の差分（ギャップ）によって販売機会損失の発生を検出することができる。
また、第８の発明は、前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列された商品の陳列量が所定量以下または未満の場合に、販売機会損失の要因を陳列量不足と分析する構成とする。
【００２６】
これによると、販売機会損失が実際に起きているときの商品の陳列量を調べ、陳列量が少ない場合は、陳列量不足が機会損失要因であると分析するため、機会損失の要因を速やかに把握し改善することができる。
【００２７】
また、第９の発明は、前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列された商品の種類数が所定数以下または未満の場合に、販売機会損失の要因を種類数不足と分析する構成とする。
【００２８】
これによると、販売機会損失が実際に起きているときの商品の種類数を調べ、種類数が少ない場合は、種類数不足が機会損失要因であると分析するため、機会損失の要因を速やかに把握し改善することができる。
【００２９】
また、第１０の発明は、前記販売機会損失分析部は、前記商品検出部の検出結果において陳列棚の前列に陳列された商品の陳列量が所定量以下または未満の場合に、販売機会損失の要因をフェイスアップ不足と分析する構成とする。
【００３０】
これによると、販売機会損失が実際に起きているときの陳列棚前列の陳列量を調べ、陳列量が少ない場合は、陳列棚の手前に商品が出ていない、いわゆるフェイスアップ不足が機会損失要因であると分析するため、機会損失の要因を速やかに把握し改善することができる。
【００３１】
また、第１１の発明は、前記販売機会損失分析部は、前記商品検出部の検出結果において、前記後列に商品がある前記縦列の列数と、前記前列に商品がなく前記後列に商品がある前記縦列の列数とから求められるフェイスアップ不足率が所定値以上または所定値超の場合に、販売機会損失の要因をフェイスアップ不足と分析する構成とする。
【００３２】
これによると、販売機会損失が実際に起きているときの陳列棚の前列および後列の両方
の商品の空き状況を考慮して分析するため、より正確に、陳列棚の後ろに商品があって手前に商品が出ていない、いわゆるフェイスアップ不足が機会損失要因であると分析することができる。従って、機会損失の要因を速やかに把握し改善することができる。
【００３３】
また、第１２の発明は、前記表示画面生成部は、販売機会損失の要因ごとに色分けされた同一形状の表示画像を前記陳列エリアの映像上に重畳させたモニタリング画面を生成する構成とする。
【００３４】
これによると、複数の機会損失要因がある場合は、それらの要因を区別可能かつ同時に、発生している陳列エリアの映像上に表示するため、モニタリング画面を見るだけで、どの陳列エリアにどのような機会損失要因があるかを簡単に認識することができる。
【００３５】
また、第１３の発明は、前記表示画面生成部は、販売機会損失の要因を示す表示画像を、軽度から重度までの程度が判別可能に、前記陳列エリアの映像上に重畳させたモニタリング画面を生成する構成とする。
【００３６】
これによると、販売機会損失の要因の程度（軽度〜重度）を判別可能に、それが発生している陳列エリアの映像上に表示するため、モニタリング画面を見るだけで、どの陳列エリアにどのような機会損失要因がどの程度の深刻度で発生しているかを簡単に認識することができる。
【００３７】
また、第１４の発明は、前記表示画面生成部は、前記統計情報を時間軸に沿って表示するとともに、その時間軸上において選択された時間に対応する前記陳列エリアの映像上に、当該時間での販売機会損失の要因を表す表示画像を重畳させたモニタリング画面を生成する構成とする。
【００３８】
これによると、来店客数と購入客数の時間ごとの推移を見て、例えば、両者の差が大きい時間帯、すなわち販売機会損失が発生している時間帯を選択すると、その時間帯の陳列エリアの映像が機会損失要因とともに表示されるため、所望の時間帯の機会損失要因を簡単に確認することができる。
【００３９】
また、第１５の発明は、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、前記評価部によって販売機会損失の発生が検出されていないとき、前記商品検出部の検出結果に基づき商品の陳列量の平均値を算出し、前記評価部によって販売機会損失の発生が検出されているとき、前記商品検出部の検出結果において、商品の陳列量が、前記平均値を基準として設定される所定値以下または未満の場合に、販売機会損失の要因を陳列量不足と分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
【００４２】
これによると、販売機会損失が実際に起きているときの商品の陳列量と、販売機会損失が発生していないときの陳列量の平均値を基準として設定する所定値とを比較して、陳列量不足が機会損失要因かどうかを判定するため、機会損失要因とならない陳列量の適正範囲を明確にして、より正確に分析することができる。
【００４３】
また、第１６の発明は、店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する商品モニタリングシステムであって、前記陳列エリアを撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
【００４４】
これによると、陳列棚における販売機会損失の要因（商品の量、種類、フェイスアップの不足）を店員が容易に確認することができ、速やかに商品管理作業（量や種類の補充作業、前出し作業）を実施することで、販売機会損失を防止することができる。
【００４５】
また、第１７の発明は、店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、店舗に来店した来店客数を取得し、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得し、前記来店客数および前記購入客数に基づいて統計情報を生成し、前記統計情報に基づいて販売機会損失の発生を検出し、販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて陳列された商品を検出し、この商品の検出結果によって販売機会損失の要因を分析し、この分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する構成とする。
【００４６】
これによると、陳列棚における販売機会損失の要因（商品の量、種類、フェイスアップの不足）を店員が容易に確認することができ、速やかに商品管理作業（量や種類の補充作業、前出し作業）を実施することで、販売機会損失を防止することができる。
【００４７】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００４８】
図１は、本実施形態に係る商品モニタリングシステムの全体構成図である。この商品モニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ１、レコーダ（映像蓄積装置）２、ＰＣ（情報処理装置）３、およびＰＯＳ端末（販売情報管理装置）４と、複数の店舗を総括する本部に設けられたＰＣ（情報処理装置）１１、およびＰＯＳサーバ（販売情報管理装置）１２と、ネットワーク上に設けられたクラウドコンピューティングシステムを構成するクラウドコンピュータ２１と、任意の場所でもモニタリングを可能とするスマートフォン２２やタブレット端末２３を備えている。
【００４９】
カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた映像がレコーダ２に蓄積される。店舗に設置されたＰＣ３や本部に設置されたＰＣ１１では、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に蓄積された過去の店舗内の映像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
【００５０】
本部に設置されたＰＣ１１は、店舗を管理するスーパーバイザーの業務を支援する施設管理支援装置として構成される。また、このＰＣ１１で生成した情報は、ＰＣ１１のモニタによりスーパーバイザーが閲覧することができ、さらに、店舗に設置されたＰＣ３に送信されて、このＰＣ３でも店長などが閲覧することができる。このように、ＰＣ３、ＰＣ
１１が閲覧装置として構成される。また、スマートフォン２２やタブレット端末２３を閲覧装置とすることもできる。
【００５１】
ＰＯＳ端末４は、店舗のレジカウンタに設置され、顧客が購入する商品の会計を行う際に店員が操作する。このＰＯＳ端末４および本部に設置されたＰＯＳサーバ１２は、各店舗での売上げに関する販売情報を管理するＰＯＳ（point of sale）システム（販売情報管理システム）を構成している。このＰＯＳシステムでは、販売情報として、顧客が購入した商品の名称、種類、数量、金額および会計時刻などの情報が管理される。この販売情報は、ＰＯＳ端末４とＰＯＳサーバ１２とで共有され、ＰＯＳ端末４では、設置された店舗の販売情報が管理され、ＰＯＳサーバ１２では、全ての店舗の販売情報が管理される。
【００５２】
次に、コンビニエンスストアを例にして店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
【００５３】
店舗には、出入口、陳列棚、レジカウンタ、および調理器具などが設けられている。陳列棚は、ファーストフード、米飯（おにぎり、弁当、寿司などの商品）、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の種類に分けて設置されている。調理器具は、からあげなどのファーストフードを店内で調理するものであり、レジカウンタの隣には、ファーストフードの陳列棚（ＦＦケース）が設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
【００５４】
また、店舗には、店舗内を撮影する複数のカメラ１が設置されている。このカメラは、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、陳列棚などに陳列された商品、出入口から店舗に出入りする人物、および店舗内に滞在する人物などを撮影することができる。この店舗内で撮影された人物を計数することにより、店舗に来店した顧客の人数（来店客数）を得ることができる。なお、店舗に出入りする顧客の人数（来店客数）は、カメラで撮影した画像から取得しても良いし、出入り口に設けた検知センサによって計数しても良い。
【００５５】
次に、図１に示したＰＣ３で行われる処理の概要について説明する。図３は、カメラ１で撮影される陳列エリアの映像上に設定される状態監視エリアを示す説明図である。陳列エリアの映像上において、商品を検出する領域として設定される状態監視エリアを点線で示している。状態監視エリアは、陳列エリアの映像を見ながらユーザが入力デバイスを用いて設定しても良いし、陳列エリアの映像から自動的に陳列棚を画像認識して状態監視エリアとして設定しても良い。
【００５６】
本実施形態では、図３に示すように、陳列エリアの映像内の商品が配置される領域（陳列棚など）に状態監視エリアを設定して、その状態監視エリアごとに商品の機会損失要因を分析する。図３に示す例では、１つの陳列棚のすべての段を含む全体（点線部分）に状態監視エリアを設定しているが、棚の段ごと、あるいは同じ段の左右などに分けて、複数の状態監視エリアを設定しても良い。また、陳列エリアの映像内に複数の陳列棚がある場合は、各々の陳列棚ごとに状態監視エリアを設定すると良い。このように、陳列エリアの映像の中で商品を検出する領域（状態監視エリア）を設定することにより、商品の検出を容易に迅速に行うことができる。また、１つの陳列エリアの映像内に複数の状態監視エリアを設定した場合、各々の状態監視エリアの機会損失要因を分析し、その結果を統合して１つの陳列エリアに対する分析結果とすれば良い。その際、陳列エリアに１つでも機会損
失要因があれば、その要因が表示されるようにすると良い。
【００５７】
次に、図４は、店舗に設置されるＰＣ３（情報処理装置）のハードブロック図である。ＰＣ３は、各ユニット間を接続するバス４００と、コンピュータシステムの制御を司る中央演算装置（ＣＰＵ）４０１と、ランダムアクセスメモリ（ＲＡＭ）４０２と、ＣＰＵで実行され、商品モニタリング装置の動作処理手順や各機能構成を実現させるプログラムを記憶しているリードオンリーメモリ（ＲＯＭ）４０３と、ネットワークを介して外部装置とのデータ転送を行うネットワークインタフェース（ＮＷ  Ｉ／Ｆ）４０４と、画像情報をモニタに表示させるビデオＲＡＭ（ＶＲＡＭ）４０５と、キーボードやポインティングデバイス等からなる入力デバイスから入力された入力信号を制御する入力コントローラ４０６と、ハードディスクドライブ（ＨＤＤ）４０９と、外部記憶装置からの入出力を制御する外部記憶装置インタフェース４０８とを備えている。
【００５８】
次に、図５は、店舗に設置されるＰＣ３の概略構成を示す機能ブロック図である。ＰＣ３は、カメラ１あるいはレコーダ２から映像を取得する映像取得部３０と、本部に設置のＰＯＳサーバ１２あるいは店舗内に設置のＰＯＳ端末４から販売情報を取得する販売情報取得部３１と、映像から来店客を検知する来店客検知部３２と、検知した来店客の人数および販売情報から得られる購入客の人数を計測する計測部３３と、計測された来店客数および購入客数に基づいて機会損失の発生の有無を評価する評価部３４と、計測された客数の時間的な推移状況を示す統計情報を生成する統計情報生成部３５と、映像の中から商品を検出する商品検出部３６と、商品の検出結果により販売機会損失の要因を分析する販売機会損失分析部３７と、機会損失の要因を映像に重畳させてモニタ１５に表示する表示画面生成部３８と、入力デバイス１６からの操作入力を制御する操作入力制御部３９と、操作入力により状態監視エリアを設定する状態監視エリア設定部４０と、商品検出部３６が特定の商品を検出する際に、検出する商品の画像をあらかじめ設定する商品設定部４１とを備えている。
【００５９】
なお、図５に示す各機能構成は、ＣＰＵ４０１が、ＲＯＭ４０３に記憶されているプログラムを実行することで、各ハードウェアを制御することによって実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成しても良い。また、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録されても良い。また、ネットワークを介して、ユーザに提供されるようにしても良い。また、ＰＣ１１もＰＣ３と同様である。
【００６０】
図５において、映像取得部３０は、カメラ１およびレコーダ２から店舗内を撮影した映像を取得する。ここで、当日の状況をリアルタイムに表示させる場合にはカメラ１から映像を取得し、過去の一定期間の状況を表示させる場合にはレコーダ２から映像を取得する。
【００６１】
販売情報取得部３１は、ＰＯＳサーバ１２またはＰＯＳ端末４から販売情報を取得する。販売情報には、顧客ごとの会計時刻（レシートの発行時刻）、顧客が購入した商品の名称、種類、金額、および数量などの情報が含まれる。
【００６２】
来店客検知部３２は、出入口を撮影した映像から人物を検出する人物検出処理により、出入口から入店する顧客を検知する処理が行われる。人物検出処理には、公知の画像解析技術を用いれば良い。また、来店客検知部３２では、出入口から入店する顧客が検知された映像の撮影時刻から、顧客ごとの入店時刻を取得する。
【００６３】
なお、本実施形態では、来店客検知部３２において、店舗に来店した顧客を検知するものとしたが、これは、出入口から入店する顧客を検知することに限定されるものではなく
、店舗に滞在する顧客を検知するようにしても良い。
【００６４】
なお、本実施形態では、人物認識（個人識別）を行わないため、同一の人物が売場に複数回出入りすると、その人物が重複して検知されるが、この重複を避けるために人物認識を行うようにしても良い。
【００６５】
計測部３３は、来店客検知部３２での検知結果に基づいて、所定の計測期間（１５分間）における来店客数を計測する来店客数取得部３３１と、販売情報取得部３１で取得した販売情報に基づいて、所定の計測期間（１５分間）における購入客数を計測する購入客数取得部３３２とを備えている。
【００６６】
来店客数取得部３３１では、来店客検知部３２で取得した顧客ごとの入店時刻に基づいて、所定の計測期間ごとの来店客数、すなわち計測期間において店舗に来店した顧客の人数を取得する処理が行われる。
【００６７】
購入客数取得部３３２では、販売情報取得部３１で取得した顧客ごとの会計時刻に基づいて、所定の計測期間ごとの購入客数、すなわち計測期間において店舗全体で会計を行った顧客の人数、換言すると、店舗でなんらかの商品を購入した顧客の人数を取得する処理が行われる。なお、購入客数は、店舗で発行されたレシートの枚数と等しい。
【００６８】
評価部３４は、計測部３３で取得した計測値（来店客数、購入客数）に基づいて、機会損失の発生状況を時間帯ごとに評価する。機会損失の発生が起こっている時間帯を抽出するようにしても良い。
【００６９】
統計情報生成部３５では、計測部３３で取得した計測期間（１５分間）ごとの計測値（来店客数、購入客数）を、所定の単位期間ごとに集計して、単位期間ごとの客数を取得して、客数の時間的な推移状況を示す統計情報を生成する処理が行われる。また、統計情報生成部３５は、評価部３４から得た機会損失の発生している時間帯の情報を統計情報に加える。統計情報生成部３５で生成された統計情報は、表示画面生成部３８に送られる。
【００７０】
図６は、表示画面生成部３８によってモニタ１５に表示される統計情報の一例を示す説明図である。図６に示すように、来店客数と購入客数の統計情報（この例では１時間ごとに集計）がグラフで表示される。図６の例では、実線が来店客数の推移を、点線が購入客数の推移を表している。来店客数が多いのに購入客数が少ないという両者の差分（ギャップ）が大きい時間帯を、機会損失が発生している時間帯として、注意を促すような表示形態で表示するようにすると良い。さらに、図６に示すグラフの任意の時間帯をクリックすることで、当該時間帯における陳列エリアのモニタリング画面が表示されるようにすると良い。
【００７１】
なお、本実施形態では、統計情報生成部３５において、単位期間を時間帯として集計処理を行うものとするが、単位期間を１日、１週間、および１ヶ月としても良い。また、本実施形態では、計測部３３において、計測期間を１５分間として、この計測期間ごとの客数（来店客数、購入客数）を取得するようにしたが、計測期間は任意の期間として良い。
【００７２】
商品検出部３６では、映像取得部３０で取得した陳列エリアの映像に基づいて、陳列された商品を検出する処理が行われる。本実施形態では、図３に示すように、状態監視エリア設定部４０によりユーザが設定した状態監視エリアの映像の中から商品を検出する。
【００７３】
陳列量取得部３６１は、各状態監視エリアにおける商品占有率、すなわち、商品と想定される物体が映った画素が占める割合を求める。具体的には、陳列エリアの映像から切り
出された状態監視エリアの映像の中から、商品と想定される物体が映った画素を検出し、この商品と想定される物体が映った画素の全画素に対する割合を商品占有率とすれば良い。また、例えば、商品が陳列されていない状態で撮影された映像を背景として、その背景との差分に基づいて、商品と想定される物体が映った画素を検出すれば良い。
【００７４】
商品種類数取得部３６２は、各状態監視エリアにおける特定商品の特定商品占有率、すなわち、特定商品と想定される物体が映った画素が占める割合を特定商品ごとに求める。具体的には、陳列エリアの映像から切り出された状態監視エリアの映像の中から、特定商品としてあらかじめ記憶された商品画像と一致する物体が映った画素を検出し、この特定商品が映った画素の全画素に対する割合を特定商品占有率とすれば良い。複数の特定商品が設定されている場合、各々の特定商品占有率を求め、特定商品占有率が求められた特定商品の数を商品種類数として計数する。これにより、どの種類の商品がどの程度の量で陳列されているかを検出することができる。
【００７５】
フェイスアップ取得部３６３は、各状態監視エリアの陳列棚の前列に商品がある割合、すなわち、商品と想定される物体が映った画素が陳列棚の前列に占める前列商品占有率を求める。具体的には、陳列エリアの映像から切り出された状態監視エリアの映像の中から、さらに前列エリアと特定される映像を抽出し、この前列エリアの映像から、商品と想定される物体が映った画素を検出し、この商品と想定される物体が映った画素の前列エリア全画素に対する割合を前列商品占有率とすれば良い。このようにすると、陳列棚の前列が空いた状態となっているフェイスアップ不足を検出することができる。なお、陳列棚のどこまでを前列エリアとするかは、ユーザが入力デバイスを用いて映像の中から前列エリアの範囲を設定しても良いし、あらかじめ所定の範囲が設定されるようにしても良い。
【００７６】
また、フェイスアップ取得部３６３は、上記に代えて、陳列棚の前列と後列の商品の空き状況からフェイスアップ不足を判定するようにしても良い。その場合は、状態監視エリアの映像の中から、陳列棚の後列に商品がある縦列の数と、陳列棚の前列に商品がなくその後列に商品がある縦列の数を求める。そして、前列に商品がなくて後列に商品がある割合をフェイスアップ不足率として算出する。このようにすると、陳列棚の後列には商品があるのに前列が空いた状態となっているフェイスアップ不足を検出することができる。
【００７７】
販売機会損失分析部３７では、商品検出部３６の検出結果により、販売機会損失の要因を分析する処理が行われる。販売機会損失分析部３７は、陳列量取得部３６１から得た商品占有率をあらかじめ設定されるしきい値と比較し、商品占有率がしきい値以下または未満の場合に、商品の陳列量不足が販売機会損失の要因であるとする。
【００７８】
また、販売機会損失分析部３７は、商品種類数取得部３６２から得た商品種類数をあらかじめ設定されるしきい値と比較し、商品種類数がしきい値以下または未満の場合に、商品の種類数不足が販売機会損失の要因であるとする。通常の販売商品の種類を分析する他に、例えば、期間限定商品や、キャンペーン商品を特定商品として設定することにより、これら販促に注力すべき商品が陳列エリアに並んでいるか否か、特定商品占有率からどの程度の占有率で並んでいるかを分析することもできる。
【００７９】
また、販売機会損失分析部３７は、フェイスアップ取得部３６３から得た前列商品占有率をあらかじめ設定されるしきい値と比較し、前列商品占有率がしきい値以下または未満の場合に、商品のフェイスアップ不足が販売機会損失の要因であるとする。
【００８０】
また、販売機会損失分析部３７は、上記に代えて、フェイスアップ取得部３６３から得たフェイスアップ不足率をあらかじめ設定されるしきい値と比較し、フェイスアップ不足率がしきい値以上またはしきい値超の場合に、商品のフェイスアップ不足が販売機会損失
の要因であるとする。
【００８１】
また、各々の機会損失要因について不足の程度を検出する場合は、第１および第２の２つのしきい値を用いて、充足状態、軽度不足状態および重度不足状態の３つの状態を判定する。すなわち、充足率から判定する場合は、第１のしきい値以上となる場合には充足状態と判定し、第１のしきい値未満でかつ第２のしきい値以上となる場合には軽度不足状態と判定し、第２のしきい値未満となる場合には重度不足状態と判定する。または、不足率から判定する場合は、第１のしきい値以下となる場合には充足状態と判定し、第１のしきい値超でかつ第２のしきい値以下となる場合には軽度不足状態と判定し、第２のしきい値超となる場合には重度不足状態と判定する。
【００８２】
表示画面生成部３８では、陳列エリアをユーザが監視するためのモニタリング画面を生成する処理が行われ、このモニタリング画面がモニタ１５に表示される。特に、この表示画面生成部３８では、販売機会損失分析部３７の分析結果に基づいて、機会損失の要因がある陳列エリアの映像上に、機会損失要因を表す表示画像（マーク画像）が重畳されたモニタリング画面を表示させる処理が行われる。また、表示画面生成部３８では、機会損失要因を表す表示画像（マーク画像）が重畳されたモニタリング画面と、前記のような統計情報とを同一画面に表示させるようにしても良い。
【００８３】
図７は、陳列エリアにおける販売機会損失の要因を表す表示画像を重畳したモニタリング画面を示す説明図である。図７の例では、店舗内の複数の陳列エリアのモニタリング映像が並べて表示される。販売機会損失の要因を表す表示画像（マーク画像）が陳列エリアの映像上に重ねて表示される。機会損失要因の種類に応じてその表示色を変更することで、各陳列エリアにおける複数の機会損失要因を明確に表示する。
【００８４】
本実施形態では、機会損失要因として、商品の陳列量不足、種類数不足、フェイスアップ不足の３つの要因を分析し、各々について異なる表示色の表示画像（マーク画像）を表示する。例えば、図７に示すように、表示画像（マーク画像）は同一形状の四角形として、陳列量不足を赤色、種類数不足を桃色、フェイスアップ不足を橙色など、陳列エリアごとの機会損失の要因が一目で認識できるように表示する。同じ陳列エリアに複数の要因がある場合は、複数の機会損失要因を表す表示画像（マーク画像）が複数表示される。
【００８５】
また、商品の陳列量不足、種類数不足、フェイスアップ不足の３つの要因を表す表示画像（マーク画像）を各々の不足の程度に応じて色分けするようにしても良い。例えば、充足状態であれば緑色、軽度不足状態であれば黄色、重度不足状態であれば赤色としてモニタ１５に表示する。このとき、表示画像（マーク画像）の形状は３つの機会損失要因に応じて変更するようにすると良い（例えば、陳列量不足は正方形、種類数不足は三角形、フェイスアップ不足は円形など）。この映像をユーザが見ることで、各陳列エリアにおける商品の機会損失要因をユーザが即座に把握することができる。
【００８６】
操作入力制御部３９は、モニタ１５に表示された画面上で、マウスおよびキーボードなどの入力デバイス１６を用いて行われるユーザの入力操作に応じて、入力情報を取得する。
【００８７】
状態監視エリア設定部４０では、図３に示すように、入力デバイス１６を用いたユーザの入力操作により、陳列エリアの映像の中から商品検出を行うエリア（状態監視エリア）を設定する処理が行われる。このとき、１つの陳列エリアが表示されたエリア設定画面をモニタ１５に表示させ、このエリア設定画面上で状態監視エリアを指定入力すれば良い。複数の状態監視エリアを設定しても良い。
【００８８】
商品設定部４１では、特定商品を設定する処理が行われる。あらかじめ商品の画像がＰＣ３やＰＣ１１に保管されている場合は、その中から特定商品とする商品の画像を選択して設定すれば良いし、保管されていない場合は、商品を撮影した画像を特定商品として記憶させる。
【００８９】
また、本実施形態では、モニタ１５に表示された処理条件設定画面（図示せず）により、商品検出部３６で用いられる各種しきい値を設定する。
【００９０】
次にＰＣ３で実行される処理について説明する。図８は、販売機会損失の要因を判定しモニタリング映像に重畳させて表示する手順を示す動作フロー図である。図８において、ＰＣ３は、映像取得部３０により、カメラ１およびレコーダ２から店舗内を撮影した映像を取得する（ＳＴ８０１）。ここで、リアルタイムに表示させる場合にはカメラ１から映像を取得し、過去の一定期間の状況を表示させる場合にはレコーダ２から映像を取得する。
【００９１】
次に、販売情報取得部３１により、本部に設置のＰＯＳサーバ１２あるいは店舗内に設置のＰＯＳ端末４から販売情報を取得する（ＳＴ８０２）。販売情報には、顧客ごとの会計時刻（レシートの発行時刻）、顧客が購入した商品の名称、種類、金額、および数量などの情報が含まれる。
【００９２】
次に、来店客検知部３２により、ＳＴ８０１で取得した出入口を撮影した映像から入店する人物（来店客）を検出するとともに、入店する顧客が検知された映像の撮影時刻から、顧客ごとの入店時刻を取得する（ＳＴ８０３）。
【００９３】
次に、計測部３３により、来店客検知部３２での検知結果に基づいて、所定の計測期間（１５分間）ごとの来店客数を取得するとともに、販売情報取得部３１で取得した販売情報に基づいて、所定の計測期間（１５分間）ごとの購入客数を取得する（ＳＴ８０４）。
【００９４】
次に、統計情報生成部３５により、計測部３３で取得した計測期間（１５分間）ごとの計測値（来店客数、購入客数）を、所定の単位期間ごとに集計して、単位期間ごとの客数（来店客数、購入客数）を取得して、客数の時間的な推移状況を示す統計情報を生成する（ＳＴ８０５）。生成された統計情報は、表示画面生成部３８によってモニタ１５に表示可能である。
【００９５】
次に、評価部３４により、計測部３３で取得した計測値（来店客数、購入客数）に基づいて、機会損失の発生状況を時間帯ごとに評価し、来店客数が多いのに購入客数が少ないという両者の差分（ギャップ）が大きい時間帯（機会損失が発生している時間帯）があるか否かを判定し、機会損失が発生していないとき（ＳＴ８０６のＮｏ）、表示画面生成部３８は、商品検知を行わずに陳列エリアの映像をそのままモニタリング画面として生成しモニタ１５に表示する（ＳＴ８１７）。
【００９６】
一方、機会損失が発生しているとき（ＳＴ８０６のＹｅｓ）、商品検出部３６により、評価部３４において機会損失の発生が起こっていると評価された時間帯に、映像取得部３０で取得した陳列エリアの映像に基づいて、陳列された商品を検出する。本実施形態では、図３のように、状態監視エリア設定部によりユーザが設定した状態監視エリアの映像の中から商品を検出するが、まず、陳列量取得部３６１により、状態監視エリアの映像から、商品と想定される物体が映った画素を検出し、この商品と想定される物体が映った画素の状態監視エリア全画素に対する割合を商品占有率として求める（ＳＴ８０７）。
【００９７】
次に、販売機会損失分析部３７により、陳列量取得部３６１から得た商品占有率をあら
かじめ設定されるしきい値と比較し、商品占有率がしきい値以下または未満の場合に、商品の陳列量不足が販売機会損失の要因であると判定する（ＳＴ８０８のＹｅｓ）。例えば、商品占有率が７０％未満の場合に、陳列量が販売機会損失の要因であると判定するようにすれば良い。陳列量不足と判定された場合は、当該陳列エリアが陳列量不足であるとの要因情報を設定する（ＳＴ８０９）。
【００９８】
さらに、しきい値を複数設けて、陳列量の不足の程度を検出する場合は、充足状態、軽度不足状態および重度不足状態の３つの状態を判定する。例えば、商品占有率が７０％以上となる場合には充足状態と判定し、７０％未満でかつ４０％以上となる場合には軽度不足状態と判定し、４０％未満となる場合には重度不足状態と判定し、軽度不足状態または重度不足状態と判定された場合は、その旨の要因情報をＳＴ８０９にて設定する。
【００９９】
次に、商品種類数取得部３６２により、状態監視エリアの映像から、特定商品としてあらかじめ記憶された商品画像と一致する物体が映った画素の状態監視エリア全画素に対する割合を特定商品占有率とし、記憶される複数の特定商品について各々の特定商品占有率を求めるとともに、記憶された複数の特定商品のうち検出された特定商品を商品種類数として計数する（ＳＴ８１０）。これにより、どの種類の商品がどの程度の量で陳列されているかを検出することができる。
【０１００】
次に、販売機会損失分析部３７により、商品種類数取得部３６２から得た商品種類数をあらかじめ設定されるしきい値と比較し、商品種類数がしきい値以下または未満の場合に、商品の種類数不足が販売機会損失の要因であると判定する（ＳＴ８１１のＹｅｓ）。例えば、１つの状態監視エリア内に陳列する商品の種類としてあらかじめ適正な上限を設定しておき、この商品種類数の上限を分母、検出された種類数を分子として、その割合が７０％未満の場合に、種類数不足が販売機会損失の要因であると判定するようにすれば良い。種類数不足と判定された場合は、当該陳列エリアが種類数不足であるとの要因情報を設定する（ＳＴ８１２）。
【０１０１】
さらに、しきい値を複数設けて、種類数の不足の程度を検出する場合は、充足状態、軽度不足状態および重度不足状態の３つの状態を判定する。例えば、上記のような割合が７０％以上となる場合には充足状態と判定し、７０％未満でかつ４０％以上となる場合には軽度不足状態と判定し、４０％未満となる場合には重度不足状態と判定し、軽度不足状態または重度不足状態と判定された場合は、その旨の要因情報をＳＴ８１２にて設定する。
【０１０２】
次に、フェイスアップ取得部３６３により、状態監視エリアの映像から、陳列棚の前列に商品がある割合、すなわち、商品と想定される物体が映った画素が陳列棚の前列に占める前列商品占有率を求める（ＳＴ８１３）。なお、陳列棚のどこまでを前列とするかは、ユーザがその範囲を設定するようにしても良い。または、商品を検出する際に、同時にその商品の座標を取得し、取得した座標によって商品の位置が陳列棚の前列か否かを決めるようにしても良い。
【０１０３】
次に、上記のように、ＳＴ８１３のフェイスアップ取得の際に前列商品占有率のみを求めた場合は、販売機会損失分析部３７により、フェイスアップ取得部３６３から得た前列商品占有率をあらかじめ設定されるしきい値と比較し、前列商品占有率がしきい値以下または未満の場合に、商品のフェイスアップ不足が販売機会損失の要因であると判定する（ＳＴ８１４のＹｅｓ）。例えば、前列商品占有率が７０％未満の場合に、フェイスアップ不足が販売機会損失の要因であると判定するようにすれば良い。
【０１０４】
なお、上記の例では、陳列棚の前列に商品があるか否かのみでフェイスアップ不足を判定するものとしたが、商品が後列にあるのに前列に出されていないことを見るために、陳
列棚の前列と後列の商品の状況からフェイスアップ不足を判定するようにしても良い。以下、その詳細について説明する。
【０１０５】
図９は、陳列棚の前列と後列からフェイスアップ不足を判定するための説明図である。図９において、陳列棚の正面横方向（Ｘ方向）に並ぶ６列（Ａ列１〜Ａ列６）を横列、陳列棚の正面縦方向（Ｙ方向）に並ぶ３列（Ｂ列１〜Ｂ列３）を縦列とし、横列のうち通路側に面する列（Ｂ列１）を「前列」、この「前列」より奥側の列（Ｂ列２、Ｂ列３）を合わせて「後列」と称する。
【０１０６】
図９において、ＳＴ８１３のフェイスアップ取得の際に、フェイスアップ取得部３６３により、状態監視エリアの映像から、陳列棚の後列（Ｂ列２、Ｂ列３）に商品がある列の数（第１列数）として、Ａ列１、Ａ列２、Ａ列３、Ａ列４の４列、すなわち「４」が求められる。第１列数は、後列（Ｂ列２、Ｂ列３）のいずれかに商品があれば、列を１単位として計数される。次に、陳列棚の前列（Ｂ列１）に商品がなく、かつ、その後列（Ｂ列２、Ｂ列３）に商品がある列の数（第２列数）として、Ａ列２、Ａ列３、Ａ列４の３列、すなわち「３」が求められる。
【０１０７】
次に、第１列数を分母、第２列数を分子として、その割合（フェイスアップ不足率）を算出する。ここでは、第１列数として４、第２列数として３が求められたため、フェイスアップ不足率は４分の３、つまり７５％となる。
【０１０８】
図９においては、分子とする第２列数を「前列に商品がなく、その後列に商品がある列数」として不足率を求めたが、充足率を求める場合には、分子とする第２列数を「前列と後列の両方に商品がある列数」とすれば良い。この場合は、第１列数として４（Ａ列１、Ａ列２、Ａ列３、Ａ列４）、第２列数として１（Ａ列１）が求められ、フェイスアップ充足率は４分の１、つまり、２５％となる。このように充足率を求めた場合は、販売機会損失分析部３７は、しきい値以下または未満でフェイスアップ不足を判定することになる。
【０１０９】
なお、図９の例では、同一の縦列上において、前列に商品がなくて後列に商品がある場合をフェイスアップ不足と判定することとしている。従って、前列にも後列にも商品が陳列されていないＡ列５は、フェイスアップ不足とはされない。
【０１１０】
また、陳列棚のどこまでを前列、後列とするかは、ユーザがその範囲を設定するようにしても良い。あるいは、商品を検出する際に、同時にその商品の座標を取得し、取得した座標によって商品の位置が陳列棚の前列か後列かを決めるようにしても良い。
【０１１１】
次に、ＳＴ８１３のフェイスアップ取得の際にフェイスアップ不足率が算出された場合は、販売機会損失分析部３７により、フェイスアップ取得部３６３から得たフェイスアップ不足率をあらかじめ設定されるしきい値と比較し、フェイスアップ不足率がしきい値以上またはしきい値超の場合に、商品のフェイスアップ不足が販売機会損失の要因であると判定する（ＳＴ８１４のＹｅｓ）。例えば、フェイスアップ不足率が１０％以上の場合に、フェイスアップ不足が販売機会損失の要因であると判定するようにすれば良い。図９の例では、上記のようにフェイスアップ不足率が７５％となるため、フェイスアップ不足と判定される。フェイスアップ不足と判定された場合（ＳＴ８１４のＹｅｓ）は、当該陳列エリアがフェイスアップ不足であるとの要因情報を設定する（ＳＴ８１５）。
【０１１２】
さらに、しきい値を複数設けて、フェイスアップ不足の程度を検出する場合は、充足状態、軽度不足状態および重度不足状態の３つの状態を判定するようにする。軽度不足状態または重度不足状態と判定された場合は、その旨の要因情報をＳＴ８１５にて設定する。
【０１１３】
フェイスアップ不足の程度を前列商品占有率からのみ判定する場合は、例えば、前列商品占有率が７０％以上となる場合には充足状態と判定し、７０％未満でかつ４０％以上となる場合には軽度不足状態と判定し、４０％未満となる場合には重度不足状態と判定する。
【０１１４】
あるいは、フェイスアップ不足の程度を第１列数および第２列数から算出されるフェイスアップ不足率から判定する場合は、例えば、フェイスアップ不足率が１０％未満の場合には充足状態と判定し、１０％以上で４０％未満の場合には軽度不足状態と判定し、４０％以上となる場合には重度不足状態と判定する。
【０１１５】
ＳＴ８０８において、陳列量不足ではないと判定された場合（ＳＴ８０８のＮｏ）は、そのままＳＴ８１０の種類数取得処理に進む。また、ＳＴ８１１において、種類数不足ではないと判定された場合（ＳＴ８１１のＮｏ）は、そのままＳＴ８１３のフェイスアップ取得処理に進む。
【０１１６】
次に、ＳＴ８１４において、フェイスアップ不足ではないと判定された場合（ＳＴ８１４のＮｏ）、または、ＳＴ８１５に続いて、商品検出を行っていない状態監視エリアが他にまだあるか否かを判定する（ＳＴ８１６）。商品検出を行っていない状態監視エリアがあれば（ＳＴ８１６のＹｅｓ）、他の状態監視エリアを対象としてＳＴ８０７からＳＴ８１５の処理を繰り返す。すべての状態監視エリアの商品検出が終了したとき（ＳＴ８１６のＮｏ）、表示画面生成部３８により、機会損失の要因情報を表す表示画像（マーク画像）を陳列エリアごとの映像上に重畳したモニタリング画面（図７参照）を生成する（ＳＴ８１７）。また、機会損失要因を表す表示画像が重畳されたモニタリング画面と、図６のような統計情報とを同一画面として生成しても良い。
【０１１７】
また、１つの陳列エリア内に複数の状態監視エリアが設定されている場合は、商品検出によって１つでも要因情報が設定された状態監視エリアがあれば、当該陳列エリアのモニタリング映像上に機会損失の要因情報を表す表示画像（マーク画像）が重畳される。このとき、軽度不足状態であるか重度不足状態であるかが区別可能になるように、表示画像（マーク画像）の色や形状を変更しても良い。
【０１１８】
次に、ＰＣ３で実行される販売機会損失の要因を判定しモニタリング映像に重畳させて表示する別の手順について説明する。図１０は、本実施形態の変形例の手順を示す動作フロー図である。図８の動作フローと異なる点は、ＳＴ１００１〜ＳＴ１００４のステップが追加されている点である。
【０１１９】
図１０のＳＴ８０６において、統計情報から機会損失が発生していないと判定されたとき（ＳＴ８０６のＮｏ）にも、状態監視エリア設定部によりユーザが設定した状態監視エリアの映像の中から商品を検出する。具体的には、ＳＴ８０７と同様に、陳列量取得部３６１により、状態監視エリアの映像から、商品と想定される物体が映った画素を検出し、この商品と想定される物体が映った画素の状態監視エリア全画素に対する割合を商品占有率として求める（ＳＴ１００１）。
【０１２０】
次に、ここまでに求めた商品占有率の平均値を算出する（ＳＴ１００２）。初めて求められた商品占有率であれば、この商品占有率がそのまま平均値とされ、２回目（２つめの状態監視エリア）以降であれば、前回までの商品占有率との平均値が算出される。
【０１２１】
次に、陳列量取得を行っていない状態監視エリアが他にまだあるか否かを判定する（ＳＴ１００３）。陳列量取得を行っていない状態監視エリアがあれば（ＳＴ１００３のＹｅｓ）、他の状態監視エリアを対象としてＳＴ１００１とＳＴ１００２の処理を繰り返す。
すべての状態監視エリアの陳列量取得が終了したとき（ＳＴ１００３のＮｏ）、算出された平均値をメモリに保存する（ＳＴ１００４）。
【０１２２】
その後、表示画面生成部３８により、陳列エリアの映像が並べられたモニタリング画面が生成され、モニタ１５に表示される（ＳＴ８１７）。販売機会損失が発生していない場合は、いずれの陳列エリアの映像上にも要因を表す表示画像（マーク画像）は表示されない。
【０１２３】
また、ＳＴ１００４で保存された商品占有率の平均値は、ＳＴ８０８の陳列量が不足しているか否かの判定の際に使用される。本実施形態では、平均値を基準として設定する所定値をしきい値とし、このしきい値以下または未満の場合に陳列量不足と判定するものとする。これにより、平均値に一定の幅を持たせた値をしきい値とすることができ、また、平均値をそのまましきい値とすることもできる。このように、機会損失が発生していない状態での陳列量（商品占有率）の平均値に基づく値をしきい値とすることによって、陳列量不足が機会損失要因であるか否かの判定を、実際の統計情報に即して、より正確に判定することができる。
【０１２４】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【０１２５】
例えば、本実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。
【０１２６】
また、本実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
【０１２７】
また、本実施形態では、図７に示したように、状態監視エリアにおける機会損失要因を表す表示画像（マーク画像）として、四角形を縦に並べるように表示したが、表示画像（マーク画像）はこれに限定されるものではなく、例えば、陳列エリアの映像上あるいはその近傍に、機会損失要因を絵柄や色の変化で表すアイコンを表示したり、要因の程度に応じて長さや色が変化するカラーバーを表示したりしても良い。
【０１２８】
なお、本実施形態では、図６に示したように、来店客数と購入客数に関する統計情報を表示するようにしたが、これに加えて、陳列エリア（陳列棚など）の手前に滞在する顧客の人数（滞在客数）に関する統計情報を表示するようにしても良い。このようにすると、販売機会損失の状況をより確実に把握することができる。この場合、公知の人物検出技術を用いて、カメラ１の映像から陳列エリアの手前に滞在する顧客をカウントして、単位時間ごとの顧客の人数を取得すれば良い。
【０１２９】
また、機会損失要因を判定する元となる商品占有率、特定商品占有率、商品種類数、前列商品占有率、フェイスアップ不足率を時間ごとに集計した統計情報を表示するようにしても良い。
【０１３０】
また、本実施形態では、機会損失要因として、陳列量不足および商品種類数不足およびフェイスアップ不足の３つを検知するようにしたが、いずれか１つあるいは２つのみを検
知するようにしても良い。
【０１３１】
また、本実施形態では、商品モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしても良い。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしても良い。この場合、必要な処理を分担する複数の情報処理装置で商品モニタリングシステムが構成される。
【０１３２】
このような構成では、商品モニタリングに必要な処理のうち、少なくともデータ量が大きな処理、例えば商品検出処理を、店舗に設けられたＰＣ３などの装置に行わせるようにすると良い。このように構成すると、残りの処理のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
【０１３３】
また、クラウドコンピュータ２１に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも画面出力処理をクラウドコンピュータ２１に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３、１１の他に、スマートフォン２２やタブレット端末２３などの携帯端末でもモニタリング画面を表示させることができるようになり、店舗を巡回中のスーパーバイザー等が店舗や本部の他に外出先などの任意の場所で遠隔の店舗における機会損失要因を監視することができる。
【０１３４】
また、本実施形態では、店舗に設置されたＰＣ３に商品モニタリングに必要な処理を行わせるとともに、ＰＣ３に接続されたモニタ１５にモニタリング画面などを表示させて、ＰＣ３で必要な入力および出力を行う場合について説明したが、商品モニタリングに必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やスマートフォン２２やタブレット端末２３などの携帯端末で必要な入力および出力を行うことができるようにしても良い。
【０１３５】
また、本実施形態の変形例では、機会損失が発生していない場合に、陳列量の取得を行って平均値を算出し、この平均値に基づいて設定した値を陳列量不足の判定の際のしきい値とするとしたが、同様に、機会損失が発生していない場合に商品の種類数取得を行って、種類数の平均値を算出し、この種類数の平均値に基づく値を種類数不足の判定の際のしきい値とても良い。また、機会損失が発生していない場合にフェイスアップ取得を行って、前列商品占有率あるいはフェイスアップ不足率の平均値を算出し、この前列商品占有率あるいはフェイスアップ不足率の平均値に基づく値をフェイスアップ不足の判定の際のしきい値としても良い。このように構成すると、機会損失が発生していないときの陳列量、種類数、フェイスアップの平均値を考慮して、機会損失要因か否かを各々の要因ごとに判定できるようになり、より正確に機会損失要因の判定を行うことができる。
【産業上の利用可能性】
【０１３６】
本発明に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法は、商品棚から販売機会損失の要因を分析し、要因を示す表示画像を、商品棚の陳列状態のモニタリング映像に重畳することにより、店員が即座にどの商品棚にどのような販売機会損失の要因があるかを把握することができる。これにより、店員が速やかに商品管理作業を実施することで、販売機会損失を防止することができる効果を有し、店舗における陳列エリアを撮影した映像に基づいて、販売機会損失を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法などとして有用である。
【符号の説明】
【０１３７】
１  カメラ
２  レコーダ
３  ＰＣ（商品モニタリング装置）
４  ＰＯＳ端末
１１  ＰＣ
１２  ＰＯＳサーバ
１５  モニタ
１６  入力デバイス
２１  クラウドコンピュータ
２２  スマートフォン
２３  タブレット端末
３０  映像取得部
３１  販売情報取得部
３２  来店客検知部
３３  計測部
３３１  来店客数取得部
３３２  購入客数取得部
３４  評価部
３５  統計情報生成部
３６  商品検出部
３６１  陳列量取得部
３６２  商品種類数取得部
３６３  フェイスアップ取得部
３７  販売機会損失分析部
３８  表示画面生成部
３９  操作入力制御部
４０  状態監視エリア設定部
４１  商品設定部
４００  バス
４０１  ＣＰＵ
４０２  ＲＡＭ
４０３  ＲＯＭ
４０４  ネットワークインタフェース
４０５  ＶＲＡＭ
４０６  入力コントローラ
４０７  ＨＤＤ
４０８  外部記憶装置インタフェース
【図１】
0005942173.tif 000002
【図２】
0005942173.tif 000003
【図３】
0005942173.tif 000004
【図４】
0005942173.tif 000005
【図５】
0005942173.tif 000006
【図６】
0005942173.tif 000007
【図７】
0005942173.tif 000008
【図８】
0005942173.tif 000009
【図９】
0005942173.tif 000010
【図１０】
0005942173.tif 000011