(57)【特許請求の範囲】
【請求項１】
店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリング装置であって、
前記陳列エリアの撮影画像を取得する画像取得部と、
前記陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、
前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、
前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、
この陳列状態評価部による評価結果に基づき、商品の陳列乱れの程度に関する情報をユーザに提示する評価情報提示部と、
を備えたことを特徴とする商品モニタリング装置。
【請求項２】
前記陳列状態評価部は、前記評価指標として、商品が大量にまとまって陳列された度合いを表すボリューム度、商品が左右方向に整列して陳列された度合いを表す整列度、および前記状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度のうちの少なくとも２つを用いて評価することを特徴とする請求項１に記載の商品モニタリング装置。
【請求項３】
前記商品検出部は、前記状態監視エリアの撮影画像をトップビュー画像に変換し、そのトップビュー画像から前記商品検出情報を取得することを特徴とする請求項１または請求項２に記載の商品モニタリング装置。
【請求項４】
さらに、前記陳列状態評価部による評価結果に基づき、要注意期間を表す分析情報を生成する評価結果分析部を備え、
前記評価情報提示部は、前記分析情報をユーザに提示することを特徴とする請求項１から請求項３のいずれかに記載の商品モニタリング装置。
【請求項５】
さらに、前記陳列状態評価部による評価結果に対して統計処理を行って、前記評価結果の時間的な推移状況を表す分析情報を生成する評価結果分析部を備え、
前記評価情報提示部は、前記分析情報をユーザに提示することを特徴とする請求項１から請求項４のいずれかに記載の商品モニタリング装置。
【請求項６】
前記状態監視エリア設定部は、ユーザの操作入力に基づき、前記陳列エリアを区分けした区画ごとに前記状態監視エリアを設定し、
前記陳列状態評価部は、複数の前記状態監視エリアごとに商品の陳列状態を評価することを特徴とする請求項１から請求項５のいずれかに記載の商品モニタリング装置。
【請求項７】
前記画像取得部は、前記陳列エリアの撮影画像として、前記陳列エリアを撮影した原画像から人物の像を消去したプライバシーマスク画像を取得することを特徴とする請求項１から請求項６のいずれかに記載の商品モニタリング装置。
【請求項８】
店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリングシステムであって、
前記陳列エリアを撮影するカメラと、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記陳列エリアの撮影画像を取得する画像取得部と、
前記陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、
前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、
前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、
この陳列状態評価部による評価結果に基づき、商品の陳列乱れの程度に関する情報をユーザに提示する評価情報提示部と、
を備えたことを特徴とする商品モニタリングシステム。
【請求項９】
店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、
前記陳列エリアの撮影画像を取得するステップと、
前記陳列エリアの撮影画像上に状態監視エリアを設定するステップと、
前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得するステップと、
前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価するステップと、
このステップによる評価結果に基づき、商品の陳列乱れの程度に関する情報をユーザに提示するステップと、
を備えたことを特徴とする商品モニタリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗における陳列エリアを撮影した画像に基づいて、商品の陳列状況を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法に関するものである。
【背景技術】
【０００２】
コンビニエンスストアなどの店舗においては、陳列棚に陳列された商品の陳列状態に不備がある、すなわち商品の陳列が乱れていたり、商品が不足していたりすると、機会損失が発生し、この機会損失は店舗の売上げに大きな影響を及ぼすことから、商品の陳列状態に不備がある場合には、それを解消するための商品管理作業（整頓作業や補充作業）を速やかに実施する必要がある。
【０００３】
このような商品管理作業に関連するものとして、従来、陳列エリアを撮影した画像に基づいて、商品管理作業の必要性を判断して、商品整頓作業を指示する報知を行う技術が知られている（特許文献１，２参照）。特に、特許文献１に開示された技術では、望ましい商品の陳列状態に基づいて基準となる陳列パターンを設定して、その基準となる陳列パターンと、商品の実際の陳列状態とを比較して、両者の類似度に基づいて、商品の陳列状態を評価するようにしている。また、特許文献２に開示された技術では、商品存在領域の外縁を画する境界線と、その内部の商品不存在領域の境界線との間に内挿される代表図形を求めて、その代表図形の面積に基づいて、商品の陳列状態の適切さの度合い（フェイスアップ度）を算出するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９０８０４７号公報
【特許文献２】特許第４４７３６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の技術では、商品の陳列が乱れている状態と商品が不足している状態の双方を含めて、商品の不適切な陳列状態を総合的に判断するものであり、商品の不適切な陳列状態を改善する作業の必要性をユーザが把握することはできるが、具体的にどのような作業が必要とされているかを把握することができないという問題があった。
【０００６】
例えば、商品が店舗に搬入される直前の時間帯では、店舗内の在庫が少なくなっているため、商品補充作業を十分に行うことができないが、商品整頓作業は実施することができるため、この商品整頓作業、例えば、商品の売れ残り感を低減するために、いわゆるボリューム感を高める作業が望まれるが、前記従来の技術では、このような具体的な作業項目をユーザが把握することができないという問題があった。
【０００７】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、店舗内を撮影した画像に基づいて、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能な情報をユーザに提示することができるように構成された商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の商品モニタリング装置は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリング装置であって、前記陳列エリアの撮影画像を取得する画像取得部と、前記陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、この陳列状態評価部による評価結果に基づき、商品の陳列乱れの程度に関する情報をユーザに提示する評価情報提示部と、を備えた構成とする。
【０００９】
また、本発明の商品モニタリングシステムは、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリングシステムであって、前記陳列エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記陳列エリアの撮影画像を取得する画像取得部と、前記陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、この陳列状態評価部による評価結果に基づき、商品の陳列乱れの程度に関する情報をユーザに提示する評価情報提示部と、を備えた構成とする。
【００１０】
また、本発明の商品モニタリング方法は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、前記陳列エリアの撮影画像を取得するステップと、前記陳列エリアの撮影画像上に状態監視エリアを設定するステップと、前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得するステップと、前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価するステップと、このステップによる評価結果に基づき、商品の陳列乱れの程度に関する情報をユーザに提示するステップと、を備えた構成とする。
【発明の効果】
【００１１】
本発明によれば、商品の陳列乱れに関する複数の評価指標による評価結果に基づく商品の陳列乱れの程度に関する情報がユーザに提示されるため、店舗内の状況から作業の実施可能性を考慮して、必要且つ実施可能な作業が適切に実施されたか否かを判断することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る商品モニタリングシステムの全体構成図
【図２】店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図
【図３】陳列エリアの撮影画像上に設定される状態監視エリアを示す説明図
【図４】陳列状態の評価指標としてのボリューム度、整列度、およびフェイスアップ度を説明する説明図
【図５】カメラ１の概略構成を示す機能ブロック図
【図６】ＰＣ３の概略構成を示す機能ブロック図
【図７】商品検出部３３で行われる商品検出処理の概要を説明する説明図
【図８】商品存在区間検出部４５で行われる商品存在区間の検出処理の概要を説明する説明図
【図９】ボリューム度算出部４６で行われるボリューム度の算出処理の概要を説明する説明図
【図１０】整列度算出部４７で行われる整列度の算出処理の概要を説明する説明図
【図１１】整列度算出部４７で行われる整列度の算出処理の概要を説明する説明図
【図１２】フェイスアップ度算出部４８で行われるフェイスアップ度の算出処理の概要を説明する説明図
【図１３】占有度算出部４９で行われる占有度の算出処理の概要を説明する説明図
【図１４】モニタ７に表示される分析情報表示画面を示す説明図
【図１５】モニタ７に表示される分析情報表示画面を示す説明図
【図１６】モニタ７に表示される分析情報表示画面を示す説明図
【発明を実施するための形態】
【００１３】
前記課題を解決するためになされた第１の発明は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリング装置であって、前記陳列エリアの撮影画像を取得する画像取得部と、前記陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、この陳列状態評価部による評価結果に基づき、商品の陳列乱れの程度に関する情報をユーザに提示する評価情報提示部と、を備えた構成とする。
【００１４】
これによると、商品の陳列乱れに関する複数の評価指標による評価結果に基づく商品の陳列乱れの程度に関する情報がユーザに提示されるため、店舗内の状況から作業の実施可能性を考慮して、必要且つ実施可能な作業が適切に実施されたか否かを判断することができる。
【００１５】
また、第２の発明は、前記陳列状態評価部は、前記評価指標として、商品が大量にまとまって陳列された度合いを表すボリューム度、商品が左右方向に整列して陳列された度合いを表す整列度、および前記状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度のうちの少なくとも２つを用いて評価する構成とする。
【００１６】
これによると、ボリューム度、整列度、およびフェイスアップ度に関する評価結果がユーザに提示されるため、ボリューム度、整列度、およびフェイスアップ度のいずれを高める作業が必要かをユーザが把握することができる。
【００１７】
また、第３の発明は、前記商品検出部は、前記状態監視エリアの撮影画像をトップビュー画像に変換し、そのトップビュー画像に基づき、前記商品検出情報を取得する構成とする。
【００１８】
これによると、商品とカメラとの位置関係に応じて異なる画像での商品の映り方の違いに影響されることなく、商品検出処理を適切に行うことができる。
【００１９】
また、第４の発明は、さらに、前記陳列状態評価部による評価結果に基づき、要注意期間を表す分析情報を生成する評価結果分析部を備え、前記評価情報提示部は、前記分析情報をユーザに提示する構成とする。
【００２０】
これによると、要注意期間、すなわち、商品の陳列状態に関してユーザに注意を促す必要がある期間をユーザが即座に把握することができる。
【００２１】
また、第５の発明は、さらに、前記陳列状態評価部による評価結果に対して統計処理を行って、前記評価結果の時間的な推移状況を表す分析情報を生成する評価結果分析部を備え、前記評価情報提示部は、前記分析情報をユーザに提示する構成とする。
【００２２】
これによると、評価結果の時間的な推移状況を表す分析情報がユーザに提示されるため、どのタイミングで商品陳列状態および商品管理作業に問題があるかをユーザが明確に把握することができる。
【００２３】
また、第６の発明は、前記状態監視エリア設定部は、ユーザの操作入力に基づき、前記陳列エリアを区分けした区画ごとに前記状態監視エリアを設定し、前記陳列状態評価部は、複数の前記状態監視エリアごとに商品の陳列状態を評価する構成とする。
【００２４】
これによると、ユーザが作業管理の必要に応じて、例えば陳列棚の棚板や商品のカテゴリーにより陳列エリアを区分けした区画ごとに状態監視エリアを指定することで、区画ごとに商品陳列状態の評価結果を得ることができる。
【００２５】
また、第７の発明は、前記画像取得部は、前記陳列エリアの撮影画像として、前記陳列エリアを撮影した原画像から人物の像を消去したプライバシーマスク画像を取得する構成とする。
【００２６】
これによると、陳列エリアの撮影画像に現れる人物の像により商品検出情報を適切に取得することができなくなる不具合を避けることができる。
【００２７】
また、第８の発明は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する商品モニタリングシステムであって、前記陳列エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記陳列エリアの撮影画像を取得する画像取得部と、前記陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部と、前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部と、前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部と、この陳列状態評価部による評価結果に基づき、商品の陳列乱れの程度に関する情報をユーザに提示する評価情報提示部と、を備えた構成とする。
【００２８】
これによると、第１の発明と同様に、商品の陳列乱れに関する複数の評価指標による評価結果に基づく商品の陳列乱れの程度に関する情報がユーザに提示されるため、店舗内の状況から作業の実施可能性を考慮して、必要且つ実施可能な作業が適切に実施されたか否かを判断することができる。
【００２９】
また、第９の発明は、店舗における陳列エリアを撮影した画像に基づき、商品の陳列状況を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、前記陳列エリアの撮影画像を取得するステップと、前記陳列エリアの撮影画像上に状態監視エリアを設定するステップと、前記状態監視エリアの撮影画像に基づいて、前記状態監視エリアにおける商品の位置を表す商品検出情報を取得するステップと、前記商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、前記状態監視エリアにおける商品の陳列状態を評価するステップと、このステップによる評価結果に基づき、商品の陳列乱れの程度に関する情報をユーザに提示するステップと、を備えた構成とする。
【００３０】
これによると、第１の発明と同様に、商品の陳列乱れに関する複数の評価指標による評価結果に基づく商品の陳列乱れの程度に関する情報がユーザに提示されるため、店舗内の状況から作業の実施可能性を考慮して、必要且つ実施可能な作業が適切に実施されたか否かを判断することができる。
【００３１】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３２】
図１は、本実施形態に係る商品モニタリングシステムの全体構成図である。この商品モニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、カメラ１と、レコーダ（画像蓄積装置）２と、ＰＣ（商品モニタリング装置）３と、携帯端末４と、を備えている。
【００３３】
カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮影され、このカメラ１で撮影された店舗内の撮影画像がレコーダ２に蓄積される。
【００３４】
ＰＣ３には、店長などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７と、プリンタ８とが接続されている。このＰＣ３は、店舗内の適所に設置され、ユーザが、モニタ７に表示される監視画面により、カメラ１で撮影された店舗内の撮影画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の撮影画像を閲覧することができる。
【００３５】
また、カメラ１、レコーダ２およびＰＣ３は、複数の店舗の各々に設置されており、複数の店舗を総括する本部にはＰＣ１１が設置されており、このＰＣ１１では、カメラ１で撮影された店舗内の撮影画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の撮影画像（動画）を閲覧することができ、これにより本部で店舗内の状況を確認することができる。
【００３６】
店舗に設置されたＰＣ３は、店舗内での商品の陳列状態を分析する商品モニタリング装置として構成され、このＰＣ３で生成した分析情報は、ＰＣ３自身で店舗側のユーザ、例えば店長が閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも本部側のユーザ、例えば、担当する地域の各店舗に対して指導や提案を行うスーパーバイザーなどが閲覧することができ、ＰＣ３，１１が分析情報を閲覧する閲覧装置として構成される。
【００３７】
携帯端末４は、店員や店長が所持するものであり、この携帯端末４を利用して、ＰＣ３から店員や店長に対して各種の報知が行われる。
【００３８】
次に、店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
【００３９】
店舗には、出入口、陳列棚、およびレジカウンタなどが設けられている。陳列棚は、ファーストフード、米飯（おにぎり、弁当、寿司などの商品）、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
【００４０】
また、店舗には、店舗内（監視エリア）を撮影する複数のカメラ１が設置されている。このカメラ１は、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、陳列棚などに陳列された商品を撮影することができる。
【００４１】
次に、図１に示したＰＣ３で行われるエリア設定処理について説明する。図３は、陳列エリアの撮影画像上に設定される状態監視エリアを示す説明図である。
【００４２】
ＰＣ３では、ユーザの操作入力に基づき、陳列エリア（陳列棚や陳列台など）の撮影画像上に状態監視エリアを設定する。この状態監視エリアは、陳列棚の棚板や商品のカテゴリーにより陳列エリアを区分けした区画ごとに設定することができる。具体的には、陳列エリアの画像内の商品が配置される領域を取り囲むように状態監視エリアが設定される。
【００４３】
図３に示す例では、対象とする陳列エリアを、米飯（おにぎり、弁当、寿司などの商品）などの商品を陳列する陳列棚として、この陳列棚の各棚板を対象にして複数の状態監視エリアが設定されている。なお、状態監視エリアは、４つの頂点を指定することで、４角形状に設定されるようにすればよいが、状態監視エリアの境界線を曲線で指定することができるようにしてもよい。
【００４４】
次に、図１に示したＰＣ３で行われる陳列状態評価について説明する。図４は、陳列状態の評価指標としてのボリューム度、整列度、およびフェイスアップ度を説明する説明図である。
【００４５】
コンビニエンスストアなどの店舗においては、陳列エリア（陳列棚や陳列台など）に陳列された商品の陳列状態が適切でない、特に、商品の陳列が乱れていると、顧客の購買意欲が低下して、機会損失が発生し、商品の売れ行きに大きな影響を及ぼす可能性がある。
【００４６】
そこで、本実施形態では、ＰＣ３において、商品の陳列乱れに関する評価指標を用いて商品の陳列状態を評価する。この陳列状態の評価では、複数の評価指標が用いられ、本実施形態では、図４に示すように、評価指標として、ボリューム度、整列度、およびフェイスアップ度が用いられる。
【００４７】
ボリューム度は、商品が大量にまとまって陳列された度合いを表す評価指標であり、このボリューム度が高くなると、顧客に売れ残りと感じさせない状態となり、顧客の購買意欲を高めることができる。図４（Ａ−１）に示すように、状態監視エリアに商品が満杯に陳列されていると、ボリューム度は最も高くなる。図４（Ａ−２）に示すように、商品の量が少なくても、商品がまとまって陳列されていると、ボリューム度は比較的高くなる。図４（Ａ−３）に示すように、商品の間に大きな隙間があると、ボリューム度は低くなる。
【００４８】
整列度は、商品が左右方向（横方向）に整列して陳列された度合いを表す評価指標であり、この整列度が高くなると、商品の見栄えが良くなり、顧客の購買意欲を高めることができる。図４（Ｂ−１）に示すように、大量の商品が左右方向に真っ直ぐに並んでいると、整列度は最も高くなる。図４（Ｂ−２）に示すように、商品の量が少なくても、商品が左右方向に整列して配置されていると、整列度は比較的高くなる。図４（Ｂ−３）に示すように、商品が前後方向にばらついて配置されて、商品の間に隙間があると、整列度は低くなる。
【００４９】
フェイスアップ度は、状態監視エリアの最前の位置に商品が並んで陳列された度合いを表す評価指標であり、このフェイスアップ度が高くなると、商品の見栄えが良くなるとともに、顧客が商品の品定めをしやすくなり、顧客の購買意欲を高めることができる。図４（Ｃ−１）に示すように、陳列された商品の全てが最前の位置に配置されていると、フェイスアップ度は最も高くなる。図４（Ｃ−２），図４（Ｃ−３）に示すように、最前の位置から奥側にずれた商品が多くなるのに応じて、フェイスアップ度は低くなる。
【００５０】
また、コンビニエンスストアなどの店舗においては、陳列エリアの商品が不足していると、機会損失が発生し、店舗の売上げに大きな影響を及ぼす。そこで、本実施形態では、前記の商品の陳列の乱れに関する評価指標の他に、商品の陳列の不足に関する評価指標として、状態監視エリアにおいて商品が占める度合いを表す占有度を用いて、商品の陳列不足状態に関する評価が行われる。
【００５１】
次に、図１に示したカメラ１の概略構成について説明する。図５は、カメラ１の概略構成を示す機能ブロック図である。
【００５２】
カメラ１は、店舗内を撮影した撮影画像から人物を除去したプライバシーマスク画像を出力するものであり、撮像部２１と、画像蓄積部２２と、画像処理部２３と、を備えている。
【００５３】
撮像部２１は、撮像素子およびその制御回路などで構成され、監視エリアを撮像した画像を出力する。この撮像部２１から出力される画像（フレーム）は画像蓄積部２２に蓄積される。
【００５４】
画像処理部２３では、撮影画像から動体（人物）の画像領域（前景画像）を除去したプライバシーマスク画像を生成する処理が行われる。この処理では、直近の所定の学習期間における複数の画像（フレーム）からプライバシーマスク画像を生成し、新たな画像（フレーム）を取得するのに応じてプライバシーマスク画像が逐次更新される。この画像処理部２３で行われる処理には、背景画像を生成する公知の技術を用いればよい。
【００５５】
なお、ＰＣ３でウェブブラウザを起動し、ネットワークを介してカメラ１にアクセスすることで、カメラ１の設定項目を選択することができる。具体的に、カメラ１に全方位カメラが採用された場合、撮影画像のプライバシーマスク処理の設定として、「動体除去モード」の項目があり、動体除去の対象となる撮影画像のフォーマット（JPEG、H.264、OFF）を選択することができる。また、「画像種別」の項目があり、動体除去の対象となる画像の種類（魚眼画像、４画ＰＴＺ画像、１画ＰＴＺ画像、ダブルパノラマ画像、単一パノラマ画像など）を選択することができる。さらに、「前景重畳」の項目では、前景重畳（人物のマスク画像を背景画像上に重畳する処理）を行うか否かを選択することができ、ここで、前景重畳をオフとすると、人物が消去された画像が出力される。
【００５６】
次に、図１に示したＰＣ３の概略構成について説明する。図６は、ＰＣ３の概略構成を示す機能ブロック図である。
【００５７】
ＰＣ３は、画像取得部３１と、状態監視エリア設定部３２と、商品検出部３３と、陳列状態評価部３４と、評価結果蓄積部３５と、評価結果分析部３６と、表示情報生成部（評価情報提示部）３７と、報知判定部３８と、報知部３９と、を備えている。
【００５８】
画像取得部３１では、カメラ１により店舗内を撮影した画像をカメラ１またはレコーダ２から取得する。ここで、現在の撮影画像をリアルタイムに処理する場合にはカメラ１から撮影画像を取得し、過去の撮影画像を処理する場合にはレコーダ２から撮影画像を取得する。なお、本実施形態では、前記のように、カメラ１からプライバシーマスク画像が出力され、画像取得部３１では、このプライバシーマスク画像を取得する。
【００５９】
状態監視エリア設定部３２では、入力デバイス６を用いて行われるユーザの入力操作に応じて、陳列エリアの撮影画像上に状態監視エリア（図３参照）を設定する処理が行われる。このとき、陳列エリアの撮影画像が表示されたエリア設定画面をモニタ７に表示させ、このエリア設定画面上で状態監視エリアの位置を入力すればよい。
【００６０】
商品検出部３３では、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得する。本実施形態では、商品検出情報として、商品領域とその他の領域とを２値画像で表した商品検出画像を生成する。この商品検出部３３は、画像切り出し部４１と、トップビュー変換部４２と、商品検出画像生成部４３と、を備えている。
【００６１】
画像切り出し部４１では、画像取得部３１により取得した陳列エリアの撮影画像から状態監視エリアの画像領域を切り出して状態監視エリアの撮影画像を取得する。トップビュー変換部４２では、状態監視エリアの撮影画像をトップビュー画像に変換する。商品検出画像生成部４３では、トップビュー画像を２値化処理して、商品検出画像を生成する。
【００６２】
陳列状態評価部３４では、商品検出部３３で生成した商品検出画像に基づいて、状態監視エリアにおける商品の陳列状態を複数の評価指標を用いて評価する。この陳列状態評価部３４は、商品存在区間検出部４５と、ボリューム度算出部４６と、整列度算出部４７と、フェイスアップ度算出部４８と、占有度算出部４９と、を備えている。
【００６３】
商品存在区間検出部４５では、商品検出部３３で生成した商品検出画像に基づいて、商品が存在する左右方向の区間を検出する。
【００６４】
ボリューム度算出部４６、整列度算出部４７、およびフェイスアップ度算出部４８では、商品検出部３３で生成した商品検出画像、および商品存在区間検出部４５で検出された商品存在区間に基づいて、商品の陳列乱れに関する評価指標として、商品が大量にまとまって陳列された度合いを表すボリューム度、商品が左右方向に整列して陳列された度合いを表す整列度、状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度をそれぞれ算出する。
【００６５】
また、陳列状態評価部３４では、ボリューム度算出部４６、整列度算出部４７、およびフェイスアップ度算出部４８でそれぞれ算出されたボリューム度、整列度、およびフェイスアップ度（評価指標ごとの評価結果）を所定のしきい値と比較して、例えば、評価指標ごとに、適正状態、軽度乱れ状態、および重度乱れ状態の３つの状態を判定する。
【００６６】
占有度算出部４９では、商品の陳列不足に関する評価指標として、状態監視エリアにおいて商品が占める度合い（割合）を表す占有度（占有率）を算出する。そして、陳列状態評価部３４では、占有度算出部４９で算出された占有度を所定のしきい値と比較して、例えば、充足状態、軽度不足状態および重度不足状態の３つの状態を判定する。
【００６７】
ボリューム度算出部４６、整列度算出部４７、フェイスアップ度算出部４８、および占有度算出部４９でそれぞれ算出されたボリューム度、整列度、フェイスアップ度、および占有度は、状態判定結果とともに、陳列状態の評価結果として評価結果蓄積部３５に蓄積される。
【００６８】
評価結果分析部３６では、評価結果蓄積部３５に蓄積された陳列状態の評価結果を分析して、分析情報を生成する。本実施形態では、陳列状態評価部３４による評価結果に基づいて、商品の陳列状態に関してユーザに注意を促す必要がある要注意期間を表す分析情報を生成する。また、陳列状態評価部３４による評価結果に対して統計処理を行って、商品陳列状態の評価結果の時間的な推移状況を表す分析情報を生成する。
【００６９】
分析情報は、評価指標（ボリューム度など）ごとに生成することができ、また、商品のカテゴリー（種類）ごとに生成することができる。また、統計処理では、陳列状態評価部３４による評価結果を集計単位期間で集計して、集計単位期間ごとの評価結果を取得する。集計単位期間は、例えば１時間、１日、１週間、および１ヶ月など、ユーザの必要に応じて適宜に設定することができる。
【００７０】
なお、評価結果分析部３６では、この他に、不適切な陳列状態が発生してからその不適切な陳列状態が解消されるまでの経過時間を集計した分析情報を生成するようにしてもよい。また、陳列状態評価部３４による評価結果を店舗ごとに集計して、店舗ごとの評価結果を取得するようにしてもよい。また、ＰＯＳ（point of sale）システムで管理される販売情報（顧客が購入した商品の名称、数量、金額および会計時刻など）を取得して、この販売情報を組み合わせて分析を行うようにしてもよい。また、カメラ１による撮影画像に対する人物検出処理などにより、陳列エリアごとの滞在人数や来店客数などの顧客情報を取得して、この顧客情報を組み合わせて分析を行うようにしてもよい。
【００７１】
表示情報生成部３７では、評価結果分析部３６で生成した分析情報に関する表示情報を生成してモニタ７やプリンタ８に出力する。本実施形態では、分析情報を表示する画面をモニタ７に表示させるための表示情報を生成する。また、分析情報を表す帳票をプリンタ８に出力させるための表示情報を生成する。
【００７２】
報知判定部３８では、陳列状態評価部３４による陳列状態の評価結果に基づいて、商品管理作業を店員に指示する報知（アラート）の可否および内容を判定する処理が行われる。この処理では、陳列状態の評価結果に基づいて、報知の必要性を判定し、報知が必要であると判定された場合には、不適切な陳列状態を解消するために必要な商品管理作業の作業項目を判定する。特に、本実施形態では、不適切な陳列状態が長時間放置されている場合に報知を行うものと判定する。具体的には、不適切な陳列状態の継続時間が所定のしきい値を超えた場合に報知を行うものと判定する。
【００７３】
なお、カメラ１による撮影画像に対する人物検出処理などにより、店舗内やレジカウンタの混雑状況などに関する情報を取得して、この情報と陳列状態評価部３４の評価結果との双方に基づいて、必要且つ実施可能な作業の有無を判定して、報知の可否および内容を判定するようにしてもよい。
【００７４】
報知部３９では、報知判定部３８の判定結果に基づいて、不適切な陳列状態となっていることを店長に知らせる報知や、不適切な陳列状態に応じた所要の商品管理作業を店員に指示する報知が行われる。この報知では、店員や店長が携帯する携帯端末（タブレット端末やスマートフォン）４の画面にメッセージを表示すればよいが、レジカウンタに設置されたＰＯＳ端末の画面にメッセージを表示するようにしてもよい。また、店舗の天井付近に設置された表示パネル、あるいはランプやスピーカなどの適宜な出力装置を用いるようにしてもよい。また、不適切な陳列状態となっていることを本部のスーパーバイザーに知らせる報知を行うようにしてもよい。
【００７５】
なお、図６に示したＰＣ３の各部は、ＰＣ３のプロセッサ（ＣＰＵ）にＨＤＤ等のメモリに保存した商品モニタリング用のプログラム（インストラクション）を実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、所定のＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
【００７６】
また、ＰＣ３の各部で用いられる各種のしきい値は、ユーザが任意に設定することができ、ユーザの入力操作に応じてしきい値を設定する処理がＰＣ３において行われる。
【００７７】
次に、図１に示した商品検出部３３で行われる商品検出処理について説明する。図７は、商品検出部３３で行われる商品検出処理の概要を説明する説明図である。
【００７８】
本実施形態では、図７（Ａ）に示すように、カメラ１による撮影画像上に状態監視エリアが設定されており、まず、商品検出部３３の画像切り出し部４１において、撮影画像から状態監視エリアの画像領域を切り出す処理が行われる。
【００７９】
次に、トップビュー変換部４２において、図７（Ｂ）に示すように、状態監視エリアの撮影画像をトップビュー画像に変換する処理が行われる。このトップビュー画像は、真上または斜め上方の正面からの視点で状態監視エリアを見たものであり、画像の上下方向および左右方向をそれぞれ陳列棚の実際の前後方向および左右方向と一致させたものであり、画像の下端が陳列棚の前面の位置となる。
【００８０】
ここで、カメラ１により陳列棚を撮影する際に、陳列棚の棚板のすべてを真正面から撮影することは現実上難しく、陳列棚の棚板を撮影した画像（陳列エリアの撮影画像）における各棚板上の商品の映り方は、陳列棚の棚板とカメラ１との位置関係に応じて異なる。そこで、以降の処理を同一の手順で実施可能とするための正規化として、状態監視エリアの撮影画像をトップビュー画像に変換する処理が行われる。
【００８１】
次に、商品検出画像生成部４３では、図７（Ｃ）に示すように、トップビュー画像を２値化処理して、商品検出画像を生成する。この商品検出画像では、商品の画像領域が白画素となり、商品以外の画像領域が黒画素となっている。また、２値化処理によりノイズが除去され、商品検出画像では、商品が存在する領域を明確にかつ精度良く識別することができる。
【００８２】
次に、図６に示した商品存在区間検出部４５で行われる商品存在区間の検出処理について説明する。図８は、商品存在区間検出部４５で行われる商品存在区間の検出処理の概要を説明する説明図である。
【００８３】
商品存在区間検出部４５では、商品検出部３３で生成した図８（Ａ）に示す商品検出画像に基づいて、商品が存在する左右方向の区間を検出する。本実施形態では、商品検出画像において白画素を前後方向にカウントして、図８（Ｂ）に示すように、左右方向の各位置における白画素数を求める。そして、この左右方向の各位置における白画素数を所定のしきい値と比較して、白画素数がしきい値より大きくなる区間を商品存在区間として検出する。そして、商品存在区間の幅（画素数）Ｂを求める。
【００８４】
この商品存在区間検出部４５で検出された商品存在区間は、次に説明するボリューム度算出部４６、整列度算出部４７、およびフェイスアップ度算出部４８で行われる処理の対象範囲となる。なお、図８に示す例では、３つの商品が左右方向の位置で重なり合っているため、商品存在区間が１つ検出されているが、複数の商品が左右方向の位置で重なり合っていない、すなわち、複数の商品の間に左右方向の隙間がある場合には、複数の商品存在区間が検出される。
【００８５】
次に、図６に示したボリューム度算出部４６で行われるボリューム度の算出処理について説明する。図９は、ボリューム度算出部４６で行われるボリューム度の算出処理の概要を説明する説明図である。
【００８６】
ボリューム度算出部４６では、商品検出部３３で生成した商品検出画像、および商品存在区間検出部４５で検出された商品存在区間に基づいて、商品が大量にまとまって陳列された度合いを表すボリューム度を算出する。具体的には、図９（Ｂ）に示すように、まず、商品存在区間における左右方向の各位置（ｘ０〜ｘＢ）の白画素数で規定される領域の面積Ｓを求める。
【００８７】
また、商品存在区間内に存在する白画素の左右方向の位置（左端からの距離）ｘの分散ｖを求める。この分散ｖは、次式のように、算出される。
【数１】
0006008339.tif 000002
【００８８】
そして、ボリューム度Ｖが、面積Ｓおよび分散ｖから、次式のように算出される。
Ｖ＝Ｓ／ｖ      （式２）
【００８９】
このようにしてボリューム度Ｖが算出され、分散ｖが小さい、すなわち、商品が左右方向にまとまっている状態であれば、ボリューム度は高くなり、分散ｖが大きい、すなわち、商品が左右方向にばらついている状態であれば、ボリューム度は低くなる。また、面積Ｓが小さい、すなわち、商品が少ないと、ボリューム度は低くなり、面積Ｓが大きい、すなわち、商品が多くあれば、ボリューム度は高くなる。
【００９０】
次に、図６に示した整列度算出部４７で行われる整列度の算出処理について説明する。図１０は、整列度算出部４７で行われる整列度の算出処理の概要を説明する説明図である。
【００９１】
整列度算出部４７では、商品検出部３３で生成した商品検出画像、および商品存在区間検出部４５で検出された商品存在区間に基づいて、商品が左右方向に整列して陳列された度合いを表す整列度を算出する。具体的には、図１０（Ｂ）に示すように、まず、商品存在区間における左右方向の各位置（ｘ０〜ｘＢ）での白画素数の平均値を求める。次に、左右方向の各位置における白画素数と平均値との差分ｄを求める。そして、この左右方向の各位置での差分ｄの絶対値の総和を算出し、これを商品存在区間の幅Ｂで除したものの逆数を整列度Ｌとする。整列度Ｌは、次式のように算出される。
【数２】
0006008339.tif 000003
【００９２】
このようにして整列度Ｌが算出され、商品の前後方向の位置がばらついていると、差分ｄの絶対値の総和が大きくなるため、整列度Ｌが低くなる。また、商品存在区間の幅Ｂが大きくなると、整列度Ｌが高くなる。
【００９３】
次に、図６に示した整列度算出部４７で算出されるフェイスアップを考慮した整列度の算出処理について説明する。図１１は、整列度算出部４７で行われるフェイスアップを考慮した整列度の算出処理の概要を説明する説明図である。
【００９４】
整列度算出部４７では、図１０に示したように、商品が左右方向に整列して陳列された度合いを表す指標として、単純な整列度が算出されるが、この他に、フェイスアップを考慮した整列度を算出することができる。
【００９５】
図１０に示した単純な整列度の算出では、商品存在区間における左右方向の各位置（ｘ０〜ｘＢ）での白画素数の平均値を基準にした差分に基づいて整列度を算出するようにしたが、図１１に示すフェイスアップを考慮した整列度の算出では、商品存在区間における左右方向の各位置（ｘ０〜ｘＢ）での前端白画素距離、すなわち、状態監視エリアの前端から最も前側に位置する白画素までの距離を求め、この前端白画素距離の平均値を基準にした差分に基づいて整列度を算出する。
【００９６】
すなわち、商品存在区間における左右方向の各位置（ｘ０〜ｘＢ）での前端白画素距離の平均値を求め、この前端白画素距離の平均値と左右方向の各位置における白画素数との差分ｄを求める。そして、この左右方向の各位置での差分ｄ'の絶対値の総和を算出し、これを商品存在区間の幅Ｂで除したものの逆数を整列度Ｌ'とする。整列度Ｌ'は、次式のように算出される。
【数３】
0006008339.tif 000004
【００９７】
このようにして整列度Ｌ'が算出され、商品の前端の前後方向の位置がばらついていると、差分ｄ'の絶対値の総和が大きくなるため、整列度Ｌ'が低くなる。
【００９８】
次に、図６に示したフェイスアップ度算出部４８で行われるフェイスアップ度の算出処理について説明する。図１２は、フェイスアップ度算出部４８で行われるフェイスアップ度の算出処理の概要を説明する説明図である。
【００９９】
フェイスアップ度算出部４８では、商品検出部３３で生成した商品検出画像、および商品存在区間検出部４５で検出された商品存在区間に基づいて、状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度を算出する。具体的には、図１２（Ｂ）に示すように、まず、商品存在区間における左右方向の各位置（ｘ０〜ｘＢ）での前端白画素距離を求める。次に、前端白画素距離を所定のしきい値と比較して、前端白画素距離がしきい値より小さくなる区間、すなわち、最も前側に位置する白画素が、しきい値により規定される位置より手前側に位置する区間を、適正区間として検出して、その適正区間の幅（画素数）Ａを求める。なお、しきい値は適宜に設定すればよいが、例えば、状態監視エリアの前後方向長さの１０％とすればよい。
【０１００】
そして、フェイスアップ度Ｆが、次式のように、商品存在区間の幅Ｂの総和に対する適正区間の幅Ａの総和の割合として算出される。
【数４】
0006008339.tif 000005
ここで、式５は、商品存在区間がｎ個存在し、各商品存在区間の適正区間が合計でｍ個存在する場合であり、Ａｉはｉ番目の適正区間の幅であり、Ｂｊはｊ番目の商品存在区間の幅である。
【０１０１】
このようにしてフェイスアップ度Ｆが算出され、商品存在区間に対する適正区間の割合が高い、すなわち、状態監視エリアの最前の位置に並んで陳列された商品が沢山あれば、フェイスアップ度Ｆは高くなる。
【０１０２】
次に、図６に示した占有度算出部４９で行われる占有度の算出処理について説明する。図１３は、占有度算出部４９で行われる占有度の算出処理の概要を説明する説明図である。
【０１０３】
占有度算出部４９では、商品検出部３３で生成した商品検出画像に基づいて、状態監視エリアにおいて商品が占める度合い（割合）を表す占有度を算出する。具体的には、商品検出画像を複数のブロックに分割し、各ブロック内の白画素をカウントする。そして、白画素数が所定のしきい値以上となるブロックを抽出し、その抽出されたブロックの個数の全ブロック数に対する割合を占有度として求める。
【０１０４】
次に、図１に示したモニタ７に表示される分析情報表示画面について説明する。図１４、図１５および図１６は、モニタ７に表示される分析情報表示画面を示す説明図である。
【０１０５】
図１４に示す分析情報表示画面は、商品の陳列状態に関する評価結果の時間的な推移状況、および商品の陳列状態に関してユーザに注意を促す必要がある要注意期間を表す分析情報を表示するものであり、この分析情報表示画面には、店舗状況表示部５１と、撮影画像表示部５２と、タイムチャート表示部５３と、が設けられている。
【０１０６】
店舗状況表示部５１では、店舗内の状況、すなわち、店舗内での商品の在庫状況に関連する商品の搬入状況や、商品の陳列状態に関連する店員の作業状況や、来店する顧客の状況などに関する情報が表示される。図１４に示す例では、商品の搬入および品出し作業が実施されるタイミングと、来店する顧客が多くなる繁忙時間帯とが表示されている。なお、商品の搬入タイミングから、店舗内での商品の在庫状況を判断することができるが、この店舗内での商品の在庫状況に関する情報そのものを表示するようにしてもよい。
【０１０７】
撮影画像表示部５２では、状態監視エリアの撮影画像が表示される。この撮影画像表示部５２は、タイムチャート表示部５３に表示されたタイムチャートにおいてユーザが注目した時間帯における状態監視エリアの実際の状況を確認するものであり、例えば、タイムチャート表示部５３の時間帯を選択する操作を行うことで、その選択された時間帯の撮影画像が表示される。また、表示情報生成部３７（図６参照）において、要注意期間となる時間帯を選択して、その選択された時間帯の撮影画像が表示されるようにしてもよい。
【０１０８】
タイムチャート表示部５３では、時間帯ごとの商品陳列状態の評価結果、すなわち、各評価指標の値（ボリューム度、整列度、およびフェイスアップ度）の時間的な推移状況を表すタイムチャートが表示されている。図１４に示す例では、タイムチャートとして、時間帯ごとのボリューム度、整列度、およびフェイスアップ度が棒グラフで表示されている。この棒グラフは、ボリューム度、整列度、およびフェイスアップ度の各値の高低に応じて、適正期間、軽度要注意期間、および重度要注意期間の３段階に色分けして表示されている。
【０１０９】
ここで、本実施形態では、評価結果分析部３６（図６参照）において、各評価指標の値（ボリューム度など）を所定のしきい値と比較することで、適正期間、軽度要注意期間、および重度要注意期間の判定が行われる。なお、評価結果分析部３６において、不適切な陳列状態が長期間継続したことを要注意事象として検知して、この要注意事象の発生タイミングを、図１４に示す分析情報表示画面に表示するようにしてもよい。このとき、不適切な陳列状態の継続期間が所定のしきい値を超えた場合に要注意事象と判断すればよい。
【０１１０】
このように、図１４に示す分析情報表示画面では、複数の評価指標による評価結果が表示されるため、各評価指標に対応する商品管理作業が適切に実施されたか否かをユーザが容易に確認することができる。特に、タイムチャート表示部５３では、商品陳列状態の評価結果の時間的な推移状況が表示されるため、どのタイミングで商品管理作業に問題があるかを明確に把握することができる。また、各評価指標の値を比較することで、商品管理作業のどの作業項目に問題があるかを明確に把握することができる。
【０１１１】
また、この分析情報表示画面では、店舗状況表示部５１に、店舗内の状況、すなわち、商品の搬入タイミングや繁忙時間帯などが表示されるため、店舗の実情に即した判断を行うことができる。すなわち、店舗内の状況から作業の実施可能性を考慮して、必要且つ実施可能な作業が適切に実施されたか否かを判断することができる。
【０１１２】
例えば、商品の搬入タイミングから長時間経過した時間帯では、商品の在庫が少なくなっていることから、商品補充作業（品出し）は十分にできないため、ボリューム度が低下する点は仕方ないが、商品整頓作業は可能であり、ここで、整列度やフェイスアップ度が低下したままであると、商品整頓作業が怠り気味であることを指摘することができる。一方、商品の搬入タイミングの直後では、商品の在庫が十分にあるため、ボリューム度が低いままであると、商品補充作業が怠り気味であることを指摘することができる。
【０１１３】
具体的には、図１４に示すように、７時の時間帯では、繁忙時間帯であるために商品が大量に購入されたことで、一時的に陳列状態が悪化することは仕方ないが、整列度およびフェイスアップ度がさほど低下していないことから、商品整頓作業が速やかに実施されたことがわかる。
【０１１４】
一方、１５時の時間帯では、整列度が高くなっていることから、商品整頓作業を行ったことを把握することができるが、このとき、フェイスアップ度が低下したままであることから、商品整頓作業でフェイスアップが不十分であることを指摘することができる。
【０１１５】
また、１７時の時間帯では、繁忙時間帯であるために商品が大量に購入されたことで、一時的に陳列状態が悪化することは仕方ないが、商品整頓作業が可能であるにも拘わらず、整列度およびフェイスアップ度が低下したままであることから、商品整頓作業が怠り気味であることを指摘することができる。
【０１１６】
このように、図１４に示す分析情報表示画面を閲覧することで、必要且つ実施可能な作業が適切に実施されたか否かを店長が判断することができ、これにより、店員に対して適切且つ具体的な改善の指示を行うことができる。
【０１１７】
図１５に示す分析情報表示画面は、商品の陳列状態に関する評価結果を所定の集計期間単位で集計した分析情報を表示するものであり、年月選択部６１と、店舗選択部６２と、陳列エリア選択部６３と、凡例表示部６４と、月別評価結果表示部６５と、週別評価結果表示部６６と、日別評価結果表示部６７と、詳細表示部６８と、が設けられている。
【０１１８】
年月選択部６１では、年月をユーザが選択する。ここでは、プルダウンメニューにより年月を選択することができる。店舗選択部６２では、店舗をユーザが選択する。ここでは、店舗ごとに設けられたタブにより店舗を選択することができる。陳列エリア選択部６３では、陳列エリアをユーザが選択する。ここでは、プルダウンメニューにより陳列エリアを選択することができる。
【０１１９】
凡例表示部６４では、評価結果表示部６５〜６７に表示される評価マーク（○、△および×）が説明される。図１５に示す例では、ボリューム度、整列度、およびフェイスアップ度の各評価指標による評価結果をまとめた総合的な評価結果が３段階で表示され、適切な陳列状態（適正状態）の場合に「○」となり、不適切な度合いが低い陳列状態（軽度乱れ状態）の場合に「△」となり、不適切な度合いが高い陳列状態（重度乱れ状態）の場合に「×」となる。
【０１２０】
ここで、評価マークの判定、すなわち、適正状態、軽度乱れ状態、および重度乱れ状態の３つの状態の判定は、陳列状態評価部３４（図６参照）において、各評価指標の値を所定のしきい値と比較することで行われる。また、月別、週別および日別の評価マークは、陳列状態評価部３４での状態判定結果を評価結果分析部３６において集計することで決定される。
【０１２１】
月別評価結果表示部６５では、指定された月の陳列状態に関する評価マークが表示される。週別評価結果表示部６６では、各週の陳列状態に関する評価マークが表示される。日別評価結果表示部６７では、各日の陳列状態に関する評価マークが表示される。
【０１２２】
詳細表示部６８では、不適切な陳列状態が発生した時間帯の評価結果が一覧表示される。図１５に示す例では、不適切な陳列状態が発生した日時と、不適切な陳列状態の内容、すなわち、不適切な陳列状態が発生した状態監視エリアの名称、および不適切な陳列状態を説明する文言とが表示される。また、「画像表示」のボタンが設けられており、このボタンを操作することで、状態監視エリアの撮影画像を表示する図示しない画面が表示される。
【０１２３】
このように、図１５に示す分析情報表示画面では、評価結果表示部６５〜６７に、日、週、および月ごとの陳列状態の評価結果が表示されるため、日、週、および月の陳列状態の良否を一目で把握することができる。また、詳細表示部６８に、不適切な陳列状態が発生した時間帯の評価結果が一覧表示されるため、評価結果表示部６５〜６７で「×」や「△」の評価マークが表示された期間の陳列状態を詳細に確認することができる。
【０１２４】
図１６に示す分析情報表示画面は、指定した評価指標に関する評価結果の時間的な推移状況を表す分析情報を表示するものであり、この分析情報表示画面には、日付選択部７１と、店舗選択部７２と、陳列エリア選択部７３と、撮影画像表示部７４と、評価指標選択部７５と、タイムチャート表示部７６と、が設けられている。
【０１２５】
日付選択部７１では、日付をユーザが選択する。ここでは、「カレンダー」のボタンを操作することで表示される図示しないカレンダー画面により日付を選択することができる。店舗選択部７２では、店舗をユーザが選択する。ここでは、店舗ごとに設けられたタブにより店舗を選択することができる。陳列エリア選択部７３では、陳列エリアをユーザが選択する。ここでは、プルダウンメニューにより陳列エリアを選択することができる。
【０１２６】
撮影画像表示部７４では、陳列エリア選択部７３で選択された陳列エリアの撮影画像が表示される。図１６に示す例では、陳列エリア上に複数の状態監視エリアが設定され、この状態監視エリアを表す枠画像７８が撮影画像上に表示されている。また、枠画像７８は、陳列状態の評価結果に応じて色分けされている。
【０１２７】
評価指標選択部７５では、評価指標として、ボリューム度、整列度、およびフェイスアップ度のいずれかをユーザが選択する。ここでは、プルダウンメニューにより評価指標を選択することができる。図１６に示す例では、ボリューム度が選択されている。
【０１２８】
タイムチャート表示部７６では、評価指標選択部７５で選択された評価指標に関する評価結果の時間的な推移状況を表すタイムチャートが表示される。図１６に示す例では、タイムチャートとして、１日における時間帯ごとのボリューム度が折れ線グラフで表されており、横軸が時刻となり、縦軸がボリューム度（％）となっている。
【０１２９】
また、タイムチャート表示部７６には、タイムチャートの時間軸方向に移動可能にスライダ（表示時刻調整部）７７が設けられており、このスライダ７７を操作することで、撮影画像表示部７４に表示される撮影画像を、所望の時刻の撮影画像に切り替えることができる。具体的には、マウスなどの入力デバイス６を用いてスライダ７７をずらすと、そのスライダ７７が指し示す時刻の撮影画像が撮影画像表示部７４に表示される。
【０１３０】
このように、図１６に示す分析情報表示画面では、１日における時間帯ごとの評価結果の推移状況を表すタイムチャートが表示されるため、図１５に示した分析情報表示画面において陳列状態に問題があった日の評価結果を詳細に確認して、評価結果が低くなった要因を検討することができる。また、撮影画像表示部７４に状態監視エリアの撮影画像が表示されるため、状態監視エリアの実際の状況を確認しながら、評価結果が低くなった要因を検討することができる。
【０１３１】
なお、図１６に示す例では、ボリューム度、整列度、およびフェイスアップ度のタイムチャートを表示するようにしたが、占有度のタイムチャートを表示するようにしてもよい。
【０１３２】
また、図１４、図１５および図１６では、分析情報を表示する画面をモニタ７に表示させる例を示したが、これと同様の内容の帳票をプリンタ８で出力させるようにしてもよい。
【０１３３】
以上のように、本実施形態では、画像取得部３１において、陳列エリアの撮影画像を取得し、状態監視エリア設定部３２において、陳列エリアの撮影画像上に状態監視エリアを設定し、商品検出部３３において、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得し、陳列状態評価部３４において、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価し、表示情報生成部（評価情報提示部）３７において、陳列状態評価部３４による評価結果に関する情報をユーザに提示するものとした。これによると、商品の陳列乱れに関する複数の評価指標による評価結果がユーザに提示されるため、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能になる。
【０１３４】
また、本実施形態では、陳列状態評価部３４において、評価指標として、商品が大量にまとまって陳列された度合いを表すボリューム度、商品が左右方向に整列して陳列された度合いを表す整列度、および状態監視エリアの最前の位置に商品が並んで陳列された度合いを表すフェイスアップ度のうちの少なくとも２つを用いて評価するものとした。これによると、ボリューム度、整列度、およびフェイスアップ度に関する評価結果がユーザに提示されるため、ボリューム度、整列度、およびフェイスアップ度のいずれを高める作業が必要かをユーザが把握することができる。
【０１３５】
また、本実施形態では、商品検出部３３において、状態監視エリアの撮影画像をトップビュー画像に変換し、そのトップビュー画像から商品検出情報を取得するものとした。これによると、商品とカメラ１との位置関係に応じて異なる画像での商品の映り方の違いに影響されることなく、商品検出処理を適切に行うことができる。
【０１３６】
また、本実施形態では、評価結果分析部３６において、陳列状態評価部３４による評価結果に基づき、要注意期間を表す分析情報を生成し、表示情報生成部（評価情報提示部）３７において、分析情報をユーザに提示するものとした。これによると、要注意期間、すなわち、商品の陳列状態に関してユーザに注意を促す必要がある期間をユーザが即座に把握することができる。
【０１３７】
また、本実施形態では、評価結果分析部３６において、陳列状態評価部３４による評価結果に対して統計処理を行って、評価結果の時間的な推移状況を表す分析情報を生成し、表示情報生成部（評価情報提示部）３７において、分析情報をユーザに提示するものとした。これによると、評価結果の時間的な推移状況を表す分析情報がユーザに提示されるため、どのタイミングで商品陳列状態および商品管理作業に問題があるかをユーザが明確に把握することができる。
【０１３８】
また、本実施形態では、状態監視エリア設定部３２において、ユーザの操作入力に基づき、陳列エリアを区分けした区画ごとに状態監視エリアを設定し、陳列状態評価部は、複数の状態監視エリアごとに商品の陳列状態を評価するものとした。これによると、ユーザが作業管理の必要に応じて、例えば陳列棚の棚板や商品のカテゴリーにより陳列エリアを区分けした区画ごとに状態監視エリアを指定することで、区画ごとに商品陳列状態の評価結果を得ることができる。
【０１３９】
また、本実施形態では、画像取得部３１において、陳列エリアの撮影画像として、陳列エリアを撮影した原画像から人物の像を消去したプライバシーマスク画像を取得する構成とする。これによると、陳列エリアの撮影画像に現れる人物の像により商品検出情報を適切に取得することができなくなる不具合を避けることができる。
【０１４０】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【０１４１】
例えば、本実施形態では、図２に示したように、カメラ１を、広範囲の撮影が可能な全方位カメラとしたが、これに限らず、視野角の限定される箱型カメラを用いることもできる。
【０１４２】
また、本実施形態では、状態監視エリアにおける商品の位置のみで商品の陳列状態を評価するようにしたが、商品の傾き、裏返り、および倒れなどを検知して、商品の陳列状態を評価するようにしてもよい。
【０１４３】
また、本実施形態では、商品モニタリングに必要な処理を、店舗内に設置された装置に行わせるようにしたが、これらの必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で商品モニタリングシステムが構成される。
【０１４４】
特に、クラウドコンピュータ１２を含むシステム構成では、店舗や本部に設けられたＰＣ３，１１の他に、クラウドコンピュータ１２にネットワーク接続された携帯端末（スマートフォンやタブレット端末など）１３で、必要な情報を表示させることができるようにするとよく、これにより店舗や本部の他に外出先などの任意の場所で分析情報を閲覧することができる。
【０１４５】
また、前記の実施形態では、カメラ１による撮影画像を蓄積するレコーダ２を店舗に設置するようにしたが、商品モニタリングに必要な処理を、本部に設置されたＰＣ１１やクラウドコンピュータ１２に行わせる場合には、カメラ１による撮影画像を、本部や、クラウドコンピューティングシステムの運営施設などに送信して、そこに設置された装置に撮影画像を蓄積するようにしてもよい。
【産業上の利用可能性】
【０１４６】
本発明に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法は、店舗内を撮影した画像に基づいて、不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能な情報をユーザに提示することができる効果を有し、店舗における陳列エリアを撮影した画像に基づいて、商品の陳列状況を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法などとして有用である。
【符号の説明】
【０１４７】
１  カメラ
２  レコーダ
３  ＰＣ（商品モニタリング装置）
４  携帯端末
６  入力デバイス
７  モニタ
８  プリンタ
１１  ＰＣ
１２  クラウドコンピュータ
１３  携帯端末
３１  画像取得部
３２  状態監視エリア設定部
３３  商品検出部
３４  陳列状態評価部
３５  評価結果蓄積部
３６  評価結果分析部
３７  表示情報生成部（評価情報提示部）
４２  トップビュー変換部
４３  商品検出画像生成部
４５  商品存在区間検出部
４６  ボリューム度算出部
４７  整列度算出部
４８  フェイスアップ度算出部
４９  占有度算出部
【要約】
【課題】不適切な陳列状態を改善するための商品管理作業の具体的な作業項目をユーザが把握することが可能な情報をユーザに提示することができるようにする。
【解決手段】陳列エリアの撮影画像を取得する画像取得部３１と、陳列エリアの撮影画像上に状態監視エリアを設定する状態監視エリア設定部３２と、状態監視エリアの撮影画像に基づいて、状態監視エリアにおける商品の位置を表す商品検出情報を取得する商品検出部３３と、商品検出情報に基づいて、商品の陳列乱れに関する複数の評価指標を用いて、状態監視エリアにおける商品の陳列状態を評価する陳列状態評価部３４と、この陳列状態評価部による評価結果に関する情報をユーザに提示する表示情報生成部３７と、を備えたものとする。
【選択図】図６【図１】
0006008339.tif 000006
【図２】
0006008339.tif 000007
【図３】
0006008339.tif 000008
【図４】
0006008339.tif 000009
【図５】
0006008339.tif 000010
【図６】
0006008339.tif 000011
【図７】
0006008339.tif 000012
【図８】
0006008339.tif 000013
【図９】
0006008339.tif 000014
【図１０】
0006008339.tif 000015
【図１１】
0006008339.tif 000016
【図１２】
0006008339.tif 000017
【図１３】
0006008339.tif 000018
【図１４】
0006008339.tif 000019
【図１５】
0006008339.tif 000020
【図１６】
0006008339.tif 000021