(57)【要約】【課題】本発明は、各陳列エリアに割り当てられた商品と異なる物体が陳列エリアに置かれていることを検出することを課題とする。【解決手段】本発明によれば、陳列エリアを撮影した画像データを解析し、陳列エリアに割り当てられた商品と異なる物体である異物を画像データから検出する画像解析部１１と、異物が検出された場合、アラートを出力する出力部１２と、を有する管理装置１０が提供される。【選択図】図２
2018151819.tif 000002
【特許請求の範囲】
【請求項１】
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段と、
前記異物が検出された場合、アラートを出力する出力手段と、
を有する管理装置。
【請求項２】
請求項１に記載の管理装置において、
前記出力手段は、前記異物が検出された前記陳列エリアを示す情報をさらに出力する管理装置。
【請求項３】
請求項１又は２に記載の管理装置において、
前記画像解析手段は、前記異物を検出した場合、前記異物が他の商品であるか否かを判断し、
前記異物が前記他の商品である場合、前記他の商品に割り当てられた前記陳列エリアを特定する特定手段をさらに有し、
前記出力手段は、前記他の商品に割り当てられた前記陳列エリアを示す情報をさらに出力する管理装置。
【請求項４】
請求項３に記載の管理装置において、
前記異物が前記他の商品である場合、前記他の商品、及び、前記他の商品が前記異物として検出された前記陳列エリアに基づき、前記他の商品を回収する作業の緊急度を算出する緊急度算出手段をさらに有し、
前記出力手段は、前記緊急度をさらに出力する管理装置。
【請求項５】
請求項４に記載の管理装置において、
前記緊急度算出手段は、複数の商品各々の保管条件、及び、複数の前記陳列エリア各々で維持される環境条件に基づき、前記緊急度を算出する管理装置。
【請求項６】
請求項３から５のいずれか１項に記載の管理装置において、
前記異物が前記他の商品である場合、前記他の商品の破棄を推奨するか否かを判断する破棄判断手段をさらに有し、
前記出力手段は、前記破棄判断手段の判断結果をさらに出力する管理装置。
【請求項７】
請求項６に記載の管理装置において、
前記破棄判断手段は、前記異物を検出してからの経過時間に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
【請求項８】
請求項６又は７に記載の管理装置において、
前記破棄判断手段は、
前記他の商品、及び、前記他の商品が前記異物として検出された前記陳列エリアに基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
【請求項９】
請求項８に記載の管理装置において、
前記破棄判断手段は、複数の商品各々の保管条件、及び、複数の前記陳列エリア各々で維持される環境条件に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
【請求項１０】
請求項６から９のいずれか１項に記載の管理装置において、
前記破棄判断手段は、検出された前記異物がカメラの死角に入っている積算時間に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の管理装置において、
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、前記陳列エリアに割り当てられた商品の外観との類似度に基づき、前記物体が異物か否かを判断する管理装置。
【請求項１２】
請求項１から１０のいずれか１項に記載の管理装置において、
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、複数の商品各々の外観との類似度に基づき、前記物体がいずれの商品に該当するかを判断し、
判断結果、及び、前記陳列エリアに割り当てられた商品の少なくとも一方に基づき、前記物体が異物か否かを判断する管理装置。
【請求項１３】
コンピュータが、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析工程と、
前記異物が検出された場合、アラートを出力する出力工程と、
を実行する管理方法。
【請求項１４】
コンピュータを、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段、
前記異物が検出された場合、アラートを出力する出力手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管理装置、管理方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、陳列エリアを撮影した画像データに基づいて、陳列乱れ状態等を監視する商品モニタリング装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／０３８７７４号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００４】
来店者が、各陳列エリアに割り当てられた商品と異なる物体（異物）を陳列エリアに置く場合がある。例えば、各陳列エリアに割り当てられた商品と異なる商品を各陳列エリアに置いたり、商品以外の物体を置いたりする。このような状態は、店舗のイメージを悪くするほか、商品の品質にも影響し得る。特許文献１は、当該問題を解決する手段を提供していない。本発明は、当該問題を解決することを課題とする。
【課題を解決するための手段】
【０００５】
本発明によれば、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段と、
前記異物が検出された場合、アラートを出力する出力手段と、
を有する管理装置が提供される。
【０００６】
また、本発明によれば、
コンピュータが、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析工程と、
前記異物が検出された場合、アラートを出力する出力工程と、
を実行する管理方法が提供される。
【０００７】
また、本発明によれば、
コンピュータを、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段、
前記異物が検出された場合、アラートを出力する出力手段、
として機能させるプログラムが提供される。
【発明の効果】
【０００８】
本発明によれば、各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれていることを検出できる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の管理装置のハードウエア構成の一例を概念的に示す図である。
【図２】本実施形態の管理装置の機能ブロック図の一例である。
【図３】本実施形態の管理装置の処理を説明するための図である。
【図４】本実施形態の管理装置に処理される情報の一例を模式的に示す図である。
【図５】本実施形態の管理装置に処理される情報の一例を模式的に示す図である。
【図６】本実施形態の管理装置の処理の流れの一例を示すフローチャートである。
【図７】本実施形態の管理装置により出力される情報の一例を模式的に示す図である。
【図８】本実施形態の管理装置の機能ブロック図の一例である。
【図９】本実施形態の管理装置により出力される情報の一例を模式的に示す図である。
【図１０】本実施形態の管理装置の処理の流れの一例を示すフローチャートである。
【図１１】本実施形態の管理装置の機能ブロック図の一例である。
【図１２】本実施形態の管理装置に処理される情報の一例を模式的に示す図である。
【図１３】本実施形態の管理装置に処理される情報の一例を模式的に示す図である。
【図１４】本実施形態の管理装置により出力される情報の一例を模式的に示す図である。
【図１５】本実施形態の管理装置の機能ブロック図の一例である。
【図１６】本実施形態の管理装置に処理される情報の一例を模式的に示す図である。
【図１７】本実施形態の管理装置により出力される情報の一例を模式的に示す図である。
【図１８】本実施形態の管理装置に処理される情報の一例を模式的に示す図である。
【発明を実施するための形態】
【００１０】
＜第１の実施形態＞
まず、本実施形態の管理装置の概要を説明する。本実施形態の管理装置は、陳列エリアを撮影した画像データを解析し、陳列エリアに割り当てられた商品と異なる物体である異物を検出する。そして、異物が検出された場合、アラートを出力する。
【００１１】
このような本実施形態の管理装置によれば、各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれていることを、店員は迅速に把握することができる。そして、異物を取り除いたり、適切な場所に移動させたりできる。結果、「各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれている」という望ましくない状態を、迅速に解消できる。
【００１２】
次に、管理装置の構成を説明する。まず、管理装置のハードウエア構成の一例について説明する。管理装置は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【００１３】
図１は、管理装置のハードウエア構成を例示するブロック図である。図１に示すように、管理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。
【００１４】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラー等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【００１５】
図２に、管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２とを有する。
【００１６】
まず、店舗には、１台又は複数台のカメラ（以下、店舗カメラ）が設置される。店舗カメラは、陳列エリアを撮影するよう設置される。店舗カメラは、動画像を撮影してもよいし、所定時間間隔で静止画像を撮影してもよい。店舗カメラは、向きや撮影条件を固定され、同じ条件での撮影を継続してもよい。
【００１７】
図３に、店舗カメラにより生成された画像データで示される画像Ｆの一例を模式的に示す。図示する画像Ｆでは、３つの段を含む陳列棚がうつっている。陳列棚の設置位置は固定されるため、同じ条件での撮影を継続する場合、陳列棚の同じ箇所が継続して撮影されることとなる。
【００１８】
本実施形態では、予め、店舗カメラ毎に、各店舗カメラで撮影される画像Ｆ内で１つ又は複数のエリアを指定し、指定した各エリアに陳列エリアを識別する情報（例：陳列エリアコード）を対応付けて登録される。上述の通り、同じ条件での撮影を継続する場合、陳列棚の同じ箇所が継続して撮影されるため、画像Ｆ内における各陳列エリアの位置は固定される。
【００１９】
図３に示す画像Ｆにおいては、１番上の段に３つのエリアが指定され、各々に、Ｔ１−１−１乃至Ｔ１−１−３の陳列エリアコードが対応付けられている。また、上から２番目の段に２つのエリアが指定され、各々に、Ｔ１−２−１及びＴ１−３−２の陳列エリアコードが対応付けられている。また、１番下の段に２つのエリアが指定され、各々に、Ｔ１−３−１及びＴ１−３−２の陳列エリアコードが対応付けられている。
【００２０】
また、本実施形態では、図４に示すように、予め、複数の陳列エリア各々に対応付けて、各陳列エリアに割り当てられた商品を識別する情報（例：商品コード）が登録される。「各陳列エリアに割り当てられた商品」は、各陳列エリアに陳列される商品である。
【００２１】
さらに、本実施形態では、図５に示すように、予め、複数の商品各々に対応付けて、各商品の外観の特徴量が登録される。商品ごとに、複数の角度各々から撮影した場合に画像にうつる複数パターンの特徴量が登録されてもよい。
【００２２】
画像解析部１１は、陳列エリアを撮影した画像データ（上述した店舗カメラにより生成された画像データ）を解析し、各陳列エリアに割り当てられた商品と異なる物体である異物を画像データから検出する。画像解析部１１は、複数の陳列エリア各々に存在する異物を検出する。画像解析部１１は、店舗カメラにより生成された画像データをできるだけ小さいタイムロスで取得し、解析するのが好ましい。画像解析部１１は、図５に示すような複数の商品各々の外観の特徴量を用いた画像解析により、異物を検出することができる。以下、異物を検出する処理の一例を例示するが、これに限定されない。
【００２３】
「処理例１」
例えば、画像解析部１１は、輪郭抽出処理により、画像Ｆ内で１つ又は複数の閉じられた領域（物体）を検出する。なお、その他の処理で、画像Ｆ内の物体を検出してもよい。その後、画像解析部１１は、検出した領域（検出した物体がうつる領域）毎に、各領域がいずれの陳列エリアに含まれるか判断する。
【００２４】
そして、画像解析部１１は、検出した領域毎に、「各領域の画像の特徴量」と、「各領域を含む陳列エリアに割り当てられた商品の外観の特徴量」とがマッチング（類似度が所定レベル以上）するか否かを判断する。
【００２５】
マッチングする場合、画像解析部１１は、その領域に異物が存在しないと判断する。一方、マッチングしない場合、画像解析部１１は、その領域に異物が存在すると判断する。
【００２６】
このように、画像解析部１１は、画像データから物体を検出することができる。そして、画像解析部１１は、陳列エリア内で検出された物体の外観と、陳列エリアに割り当てられた商品の外観との類似度に基づき、物体が異物か否かを判断することができる。
【００２７】
「処理例２」
例えば、画像解析部１１は、輪郭抽出処理により、画像Ｆ内で１つ又は複数の閉じられた領域（物体）を検出する。なお、その他の処理で、画像Ｆ内の物体を検出してもよい。その後、画像解析部１１は、検出した領域（検出した物体がうつる領域）毎に、各領域がいずれの陳列エリアに含まれるか判断する。
【００２８】
また、画像解析部１１は、検出した領域毎に、「各領域の画像の特徴量」と、「複数の商品各々の外観の特徴量」とを用いたマッチング処理を行う。
【００２９】
いずれの商品ともマッチングしない場合（いずれの商品とも類似度が所定レベル未満）、画像解析部１１は、その領域に異物が存在すると判断する。そして、いずれかの商品とマッチングする場合（いずれかの商品との類似度が所定レベル以上）、画像解析部１１は、マッチングした商品がその領域を含む陳列エリアに割り当てられた商品か否かを判断する。
【００３０】
その領域を含む陳列エリアに割り当てられた商品である場合、画像解析部１１は、その領域に異物が存在しないと判断する。一方、その領域を含む陳列エリアに割り当てられた商品でない場合、画像解析部１１は、その領域に異物が存在すると判断する。
【００３１】
このように、画像解析部１１は、画像データから物体を検出することができる。また、画像解析部１１は、陳列エリア内で検出された物体の外観と、複数の商品各々の外観との類似度に基づき、物体がいずれの商品に該当するかを判断することができる。そして、画像解析部１１は、判断結果、及び、陳列エリアに割り当てられた商品の少なくとも一方に基づき、物体が異物か否かを判断することができる。
【００３２】
図２に戻り、出力部１２は、異物が検出された場合、アラートを出力する。出力部１２は、ディスプレイ、スピーカ、メーラー、プリンター、警告ランプ、振動装置等のあらゆる出力装置を用いて、アラートを出力することができる。
【００３３】
次に、図６のフローチャートを用いて、本実施形態の管理装置１０の処理の流れの一例を説明する。
【００３４】
画像解析部１１は、陳列エリアを撮影した画像データの取得、及び、解析を継続する。解析の結果、各陳列エリアに割り当てられた商品と異なる物体である異物をいずれかの陳列エリア内で検出した場合（Ｓ１０のＹｅｓ）、出力部１２はアラートを出力する（Ｓ１１）。以降、処理を終了する指示がなければ（Ｓ１２のＮｏ）、Ｓ１０に戻って処理を継続する。
【００３５】
以上、説明した本実施形態の管理装置１０によれば、画像解析により、各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれていることを迅速に検出することができる。そして、管理装置１０は、異物を検出すると、アラートを出力することができる。
【００３６】
かかる場合、店員は、当該状況を迅速に把握することができる。そして、異物を取り除いたり、適切な場所に移動させたりできる。結果、「各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれている」という望ましくない状態を、迅速に解消できる。
【００３７】
＜第２の実施形態＞
本実施形態の管理装置１０は、異物が検出された陳列エリアを示す情報をさらに出力する点で、第１の実施形態と異なる。以下、詳細に説明する。
【００３８】
本実施形態の管理装置１０のハードウエア構成の一例は、第１の実施形態と同様である。
【００３９】
図２に、本実施形態の管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２とを有する。画像解析部１１の構成は、第１の実施形態と同様である。
【００４０】
出力部１２は、異物が検出された場合、アラートに加えて、異物が検出された陳列エリアを示す情報をさらに出力する。出力部１２により出力される「陳列エリアを示す情報」は、陳列エリアコードであってもよいし、「通路名」、「コーナー名」、「棚の何段目か」等のその他の情報で陳列エリアを表現したものであってもよい。以下では、陳列エリアを示す情報は、陳列エリアコードである前提で説明する。図７に、本実施形態の出力部１２により出力される情報の一例を模式的に示す。当該情報は、例えば、ディスプレイやメーラー等の出力装置を用いて出力される。
【００４１】
本実施形態の管理装置１０の処理の流れの一例は、第１の実施形態と同様である。
【００４２】
以上、説明した本実施形態の管理装置１０によれば、第１の実施形態と同様の作用効果を実現できる。
【００４３】
また、本実施形態の管理装置１０によれば、異物が検出された場合、アラートに加えて、異物が検出された陳列エリアを示す情報（例：陳列エリアコード）をさらに出力することができる。
【００４４】
かかる場合、店員は、異物が存在する状況を迅速に把握するとともに、その異物が存在する位置を迅速に把握することができる。そして、その場所にすみやかに行き、異物を取り除いたり、適切な場所に移動させたりできる。結果、「各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれている」という望ましくない状態を、迅速に解消できる。
【００４５】
＜第３の実施形態＞
本実施形態の管理装置１０は、検出された異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）であるか否かを判断し、他の商品である場合はその商品に割り当てられた陳列エリアを示す情報をさらに出力する点で、第１及び第２の実施形態と異なる。以下、詳細に説明する。
【００４６】
本実施形態の管理装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。
【００４７】
図８に、本実施形態の管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２と、特定部１３とを有する。
【００４８】
画像解析部１１は、第１及び第２の実施形態と同様にして、陳列エリアを撮影した画像データを解析し、陳列エリアに割り当てられた商品と異なる物体である異物を画像データから検出する。そして、ある陳列エリア内で異物を検出した場合、画像解析部１１は、異物が他の商品であるか否かを判断する。「他の商品」は、その陳列エリアに割り当てられた商品と異なる商品である。
【００４９】
第１の実施形態で説明した「処理例１」の場合、画像解析部１１は、異物を検出した後に、「異物を検出した領域の画像の特徴量」と、「複数の商品各々の外観の特徴量」とを用いたマッチング処理を行う。いずれの商品ともマッチングしない場合、画像解析部１１は、その領域に存在する異物は他の商品でないと判断する。一方、いずれかの商品とマッチングする場合、画像解析部１１は、その領域に存在する異物はマッチングした商品（他の商品）であると判断する。
【００５０】
第１の実施形態で説明した「処理例２」の場合、画像解析部１１は、抽出した領域毎に、「各領域の画像の特徴量」と、「複数の商品各々の外観の特徴量」とを用いたマッチング処理を行うことができる。いずれの商品ともマッチングしない場合、画像解析部１１は、その領域に異物が存在し、かつ、その領域に存在する異物は他の商品でないと判断する。
【００５１】
そして、いずれかの商品とマッチングする場合、画像解析部１１は、マッチングした商品がその領域を含む陳列エリアに割り当てられた商品か否かを判断する。その領域を含む陳列エリアに割り当てられた商品である場合、画像解析部１１は、その領域に異物が存在しないと判断する。一方、その領域を含む陳列エリアに割り当てられた商品でない場合、画像解析部１１は、その領域に異物が存在し、かつ、その異物はマッチングした商品（他の商品）であると判断する。
【００５２】
特定部１３は、検出された異物が他の商品である場合、当該他の商品に割り当てられた陳列エリアを特定する。例えば、特定部１３は、図４に示すような対応情報を用いて、他の商品に割り当てられた陳列エリアを特定する。
【００５３】
出力部１２は、異物が検出され、かつ、異物が他の商品である場合、アラートに加えて、当該他の商品を示す情報（例：商品名）や、当該他の商品に割り当てられた陳列エリアを示す情報（例：陳列エリアコード）を出力する。出力部１２は、さらに、異物が検出された陳列エリアを示す情報（例：陳列エリアコード）を出力してもよい。図９に、本実施形態の出力部１２により出力される情報の一例を模式的に示す。当該情報は、例えば、ディスプレイやメーラー等の出力装置を用いて出力される。
【００５４】
次に、図１０のフローチャートを用いて、本実施形態の管理装置１０の処理の流れの一例を説明する。
【００５５】
画像解析部１１は、陳列エリアを撮影した画像データの取得、及び、解析を継続する。解析の結果、各陳列エリアに割り当てられた商品と異なる物体である異物をいずれかの陳列エリア内で検出した場合（Ｓ２０のＹｅｓ）、Ｓ２１に進む。
【００５６】
Ｓ２１では、画像解析部１１は、検出された異物が他の商品であるか否かを判断する。そして、検出された異物が他の商品である場合、特定部１３は、その他の商品に割り当てられた陳列エリアを特定する。
【００５７】
Ｓ２２では、出力部１２はアラートを出力する。また、出力部１２は、異物が検出された陳列エリアを示す情報や、検出された他の商品（異物）に割り当てられた陳列エリアを示す情報をさらに出力する。以降、処理を終了する指示がなければ（Ｓ２３のＮｏ）、Ｓ２０に戻って処理を継続する。
【００５８】
以上、説明した本実施形態の管理装置１０によれば、第１及び第２の実施形態と同様の作用効果を実現できる。
【００５９】
また、本実施形態の管理装置１０によれば、異物が検出された場合、その異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）であるか否かを判断できる。そして、異物が他の商品である場合、他の商品に割り当てられた陳列エリアを特定し、その陳列エリアを示す情報を出力することができる。
【００６０】
かかる場合、店員は、異物が存在する状況を迅速に把握するとともに、その異物を戻す位置（陳列エリア）を迅速に把握することができる。そして、他の商品（異物）をすみやかに、適切な場所に移動させることができる。結果、「各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれている」という望ましくない状態を、迅速に、かつ、適切に解消できる。
【００６１】
＜第４の実施形態＞
本実施形態の管理装置１０は、検出された異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）である場合、当該他の商品をその陳列エリアから回収する作業の緊急度を算出し、出力する点で、第１乃至第３の実施形態と異なる。以下、詳細に説明する。
【００６２】
本実施形態の管理装置１０のハードウエア構成の一例は、第１乃至第３の実施形態と同様である。
【００６３】
図１０に、本実施形態の管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２と、特定部１３と、緊急度算出部１４とを有する。画像解析部１１及び特定部１３の構成は、第１乃至第３の実施形態と同様である。
【００６４】
緊急度算出部１４は、画像解析部１１により検出された異物が他の商品である場合、他の商品、及び、他の商品が異物として検出された陳列エリアに基づき、他の商品を回収する作業の緊急度を算出する。
【００６５】
緊急度算出部１４は、放置時間が長くなると検出された他の商品の品質が悪化する状況の場合、高い緊急度を算出する。一方、緊急度算出部１４は、放置時間が長くなっても検出された他の商品の品質に影響しない場合、低い緊急度を算出する。
【００６６】
本実施形態では、予め、複数の商品各々に対応付けて、保管条件が登録される（図１２参照）。保管条件は、各商品を保管する最適な条件である。例えば、「冷蔵保管」、「冷凍保管」、「室温保管」等の条件で示されてもよいし、温度範囲で示されてもよいし、その他であってもよい。
【００６７】
また、本実施形態では、予め、複数の陳列エリア各々に対応付けて、各々の環境条件が登録される（図１３参照）。環境条件は、各陳列エリアに定められている環境の条件である。例えば、「冷蔵」、「冷凍」、「室温」等の条件で示されてもよいし、温度範囲で示されてもよいし、その他であってもよい。
【００６８】
緊急度算出部１４は、例えば、図１２に示す各商品の保管条件、及び、図１３に示す各陳列エリアの環境条件に基づき、上記緊急度を算出することができる。
【００６９】
例えば、緊急度算出部１４は、他の商品（異物）の保管条件が他の商品（異物）が検出された陳列エリアの環境条件に合致する場合、緊急度「低」を算出してもよい。一方、緊急度算出部１４は、他の商品（異物）の保管条件が他の商品（異物）が検出された陳列エリアの環境条件に合致しない場合、緊急度「高」を算出してもよい。
【００７０】
例えば、他の商品（異物）の保管条件の値（例：冷蔵）と、他の商品（異物）が検出された陳列エリアの環境条件の値（例：室温）が一致しない場合、緊急度「高」が算出されてもよい。そして、一致する場合、緊急度「低」が算出されてもよい。
【００７１】
その他、他の商品（異物）の保管条件の温度範囲（例：１０℃〜３０℃）が、他の商品（異物）が検出された陳列エリアの環境条件の温度範囲（例：２０℃〜３０℃）を含む場合、緊急度「低」が算出されてもよい。そして、含まない場合、緊急度「高」が算出されてもよい。
【００７２】
出力部１２は、異物が検出され、かつ、異物が他の商品である場合、アラートに加えて、緊急度算出部１４により算出された緊急度を出力する。出力部１２は、さらに、異物が検出された陳列エリアを示す情報（例：陳列エリアコード）や、他の商品を示す情報（例：商品名）や、他の商品に割り当てられた陳列エリアを示す情報（例：陳列エリアコード）を出力してもよい。図１４に、本実施形態の出力部１２により出力される情報の一例を模式的に示す。当該情報は、例えば、ディスプレイやメーラー等の出力装置を用いて出力される。
【００７３】
次に、図１０のフローチャートを用いて、本実施形態の管理装置１０の処理の流れの一例を説明する。
【００７４】
画像解析部１１は、陳列エリアを撮影した画像データの取得、及び、解析を継続する。解析の結果、各陳列エリアに割り当てられた商品と異なる物体である異物をいずれかの陳列エリア内で検出した場合（Ｓ２０のＹｅｓ）、Ｓ２１に進む。
【００７５】
Ｓ２１では、画像解析部１１は、検出された異物が他の商品であるか否かを判断する。そして、検出された異物が他の商品である場合、緊急度算出部１４は、当該他の商品を回収する作業の緊急度を算出する。また、特定部１３は、当該他の商品に割り当てられた陳列エリアを特定してもよい。
【００７６】
Ｓ２２では、出力部１２はアラートを出力する。また、出力部１２は、上記緊急度を出力する。出力部１２は、さらに、異物が検出された陳列エリアを示す情報や、検出された他の商品（異物）に割り当てられた陳列エリアを示す情報等をさらに出力してもよい。以降、処理を終了する指示がなければ（Ｓ２３のＮｏ）、Ｓ２０に戻って処理を継続する。
【００７７】
以上、説明した本実施形態の管理装置１０によれば、第１乃至第３の実施形態と同様の作用効果を実現できる。
【００７８】
また、本実施形態の管理装置１０によれば、異物が検出された場合、その異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）であるか否かを判断できる。そして、異物が他の商品である場合、当該他の商品を回収する作業の緊急度を算出することができる。具体的には、放置時間が長くなると検出された他の商品の品質が悪化する状況の場合、高い緊急度を算出することができる。一方、放置時間が長くなっても検出された他の商品の品質に影響しない場合、低い緊急度を算出することができる。
【００７９】
かかる場合、店員は、異物が存在する状況を迅速に把握するとともに、その異物を回収する作業の緊急度を迅速に把握することができる。そして、店員は、緊急度に基づき、現在行っている作業を中断して回収作業を行うか否かの判断などを行うことができる。結果、何らかの作業を行っている最中に回収作業が発生した場合であっても、店員は、それらの作業の好ましい実行順を迅速に決定し、実行することができる。
【００８０】
＜第５の実施形態＞
本実施形態の管理装置１０は、検出された異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）である場合、当該他の商品の破棄を推奨するか否かを判断し、出力する点で、第１乃至第４の実施形態と異なる。以下、詳細に説明する。
【００８１】
本実施形態の管理装置１０のハードウエア構成の一例は、第１乃至第４の実施形態と同様である。
【００８２】
図１５に、本実施形態の管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２と、特定部１３と、破棄判断部１５とを有する。図示しないが、管理装置１０は、さらに緊急度算出部１４を有してもよい。画像解析部１１、特定部１３及び緊急度算出部１４の構成は、第１乃至第４の実施形態と同様である。
【００８３】
破棄判断部１５は、検出された異物が他の商品である場合、当該他の商品の破棄を推奨するか否かを判断する。
【００８４】
例えば、破棄判断部１５は、他の商品（異物）を検出してからの経過時間に基づき、当該他の商品の破棄を推奨するか否かを判断することができる。この場合、破棄判断部１５は、当該他の商品、及び、当該他の商品が異物として検出された陳列エリアに基づき、当該他の商品の破棄を推奨するか否かを判断してもよい。
【００８５】
例えば、図１６に示すように、商品の保管条件と、陳列エリアの環境条件との組み合わせ毎に、各保管条件の商品を各環境条件の陳列エリアに放置する許容時間（許容放置時間）が予め登録されていてもよい。
【００８６】
破棄判断部１５は、異物として検出された他の商品の保管条件と、異物が検出された陳列エリアの環境条件と、図１６に示す対応情報とに基づき、検出された他の商品がその陳列エリアに放置される許容時間（許容放置時間）を特定してもよい。そして、破棄判断部１５は、放置時間が許容放置時間を超えた場合、当該他の商品の破棄を推奨すると判断してもよい。一方、破棄判断部１５は、放置時間が許容放置時間を超えていない場合、当該他の商品の破棄を推奨しないと判断してもよい。
【００８７】
その他、破棄判断部１５は、検出された異物（他の商品）が検出後に店舗カメラの死角に入っている積算時間（検出後、かつ、回収までの間に画像内で検出されなかった時間の積算時間）に基づき、当該他の商品の破棄を推奨するか否かを判断してもよい。破棄判断部１５は、積算時間が所定値を超えた場合、当該他の商品の破棄を推奨すると判断してもよい。一方、破棄判断部１５は、積算時間が所定値を超えていない場合、当該他の商品の破棄を推奨しないと判断してもよい。
【００８８】
出力部１２は、異物が検出され、かつ、異物が他の商品である場合、破棄判断部１５による判断結果を出力する。
【００８９】
例えば、破棄判断部１５は、他の商品（異物）が検出されると、経過時間及び死角に入った積算時間の監視、及び、これらの値が他の商品（異物）の破棄を推奨する条件（例：放置時間が許容放置時間を超える、死角に入った積算時間が所定値を超える等）を満たすか否かの監視を継続してもよい。そして、他の商品（異物）の破棄を推奨する条件が満たされると、出力部１２は、それに応じて、当該他の商品の破棄を推奨する旨の判断結果を出力してもよい。図１７に、本実施形態の出力部１２により出力される情報の一例を模式的に示す。当該情報は、例えば、ディスプレイやメーラー等の出力装置を用いて出力される。
【００９０】
破棄判断部１５による判断結果の出力方法の他の一例を説明する。管理装置１０は、図１８に示すように、異物の検出イベントを蓄積しておいてもよい。図１８に示す情報は、検出番号（検出イベントの通番）に、陳列エリアコード、異物種、回収状況、経過時間、死角時間、破棄判断結果等の各種項目の値が対応付けられている。
【００９１】
陳列エリアコードの欄には、異物を検出された陳列エリアのコードが記録される。異物種の欄には、異物が他の商品か否かを示す情報、又、他の商品である場合は商品コードが記録される。回収状況の欄には、回収作業済みか否かを示す情報が記録される。経過時間の欄には、回収作業が完了するまでの経過時間が記録される。死角時間の欄には、回収作業が完了するまでに異物が店舗カメラの死角に入った時間の積算時間が記録される。破棄判断結果の欄には、破棄判断部１５による判断結果が記録される。
【００９２】
例えば、新たな異物が検出されると、管理装置１０は、新たな検出番号に、陳列エリアコード及び異物種の値（画像解析部１１による解析結果）を対応付けて登録する。回収状況は、未回収を示す値が登録される。経過時間及び死角時間はブランクとなる。
【００９３】
そして、検出された異物の回収作業が終了すると、店員は端末装置を操作し、検出番号を指定して、回収作業が完了した旨を入力する。これに応じて、図１８に示す情報が更新される。具体的には、回収状況の欄の値が、回収済みを示す値となる。そして、経過時間及び死角時間の欄各々に、異物を検出してから回収作業が完了した旨の入力を受付けるまでの経過時間、及び、その間に異物が店舗カメラの死角に入っていた積算時間が記録される。また、破棄判断結果の欄に、破棄判断部１５による判断結果が入力される。
【００９４】
なお、破棄判断部１５は、他の商品（異物）が検出されると、経過時間及び死角に入った積算時間の監視、及び、これらの値が他の商品（異物）の破棄を推奨する条件（例：放置時間が許容放置時間を超える、死角に入った積算時間が所定値を超える等）を満たすか否かの監視を継続してもよい。そして、の商品（異物）の破棄を推奨する条件が満たされると、それに応じて、図１８に示す破棄判断結果の欄の値が更新されてもよい。
【００９５】
店員は、任意のタイミングで端末装置を操作し、検出番号を指定して、その検出イベントで検出された他の商品（異物）に対する破棄判断部１５の判断結果を要求してもよい。そして、出力部１２は、当該要求に応じて、破棄判断部１５の判断結果を出力してもよい。
【００９６】
その他、出力部１２は、ユーザからの要求に応じて、図１８に示すような一覧情報を出力してもよい。
【００９７】
出力部１２は、第１乃至第４の実施形態と同様の情報をさらに出力してもよい。
【００９８】
以上、説明した本実施形態の管理装置１０によれば、第１乃至第４の実施形態と同様の作用効果を実現できる。
【００９９】
また、本実施形態の管理装置１０によれば、異物が検出された場合、その異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）であるか否かを判断できる。そして、異物が他の商品である場合、当該商品の破棄を推奨するか否かを判断することができる。具体的には、好ましくない陳列エリアへの放置時間が長くなった商品や、店舗カメラの死角に入っている時間が長い安全性の不確かな商品等を、破棄推奨商品とすることができる。
【０１００】
かかる場合、店員は、管理装置１０により提供された情報に基づき、他の商品（異物）を破棄するか否かを迅速かつ的確に判断することができる。結果、好ましくない陳列エリアへの放置時間が長くなり、品質が悪化した可能性の高い商品や、店舗カメラの死角に入っている時間が長く、安全性の不確かな商品等が販売される不都合を回避できる。
【０１０１】
以下、参考形態の例を付記する。
１．  陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段と、
前記異物が検出された場合、アラートを出力する出力手段と、
を有する管理装置。
２．  １に記載の管理装置において、
前記出力手段は、前記異物が検出された前記陳列エリアを示す情報をさらに出力する管理装置。
３．  １又は２に記載の管理装置において、
前記画像解析手段は、前記異物を検出した場合、前記異物が他の商品であるか否かを判断し、
前記異物が前記他の商品である場合、前記他の商品に割り当てられた前記陳列エリアを特定する特定手段をさらに有し、
前記出力手段は、前記他の商品に割り当てられた前記陳列エリアを示す情報をさらに出力する管理装置。
４．  ３に記載の管理装置において、
前記異物が前記他の商品である場合、前記他の商品、及び、前記他の商品が前記異物として検出された前記陳列エリアに基づき、前記他の商品を回収する作業の緊急度を算出する緊急度算出手段をさらに有し、
前記出力手段は、前記緊急度をさらに出力する管理装置。
５．  ４に記載の管理装置において、
前記緊急度算出手段は、複数の商品各々の保管条件、及び、複数の前記陳列エリア各々で維持される環境条件に基づき、前記緊急度を算出する管理装置。
６．  ３から５のいずれかに記載の管理装置において、
前記異物が前記他の商品である場合、前記他の商品の破棄を推奨するか否かを判断する破棄判断手段をさらに有し、
前記出力手段は、前記破棄判断手段の判断結果をさらに出力する管理装置。
７．  ６に記載の管理装置において、
前記破棄判断手段は、前記異物を検出してからの経過時間に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
８．  ６又は７に記載の管理装置において、
前記破棄判断手段は、
前記他の商品、及び、前記他の商品が前記異物として検出された前記陳列エリアに基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
９．  ８に記載の管理装置において、
前記破棄判断手段は、複数の商品各々の保管条件、及び、複数の前記陳列エリア各々で維持される環境条件に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
１０．  ６から９のいずれかに記載の管理装置において、
前記破棄判断手段は、検出された前記異物がカメラの死角に入っている積算時間に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
１１．  １から１０のいずれかに記載の管理装置において、
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、前記陳列エリアに割り当てられた商品の外観との類似度に基づき、前記物体が異物か否かを判断する管理装置。
１２．  １から１０のいずれかに記載の管理装置において、
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、複数の商品各々の外観との類似度に基づき、前記物体がいずれの商品に該当するかを判断し、
判断結果、及び、前記陳列エリアに割り当てられた商品の少なくとも一方に基づき、前記物体が異物か否かを判断する管理装置。
１３．  コンピュータが、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析工程と、
前記異物が検出された場合、アラートを出力する出力工程と、
を実行する管理方法。
１４．  コンピュータを、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段、
前記異物が検出された場合、アラートを出力する出力手段、
として機能させるプログラム。
【符号の説明】
【０１０２】
１Ａ    プロセッサ
２Ａ    メモリ
３Ａ    入出力Ｉ／Ｆ
４Ａ    周辺回路
５Ａ    バス
１０    管理装置
１１    画像解析部
１２    出力部
１３    特定部
１４    緊急度算出部
１５    破棄判断部
【図１】
2018151819.tif 000003
【図２】
2018151819.tif 000004
【図３】
2018151819.tif 000005
【図４】
2018151819.tif 000006
【図５】
2018151819.tif 000007
【図６】
2018151819.tif 000008
【図７】
2018151819.tif 000009
【図８】
2018151819.tif 000010
【図９】
2018151819.tif 000011
【図１０】
2018151819.tif 000012
【図１１】
2018151819.tif 000013
【図１２】
2018151819.tif 000014
【図１３】
2018151819.tif 000015
【図１４】
2018151819.tif 000016
【図１５】
2018151819.tif 000017
【図１６】
2018151819.tif 000018
【図１７】
2018151819.tif 000019
【図１８】
2018151819.tif 000020