(57)【要約】【課題】商品棚に載置された商品の個数管理を容易に行うことができる商品管理システム及び商品管理方法を提供すること。【解決手段】商品棚の各列の前面先頭位置に載置された商品の前面画像Ｄ１を取得する撮像部１１と、前面画像Ｄ１をもとに各列における商品の商品種及び商品載置位置を識別した商品種情報Ｄ３を生成する商品種識別部１０ａと、商品棚上に配置され、商品棚に載置された商品の底面画像Ｄ４を取得するパネルセンサＳと、商品種情報Ｄ３及び底面画像Ｄ４をもとに商品棚の各列の商品種ごとの商品個数を検出する個数検出処理部２０ａと、商品棚の各列の商品種及び商品個数を管理して出力する商品管理コントローラと、を備える。【選択図】図１
2020017253.tif 000002
【特許請求の範囲】
【請求項１】
商品棚の前面先頭位置から奥行き方向に向かう列に同一商品種の商品が載置される商品棚の商品個数管理を行う商品管理システムであって、
前記商品棚の各列の前面先頭位置に載置された商品の前面画像を取得する撮像部と、
前記前面画像をもとに各列における商品の商品種及び商品載置位置を識別した商品種情報を生成する商品種識別部と、
前記商品棚上に配置され、前記商品棚に載置された商品の底面画像を取得するパネルセンサと、
前記商品種情報及び前記底面画像をもとに前記商品棚の各列の商品種ごとの商品個数を検出する個数検出処理部と、
前記商品棚の各列の商品種及び商品個数を管理して出力する商品管理部と、
を備えたことを特徴とする商品管理システム。
【請求項２】
前記個数検出処理部は、前記商品種情報及び前記底面画像をもとに各列に対する商品の補充が可能な商品補充可能数を検出し、
前記商品管理部は、前記商品補充可能数を管理して出力することを特徴とする請求項１に記載の商品管理システム。
【請求項３】
前記商品管理部は、前記商品補充可能数を、電子値札及びタブレット端末を含む端末装置に出力することを特徴とする請求項２に記載の商品管理システム。
【請求項４】
前記商品種識別部は、前記商品種ごとの前記前面画像の特徴情報である商品特徴情報をもとに、各列における商品の商品種及び商品載置位置を識別することを特徴とする請求項１〜３のいずれか一つに記載の商品管理システム。
【請求項５】
前記個数検出処理部は、前記商品種ごとの底面画像に対応したテンプレートマッチング情報を用いて前記底面画像に対するテンプレートマッチング処理を行って各列の商品個数を検出することを特徴とする請求項１〜４のいずれか一つに記載の商品管理システム。
【請求項６】
前記個数検出処理部は、前記底面画像に対して前記商品種ごとに予め設定された１以上の画像処理を施し、該画像処理が施された底面画像に対して前記商品種毎に予め設定された商品検出アルゴリズムを適用して前記商品個数を検出することを特徴とする請求項１〜４のいずれか一つに記載の商品管理システム。
【請求項７】
前記商品検出アルゴリズムは、テンプレートマッチングまたはラベリングを用いたアルゴリズムであり、各アルゴリズムのパラメータは、前記商品種ごとに予め設定されていることを特徴とする請求項６に記載の商品管理システム。
【請求項８】
前記ラベリングを用いた商品検出アルゴリズムは、得られた各ラベルのピクセル数をもとに商品個数を計数することを特徴とする請求項７に記載の商品管理システム。
【請求項９】
前記個数検出処理部は、前記１以上の画像処理を施す前に、前記底面画像に対し、前記商品種ごとに予め設定された画像変換処理を施すことを特徴とする請求項５〜８のいずれか一つに記載の商品管理システム。
【請求項１０】
前記個数検出処理部は、前記１以上の画像処理を施す前に、前記商品種ごとに予め設定された平均化回数に対応した回数の前記底面画像を取得し、前記平均化回数で平均化した底面画像を画像変換処理対象の底面画像として変換することを特徴とする請求項９に記載の商品管理システム。
【請求項１１】
前記個数検出処理部は、前記商品棚の各列の商品種ごとの在庫数及び前記商品種の奥行き方向の寸法情報をもとに、前記商品棚の前面側から前記在庫数分が配置される領域を個数検出領域として設定し、前記個数検出領域のみに対する商品個数の検出処理を行うことを特徴とする請求項５〜１０のいずれか一つに記載の商品管理システム。
【請求項１２】
前記個数検出処理部は、前記個数検出領域外の商品載置領域に対して、無処理又は底面画像のみの取得による商品有無判別処理のいずれかを設定し、さらに前記商品有無判別処理によって商品有りと判別された場合にエラー通知を行うか、商品有りと判別された領域を前記個数検出領域として商品個数の検出処理を行うかを設定して、それぞれ設定された処理を実行することを特徴とする請求項１１に記載の商品管理システム。
【請求項１３】
前記個数検出処理部は、商品補充の場合、商品棚の各列の全領域を個数検出領域として商品個数の検出処理を行うことを特徴とする請求項１１又は１２に記載の商品管理システム。
【請求項１４】
商品棚の前面先頭位置から奥行き方向に向かう列に同一商品種の商品が載置される商品棚の商品個数管理を行う商品管理システムの商品管理方法であって、
前記商品棚の各列の前面先頭位置に載置された商品の前面画像を取得する前面画像取得ステップと、
前記前面画像をもとに各列における商品の商品種及び商品載置位置を識別した商品種情報を生成する商品種識別ステップと、
前記商品棚上に配置され、前記商品棚に載置された商品の底面画像を取得する底面画像取得ステップと、
前記商品種情報及び前記底面画像をもとに前記商品棚の各列の商品種ごとの商品個数を検出する個数検出処理ステップと、
前記商品棚の各列の商品種及び商品個数を管理して出力する商品管理ステップと、
を含むことを特徴とする商品管理方法。
【請求項１５】
前記個数検出処理ステップは、前記底面画像に対して前記商品種ごとに予め設定された１以上の画像処理を施し、該画像処理が施された底面画像に対して前記商品種毎に予め設定された商品検出アルゴリズムを適用して前記商品個数を検出することを特徴とする請求項１４に記載の商品管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品棚に載置された商品の個数管理を容易に行うことができる商品管理システム及び商品管理方法に関する。
【背景技術】
【０００２】
コンビニエンスストアやスーパーマーケットなどの店舗では、複数の商品棚が多段に配置されたショーケースに商品が陳列される場合が多い。店舗は、商品棚に配置された商品の補充可能数を管理して適時適切に商品を補充する必要がある。
【０００３】
特許文献１には、ショーケースが商品に貼付されたＲＦＩＤタグの読み取り手段を備え、検出情報を店舗コンピュータに送信し、店舗コンピュータが、ショーケースから受信した在庫情報をデータベースに格納する受信手段と、データベースに記憶されている在庫情報を参照しショーケースから取り出された商品情報に基づき所定のルールに従って盗難発生を判定する盗難判定手段を備えるものが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２９０８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、店内に陳列される商品の在庫管理は、ＰＯＳデータを用いて行うことができる。しかし、ＰＯＳデータは、店内の商品棚に陳列された現品管理を行うものではない。すなわち、ＰＯＳデータを用いて店内全体の在庫管理はできるが、ＰＯＳデータを用いても各商品棚の在庫管理を行うことはできない。したがって、店員は、各商品棚の商品の在庫状態を目視で行っており、店員にかかる作業負担が大きかった。
【０００６】
なお、ＰＯＳデータは、商品棚に陳列された商品をＰＯＳレジ端末を通さずに廃棄したり、ＰＯＳレジ端末を通さずに商品棚に商品を陳列したりすると、ＰＯＳデータ上の商品の個数と商品棚上の商品の個数とが異なる場合がある。
【０００７】
また、商品棚上に陳列された商品の画像を撮像し、商品の欠品を検出するものがあるが、この欠品検出では陳列された商品が欠品するまで欠品検出をすることができない。
【０００８】
本発明は、上記に鑑みてなされたものであって、商品棚に載置された商品の個数管理を容易に行うことができる商品管理システム及び商品管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明にかかる商品管理システムは、商品棚の前面先頭位置から奥行き方向に向かう列に同一商品種の商品が載置される商品棚の商品個数管理を行う商品管理システムであって、前記商品棚の各列の前面先頭位置に載置された商品の前面画像を取得する撮像部と、前記前面画像をもとに各列における商品の商品種及び商品載置位置を識別した商品種情報を生成する商品種識別部と、前記商品棚上に配置され、前記商品棚に載置された商品の底面画像を取得するパネルセンサと、前記商品種情報及び前記底面画像をもとに前記商品棚の各列の商品種ごとの商品個数を検出する個数検出処理部と、前記商品棚の各列の商品種及び商品個数を管理して出力する商品管理部と、を備えたことを特徴とする。
【００１０】
また、本発明にかかる商品管理システムは、上記の発明において、前記個数検出処理部は、前記商品種情報及び前記底面画像をもとに各列に対する商品の補充が可能な商品補充可能数を検出し、前記商品管理部は、前記商品補充可能数を管理して出力することを特徴とする。
【００１１】
また、本発明にかかる商品管理システムは、上記の発明において、前記商品管理部は、前記商品補充可能数を、電子値札及びタブレット端末を含む端末装置に出力することを特徴とする。
【００１２】
また、本発明にかかる商品管理システムは、上記の発明において、前記商品種識別部は、前記商品種ごとの前記前面画像の特徴情報である商品特徴情報をもとに、各列における商品の商品種及び商品載置位置を識別することを特徴とする。
【００１３】
また、本発明にかかる商品管理システムは、上記の発明において、前記個数検出処理部は、前記商品種ごとの底面画像に対応したテンプレートマッチング情報を用いて前記底面画像に対するテンプレートマッチング処理を行って各列の商品個数を検出することを特徴とする。
【００１４】
また、本発明にかかる商品管理システムは、上記の発明において、前記個数検出処理部は、前記底面画像に対して前記商品種ごとに予め設定された１以上の画像処理を施し、該画像処理が施された底面画像に対して前記商品種毎に予め設定された商品検出アルゴリズムを適用して前記商品個数を検出することを特徴とする。
【００１５】
また、本発明にかかる商品管理システムは、上記の発明において、前記商品検出アルゴリズムは、テンプレートマッチングまたはラベリングを用いたアルゴリズムであり、各アルゴリズムのパラメータは、前記商品種ごとに予め設定されていることを特徴とする。
【００１６】
また、本発明にかかる商品管理システムは、上記の発明において、前記ラベリングを用いた商品検出アルゴリズムは、得られた各ラベルのピクセル数をもとに商品個数を計数することを特徴とする。
【００１７】
また、本発明にかかる商品管理システムは、上記の発明において、前記個数検出処理部は、前記１以上の画像処理を施す前に、前記底面画像に対し、前記商品種ごとに予め設定された画像変換処理を施すことを特徴とする。
【００１８】
また、本発明にかかる商品管理システムは、上記の発明において、前記個数検出処理部は、前記１以上の画像処理を施す前に、前記商品種ごとに予め設定された平均化回数に対応した回数の前記底面画像を取得し、前記平均化回数で平均化した底面画像を画像変換処理対象の底面画像として変換することを特徴とする。
【００１９】
また、本発明にかかる商品管理システムは、上記の発明において、前記個数検出処理部は、前記商品棚の各列の商品種ごとの在庫数及び前記商品種の奥行き方向の寸法情報をもとに、前記商品棚の手前前面側から前記在庫数分が配置される領域を個数検出領域として設定し、前記個数検出領域のみに対する商品個数の検出処理を行うことを特徴とする。
【００２０】
また、本発明にかかる商品管理システムは、上記の発明において、前記個数検出処理部は、前記個数検出領域外の商品載置領域に対して、無処理又は底面画像のみの取得による商品有無判別処理のいずれかを設定し、さらに前記商品有無判別処理によって商品有りと判別された場合にエラー通知を行うか、商品有りと判別された領域を前記個数検出領域として商品個数の検出処理を行うかを設定して、それぞれ設定された処理を実行することを特徴とする。
【００２１】
また、本発明にかかる商品管理システムは、上記の発明において、前記個数検出処理部は、商品補充の場合、商品棚の各列の全領域を個数検出領域として商品個数の検出処理を行うことを特徴とする。
【００２２】
また、本発明にかかる商品管理方法は、商品棚の前面先頭位置から奥行き方向に向かう列に同一商品種の商品が載置される商品棚の商品個数管理を行う商品管理システムの商品管理方法であって、前記商品棚の各列の前面先頭位置に載置された商品の前面画像を取得する前面画像取得ステップと、前記前面画像をもとに各列における商品の商品種及び商品載置位置を識別した商品種情報を生成する商品種識別ステップと、前記商品棚上に配置され、前記商品棚に載置された商品の底面画像を取得する底面画像取得ステップと、前記商品種情報及び前記底面画像をもとに前記商品棚の各列の商品種ごとの商品個数を検出する個数検出処理ステップと、前記商品棚の各列の商品種及び商品個数を管理して出力する商品管理ステップと、を含むことを特徴とする。
【００２３】
また、本発明にかかる商品管理方法は、上記の発明において、前記個数検出処理ステップは、前記底面画像に対して前記商品種ごとに予め設定された１以上の画像処理を施し、該画像処理が施された底面画像に対して前記商品種毎に予め設定された商品検出アルゴリズムを適用して前記商品個数を検出することを特徴とする。
【発明の効果】
【００２４】
本発明によれば、商品棚に載置された商品の個数管理を容易に行うことができる。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の実施の形態である商品管理システムの構成を示すブロック図である。
【図２】図２は、店舗内に配置されたショーケースの構成を示す模式図である。
【図３】図３は、商品棚の各列に同一商品種が載置される状態の一例を示す図である。
【図４】図４は、撮像部が撮像する前面画像の撮像領域を示す図である。
【図５】図５は、パネルセンサが上面に配置された商品棚の構成を示す斜視図である。
【図６】図６は、底面画像の一例を示す図である。
【図７】図７は、表示切替指示によって商品補充可能数を表示する電子値札の一例を示す図である。
【図８】図８は、商品管理システムによる商品管理処理手順を示すフローチャートである。
【図９】図９は、本変形例１によるパネルセンサコントローラとこれに接続される記憶部の構成を示すブロック図である。
【図１０】図１０は、商品が商品棚に載置されたショーケースの一例を示す模式図である。
【図１１】図１１は、７つの商品種に対する商品種情報の一例を示す図である。
【図１２】図１２は、画像変換規則の一例を示す図である。
【図１３】図１３は、画像処理パラメータ設定情報の一例を示す図である。
【図１４】図１４は、商品個数検出処理パラメータ設定情報の一例を示す図である。
【図１５】図１５は、モルフォロジー処理の効果を概念的に示す図である。
【図１６】図１６は、底面画像と計数結果との関係を概念的に示す図である。
【図１７】図１７は、商品個数情報の一例を示す図である。
【図１８】図１８は、変形例１による個数検出処理手順を示すフローチャートである。
【図１９】図１９は、本変形例２による画像変換規則を示す図である。
【図２０】図２０は、平均化回数で平均化した底面画像の生成を具体的に説明する説明図である。
【図２１】図２１は、本変形例３が適用される商品棚上の商品配置状態を示す図である。
【図２２】図２２は、本変形例３による商品個数検出処理パラメータ設定情報の一例を示す図である。
【図２３】図２３は、変形例３による商品個数情報の一例を示す図である。
【図２４】図２４は、本変形例３の個数検出処理部による個数検出処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、添付図面を参照してこの発明を実施するための形態について説明する。
【００２７】
＜システム構成＞
図１は、本発明の実施の形態である商品管理システム１の構成を示すブロック図である。また、図２は、店舗内に配置されたショーケース２の構成を示す模式図である。図１に示すように、商品管理システム１は、ネットワークＮ１に、商品種識別コントローラ１０、パネルセンサコントローラ２０、商品管理コントローラ３０、電子値札システム４０が接続される。ＰＣ端末５０及びタブレット端末６０はネットワークＮ２を介してネットワークＮ１に接続される。
【００２８】
商品種識別コントローラ１０には、撮像部１１及び記憶部１２が接続される。撮像部１１は、ショーケース２の前面画像Ｄ１を取得する。記憶部１２は、前面画像Ｄ１、商品特徴情報Ｄ２、商品種情報Ｄ３を記憶する。商品種識別コントローラ１０は、商品種識別部１０ａを有する。
【００２９】
商品種識別部１０ａは、前面画像Ｄ１をもとに商品棚の各列における商品の商品種及び商品載置位置を識別した商品種情報Ｄ３を生成する。この際、商品種識別部１０ａは、商品種ごとの前面画像の特徴情報である商品特徴情報Ｄ２を参照して前面画像Ｄ１の商品種を識別する。商品種識別コントローラ１０は、生成した商品種情報Ｄ３をパネルセンサコントローラ２０に送出する。商品特徴情報Ｄ２は、例えば商品の色、模様、デザイン、形状を含む商品包装状態を示す情報である。
【００３０】
図２に示すように、ショーケース２は、複数の商品棚２ａ〜２ｆ上に、それぞれパネルセンサＳ１〜Ｓ６を介して商品Ｐが載置される。図３に示すように、各商品棚２ａ〜２ｆには、前面先頭位置から奥行き方向に向かう各列Ｒには同一商品種の商品Ｐが載置される。
【００３１】
図２に示すように、撮像部１１は、例えば天井１０１に取り付けられ、商品棚２ａ〜２ｆの前面画像Ｄ１を取得する。図３に示すように、各列Ｒに商品Ｐが存在する場合、前面にはすべて商品Ｐが現れる。撮像部１１は、図４に示すように、ショーケース２の前面の領域Ｅに対する画像を前面画像Ｄ１として取得する。領域Ｅは、全ての商品棚２ａ〜２ｆ上の商品Ｐを撮像できる領域である。なお、前面画像Ｄ１は、商品棚２ａ〜２ｆごとに分割した前面画像の集合としてもよい。
【００３２】
図１において、パネルセンサコントローラ２０には、ハブ２１を介して商品棚に配置されたパネルセンサＳ（Ｓ１〜Ｓ６）及び記憶部２２が接続される。図２に示すように、パネルセンサＳ１〜Ｓ６は、各商品棚２ａ〜２ｆの上面に配置される。例えば、図５に示すように、商品棚２ａの上面にパネルセンサＳ１が配置される。
【００３３】
パネルセンサＳは、静電容量型のパネルセンサであり、パネルセンサＳの上面に配置された商品Ｐによる静電容量変化をマトリクス状に検出し、この静電容量変化の２次元画像を、図６に示すような商品の底面画像Ｄ４として取得する。図６は、ペットボトルが配置された場合の底面画像Ｄ４を示しており、ペットボトルが載置された領域には、ペットボトルの底の形状に対応した円形の画像が形成されている。
【００３４】
図１において、記憶部２２は、商品種情報Ｄ３、底面画像Ｄ４、テンプレートマッチング情報Ｄ５、商品個数情報Ｄ６、設定個数情報Ｄ７、商品補充可能数情報Ｄ８を記憶する。また、パネルセンサコントローラ２０は、個数検出処理部２０ａを有する。
【００３５】
個数検出処理部２０ａは、商品種情報Ｄ３及び底面画像Ｄ４をもとに商品棚２ａ〜２ｆの各列Ｒの商品種ごとの商品個数を検出するとともに、各列Ｒに対する商品の補充が可能な商品補充可能数を検出する。
【００３６】
個数検出処理部２０ａは、商品種情報Ｄ３が示す商品種ごとのテンプレートマッチング情報Ｄ５を用いて底面画像Ｄ４のテンプレートマッチング処理を行い、テンプレートマッチング処理で一致すると判断された箇所の数が商品個数として検出される。また、個数検出処理部２０ａは、設定個数情報Ｄ７が示す各列Ｒに載置可能な最大商品個数から、検出された商品個数を減算した値を各例Ｒの商品補充可能数として算出する。各列Ｒの商品種ごとの商品個数は商品個数情報Ｄ６として記憶される。また各列Ｒの商品種ごとの商品補充可能数は商品補充可能数情報Ｄ８として記憶される。
【００３７】
なお、商品個数情報Ｄ６が設定されていない場合、図６に示すように、商品Ｐが存在しない領域ＥＲのデータサイズを、各列Ｒで使用したテンプレートマッチング情報Ｄ５が示す１つの商品Ｐのデータサイズで除算した値を商品補充可能数として算出してもよい。なお、図６では、商品Ｐが存在しない領域ＥＲは、奥行き方向側に形成されているが、各列Ｒの先頭商品の配置領域や各列の中間領域にも形成される。個数検出処理部２０ａは、このような各種の領域ＥＲのデータサイズと１つの商品Ｐのデータサイズとによって商品補充可能数を算出する。
【００３８】
パネルセンサコントローラ２０は、検出した各列の商品個数情報Ｄ６と商品補充可能数情報Ｄ８を商品管理コントローラ３０に送出する。
【００３９】
商品管理コントローラ３０には、記憶部３１が接続され、パネルセンサコントローラ２０から送られた商品個数情報Ｄ６及び商品補充可能数情報Ｄ８を記憶する。商品管理コントローラ３０は、各列の商品種、商品載置位置、商品個数、商品補充可能数を管理する。例えば、出力処理部３０ａは、商品補充可能数情報Ｄ８を電子値札システム４０の電子値札４０ａに送出して保持させる。商品補充可能数情報Ｄ８には、商品載置位置及び商品種を含み、商品管理コントローラ３０は、列Ｒの前面に配置された電子値札４０ａに商品補充可能数情報Ｄ８を送出する。
【００４０】
図７に示すように、電子値札４０ａは、通常は商品種及び商品価格などを表示するが、リモコン７０による表示切替指示を受けて商品種と商品補充可能数とを表示する。これにより、店員は、ショーケース２の前からリモコンを操作して各列の電子値札４０ａに商品種と商品補充可能数とを表示する表示切替を行うことができるため、各列の商品個数を数える作業を行う必要がなく、商品補充作業を迅速かつ容易に行うことができる。
【００４１】
商品管理コントローラ３０は、電子値札４０ａ以外に、店内のＰＣ端末５０やタブレット端末６０に、商品個数情報Ｄ６及び商品補充可能数情報Ｄ８を通知するようにしてもよい。特に、電子値札システム４０が導入されていない店舗の場合、店員は、タブレット端末６０を携帯して商品補充可能数を確認することによって各列の商品個数を数える作業を行う必要がないため、商品補充作業を迅速かつ容易に行うことができる。なお、タブレット端末６０の表示画面には、前面画像Ｄ１と同様な画像を表示し、各商品棚の各列位置に商品種及び商品補充可能数を対応付けて表示することが好ましい。
【００４２】
なお、パネルセンサコントローラ２０は、各列Ｒの先頭商品が配置される領域で商品を検出しなかった場合、商品管理コントローラ３０に、商品を検出しなかった列Ｒの先頭商品がなくなったことを通知し、商品管理コントローラ３０は、この通知を受けて、例えばタブレット端末６０に対して、商品を検出しなかった列Ｒの商品前出し指示を通知する。なお、商品管理コントローラ３０は、商品を検出しなかった列Ｒ内に１以上の商品を検出した場合に商品前出し指示をタブレット端末６０に通知する。
【００４３】
＜商品管理処理＞
次に、図８に示すフローチャートを参照して商品管理システム１による商品管理処理手順について説明する。図８に示すように、まず商品種識別コントローラ１０は、撮像部１１によって商品棚２ａ〜２ｆの前面画像Ｄ１を取得する（ステップＳ１０１）。その後、商品種識別部１０ａは、前面画像Ｄ１をもとに各列Ｒにおける商品の商品種及び商品載置位置を識別した商品種情報Ｄ３を生成する（ステップＳ１０２）。この商品種情報Ｄ３は、パネルセンサコントローラ２０側に送出される。
【００４４】
その後、パネルセンサコントローラ２０は、パネルセンサＳによる底面画像Ｄ４を取得する（ステップＳ１０３）。個数検出処理部２０ａは、商品種情報Ｄ３及び底面画像Ｄ４をもとに各列Ｒの商品種ごとの商品個数を検出する（ステップＳ１０４）。この商品個数の検出は、テンプレートマッチング情報Ｄ５を用いたテンプレートマッチング処理で画像が一致した箇所を１つの商品として検出する。さらに、個数検出処理部２０ａは、各列Ｒの商品種ごとの商品補充可能数を検出する（ステップＳ１０５）。パネルセンサコントローラ２０は、検出した各列Ｒの商品種ごとの商品個数と商品補充可能数とを商品管理コントローラ３０側に送出する。
【００４５】
その後、商品管理コントローラ３０は、各列Ｒの商品種ごとの商品個数及び商品補充可能数を管理するとともに、商品補充可能数を電子値札４０ａに出力し（ステップＳ１０６）、本処理を終了する。なお、上記一連の処理は、所定時間ごとに繰り返し行う。
【００４６】
＜変形例１＞
上記の実施の形態による商品個数検出は、テンプレートマッチング処理によって行うようにしている。テンプレートマッチング処理は、底面画像Ｄ４が安定していることを前提としている。商品によっては、商品の誘電率が大きく異なる場合や形状が不安定な場合があり、一定の検出感度をもった底面画像データが得られず不安定な底面画像データになる場合がある。また、商品の大きさが小さい場合には、取得される商品の底面画像データは小さくなってしまい、解像度が低下する。このため、一律の商品検出アルゴリズムを適用すると、商品個数を精度高く検出できない場合がある。そこで、本変形例１では、個数検出処理部２０ａが、底面画像Ｄ４に対して商品種ごとに予め設定された１以上の画像処理を施し、該画像処理が施された底面画像に対して商品種毎に予め設定された商品検出アルゴリズムを適用して商品個数を検出するようにしている。
【００４７】
図９は、本変形例１によるパネルセンサコントローラ２０とこれに接続される記憶部２２の構成を示すブロック図である。図９に示すように、パネルセンサコントローラ２０の個数検出処理部２０ａは、事前画像変換部２０ｂ、画像処理部２０ｃ、商品個数検出処理部２０ｄ及び商品補充可能数算出部２０ｅを有する。また、パネルセンサコントローラ２０には記憶部２２が接続される。記憶部２２は、新たに画像変換規則Ｄ１１、画像処理パラメータ設定情報Ｄ１２、商品個数検出処理パラメータ設定情報Ｄ１３、商品個数検出アルゴリズム情報Ｄ１４を有する。なお、パネルセンサコントローラ２０は、入力される底面画像Ｄ４と、商品が載置されていないときの底面画像との差分画像を生成し、この差分画像を底面画像Ｄ４として処理する。
【００４８】
事前画像変換部２０ｂは、底面画像Ｄ４に対して、画像変換規則Ｄ１１を用いて商品種に対応した底面画像に変換する。画像変換規則Ｄ１１には変換係数と使用範囲とのパラメータが商品種ごとに設定されている。変換係数は、商品種によって検出される値が負の値を示すものがあり、検出値を正の値として取り扱うためである。また、使用範囲は、ノイズを除去するため、検出値の上限及び下限を設定したものである。
【００４９】
画像処理部２０ｃは、画像処理パラメータ設定情報Ｄ１２を参照して、変換された底面画像Ｄ４に対して、商品種に対応した１以上の画像処理を行う。１以上の画像処理は、平滑化処理、２値化処理、モルフォロジー処理の１以上の処理であり、各画像処理のパラメータは、商品種ごとに予め設定されている。
【００５０】
商品個数検出処理部２０ｄは、商品個数検出処理パラメータ設定情報Ｄ１３を参照して、画像処理された底面画像Ｄ４に対して商品種毎に予め設定された商品検出アルゴリズムを適用して商品個数を検出する。商品個数検出処理パラメータ設定情報Ｄ１３には、商品種ごとに設定される商品検出アルゴリズムと、この処理の際の各種パラメータとが設定されている。商品検出アルゴリズムは、商品個数検出アルゴリズム情報Ｄ１４内に格納されており、テンプレートマッチングまたはラベリングを用いたアルゴリズムである。テンプレートマッチング情報Ｄ５は、商品検出アルゴリズムとしてテンプレートマッチングを実行する場合に用いられる、商品種ごとのテンプレート画像情報である。
【００５１】
＜変形例１における具体例な情報内容＞
次に、上記の画像変換規則Ｄ１１、画像処理パラメータ設定情報Ｄ１２、商品個数検出処理パラメータ設定情報Ｄ１３等の各種情報の一例について説明する。
【００５２】
まず、図１０は、商品が商品棚に載置されたショーケースの一例を示す模式図である。図１０では、最下段の商品棚に商品種が異なる７つの商品種ＰＡ〜ＰＧが載置された状態を示している。図１１は、７つの商品種ＰＡ〜ＰＧに対する商品種情報Ｄ３の一例を示している。図１１に示すように、商品種情報Ｄ３には、棚位置、パネルセンサＩＤ、及び、前面の左端と右端とで定義する陳列領域を用いて商品載置位置を示し、各商品載置位置と、各商品載置位置に載置された商品種ＰＡ〜ＰＧとの関係が示されている。
【００５３】
図１２は、画像変換規則Ｄ１１の一例を示す図である。図１２に示すように、画像変換規則Ｄ１１には、商品種ＰＡ〜ＰＧごとに、変換係数のパラメータと使用範囲のパラメータとが設定されている。変換係数の「プラス」が「０」に設定されている場合、プラスの検出値を０に置換し、変換係数の「マイナス」が「０」に設定されている場合、マイナスの検出値を０に置換する。なお、変換係数の「プラス」及び「マイナス」が「１」になっている場合、プラス及びマイナスの検出値をそれぞれ「１」に置換する。なお、「プラス」及び「マイナス」は、「１」に限らず、「２」や「３」に設定してもよい。なお、「マイナス」の値は、この画像変換規則Ｄ１１による画像変換の際、符号を反転する。
【００５４】
使用範囲は、個数検出アルゴリズムとしてテンプレートマッチングを用いる場合の商品種ごとの下限と上限とを示しており、検出値は、下限未満は下限値に置換され、上限を超える場合は上限値に置換される。商品種ＰＡ，ＰＢは、個数検出アルゴリズムとしてテンプレートマッチングが適用されるため、使用範囲が設定されている。一方、商品種ＰＣ〜ＰＧは、個数検出アルゴリズムとしてラベリングが適用されるため、適用範囲は設定されていない。
【００５５】
図１３は、画像処理パラメータ設定情報Ｄ１２の一例を示す図である。図１３に示すように、画像処理パラメータ設定情報Ｄ１２には、商品種ＰＡ〜ＰＧごとに、平滑化処理（平滑化）、２値化処理（検出閾値）、モルフォロジー処理（モルフォロジー）の各画像処理のパラメータが設定されている。
【００５６】
平滑化は、平滑処理に使用する平滑化フィルタのサイズをピクセル数で設定している。
平滑化処理は、ＳＮ比が低い場合にノイズを低減するために行うものである。なお、ピクセル数が「１」の場合、平滑化処理は行われないことになる。
【００５７】
検出閾値はラベリング処理時の２値化画像作成時に用いられるものであり、ピクセル値が検出閾値を以上である場合に検出対象が有りと判定し、検出閾値を以上でない場合には検出対象が無いと判定する。
【００５８】
モルフォロジーは、種類、最小対象、回数の項目を有する設定情報である。なお、モルフォロジー処理は、ノイズ除去や欠落部分を補完するために行う。
【００５９】
種類には、モルフォロジー処理の４つの種類「ｄ」、「ｅ」、「ｃ」、「ｏ」のいずれか１つが設定される。種類「ｄ」は、膨張であり、注目ピクセルの参照対象に検出対象有りのピクセルがあれば、注目ピクセルを検出対象有りにする。種類「ｅ」は、収縮であり、注目ピクセルの参照対象に検出対象無しのピクセルがあれば、注目ピクセルを検出対象無しにする。種類「ｃ」は、クロージングであり、膨張して収縮する、種類「ｏ」は、オープニングであり、収縮して膨張する。
【００６０】
参照対象は、参照対象のピクセル数を、「４」または「８」のいずれかに設定するものである。「４」の場合は、注目ピクセルの上下左右の４ピクセルを参照対象に設定する。「８」の場合は、注目ピクセルの周囲、８ピクセルを参照対象に設定する。
【００６１】
回数は、処理の繰り返し回数を整数で指定するものである。なお、回数に「０」を設定した場合、モルフォロジー処理は行わない。
【００６２】
なお、商品種ＰＡ，ＰＢは、テンプレートマッチングを行うため、検出閾値及びモルフォロジーのパラメータは設定されていない。
【００６３】
図１４は、商品個数検出処理パラメータ設定情報Ｄ１３の一例を示す図である。図１４に示すように、商品個数検出処理パラメータ設定情報Ｄ１３には、商品種ごとに、識別方式、辞書、連結対象、スコア閾値、換算値（α，β）のパラメータが設定されている。
【００６４】
識別方式の「Ｔ」はテンプレートマッチングを示し、「Ｌ」はラベリングを示している。なお、テンプレートマッチングは、形状が安定している固形容器入りの商品などの底面画像Ｄ４が安定している商品種に設定される。一方、ラベリングは、不安定な袋入りの商品などの底面画像Ｄ４が不安定な商品種に設定される。
【００６５】
辞書には、テンプレートマッチングの場合に、使用する辞書ファイル名を設定する。すなわち、テンプレートマッチング情報Ｄ５内のファイル名を設定する。
【００６６】
連結対象は、ラベリングの場合のみに行うラスタスキャンのパラメータであり、「４」は、注目ピクセルに対し、上下左右の４ピクセルを設定し、「８」は、注目ピクセルに対し、周囲の８ピクセルを設定する。
【００６７】
スコア閾値は、テンプレートマッチングの場合、辞書と識別対象との差異の許容範囲を、完全一致した場合に１となるように正規化して表した値である。また、スコア閾値は、ラベリングの場合、ラベルのピクセル数の下限を示しており、ピクセル数が閾値以上で商品が１個あると判定する。
【００６８】
換算値（α，β）は、ラベリングの場合に、識別して得られる各ラベルのピクセル数から次式（１）を用いて商品個数を算出し、商品個数の合計値が各商品種の計数結果となる。
商品個数＝ＲＯＵＮＤ（β＋ピクセル数／α，０）                  …（１）
なお、ＲＯＵＮＤ（Ｘ，０）は、Ｘを最も近い整数に四捨五入する関数である。
【００６９】
ここで、図１５は、モルフォロジー処理の効果を概念的に示す図である。なお、図１５において、黒い部分は、検出対象有りのピクセルである。図１５（ａ）は、クロージングにより、画像中央の欠落部分を補完し、画像中央の欠落が無い場合の検出対象有りのピクセル数と同じ検出対象有りのピクセル数になる。このクロージングによって、底面画像Ｄ４に欠落があっても商品個数を精度良く計数することができる。
【００７０】
図１５（ｂ）は、オープニングであり、これによって、画像上側のノイズが除去される。このオープニングにより、底面画像Ｄ４にノイズがあっても商品個数を精度良く計数することができる。
【００７１】
図１６は、底面画像Ｄ４と計数結果との関係を概念的に示す図である。なお、図１６において、黒い部分は、検出対象有りのピクセルである。図１６（ａ）は、商品上部が大きい形状の商品に対する底面画像であり、検出対象有りのピクセルは２つのかたまりとなっており、商品個数を「２」として計数する。一方、図１６（ｂ）は、角柱状の商品に対する底面画像であり、検出対象有りのピクセルは１つのかたまりとなっているが、式（１）を用いることによって、商品個数を「２」として計数される。
【００７２】
図１７は、商品個数情報Ｄ６の一例を示す図である。図１７に示すように、商品個数情報Ｄ６には、商品載置位置である棚位置、商品種ごとの商品個数の検出結果（計数値）が記載される。
【００７３】
＜変形例１による個数検出処理＞
次に、図１８に示したフローチャートを参照して、変形例１による個数検出処理手順について説明する。図１８に示すように、まず、事前画像変換部２０ｂは、商品種に応じた画像変換規則Ｄ１１を参照して、底面画像を変換する（ステップＳ２０１）。その後、画像処理部２０ｃは、商品種に応じた画像処理パラメータ設定情報Ｄ１２を用いて、事前画像変換部２０ｂが変換した底面画像Ｄ４に対して画像処理を施す（ステップＳ２０２）。
【００７４】
その後、商品個数検出処理部２０ｄは、商品個数検出処理パラメータ設定情報Ｄ１３を参照し、画像処理部２０ｃで画像処理された底面画像Ｄ４に対して、商品種に応じた商品個数検出アルゴリズムを実行して商品個数を検出する（ステップＳ２０３）。その後、商品補充可能数算出部２０ｅは、商品補充可能数を算出して（ステップＳ２０４）、本処理を終了する。なお、上記の処理は、所定時間毎に繰り返し実行する。
【００７５】
＜変形例２＞
次に変形例２について説明する。本変形例２では、個数検出処理部２０ａが、１以上の画像処理を施す前に、商品種ごとに予め設定された平均化回数に対応した回数の底面画像を取得し、平均化回数で平均化した底面画像を画像変換処理対象の底面画像とする変換を行う。
【００７６】
図１９は、本変形例２による画像変換規則Ｄ１１´を示す図である。図１９に示すように画像変換規則Ｄ１１´は、画像変換規則Ｄ１１に平均化回数が付加されている。
【００７７】
事前画像変換部２０ｂは、底面画像Ｄ４に対して、画像変換規則Ｄ１１を用いて商品種に対応した底面画像に変換するが、本変形例２では、画像変換規則Ｄ１１´において予め商品種ごとに平均化回数を設定しておく。そして、事前画像変換部２０ｂは、平均化回数に対応した回数の底面画像Ｄ４を取得し、平均化回数で平均化した底面画像Ｄに変換する。
【００７８】
＜変形例２の具体例＞
図２０は、平均化回数で平均化した底面画像Ｄの生成を具体的に説明する説明図である。なお、図２０では、平均化回数が２の場合を示している。図２０に示すように、１回目では、ノイズが無い場合の底面画像Ｄ２０にノイズ画像ＤＮ１が重畳した底面画像Ｄ３１が得られる。さらに、２回目では、ノイズが無い場合の底面画像Ｄ２０にノイズ画像ＤＮ２が重畳した底面画像Ｄ３２が得られる。事前画像変換部２０ｂは、１回目の底面画像Ｄ３１と２回目の底面画像Ｄ３２とを加算し、２で除算した平均化された底面画像Ｄ３３を生成する。この底面画像Ｄ３３は、ノイズが除去された底面画像Ｄとなる。
【００７９】
底面画像Ｄの値が極めて小さい場合、ノイズに埋もれて商品個数を計数することができないが、本変形例２では、そのような場合であっても、平均化回数分の底面画像を平均化することでノイズが除去された底面画像Ｄが得られ、商品個数を計数することができる。
【００８０】
＜変形例３＞
次に、変形例３について説明する。本変形例３では、個数検出処理部２０ｂが、商品棚の各列の商品種ごとの在庫数及び商品種の奥行き方向の寸法情報をもとに、商品棚の前面側から在庫数分が配置される領域を個数検出領域として設定し、個数検出領域のみに対する商品個数の検出処理を行うようにしている。
【００８１】
図２１は、本変形例３が適用される商品棚２ａ上の商品配置状態を示す図である。図２１に示すように、商品棚２ａは、前面方向が鉛直下向きに傾いており、商品Ｐの自重で商品Ｐが前面方向、すなわち規制板３側に詰められる。なお、商品Ｐの自重ではなく、商品棚２ａを水平にし、前面方向に商品Ｐを押圧する押圧機構を設けるようにしてもよい。
【００８２】
このような商品棚２ａでは、前面方向に商品Ｐが詰められているため、実際に商品が配置されている商品検出領域ＥＳ１は、商品が配置される列の全体領域ＥＳよりも小さい。したがって、商品検出領域ＥＳ１のみに対して商品個数の検出処理を行うことによって、商品個数の検出処理を迅速に行うことができる。
【００８３】
図２２は、変形例３による商品個数検出処理パラメータ設定情報Ｄ１３´の一例を示す図である。また、図２４は、変形例３による商品個数情報Ｄ１６´の一例を示す図である。図２３に示すように、商品個数検出処理パラメータ設定情報Ｄ１３´は、商品個数検出処理パラメータ設定情報Ｄ１３に、寸法情報及び処理区分の項目が付加されている。寸法情報は、商品棚２ａの列に配置される商品種ごとの奥行き方向の長さＤＴが設定されている。また、処理区分は、個数検出領域ＥＳ１外の商品載置領域ＥＳ２に対して、無処理又は底面画像のみの取得による商品有無判別処理のいずれかを設定し、さらに商品有無判別処理によって商品有りと判別された場合にエラー通知を行うか、商品有りと判別された領域を前記個数検出領域として商品個数の検出処理を行うかが設定されている。
【００８４】
設定区分「０」は無処理であり、商品載置領域ＥＳ２に対する商品個数の検出処理を行わない設定である。設定区分「１」は、画像処理が施されていない底面画像のみの取得による商品有無判別処理を行い、商品有りの場合にエラー通知を行う処理の設定である。設定区分「２」は、画像処理が施されていない底面画像のみの取得による商品有無判別処理を行い、商品有りの場合に、商品検出領域ＥＳ１に商品有りの領域を含める領域再設定を行って商品個数の検出処理を行う設定である。
【００８５】
商品検出領域ＥＳ１は、規制板３の前面側から商品種ごとの奥行き方向の寸法ＤＴと、商品の在庫数とによって決定される。図２１に示した商品検出領域ＥＳ１は、在庫数が２で寸法ＤＴの場合を示している。在庫数は、図２３に示した商品個数情報Ｄ６´の計数前の値である。
【００８６】
＜変形例３による個数検出処理＞
図２４は、本変形例３の個数検出処理部２０ｂによる個数検出処理手順を示すフローチャートである。図２４に示すように、個数検出処理部２０ｂは、まず、商品補充時であるか否かを判定する（ステップＳ３００）。商品補充時であれば（ステップＳ３００，Ｙｅｓ）、全体領域ＥＳに対する商品個数の検出処理を行って（ステップＳ３０１）、本処理を終了する。一方、商品補充時でない（ステップＳ３００，Ｎｏ）には、さらに、商品種の処理区分が「０」、「１」、「２」のいずれであるかを判定する（ステップＳ３０２）。
【００８７】
処理区分が「０」である場合（ステップＳ３０２，「０」）、寸法情報及び計数前の商品数をもとに個数検出領域ＥＳ１を算出する（ステップＳ３１０）。その後、この個数検出領域ＥＳ１内の商品個数の検出処理を行い（ステップＳ３１１）、本処理を終了する。
【００８８】
一方、処理区分が「１」である場合（ステップＳ３０２，「１」）、ステップＳ３１０，Ｓ３１１と同じ商品個数の検出処理を行う（ステップＳ３２０、Ｓ３２１）。その後、個数検出領域ＥＳ１外の商品載置領域ＥＳ２の底面画像をもとに、商品載置領域ＥＳ２に商品が有るが否かを判定する（ステップＳ３２２）。なお、この底面画像は、画像処理等を行っていない画像である。また、商品が有るか否かは、商品が載置さていない画像にはないものが画像上に存在するか否かで判定する。
【００８９】
商品載置領域ＥＳ２に商品が有る場合（ステップＳ３２２，Ｙｅｓ）、エラー通知を行って（ステップＳ３２３）、本処理を終了する。一方、商品載置領域ＥＳ２に商品が無い場合（ステップＳ３２２，Ｎｏ）には、そのまま本処理を終了する。
【００９０】
処理区分が「２」である場合（ステップＳ３０２，「２」）、ステップＳ３１０，Ｓ３１１と同じ商品個数の検出処理を行う（ステップＳ３３０、Ｓ３３１）。その後、処理区分「１」と同様に、個数検出領域ＥＳ１外の商品載置領域ＥＳ２の底面画像をもとに、商品載置領域ＥＳ２に商品が有るが否かを判定する（ステップＳ３３２）。
【００９１】
商品載置領域ＥＳ２に商品が有る場合（ステップＳ３３２，Ｙｅｓ）、商品検出領域ＥＳ１に、この商品が有る領域を加える、個数検出領域ＥＳ１の再設定を行う（ステップＳ３３３）。なお、個数検出領域ＥＳ１の再設定は、残りの商品載置領域ＥＳ２の全域であってもよい。その後、再設定された個数検出領域ＥＳ１における商品個数の検出処理を行って、本処理を終了する。一方、商品載置領域ＥＳ２に商品が無い場合（ステップＳ３３２，Ｎｏ）には、そのまま本処理を終了する。なお、上記の処理は所定時間毎に繰り返される。
【００９２】
本変形例３では、商品個数の検出処理負荷が必要最小限であり、商品棚２ａからの商品取出に対する在庫管理を迅速に行うことができる。また、商品棚２ａ上の商品移動がスムーズでない場合などが生じても、商品検出領域ＥＳ１の再設定を行うようにしているので、エラー発生に対する作業負荷を軽減することができる。
【００９３】
また、上記の実施の形態及び変形例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置及び構成要素の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【符号の説明】
【００９４】
１  商品管理システム
２  ショーケース
２ａ  商品棚
３  規制板
１０  商品種識別コントローラ
１０ａ  商品種識別部
１１  撮像部
１２，２２，３１  記憶部
２０  パネルセンサコントローラ
２０ａ  個数検出処理部
２０ｂ  事前画像変換部
２０ｃ  画像処理部
２０ｄ  商品個数検出処理部
２０ｅ  商品補充可能数算出部
２１  ハブ
３０  商品管理コントローラ
３０ａ  出力処理部
４０  電子値札システム
４０ａ  電子値札
５０  ＰＣ端末
６０  タブレット端末
７０  リモコン
１０１  天井
Ｄ１  前面画像
Ｄ２  商品特徴情報
Ｄ３  商品種情報
Ｄ４  底面画像
Ｄ５  テンプレートマッチング情報
Ｄ６，Ｄ６´  商品個数情報
Ｄ７  設定個数情報
Ｄ８  商品補充可能数情報
Ｄ１１、Ｄ１１´  画像変換規則
Ｄ１２  画像処理パラメータ設定情報
Ｄ１３，図１３´  商品個数検出処理パラメータ設定情報
Ｄ１４  商品個数検出アルゴリズム情報
Ｅ，ＥＲ  領域
Ｎ１，Ｎ２  ネットワーク
Ｐ  商品
ＰＡ〜ＰＧ  商品種
Ｒ  列
Ｓ，Ｓ１〜Ｓ６  パネルセンサ
【図１】
2020017253.tif 000003
【図２】
2020017253.tif 000004
【図３】
2020017253.tif 000005
【図４】
2020017253.tif 000006
【図５】
2020017253.tif 000007
【図６】
2020017253.tif 000008
【図７】
2020017253.tif 000009
【図８】
2020017253.tif 000010
【図９】
2020017253.tif 000011
【図１０】
2020017253.tif 000012
【図１１】
2020017253.tif 000013
【図１２】
2020017253.tif 000014
【図１３】
2020017253.tif 000015
【図１４】
2020017253.tif 000016
【図１５】
2020017253.tif 000017
【図１６】
2020017253.tif 000018
【図１７】
2020017253.tif 000019
【図１８】
2020017253.tif 000020
【図１９】
2020017253.tif 000021
【図２０】
2020017253.tif 000022
【図２１】
2020017253.tif 000023
【図２２】
2020017253.tif 000024
【図２３】
2020017253.tif 000025
【図２４】
2020017253.tif 000026