(57)【要約】【課題】陳列された商品の配列情報である棚割情報の生成において、棚割画像からの商品及び値段の認識の誤りを低減して、取得される棚割情報の精度を向上させる。【解決手段】棚割情報生成装置１０は、販売に供するために配列された商品の商品画像及び値札画像を含む棚割画像を取得する取得部１１と、商品画像に基づいて商品を認識する商品認識部１２と、値札画像に基づいて値段を認識する値札認識部１３と、認識された商品に関連づけられた値段を、商品情報を参照して取得する商品情報取得部１４と、認識された値段が、商品情報取得部１４により取得された商品の値段に該当するか否かを判定する判定部１５と、値札認識部１３により認識された値段が商品の値段に該当すると判定部により判定された場合に、認識された値段と商品とを関連づけて棚割情報として出力する出力部１６と、を備える。【選択図】図１
2020119381.tif 000002
【特許請求の範囲】
【請求項１】
陳列された商品の配列情報である棚割情報を生成する棚割情報生成装置であって、
棚割画像を取得する取得部であって、前記棚割画像は、販売に供するために配列された商品の画像であって、各商品が表された商品画像及び各商品の値段が表示された値札画像を含む、取得部と、
前記商品画像に基づいて商品を認識する商品認識部と、
前記商品認識部により認識された商品と所定の関係を有する前記値札画像に基づいて商品の値段を認識する値札認識部と、
商品に関連付けられた該商品の値段の情報を含む商品情報に基づいて、前記商品認識部により認識された商品に関連づけられた値段を取得する商品情報取得部と、
前記値札認識部により認識された値段が、前記商品情報取得部により取得された前記商品の値段に該当するか否かを判定する判定部と、
前記値札認識部により認識された値段が前記商品の値段に該当すると前記判定部により判定された場合に、前記値札認識部により認識された値段と前記商品とを関連づけて棚割情報として出力する出力部と、
を備える棚割情報生成装置。
【請求項２】
前記商品認識部は、一の商品画像に対する商品の認識の結果として得られた複数の商品候補ごとに、認識の確からしさを示す商品認識尤度を取得し、
前記値札認識部は、一の値札画像に対する値段の認識の結果として得られた複数の値段候補ごとに、認識の確からしさを示す値段認識尤度を取得し、
前記判定部は、前記商品認識尤度及び前記値段認識尤度の少なくとも一方を用いて判定を実施する、
請求項１に記載の棚割情報生成装置。
【請求項３】
前記判定部は、前記商品情報において前記商品候補に関連付けられた値段に前記値段候補が該当するような、前記値段候補と前記商品候補との組み合わせのうち、前記商品候補の前記商品認識尤度及び前記値段候補の前記値段認識尤度の少なくとも一方を用いて算出された指標値が最も大きい組み合わせを判定し、
前記出力部は、前記判定部により判定された前記組み合わせに含まれる前記値段候補と前記商品候補とを関連付けて棚割情報として出力する、
請求項２に記載の棚割情報生成装置。
【請求項４】
前記値札認識部は、一の前記値札画像に基づいて、商品を識別する識別情報を認識すると共に、各識別情報の認識の確からしさを示す識別情報認識尤度を取得し、
前記判定部は、前記識別情報認識尤度を用いて、当該識別情報により識別される商品に該当する前記商品候補の前記商品認識尤度を補正する、
請求項２または３に記載の棚割情報生成装置。
【請求項５】
前記商品情報は、一の商品に対して関連付けられた複数の値段の情報を含み、
前記商品情報取得部は、前記商品認識部により認識された商品に関連づけられた値段を複数取得し、
前記判定部は、前記値札認識部により認識された値段が、前記商品情報取得部により取得された複数の値段により示される値段範囲に該当するか否かを判定し、
前記出力部は、前記値札認識部により認識された値段が前記値段範囲に該当すると前記判定部により判定された場合に、前記値札認識部により認識された値段と前記商品とを関連づけて棚割情報として出力する、
請求項１〜４のいずれか一項に記載の棚割情報生成装置。
【請求項６】
前記商品情報は、当該商品に対してある値段が設定されていることの尤度を表す値段尤度情報を、当該商品の値段の情報として有し、
前記商品情報取得部は、前記商品認識部により認識された商品の値段に関する値段尤度情報を取得し、
前記判定部は、前記値段尤度情報を用いて算出された、前記値札認識部により認識された値段の尤度をさらに用いて、前記値札認識部により認識された値段が、前記商品情報取得部により取得された商品の値段に該当するか否かを判定する、
請求項１〜４のいずれか一項に記載の棚割情報生成装置。
【請求項７】
前記値札認識部は、前記商品認識部により認識された前記商品の商品画像から前記棚割画像において所定の距離以内に位置している値札画像に基づいて、前記商品の値段を認識する、
請求項１〜６のいずれか一項に記載の棚割情報生成装置。
【請求項８】
前記値札認識部は、前記値札画像に基づいて前記商品を識別する識別情報が認識可能である場合には、前記商品認識部により認識された商品を識別する識別情報を有する値札画像に基づいて、前記商品の値段を認識する、
請求項１〜７のいずれか一項に記載の棚割情報生成装置。
【請求項９】
前記商品認識部は、前記棚割画像に含まれる複数の商品画像に基づいて、各商品画像の商品を認識し、
前記値札認識部は、前記各商品画像に対応する値札画像に基づいて、各商品画像のそれぞれに対応する商品の値段を認識し、
前記商品情報取得部は、同一の商品であることが認識された複数の商品画像のそれぞれに対応する値札画像の値段を取得し、前記取得した複数の値段の分布に基づいて所定の統計的手法により算出された値段を、前記同一の商品として認識された商品に関する前記商品情報として取得する、
請求項１〜８のいずれか一項に記載の棚割情報生成装置。
【請求項１０】
コンピュータを、商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置として機能させるための棚割情報生成プログラムであって、
前記コンピュータに、
棚割画像を取得する取得機能であって、前記棚割画像は、販売に供するために配列された商品の画像であって、各商品が表された商品画像及び各商品の値段が表示された値札画像を含む、取得機能と、
前記商品画像に基づいて商品を認識する商品認識機能と、
前記商品認識機能により認識された商品と所定の関係を有する前記値札画像に基づいて商品の値段を認識する値札認識機能と、
商品に関連付けられた該商品の値段の情報を含む商品情報に基づいて、前記商品認識機能により認識された商品に関連づけられた値段を取得する商品情報取得機能と、
前記値札認識機能により認識された値段が、前記商品情報取得機能により取得された前記商品の値段に該当するか否かを判定する判定機能と、
前記値札認識機能により認識された値段が前記商品の値段に該当すると前記判定部により判定された場合に、前記値札認識機能により認識された値段と前記商品とを関連づけて棚割情報として出力する出力機能と、
を実現させる棚割情報生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、棚割情報生成装置及び棚割情報生成プログラムに関する。
【背景技術】
【０００２】
商品の陳列棚等を撮像した画像である棚割画像から商品を認識して、各棚に配列されている商品及び商品の値段の情報を含む、いわゆる棚割情報を取得することが行われている。例えば、陳列棚を含む画像から認識された商品と、商品の指定位置に関する情報に基づいて、商品陳列状態を表す棚割情報を生成する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２２４８３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
棚割画像に基づく棚割情報の生成では、棚割画像に対する画像認識処理により商品及び値段を認識するので、その認識に誤りが生じうる。これに対して、認識の誤りを修正できることが求められている。また、画像からの認識が誤りなく実施されることを前提として、陳列棚等に配列された商品及び値札等の、正当な商品及び値札の配列に対する正誤を判定する技術は存在するが、このような技術では、当然ながら、画像からの認識の誤りは修正されない。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、陳列された商品の配列情報である棚割情報の生成において、棚割画像からの商品及び値段の認識の誤りを低減して、取得される棚割情報の精度を向上することが可能な棚割情報生成装置及び棚割情報生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一形態に係る棚割情報生成装置は、陳列された商品の配列情報である棚割情報を生成する棚割情報生成装置であって、棚割画像を取得する取得部であって、棚割画像は、販売に供するために配列された商品の画像であって、各商品が表された商品画像及び各商品の値段が表示された値札画像を含む、取得部と、商品画像に基づいて商品を認識する商品認識部と、商品認識部により認識された商品と所定の関係を有する値札画像に基づいて商品の値段を認識する値札認識部と、商品に関連付けられた該商品の値段の情報を含む商品情報に基づいて、商品認識部により認識された商品に関連づけられた値段を取得する商品情報取得部と、値札認識部により認識された値段が、商品情報取得部により取得された商品の値段に該当するか否かを判定する判定部と、値札認識部により認識された値段が商品の値段に該当すると判定部により判定された場合に、値札認識部により認識された値段と商品とを関連づけて棚割情報として出力する出力部と、を備える。
【０００７】
また、本発明の一形態に係る棚割情報生成プログラムは、コンピュータを、商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置として機能させるための棚割情報生成プログラムであって、コンピュータに、棚割画像を取得する取得機能であって、棚割画像は、販売に供するために配列された商品の画像であって、各商品が表された商品画像及び各商品の値段が表示された値札画像を含む、取得機能と、商品画像に基づいて商品を認識する商品認識機能と、商品認識機能により認識された商品と所定の関係を有する値札画像に基づいて商品の値段を認識する値札認識機能と、商品に関連付けられた該商品の値段の情報を含む商品情報に基づいて、商品認識機能により認識された商品に関連づけられた値段を取得する商品情報取得機能と、値札認識機能により認識された値段が、商品情報取得機能により取得された商品の値段に該当するか否かを判定する判定機能と、値札認識機能により認識された値段が商品の値段に該当すると判定部により判定された場合に、値札認識機能により認識された値段と商品とを関連づけて棚割情報として出力する出力機能と、を実現させる。
【０００８】
上記の形態によれば、取得された棚割画像に含まれる商品画像及び値札画像のそれぞれから商品及び値段が認識され、認識された商品に予め関連付けられた値段に、認識された値段が該当するか否かが判定される。該当すると判定された場合には、商品の認識及び値段の認識が共に妥当である可能性が高いので、該当すると判定された商品と値段とを関連づけて出力することにより精度が高い棚割情報を生成できる。
【発明の効果】
【０００９】
陳列された商品の配列情報である棚割情報の生成において、棚割画像からの商品及び値段の認識の誤りを低減して、取得される棚割情報の精度を向上することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の棚割情報生成装置の機能的構成を示すブロック図である。
【図２】棚割情報生成装置のハードブロック図である。
【図３】棚割画像の例を示す図である。
【図４】棚割画像からの商品画像及び値札画像の抽出並びに商品画像及び値札画像のそれぞれからの商品及び値段の認識の例を模式的に示す図である。
【図５】商品と商品の値段とを関連付けた商品情報の例を示す図である。
【図６】商品及び値段の認識に基づく商品の値段の抽出、及び指標値の算出の例を示す図である。
【図７】商品及び値段の認識に基づく商品の値段の抽出、指標値の算出、及び認識された値段が認識された商品の値段に該当するか否かの判定の例を示す図である。
【図８】商品及び値段の認識に基づく商品の値段の抽出、指標値の算出、及び認識された値段が認識された商品の値段に該当するか否かの判定の例を示す図である。
【図９】商品情報に含まれる商品の値段の情報に基づく値段尤度情報の取得の例を示す図である。
【図１０】商品及び値段の認識に基づく商品の値段の抽出、指標値の算出、及び認識された値段が認識された商品の値段に該当するか否かの判定の例を示す図である。
【図１１】棚割画像からの商品画像及び値札画像の抽出、商品画像からの商品の認識、並びに、値札画像からの値段及び商品名の認識の例を模式的に示す図である。
【図１２】値札画像からの商品名の認識の尤度を用いた、商品の認識の尤度の補正の例を示す図である。
【図１３】本実施形態の棚割情報生成方法の処理内容を示すフローチャートである。
【図１４】本実施形態の棚割情報生成方法の処理内容を示すフローチャートである。
【図１５】棚割情報生成プログラムの構成を示す図である。
【発明を実施するための形態】
【００１１】
本発明に係る棚割情報生成装置の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１２】
図１は、本実施形態に係る棚割情報生成装置１０を含む棚割情報生成システム１の機能的構成を示す図である。棚割情報生成装置１０は、陳列された商品の配列情報である棚割情報を生成する装置である。
【００１３】
図１に示すように、棚割情報生成システム１は、棚割情報生成装置１０、撮像／表示装置２０、商品情報記憶部３０及び棚割情報記憶部４０を含む。
【００１４】
棚割情報生成システム１は、１つの装置として構成されてもよいし、棚割情報生成装置１０、撮像／表示装置２０、商品情報記憶部３０及び棚割情報記憶部４０のうちの一つまたは複数がそれぞれ一つの装置を構成してもよい。一例としては、撮像／表示装置２０が一つの端末として構成され、棚割情報生成装置１０、商品情報記憶部３０及び棚割情報記憶部４０がサーバにより構成されてもよい。また、他の一例としては、棚割情報生成装置１０及び撮像／表示装置２０が一つの端末として構成されてもよい。商品情報記憶部３０及び棚割情報記憶部４０の各記憶部は、棚割情報生成装置１０からアクセス可能に構成されていればいかなる態様の装置で構成されてもよい。撮像／表示装置２０が一つの端末として構成される場合には、撮影者が商品の陳列棚を撮影しながら表示画面を参照して、画像認識を通して生成された棚割情報を参照できる。また、ディスプレイ（表示装置）２２のみで構成される端末の例では、実店舗ではなくオフィス等においてオペレータ等が画像認識により生成された棚割情報の確認及び修正するという運用が想定される。
【００１５】
本実施形態では、撮像／表示装置２０を構成する端末、または、棚割情報生成装置１０及び撮像／表示装置２０を構成する端末は、例えば、高機能携帯電話機（スマートフォン）や携帯電話機などの携帯端末として構成される。
【００１６】
図１に示すように、棚割情報生成装置１０は、機能的には、取得部１１、商品認識部１２、値札認識部１３、商品情報取得部１４、判定部１５及び出力部１６を備える。また、撮像／表示装置２０は、撮像装置としてのカメラ２１及び表示装置としてのディスプレイ２２を備える。これらの各機能部については後に詳述する。
【００１７】
なお、図１に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【００１８】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting  unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
【００１９】
例えば、本発明の一実施の形態における棚割情報生成装置１０は、コンピュータとして機能してもよい。図２は、本実施形態に係る棚割情報生成装置１０のハードウェア構成の一例を示す図である。棚割情報生成装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
【００２０】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。棚割情報生成装置１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【００２１】
棚割情報生成装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
【００２２】
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central  Processing  Unit）で構成されてもよい。例えば、図１に示した各機能部１１〜１６などは、プロセッサ１００１で実現されてもよい。
【００２３】
また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、棚割情報生成装置１０の各機能部１１〜１６は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【００２４】
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read  Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random  Access  Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る棚割情報生成方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【００２５】
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact  Disc  ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。
【００２６】
通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【００２７】
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
【００２８】
また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
【００２９】
また、棚割情報生成装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＰＬＤ（Programmable  Logic  Device）、ＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
【００３０】
再び図１を参照して、棚割情報生成装置１０の各機能部について説明する。取得部１１は、棚割画像を取得する。棚割画像は、販売に供するために配列された商品の画像であって、各商品が表された商品画像及び各商品の値段が表示された値札画像を含む。具体的には、棚割画像は、例えば、店舗等における商品の陳列棚及び自動販売機を撮像した画像である。
【００３１】
図３は、取得部１１により取得された商品の陳列棚の棚割画像ＰＭ０の例を示す図である。具体的には、カメラ２１により商品の陳列棚が撮像されると、取得部１１は、カメラ２１により撮像された画像を棚割画像として取得する。図３に示すように、棚割画像ＰＭ０は、商品棚、各棚に配列された複数の商品及び各商品の値札を表す。即ち、棚割画像は、各商品が表された商品画像及び各商品の値段が表示された値札画像を含む。
【００３２】
商品認識部１２は、商品画像に基づいて商品を認識する。具体的には、商品認識部１２は、取得部１１により取得された棚割画像から、商品が表された商品画像を検出する。商品認識部１２は、棚割画像に対して、例えば、周知のエッジ検出等の手法を用いることにより抽出した物体を、商品を表す商品画像として認識する。また、商品認識部１２は、例えば周知のディープラーニング等の手法により、商品の形状を商品ごとに予め学習しておき、学習したデータを用いて、棚割画像から商品画像を検出する。棚割画像からの商品画像の検出に用いられる手法は、上記の例に限定されず、各商品画像を検出できればいかなる手法であってもよい。
【００３３】
商品認識部１２は、予め記憶された商品画像に関する情報に基づいて、検出された商品画像により表される商品を認識する。例えば、商品認識部１２は、商品の外観を表す商品外観データに基づいて、商品画像に表される商品を認識してもよい。商品外観データは、一の商品に関しての種々の方向からの外観を表す複数の画像データを含むことができる。
【００３４】
商品認識部１２は、検出された各商品画像に対して、商品外観データを、周知の照合技術により照合することにより、商品画像が表す商品を認識することができる。また、商品の認識は、上記の照合技術等には限定されず、いかなる手法が用いられてもよい。例えば、商品認識部１２は、ディープラーニング等の手法により、予め種々の商品の外観を学習しておき、各商品画像により表される商品を認識することとしてもよい。
【００３５】
値札認識部１３は、値札画像に基づいて、商品の値段を認識する。具体的には、値札認識部１３は、取得部１１により取得された棚割画像から、各商品の値段が表示された値札画像を検出する。例えば、値札認識部１３は、例えば、周知のエッジ検出等の手法により、値札を表す領域である可能性が高い方形領域を棚割画像から抽出する。また、値札認識部１３は、例えば、周知のディープラーニング等の手法により値札の形状を予め学習しておき、学習したデータを用いて、棚割画像から値札画像を検出してもよい。棚割画像からの値札画像の検出に用いられる手法は、上記の例に限定されず、各値札画像を検出できればいかなる手法であってもよい。
【００３６】
値札認識部１３は、検出した値札画像から、商品の値段を認識する。具体的には、値札認識部１３は、例えば、周知の画像からの文字認識技術を用いて、値札画像から値段を認識する。
【００３７】
図４は、棚割画像からの商品画像及び値札画像の抽出並びに商品画像及び値札画像のそれぞれからの商品及び値段の認識の例を模式的に示す図である。図４では、取得部１１により取得された棚割画像の一部分の棚割画像ｐｍ１に基づく商品及び値段の認識の例が示されている。
【００３８】
商品認識部１２は、棚割画像ｐｍ１から商品画像ｐｍ１１を検出する。また、値札認識部１３は、商品認識部１２により認識された商品と所定の関係を有する値札画像を抽出してもよい。図４に示す例では、値札認識部１３は、商品認識部１２により認識された商品画像ｐｍ１１から棚割画像において所定の距離以内に位置している値札画像ｐｍ１２を抽出する。
【００３９】
本実施形態では、棚割画像において、商品の値札は、対応する商品に近接して配置されている可能性が高いことに鑑みて、値札認識部１３は、認識された商品の商品画像から所定の距離以内に位置している値札画像を抽出し、抽出した値札画像に基づいて値段を認識する。これにより、商品画像から認識された商品と対応関係にある可能性が高い値札画像から値段が認識されることとなる。
【００４０】
また、値札画像に基づいて商品を識別する識別情報（例えば、商品名）が認識可能である場合には、値札認識部１３は、商品認識部１２により認識された商品を識別する識別情報を有する値札画像を抽出して、抽出した値札画像に基づいて値段を認識してもよい。この場合には、商品画像から認識された商品と対応関係にある可能性が高い値札画像から値段を認識することが可能となる。
【００４１】
図４に示すように、商品認識部１２は、商品画像ｐｍ１１に基づいて商品を認識し、認識した商品候補の商品名を含む商品認識結果ｒａ０１を出力する。また、商品認識部１２は、認識の確からしさを示す商品認識尤度を商品候補毎に取得する。図４に示す例では、商品認識結果ｒａ０１は、商品候補の商品名として、「ドリンクＡ  ５００ｍｌ」、「ドリンクＡ  １．０Ｌ」、「ドリンクＣ  ５００ｍｌ」を含み、各商品候補にはそれぞれ、商品認識尤度「０．６」、「０．２」、「０．１」が関連付けられている。
【００４２】
また、図４に示すように、値札認識部１３は、値札画像ｐｍ１２に基づいて値段を認識し、認識した値段候補を含む値段認識結果ｒｂ０１を出力する。また、値札認識部１３は、認識の確からしさを示す値段認識尤度を値段候補毎に取得する。図４に示す例では、値段認識結果ｒｂ０１は、値段候補として、「１２０」、「１２００」、「１４０」を含み、各値段候補にはそれぞれ、値段認識尤度「０．８」、「０．１」、「０．０５」が関連付けられている。
【００４３】
再び図１を参照して、商品情報取得部１４は、商品に関連付けられた当該商品の値段の情報を含む商品情報に基づいて、商品認識部１２により認識された商品に関連づけられた値段を取得する。本実施形態では、商品情報は、商品情報記憶部３０に記憶されており、商品情報取得部１４は、商品とその商品の値段とを予め関連付けている商品情報を参照して、商品認識部１２により認識された商品に関連づけられた値段を取得する。
【００４４】
図５は、商品情報記憶部３０に記憶されている商品情報の例を示す図である。本実施形態における商品情報ｐｄ１は、どのような商品が、どのような時期に、どのような値段で販売されていたかを示す情報を含み、商品名、日付及び値段を関連付けて含んでいる。図５に示されるように、商品情報ｐｄ１は、例えば、「商品名：ドリンクＡ  ３５０ｍｌ、日付：２０１８／１／１、値段：１１０」という商品情報を含んでいる。
【００４５】
商品情報取得部１４は、例えば、商品認識部１２により認識された商品の商品名が「ドリンクＡ  ３５０ｍｌ」である場合には、商品情報ｐｄ１を参照して、商品名「ドリンクＡ  ３５０ｍｌ」に関連付けられた全ての値段を取得する。
【００４６】
なお、本実施形態では、商品情報取得部１４は、商品情報記憶部３０において、商品とその商品の値段とを予め関連付けている記憶されている商品情報を参照して、商品認識部１２により認識された商品に関連づけられた値段を取得することとしているが、そのような例には限定されない。例えば、棚割画像の取得時または取得前等において、商品（商品名）とその商品の値段とを関連付けた商品情報がユーザにより棚割情報生成装置１０に対して入力された場合には、商品情報取得部１４は、ユーザにより入力された商品情報に基づいて、商品認識部１２により認識された商品に関連づけられた値段を取得することとしてもよい。
【００４７】
また、商品情報取得部１４は、以下の第１〜第３の３工程により、商品認識部１２により認識された商品に関連づけられた値段を取得することとしてもよい。即ち、第１工程として、商品認識部１２は、取得部１１により取得された棚割画像に含まれる複数の商品画像に基づいて、各商品画像の商品（商品名）を認識する。第２工程として、値札認識部１３は、各商品画像に対応する値札画像（例えば、各商品画像と所定の位置関係を有する値札画像、各商品画像の最も近くに位置する値札画像等）に基づいて、各商品画像に対応する商品の値段を認識する。第３工程として、商品情報取得部１４は、同一の商品であることが認識された複数の商品画像のそれぞれに対応する値札画像の値段を取得し、取得した値段の分布に対する種々の統計的手法により、当該商品の値段を算出する。
【００４８】
商品情報取得部１４は、例えば、取得した複数の値段のうち、最も多く含まれる値段を抽出して、抽出した値段を当該商品に関連付けられた値段として取得してもよい。また、商品情報取得部１４は、取得した複数の値段の平均の値段を当該商品に関連付けられた値段として取得してもよい。また、商品情報取得部１４は、当該同一の商品の値段として尤もらしい値段を算出可能であれば、その他の種々の既知の統計的手法を採用して、取得した複数の値段に基づいて当該商品に関連付けられた値段を取得してもよい。
【００４９】
判定部１５は、値札認識部１３により認識された値段が、商品情報取得部１４により取得された商品の値段に該当するか否かを判定する。商品情報取得部１４により取得された商品の値段は、即ち、商品認識部１２により認識された商品の値段である。出力部１６は、値札認識部１３により認識された値段が、商品情報取得部１４により取得された商品の値段に該当すると判定された場合に、値札認識部１３により認識された値段と商品認識部１２により認識された商品とを関連付けて棚割情報として出力する。また、判定部１５は、商品認識尤度及び値段認識尤度の少なくとも一方を用いて判定を実施してもよい。
【００５０】
判定部１５は、判定のために、商品候補の商品認識尤度及び値段候補の値段認識尤度の少なくとも一方を用いて指標値を算出してもよい。判定部１５は、商品情報において商品候補に関連付けられた値段に値段候補が該当するような商品候補と値段候補との組み合わせのうち、認識結果として最も確からしい商品候補と値段候補との組み合わせを判定するために指標値を算出する。
【００５１】
図６は、商品及び値段の認識に基づく商品の値段の抽出、及び指標値の算出の例を模式的に示す図である。図６に示されるように、商品認識部１２は、複数の商品候補を含む商品認識結果ｒａ１１を出力する。商品認識結果ｒａ１１に含まれる各商品候補は、商品候補の商品名及び商品認識尤度を含む。また、値札認識部１３は、複数の値段候補を含む値段認識結果ｒｂ１１を含む。値段認識結果ｒｂ１１に組まれる各値段候補には、値段認識尤度が関連付けられている。
【００５２】
判定部１５は、商品情報において各商品候補の商品に関連付けられていた値段の情報を取得し、取得した値段情報が関連付けられた商品認識結果ｒａ１２を生成する。そして、判定部１５は、商品候補と値段候補との組み合わせにおける認識の確からしさを示す指標値を算出する。図６に示す例では、判定部１５は、判定結果ｒａ１３に示されるように、例えば、商品候補の商品認識尤度と値段候補の値段認識尤度との積を算出することにより指標値を得る。具体的には、判定部１５は、商品候補「ドリンクＡ  ５００ｍｌ」の商品認識尤度「０．６」と値段候補「１２０」の値段認識尤度「０．８」との積を算出し、それらの商品候補及び値段候補の組み合わせとしての確からしさを示す指標値「０．４８」を得る。
【００５３】
なお、本実施形態では、指標値は、商品認識尤度と値段認識尤度との積により算出されることとしているが、これらの尤度の値の大きさが指標値に反映されるのであれば、積には限定されない。例えば、指標値は、商品認識尤度と値段認識尤度との和であってもよいし、それらの尤度を変数とする関数により算出されることとしてもよいし、商品認識尤度の２乗に値段認識尤度を乗じた値としてもよい。
【００５４】
図７は、商品及び値段の認識に基づく商品の値段の抽出、指標値の算出、及び認識された値段が認識された商品の値段に該当するか否かの判定の例を示す図である。図７に示されるように、商品認識部１２は、複数の商品候補を含む商品認識結果ｒａ２１を出力する。商品認識結果ｒａ２１に含まれる各商品候補は、商品候補の商品名及び商品認識尤度を含む。また、値札認識部１３は、複数の値段候補を含む値段認識結果ｒｂ２１を含む。値段認識結果ｒｂ２１に組まれる各値段候補には、値段認識尤度が関連付けられている。
【００５５】
図７に示す例では、商品情報において、一の商品（商品候補）に対して複数の値段の情報が関連付けられており、商品情報取得部１４は、各商品候補に対して複数の値段の情報を取得したこととする。このような場合には、判定部１５は、各商品候補に関連付けられた複数の値段の情報に基づく値段範囲を取得し、取得した値段範囲が各商品候補に関連付けられた商品認識結果ｒａ２２を生成する。
【００５６】
そして、判定部１５は、判定結果ｒａ２３に示されるように、判定結果商品候補と値段候補との組み合わせにおける認識の確からしさを示す指標値を算出すると共に、値札認識部１３により認識された値段が、対応する商品候補の値段範囲に該当するか否かを判定する。
【００５７】
図７に示す例では、判定部１５は、商品候補「ドリンクＡ  ５００ｍｌ」の商品認識尤度「０．６」と値段候補「１２０」の値段認識尤度「０．８」との積を算出し、それらの商品候補及び値段候補の組み合わせとしての確からしさを示す指標値「０．４８」を得る。それと共に、判定部１５は、値段候補「１２０」が値段範囲「９８−１３８」に該当するか否かを判定し、その判定結果「１」を得る。
【００５８】
また、判定部１５は、商品候補「ドリンクＡ  １．０Ｌ」の商品認識尤度「０．２」と値段候補「１２０」の値段認識尤度「０．８」との積を算出し、それらの商品候補及び値段候補の組み合わせとしての確からしさを示す指標値「０．１６」を得る。それと共に、判定部１５は、値段候補「１２０」が値段範囲「１２５−１６０」に該当するか否かを判定し、その判定結果「０」を得る。
【００５９】
出力部１６は、値札認識部１３により認識された値段が値段範囲に該当する組み合わせであって、指標値が最も大きい組み合わせに含まれる商品候補と値段候補とを関連付けて棚割情報として出力する。判定結果ｒａ２３に示される商品候補と値段候補との組み合わせの例では、出力部１６は、商品候補「ドリンクＡ  ５００ｍｌ」と値段候補「１２０」とを関連付けて棚割情報として出力する。
【００６０】
図８は、商品及び値段の認識に基づく商品の値段の抽出、指標値の算出、及び認識された値段が認識された商品の値段に該当するか否かの判定の例を示す図である。図８に示されるように、商品認識部１２は、複数の商品候補を含む商品認識結果ｒａ３１を出力する。商品認識結果ｒａ３１に含まれる各商品候補は、商品候補の商品名及び商品認識尤度を含む。また、値札認識部１３は、複数の値段候補を含む値段認識結果ｒｂ３１を含む。値段認識結果ｒｂ３１に組まれる各値段候補には、値段認識尤度が関連付けられている。
【００６１】
図７における値段認識結果ｒｂ２１では、値段「１２０」の値段認識尤度が０．８であり、値段「１２００」の値段認識尤度が０．１であったのに対して、図８における値段認識結果ｒｂ３１では、値段「１２００」の値段認識尤度が０．８であり、値段「１２０」の値段認識尤度が０．１となっている。
【００６２】
図８に示す例では、図７の例と同様に、商品情報取得部１４により、各商品候補に対して複数の値段の情報が取得される。判定部１５は、各商品候補に関連付けられた複数の値段の情報に基づく値段範囲を取得し、取得した値段範囲が各商品候補に関連付けられた商品認識結果ｒａ３２を生成する。そして、判定部１５は、判定結果ｒａ３３に示されるように、判定結果商品候補と値段候補との組み合わせにおける認識の確からしさを示す指標値を算出すると共に、値札認識部１３により認識された値段が、対応する商品候補の値段範囲に該当するか否かを判定する。
【００６３】
図８に示す例では、判定部１５は、商品候補「ドリンクＡ  ５００ｍｌ」の商品認識尤度「０．６」と値段候補「１２００」の値段認識尤度「０．８」との積を算出し、それらの商品候補及び値段候補の組み合わせとしての確からしさを示す指標値「０．４８」を得る（判定結果ｒａ３３の１行目）。それと共に、判定部１５は、値段候補「１２００」が値段範囲「９８−１３８」に該当するか否かを判定し、その判定結果「０」を得る。
【００６４】
また、判定部１５は、商品候補「ドリンクＡ  ５００ｍｌ」の商品認識尤度「０．６」と値段候補「１２０」の値段認識尤度「０．１」との積を算出し、それらの商品候補及び値段候補の組み合わせとしての確からしさを示す指標値「０．０６」を得る（判定結果ｒａ３３の４行目）。それと共に、判定部１５は、値段候補「１２０」が値段範囲「９８−１３８」に該当するか否かを判定し、その判定結果「１」を得る。
【００６５】
出力部１６は、値札認識部１３により認識された値段が値段範囲に該当する組み合わせであって、指標値が最も大きい組み合わせに含まれる商品候補と値段候補とを関連付けて棚割情報として出力する。判定結果ｒａ３３に示される商品候補と値段候補との組み合わせの例では、出力部１６は、商品候補「ドリンクＡ  ５００ｍｌ」と値段候補「１２０」とを関連付けて棚割情報として出力する。
【００６６】
次に、商品の値段を示す商品情報が、当該商品に対してある値段が設定されていることの尤度を表す値段尤度情報として得られる場合の例について説明する。図９は、商品情報に含まれる商品の値段の情報に基づく値段尤度情報の取得の例を示す図である。商品情報取得部１４は、商品情報ｐｄ２を取得する。商品情報ｐｄ２は、図５と同様に、どのような商品が、どのような時期に、どのような値段で販売されていたかを示す情報を含み、商品名、日付及び値段を関連付けて含んでいる。
【００６７】
判定部１５は、商品情報ｐｄ２を参照して、例えば、商品「ドリンクＡ  ３５０ｍｌ」に関連付けられた複数の値段の情報に基づいて、各値段のヒストグラムｐｄ３を生成できる。さらに、判定部１５は、商品「ドリンクＡ  ３５０ｍｌ」の各値段の尤度を表す尤度関数を、値段尤度情報ｐｄ４として出力する。即ち、値段尤度情報ｐｄ４の一例は、各値段の確率分布であって、値段を変数として尤度を出力とする関数として表される。
【００６８】
図１０は、商品及び値段の認識に基づく商品の値段の抽出、指標値の算出、及び認識された値段が認識された商品の値段に該当するか否かの判定の例を示す図である。図１０に示す例では、商品の値段は、値段尤度情報により表される。
【００６９】
図１０に示されるように、商品認識部１２は、複数の商品候補を含む商品認識結果ｒａ４１を出力する。商品認識結果ｒａ３１に含まれる各商品候補は、商品候補の商品名及び商品認識尤度を含む。また、値札認識部１３は、複数の値段候補を含む値段認識結果ｒｂ４１を含む。値段認識結果ｒｂ４１に組まれる各値段候補には、値段認識尤度が関連付けられている。
【００７０】
図１０に示す例では、商品情報取得部１４により、各商品候補に対して複数の値段の情報が取得される。そして、判定部１５は、各商品に対して複数取得された値段に基づいて、商品ごとに、値段の尤度関数からなる値段尤度情報を取得する。判定部１５は、取得した値段尤度情報が各商品候補に関連付けられた商品認識結果ｒａ４２を生成する。商品認識結果ｒａ４２において、例えば、商品候補「ドリンクＡ  １．０Ｌ」には、尤度関数「尤度＝ｆ１（値段）」が値段尤度情報として関連付けられている。
【００７１】
そして、判定部１５は、判定結果ｒａ４３に示されるように、判定結果商品候補と値段候補との組み合わせにおける認識の確からしさを示す指標値を算出すると共に、値札認識部１３により認識された値段の尤度を値段尤度情報に基づいて算出する。
【００７２】
判定結果ｒａ４３に示されるように、判定部１５は、商品候補「ドリンクＡ  １．０Ｌ」の商品認識尤度「０．６」と値段候補「１２０」の値段認識尤度「０．８」との積を算出し、それらの商品候補及び値段候補の組み合わせとしての確からしさを示す指標値「０．４８」を得る（判定結果ｒａ４３の１行目）。それと共に、判定部１５は、商品候補「ドリンクＡ  １．０Ｌ」に関連付けられた値段尤度情報「尤度＝ｆ１（値段）」に基づいて、値段候補「１２０」の尤度「０．１０」を算出する。さらに、判定部１５は、指標値「０．４８」に値段の尤度「０．１」を乗じて、判定値「０．０４８」を得る。
【００７３】
同様に、判定部１５は、商品候補「ドリンクＡ  ５００ｍｌ」の商品認識尤度「０．２」と値段候補「１２０」の値段認識尤度「０．８」との積を算出し、それらの商品候補及び値段候補の組み合わせとしての確からしさを示す指標値「０．１６」を得る（判定結果ｒａ４３の２行目）。それと共に、判定部１５は、商品候補「ドリンクＡ  ５００ｍｌ」に関連付けられた値段尤度情報「尤度＝ｆ２（値段）」に基づいて、値段候補「１２０」の尤度「０．４０」を算出する。さらに、判定部１５は、指標値「０．１６」に値段の尤度「０．４０」を乗じて、判定値「０．０６４」を得る。
【００７４】
出力部１６は、算出された判定値が最も大きい組み合わせに含まれる商品候補と値段候補とを関連付けて棚割情報として出力する。判定結果ｒａ４３に示される商品候補と値段候補との組み合わせの例では、出力部１６は、商品候補「ドリンクＡ  ５００ｍｌ」と値段候補「１２０」とを関連付けて棚割情報として出力する。
【００７５】
図９及び図１０参照して説明したように、例えば商品情報が、複数の店舗及び特定の期間に亘る商品の値段を含むような場合等において、当該商品に対してある値段が設定されていることの尤度を、商品の値段に対する確率分布で表すことができる。かかる場合において、認識された値段の尤度に基づいて、認識された値段が対応する商品の値段に該当するか否かが判定される。従って、認識された値段の妥当性が適切に判定されることとなる。
【００７６】
次に、複数の商品画像及び各商品画像の商品と所定の関係を有する複数の値札画像を含む棚割画像が取得されたときの棚割情報の生成の他の例について説明する。取得部１１により、複数の商品画像及び各商品画像の商品と所定の関係を有する複数の値札画像を含む棚割画像が取得され、商品認識部１２により同一の種類の商品として認識された商品画像が棚割画像に複数含まれる場合に、判定部１５により、同一の種類の商品であることが認識された複数の商品画像のそれぞれに関して、複数の異なる値段がそれぞれの商品画像の商品の値段に該当することが判定される場合がある。このような場合には、出力部１６は、各商品画像の商品の値段に該当すると判定された複数の異なる値段に基づいて統計的に算出された値段を、同一の種類の商品であることが認識された複数の商品画像のそれぞれの棚割情報として出力する。
【００７７】
出力部１６は、例えば、各商品画像の商品の値段に該当すると判定された複数の異なる値段のうち最も多く含まれる値段である最頻値段を、同一の種類の商品であることが認識された複数の商品画像のそれぞれの棚割情報として出力する。最頻値段は、同一の種類の商品であることが認識された複数の商品画像の商品の値段として尤もらしい値段であって、その商品の値段に該当する可能性が高い。また、出力部１６は、各商品画像の商品の値段に該当すると判定された複数の異なる値段のそれぞれに対して、各値段に該当すると判定された商品画像の数に基づく重み付けをして算出した平均の値段を、同一の種類の商品であることが認識された複数の商品画像のそれぞれの棚割情報として出力してもよい。また、出力部１６は、同一の種類の商品であることが認識された複数の商品画像の商品の値段として尤もらしい値段を算出可能であれば、その他の種々の既知の統計的手法を採用することができる。
【００７８】
次に、図１１及び図１２を参照して、商品画像に基づく商品の認識に関する商品認識尤度の補正の例について説明する。図１１は、棚割画像からの商品画像及び値札画像の抽出、商品画像からの商品の認識、並びに、値札画像からの値段及び商品名の認識の例を模式的に示す図である。図１１では、取得部１１により取得された棚割画像の一部分の棚割画像ｐｍ２に基づく商品及び値段の認識の例が示されている。
【００７９】
商品認識部１２は、棚割画像ｐｍ２から商品画像ｐｍ２１を検出する。また、値札認識部１３は、商品認識部１２により認識された商品画像ｐｍ２１から棚割画像ｐｍ２において所定の距離以内に位置している値札画像ｐｍ２２を抽出する。
【００８０】
さらに、商品認識部１２は、商品画像ｐｍ２１に基づいて商品を認識し、認識した商品候補の商品名を含む商品認識結果ｒａ０２を出力する。また、商品認識部１２は、認識の確からしさを示す商品認識尤度を商品候補毎に取得する。図１１に示す例では、商品認識結果ｒａ０２は、商品候補の商品名として、「ドリンクＡ  ５００ｍｌ」、「ドリンクＡ  １．０Ｌ」、「ドリンクＣ  ５００ｍｌ」を含み、各商品候補にはそれぞれ、商品認識尤度「０．６」、「０．２」、「０．１」が関連付けられている。
【００８１】
また、値札認識部１３は、値札画像ｐｍ２２に基づいて値段を認識し、認識した値段候補を含む値段認識結果ｒｂ０２を出力する。また、値札認識部１３は、認識の確からしさを示す値段認識尤度を値段候補毎に取得する。図１１に示す例では、値段認識結果ｒｂ０２は、値段候補として、「１２０」、「１４０」、「１２００」を含み、各値段候補にはそれぞれ、値段認識尤度「０．８」、「０．１」、「０．０５」が関連付けられている。
【００８２】
さらに、値札認識部１３は、値札画像ｐｍ２２に基づいて商品を識別する識別情報である商品名を認識し、認識した商品名を含む商品名認識結果ｒｃ０２を出力する。また、値札認識部１３は、値札画像からの商品名の認識の確からしさを示す識別情報認識尤度を商品名毎に取得する。図１１に示す例では、商品名認識結果ｒｃ０２は、商品名候補として、「ドリンクＡ」、「ドリンクａ」、「ドリンクα」を含み、各商品名候補にはそれぞれ、識別情報認識尤度「０．５」、「０．３」、「０．１」が関連付けられている。
【００８３】
図１２は、値札画像からの商品名の認識の尤度を用いた、商品の認識の尤度の補正の例を示す図である。図１２には、図１１を参照して説明した商品認識結果ｒａ０２及び商品名認識結果ｒｃ０２が示されている。判定部１５は、商品情報取得部１４により取得された各商品の値段の情報を商品認識結果ｒａ０２の各商品候補に関連付けて、値段情報が関連付けられた商品認識結果ｒａ５２を生成する。
【００８４】
判定部１５は、商品名認識結果ｒｃ０２に含まれる識別情報認識尤度を用いて、商品名により識別される商品に該当する商品候補の商品認識尤度を補正し、商品認識尤度が補正された商品認識結果ｒａ５３を生成する。
【００８５】
具体的には、判定部１５は、商品「ドリンクＡ  ５００ｍｌ」の商品認識尤度「０．６」に、商品名「ドリンクＡ」の識別情報認識尤度「０．５」を乗じて、補正された商品認識尤度「０．３」を得る（商品認識結果ｒａ５３の１行目）。また、判定部１５は、商品「ドリンクＡ  １．０Ｌ」の商品認識尤度「０．２」に、商品名「ドリンクＡ」の識別情報認識尤度「０．５」を乗じて、補正された商品認識尤度「０．１」を得る（商品認識結果ｒａ５３の２行目）。
【００８６】
なお、商品名「ドリンクＣ」は、商品名認識結果ｒｃ０２に示されるように、値札画像ｐｍ２２に基づいて認識されていないか、または、認識されていたとしても、値段認識尤度の所定の上位ｎ件に含まれない。この場合には、判定部１５は、商品「ドリンクＣ  ５００ｍｌ」の商品認識尤度「０．１」に、識別情報認識尤度「０．０」を乗じて、補正された商品認識尤度「０」を得る（商品認識結果ｒａ５３の３行目）。
【００８７】
判定部１５は、このようにして商品認識尤度が補正された商品名認識結果ｒｃ０２を用いて、図７及び図８等を参照して説明した指標値の算出を実施することができる。このように、取得された識別情報認識尤度に基づいて、商品画像に基づく商品の認識における商品認識尤度が補正されるので、商品の認識の認識結果に対する尤度の精度が向上される。
【００８８】
次に、図１３を参照して、棚割情報生成装置１０における棚割情報生成方法について説明する。図１３は、本実施形態の棚割情報生成方法の処理内容を示すフローチャートである。
【００８９】
ステップＳ１において、取得部１１は、カメラ２１により撮像された、商品が配列された陳列棚の画像を棚割画像として取得する。続くステップＳ２において、商品認識部１２は、取得部１１により取得された棚割画像から、商品が表された商品画像を抽出する。また、値札認識部１３は、棚割画像から、各商品の値段が表示された値札画像を抽出する。
【００９０】
ステップＳ３において、商品認識部１２は、各商品画像から商品（商品候補）を認識する。また、ステップＳ４において、値札認識部１３は、値札画像から、値段（値段候補）を認識する。
【００９１】
ステップＳ５において、判定部１５は、所定の関係を有する商品画像と値札画像とを関連付ける。判定部１５は、例えば、棚割画像において互いに所定の距離以内に位置する商品画像と値札画像とを関連付ける。ステップＳ６において、判定部１５は、全ての商品画像と値札画像との組み合わせについて判定を行ったか否かを判定する。全ての組み合わせについて判定を行ったと判定された場合には、処理はステップＳ１２に進む。一方、全ての組み合わせについて判定を行ったと判定されなかった場合には、処理はステップＳ７に進み、ステップＳ１１までの処理が繰り返される。
【００９２】
ステップＳ７において、判定部１５は、一組の商品画像と値札画像との組み合わせを選択する。ステップＳ８において、商品情報取得部１４は、商品情報記憶部３０に記憶されている商品情報を参照して、商品画像に基づき認識された商品に関連づけられた値段の情報を取得する。
【００９３】
ステップＳ９において、判定部１５は、商品候補と値段候補との組み合わせにおける認識の確からしさを示す指標値を組み合わせごとに算出する。指標値は、例えば、商品認識尤度と値段認識尤度との積として算出される。ステップＳ１０において、判定部１５は、値札画像に基づく値段候補が商品画像に基づいて認識された商品候補に関連付けられた値段に該当するような値段候補と商品候補との組み合わせのうち、ステップＳ９において算出された指標値が最も大きい組み合わせを採用する。
【００９４】
そして、ステップＳ１１において、出力部１６は、ステップＳ１０において採用された組み合わせに含まれる商品候補と値段候補とを関連付けて、ステップＳ７で選択した商品画像と値札画像との組み合わせに関する棚割情報として出力する。
【００９５】
ステップＳ１２において、出力部１６は、棚割画像に表された商品及び値札に関する棚割情報を出力する。出力部１６は、例えば、棚割情報を棚割情報記憶部４０に記憶させたり、ディスプレイ２２に表示させたりすることにより、棚割情報を出力する。
【００９６】
次に、図１４を参照して、棚割情報生成装置１０における棚割情報生成方法の他の例について説明する。図１３は、本実施形態の棚割情報生成方法の処理内容を示すフローチャートである。
【００９７】
ステップＳ２１において、取得部１１は、カメラ２１により撮像された、商品が配列された陳列棚の画像を棚割画像として取得する。続くステップＳ２２において、商品認識部１２は、取得部１１により取得された棚割画像から、商品が表された商品画像を抽出する。また、値札認識部１３は、棚割画像から、各商品の値段が表示された値札画像を抽出する。
【００９８】
ステップＳ２３において、商品認識部１２は、各商品画像から商品（商品候補）を認識する。また、ステップＳ２４において、値札認識部１３は、値札画像から、値段（値段候補）及び商品名を認識する。
【００９９】
ステップＳ２５において、判定部１５は、所定の関係を有する商品画像と値札画像とを関連付ける。判定部１５は、例えば、棚割画像において互いに所定の距離以内に位置する商品画像と値札画像とを関連付ける。ステップＳ２６において、判定部１５は、全ての商品画像と値札画像との組み合わせについて判定を行ったか否かを判定する。全ての組み合わせについて判定を行ったと判定された場合には、処理はステップＳ３３に進む。一方、全ての組み合わせについて判定を行ったと判定されなかった場合には、処理はステップＳ２７に進み、ステップＳ３２までの処理が繰り返される。
【０１００】
ステップＳ２７において、判定部１５は、一組の商品画像と値札画像との組み合わせを選択する。ステップＳ２８において、商品情報取得部１４は、商品情報記憶部３０に記憶されている商品情報を参照して、商品画像に基づき認識された商品に関連づけられた値段の情報を取得する。
【０１０１】
ステップＳ２９において、判定部１５は、値札画像に基づく商品名の認識の尤度（識別情報認識尤度）を用いて、商品画像に基づく商品の認識の尤度（商品認識尤度）を補正する。
【０１０２】
ステップＳ３０において、判定部１５は、商品候補と値段候補との組み合わせにおける認識の確からしさを示す指標値を組み合わせごとに算出する。指標値は、例えば、補正された商品認識尤度と値段認識尤度との積として算出される。
【０１０３】
ステップＳ３１において、判定部１５は、値札画像に基づく値段候補が商品画像に基づいて認識された商品候補に関連付けられた値段に該当するような値段候補と商品候補との組み合わせのうち、ステップＳ３０において算出された指標値が最も大きい組み合わせを採用する。
【０１０４】
そして、ステップＳ３２において、出力部１６は、ステップＳ３１において採用された組み合わせに含まれる商品候補と値段候補とを関連付けて、ステップＳ２７で選択した商品画像と値札画像との組み合わせに関する棚割情報として出力する。
【０１０５】
ステップＳ３３において、出力部１６は、棚割画像に表された商品及び値札に関する棚割情報を出力する。出力部１６は、例えば、棚割情報を棚割情報記憶部４０に記憶させたり、ディスプレイ２２に表示させたりすることにより、棚割情報を出力する。
【０１０６】
次に、コンピュータを、本実施形態の棚割情報生成装置１０として機能させるための棚割情報生成プログラムについて説明する。図１５は、棚割情報生成プログラムＰ１の構成を示す図である。
【０１０７】
棚割情報生成プログラムＰ１は、棚割情報生成装置１０における棚割情報生成処理を統括的に制御するメインモジュールｍ１０、取得モジュールｍ１１、商品認識モジュールｍ１２、値札認識モジュールｍ１３、商品情報取得モジュールｍ１４、判定モジュールｍ１５及び出力モジュールｍ１６を備えて構成される。そして、各モジュールｍ１１〜ｍ１６により、棚割情報生成装置１０における取得部１１、商品認識部１２、値札認識部１３、商品情報取得部１４、判定部１５及び出力部１６のための各機能が実現される。なお、棚割情報生成プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１５に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。
【０１０８】
以上説明した本実施形態の棚割情報生成装置１０、棚割情報生成方法及び棚割情報生成プログラムＰ１では、取得された棚割画像に含まれる商品画像及び値札画像のそれぞれから商品及び値段が認識され、認識された商品に予め関連付けられた値段に、認識された値段が該当するか否かが判定される。該当すると判定された場合には、商品の認識及び値段の認識が共に妥当である可能性が高いので、該当すると判定された商品と値段とを関連づけて出力することにより精度が高い棚割情報を生成できる。
【０１０９】
また、別の形態に係る棚割情報生成装置では、商品認識部は、一の商品画像に対する商品の認識の結果として得られた複数の商品候補ごとに、認識の確からしさを示す商品認識尤度を取得し、値札認識部は、一の値札画像に対する値段の認識の結果として得られた複数の値段候補ごとに、認識の確からしさを示す値段認識尤度を取得し、判定部は、商品認識尤度及び値段認識尤度の少なくとも一方を用いて判定を実施することとしてもよい。
【０１１０】
上記形態によれば、商品認識尤度及び値段認識尤度の少なくとも一方が判定に用いられるので、より妥当である可能性が高い認識に係る商品及び値段を関連付けて出力することが可能となる。
【０１１１】
また、別の形態に係る棚割情報生成装置では、判定部は、商品情報において商品候補に関連付けられた値段に値段候補が該当するような、値段候補と商品候補との組み合わせのうち、商品候補の商品認識尤度及び値段候補の値段認識尤度の少なくとも一方を用いて算出された指標値が最も大きい組み合わせを判定し、出力部は、判定部により判定された組み合わせに含まれる値段候補と商品候補とを関連付けて棚割情報として出力することとしてもよい。
【０１１２】
上記形態によれば、認識された値段候補と商品候補との組み合わせに対して、商品認識尤度及び値段認識尤度の少なくとも一方を用いて算出された指標値が取得され、商品候補の商品に予め商品情報において関連付けられた値段に、対応する値段候補が該当し、且つ指標値が最も大きい組み合わせに含まれる商品候補及び値段候補が、関連付けられて棚割情報として出力される。従って、認識の尤度が高い商品及び値段の組み合わせが棚割情報として出力されるので、棚割情報の精度が向上される。
【０１１３】
また、別の形態に係る棚割情報生成装置では、値札認識部は、一の値札画像に基づいて、商品を識別する識別情報を認識すると共に、各識別情報の認識の確からしさを示す識別情報認識尤度を取得し、判定部は、識別情報認識尤度を用いて、当該識別情報により識別される商品に該当する商品候補の商品認識尤度を補正することとしてもよい。
【０１１４】
上記形態によれば、商品の識別情報を値札画像から認識可能である場合に、識別情報が認識されると共に、その認識の確からしさを示す識別情報認識尤度が取得される。そして、取得された識別情報認識尤度に基づいて、商品画像に基づく商品の認識における商品認識尤度が補正されるので、商品の認識の認識結果に対する尤度の精度が向上される。
【０１１５】
また、別の形態に係る棚割情報生成装置では、商品情報は、一の商品に対して関連付けられた複数の値段の情報を含み、商品情報取得部は、商品認識部により認識された商品に関連づけられた値段を複数取得し、判定部は、値札認識部により認識された値段が、商品情報取得部により取得された複数の値段により示される値段範囲に該当するか否かを判定し、出力部は、値札認識部により認識された値段が値段範囲に該当すると判定部により判定された場合に、値札認識部により認識された値段と商品とを関連づけて棚割情報として出力することとしてもよい。
【０１１６】
上記形態によれば、例えば商品情報が、複数の店舗及び特定の期間に亘る商品の値段を含むような場合等において、認識された商品に関連付けられた値段が複数取得され、取得された複数の値段により示される値段範囲に、認識された値段が該当するか否かが判定される。従って、認識された値段の妥当性が適切に判定される。
【０１１７】
また、別の形態に係る棚割情報生成装置では、商品情報は、当該商品に対してある値段が設定されていることの尤度を表す値段尤度情報を、当該商品の値段の情報として有し、商品情報取得部は、商品認識部により認識された商品の値段に関する値段尤度情報を取得し、判定部は、値段尤度情報を用いて算出された、値札認識部により認識された値段の尤度をさらに用いて、値札認識部により認識された値段が、商品情報取得部により取得された商品の値段に該当するか否かを判定することとしてもよい。
【０１１８】
上記形態によれば、例えば商品情報が、複数の店舗及び特定の期間に亘る商品の値段を含むような場合等において、当該商品に対してある値段が設定されていることの尤度を、商品の値段に対する確率分布で表すことができる。かかる場合において、認識された値段の尤度に基づいて、認識された値段が対応する商品の値段に該当するか否かが判定される。従って、認識された値段の妥当性が適切に判定される。
【０１１９】
また、別の形態に係る棚割情報生成装置では、値札認識部は、商品認識部により認識された商品の商品画像から棚割画像において所定の距離以内に位置している値札画像に基づいて、商品の値段を認識することとしてもよい。
【０１２０】
上記形態によれば、棚割画像において、商品の値札は、対応する商品に近接して配置されている可能性が高いことに鑑みて、認識された商品の商品画像から所定の距離以内に位置している値札画像に基づいて値段が認識される。これにより、商品画像から認識された商品と対応関係にある可能性が高い値札画像から値段が認識されることとなる。
【０１２１】
また、別の形態に係る棚割情報生成装置では、値札認識部は、値札画像に基づいて商品を識別する識別情報が認識可能である場合には、商品認識部により認識された商品を識別する識別情報を有する値札画像に基づいて、商品の値段を認識することとしてもよい。
【０１２２】
上記形態によれば、認識された商品を識別する識別情報を有する値札画像に基づいて値段が認識される。これにより、商品画像から認識された商品と対応関係にある可能性が高い値札画像から値段が認識されることとなる。
【０１２３】
また、別の形態に係る棚割情報生成装置では、商品認識部は、棚割画像に含まれる複数の商品画像に基づいて、各商品画像の商品を認識し、値札認識部は、各商品画像に対応する値札画像に基づいて、各商品画像のそれぞれに対応する商品の値段を認識し、商品情報取得部は、同一の商品であることが認識された複数の商品画像のそれぞれに対応する値札画像の値段を取得し、取得した複数の値段の分布に基づいて所定の統計的手法により算出された値段を、同一の商品として認識された商品に関する商品情報として取得することとしてもよい。
【０１２４】
上記形態によれば、予め商品とその商品の値段とを関連付けた商品情報が取得されない場合であっても、同一の商品であることが認識された複数の商品画像のそれぞれに対応する複数の値段の分布に基づいて、同一の商品として認識された商品の値段の情報を得ることが可能となる。
【０１２５】
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
【０１２６】
本明細書で説明した各態様／実施形態は、ＬＴＥ（Long  Term  Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ  ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future  Radio  Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra  Mobile  Broadband）、ＩＥＥＥ  ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ  ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ  ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
【０１２７】
本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【０１２８】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【０１２９】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【０１３０】
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【０１３１】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【０１３２】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【０１３３】
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
【０１３４】
本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【０１３５】
なお、本開示において説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
【０１３６】
本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
【０１３７】
また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
【０１３８】
本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking  up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【０１３９】
本開示で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【０１４０】
本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【０１４１】
「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
【０１４２】
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
【０１４３】
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
【符号の説明】
【０１４４】
１…棚割情報生成システム、１０…棚割情報生成装置、１１…取得部、１２…商品認識部、１３…値札認識部、１４…商品情報取得部、１５…判定部、１６…出力部、２０…撮像／表示装置、２１…カメラ、２２…ディスプレイ、３０…商品情報記憶部、４０…棚割情報記憶部、Ｍ１…記録媒体、ｍ１０…メインモジュール、ｍ１１…取得モジュール、ｍ１２…商品認識モジュール、ｍ１３…値札認識モジュール、ｍ１４…商品情報取得モジュール、ｍ１５…判定モジュール、ｍ１６…出力モジュール、Ｐ１…棚割情報生成プログラム。
【図１】
2020119381.tif 000003
【図２】
2020119381.tif 000004
【図３】
2020119381.tif 000005
【図４】
2020119381.tif 000006
【図５】
2020119381.tif 000007
【図６】
2020119381.tif 000008
【図７】
2020119381.tif 000009
【図８】
2020119381.tif 000010
【図９】
2020119381.tif 000011
【図１０】
2020119381.tif 000012
【図１１】
2020119381.tif 000013
【図１２】
2020119381.tif 000014
【図１３】
2020119381.tif 000015
【図１４】
2020119381.tif 000016
【図１５】
2020119381.tif 000017