(57)【要約】【課題】簡易な構成で、商品棚上に配置された商品配置状態を精度高く検知することができる商品検知装置を提供すること。【解決手段】複数の透明棚板１０の上面に配置された商品１００を検知する商品検知装置１であって、各透明棚板１０の上面に配置される商品１００の各商品配置領域ＥＡ全体の下面像を、各透明棚板１０の一端側の非商品配置領域ＥＢ１を介して各下面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の光学プリズム１１と、各光学プリズム１１が導出した複数の下面像を１つの全体商品画像として撮像して出力する撮像部１２と、を備える。【選択図】図１
2019098106.tif 000002
【特許請求の範囲】
【請求項１】
複数の透明棚板の上面に配置された商品を検知する商品検知装置であって、
各透明棚板の上面に配置される前記商品の各商品配置領域全体の下面像を、各透明棚板の一端側の非商品配置領域を介して各下面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の下面光学系と、
各下面光学系が導出した複数の下面像を１つの全体商品画像として撮像して出力する撮像部と、
を備えたことを特徴とする商品検知装置。
【請求項２】
複数の透明棚板の上面に配置された商品を検知する商品検知装置であって、
下段の各透明棚板の上面に配置される前記商品の各商品配置領域全体の上面像を、各透明棚板の一端側の非商品配置領域を介して各上面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の上面光学系と、
各上面光学系が導出した複数の上面像を１つの全体商品画像として撮像して出力する撮像部と、
を備えたことを特徴とする商品検知装置。
【請求項３】
複数の透明棚板の上面に配置された商品を検知する商品検知装置であって、
各透明棚板の上面に配置される前記商品の各商品配置領域全体の下面像を、各透明棚板の一端側の非商品配置領域を介して各下面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の下面光学系と、
下段の各透明棚板の上面に配置される前記商品の各商品配置領域全体の上面像を、各透明棚板の他端側の非商品配置領域を介して各上面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の上面光学系と、
各下面光学系が導出した複数の下面像と各上面光学系が導出した複数の上面像とを１つの全体商品画像として撮像して出力する撮像部と、
を備えたことを特徴とする商品検知装置。
【請求項４】
前記複数の下面光学系及び／または前記複数の上面光学系は、各透明棚板の下面及び／または上面に配置された光学プリズムであり、
各光学プリズムは、各下面像及び／または各上面像を前記一端側及び／または他端側の非商品配置領域側に導出し、さらに各下面像及び／または各上面像を前記一端側及び／または他端側の非商品配置領域から各透明棚板に垂直な上方または下方に導出することを特徴とする請求項１〜３のいずれか一つに記載の商品検知装置。
【請求項５】
前記複数の下面光学系及び／または前記複数の上面光学系は、各透明棚板の下面及び／または上面に配置されたミラーであり、
各ミラーは、各下面像及び／または各上面像を前記一端側及び／または他端側の非商品配置領域側に導出し、さらに各下面像及び／または各上面像を前記一端側及び／または他端側の非商品配置領域から各透明棚板に垂直な上方または下方に導出することを特徴とする請求項１〜３のいずれか一つに記載の商品検知装置。
【請求項６】
前記複数の下面光学系及び／または前記複数の上面光学系は、各透明棚板であることを特徴とする請求項１〜３のいずれか一つに記載の商品検知装置。
【請求項７】
前記透明棚板の非商品配置領域に設けられる前記複数の下面光学系及び／または前記複数の上面光学系の反射端面は、前記下面像及び／または前記上面像を拡幅して前記撮像部側に反射する曲面形状であることを特徴とする請求項１〜６のいずれか一つに記載の商品検知装置。
【請求項８】
前記全体商品画像をもとに前記商品の配置状態を検出し、前記商品の補充を含む商品状態情報を出力する商品状態検出処理部を備えたことを特徴とする請求項１〜７のいずれか一つに記載の商品検知装置。
【請求項９】
前記商品全体面像は、各商品の下面及び／または上面に表示された商品特定情報を含むことを特徴とする請求項１〜８のいずれか一つに記載の商品検知装置。
【請求項１０】
前記撮像部によって撮像された前記全体商品画像を反転する画像処理部を備えたことを特徴とする請求項１〜９のいずれか一つに記載の商品検知装置。
【請求項１１】
前記撮像部によって撮像された前記全体商品画像を反転する光学系を備えたことを特徴とする請求項１〜９のいずれか一つに記載の商品検知装置。
【請求項１２】
前記透明棚板は、ショーケースの商品棚であることを特徴とする請求項１〜１１のいずれか一つに記載の商品検知装置。
【請求項１３】
前記透明棚板の一端側の非商品配置領域は、前記ショーケースの商品棚の側面側、正面側、背面側のいずれかの端部であることを特徴とする請求項１２に記載の商品検知装置。
【請求項１４】
前記透明棚板の一端側の非商品配置領域は、前記ショーケースの商品棚の正面側の端部であり、
前記撮像部は、前記全体商品画像が撮像される画像領域外の画像領域で購買者を撮像し、
前記購買者を認証するとともに前記購買者の購買行動を取得することを特徴とする請求項１２に記載の商品検知装置。
【請求項１５】
前記透明棚板は、自動販売機の商品棚であることを特徴とする請求項１〜１１のいずれか一つに記載の商品検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、簡易な構成で、商品棚上に配置された商品配置状態を精度高く検知することができる商品検知装置に関する。
【背景技術】
【０００２】
コンビニエンスストアやスーパーマーケットなどの店舗では、複数の商品棚が多段に配置されたショーケースに商品が陳列される場合が多い。店員は、商品棚に配置された商品が販売され、あるいは紛失すると、その商品を補充する必要がある。また、店員は、商品棚に配置された商品が破損しているか、配置ずれや配置違いが生じているかを常に監視する必要がある。
【０００３】
特許文献１では、商品棚に陳列される商品にＲＦＩＤタグを貼付しておき、このＲＦＩＤタグを読み取ることによって商品の在庫管理を行う在庫管理システムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１４０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ショーケースの商品棚に配置される商品数は多く、各商品にＲＦＩＤタグを貼付するための時間と労力とがかかってしまうとともに、コストも高くなる。また、商品棚上に配置された各商品の配置有無を静電方式で検出することも考えられるが、この場合ＲＦＩＤタグよりも正確な位置情報を得ることができるものの、静電方式の商品棚を別途設けるとコストがかかるとともに、各商品と商品棚との接触状態によって商品の配置と商品の有無とを検出することしかできず、商品種別を判別することができない。
【０００６】
本発明は、上記に鑑みてなされたものであって、簡易な構成で、商品棚上に配置された商品配置状態を精度高く検知することができる商品検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明にかかる商品検知装置は、複数の透明棚板の上面に配置された商品を検知する商品検知装置であって、各透明棚板の上面に配置される前記商品の各商品配置領域全体の下面像を、各透明棚板の一端側の非商品配置領域を介して各下面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の下面光学系と、各下面光学系が導出した複数の下面像を１つの全体商品画像として撮像して出力する撮像部と、を備えたことを特徴とする。
【０００８】
また、本発明にかかる商品検知装置は、複数の透明棚板の上面に配置された商品を検知する商品検知装置であって、下段の各透明棚板の上面に配置される前記商品の各商品配置領域全体の上面像を、各透明棚板の一端側の非商品配置領域を介して各上面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の上面光学系と、各上面光学系が導出した複数の上面像を１つの全体商品画像として撮像して出力する撮像部と、を備えたことを特徴とする。
【０００９】
また、本発明にかかる商品検知装置は、複数の透明棚板の上面に配置された商品を検知する商品検知装置であって、各透明棚板の上面に配置される前記商品の各商品配置領域全体の下面像を、各透明棚板の一端側の非商品配置領域を介して各下面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の下面光学系と、下段の各透明棚板の上面に配置される前記商品の各商品配置領域全体の上面像を、各透明棚板の他端側の非商品配置領域を介して各上面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の上面光学系と、各下面光学系が導出した複数の下面像と各上面光学系が導出した複数の上面像とを１つの全体商品画像として撮像して出力する撮像部と、を備えたことを特徴とする。
【００１０】
また、本発明にかかる商品検知装置は、上記の発明において、前記複数の下面光学系及び／または前記複数の上面光学系は、各透明棚板の下面及び／または上面に配置された光学プリズムであり、各光学プリズムは、各下面像及び／または各上面像を前記一端側及び／または他端側の非商品配置領域側に導出し、さらに各下面像及び／または各上面像を前記一端側及び／または他端側の非商品配置領域から各透明棚板に垂直な上方または下方に導出することを特徴とする。
【００１１】
また、本発明にかかる商品検知装置は、上記の発明において、前記複数の下面光学系及び／または前記複数の上面光学系は、各透明棚板の下面及び／または上面に配置されたミラーであり、各ミラーは、各下面像及び／または各上面像を前記一端側及び／または他端側の非商品配置領域側に導出し、さらに各下面像及び／または各上面像を前記一端側及び／または他端側の非商品配置領域から各透明棚板に垂直な上方または下方に導出することを特徴とする。
【００１２】
また、本発明にかかる商品検知装置は、上記の発明において、前記複数の下面光学系及び／または前記複数の上面光学系は、各透明棚板であることを特徴とする。
【００１３】
また、本発明にかかる商品検知装置は、上記の発明において、前記透明棚板の非商品配置領域に設けられる前記複数の下面光学系及び／または前記複数の上面光学系の反射端面は、前記下面像及び／または前記上面像を拡幅して前記撮像部側に反射する曲面形状であることを特徴とする。
【００１４】
また、本発明にかかる商品検知装置は、上記の発明において、前記全体商品画像をもとに前記商品の配置状態を検出し、前記商品の補充を含む商品状態情報を出力する商品状態検出処理部を備えたことを特徴とする。
【００１５】
また、本発明にかかる商品検知装置は、上記の発明において、前記商品全体面像は、各商品の下面及び／または上面に表示された商品特定情報を含むことを特徴とする。
【００１６】
また、本発明にかかる商品検知装置は、上記の発明において、前記撮像部によって撮像された前記全体商品画像を反転する画像処理部を備えたことを特徴とする。
【００１７】
また、本発明にかかる商品検知装置は、上記の発明において、前記撮像部によって撮像された前記全体商品画像を反転する光学系を備えたことを特徴とする。
【００１８】
また、本発明にかかる商品検知装置は、上記の発明において、前記透明棚板は、ショーケースの商品棚であることを特徴とする。
【００１９】
また、本発明にかかる商品検知装置は、上記の発明において、前記透明棚板の一端側の非商品配置領域は、前記ショーケースの商品棚の側面側、正面側、背面側のいずれかの端部であることを特徴とする。
【００２０】
また、本発明にかかる商品検知装置は、上記の発明において、前記透明棚板の一端側の非商品配置領域は、前記ショーケースの商品棚の正面側の端部であり、前記撮像部は、前記全体商品画像が撮像される画像領域外の画像領域で購買者を撮像し、前記購買者を認証するとともに前記購買者の購買行動を取得することを特徴とする。
【００２１】
また、本発明にかかる商品検知装置は、上記の発明において、前記透明棚板は、自動販売機の商品棚であることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、透明棚板の上面に配置される商品の各商品配置領域全体の下面像を、各透明棚板の一端側の非商品配置領域を介して各下面像がそれぞれ干渉しないようにオフセットして一方向に導出する複数の下面光学系を設け、撮像部が、各下面光学系が導出した複数の下面像を１つの全体商品画像として撮像して出力するようにしているので、簡易な構成で、商品棚上に配置された商品配置状態を精度高く検知することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の実施の形態である商品検知装置の全体構成を示す模式図である。
【図２】図２は、図１に示した商品検知装置が設けられるショーケースの外観構成を示す斜視図である。
【図３】図３は、図１に示した透明棚板と光学プリズムとの配置状態を示す斜視図である。
【図４】図４は、図１に示した光学プリズム内の光路を示す図である。
【図５】図５は、撮像部が撮像する全体商品画像の一例を示す図である。
【図６】図６は、全体商品画像を構成する１つの下面画像の取得及び反転処理を説明する説明図である。
【図７】図７は、光学プリズムに替えてミラーとした場合の構成を示す図である。
【図８】図８は、反射端面を曲面形状とした光学プリズムの一例を示す図である。
【図９】図９は、光学プリズムと透明棚板とを一体化した構成の一例を示す図である。
【図１０】図１０は、図に示した一体化した光学プリズムの反射端面を傾かせて反射領域をさらに拡幅した光学プリズムの一例を示す図である。
【図１１】図１１は、商品補充時における商品状態検出処理部による商品状態検出処理手順を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態の変形例１である商品検知装置の全体構成を示す模式図である。
【図１３】図１３は、図１２に示した商品検知装置の光学プリズムの構成及び作用を示す図である。
【図１４】図１４は、本発明の実施の形態の変形例２である商品検知装置の全体構成を示す斜視図である。
【図１５】図１５は、図１４に示した商品検知装置の構成を側面からみた模式図である。
【図１６】図１６は、図１４に示した商品検知装置によって取得された撮像画像の一例を示す図である。
【発明を実施するための形態】
【００２４】
以下、添付図面を参照してこの発明を実施するための形態について説明する。なお、本実施の形態では、例えばショーケースに適用した商品検知装置について説明する。
【００２５】
(全体構成)
図１は、本発明の実施の形態である商品検知装置１の全体構成を示す模式図である。また、図２は、商品検知装置１が設けられるショーケース２の外観構成を示す斜視図である。図１及び図２に示すように、商品検知装置１は、ショーケース２の商品陳列棚として機能し、透明な棚板である複数段の透明棚板１０を有する。透明棚板１０は、例えば強化ガラスである。各透明棚板１０の上面には、各種の商品１００が配列される。透明棚板１０のＹ方向の両端には、商品１００が配列されない非商品配置領域ＥＢ１，ＥＢ２が形成される。透明棚板１０の非商品配置領域ＥＢ１，ＥＢ２以外の領域は、商品１００が配列される商品配置領域ＥＡとなる。
【００２６】
図３は、図１に示した透明棚板１０と光学プリズム１１との配置状態を示す斜視図である。また、図４は、図１に示した光学プリズム１１内の光路を示す図である。図１、図３及び図４に示すように、透明棚板１０の下面には、光学プリズム１１が配置される。光学プリズム１１は、例えばアクリル樹脂である。光学プリズム１１は、商品配置領域ＥＡ全体を覆い、商品配置領域ＥＡにおける商品１００の下面像を一端部である非商品配置領域ＥＢ１側に導出し、反射端面Ｓ１に商品配置領域ＥＡ全体の下面像をＺ方向に向けて形成する下面光学系である。例えば、図２及び図３に示すように、光学プリズム１１は、商品１００の下面像１００ａを−Ｚ方向の反射端面Ｓ１１で光路Ｌ１を−Ｙ方向に反射させ、さらに−Ｙ方向の光路Ｌ１を、非商品配置領域ＥＢ１の反射端面Ｓ１でＺ方向に反射させる。したがって、反射端面Ｓ１には、商品配置領域ＥＡ全体の下面像が形成されている。
【００２７】
ここで、図１に示すように、各透明棚板１０の反射端面Ｓ１は、非商品配置領域ＥＢ１でそれぞれが干渉しないように、オフセットしてＺ方向に臨んで形成される。すなわち、各反射端面Ｓ１は、下方（−Ｚ方向）に向けて−Ｙ方向にオフセットされている。
【００２８】
図１に示すように、撮像部１２は、各透明棚板１０の非商品配置領域ＥＢ１の上方（Ｚ方向）に配置され、下方（−Ｚ方向）の各反射端面Ｓ１の各下面像を一度に全て撮像する。この一度に撮像された下面像の画像は、各透明棚板１０の上面に配列された全商品１００の配置状態を示す全体商品画像となる。
【００２９】
図５は、撮像部１２が撮像する全体商品画像Ｄの一例を示す図である。図５に示すように、全体商品画像Ｄは、各透明棚板１０の下面像をＹ方向に圧縮した画像となる。図５において、全体商品画像Ｄの左側の下面像が短いのは、右側の下面像を導光する反射端面Ｓ１から撮像部１２までの距離が大きいからである。なお、図５では、透明棚板１０が８段の場合の全体商品画像Ｄを示しており、最も右側の下面像が最上段（１段目）のものであり、最も左側の下面像が最下段（８段目）のものである。また、図５では、撮像部１２の撮像サイズ（撮像アスペクト比）が予め決まっているため、全体商品画像Ｄは、撮像画面の一部の使用領域ＥＸに形成され、未使用領域ＥＹも形成される。この使用領域ＥＸは、透明棚板１０の段数がさらに増えた場合、さらに未使用領域ＥＹを使用する大きな領域となる。
【００３０】
図６は、全体商品画像Ｄを構成する１つの下面画像Ｄ１の取得及び反転処理を説明する説明図である。図４において、１つの透明棚板１０の上面には複数の商品１００が配列され、各商品１００の下面像は反射端面Ｓ１に投影される。撮像部１２は、この反射端面Ｓ１の下面像を下面画像Ｄ１として撮像する。下面画像Ｄ１内の詳細画像情報は、Ｙ方向に伸長された下面画像Ｄ１０となる。この下面画像Ｄ１０は、ミラー反転された画像であるため、図１に示した画像処理部１３は、下面画像Ｄ１０をミラー反転した下面画像Ｄ１１を生成出力する。
【００３１】
図１に示すように、制御部１４は、上記の画像処理部１３、入出力部１７、記憶部１８、及び図示しない上位装置に接続される。制御部１４は、出力処理部１５及び商品状態検出処理部１６を有する。入出力部１７は、例えば、タッチパネルなどの入出力デバイスである。記憶部１８は、例えば、ハードディスク装置や不揮発性メモリ等からなる記憶デバイスであり、各透明棚板１０上に配列される商品１００の配置を示す商品配置情報及び商品１００を識別して特定する商品特定情報が予め記憶されている。なお、上位装置は、例えば、商流管理を行うサーバである。商流管理は、受注、発注、出荷、在庫保管、販売管理などの商品取引関係の流れの管理である。
【００３２】
出力処理部１５は、ミラー反転された下面画像Ｄ１１を入出力部１７から表示出力する。店員は、透明棚板１０上に陳列された商品の在庫管理や補充管理を行う場合、表示出力された下面画像Ｄ１１を視認することによって、ショーケース内の全ての商品管理を一度に行うことができる。特に、下面画像Ｄ１１は、透明棚板１０上に配列された状態と同じ状態で表示出力されるため、店員は、透明棚板１０との対応関係を容易に認識することができる。
【００３３】
商品状態検出処理部１６は、全体商品画像Ｄと、記憶部１８に記憶された商品配置情報及び商品特定情報とをもとに、商品の配置状態を検出し、入出力部１７あるいは上位装置側に商品の補充を含む商品状態情報を出力する。商品状態情報には、例えば、配置されていた商品が無い場合に、補充が必要である旨を示す情報と、該商品の配置位置情報と商品特定情報とが含まれる。なお、商品特定情報は、記憶部１８に予め保存されている商品配置情報と商品特定情報とをもとに決定することができるが、商品１００の下面に、商品コードや商品銘板などの商品識別情報を付しておき、商品状態検出処理部１６が商品補充後、この商品識別情報を読み取って商品特定情報を生成して記憶部１８に記憶するようにしてもよい。また、商品状態検出処理部１６は、陳列された商品の商品特定情報を下面からの形状認識によって生成するようにしてもよい。
【００３４】
また、商品状態検出処理部１６は、商品の補充以外に、商品の配列の乱れを検出した場合、入出力部１７から警報あるいは報知出力するようにしてもよい。また、商品状態検出処理部１６は、商品の補充が必要な場合、上位装置側に商品の補充を指示し、商品の自動発注などの商流管理を行わせるようにしてもよい。
【００３５】
なお、商品状態検出処理部１６は、商品補充待ちの間、補充すべき商品の配置位置に商品と異なる画像や汚れなどの画像を検出した場合、この検出した位置に不要なゴミや汚れがあるものと判定し、ゴミの廃棄や汚れの除去等を促す警報あるいは報知出力するようにしてもよい。
【００３６】
また、画像処理部１３によるミラー反転処理に替えて、撮像部１２の前段にミラーを設けてミラー反転するようにしてもよい。光路ＬをＹ方向に反射するミラーを設け、撮像部１２がミラーに向けて−Ｙ方向を撮像すればよい。
【００３７】
なお、図７に示すように、光学プリズム１１に替えて、光学プリズム１１と同じ反射機能を有するミラー３１を用いてもよい。ミラー３１は、アクリル樹脂に金属面３１ａ，３１ｂが形成され、光学プリズム１１と同様な機能を有する。
【００３８】
また、図８に示すように、光学プリズム１１に対応する光学プリズム２１は、光学プリズム１１の反射端面Ｓ１に替えて反射端面Ｓ２１を形成している。反射端面Ｓ２１は、凸型の曲面形状をなし、商品１００の下面像１００ａを拡幅して撮像部１２側に反射している。これにより、撮像部１２が取得する幅方向（Ｙ方向）の画像を高解像度で得ることができる。
【００３９】
さらに、図９に示すように、光学プリズム１１と透明棚板１０とを一体化した光学プリズム２２としてもよい。図９では、図８と同様に、曲面形状をなした反射端面Ｓ２２としている。これにより、図８に示した光学プリズム２１と透明棚板１０との構成が簡易になるとともに、Ｚ方向の厚さを薄くできる。
【００４０】
また、図１０に示すように、光学プリズム２２の反射端面Ｓ２２をさらに傾かせて反射端面Ｓ２２の反射領域を幅方向（Ｙ方向）に拡幅した反射端面Ｓ２３としてもよい。これにより、さらに撮像部１２が取得する幅方向（Ｙ方向）の画像を高解像度で得ることができる。
【００４１】
（商品状態検出処理）
ここで、図１１に示したフローチャートを参照して、商品補充時における商品状態検出処理部１６による商品状態検出処理手順について説明する。まず、商品状態検出処理部１６は、画像処理部１３から全体商品画像Ｄを取得する（ステップＳ１０１）。その後、全体商品画像Ｄと、記憶部１８に記憶された商品配置情報及び商品特定情報とを比較して、商品の配置状態を検出し、補充すべき商品があるか否かを判定する（ステップＳ１０２）。補充すべき商品がある場合（ステップＳ１０２，Ｙｅｓ）には、補充すべき商品の商品特定情報及び配置場所（商品配置情報）を入出力部１７あるいは上位装置側に出力し（ステップＳ１０３）、本処理を終了する。一方、補充すべき商品がない場合（ステップＳ１０２，Ｎｏ）には、そのまま本処理を終了する。上述した処理は一定期間ごとに繰り返し行う。
【００４２】
（変形例１）
次に、商品検知装置１の変形例について説明する。図１２は、本発明の実施の形態の変形例１である商品検知装置の全体構成を示す模式図である。また、図１３は、図１２に示した商品検知装置の光学プリズムの構成及び作用を示す図である。図１２及び図１３に示すように、本変形例１では、上述した実施の形態の構成に対し、さらに光学プリズム１１の斜面（反射端面Ｓ１１）に光学プリズム４１を配置し、光学プリズム４１が配置された透明棚板１０の下段に位置する透明棚板１０上の商品の上面像を、光学プリズム４１及び他端側の非商品配置領域ＥＢ２を介して上方（Ｚ方向）に導出する。この場合も、各光学プリズム１１の反射端面Ｓ１と同様に、各光学プリズム４１の反射端面は、下段に行くに従って外側方向（Ｙ方向）にオフセットしている。
【００４３】
非商品配置領域ＥＢ１の上方（Ｚ方向）及び非商品配置領域ＥＢ２の上方（Ｚ方向）には、それぞれミラーＭ１，Ｍ２が配置される。また、ミラーＭ１，Ｍ２の間にはミラーＭが配置される。ミラーＭ１は、非商品配置領域ＥＢ１から光路Ｌを介して導出された下面像をミラーＭ側に反射して導出する。一方、ミラーＭ２は、非商品配置領域ＥＢ２から光路ＬＬを介して導出された上面像をミラーＭ側に反射して導出する。ミラーＭは、ミラーＭ１及びミラーＭ２から導出された下面像及び上面像を重複しないように合成して、ミラーＭの上方（Ｚ方向）に配置された撮像部４２側に導出する。
【００４４】
例えば、撮像部４２は、図３の使用領域ＥＸ側に上面像を撮像し、未使用領域ＥＹ側に下面像を撮像する。これらの撮像は同時に行われる。なお、下面像の全体商品画像は、図５に示した全体商品画像Ｄと同じような画像が未使用領域ＥＹに形成され、上面像の全体商品画像は、図５に示した全体商品画像Ｄとは異なり、右側に向かって短くなる上面像の集合が使用領域ＥＸに形成される。ここで、上面像の全体商品画像は、反転処理しなくてもよいが、下面像の全体商品画像は、反転処理することが好ましい。
【００４５】
本変形例１では、下面像のみでなく、上面像をも取得するようにしているので、商品状態を確実に検出することができる。なお、本変形例１では、上面像と下面像とを同時に撮像するようにしているが、上面像の全体商品画像のみを撮像するようにしてもよい。また、上面像を取得する場合、最上段の商品の上面像は取得することができないが、この上面像を取得する場合には、最上段の透明棚の上にさらに棚及び光学プリズム４１を設ければよい。
【００４６】
（変形例２）
次に、商品検知装置１の変形例２について説明する。図１４は、本発明の実施の形態の変形例２である商品検知装置の全体構成を示す斜視図である。また、図１５は、図１４に示した商品検知装置の構成を側面からみた模式図である。さらに、図１６は、図１４に示した商品検知装置によって取得された撮像画像の一例を示す図である。
【００４７】
図１４及び図１５に示すように、の光学プリズムの構成及び作用を示す図である。図１２及び図１３に示すように、本変形例２では、反射端面Ｓ１に対応する反射端面Ｓ５１を前面である正面側（Ｘ方向側）に形成した光学プリズム５１を、透明棚板１０の下部に設けている。そして、反射端面Ｓ５１は、Ｘ方向にシフトして設けられる。この場合、透明棚板１０の前端は、ショーケース２としてＸ方向にシフトしているため、反射端面Ｓ５１を意図的にシフトさせる必要はない。反射端面Ｓ５１で反射された下面像は、ショーケース２の上板下面中央に設けた撮像部１２によって撮像される。
【００４８】
ここで、撮像部１２は、図１６に示した撮像画像を得ることができる。使用領域ＥＸには、全体商品画像Ｄが撮像されるが、未使用領域ＥＹには、ショーケース２の正面で商品を購入しようとする購入者Ａの画像を得ることができる。
【００４９】
したがって、変形例２では、商品状態検出処理部１６が、補充すべき商品の商品特定情報及び配置場所（商品配置情報）のみならず、商品の購入動作に同期させて、商品を購入する購入者の性別、年齢、購入動作などのマーケティング情報を得ることができる。通常、店舗内で購入商品の精算を行う際、店員がマーケティング情報を入力する場合があったが、このようなマーティング情報の自動取得によって、マーケティング情報の入力の省人化とともに、正確性の高いマーケティング情報を得ることができる。
【００５０】
なお、上記の購入動作の取得では、例えば、購入者が商品かご２００を提げている場合、商品を商品かごに入れたか、商品を元の棚に戻したか、商品を別の棚に戻したか、商品をポケットなどの商品かご以外のところに入れたか、などを判定することができ、商品の不正購入などの犯罪防止も図ることができる。
【００５１】
また、商品状態検出処理部１６は、購入者の視線認証、動線などをも取得することができる。
【００５２】
さらに、店舗内で商品かご２００に入れた商品の自動精算にも応用できる。撮像部１２の撮像をもとに、商品かご２００に入れた商品を検出することによって商品の自動精算を支援することができる。すなわち、商品を商品かご２００に入れた段階で購入した商品を特定しておき、精算時に商品かご２００内の重量測定の結果と合致した場合に、特定した商品の自動精算を行うことができる。つまり、商品かご２００に入れた商品認識技術と、商品かご２００内の重量測定技術とを合わせたセンサフュージョン技術によって精度の高い精算処理を行うものである。
【００５３】
なお、予め商品かご２００に購入者の属人情報を持たせておくと、上記の商品かご２００に入れた商品認識技術を用い、商品購入者が店舗外に退出した段階で商品かご２００内に入れた商品の自動精算をすることもできる。この場合、商品購入者は、精算レジを介さずにそのまま店外に出ることができる。この場合、商品購入者が商品を購入したか否かの情報は、撮像部１２によって得られた撮像情報によって保持され、確認される。
【００５４】
また、上述した実施の形態及び変形例１，２では、光学プリズム１１，２１，２２，２３，４１の反射端面Ｓ１，Ｓ２１，Ｓ２２，Ｓ２３を側面側あるいは正面側に設けていたが、これに限らず、背面側に設けてもよい。
【００５５】
上述した実施の形態及び変形例１，２では、商品棚上の在庫管理を、１つの撮像部が撮像した画像による直接検出結果で行っているため、静電方式やＲＦＩＤタグを用いた商品管理に比して低コストで済む。また、在庫管理による商品補充を示す警報あるいは報知出力、さらには商品の自動発注などを行うようにしているため、店員の省人化を図ることができる。
【００５６】
なお、上述した商品検知装置１は、ショーケースに限らず、例えば、自動販売機にも適用することができる。なお、この自動販売機では、透明棚板１０上に配置された商品が選択された時点で、選択された商品をピッキングアームで搬出する。また、自動販売機は、商品が賞味期限切れの商品をピッキングアームで自動廃棄する。このような構成とすることによって、自動販売機は、商品間の区切りを形成するラックが不要となり、簡易な構成の自動販売機を実現することができる。
【００５７】
また、上記の実施の形態及び変形例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置及び構成要素の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【符号の説明】
【００５８】
１  商品検知装置
２  ショーケース
１０  透明棚板
１１，２１，２２，２３，４１  光学プリズム
１２，４２  撮像部
１３  画像処理部
１４  制御部
１５  出力処理部
１６  商品状態検出処理部
１７  入出力部
１８  記憶部
３１，Ｍ，Ｍ１，Ｍ２  ミラー
３１ａ，３１ｂ  金属面
１００  商品
１００ａ  下面像
Ｄ  全体商品画像
Ｄ１，Ｄ１０，Ｄ１１  下面画像
ＥＡ  商品配置領域
ＥＢ１，ＥＢ２  非商品配置領域
ＥＸ  使用領域
ＥＹ  未使用領域
Ｌ，Ｌ１，ＬＬ  光路
Ｓ１，Ｓ２１，Ｓ２２，Ｓ２３  反射端面
【図１】
2019098106.tif 000003
【図２】
2019098106.tif 000004
【図３】
2019098106.tif 000005
【図４】
2019098106.tif 000006
【図５】
2019098106.tif 000007
【図６】
2019098106.tif 000008
【図７】
2019098106.tif 000009
【図８】
2019098106.tif 000010
【図９】
2019098106.tif 000011
【図１０】
2019098106.tif 000012
【図１１】
2019098106.tif 000013
【図１２】
2019098106.tif 000014
【図１３】
2019098106.tif 000015
【図１４】
2019098106.tif 000016
【図１５】
2019098106.tif 000017
【図１６】
2019098106.tif 000018