(57)【要約】【課題】ユーザのジェスチャを認識して、これに基づいて選択された商品の払い出しができるように構築した新規な商品販売システムを提案する。【解決手段】ユーザによる商品選択のジェスチャを認識して、商品を払い出して販売を補助するシステム１であって、前記ユーザが視認可能な画面上に複数種類の商品見本を表示する表示手段２と、前記ユーザのジェスチャを認識すると共に、該ユーザ自身が前記ジェスチャを視認できるように表示し且つ、前記画面上に表示された前記複数種類の商品見本と重合わせた合成画像を形成するジェスチャ認識・合成表示手段３と、前記画面上で前記ユーザが前記ジェスチャにより選択した商品を確定させる商品確定手段４と、前記商品確定手段の結果に基づいて、選択された前記商品の払い出しを行う商品搬出手段５とを含んでいる。【選択図】図１
2013191048.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる商品選択のジェスチャを認識して、商品を払い出して販売を補助するシステムであって、
前記ユーザが視認可能な画面上に複数種類の商品見本を表示する表示手段と、
前記ユーザのジェスチャを認識すると共に、該ユーザ自身が前記ジェスチャを視認できるように表示し且つ、前記画面上に表示された前記複数種類の商品見本と重合わせた合成画像を形成するジェスチャ認識・合成表示手段と、
前記画面上で前記ユーザが前記ジェスチャにより選択した商品を確定させる商品確定手段と、
前記商品確定手段の結果に基づいて、選択された前記商品の払い出しを行う商品搬出手段とを含む、ことを特徴とする商品販売システム。
【請求項２】
前記ジェスチャ認識・合成表示手段は、前記ジェスチャに含まれるユーザの手動作を認識して、前記手の位置変化を前記画面上に表示された前記複数種類の商品見本上に重合わせた合成画像を形成する、ことを特徴とする請求項１に記載の商品販売システム。
【請求項３】
前記ジェスチャ認識・合成表示手段は、前記ユーザを撮像するカメラと、前記ユーザの手の動きを検出可能な深度センサと、前記カメラと前記センサとの出力に基づいて前記画面上に前記ユーザの手のシルエットを画像合成する画像制御コントローラとを含む、ことを特徴とする請求項１に記載の商品販売システム。
【請求項４】
前記商品確定手段は、前記ユーザの手の動きに基づいて所定の選択動作を確認し、選択された商品を確定させる処理を実行する、ことを特徴とする請求項１に記載の商品販売システム。
【請求項５】
更に、音声出力・入力手段を含み、前記ユーザへの案内またはジェスチャ動作を誘導する、ことを特徴とする請求項１から４のいずれかに記載の商品販売システム。
【請求項６】
前記表示手段として前面扉に設けた商品見本を画像表示する商品表示パネルと、前記ジェスチャ認識・合成表示手段および前記商品確定手段として前記ユーザを撮像するカメラ、前記ユーザの動きを検出するための深度センサおよび画像合成に係るソフトウェアを動作させるプロセッサを含んだ画像処理装置と、そして前記商品搬出手段としてストックしてある製品を順次に払い出す搬出機構とを備えている自動販売機とした場合を含む、ことを特徴とする請求項１から５のいずれかに記載の商品販売システム。
【請求項７】
前記表示手段として店舗に設けた商品見本を画像表示する商品表示パネルと、前記ジェスチャ認識・合成表示手段および前記商品確定手段として前記ユーザを撮像するカメラ、前記ユーザの動きを検出するための深度センサおよび画像合成に係るソフトウェアを動作させるプロセッサを含んだ画像処理装置と、そして前記商品搬出手段としてストックしてある製品を順次に払い出す搬出機構とを備えて、製品販売店舗に設置される販売補助設備とした場合を含む、ことを特徴とする請求項１から５のいずれかに記載の商品販売システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品購入者（ユーザ）が購入しようとする商品を、ユーザの身振り、手振り（ジェスチャ：gesture）に基づいて選択できるようにした商品販売システムであり、特に自動販売機、或いは駅のキオスクやコンビニエンスストアなどのように多種、多数の商品を販売する店舗（以下、単に、商品販売店舗と称する場合がある）に好適な商品販売システムに関する。
【背景技術】
【０００２】
従来における一般的な自動販売機は、その前面に設けられた商品選択スイッチを押すことにより、ユーザが商品を選択して購入する。すなわち、ユーザが自動販売機に近づいて、スイッチを直に押さなければ商品を選択して購入することはできなかった。
なお、従来において提案された自動販売機の中には、例えば特許文献１に開示されたものなどがある。この自動販売機は近接スイッチを採用することで、スイッチに直接、接触することなく（すなわち、実際のスイッチには、非接触で）商品を選択して購入できる構成を開示する。しかし、この特許文献１は野外に設置された自動販売機の問題として、防水性や防塵性などの向上を意図したもので、前面に配置した保護用カバーパネルの所定位置に触れたとき上記の近接スイッチで検出する。よって、近接スイッチ自体に直接に触れずに商品選択できるようにした自動販売機であるが、カバーパネルに触って商品を選択するので、ユーザによる購入動作としては従来の自動販売機と実質的に異なることがない。  
【０００３】
また、近年における商品販売店舗では多種多様な商品が多数数扱われており、しかもその商品サイクルは早いので、各店舗における販売員の負荷が極めて大きくなっている。例えば、商品がたばこ（シガレット）である場合、提供されている種類は極めて多い。キオスクの販売員はユーザが指定して銘柄のたばこを収納ケースから正確、かつ迅速に取り出すこと、そのたばこの定価を暗記しておくことが求められている。これについては、コンビニ店舗の場合は前記処理が簡素化されている店舗もある。すなわち、多数のたばこを覚える必要がないように各々のたばこに番号が付され、ユーザによる番号指定で購入できるように改善され、これをバーコードで処理するので価格を覚えておく必要がないよう改善されてはいる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４１０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
まず、自動販売機の場合、ユーザが自動販売機のスイッチに必ず触れるので、その周りが汚れ易く、下側のスイッチは押し難いなどの指摘がある。また、自動販売機においてスイッチの占めるコスト割合は比較的高く、しかもスイッチが故障すると商品を販売できなくなるという不都合がある。
また、商品販売店舗が駅のキオスクなどの場合は前述したように販売員の負荷が大きい状況にある。そして、販売作業が相対的に効率化されたコンビニ店舗などの場合であっても、たばこの種類は多数あるので、指定された番号から銘柄のたばこを確認して、たばこが置かれた棚までそのたばこを取りに行く動作は必要で、作業効率の面から未だに改善の余地がある。
【０００６】
よって、本発明の目的は、ユーザのジェスチャを認識し、これに基づいて選択された商品の払い出しができるように構築した新規な商品販売システムを提案することにある。
【課題を解決するための手段】
【０００７】
上記の目的は、ユーザによる商品選択のジェスチャを認識して、商品を払い出して販売を補助するシステムであって、
前記ユーザが視認可能な画面上に複数種類の商品見本を表示する表示手段と、前記ユーザのジェスチャを認識すると共に、該ユーザ自身が前記ジェスチャを視認できるように表示し且つ、前記画面上に表示された前記複数種類の商品見本と重合わせた合成画像を形成するジェスチャ認識・合成表示手段と、前記画面上で前記ユーザが前記ジェスチャにより選択した商品を確定させる商品確定手段と、前記商品確定手段の結果に基づいて、選択された前記商品の払い出しを行う商品搬出手段とを含む、ことを特徴とする商品販売システムによって達成できる（請求項１）。
【０００８】
そして、前記ジェスチャ認識・合成表示手段は、前記ジェスチャに含まれるユーザの手動作を認識して、前記手の位置変化を前記画面上に表示された前記複数種類の商品見本上に重合わせた合成画像を形成するものにできる（請求項２）。
【０００９】
また、前記ジェスチャ認識・合成表示手段は、前記ユーザを撮像するカメラと、前記ユーザの手の動きを検出可能な深度センサと、前記カメラと前記センサとの出力に基づいて前記画面上に前記ユーザの手のシルエットを画像合成する画像制御コントローラとを含んで形成してもよい（請求項３）。
【００１０】
また、前記商品確定手段は、前記ユーザの手の動きに基づいて所定の選択動作を確認し、選択された商品を確定させる処理を実行するものにできる（請求項４）。
【００１１】
また、更に、音声出力・入力手段を含み、前記ユーザへの案内またはジェスチャ動作を誘導するように構成してあるのが、望ましい（請求項５）。
【００１２】
そして、上記商品販売システムは、前記表示手段として前面扉に設けた商品見本を画像表示する商品表示パネルと、前記ジェスチャ認識・合成表示手段および前記商品確定手段として前記ユーザを撮像するカメラ、前記ユーザの動きを検出するための深度センサおよび画像合成に係るソフトウェアを動作させるプロセッサを含んだ画像処理装置と、そして前記商品搬出手段としてストックしてある製品を順次に払い出す搬出機構とを備えている自動販売機とした場合を含むものとしてもよい（請求項６）。
【００１３】
そして、上記商品販売システムは、前記表示手段として店舗に設けた商品見本を画像表示する商品表示パネルと、前記ジェスチャ認識・合成表示手段および前記商品確定手段として前記ユーザを撮像するカメラ、前記ユーザの動きを検出するための深度センサおよび画像合成に係るソフトウェアを動作させるプロセッサを含んだ画像処理装置と、そして前記商品搬出手段としてストックしてある製品を順次に払い出す搬出機構とを備えて、製品販売店舗に設置される販売補助設備とした場合を含むものとしてもよい（請求項７）。
【発明の効果】
【００１４】
本発明の商品販売システムによると、商品を購入するユーザが任意の商品を選択するジェスチャを行い、このジェスチャを認識することに基づいて商品の払い出しがされる。よって、本発明によると、ユーザによる遠隔からの操作（ジェスチャ）で、商品の払い出しが可能となる。そのため、この技術を自動販売機に適用すると、自動販売機にタッチせずに非接触にて好みの商品を選択して購入することができる。よって、自動販売機に触れる必要がないのでタッチ式のスイッチを削減することができる。
また、この商品販売システム技術を商品販売店舗に適用すると、販売店員の労力を軽減しつつ、ユーザは購入しようとする商品を確実に購入することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る商品販売システムの概略を示したブロック構成図である。
【図２】商品販売システムを適用した第１の実施形態となるたばこ自動販売機について示した図である。
【図３】図２で示したたばこ自動販売機で、販売時における駆動制御フローの好適な一例を示した図である。
【図４】商品販売システムを適用した第２の実施形態となる商品店舗の販売補助設備とした場合の例を示した図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施形態を説明する。
先ず、本発明に係る商品販売システムの概略を、図１で示したブロック構成図により説明する。
本発明による商品販売システム１は、複数の商品見本を画面上の画像によってユーザに表示する表示手段２を含んでいる。
そして、前記ユーザのジェスチャを認識すると共に、そのユーザ自身が自己のジェスチャ（身振り、手振りの動作など）を視認できるように表示し且つ、表示手段２の画面上に表示された前記複数種類の商品と重合わせた合成画像を形成するジェスチャ認識・合成表示手段３を含んでなる。このジェスチャ認識・合成表示手段３は、例えばジェスチャに含まれるユーザの手の動作が認識可能であって、手の位置変化を前記画面上での複数種類の商品と重合わせた合成画像を形成可能に構成してある。これにより、ユーザは画像として描かれた自己の手と、商品との位置関係を視認できる。
なお、ユーザのジェスチャに対応して、表示手段２上に合成表示するための認識対象とするユーザの身体部は、上記のように手や指などが好ましいものではあるが、足先などとしてもよい。
また、ジェスチャ認識する対象を、ユーザの手とした場合に、手のシルエット（輪郭）などを商品と重合わせた合成画像を形成するのが好適である。但し、ユーザが認識できるのであれば、必ずしも手のシルエットとする必要はない。ユーザの手のジェスチャに応じて、例えば表示手段２の画面上において〇や□などの目印図形が移動するようにすることで、商品選択を行うようにしてもよい。
【００１７】
そして、商品販売システム１は、更に前記画面上で前記ユーザが選択した商品を確定させる商品確定手段４、及びこの商品確定手段４の結果に基づいて、選択された商品の払い出しを行う商品搬出手段５を含んでシステムの基本が構成されている。
【００１８】
上記表示手段２は、複数の商品見本を表示可能な画面を含でいる表示装置等であればよく、特にその限定はない。例えば液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパなど種々の表示装置を採用可能であるが、コスト面や汎用性などから液晶ディスプレイが好適である。
【００１９】
上記ジェスチャ認識・合成表示手段３としては、ユーザの身振り、手振りであるジェスチャを認識することができる機能を備えた装置であること、より具体的には、少なくともユーザの手の位置変化を確実に認識（検出）し、その手の画像を視認可能として且つ、上記した液晶ディスプレイ等の画面上に表示されている複数の商品と重合わせた合成画像を形成できる画像処理装置である。これについては、公知の画像処理機器を適宜に選択して構成できる。
すなわち、商品販売システム１では、近年、進歩が著しいビデオゲーム装置における画像処理技術を好適に活用できる。現在、提供されているビデオゲーム装置には、ゲームのプレイヤを撮影するＲＧＢカメラ、プレイヤの位置およびその手足の動きを検出するために用いる深度（距離）センサ、プレイヤの映像をゲーム画像上に重合わせた合成画像を形成して、プレイヤの動きに応じてゲームを進行させる画像技術が確立されている。
【００２０】
例えばマイクロソフト（Ｍｉｃｒｏｓｏｆｔ）社から提供されている体感型ゲームシステムである、キネクト（Ｋｉｎｅｃｔ）が広く普及している。このキネクトには、ＲＧＢカメラ、深度センサ、マイク（マルチアレイマイクロフォン）、および画像合成に係るソフトウェアを動作させるプロセッサを内蔵してある画像処理装置（通常、Ｋｉｎｅｃｔセンサーと称されるが、本明細書では、単に、画像処理装置と称する）を備える。この画像処理装置は、プレイヤの位置、動き、声、顔を認識してゲーム全体を制御することができる。これにより、プレイヤは自分自身の体を使って、直観的にビデオゲームをプレイできる。プレイヤの位置、身長を測定し、最適なプレイができるよう角度の自動調整なども行われる。深度センサによりプレイヤから画像処理装置までの距離を計測しており、プレイヤの骨格のさまざまな動きを検出し、ゲーム中のキャラクターの動きに合成できるように構成してある（なお、キネクト（ＫＩＮＥＣＴ）は、マイクロソフト社の登録商標）。
【００２１】
上記のような公知した画像処理技術を採用して、本発明におけるジェスチャ認識・合成表示手段３を構成することができる。本発明における販売システムでは、ユーザのジェスチャ、例えばその手の動作を検出できるソフトウェアを搭載する。これにより、前述した液晶ディスプレイ等の画面上に、商品見本の画像を表示して、プレイヤに代わるユーザの動きを合成した合成画像を形成できる。
ユーザを撮像するＲＧＢカメラ、ユーザの位置、ユーザの手の動きを含むジェスチャを確実に検出するためのセンサとして深度センサ、そして表示画面上にユーザの手を画像合成するプロセッサ（画像制御コントローラ）などの構成は、前述したキネクト技術を流用して形成できる。
【００２２】
さらに、ユーザが選択した商品を確定させる商品確定手段４についても、上記ジェスチャ認識・合成表示手段３を実現する上記画像処理装置によって、合わせて実現できる。すなわち、例えばユーザが所定の商品見本の上に手のシルエットを移動させ、その商品見本を叩く、或いは押すようなジェスチャ（所定の選択動作）を、上記画像処理装置で検出したときに、ユーザが選択したとして商品を確定できる。
【００２３】
そして、上記商品搬出手段５は、上記ように商品確定手段４により確定された選択商品の払い出しを行うことができる構造体であれば、特に限定はなく形成した商品販売システムに応じて適宜に変更してもよい。
本発明に係る商品販売システムは、例えば自動販売機や商品販売店舗に設置した販売補助設備として具現化できる。商品販売システムが自動販売機である場合、商品を収納しているストッカの下に配置され、製品を１つずつ払い出す搬出機構などが上記商品払出手段５に対応する。そして、商品販売システムが店舗に設置した設備である場合、商品を収納しているストッカの下に配置された製品を搬出する装置やレジカウンタまでその製品を搬送するシュート構造設備などが上記商品払出手段５に対応する。
【００２４】
以下では、前述した説明を前提として、本商品販売システムをたばこ自動販売機として具現化した場合を第１の実施形態として説明する。
図２は、前述した商品販売システムに係る発明が適用されたたばこ自動販売機１０である。前扉１０ａには、表示手段として液晶パネルにより形成した商品表示パネル１１が前面に配置してある。この商品表示パネル１１には、多種類のシガレットの商品見本ＳＡが画像にて表示されている。
なお、この自動販売機１０も一般的な自動販売機と同様の基本構造を備えている、前扉１０ａには商品展示部となる前述した商品表示パネル１１の他、商品払出口１２および金銭処理部１３を備えて構成されている。前記金銭処理部１３は、コイン投入口、紙幣投入口、釣り銭返却レバー等を備えて構成してある。尚、図中１４は釣り銭返却口であり、また１５は電子情報入出力装置（リーダ・ライタ）や金額表示器等を備えて構成された成人識別装置である。
【００２５】
そして、この自動販売機１０は、上記のようなたばこの自動販売機としての基本的な構成に加えて、ユーザのジェスチャによってたばこを販売するように構成してある。
すなわち、この自動販売機１０はユーザＵＳを撮像するＲＧＢカメラ、ユーザの動作（ジェスチャ）を検出する深度センサ、そして画像合成に係るソフトウェアを動作させるプロセッサを内蔵してある画像処理装置２０が配備してある。この画像処理装置２０は、前述したキネクトの画像処理装置に対応したものとなる。そして、画像処理装置２０はより好ましい形態として、ユーザから発される音や音声を集音するマイクおよびユーザに呼びかけを行うスピーカを備えた音声入・出力装置（音声出力・入力手段）を備えている。
図２では、画像処理装置２０を自動販売機１０の上部に設置した場合を一例として示すがこれに限らず、自動販売機１０の本体内に収納してもよい。また、前述した画像処理装置２０を構成する各部を離間して配置してもよい。すなわち、カメラやマイクを露出する箇所に配置して他の構成を自動販売機本体内に収納した構造としてもよい。
【００２６】
図３は、自動販売機１０でユーザのジェスチャ（手の動作）によってたばこを販売するときに駆動するのが好適なフローチャートである。ここでの制御は、画像処理装置２０内のプロセッサによって実行される。このプロセッサは自動販売機全体を制御するＣＰＵを中心に構成したマイコンが兼ねるようにシステムを構築してもよい。
【００２７】
プロセッサは、ＲＧＢカメラにてユーザＵＳの接近を検出したときに、図３によるたばこ販売のフローを起動させる。例えばＲＧＢカメラで高さ（身長）が１００ｃｍ以上の物体が所定時間（例えば、３秒）以上、自動販売機１０の前で停止している時を起動条件のトリガーにできる。また、別途、新たに人感センサなどを配備して、その出力をトリガーとしてもよい。
【００２８】
上記プロセッサは、好ましくは、音声入・出力装置を制御して、「いらっしゃいませ。お好みの商品を選択して下さい。」、「お客様が手を動かしますと、その手の動きが画面上に表示されますので、その手でお好みの商品を選択して下さい。」、「商品を選択するときには、その商品を押す動作（ジェスチャ）をしてください。」など、の音声案内（Ｓ１）を実行するのが好ましい。
【００２９】
その後、プロセッサは、ＲＧＢカメラにより認識しているユーザＵＳのジェスチャに基づいて、商品表示パネル１１上にユーザ自身が少なくとも手の動きが視認できるように合成画像を表示する（Ｓ２）。更に、プロセッサは商品を選択して下さいと音声案内して、ユーザの選択動作を誘導する（Ｓ３）。
ユーザが特定のたばこを選択する所定のジェスチャをしたとき（例えば、図２で、ユーザＵＳが自己の手のシルエットＳＨを認識し、その位置にある商品見本ＳＡを押し込むような動作をしたとき）に選択商品を確定し（Ｓ４）、そのたばこをストックしている搬出機構を駆動させ（Ｓ５）、商品払出口１２にたばこ払い出すことで販売動作を完了する。
【００３０】
以上説明した本発明の商品販売システムを適用した自動販売機によれば、ユーザが自動販売機の選択スイッチに触れることなく、ユーザによるジェスチャにより好みにたばこ（製品）を購入できる。電気的な接続をするスイッチを削除できるので、接触不良などのスイッチ固有の問題も無くすことができる。
【００３１】
更に、以下では、本商品販売システムをシガレットの販売補助設備として具現化した場合を第２の実施形態として説明する。
図４は、前述した商品販売システムに係る発明が適用された商品販売店舗ＳＰのレジカウンタＣＤの周囲に、たばこ販売補助となる販売補助設備３０を適用したときの様子を模式的に示した図である。
販売店舗ＳＰのレジカウンタＣＤの背部にある壁面ＷＡの上部は、複数種のたばこを収納する収納棚（ストッカ）となっており、その各たばこは積層状態に積み上げられており、最下層のたばこを払い出しするための搬出機構が配置されている。このような搬出機構は前述したたばこ自動販売機の搬出機構を流用できる。よって、ここでの機械構造的な説明は省略する。
搬出機構により払い出された、たばこはレジカウンタＣＤの背後にまで送りだすシュート構造３１が設けてある。このシュート構造３１の最終落下位置にはたばこ受け部３２が設けてあり、販売員はレジカウンタＣＤで作業をしているとき、後ろに振り返るだけでたばこ受け部３２からたばこをピックアップできる。
【００３２】
この例では、複数種のたばこを収納する収納棚の前面には表示手段として液晶パネルにより形成した商品表示パネル３３が配置してある。この商品表示パネル３３には、多種類のシガレットの商品見本ＳＡが画像にて表示されている。
この販売補助設備３０にも、ユーザＵＳを撮像するＲＧＢカメラ、ユーザの動作（ジェスチャ）を検出する深度センサ、そして画像合成に係るソフトウェアを動作させるプロセッサを内蔵してある画像処理装置４０が配備してある。そして、画像処理装置４０についても、前述した例と同様にユーザから発される音や音声を集音するマイクおよびユーザに呼びかけを行うスピーカを備えた音声入・出力装置（音声出力・入力手段）を備えてとよいが、この例の場合は店舗内の販売員の誘導に基づいてユーザがジェスチャを行うようにしてもよい。この場合も、第２の実施形態でも前述したと同様にユーザＵＳ自身が、購入したいたばこを確実に購入できる。
【００３３】
図４で示す店舗では販売員がたばこに関する知識を有しなくてもユーザが欲するたばこを確実に購入できるので、販売員の負荷も大幅に軽減でき、しかもユーザが欲する製品（たばこ）を確実に販売できる。
【００３４】
以上、本発明に係る商品販売システムについて詳細に説明したが、本発明は前述した実施例による説明で限定されない。すなわち、本発明はその要旨を逸脱しない範囲で種々変更して実施することができる。
【符号の説明】
【００３５】
１                      商品販売システム
２                      表示手段
３                      ジェスチャ認識・合成表示手段
４                      商品確定手段
５                      商品搬出手段
１０                    自動販売機
ＳＡ                    商品見本
ＵＳ                    ユーザ
ＳＰ                    商品販売店舗
【図１】
2013191048.tif 000003
【図２】
2013191048.tif 000004
【図３】
2013191048.tif 000005
【図４】
2013191048.tif 000006