(57)【要約】【課題】顧客がどの商品に興味を示したかという情報を取得することが可能な自動販売機を提供する。【解決手段】この自動販売機は、商品見本陳列棚と、顧客を撮影する赤外線照明付きカメラと、カメラの光軸から離れた位置から顧客を照らす赤外線照明とを備える。この自動販売機は、カメラで撮影された顧客の瞳孔を検出し（Ｓ２）、探索範囲を限定した後（Ｓ３）、顔を検出し（Ｓ４）、顔画像を切り出し（Ｓ６）、顔画像に基づいて客層を認識する（Ｓ７）。さらに、視線を検出し（Ｓ８）、その視線に基づいて自動販売機の前面上における顧客の視点を特定し（Ｓ９）、その視点に基づいて注目商品及びその順序を特定し（Ｓ１０）、注目時間を計測し（Ｓ１１）、購入したか否かを判別する（Ｓ１４）。そして、注目商品、注目順序、注目時間、購入客／非購入客、客層などを対応付けて記録する（Ｓ２１）。【選択図】図３
2009140234.tif 000002
【特許請求の範囲】
【請求項１】
商品を自動的に販売する自動販売機であって、
前記自動販売機の前面に設けられ、前記商品を掲示する商品掲示領域と、
顧客の視線を検出する視線検出手段と、
前記視線検出手段により検出された視線に基づいて前記自動販売機の前面上における当該顧客の視点を特定する視点特定手段と、
前記視点特定手段により特定された視点に基づいて当該顧客が視認する商品を特定する商品特定手段とを備えたことを特徴とする自動販売機。
【請求項２】
請求項１に記載の自動販売機であってさらに、
顧客を撮影するカメラと、
前記カメラにより撮影された顧客の顔を検出して当該顔を含む所定領域を顔画像として切り出す顔検出手段と、
前記顔検出手段により切り出された顔画像に基づいて当該顧客の客層を認識する客層認識手段と、
前記商品特定手段により特定された商品と前記客層認識手段により認識された客層とを対応付けて記録する記録手段とを備えたことを特徴とする自動販売機。
【請求項３】
請求項２に記載の自動販売機であってさらに、
顧客の両目を検出する目検出手段と、
前記目検出手段により検出された両目の位置に基づいて当該顧客の顔が存在し得る領域を推定する顔領域推定手段とを備え、
前記顔検出手段は、前記顔領域推定手段により推定された領域の中から当該顧客の顔を検出する、ことを特徴とする自動販売機。
【請求項４】
請求項２又は３に記載の自動販売機であってさらに、
当該顧客が商品を購入したか否かを判別する購入判別手段を備え、
前記記録手段は、前記購入判別手段による判別結果を前記商品特定手段により特定された商品と前記客層認識手段により認識された客層とに対応付けて記録する、ことを特徴とする自動販売機。
【請求項５】
請求項１〜４のいずれか１項に記載の自動販売機であってさらに、
前記商品特定手段により同じ商品が連続的に特定された時間を計測する注目時間計測手段を備えたことを特徴とする自動販売機。
【請求項６】
請求項１〜５のいずれか１項に記載の自動販売機であってさらに、
前記商品特定手段により特定された商品の順序を記録する注目順序記録手段を備えたことを特徴とする自動販売機。
【請求項７】
商品を掲示する商品掲示領域を前面に有する自動販売機用のコンピュータに実行させるプログラムであって、
顧客の視線を検出するステップと、
前記検出された視線に基づいて前記自動販売機の前面上における当該顧客の視点を特定するステップと、
前記特定された視点に基づいて当該顧客が視認する商品を特定するステップとを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動販売機に関し、さらに詳しくは、販売促進に有用な情報を収集する自動販売機に関する。
【背景技術】
【０００２】
特開平９−３１９９４０号公報（特許文献１）には、カメラで顧客を撮影してその客層を認識し、その顧客が興味をひきそうな文字情報を表示するようにした自動販売機が記載されている。また、その客層情報をセンタに送信し、販売促進に利用することも記載されている。
【０００３】
自動販売機を利用する顧客は一般に、前面に陳列されている商品見本を見て、その中から欲しい商品を決定する。すなわち、顧客は興味のある商品見本をいくつか順に見ていき、それらを比較検討した上で、欲しい商品を１つ選択して購入する。このとき、最終的には購入しなかったが、興味を示した商品がいくつか存在している。また、商品見本を見ただけで何も購入しなかった場合であっても、興味を示した商品がいくつか存在していることがある。
【０００４】
顧客がどの商品に興味を示したかという情報は販売促進に有用であるが、従来の自動販売機はいずれもそのような情報を取得することは全くできない。
【特許文献１】特開平９−３１９９４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、顧客がどの商品に興味を示したかという情報を取得することが可能な自動販売機を提供することである。
【課題を解決するための手段及び発明の効果】
【０００６】
本発明による自動販売機は、商品掲示領域と、視線検出手段と、視点特定手段と、商品特定手段とを備える。商品掲示領域は、自動販売機の前面に設けられ、商品を掲示する。ここで掲示される商品は現物でも見本でもよい。視線検出手段は、顧客の視線を検出する。視点特定手段は、視線検出手段により検出された視線に基づいて自動販売機の前面上における当該顧客の視点を特定する。商品特定手段は、視点特定手段により特定された視点に基づいて当該顧客が視認する商品を特定する。
【０００７】
本発明によれば、顧客の視線が検出され、顧客の視点が特定され、さらに顧客が視認する商品が特定される。その結果、顧客がどの商品に興味を示したかという情報を取得することができる。
【０００８】
好ましくは、自動販売機はさらに、カメラと、顔検出手段と、客層認識手段と、記録手段とを備える。カメラは、顧客を撮影する。顔検出手段は、カメラにより撮影された顧客の顔を検出して当該顔を含む所定領域を顔画像として切り出す。客層認識手段は、顔検出手段により切り出された顔画像に基づいて当該顧客の客層を認識する。客層としては、たとえば性別、年代などがある。記録手段は、商品特定手段により特定された商品と客層認識手段により認識された客層とを対応付けて記録する。
【０００９】
この場合、顧客がどの商品に興味を示したかという情報に加え、その客層を取得することができる。
【００１０】
好ましくは、自動販売機はさらに、目検出手段と、顔領域推定手段とを備える。目検出手段は、顧客の両目を検出する。顔領域推定手段は、目検出手段により検出された両目の位置に基づいて当該顧客の顔が存在し得る領域を推定する。顔検出手段は、顔領域推定手段により推定された領域の中から当該顧客の顔を検出する。
【００１１】
この場合、顧客の両目が検出され、その両目の位置に基づいて顔が存在し得る領域が推定され、その中から顔が検出されるので、顔を検出するために探索する範囲が限定される。
【００１２】
好ましくは、自動販売機はさらに、当該顧客が商品を購入したか否かを判別する購入判別手段を備える。記録手段は、購入判別手段による判別結果を商品特定手段により特定された商品と客層認識手段により認識された客層とに対応付けて記録する。
【００１３】
この場合、どのような客層の顧客がどの商品に興味を示したかという情報に加え、その顧客が実際に商品を購入したか否かという情報を取得することができる。
【００１４】
好ましくは、自動販売機はさらに、商品特定手段により同じ商品が連続的に特定された時間を計測する注目時間計測手段を備える。
【００１５】
この場合、顧客がどの商品に興味を示したかという情報等に加え、各商品の注目時間を取得することができる。
【００１６】
好ましくは、自動販売機はさらに、商品特定手段により特定された商品の順序を記録する注目順序記録手段を備える。
【００１７】
この場合、顧客がどの商品に興味を示したかという情報等に加え、顧客が注目した商品の順序を取得することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
【００１９】
図１を参照して、本発明の実施の形態による自動販売機１０は、商品見本陳列棚１１と、商品選択ボタン１２と、硬貨投入口１３と、商品取出口１４と、硬貨返却口１５と、ディスプレイ１６とを備える。
【００２０】
商品見本陳列棚１１は、自動販売機１０の前面に設けられ、商品を掲示する商品掲示領域である。本例では商品現物ではなく、商品見本１７が陳列される。商品選択ボタン１２は、商品見本１７に対応して設けられる。ディスプレイ１６はＬＣＤ(Liquid Crystal Display)などで構成され、各種広告、宣伝、案内、ゲームなどを表示する。
【００２１】
顧客は必要な硬貨を硬貨投入口１３から投入し、商品見本１７を見て、その中から欲しい商品を決定し、対応する商品選択ボタン１２を押す。すると、その商品が商品取出口１４に供給され、必要に応じて釣り銭が硬貨返却口１５に供給される。以上の構成及び動作は周知のものである。
【００２２】
自動販売機１０はさらに、赤外線照明付きカメラ１８と、赤外線照明１９とを備える。赤外線照明付きカメラ１８は、商品見本陳列棚１１の中央に設置され、自動販売機１０前方に立った顧客、特にその顔を撮影する。このカメラ１８は赤外線照明を有し、カメラ１８の光軸上から赤外線を顧客に向けて照射する。赤外線照明は、たとえばカメラ１８のレンズ周りに環状に並べられた複数の赤外線ＬＥＤからなる。一方、赤外線照明１９は、商品見本陳列棚１１の片隅に設置される。本例では、赤外線照明１９は商品見本陳列棚１１に向かって左側に設置されているが、右側、上側、下側などに設置されていてもよく、要は、赤外線照明付きカメラ１８から離れて設置されていればよい。赤外線照明１９は、カメラ１８の光軸から離れた位置から赤外線を顧客に向けて照射する。カメラ１８の赤外線照明及び赤外線照明１９のそれぞれの機能は後述する。
【００２３】
図２を参照して、自動販売機１０はさらに、ＦＩＦＯ(First-In First-Out)メモリ等からなる入力画像バッファメモリ２０と、貨幣投入センサ２１と、コンピュータ２２と、ＦＩＦＯメモリ等からなる認識対象画像バッファメモリ２３と、自動販売機本体制御装置（以下、単に「本体制御装置」と略す。）２４と、来客履歴記憶装置２５と、入出力インターフェイス（Ｉ／Ｆ）２６とを備える。
【００２４】
入力画像バッファメモリ２０は、カメラ１８で生成された全フレームの画像を一時的に記憶する。貨幣投入センサ２１は、硬貨投入口１３への硬貨の投入を検知する。硬貨投入口１３以外に紙幣投入口（図示せず）も設けられていてもよい。この場合、貨幣投入センサ２１は、紙幣投入口への紙幣の投入を検知する。
【００２５】
コンピュータ２２には、図３に示したプログラムがインストールされる。認識対象画像バッファメモリ２３は、コンピュータ２２で客層認識処理の対象として選択された画像を記憶する。本体制御装置２４は、自動販売機１０全体の制御を統括する。来客履歴記憶装置２５は、コンピュータ２２で生成される来客履歴（客層、視線、購入客／非購入客など）を記憶する。Ｉ／Ｆ２６は、来客履歴記憶装置２５に記録された来客履歴を外部に出力したり、外部から種々の情報を入力したりする。
【００２６】
次に、以上のように構成された自動販売機１０の動作を説明する。
【００２７】
図３を参照して、コンピュータ２２は、赤外線照明付きカメラ１８及び赤外線照明１９を制御し、顧客を撮影する（Ｓ１）。具体的には、カメラ１８は顧客を連続的に撮影して多数のフレームからなる動画を生成する。撮影中、カメラ１８の赤外線照明及びもう１つの赤外線照明１９はカメラ１８に同期してフレームごとに交互に点灯する。カメラ１８の赤外線照明はカメラ１８の光軸上から顧客を照らすので、顧客の瞳孔で反射した赤外線が直接カメラ１８に返ってくる。したがって、カメラ１８の赤外線照明が点灯したときに撮影された画像には、いわゆる赤目現象が起こり、顧客の瞳孔が明るく写る。これに対し、赤外線照明１９はカメラ１８の光軸から離れた位置から顧客を照らすので、顧客の瞳孔が暗く写る。
【００２８】
続いて、コンピュータ２２は、カメラ１８で撮影した画像に基づいて顧客の瞳孔（両目）を検出する（Ｓ２）。具体的には、瞳孔が明るく写っている画像と瞳孔が暗く写っている画像との差分を求めれば、瞳孔を検出することができる。瞳孔検出には種々の公知の方法を用いることができるが、たとえば海老澤他，「瞳孔検出技術の車載応用への可能性の検討」，動的画像処理実利用化ワークショップ，Ｏ４−３，pp.151-156 (2007)、中尾他，「ＣＭＯＳイメージセンサを用いた複眼カメラの時間差分処理応用」，動的画像処理実利用化ワークショップ，Ｏ６−２，pp.193-196 (2007)に開示された方法を用いることができる。
【００２９】
続いて、コンピュータ２２は、検出した瞳孔の位置に基づいて顧客の顔が存在し得る領域を推定することにより、次の顔検出処理の対象となる探索範囲を限定する（Ｓ３）。具体的には、検出した瞳孔の間隔に基づいて顔の大きさを推定し、それを包含する長方形の枠を設定する。そして、検出した瞳孔の位置を基準にしてその枠の位置を決定する。この枠内に顧客の顔が存在するはずである。
【００３０】
続いて、コンピュータ２２は、推定した領域の中から顧客の顔を検出する（Ｓ４）。顔を検出すると（Ｓ５）、コンピュータ２２は、検出した顔を含む所定領域を顔画像として切り出す（Ｓ６）。顔検出には種々の公知の方法を用いることができるが、たとえば特開２００５−２７５９３５号公報や特開２００５−２１５８９９号公報に開示された方法を用いることができる。
【００３１】
続いて、コンピュータ２２は、切り出した顔画像に基づいて顧客の客層（たとえば性別、年代など）を認識する（Ｓ７）。客層認識には種々の公知の方法を用いることができるが、たとえば特開２００５−２７５９３５号公報や特開２００６−３２３５０７号公報に開示された方法を用いることができる。
【００３２】
続いて、コンピュータ２２は、顧客の視線を検出する（Ｓ８）。視線検出の具体的な方法は図４に示される。
【００３３】
まず、切り出した顔画像の中から目尻及び目頭を検出し（Ｓ８１）、さらに瞳孔（又は虹彩）を検出する（Ｓ８２）。瞳孔は瞬きをしている間は検出できないので、瞳孔を検出できない場合（Ｓ８３でＮＯ）、後述するステップＳ８４〜Ｓ８６をスキップし、視線の検出を行わない。一方、瞳孔を検出できた場合（Ｓ８３でＹＥＳ）、顔画像の中から鼻先を検出する（Ｓ８４）。続いて、検出した目尻、目頭及び鼻先に基づいて、顔方向（顧客の顔が向いている方向）を推定する（Ｓ８５）。顔方向は、両目の目尻及び目頭の中心と鼻先との間の位置関係から求める。そして、推定した顔方向に基づいて視線を推定する（Ｓ８６）。視線検出には種々の公知の方法を用いることができるが、たとえば特開２００５−８７２８４号公報、遠西他，「較正の容易な頭部移動を許容する高精度視線検出」，動的画像処理実利用化ワークショップ，Ｉ２−１６，pp.299-304 (2007)に開示された方法を用いることができる。
【００３４】
目尻、目頭、瞳孔及び鼻先の位置及び大きさは、上記顔検出の結果から概ね把握することができる。したがって、目尻、目頭、瞳孔及び鼻先の検出に際しては、顔画像の全範囲を探索する必要はなく、探索範囲を絞ることができる。そして、その探索範囲内から小さい所定領域を順次切り出し、切り出した所定領域の画像を、あらかじめ用意した目尻、目頭、瞳孔及び鼻先のサンプル画像と順次比較し、切り出した画像の尤度（サンプル画像との類似度）を順次算出する。そして、その中から最尤度の画像を決定すれば、目尻、目頭、瞳孔及び鼻先を検出することができる。この方法は上記顔検出の方法と原理的に同じである。
【００３５】
再び図３を参照して、コンピュータ２２は、検出した視線に基づいて、自動販売機１０の前面上における顧客の視点を特定する（Ｓ９）。具体的には、検出した瞳孔の位置から視線を延ばし、その視線が自動販売機１０の前面と交わる点を視点と決定する。そのためには瞳孔の３次元座標を特定する必要があるが、瞳孔の位置と自動販売機１０の前面との間の距離は概ね一定とみなし、たとえば腕を軽く曲げて延ばした４０〜５０ｃｍとしてもよい。また、測距センサなどで自動販売機１０から顧客までの実際の距離を測定してもよい。また、カメラを２台取り付け、ステレオ撮影を行い、得られた視差に基づいて、自動販売機１０から顧客までの実際の距離を測定してもよい。
【００３６】
続いて、コンピュータ２２は、特定した視点に基づいて、顧客が視認する商品見本１７を特定する（Ｓ１０）。具体的には、自動販売機１０の前面上において、各商品見本１７が存在する領域、ディスプレイ１６が存在する領域などをあらかじめ登録しておき、特定した視点がどの領域内に入っているかを判定する。これにより、顧客が注目した商品や広告（ディスプレイ１６上に表示される）などを特定することができる。
【００３７】
顧客は一般に、興味のある商品見本１７をいくつか順に見ていく。後述するようにステップＳ１〜Ｓ１２はある顧客が自動販売機１０の前から立ち去るまで繰り返される。そこで、前回と異なる商品が特定されるたびに、その新たに特定された商品見本１７に対して順番を付けていく。これにより、顧客が注目した商品の順序を特定することができる。
【００３８】
続いて、コンピュータ２２は、同じ商品が連続的に特定された時間を計測する（Ｓ１１）。顧客は一般に、特に興味のある商品見本１７については他の商品見本１７よりも長時間見続ける傾向にある。ステップＳ１〜Ｓ１２は繰り返されるので、前回と同じ商品見本１７が今回も特定された場合、その商品見本１７用のタイムカウンタをインクリメントする。一方、前回と異なる商品見本１７が今回は特定された場合、その新たに特定された商品見本１７用のタイムカウンタをインクリメントする。これにより、商品見本１７ごとに注目時間を計測することができる。
【００３９】
続いて、コンピュータ２２は、顔検出結果に基づいて、撮影画像に写っている人（顧客）を追跡する（Ｓ１２）。具体的には、現フレームで抽出された人領域の位置が前フレームで抽出された人領域の位置と近ければ（所定範囲内であれば）、同一人物とみなす。人追跡には種々の公知の方法を用いることができるが、たとえば特開２００６−３１３８７号公報に開示された方法を用いることができる。顧客が自動販売機１０前から立ち去り、フレーム外に出て行かない限り（Ｓ１３）、コンピュータ２２は上記処理Ｓ１〜Ｓ１２を繰り返す。したがって、１人の顧客につき、通常は複数の客層認識結果が得られる。
【００４０】
また、ここで、顧客が自動販売機１０の前にやって来た日時、自動販売機１０の前に滞在していた時間などを計測してもよい。
【００４１】
続いて、コンピュータ２２は、顧客が商品を購入したか否かを判別する（Ｓ１４）。具体的には、貨幣投入センサ２１が硬貨投入口１３への硬貨の投入を検知し、かつ、商品選択ボタン１２が押下された場合（Ｓ１４でＹＥＳ）、コンピュータ２２はその顧客を購入客と判別する（Ｓ１５）。一方、貨幣投入センサ２１が硬貨投入口１３への硬貨の投入を検知しなかった場合（Ｓ１５でＮＯ）、又は硬貨の投入を検知しても商品選択ボタン１２が押下されなかった場合（Ｓ１５でＮＯ）、コンピュータ２２はその顧客を非購入客と判別する（Ｓ１６）。
【００４２】
続いて、コンピュータ２２は、上記ステップＳ７で得た複数の客層認識結果に基づいて客層を１つに決定する（Ｓ１７）。具体的には、複数の客層認識結果を統計的に評価し、最も確からしい客層を選択する。
【００４３】
そして、コンピュータ２２は、上記ステップＳ１０で特定した注目商品又は広告及びその順序に関する情報、上記ステップＳ１１で特定した注目時間に関する情報、上記ステップＳ１４〜Ｓ１６で判別した購入客／非購入客に関する情報、上記ステップＳ１７で決定した客層に関する情報、来客日時、滞在時間などを含む来客履歴を本体制御装置２４に出力する（Ｓ１８）。本体制御装置２４はその来客履歴を来客履歴記憶装置２５に記録する（Ｓ２１）。
【００４４】
本発明の実施の形態によれば、顧客の注目商品又は広告、注目順序、注目時間、購入したか否か、客層、来客日時、滞在時間等に関する情報を取得することができる。このような情報は販売促進に有用である。また、顔を検出する前にその探索範囲を限定しているため、顔検出処理に要する時間を短縮することができる。
【００４５】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態による自動販売機の外観構成を示す斜視図である。
【図２】図１に示した自動販売機の内部構成を示す機能ブロック図である。
【図３】図１及び図２に示した自動販売機の動作を示すフロー図である。
【図４】図３中の視線検出処理の詳細を示すフロー図である。
【符号の説明】
【００４７】
１０  自動販売機
１１  商品見本陳列棚
１６  ディスプレイ
１７  商品見本
１８  赤外線照明付きカメラ
１９  赤外線照明
２２  コンピュータ
２５  来客履歴記憶装置
【図１】
2009140234.tif 000003
【図２】
2009140234.tif 000004
【図３】
2009140234.tif 000005
【図４】
2009140234.tif 000006