(57)【要約】【課題】認識精度を低下させることなく、必要なバッファメモリの容量を小さくすることが可能な客層認識装置を提供する。【解決手段】カメラで顧客を撮影して順次生成された画像をキャプチャし、かつその顧客の購入経過時間を計測し（Ｓ２）、その購入経過時間が長くなるに従って間引き率を段階的に高く設定し（Ｓ３）、上記キャプチャされた画像をその間引き率で間引くことにより画像のデータ量を削減し（Ｓ４）、間引いた画像をバッファメモリに一時的に保存し（Ｓ５）、バッファメモリに保存された画像に基づいてカメラで撮影された顧客の客層を認識する（Ｓ８）。【選択図】図３
2009021647.tif 000002
【特許請求の範囲】
【請求項１】
顧客を撮影して画像を順次生成するカメラと、
前記カメラで撮影された顧客の購入時間を取得する購入時間取得手段と、
前記購入時間取得手段により取得された購入時間が長いほど前記カメラにより生成された画像のデータ量を多く削減するデータ削減手段と、
前記データ削減手段によりデータ量が削減された画像を記憶するためのバッファメモリと、
前記バッファメモリに記憶された画像に基づいて前記カメラにより撮影された顧客の客層を認識する客層認識手段とを備えることを特徴とする客層認識装置。
【請求項２】
請求項１に記載の客層認識装置であって、
前記データ削減手段は、
前記購入時間取得手段により取得された購入時間が長いほど間引き率を高く設定する間引き率設定手段と、
前記間引き率設定手段により設定された間引き率で前記カメラにより生成された画像を間引く間引き手段とを含む、ことを特徴とする客層認識装置。
【請求項３】
請求項１に記載の客層認識装置であって、
前記データ削減手段は、
前記購入時間取得手段により取得された購入時間が長いほど圧縮率を高く設定する圧縮率設定手段と、
前記圧縮率設定手段により設定された圧縮率で前記カメラにより生成された画像を圧縮する圧縮手段とを含む、ことを特徴とする客層認識装置。
【請求項４】
カメラで顧客を撮影して順次生成された画像を取得するステップと、
前記カメラで撮影された顧客の購入時間を取得する購入時間取得ステップと、
前記購入時間取得ステップにより取得された購入時間が長いほど前記カメラにより生成された画像のデータ量を多く削減するデータ削減ステップと、
前記データ削減ステップによりデータ量が削減された画像をバッファメモリに保存するステップと、
前記バッファメモリに保存された画像に基づいて前記カメラにより撮影された顧客の客層を認識するステップとをコンピュータに実行させるためのプログラム。
【請求項５】
請求項４に記載のプログラムであって、
前記データ削減ステップは、
前記購入時間取得ステップにより取得された購入時間が長いほど間引き率を高く設定する間引き率設定ステップと、
前記間引き率設定ステップにより設定された間引き率で前記カメラにより生成された画像を間引くステップとを含む、ことを特徴とするプログラム。
【請求項６】
請求項４に記載のプログラムであって、
前記データ削減ステップは、
前記購入時間取得ステップにより取得された購入時間が長いほど圧縮率を高く設定するステップと、
前記圧縮率設定ステップにより設定された圧縮率で前記カメラにより生成された画像を圧縮するステップとを含む、ことを特徴とするプログラム。
【請求項７】
請求項１〜３のいずれか１項に記載の客層認識装置を備えた自動販売機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、客層認識装置に関し、さらに詳しくは、自動販売機などに用いられる客層認識装置に関する。
【背景技術】
【０００２】
特開平９−３１９９４０号公報（特許文献１）には、カメラで顧客を撮影してその客層（年代や性別等）を判断し、その顧客が興味をひきそうな文字情報を表示するようにした自動販売機が記載されている。また、客層の情報をセンタに送信し、販売促進に利用することも記載されている。しかしながら、カメラで撮影した画像をどのように処理するのか、その具体的な方法は全く記載されていない。
【０００３】
一方、特開２００６−３１３８７号公報（特許文献２）には、カメラで撮影した画像の中から人物の顔を検出し、その人物を特定（推定）する画像認識装置が記載されている。この装置のアルゴリズムは非常に複雑で、高速の処理システム（ハードウェア）が必要となる。したがって、この装置を自動販売機等に単に搭載し、カメラで撮影した画像を全て処理していたのでは、ハードウェアが高くつき過ぎ、現実味に乏しい。
【０００４】
カメラで撮影した顧客の画像を用いて客層を認識する客層認識処理を行う場合、認識精度を高くするためには、顧客１人につき、できる限り多くの画像を取得するのが望ましい。一方、このような画像処理にはＣＰＵ(Central Processing Unit)が用いられるが、自動販売機のような組み込みシステムに用いられるＣＰＵは一般に、パソコン等に用いられるＣＰＵよりも処理能力が低い。したがって、このようなデータ量の多い客層認識処理をリアルタイムに行うこと、すなわち、現在の画像の処理を次の画像を取得するまでに終了しておくことは困難である。そのため、取得した画像を一時的に保存しておくためのバッファメモリが必要になる。
【０００５】
商品の購入時間が短い場合、客層認識処理に用いることができる画像の枚数が少ないので、認識精度が低くなる。一方、購入時間が長い場合、客層認識処理に用いることができる画像の枚数が多いので、認識精度が高くなる。しかしながら、多数の画像を保存しておく必要があるため、バッファメモリの容量を大きくしなければならないという問題がある。
【特許文献１】特開平９−３１９９４０号公報
【特許文献２】特開２００６−３１３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、認識精度を低下させることなく、必要なバッファメモリの容量を小さくすることが可能な客層認識装置を提供することである。
【課題を解決するための手段及び発明の効果】
【０００７】
本発明による客層認識装置は、カメラと、購入時間取得手段と、データ削減手段と、バッファメモリと、客層認識手段とを備える。カメラは、顧客を撮影して画像を順次生成する。購入時間取得手段は、カメラで撮影された顧客の購入時間を取得する。データ削減手段は、購入時間取得手段により取得された購入時間が長いほどカメラにより生成された画像のデータ量を多く削減する。バッファメモリは、データ削減手段によりデータ量が削減された画像を記憶する。客層認識手段は、バッファメモリに記憶された画像に基づいてカメラにより撮影された顧客の客層、たとえば年代や性別を認識する。ここでいう購入時間としては、たとえば購入開始時刻からの経過時間でもよく、また、購入に要した所要時間でもよい。
【０００８】
本発明によれば、カメラにより生成された画像は購入時間が長いほどそのデータ量が多く削減され、バッファメモリに記憶されるので、購入時間が長くてもバッファメモリに容量不足が生じることはほとんどなく、客層を確実に認識することができる。
【０００９】
好ましくは、データ削減手段は、間引き率設定手段と、間引き手段とを含む。間引き率設定手段は、購入時間取得手段により取得された購入時間が長いほど間引き率を高く設定する。間引き手段は、間引き率設定手段により設定された間引き率でカメラにより生成された画像を間引く。
【００１０】
好ましくは、データ削減手段は、圧縮率設定手段と、圧縮手段とを含む。圧縮率設定手段は、購入時間取得手段により取得された購入時間が長いほど圧縮率を高く設定する。圧縮手段は、圧縮率設定手段により設定された圧縮率でカメラにより生成された画像を圧縮する。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
【００１２】
［第１の実施の形態］
［構成］
図１を参照して、自動販売機１０は、商品見本１１と、商品選択ボタン１２と、硬貨投入口１３と、商品取出口１４と、硬貨返却口１５とを備える。顧客は必要な硬貨を硬貨投入口１３から投入し、商品見本１１を見ながら欲しい商品を決定し、その商品選択ボタン１２を押す。すると、その商品が商品取出口１４に供給され、必要に応じて釣り銭が硬貨返却口１５に供給される。以上の構成及び動作は周知のものである。
【００１３】
図２を参照して、自動販売機１０はさらに、自動販売機本体制御装置（以下、単に「本体制御装置」と略す。）１６と、電子決済機１７と、現金識別装置１８と、本発明の第１の実施の形態による客層認識装置１９とを備える。本体制御装置１６は、自動販売機１０全体の制御を統括する。電子決済機１７は、電子マネー、プリペイドカード、クレジットカードなどを用いた各種電子決済を実行する。現金識別装置１８は、投入された紙幣及び硬貨を識別する。客層認識装置１９は、カメラ２０と、画像キャプチャ装置２１と、リングバッファ２２と、間引き装置２３と、バッファメモリ２４と、コンピュータ２５とを備える。
【００１４】
カメラ２０は硬貨投入口１３の周辺に埋設され、自動販売機１０前方に立った顧客、特にその顔を撮影して映像（動画）を生成する。すなわち、カメラ２０は顧客を撮影して複数フレームの画像を順次生成する。本実施の形態では、顧客は少なくとも１回硬貨を投入するために硬貨投入口１３に顔を向けることに着目し、カメラ２０を硬貨投入口１３の周辺に埋設している。顧客は少なくとも１回商品を選択するために商品見本１１及び商品選択ボタン１２に顔を向けることになるため、カメラ２０は自動販売機１０前面のほぼ中央で、かつ、商品見本１１と商品選択ボタン１２との間辺りに埋設してもよい。また、顧客は少なくとも１回商品を取り出すために商品取出口１４に顔を向けることに着目し、カメラ２０を商品取出口１４の周辺に埋設してもよい。
【００１５】
画像キャプチャ装置２１は、カメラ２０から順次出力される画像の中から所定時間おきに１フレームずつ画像を抽出する。リングバッファ２２は、画像キャプチャ装置２１で抽出された新しい画像を順次蓄積していくとともに、空きの記憶領域がない場合は古い画像から順次消去していく。間引き装置２３は、画像キャプチャ装置２１により抽出された画像を商品の購入に要している時間に応じて間引き、これによりカメラ２０により生成されかつ画像キャプチャ装置２１により抽出された画像のデータ量を削減する。詳細は後述する。
【００１６】
バッファメモリ２４は、間引き装置２３で間引いた画像を一時的に記憶するＦＩＦＯ(First-In First-Out)等の半導体メモリである。コンピュータ２５は、バッファメモリ２４に記憶された画像の中から顧客の顔を検出し、その顔に基づいて客層を認識する客層認識処理などを実行する。
【００１７】
［動作］
次に、自動販売機１０の動作を説明する。自動販売機１０内のコンピュータ２５は、図３に示される画像保存処理及び客層認識処理のための両プログラムを並行して実行する。
【００１８】
まず、コンピュータ２５は、計測モードを「０」に設定し（Ｓ１）、画像キャプチャ処理及び購入経過時間計測処理を実行する（Ｓ２）。以下、詳細を説明する。
【００１９】
［画像キャプチャ処理・購入経過時間計測処理］
図４を参照して、画像キャプチャ装置２１は、カメラ２０から出力される映像の中から所定時間おきに画像をキャプチャし（Ｓ２１）、その画像をリングバッファ２２に保存する（Ｓ２２）。
【００２０】
ここで計測される購入経過時間は、現金決済の場合、図５に示されるように、貨幣投入時刻よりもあらかじめ定められた時間（以下、「貨幣投入前時間」という。）前の時刻から現在時刻までの経過時間である。購入経過時間は、貨幣投入時刻で貨幣投入前時間に設定され、その後、徐々に長くなり、商品選択時刻からあらかじめ定められた時間（以下、「商品選択後時間」という。）が経過したとき購入所要時間に達する。たとえば、貨幣投入前時間としては１〜２秒に設定され、商品選択後時間としては約１秒に設定される。
【００２１】
画像キャプチャ装置２１は常に画像をキャプチャし、リングバッファ２２に保存している。現金識別装置１８は、硬貨又は紙幣の投入を検知すると、貨幣投入検知信号ＭＩを生成する。商品選択ボタン１２が押下されると、自動販売機本体制御装置１６は商品選択検知信号ＩＳを生成する。したがって、コンピュータ２５は、貨幣投入検知信号ＭＩの発生よりも貨幣投入前時間前から商品選択検知信号ＩＳの発生よりも商品選択後時間後までの購入経過時間を計測する。以下、詳細を説明する。
【００２２】
再び図４を参照して、計測モード＝０の場合（Ｓ２３でモード０）、コンピュータ２５は、現金識別装置１８が硬貨又は紙幣の投入を検知したか否かを判断する（Ｓ２４）。硬貨等の投入が検知されない限り（Ｓ２４でＮＯ）、上記ステップＳ２１及びＳ２２を繰り返す。硬貨等の投入が検知され、貨幣投入検知信号ＭＩが生成されたとき（Ｓ２４でＹＥＳ）、コンピュータ２５は現在の時刻を貨幣投入時刻として設定し（Ｓ２５）、貨幣投入前時間を購入経過時間として設定し（Ｓ２６）、計測モードを「１」に設定する（Ｓ２７）。そして、コンピュータ２５は、リングバッファ２２から間引き装置２３に画像データを転送する（Ｓ２８）。
【００２３】
計測モード＝１の場合（Ｓ２３でモード１）、コンピュータ２５は、図５に示した購入経過時間を次の式（１）により算出する（Ｓ２９）。
購入経過時間＝（現在時刻−貨幣投入時刻）＋貨幣投入前時間  …（１）
【００２４】
続いて、コンピュータ２５は、商品選択ボタン１２が押下されたか否かを判断する（Ｓ３０）。商品選択ボタン１２が押下され、商品選択検知信号ＩＳが生成されたとき（Ｓ３０でＹＥＳ）、コンピュータ２５は、図５に示した購入所要時間を次の式（２）により算出する（Ｓ３１）。
購入所要時間＝購入経過時間＋商品選択後時間  …（２）
【００２５】
購入所要時間の算出後、コンピュータ２５は、計測モードを「２」に設定する（Ｓ３２）。
【００２６】
計測モード＝２の場合（Ｓ２３でモード２）、コンピュータ２５は、購入経過時間を前記式（１）により算出する（Ｓ３３）。
【００２７】
続いて、コンピュータ２５は、ステップＳ３３で算出した購入経過時間がステップＳ３１で算出した購入所要時間以上に達したか否かを判断する（Ｓ３４）。購入経過時間が購入所要時間以上に達したとき（Ｓ３４でＹＥＳ）、コンピュータ２５は、計測モードを「０」に設定する（Ｓ３５）。
【００２８】
なお、電子決済の場合、上記の「貨幣投入」を「商品選択」に置き換え、上記の「商品選択」を「決済操作」に置き換えればよい。ここでいう決済操作は、たとえばカード等を読取装置に通したり、かざしたりする行為である。
【００２９】
再び図３を参照して、上記処理後、コンピュータ２５は、間引き率設定処理を実行する（Ｓ３）。以下、詳細を説明する。
【００３０】
［間引き率設定処理］
図６を参照して、コンピュータ２５は、上記ステップＳ２で取得した購入経過時間Ｔに応じて間引き率Ｐを設定する。具体的には、コンピュータ２５は次の表１に示した間引き率テーブルを参照し、取得した購入経過時間ＴがＴ１未満（Ｔ＜Ｔ１）か、Ｔ１以上Ｔ２未満（Ｔ１≦Ｔ＜Ｔ２）か、…、Ｔｎ以上（Ｔ≧Ｔｎ）か、を判断する（Ｓ４１）。
【表１】
2009021647.tif 000003
【００３１】
表１に示した間引き率テーブルは、コンピュータ２５のハードディスク等に記憶される。間引き率テーブルには、購入経過時間のあらかじめ定められた範囲とあらかじめ定められた間引き率とが対応付けられて記録される。表１中、Ｔ１＜Ｔ２＜…＜Ｔｎ−１＜Ｔｎ、Ｐ０（＝０％）＜Ｐ１＜…＜Ｐｎ−１＜Ｐｎ（＝１００％）である。Ｔｎには、あり得ないほど長い購入経過時間を割り当てる。具体的な数値を割り当てた例を次の表２に示す。
【表２】
2009021647.tif 000004
【００３２】
たとえばＴ＜Ｔ１の場合、コンピュータ２５は間引き率ＰをＰ０（＝０％）に設定する（Ｓ４２０）。Ｔ１≦Ｔ＜Ｔ２の場合、コンピュータ２５は間引き率ＰをＰ１（＞Ｐ０）に設定する（Ｓ４２１）。Ｔ≧Ｔｎの場合、コンピュータ２５は間引き率ＰをＰｎ（＝１００％）に設定する（Ｓ４２ｎ）。
【００３３】
以上の結果、コンピュータ２５は、上記ステップＳ２で取得した購入経過時間Ｔが長くなるに従って間引き率Ｐを段階的に高く設定する。
【００３４】
［間引き処理等］
再び図３を参照して、上述した間引き率設定処理Ｓ２の後、コンピュータ２５は、間引き処理を実行し（Ｓ４）、間引き処理後の画像をバッファメモリ２４に一時的に保存する（Ｓ５）。計測モード＝０でない限り（Ｓ６でＮＯ）、コンピュータ２５は上記ステップＳ２〜Ｓ５を繰り返す。
【００３５】
間引き処理においては、たとえばＰ＝０の場合、コンピュータ２５は間引き装置２３を制御し、画像を全く間引かない。また、Ｐ＝Ｐ１の場合、コンピュータ２５は間引き装置２３を制御し、間引き率Ｐ１で画像を間引く。また、Ｐ＝１００の場合、コンピュータ２５は間引き装置２３を制御し、画像を全て間引く。
【００３６】
たとえばフレームレートが３０ｆｐｓ(frame per second)の場合において、上記表２に示した間引き率テーブルが用いられると、バッファメモリ２４に保存される画像の最大フレーム数は次の式（３）により２２８フレームとなる。
【００３７】
３０ｆｐｓ×（１００％−０％）×４秒＋３０ｆｐｓ×（１００％−５０％）×４秒＋３０ｆｐｓ×（１００％−８０％）×４秒＋３０ｆｐｓ×（１００％−９０％）×４秒＋３０ｆｐｓ×（１００％−９３．３３％）×４秒＋３０ｆｐｓ×（１００％−９６．６７％）×４秒＋３０ｆｐｓ×（１００％−１００％）×４秒＝２２８フレーム  …（３）
この場合、購入経過時間が４秒に達するまでフレームは全く間引かれないが、２４秒以上に達するとフレームは全て間引かれる。
【００３８】
［画像認識処理］
上述した画像保存処理と並行して、コンピュータ２５は客層認識処理を実行する。具体的には、コンピュータ２５は、バッファメモリ２４から画像を読み出し（Ｓ７）、その画像に基づいてカメラ２０で撮影された顧客の客層を認識する（Ｓ８）。そして、コンピュータ２５は、その認識結果を出力する（Ｓ９）。具体的には、客層の認識結果を内蔵の記録媒体等に購入履歴として記録したり、電気通信回線を通じてセンタサーバに送信したり、自動販売機１０に接続されるモバイル端末に転送したりする。
【００３９】
［効果］
以上のように本発明の第１の実施の形態によれば、カメラ２０により生成された画像は購入経過時間が長くなるに従って段階的に多数のフレームが間引かれ、バッファメモリ２４に記憶されるので、購入経過時間が長くなってもバッファメモリ２４に容量不足が生じることはなく、客層を確実に認識することができる。
【００４０】
［第２の実施の形態］
コンピュータ２５は、図２に示した間引き装置２３の代わりに圧縮装置（図示せず）を設け、圧縮処理を実行してもよい。図７を参照して、コンピュータ２５は、上記ステップＳ２で取得した購入計測時間Ｔに応じて圧縮率Ｐを設定する（Ｓ１０）。圧縮率は、もとの画像のデータ量に対して削減されたデータ量の割合を表し、圧縮率が高いほど圧縮後のデータ量は少なくなる。具体的には図８を参照して、コンピュータ２５は次の表３に示した圧縮率テーブルを参照し、取得した購入経過時間ＴがＴ１未満（Ｔ＜Ｔ１）か、Ｔ１以上Ｔ２未満（Ｔ１≦Ｔ＜Ｔ２）か、…、Ｔｎ以上（Ｔ≧Ｔｎ）か、を判断する（Ｓ５１）。
【表３】
2009021647.tif 000005
【００４１】
表３に示した圧縮率テーブルは、コンピュータ２５のハードディスク等に記憶される。圧縮率テーブルには、購入経過時間のあらかじめ定められた範囲とあらかじめ定められた圧縮率とが対応付けられて記録される。表３中、Ｑ０（＝０％；圧縮しない）＜Ｑ１＜…＜Ｑｎ−１＜Ｑｎ（＝１００％；全画像を破棄する）である。Ｔｎには、あり得ないほど長い購入経過時間を割り当てる。具体的な数値を割り当てた例を次の表４に示す。
【表４】
2009021647.tif 000006
【００４２】
たとえばＴ＜Ｔ１の場合、コンピュータ２５は圧縮率ＱをＱ０（＝０％）に設定する（Ｓ５１０）。Ｔ１≦Ｔ＜Ｔ２の場合、コンピュータ２５は圧縮率ＱをＱ１（＞Ｑ０）に設定する（Ｓ５１１）。Ｔ≧Ｔｎの場合、コンピュータ２５は圧縮率ＱをＱｎ（＝１００％）に設定する（Ｓ５１ｎ）。
【００４３】
再び図７を参照して、コンピュータ２５は圧縮装置を制御し、ステップＳ１０で設定した圧縮率Ｑで画像を圧縮する（Ｓ１１）。ここでの圧縮方法は、圧縮率の高い非可逆性圧縮（ＪＰＥＧ、ＭＰＥＧなど）が好ましいが、可逆性圧縮でもよい。以上の結果、圧縮装置は、ステップＳ２で取得した購入経過時間Ｔが長くなるに従って圧縮率を段階的に高くしながら画像を圧縮することができる。
【００４４】
以上のように本発明の第２の実施の形態によれば、カメラ２０により生成された画像は購入経過時間が長くなるに従って段階的に高い圧縮率で圧縮され、バッファメモリ２４に記憶されるので、購入経過時間が長くなってもバッファメモリ２４に容量不足が生じることはなく、客層を確実に認識することができる。
【００４５】
なお、上述した実施の形態では、購入経過時間が長くなるに従って間引き率又は圧縮率が段階的に高くなるようにしているが、計測した購入所要時間に応じてあらかじめ定められた間引き率又は圧縮率を１つ設定するようにしてもよい。
【００４６】
また、貨幣投入時刻よりも貨幣投入前時間だけ前の時刻から購入経過時間の計測を始めているが、貨幣投入時刻から計測を始めてもよい。また、商品選択時刻よりも商品選択後時間だけ後の時刻まで購入経過時間を計測しているが、商品選択時刻で計測を終了してもよい。
【００４７】
また、客層認識装置１９を自動販売機１０に取り付けているが、たとえば店舗のレジ、イベント会場の受付に設置してもよいなど、特に限定されることはない。
【００４８】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１の実施の形態による自動販売機の外観構成を示す斜視図である。
【図２】図１に示した自動販売機の内部構成を示す機能ブロック図である。
【図３】図２中のコンピュータに実行させるための画像保存処理及び画像認識処理プログラムを示すフロー図である。
【図４】図３中の画像キャプチャ処理及び購入経過時間計測処理の詳細を示すフロー図である。
【図５】図４に示した購入経過時間計測処理で計測される購入経過時間を説明するためのタイミング図である。
【図６】図３中の間引き率設定処理を示すフロー図である。
【図７】本発明の第２の実施の形態で用いられる画像保存処理及び画像認識処理プログラムを示すフロー図である。
【図８】図７中の圧縮率設定処理を示すフロー図である。
【符号の説明】
【００５０】
１０  自動販売機
１２  商品選択ボタン
１７  電子決済機
１８  現金識別装置
１９  客層認識装置
２０  カメラ
２１  画像キャプチャ装置
２２  リングバッファ
２３  間引き装置
２４  バッファメモリ
２５  コンピュータ
【図１】
2009021647.tif 000007
【図２】
2009021647.tif 000008
【図３】
2009021647.tif 000009
【図４】
2009021647.tif 000010
【図５】
2009021647.tif 000011
【図６】
2009021647.tif 000012
【図７】
2009021647.tif 000013
【図８】
2009021647.tif 000014