(57)【特許請求の範囲】
【請求項１】
客層認識装置であって、
顧客を撮影して画像を生成するカメラと、
前記カメラにより生成された画像に写っている複数の顔の中から最も大きい顔を検出する顔検出手段と、
前記顔検出手段により顔が検出されたとき、その顔に基づいて客層を認識する客層認識手段とを備え、
前記客層認識手段は前記客層として年齢を認識し、
前記客層認識装置はさらに、
前記客層認識手段により認識された年齢があらかじめ定められた年齢よりも若いか否かを判断する年齢判断手段を備え、
前記客層認識手段により認識された年齢があらかじめ定められた年齢よりも若いと前記年齢判断手段により判断されたとき、前記顔検出手段は既に検出した顔以外の顔を検出する、ことを特徴とする客層認識装置。
【請求項２】
請求項１に記載の客層認識装置であって、
前記顔検出手段は、
前記画像内に所定サイズの顔検出枠を設定する設定手段と、
前記設定手段により設定された顔検出枠内に当該サイズの顔があるか否かを判断する判断手段とを含み、
前記判断手段により顔がないと判断されたとき、前記設定手段は設定すべき顔検出枠のサイズを小さくする、ことを特徴とする客層認識装置。
【請求項３】
顧客を撮影して画像を生成するカメラと、
前記カメラにより生成された画像に写っている複数の顔の中から１つの顔を検出する顔検出手段と、
前記顔検出手段により顔が検出されたとき、その顔に基づいて客層を認識する客層認識手段と、
前記客層認識手段により認識された年齢があらかじめ定められた年齢よりも若いか否かを判断する年齢判断手段とを備え、
前記客層認識手段により認識された年齢があらかじめ定められた年齢よりも若いと前記年齢判断手段により判断されたとき、前記顔検出手段は既に検出した顔以外の顔を検出する、ことを特徴とする客層認識装置。
【請求項４】
客層認識プログラムであって、
カメラにより顧客を撮影して生成された画像に写っている複数の顔の中から最も大きい顔を検出する顔検出ステップと、
前記顔検出ステップにより顔が検出されたとき、その顔に基づいて客層を認識する客層認識ステップとをコンピュータに実行させ、
前記客層認識ステップは前記客層として年齢を認識し、
前記客層認識プログラムはさらに、
前記客層認識ステップにより認識された年齢があらかじめ定められた年齢よりも若いか否かを判断する年齢判断ステップをコンピュータに実行させ、
前記客層認識ステップにより認識された年齢があらかじめ定められた年齢よりも若いと前記年齢判断ステップにより判断されたとき、前記顔検出ステップは既に検出した顔以外の顔を検出することを特徴とする客層認識プログラム。
【請求項５】
請求項４に記載の客層認識プログラムであって、
前記顔検出ステップは、
前記画像内に所定サイズの顔検出枠を設定する設定ステップと、
前記設定ステップにより設定された顔検出枠内に当該サイズの顔があるか否かを判断する判断ステップとを含み、
前記判断ステップにより顔がないと判断されたとき、前記設定ステップは設定すべき顔検出枠のサイズを小さくする、ことを特徴とする客層認識プログラム。
【請求項６】
カメラにより顧客を撮影して生成された画像に写っている複数の顔の中から１つの顔を検出する顔検出ステップと、
前記顔検出ステップにより顔が検出されたとき、その顔に基づいて客層を認識する客層認識ステップと、
前記客層認識ステップにより認識された年齢があらかじめ定められた年齢よりも若いか否かを判断する年齢判断ステップとをコンピュータに実行させ、
前記客層認識ステップにより認識された年齢があらかじめ定められた年齢よりも若いと前記年齢判断ステップにより判断されたとき、前記顔検出ステップは既に検出した顔以外の顔を検出する、ことを特徴とする客層認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、客層認識装置に関し、さらに詳しくは、自動販売機や店舗などで用いられる客層認識装置に関する。
【背景技術】
【０００２】
特開平９−３１９９４０号公報（特許文献１）には、カメラで顧客を撮影してその客層（性別や年代など）を認識し、その顧客が興味をひきそうな文字情報を表示するようにした自動販売機が記載されている。また、その客層情報をセンタに送信し、販売促進に利用することも記載されている。しかしながら、顧客をどのように撮影し、その撮影画像から客層をどのように認識するのか、その具体的な方法は全く記載されていない。
【０００３】
客層を認識するためには、特開平１１−３０６３４８号公報（特許文献２）や特開２００５−２１５８９９号公報（特許文献３）に記載の装置を用い、撮影画像の中から顧客の顔を検出する必要がある。
【０００４】
撮影画像中に顧客の顔が１つしか写っていなければ、その顔を検出し、その顔に基づいて客層を認識すればよい。しかしながら、撮影画像中に顔が２つ以上写っている場合もある。この場合、いずれの顔に基づいて客層を認識すべきかが問題となるが、この問題を解決した発明はもちろんのこと、この問題に着目した文献さえ見当たらない。
【０００５】
仮に撮影画像中に写っている全ての顔を検出し、その顔に基づいて客層を認識したとすると、その処理に要する時間が長くなる。また、客層認識対象とされたが、客層認識結果が利用されなかった顔に対する処理は無駄になる。
【０００６】
また、顧客の中には親子連れのように大人と子供が一緒に商品を購入する場合がある。この場合、大人を顧客としてその客層を認識すべきであるが、子供を顧客としてその客層を認識してしまうことがある。
【特許文献１】特開平９−３１９９４０号公報
【特許文献２】特開平１１−３０６３４８号公報
【特許文献３】特開２００５−２１５８９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、撮影画像中に顔が２つ以上写っている場合であっても、短時間でかつ効率的に客層を認識することができる客層認識装置を提供することである。
【０００８】
本発明のもう１つの目的は、撮影画像中に大人と子供の顔が写っている場合であっても、大人だけを顧客としてその客層を認識することができる客層認識装置を提供することである。
【課題を解決するための手段及び発明の効果】
【０００９】
本発明による客層認識装置は、カメラと、顔検出手段と、客層認識手段とを備える。カメラは、顧客を撮影して画像を生成する。顔検出手段は、カメラにより生成された画像に写っている複数の顔の中から最も大きい顔を検出する。客層認識手段は、顔検出手段により顔が検出されたとき、その顔に基づいて客層を認識する。ここで、客層としては、性別、年齢（年代を含む）などがある。客層認識手段は客層として年齢を認識する。客層認識装置はさらに、客層認識手段により認識された年齢があらかじめ定められた年齢よりも若いか否かを判断する年齢判断手段を備える。顔検出手段は、客層認識手段により認識された年齢があらかじめ定められた年齢よりも若いと年齢判断手段により判断されたとき、既に検出した顔以外の顔を検出する。
【００１０】
本発明によれば、カメラで撮影した顧客の画像の中から最も大きい顔だけが検出され、その顔に基づいて客層が認識される。そのため、撮影画像中に顔が２つ以上写っている場合であっても、その処理に要する時間は短く、無駄な処理も行われない。その結果、短時間でかつ効率的に客層を認識することができる。また、本発明によれば、認識された年齢が若いとき、他の顔が再検出され、その顔に基づいて客層が認識される。そのため、撮影画像中に大人と子供の顔が写っている場合であっても、大人だけを顧客としてその客層を認識することができる。
【００１１】
好ましくは、顔検出手段は、設定手段と、判断手段とを含む。設定手段は、画像内に所定サイズの顔検出枠を設定する。判断手段は、設定手段により設定された顔検出枠内に当該サイズの顔があるか否かを判断する。判断手段により顔がないと判断されたとき、設定手段は設定すべき顔検出枠のサイズを小さくする。ここで、顔検出枠の形状は、正方形、長方形、楕円形、円形などでよく、特に限定されない。
【００１２】
本発明によるもう１つの客層認識装置は、カメラと、顔検出手段と、客層認識手段と、年齢判断手段とを備えを備える。カメラは、顧客を撮影して画像を生成する。顔検出手段は、カメラにより生成された画像に写っている複数の顔の中から１つの顔を検出する。客層認識手段は、顔検出手段により顔が検出されたとき、その顔に基づいて客層を認識する。年齢判断手段は、客層認識手段により認識された年齢があらかじめ定められた年齢よりも若いか否かを判断する。客層認識手段により認識された年齢があらかじめ定められた年齢よりも若いと年齢判断手段により判断されたとき、顔検出手段は既に検出した顔以外の顔を検出する。
【００１３】
本発明によれば、認識された年齢が若いとき、他の顔が再検出され、その顔に基づいて客層が認識される。そのため、撮影画像中に大人と子供の顔が写っている場合であっても、大人だけを顧客としてその客層を認識することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
【００１５】
図１を参照して、本発明の実施の形態による自動販売機１０は、商品見本１１と、商品選択ボタン１２と、硬貨投入口１３と、商品取出口１４と、硬貨返却口１５とを備える。
【００１６】
顧客は必要な硬貨を硬貨投入口１３から投入し、商品見本１１を見て、その中から欲しい商品を決定し、対応する商品選択ボタン１２を押す。すると、その商品が商品取出口１４に供給され、必要に応じて釣り銭が硬貨返却口１５に供給される。以上の構成及び動作は周知のものである。
【００１７】
図２を参照して、自動販売機１０はさらに、客層認識装置２０と、貨幣投入センサ２１と、自動販売機本体制御装置（以下、単に「本体制御装置」と略す。）２２とを備える。客層認識装置２０は、客層として性別及び年代を認識する。貨幣投入センサ２１は、硬貨投入口１３への硬貨の投入を検知する。硬貨投入口１３以外に紙幣投入口（図示せず）も設けられていてもよい。この場合、貨幣投入センサ２１は、紙幣投入口への紙幣の投入を検知する。本体制御装置２２は、自動販売機１０全体の制御を統括する。
【００１８】
客層認識装置２０は、カメラ１６と、画像キャプチャ装置２４と、ＦＩＦＯ(First-In First-Out)メモリ等からなる入力画像バッファメモリ２５と、コンピュータ２６とを備える。カメラ１６は、商品見本１１の陳列棚中央に設置され、自動販売機１０前方に立った顧客、特にその顔を撮影する。画像キャプチャ装置２４は、カメラ１６で生成される撮影画像の中から所定フレームごとに撮影画像をキャプチャする。入力画像バッファメモリ２５は、画像キャプチャ装置２４でキャプチャされた撮影画像を一時的に保存する。コンピュータ２６には、図３に示した客層認識プログラムがインストールされる。
【００１９】
次に、客層認識装置２０の動作を説明する。ここでは、カメラ１６で顧客が撮影され、その結果、画像キャプチャ装置２４により合計Ｔ枚の撮影画像がキャプチャされ、入力画像バッファメモリ２５に保存されたものとする。顧客が写っていない撮影画像を保存するのは無駄なので、顧客が自動販売機１０前にやって来て購入操作をしている間（たとえば商品選択ボタン１２の押下前後１０秒程度）の撮影画像だけを保存するのが好ましい。
【００２０】
図３を参照して、まず、処理対象の画像番号を示す変数ｔを「１」に初期化する（Ｓ１）。続いて、ｔ番目の撮影画像を入力画像バッファメモリ２５から読み出し（Ｓ２）、その撮影画像に基づいて客層を認識する（Ｓ３）。この客層認識処理の詳細は後述する。
【００２１】
続いて、変数ｔをインクリメントし（Ｓ４）、ｔ＞Ｔの場合、つまりＴ枚全ての撮影画像に対して上記ステップＳ２〜Ｓ４の処理を終えた場合（Ｓ５でＹＥＳ）、次のステップＳ６に進む。一方、ｔ＞Ｔでない場合、つまりまだＴ枚全ての全ての撮影画像に対して上記ステップＳ２〜Ｓ４の処理を終えていない場合（Ｓ５でＮＯ）、上記ステップＳ２〜Ｓ４を繰り返す。
【００２２】
以上より、Ｔ個の客層認識結果が得られる。これらの中から最尤度の客層を決定し（Ｓ６）、その客層を最終結果として本体制御装置２２に出力する（Ｓ７）。
【００２３】
次に図４を参照し、上記客層認識処理Ｓ３の詳細を説明する。
【００２４】
顔を検出したか否かを示す顔検出結果を記憶する領域と、客層を認識したか否か、認識した場合はその客層認識結果を記憶する領域とを用意する。そして、顔検出結果を「未検出」に初期設定し、客層認識結果を「未認識」に初期設定する（Ｓ３１）。
【００２５】
続いて、図５に示すように、顔検出枠３０を最大サイズに設定する（Ｓ３２）。本例において、最大サイズの顔検出枠３０は正方形で、その一辺の長さは撮影画像３１の短辺と同じである。ただし、最大サイズはこれに限定されることはなく、一辺の長さは撮影画像３１の短辺よりも少し短くてもよい。
【００２６】
続いて、顔検出枠３０を撮影画像３１上に左詰めで位置決めする（Ｓ３３）。だたし、最初の位置はこれに限定されることはなく、右詰で位置決めしても、中央に位置決めしてもよい。
【００２７】
続いて、顔検出枠３０内に当該サイズの顔があるか否かを判断する（Ｓ３４）。顔が顔検出枠３０内いっぱいに収まる場合、眉、目、鼻、口などは概ね一定の位置にくる。したがって、顔検出枠３０内の撮影画像に基づいて所定の方法で特徴量を算出し、その特徴量をあらかじめ算出した典型的な顔の特徴量と比較し、その差が所定の範囲内であれば、顔検出枠３０内に当該サイズの顔があると判断することができる。
【００２８】
顔検出枠３０内に当該サイズの顔がない場合（Ｓ３４でＮＯ）、顔検出枠３０を少し右側へ移動する（Ｓ３５）。移動後、顔検出枠３０が撮影画像３１内に収まっている場合（Ｓ３６でＹＥＳ）、ステップＳ３４に戻り、再び顔検出枠３０内に当該サイズの顔があるか否かを判断する（Ｓ３４）。すなわち、ステップＳ３４〜Ｓ３６において、撮影画像３１の中で当該サイズの顔を探索する。詳細は、前掲の特開平１１−３０６３４８号公報（特許文献２）及び特開２００５−２１５８９９号公報（特許文献３）の開示を援用する。
【００２９】
一方、顔検出枠３０の移動後、顔検出枠３０が撮影画像３１内に収まっていない場合（Ｓ３６でＮＯ）、撮影画像３１中には当該サイズの顔がないので、顔検出枠３２のサイズを少し小さくする（Ｓ３７）。サイズが所定の最小サイズになるまで、上記ステップＳ３３〜Ｓ３７を繰り返す（Ｓ３８でＹＥＳ）。
【００３０】
すなわち、図５に示すように、最大サイズの顔検出枠３０を用いて撮影画像３１を探索しても最大サイズの顔が見つからない場合、図６に示すように、顔検出枠３２を中サイズに変更する。中サイズの顔検出枠３２を用いて撮影画像３１を探索しても中サイズの顔が見つからない場合、図７に示すように、顔検出枠３３を最小サイズに変更する。本例では、顔検出枠３３を最大サイズから中サイズを経て最初サイズへ３段階で変更しているが、３段階に限定されることはなく、２段階でも４段階以上でもよい。
【００３１】
一方、顔検出枠３０内に当該サイズの顔がある場合（Ｓ３４でＹＥＳ）、顔検出結果を「検出済み」に設定する（Ｓ３９）。
【００３２】
続いて、その検出した顔に基づいて所定の方法で客層（具体的には性別及び年代）を認識する（Ｓ４０）。客層認識には種々の公知の方法を用いることができるが、たとえば特開２００５−２７５９３５号公報や特開２００６−３２３５０７号公報に開示された方法を用いることができる。
【００３３】
続いて、認識した年代が１０代以上か否かを判断する（Ｓ４１）。認識した年代が１０代以上の場合（Ｓ４１でＹＥＳ）、ステップＳ４０で認識した客層（性別及び１０代以上の年代）を客層認識結果として書き込む（Ｓ４２）。これにより、ｔ番目の撮影画像に基づく客層認識処理は終了する。
【００３４】
一方、認識した年代が１０代に満たない（９歳以下）場合（Ｓ４１でＮＯ）、客層認識結果が「未認識」か否かを判断する（Ｓ４３）。客層を初めて認識した場合、客層認識結果は「未認識」になっているので（Ｓ４３でＹＥＳ）、ステップＳ４０で認識した客層（性別及び１０代に満たない年代）を暫定的に客層認識結果として書き込む（Ｓ４４）。そして、ステップＳ３５に戻り、撮影画像３１中に写っている別の顔を探索する。一方、客層認識結果が「未認識」になっていない場合（Ｓ４３でＮＯ）、つまり客層認識結果が一度書き込まれている場合、ステップＳ４４をスキップする。
【００３５】
このように、撮影画像３１の中から最も大きい顔を検出したものの、その顔が１０代に満たない場合、再び撮影画像３１を探索する。２番目に大きい顔を検出した場合において、その顔が１０代以上のときは、その客層認識結果を書き込む。２番目に大きい顔を検出した場合において、その顔も１０代に満たないときは、再び撮影画像３１を探索する。このとき、客層認識結果は書き換えられない。したがって、撮影画像３１を再探索しても顔を検出できない場合、１０代に満たない最も大きい顔に基づく客層認識結果が残っている。
【００３６】
以上のように、本発明の実施の形態によれば、ステップＳ３１〜Ｓ３８で撮影画像３１の中から最も大きい顔だけが検出され、その顔に基づいて客層が認識される。そのため、撮影画像中に顔が２つ以上写っている場合であっても、２番目に大きい顔の検出及びその顔に基づく客層認識処理は原則として行われない。その結果、短時間でかつ効率的に客層を認識することができる。
【００３７】
ただし、検出された最も大きい顔が１０代に満たない場合は、２番目に大きい顔の検出及びその顔に基づく客層認識処理が行われる。その結果、撮影画像３１中に子供の顔が最も大きく写り、大人の顔がその次に大きく写っている場合であっても、大人だけを顧客としてその客層を認識することができる。また、１０代に満たない子供しか写っていない場合は、最も大きく写っている子供の顔に基づいて客層を認識することができる。
【００３８】
上記実施の形態では客層認識装置２０を自動販売機１０に採用した例を挙げたが、種々の店舗に採用することも可能である。この場合、レジで決済を行っている顧客や入口から入ってくる顧客をカメラで撮影し、その客層を認識するようにしてもよい。
【００３９】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施の形態による客層認識装置を備えた自動販売機の外観構成を示す斜視図である。
【図２】図１に示した自動販売機の構成を示す機能ブロック図である。
【図３】図１中のコンピュータによる客層認識処理を示すフロー図である。
【図４】図３中のｔ番目の撮影画像に基づく客層認識処理を示すフロー図である。
【図５】図４に示した客層認識処理において、最大サイズの顔検出枠で撮影画像を探索する様子を示す模式図である。
【図６】図４に示した客層認識処理において、中サイズの顔検出枠で撮影画像を探索する様子を示す模式図である。
【図７】図４に示した客層認識処理において、最小サイズの顔検出枠で撮影画像を探索する様子を示す模式図である。
【符号の説明】
【００４１】
１０  自動販売機
１６  カメラ
２０  客層認識装置
２１  貨幣投入センサ
２２  本体制御装置
２６  コンピュータ
３０，３２，３３  顔検出枠
３１  撮影画像
【図１】
0004918474.tif 000002
【図２】
0004918474.tif 000003
【図３】
0004918474.tif 000004
【図４】
0004918474.tif 000005
【図５】
0004918474.tif 000006
【図６】
0004918474.tif 000007
【図７】
0004918474.tif 000008