(57)【要約】【課題】年齢層等の客情報を容易に取得することができる注文端末装置、注文システム、客情報生成方法、及びプログラムを提供する。【解決手段】注文端末装置１は、学習結果記憶部２と画像取得部３と年齢性別推定部４と客情報生成部５とを有する。学習結果記憶部２は、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する。画像取得部３は、着座位置に着座した客の顔画像を取得する。年齢性別推定部４は、画像取得部３により取得された客の顔画像の特徴情報を、学習結果記憶部２が記憶する特徴情報と比較して、客の年齢層及び性別を推定する。客情報生成部５は、年齢性別推定部４により推定された年齢層及び性別に基づいて、客の年齢層及び性別を示す客情報を生成する。【選択図】図１
2016177755.tif 000002
【特許請求の範囲】
【請求項１】
予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、
着座位置に着座した客の顔画像を取得する画像取得手段と、
前記画像取得手段により取得された前記客の顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する年齢性別推定手段と、
前記年齢性別推定手段により推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成手段と
を有する注文端末装置。
【請求項２】
前記画像取得手段は、複数の着座位置に着座する複数の客の顔画像を取得し、
前記年齢性別推定手段は、前記複数の客それぞれの年齢層及び性別を推定し、
前記客情報生成手段は、前記複数の客を一つのグループとして、前記年齢性別推定手段により推定された年齢層及び性別に基づいて、該グループを構成する人の数、年齢層及び性別を示す客情報を生成する
請求項１に記載の注文端末装置。
【請求項３】
前記客情報生成手段は、前記複数の客のうち、前記画像取得手段により取得された顔画像に示される顔の向きが予め定められた条件を満たす客を一つのグループを構成する客として、客情報を生成する
請求項２に記載の注文端末装置。
【請求項４】
前記年齢性別推定手段は、所定の期間、前記客の年齢層及び性別の推定を繰り返し、複数の推定結果から最終的な推定結果を算出する
請求項１乃至３いずれか１項に記載の注文端末装置。
【請求項５】
前記年齢性別推定手段は、前記画像取得手段により取得された前記客の顔画像のうち、予め定められた距離以内に存在する客の顔画像を推定対象とする
請求項１乃至４のいずれか１項に記載の注文端末装置。
【請求項６】
前記客情報生成手段が生成した客情報に基づいて選択される情報を出力する情報出力手段
をさらに有する請求項１乃至５のいずれか１項に記載の注文端末装置。
【請求項７】
前記学習結果記憶手段は、予め定められた年齢層及び性別ごとの顔を含む身体画像の特徴情報についての学習結果データを記憶し、
前記画像取得手段は、客の顔を含む身体画像を取得し、
前記年齢性別推定手段は、前記画像取得手段により取得された身体画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する
請求項１乃至６のいずれか１項に記載の注文端末装置。
【請求項８】
前記画像取得手段は、カウンター席に着座する客の顔画像を取得する
請求項１乃至７のいずれか１項に記載の注文端末装置。
【請求項９】
前記画像取得手段は、テーブル席に着座する客の顔画像を取得する
請求項１乃至７のいずれか１項に記載の注文端末装置。
【請求項１０】
予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、
着座位置に着座した客の顔画像を取得する画像取得手段と、
前記画像取得手段により取得された前記客の顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する年齢性別推定手段と、
前記年齢性別推定手段により推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成手段と
を有する注文システム。
【請求項１１】
着座位置に着座した客の顔画像を取得する画像取得ステップと、
取得された前記客の顔画像の特徴情報を、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データと比較して、前記客の年齢層及び性別を推定する年齢性別推定ステップと、
推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成ステップと
を含む客情報生成方法。
【請求項１２】
着座位置に着座した客の顔画像を取得する画像取得ステップと、
取得された前記客の顔画像の特徴情報を、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データと比較して、前記客の年齢層及び性別を推定する年齢性別推定ステップと、
推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は注文端末装置、注文システム、客情報生成方法、及びプログラムに関し、特に画像から客情報を生成する注文端末装置、注文システム、客情報生成方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば飲食店などのように客に商品又はサービスを提供する環境では、どのような客が来客しているかを把握することが、マーケティングなどにおいて重要となっている。客の年齢層などの客情報の取得方法としては、例えば、利用客に会員カードを提示してもらう方法や、店員などの人力での取得が従来行われている。しかし、会員カードの場合、会員カードを持っていない客については情報取得ができず、また、人力での取得の場合、信頼性やコストの面で問題があった。
【０００３】
ところで、近年、客からの注文を受け付ける注文端末装置が開発されている（特許文献１）。特許文献１に記載された注文端末装置では、客が注文する際にカメラにより客の顔写真を撮影し、受け付けた注文と写真とを記憶することが開示されている。
【０００４】
また、撮影画像から人物を同定する技術として、特許文献２に記載のものが知られている。特許文献２に記載された技術では、撮影画像から顔を含む部分画像を抽出し、抽出した部分画像と、別途取得した顔画像とをパターンマッチングすることにより、撮影画像中の人物を同定する。また、特許文献２では、同定の際、画像から性別、年齢、職業等を推定し、推定結果を利用することで、より正確に人物同定を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２０６３７５号公報
【特許文献２】特開２００２−３０５７１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１及び特許文献２に記載された技術では、年齢層等の客情報を取得することはできない。
本発明は、このような課題を解決するためになされたものであり、年齢層等の客情報を容易に取得することができる注文端末装置、注文システム、客情報生成方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明にかかる注文端末装置は、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、着座位置に着座した客の顔画像を取得する画像取得手段と、前記画像取得手段により取得された前記客の顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する年齢性別推定手段と、前記年齢性別推定手段により推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成手段とを有する。
【０００８】
また、本発明にかかる注文システムは、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、着座位置に着座した客の顔画像を取得する画像取得手段と、前記画像取得手段により取得された前記客の顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する年齢性別推定手段と、前記年齢性別推定手段により推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成手段とを有する。
【０００９】
また、本発明にかかる客情報生成方法は、着座位置に着座した客の顔画像を取得する画像取得ステップと、取得された前記客の顔画像の特徴情報を、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データと比較して、前記客の年齢層及び性別を推定する年齢性別推定ステップと、推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成ステップとを含む。
【００１０】
また、本発明にかかるプログラムは、着座位置に着座した客の顔画像を取得する画像取得ステップと、取得された前記客の顔画像の特徴情報を、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データと比較して、前記客の年齢層及び性別を推定する年齢性別推定ステップと、推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成ステップとをコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、年齢層等の客情報を容易に取得することができる注文端末装置、注文システム、客情報生成方法、及びプログラムを提供できる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態にかかる注文端末装置の概要を示す図である。
【図２】実施の形態にかかる注文システムの構成を示す図である。
【図３】実施の形態にかかる注文端末装置の外観を示す斜視図である。
【図４】実施の形態にかかる注文端末装置本体のハードウェア構成を示す図である。
【図５】実施の形態にかかる注文端末装置がテーブルに対して用意されている場合のカメラの撮像範囲の一例を模式的に示す平面図である。
【図６】実施の形態にかかる注文端末装置がカウンターに対して用意されている場合のカメラの撮像範囲の一例を模式的に示す平面図である。
【図７】実施の形態にかかる注文端末装置の機能ブロック図である。
【図８】実施の形態にかかる注文端末装置における客情報の生成処理に関する動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
（本発明にかかる実施の形態の概要）
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、本発明の実施の形態にかかる注文端末装置１の概要を示す図である。注文端末装置１は、学習結果記憶部２と、画像取得部３と、年齢性別推定部４と、客情報生成部５とを有する。
【００１４】
学習結果記憶部２は、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する。画像取得部３は、着座位置に着座した客の顔画像を取得する。年齢性別推定部４は、画像取得部３により取得された客の顔画像の特徴情報を、学習結果記憶部２が記憶する特徴情報と比較して、客の年齢層及び性別を推定する。客情報生成部５は、年齢性別推定部４により推定された年齢層及び性別に基づいて、客の年齢層及び性別を示す客情報を生成する。
したがって、このような注文端末装置１によれば、客の画像から自動的に年齢層及び性別が推定され、推定結果に基づく客情報が生成される。よって、注文端末装置１によれば、年齢層等の客情報を容易に取得することができる。
【００１５】
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図２は、注文システム１０の構成を示す図である。図２に示されるように、注文システム１０は、１以上の注文端末装置１００と、情報収集サーバ２００とを備えている。注文端末装置１００と情報収集サーバ２００とは、ネットワーク３００を介して互いに接続されている。
【００１６】
ネットワーク３００は、例えばＬＡＮ（Local Area Network）又はインターネット等の通信網（通信回線）であり、注文端末装置１００と情報収集サーバ２００とが通信を行う際に使用され得る。本実施の形態において、ネットワーク３００は無線通信網であるが、有線通信網であってもよい。
【００１７】
情報収集サーバ２００は、例えばコンピュータで構成される。情報収集サーバ２００は、１つのコンピュータで構成されてもよいが、物理的に単一である必要はなく、複数の分散されたコンピュータで構成されてもよい。情報収集サーバ２００は、例えば、注文端末装置１００から送信される注文情報及び客情報などを収集する。
【００１８】
注文端末装置１００は、客がセルフサービスにて商品又はサービスの注文を行う際に使用される端末装置である。例えば、注文端末装置１００は、テーブルごとに用意され、テーブルの脇に配置された椅子などの着座位置に着座した客の注文を受け付ける。また、例えば、注文端末装置１００は、カウンターに用意され、カウンターに沿って配置された椅子などの着座位置に着座した客の注文を受け付ける。注文端末装置１００は、例えば、居酒屋等の外食店舗で利用されてもよいし、カラオケ店などで利用されてもよい。
【００１９】
図３は、注文端末装置１００の外観を示す斜視図である。また、図４は、注文端末装置本体１１０のハードウェア構成を示す図である。
【００２０】
図３に示されるように、注文端末装置１００は、注文端末装置本体１１０と、クレードル１２０とを有する。注文端末装置本体１１０は、カメラ１１１と、タッチパネル１１２と、スピーカ１１３と、アンテナ１１４とを有している。また、注文端末装置本体１１０は、コンピュータとしての機能を備えており、例えばＣＰＵ（Central Processing Unit）等の制御部１１５と、例えばメモリ又はハードディスク等の記憶部１１６とを有する（図４参照）。
【００２１】
クレードル１２０は、注文端末装置本体１１０を取り外し可能に支持する台座である。また、クレードル１２０は、電源ケーブル１３０を介して例えば交流電源が接続されており、注文端末装置本体１１０が搭載されている間、注文端末装置本体１１０に対し給電し、注文端末装置本体１１０の図示しないバッテリを充電する。このため、注文端末装置１００は、注文端末装置本体１１０がクレードル１２０に搭載されているか否かに関わらず、客からの注文を受け付けることが可能になっている。なお、クレードル１２０が、さらに、有線ＬＡＮに接続され、有線通信機能を備えてもよい。
【００２２】
カメラ１１１は、レンズ、ＣＣＤ(Charge Coupled Device)センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を備えるデジタルカメラである。本実施の形態では、カメラ１１１は、注文端末装置本体１１０に内蔵されているが、クレードル１２０に内蔵されてもよいし、注文端末装置１００に外付けされていてもよい。
【００２３】
カメラ１１１は、着座位置に着座した客の顔を撮像範囲とするよう設けられている。本実施の形態では、特に、カメラ１１１は、複数の着座位置に着座する複数の客の顔を撮像範囲とするよう設けられている。具体的には、本実施形態では、カメラ１１１は、注文端末装置本体１１０の前面側、すなわちタッチパネル１１２が設けられた面と同じ面に設けられており、注文端末装置本体１１０がクレードル１２０に搭載された際に、複数の着座位置に着座する複数の客の顔を撮像範囲とする。このため、カメラ１１１は、複数の客の顔を同時に撮像可能である。なお、カメラ１１１が、一つの着座位置に着座する一人の客の顔を撮像範囲とするよう設けられてもよい。
【００２４】
より具体的には、例えば、注文端末装置１００がテーブルに対して用意されている場合、カメラ１１１は、注文端末装置本体１１０がクレードル１２０に搭載された状態で、当該テーブルの脇の全ての着座位置に客が着座した際に想定される全ての客の顔の位置を撮像範囲とする。図５は、注文端末装置１００がテーブル５００に対して用意されている場合のカメラ１１１の撮像範囲の一例を模式的に示す平面図である。図５において、ハッチングされた領域がカメラ１１１の撮像範囲の一例である。図５に示した例では、テーブル５００の脇に設けられた椅子５０１に着座した店舗の客５０２の顔を客５０２の横方向からカメラ１１１が撮像している。なお、図５に示した例では、カメラ１１１の撮像範囲は、テーブル５００の脇の全ての着座位置を含んでいるが、必ずしもテーブルの脇の全ての着座位置を対象としなくてもよく、予め定められた範囲内の複数の着座位置それぞれに客が着座した際に想定される顔の位置を撮像範囲としてもよい。
【００２５】
また、例えば、注文端末装置１００がカウンターに対して用意されている場合、カメラ１１１は、注文端末装置本体１１０がクレードル１２０に搭載された状態で、当該カウンターに沿って配置された１以上の着座位置に客が着座した際に想定される顔の位置を撮像範囲とする。図６は、注文端末装置１００がカウンター６００に対して用意されている場合のカメラ１１１の撮像範囲の一例を模式的に示す平面図である。図６において、ハッチングされた領域がカメラ１１１の撮像範囲の一例である。図６に示した例では、カウンター６００に沿って配置された椅子６０１に着座した店舗の客６０２の顔を客６０２の正面方向からカメラ１１１が撮像している。
【００２６】
このように、本実施の形態では、カメラ１１１の撮像範囲は、テーブルやカウンターなどの台に対向して座る１以上の客の顔を含む。なお、カメラ１１１が、客の顔を撮像範囲とする際、必ずしも、注文端末装置本体１１０がクレードル１２０に搭載された状態でなくてもよい。すなわち、カメラ１１１は、予め定められた場所に注文端末装置１００が設置された状態で、着座位置に着座する客の顔を撮像範囲としていればよい。例えば、注文端末装置１００がクレードル１２０を有さず、注文端末装置１００が壁などに固定されている場合、固定された設置場所においてカメラ１１１が客の顔を撮像範囲とすればよい。よって、注文端末装置１００は、図５、６においては、テーブル５００又はカウンター６００の端に配置されているが、必ずしもテーブル５００又はカウンター６００上でなくてもよく、例えば、テーブル５００やカウンター６００の付近の壁面や台上に配置されてもよい。
【００２７】
タッチパネル１１２は、注文端末装置本体１１０の前面に設けられており、情報を表示し、さらに客からの操作入力を受付ける。タッチパネル１１２は、例えば、メニューなど、店舗等が提供する商品又はサービスの選択肢を表示する。また、タッチパネル１１２は、例えば、商品又はサービスの選択肢のうち注文対象とする選択肢を選択する操作入力（注文操作）を受付ける。スピーカ１１３は、音声ガイダンスなどの各種音声信号を音として出力する。アンテナ１１４は、注文端末装置本体１１０が無線通信するためのアンテナであり、例えば情報収集サーバ２００との間で、信号の送受信を行う。
【００２８】
図７は、実施の形態にかかる注文端末装置１００の機能ブロック図である。注文端末装置１００は、学習結果記憶部１５１と、提示情報記憶部１５２と、画像取得部１５３と、年齢性別推定部１５４と、客情報生成部１５５と、情報出力部１５６と、注文受付部１５７と、客情報送信部１５８とを有する。
【００２９】
なお、画像取得部１５３、年齢性別推定部１５４、客情報生成部１５５、情報出力部１５６、注文受付部１５７及び客情報送信部１５８は、例えば、制御部１１５の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部１１６に格納されたプログラムを、制御部１１５の制御によって実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、学習結果記憶部１５１及び提示情報記憶部１５２は、例えば、記憶部１１６により実現される。
【００３０】
学習結果記憶部１５１は、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する。予め定められた年齢層は、例えば、１０代、２０代、３０代、４０代、５０代、６０台、７０代、８０代、９０代などである。すなわち、学習結果データは、例えば、１０代男性の学習結果データ、１０代女性の学習結果データ、２０代男性の学習結果データ、２０代女性の学習結果データなどというように、年齢層及び性別ごとのデータとなっている。なお、年齢層は、さらに細かく設定されていてもよいし、より大まかに設定されていてもよい。また、２０歳以下、２０歳から５０歳、５０歳以上などのように、各年齢層の年齢幅が異なってもよい。また、各年齢層の年齢幅が、１歳であってもよい。特徴情報は、例えば、顔のしわについての情報や、目・鼻・口などの顔の構成要素の相対位置についての情報など、顔の任意の特徴についての情報である。
【００３１】
学習結果データは、例えば、機械学習により学習された、予め定められた年齢層及び性別ごとの顔画像の特徴情報を示すデータである。学習結果記憶部１５１は、例えば、性別及び年齢層が既知である複数の人物についての顔画像データを教師データとして機械学習することにより得られた特徴情報を示すデータを、当該性別及び年齢層の顔画像の特徴情報についての学習結果データとして記憶している。なお、教師データの数は、推定において必要とされる精度に応じて決定される。例えば、推定精度が高いほど、学習結果データを得るために機械学習の際に用いられる顔画像データは多くなる。
【００３２】
提示情報記憶部１５２は、客に対して、提示する情報を記憶する。例えば、提示情報記憶部１５２は、メニュー情報など、店舗等が提供する商品又はサービスについての情報を記憶する。
【００３３】
画像取得部１５３は、カメラ１１１により撮像された客の顔画像を取得する。すなわち、画像取得部１５３は、着座位置に着座した客の顔画像を取得する。ここで、複数の着座位置のそれぞれに客が着座している場合には、画像取得部１５３は、複数の着座位置に着座する複数の客の顔画像を取得する。例えば、画像取得部１５３は、カウンター席に着座する複数の客の顔画像を取得してもよいし、テーブル席に着座する複数の客の顔画像を取得してもよい。なお、顔画像は、客の顔部分を含む画像である。画像取得部１５３は、取得した顔画像を年齢性別推定部１５４に出力する。なお、例えば、画像取得部１５３は、カメラ１１１から出力される画像のうち、客の顔部分を含む画像を公知の顔認識処理を用いて抽出し、客の顔部分を含む領域を切り出した部分画像を年齢性別推定部１５４に出力する。
【００３４】
年齢性別推定部１５４は、画像取得部１５３により取得された顔画像から、客の年齢層及び性別を推定する。具体的には、年齢性別推定部１５４は、画像取得部１５３により取得された客の顔画像の特徴情報を、学習結果記憶部１５１が記憶する特徴情報と比較して、客の年齢層及び性別を推定する。例えば、年齢性別推定部１５４は、画像取得部１５３により取得された顔画像の特徴情報が、学習結果記憶部１５１が記憶する年齢層及び性別ごとの特徴情報のうちいずれに最も近いかを判定し、最も近いと判定された特徴情報に対応付けられている年齢層及び性別を客の年齢層及び性別と推定する。ここで、特に、複数の着座位置のそれぞれに客が着座している場合には、年齢性別推定部１５４は、複数の客それぞれの年齢層及び性別を推定する。
【００３５】
本実施の形態では、年齢性別推定部１５４は、所定の期間、客の年齢層及び性別の推定を繰り返す。また、年齢性別推定部１５４は、所定の期間に繰り返して得た複数の推定結果から最終的な推定結果を算出し、客情報生成部１５５に通知する。所定期間の開始時期は、例えば、客の着席タイミングである。なお、着席タイミングは、店員等のタッチパネル１１２に対する操作入力により注文端末装置１００に与えられてもよいし、カメラ１１１により撮像された画像に対し、画像認識処理により着席を判定してもよい。また、所定期間の終了時期は、例えば、開始時期から予め定められた時間の経過であってもよいし、提供された商品又はサービスの清算タイミングであってもよい。なお、所定期間の開始時期及び終了時期は、これらに限らず任意の時期を設定可能である。年齢性別推定部１５４は、例えば、最終的な推定結果として平均値や最頻値を算出してもよい。すなわち、年齢性別推定部１５４は、ある客について推定された複数の年齢層について、それらの平均を当該客の年齢層としもよい。また、年齢性別推定部１５４は、ある客について推定された複数の性別について、その最頻値を当該客の性別としてもよい。このように、繰り返される推定により得られた複数の推定結果から最終的な推定結果を決定するため、推定精度を向上することが期待できる。
【００３６】
なお、年齢性別推定部１５４は、画像取得部１５３により取得された客の顔画像のうち、注文端末装置１００から予め定められた距離以内に存在する客の顔画像を推定対象としてもよい。具体的には、例えば、年齢性別推定部１５４は、画像取得部１５３により取得された顔画像に含まれる顔のうち、顔の大きさが予め定められたサイズ範囲に含まれるもののみを推定対象とする。すなわち、顔の大きさが所定サイズ以下の場合、カメラ１１１から所定距離以上遠いものとみなして、推定対象外としてもよい。推定対象をこのように限定することにより、客情報の生成対象である客の背景に存在する、客情報の生成対象外である人物について、誤って客情報が生成されることが防がれる。
【００３７】
客情報生成部１５５は、年齢性別推定部１５４により推定された年齢層及び性別に基づいて、少なくとも客の年齢層及び性別を示す客情報を生成する。ここで、複数の着座位置のそれぞれに客が着座している場合には、客情報生成部１５５により生成される客情報は、グループを特定する情報を含む。グループを特定する情報は、例えば、グループを構成する人の数を示す情報を含む。
【００３８】
したがって、客情報生成部１５５は、画像取得部１５３が複数の着座位置に着座する複数の客の顔画像を取得した場合、これら複数の客を一つのグループとして、年齢性別推定部１５４により推定された年齢層及び性別に基づいて、このグループを構成する人の数、年齢層及び性別を示す客情報を生成する。すなわち、この場合、客情報生成部１５５は、グループの人数とグループを構成する各人の年齢層及び性別を示す情報を生成する。
【００３９】
例えば、画像取得部１５３がテーブル席に着座する複数の客の顔画像を取得する場合、客情報生成部１５５は、取得された顔画像が示す各客を一つのグループとして判断し、グループを特定する上述の情報を生成する。また、例えば、画像取得部１５３がカウンター席に着座する複数の客の顔画像を取得する場合、客情報生成部１５５は、取得された顔画像が示す各客を一つのグループとして判断し、グループを特定する上述の情報を生成する。
【００４０】
ここで、客情報生成部１５５は、複数の客のうち、画像取得部１５３により取得された顔画像に示される顔の向きが予め定められた条件を満たす客を一つのグループを構成する客として、客情報を生成してもよい。例えば、カウンター席の場合、画像取得部１５３により取得された画像に含まれる全ての人物が同じグループとは限らない。ここで、同じグループの客同士は、会話を行うことが想定される。そして、客が同じグループの他の客と会話する際は、当該他の客の方に顔を向けることが想定される。すなわち、例えば、所定期間の間に、グループ客は、他のグループ客又は個人客に顔を向ける頻度よりも、同じグループの客に顔を向ける頻度の方が多いと想定される。したがって、客情報生成部１５５は、例えば、所定期間の客の顔の向きを確認し、画像取得部１５３により取得された画像に示される客のうちグループを構成する客を特定してもよい。このようにすることにより、画像取得部１５３により取得された画像に、同一グループの客以外の客の顔が含まれる場合であっても、適切にグループを特定する情報を生成することができる。
なお、例えば、客の来店時に、店員が同一グループの客だけをカメラ１１１が撮像するよう、注文端末装置１００を配置してもよい。
【００４１】
情報出力部１５６は、提示情報記憶部１５２が記憶する情報を出力する。情報出力部１５６は、情報をタッチパネル１１２に表示出力してもよいし、スピーカ１１３に音声出力してもよい。また、情報出力部１５６は、客情報生成部１５５が生成した客情報に基づいて選択される情報を出力してもよい。すなわち、情報出力部１５６は、例えば、客情報に示される客の年齢層又は性別に応じたおすすめのメニューを出力してもよい。
【００４２】
注文受付部１５７は、客からの注文を受け付ける。具体的には、注文受付部１５７は、タッチパネルを介した、客の操作入力により注文を受け付ける。客は、例えば、タッチパネル１１２に表示された商品又はサービスの選択肢に対し、選択操作をすることにより所望の商品又はサービスの注文操作を行う。
【００４３】
客情報送信部１５８は、客情報生成部１５５により生成された客情報を情報収集サーバ２００に送信する。なお、客情報送信部１５８は、注文受付部１５７により受付けられた注文と関連づけて、客情報を送信してもよい。
【００４４】
次に、客情報の生成処理について、注文端末装置１００の動作を説明する。図８は、注文端末装置１００における客情報の生成処理に関する動作の一例を示すフローチャートである。
【００４５】
ステップ１０（Ｓ１０）において、制御部１１５は、客情報の生成処理の開始条件を満たしたか否かを判定する。開始条件を満たした場合、処理はステップ１１に移行し、開始条件を満たさない場合、ステップ１０が繰り返される。開始条件は、例えば、客の着席である。なお、ステップ１０による判定は、上述の年齢性別推定部１５４による推定が行われる所定の期間の開始時期の判定に相当する。
【００４６】
ステップ１１（Ｓ１１）において、制御部１１５はカメラ１１１に撮像を開始させる。そして、ステップ１２（Ｓ１２）において、画像取得部１５３が、カメラ１１１により撮像された客の顔画像を取得する。
次に、ステップ１３（Ｓ１３）において、年齢性別推定部１５４が、画像取得部１５３により取得された顔画像から、客の年齢層及び性別を推定する。
【００４７】
次に、ステップ１４（Ｓ１４）において、制御部１１５は、推定処理の終了条件を満たしたか否かを判定する。終了条件を満たした場合、処理はステップ１５に移行し、終了条件を満たさない場合、ステップ１２へ戻る。終了条件は、例えば、ステップ１０でＹｅｓと判定されてから予め定められた時間が経過したことであってもよいし、提供された商品又はサービスの清算タイミングであってもよい。なお、ステップ１４による判定は、上述の年齢性別推定部１５４による推定が行われる所定の期間の終了時期の判定に相当する。
【００４８】
ステップ１５（Ｓ１５）において、制御部１１５はカメラ１１１に撮像を終了させる。そして、ステップ１６（Ｓ１６）において、年齢性別推定部１５４は、最終的な推定結果を確定する。その後、ステップ１７（Ｓ１７）において、客情報生成部１５５がステップ１６による推定結果に基づいて客情報を生成する。
【００４９】
このように、本実施の形態の注文端末装置１００によれば、客の年齢層及び性別を示す客情報を自動的に生成することができる。したがって、注文端末装置１００によれば、客情報を容易に取得することができる。また、注文端末装置１００によれば、グループ客について、グループ客として客情報を生成することができる。このため、マーケティング等においてより有用な客情報を取得することができる。なお、上述の通り、本実施の形態の注文端末装置１００では、画像取得部１５３が取得した、複数の着座位置に着座する複数の客の顔画像から、グループを構成する各客の客情報を生成している。このため、例えば、注文操作の際、グループ客の全員が注文端末装置１００を操作しない場合であっても、グループを構成する各客の客情報を生成することができる。
【００５０】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態では、顔画像により推定処理を行ったが、顔画像に限らず、顔を含む身体画像に基づいて推定処理を行ってもよい。この場合、例えば、学習結果記憶部１５１は、予め定められた年齢層及び性別ごとの顔を含む身体画像の特徴情報についての学習結果データを記憶する。また、画像取得部１５３は、客の顔を含む身体画像を取得する。また、年齢性別推定部１５４は、画像取得部１５３により取得された身体画像の特徴情報を、学習結果記憶部１５１が記憶する特徴情報と比較して、客の年齢層及び性別を推定する。このように、推定に利用する画像を身体画像とすることにより、客の姿勢や身長などの輪郭や、服装などを推定のための特徴情報として利用することができるため、推定精度の向上が期待できる。
【００５１】
また、上述の実施の形態では、注文端末装置が図１又は図７に示される各構成を備えるものとして説明したが、構成の一部を、情報収集サーバ２００などの他の装置が備えてもよい。すなわち、注文端末装置を含む注文システムが、図１又は図７に示される各構成を備えてもよい。
【００５２】
また、本発明は、注文端末装置に限らず、キオスク端末などの各種自動受付端末に適用されてもよい。
【００５３】
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００５４】
１、１００  注文端末装置
２  学習結果記憶部
３  画像取得部
４  年齢性別推定部
５  客情報生成部
１０  注文システム
１１０  注文端末装置本体
１１１  カメラ
１１２  タッチパネル
１１３  スピーカ
１１４  アンテナ
１１５  制御部
１１６  記憶部
１２０  クレードル
１３０  電源ケーブル
１５１  学習結果記憶部
１５２  提示情報記憶部
１５３  画像取得部
１５４  年齢性別推定部
１５５  客情報生成部
１５６  情報出力部
１５７  注文受付部
１５８  客情報送信部
２００  情報収集サーバ
３００  ネットワーク
【図１】
2016177755.tif 000003
【図２】
2016177755.tif 000004
【図３】
2016177755.tif 000005
【図４】
2016177755.tif 000006
【図５】
2016177755.tif 000007
【図６】
2016177755.tif 000008
【図７】
2016177755.tif 000009
【図８】
2016177755.tif 000010