(57)【要約】【課題】ユーザの顔画像の判定結果に興味をもたせ、ユーザに適したリコメンド情報を提供する。【解決手段】情報提供装置は、ユーザの顔画像が取得される顔画像取得部と、顔画像に基づいて生成された複数の第１パラメータ及び属性情報と、複数の第１パラメータ及び属性情報に基づいて生成された第２パラメータと、を提示するパラメータ提示部と、第２パラメータに対応するリコメンド情報を提示するリコメンド情報提示部と、を有する。【選択図】図２
2019192108.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの顔画像が取得される顔画像取得部と、
前記顔画像に基づいて生成された複数の第１パラメータ及び属性情報と、前記複数の第１パラメータ及び前記属性情報に基づいて生成された第２パラメータと、を提示するパラメータ提示部と、
前記第２パラメータに対応するリコメンド情報を提示するリコメンド情報提示部と、を有する、情報提供装置。
【請求項２】
前記顔画像に基づいて前記ユーザの表情に関連する前記複数の第１パラメータを生成する第１パラメータ生成部と、
前記複数の第１パラメータ及び前記属性情報に基づいて前記ユーザの心情に関連する前記第２パラメータを生成する第２パラメータ生成部と、をさらに有する、請求項１に記載の情報提供装置。
【請求項３】
前記第２パラメータ生成部は、前記複数の第１パラメータのいずれか一つ及び前記属性情報に基づいて、前記ユーザの心情に関連する前記第２パラメータを生成する、請求項２に記載の情報提供装置。
【請求項４】
前記パラメータ提示部は、前記複数の第１パラメータと、前記第２パラメータとを異なる形式で提示する、請求項１乃至３のいずれか一項に記載の情報提供装置。
【請求項５】
前記パラメータ提示部は、前記複数の第１パラメータの比率表示をグラフで提示する、請求項１乃至４のいずれか一項に記載の情報提供装置。
【請求項６】
前記リコメンド情報提示部は、前記リコメンド情報とともに、前記第２パラメータを提示する、請求項１乃至５のいずれか一項に記載の情報提供装置。
【請求項７】
前記顔画像に基づいて前記ユーザの第１属性及び第２属性を含む前記属性情報を生成する属性情報生成部をさらに有し、
前記パラメータ提示部は、前記属性情報及び前記第２パラメータに基づくリコメンド情報を提示する、請求項１乃至６のいずれか一項に記載の情報提供装置。
【請求項８】
前記パラメータ提示部は、前記第１属性と、前記複数の第１パラメータと、を提示する、請求項７に記載の情報提供装置。
【請求項９】
前記リコメンド情報提示部に提示された前記リコメンド情報と、前記属性情報とを関連付けて記憶装置に記憶させる、請求項１乃至８のいずれか一項に記載の情報提供装置。
【請求項１０】
前記リコメンド情報提示部は、前回のリコメンド情報の提示から所定期間内に同一の属性情報及び第２パラメータが生成された場合、前回のリコメンド情報とは異なるリコメンド情報を提示する、請求項１乃至９のいずれか一項に記載の情報提供装置。
【請求項１１】
ユーザの顔画像を取得し、
前記顔画像に基づいて生成された複数の第１パラメータ及び属性情報と、前記複数の第１パラメータ及び前記属性情報に基づいて生成された第２パラメータとを提示し、
前記第２パラメータに対応するリコメンド情報を提示する、情報提供方法。
【請求項１２】
前記顔画像に基づいて前記ユーザの表情に関連する前記第１パラメータを生成し、
前記複数の第１パラメータ及び前記属性情報に基づいて前記ユーザの心情に関連する前記第２パラメータを生成する、請求項１１に記載の情報提供方法。
【請求項１３】
前記複数の第１パラメータのいずれか一つ及び前記属性情報に基づいて、前記ユーザの心情に関連する前記第２パラメータを生成する、請求項１２に記載の情報提供方法。
【請求項１４】
前記複数の第１パラメータと、前記第２パラメータとは異なる形式で表示される、請求項１１乃至１３のいずれか一項に記載の情報提供方法。
【請求項１５】
前記第１パラメータの比率表示をグラフで提示する、請求項１１乃至１４のいずれか一項に記載の情報提供方法。
【請求項１６】
前記リコメンド情報とともに、前記第２パラメータを提示する、請求項１１乃至１５のいずれか一項に記載の情報提供方法。
【請求項１７】
前記顔画像に基づいて前記ユーザの第１属性及び第２属性を含む前記属性情報を生成し、
前記属性情報及び前記第２パラメータに基づくリコメンド情報を提示する、請求項１１乃至１６のいずれか一項に記載の情報提供方法。
【請求項１８】
前記属性情報の第１属性と、前記複数の第１パラメータと、を提示する、請求項１７に記載の情報提供方法。
【請求項１９】
前記提示された前記リコメンド情報と、前記属性情報とは、関連付けて記憶装置に記憶される、請求項１１乃至１８のいずれか一項に記載の情報提供方法。
【請求項２０】
前回のリコメンド情報の提示から所定期間内に同一の属性情報及び第２パラメータが生成された場合、前回のリコメンド情報とは異なるリコメンド情報を提示する、請求項１１乃至１９のいずれか一項に記載の情報提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一実施形態は、商品やサービスのリコメンド情報を提供する情報提供装置に関する。
【背景技術】
【０００２】
近年、街頭や駅のホームには、商品情報が表示された液晶パネルに対し、タッチパネルを操作することで、当該商品を購入することが可能な自動販売機が設置されている。また、ユーザの属性情報に基づいて商品を提供するキオスク端末装置も開発され始めている。例えば、特許文献１には、ユーザの顔画像を画像解析して、ユーザの笑顔の感情指数に基づいて、商品やサービスを提供するキオスク端末装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８７０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のキオスク端末装置では、顔画像の判定結果が表示されていないため、ユーザは、どのような判定結果に基づいて商品やサービスが勧められているのか不明であった。そのため、ユーザは勧められた商品やサービスに対して関心を持てないおそれがあった。
【０００５】
そこで、本発明の一実施形態では、ユーザの顔画像の判定結果に興味をもたせ、ユーザに適したリコメンド情報を提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る情報提供装置は、ユーザの顔画像が取得される顔画像取得部と、顔画像に基づいて生成された複数の第１パラメータ及び属性情報と、複数の第１パラメータ及び属性情報に基づいて生成された第２パラメータと、を提示するパラメータ提示部と、第２パラメータに対応するリコメンド情報を提示するリコメンド情報提示部と、を有する。
【０００７】
上記の構成において、顔画像に基づいてユーザの表情に関連する複数の第１パラメータを生成する第１パラメータ生成部と、複数の第１パラメータ及び属性情報に基づいてユーザの心情に関連する第２パラメータを生成する第２パラメータ生成部と、をさらに有していてもよい。
【０００８】
上記の構成において、第２パラメータ生成部は、複数の第１パラメータのいずれか一つ及び属性情報に基づいて、ユーザの心情に関連する前記第２パラメータを生成してもよい。
【０００９】
上記の構成において、パラメータ提示部は、複数の第１パラメータと、第２パラメータとを異なる形式で提示してもよい。
【００１０】
上記の構成において、パラメータ提示部は、複数の第１パラメータの比率表示をグラフで提示してもよい。
【００１１】
上記の構成において、リコメンド情報提示部は、リコメンド情報とともに、第２パラメータを提示してもよい。
【００１２】
上記の構成において、顔画像に基づいてユーザの第１属性及び第２属性を含む属性情報を生成する属性情報生成部をさらに有し、パラメータ提示部は、属性情報及び第２パラメータに基づくリコメンド情報を提示させてもよい。
【００１３】
上記の構成において、パラメータ提示部は、第１属性と、複数の第１パラメータと、を提示してもよい。
【００１４】
上記の構成において、リコメンド情報提示部に提示されたリコメンド情報と、属性情報とを関連付けて記憶装置に記憶させてもよい。
【００１５】
上記の構成において、リコメンド情報提示部は、前回のリコメンド情報の提示から所定期間内に同一の属性情報及び第２パラメータが生成された場合、前回のリコメンド情報とは異なるリコメンド情報を提示してもよい。
【００１６】
本発明の一実施形態に係る情報提供方法は、ユーザの顔画像を取得し、顔画像に基づいて生成された複数の第１パラメータ及び属性情報と、複数の第１パラメータ及び属性情報に基づいて生成された第２パラメータとを提示し、第２パラメータに対応するリコメンド情報を提示する。
【００１７】
上記の方法において、顔画像に基づいてユーザの表情に関連する第１パラメータを生成し、複数の第１パラメータ及び属性情報に基づいてユーザの心情に関連する第２パラメータを生成してもよい。
【００１８】
上記の方法において、複数の第１パラメータのいずれか一つ及び属性情報に基づいて、前記ユーザの心情に関連する前記第２パラメータを生成してもよい。
【００１９】
上記の方法において、複数の第１パラメータと、第２パラメータとは異なる形式で表示されてもよい。
【００２０】
上記の方法において、第１パラメータの比率表示をグラフで提示してもよい。
【００２１】
上記の方法において、リコメンド情報とともに、第２パラメータを提示してもよい。
【００２２】
上記の方法において、顔画像に基づいてユーザの第１属性及び第２属性を含む属性情報を生成し、属性情報及び第２パラメータに基づくリコメンド情報を提示させてもよい。
【００２３】
上記の方法において、属性情報の第１属性と、複数の第１パラメータと、を提示してもよい。
【００２４】
上記の方法において、提示されたリコメンド情報と、属性情報とは、関連付けて記憶装置に記憶されてもよい。
【００２５】
上記の方法において、前回のリコメンド情報の提示から所定期間内に同一の属性情報及び第２パラメータが生成された場合、前回のリコメンド情報とは異なるリコメンド情報を提示してもよい。
【発明の効果】
【００２６】
本発明の一実施形態によれば、ユーザの顔画像の判定結果に興味をもたせ、ユーザに適したリコメンド情報を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る情報提供装置の構成を示す図である。
【図２】本発明の一実施形態に係る情報提供装置の機能を示すブロック図である。
【図３】本発明の一実施形態に係る情報提供装置の第２パラメータのテーブルである。
【図４】本発明の一実施形態に係る情報提供装置のリコメンド情報データベースのテーブルである。
【図５】本発明の一実施形態に係る情報提供装置が記憶するユーザデータの一例である。
【図６】本発明の一実施形態に係る情報提供装置のフローチャートである。
【図７】本発明の一実施形態に係る情報提供装置のフローチャートである。
【図８】本発明の一実施形態に係る情報提供装置の画像取得部を説明する図である。
【図９】本発明の一実施形態に係る情報提供装置の画像解析部を説明する図である。
【図１０】本発明の一実施形態に係る情報提供装置のパラメータ提示部を示す図である。
【図１１】本発明の一実施形態に係る情報提供装置のリコメンド情報提示部を示す図である。
【図１２】本発明の一実施形態に係る情報提供装置のリコメンド情報データベースのテーブルである。
【図１３】本発明の一実施形態に係る情報提供装置の構成を示す図である。
【図１４】本発明の一実施形態に係る情報提供装置が取得するＰＯＳデータの一例である。
【図１５】本発明の一実施形態に係る情報提供装置の機能を示すブロック図である。
【図１６】本発明の一実施形態に係る情報提供装置のフローチャートである。
【発明を実施するための形態】
【００２８】
以下、本発明の一実施形態について、図面を参照しながら説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂなどを付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。
【００２９】
（第１実施形態）
本発明の一実施形態に係る情報提供装置１０について、図１乃至図１１を参照して説明する。
【００３０】
図１に、本発明の一実施形態に係る情報提供装置１０と、サーバ装置２０と、ネットワーク３０と、を示す。
【００３１】
［情報提供装置のハードウエア構成］
図１に示すように、情報提供装置１０は、制御部１１、記録媒体１２、ＲＡＭ１３、表示部１４、操作入力部１５、画像撮像部１６、及び通信部１７を備える。
【００３２】
制御部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等であり、後述する機能ブロックの動作を制御する。制御部１１は、例えば、記録媒体１２に記録されている機能ブロックの動作プログラムプログラムを読み出し、ＲＡＭ１３に展開して実行することにより、情報提供機能を実現する。
【００３３】
記録媒体１２は、例えば、不揮発性メモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の恒久的な情報保持及び情報の書き換えが可能な記録装置である。記録媒体１２は、情報提供装置１０が有する機能ブロックの動作プログラム、及び各ブロックの動作において必要となるパラメータ等の情報を格納する。
【００３４】
ＲＡＭ１３は、例えば、揮発性メモリ等の一時的な情報保持に用いられる書き換え可能な記憶装置である。ＲＡＭ１３は、記録媒体１２に記録されている機能ブロックの動作プログラム等の展開領域、及び機能ブロックの動作において出力された中間データ等を記憶する格納領域として用いられる。ここで、中間データとは、後述するユーザの顔画像、属性情報、第１パラメータ、及び第２パラメータなどである。
【００３５】
表示部１４は、例えば、液晶表示パネル又はＥＬ表示パネル等の表示装置である。表示部１４は、情報提供装置１０を構成する筐体内に一体となって接続された表示装置であってもよい。または、表示部１４は、情報提供装置１０と接続された外部の表示装置であってもよい。
【００３６】
操作入力部１５は、例えば、ボタン、マウス、キーボード、タッチセンサ等のユーザインタフェースである。操作入力部１５は、各ユーザインタフェースに対して操作入力がなされたことを検出すると、なされた操作入力に対応する制御信号を制御部１１に出力する。
【００３７】
画像撮像部１６は、例えば、ＣＣＤカメラなどの撮影装置である。画像撮像部１６によって、ユーザの顔画像を撮像する。画像撮像部１６によって撮像されたユーザの顔画像のデータは、ＲＡＭ１３に保存される。画像撮像部１６は、操作入力部１５から撮像を開始する指示を与える信号を、制御部１１を介して受信すると、ユーザの顔画像を撮像する。
【００３８】
通信部１７は、情報提供装置１０が有する通信インターフェースである。本実施形態では、情報提供装置１０Ａは通信部１７を介することで、ネットワーク３０を経由してサーバ装置２０と接続し、サーバ装置２０との間で情報の送受信を行うことができる。
【００３９】
サーバ装置２０は、提供する商品やサービスに関する情報を保存する。サーバ装置２０には、例えば、商品について、インターネットにおける販売数や、購入者のコメントなどが保存されている。
【００４０】
なお、本実施形態では、説明を簡単にするために、情報提供装置１０の内部構成として、各種ブロックを有するものとして説明したが、本発明の一実施形態はこれに限定されない。例えば、各種ブロックの少なくとも一つが、情報提供装置１０とは別の装置として構成されていてもよい。具体的には、記録媒体１２及び表示部１４が、別の装置として構成されてもよい。
【００４１】
［情報提供装置１０の機能構成］
図２は、本発明の一実施形態に係る情報提供装置１０の情報提供機能を示すブロック図である。情報提供装置１０は、画像取得部１１１と、画像解析部１１２と、パラメータ生成部１１３、パラメータ提示部１１４と、リコメンド情報生成部１２６と、リコメンド情報データベース１１５と、リコメンド情報提示部１１６と、ユーザデータ記憶部１１７と、によって、情報提供機能を実現する。
【００４２】
画像取得部１１１は、画像撮像部１６によって取得されたユーザの顔画像が入力される。
【００４３】
画像解析部１１２は、画像取得部１１１に入力されたユーザの顔画像を解析する機能を有する。画像解析部１１２は、ユーザの顔画像から目、鼻、口などの大まかな特徴点を抽出する。ここで、特徴点とは、例えば、眉毛、目の輪郭、眼の中心、鼻の輪郭、上唇輪郭、下唇輪郭、顔の輪郭などである。これらの特徴点の抽出は、公知の顔認識技術を使用して実行される。
【００４４】
パラメータ生成部１１３は、画像解析部１１２によって抽出されたユーザの特徴点によって、様々なパラメータを生成する機能を有する。パラメータ生成部１１３は、解析パラメータ生成部１２７と、属性情報生成部１２１と、第１パラメータ生成部１２２と、第２パラメータ生成部１２３と、を有する。
【００４５】
解析パラメータ生成部１２７は、複数の解析パラメータを生成する機能を有する。複数の解析パラメータのそれぞれは、画像解析部１１２によって抽出された特徴点によって生成される。解析パラメータ生成部１２７は、抽出された複数の特徴点を用いて、各表情の教師データ（サンプル画像データともいう）を用いた機械学習により、画像を解析して複数の解析パラメータを生成する。ここで、複数の解析パラメータとは、それぞれユーザの表情を示すものである。解析パラメータは、例えば、怒り、嫌悪、恐れ、幸福、悲しみ、驚き、無表情などの表情の種類である。また、表情の種類のそれぞれは、数値化されたスコアで表される。
【００４６】
属性情報生成部１２１は、抽出された複数の特徴点２０３を用いてユーザの属性情報を生成する機能を有する。ここで、属性情報は、少なくとも二つの属性を有し、例えば、ユーザの性別及び年代である。ユーザの性別及び年代は、画像解析部１１２によって抽出された特徴点によって識別することができる。
【００４７】
第１パラメータ生成部１２２は、複数の第１パラメータを生成する機能を有する。本実施形態では、第１パラメータ生成部１２２は、複数の解析パラメータを用いて、予め決められた演算式によって、第１パラメータを生成する。第１パラメータとは、うれしい、穏やか、かなしいという表情の種類である。
【００４８】
第２パラメータ生成部１２３は、複数の第１パラメータに基づいて第２パラメータを生成する機能を有する。ここで、第２パラメータは、ユーザの心情の種類を示すものである。本実施形態では、複数の第１パラメータのいずれか一つ（うれしい、穏やか、かなしいのいずれか一つ）を用いて、第２パラメータを生成する。また、第２パラメータは、例えば、寛大、緊張する、わくわくするなどのユーザの心情の種類を示す。
【００４９】
第２パラメータ生成部１２３は、図３に示すテーブルによって、第２パラメータを生成する。図３に、ユーザの属性情報と、複数の第１パラメータに対応する第２パラメータを示す。図３では、ユーザの属性情報として、性別と、１０代、２０代、３０代、４０代などの複数の年代を示している。なお、ユーザの年代として、０−１８歳、１９−３０歳、３１−５９歳、６０歳以上の４種類に分類してもよい。図３では、ユーザの心情として、心情Ａ〜心情Ｈの８種類を示している。
【００５０】
パラメータ提示部１１４は、複数の第１パラメータ及び第２パラメータを提示する機能を有する。本実施形態では、パラメータ提示部１１４は、例えば、第１パラメータとして、ユーザの表情として、うれしい、穏やか、かなしいという表情のそれぞれのスコア、及び第２パラメータとして、ユーザの心情を提示する。
【００５１】
パラメータ提示部１１４は、複数の第１パラメータを、例えば、グラフで提示する。グラフとして、表、円グラフ、レーダーチャートなどで表す。
【００５２】
リコメンド情報生成部１２６は、ユーザに提示するリコメンド情報を生成する機能を有する。本明細書等において、リコメンド情報は、第２パラメータ毎に設定することができる。例えば、第２パラメータが心情Ａである場合には、リコメンド情報Ａ〜Ｃのいずれかを提示するように設定する。また、リコメンド情報生成部１２６によって、生成されたリコメンド情報は、リコメンド情報生成部１２６に保存される。
【００５３】
リコメンド情報データベース１１５は、第２パラメータに基づいて提示するリコメンド情報が格納されている。リコメンド情報データベース１１５に保存されたテーブルの一例を、図４に示す。図４に示すように、第２パラメータと、リコメンド情報とが、関連付けられたテーブルである。つまり、第２パラメータに基づいて提供するリコメンド情報がそれぞれ設定されている。ここで、リコメンド情報とは、販売促進のための商品情報又は提供サービス情報である。また、第２パラメータに応じたリコメンド情報は少なくとも一つ設定されていればよい。また、図４に示すように、一種類の第２パラメータに対して、優先順位に基づいて複数のリコメンド情報が設定されている。例えば、第２パラメータが心情Ａである場合には、リコメンド情報Ａ〜Ｃが設定されている。本実施形態では、心情Ａに対しては、リコメンド情報Ａ〜Ｃの順に優先順位が設定されている。
【００５４】
リコメンド情報提示部１１６は、第２パラメータに基づくリコメンド情報を提示する機能を有する。つまり、リコメンド情報提示部１１６は、リコメンド情報データベース１１５から、第２パラメータに基づいて検索する。また、第２パラメータのそれぞれに対して、複数のリコメンド情報の優先順位が設定されている。そのため、第２パラメータにより、リコメンド情報データベース１１５が参照された場合には、優先順位に基づいてリコメンド情報が提示される。例えば、第２パラメータを心情Ａとして、リコメンド情報データベース１１５を参照した場合、最初にリコメンド情報Ａが提示される。再度、第２パラメータを心情Ａとして、リコメンド情報データベース１１５を参照した場合、リコメンド情報Ｂが提示される。つまり、同一第２パラメータで、リコメンド情報データベースが参照された場合には、リコメンド情報提示部１１６は、リコメンド情報Ａ〜Ｃが順番に提示する。このように、同一第２パラメータで、リコメンド情報データベースが複数回参照された場合には、前回と異なるリコメンド情報を提示することができる。
【００５５】
ユーザデータ記憶部１１７は、パラメータ生成部１１３によって得られたユーザの属性情報、及びリコメンド情報を記憶する。ユーザデータ記憶部１１７に記憶されたユーザデータの一例を、図５に示す。図５に示すように、リコメンド情報が提示された日時、属性情報及び提示したリコメンド情報がそれぞれ記憶されている。
【００５６】
［ユーザの顔画像からリコメンド情報を提供する処理］
次に、図１及び図２に示す情報提供装置１０において、ユーザの顔画像が入力されてから、リコメンド情報を提示するまでの処理について、図６及び図７を参照して説明する。
【００５７】
まず、画像撮像部１６は、ユーザの顔画像を撮像する（ステップＳ４０１）。図８に、ユーザの顔画像を撮像する様子を示す。表示部１４は、画像撮像部１６からのデータを表示する。ユーザは、表示部１４に表示された枠２０１に顔の輪郭が収まるように、画像撮像部１６の前に立ち、操作入力部１５を操作する。画像撮像部１６は、操作入力部１５から撮像を開始する指示を与える信号を、制御部１１を介して受信すると、ユーザの顔画像を撮像する。
【００５８】
次に、画像取得部１１１は、ユーザの顔画像を取得する（ステップＳ４０２）。ユーザの顔画像は、画像撮像部１６によって撮像されたものである。
【００５９】
次に、画像解析部１１２により、画像取得部１１１に入力された顔画像を解析する（ステップＳ４０３）。図９に、ユーザの顔画像を解析する様子を示す。表示部１４は、ユーザの顔画像を表示して、顔の輪郭に合わせて検出領域を表示する。画像解析部１１２は、検出領域において、目、鼻、口などの大まかな特徴点２０３を抽出する。複数の特徴点２０３として、例えば、眉毛、目の輪郭、眼の中心、鼻の輪郭、上唇輪郭、下唇輪郭、顔の輪郭などを抽出する。
【００６０】
次に、解析パラメータ生成部１２７は、抽出された複数の特徴点２０３を用いて解析パラメータを生成する。解析パラメータ生成部１２７は、抽出された複数の特徴点を用いて、各表情の教師データを用いた機械学習により、画像を解析して複数の解析パラメータを生成する。解析パラメータは、例えば、怒り、嫌悪、恐れ、幸福、悲しみ、驚き、無表情などの表情の種類である。また、表情の種類のそれぞれは、数値化されたスコアで表される。
【００６１】
次に、属性情報生成部１２１は、抽出された複数の特徴点２０３を用いてユーザの属性情報を生成する。属性情報生成部１２１は、ユーザの性別及び年代を識別することができる。
【００６２】
次に、第１パラメータ生成部１２２は、複数の第１パラメータを生成する（ステップＳ４０４）。本実施形態では、第１パラメータ生成部１２２は、複数の解析パラメータを用いて、予め決められた演算式によって、第１パラメータを生成する。第１パラメータとは、うれしい、穏やか、かなしいという表情の種類である。
【００６３】
次に、第２パラメータ生成部１２３により、複数の第１パラメータに基づいて第２パラメータを生成する（ステップＳ４０５）。ここで、第２パラメータは、ユーザの心情の種類を示すものである。本実施形態では、複数の第１パラメータのいずれか一つ（うれしい、穏やか、かなしい）を用いて、第２パラメータを生成する。また、第２パラメータは、例えば、寛大、緊張、わくわくなどのユーザの心情の種類を示す。
【００６４】
パラメータ提示部１１４は、複数の第１パラメータ及び第２パラメータを提示する（ステップＳ４０６）。本実施形態では、パラメータ提示部１１４は、例えば、複数の第１パラメータとして、ユーザの表情として、うれしい、穏やか、かなしいに対応するそれぞれのスコア、及び第２パラメータとして、ユーザの心情を提示する。図１０に、パラメータ提示部１１４に提示された複数の第１パラメータ及び第２パラメータの図を示す。図１０では、複数の第１パラメータとして、『うれしい』のスコア２２１ａ、『穏やか』のスコア２２１ｂ、『かなしい』のスコア２２１ｃという表情が数値化され、円グラフで表されている。また、第２パラメータ２２２として、心情Ａが『緊張』という文字列で表されている。図１０には、ユーザの属性情報が明示されていないが、属性情報として性別を、第２パラメータを示す文字列の色によって示してもよい。文字列の色は、例えば、女性であれば、赤や橙などの暖色系の色で示し、男性であれば、青や紺などの寒色系の色で示す。
【００６５】
次に、第２パラメータに基づくリコメンド情報を検索する。リコメンド情報の検索の方法について、図７を参照して説明する。
【００６６】
まず、図４に示すリコメンド情報データベース１１５を参照して第２パラメータを検索キーとして、リコメンド情報を検索する（ステップＳ４１１）。例えば、第２パラメータが心情Ａである場合、優先順位に基づいてリコメンド情報Ａが検索結果となる。
【００６７】
次に、所定期間内に同じ条件で検索されたかを判定する（ステップＳ４１２）。つまり、所定期間内に、第２パラメータが心情Ａである条件で検索されたかどうかを判定する。例えば、所定期間内とは、５分〜１時間で設定することができる。所定期間内に同じ条件で検索されていない場合（ステップＳ４１２；Ｎｏ）は、ステップＳ４１３に進む。所定期間内に同じ条件で検索された場合（ステップＳ４１２；Ｙｅｓ）は、ステップＳ４１４に進む。
【００６８】
また、所定期間内に同じ条件で検索されていない場合（ステップＳ４１２；Ｎｏ）は、ステップＳ４１１における検索結果であるリコメンド情報を提示する（ステップＳ４１３）。例えば、第２パラメータが心情Ａである場合、検索結果となるリコメンド情報Ａを提示する。
【００６９】
また、所定期間内に同じ条件で検索された場合（ステップＳ４１２；Ｙｅｓ）は、前回提示したリコメンド情報と異なるリコメンド情報を提示する（ステップＳ４１４）。例えば、所定期間内に、第２パラメータが心情Ａである条件が検索され、リコメンド情報Ａが提示されていた場合は、優先順位に基づいてリコメンド情報Ｂを検索結果とする。
【００７０】
以上のようにして、リコメンド情報を検索することができる。
【００７１】
次に、図６に示すように、リコメンド情報提示部１１６より、第２パラメータに基づくリコメンド情報を提示する（ステップＳ４０７）。図１１に、リコメンド情報提示部１１６に提示された第２パラメータに基づくリコメンド情報を示す。図１１では、リコメンド情報提示部１１６は、第２パラメータ２２２とともに、リコメンド情報２２３が提示されている。また、図１１の枠内には、リコメンド情報の画像２２４、リコメンド情報の説明など、検索されたリコメンド情報Ａの詳細な情報が提示される。
【００７２】
次に、ユーザデータ記憶部１１７は、ユーザデータを記憶する（ステップＳ４０８）。ユーザデータとは、図５に示すデータをいう。図５に示すように、リコメンド情報が提示された日時、属性情報及び提示したリコメンド情報がそれぞれ記憶されている。
【００７３】
以上により、情報提供装置１０は、ユーザの顔画像が入力されてから、リコメンド情報を提示するまでの処理を実行することができる。
【００７４】
本発明の一実施形態によれば、顔画像を画像処理した後、パラメータ提示部１１４により、画像処理による表情や心情の判定結果を提示する。ユーザの表情や心情の判定結果が提示されることで、判定結果に対するユーザの興味や関心を引き付けることができる。また、ユーザの心情に基づいてリコメンド情報を提示することで、ユーザに適切な情報を提供することができる。また、ユーザは判定結果が提示されることで、興味を持ってリコメンド情報を確認するため、リコメンド情報に基づいた商品やサービスを購入する可能性が高くなる。
【００７５】
本発明の一実施形態によれば、所定期間内に複数回同じ条件で検索された場合に、前回提示したリコメンド情報と異なるリコメンド情報が提示される。これにより、例えば、同一のユーザが複数回リコメンド情報を得ようとした場合であっても、ユーザの興味を引き付けることができる。また、同じ属性情報を持つ複数のユーザが所定期間内に連続してリコメンド情報を得ようとした場合であっても、それぞれのユーザに対して、異なるリコメンド情報を提供することができる。
【００７６】
本実施形態では、パラメータ提示部１１４は、複数の第１パラメータ及び第２パラメータを提示する例について説明したが、本発明の一実施形態はこれに限定されない。パラメータ提示部１１４は、第１パラメータ及び第２パラメータとともに属性情報を提示してもよい。または、パラメータ提示部１１４は、第１パラメータ及び第２パラメータとともに、属性情報のうち性別又は年代を提示してもよい。
【００７７】
また、パラメータ提示部１１４は、複数の第１パラメータ及び第２パラメータを異なる形式で提示してもよい。例えば、パラメータ提示部１１４は、複数の第１パラメータをグラフで提示し、第２パラメータを文字列で提示してもよい。
【００７８】
本実施形態では、リコメンド情報提示部１１６は、同一属性情報及び同一第２パラメータに設定された複数のリコメンド情報に対して、優先順位に基づいてリコメンド情報を提示する場合について説明したが、本発明の一実施形態はこれに限定されない。リコメンド情報提示部１１６は、ランダムにリコメンド情報を提示していてもよい。また、リコメンド情報提示部１１６は、第２パラメータとともに、リコメンド情報を提示してもよい。
【００７９】
本実施形態では、ユーザデータ記憶部１１７は、属性情報及びリコメンド情報を記憶する場合について説明したが、本発明の一実施形態はこれに限定されない。ユーザデータ記憶部１１７は、属性情報及び提示したリコメンド情報とともに、第１パラメータ及び第２パラメータを記憶してもよい。または、ユーザデータ記憶部１１７は、属性情報及び提示したリコメンド情報と共に、顔画像を記憶してもよい。また、個人が特定されないように、顔画像を削除した上で、属性情報及び提示したリコメンド情報を記憶してもよい。
【００８０】
本実施形態では、第２パラメータ生成部１２３は、複数の第１パラメータのいずれか一つを用いて、第２パラメータを生成する場合について説明したが、本発明の一実施形態は、これに限定されない。例えば、複数の第１パラメータの全てを用いて第２パラメータを生成してもよい。例えば、複数の第１パラメータとして、うれしい、かなしい、穏やかのスコアのそれぞれの割合から、予め決められた演算式によって、第２パラメータを生成してもよい。
【００８１】
本実施形態では、第１パラメータ生成部１２２により、第１パラメータを生成する前に、属性情報生成部１２１により属性情報を生成したが、本発明の一実施形態はこれに限定されない。第１パラメータ生成部１２２により、第１パラメータを生成した後に、属性情報生成部１２１により属性情報を生成してもよい。
【００８２】
本実施形態では、リコメンド情報の検索を、ステップＳ４０６の後に実行する場合について説明したが、本発明の一実施形態はこれに限定されない。リコメンド情報の検索を、ステップＳ４０５の前に実行してもよい。
【００８３】
本実施形態では、リコメンド情報データベースとして、一種類の第２パラメータに対して、優先順位に基づいて複数のリコメンド情報が設定されている場合について説明したが、本発明の一実施形態はこれに限定されない。例えば、一種類の第２パラメタータに対して、一種類のリコメンド情報を設定してもよい。この場合には、図７に示すステップＳ４１２及びステップＳ４１４を省略してもよい。
【００８４】
＜変形例１＞
本実施形態では、ユーザに提供されるリコメンド情報を、第２パラメータ毎に設定する機能を有する場合について説明したが、本発明の一実施形態はこれに限定されない。例えば、リコメンド情報生成部１２６は、サーバ装置２０から提供された商品に関する情報を基に、自動的にリコメンド情報を生成する機能を有していてもよい。また、リコメンド情報生成部１２６は、第２パラメータ毎に、自動的に生成されたリコメンド情報を設定してもよい。
【００８５】
サーバ装置２０は、インターネットにおける販売実績と、購入者の評価、コメント、及び購入者の属性情報と、広告等の商品に関する情報と、を保存する。サーバ装置２０は、ある商品に対して、インターネットにおける販売実績が高い場合、購入者が商品に対して好意的な評価をしている場合、又は商品に関する広告が一時的に増加した場合は、情報提供装置１０にこれらの情報を送信する。情報提供装置１０は、通信部１７を介してこれらの情報を受信して、記録媒体１２に保存する。
【００８６】
リコメンド情報生成部１２６は、記録媒体１２に保存された商品に関する情報を用いて、複数のリコメンド情報を生成する。そして、第２パラメータに、生成された複数のリコメンド情報のいずれかを対応づけて、リコメンド情報データベース１１５に保存する。例えば、情報提供装置１０が通信部１７を介して、複数の２０代の女性が書籍について高い評価をしていたという情報を受信して、記録媒体１２に保存されたとする。リコメンド情報生成部１２６は、当該書籍に対するリコメンド情報を生成する。そして、第２パラメータ（わくわくするという心情）に、生成したリコメンド情報を設定し、リコメンド情報生成部１２６に保存する。
【００８７】
なお、リコメンド情報生成部１２６は、第２パラメータに対して、生成したリコメンド情報を設定しなくてもよい。例えば、第２パラメータ毎に予め設定された複数のリコメンド情報のうち、一部のリコメンド情報を、生成したリコメンド情報に置換してもよい。
【００８８】
このように、本発明の一実施形態に係る情報提供装置１０は、サーバ装置２０から提供された商品に関する情報を基に、自動的にリコメンド情報を生成することができる。これにより、情報提供装置１０は、現在流行している商品やサービスに関する情報について、適時に生成したリコメンド情報を提供することができる。
【００８９】
＜変形例２＞
情報提供装置１０は、設置される場所に応じてリコメンド情報を調整する機能を有していてもよい。例えば、情報提供装置１０が、映画館が併設されているショッピングモールに設置されている場合について説明する。
【００９０】
ショッピングモールに設置された情報提供装置１０は、サーバ装置２０から、映画館にて現在公開中の映画に関する情報を受信する。リコメンド情報生成部１２６は、現在公開されている映画の原作本に関するリコメンド情報や、映画のグッズに関するリコメンド情報を生成する。そして、第２パラメータに、生成したリコメンド情報を設定し、リコメンド情報生成部１２６に保存する。
【００９１】
このように、本発明の一実施形態に係る情報提供装置１０は、設置される場所に応じて、リコメンド情報を調整することができる。これにより、設置場所に対応した商品のリコメンド情報を提供することができる。
【００９２】
＜変形例３＞
本実施形態では、第２パラメータ生成部１２３は、複数の第１パラメータ又は複数の第１パラメータのいずれか一つを用いて第２パラメータを生成する場合について説明したが、本発明の一実施形態はこれに限定されない。第２パラメータ生成部１２３は、複数の第１パラメータとともに、服の色及び服の種類を用いて、第２パラメータとして生成してもよい。第２パラメータ生成部１２３は、例えば、ユーザが明るい色のシャツを着ている場合には、第２パラメータとして、「楽しい」という心情を生成する。例えば、暗い色のジャケットを着ている場合には、「緊張している」という心情を生成してもよい。このように、第２パラメータ生成部１２３は、複数の第１パラメータだけでなく、ユーザが着ている服の色や種類を加味して、ユーザの心情を表す第２パラメータを生成することができる。
【００９３】
（第２実施形態）
第１実施形態では、設定された複数のリコメンド情報に対して優先順位が設けられている場合について説明した。本実施形態では、複数のリコメンド情報のそれぞれに対して、リコメンド情報提示部１１６に提示される確率が設定されている場合について説明する。
【００９４】
図１２は、本実施形態に係るリコメンド情報データベースである。図１２に示すように、ユーザの属性情報及び第２パラメータの組み合わせと、リコメンド情報とが、関連付けられたテーブルである。図１２では、同一の属性情報及び第２パラメータに対して、複数のリコメンド情報が設定されているのは、図４に示すリコメンド情報データベースと同様である。図４に示すリコメンド情報データベースと異なる点は、複数のリコメンド情報のそれぞれに対して、リコメンド情報提示部１１６に提示される確率が設定されている点である。
【００９５】
例えば、情報提供装置１０が設置される販売店においてより多く販売したい商品や、より多く提供したいサービスについては、リコメンド情報が提示される確率が高くなるように設定してもよい。
【００９６】
例えば、同じユーザが所定時間内に連続してリコメンド情報を得ようとした場合、同一の第２パラメータにより、リコメンド情報データベースで検索される可能性が高い。同一の第２パラメータに対して設定された複数のリコメンド情報に対してそれぞれ確率を設定することで、リコメンド情報提示部１１６は、設定された確率に応じてリコメンド情報を提示することができる。より多く販売したい商品又はより多く提供したいサービスについては、リコメンド情報提示部１１６に提示される確率を高くすることで、リコメンド情報提示部１１６に提供される回数が多くなる。これにより、ユーザに対して、販売店においてより多く販売したい商品や、より多く提供したいサービスについて、興味を引き付けることができる。
【００９７】
（第３実施形態）
本発明の一実施形態に係る情報提供装置１０Ａについて、図１３乃至図１６を参照して説明する。本実施形態では、ユーザデータ記憶部１１７に保存されたユーザデータと、サーバ装置２０に保存されたＰＯＳデータとを比較して、検証する方法について説明する。なお、第１及び第２実施形態と説明が重複する箇所については説明を適宜省略する。
【００９８】
［情報提供装置のハードウエア構成］
図１３に、本発明の一実施形態に係る情報提供装置１０Ａと、サーバ装置２０と、ネットワーク３０と、を示す。
【００９９】
情報提供装置１０Ａは、制御部１１、記録媒体１２、ＲＡＭ１３、表示部１４、操作入力部１５、画像撮像部１６、及び通信部１７を有している。
【０１００】
通信部１７は、情報提供装置１０Ａが有する通信インターフェースである。本実施形態では、情報提供装置１０Ａは通信部１７を介することで、ネットワーク３０を経由してサーバ装置２０と接続し、サーバ装置２０との間で情報の送受信を行うことができる。
【０１０１】
サーバ装置２０は、例えば、ＰＯＳ（Ｐｏｉｎｔ  Ｏｆ  Ｓａｌｅｓ）データが保存されたサーバ装置である。ＰＯＳデータとは、販売店において、商品が購入されたときに記録されるデータである。図１４に、サーバ装置２０に保存されたＰＯＳデータの一例を示す。図１４に示すように、商品が購入された日時、購入された商品、及び属性情報がそれぞれ保存されている。ＰＯＳデータに保存された属性情報は、例えば、販売店によるレジ入力または会員カードに保存された会員情報を読み取ることにより得られる。
【０１０２】
［情報提供装置１０Ａの機能構成］
図１５は、本発明の一実施形態に係る情報提供装置１０Ａの情報提供機能を示すブロック図である。情報提供装置１０Ａは、画像取得部１１１と、画像解析部１１２と、パラメータ生成部１１３、パラメータ提示部１１４と、リコメンド情報データベース１１５と、リコメンド情報提示部１１６と、ユーザデータ記憶部１１７に加えて、ユーザデータ入力部１１８と、ＰＯＳデータ取得部１１９と、判定部１２４と、出力部１２５とを有する。
【０１０３】
ＰＯＳデータ取得部１１９は、サーバ装置２０からネットワークを介して、ＰＯＳデータを取得する。ＰＯＳデータ取得部１１９は、ＰＯＳデータを、リアルタイムに取得してもよいし、所定期間経過後、例えば、一日経過後に取得してもよい。
【０１０４】
判定部１２４は、ユーザデータ記憶部１１７に記憶されたユーザデータと、ＰＯＳデータ取得部１１９で取得されたＰＯＳデータとを比較する。そして、ユーザデータに記録された時間から、所定期間内に、同一の属性情報を持つユーザが、提示されたリコメンド情報と同じ商品を購入しているかを判定する。
【０１０５】
［提供したリコメンド情報に基づいて商品を購入したかを判定する処理］
次に、図１３に示す情報提供装置１０Ａにおいて、ユーザに提供したリコメンド情報に基づいて商品を購入したかを判定する処理について、図１６を参照して説明する。
【０１０６】
まず、ユーザデータ入力部１１８に、ユーザデータ記憶部１１７からユーザデータを入力する（ステップＳ４２１）。ユーザデータは、例えば、図５に示すデータである。ユーザデータには、少なくともリコメンド情報が提供された日時、属性情報、及び提供したリコメンド情報が保存されている。また、ユーザにリコメンド情報を提供するたびに、保存される。ユーザデータ入力部１１８には、所定の期間、例えば、一日分のユーザデータが入力される。
【０１０７】
次に、ＰＯＳデータ取得部１１９は、サーバ装置２０からＰＯＳデータを取得する。ＰＯＳデータは、例えば、図１４に示すデータである。ＰＯＳデータ取得部１１９には、所定の期間、例えば、一日分のＰＯＳデータが入力される。なお、ＰＯＳデータ取得部１１９は、ユーザデータ入力部１１８に、ユーザデータが入力される前に、ＰＯＳデータを取得してもよい。
【０１０８】
次に、判定部１２４により、所定の期間内に同一属性情報のユーザがリコメンド情報と同じ商品を購入したかを判定する（ステップＳ４２２）。所定の期間内に同一属性情報のユーザがリコメンド情報と同じ商品を購入したと判定された場合（ステップＳ４２２；Ｙｅｓ）は、ステップＳ４２３に進む。また、所定の期間内に同一属性情報のユーザがリコメンド情報と同じ商品を購入していないと判定された場合（ステップＳ４２２；Ｎｏ）は、ステップＳ４２４に進む。
【０１０９】
所定の期間内に同一属性情報のユーザがリコメンド情報と同じ商品を購入したかを判定する方法について、図５及び図１４を参照して説明する。図５に示すように、２０ａａ／ｂｂ／ｃｃの１２：００に、３０代男性に、リコメンド情報Ａが提示されたことが保存されている。図１４に示すように、２０ａａ／ｂｂ／ｃｃの１２：１０に、３０代男性が、商品Ａを購入していることが保存されている。つまり、３０代男性は、リコメンド情報Ａが提示されてから、１０分以内に商品Ａを購入していると判定される（ステップＳ４２３）。なお、ユーザデータの属性情報及びＰＯＳデータの属性情報は個人を特定できるデータではない。そのため、ユーザデータの属性情報及びＰＯＳデータの属性情報が同じであったとしても、必ずしも同一人物とは限らない。また、図５に示すように、２０ａａ／ｂｂ／ｃｃの１５：００に、２０代男性に、第２パラメータに基づいて、リコメンド情報Ｄが提示されたことが保存されている。図１４に示すように、２０ａａ／ｂｂ／ｃｃの１５：００から所定期間経過しても、２０代男性が、商品Ｄを購入していない。つまり、２０代男性は、リコメンド情報Ｄが提示されたあと、商品Ｄを購入しなかったと判定される（ステップＳ４２４）。
【０１１０】
ユーザデータ記憶部１１７に記憶されたデータと、サーバ装置２０に保存されたＰＯＳデータとに、タイムラグがあってもよい。つまり、ユーザが情報提供装置１０Ａによってリコメンド情報を得た時間から、所定期間内（例えば、３０以内又は１時間以内）に商品を購入していればよい。所定期間内において、ユーザデータに保存された属性情報及びリコメンド情報と、ＰＯＳデータに保存された属性情報及び購入した商品とが一致していれば、ユーザが提示されたリコメンド情報に基づいて商品を購入した可能性があると判定される。
【０１１１】
このように、ユーザデータ記憶部１１７に記憶されたデータと、サーバ装置２０に保存されたＰＯＳデータとを比較することで、リコメンド情報が適切にユーザに提供されたかを検証することができる。
【０１１２】
出力部１２５は、判定部１２４により判定した結果を出力する（ステップＳ４２５）。出力部１２５により、所定の期間内に提供された各々のリコメンド情報の回数と、また、所定の期間内に購入された各々の商品の個数とを出力することができる。提供されたリコメンド情報に対して、実際に購入された商品が、どれくらいの割合を占めるかを出力することができる。リコメンド情報が提供された回数に対して、購入された商品との個数の占める割合が高ければ、販売促進効果が高いと判断できる。また、リコメンド情報が提供された回数に対して、購入された商品との個数の占める割合が低ければ、販売促進効果が低いと判断してもよい。販売促進効果が低い商品については、リコメンド情報データベース１１５におけるリコメンド情報を変更してもよい。
【符号の説明】
【０１１３】
１０：情報提供装置、１０Ａ：情報提供装置、１１：制御部、１２：記録媒体、１３：メモリ、１４：表示部、１５：操作入力部、１６：画像撮像部、１７：通信部、２０：サーバ装置、３０：ネットワーク、１１１：画像取得部、１１２：画像解析部、１１３：パラメータ生成部、１１４：パラメータ提示部、１１５：リコメンド情報データベース、１１６：リコメンド情報提示部、１１７：ユーザデータ記憶部、１１８：ユーザデータ入力部、１１９：データ取得部、１２１：属性情報生成部、１２２：第１パラメータ生成部、１２３：第２パラメータ生成部、１２４：判定部、１２５：出力部、１２６：リコメンド情報生成部、１２７：解析パラメータ生成部、２０１：枠、２０２：枠、２０３：特徴点、２２１ａ：スコア、２２１ｂ：スコア、２２１ｃ：スコア、２２２：第２パラメータ、２２３：リコメンド情報、２２４：画像
【図１】
2019192108.tif 000003
【図２】
2019192108.tif 000004
【図３】
2019192108.tif 000005
【図４】
2019192108.tif 000006
【図５】
2019192108.tif 000007
【図６】
2019192108.tif 000008
【図７】
2019192108.tif 000009
【図８】
2019192108.tif 000010
【図９】
2019192108.tif 000011
【図１０】
2019192108.tif 000012
【図１１】
2019192108.tif 000013
【図１２】
2019192108.tif 000014
【図１３】
2019192108.tif 000015
【図１４】
2019192108.tif 000016
【図１５】
2019192108.tif 000017
【図１６】
2019192108.tif 000018