(57)【要約】【課題】試供品を提供した被験者から試供品の評価を自動的に取得する装置を提供する。【解決手段】マーケティング装置１は，試供品の評価情報を被験者２から自動的に得る機能として，カメラ１２ａを用いて被験者２の映像を撮影する映像撮影部１２と，マイク１４ａを用いて被験者２の音声を受信する音声受信部１４と，映像撮影部１２が撮影した映像に含まれる顔画像を時系列で表情解析し，被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する表情感情解析部１１と，音声受信部１４が受信した音声を時系列で音声認識し，被験者２が発した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する音声感情解析部１３と，顔画像に基づく人物属性を推定する人物属性推定部１５と，映像撮影部１２が撮影した映像から被験者２の試供品に対する評価情報を取得する処理を実行する制御部１０を備える。【選択図】図２
2018106419.tif 000002
【特許請求の範囲】
【請求項１】
カメラを用いて被験者の映像を撮影する映像撮影部と，
マイクを用いて被験者の音声を受信する音声受信部と，
前記映像撮影部が撮影した映像に含まれる顔画像を時系列で表情解析し，被験者の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する表情感情解析部と，
前記音声受信部が受信した音声を時系列で音声認識し，被験者が発した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する音声感情解析部と，
前記映像撮影部が撮影した映像から被験者の顔画像を検出する処理を行い，顔画像を検出してから顔画像が検出できなくなるまでの顔検出区間で前記映像撮影部が撮影した映像を前記表情感情解析部に引き渡し，前記顔検出区間における前記表情感情解析データを試供品の評価情報の一つとして取得する処理と，前記顔検出区間に前記音声受信部が受信した音声を前記音声感情解析部に引き渡し，前記顔検出区間における前記音声感情解析データを試供品の評価情報の一つとして取得する処理を実行する制御部と，
を備えたことを特徴とするマーケティング装置。
【請求項２】
試供品を被験者に提供する試供品提供部を備え，前記制御部は，前記映像撮影部が撮影した被験者の試供品に対する評価情報に，前記試供品提供部が試供品を被験者に提供した顔検出区間内の時間を含ませることを特徴とする，請求項１に記載したマーケティング装置。
【請求項３】
顔画像に基づく人物属性を推定する人物属性推定部を備え，前記制御部は，前記映像撮影部が撮影した映像から検出した顔画像に基づく人物属性を人物属性推定部に推定させ，前記映像撮影部が撮影した被験者の試供品に対する評価情報に，前記人物属性推定部が推定した人物属性を含ませることを特徴とする，請求項１または請求項２に記載したマーケティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，試供品の評価を被験者から自動的に得るための技術に関する。
【背景技術】
【０００２】
商品・サービスの販売販促活動として，商品・サービスを実際に使用した被験者から，商品・サービスに関する意見を集めるマーケティング調査を行うことがある。商品・サービスを実際に使用した被験者から集めた意見はマーケティング調査後に集計され，商品・サービスの販売戦略を立案する際に参考にされる。
【０００３】
マーケティング調査の一つの手法として，商品・サービスに係る質問項目に対する回答を被験者から集めるアンケート調査が以前より用いられている。アンケート調査は，マーケティング調査において有用な手法の一つであるが，アンケート調査では，選択式の質問項目に対する回答する時の意見しか被験者から得られないので，商品・サービスを実際に使用している時の意見を得たい時はヒアリング調査が行われる。
【０００４】
ヒアリング調査は，商品・サービスを実際に使用している被験者にインタビューし，例えば，商品・サービスの評価などを被験者に直接聞く手法である。例えば，飲み物（飲料）に係るヒアリング調査を行う場合，ヒアリング調査の対象になる飲み物を被験者に渡し，飲み物を口にした直後における評価を被験者から得る。
【０００５】
商品に係るヒアリング調査を行う場合，ヒアリング調査を行う側の人が，マーケティングの対象になる商品である試供品を被験者に手渡しで提供していたが，特許文献１で開示されているワインディスペンサーのように，試供品（特許文献１ではワイン）を被験者に提供する装置も開発されているので，試供品の評価を被験者から自動的に得られることが望まれている。試供品の評価を被験者から自動的に得ることができれば，試供品の評価を被験者から自動的に得るための機能を，試供品を被験者に提供する装置（例えば，ワインディスペンサー）に組み込むことができる。
【０００６】
マーケティング調査に係る発明として，例えば，特許文献１では， 質問項目の内容の深さに応じて階層構造化した複数の質問項目データを記憶し，インタビューの残り時間が少ない場合に，浅い階層の質問項目を優先して推薦し，インタビューの残り時間が多い場合に，深い階層の質問項目を優先して推薦する装置が開示されているが，ヒアリング調査に係る従来の発明は，マーケティング調査にて被験者に問う質問項目に注目した発明で，試供品に係る評価を被験者から自動的に得るための発明ではない。
【０００７】
また，アンケート調査やヒアリング調査は，試供品を試した後に，ある一定の期間が経過した後に調査されることもあることから，試供品を試した時の印象などが薄れてしまって正確な調査にならないことも考えられる。更に，これらの調査は集計の作業などが必要となることから，マーケティングデータ化するまでに時間がかかってしまっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−５８７００号公報
【特許文献２】特開２０１３−８９１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このことからして，早期に試供品の評価を被験者から得ることができれば，マーケティング活動のＰＤＣＡサイクルを手早く回していくことができるため，本発明は，試供品を試したその時の被験者の状態を捉え，試供品の評価を自動的に被験者から取得できる装置を提供することを課題とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決する本発明は，カメラを用いて被験者の映像を撮影する映像撮影部と，マイクを用いて被験者の音声を受信する音声受信部と，前記映像撮影部が撮影した映像に含まれる顔画像を時系列で表情解析し，被験者の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する表情感情解析部と，前記音声受信部が受信した音声を時系列で音声認識し，被験者が発した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する音声感情解析部と，前記映像撮影部が撮影した映像から被験者の顔画像を検出する処理を行い，顔画像を検出してから顔画像が検出できなくなるまでの顔検出区間で前記映像撮影部が撮影した映像を前記表情感情解析部に引き渡し，前記顔検出区間における前記表情感情解析データを試供品の評価情報の一つとして取得する処理と，前記顔検出区間に前記音声受信部が受信した音声を前記音声感情解析部に引き渡し，前記顔検出区間における前記音声感情解析データを試供品の評価情報の一つとして取得する処理を実行する制御部とを備えたことを特徴とするマーケティング装置である。
また，本発明では，試供品を被験者に提供する試供品提供部を前記マーケティング装置に備えさせ，前記制御部が，前記映像撮影部が撮影した被験者の試供品に対する評価情報に，前記試供品提供部が試供品を被験者に提供した顔検出区間内の時間を含ませると，試供品を提供した前後における被験者の感情の変化を分析できるようになる。
更に，本発明では， 顔画像に基づく人物属性を推定する人物属性推定部を前記マーケティング装置に備えさせ，前記制御部が，前記映像撮影部が撮影した映像から検出した顔画像に基づく人物属性を人物属性推定部に推定させ，前記映像撮影部が撮影した被験者の試供品に対する評価情報に，前記人物属性推定部が推定した人物属性を含ませると，試供品を提供した被験者の人物属性に基づいて被験者の感情の変化を分析できるようになる。
【発明の効果】
【００１１】
上述した本発明によれば，試供品を試したその時の被験者の状態を捉え，試供品を提供した被験者から試供品の評価を自動的に取得する装置を提供できる。
【図面の簡単な説明】
【００１２】
【図１】マーケティング装置を説明する図。
【図２】マーケティング装置のブロック図。
【図３】表情感情解析部の動作を説明する図。
【図４】音声感情解析部の動作を説明する図。
【図５】制御部の動作を説明する図。
【発明を実施するための形態】
【００１３】
ここから，本発明の好適な実施形態を記載する。なお，以下の記載は本発明の技術的範囲を束縛するものでなく，理解を助けるために記述するものである。
【００１４】
図１は，本実施形態に係るマーケティング装置１を説明する図である。図１で図示したマーケティング装置１は，試供品（図１では，ワイン）の評価情報を被験者２から自動的に得る機能と，試供品を被験者２に提供する機能（図１では，ワインディスペンサー）を備えているが，マーケティング装置１が備える機能は，試供品の評価情報を被験者２から自動的に得る機能のみであってもよい。
【００１５】
図１において，本実施形態に係るマーケティング装置１とネットワーク３を介して接続しているサーバ４は，被験者２から自動的に得た試供品の評価情報の送信先となる装置である。試供品の提供者は，ネットワーク３を介してマーケティング装置１から送信された試供品の評価情報を集計し，集計結果を参考にして試供品の販売戦略を立案する。
【００１６】
図２は，本実施形態に係るマーケティング装置１のブロック図である。本実施形態に係るマーケティング装置１は，被験者２から得た試供品の評価情報などの記憶に用いるメモリ１７，無線または有線によりネットワーク３に接続するネットワークインターフェース１８を備え，試供品の評価情報を被験者２から自動的に得る機能として，カメラ１２ａを用いて被験者２の映像を撮影する映像撮影部１２と，マイク１４ａを用いて被験者２の音声を受信する音声受信部１４と，映像撮影部１２が撮影した映像に含まれる顔画像を時系列で表情解析し，被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する表情感情解析部１１と，音声受信部１４が受信した音声を時系列で音声認識し，被験者２が発した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する音声感情解析部１３と，顔画像に基づく人物属性を推定する人物属性推定部１５と，映像撮影部１２が撮影した映像から被験者２の試供品に対する評価情報を取得する処理を実行する制御部１０を備える。また，本実施形態に係るマーケティング装置１は，試供品を被験者２に提供する試供品提供部１６（本実施形態では，ワインディスペンサー）を備える。
【００１７】
マーケティング装置１のメモリ１７としてはＲＡＭまたはＮＶＭ（Non-volatile memory）を利用できる。マーケティング装置１のネットワークインターフェース１８としては，無線によりネットワークに接続するＷｉｆｉ（登録商標），または，有線によりネットワークに接続するＥｔｈｅｒｎｅｔ（登録商標）を利用できる。マーケティング装置１の映像撮影部１２は，ＣＣＤやＣＭＯＳを撮像素子とするカメラ１２ａと，カメラ１２ａが出力したアナログ形式の映像をデジタル形式の映像に変換する回路基板などにより構成される。マーケティング装置１の音声受信部１４は，音声を集音するマイク１４ａと，マイク１４ａが出力したアナログ形式の音声をデジタル形式の音声に変換する回路基板などにより構成される。
【００１８】
マーケティング装置１の試供品提供部１６は，試供品を被験者２に提供する機構等により実現される。本実施形態の試供品提供部１６は，試供品であるワインを被験者２に提供できるように，被験者２に提供する数本のワインボトル１６ａ，ワインボトル１６ａ内に配置されたパイプと接続しているワインの注ぎ口１６ｂ，注ぎ口１６ｂからワインを出すときに被験者２が操作するスイッチ１６ｃを備え，スイッチ１６ｃが押されると，所定量のガス（例えば，窒素ガス）をワインボトル１６ａ内に充填し，所定量のワインが注ぎ口から出る構造になっている。また，図１で図示した試供品提供部１６は，ポイントカードやスマートフォンと近距離無線通信するリーダライタ１６ｄ，ワインを説明する映像などを流すディスプレイ１６ｅ，ワインの試飲に用いる紙コップ１６ｆ，および，使用済の紙コップ１６ｆを入れるゴミ箱１６ｇなどを備える。なお，ワインを説明する映像などを流すディスプレイ１６ｅをタッチパネルにすれば，タッチパネルを利用したアンケート調査を行うこともできる。
【００１９】
マーケティング装置１が備える表情感情解析部１１は，映像撮影部１２が撮影した映像に含まれる顔画像を時系列で表情解析し，被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する機能で，表情感情解析部１１としてマーケティング装置１のプロセッサを機能させるためのコンピュータプログラム，または，表情感情解析部１１として機能する専用のＩＣチップにより実現できる。
【００２０】
図３は，本実施形態に係るマーケティング装置１の表情感情解析部１１の動作を説明する図である。本実施形態に係るマーケティング装置１の表情感情解析部１１は，ＦＡＣＳ（Facial Action Coding System）に係る技術を利用して，映像撮影部１２が撮影した被験者２の顔画像に対応する感情カテゴリを特定する。ＦＡＣＳ（Facial Action Coding System）を利用して感情カテゴリを特定する際，まず，マーケティング装置１の表情感情解析部１１は，映像のフレームに含まれる顔画像を検出する処理を行う（Ｓ１）。マーケティング装置１の表情感情解析部１１は，映像のフレームから顔画像を検出すると，顔画像内におけるフェイシャルポイントを特定する（Ｓ２）。フェイシャルポイントは，顔の表情を規定する顔のポイントで，ＦＡＣＳでは約５００個のフェイシャルポイントを特定する。次に，マーケティング装置１の表情感情解析部１１は，フェイシャルポイントを特定した顔画像を時系列（例えば，映像のフレーム毎）で追跡し（Ｓ３），各々のフェイシャルポイントの変化から表情の動きを特定する（Ｓ４）。マーケティング装置１が備える表情感情解析部１１は，表情の動きの組合せにより定義した複数の感情カテゴリ（驚き，恐怖，嫌悪，怒り，幸福，悲しみ）を記憶し，フェイシャルポイントを用いて特定した表情の動きにより定義されている感情カテゴリを特定し（Ｓ５），図３の手順は終了する。なお，マーケティング装置１の表情感情解析部１１は，図３のＳ２において，顔画像内におけるフェイシャルポイントを特定した後，図３のＳ３−Ｓ５を時系列で実行することで，被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する。例えば，表情感情解析データは，被験者２の表情が発声した時間と，被験者２の表情に対応する感情カテゴリを記述したＣＳＶ形式のテキストデータである。
【００２１】
マーケティング装置１が備える音声感情解析部１３は，音声受信部１４が受信した音声を時系列で音声認識し，被験者２が発した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する機能で，音声感情解析部１３としてマーケティング装置１のプロセッサを機能させるコンピュータプログラム，または，音声感情解析部１３として機能する専用のＩＣチップにより実現することができる。
【００２２】
図４は，本実施形態に係るマーケティング装置１の音声感情解析部１３の動作を説明する図である。本実施形態に係るマーケティング装置１の音声感情解析部１３は，音声受信部１４が出力した音声から感情カテゴリを特定する際，音声受信部１４が出力した音声に対応する単語を音声認識する（Ｓ１０）。マーケティング装置１の音声感情解析部１３は，感情カテゴリに対応する単語を感情カテゴリ毎に記憶し，音声認識して得られた単語に対応する感情カテゴリを特定し（Ｓ１１），図４の手順は終了する。なお，マーケティング装置１の音声受信部１４は，図４のＳ１０−Ｓ１１を時系列で実行することで，被験者２が発話した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する。例えば，音声感情解析データは，被験者２が発話した時間と，被験者２が発話した単語に対応する感情カテゴリを記述したＣＳＶ形式のテキストデータである。
【００２３】
マーケティング装置１が備える人物属性推定部１５は，映像撮影部１２が出力した映像に含まれる顔画像を解析して被験者２の人物属性を特定する機能で，マーケティング装置１が備える人物属性推定部１５としてプロセッサを機能させるコンピュータプログラムにより実現することができる。なお，顔画像から人物属性（性別・年齢）を推定する手法としては，人物属性毎に顔の特徴点を記憶し，顔画像から抽出した特徴点に対応する人物属性を推定する手法が広く用いられている。
【００２４】
本実施形態に係るマーケティング装置１の制御部１０は，マーケティング装置１に実装されたプロセッサを動作させるコンピュータプログラムにより実現される機能で，試供品を提供する被験者２から自動的に試供品の評価情報を取得する機能に係る処理を実行する。
【００２５】
図５は，本実施形態に係るマーケティング装置１の制御部１０の動作を説明する図である。本実施形態に係るマーケティング装置１の電源がＯＮになると，マーケティング装置１の制御部１０等が起動し，マーケティング装置１の制御部１０は，映像撮影部１２と音声受信部１４を少なくとも作動させた後，映像撮影部１２が出力した映像から顔画像を検出する処理を実行する（Ｓ２０）。マーケティング装置１の映像撮影部１２は，所定のフレームレート（３０ｆｐｓや６０ｆｐｓ）で映像を出力し，マーケティング装置１の制御部１０は，映像撮影部１２が出力した映像のフレームから顔画像を検出する。
【００２６】
映像撮影部１２が出力した映像のフレームから顔画像が検出できると，マーケティング装置１の制御部１０は，映像撮影部１２が出力した映像をメモリ１７に録画する処理と，音声受信部１４が出力した音声をメモリ１７に録音する処理を開始する（Ｓ２１）。
【００２７】
そして，映像の録画および音声データの録音をしている間，試供品を提供する動作を行ったことを示す試供品提供信号が試供品提供部１６から入力されると，マーケティング装置１の制御部１０は，この時の時間（録画を開始してからの時間，または，日時）を試供品提供時間としてメモリ１７に記憶し（Ｓ２２），映像の録画および音声データの録音を続行する。
【００２８】
映像撮影部１２が出力した映像から顔画像が検出できなくなると，マーケティング装置１の制御部１０は，映像の録画および音声の録音を終了する（Ｓ２３）。
【００２９】
映像の録画および音声データの録音を終了すると，マーケティング装置１の制御部１０は，まず，メモリ１７に録画した映像に含まれる顔画像をマーケティング装置１の人物属性推定部１５に引き渡し，メモリ１７に録画した映像に含まれる顔画像に対応する人物属性を推定する人物属性推定処理（Ｓ２４）を実行する。
【００３０】
次に，マーケティング装置１の制御部１０は，顔画像を検出してから顔画像が検出できなくなるまでの区間である顔検出区間に映像撮影部１２が撮影した映像を表情感情解析部１１に引き渡し，顔検出区間における被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを表情感情解析部１１から取得する表情感情解析処理（Ｓ２５）を実行する。
【００３１】
次に，マーケティング装置１の制御部１０は，顔検出区間に音声受信部１４が撮影した音声を音声感情解析部１３に引き渡し，顔検出区間における被験者２の音声に対応する感情カテゴリの経時変化を示す音声感情解析データを音声感情解析部１３から取得する音声感情解析処理（Ｓ２６）を実行する。
【００３２】
次に，マーケティング装置１の制御部１０は，Ｓ２２でメモリ１７に記憶した試供品提供時間，人物属性推定処理（Ｓ２４）で得られた人物属性，表情感情解析処理（Ｓ２５）で得られた表情感情解析データおよび音声感情解析処理（Ｓ２６）で得られた音声感情解析データを試供品の評価情報としてサーバへ送信して（Ｓ２７），この手順は終了する。
【００３３】
被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを試供品の評価情報に含ませることで，被験者２が行動で示した感情の変化を時系列で分析でき，被験者２の音声に対応する感情カテゴリの経時変化を示す音声感情解析データを試供品の評価情報に含ませることで，被験者２の発話で示した感情の変化を時系列で分析できる。また，表情感情解析データと音声感情解析データの２つを試供品の評価情報に含ませることで，表情に基づく感情カテゴリが音声に基づく感情カテゴリと一致しているか否かなど，音声に基づく感情カテゴリを利用して表情に基づく感情カテゴリを分析できる。更に，試供品の評価情報に試供品提供時間を含ませることで，試供品を提供する前の被験者２の感情と，試供品を提供した後の被験者２の感情の変化を分析できる。更に，被験者２の人物属性を試供品の評価情報に含ませることで，人物属性に基づいて被験者２の感情を分析できる。
【符号の説明】
【００３４】
１    マーケティング装置
１０    制御部
１１    表情感情解析部
１２    映像撮影部
１２ａ  カメラ
１３    音声感情解析部
１４    音声受信部
１４ａ  マイク
１５    人物属性推定部
１６    試供品提供部
２    被験者
【図１】
2018106419.tif 000003
【図２】
2018106419.tif 000004
【図３】
2018106419.tif 000005
【図４】
2018106419.tif 000006
【図５】
2018106419.tif 000007