(57)【要約】      （修正有）【課題】特定の区間における感情の状態だけでなく時間軸方向における感情の変化を精度良く推定することが可能にすることができる感情推定方法を提供する。【解決手段】推定対象者ＨＭに装着したセンサユニットＳＳから複数の生体データを収集してセンサデータ記憶部に記憶し、これらの生体データに対しそれぞれ推定区間を設定すると共に当該推定区間を複数の特徴量算出区間に分割する。そして、生体データの各々について、その特徴量算出区間ごとに複数の特徴量を算出してその特徴ベクトルを求め、さらに隣接する特徴量算出区間でその特徴ベクトル間の相違の度合いを表す相違ベクトルを求める。さらに、推定区間に含まれる上記特徴ベクトル及び遅延ベクトルを統合し、上記生体データの統合された特徴ベクトル及び遅延ベクトルに基づいて上記推定対象者ＨＭの感情変化のパターンＰx-yを推定する。【選択図】図１
2014144052.tif 000002
【特許請求の範囲】
【請求項１】
推定対象者の感情が反映される感情反映データに基づいて前記推定対象者の感情を推定する装置において実行される感情推定方法であって、
推定対象者の感情が反映される感情反映データを受け取って記憶媒体に記憶する過程と、
前記記憶された感情反映データに対し複数の時間区間を設定する時間区間設定過程と、
前記設定された時間区間ごとに、当該時間区間に含まれる感情反映データの区分データからその特徴量をそれぞれ算出する特徴量算出過程と、
前記算出された各特徴量に基づいて、前記推定対象者の感情変化のパターンを推定する推定過程と、
前記推定された感情変化のパターンを表す情報を出力する過程と
を具備することを特徴とする感情推定方法。
【請求項２】
前記時間区間設定過程は、
前記記憶された感情反映データに対し推定区間を設定する過程と、
前記設定された推定区間を前記感情反映データの特徴に応じた時間長で複数の特徴量算出区間に分割する過程と
を備え、
前記特徴量算出過程は、
前記分割された特徴量算出区間ごとに、当該特徴量算出区間に含まれる感情反映データの区分データからその特徴量をそれぞれ算出する過程と、
前記各特徴量算出区間において算出された特徴量を前記推定区間に渡り統合する統合過程と
を備え、
前記推定過程は、前記統合された特徴量の集合に基づいて、前記推定区間における前記推定対象者の感情変化のパターンを推定することを特徴とする請求項１記載の感情推定方法。
【請求項３】
前記特徴量算出過程は、
隣接する特徴量算出区間ごとにその特徴量間の相違の度合いを表す情報を算出する過程を、さらに備え、
前記統合過程は、前記各特徴量算出区間において算出された特徴量を表す情報と、前記隣接する特徴量算出区間ごとに算出された特徴量間の相違の度合いを表す情報を、前記推定区間に渡り統合することを特徴とする請求項２記載の感情推定方法。
【請求項４】
推定対象者の感情が反映される感情反映データを受け取って記憶媒体に記憶する手段と、
前記記憶された感情反映データに対し複数の時間区間を設定する時間区間設定手段と、
前記設定された時間区間ごとに、当該時間区間に含まれる感情反映データの区分データからその特徴量をそれぞれ算出する特徴量算出手段と、
前記算出された各特徴量に基づいて、前記推定対象者の感情変化のパターンを推定する推定手段と、
前記推定された感情変化のパターンを表す情報を出力する手段と
を具備することを特徴とする感情推定装置。
【請求項５】
前記時間区間設定手段は、
前記記憶された感情反映データに対し推定区間を設定する手段と、
前記設定された推定区間を前記感情反映データの特徴に応じた時間長で複数の特徴量算出区間に分割する手段と
を備え、
前記特徴量算出手段は、
前記分割された特徴量算出区間ごとに、当該特徴量算出区間に含まれる感情反映データの区分データからその特徴量をそれぞれ算出する手段と、
前記各特徴量算出区間において算出された特徴量を前記推定区間に渡り統合する統合手段と
を備え、
前記推定手段は、前記統合された特徴量の集合に基づいて、前記推定区間における前記推定対象者の感情変化のパターンを推定することを特徴とする請求項４記載の感情推定装置。
【請求項６】
前記特徴量算出手段は、
隣接する特徴量算出区間ごとにその特徴量間の相違の度合いを表す情報を算出する手段を、さらに備え、
前記統合手段は、前記各特徴量算出区間において算出された特徴量を表す情報と、前記隣接する特徴量算出区間ごとに算出された特徴量間の相違の度合いを表す情報を、前記推定区間に渡り統合することを特徴とする請求項５記載の感情推定装置。
【請求項７】
請求項４乃至６のいずれかに記載の感情推定装置が具備する手段に対応する処理を、前記感情推定装置が備えるコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人の感情を推定するための感情推定方法、装置及びプログラムに関する。
【背景技術】
【０００２】
人の生体信号や、表情又は音声等の情報を用いて、感情を推定する研究が盛んに行われている。人の感情の状態を推定し、さらにその遷移を把握することは、感情に影響を与えた原因を突き止めて、より使いやすいインタフェースの向上を図ったり、質の高いコンテンツ提示等の様々なサービスを提供する上で重要である。
【０００３】
感情を推定する一般的な手法は、感情状態を誘導するために人に対し映像や音、絵等の刺激を与え、ポジティブ、ネガティブ等の予め特定した感情の種類の中からユーザ自身によって入力された感情データと、取得される生体信号データとの関係を学習させることにより推定するものとなっている。具体的には、取得される生体信号データや表情、音声データ等に対して、様々な演算を行って出力される特徴量と、ユーザが評価した感情データとを合わせて教師データとし、感情状態の分類を行っている（例えば非特許文献１又は２を参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】J. Kim, and E. Andre, “Emotion recognition based on physiological changes in music listening”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 12, pp. 2067-2083,2008.
【非特許文献２】C.A. Frantzidis, et al., “On the classification of emotional biosignals evoked while viewing affective pictures: An integrated data-mining-based approach for healthcare applications”, IEEE Trans. on Information Techn. in Biomedicine, vol.14, no.2, pp. 309-318,2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、従来提案されている感情推定手法では、時間区間ごとに予め特定した感情の推定を行うことはできるが、感情の時間変化を推定することができない。
この発明は上記事情に着目してなされたもので、その目的とするところは、特定の区間における感情の状態だけでなく時間軸方向における感情の変化を精度良く推定することを可能にした感情推定方法、装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためにこの発明の１つの観点は、推定対象者の感情が反映される感情反映データを受け取って記憶媒体に記憶し、この記憶された感情反映データに対し複数の時間区間を設定する。そして、この設定された時間区間ごとに、当該時間区間に含まれる感情反映データの区分データからその特徴量をそれぞれ算出し、この算出された各特徴量に基づいて上記推定対象者の感情変化のパターンを推定して、その結果を表す情報を出力するようにしたものである。
【０００７】
また、この発明の１つの観点は以下のような態様を備えることを特徴とする。  
第１の態様は、上記時間区間を設定する際に、上記記憶された感情反映データに対し先ず推定区間を設定し、この設定された推定区間を上記感情反映データの特徴に応じた時間長で複数の特徴量算出区間に分割する。そして、特徴量を算出する際に、上記分割された特徴量算出区間ごとに、当該特徴量算出区間に含まれる感情反映データの区分データからその特徴量をそれぞれ算出して、この算出された特徴量を上記推定区間に渡り統合する。そして、上記統合された特徴量の集合に基づいて、上記推定区間における上記推定対象者の感情変化のパターンを推定するものである。
【０００８】
第２の態様は、上記特徴量を算出する際に、隣接する特徴量算出区間ごとにその特徴量間の相違の度合いを表す情報を算出する処理をさらに行い、上記各特徴量算出区間において算出された特徴量を表す情報と、上記隣接する特徴量算出区間ごとに算出された特徴量間の相違の度合いを表す情報を、上記推定区間に渡り統合するものである。
【発明の効果】
【０００９】
したがって、この発明の１つの観点によれば、複数の時間区間のそれぞれにおいて感情反映データの特徴量が算出され、この算出された特徴量をもとに推定対象者の感情変化のパターンを推定することができる。
【００１０】
また第１の態様によれば、感情反映データに対し先ず推定区間が設定され、この設定された推定区間が複数の特徴量算出区間に分割されて、それぞれの区間の特徴量が算出される。このため、感情反映データのうち感情変化の推定に必要な時間区間を推定区間として特定することができるので、感情反映データのうち感情変化の推定により適した区間をもとに感情変化パターンを推定することが可能となる。さらに、特徴量算出区間の分割長は感情反映データの周期性等の特徴を考慮して設定される。このため、各特徴量算出区間において感情反映データの特徴量を的確に算出することができる。
【００１１】
さらに第２の態様によれば、隣接する特徴量算出区間ごとにその特徴量間の相違の度合いを表す情報が算出され、この算出された特徴量間の相違の度合いを表す情報が、上記特徴量算出区間ごとに算出された特徴量を表す情報に追加されて、感情変化の推定処理に供される。このため、各特徴量算出区間の特徴量のみを用いて感情変化を推定する場合に比べ、感情変化をより一層正確に推定することが可能となる。
【００１２】
すなわちこの発明の１つの観点によれば、特定の区間における感情の状態だけでなく時間軸方向における感情の変化を精度良く推定することを可能にした感情推定方法、装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の一実施形態に係る感情推定装置を備えたシステムの全体構成を示す図。
【図２】図１に示した感情推定装置の構成を示すブロック図。
【図３】図２に示した感情推定装置により実行されるデータ収集処理から感情変化推定処理までの手順とその処理内容を示すフローチャート。
【図４】図３に示した処理手順のうち推定区間分割処理の一例を示す図。
【図５】図３に示した処理手順のうち特徴量算出区間の分割処理及び当該分割された特徴量算出区間における特徴量の算出処理の一例を説明するための図。
【図６】図５に示した特徴量算出処理により算出される特徴量の一例を示す図。
【図７】図３に示した処理手順のうち特徴量相違演算処理の一例を説明するための図。
【図８】図３に示した処理手順のうち特徴量統合処理の一例を説明するための図。
【発明を実施するための形態】
【００１４】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る感情推定装置を備えたシステムの全体構成を示す図である。  
このシステムは、感情の推定対象となる人（推定対象者）ＨＭにセンサユニットＳＳを装着し、このセンサユニットＳＳにより検出される生体信号のデータを通信ネットワークＮＷを介して感情推定装置ＥＳで収集するように構成されている。
【００１５】
センサユニットＳＳは複数の生体センサ１１〜１ｋと、送信機（ＴＸ）２を有する。生体センサ１１〜１ｋは、例えば皮膚電気活動（ＥＤＡ；Electrodermal Activity）を検出しその検出信号を出力するセンサ、心電図（ＥＣＧ；Electrocardiogram）を表す信号を出力するセンサ、呼吸の状態を表す信号を出力するセンサからなる。送信機２は、上記生体センサ１１〜１ｋから出力された生体信号を、伝送データに変換して通信ネットワークＮＷを介して感情推定装置ＥＳへ送信する。なお、送信機２は推定対象者ＨＭが所持するスマートホン等の携帯端末が備えるものを利用してもよい。
【００１６】
また、システムは、感情推定装置ＥＳにより推定された上記推定対象者ＨＭの感情変化を表す情報を、上記通信ネットワークＮＷを介してサービス事業者のサーバＳＶへ送信するように構成されている。サービス事業者は、例えば利用者に対しコンテンツを配信するサービスを行う事業者、或いは製品を提供するメーカからなる。これらの事業者は、上記感情推定装置ＥＳから取得した推定対象者ＨＭの感情変化を表す情報を、例えば利用者にとってより最適なコンテンツとはどのようなものか、或いはより使いやすいインタフェースとはどのようなものかを判断するために用いる。
【００１７】
なお、ネットワークＮＷは、例えばインターネットに代表されるＩＰ（Internet Protocol）網と、このＩＰ網に対しアクセスするための複数のアクセス網とから構成される。アクセス網としては、３Ｇ等の携帯電話網や無線ＬＡＮ（Local Area Network）等が用いられる。
【００１８】
ところで、感情推定装置ＥＳは例えば以下のように構成される。図２はその構成を示す機能ブロック図である。  
すなわち、感情推定装置ＥＳは、通信インタフェースユニット１０と、制御ユニット２０と、記憶ユニット３０を備えている。通信インタフェースユニット１０は、センサユニットＳＳ及びサービス事業者サーバＳＶとの間で通信ネットワークＮＷで規定される通信プロトコルに従いデータ通信を行う。
【００１９】
記憶ユニット３０は、ＨＤＤ等の大容量の記憶装置を備えたもので、この発明の一実施形態を実施するために必要な記憶領域として、センサデータ記憶部３１と、特徴量記憶部３２と、特徴相違データ記憶部３３と、統合特徴データ記憶部３４と、感情変化推定データ記憶部３５を備えている。
【００２０】
センサデータ記憶部３１は、センサユニットＳＳから受信したセンサデータを記憶するために使用される。特徴量記憶部３２は、後述する制御ユニット２０において算出される感情の特徴量を表すデータを記憶するために使用される。後に詳述するが、特徴量を表すデータは推定区間内に設定される複数の特徴算出区間の各々について算出される。
【００２１】
特徴相違データ記憶部３３は、後述する制御ユニット２０において算出される、隣接する特徴量算出区間の特徴量の相違の度合いを表すデータを記憶するために使用される。統合特徴データ記憶部３４は、後述する制御ユニット２０において算出される統合特徴量データを記憶するために使用される。統合特徴量データとは、上記特徴量記憶部３２に記憶された各特徴量算出区間の特徴量データと、上記特徴相違データ記憶部３３に記憶された各特徴量算出区間の特徴量相違データとを、推定区間に渡って統合したものである。感情変化推定データ記憶部３５は、後述する制御ユニット２０において算出される、推定区間における感情変化の推定データを記憶するために使用される。
【００２２】
制御ユニット２０はコンピュータからなり、この発明の一実施形態を実施するために必要な制御機能として、センサデータ入力受付制御部２１と、推定区間分割処理部２２と、特徴量算出区間分割処理部２３と、特徴量算出処理部２４と、特徴量相違演算処理部２５と、特徴量統合処理部２６と、感情変化推定処理部２７と、推定データ出力制御部２８を備えている。これらの処理機能は、何れも図示しないプログラムメモリに格納されたアプリケーション・プログラムを上記コンピュータに実行させることにより実現される。
【００２３】
センサデータ入力受付制御部２１は、センサユニットＳＳから送信された複数のセンサデータを通信インタフェースユニット１０を介してそれぞれ受信し、この受信された複数のセンサデータを送信元の推定対象者ＨＭの識別情報と関連付けて上記センサデータ記憶部３１に記憶させる処理を行う。
【００２４】
推定区間分割処理部２２は、推定処理の実行要求が入力された場合に、上記センサデータ記憶部３１に記憶された複数のセンサデータの各々に対し推定区間を設定する処理を行う。特徴量算出区間分割処理部２３は、上記センサデータごとに、上記推定区間分割処理部２２により設定された推定区間を複数の特徴量算出区間に分割する処理を実行する。
【００２５】
特徴量算出処理部２４は、上記特徴量算出区間分割処理部２３により分割された各特徴量算出区間の各々について、センサデータごとに予め設定された複数種の特徴量を算出し、この算出された特徴量をセンサデータの識別情報と特徴量算出区間の識別情報と関連付けて上記特徴量記憶部３２に記憶させる処理を行う。
【００２６】
特徴量相違演算処理部２５は、上記特徴量記憶部３２に記憶された各特徴量算出区間の特徴量データをもとに、隣接する特徴量算出区間ごとにその特徴量の相違の度合いを算出し、この算出された特徴量の相違の度合いを表すデータをセンサデータの識別情報と特徴量算出区間の識別情報と関連付けて上記特徴相違データ記憶部３３に記憶させる処理を行う。
【００２７】
特徴量統合処理部２５は、センサデータごとに、上記特徴量記憶部３２に記憶された各特徴量算出区間の特徴量データと、上記特徴相違データ記憶部３３に記憶された各特徴量算出区間の特徴量相違データとを推定区間に渡って統合し、この統合された特徴データを上記統合特徴データ記憶部３４に記憶させる。そして、複数のセンサデータの統合特徴データをさらに統合し、この統合された全センサの特徴データを推定対象者ＨＭの識別情報と関連付けて上記統合特徴データ記憶部３４に記憶させる処理を行う。
【００２８】
感情変化推定処理部２７は、推定対象者ＨＭごとに、上記統合特徴データ記憶部３４に記憶された統合特徴データに基づいて、予め定められた学習処理を用いて推定区間における感情の変化を推定する。ここで学習処理には、例えば、サポートベクトルマシン（Support Vector Machines）、決定木（decision tree）、k近傍法（k-nearest neighbors）、およびニューロ・ファジィ（Neuro-Fuzzy）などの中から選択したアルゴリズムを用いる。感情変化推定処理部２７は、上記推定結果を表すデータを推定対象者ＨＭの識別情報と関連付けて上記感情推定データ記憶部３５に記憶させる。
【００２９】
推定データ出力制御部２８は、サービス事業者サーバＳＶからの要求に応じて、上記感情変化推定データ記憶部３５から推定対象者ＨＭの感情変化推定データを読み出し、この読み出された感情変化推定データを通信インタフェースユニット１０からサービス事業者サーバＳＶへ送信する処理を行う。
【００３０】
（動作）
次に、以上のように構成された感情推定装置ＥＳによる感情変化を推定するための一連の動作を説明する。図３はその処理手順と処理内容を示すフローチャートである。  
（１）センサデータの収集
推定対象者ＨＭにセンサユニットＳＳを装着して動作させると、センサユニットＳＳの複数の生体センサ１１〜１ｋにより推定対象者ＨＭの複数種類の生体データの計測動作が開始される。例えば、皮膚電気活動（ＥＤＡ）、心電図（ＥＣＧ）、及び呼吸（Respiration）の計測が行われる。そして、この計測動作により得られた各生体信号は、送信機２において一旦蓄積された後、予め設定された時間分ずつ符号化されて伝送データに変換され、通信ネットワークＮＷを介して感情推定装置ＥＳへ送信される。
【００３１】
なお、生体センサ１１〜１ｋでは上記皮膚電気活動（ＥＤＡ）、心電図（ＥＣＧ）及び呼吸（Respiration）以外に、脳波や筋電図を計測するようにしてもよい。さらには、上記したような生体情報に限らず、マイクロホンやカメラを用いて推定対象者ＨＭの音声や表情を表す画像を検出し、その検出データを送信するようにしてもよい。
【００３２】
これに対し感情推定装置ＥＳは、制御ユニット２０のセンサデータ入力受付制御部２１の制御の下で、ステップＳＴ１によりセンサユニットＳＳからの伝送データの到来を監視している。この状態で伝送データが到来すると、この伝送データを通信インタフェースユニット１０で受信したのちセンサデータ入力受付制御部２１で復号し、この復号により再生された生体データをステップＳＴ２において送信元の推定対象者ＨＭの識別情報に関連付けてセンサデータ記憶部３１に格納する。以後、センサユニットＳＳから伝送データが送られるごとに、以上の処理が繰り返し実行される。
【００３３】
（２）推定区間及び特徴量算出区間の設定
上記センサデータ記憶部３１に一定時間分以上の生体データが記憶され、この状態で例えば感情推定装置ＥＳのオペレータが図示しない入力デバイスを操作して、所望の推定対象者ＨＭに対する感情推定要求を入力したとする。
【００３４】
感情推定装置ＥＳは、上記推定要求の入力をステップＳＴ３で検出すると、先ずステップＳＴ４により推定区間分割処理部２２を起動し、この推定区間分割処理部２２の制御の下で上記センサデータ記憶部３１から推定対象者ＨＭに関する複数種類の生体データＥ１〜Ｅｋのうちの１つを読み出す。そして、この読み出された生体データに対し推定区間を設定する。
【００３５】
例えば図４に示すように、生体データの全区間のうち、時刻ｔi を含む、所定期間ｔi-1〜ｔi からｔi 〜ｔi+1 までの区間を推定区間として設定する。なお、推定区間の長さはサービスに依存する。例えば、映像刺激のように２〜３分間隔で変わる感情変化を推定する場合は、２〜３分の区間に設定し、食事や運動の前後の感情変化を推定したい場合には約２０〜３０分の区間に設定することが望ましい。
【００３６】
感情推定装置ＥＳは、次にステップＳＴ５により特徴量算出区間分割処理部２３を起動し、この特徴量算出区間分割処理部２３の制御の下、上記設定された推定区間ｔi-1〜ｔi+1 を複数の特徴量算出区間に分割する。
【００３７】
例えば図５に示すように、生体データＥ１であれば、その特徴量を算出する上で適切な時間長で推定区間ｔi-1〜ｔi+1 を複数の特徴量算出区間Ｔ1 ，Ｔ2 ，Ｔ3 ，…，ＴN に分割する。同様に生体データＥ２，Ｅ３であれば、それぞれ推定区間ｔi-1〜ｔi+1 を特徴量算出区間Ｔ1 ，Ｔ2 ，Ｔ3 ，…，ＴQ 、Ｔ1 ，Ｔ2 ，Ｔ3 ，…，ＴO に分割する。特徴量算出区間の時間長は、生体データごとにその固有の周期に応じて設定され、周期性を持たない生体データ又はその他のデータについては任意に設定される。
【００３８】
（３）特徴量の算出
感情推定装置ＥＳは、次にステップＳＴ６により特徴量算出処理部２４を起動し、この特徴量算出処理部２４の制御の下、上記分割された特徴量算出区間ごとにその区間から特徴ベクトルを算出するための処理を行う。例えば図５に示すように、生体データＥ１であればその特徴量算出区間Ｔ1 ，Ｔ2 ，Ｔ3 ，…，ＴN の各々について特徴ベクトルＳ1 ，Ｓ2 ，Ｓ3 ，…，ＳN を算出する。特徴ベクトルＳ1 ，Ｓ2 ，Ｓ3 ，…，ＳN は何れもｍ個の特徴量により表される。
【００３９】
特徴量としては、例えば生体データが皮膚電気活動（ＥＤＡ）の計測データの場合には、図６に示すようにＳＣＬ（Skin Conductance Level）の平均値・中央値や傾き、ＳＣＲ（Skin Conductance Response）のピーク数やピーク振幅値が用いられる。同様に、生体データが心電図（ＥＣＧ）の場合には、平均値、心拍数、ピーク間隔、心拍数の分散値が用いられ、また生体データが呼吸（Respiration）の場合には、平均振幅値、呼吸数、その分散値、呼吸の間隔が用いられる。
【００４０】
感情推定装置ＥＳは、１つの生体データＥ１について上記特徴量算出区間Ｔ1 ，Ｔ2 ，Ｔ3 ，…，ＴNごとに算出された特徴ベクトルＳ1 ，Ｓ2 ，Ｓ3 ，…，ＳN を、生体データＥ１の識別情報及び特徴量算出区間の識別情報と関連付けて特徴量記憶部３２に格納する。
【００４１】
（４）特徴ベクトル間の相違の度合いの演算
感情推定装置ＥＳは、上記１つの生体データＥ１についての特徴ベクトルＳ1 ，Ｓ2 ，Ｓ3 ，…，ＳN の算出処理が終了すると、続いてステップＳＴ７において特徴量相違演算処理部２５を起動し、この特徴量相違演算処理部２５の制御の下で、特徴量算出区間Ｔ1 ，Ｔ2 ，Ｔ3 ，…，ＴNの隣接する区間ごとにその特徴ベクトル間の相違の度合いを表す相違ベクトルを演算する。
【００４２】
例えば図７に示すように、隣接する特徴量算出区間Ｔ1 、Ｔ2 において、それぞれの特徴ベクトルＳ1 、Ｓ2 間の相違ベクトルＣ1 を、Ｃ1 ＝Ｊ（Ｓ1 ，Ｓ2 ）として求める。また、区間Ｔi 、Ｔi+1 においては、特徴ベクトルＳi 、Ｓi+1 間の相違ベクトルＣi を、Ｃi ＝Ｊ（Ｓi ，Ｓi+1 ）として求める。同様に、隣接する全ての区間Ｔ1 ，Ｔ2 ，Ｔ3 ，…，ＴN ごとにその特徴ベクトルＳ1 ，Ｓ2 ，Ｓ3 ，…，ＳN 間の相違の度合いを表す相違ベクトルを算出する。  
ここで、相違ベクトルＣの演算方法は、特徴量の性質に合わせて選択することが望ましく、例えばＣ＝Ｊ（Ａ，Ｂ）としたとき、Ｂ−Ａ、Ａ／Ａ＋Ｂ、或いはＢ／Ａ＋Ｂ等の演算が用いられる。
【００４３】
感情推定装置ＥＳは、上記生体データＥ１について算出された相違ベクトルＣ1 ，Ｃ2 ，…ＣN-1 を、生体データＥ１の識別情報及び特徴量算出区間の識別情報と関連付けて特徴相違データ記憶部３３に格納する。
【００４４】
（５）特徴ベクトル及び相違ベクトルの統合
感情推定装置ＥＳは、上記相違ベクトルＣ1 ，Ｃ2 ，…ＣN-1 の算出が終了すると、次にステップＳＴ８において特徴量統合処理部２６を起動する。そして、この特徴量統合処理部２６の制御の下で、生体データＥ１について特徴量算出区間Ｔ1 ，Ｔ2 ，Ｔ3 ，…，ＴNごとに上記特徴量算出処理部２４により算出された特徴ベクトルＳ1 ，Ｓ2 ，Ｓ3 ，…，ＳN と、上記特徴量相違演算処理部２５により算出された隣接区間相互の相違ベクトルＣ1 ，Ｃ2 ，…ＣN-1 とを推定区間に渡って統合し、これにより生体データＥ１に対する統合特徴ベクトルｄ1 を生成する。
【００４５】
例えば、図８に示すように統合特徴ベクトルｄ1 を
ｄ1 ＝｛Ｓ1 ，Ｓ2 ，Ｓ3 ，…，ＳN ，Ｃ1 ，Ｃ2 ，…ＣN-1 ｝
として求める。そして、特徴量統合処理部２６は上記生成された生体データＥ１に対する統合特徴ベクトルｄ1 を、生成データ１の識別情報と関連付けて統合特徴データ記憶部３４に保存する。
【００４６】
そうして、生体データＥ１についての統合特徴データｄ1 の生成処理が終了すると、感情推定装置ＥＳの特徴量統合処理部２６は、ステップＳＴ９においてすべての生体データＥ１〜Ｅｋについて先に述べた（２）〜（５）による推定区間の設定から統合特徴データの生成までの一連の処理が終了したか否かを判定する。そして、まだ上記処理を行っていない生体データが残っていれば、感情推定装置ＥＳはステップＳＴ４に戻って当該未処理の生体データを１つ選択し、この選択された生体データについて上記（２）〜（５）で述べた一連の処理を実行する。以後同様に、未処理の各生体データについて、先に述べた（２）〜（５）による推定区間の設定から統合特徴データの生成までの一連の処理を繰り返し実行する。この結果、統合特徴データ記憶部３４には各生体データＥ１〜Ｅｋに対する統合特徴データｄ1 ，ｄ2 ，…，ｄk が保存される。
【００４７】
ステップＳＴ９において、すべての生体データＥ１〜Ｅｋに対する統合特徴データｄ1 ，ｄ2 ，…，ｄk の生成が終了したと判定されると、特徴量統合処理部２６は上記統合特徴データ記憶部３４に保存されたすべての生体データＥ１〜Ｅｋに対する統合特徴データｄ1 ，ｄ2 ，…，ｄk をさらに統合し、図８に示すように全生体データＥ１〜Ｅｋについての統合特徴データＤを
Ｄ＝｛ｄ1 ，ｄ2 ，…，ｄk ｝
として生成する。そして、この生成された全生体データＥ１〜Ｅｋについての統合特徴データＤを、推定対象者ＨＭの識別譲渡関連付けて統合特徴データ記憶部３４に格納する。
【００４８】
（６）感情変化パターンの推定
全生体データＥ１〜Ｅｋについての統合特徴データＤの生成が終了すると、感情推定装置ＥＳは次にステップＳＴ１０において感情変化推定処理部２７を起動する。そして、この感情変化推定処理部２７の制御の下で、上記統合特徴データ記憶部３４から推定対象者ＨＭの統合特徴データＤを読み出し、この読み出した統合特徴データＤに基づいて、図８に示すように推定区間の前半における感情状態Ｘから後半における感情状態Ｙへの感情変化のパターンＰx-y を推定するための処理を、例えば以下のように実行する。
【００４９】
すなわち、m種類の感情状態の感情変化パターンをＰxm-ym、複数の統合特徴データをＤj （j=1,2,..）としたとき、予め学習処理によって生成される（Ｄj , Ｐxm-ym ）の分類モデルに対して、統合特徴データＤを入力することで、感情変化パターンＰx-yを推定結果として出力する。なお、学習処理のアルゴリズムとしては、先に例示したようにサポートベクトルマシン(Support Vector Machines)、決定木(decision tree)、k近傍法(k-nearest neighbors)、およびニューロ・ファジィ(Neuro-Fuzzy)などから選択したアルゴリズムが用いられる。
最後に感情変化推定処理部２７は、以上のようにして得た感情変化パターンＰx-y の推定データを、推定対象者ＨＭの識別情報と関連付けて感情推定データ記憶部３５に格納する。
【００５０】
（７）感情変化の推定データの出力
上記感情変化パターンの推定処理の終了後に、例えばサービス事業者サーバＳＶから推定データの取得要求が到来したとする。そうすると感情推定装置ＥＳは、ステップＳＴ１１において推定データ出力制御部２８を起動する。そして、この推定データ出力制御部２８の制御の下で、感情変化推定データ記憶部３５から該当する推定対象者ＨＭの感情変化パターンパターンＰx-y の推定データを読み出し、この読み出された感情変化パターンパターンＰx-y の推定データを通信インタフェースユニット１０から要求元のサービス事業者サーバＳＶへ向け送信する。
【００５１】
サービス事業者サーバＳＶでは、受信した推定対象者ＨＭの感情変化パターンパターンＰx-y の推定データをもとに、例えば利用者にとってより適切なコンテンツを選定する処理が実行される。そして、この選択されたコンテンツが上記推定対象者ＨＭに対し配信される。
【００５２】
（効果）
以上詳述したように一実施形態に係る感情推定装置では、推定対象者ＨＭに装着したセンサユニットＳＳから複数の生体データＥ１〜Ｅｋを収集してセンサデータ記憶部３１に記憶し、これらの生体データＥ１〜Ｅｋに対しそれぞれ推定区間を設定すると共に当該推定区間を複数の特徴量算出区間に分割する。そして、生体データＥ１〜Ｅｋの各々について、その特徴量算出区間ごとに複数の特徴量を算出してその特徴ベクトルを求め、さらに隣接する特徴量算出区間ごとにその特徴ベクトル間の相違の度合いを表す相違ベクトルを求める。さらに、推定区間に含まれる上記特徴ベクトル及び遅延ベクトルを統合し、上記全ての生体データＥ１〜Ｅｋにおける統合された特徴ベクトル及び遅延ベクトルに基づいて上記推定対象者ＨＭの感情変化のパターンＰx-y を推定するようにしている。
【００５３】
したがって、推定対象者ＨＭの推定区間における感情変化を推定することが可能となる。しかも、推定のための前処理として、推定区間を生体データごとにその固有の周期に応じた時間長で複数の特徴量算出区間に分割してこれらの特徴量算出区間ごとに特徴量を算出していること、複数の特徴量を算出してその特徴ベクトルを求めていること、隣接する特徴量算出区間ごとにその特徴ベクトル間の相違の度合いを表す相違ベクトルをそれぞれ求めて、この相違ベクトルを上記各特徴量算出区間における特徴ベクトルに追加し、その統合特徴ベクトルを感情変化の推定に用いることによって、感情変化のパターンをより正確に推定することが可能となる。
【００５４】
［他の実施形態］
前記実施形態では生体データをもとに感情変化のパターンを推定するようにしたが、生体データ以外に、人の感情が反映される音声や顔の表情を表す画像等のデータをもとに感情変化のパターンを推定するようにしてもよい。また、算出対象とする特徴量は必ずしも複数でなくてもよく、その数と種類は収集されたデータの特徴に応じて任意に設定すればよい。
【００５５】
前記実施形態では、隣接する特徴量算出区間ごとにその特徴量間の相違の度合いを表す情報を算出し、この算出された特徴量間の相違の度合いを表す情報と、上記各特徴量算出区間において算出された特徴量を表す情報と推定区間に渡り統合して、感情変化のパターンを推定するようにした。しかし、それに限らず各特徴量算出区間において算出された特徴量を表す情報のみをもとに感情変化のパターンを推定するようにしてもよい。
【００５６】
前記実施形態では、感情推定装置ＥＳを独立したサーバに設けたが、利用者が使用するスマートホン等の携帯端末やパーソナル・コンピュータに設けてもよい。その他、感情推定装置の構成や機能、推定対象者の感情を反映したデータの種類、当該データを収集してから感情変化を推定するまでの一連の処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００５７】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００５８】
ＨＭ…推定対象者、ＳＳ…センサユニット、ＮＷ…通信ネットワーク、ＥＳ…感情推定装置、ＳＶ…サービス事業者サーバ、１０…通信インタフェースユニット、２０…制御ユニット、２１…センサデータ入力受付制御部、２２…推定区間分割処理部、２３…特徴量算出区間分割処理部、２４…特徴量算出処理部、２５…特徴量相違演算処理部、２６…特徴量統合処理部、２７…感情変化推定処理部、２８…推定データ出力制御部、３０…記憶ユニット、３１…センサデータ記憶部、３２…特徴量記憶部、３３…特徴相違データ記憶部、３４…統合特徴データ記憶部、３５…感情変化推定データ記憶部。
【図１】
2014144052.tif 000003
【図２】
2014144052.tif 000004
【図３】
2014144052.tif 000005
【図４】
2014144052.tif 000006
【図５】
2014144052.tif 000007
【図６】
2014144052.tif 000008
【図７】
2014144052.tif 000009
【図８】
2014144052.tif 000010