(57)【要約】【課題】ユーザの脳波に基づいて、ユーザが抱く様々な感情を精度よく識別する。【解決手段】脳波計１２は、被験者であるユーザの脳波を計測する。感情推定装置１６は、脳波計１２により計測されたユーザの脳波データを取得する。感情推定装置１６は、脳波データが示す脳波の態様に基づいて、予め定められた脳の複数の部位の中から脳波の信号源を推定する。感情推定装置１６は、推定した信号源に基づいて、ユーザの感情を推定する。【選択図】図１
2018187044.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの脳波を取得する脳波取得部と、
前記脳波取得部により取得された脳波の態様に基づいて、脳の複数の部位の中から前記脳波の信号源を推定する信号源推定部と、
前記信号源推定部により推定された脳波の信号源に基づいて、ユーザの感情を推定する感情推定部と、
を備えることを特徴とする感情推定装置。
【請求項２】
ユーザの複数種類の感情と、ユーザが各感情を抱く場合の脳波の信号源との対応関係を機械学習する学習部をさらに備え、
前記感情推定部は、前記学習部による機械学習の結果に基づいて、前記推定された脳波の信号源に対応するユーザの感情を推定することを特徴とする請求項１に記載の感情推定装置。
【請求項３】
前記学習部は、脳波の信号源を示す情報が入力された場合に感情の有無を出力する関数であって、前記複数種類の感情に対応する複数種類の関数を生成し、
前記感情推定部は、前記推定された脳波の信号源を示す情報を前記複数種類の関数へ入力することにより、前記複数種類の感情それぞれの有無を推定することを特徴とする請求項２に記載の感情推定装置。
【請求項４】
前記学習部は、前記複数種類の関数として、第１の感情に対応する第１の感情推定関数と、前記第１の感情とは異なる第２の感情に対応する第２の感情推定関数とを生成し、
前記信号源推定部は、前記第１の感情に対応する第１の信号源推定関数に基づいて、前記取得された脳波の信号源を推定するとともに、前記第２の感情に対応する第２の信号源推定関数に基づいて、前記取得された脳波の信号源を推定し、
前記感情推定部は、前記第１の信号源推定関数により推定された脳波の信号源を示す情報を前記第１の感情推定関数へ入力することにより、前記第１の感情の有無を推定し、前記第２の信号源推定関数により推定された脳波の信号源を示す情報を前記第２の感情推定関数へ入力することにより、前記第２の感情の有無を推定することを特徴とする請求項３に記載の感情推定装置。
【請求項５】
ユーザの脳波を取得するステップと、
前記取得するステップで取得した脳波の態様に基づいて、脳の複数の部位の中から前記脳波の信号源を推定する信号源推定ステップと、
前記信号源推定ステップで推定した脳波の信号源に基づいて、ユーザの感情を推定する感情推定ステップと、
をコンピュータが実行することを特徴とする感情推定方法。
【請求項６】
ユーザの脳波を取得する機能と、
前記取得する機能により取得された脳波の態様に基づいて、脳の複数の部位の中から前記脳波の信号源を推定する信号源推定機能と、
前記信号源推定機能により推定された脳波の信号源に基づいて、ユーザの感情を推定する感情推定機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理技術に関し、特に感情推定装置、感情推定方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
従来の感情推定処理では、ユーザの頭皮上に配置された電極により検知された脳波（Electroencephalogram：EEG）のデータから、直接、ユーザが抱く感情を推定することが行われてきた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−４００６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、脳波は空間分解能が低く、脳波からは限られた情報しか取り出すことができなかった。そのため、ユーザの脳波から直接、ユーザが抱く様々な感情を精度よく識別することは容易でないと本発明者は認識した。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、１つの目的は、ユーザの脳波に基づいて、ユーザが抱く様々な感情を精度よく識別することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の感情推定装置は、ユーザの脳波を取得する脳波取得部と、脳波取得部により取得された脳波の態様に基づいて、脳の複数の部位の中から脳波の信号源を推定する信号源推定部と、信号源推定部により推定された脳波の信号源に基づいて、ユーザの感情を推定する感情推定部と、を備える。
【０００７】
本発明の別の態様は、感情推定方法である。この方法は、ユーザの脳波を取得するステップと、取得するステップで取得した脳波の態様に基づいて、脳の複数の部位の中から脳波の信号源を推定する信号源推定ステップと、信号源推定ステップで推定した脳波の信号源に基づいて、ユーザの感情を推定する感情推定ステップと、をコンピュータが実行する。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、ユーザの脳波に基づいて、ユーザが抱く様々な感情を精度よく識別することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例の感情推定システムの構成を示す図である。
【図２】図１の感情推定装置の機能構成を示すブロック図である。
【図３】学習フェーズにおける感情推定装置の動作を示すフローチャートである。
【図４】感情推定フェーズにおける感情推定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
実施例の感情推定システムの構成を説明する前に概要を説明する。
従来、所定の行動を実施したユーザ（被験者とも言える）、または所定の刺激を受けたユーザの脳波と、そのときにユーザが想起した感情との相関を利用して、ユーザの感情を識別していた。例えば、喜びを想起しやすい画像をユーザに提示し、その際に計測したユーザの脳波と、ユーザの感情「喜び」とを対応付けて記録した。その後、上記脳波と特徴が類似する脳波を計測した場合、ユーザが喜びを感じていると判断していた。この態様では、識別可能な感情の種類は限定され、また、感情識別の精度も高くなかった。
【００１２】
また、ユーザの頭皮上で検出された脳波には、空間分解能が低いという欠点がある。例えば、ユーザが運動をしていると、感情生起に伴う脳活動の信号と、運動に伴う脳活動の信号とが混じって検出されてしまう。そのため、運動時のユーザの感情を精度よく識別することは困難であった。
【００１３】
本発明者は、ユーザが異なる感情を抱く場合に、有意に活動が増加する脳の部位が異なるという知見を得た。この脳の部位は、具体的には、脳の表面の部位であり、言い換えれば、大脳皮質における部位である。実施例の感情推定システムは、本発明者の上記知見に基づくものであり、ユーザの脳波から、活動が増加した脳部位（実施例では「信号源」と呼ぶ）を推定する。そして、活動が増加した脳部位（実施例では信号源の部位）に基づいて、ユーザが抱く感情を推定する。
【００１４】
また、実施例の感情推定システムは、脳波の信号源とユーザの感情との対応関係、言い換えれば相関を機械学習により記憶する。そして、機械学習の結果を用いて脳波の信号源からユーザの感情を推定する。実施例の感情推定システムによると、ユーザが抱く様々な感情を精度よく識別することを実現できる。
【００１５】
図１は、実施例の感情推定システム１０の構成を示す。感情推定システム１０は、脳波計１２、ｆＭＲＩ（functional Magnetic Resonance Imaging）装置１４、感情推定装置１６を備える。実施例では、図１の各装置は、ＬＡＮ等の通信網を介して接続される。変形例として、ＵＳＢストレージ等の記録メディアを介して、オフラインでデータが入出力されてもよい。
【００１６】
脳波計１２は、ユーザの頭皮上に配置された複数の電極（言い換えればセンサ）を介して、ユーザの脳波を示す信号（以下「脳波信号」と呼ぶ。）を検出する。電極の数は適宜変更可能であるが、実施例では６０個である。すなわち、脳波計１２は、６０チャネルの脳波信号を検出する。脳波計１２は、検出した６０チャネルの脳波信号を示すデータを感情推定装置１６へ出力する。
【００１７】
脳波信号を示すデータは、例えば、時間と振幅を対応付けたデータであってもよい。また、周波数とパワースペクトル密度を対応付けたデータ、すなわち周波数特性を示すデータでもよい。脳波計１２は、公知の方法により、脳波信号を増幅してもよく、また、脳波信号からノイズを除去してもよい。
【００１８】
ｆＭＲＩ装置１４は、ＭＲＩ（Magnetic Resonance Imaging）を利用して、脳の活動に関連した血流動態反応を視覚化する装置である。ｆＭＲＩ装置１４は、ユーザの脳において活動する脳部位を示すデータである脳活動データを感情推定装置１６へ出力する。脳活動データは、実測に基づく脳波の信号源を示すデータとも言える。感情推定装置１６は、ユーザの脳波からその信号源を推定し、推定した信号源に基づいてユーザが抱く感情を推定する情報処理装置である。
【００１９】
なお、図１の各装置の筐体数に制限はない。例えば、図１に示す少なくとも１つの装置は、複数の情報処理装置が連携することにより実現されてもよい。また、図１に示す複数の装置の機能が、単一の情報処理装置により実現されてもよい。
【００２０】
図２は、図１の感情推定装置１６の機能構成を示すブロック図である。本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【００２１】
感情推定装置１６は、ｆＭＲＩ結果取得部２０、信号源推定関数生成部２２、信号源推定関数記憶部２４、脳波取得部２６、信号源推定部２８、学習部３０、感情推定関数記憶部３２、感情推定部３４、推定結果記憶部３６を備える。これらの機能ブロックに対応するモジュールを含むコンピュータプログラムが、所定の記録媒体に格納され、また、感情推定装置１６のストレージへインストールされてもよい。感情推定装置１６のＣＰＵは、このコンピュータプログラムをメインメモリへ読み出して実行することにより、各機能ブロックの機能を発揮してもよい。
【００２２】
ｆＭＲＩ結果取得部２０は、ｆＭＲＩ装置１４から入力された脳活動データを取得する。実施例において「データを取得する」とは、外部から送信されたデータを受信し、そのデータをメモリまたはストレージに記憶させることを含む。
【００２３】
実施例では、脳の表面（例えば大脳皮質）を３ミリメートル角に分割した複数の部位を定義し、実施例では３０００個の部位を定義する。これらの複数の部位は、例えば、扁桃体、島皮質、帯状回前部等の公知の部位を含んでもよく、それらの公知の部位をより細分化した部位を含んでもよい。信号源推定関数生成部２２は、脳波データから当該脳波の信号源を推定するための信号源推定関数を生成する。
【００２４】
実施例における信号源推定関数は、６０チャネルの脳波データを入力として受け付け、３０００個の脳部位それぞれの活動の有無を示すデータを出力する関数である。言い換えれば、それぞれの脳部位が信号源か否かを示すデータを出力する関数である。信号源推定関数は、６０チャネルの脳波データから、３０００個の脳部位それぞれに対して信号源としての重み付けを行う６０×３０００の行列であってもよい。
【００２５】
信号源推定関数生成部２２の上記処理は、公知のソフトウェアである株式会社国際電気通信基礎技術研究所が提供するＶＢＭＥＧ（Variational Bayesian Multimodal EncephaloGraphy）により実現される。ＶＢＭＥＧは、脳波データに基づいて脳の皮質電流を推定することにより信号源を推定するソフトウェアである。脳波データは、脳波の波形を示すデータでもよく、時系列での振幅の推移を示すデータでもよく、特許文献１に記載された脳波の周波数特性を示すデータでもよい。
【００２６】
具体的には、信号源推定関数生成部２２は、ＶＢＭＥＧが提供する所定のＡＰＩ（Application Programming Interface）に、（１）ｆＭＲＩにより撮像された脳の構造を示す画像データ、（２）ｆＭＲＩにより計測された脳活動データ、（３）頭皮上における電極の設置位置を示すデータ、（４）脳波取得部２６により取得された脳波信号のデータを入力することにより、ＶＢＭＥＧに信号源推定関数を生成させる。
【００２７】
信号源推定関数生成部２２は、生成した信号源推定関数を信号源推定関数記憶部２４に格納する。信号源推定関数記憶部２４は、信号源推定関数生成部２２により生成された信号源推定関数を記憶する記憶領域である。
【００２８】
なお、信号源推定関数生成部２２は、脳を構成する複数の部位（実施例では３０００個）のうち人の感情を司る部位（例えば数１０個〜１００個程度）を母集団として、脳波の信号源をその母集団から推定する信号源推定関数を生成してもよい。言い換えれば、運動を司る部位等、感情に影響しない部位を信号源から除外してもよい。この態様によると、感情推定におけるパラメータ数を低減し、後述の機械学習および感情推定処理の性能・効率を向上することができる。
【００２９】
脳波取得部２６は、脳波計１２から入力された脳波信号のデータを取得する。信号源推定部２８は、脳波取得部２６により取得された脳波の態様に基づいて、予め定められた脳の複数の部位の中から脳波の信号源を１つ以上推定する。具体的には、信号源推定部２８は、信号源推定関数記憶部２４に記憶された信号源推定関数に６０チャネルの脳波データを入力することにより、信号源推定関数の出力として、１つ以上の信号源を示すデータ（以下「信号源データ」とも呼ぶ。）を取得する。
【００３０】
学習部３０は、ユーザの複数種類の感情と、ユーザが各感情を抱く場合の脳波の信号源との対応関係、言い換えれば、相関を機械学習する。学習部３０は、信号源推定部２８により推定された脳波の信号源と、そのときのユーザの主観的な感情とを対応付けたデータを、機械学習のための教師データとして使用する。なお、学習部３０が機械学習に使用する信号源を示すデータは、脳を構成する複数の部位のうち人の感情を司る部位に限定したデータでもよく、言い換えれば、運動を司る部位等、感情に影響しない部位を除外したデータでもよい。この態様によると、機械学習の性能・効率を向上することができる。
【００３１】
学習部３０は、複数の教師データと、公知のＳＬＲ（Sparse Logistic Regression）アルゴリズムとに基づいて、脳波の信号源を示す情報が入力された場合に、特定の感情をユーザが抱いているか否かを示すデータを出力する関数である感情推定関数を生成する。感情推定関数は感情推定モデルとも言える。ＳＬＲを用いた機械学習および関数（言い換えればモデル）の生成方法は公知であるため詳細な説明を省略する。
【００３２】
また、学習部３０は、複数種類の感情に対応する複数種類の感情推定関数を生成する。複数種類の感情は、例えば、喜び、怒り、第１態様のイライラ、第２態様のイライラを含んでもよい。第１態様のイライラは、トラックボール操作の課題について、思い通りの操作ができるが課題達成ができないイライラであってもよい。また、第２態様のイライラは、思い通りの操作ができず課題達成ができないイライラであってもよい。
【００３３】
実施例では、第１の感情（例えば第１態様のイライラ）を想起させる画像または課題をユーザに提示し、学習部３０は、その際の信号源と第１の感情とを対応付けた第１の教師データを設定する。学習部３０は、複数の第１の教師データに基づいて、第１の感情推定関数を生成する。第１の感情推定関数は、脳波の信号源データが入力された場合に、ユーザが第１の感情を抱いているか否かを示すデータを出力する。
【００３４】
同様に、実施例では、第２の感情（例えば第２態様のイライラ）を想起させる画像または課題をユーザに提示し、学習部３０は、その際の信号源と第２の感情とを対応付けた第２の教師データを設定する。学習部３０は、複数の第２の教師データに基づいて、第２の感情推定関数を生成する。第２の感情推定関数は、脳波の信号源データが入力された場合に、ユーザが第２の感情を抱いているか否かを示すデータを出力する。
【００３５】
学習部３０は、複数種類の感情に対応する複数種類の感情推定関数を感情推定関数記憶部３２に格納する。感情推定関数記憶部３２は、学習部３０により生成された複数種類の感情推定関数を記憶する記憶領域である。
【００３６】
感情推定部３４は、信号源推定部２８により推定された脳波の信号源に基づいて、ユーザの感情を推定する。感情推定部３４は、学習部３０による機械学習の結果に基づいて、信号源推定部２８により推定された信号源に対応するユーザの感情を推定する。言い換えれば、推定された信号源に対して相関が強い感情をユーザが抱く感情として推定する。なお、感情推定部３４が感情推定に使用する信号源を示すデータは、脳を構成する複数の部位のうち人の感情を司る部位に限定したデータでもよく、言い換えれば、運動を司る部位等、感情に影響しない部位を除外したデータでもよい。この態様によると、感情推定処理の性能・効率を向上することができる。
【００３７】
感情推定部３４は、信号源推定部２８により推定された信号源を示すデータを複数種類の感情推定関数へ入力することにより、複数種類の感情の有無を推定する。具体的には、感情推定部３４は、信号源推定部２８により取得された信号源データを、感情推定関数記憶部３２に格納された、複数種類の感情に対応する複数種類の感情推定関数へ入力する。感情推定部３４は、複数種類の感情推定関数からの出力として、複数種類の感情の有無を示すデータを取得する。例えば、感情推定部３４は、怒り・喜び・第１態様のイライラ・第２態様のイライラのそれぞれについて、現在ユーザが各感情を抱いているか否かを示すデータ（例えば二値データ）を取得してもよい。
【００３８】
感情推定部３４は、感情の推定結果のデータ、例えば、複数種類の感情それぞれの有無を示すデータを推定結果記憶部３６へ格納する。感情の推定結果のデータは、例えば、（１）喜びの有無、（２）怒りの有無、（３）第１態様のイライラの有無、（４）第２態様のイライラの有無・・・を示すデータであってもよい。推定結果記憶部３６は、感情推定部３４による感情の推定結果のデータを記憶する記憶領域である。
【００３９】
推定結果記憶部３６に記憶されたユーザの感情の推定結果は、所定の外部装置または表示装置へ出力されてもよい。例えば、感情推定装置１６の表示制御部（不図示）は、推定結果記憶部３６に記憶された推定結果データを所定の表示装置に表示させてもよい。また、感情推定装置１６の推定結果提供部（不図示）は、推定結果記憶部３６に記憶された推定結果データを所定の外部装置へ送信してもよい。
【００４０】
以上の構成による感情推定システム１０の動作を説明する。
まず、学習フェーズの動作を説明する。ｆＭＲＩ装置１４は、ユーザの脳活動を計測し、計測した脳活動データを感情推定装置１６へ出力する。
【００４１】
図３は、学習フェーズにおける感情推定装置１６の動作を示すフローチャートである。感情推定装置１６のｆＭＲＩ結果取得部２０が、ｆＭＲＩ装置１４により生成された脳活動データを取得すると（Ｓ１０のＹ）、信号源推定関数生成部２２は、ＶＢＭＥＧを起動して信号源推定関数を生成する（Ｓ１２）。具体的には、信号源推定関数生成部２２は、ユーザの脳構造データ、電極位置、脳活動データをパラメータとして、ＶＢＭＥＧが提供する公知の関数をコールすることにより信号源推定関数を生成する。
【００４２】
信号源推定関数生成部２２は、生成した信号源推定関数のデータを信号源推定関数記憶部２４へ格納する（Ｓ１４）。脳活動データを未取得であれば（Ｓ１０のＮ）、Ｓ１２とＳ１４の処理をスキップする。
【００４３】
脳波計１２は、特定の感情（例えば喜び）を想起させる画像を閲覧するユーザ、または、特定の感情（例えば第１態様のイライラ）を想起させる課題に取り組むユーザの頭皮上に設置された電極を介して、ユーザの脳波を計測する。脳波計１２は、様々な画像を閲覧するユーザまたは様々な課題に取り組むユーザの脳波を計測し、複数種類の感情に対応する複数種類の脳波を計測する。脳波計１２は、複数種類の脳波データを感情推定装置１６へ出力する。
【００４４】
感情推定装置１６の脳波取得部２６が、複数種類の感情に応じた複数種類の脳波データを脳波計１２から取得すると（Ｓ１６のＹ）、信号源推定部２８は、脳波の信号源を推定する。具体的には、信号源推定部２８は、複数種類の脳波データと、信号源推定関数記憶部２４に格納された信号源推定関数とにしたがって、複数種類の感情に対応する信号源（すなわち感情の種類ごとの信号源）を推定する（Ｓ１８）。学習部３０は、ユーザが抱いた感情とそのときの信号源とを対応付けた教師データであり、感情ごとに複数の教師データを生成する。
【００４５】
学習部３０は、ユーザが抱いた感情ごとに、複数の教師データと公知のＳＬＲアルゴリズムとにしたがって機械学習を実行する（Ｓ２０）。学習部３０は、複数種類の感情に対応する複数の感情推定関数を生成し、生成した複数の感情推定関数を感情推定関数記憶部３２へ格納する（Ｓ２２）。複数の感情推定関数は、例えば、喜びの有無を推定するための関数、第１態様のイライラの有無を推定するための関数、第２態様のイライラの有無を推定するための関数を含む。脳波データを未取得であれば（Ｓ１６のＮ）、Ｓ１８〜Ｓ２２をスキップする。
【００４６】
次に、感情推定フェーズ、言い換えれば、学習結果の利用フェーズの動作を説明する。脳波計１２は、感情を推定すべき対象であるユーザの脳波を計測する。この時点では、ユーザがどのような感情を抱いているかはわからない。脳波計１２は、計測した脳波データを感情推定装置１６へ出力する。
【００４７】
図４は、感情推定フェーズにおける感情推定装置１６の動作を示すフローチャートである。脳波取得部２６が、脳波計１２で生成されたユーザの脳波データを取得すると（Ｓ３０のＹ）、信号源推定部２８は、脳波データと、信号源推定関数記憶部２４に格納された信号源推定関数とに基づいて、脳波の信号源を推定する（Ｓ３２）。感情推定部３４は、脳波の信号源と、感情推定関数記憶部３２に格納された複数の感情推定関数とに基づいて、ユーザが抱く感情を推定する（Ｓ３４）。
【００４８】
感情推定部３４は、ユーザが抱く感情の推定結果を推定結果記憶部３６へ格納する（Ｓ３６）。脳波データを未取得であれば（Ｓ３０のＮ）、Ｓ３２〜Ｓ３６をスキップする。検査者は、推定結果記憶部３６に記憶された推定結果を確認することで、ユーザが抱く感情を把握できる。また、図１に不図示の情報処理装置は、感情推定装置１６にアクセスして推定結果記憶部３６に記憶された推定結果を参照し、または、推定結果記憶部３６に記憶された推定結果を感情推定装置１６から受信して参照することにより、ユーザが抱く感情に即した情報処理を実行できる。例えば、ユーザが抱く感情に応じた画像や情報をユーザの情報端末等に提供し、表示させることができる。
【００４９】
実施例の感情推定装置１６によると、ユーザの頭皮上で計測された脳波から一旦信号源を推定し、信号源からユーザの感情を推定する。これにより、運動に関係した脳活動と、感情に関係する脳活動とを空間的に分離でき、運動中のユーザの感情を識別する精度を向上することができる。
【００５０】
また、感情推定装置１６によると、信号源から感情を推定するモデルを機械学習により構築する、これにより、様々な種類の感情を識別する精度を向上することができる。例えば、人では気づきにくい信号源と感情との相関を反映した感情推定処理を実現できる。また、感情推定装置１６によると、複数種類の感情に対応する複数種類の感情推定関数を生成し、複数種類の感情推定関数の出力結果に基づいてユーザが抱く感情を推定する。これにより、様々な種類の感情の有無を精度よく推定することができる。
【００５１】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を示す。
【００５２】
（変形例１）
上記実施例では言及していないが、感情推定装置１６は、複数種類の感情に対応する複数種類の信号源推定関数を使用して複数種類の感情に対応する信号源を特定してもよい。
【００５３】
まず、学習フェーズの処理を説明する。ｆＭＲＩ装置１４は、特定の感情を想起させる画像を閲覧するユーザ、または、特定の感情を想起させる課題に取り組むユーザの脳活動を計測する。そして、ユーザに提示する画像や課題を順次変更し、ｆＭＲＩ装置１４は、それぞれの画像または課題が提示されたユーザの脳活動を計測する。これにより、ｆＭＲＩ装置１４は、複数種類の感情に対応する複数種類の脳活動を計測し、計測した複数種類の脳活動データを感情推定装置１６へ出力する。
【００５４】
感情推定装置１６の信号源推定関数生成部２２は、複数種類の感情に対応する複数種類の脳活動データに基づいて、複数種類の感情に対応する複数種類の信号源推定関数を生成する。複数種類の信号源推定関数は、例えば、第１の感情（例えば第１態様のイライラ）に対応する第１の信号源推定関数と、第１の感情とは異なる第２の感情（例えば第２態様のイライラ）に対応する第２の信号源推定関数を含む。第１の信号源推定関数と第２の信号源推定関数は、いずれも３０×６０００の行列であってもよいが、複数の脳部位への重み付けが互いに異なる。
【００５５】
具体的には、信号源推定関数生成部２２は、ユーザの脳構造データ、電極位置、脳活動データをパラメータとして指定しつつ、ＶＢＭＥＧが提供する公知の関数をコールすることを感情ごとに繰り返してもよい。すなわち、図３のＳ１２およびＳ１４の処理を感情ごとに繰り返すことにより、各感情に対応する信号源推定関数を生成してもよい。
【００５６】
信号源推定部２８は、感情の種類ごとに脳波データと信号源推定関数との組合せを設定し、その組合せにしたがって、感情の種類ごとに信号源を推定する。例えば、信号源推定部２８は、ユーザが喜びを感じた場合の脳波データと、喜びに対応する信号源推定関数との組合せに基づいて、感情「喜び」に対応する信号源を推定する。
【００５７】
学習部３０は、実施例と同様に、信号源と感情との相関を機械学習し、複数種類の感情に対応する複数の感情推定関数を生成する。すなわち、学習部３０は、第１の感情（例えば第１態様のイライラ）に対応する第１の感情推定関数と、第１の感情とは異なる第２の感情（例えば第２態様のイライラ）に対応する第２の感情推定関数を生成する。
【００５８】
次に、感情推定フェーズの処理を説明する。信号源推定部２８は、脳波取得部２６により取得された脳波データと、信号源推定関数記憶部２４に格納された複数の信号源推定関数に基づいて信号源を推定する。具体的には、信号源推定部２８は、第１の信号源推定関数に基づいて上記脳波データに対応する信号源を推定するとともに、第２の信号源推定関数に基づいて上記脳波データに対応する信号源を推定する。
【００５９】
感情推定部３４は、第１の信号源推定関数により推定された信号源のデータを第１の感情推定関数へ入力することにより、第１の感情の有無を推定する。それとともに、感情推定部３４は、第２の信号源推定関数により推定された信号源のデータを第２の感情推定関数へ入力することにより、第２の感情の有無を推定する。本変形例の態様によると、信号源推定関数を感情の種類ごとに設けることにより、感情の推定精度を一層向上することができる。
【００６０】
（変形例２）
上記実施例では、機械学習のアルゴリズムとしてＳＬＲを使用したが、他の種類のアルゴリズムを使用してもよい。例えば、ＳＶＭ（Support Vector Machine）のアルゴリズムを使用してもよい。
【００６１】
（変形例３）
上記実施例では、脳波の信号源と感情との相関を機械学習したが、必ずしも機械学習を使用しなくてもよい。例えば、感情推定装置１６は、脳波の信号源の複数のパターンと、パターンごとの感情とを予め対応付けたデータを記憶部に記憶し、学習部３０は、信号源推定部２８により推定された信号源のパターンに対応付けられた感情を、ユーザが抱く感情として推定してもよい。すなわち、脳波の信号源と感情との相関を人間の知見により予め定めてもよい。
【００６２】
（変形例４）
上記実施例では、信号源を推定するためにＶＢＭＥＧを使用したが、他の手法により信号源を推定してもよい。例えば、ｓＬＯＲＥＴＡ（standardized Low-Resolution Brain Electromagnetic Tomography）を使用して信号源を推定してもよい。ｓＬＯＲＥＴＡは、脳機能イメージング解析の手法であり、脳波や脳磁図による脳内神経活動を脳図譜（言い換えれば標準脳）に重畳して描く解析手法である。
【００６３】
（変形例５）
上記実施例では、ｆＭＲＩ装置１４を使用して、ユーザの脳波の信号源（言い換えれば脳活動）を特定したが、ｆＭＲＩ装置１４を使用しない構成も可能である。例えば、解剖学的な知見、および／または、脳波計１２の電極の三次元位置から推定される頭蓋骨の形状に基づいて、脳波の態様と信号源との対応関係を仮定または特定する構成でもよく、この場合、ｆＭＲＩ装置１４は不要になる。信号源推定部２８は、上記対応関係に基づいて信号源を推定してもよい。
【００６４】
上述した実施の形態および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
【符号の説明】
【００６５】
１０  感情推定システム、  １６  感情推定装置、  ２０  ｆＭＲＩ結果取得部、  ２２  信号源推定関数生成部、  ２６  脳波取得部、  ２８  信号源推定部、  ３０  学習部、  ３４  感情推定部。
【図１】
2018187044.tif 000003
【図２】
2018187044.tif 000004
【図３】
2018187044.tif 000005
【図４】
2018187044.tif 000006