(57)【特許請求の範囲】
【請求項１】
脳活動信号と刺激内容に関する言語記述とが入力されるデータ処理手段と、
前記データ処理手段により読み出し可能であって、単語の意味的関係を記述する意味空間を記憶する意味空間情報記憶手段と、
前記データ処理手段により読み出し書き込み可能であって、動画から成る訓練用刺激に対応する脳活動信号と前記訓練用刺激に関する複数の単語を含む言語記述の前記意味空間上の表象との関連付けを記憶する訓練成果情報記憶手段と、を備え、
前記データ処理手段は、前記データ処理手段に入力される動画から成る新規刺激に対応する脳活動信号と、前記関連付けとから、新規刺激に対応する知覚意味内容を得る、
ことを特徴とする知覚意味内容推定装置。
【請求項２】
与えられた任意の単語の前記意味空間上の座標と前記関連付けから得られた知覚意味内容との内積または尤度をとる、
ことを特徴とする請求項１に記載の知覚意味内容推定装置。
【請求項３】
前記内積または前記尤度は時系列である、
ことを特徴とする請求項２に記載の知覚意味内容推定装置。
【請求項４】
前記知覚意味内容は、前記意味空間上の確率分布である、
ことを特徴とする請求項１から３のいずれか１項に記載の知覚意味内容推定装置。
【請求項５】
前記関連付けは、被験者ごとに、前記訓練用刺激に対応する脳活動信号の全てまたは一部に基づき行われる、
ことを特徴とする請求項１から４のいずれか１項に記載の知覚意味内容推定装置。
【請求項６】
前記被験者ごとの意味空間上の投影関数を得て、前記投影関数に従って前記意味空間上の位置との関連付けを前記被験者ごとに一律にずらす、
ことを特徴とする請求項５に記載の知覚意味内容推定装置。
【請求項７】
被験者への刺激となる情報を提示する情報提示手段と、刺激による上記被験者の脳神経活動信号を検出する脳神経活動検出手段と、刺激内容に関する言語記述と上記脳神経活動検出手段の出力を入力するデータ処理手段と、該データ処理手段から読み出し可能な意味空間情報記憶手段と、該データ処理手段から読み出し書き込み可能な訓練成果情報記憶手段と、を備える脳活動解析装置を用いて上記被験者の脳活動を解析することで、上記被験者が知覚している知覚意味内容の推定を行う方法であって、
（１）  動画から成る訓練用情報を上記被験者に提示して訓練用刺激を上記被験者に与え、該訓練用刺激が上記被験者に誘発する知覚内容の複数の単語を含む言語記述と、該訓練用刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力とを上記データ処理手段に入力し、
（２）  上記意味空間情報記憶手段に保存された意味空間を適用し、該意味空間上において上記訓練用刺激の意味空間表象と上記脳神経活動検出手段の出力との関係付けを行い、関連付けの結果を上記訓練成果情報記憶手段に保存し、
（３）  動画からなる新規情報を上記被験者に提示して動画から成る新規刺激を上記被験者に与え、該新規刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規情報による脳活動の上記脳神経活動検出手段の出力について、上記（２）で得られた関連付けから知覚意味内容を表す意味空間上の確率分布を得、
（４）  上記（３）で得られた確率分布から蓋然性の高い知覚意味内容を推定する、
ことを特徴とする脳活動の解析による知覚意味内容の推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画視聴時等の自然知覚下における被験者の脳活動を計測し、計測した情報を解析することで、被験者が知覚している知覚意味内容の推定を行う知覚意味内容推定装置および脳活動の解析による知覚意味内容の推定方法に関する。
【背景技術】
【０００２】
被験者の脳活動を解析することで、知覚内容の推定や行動予測を行うための技術（脳情報デコーディング技術）が開発されている。これらの技術は、脳機械間インターフェースの要素技術として、また、映像や各種製品の事前評価や購買予測等を行う手段として期待されている。
【０００３】
現時点における上記脳活動からの意味知覚推定技術は、単一または少数の知覚意味内容が含まれた簡単な線画や静止画等の限られた知覚対象について、予め決められた知覚意味内容を推定するものに限られている。
【０００４】
従来技術を用いて脳活動から知覚意味内容をデコーディングするための手順は、以下の通りである。最初に、個人の脳活動を解釈するためのモデル訓練（キャリブレーション）を行う。この段階では、画像等で構成される刺激セットを被験者に提示し、それらの刺激が誘発した脳活動を記録する。この刺激−脳活動ペア（訓練用データサンプル）により、知覚内容と脳活動の対応付けを得る。次に、知覚意味内容推定の対象となる新規の脳活動を記録し、その脳活動が訓練用データサンプルで得られたどの脳活動と類似しているかを判断することで、知覚意味内容推定を行う。
【０００５】
特許文献１には、主観的な知覚的経験または認識経験の解読および再現することが、開示されている。この開示においては、対象から、最初の知覚刺激に応じて生み出される脳活動データの最初のセットは、脳画像形成装置を使って得られ、それに対応する所定の応答値のセットに変換される。第２の知覚刺激に応じて生み出される脳活動データの第２セットは、対象からデコーディング分布を用いて得られるが、上記所定の応答値に応じた脳の活動データの第２のセットである確率が決定される。脳活動刺激の第２セットは、脳活動データの第２セットと予測された応答値の間の対応の確率に基づいて解読される。
【０００６】
また、非特許文献１には、ｆＭＲＩ（functional Magnetic Resonance Imaging）による符号化（エンコーディング）と復号化（デコーディング）が記載されている。この文献では、共通の問題である情報が脳においてどのように表現されるかについて探究するために、エンコーディング操作とデコーディング操作の両方が用いられることが示されているが、エンコーディング・モデルに集中することはデコーディングよりも２つの重要な利点がある、としている。その理由は、第１に、デコーディングモデルでは部分的な説明だけが得られるが、原理的にエンコーディング・モデルでは興味のある領域の完全な機能的な説明が得られる。第２に、エンコーディング・モデルから最適デコーディングモデルを得ることは直接的であるが、デコーディングモデルからエンコーディング・モデルを得ることはずっと困難である、ということである。そこで、非特許文献１では、ｆＭＲＩスキャンによるボクセルのエンコーディング・モデルの推定からシステマティックモデル・アプローチを提案し、得られたエンコーディング・モデルを用いてデコーディングを行っている。
【０００７】
また、ある場面を見ている間に脳画像を取得し、その脳画像から、その場面に近いものを再構成することができることが、既に報告されている。非特許文献２には、さらに、脳画像で反映される心的内容に対応するテキストを生成することもできることが示されている。これは、あるアイテムの名前の線画を見ながら被験者がその具体的なアイテム（例えば、「アパート」）の名前を読んでいる時に集められた脳画像から始めるものである。具体的な概念の精神的意味表示モデルを、テキストデータから構築し、それに対応する脳画像でそのような表示の様相を活性化のパターンにマッピングするようにするものである。このマッピングから、意味論的に関係する語（例えば、「アパート」に対する「ドア」、「ウインドウ」）の集まりを生成することができた旨、報告されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許出願公開第2013-0184558号明細書
【非特許文献】
【０００９】
【非特許文献１】Thomas Naselaris, Kendrick  N. Kay, Shinji Nishimoto, Jack L.  Gallant, "Encoding and decoding in fMRI", NeuroImage 2011, 56(2):400-410
【非特許文献２】Francisco Pereira, Greg Detre, Matthew Botvinick "Generating text from functional brain images", Frontiers in Human Neuroscience 2012, 5:72
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が目的とする技術は、動画視聴下等の自然知覚下における被験者の任意の知覚意味内容を推定することができるものである。この点に関して、従来技術では以下の少なくとも１点で限界があり、上記の目的を満たすことが出来なかった。（１）従来技術は、単純な線画や静止画像を対象としており、自然動画等の多数の事物や印象等がダイナミックに生起する状況に適応できない。（２）従来技術では、推定できる知覚意味内容は訓練用データサンプルに含まれているものに限られており、それ以外の任意の知覚意味内容を推定できない。
【課題を解決するための手段】
【００１１】
本発明が目的とする技術には、上記の様に、計測した情報を解析することで、被験者が知覚している知覚意味内容の推定を行うことが含まれるが、この際、脳活動と知覚内容の対応付けを中間表象空間(意味空間)内において行うことで任意の知覚内容の推定を実現するものである。詳しくは、以下に示す。
【００１２】
本発明の、脳活動の解析による知覚意味内容の推定方法は、被験者への刺激となる情報を提示する情報提示手段と、刺激による上記被験者の脳神経活動信号を検出する脳神経活動検出手段と、刺激の内容に関する言語記述と上記脳神経活動検出手段の出力を入力するデータ処理手段と、該データ処理手段から読み出し可能な意味空間情報記憶手段と、該データ処理手段から読み出し書き込み可能な訓練成果情報記憶手段と、を備える脳活動解析装置を用いて上記被験者の脳活動を解析することで、上記被験者が知覚している知覚意味内容の推定を行う方法である。
【００１３】
（１）  動画から成る訓練用情報を上記被験者に提示して訓練用刺激を上記被験者に与え、該訓練用刺激が上記被験者に誘発する知覚内容の言語記述と、該訓練用刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力とを上記データ処理手段に入力する。
ここで、訓練用情報は動画であり、この情報が被験者への刺激となり、その刺
激が被験者になんらかの知覚内容を誘発する。この知覚内容の複数の単語を含む言語記述（アノテーション）を取得し、上記データ処理手段に入力する。また、脳活動を脳波やｆＭＲＩ信号として検出した上記脳神経活動検出手段の出力も上記データ処理手段に入力する。
【００１４】
（２）  上記意味空間情報記憶手段に保存された意味空間を適用し、該意味空間上において上記訓練用刺激の意味空間表象と上記脳神経活動検出手段の出力との関係付けを行い、関連付けの結果を上記訓練成果情報記憶手段に保存する。
上記の意味空間は、コーパス等の大規模データベースを用いて構築されたもので、言語記述に現れる単語の意味的関係を記述するものである。
また、上記の関係付けは、上記意味空間の座標軸上で行うものであり、ここでは、訓練用情報による刺激で誘発される意味空間表象と該刺激による脳活動の関係付けを言う。
【００１５】
（３）  動画からなる新規情報を上記被験者に提示して動画からなる新規刺激を上記被験者に与え、該新規刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規情報による脳活動の上記脳神経活動検出手段の出力について、上記（２）で得られた関連付けから知覚意味内容を表す意味空間上の確率分布を得る。
新規刺激で誘発される脳活動について、脳波やｆＭＲＩ信号などの上記脳神経活動検出
手段の出力を、上記訓練用刺激で誘発された上記脳神経活動検出手段の出力やそれから抽
出した信号や発火パターンの、例えば線形合成として分解することで、この新規刺激に対
する知覚意味内容を訓練用情報に対応した言語記述（アノテーション）の線形合成として
得ることができる。この線形合成の係数と、上記（２）で得られた関連付けから、新規刺
激についての知覚意味内容を表す意味空間上の確率分布を得ることができる。
【００１６】
（４）  上記（３）で得られた確率分布から蓋然性の高い知覚意味内容を推定するものである。
この推定においては、上記確率分布における推定に用いる確率に閾値を設けるか、上記の蓋然性の高い知覚意味内容の個数に閾値を設ける等により上記の推定結果の分散を抑制することができる。
【００１７】
本発明に係る知覚意味内容推定装置は、脳活動信号と刺激内容に関する言語記述とが入力されるデータ処理手段と、前記データ処理手段により読み出し可能であって、単語の意味的関係を記述する意味空間を記憶する意味空間情報記憶手段と、前記データ処理手段により読み出し書き込み可能であって、動画から成る訓練用刺激に対応する脳活動信号と前記訓練用刺激に関する複数の単語を含む言語記述の前記意味空間上の表象との関連付けを記憶する訓練成果情報記憶手段と、を備え、前記データ処理手段は、前記データ処理手段に入力される動画から成る新規刺激に対応する脳活動信号と、前記関連付けとから、新規刺激に対応する知覚意味内容を得ることを特徴とする。
【００１８】
また、与えられた任意の単語の前記意味空間上の座標と前記関連付けから得られた知覚意味内容との内積または尤度をとることを特徴とする。
【００１９】
また、前記内積または前記尤度は時系列であることを特徴とする。
【００２０】
また、前記知覚意味内容は、前記意味空間上の確率分布であることを特徴とする。
【００２１】
また、前記関連付けは、被験者ごとに、前記訓練用刺激に対応する脳活動信号の全てまたは一部に基づき行われることを特徴とする。
【００２２】
また、前記被験者ごとの意味空間上の投影関数を得て、前記投影関数に従って前記意味空間上の位置との関連付けを前記被験者ごとに一律にずらすことを特徴とする。
【発明の効果】
【００２３】
本発明によって、動画等の自然知覚下における脳活動から任意の知覚意味内容の推定を行うことが可能になる。
【図面の簡単な説明】
【００２４】
【図１】脳活動の意味空間モデルおよび知覚意味内容推定の概念図である。脳活動とコーパス由来の意味空間との対応関係を定量モデルとして学習することで、任意の新規条件下において脳活動から知覚意味内容を推定することを示す。
【図２】テレビコマーシャル（ＣＭ）動画視聴中の脳活動からの知覚意味内容推定例を示す図である。（左)被験者に提示したＣＭクリップ例、（右)当該クリップ視聴時の脳活動から推定した知覚意味内容を示す。クリップ横の各行は名詞・動詞・形容詞それぞれの品詞について知覚している確率が高い単語を示す。
【図３】脳活動からの特定印象時系列定量評価例を示す図である。３つの３０秒ＣＭを視聴中の脳活動中の脳活動から、特定印象（この場合は「可愛い」）を認知している度合を推定した。
【図４】本発明を適用するための装置構成例を示す図である。
【発明を実施するための形態】
【００２５】
本発明の、脳活動の解析による知覚意味内容を推定する技術は、被験者への刺激となる情報を提示する情報提示手段と、刺激による上記被験者の脳神経活動信号を検出する脳神経活動検出手段と、刺激の内容に関する言語記述と上記脳神経活動検出手段の出力を入力するデータ処理手段と、該データ処理手段から読み出し可能な意味空間情報記憶手段と、該データ処理手段から読み出し書き込み可能な訓練成果情報記憶手段と、を備える脳活動解析装置を用いて上記被験者の脳活動を解析することで、上記被験者が知覚している知覚意味内容の推定を行う。
【００２６】
（１）  訓練用情報を上記被験者に提示して訓練用刺激を上記被験者に与え、該訓練用刺激が上記被験者に誘発する知覚内容の言語記述と、該訓練用刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力とを上記データ処理手段に入力する。
ここで、訓練用情報は画像や動画等であり、この情報が被験者への刺激となり、その刺激が被験者になんらかの知覚内容を誘発する。この知覚内容の言語記述（アノテーション）を取得し、上記データ処理手段に入力する。また、脳活動を脳波やｆＭＲＩ信号として検出した上記脳神経活動検出手段の出力も上記データ処理手段に入力する。
【００２７】
（２）  上記意味空間情報記憶手段に保存された意味空間を適用し、該意味空間上において上記訓練用刺激の意味空間表象と上記脳神経活動検出手段の出力との関係付けを行い、関連付けの結果を上記訓練成果情報記憶手段に保存する。
上記の意味空間は、コーパス等の大規模データベースを用いて構築されたもので、言語記述に現れる単語の意味的関係を記述するものである。
また、上記の関係付けは、上記意味空間の座標軸上で行うものであり、ここでは、訓練用情報による刺激で誘発される意味空間表象と該刺激による脳活動の関係付けを言う。
【００２８】
（３）  新規情報を上記被験者に提示して新規刺激を上記被験者に与え、該新規刺激が上記被験者に誘発する脳活動を検出した上記脳神経活動検出手段の出力を上記データ処理手段に入力して、上記新規情報による脳活動の上記脳神経活動検出手段の出力について、上記（２）で得られた関連付けから知覚意味内容を表す意味空間上の確率分布を得る。
新規刺激で誘発される脳活動について、脳波やｆＭＲＩ信号などの上記脳神経活動検出手段の出力を、上記訓練用刺激で誘発された上記脳神経活動検出手段の出力やそれから抽出した信号や発火パターンの、例えば線形合成として分解することで、この新規刺激に対する知覚意味内容を訓練用情報に対応した言語記述（アノテーション）の線形合成として得ることができる。この線形合成の係数と、上記（２）で得られた関連付けから、新規刺激についての知覚意味内容を表す意味空間上の確率分布を得ることができる。
【００２９】
（４）  上記（３）で得られた確率分布から蓋然性の高い知覚意味内容を推定するものである。
この推定においては、上記確率分布における推定に用いる確率に閾値を設けるか、上記の蓋然性の高い知覚意味内容の個数に閾値を設ける等により上記の推定結果の分散を抑制することができる。
【００３０】
被験者が複数の場合、上記（２）における、刺激の意味空間表象と脳活動の訓練用データを用いた関連付けは、被験者ごとに行ない、上記訓練用データの全てまたはその一部について行なって被験者ごとの投影関数を得て、被験者ごとに該投影関数に従って上記意味空間上の位置との関連付けを一律にずらすものとしてもよい。
【００３１】
また、上記（４）において、知覚意味内容として蓋然性の高いものを推定するに当たり、与えられた任意の単語について意味空間上の座標を見出し、該座標と上記（３）で得られた確率分布との尤度をとり、その尤度値を上記蓋然性の指標とすることができる。
【００３２】
以下に、この発明の実施の形態を図面に基づいて詳細に説明する。
【実施例１】
【００３３】
図４に、本発明を適用するための装置構成例を示す。被験者２への訓練用刺激（画像、動画等）の提示は、表示装置１で行い、被験者２の脳活動信号は、例えばＥＥＧ（脳波）やｆＭＲＩ信号を検出することができる脳神経活動検出器３で検出する。脳活動信号としては、脳神経細胞の発火パターンや、単数または複数の特定領域での活動変化の信号を検出する。また、検出された脳活動信号はデータ処理装置４で処理される。また、データ処理装置４には、被験者２からの自然言語アノテーションが入力される。データ処理に用いられる意味空間は、ストレージ５からのコーパスデータを解析装置６で解析したもので、ストレージ７に保存される。
【００３４】
また、訓練用刺激については、被験者２もしくは第三者からの自然言語アノテーションデータは上記意味空間上のベクトルとしてデータ処理装置４で解析され、その解析結果は被験者２の脳活動信号とともに訓練成果としてストレージ８に保存される。
【００３５】
新規の刺激が表示装置１を通じて被験者２に提示された時には、脳神経活動検出器３で脳活動信号が検出され、データ処理装置４において、ストレージ７からの意味空間とストレージ８からの訓練成果を基に解析され、その解析結果がデータ処理装置４から出力される。
【００３６】
ここで、ストレージ５、ストレージ７、ストレージ８は、１つのストレージの領域を分割したものでもよく、データ処理装置４と解析装置６は１つのコンピュータを切り替えて用いるものでもよい。
【００３７】
本発明の、脳活動の解析による知覚意味内容を推定する技術は、コーパス由来の意味空間を介して脳情報デコーディングを行う。これにより、脳活動から任意の知覚意味内容の解読を行う。より具体的な手続きは以下のとおりであり、図１を参照して説明する。図１は、脳活動の意味空間モデルおよび知覚意味内容推定の概念図である。脳活動とコーパス由来の意味空間との対応関係を定量モデルとして学習することで、任意の新規条件下において脳活動から知覚意味内容を推定する手順の概略を示すものである。
【００３８】
（ア）  訓練用の刺激１１（画像、動画等）に関して、その刺激が被験者に誘発する知覚内容の言語記述（アノテーション）１３を取得する。
より具体的には、被験者１２に訓練用刺激として何らかの静止画や動画（訓練用データ）を提示し、その提示を受けた被験者が想起する言語記述のリストを作成する。
【００３９】
（イ）  コーパス１６等の大規模データベースを用いて、言語記述に現れる単語の意味的関係を記述する意味空間を構築しておく。コーパスから意味空間を構築する手段として、潜在意味解析法やword2vec法等の自然言語処理技術を用いることは、既によく知られている。
上記コーパスとしては、新聞や雑誌の記事、百科事典、物語などを用いることができる。ここで、コーパス由来の意味空間とは、よく知られている様に、コーパスに内在する統計的性質を元に、単語等の要素を固定長ベクトル空間に投射する空間である。当然のことながら、既にこの意味空間が得られている場合は、それを利用することができる。
また、潜在意味解析法は、解析対象の文オブジェクトにどのような単語が含まれているかを示す共起行列に対して特異値分解を施し、次元縮約を行うことによって対象のテキストの主たる意味構造を把握する主成分分析的手法で、よく知られた手法である。
また、Word2Vec法は、単語をベクトル化して表現するする定量化手法である。Word2Vecでは、文章中の単語出現予測モデルを最適化することを介し、単語の固定長ベクトル空間表現を学習する。
【００４０】
（ウ）  上記（イ)で得られた意味空間上において、訓練用データを用いて刺激１１の意味空間へ投射１５し、その意味空間上の表象と脳活動出力１４の関係付けを行う。
被験者に訓練用データ（画像、動画等）を提示し、それによって生じる被験者の脳活動信号、例えばＥＥＧ（脳波）やｆＭＲＩ信号を検出する。検出した脳活動信号を、上記意味空間上の位置と関連付ける。この関連付けは、上記の意味空間上の表象にＥＥＧ（脳波）やｆＭＲＩの信号波形を対応付けるものである。
この関連付けは、被験者ごとに行なうことが望ましいが、その際、上記訓練用データの全てについて行うのではなく、その一部について行なって被験者ごとの意味空間上の投影関数を得て、その投影関数に従って上記意味空間上の位置との関連付けを一律にずらす様にしてもよい。
【００４１】
（エ）  新規の脳活動について、上記（ウ）で得られた関連付けから、知覚意味内容を表す意味空間上の確率分布を得る。
被験者に新規データ（画像、動画等）を提示し、上記訓練用データの場合と同じ脳活動信号取得手段を用いて、脳活動信号を検出する。検出した脳活動信号を、訓練用データから得られる脳活動信号と比較して、どの訓練用データの場合に近いかを決定する。あるいは、訓練用データの場合のどのような混成の場合に最も近いかを決定する。この比較は、例えば、新規データに対する脳活動信号と先の訓練用データに対する脳活動信号との相互相関のピーク値を指標に用いて行うことができる。この決定によって、意味空間において、新規データの提示で検出した脳活動信号に対応する確率分布を得ることができる。
【００４２】
（オ）  上記（エ)で得られた確率分布から、知覚意味内容として蓋然性の高いものを推定する。
上記（ア）において、訓練用データについて、それに対応する知覚内容の言語記述が得られており、また、上記（イ）において、それぞれの単語が意味空間におけるベクトルとして表現されている。このため、意味空間において、脳活動信号に対応する確率分布から、脳活動信号に対応する知覚内容の言語記述を確率的重みつきで得ることができる。この確率的重みを用いて蓋然性の高い言語記述を推定する。
【００４３】
ここで、上記（ア）におけるリストについては、このリストを用いて刺激を受けた被験者に誘発される知覚内容が言語記述として表現されるので、上記のコーパス由来の意味空間の全てまたは選択された所定の部分をカバーしていることが望ましい。
【００４４】
この様に本発明は、例えば、テレビコマーシャル（ＣＭ）等の比較的ダイナミックで複雑な映像音声知覚下の脳活動から、被験者が知覚する任意の知覚意味内容を推定する技術を提供するものである。本発明によって、動画等の自然知覚下における脳活動から任意の知覚意味内容の推定を行うことが可能になる。例えば上記テレビコマーシャル等の動画作品が狙い通りの表現効果を発揮しているかを脳活動から定量評価することが出来る。
【実施例２】
【００４５】
上記実施例１のアノテーションの取り扱いに関しては、LDA（Latent Dirichlet Allocation）におけるトピックモデルを適用することができる。これによって、推定した脳活動から知覚意味内容を推定した文章にして表現することが容易になる。このための手続例を以下に示す。
【００４６】
（Ａ）  訓練用の刺激１１（画像、動画等）に関して、その刺激が被験者に誘発する知覚内容の言語記述（アノテーション）１３を取得する。
より具体的には、被験者１２に訓練用刺激として何らかの静止画や動画（訓練用データ）を提示し、その提示を受けた被験者が想起する言語記述のリストを作成する。
【００４７】
（Ｂ）  コーパス１６等の大規模データベースを用いて、言語記述に現れる単語の意味的関係を記述するトピックモデルを構築しておく。このトピックモデルは、LDA法でよく知られた手法で用意することができる。
よく知られている様にトピックモデルは統計モデルであり、それぞれの単語の出現確率を得ることができる。
【００４８】
（Ｃ）  上記（Ｂ)で得られたトピックモデルにおいて、訓練用データをその訓練用データの形態素が属するトピックのラベルで置き換え、そのラベルと脳活動出力１４の関係付けを行う。
つまり、被験者に訓練用データ（画像、動画等）を提示し、それによって生じる被験者の脳活動信号、例えばＥＥＧ（脳波）やｆＭＲＩ信号を検出する。検出した脳活動信号を、上記訓練用データの形態素が属するトピックのラベルと関連付ける。この関連付けは、１つの訓練用データによる脳活動信号に例えばラベルの線形結合を対応させても、逆に、１つのラベルにその脳活動信号の線形結合を対応させてもよい。
この関連付けは、被験者ごとに行なうことが望ましいが、その際、上記訓練用データの全てについて行うのではなく、その一部について行なって、関連付け作業を一部省略することもできる。
【００４９】
（Ｄ）  新規の脳活動について、上記（Ｃ）で得られた関連付けから、知覚意味内容を表すトピックモデルのラベルで代表される言語記述の確率分布を得る。
被験者に新規データ（画像、動画等）を提示し、上記訓練用データの場合と同じ脳活動信号取得手段を用いて、脳活動信号を検出する。検出した脳活動信号を、訓練用データから得られる脳活動信号と比較して、どの訓練用データの場合に近いかを決定する。あるいは、訓練用データの場合のどのような混成の場合に最も近いかを決定する。この比較は、例えば、新規データに対する脳活動信号と先の訓練用データに対する脳活動信号との相互相関のピーク値を指標に用いて行うことができる。この決定によって、新規データの提示で検出した脳活動信号に対応するる言語記述の確率分布を得ることができる。
【００５０】
（Ｅ）  上記（Ｄ)で得られた確率分布から、知覚意味内容として蓋然性の高いものを推定する。
この実施例の場合、上記（Ｄ）において、言語記述の確率分布が得られていることから、LDAと同様な方法で、文章を推定することができる。
【００５１】
ここで、上記（ア）や（Ａ）におけるリストについては、このリストを用いて刺激を受けた被験者に誘発される知覚内容が言語記述として表現されるので、上記のコーパス由来の意味空間の全てまたは選択された所定の部分をカバーしていることが望ましい。
【００５２】
本発明は、例えば、テレビコマーシャル（ＣＭ）等の比較的ダイナミックで複雑な映像音声知覚下の脳活動から、被験者が知覚する任意の知覚意味内容を推定する技術を提供するものである。本発明によって、動画等の自然知覚下における脳活動から任意の知覚意味内容の推定を行うことが可能になる。例えば上記テレビコマーシャル等の動画作品が狙い通りの表現効果を発揮しているかを脳活動から定量評価することが出来る。
【実施例３】
【００５３】
図２に示す例は、ＣＭ動画視聴中の脳活動からの知覚意味内容の推定例である。具体的には、例えば「親しさ」の知覚を視聴者にどの様に誘発出来ているか、という問いに合理的に答えることを目的にしている。これは、図２の提示ＣＭ動画について、上記（ア）〜（オ）の手続きによって脳活動から推定した知覚意味内容を示すもので、左列に、被験者に提示したＣＭクリップ例を、また、右列に、当該クリップ視聴時の脳活動から推定した知覚意味内容を示す。クリップ横の各行は上から順に、名詞、動詞、形容詞それぞれの品詞について、被験者が知覚している確率が高い単語を示す。
図２（ａ）：娘が携帯電話を母親にかざして会話する場面
（名詞）男性  女性  独身  近所  実家  親戚  年上  母親
（動詞）訪ねる  辞める  付き合う  知り合う  連れる  会う  訪れる  亡くす
（形容詞）親しい  優しい  貧しい  幼い  若い
図２（ｂ）：犬と飼い主が電波塔の見えるベンチに座って、景色を眺めている場面
（名詞）女性  男性  年上  金髪  友人  彼女  母親  独身
（動詞）付き合う  着る  話す  慕う  頼む  喋る  会う  座る
（形容詞）親しい  優しい  幼い  若い  可愛い
図２（ｃ）：（ｂ）の場面の中央を破って爆発的に犬が 登場する場面
（名詞）顔  口癖  眼鏡  表情  自分  容姿  口調  真面目
（動詞）喋る  殴る  付き合う  怒る  被る  着る  座る  振り回す
（形容詞）親しい  可愛い  優しい  幼い  欲しい  怖い
図２（ｄ）：（ｃ）の犬が商品のキャンペーンを行う場面
（名詞）文字  フオント  ロゴ  ゴシック  アルファベット  表示
（動詞）置き換える  書く  付す
視聴者の脳活動を表わすこれらの知覚意味内容が、ＣＭ作成者の意図に沿ったものであるかどうかを客観的に判断できるようになる。
また、上記（Ａ）〜（Ｅ）の手続きによって、文章を推定することができる。
【実施例４】
【００５４】
図３に示す例は、特定印象時系列の脳活動からの定量評価例である。これは、例えば２つの映像ＡとＢのどちらが特定の印象をより強く視聴者に与えるか、等の定量指標を提供することを目的とするものである。３つの３０秒ＣＭを視聴中の脳活動中の脳活動の時系列から、特定印象（この場合は「可愛い」）が蓋然性の高い言語記述であるかどうかを確認することで、この特定印象を認知している度合を推定したものである。ＣＭ−１：女子高生が親戚と話をしている場面、ＣＭ−２：重役会議が行われている場面、ＣＭ−３：アイドルがダンスの練習をしている場面、において、ＣＭ−１で比較的強い反応が得られることが分かる。
【産業上の利用可能性】
【００５５】
本発明は視聴覚素材（映像、音楽、教材等)の事前評価、及び知覚・行動意図読み取りを通じた脳機械インターフェースの基盤として広汎に用いることができる。
【符号の説明】
【００５６】
１  表示装置
２  被験者
３  脳神経活動検出器
４  データ処理装置
５  ストレージ
６  コーパスデータを解析装置
７、８  ストレージ
１１  刺激
１２  被験者
１３  言語記述
１４  脳活動出力
１５  意味空間へ投射
１６  コーパス
【図１】
0006618702.tif 000002
【図２】
0006618702.tif 000003
【図３】
0006618702.tif 000004
【図４】
0006618702.tif 000005