行列因子分解を用いた脳活動の言語表象推定への取り組み
川瀬千晶(指導教員：小林一郎)

はじめに

法１と同様に，脳活動データから脳活動行列を作成し，説明文から言語行列を作成する．それぞれ脳活動行列と言語行列に対し辞書学習を行い辞書と係数に分解す
る．次にリッジ回帰を用いて，脳活動係数行列を言語係数行列に写す写像 Φ を求める．実行フェーズでは，新たな脳活動データを入力として与え，脳活動行列を作成する．この行列を学習フェーズで作った脳活動辞書を用いてスパースコーディングをし，脳活動係数行列を求める．この脳活動係数行列を写像 Φ により，言語係数行列を求める．この係数行列と学習で作成した言語辞書行列によって復元された行列を脳活動に対応する言語表象の情報とみなす．これをパラレルコーパスである動画の説明文と比較する（図 2）．

近年，脳神経科学分野において，脳神経活動を定量的に理解する研究が盛んに行われている [1][2]．本研
究では動画視聴時のヒトの脳活動と，その動画を説明する文との対応関係をスパースコーディングにより分析し，初期視覚野におけるスパース表象と同様に高次表象である言語表象でも相同のスパースコーディングが行われているかを調査することを目的とする．これにより，情報のスパース性と大脳皮質での情報処理の関連性を探求することを目的とする．

2

脳活動情報からの言語表象推定

2.1

提案手法 1@,A789B%CD'()#$%&'

本手法は学習フェーズと実行フェーズに分けられる．
学習フェーズでは，fMRI を用いて計測した脳活動データを時間ごとに計測した各部の観測値を入れて行列化し，これを脳活動行列とする．また，説明文も時間ごとに出現する単語の分散意味表現の和のベクトルからなる行列を作り，これを言語行列とする．言語行列はスパースコーディングを用いた辞書学習により言語辞書行列と言語係数行列に分解する．次にリッジ回帰を用いて，脳活動行列を言語係数行列に写す写像 Φ を求める．実行フェーズでは，新たな脳活動データを入力として与え，脳活動行列を作成する．この脳活動行列を写像 Φ により写し，言語係数行列を求める．この言語係数行列と学習で作成した言語辞書行列によって復元された行列を，脳活動に対応する言語表象の情報とみなす．これをパラレルコーパスである動画の説明文と比較することにより，言語表象にスパースコーディ
ングが機能しているかを究明する（図 1）．

)EF')EF'!
!
!
!

3!
!

789:')EF'!
!

!
!

;<'"#$%!

GHIJKLH012345/\]O
PQK./^_`aHbc'!!

"!

**********+,'-./0123456'

図 1: 提案手法 1 の概要

2.2

<='

#$%&!

GHIJKLH012345/\]O
PQK./^_`aHbc'!!

"!

**********+,'-./0123456'

スパースコーディング(1)

X を係数，Y を入力信号，A を辞書とするとき，式（1）を最小化する X を求めることにより，スパース（疎）な係数 X が得られる．argmin 内の第一項が入力
信号 Y と復元信号 AX との二乗和誤差，第二項が係数のスパース性を表している．スパースコーディング
により入力信号を少数の基底の係数による線形和で表現可能となる．
また，辞書と係数を同時に求めたい場合には，式（2）により入力信号 Y を与えると係数 X がスパースになるような辞書 A と係数 X を求める．

!
!

!
!

#$%&!

"!

1X ∗ = arg min ∥Y − AX∥22 + λ∥X∥12X78)E'Z[.'

#$%&!

#$%&!

スパースコーディングとは，信号を少数の基底の線形和で表現する方法である．入力信号を辞書の中から，その入力信号の特徴となる少数の基底を選び，復元する手法である [3]．

&!
&!

"!

図 2: 提案手法 2 の概要!
!

?@A)E'!
!

>?:;'?@A)E'?@AB%C''%!

)EF'()#$%&'GHIJKLHMNOPQKRSTUVHWXY'#$%&!

! 789)E'!

789:;' <='>?)E'Z[.'=,>?@AB%CD'!"#$%&'789)E'!
!

789B%C'GHIJKLHMNOPQKRSTUVHWXY'!
!

!"#$%&'!
!

1

提案手法 21(A, X)∗ = arg min ∥Y − AX∥22 + λ∥X∥12
A,X

次に，脳活動行列に対してもスパースコーディングをすることにより，脳活動データの本質的な情報を抽出し，観測情報を説明する汎化能力をもたす．提案手47(2)4実験

表 1: 推定ベクトルと正解ベクトルの cos 類似度

実験設定
使用するデータは，脳活動データと動画説明文である．このデータセットが訓練用に 3600 サンプル，テスト用に 540 サンプルある．脳活動データは，一人の被験者に動画像を見せ，fMRI を用いてその時の脳神経活動を 2 秒で 1 サンプル記録したものである．脳活動の観測領域は 100×100×32 ボクセルであり，そのうち大脳皮質部分が 30662 ボクセルである．提案手法 2 の方で脳活動データの辞書学習をする際に，データ数 3600サンプルよりもデータの次元を少なくしなくてはいけないため，30662 ボクセルのうち，訓練用データで脳活動データから言語データにリッジ回帰をし, 言語データを推測したときの cross validation の予測精度が 0.36より大きい 1404 ボクセルを抽出し，対象ボクセルとした．各ボクセルの大きさは，2.24×2.24×4.1mm3 である．動画説明文は被験者に見せた動画像の 2 秒ごとの静止画の説明文を 1 つの静止画につき，アノテータ60 人のうちランダムに抽出された 5 人が説明文を書いたものを使用した．脳活動データには動画視聴から約4〜6 秒の観測のずれがあるため，言語データは，脳活動データの 2,4,6,8, 秒前のデータと対応するように学習した．また，本研究ではスパースコーディングのア
ルゴリズムには Lasso-LARS，辞書学習のアルゴリズ
ムには LARS と Lasso-LARS を用い，基底数は言語辞書行列では 1200，脳活動行列では 1500 に設定した．
スパース性の重みのパラメータ λ は 1.0 に設定した．
言語行列を作る際，時間ごとに説明文に出てくる単語（名詞，動詞，形容詞）を，Mikolov ら [4] によって提案された word2vec において，日本語 Wikipedia のコーパスを対象に Skip-gram を利用して構築した 1000 次
元の分散意味表現を用いて表し，その和により文全体の分散意味とした．

ボクセル数

2秒

4秒

6秒

8秒

30662

0.15290.26140.26200.2004

提案手法 130662

0.16390.27280.27150.2077

リッジ回帰のみ

14040.0657

0.17570.18990.1200

提案手法 114040.0726

0.19080.20220.1285

提案手法 214040.0789

0.07280.04760.0210に言語表象でもスパースコーディングの処理が行われているのではないかと考えられる．提案手法 2 では，脳活動データの辞書学習の際に，訓練データの脳活動係数は 1 サンプル平均 31 個の基底の組み合わせで表されていたのに対し，テスト用の脳活動データをスパースコーディングした際には同じ脳活動辞書を用いて平均 390 個の基底の組み合わせで現れていることが分かり，これを同じようにリッジ回帰してしまったため，精度が悪くなってしまったことが考えられる．よって辞書学習とスパースコーディングのアルゴリズムやパラメータをいろいろ変えて実験をする必要がある．また，
本研究では，文書に出現する単語の分散意味表現ベクトルの和をその文書の言語表象として実験したが，単語間の関係を捉えた言語表象にする必要があるのではないかと考えられる．

6

まとめと今後の課題

本稿では，スパースコーディングを用いた辞書学習により，脳の活動部位から推測される言語表象を分散意味表現により表現した．今後は，辞書学習とスパースコーディングのアルゴリズムやパラメータの調整をする予定である．また，本稿では言語行列を名詞，動詞，形容詞を合わせて作成したが，品詞ごとに分けた実験もしたいと考えている．今回は言語データを word2vec を用いた単語の分散意味表現ベクトルの和としたが，今後は文書の分散意味を捉えた Glove[5] や paragraph2vec[6]などに変えて，同様の実験を行い，調査を続ける予定である．

評価方法

1 サンプルごとに正解データをテストデータの動画説明文の分散意味表現ベクトルとし，実験で出力される分散意味表現ベクトルに対して評価を行った．正解
ベクトルと推測されたベクトルとの cos 類似度を求め，マクロ平均をとり，[-1,1] の値で評価した．

参考文献[1] Tolga Cukur, Shinji Nishimoto, Alexander G Huthand Jack L Gallant“Attention during natural vision warps semantic representation across the humanbrain”, 2013

実験結果
脳活動データと言語データのずれを 2，4，6，8 秒と変えた場合について、それぞれ推測された分散意味表現ベクトルと正解データの分散意味表現ベクトルとのcos 類似度のマクロ平均を求めた（表 1）．また，比較としてスパースコーディングを用いず脳活動行列から言語行列に直接リッジ回帰をして推定した場合についても求めた．また，このリッジ回帰のみによる推定と提案手法 1 では脳の対象部位を大脳皮質全体（30662ボクセル）と予測精度の高いボクセル（1404 ボクセル）にした場合について求め，提案手法 2 では予測精度の高いボクセルにした場合について求めた．

5手法

リッジ回帰のみ[2] Stansbury DE1, Naselaris T, Gallant JL.“Naturalscene statistics account for the representation of scene
categories in human visual cortex”, 79(5):1025-34.
j.neuron,2013.
[3] Olshausen BA,Field DJ“Sparse coding of sensory inputs”,Curr Opin Neurobiol,2004.
[4] T.Mikolov, I.Sutskever, K.Chen, G.Corrado andJ.Dean “Distributed Representations of Words andPhrases and their Compositionality ”,2013.
[5] Jeﬀrey Pennington, Richard Socher and Christopher
D. Manning,“Glove: Global Vectors for Word ”, Conference on Empirical Methods in Natural Language
Processing (EMNLP 2014),2014

考察

リッジ回帰のみで言語表象を推定するよりも言語行列をスパースコーディングしたときの方が精度が良くなった．これにより，大脳皮質では初期視覚野と同様[6] Quoc Le, Tomas Mikolov, “Distributed Representations of Sentences and Documents”,2014.

48