言語処理学会 第24回年次大会 発表論文集 (2018年3月)

異被験者間の脳活動データにおける相互変換への取り組み
張嘉瑩 †††1小林一郎 †お茶の水女子大学

松尾映里 †‡

西本伸志 ‡西田知史 ‡¶情報通信研究機構

麻生英樹 ¶

産業技術総合研究所{g1420526,koba,g1220535}@is.ocha.ac.jp, ‡ {nishimoto,s-nishida}@nict.go.jp,¶
h.asoh@aist.go.jp

はじめにいと報告されている [6] ことから BiDNN を用いることにする．

近年，脳神経科学分野において，脳神経活動を定量BiDNN では，一つ目のモダリティを入力，二つ目的に理解する研究が盛んに行われている [1, 2, 4] ．まのモダリティを出力とするネットワークと，二つ目のた，近年の深層学習の成果を取り入れて脳活動データモダリティを入力，一つ目のモダリティを出力とするを解読する研究も報告されている．松尾らは画像刺激

先ほどとは別のネットワークの二つを図 1 のようにを受けた際の脳活動データを入力としてその人が想起別々に学習させる．損失関数は平均二乗誤差とする．

している意味情報，すなわち画像によって想起された

その際，それぞれのネットワークの中間層を 1 のよう事象を深層学習を用いて自然言語文で説明する手法をに重みを転置して共有させることにより，複数モーダ提案している [5] ．そのような深層学習を用いて脳活ルの対応関係を取ることができる．

動データを取り扱う際，学習のために大量のデータが"/01%必要である．一方，functional Magnetic Resonnance(1%01%!"#$%&'()*+"%,$-.(/)&'()*+"%,$-.(/)&'()*+"%,!"#$%&'()*+"%,

Imaging (fMRI) を用いた脳活動データの収集コストが高いことや，脳のサイズに個人差があるためにたとえ同じ課題の実験であったとしても同じ被験者の脳活動データしか使用できないことにより，機械学習のために使用できるデータ数が不足するといった問題が生じる．
これらの背景を踏まえて，本研究では，異なる被験者の脳活動データ同士の対応関係を学習し一つの形に統一することで，データを擬似的に増やし，それを実際に深層学習に使用できるようにすることを目指す．

2"))-/

図 1: BiDNN のモデル

2BiDNN
異なる被験者同士の脳活動データを統一する際に，異なる被験者から取得される脳活動データそれぞれをマルチモーダルデータとみなし，マルチモーダル

3

提案手法情報を相互に変換する手法を適用して，ある被験者

本研究では，異なる被験者の脳活動データ同士の対の脳活動データを他の被験者の脳活動データから擬応関係を学習して統一することで，擬似的に増やした似的に作り出すことを考える．これに対して，本研データを使用できるようにすることを目指す．図 2 に

究では Vukotic らによって提案された Bidirectional

提案手法の概要を示す．具体的には，使用する脳活動Deep Neural Network (BiDNN) を用いる．複数モーダルを学習できるものに，Ngiam らによる Multimodal
Autoencoders [3] もあるが，BiDNN の方が精度が良データを，動画像タスク 1 のみを視聴した被験者 A と動画像タスク 1 と 2 を視聴した被験者 B のものと仮定して，以下の手続きを行う．

― 148 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

345!"#ED"#-./012)

DEDE$%&'()F+,

678
E
9:;
<(=>?@ABC$%&'()*
図 2: 本研究の概要

step 1. 学習

4.1.1

BiDNN を用いて，動画像タスク 1 を視聴したと
きの A と B の脳活動データをそれぞれ入出力とし，対応関係を学習する．

データ

使用するデータは，動画像タスク 1 を被験者に見せたときの血中酸素飽和度信号 (BOLD 信号) を．fMRIを用いて，2 秒で 1 サンプル記録した脳活動データである．被験者 A の脳活動データは，脳活動の観測領

step 2. 変換
step 1. におけるモデルを使用し，学習に用いたタ

域 96×96×72 ボクセルのうち，皮質に相当する 65,665

スク 1 とは別の動画像タスク 2 を視聴した B の次元のデータを，被験者 B の脳活動データは，脳活動脳活動データを，A の脳活動データに変換する．の観測領域 96×96×72 ボクセルのうち，皮質に相当す

これにより，擬似的に動画像タスク 2 を視聴した

る 68,942 次元のデータを利用している．データ数は，A の脳活動データが得られる．

train が 4,200 サンプル，test が 300 サンプルとしている．

step 3. 評価
評価においては，松尾らが提案した手法 [5] を利用する．動画像タスクを視聴しているときの脳活

4.1.2

動データを入力とし，その際，被験者が想起している意味情報の説明文を出力する．動画像タスク

1 のみを視聴した被験者の脳活動データを入力としたときと比べて，動画像タスク 1 と 2 の両方を視聴した被験者の脳活動データを入力としたときに出力された説明文の精度が上がっているのか確認する．

実験設定

先行研究 [6] では，深層学習のフレームワーク

Theano を利用しているが、本研究では同じ深層学習のフレームワークである Chainer で実装した．
まず，メモリの問題で入出力に約 60,000 次元のデータが使えなかったため，AutoEncoder を用いて次元削減をした．二人の被験者の脳活動データをそれぞれ7,500 次元に圧縮した．学習アルゴリズムは確率的勾配降下法，損失関数は平均二乗誤差を用いている．

4実験

4.1

学習

次に，BiDNN を用いて，二人の被験者同士の脳活動データを学習した．学習のユニット数は 7,500 - 5,500- 2,000 - 5,500 - 7,500 とし，学習アルゴリズムは確率

本研究では，まず Vukotic ら [6] によって提案され的勾配降下法，損失関数は平均二乗誤差を用いている．

た BiDNN を構築し，異なる被験者の脳活動データ同士の対応関係を学習した．

― 149 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

4.2

変換

実験設定

4.3.2

評価実験を 2 つ行う．まず，被験者 A のデータの次に，実験 1 で学習したモデルを使用して，データうち，動画像タスク 1 を見せたときの 4,500 サンプルの変換をした．

を使用したときと動画像タスク 1 を見せたときのデー

4.2.1

タと擬似的に動画像タスク 2 を見せたときの合わせてデータ6,600 サンプルを使用したときの精度を計測する実験

実験 1 とは違う動画像タスク 2 を被験者に見せたとである．これにより，擬似的に 2,100 サンプル増やしきの血中酸素飽和度信号 (BOLD 信号) を 2 秒で 1 サた際に精度にどのような影響を与えるのかを見ること

ンプル記録した脳活動データを使用した．こちらは被ができる．次に，被験者 B データのうち，動画像タス験者 B のみで，68,942 次元のデータである．データ

ク 1 を見せたときの 4,500 サンプルを使用したときと数は 2,100 サンプルである．

動画像タスク 1 と 2 を見せたときの合わせて 6,600 サ
ンプルを使用したときの精度を計測する実験である．

4.2.2

これにより，実際に視聴している 2,100 サンプルを増実験設定

やした際に精度にどのような影響を与えるのかを考察

まず，入出力に約 60,000 次元のデータが使えないのすることができる．

で，実験 1 と同様に AutoEncoder を用いて 7,500 次元に圧縮した．そして，実験 1 で学習したモデルを使用して，データの変換をした．これにより，被験者 A

実験結果

4.3.3

が擬似的に動画像タスク 2 を見たとする脳活動データ

評価実験 2 つにおける BLEU スコアを表 1 に示しが得られる．このデータの次元数は 7,500 で，データた．BLEU スコアは，train データと test データの双数は 2,100 サンプルである．

方について求めた．

4.3

表 1: 評価実験における BLEU スコア

評価

最後に，松尾らが提案した手法 [5] を利用して評価をする．図 3 に概要図を示す．まず，動画像視聴時に被験者

タスク

BLEU スコア (train / test)

A

1

0.5067 / 0.5476

1, 2(擬似)0.5055 / 0.5438

10.5290 / 0.5531

1, 2

0.5180 / 0.5448

見ていたとされる動画像から切り出した静止画に対して生成した説明文を正解文とする．次に，動画像視聴

B

時の脳活動データを入力とし，その時想起している言語意味情報の説明文と先ほどの正解文を BLEU スコアで評価する．

4.3.14.4

データ

考察

正解文の生成に用いる静止画のデータ数は，動画像被験者 A における評価実験の結果を見ると，train

タスク 1 から切り出したものが 4,500 サンプル，動画と test のどちらも擬似的なデータを増やした際にはわ像タスク 2 から切り出したものが 2,100 サンプルであずかに BLEU スコアが下がっている．また，被験者る．また，脳活動データは被験者 A に動画像タスク 1

B における評価実験の結果を見ても，train と test のを見せたときに観測した 4,500 サンプルと実験 2 よりどちらもデータを増やした際にはわずかに BLEU ス

擬似的に得られた 2,100 サンプルと，被験者 B に動画コアが下がっている．データを増やしたにも関わらず，

像タスク 1 と動画像タスク 2 を見せたときにそれぞれ当初予想していた結果とは逆の結果となってしまった

観測した 4,500 サンプルと 2,100 サンプルである．

が，擬似的ではなく実際にタスク 2 を視聴した際のBLEU スコアの減少と，擬似的にタスク 2 を視聴した際の BLEU スコアの減少の具合が似ていることから，今回の提案手法が明らかに間違っているとは言い難い．また，実際にタスク 2 を視聴したデータを増や― 150 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

図 3: 脳活動データからの文生成の概要 [5]した際に BLEU スコアが下がることは，図 4 のよう参考文献なタスク 1 と比べて図 5 のように，視聴した動画に直感的にも説明文をつけることが難しいものが多かった[1] Cukur, S. Nishimoto, A. G. Hut, and J. L. Gallant, “Attention during natural vision warps se-

こともその一因として考えられる．

mantic representation across the human brain”,
Nature Neuroscience 16, 2013.
[2] A. G. Huth, S. Nishimoto, A. T. Vu, and J. L.
Gallant, “A continuous semantic space describes
the representation of thousands of object and action categories across the human brain”, Neuron,76(6), 1210-1224, 2012.
図 4: タスク 1 における例

図 5: タスク 2 における例[3] J. Ngiam, A. Khosla, M. Kim, J. Nam, H. Lee,and A. Y. Ng, “Multimodal deep learning”, In
Intl. Conf. on Machine Learning, 2011.

5[4] S. Nishimoto, A. T. Vu, T. Naselaris, Y. Ben-おわりにjamini, B. Yu, and J. L. Gallant., “Reconstruct-

本研究では，異なる被験者同士の脳活動データを相ing visual experiences from brain activity evoked

互変換するために BiDNN を用いた手法を提案した．

by natural movies”, Current Biology, 21(19),

脳活動データから被験者が想起している言語意味情報

1641-1646, 2011.

を説明文として出力することにより，提案手法の精度[5] 松尾映里, 小林一郎, 西本伸志, 西田知史, 麻生英を確認したが，今回の提案手法が有効ともそうでない

樹, “画像説明文生成手法を援用した画像刺激時のとも言い難い結果となった．

脳活動の説明文生成”, 言語処理学会, P6-2, 2017.

今後の課題として，直感的に説明文をつけやすい動画のみを使用した際に精度がどのように変わるか確認[6] V. Vukotic, C. Raymond, G. Gravier, “Bidirec-

したり，動画像タスク 1 のみを 2 つに分けて 2 つのタtional Joint Representation Learning with Sym-スクとみなし，今回と同じ実験をした際に精度がどのmetrical Deep Neural Networks for Multimodalように変わるか確認したい．また，新たに動画像タス

and Crossmodal Applications”, he 2016 ACM In-クにおける脳活動データを追加して，本研究の提案手

ternational Conference on Multimedia Retrieval

法を再度検討したい．

(ICMR), pages 343-346, ACM, New York, 2016.

― 151 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.