近年自然言語処理と神経科学の融合研究が発展してきており,脳活動データセットの整備が急速にされてきている.すでに一般公開されているデータセットが多数存在するが,得られる脳活動データの性質は,脳機能計測機器に依存する.本研究では,同じ刺激を用いて複数の性質の異なる脳機能計測器から収集された脳情報処理ベンチマークであるBCCWJ-Brainを構築し,言語モデルの評価を行った.空間分解度の高いデータ(fMRI)と時間分解度の高いデータ(MEG/EEG)を併用することで,高速に進行する文処理を多面的に検討できる可能性を示した.

近年の神経科学の領域では,大規模言語モデルなどを用いた認知モデリングが盛んに行われている[1,2].モデルの算出する特徴量を用い,モデルと脳活動を対照することで両領域に対する貢献がもたらされることが期待されている.これらの研究において,近年自然な刺激を用いた脳活動データの一般公開が急速に普及しており,研究者各自が脳活動データを説明するモデルを準備し,解析することが可能になってきている.このようなデータは多くの場合,1種類の脳活動データを用いているが,脳機能計測器ごとに特性が異なる.例えば,機能的磁気共鳴画像法(functionalMagneticResonanceImaging,fMRI)は時間分解度が低い一方で空間分解度が高いため,関心のある認知活動の行われている脳活動部位の特定に向いている.他方で脳波(Electroencephalography,EEG)は,空間分解度が低い反面,時間分解度は高いため,認知活動の動的な時間変化を捉えるのに適している.脳磁図(Magnetoencephalography,MEG)は両者の分解度が高いとされている.このように,扱う脳活動データによって捉えられる情報が限られるため,1種類の脳活動データを用いた場合,検証対象となるモデルの認知的妥当性の包括的な評価ができているとは言い難い.これらを踏まえ,本研究では,同じ刺激文を用いた複数の脳活動データを取得し,言語モデルの総合的な評価を行うことを試みる.本研究では,日本語の新聞記事を読んでいる際の脳活動を異なる脳機能計測器でそれぞれ個別にデータ収集した.解析の一例として言語の階層構造を考慮した言語モデルである再帰的ニューラルネットワーク文法(RecurrentNeuralNetworkGrammar,RNNG)[3]を用いて,fMRI/MEG/EEGの3つの脳活動データ解析を行った.先行研究では,英語のfMRI/EEGデータで,RNNGの認知的妥当性が検証されている[4,5].本研究では,日本語の複数の脳活動データを用いることで,RNNGの認知的妥当性を統一的・包括的に検証することを目標とする.解析の結果,文処理に関連する脳領域,時間幅のそれぞれの観点からRNNG,特に左隅型解析戦略を用いたRNNGの認知的妥当性が示された.