「心の中の言葉」はどのように予測できるか？―複数のモダリティの特徴に基づく脳活動デコーディングプロセスの構築―

画像を観察しながら心中で生成される言語内容を解読することは，従来の音声聴取タスクに比べて困難が伴う．音声刺激データは明確な時間軸を持ち，脳信号と時系列的に整合するため，比較的簡単な手法であるBOLD信号の遅延補正やスライディングウィンドウで処理できる．また，音声の時間変動は語音の認識に重要な役割を果たし，例えば，ポッドキャストの再生に基づくデータでは，文を単語やそれ以下の言語構造の最小単位に切り分け，単語速度の予測が可能となる．例えば，Tangら[1]の研究では，テキストを単語レベルの単位に切り分け，各単語を意味空間の1点にマッピングすることで，異なる語彙的概念に対する脳の応答を予測するための意味モデルを構築した．一方，画像観察による文想起タスクには明確な時間軸がなく，低時間分解能のfMRI信号を用いた時系列モデルの適用が難しい．このため，画像刺激に対する脳活動の時間的特性を捉えるには，異なるアプローチが必要となる．本稿では，マルチモーダルモデルの特性を活用し，画像刺激を通じて被験者が想起する文（想起文）の解読を試みる．また，fMRI実験設計では，画像刺激が固定的な時間に提示されることが多いため，fMRI信号は固定された時間軸を持つデータ（例：形状は(8TR,93452ボクセル)）として記録される．一方で，被験者が生成する想起文の長さが不特定であるため，言語モデルで特徴を抽出する際のトークン数も一定ではなく，（異なるトークン数，固定している言語モデルトークンサイズ）のように第一次元のサイズが異なるデータ形式となる．このため，画像観察中の想起文を解読するには，時間軸の曖昧さや言語生成プロセスの不規則性といった課題を解決する必要がある．これらの課題を解決するため，マルチモーダルな統合表現を用いて画像観察時の想起文解読に新たなアプローチを導入することで，解読精度の向上を目指す．