「心の中の言葉」はどのように予測できるか？―複数のモダリティの特徴に基づく脳活動デコーディングプロセスの構築―

本研究では，被験者が画像観察時に想起する内容（想起文）の脳活動表現を解明するための新たな手法を模索し，fMRI信号とLLaVAによる画像と言語の統合表現を用いたデコーディングプロセスを構築した．特に，LLaVAが生成するトークン表現とfMRI信号の時間軸不一致問題に対して，滑動平均による信号のノイズ低減とリッジ回帰による関連性学習を組み合わせることで，解読手法の整合性を向上させた．さらに，生成方式の違いがモデル性能に与える影響を検討し，想起文の脳活動表現の初歩的なデコーディングプロセスとその可能性を示す結果を得た．