本研究では，被験者が画像観察時に想起する内容（想起文）の脳活動表現を解明するための新たな手法を模索し，fMRI信号とLLaVAによる画像と言語の統合表現を用いたデコーディングプロセスを構築した．特に，LLaVAが生成するトークン表現とfMRI信号の時間軸不一致問題に対して，滑動平均による信号のノイズ低減とリッジ回帰による関連性学習を組み合わせることで，解読手法の整合性を向上させた．さらに，生成方式の違いがモデル性能に与える影響を検討し，想起文の脳活動表現の初歩的なデコーディングプロセスとその可能性を示す結果を得た．

画像を観察しながら心中で生成される言語内容を解読することは，従来の音声聴取タスクに比べて困難が伴う．音声刺激データは明確な時間軸を持ち，脳信号と時系列的に整合するため，比較的簡単な手法であるBOLD信号の遅延補正やスライディングウィンドウで処理できる．また，音声の時間変動は語音の認識に重要な役割を果たし，例えば，ポッドキャストの再生に基づくデータでは，文を単語やそれ以下の言語構造の最小単位に切り分け，単語速度の予測が可能となる．例えば，Tangら[1]の研究では，テキストを単語レベルの単位に切り分け，各単語を意味空間の1点にマッピングすることで，異なる語彙的概念に対する脳の応答を予測するための意味モデルを構築した．一方，画像観察による文想起タスクには明確な時間軸がなく，低時間分解能のfMRI信号を用いた時系列モデルの適用が難しい．このため，画像刺激に対する脳活動の時間的特性を捉えるには，異なるアプローチが必要となる．本稿では，マルチモーダルモデルの特性を活用し，画像刺激を通じて被験者が想起する文（想起文）の解読を試みる．また，fMRI実験設計では，画像刺激が固定的な時間に提示されることが多いため，fMRI信号は固定された時間軸を持つデータ（例：形状は(8TR,93452ボクセル)）として記録される．一方で，被験者が生成する想起文の長さが不特定であるため，言語モデルで特徴を抽出する際のトークン数も一定ではなく，（異なるトークン数，固定している言語モデルトークンサイズ）のように第一次元のサイズが異なるデータ形式となる．このため，画像観察中の想起文を解読するには，時間軸の曖昧さや言語生成プロセスの不規則性といった課題を解決する必要がある．これらの課題を解決するため，マルチモーダルな統合表現を用いて画像観察時の想起文解読に新たなアプローチを導入することで，解読精度の向上を目指す．