拡散モデルを用いた脳活動条件による視覚体験再構成手法

人間の脳活動から視覚体験を再構成する研究は，脳内視覚表象の理解と人工知能技術の発展の両面から注目されている．本研究では，StableDiﬀusionの条件付け入力としてfMRI脳活動データを用いる手法を構築し，複数の条件下における画像再構成の精度を検証した．まず，脳活動をLatentDiﬀusionModel（LDM）の条件付け機構に合致するコンテキスト表現へ変換するBrain-to-Context（B2C）エンコーダを実装し，直接的な信号入力による画像生成の基礎的な性能を評価した．その上で，再構成精度に影響を与える要因を明らかにするため，二つの比較実験を行った．第一に，脳活動データを一括で変換する手法と，主要な脳領域（ROI）ごとに分割して変換する手法を比較し，脳信号の空間的な処理単位が再現性に与える影響を評価した．第二に，アノテーションに基づくCLIPテキスト埋め込みをB2Cの損失関数に導入し，テキスト埋め込みとの意味的整合性の有無が再構成結果に及ぼす影響を検討した．実験の結果，出力に不明瞭さが残る場合があるものの，特定の条件下では対象物の概念や色彩といった意味的特徴の復元が確認された．これらの結果は，脳信号の空間的な分割や意味的な制約が視覚再構成の質を決定付ける重要な要因であることを示している．