拡散モデルを用いた脳活動条件による視覚体験再構成手法

人間の脳は外界から得られる視覚情報を高度に処理し，物体認識や情景理解といった複雑な知覚体験を形成している．このような脳内の視覚情報処理を解明することは，神経科学における重要な課題であると同時に，画像認識や生成を中心とした人工知能技術の発展にも大きく貢献すると期待されている．近年，脳活動データから視覚体験を再構成する試みとして，LatentDiﬀusionModel（LDM）を活用した研究が注目を集めている[1,2]．特に，fMRI（functionalMagneticResonanceImaging）とStableDiﬀusionを組み合わせ，脳活動から潜在表現や言語特徴量を推定する手法は，高精細な画像再構成を可能にしている[1]．ただし，これらの手法ではテキスト特徴量や既存の条件付け機構を介して生成を行うため，表現の自由度がその中間媒体に依存する側面があり，脳内表象に含まれる情報を生成過程へ十分に反映する手法の検討が重要となる．この課題に対し，本研究ではStableDiﬀusionを基盤とし，脳活動データをLDMの条件として直接利用する新たなアプローチを提案する．本研究の核心は，fMRIから得られた脳活動データを拡散モデルの条件付け機構に適合するコンテキスト表現へ変換するBrain-to-Context（B2C）エンコーダの導入にある．これを用い，テキスト特徴量を補助的に併用する場合と脳活動のみを用いる場合の比較，および脳活動データの処理（脳領域ごとの分割の有無等）による差異を検証する．これにより，脳活動が持つ空間的・意味的情報を直接的に拡散過程へ反映し，視覚体験の再構成精度をどこまで向上させ得るかを探究する．