画像キャプションを介した脳活動からの視覚体験再構成

意味潜在表現を予測する問題を，脳活動からの画像ヒト脳活動から視覚体験を映像化する（視覚再構キャプション生成問題へと置き換える．これによっ成）精度が，大規模自然画像データで学習した深て，脳活動から連続値で推定されノイズを含む潜在層学習モデルを用いることで飛躍的に向上してい表現を，ノイズの少ない離散的なテキストへと変換る[2,3,4,5,6,7,8]．特に近年我々が提案したfMRIする．そうして予測されたテキストをLDMの入力（functionalMagneticResonanceImaging）により取得に用いることで，高精細かつ意味的に妥当な画像をされた脳活動データとLDM[9]（StableDiﬀusion）を出力できるという仮説を立てた．用いた手法[1]は，LDMで用いる画像・意味を表現本研究ではこの仮説を検証するために，大規模する潜在表現と脳活動との間にシンプルな線形モデデータセットによって訓練されたキャプション生成ルを構築するだけで，高解像度かつ意味的に妥当なモデル[12]を利用する.具体的には，視覚刺激提示中にfMRIから取得されたヒト脳活動を用いて提示*連絡先：takagi.yuu.fbs@osaka-u.ac.jp―1845―.画像のキャプションを生成し，そのキャプションを介した視覚再構成を行った（図1）．提案手法は，先行研究に比べて高精細かつ意味的に妥当な画像を出力することができた．また，キャプション生成モデルと脳活動との対応関係を探ることで，モデル内で視覚表現が意味表現へと変換される過程を定量的に示した．