との対応関係を探ることで，ブラックボックスであヒト脳活動から視覚体験を映像化する（視覚再構る深層学習モデルを生物学的な観点から理解する研成）精度が，大規模自然画像データで学習した深層究も進んでいる[10,11]．学習モデルを用いることで飛躍的に向上している．LDMは，入力文に対応した高精細な画像を出力近年我々が提案したLDM（LatentDiﬀusionModel）できる．それら高精細な画像と比較して，脳活動かを用いた手法[1]は，LDMの潜在表現と脳活動とのら生成された画像はぼやけてしまう問題があった間に線形モデルを構築するだけで高解像度の視覚再[1]．ここで興味深いことに，脳活動から生成された構成が可能なことを示した一方で，生成画像がぼや画像はぼやけてはいるものの，元画像の意味情報はける問題があった．本研究では，脳活動から生成さよく表現している．このことは，離散的なテキストれた画像キャプションを介することで，高精細な再入力と対応する自然画像を用いて訓練されたLDM構成が可能となることを示す．また，キャプションが，意味潜在表現空間の全域で自然画像と対応して生成モデルの内部表現と脳との対応関係を探ることいるわけではない，もしくは部分的に滑らかではなで，モデルの内部で視覚情報が意味情報へと動的にく，脳活動からの推定に伴うノイズに対して脆弱な変換されていく過程を定量的に示す．ことを示唆する．我々は上記の観察を踏まえて，脳活動から画像の

意味潜在表現を予測する問題を，脳活動からの画像ヒト脳活動から視覚体験を映像化する（視覚再構キャプション生成問題へと置き換える．これによっ成）精度が，大規模自然画像データで学習した深て，脳活動から連続値で推定されノイズを含む潜在層学習モデルを用いることで飛躍的に向上してい表現を，ノイズの少ない離散的なテキストへと変換る[2,3,4,5,6,7,8]．特に近年我々が提案したfMRIする．そうして予測されたテキストをLDMの入力（functionalMagneticResonanceImaging）により取得に用いることで，高精細かつ意味的に妥当な画像をされた脳活動データとLDM[9]（StableDiﬀusion）を出力できるという仮説を立てた．用いた手法[1]は，LDMで用いる画像・意味を表現本研究ではこの仮説を検証するために，大規模する潜在表現と脳活動との間にシンプルな線形モデデータセットによって訓練されたキャプション生成ルを構築するだけで，高解像度かつ意味的に妥当なモデル[12]を利用する.具体的には，視覚刺激提示中にfMRIから取得されたヒト脳活動を用いて提示*連絡先：takagi.yuu.fbs@osaka-u.ac.jp―1845―.画像のキャプションを生成し，そのキャプションを介した視覚再構成を行った（図1）．提案手法は，先行研究に比べて高精細かつ意味的に妥当な画像を出力することができた．また，キャプション生成モデルと脳活動との対応関係を探ることで，モデル内で視覚表現が意味表現へと変換される過程を定量的に示した．