画像キャプションを介した脳活動からの視覚体験再構成

との対応関係を探ることで，ブラックボックスであヒト脳活動から視覚体験を映像化する（視覚再構る深層学習モデルを生物学的な観点から理解する研成）精度が，大規模自然画像データで学習した深層究も進んでいる[10,11]．学習モデルを用いることで飛躍的に向上している．LDMは，入力文に対応した高精細な画像を出力近年我々が提案したLDM（LatentDiﬀusionModel）できる．それら高精細な画像と比較して，脳活動かを用いた手法[1]は，LDMの潜在表現と脳活動とのら生成された画像はぼやけてしまう問題があった間に線形モデルを構築するだけで高解像度の視覚再[1]．ここで興味深いことに，脳活動から生成された構成が可能なことを示した一方で，生成画像がぼや画像はぼやけてはいるものの，元画像の意味情報はける問題があった．本研究では，脳活動から生成さよく表現している．このことは，離散的なテキストれた画像キャプションを介することで，高精細な再入力と対応する自然画像を用いて訓練されたLDM構成が可能となることを示す．また，キャプションが，意味潜在表現空間の全域で自然画像と対応して生成モデルの内部表現と脳との対応関係を探ることいるわけではない，もしくは部分的に滑らかではなで，モデルの内部で視覚情報が意味情報へと動的にく，脳活動からの推定に伴うノイズに対して脆弱な変換されていく過程を定量的に示す．ことを示唆する．我々は上記の観察を踏まえて，脳活動から画像の