拡散過程を用いたキャプション生成への取り組み

近年，拡散過程を用いたモデルが連続データ生成において非常に良い性能を達成しており，離散データ生成においても盛んに研究が進められている．本研究は，拡散過程を用いた画像キャプショニング手法の開発を目的とする．拡散過程による自然言語文生成を画像を対象に制御するために，推測されたノイズ除去状態の潜在変数から分類器によって求められた画像特徴量と実際の特徴量の損失に基づき勾配の更新を繰り返すことにより，最終的に画像に適したキャプションを生成する．生成したキャプションは，SOTAとの比較において優位な結果ではなかったが，単純な手続きでも拡散過程を用いた画像キャプショニングが可能であることを確認した．