拡散過程を用いたキャプション生成への取り組み

これまで人工知能が発展しない理由とされていた「創造する」という課題が深層学習を使った画像生成や自然言語文生成によって可能になりつつある．自然言語文生成においては，汎用言語モデルの出現により言語モデル中心の文生成が主流となっている．そのような背景において，自然言語文生成における課題としては大量のコーパスから学習した汎用言語モデルを再学習を必要とせずに言語モデルの振る舞いを制御することが挙げられる．一方，近年，画像生成においては，拡散過程（DiﬀusionProcess,DP）を採用した手法が，敵対的生成ネットワーク（GenerativeAdversarialNetworks,GAN）による従来の最高性能を超える画像の生成を可能にした[1]．また，Liら[2]によって，本来，連続的な情報を扱うDPに対して，離散情報である自然言語を扱えるようにしたDiﬀusionLanguageModel(DLM)が提案されており，従来の最高性能を超えるような制御可能な自然言語文生成の可能性が示されている．これらの背景から，本研究では拡散過程を用いた画像キャプショニング手法を提案する.手法の開発においては，拡散過程に基づく非自己回帰の言語モデルとその外部に拡散過程を制御する識別器を導入することで，画像に対応したキャプション生成を可能にする．