敵対的生成ネットワークを用いて抽出した画像の構造情報に基づく画像キャプション生成

画像キャプション生成タスクは画像認識と自然言語処理が含まれる複雑なタスクである。本論文では画像認識の部分に生成モデルであるGANを応用する。対象の画像をGANを用いて再構成し、再構成した画像から画像の内部表現を得る。これによりランダムで特徴量を得た場合よりも良い性能を出した。また、画像を再構成することにより、再構成する前のデータセットよりもキャプションモデルを変化させた場合の影響が大きくなった。これによりGANでの再構成によって空間的に画像を捉えるようになったことの示唆が得られた。