画像キャプション生成タスクは画像認識と自然言語処理が含まれる複雑なタスクである。本論文では画像認識の部分に生成モデルであるGANを応用する。対象の画像をGANを用いて再構成し、再構成した画像から画像の内部表現を得る。これによりランダムで特徴量を得た場合よりも良い性能を出した。また、画像を再構成することにより、再構成する前のデータセットよりもキャプションモデルを変化させた場合の影響が大きくなった。これによりGANでの再構成によって空間的に画像を捉えるようになったことの示唆が得られた。

入力された画像の説明文を生成する画像キャプション生成は画像認識とその画像に対する自然言語処理を扱う人工知能の研究分野として注目されている。画像処理においてはオブジェクトの検出と認識が必要であり、また、どのような状況なのか、そのオブジェクトの特性はどのようなものか、それらの相互作用は何かも理解する必要がある。ある言語の文として正しいテキストを生成するためにはその言語の構文的・意味的な知識が必要である。機械が画像を理解するためには画像の特徴をどのように取得するかに大きく依存する。画像の特徴抽出には従来の機械学習ベースの手法と、深層学習ベースの手法に分けられる。従来の機械学習ベースの手法ではLBP[1]、SIFT[2]，HOG[3]などの特徴や、それらの特徴の組み合わせが広く使われている。入力データから特徴を抽出し、サポートベクターマシーン(SVM)[4]などの分類器に入力することでオブジェクトを判別する。一方、深層学習ベースの手法では大規模な画像や動画のデータセットから自動で特徴を学習するため、多様な入力に対応できる。例として、画像からの特徴抽出にはCNN(ConvolutionalNeuralNetworks)[5]が、広く用いられる。CNNでの処理に続いてキャプション生成にはRNN(ReccurentNeuralNetworks)が一般的である。近年頻繁に用いられる生成モデルであるGAN(GenerativeAdversarialNets)は画像などの生成タスクで大きな成功を収めている。GANは生成器と、生成器から生成されたものが本物か偽物かを見分ける識別器によって構成されている。GANを画像キャプション生成に応用した手法ではキャプション生成モデルを生成器とし、生成されたキャプションを評価する識別器を交互に評価するために敵対的学習を行った[12]。この手法により従来の強化学習ベースの画像キャプション生成モデルよりも良い性能となった。さらにその過程でよく学習された識別器は画像キャプションの評価指標としても利用することができる。GANの学習方法や識別器を画像キャプション生成タスクに応用する研究は行われている。本研究ではGANを画像処理部分に応用することによるキャプション生成への影響を調査するため、GANを画像処理部分に応用する手法を提案する。