敵対的生成ネットワークを用いて抽出した画像の構造情報に基づく画像キャプション生成

入力された画像の説明文を生成する画像キャプション生成は画像認識とその画像に対する自然言語処理を扱う人工知能の研究分野として注目されている。画像処理においてはオブジェクトの検出と認識が必要であり、また、どのような状況なのか、そのオブジェクトの特性はどのようなものか、それらの相互作用は何かも理解する必要がある。ある言語の文として正しいテキストを生成するためにはその言語の構文的・意味的な知識が必要である。機械が画像を理解するためには画像の特徴をどのように取得するかに大きく依存する。画像の特徴抽出には従来の機械学習ベースの手法と、深層学習ベースの手法に分けられる。従来の機械学習ベースの手法ではLBP[1]、SIFT[2]，HOG[3]などの特徴や、それらの特徴の組み合わせが広く使われている。入力データから特徴を抽出し、サポートベクターマシーン(SVM)[4]などの分類器に入力することでオブジェクトを判別する。一方、深層学習ベースの手法では大規模な画像や動画のデータセットから自動で特徴を学習するため、多様な入力に対応できる。例として、画像からの特徴抽出にはCNN(ConvolutionalNeuralNetworks)[5]が、広く用いられる。CNNでの処理に続いてキャプション生成にはRNN(ReccurentNeuralNetworks)が一般的である。近年頻繁に用いられる生成モデルであるGAN(GenerativeAdversarialNets)は画像などの生成タスクで大きな成功を収めている。GANは生成器と、生成器から生成されたものが本物か偽物かを見分ける識別器によって構成されている。GANを画像キャプション生成に応用した手法ではキャプション生成モデルを生成器とし、生成されたキャプションを評価する識別器を交互に評価するために敵対的学習を行った[12]。この手法により従来の強化学習ベースの画像キャプション生成モデルよりも良い性能となった。さらにその過程でよく学習された識別器は画像キャプションの評価指標としても利用することができる。GANの学習方法や識別器を画像キャプション生成タスクに応用する研究は行われている。本研究ではGANを画像処理部分に応用することによるキャプション生成への影響を調査するため、GANを画像処理部分に応用する手法を提案する。