視覚と自然言語の融合研究
2016年からGANを応用した手法が提案されていたが、文章で条件付けしない通常の画像生成と比較すると、生成される画像の質が低かった。画像の質を高めるために複数のGANを使用したり、文章全体の意味を画像に反映するために注意機構(Attention)を使用する研究が提案された。
大規模なデータセットを用いて学習することは、深層学習モデルの汎化性能を高める重要な要素のひとつである。視覚と自然言語の融合研究においても大規模なデータセットは重要な役割を果たしており、モデルの学習と評価に不可欠な存在である。写真の共有サイトであるFlickrなどから提供される画像データとクラウドソーシングによるアノテーションによって、大規模なデータセットを作ることが可能になった。このような既存の画像を収集するだけではなく、データセットのために作成されることもある。
さまざまなデータセットが提案されているが、データセットのサイズ(含まれる画像や文章の数)、画像の質や多様性、文章の長さ、文章に含まれる単語や構文の多様性、アノテーションの豊富さなどの異なる性質を持っており、それぞれのデータセットに利点と欠点がある。
本節では主なデータセットを紹介する。