視覚と自然言語の融合研究
VQAの回答は画像キャプションなどよりは短いことが多いため、単純な評価手法が使用されることが多いが、高度な評価手法も研究されている。単純な手法のひとつは、生成された回答とデータセットに含まれる回答が厳密に一致しているかを評価することである。高度な手法としては、回答の意味の類似度を評価する手法が研究されている。
与えられた文章に対応した画像を生成するタスクである。
敵対的生成ネットワーク(GAN)の登場に伴い、2016年に文章から画像を生成する最初の研究が発表された。
GANなどのコンピュータビジョンにおける画像生成タスクで使用される評価指標が使われている。Inception Scoreという指標を用いて画像の質や多様性を評価できるが、Inception Scoreでは文章に対応した画像を生成できているかを評価することができないので、R-Precisionという指標も併用される。