視覚と自然言語の融合研究
視覚と自然言語の融合研究の手法について、視覚情報や自然言語の特徴量を得る機構などには共通点が多く、2018年ごろまでの多くの手法は、(1)視覚情報処理、(2)自然言語処理、(3)二つの情報の統合を行う3個のサブシステムを持っていた。
視覚情報処理には、かつてはSIFTなどの局所画像特徴量が用いられていたが、深層学習が適用され始めてからは主にCNNが使用されてきた。2017年まではCNNが出力する特徴量をそのまま利用するモデルが多かったが、バウンディングボックスやグラフ構造を中間表現として利用する研究も行われるようになった。
自然言語処理には単語ベクトルが使われることが多かったが、深層学習が適用され始めてからは主にRNNで得られる文章全体の特徴量が使用されてきた。
これらの手法によって得られた画像や動画と自然言語の情報を統合するための手法は、タスクごとに様々なものが利用されている。CNNやRNNから得られた特徴量ベクトルを統合する最も単純な方法は、二つのベクトルを連結したりアダマール積をとることである。より高度な手法として、注意機構(Attention)という手法を適用して、画像や自然言語からそれぞれのクエリに対して重要な情報を自動的に選択して利用することが提案されている。