視覚と自然言語の融合研究
2010年代の深層学習の適用によって、画像と自然言語処理の融合分野も大きな発展を遂げた。VQA(2014年)、マルチモーダル機械翻訳(2016年)、Visual Dialog(2017年)、視覚と言語を用いたナビゲーション(2017年)といったタスクの研究も2010年代に始まった。
深層学習が適用されるようになってからは、主に畳み込みニューラルネットワーク(CNN)を用いて画像や動画の特徴量を、回帰型ニューラルネットワーク(RNN)を用いて自然言語の特徴量を抽出して、2種類の特徴量を統合する手法が研究されてきた。2019年からはTransformerという共通のモデルを用いる手法が研究されている。
1968年から始められたSHRDLUというプロジェクトが、視覚と自然言語の融合における最初期の研究のひとつとされている。SHRDLUは人間が自然言語で指示をすることで、コンピュータ内の仮想空間の積み木を操作できるコンピュータプログラムである。これ以降の視覚と自然言語の融合研究では、ロボットを自然言語による対話で操作するという分野が多く研究されてきた。