深層学習が適用されるようになってからは、主に畳み込みニューラルネットワーク(cnn)を用いて画像や動画の特徴量を、回帰型ニューラルネットワーク(rnn)を用いて自然言語の特徴量を抽出して、2種類の特徴量を統合する手法が研究されてきた。