視覚と自然言語の融合研究
画像検索も視覚と自然言語の融合研究における最初期のタスクのひとつである。従来は画像に人間がつけたキャプションを利用していたが、1990年代から画像の視覚情報も用いて検索を行う研究が行われるようになった。
画像キャプション生成は2000年代ごろから研究が行われており、主にテンプレートを用いた手法が提案されていた。テンプレートを用いて文章を生成するためにSIFT(英語版)やHOG(英語版)などの局所画像特徴量に対してサポートベクターマシン(SVM)などの分類器を適用するなどの手法が提案された。