視覚と自然言語の融合研究
2014年に研究が始められた当初の手法は、あらかじめ定義された形式の回答に限定されたものだったが、2015年には回答の形式を限定しないような質問にも対応できるモデルが提案された。2015年に提案されたモデルのひとつは、CNNで抽出された画像の特徴量ベクトルと質問文章の単語ベクトルの両方をエンコーダのRNN(LSTM)に入力することで特徴量を統合し、デコーダのRNNで回答を生成する手法である。同時期には、特徴量の統合の方法を変更したり、注意機構(Attention)の適用や、データベースを利用する方法など、様々な手法が提案されている。2019年には自然言語処理にTransformerを使用するモデルや、Transformerを用いて画像と自然言語の特徴量を統合的に事前学習する手法が提案されている。
自然言語処理は、人間が使用する言語(自然言語)をコンピュータに処理させる分野である。主なタスクとしては情報検索、質問応答、機械翻訳などが含まれる。
視覚と自然言語の融合研究のタスクには共通点があるが、タスクごとに異なる手法が研究されている。ここでは主なタスクの手法と評価手法を紹介する。