視覚と自然言語の融合研究
画像や動画に含まれる情報に対して、自然言語を用いて対話を行うタスクである。例えば、人間が対話システムに画像の内容に関する複数の質問を問いかけるという対話において、対話システムは過去の対話内容も考慮して回答する必要がある。
Visual Dialogは2017年に提案されて研究が始まった。
データセットには画像と説明文が含まれるが、データセットによってデータの数や質、収集方法などが異なる。
事前学習とは、機械学習のモデルを大規模なデータセットで学習することで、さまざまなタスクに用いることができる特徴量を抽出できるモデルを学習する手法である。大規模なデータセットで事前学習を行ったのちに、比較的小規模のデータセットを用いて個別のタスクにチューニングを行うことで、高い性能を持つモデルを学習できることが知られている。コンピュータビジョンにおいてはCNNをImageNetなどの大規模なデーセットで事前学習することは広く行われてきたが、RNNを用いた自然言語処理で事前学習を行うことは少なかった。2017年に発表された自然言語処理の新しいモデルであるTransformerに対して事前学習を行う手法が2018年に提案され、自然言語処理においても文章全体について事前学習を行う研究が行われるようになった(BERTなど)。2018年には動画にTransformerを適用する研究が提案され、2020年には画像にTransformerを適用する研究も始められた(Vision Transformer(英語版))。
視覚と自然言語の融合研究においても、2019年からTransformerを用いて画像・動画と自然言語の事前学習を同時に行う研究が行われている。
視覚と自然言語の融合研究として以下のような分野が研究されている。
さまざまな種類のクエリに対する画像検索が研究されているが、文章か画像をクエリとする研究が多く研究されている。
文章をクエリとする検索について、2019年でもウェブ検索では人間がつけたキャプションなどの自然言語の情報を利用しているとされている。キャプションがない画像も検索するために、画像キャプション生成などを用いて自動的にアノテーションを行う手法を適用することが研究されている。
人間がつけたキャプションなどを利用しない方法として、1990年代から画像をクエリとして類似する画像を検索する研究が行なわれている。画像をクエリとした画像検索は、画像から特徴量を抽出して類似度を評価することで行なわれる。初期の研究として色、形、質感などを特徴量として使用する方法が研究されてきたが、それだけでは画像が表す意味の類似性を比較することができないことが課題だった。そのため、深層学習が適用される以前から、画像全体の意味も表すような特徴量も併用する試みが研究されてきた。深層学習を使用した方法も数多く提案されており、CNNを利用して画像検索に有用な特徴量を抽出する研究が行なわれている。