視覚と自然言語の融合研究
データセットバイアスとは、機械学習モデルの学習に使用したときに誤った結論を導く可能性がある、データセットの偏りのことである。例えば、画像データセットを用いて「自動車」を認識する機械学習モデルを学習するときに、ImageNetというデータセットでは「自動車」というラベルにスポーツカーを多く含むため、自家用車の検出性能が低くなってしまうという問題が起こることがある。逆に、学習データとテストデータは多くの場合は同じ条件で集められているため、学習データを記憶するだけでテストデータにも対応できてしまい、実際の性能よりも高く評価されてしまうという問題が起こることもある。
データセットバイアスはコンピュータビジョンや自然言語処理のそれぞれの分野でも問題となるが、両方の分野を対象とする融合研究ではより深刻な影響を受けるとされている。一例として、VQAのデータセットにおいて、質問に対する回答に偏りがあると画像を使わなくても一定の精度を達成できてしまうことが知られている。例えばデータセットに「画像中に〜がありますか」という形式の質問が複数あり、答えとして「はい」が多いという偏りがあるとする。機械学習モデルは画像の内容を確認して答えることが期待されるが、自然言語の質問だけを見て「画像中に〜がありますか」という形式の質問には常に「はい」と答えるように学習をされてしまうことが起こり得る。
解決方法としてデータセットからバイアスを取り除く方法が研究されているが、大規模なデータセットにおいてあらゆる要素のバイアスを取り除くことは不可能に近く、未解決の問題とされている。
研究が始められた2000年代ごろには主にテンプレートを用いた手法が提案されていた。テンプレートを用いて文章を生成するためにSIFT(英語版)やHOG(英語版)などの局所画像特徴量に対してSVMなどの分類器を適用するなどの手法が提案された。
深層学習を用いた手法が発展した2010年代には、CNNとRNNを用いる方法が一般的になった。さまざまなモデルが提案されているが、単純かつ一般的に使用されている手法としては教師あり学習を用いたエンコーダ・デコーダモデルがある。これは、CNNを用いて画像特徴量を抽出して、画像特徴量をRNNに入力してキャプションを生成するという手法である。2019年には画像と自然言語の両方にTransformerを使用する手法も提案されている。
画像分類や物体検出を拡張したタスクであり、画像や動画に含まれる視覚情報を理解するタスクである。一例として、画像に含まれる複数の物体同士の関係性などを理解するタスクなどが含まれる。Visual Reasoningは視覚情報に対する質問に回答するための過程として定義されることもある。すなわち、VQAやVisual Dialogのモデルは(明示的に設計されていなくても)Visual Reasoningを行なっていることになる。Visual Reasoningの手法を評価するために、VQAを用いることも一般的である。
初期の研究は1960年代から行われている。
機械翻訳タスクを拡張して、元の言語の文章に加えて、文章に対応した画像や動画が与えられた状況で翻訳を行うというタスクである。
2016年にタスクが提案された。