文脈理解に着目した対照学習に基づく弱教師ありPhraseGrounding

PhraseGrounding（PhraseLocalization）は画像中の物体領域と画像キャプション中のフレーズの対応関係を同定するタスクである[1]．自然言語によるロボットへの指示などその応用は多岐に渡る．PhraseGroundingは一般に画像中の物体領域と画像キャプション中のフレーズの対応がアノテーションされた訓練データを用いて教師あり学習で解かれる[2,3]．しかし，こうした訓練データの構築には膨大な人的・金銭的コストが必要であり，異なるドメインや多言語への適用，訓練データ数を増やすことによる性能改善は困難である．この問題を解決するため，画像とキャプションのペアからPhraseGroundingを学習する弱教師あり設定が研究されている[4,5,6,7]．この設定では画像中の物体領域と画像キャプション中のフレーズの対応のアノテーションが不要であり，必要となる画像とキャプションのペアもウェブデータ・実世界データから今後ますます多く手に入ると期待される[8]．弱教師あり設定の手法としては，対照学習に基づく手法[4,5]が代表的である．この手法では，共起する物体領域とフレーズのペア（正例）の類似度の正例[Chocolatedonut]infrontofacomputer負例(先行研究)[Chocolatecookie]infrontofacomputer負例(提案手法)[Creamdonut]infrontofacomputer]は関心のフレーズ，下線は正例のキャプションから置き換えた単語を表す．最大化とそれ以外のペア（負例）の類似度の最小化の学習を通して，実際に対応関係にある物体領域とフレーズのペアに高い類似度を与える．対照学習では負例の作成方法が性能を左右する．先行研究[4]はフレーズの主辞を置き換えて負例を作成している．図1に例を示す．この例では，フレーズchocolatedonutの主辞donutをcookieに置き換えて負例としている．これは対照学習により画像中にchocolatedonutは存在するがchocolatecookieは存在しないことを学習することを意味する．しかし，これは主辞のdonutとcookieに着目すれば解くことができ，画像中に同じクラスの物体（例えばchocolatedonutとcreamdonut）が存在する場合に，主辞の文脈を考慮して正しい物体領域に対応付けることは必ずしも学習されない．本研究では，フレーズの主辞ではなく，その文脈を置き換えて負例を作成することを提案する．図1に例を示す．提案手法では，主辞を修飾する文脈chocolateをcreamに置き換えて負例とする．これにより文脈を考慮し，同じクラスの物体を区別することを学習させる．実験では，Flickr30KEntities[9]データセットに提案手法を適用し，提案手法がベースライン手法の性能を大きく改善することを確認した．.