文脈理解に着目した対照学習に基づく弱教師ありPhraseGrounding

本研究では，対照学習に基づく弱教師ありPhraseGrounding手法の改善に取り組む．既存手法では,フレーズの文脈を考慮することが学習されず，画像中に同じクラスの物体が複数存在する場合にフレーズを正しい物体領域に対応付けられない．本研究では対照学習に用いる負例をフレーズの文脈を置き換えて作成することによってこの問題に対処する．提案手法をFlickr30kEntitiesデータセットに適用し，ベースライン手法と比較して，最大で2.89ポイントのRecallの改善を確認した．