実世界対話におけるフレーズグラウンディングモデルの評価と分析

実世界で人間と協働する対話システムの実現には，対話中の参照表現の実世界へのグラウンディングが不可欠である．例えば「そのコップに注いで」という発話では，「コップ」のテキスト上の意味を理解するだけでは不十分であり，実世界において参照しているコップの実体を知る必要がある．フレーズが参照している実体を視覚情報，特に画像中の物体矩形の形で特定するタスクはフレーズグラウンディングとよばれる[1,2]．このタスクではベンチマークとしてFlickr30KEntitiesデータセット[3]が広く用いられており，代表的な解析モデルであるMDETR[1]やGLIP[4,5]は80%以上の精度1）を達成している．しかし，Flickr30KEntitiesは人間が恣意的に撮影した静止画とそのキャプションから構成されており，これらのモデルが実世界対話における参照表現を正しくグラウンディングできるかは明らかではない．対話におけるフレーズグラウンディングを扱ったデータセットとしてSIMMC