PORTER:最適輸送を用いたPolygonMatchingに基づく参照表現セグメンテーション

自然言語による指示で生活支援ロボットが操作できれば便利であるが，現状，生活支援ロボットの命令文理解性能は十分ではない．そこで，本研究では，複数の参照表現を含む命令文および画像から動作対象の物体のマスクを予測するタスクを扱う．既存研究では，頂点の順番は異なるが同じ多角形を表す場合を区別して扱っているため，正解と近い多角形を予測しているにも関わらず，異なる多角形と判断してしまい，不適切な学習を促してしまうという問題がある．そこで本論文では，複雑な参照表現を含む命令文から対象物のマスクを生成するセグメンテーションモデルを提案する．本手法の新規性は，最適輸送を用いたPolygonMatchingLossの導入である．命令文，室内環境の画像，対象物のマスクで構成されるデータセットによる評価の結果，提案手法は標準的な評価尺度であるmeanIoUにおいて，ベースライン手法を10.41ポイント上回った．