PORTER:最適輸送を用いたPolygonMatchingに基づく参照表現セグメンテーション

現代社会で高齢化が進む中，日常生活における介助支援の重要性が高まっているが，その介助を担う在宅介助者は不足している．この解決策として，被介助者に物理的な支援が可能な生活支援ロボットが注目されている[1]．生活支援ロボットは，被介助者からの自然言語による指示で物体の把持や移動に関する操作を行うことが期待されている．しかし，現状ではその命令文理解性能は不十分である[2]．本研究では，物体操作に関する命令文が与えられた際，対象物のマスクを生成するObjectSegmentationfromManipulationInstructions(OSMI)タスクを扱う．例えば，“Gointothelivingroomandgivemethepillownearesttheplant.”という命令文が与えられたとき，植物に最も近い枕のマスクを生成することが望ましInstruction:“Gointothelivingroomandgivemethepillownearesttheplant.”い．本タスクはロボットによる物体把持において重要である．なぜなら，ロボットが物体を把持する場面では，その形状や位置を特定することが重要であり，マスクによる把持物体の領域予測のほうが，矩形領域による予測よりも望ましいからである．OSMIタスクと関係が深いタスクとして，ReferringExpressionSegmentation（RES）タスク[3]がある．RESタスクに比べ，本研究で扱うOSMIタスクでは，ナビゲーション命令から始まる2文以上の命令文が多く，対象物を修飾する文が複数含まれている場合があり，単純なRESタスクよりも困難である．例えば，複数の物体の上にキャンドルがおいてある画像に対して，命令文“Gotothetable.Andpickupthecandleontheright.”が与えられているとする．その際，“thecandleontheright”のみでは対象物体を特定できない可能性がある．この例では，“thetable”が対象物を間接的に修飾しているため，その表現の理解が重要になる．RESタスクを扱う既存研究は多く存在する[4–8]．しかし，これらの既存手法では，部分的なマスクしか生成されない場合や，複雑な参照表現を理解できず，対象と同カテゴリの異なる物体のマスクを生成する場合があるため，OSMIタスクのためのモデル.としては不十分である．多角形に基づくマスクを用いて予測する手法であるSeqTR[7]は,対象物を表す多角形の頂点を予測するため，画素単位でマスクを予測する手法よりも断片的なマスクを生成する可能性は低い．しかし，頂点の順番は異なるが同じ多角形を表す場合を区別して扱っているため，正解と近い多角形を予測しているにも関わらず，異なる多角形と判断し，非効率的な学習を促してしまう問題がある．そこで，本研究では複雑な参照表現を含む命令文から対象物のマスクを生成するセグメンテーションモデルPolygonOptimaltRansportTransformER(PORTER)を提案する．既存手法との主要な違いは，最適輸送を用いたPolygonMatchingLossを導入する点である．これにより，予測マスクの頂点順序に関係なく正解マスクに近づくような学習が期待される．本研究の独自性は以下である．•多角形において頂点の順番が異なっても同じ多角形を表す場合を扱うために，最適輸送を用いたPolygonMatchingLossを導入する．•大規模言語モデルを用いて，命令文に対して対象物に関する修飾関係を明瞭にする言い換えを行うParaphraserを導入する．