一人称視点に基づくテキスト駆動型アフォーダンス及び軌跡の学習

視覚的アフォーダンス学習は，入力画像中のインタラクションするべき領域を局限する課題である．先行研究によって，この課題がロボットの把持課題に有効であることが示されている一方で，多様な行動に対するアフォーダンスの学習が次の問題となっている．本研究では，この問題の解決のためにテキスト駆動型視覚的アフォーダンス及び軌跡の学習を提案する．この課題は，テキストで表現された様々な行動に対して，それを達成するために，画像中のどの領域に，どのようにインタラクションするべきかを学習することを目的とした課題である．この課題を解決するために，一人称視点動画データセットから自動で擬似教師データセットを構築し，それを利用したモデルを提案する．実験の結果，提案手法が先行研究のモデルと比べて優れた性能を示したことを報告する．