一人称視点に基づくテキスト駆動型アフォーダンス及び軌跡の学習

人間は物体のどの領域に，どのようにインタラクションするべきかを理解しており，その知識を利用することで安全に，かつ効率的に作業を行うことができる．例えば，ドアを開けようとする際には，ノブに触れそれを回転させることにより達成する．こうした人間と物体間のインタラクションは短いテキストとして表すことが可能であり，それらで条件づけられた行動のために，視覚中のどの領域に，どのようにインタラクションするべきかを推論可能なモデルは，ロボット工学やヒューマンコンピュータインタラクションの領域において有用なツールになると思われる．近年，Gibson[1]が提案した，環境が動物に提供する行動の可能性を表すアフォーダンスの概念をロTaketheknifeTurnoffthefaucetAdjustthefaucettotheleft入力テキスト入力画像入力画像物体検出TurnoffthefaucetTaketheknifeAdjustthefaucettotheleft(a)先行研究(b)提案手法ボットに適用する試みが盛んに行われており，これらの試みは視覚的アフォーダンス学習課題として定式化されている[2,3,4,5,6,7]．視覚的アフォーダンス学習とは，図1（左）に示されるように，入力画像（もしくは動画）中の物体に対して，インタラクションすべき領域を局限する課題である．先行研究[2,3]では，主に把持に焦点が当てられており，いくつかの研究によって，それらがロボットに応用可能であることが示されている[8,9]．先行研究により，把持などの手と物体間のインタラクションにおいてアフォーダンスの学習が有効であることが示された一方で，手で把持された道具と物体間のインタラクション[5,6]や目的に応じたインタラクションなどのより高次なアフォーダンス学習が次の問題となっている．本研究では，この問題を解決するためにテキスト駆動型視覚的アフォーダンス及び軌跡の学習を提案する．この課題は，図1（右）に示されるように，テキストで表現された様々な行動に対して，それを達成するために，画像中のどの領域に，どのような方法でインタラクションするべきかを学習することを目的とした課題である．この課題の解決のために，.一人称視点動画システムプロンプトCstirthepastainCopentheCpickchopstickJudgetheinteractionthecookingpotdrawerinthedrawertypeofthetargetnarration.TextinputYes✔Open-vocabularytrackerchopstickobjectdetectorIstool-object?LLMTextinputhandNoXItistool-objectinteractionwiththechopsticks接触点軌跡…作用時フレーム観察フレーム射影＋領域化自動アノテーションの流れ大規模な一人称視点動画データセットから自動で擬似教師データを作成する手法及び，構築したデータセットを利用したモデルを提案する．実験の結果，提案手法が先行研究におけるモデルと比べて優れた性能であることが確認できた．