自然言語・画像情報を活用したロボットアームの階層型バイラテラル制御に基づく模倣学習

多段階からなる長期タスクのロボット操作では，進行状況に応じたサブゴール（言語指示）の選択と，言語指示条件に適したロボット動作生成を同時に実現することが重要な課題である．本研究では，位置・力制御に基づくバイラテラル制御と自然言語と視覚情報を統合した階層型模倣学習手法（階層型Bi-VLA）を提案する．提案法は，時系列画像から言語サブゴールを生成するHigh-Policyと，言語条件付き視覚特徴と位置・力情報からロボットの行動を生成するLow-Policyで構成される．実機の長期タスクにおいて既存法を上回る成功率を達成し，階層化と言語・視覚統合が位置・力制御を伴う長期タスクの安定実行に有効であることを示した．