自然言語・画像情報を活用したロボットアームの階層型バイラテラル制御に基づく模倣学習

バイラテラル制御は，操作者がリーダーロボットを操作しながらフォロワーロボットの環境反力を触覚的に感じ取ることができるため，位置情報と力情報の両方を扱えるデータ収集手法として知られている[1,2]．特に，バイラテラル制御に基づく模倣学習のBi-ACT（BilateralControl-BasedImitationLearningviaActionChunkingwithTransformer）は，Transformerを用いたActionChunkingとバイラテラル制御を組み合わせることで，対象物に応じた把持力の調整を可能とし，タスクの失敗を軽減した[3]．しかし，Bi-ACTは言語情報を活用していないため，長期タスクにおける適切な動作選択が困難であり，複雑な多段階タスクへの適応に問題があった．本研究では，この問題を克服するため，言語と視覚情報を活用した階層型バイラテラル制御に基づく模倣学習手法を提案する（図1）．本研究の目的は，長期タスクにおいて「進行状況に応じたサブゴール（言語指示）の更新」と「言語指示に整合した動作生成」を両立する設計指針を与えることである．本論文の貢献は以下の3点である：•言語サブゴールに基づく階層化：時系列画像からサブゴール文を生成するHigh-Policyと，その指示に基づき動作を生成するLow-Policyを分離した階層型バイラテラル制御に基づく模倣学習を提案した．•言語条件付き視覚統合：Low-PolicyにおいてFiLMにより言語埋め込みに応じて視覚特徴を動的に変調し，意図に沿った動作生成を実現した．•実機長期タスクでの有効性：実機タスクにおいて既存法Bi-ACTより高い成功率を示し，長期タスクでの有効性を確認した．