多段階からなる長期タスクのロボット操作では，進行状況に応じたサブゴール（言語指示）の選択と，言語指示条件に適したロボット動作生成を同時に実現することが重要な課題である．本研究では，位置・力制御に基づくバイラテラル制御と自然言語と視覚情報を統合した階層型模倣学習手法（階層型Bi-VLA）を提案する．提案法は，時系列画像から言語サブゴールを生成するHigh-Policyと，言語条件付き視覚特徴と位置・力情報からロボットの行動を生成するLow-Policyで構成される．実機の長期タスクにおいて既存法を上回る成功率を達成し，階層化と言語・視覚統合が位置・力制御を伴う長期タスクの安定実行に有効であることを示した．

バイラテラル制御は，操作者がリーダーロボットを操作しながらフォロワーロボットの環境反力を触覚的に感じ取ることができるため，位置情報と力情報の両方を扱えるデータ収集手法として知られている[1,2]．特に，バイラテラル制御に基づく模倣学習のBi-ACT（BilateralControl-BasedImitationLearningviaActionChunkingwithTransformer）は，Transformerを用いたActionChunkingとバイラテラル制御を組み合わせることで，対象物に応じた把持力の調整を可能とし，タスクの失敗を軽減した[3]．しかし，Bi-ACTは言語情報を活用していないため，長期タスクにおける適切な動作選択が困難であり，複雑な多段階タスクへの適応に問題があった．本研究では，この問題を克服するため，言語と視覚情報を活用した階層型バイラテラル制御に基づく模倣学習手法を提案する（図1）．本研究の目的は，長期タスクにおいて「進行状況に応じたサブゴール（言語指示）の更新」と「言語指示に整合した動作生成」を両立する設計指針を与えることである．本論文の貢献は以下の3点である：•言語サブゴールに基づく階層化：時系列画像からサブゴール文を生成するHigh-Policyと，その指示に基づき動作を生成するLow-Policyを分離した階層型バイラテラル制御に基づく模倣学習を提案した．•言語条件付き視覚統合：Low-PolicyにおいてFiLMにより言語埋め込みに応じて視覚特徴を動的に変調し，意図に沿った動作生成を実現した．•実機長期タスクでの有効性：実機タスクにおいて既存法Bi-ACTより高い成功率を示し，長期タスクでの有効性を確認した．