この研究では、階層構造を持つフレームワークを提案しています。低いレベルでは、運動条件付き制御ポリシーがあります。これにより、四肢ロボットは後ろ足立ちの姿勢でバランスを取りながら前進したり後退したりすることが可能です。高いレベルでは、人間のビデオや自然言語命令から生成された目標コマンドを使用して、四肢ロボットに人間らしい動作シーケンスを実行させています。
具体的には、RL（強化学習）アプローチを使用して制御ポリシーを訓練しました。このポリシーは特定の基底速度や手先位置などの目標値トラッキングしながらバランス保持能力も備えております。また、「sim-to-real transfer」と呼ばれる技術も活用し、シミュレーションと実世界での乖離を最小限に抑えるために物理パラメーターの再調整も行っています。
さらに、人間から提供された動画クリップや自然言語から解析されたコマンドでも同じ制御ポリシーが利用されております。例えば、「拳闘」や「バレエダンス」といった複雑な動作まで柔軟かつ正確に対応することが可能です。