基盤モデルと古典プランニングを用いたレシピ記述からの実世界調理計画認識実行ロボットシステム

日常生活に欠かせない家事である調理においては，環境·エージェント非依存なタスク記述であるレシピに従い，実行する環境の状況に合わせて調理作業を実行することが必要である．これまでも生活支援ロボットの文脈で，自然言語で記述されたレシピからロボットの行動計画及び実行を行う研究が数多く行われてきている[1,2,3,4,5,6]．また，自然言語の指示からのロボットの行動計画については，大規模言語モデル(LLM)[7]が登場し，ロボットの行動計画への応用[8,9]も進められていて，これまでのルールベースの処理よりも高度に自然言語指示に対応可能な行動計画が行えるようになってきている．しかし，ロボットがレシピ記述に基づいて実世界で調理作業を実行するためには依然として課題が存在する．本研究では特に重要である「実世界で実行可能な行動計画」と「食材状態変化の認識」の2つの課題に着目する．1つ目の「実世界で実行可能な行動計画」の課題は，実際の環境の状態からレシピに書かれた調理行動を順に実行していくために必要な行動を適宜補完1.サラダ油をフライパンに入れて30秒加熱する．