インタラクティブフィクションにおける大規模言語モデルの性能

インタラクティブフィクションにおける人工知能エージェントは主に強化学習に基づいているが、近年の大規模言語モデルの急速な発展を考慮し、我々は大規模言語モデルを使用してインタラクティブフィクションタスクを解く方法を提案する。我々が選んだテストデータセットはTextWorldCommonsense(TWC)である。TWCゲームでは、エージェントのタスクは部屋を整理し、アイテムを適切な位置に配置することであり、タスクを上手く解くにはエージェントが「どのアイテムがどの位置に属するか」という常識を持つ必要がある。提案手法の性能をテストした結果、大規模言語モデルは微調整を受けずに、トレーニングセットで学習された強化学習ベースラインと同等ぐらいの性能を持っていることが分かる。具体的には、GPT4.0one-shotはEasyおよびMediumレベルの総計10個のTWCゲームですべてのタスクを完璧に遂行し、Hardレベルのゲームでは、提案手法（スコアは0.52）は性能の一番良いベースライン（0.57）に負けたが、この差はプロンプトの改良によって補われる可能性がある。