インタラクティブフィクションにおける大規模言語モデルの性能

インタラクティブフィクション(IF)、あるいはテキストアドベンチャーゲームでは、プレイヤーの命令とエンジンの応答がすべて自然言語で行われる。言語を理解するだけでなく、高い得点を獲得するためには、人工知能(AI)エージェントは他の複雑なスキル、例えば、長期記憶、計画、常識などを持つ必要がある。報酬がスパースであるため、過去のIFの分野におけるAIエージェントは主に強化学習技術を基にしていたが、近年の大規模言語モデル(LLMs)の急速な発展を考慮し、我々はLLMsを使用してIFタスクを解く方法を提案する。我々は提案手法に基づいてGPT3.5turboとGPT4.0turboの性能をTWCデータセット[1](詳しい説明は4.1節を参照してほしい)でテストした。実験の結果、LLMsは微調整なしで、トレーニングセットで学習された強化学習モデルと競り合う性能を持っていることが示された。