プレイヤー間の論理的情報を与えたLLMによる人狼ゲーム対話エージェントの構築

近年、OpenAI社のGPT-3[1]にInstructGPT[2]を適用したChatGPTなど、GPT[3]を基礎とするLLM(大規模言語モデル)は急激な成長を遂げており、文章の生成や翻訳など様々なタスクを高い精度でこなすことができるようになっている。しかし、計算や推論など段階的に解決していく必要のある問題に対しては未だ課題が残っており、Chain-of-Thought[4]を初めとする様々な改善手法が模索されているが、生成モデルの出力の過程がブラックボックスとなっていることを鑑みると、そもそもLLMが1から論理的な計算を行えるという保証はない。そこでLLMの文章生成処理とは別に明示的な論理構造を持たせることを提案する。実験として、推論が必要とされる人狼ゲームを題材に、GPT-4を使用して人狼ゲームをテキスト入出力で自動プレイするエージェントの構築を行い、外部に論理構造を持たせプロンプトに組み込んだ場合とそうでない場合の比較を行った。主観評価の結果、提案手法は論理構造を持たないベースラインを上回り、より適切な推論が行えることを示した。2節では人狼ゲームと人狼知能大会、3節では本研究の基盤とする我々が開発した人狼知能エージェント、4節ではこのエージェントに組み込む提案手法である論理的情報、5節で実験、6節で考察について述べ、7節でしめくくる。