大規模言語モデルが未だ苦手とする推論などの複雑な問題への対応を目指し、推論が求められる人狼ゲームを題材に、GPT-4を基盤とした人狼ゲームエージェントを開発し、明示的な論理構造を組み込む手法を提案する。その結果、論理情報を提示する手法は提示しない手法と比較して推論精度が向上し、主観的評価においても優位性が確認された。

近年、OpenAI社のGPT-3[1]にInstructGPT[2]を適用したChatGPTなど、GPT[3]を基礎とするLLM(大規模言語モデル)は急激な成長を遂げており、文章の生成や翻訳など様々なタスクを高い精度でこなすことができるようになっている。しかし、計算や推論など段階的に解決していく必要のある問題に対しては未だ課題が残っており、Chain-of-Thought[4]を初めとする様々な改善手法が模索されているが、生成モデルの出力の過程がブラックボックスとなっていることを鑑みると、そもそもLLMが1から論理的な計算を行えるという保証はない。そこでLLMの文章生成処理とは別に明示的な論理構造を持たせることを提案する。実験として、推論が必要とされる人狼ゲームを題材に、GPT-4を使用して人狼ゲームをテキスト入出力で自動プレイするエージェントの構築を行い、外部に論理構造を持たせプロンプトに組み込んだ場合とそうでない場合の比較を行った。主観評価の結果、提案手法は論理構造を持たないベースラインを上回り、より適切な推論が行えることを示した。2節では人狼ゲームと人狼知能大会、3節では本研究の基盤とする我々が開発した人狼知能エージェント、4節ではこのエージェントに組み込む提案手法である論理的情報、5節で実験、6節で考察について述べ、7節でしめくくる。