戦略的発話の多様な生成を目指した人狼エージェントの構築

人狼ゲームは村人陣営と人狼陣営に分かれ、対話を通してゲームが進行する多人数コミュニケーションゲームである。村人陣営は人狼を排除すること、人狼陣営は村人陣営の人数を上回ることが勝利条件となる。そのため、村人は会話を通して誰が人狼かを見極め、人狼は嘘をつきながら村人に紛れていく必要がある。これらの特性から、嘘をつく・見破ることのできる論理的思考力、陣営の勝利のために貢献する社会性等、人狼ゲームには高度で複雑な能力が求められる。そのため、人狼ゲームはゲーム情報学と自然言語処理の両分野で困難なゲームとして認識されており、これまでいくつかの先行研究が行われている[1,2,3]。人狼ゲームは自然言語を用いる特性から、近年大きく発展を遂げた大規模言語モデル(LargeLanguageModel,LLM)[4,5,6,7,8]を適用しやすい環境である。会話履歴とゲームの基本的な情報をプロンプトとして与えるだけで、尤もらしい発話を出力することから、LLMに人狼ゲームのエージェントとして振る舞うようにすることは容易であるように思われる。しかし、図1に示すような(役職を知る能力を持った占い師によって、Agent[04]が人狼だと宣告されてしまった状況等)いくつかの問題が発生する。人間同士のゲームでは、このような状況に対して嘘をついて偽の情報を増やすことにより、自身が人狼だと確定する致命的な状況を防ごうとする。しかし、LLMはこのような状況において、相手の発言をただ否定するだけに留まってしまい、客観的に判断すると彼が人狼であることは確定してしまう。他にもいくつかの問題が考えられるが、本研究では以下の3つの問題に焦点を当て、その解決を試みる。1)エージェント同士の発話に個性がなく、均質的である;2)人狼だと知られている状態でも嘘をつくことができない;3)発話を適切なタイミングで終わらせることができない;以前、我々は同じ問題に対して、ルールベースで定型文を選択するエージェント（以降では「定型文選択エージェント」と呼ぶ）を提案した[9]。会話履歴から自身が置かれた状況を分析し、LLMで対応できない状況においては、予め用意された定型文を選択することで、エージェントが対応できる状況を増やす手法による解決を試みた。結果として、このエージェントはLLMを単純に適用したエージェ.ントと比較し、個性的で論理的な発話ができることを定性評価により示した。しかし、このエージェントには定型文を用いていることで生じる2つの問題があった。まず、定型文を使い回しているため、連続するゲームではエージェントの役が透けてしまうという問題がある。類似する状況において発話内容が似ることはあるが、一言一句同じであることは人間同士のゲームでは考えにくい。加えて、定型文では会話の流れを汲むことができないという問題がある。事前に用意されている定型文は、ゲーム展開において論理的な発話を可能にするが、対話としては必ずしも文脈が繋がらない場合がある。これらは、人間らしい発話を目指すに当たって、人狼エージェントが必ず克服するべき問題である。そこで本研究では、分析、戦略、生成、投影の4つのモジュールで構成されたエージェントを提案する。会話履歴を分析して自身が置かれている状況を把握し、得られた情報からルールベースアルゴリズムで生成する発話の方針を決定した。プロンプトに発話の方針と会話履歴を含めることで、直前までの文脈を考慮しつつ多様な表現で、複雑な状況に対応できるエージェント(以降では「発話指示エージェント」と呼ぶ)を構築した。発話指示エージェントは発話が含むべき方針を維持しながら、ゲーム毎に異なる多様な表現を用いており、会話の流れを踏まえた発話も確認された。また、定型文選択エージェントと同様の基準で定性評価を実施し、既提案手法と同等の性能が得られることがわかった。