人狼知能コンテスト2024冬季国内大会自然言語部門の概要

「汝は人狼なりや？」（以下、「人狼ゲーム」）は、話し合いによるコミュニケーションゲームである。プレイヤーは勝つために認知能力を十分に発揮しなければならない。人狼ゲームはチェスなどの完全情報ゲームとは異なり、隠された情報のある不完全情報ゲームである。プレイヤーは目的を達成するために、他のプレイヤーの会話や行動から、隠された情報を推測し、役割に応じて自分の情報は隠しつつ行動する。プレイヤーは信頼を得るために説得し、嘘つきを見つけるために推測を行う必要がある。人狼知能プロジェクトでは人狼ゲームを自動プレイするエージェントを競いあうコンテストを10年以上にわたり毎年開催してきた。自然言語部門は、その中で自然言語すなわちテキストのみで対戦を行うもので、国内大会では日本語のみで実施した。人狼知能は対話システム研究という側面もある[1]。近年の大規模言語モデル（LLM）の性能向上は目覚ましく、対話能力も高い。しかしLLMが、首尾一貫した応答、より長いコンテキスト、根拠のある応答、そして論理的な推論をどこまでできるのかは未知数である。人狼ゲームでは、プレイヤーは嘘をつき、説得し、嘘を発見しなければならないので、矛盾や曖昧な反応は「不自然な」ものとして評価され、ゲームで負けてしまう。一貫した論理的会話を通じて他のプレイヤーの役割を推測し、説得する役割を果たすと同時に、雑談も混ざる特徴がある。人狼の自動プレイを通じて、LLMの能力と限界が明らかになると期待している。大会は自由参加で呼びかけに応じた各チームが自動対戦エージェントを実装し、ネットワーク対戦を行うものである。ゲームは5体のエージェントによる5人人狼とし、自身のエージェント同士で戦う自己対戦と、各チーム間で戦う相互対戦を実施し1）、それぞれのログに対する評価者数名の主観評価（表現、文脈、一貫性、ゲーム行動、キャラクター性の五軸）、および相互対戦の勝率を計算した。本年次大会ではテーマセッション「人狼知能：を見破り説得する会話ゲームとLLM」を開催し、授賞や対人対戦デモ等を行う予定である。