マルチエージェントシステムにおける対話状態推定手法

近年，生成AI・大規模言語モデル（LargeLanguageModel:LLM）の発展に伴い，複数の自律エージェントが協調または競合しながら意思決定を行うマルチエージェントシステムが注目を集めている．その中でも，Multi-AgentDebate(MAD)は，複数のエージェントが議論を通じてより高品質な結論や意思決定を導く手法として重要性を増している．従来の単一エージェントによる推論や生成モデルは，知識の偏りや論理的誤りを含む可能性がある．一方，複数エージェントによる討論は，より信頼性の高い出力を得ることができると期待されており，高度な推論が必要なタスク[1]，文章の評価[2],[3]，社会シミュレーション[4],[5],[6]などに用いられている．また，多様な視点の導入，反証のプロセスを通じて，より精錬されたアイデアが提案できると期待されており，アイデア提案にも用いられている[7][8][9]．本研究ではMADによるアイデア提案を対象とする．各エージェントに異なる役割や視点を持たせることで，タスクに対する多角的なアプローチや集合知の活用が可能となり，単一エージェントでは得られなかった創造的な解決策の導出が期待される．本研究で用いるMADシステムでは，各エージェントに年齢，職業，価値観，性格などを表すペルソナ情報を与え，異なるアイデアや意見を出すようにする．各エージェントは，全エージェントの発話を対話履歴として蓄積し，指示と対話履歴をもとに発話を生成する．図1のように，対話が続くと対話履歴が長くなり，いずれLLMの系列長を超え，全対話履歴を扱うことができなくなる．また，他のエージェントの発話を用いるため，他のエージェントのペルソナが混同し，各エージェントの発話の差異が小さくなるという問題がある．その結果，各エージェントが提案するアイデアが類似したものになり，議論の効果が出しにくいという課題がある．そこで，本研究ではエージェントの対話履歴から各エージェントの対話状態を推定する対話状態推定(DialogueStateTracking:DST)を実施し，対話履歴を簡潔な情報に集約しながら議論を進める．DSTを実施することで，系列長の超過や，複雑な文章の扱いを回避することができる．本手法ではエージェントごとの対話状態と全体の対話状態を保持する．エージェントが発話する度に各エージェントの対話状態と全体の対話状態を更新し，次のエージェントの応答生成に使用する．本研究ではアイデア提案のMADを実施し，DSTの効果を確認した．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).4実験4.1マルチエージェントシステム本実験ではビッグファイブ理論[14]の性格特性に基づいたペルソナを作成する．ビッグファイブ理論では開放性，誠実性，外向性，協調性，神経症傾向の5つの軸で性格を表現する．この5つの軸の値に対して「高い」「低い」のどちらかを指定し，5つの値に基づいた性格をLLMに生成させる．ビッグファイブ理論の各軸の説明，各軸の値をプロンプトに入れ，性格の説明文を生成させる．また，上記のプロンプトと性格説明文を用いて，このペルソナが言いそうな発話文を10個生成させる．説明文と発話文10個を合わせてペルソナ情報とする．32個のペルソナから5つの値の異なりが大きいペルソナを3つ選択して1つのグループとし，グループを3種類作成し，実験に使用する．議題は下記のような商品企画のアイデア検討の議題を用意する．•高齢者向けスマートフォンアプリの新商品•自動車保険の新商品•コンビニスイーツの新商品議題を与えるプロンプトは付録(表3)に載せる．『topic』の部分に上記の議題が入る．できるだけ異なるアイデアを提案し，議論を経てアイデアを膨らませ，多様なアイデアを出すことを目的とした指示になっている．4.2実験条件ペルソナ情報作成，対話状態推定，応答生成にはGPT™-4.1を用いる．temperatureは0.7とする．発話回数は30回とする．実験パターンは下記とする．•baseline：各エージェントの発話をそのまま蓄積して応答生成に用いる．•struct：DSTで対話状態に変換されることを想定して，要約しやすい構造の発話を生成させる．応答生成時の指示に付録(表4)のプロンプトを追加する．•dst：DSTを実施•persona：ペルソナ情報を利用してDSTを実施•topic：議題を利用してDSTを実施•persona+topic：ペルソナ情報と議題を利用してDSTを実施DST実施時の発話はすべて上記の構造化された発話を生成させる．4.3評価手法本稿では各エージェントの発言の一貫性，エージェント間の発言の多様性，アイデアの新規性の3つの観点で評価する．これらの3つの観点を以下の指標によって算出した．•ペルソナ正解率：対話履歴とペルソナ情報をもとに，どのペルソナの発話かをLLMに当てさせ，正解率で評価．•話者間の発話の相違：各発話を埋め込み表現に変換し，発話間のコサイン類似度を算出し，(同一話者の発話間の類似度の平均値)-(異なる話者間の発話間の類似度平均値)を算出する．埋め込み表現の算出にはBAAI/bge-m32）を用いる．•アイデアの新規性：最終提案のTFIDFで評価する．エージェント𝑎の最終提案𝐼𝑎のTFIDFは下記で算出される．∑𝑇𝐹𝐼𝐷𝐹(𝐼𝑎)=1𝑁𝐼𝑎𝑤∈𝐼𝑎𝑁(𝑤)×𝐼𝐷𝐹(𝑤)(4)𝐼𝐷𝐹(𝑤)=𝑙𝑜𝑔𝑁𝐷𝑁(𝑤∈𝑑)(5)(𝑁𝐼𝑎:𝐼𝑎の単語数，𝑁(𝑤):単語𝑤の頻度，𝑁𝐷:全文書数，𝑁(𝑤∈𝑑):単語𝑤を含む文書数)IDF()はWikipediaのダンプ記事3）をもとに算出する．TFIDFは文書中に珍しい単語が入っているかどうかを算出する指標である．最終提案中の珍しい単語の分布に基づいてアイデアの新規性を評価する．4.4実験結果評価手法に基づいて評価結果を算出する．ペルソナのグループが3種類，議題が3種類あるので，ひとつのパターンについて9回の試行がなされているので，9回の平均値，標準偏差を算出した．まず，ペルソナ正解率について評価を実施した(図2)．ペルソナ情報を用いてDSTを実施することで，0.71(baseline)から0.84(persona)に向上したことを確認できた．他の手法では効果が確認できなかったため，ペルソナ情報を用いたDSTが重要であることがわかる．2）https://huggingface.co/BAAI/bge-m33）https://dumps.wikimedia.org/jawiki/org/licenses/by/4.0/).話者間の発話の相違についてはDSTを実施することで，異なるエージェント間での差異が大きくなることが確認できた(図3)．図4は同一話者内の発話間類似度の平均値と異話者内の発話間類似度の平均値である．まず，発話を構造化することで，全発話同じ構造になり，同一話者内も異話者間も類似度が上昇する．DSTを実施しない場合，各エージェントの発話がそのまま，次の発話に用いられるので，エージェントの話し方の癖などが他のエージェントに伝搬する可能性がある．DSTを実施することで，伝搬を防ぐことができ，同一話者内の発話間類似度が向上し，異話者間の類似度が低下する．そのため，同一話者間・異話者間の類似度の差が向上していると考えられる．最後に，各話者のアイデアのTFIDF平均値を図5に載せる．DSTを実施した実験結果はしないものよりも値が高く，DSTを実施することでアイデアの新規性が向上することを確認できた．上記3種類の評価により，DSTを導入することで，各エージェントは自身のペルソナ情報に基づいた発話を生成し，新規性の高いアイデアを提案できることが確認できた．従来の手法では，応答生成時に他のエージェントの発話が入力に含まれるため，ペルソナが混同し，違いが出にくいという問題があったが，DSTによって防ぐことができた．また，応答生成時に全対話履歴を処理する必要があったが，DSTを実施することで，各エージェントのアイデアの古い情報は新しい情報に上書きされ，応答生成時に古い情報を処理する必要がなくなり，議論が前に進むことを後押しできると考えられる．5まとめマルチエージェントシステムにおいて，各エージェントの発話を蓄積した文章を次のエージェントの応答生成に用いると，LLMの系列長を超える，長文を解釈する必要があり性能が落ちるなどの問題が発生する．それに対して，本手法では各エージェントの発話から対話状態を推定し，各エージェントの対話状態と全体の対話状態を用いて次のエージェントの応答生成を実施する．本手法を適用することで，各エージェントは自身のペルソナ情報に沿った発話ができるようなり，新規性の高いアイデアを提案することができるようになった．本手法では各エージェントの発話を個別に用いて対話状態を更新するので，エージェント間の会話を表現しにくい．今後は上記のような課題に取り組み，より効率よく議論できるマルチエージェントシステムの開発を目指す．org/licenses/by/4.0/).