Minecraftにおける大規模言語モデルエージェントの共同作業の実現可能性の調査

近年，GPT-4[1]など大規模言語モデル（LLM）の発展により，対話エージェントの性能は大きく向上している[2,3]．これに伴い，共同作業タスクにおいて人間と協力する対話エージェントの研究も活発化している[4,5,6]．身体性を持つ対話エージェントの共同タスク研究は，費用面の制約から仮想環境で進められることが多く，Minecraftは主要な研究基盤として利用されている[7,8,9]．しかし既存研究の多くは，エージェントが単独で建築する設定[10]や特定問題を解決する設定[11,12]が中心で，対話を通じた創造的な共同建築の研究は限定的である．この課題に対し，市川ら[13]は対話を通じて庭を設計する共同建築タスクを提案し，人間データで小規模LLMをファインチューニングしたAction-UtteranceModel[14]を提案した．Action-UtteranceModelは，各ターンで行動種別を選択し，対応する発話またはブロック操作をジェントはGemini2.0Flashに基づいている．エージェントの構築方法については4.1節を参照．生成する逐次的な行動選択フローを採用する．一方で，このモデルは学習データ不足やモデル化の不十分さから性能には限界があった．一方，テキスト指示に基づく建築タスクではLLMが顕著な進展を示しており，適切なエージェント設計により創造的な共同作業も実現できる可能性がある．そこで本研究では，最先端のLLMを用いて共同建築エージェントを構築し，エージェント同士が協力して庭を作成できるかを検証する．具体的には，単一指示から高品質な構造物を構築するCreativeAgents[10]に対してAction-UtteranceModelの逐次的な行動選択フローを導入する．図1は，本研究で構築したエージェントが協力して庭を作成する様子を示す．本研究では，共同建築タスクをエージェント同士で実行し，生成された庭と対話を人手評価する．さらに，同一タスクを実行した人間同士の結果と比較し，改善に向けた知見を得る．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).最大値を太字，最小値を下線で示す．エージェント発話数ブロック設置数ブロック破壊数庭のブロック数GPT-4o88.7294.6220.1173.0Gemini2.0Flash43.0641.1515.2246.6DeepSeek-V386.3779.2623.8250.6Llama3.370B72.4366.2315.4155.1Qwen332B49.4469.7406.3161.4人間24.9339.8234.4205.5示す．「作業中盤」は建築途中の庭，「作業終了後」は完成後の庭を指す．エージェントユニークさ美しさ自然性主張の積極性合意形成度意見反映度GPT-4o4.774.173.605.464.134.55Gemini2.0Flash4.814.405.035.644.784.95DeepSeek-V35.144.164.225.504.654.72Llama3.370B3.923.333.925.284.304.45Qwen332B4.503.943.985.034.334.80人間（作業中盤）4.493.80----人間（作業終了後）5.155.084.845.034.834.514.2評価指標共同建築タスクにおける性能評価のため，客観指標と主観的な人手評価の両方を用いる．評価対象は最終的な庭に加え，建築過程での対話も含む．客観評価では，以下の4指標を用いる：発話数対話中に生成された発話回数の合計．ブロック設置数対話中に設置されたブロック数．ブロック破壊数対話中に破壊されたブロック数．庭のブロック数最終的な庭に使用されたブロック総数．主観評価では，庭と対話それぞれに指標を設定する．庭については，「独創的で美しい庭の作成」を目的とするタスク設定[13]を踏まえ，ユニークさと美しさの2指標で評価する：ユニークさ庭が個性的かどうか．美しさ庭が美しいかどうか．対話については，共同作業の質に関わる意思疎通や相互理解を捉えるために，以下の4指標を用いる：自然性対話が自然かどうか．主張の積極性自身の意見を主張しているか．合意形成度意見のすり合わせが行われているか．意見反映度意見のすり合わせの結果が庭のデザインに反映されているか．これらの主観評価は，7段階リッカート尺度（1：最低，7：最高）で実施した．(a)人間（作業終了後）(b)GPT-4o(c)Gemini2.0Flash(d)DeepSeek-V3(e)Llama3.370B(f)Qwen332B4.3結果破壊数，および最終的な総ブロック数を示す．エージェントは人間より発話数が多く，特にGPT-4oとDeepSeek-V3は人間の約3.5倍であった．また，Gemini2.0FlashとDeepSeek-V3は設置・破壊が多く，最終的なブロック数も大きい．一方，人間は少ない発話・操作で庭を完成させており，効率的な作業が示唆される．である．庭の評価では，ユニークさはDeepSeek-V3org/licenses/by/4.0/).間の総発話数に対する発話の割合を示す．各列について，最大値を太字，2番目に高い値を下線で示す．IDクラスタラベルGPT-4oGemini2.0FlashDeepSeek-V3Llama3.370BQwen332B人間1肯定的反応0%0%0%0%0%48.39%