議論形式のマルチエージェント自動評価の詳細分析

大規模言語モデル（LargeLanguageModel:LLM）によって生成された文章の品質評価は、自然言語処理分野の研究課題としても、実用システム開発の観点でも最重要課題の一つといえる。LLMが生成する文章の品質評価については、回答が一意に決まらないこともあり、従来は人手により評価してきた[1]。しかし、人手評価の欠点として多くの時間と労力が必要となったり、評価者の違いや評価時のインストラクションの不整合などの理由で再現性が低いなどの課題が指摘されている[2,3]。このため、評価プロセスの自動化は、効率化とコスト削減、および、再現性の向上を実現するための重要な研究テーマとなっている。近年、LLMの性能向上に伴い、LLM自体をLLMが生成した文章の品質評価に用いる自動評価法(通称LLM-as-a-judge[4,5])が提案されている。以降、本稿ではLLMによる自動評価と表記する。このアプローチにより、従来の人手評価と比べ、評価速度の向上、評価コストの低下、再現性などの観点はいずれも向上した。しかし、現状のLLMによる自動評価法が人手評価に変わる完璧な代替法には至っておらず、人手評価への更なる適合が求められて∗東北大学の学術研究員としての成果いる。本研究では、LLMによる自動評価における判断の処理過程を、複数の人間が議論して最終的な判断をする手続きで模倣させることによって、LLMによる文章の品質評価能力が向上するかを検証する。この手法では、2つのLLMを協調的に動作させ、モデル間で議論を行わせることで、最適な評価を導き出すことを目指す。これにより、LLMが単独で行う評価よりも精度が向上することを期待する。また、人手評価が付与されている評価データを用いて、LLMによる自動評価が人間の評価とどの程度一致するかで性能を評価する。LLMの生成文の品質を評価する課題の上では、複数のLLMを用いて品質評価をする方法は、従来のように単一のLLMにて評価をする方法に比べ顕著に性能が向上するといった結果は得られなかったが、実験の過程で発見した課題や問題点に対する対応を試みることで得られた様々な有益な知見を共有する。