長文生成の多面的評価:人手評価と自動評価の向上を目指して

大規模言語モデル(LLM)は幅広いタスク目覚ましい成長を遂げているが，情報検索クエリに対する長文応答の評価は依然として困難である．本研究ではそのような長文生成に対して網羅的な評価基準を定め，人手評価と自動評価の質を高める．評価には4つの軸を設け，それぞれに対し絶対評価を行う．この枠組みに従い，人間の回答とLLMが生成した回答に対して総計3,600件の人手評価を収集し，総合評価に最も影響を与える重要な評価軸を明らかにする．更に，従来の手法を人手評価との相関で凌駕する，LLMを利用した自動評価手法を確立する．github.com/gokamoda/LFQA-MultiAspectEval