大規模言語モデル(LLM)は幅広いタスク目覚ましい成長を遂げているが，情報検索クエリに対する長文応答の評価は依然として困難である．本研究ではそのような長文生成に対して網羅的な評価基準を定め，人手評価と自動評価の質を高める．評価には4つの軸を設け，それぞれに対し絶対評価を行う．この枠組みに従い，人間の回答とLLMが生成した回答に対して総計3,600件の人手評価を収集し，総合評価に最も影響を与える重要な評価軸を明らかにする．更に，従来の手法を人手評価との相関で凌駕する，LLMを利用した自動評価手法を確立する．github.com/gokamoda/LFQA-MultiAspectEval

質問応答タスクは大きくFactoid型とNon-Factoid型に分けられる．「日本の首都は？」のような回答が名詞1単語など一言で回答できるようなタスクをFactoid型とよび，「なぜ空は青い？」のような複数文での説明を要するようなタスクをNon-Factoid型と呼ぶ．Factoid型の質問応答タスクは特にMask言語モデルで研究の対象とされてきた[1,2,3]．一方で，大規模言語モデル(LLM)は様々なタスクで著しい成長を遂げており[4]，情報検索クエリに対して流暢でもっともらしい長文回答が生成できる様になった[5]．これより，Non-Factoid型質問応答タスクへの注目が集まるようになった[6,7]．現在の言語モデルは高品質な回答を出力できるとされるが，それらの評価は依然として課題の一つである[8]．広く使われている自動評価指標であるROUGEは[9]模範解答との使用語彙の一致度を利用するが，簡単にだしぬけてしまう[10]．信頼できる評価を行うために，昨今では2つの回答の候補を見せて全体WeperceiveourvoicedifferentlyWhenyouhearWhydowehateouryourselfasyouwhen…speak…ownvoicewhenwehearitrecorded?人間LM0-1Formality033-1Factuality多面的・絶対的評価