長文生成の多面的評価:人手評価と自動評価の向上を目指して

質問応答タスクは大きくFactoid型とNon-Factoid型に分けられる．「日本の首都は？」のような回答が名詞1単語など一言で回答できるようなタスクをFactoid型とよび，「なぜ空は青い？」のような複数文での説明を要するようなタスクをNon-Factoid型と呼ぶ．Factoid型の質問応答タスクは特にMask言語モデルで研究の対象とされてきた[1,2,3]．一方で，大規模言語モデル(LLM)は様々なタスクで著しい成長を遂げており[4]，情報検索クエリに対して流暢でもっともらしい長文回答が生成できる様になった[5]．これより，Non-Factoid型質問応答タスクへの注目が集まるようになった[6,7]．現在の言語モデルは高品質な回答を出力できるとされるが，それらの評価は依然として課題の一つである[8]．広く使われている自動評価指標であるROUGEは[9]模範解答との使用語彙の一致度を利用するが，簡単にだしぬけてしまう[10]．信頼できる評価を行うために，昨今では2つの回答の候補を見せて全体WeperceiveourvoicedifferentlyWhenyouhearWhydowehateouryourselfasyouwhen…speak…ownvoicewhenwehearitrecorded?人間LM0-1Formality033-1Factuality多面的・絶対的評価