QAタスク回答中の趣旨・補足に対する不適・不足の分析

本論文では質問応答タスクにおいて，参照回答とLLMにより出力される回答との一致度を測る際，出力回答中の「趣旨」と「補足」の情報を区別し，それぞれに対し「不適」「不足」まで考慮した新たな指標を提案している．ここで提案する評価指標は，単なる文章の類似度だけでは考慮できない要素を含んだ評価指標となる．また，そのような基準に基づいた出力回答の分類や実際に人手で分析した結果を最終的に示し，基準の整合性を確認している.