QAタスク回答中の趣旨・補足に対する不適・不足検出へのLLM適用

本論文では質問応答タスクにおける回答の「趣旨」「補足」を分類し，参照回答との「不適」「不足」を考慮する指標について，その評価をLLMを利用することで自動化する手法について提案する．ここで「趣旨」とは主張の中心となる情報，「補足」はそれを補う情報を指し，さらに出力回答の「趣旨」や「補足」が参照回答にはない情報を述べている場合に「不適」，情報が欠けている場合に「不足」と分類する．文献[14]で提案されたこの指標について，本論文では自動評価する手法を確立することで，より大規模に評価可能な枠組みを実現可能とした．