QAタスク回答中の趣旨・補足に対する不適・不足検出へのLLM適用

本論文では質問応答タスクにおいて，回答中の「趣旨」「補足」情報まで考慮した評価を行う．さらに出力回答が参照回答と比較して過剰に書かれている箇所や欠けている箇所をそれぞれ「不適」「不足」と定義し，不適度や不足度を計測して出力回答を詳細に分類している．これらの評価指標は文献[14]で提案されたものであるが，文献[14]では「趣旨」「補足」を考慮した出力回答中の「不適」「不足」検出を人手評価によって実施していたため，大規模な評価が出来ないという課題があった．そこで本論文では，前述の手順を人手ではなくLLMを用いて自動化した手法を提案する．提案手法ではまず参照回答の文字列をLLMによって意味単位で「趣旨」「補足」に分類する．次に出力回答の文字列を同様に「趣旨」「補足」へ分類した後，参照回答の各「趣旨」「補足」に対して「不適」「不足」である箇所をLLMにより検出する．さらにLLMによる検出結果を文献[14]で実施された人手評価による検出結果と比較することで，本論文による自動評価の枠組みが人手による評価結果と大きな差異がないことを確認し，文献[14]による評価指標をより大規模に適用可能なものとした．