本論文では質問応答タスクにおける回答の「趣旨」「補足」を分類し，参照回答との「不適」「不足」を考慮する指標について，その評価をLLMを利用することで自動化する手法について提案する．ここで「趣旨」とは主張の中心となる情報，「補足」はそれを補う情報を指し，さらに出力回答の「趣旨」や「補足」が参照回答にはない情報を述べている場合に「不適」，情報が欠けている場合に「不足」と分類する．文献[14]で提案されたこの指標について，本論文では自動評価する手法を確立することで，より大規模に評価可能な枠組みを実現可能とした．

本論文では質問応答タスクにおいて，回答中の「趣旨」「補足」情報まで考慮した評価を行う．さらに出力回答が参照回答と比較して過剰に書かれている箇所や欠けている箇所をそれぞれ「不適」「不足」と定義し，不適度や不足度を計測して出力回答を詳細に分類している．これらの評価指標は文献[14]で提案されたものであるが，文献[14]では「趣旨」「補足」を考慮した出力回答中の「不適」「不足」検出を人手評価によって実施していたため，大規模な評価が出来ないという課題があった．そこで本論文では，前述の手順を人手ではなくLLMを用いて自動化した手法を提案する．提案手法ではまず参照回答の文字列をLLMによって意味単位で「趣旨」「補足」に分類する．次に出力回答の文字列を同様に「趣旨」「補足」へ分類した後，参照回答の各「趣旨」「補足」に対して「不適」「不足」である箇所をLLMにより検出する．さらにLLMによる検出結果を文献[14]で実施された人手評価による検出結果と比較することで，本論文による自動評価の枠組みが人手による評価結果と大きな差異がないことを確認し，文献[14]による評価指標をより大規模に適用可能なものとした．