本論文では質問応答タスクにおいて，参照回答とLLMにより出力される回答との一致度を測る際，出力回答中の「趣旨」と「補足」の情報を区別し，それぞれに対し「不適」「不足」まで考慮した新たな指標を提案している．ここで提案する評価指標は，単なる文章の類似度だけでは考慮できない要素を含んだ評価指標となる．また，そのような基準に基づいた出力回答の分類や実際に人手で分析した結果を最終的に示し，基準の整合性を確認している.

本論文では，質問応答タスクにおいて，参照回答(正解データ)と大規模言語モデルの出力回答を比較し，「趣旨」「補足」情報ごとの「不適」・「不足」を計測する新たな評価指標を提案している．「趣旨」「補足」や「不適」「不足」の細かい定義は3章や4.1節で述べているが，「趣旨」「補足」で区別して出力回答を確認し，参照回答との「不適」「不足」を検出することで，質問応答タスクにおける性能を定量的に評価することが可能となり、単純な文章の類似度だけでは考慮できない要素を含んだ評価指標となる．4.3節では実際にこの指標を使い，会計ドメインを使用した質問応答タスクの結果を人手で評価している．出力回答の内、過半数以上が少なからず「不適」「不足」を含んでおり，この部分の原因を分析し改良することで性能向上の余地を確認でき，質問応答タスクの性能向上に向けた分析を行うという点で有効な指標であると言える．