QAタスク回答中の趣旨・補足に対する不適・不足の分析

本論文では，質問応答タスクにおいて，参照回答(正解データ)と大規模言語モデルの出力回答を比較し，「趣旨」「補足」情報ごとの「不適」・「不足」を計測する新たな評価指標を提案している．「趣旨」「補足」や「不適」「不足」の細かい定義は3章や4.1節で述べているが，「趣旨」「補足」で区別して出力回答を確認し，参照回答との「不適」「不足」を検出することで，質問応答タスクにおける性能を定量的に評価することが可能となり、単純な文章の類似度だけでは考慮できない要素を含んだ評価指標となる．4.3節では実際にこの指標を使い，会計ドメインを使用した質問応答タスクの結果を人手で評価している．出力回答の内、過半数以上が少なからず「不適」「不足」を含んでおり，この部分の原因を分析し改良することで性能向上の余地を確認でき，質問応答タスクの性能向上に向けた分析を行うという点で有効な指標であると言える．