文法誤り訂正の包括的メタ評価:既存自動評価の限界と大規模言語モデルの可能性

文法誤り訂正(GEC)の評価尺度は，その評価粒度によって編集ベースと文ベースの2つに分類され，それぞれ異なる目的を持っている．編集ベース評価尺度(EBM)は編集自体を評価する一方，文ベース評価尺度(SBM)は文全体の品質を評価する．また，そのような評価尺度の信頼性に関する評価（メタ評価）は，主に人手評価との相関に基づいて行われる．英語GECのメタ評価の多くは，Grundkiewiczら[1]のデータセット（GJG15）を使用してきたが，GJG15に基づいたメタ評価[1,2,3,4]にはいくつかの問題がある．1つ目に，評価尺度と人手評価の評価粒度の不一致から生じるバイアスにより，EBMが過小評価されている恐れがある．バイアスの例として，未訂正の文に対し，EBMは必ず最低のスコアをつける一方，文ベースの人手評価では文自体の良さを評価するため全範囲のスコアが付与され得ることが挙げられる．2つ目に，GJG15はCoNLL-2014SharedTask[5]の統計的機械学習に基づく古典的システムを人手評価している．そのため，GJG15のシステムと近年のディープニューラルネットワークに基づくシステムとの乖離により，メタ評価の適用範囲が制限されている．3つ目に，単一のデータポイントから得られた相関に基づく結論は妥当性に欠ける可能性がある．Deutschら[6]は要約のメタ評価において特定の評価尺度は相関に幅があることを示しており，Mathurら[7]は機械翻訳のメタ評価において外れ値が相関に強い影響を与えていたことを発見した．そのため，GECにおいても同様の懸念が残る．そこで本研究では，より信頼できる英語GECのメタ評価のための新たなデータセットであるSEEDAを提案する．1）そして，構築したSEEDAを用いた包括的なメタ評価の結果，既存自動評価はこれまで報告されていたほど高性能システムの性能差を捉えるほどの解像度を持っていないことが明らかとなった．さらに，この現状を踏まえ，近年言語生成の評価モデルとしても有効と報告[8,9]されている大規模言語モデル(LLM)をGEC評価にも初めて導入し，どの程度人手評価の代替になり得るか調査する．