文法誤り訂正の包括的メタ評価:既存自動評価の限界と大規模言語モデルの可能性

評価尺度の評価（メタ評価）は主に人手評価との相関に基づいて行われる．しかし，従来の英語文法誤り訂正(GEC)のメタ評価は，評価粒度の不一致によるバイアスや，現在の主流システムとの乖離などの問題に直面している．これらの問題に対処するために，12の最先端システムを対象に，2つの評価粒度で人手評価することで，より妥当性のあるメタ評価を可能にするデータセット(SEEDA)を構築する．さらに，SEEDAを用いた包括的なメタ評価を通して，GECにおける既存自動評価の現状と大規模言語モデルの評価性能を調査する．