文法誤り訂正における人手評価と自動評価の乖離とその解決

文法誤り訂正における自動評価尺度の目的の一つは，人手評価を模倣するような訂正システムの順位づけである．しかし，現状の自動評価は人手評価と乖離した評価手順に基づいており，このことは人手評価を模倣する目的と矛盾している．具体的には，人手評価は文単位の相対的な評価結果をレーティングアルゴリズムで順位に変換するが，自動評価では文単位の絶対的な評価結果を平均するなどしてコーパス単位評価に集約し，ソートすることで順位とする．本研究では，この乖離を埋めるために既存の自動評価尺度を人手評価の方法と一致するように用いることを提案し，実際に多くの尺度で人手評価との一致度が向上することを示す．