文法誤り訂正における人手評価と自動評価の乖離とその解決

文法誤り訂正分野は入力文に含まれる文法的な誤り，もしくは綴り・正書法の誤りなどを自動的に訂正することを目指す分野で，系列変換モデル[1,2]，系列ラベリング[3,4]，言語モデル[5,6]による訂正システムが提案されている．ユーザは多様な訂正手法の中からできるだけ質の高い訂正システムを選択したいため，自動評価の結果に基づきシステムを順位付けすることで最適なシステムを検討する．自動評価には人手評価を模倣するような順位付けを行うことが期待されており，実際にこれまでの自動評価尺度のメタ評価が人手評価との一致を計ることにより実施されてきたことからも明らかである[7,8]．例えば，自動評価の順位と人手評価の順位の間でSpearmanの順位相関係数を計算し，より高い値を達成する尺度をよい尺度であるとみなすことができる．しかし，人手評価の模倣を目的としているにも関わらず，現状の自動評価は人手評価とは乖離した手順に基づいている．図1に，2文が含まれるデータセットを用いて3つの訂正モデルの順位づけを目的前提：訂正結果システム1システム2システム3入力文1訂正文1訂正文1訂正文1入力文2訂正文2訂正文2訂正文2人手評価文単位評価システム順位訂正文1<訂正文11位：システム3訂正文1訂正文1>レーティングアルゴリズム2位：システム1訂正文2<訂正文23位：システム2訂正文2訂正文2<自動評価文単位評価コーパス単位評価システム順位システム1システム10.70平均訂正文1:0.8訂正文2:0.6ソート1位：システム3システム2システム20.75平均2位：システム2システム2システム2訂正文1:0.7訂正文2:0.83位：システム1システム3システム30.85平均システム2システム2訂正文1:0.9訂正文2:0.8づけるときの，人手評価および自動評価の概念図．としたときの評価手順を示す．人手評価では，同じ入力文に対する訂正文をシステム間で相対的に比較し，比較結果をTrueSkill[9]などのレーティングアルゴリズムによって順位に変換する．一方，自動評価では，それぞれの訂正文を絶対的に評価することで評価値を推定し，コーパスレベルで平均もしくは累積した後ソートする．このように現状の自動評価は人手評価と乖離した評価手順を採用しており，人手評価を模倣するという目的と矛盾している．直感的には，自動評価は人手評価と同じ手順に基づいて実施することが望ましいと考えられる．本研究では，この乖離を解決することで人手評価をよりよく模倣する自動評価が可能になるという仮説のもと，自動評価においても人手評価と同じ手.順で順位を計算することを提案する．実験では，既存の様々な自動評価尺度を対象に，メタ評価ベンチマークであるSEEDAデータセット[8]においてメタ評価を実施した．結果から，指摘した乖離を埋めることによって多くの尺度で評価結果が改善し，BERT[10]ベースの自動評価尺度でも大規模言語モデルを上回る評価が可能であることを述べる．また，今後の自動評価尺度の使用と開発について議論し，特に評価尺度の開発については文単位の相対的な評価性能が重要となることを述べる．