文法誤り訂正の自動評価のための原文・参照文・訂正文間の𝑁-gram𝐹-score

文法誤り訂正(GEC)は、文書中の誤りを訂正するタスクで、文書校正[1,2,3]や言語学習支援[4,5,6]への応用が期待されている。GECでは、原文、参照文、訂正文に対し評価を行う自動評価尺度の導入により人手評価を介さない研究開発が可能となった。GECの自動評価尺度には、文間のアライメントに基づき訂正の正誤を数える手法と、𝑛-gramの頻度に基づく手法がある。前者のうち𝐹値を求めるM2[7]とERRANT[8]は、原文から無変更の訂正文よりも誤訂正によって改悪された訂正文に高い評価を与えてしまう[9]。前者のうち正解率を求めるI-measure[9]は、改悪された訂正文に負の評価を与えることができるが、人手評価との相関が低い。また、アライメントによる手法は計算量が大きい。後者に分類されるGLEU[10]は、計算量は小さいが、人手評価で評価が低いシステムの出力を不当に高く評価することがある。以上の問題を解決するため、本稿では𝑛-gramの頻度に基づき𝐹値を計算する新しいGEC自動評価尺度GREENを提案する。GREENは、原文から参照文、原文から訂正文への訂正で生じた𝑛-gramの出現頻度の差分を比較し、𝐹値を計算する。GREENは従来手法よりも人手評価と高い相関を示すことを原文𝑆“Whatisyou?”What(TrueDelete)isUnder-Delete()?Over-Delete()youTrueKeep()are!Over-Insert()Under-Insert()WhoTrueInsert()参照文𝑅“Whoareyou?”訂正文𝐻“Whoisyou!”原文𝑆:Whatisyou?参照文𝑅:Whoareyou?訂正文𝐻:Whoisyou!確認した。また、文間のアライメントを計算しないためM2やERRANTよりも計算量が小さく、高速である。さらに、人手評価で入力より悪化したと評価されるシステムの出力にM2やGLEUが不当に高いスコアを与える場合においても、GREENでは人手評価と近い評価が行えることを確認した。