\label{sec:introduction}文法誤り訂正(GrammaticalErrorCorrection,GEC)は，テキスト中に含まれる様々な種類の誤りを自動的に訂正するタスクである．文法誤り訂正技術は作文支援や言語学習者支援など幅広い応用が期待されることから，自然言語処理における主要な応用タスクの一つとなっている．特に，英語を対象とした文法誤り訂正タスクでは，CoNLL-2014データセット（以下，CoNLL-2014）\shortcite{Ng:14:CoNLLST}を用いて文法誤り訂正モデルの評価を行うことで盛んに研究開発が進んできた\shortcite{Junczys-Dowmunt:16:EMNLP,Chollampatt:18:AAAI,lichtarge2019corpora,zhao2019improving,kiyono-etal-2019-empirical}．一方で，文法誤り訂正モデルの性能評価に関してはタスクの性質上不十分な可能性が高い．文法誤り訂正タスクの入力には書き手の習熟度・母語・エッセイトピックなどの条件によって様々なバリエーションのある文が想定され，タスクの難易度は各条件下によって異なる．しかし，既存研究の多くは1つまたは2つのコーパスを用いた限定的な条件でのみ評価を行う傾向がある\shortcite{mizumoto-matsumoto-2016-discriminative,ji:2017:nested,junczys:2018:NAACL,lichtarge2019corpora}．実際，Grammarly\footnote{\url{https://www.grammarly.com/}}やGinger\footnote{\url{http://www.getginger.jp/}}など文法誤り訂正技術の実サービスでは，特定の条件ではなく任意の条件を入力として想定する場合が多い．仮に，難易度に依存して異なるコーパス間でモデルの評価にばらつきが生じた場合，単一コーパスによる評価ではある特定の条件でのみ成立する限定的な議論しか行うことができないため，評価の方法論として不十分である．そこで本研究では，文法誤り訂正の評価の方法論として，既存の単一コーパスによる評価は不十分であるという仮説に基づき，コーパス横断評価の必要性について調査する．ここでコーパス横断評価とは，単一の評価尺度と複数のコーパスを用いて，モデルを多角的に評価することと本研究では定義する．上記仮説を検証するにあたり，4種類の手法(LSTM,CNN,Transformer,SMT)を6種類のコーパス(CoNLL-2014,CoNLL-2013,FCE,JFLEG,KJ,BEA-2019)を用いて評価実験を行った結果，コーパス毎にモデル順位が大幅に変動した．そのため，タスクの性質上，文法誤り訂正モデルは複数のコーパスを用いて横断的に評価を行うことが重要である．また，横断評価は実応用を見据えた場合においても有用であると考えられる．そこで，横断評価の有用性を検証するために，文法誤り訂正の入力に想定される代表的な条件の一つである書き手の習熟度を評価セグメントとした場合の横断評価を行った．その結果，書き手の習熟度が初中級レベルと上級レベル間ではモデルの性能評価に関して大きな乖離があることがわかった．本研究の貢献は次の3点である．\vspace{0.5\Cvs}\begin{itemize}%%%%\vspace{3mm}%%%%\setlength{\itemsep}{1mm}\item初めて文法誤り訂正モデルのコーパス横断評価の必要性について調査した．\item既存の単一コーパス評価では文法誤り訂正モデルの評価として信頼性に欠ける可能性があることを示した．\item書き手の習熟度が初中級レベルと上級レベル間ではモデルの性能評価に関して大きな乖離があることを示した．%%%%\vspace{3mm}\end{itemize}%%%%%%%%%%%%%%Section2%%%%%%%%%%%%%%%%%%%%%%%%%%