文法誤り検出/訂正における訓練データと評価データのドメイン不一致による性能向上現象

本稿では，文法誤り検出/訂正では，モデルの訓練に関して直感に反した現象が生じることを報告する．従来の知見では，機械学習モデルの性能を高めるためには，モデルの適用先（評価データ）のドメインと訓練データのドメインを一致させるドメイン内訓練が重要であるとされてきた．実際，様々なタスクで性能が高くなることが示されている（例：画像認識[1]，機械翻訳[2]，機械読解[3]）．しかしながら，文法誤り検出/訂正では，両者のドメインが異なるドメイン外訓練がドメイン内訓練と同等以上の性能を達成することを示す．具体的には，書き手の習熟度が低い文章を訓練データとして用いると，検出/訂正対象の文章の書き手の習熟度にかかわらず，性能が最も良くなる傾向にあることを示す．特に，訓練データの量が少ない際にこの傾向は顕著となる．一から大量の訓練データを作成するのではなく，既存のモデルをﬁne-tuneすることが現在の主流であることを考慮すると，この知見は文法誤り検出/訂正システムを開発する上で重要である．4節では，文法誤り検出を対象にして，ドメイン外訓練がドメイン内訓練の性能を上回ることを示す．英語学習者コーパス5種類を使用し，訓練データ，評価データ25通りの組み合わせについて，ドメイン内外訓練の効果を検証する．5節では，文法誤り訂正を対象にして同様の検証を行う．ただし，文法誤り検出で顕著な性能の逆転現象が見られた3種類の学習者コーパスを対象とする．6節で実験結果を考察し，一見不可解な性能の逆転現象が，実質的な訓練データの量という観点から，シンプルに説明できることを明らかにする．更に，その考察から得られる外国語習得研究と誤り検出/訂正研究に関する示唆についても述べる．