# 日本語文法誤り訂正のための誤用タグ付き評価コーパスの構築

小山 碧海 $\dagger \cdot$ 喜友名朝視顕 $\dagger$ - 小林 賢治 $\dagger$ ・新井 美桜 $\dagger$ ・

三田雅人 ${ }^{\dagger+, \dagger}$ ・岡 照晃 $\dagger$ ・ 小町 守 $\dagger$

本稿では，日本語文法誤り訂正のための誤用タグ付き評価コーパスを構築する。評価 コーパスはモデルの性能評価に欠かすことができない．英語文法誤り訂正では様々 な評価コーパスの公開により，モデル間の精緻な比較が可能になりコミュニティが 発展していった。しかし日本語文法誤り訂正では利用可能な評価コーパスが不足し ており，コミュニティの発展を阻害している。本研究ではこの不足を解消するため，日本語文法誤り訂正のための評価コーパスを構築し, 一般利用可能な形で公開する.我々は文法誤り訂正において代表的な学習者コーパス Lang-8 コーパスの日本語学習者文から評価コーパスを作成する。また文法誤り訂正分野の研究者や開発者が使 いやすい評価コーパスとするため, 評価コーパスの仕様を英語文法誤り訂正で代表的なコーパスやツールに寄せる。最後に作成した評価コーパスで代表的な文法誤り 訂正モデルを評価し, 今後の日本語文法誤り訂正においてべースラインとなるスコ アを報告する。

キーワード：文法誤り訂正，評価コーパス，誤用タグ，日本語
## Construction of an Error-Tagged Evaluation Corpus for Japanese Grammatical Error Correction

\author{
Aomi Koyama ${ }^{\dagger}$, Tomoshige Kiyuna ${ }^{\dagger}$, Kenji Kobayashi ${ }^{\dagger}$, Mio Arai ${ }^{\dagger}$, \\ Masato Mita $^{\dagger \dagger, \dagger}$, Teruaki OKa ${ }^{\dagger}$ and Mamoru Komachi ${ }^{\dagger}$
}

This study constructed an error-tagged evaluation corpus for Japanese grammatical error correction (GEC). Evaluation corpora are essential for assessing the performance of models. The availability of various evaluation corpora for English GEC has facilitated a comprehensive comparison between models and the development of the English GEC community. However, the development of the Japanese GEC community has been hindered due to the lack of available evaluation corpora in the Japanese GEC. As a result, we constructed a new evaluation corpus for the Japanese GEC and made it available to the public. We used texts written by the Japanese language learners in the Lang-8 corpus, a representative learner corpus in GEC, to create the

evaluation corpus. The specification of the evaluation corpus was modified to align with the representative corpora and tools in the English GEC, making it easy for GEC researchers and developers to use the evaluation corpus. Finally, we evaluated representative GEC models on the created evaluation corpus and reported baseline scores for future Japanese GEC.

Key Words: Grammatical Error Correction, Evaluation Corpus, Error Tag, Japanese

## 1 はじめに

文法誤り訂正とは，与えられた文章中の文法誤りを文法的に正しい表現に訂正するタスクである。主に語学学習者が書いた文章を対象とし, 自然言語処理の教育応用における主要夕スクのひとつとなっている。これまでルールに基づく手法 (Schneider and McCoy 1998) や言語モデルに基づく手法 (Gamon et al. 2008), 分類器に基づく手法 (Dahlmeier and Ng 2011) などが開発されてきた。近年では機械翻訳に基づく手法 (Brockett et al. 2006) が盛んに研究されている (Chollampatt and Ng 2018; Junczys-Dowmunt et al. 2018; Zhao et al. 2019; Lichtarge et al. 2019; Kiyono et al. 2020; Kaneko et al. 2020; Rothe et al. 2021; Yuan et al. 2021; Stahlberg et al. 2022; Sun and Wang 2022). 分類器に基づく手法などが対象とする誤りを限定していたのに対し, 機械翻訳に基づく手法は様々な誤りを訂正できるためモデルの性能は飛躍的に向上した.

文法誤り訂正が発展する要因のひとつに一般利用可能な評価コーパスの存在がある。例えば英語文法誤り訂正では 2012 年頃まで各研究が独自の評価コーパスでモデルを評価していたため，異なる研究間でモデルの性能が比較しづらいという問題があった。しかし CoNLL-2013 及び CoNLL-2014 shared task (Ng et al. 2013, 2014) で評価コーパスが一般公開されたことにより，各研究が同じ評価コーパスでモデルを評価するようになった．その結果，英語文法誤り訂正ではモデル間の性能差を比較しやすくなり迅速に研究を進めることが可能になった．現在では CoNLL-2014 shared task 評価コーパスでモデルを評価することが一般的である。また英語文法誤り訂正では, 単一の評価コーパスに過度に依存することの危険性が指摘されており (Mita et al. 2019), 様々な評価コーパスを用いた多面的な評価が進んでいる (Grundkiewicz et al. 2019; Kiyono et al. 2020; Kaneko et al. 2020; Yasunaga et al. 2021; Lai et al. 2022). 具体的には CoNLL-2014 shared task 評価コーパスに加え, FCE (Yannakoudakis et al. 2011) や JFLEG (Napoles et al. 2017), W\&I+LOCNESS (Granger 1998; Yannakoudakis et al. 2018), GMEG (Napoles et al. 2019) といった評価コーパスが利用されている。一方日本語文法誤り訂正では利用可能な評価コーパスが限られており (大山他 2016; 木山他 2022), 研究間でのモデルの比較・多面的評価のためには評価コーパスをいま以上に増やす必要がある.

そこで本研究では，日本語文法誤り訂正のための評価コーパスを構築し，一般利用可能な形

で公開する。我々は文法誤り訂正において代表的な多言語学習者コーパス Lang-8 コーパス (水本他 2013) の日本語学習者文を本評価コーパスの学習者文に利用する。また文法誤り訂正分野の研究者や開発者が使いやすい評価コーパスとするため，本評価コーパスの仕様を英語文法誤り訂正で代表的なコーパスやツールに寄せる．具体的には (1) 対象とする誤りの範囲を学習者コーパス NUCLE (Dahlmeier et al. 2013)に合わせ，(2) 誤用タグを自動誤用タグ付けツール ERRANT (Felice et al. 2016; Bryant et al. 2017)の誤用タグを一部改変し設計する。 (1)について, 現在の文法誤り訂正では綴り誤りや語彙選択誤りといった狭義の文法誤り以外も訂正対象に含めることが一般的である。したがって本評価コーパスでも綴り誤りや語彙選択誤りも訂正対象に含める。(2)について, 英語文法誤り訂正ではモデルの誤りタイプ別評価を $\mathrm{F}_{0.5}$ で行うため, ERRANT が盛んに使用されている。本研究では日本語用の自動誤用タグ付けツール（日本語版 ERRANT）を今後開発しやすくするため, ERRANT の誤用タグを一部改変し誤用タグを設計する. 最後に作成した評価コーパス及び既存評価コーパスで 6 種類の代表的な文法誤り訂正モデルを評価し, 今後の日本語文法誤り訂正においてべースラインとなるスコアを報告する.本研究の主な貢献は以下の通りである.
- 日本語文法誤り訂正のための誤用タグ付き評価コーパスを構築し公開した¹.また誤用夕グを利用し，日本語文法誤り訂正モデルの誤りタイプ別の性能を調査した.
- 作成した評価コーパス及び既存評価コーパスで 6 種類の代表的な文法誤り訂正モデルを評価し，今後の日本語文法誤り訂正においてべースラインとなるスコアを示した.

## 2 関連研究

## 2.1 文法誤り訂正の評価コーパス

文法誤り訂正の代表的な自動評価手法は誤り文と比較し訂正文に施されている編集をモデルがどの程度再現できたかをスコアリングする (Dahlmeier and Ng 2012; Felice and Briscoe 2015; Napoles et al. 2015; Bryant et al. 2017; Gotou et al. 2020). そのため評価には誤り文とその訂正文を収録したコーパスが必要である．表 1 に誤り文とその訂正文を収録した主な日本語学習者コーパスを示す。日本語文法誤り訂正では作文対訳データベース (井上他 2006) や NAIST 誤用コーパス (大山他 2016) が評価コーパスに利用されている. 作文対訳データベースは元々日本語教育での活用を目的に作成された学習者コーパスであり，NAIST 誤用コーパスは作文対訳データベースに誤用タグを付与したコーパスである。我々の評価コーパスが文法誤り訂正モデルの評価を目的に一貫した訂正基準に基づき訂正を行っているのに対し, 作文対訳データベー スでは日本語教師が学習者の習熟度に応じて日本語教師個人の感覚と経験に基づき訂正を施し
^{1}$ TMU Evaluation Corpus for Japanese Learners (TEC-JL). https://github.com/koyama-aomi/TEC-JL
}

表 1 主な日本語学習者コーパス.

ている。また作文対訳データベースの手書き作文は仮名漢字変換システムを利用しておらず， Lang-8 コーパスのキーボード入力とは学習者の犯す誤り傾向が異なる. さらに Lang-8 コーパスが多様なトピックの文章を含むのに対し (水本他 2013), 作文対訳データベースでは与えられた課題2にピックが限られる。加えて NAIST 誤用コーパスの誤用タグが学習者の誤用分析や学習者へのフィードバックを目的に設計されている一方, 本研究の誤用タグは今後日本語版 ERRANT を開発しやすいように設計している。その他の日本語学習者コーパスには，なたね ${ }^{3}$

かしなたねは言語資源協会の会員以外は有償であり ${ }^{6}$, 日本語学習者作文コーパスと国際日本語学習者作文コーパス及び誤用辞典はテキストデータ全体が一般公開されていないためモデルの評価に利用しにくい.また水本他 (2013) や Liu et al. (2018) は独自に作成した評価コーパスを用いており，それら評価コーパスは非公開のため使用できない。我々は作成した評価コーパスを他の研究も利用可能な形で公開する.

近年日本語文法誤り訂正では FLUTEC (木山他 2022) という評価コーパスが公開された. FLUTEC は日本語文法誤り訂正モデルの流暢性評価 (Sakaguchi et al. 2016)を目的としており, Lang-8 コーパスの日本語学習者文へ文法的に正しいだけでなく流暢になる訂正（流暢な訂正： Fluency edits）を行っている。一方我々は流暢性よりも文法性評価を目的に文法的に正しくなる最小限の訂正（最小限の訂正：Minimal edits）を施した評価コーパスを作成する。表 2 に最小限の訂正と流暢な訂正の例を示す。最小限の訂正は本論文の訂正基準（3.1.2 節参照）に基づき作成した訂正文であり，流暢な訂正は FLUTEC に実際に収録されている訂正文である．表 2 より，最小限の訂正では “以外”を“意外”にのみ訂正しているのに対し，流暢な訂正では“たっ
^{5}$ https://corpus.icjs.jp/corpus_ja

6 https://www.gsk.or.jp/catalog/gsk2021-c
}

表 2 最小限の訂正と流暢な訂正の例.

ぷりになってしまいました”を“予定がぎっしり詰まってしまいました”のように表現を大幅に変えて訂正していることが分かる。このように最小限の訂正では原文の表現を可能な限り尊重し誤りがある箇所のみを訂正するのに対し，流暢な訂正では流暢な文になるように原文の表現を大幅に変えて訂正する。文法誤り訂正モデルをどのような評価コーパスで評価すべきかは目的次第であり，流暢に訂正する必要がなく文法誤りへの訂正性能のみを測りたい場合などは最小限の訂正を施した評価コーパスが有用である，実際英語文法誤り訂正では，最小限の訂正を施した CoNLL-2014 shared task 評価コーパスと流暢な訂正を施した JFLEG が評価の目的に合わせ使用されている (Sakaguchi et al. 2017; Mita et al. 2020).

またロシア語や中国語などでも文法誤り訂正のための評価コーパスが開発されている。Trinh and Rozovskaya (2021) は Lang-8 コーパス中の文章を再添削しロシア語文法誤り訂正の評価コーパス RU-Lang8 を作成した。 中国語文法誤り訂正でも Lang-8 コーパスを使用し MuCGEC (Zhang et al. 2022) というコーパスが作成された. 我々も Lang-8コーパス中の文章を再添削し日本語文法誤り訂正の評価コーパスを作成する。近年文法誤り訂正では, 英語だけでなくロシア語, ドイツ語, チェコ語など多言語にわたって実験を行う研究が増加している (Náplava and Straka 2019; Grundkiewicz and Junczys-Dowmunt 2019; Katsumata and Komachi 2020; Flachs et al. 2021; Rothe et al. 2021; Straka et al. 2021; 山下他 2022). この背景にはロシア語 (Rozovskaya and Roth 2019) やドイツ語 (Boyd 2018), チェコ語 (Náplava and Straka 2019) でコーパスが整備されたことがある。したがって我々の評価コーパスの公開でも日本語文法誤り訂正の研究促進が期待される。

## 2.2 文法誤り訂正モデル

機械翻訳に基づくモデルが台頭する以前は，訂正対象を限定した取り組みが主流であった。例えば英語では，訂正対象を前置詞誤りや冠詞誤りなどに限定した研究がある (De Felice and Pulman 2008; Gamon 2010; Rozovskaya and Roth 2010a, 2010b, 2011; Dahlmeier and Ng 2011; Cahill et al. 2013). 日本語では主に助詞誤りに訂正対象を限定していた (今枝他 2003; Suzuki
and Toutanova 2006; 南保他 2007; 今村他 2012; 笠原他 2012).

その後, 大規模な学習者コーパス Lang-8 コーパスが公開されたことにより機械翻訳に基づくモデルが隆盛し，訂正対象を限定しない取り組みが主流になった．機械翻訳に基づくモデルには様々なアーキテクチャが使用され，英語文法誤り訂正では SMT (Mizumoto et al. 2012; Junczys-Dowmunt and Grundkiewicz 2016), RNN (Yuan and Briscoe 2016; Ji et al. 2017), CNN (Chollampatt and Ng 2018; Ge et al. 2018b) を経て，現在 Transformer (Vaswani et al. 2017) が主に使用されている (Lichtarge et al. 2019; Kaneko et al. 2020; Mita and Yanaka 2021; Stahlberg et al. 2022)。近年では BART (Lewis et al. 2020) や T5 (Raffel et al. 2020) といった大規模事前学習済みモデルも利用されるようになった (Katsumata and Komachi 2020; Rothe et al. 2021).日本語文法誤り訂正では水本他 (2013) が Lang-8 コーパスを用いて SMT を訓練し訂正を行った. Liu et al. (2018) は訂正対象を機能表現に限定しているものの RNN を用いて訂正を行っている。本間, 小町 (2022) は非自己回帰モデルである Levenshtein Transformer (Gu et al. 2019) を使用し，高速な訂正機能を持ったライティング支援システムを構築した. Suzuki et al. (2022) は日本語文法誤り訂正の品質推定データセットを作成する際, SMT, RNN, CNN, Transformer を利用した。我々は機械翻訳に基づくモデルを幅広く用意し, 本研究で作成した評価コーパスでの性能を報告する.

英語文法誤り訂正ではモデルごとに誤りタイプ別の性能が異なることが知られている。例えば Chollampatt and Ng (2018) は CNN に基づくモデルは局所的な誤りの訂正性能が高いと述べている。 三田他 (2021) は CoNLL-2014 shared task 評価コーパス上で Transformer の時制誤りの訂正性能が SMT，RNN，CNN よりも高いことを報告している。 White and Rozovskaya (2020)は 2 つの擬似データ生成手法を比較し，擬似データごとのモデルの誤りタイプ別の性能を調査した. 1 つ目の手法ではスペルチェッカーを用いて構築した混同セットを利用し擬似デー夕を生成する (Grundkiewicz et al. 2019). 2 つ目の手法では学習者コーパスから抽出した誤りパター ン及び，動詞・名詞・前置詞の置換を利用し擬似データを生成する (Choe et al. 2019). 実験の結果，前者では綴り誤りの訂正性能が高く，後者では名詞の単数・複数形の誤りと時制誤りの訂正性能が高いことが明らかになった。一方日本語文法誤り訂正では, モデルの誤りタイプ別の訂正性能が未だ明らかでない。そのため我々は作成した評価コーパスを用いて日本語文法誤り訂正モデルの誤りタイプ別の性能を調査する．英語文法誤り訂正では異なる訂正傾向を持つモデルを組み合わせ性能を向上させる研究もあり (Grundkiewicz and Junczys-Dowmunt 2018; Kantor et al. 2019; Qorib et al. 2022), 日本語文法誤り訂正でもモデルごとの訂正傾向を把握することがより高性能なモデルの構築に繋がると考えられる.

## 3 評価コーパスの構築

本研究では Lang-8 コーパスの一部から評価コーパスを構築する．Lang-8コーパスは文法誤り訂正モデルの訓練に使用されることが多い. しかし語学学習 SNS Lang-87から自動収集して作成されたコーパスのためノイズを多く含み，評価にはほとんど使用されていない。そこで本評価コーパスを作成し，Lang-8コーパスを評価にも使用可能にする。また文法誤り訂正分野の研究者や開発者が使いやすい評価コーパスとするため, 本評価コーパスの仕様を英語文法誤り訂正で代表的なコーパスやツールに寄せる．具体的には対象とする誤りの範囲を学習者コーパス NUCLE に合わせ，誤用タグを自動誤用タグ付けツール ERRANT の誤用タグを一部改変し設計する.

## 3.1 訂正文の作成

我々は Lang-8 コーパスの訂正文にノイズが多く含まれることや Lang-8 ではユーザごとに訂正基準が異なることを理由に，学習者文を再添削し新たな訂正文を作成する．Lang-8コーパスの訂正文には訂正者（Lang-8 ユーザ）のコメントが付与されている場合や訂正者が学習者文中の誤りを全て訂正していない場合がある (水本他 2013). Mita et al. (2020) の実験では Lang-8 コーパスの訂正文に含まれるノイズの定量化を試みている。具体的には Lang-8 コーパスの訂正文からノイズを除去した訂正文を新たに作成し，元の訂正文とノイズ除去した訂正文の間の単語編集率でノイズ量を推定している。なお単語編集率は以下の式で定義される.

$
\text { 単語編集率 }:=\frac{\sum_{i=1}^{N} d\left(X_{i}, Y_{i}\right)}{\sum_{i=1}^{N}\left|X_{i}\right|} \times 100(\%)
$

ここで $N$ はデータセット内の文対数であり， $X_{i}$ と $Y_{i}$ はそれぞれ編集前と編集後の文である。また $d(\cdot)$ は編集距離 (Levenshtein 1966)を表し， $\left|X_{i}\right|$ は $X_{i}$ の単語数を表す. Mita et al. (2020)の実験では, $X_{i}$ が元の訂正文に相当し, $Y_{i}$ がノイズ除去後の訂正文に相当する. 実験の結果, 単語編集率は $34.6 \%$ となり，Lang-8コーパスの訂正文には無視できない量のノイズが含まれることが明らかになった. また Rothe et al. (2021)は英語・ドイツ語・ロシア語で Lang-8コーパスの訂正文を大規模多言語事前学習済みモデル mT5 (Xue et al. 2021)の出力文に置き換え, ノイズの少ない訂正文を持った Cleaned Lang-8 Corpus (cLang-8) を作成し公開した 8 . さらに Lang-8 ではユーザが自由に学習者文を訂正しているため訂正基準が統一されておらず，モデルの文法性に絞った評価がしにくい. したがって本研究では一貫した訂正基準のもと訂正文を作成し, 文法誤り訂正モデルの評価に使いやすくする．加えて本研究ではマルチリファレンス評価のため,
^{8}$ https://github.com/google-research-datasets/clang8
}

1 つの学習者文につき 2 つの訂正文を付与する．文法誤り訂正は 1 つの入力文に対し正解となる訂正文が必ずしも 1 つに定まらないタスクである (Bryant and Ng 2015)。そのため文法誤り訂正では, 複数の訂正文（参照文）を用いたマルチリファレンス評価を行い，モデルが参照文とは異なる正しい訂正を行った場合に過小評価される問題を軽減している．例えば CoNLL-2014 shared task 評価コーパスでは 1 つの学習者文につき 2 の訂正文が付与されており, 英語文法誤り訂正ではそれら 2 つ訂正文を用いてモデルを評価している。そこで本研究でも 1 つの学習者文につき 2 つの訂正文を付与しマルチリファレンス評価を可能にする.

## 3.1.1 作成手順

我々が訂正文を作成した際の具体的な手順は以下の通りである.

手順 1. Lang-8 コーパスから 2,000 文程度になるように日本語を学習言語とする文章を抽出す $る^{9}$.

手順 2. 抽出した文章の内，約 1 割を 3 人の日本語母語話者が訂正し，訂正基準を決定する.

手順 3. 1 つの文章につき 2 人の訂正者が訂正を行うように， 3 人の日本語母語話者に文章を割

り振り，作成した訂正基準に従って訂正文を作成する。

手順 4. 作成した訂正文を本論文の最終著者が確認し，不適切な箇所があれば各訂正者が再度訂正を行う.

ここで手順 2 と手順 3 における訂正者は本論文の第 1 著者, 第 2 著者, 第 3 著者である．各訂正者は情報通信工学を専攻する 20 代の大学生であり日本語教育歴はない. 手順 4 の終了後,文分割に失敗している箇所を人手で修正した ${ }^{10}$ 。また文法誤り訂正に無関係な記号のみの文や日本語以外の文などを取り除き，URL や顔文字は特殊トークンに置き換えた．結果，日本語学習者文が 1,702 文となり，1つの学習者文につき 2 つの訂正文が付与された評価コーパスを作成した。

## 3.1.2 訂正基準

我々は基本的な訂正方針を NUCLE に合わせた，具体的には (1) 文法的に正しくなる最小限の訂正を行うこと，(2) 文章単位で訂正を行うことの 2 つを定めた. NUCLE の一部を使用した CoNLL-2014 shared task 評価コーパスは英語文法誤り訂正で最も代表的な評価コーパスである. NUCLE に仕様を合わせることで英語と同じような評価環境を整備することを狙った. (1)について, 最小限の訂正には NUCLE 同様, 狭義の文法誤りだけでなく綴り誤りや語彙選択誤りも含める. 訂正対象の範囲を NUCLE に合わせることで英語文法誤り訂正の知見を日本語文法誤り
^{10}$ Lang-8 では文章を自動で文分割しており，Lang-8 コーパスはその分割をそのまま使用しているため文分割に失敗している箇所が存在する。
}
訂正に援用しやすくなる. またドイツ語 (Boyd 2018) やロシア語 (Rozovskaya and Roth 2019), チェコ語 (Náplava et al. 2022)の文法誤り訂正評価コーパスでも狭義の文法誤り以外（綴り誤りや語彙選択誤りなど）を訂正対象に含めている。したがって文法誤り訂正分野全体として狭義の文法誤り以外も訂正対象とすることが一般的であるため, 本研究でも綴り誤りや語彙選択誤りを訂正対象に含める。(2)について, 学習者が書いた文章には時制誤りや接続詞誤りなど文間文脈に依存する誤りが存在する (Tajiri et al. 2012; Chollampatt et al. 2019; Yuan and Bryant 2021). 文単位で訂正を行った場合，そのような文間文脈を必要とする誤りを捉えることが難しい，文章単位であれば前後の文を考慮し訂正できるため，文間文脈を必要とする誤りを捉えることができる.

本研究では日本語の文章であることや Lang-8 コーパスを元データにしていることを考慮し,基本的な訂正方針に加え以下の訂正基準を定めた。

## 文単位の訂正基準

L1. 翻字を行う際, 単語が本来の発音のまま表記してあり,一般的な表記と異なる場合には一般的な表記に訂正する ${ }^{11}$.

L2. 補助用言が漢字で書かれている場合には平仮名に訂正する.

## 文章単位の訂正基準

G1. 1つの文章内では，常体と敬体を揃えるように訂正する.

G2. 助詞が脱落している場合, 助詞がないと不自然である場合のみ訂正する.

各訂正基準に基づく訂正例を表 3 に示す. L1 について，翻字とはある言語の単語を別言語の表記に移すことである．翻字では表 3 の例のように原言語の発音が目的言語の表記に必ずしも反映されず，目的言語での表記に合わせて書く必要があるため L1 を設定した。また翻字に関する訂正は作文対訳データベースやなたねでも行われており日本語教育にとって有用である．L2 について, 補助用言は単語本来の意味が失われており平仮名で書くことが一般的であるため L2 を設定した，G1について，1つの文章内では常体と敬体を揃えることが一般的であるため G1

 \\

表 3 設定した訂正基準に基づく訂正例.


を設定した ${ }^{12}$. G2 について，Lang-8 コーパスでは学習者の日記がくだけた表現で書かれていることが多い．くだけた表現の場合，助詞が脱落しても不自然でない場合があることから G2 を設定した。

## 3.2 誤用タグの付与

我々は日本語文法誤り訂正モデルをより詳細に分析するための誤用タグを設計し, 本評価コー パスの各誤りに人手で付与する。我々は英語文法誤り訂正で代表的な自動誤用タグ付けツール ERRANT の誤用タグを日本語用に一部改変し誤用タグを設計する。この理由は ERRANT の誤用タグに基づき誤用タグを設計することで今後日本語版 ERRANT を開発しやすくするためである。実際ドイツ語 (Boyd 2018) やチェコ語 (Náplava et al. 2022)では, ERRANT の誤用夕グを各言語用に一部改変し ERRANT のコードを流用する形でドイツ語版 ERRANT ${ }^{13}$ やェコ語版 ERRANT ${ }^{14}$ 開発している ${ }^{15}$ 。また ERRANT の誤用タグに基づくことで，日本語にあまり馴染みのない研究者が本評価コーパスを利用する場合でも誤用タグの意味を理解しやすくなると考えられる。さらに多言語にわたって文法誤り訂正の研究を行う場合, 言語間で誤用夕グの粒度がある程度揃っていた方がモデルの誤りタイプ別の分析をしやすくなる.

## 3.2.1誤用タグの設計

我々は ERRANT の誤用タグを一部改変し誤用タグを設計した ${ }^{16}$. ERRANT では Universal Dependencies (UD) (de Marneffe et al. 2021)17の品詞を基に誤用タグを設計している。そのため本研究では UD 日本語コーパス (浅原他 2019)の品詞も参考にした. 表 4 に本研究で設計した誤用タグの一覧を示す. 1 行目から 10 行目は語彙選択に関する誤用タグである。語彙選択の誤用タグはある品詞の単語が同じ品詞の別の単語に訂正された場合に付与される ${ }^{18}$. 例えば 1 行目では，“大切な”という形容詞が “重大な”という別の形容詞に訂正されているため ADJ の誤用タグが付与される。ここで形容詞や動詞の選択誤りにはコロケーション誤りも含める. 11 行目から 13 行目は活用に関する誤用タグである。活用の誤用タグはある単語が別の活用形に訂正された場合に付与される。例えば 11 行目では, “寂しい”という形容詞が“寂しく”という連用


 \\

表 4 本研究で設計した誤用タグの一覧.

形に訂正されているため ADJ:INFL の誤用タグが付与される。14 行目の SPELL の誤用タグは誤字・脱字・衍字などの誤りが訂正された場合に付与される。また SPELL には翻字の誤りも含める. 15 行目の VERB:TENSE の誤用タグはテンスやアスペクトといった時間表現について訂正された場合に付与される. 16 行目の WO の誤用タグは隣り合う単語を入れ替えるような訂正がされた場合に付与される。 17 行目の OTHER の誤用タグは 1 行目から 16 行目の誤用タグの中に該当する誤用タグがなかった場合に付与される.

## 3.2.2 付与手順

我々が誤用タグを付与した際の具体的な手順は以下の通りである.
手順 1. 原文（学習者文）と訂正文に自然言語処理ライブラリ spaCy (Honnibal and Montani 2017) ${ }^{19}$ を適用し，各文中の単語に基本形及び品詞の情報を付与する.

手順 2. 各文の基本形及び品詞の情報を基に表 4 の誤用タグを人手で付与する.

手順 1 では ERRANT に合わせ spaCy を使用した。なお spaCy を使用する際のモデルには ja_core_news_trf モデルを用いた。手順 2 では誤り箇所及び訂正箇所の基本形や品詞の情報を確認しながら本論文の第一著者が人手で誤用タグを付与した。表 5 に誤用タグの付与例を示す.表 5 の左側は動詞の選択誤りの例であり，“飲み”を“食べ”に訂正している。各単語の基本形を見ると“飲む”と “食べる”という異なる基本形をしており，品詞を見るとVERB となっているため動詞の選択誤りの誤用タグを付与する。表 5 の右側の例は動詞の活用誤りの例であり，“見つかれ”を“見つから”に訂正している。各単語の基本形を見ると“見つかる”という同じ基本形をしており，品詞を見ると VERB となっているため，動詞の活用誤りの誤用タグを付与する.

## 3.3 コーパス分析

表 6 に本研究の評価コーパス, FLUTEC, NAIST 誤用コーパスの統計量を示す.ここで学習者文の平均文長や単語編集率 (式 (1) 参照) を計算する際は各コーパスを MeCab (Kudo et al. 2004) で単語分割した。 MeCab の辞書には現代話し言葉 UniDic (岡 2019)を用いた. 表 6 より，学習者文の平均文長を比較すると, コーパス間の差は最大で 3.9 語であり文長に大きな差はない.一方単語編集率と無編集の文対の割合では，本研究の評価コーパスとそれ以外のコーパスで大

表 5 誤用タグの付与例.

表 6 各コーパスの統計量.


きな差が見られる。本研究の評価コーパスは他のコーパスよりも単語編集率は低く，無編集の文対の割合は高くなっている。これは文法的に正しくなる最小限の訂正を行ったことに起因する。一方 FLUTEC の単語編集率が最も大きい理由は文法的に正しいだけでなく流暢になる訂正を行っているためである。また NAIST 誤用コーパスでは日本語教師が学習者の習熟度に応じた訂正を行っており，例えば日本語上級者の文には流暢になるような訂正も施していることから単語編集率が高くなったと考えられる。

図 1 に本研究で作成した評価コーパスと NAIST 誤用コーパス中の各誤りタイプの割合を示す 20 . 本研究の評価コーパスと NAIST 誤用コーパスでは誤りタイプの粒度が異なるため厳密な比較は困難であることに注意する必要がある。比較の結果, どちらも助詞誤りの割合が最も大きいことから，日本語学習者にとって助詞を使いこなすことは難しいと分かる．また本評価コーパス中の綴り誤り（NAIST 誤用コーパスでの表記誤りに相当）の割合が NAIST 誤用コー パスと同様に比較的高い。経り誤りには翻字の誤りや仮名漢字変換システムに起因する誤りが見られた。表 7 に翻字の誤りと仮名漢字変換システムに起因する誤りの例を示す. 翻字の誤り

(a) 本研究の評価コーパス

(b) NAIST 誤用コーパス

図 1 各コーパス中の誤りタイプの割合.

表 7 綴り誤りの例.


では，学習者が “シェルロク・ホールムス”と書いたのを“シャーロック・ホームズ”に訂正している。翻字は目的言語での表記をあらかじめ知っておかないと正しく表記することが難しく，学習者にとって間違いやすい誤りである．仮名漢字変換システムに起因する誤りでは，学習者が “張る”と誤入力したのを“春”に訂正している。 NAIST 誤用コーパスは手書き作文をもとにしているため誤入力は起きず，このような誤入力は Lang-8コーパスを基にしている本評価コー パス特有の誤りである.

## 3.4 一致率

我々は訂正者間の一致率を調べるため, $\kappa$ 係数 (Cohen 1960) を計算した。一致率は誤り検出の一致率と誤り訂正の一致率の 2 つを求めた。誤り検出の一致率は両方の訂正者が何らかの訂正を行った箇所の一致率である。誤り訂正の一致率は両方の訂正者が同じ訂正を行った箇所の一致率である。 $\kappa$ 係数の計算は Dahlmeier et al. (2013) に従った。表 8 の左側にそれぞれの訂正者間の一致率を示す. 表 8 より, 誤り検出の一致率は Landis and Koch (1977)の基準における substantial agreement（かなりの一致）に該当し, 誤り訂正の一致率は moderate agreement（適度な一致） に該当する。したがって訂正者間で誤りの検出や訂正は概ね一致していると考えられる.

別の観点からも訂正者間の一致率を測る。具体的には片方の訂正文を文法誤り訂正モデルの出力とみなし, もう片方の訂正文のみを正解として評価した時のスコアを求める. 表 8 の右側にそれぞれの訂正文のスコアを示す。スコアは $\mathrm{M}^{2}$ scorer (Dahlmeier and Ng 2012)で測定した Precision, Recall, $\mathrm{F}_{0.5}$ を用いた。表 8 より,どちらの場合も Recall は約 $62 \%$ である。言い換えると, 例えば訂正文 2 を正解とした場合, 訂正文 2 が訂正した箇所のうち訂正文 1 も同じ訂

る.また $\mathrm{F}_{0.5}$ はどちらも約 $64 \%$ であり，このスコアが文法誤り訂正モデルのある種の性能限界であると考えられる。

## 3.5 本評価コーパスのリミテーション

我々は文法誤り訂正分野の研究者や開発者が使いやすい評価コーパスを作成するため ERRANT の誤用タグを一部改変し本誤用タグを設計した。したがって第二言語習得分野での誤用タグと大きく異なる部分が生じており，第二言語習得分野の研究者にとっては使いにくい誤用夕グであ

表 8 訂正者間の一致率.

る可能性がある，例えば本誤用タグは ERRANT と同様フラットな構造をしているが，第二言語習得分野での誤用タグは階層的な構造をとる (Dagneaux et al. 1998)。また NAIST 誤用コー パスやなたねが細かく誤用タグを設計しているのに対し ${ }^{21}$, 本誤用タグは ERRANT の誤用タグを基に設計したため 17 種類と比較的粗い 22 . この理由は今後日本語版 ERRANT を開発しやすくするためであるが，第二言語習得分野での利用（学習者の誤用分析や学習者へのフィードバックなど）まで考慮すると誤用タグは細かく設計される方が望ましい。本誤用タグをより細かくする場合，語彙選択誤りとコロケーション誤りを区別することなどが挙げられる．実際 NAIST 誤用コーパスやなたねでは，語彙選択誤りとコロケーション誤りを区別しており，第二言語習得分野で利用する場合それらは区別された方が有用である。一方日本語版 ERRANT の作成では，語彙選択誤りとコロケーション誤りをどのように自動で区別するかが問題となる。語彙選択誤りとコロケーション誤りを区別するには，コロケーションに関する外部知識の利用 (Pereira et al. 2016) や機械学習による誤用タグの付与 (Swanson and Yamangil 2012; 大山他 2016) などを行う必要があると考えられる。

## 4 実験

本節では作成した評価コーパスで代表的な文法誤り訂正モデルを評価し，今後の日本語文法誤り訂正においてべースラインとなるスコアを示す.また我々の評価コーパスに加え, FLUTEC や NAIST 誤用コーパスも利用しモデルを多面的に評価した結果を報告する。さらに本評価コー パスの誤用タグを利用しモデルごとの誤りタイプ別の性能も調査する.

## 4.1 実験設定

## 4.1.1 データセット

表 9 に本実験で使用したデータセットを示す。訓練データには Lang-8コーパス (水本他 2013) を用いた。ただし TEC-JL (本研究の評価コーパス) と FLUTEC に使用されている文章は取り除いた。また水本他 (2013) と同様に, 訓練データには文長制限などを施し, 訓練時にノイズとなる文対を除去した23，開発データには FLUTEC の開発データを用いた.

## 4.1.2 性能評価

評価データには TEC-JL に加え, FLUTEC (木山他 2022) と NAIST 誤用コーパス (大山他


表 9 実験で使用したデータセットの詳細.

2016)を使用した. TEC-JL と NAIST 誤用コーパスは Max Match $\left(\mathrm{M}^{2}\right)$ (Dahlmeier and Ng 2012) で評価し, FLUTEC は GLEU+ (Napoles et al. 2015, 2016) で評価した ${ }^{24}$.また単語分割誤りが評価結果に影響を与えないようにするため文字単位で評価した。報告する全ての値は 4 つの異なるシードで訓練されたモデルのスコアの平均である。各評価尺度の詳細は以下の通りである。

$\mathrm{M}^{2}$ (Dahlmeier and $\mathrm{Ng}$ 2012) $\quad \mathrm{M}^{2}$ は文法誤り訂正において最も一般的な評価尺度である. $\mathrm{M}^{2}$ ではモデルの出力文が行った編集を参照文の編集となるべく多く一致するように計算し, Precision, Recall, $F_{0.5}$ を求める。文法誤り訂正では CoNLL-2014 shared task 以降， $\mathrm{F}_{1}$ ではなくPrecision を重視した $\mathrm{F}_{0.5}$ を使用することが一般的である ${ }^{25}$. 本研究では $\mathrm{M}^{2}$ の計算に $\mathrm{M}^{2}$ scorer を使用した ${ }^{26}$.

$\mathrm{GLEU}^{+}$(Napoles et al. 2015, 2016) GLEU+ は機械翻訳モデルの評価尺度 BLEU (Papineni et al. 2002) を文法誤り訂正用に改良した評価尺度である．BLEU がモデルの出力文と参照文の N-gram のみを使用するのに対し， GLEU+ では原文の N-gram も使用しスコアリングする. 本研究では GLEU+ の計算に Napoles et al. (2016) が公開しているスクリプトを使用した27.

## 4.1.3文法誤り訂正モデル

幅広いモデルの性能を調査するため, 文法誤り訂正モデルには SMT (Koehn et al. 2003) 及び
^{2}$ で評価し，流暢な訂正を施した JFLEG は GLEU+ で評価していることを考慮した。

$25 \mathrm{Ng}$ et al. (2014) は $\mathrm{F}_{0.5}$ を採用した理由に，文法誤り訂正モデルの訂正をユーザに受け入れてもらいやすくするには誤った訂正が少ないことが重要であるためと述べている。また英語 (Grundkiewicz et al. 2015) やチェコ語 (Náplava et al. 2022) 文法誤り訂正では, $\mathrm{F}_{1}$ よりも $\mathrm{F}_{0.5}$ の方が人手評価との相関が高いことが示されている. さらに文法誤り検出では Recall よりも Precision 重視のモデルの方が学習効果を高めることが知られている (Nagata and Nakatani 2010).

26 https://github.com/nusnlp/m2scorer

27 https://github.com/cnap/gec-ranking
}

RNN (Luong et al. 2015), CNN (Gehring et al. 2017), Transformer (Vaswani et al. 2017)を用いる.また上記のモデルに加え, 事前学習済みモデル BART (Lewis et al. 2020) と T5 (Raffel et al. 2020）も使用する。実装には SMT では Moses (Koehn et al. 2007)28を用いた.また RNN, CNN, Transformer, BART では fairseq (Ott et al. 2019)29を使用し, T5 では Transformers (Wolf et al. 2020）３を使用した。なお水本 (2020)の実験結果に基づき，SMT，RNN，CNN, Transformer の訓練には，学習者文は文字に分割し訂正文は語彙サイズ 16,000で 1-gram 言語モデルに基づくトークン化 (Kudo 2018)を施したデータを使用した。また BART と T5 では事前学習時の分割に従った．具体的には BART では Juman++ (Morita et al. 2015) で単語分割したのち語彙サイズ 32,000で 1-gram 言語モデルに基づくトークン化を施し， T5 では語彙サイズ 32,000 で 1-gram 言語モデルに基づくトークン化を施した. 1-gram 言語モデルに基づくトークン化を行う際の実装には SentencePiece (Kudo and Richardson 2018)31を使用した. 各モデルの設定は以下の通りである。

SMT (Koehn et al. 2003) GIZA++ (Och and Ney 2003) をアライメントツールに使用し, KenLM (Heafield 2011) を用いて 3-gram 言語モデルを構築した. 言語モデルの訓練には訓練データ中の訂正文を使用した。また開発データを用いて BLEU を最大化するように MERT (Och 2003)を行った.

RNN (Luong et al. 2015) アーキテクチャはLuong et al. (2015)のモデルをベースにした 6 層のエンコーダ・デコーダモデルである。 エンコーダとデコーダの単語埋め込みは 512 次元である。訓練時の最適化方法や推論時の設定は Kiyono et al. (2020)に従った.

CNN (Gehring et al. 2017) アーキテクチャは Gehring et al. (2017)のモデルをべースにした 6 層のエンコーダ・デコーダモデルである. エンコーダとデコーダの単語埋め込みは 512 次元である.またカーネルサイズは 3 である. 訓練時の最適化方法や推論時の設定は Kiyono et al. (2020)に従った.

Transformer (Vaswani et al. 2017) アーキテクチャは Vaswani et al. (2017) の "Transformer (base)" と同様である。具体的には 6 層のエンコーダ・デコーダモデルであり， エンコーダとデコーダの単語埋め込みは 512 次元である. 訓練時の最適化方法や推論時の設定は Kiyono et al. (2020) に従った.

BART (Lewis et al. 2020) BART は Transformer に基づくエンコーダ・デコーダ型の事前学習済みモデルである。本研究では田中他 (2021) が公開している日本語 BART を使用した32. 田中他 (2021)のモデルでは, テキスト内の 0 個以上のトークンを 1 個の [MASK]
$ //github.com/google/sentencepiece

32 https://github.com/utanaka2000/fairseq/tree/japanese_bart_pretrained_model
}

 &  \\

表 10 BART 及び T5 での事前学習の例. [MASK] 及び 〈X>, 〈Y>, 〈Z> は特殊トークンである.

トークンに置き換え，元のテキストを予測する text infilling タスクを事前学習に行っている (表 10 参照)．事前学習用のデータには日本語 Wikipedia から抽出した 1,800 万文を使用している。エンコーダとデコーダはそれぞれ 6 層であり，単語埋め込みは 768 次元である。訓練時の最適化方法や推論時の設定は付録 A に記載する。

T5 (Raffel et al. 2020) T5 は Transformer に基づくエンコーダ・デコーダ型の事前学習済みモデルである。本研究では Megagon Labs ${ }^{33}$ が公開している日本語 T5 を使用した ${ }^{34}$. T5 ではテキスト内の一部トークンをそれぞれ別の特殊トークンに置き換え，置き換え元のトークンのみを予測するように事前学習を行っている（表 10 参照）。事前学習用のデータには $\mathrm{mC4}$ (Raffel et al. 2020) と Wiki-40B (Guo et al. 2020) の日本語部分からそれぞれ $782 \mathrm{~GB}$ と $2 \mathrm{~GB}$ のテキストを使用している。エンコーダとデコーダはそれぞれ 12 層であり, 単語埋め込みは 768 次元である. 訓練時の最適化方法や推論時の設定は付録 $\mathrm{A}$ に記載する。

## 4.2 実験結果

表 11 に各文法誤り訂正モデルの性能を示す。訂正なしは入力文をモデル出力とみなし評価した時のスコアである。表 11 より, CNN は Precision が高く, 不必要な訂正が他のモデルよりも少ないことが分かる。その結果，最小限の訂正を施した TEC-JL では，事前学習済みモデルである T5を除いて CNN の $\mathrm{F}_{0.5}$ が最も高くなっている. 一方 Transformer に加え, Transformer に基づくモデルである BART や T5 は Recall が高いことが分かる。また流暢な訂正を施した FLUTEC では Transformer や BART，T5 の方が他のモデルよりも GLEU+ スコアが高い. したがって Transformer を含め Transformer に基づくモデルは流暢な訂正を行っていると考えられる．我々は Transformer が流暢な訂正を行っていることを検証するため，各モデルの流暢性を調査した．流暢性は入力文と出力文のパープレキシティ比 (PPLR) で測定した．具体的には PPLR は以下の式で定義される.
^{34}$ https://github.com/megagonlabs/t5-japanese
}

表 11 各文法誤り訂正モデルの性能.

$
P P L R:=\frac{P P L_{\text {output }}}{P P L_{\text {input }}}
$

ここで $P P L_{\text {input }}$ 及び $P P L_{\text {output }}$ はそれぞれ入力文と出力文のパープレキシティである. PPLR は 0 以上の値をとり，值が低いほど流暢性が高い，つまり流暢な訂正を行ったと考えられる。本実験ではパープレキシティの測定に GPT (Radford et al. 2018)を使用した35.また文法誤り訂正では入力文の意味を保存しつつ訂正する必要がある (浅野他 2018). そのため入力文と出力文の間で意味が保存されているか（意味保存性）を，入力文と出力文の文べクトルの $\cos$類似度を用いて測定する。 $\cos$ 類似度は -1 以上 1 以下の値を取り， 1 に近いほど入力文と出力文の間で意味が保存されていると考えられる．本実験では入力文と出力文の文べクトルの取得に Sentence-BERT (Reimers and Gurevych 2019)を利用した36. 図 2 に TEC-JL における各モデルの PPLR 及び $\cos$ 類似度を示す 37 。図 2 より，流暢性は CNN よりも Transformer の方が高いことが分かる。一方意味保存性は Transformer よりも CNN の方が高い. したがって Transformer は意味保存性を犠牲にし， CNN よりも流暢性の高い訂正を行っている ${ }^{38}$.

次に各モデルの誤りタイプ別の性能を表 12 に示す。誤りタイプは TEC-JL 中の割合が $5 \%$以上の誤りタイプのみを記載した。また誤りタイプ別の性能には Recall を用いた ${ }^{39}$. 表 12 より，各モデルは綴り誤りの性能が高いことが分かる。また助詞誤りの性能も高く，BART では $60 \%$ 近くの助詞誤りを訂正できている。したがって綴り誤りや助詞誤りは日本語文法誤り訂正
_{0.5}$ で評価するにはモデル出力に誤用タグを付与し, 誤りタイプ別の Precision を求める必要がある．英語文法誤り訂正では ERRANT で誤用タグを自動推定し，誤りタイプ別の Precision を求めることが可能である。しかし日本語では公開された自動誤用タグ付けツールがないため Recall で評価した.
}

図 2 TEC-JL における各モデルの PPLR 及び $\cos$ 類似度.

表 12 TEC-JL における各モデルの誤りタイプ別の Recall (\%).

モデルにとって比較的訂正しやすい誤りタイプである。綴り誤りや助詞誤りが訂正しやすい理由には様々な要素があると思われるが，例えば学習者が犯しやすい誤りのため訓練デー夕に同様の誤りが多く存在することなどが考えられる。一方名詞誤りは各モデルの訂正性能が比較的低く, SMT や RNN, CNN では $10 \%$ 以下であり, Transformer や BART, T5 でも $20 \%$ から $30 \%$ 程度である．名詞誤りは文脈を考慮して訂正する必要がある場合が多いため, 誤りタイプの中でも訂正性能が低くなったと考えられる。英語文法誤り訂正でも名詞誤りの訂正性能は低く (Bryant et al. 2019), 名詞誤りの訂正性能向上は日本語と英語で共通の課題である.

## 5 擬似データによる性能向上

本節では日本語文法誤り訂正モデルの訓練に擬似データを使用した場合の性能変化を調査す

る. 現在文法誤り訂正で主流のエンコーダ・デコーダモデル (Sutskever et al. 2014; Bahdanau et al. 2015) は大量の訓練データを必要とする (Koehn and Knowles 2017). しかし文法誤り訂正に利用可能な学習者データは限られており, 英語文法誤り訂正では擬似データを利用したエンコーダ・デコーダモデルの性能向上が一般化している (Xie et al. 2018; Ge et al. 2018a; Zhao et al. 2019; Grundkiewicz et al. 2019; Lichtarge et al. 2019, 2020; Kiyono et al. 2020; Wang and Zheng 2020; Zhou et al. 2020; Wan et al. 2020; Stahlberg and Kumar 2021; Yasunaga et al. 2021; $\mathrm{Li}$ and He 2021; 古山他 2022). 一方日本語文法誤り訂正では，擬似データがエンコーダ・デコーダモデルの性能に与える影響があまり明らかになっていない. そこで本節では, 既存の擬似データ生成手法を適用し，日本語文法誤り訂正に擬似データを用いた場合のモデルの性能変化を観察する。

## 5.1 実験設定

エンコーダ・デコーダモデルには RNN, CNN, Transformer を使用する. 各モデルのアーキテクチャや評価方法は 4.1 節と同様である。擬似データ生成時の生成元コーパスには Wiki-40B の日本語 Wikipedia 部分から抽出した 1,000万文を用いた. Kiyono et al. (2020)に従い, 擬似データは事前学習で使用し, 学習者データはファインチューニングにのみ用いた. また事前学習及びファインチューニング時の設定は Kiyono et al. (2020) に従った. 使用する擬似データ生成手法は以下の通りである.

Direct noise (Zhao et al. 2019) 原文に 4 つの編集操作（削除，插入，置換，シャッフル） を行う，具体的には原文をトークンに区切り，次の操作を確率的に適用する。(i) 削除: 10\%の確率でトークンを削除する。 (ii) 挿入: $10 \%$ の確率でトークンの後ろに生成元コー パス中のトークンを挿入する。(iii) 置換: $10 \%$ の確率でトークンを生成元コーパス中のトークンに置き換える。(iv) シャッフル: 各トークンの位置番号に対し正規分布から抽出した値を加え，昇順に整列する．本実験では Zhao et al. (2019) が公開しているスクリプトを使用した 40 .

Direct noise (ja) (小川, 山本 2020) Direct noise が非現実的な誤りを多く生成する点を改良し, Direct noise に日本語学習者特有の誤り傾向を反映させる。具体的には原文をトー クンに区切り，次の操作を確率的に適用する。(i) 削除: 助詞を $10 \%$, 助詞以外を $5 \%$ の確率で削除する。また送り仮名がある単語では $50 \%$ の確率で送り仮名の 1 文字目を削除する. (ii) 挿入: $5 \%$ の確率で後ろにトークンを插すす。挿入するトークンは $70 \%$ の確率で助詞セットから， $30 \%$ の確率で生成元コーパスから選択する。(iii) 置換: 助詞を $10 \%$, 助詞以外を $5 \%$ の確率で置換する，置換するトークンは $70 \%$ の確率で助詞セットから，30\%


の確率で生成元コーパスから選択する。 (iv) シャッフル：Direct noise のシャッフル操作を文節単位で行う。本実験では小川，山本 $(2020)$ が公開しているスクリプトを使用した ${ }^{41}$.

Back-translation (Xie et al. 2018) 逆翻訳モデル (Sennrich et al. 2016) を用いて原文に誤りを生成させる。逆翻訳モデルとは入力と出力を入れ替えて訓練したモデルである。文法誤り訂正の場合，訂正文を入力とし学習者文を出力として訓練したモデルになる．Xie et al. (2018) はビームサーチ時, 毎ステップの各仮説のスコアに $r \beta_{\text {random }}$ をノイズとして加え，より多様な誤りを含むように改良した。ここで， $r$ は区間 $[0,1]$ の一様分布からランダムに選択される值であり， $\beta_{\text {random }}$ はノイズの大きさを調節するためのハイパーパラメータである。本実験では Transformer を逆翻訳モデルに用い，事前実験において開発データ上で最大の $\mathrm{GLEU}^{+}$スコアとなった時の值である $\beta_{\text {random }}=8$ を使用した.

Round-trip translation (Lichtarge et al. 2019) 原文を他言語へ翻訳し，その翻訳文を原言語に翻訳し直す。本実験では日本語の原文を英語に翻訳し，生成された英語を日本語へ再度翻訳した。日英翻訳モデル及び英日翻訳モデルには, Morishita et al. (2022) の JParaCrawl (Morishita et al. 2020, 2022) で訓練された “Transformer (big)” (Vaswani et al. 2017)を使用した 42 .

## 5.2 実験結果

表 13 に擬似データを使用した場合の各文法誤り訂正モデルの性能を示す。表 13 より，擬似データを使用することで各モデルの性能が向上したことが分かる．TEC-JL では CNN に Back-translation で生成した擬似データを用いた場合に $\mathrm{F}_{0.5}$ が最も高くなった. FLUTEC と NAIST 誤用コーパスでは Transformer に Back-translation を使用した場合にそれぞれ GLEU+ スコアと $\mathrm{F}_{0.5}$ が最も高くなった. 全体的な傾向としては Direct noise と Direct noise (ja)よりも Back-translation や Round-trip translation を用いた方がモデルの性能が向上している。この理由には Back-translation や Round-trip translation の方がより多様な誤りを生成できることが考えられる. Direct noise と Direct noise (ja)を比較すると, Direct noise よりも Direct noise (ja) を使用した場合の方が Recall が向上することが分かる. Direct noise (ja) は学習者の犯しやすい現実的な誤りを発生できるため, Direct noise よりも学習者文中の誤りを捉えやすくなったと考えられる。

図 3 に擬似データで事前学習した場合の各文法誤り訂正モデルの誤りタイプ別の性能を示す.ここで事前学習なしは擬似データを用いず学習者データのみで訓練したモデルの性能を表す. 図 3 より, 全ての擬似データ生成手法で助詞誤りの訂正性能が事前学習なしの場合のより


表 13 擬似データを用いた場合の各文法誤り訂正モデルの性能.太字は各モデルでの最高性能を表す.

も向上していることが分かる，助詞誤りは学習者が犯しやすい誤りタイプであるため(大山他 2016), 全ての擬似デー夕生成手法で性能が向上したことは好ましい結果である。また RNN では Direct noise (ja) を使用した場合に, 句読点誤りの訂正性能が他の手法よりも向上している. Transformer では Back-translation を使用した場合に, 綴り誤りの訂正性能が他の手法よりも向上した。一方 CNN では, 綴り誤りの訂正性能が Back-translation を使用しても向上しておらず，Round-trip translation の場合のみ向上している。また動詞の活用誤りの訂正性能に関して, CNN では全ての擬似データ生成手法で性能が向上しているが，RNN や Transformer では性能を低下させる擬似データ生成手法がある。したがってどのような擬似データ生成手法が有効かはモデルのアーキテクチャに依存することが示唆され，今後より詳細な分析が必要である.

## 5.3 擬似データ量が性能に与える影響

擬似データ量が訂正性能に与える影響をより詳細に調べるため，擬似デー夕量を変化させた時のモデルの性能を調査した，具体的には擬似デー夕量を $1 \mathrm{M}, 3 \mathrm{M}, 5 \mathrm{M}, 7 \mathrm{M}, 10 \mathrm{M}$ と変化させた時の性能を調査した．図 4 に TEC-JL における擬似デー夕量を変化させた時の $\mathrm{F}_{0.5}$ を示す。本実験では，表 13 で TEC-JL において最高性能である CNN を文法誤り訂正モデルに使用し，Back-translation による擬似デー夕を用いた，図 4 より，擬似デー夕量の増加とともにモデルの性能は向上することが分かる. これは英語文法誤り訂正での Kiyono et al. (2020) や

" 事前学習なし - Direct noise = Direct noise (ja) " Back-translation "Round-trip translation

60

(a) RNN
- 事前学習なし = Direct noise = Direct noise (ja) "Back-translation = Round-trip translation

60

(b) CNN
- 事前学習なし - Direct noise = Direct noise (ja) "Back-translation = Round-trip translation

(c) Transformer

図 3 擬似データを利用した場合の各文法誤り訂正モデルの Recall (\%).

図 4 TEC-JL における擬似データ量を変化させた時の $\mathrm{F}_{0.5}$.

表 14 TEC-JL における擬似データ量（文対数）を変化させた時の誤りタイプ別の Recall $(\%) . \Delta$ は擬似データなしの性能からの各擬似データ量での差分を表す.

Wan et al. (2020)の報告と整合性のある結果である，次に誤りタイプ別の性能はどのように変化するかを調べる．表 14 に擬似データ量を変化させた時の誤りタイプ別の Recall を示す。表 14 より，ほとんどの場合，擬似データなしの時に比べ擬似データを使用した時の方が誤りタイプ別の性能も向上することが分かる。また助詞誤りや助動詞の選択誤りなどは擬似データ量が $1 \mathrm{M}$

の時と比べ $10 \mathrm{M}$ では Recall が $2 \%$ 程度上昇している。一方綴り誤りでは擬似デー夕なしの時よりも $10 \mathrm{M}$ の時の方が性能が下がっている。また句読点誤りの性能は擬似デー夕量が $1 \mathrm{M}$ と 10M の時でほとんど変わっていない。この理由には Back-translation では綴り誤りや句読点誤りを上手く生成できていないことが考えられ，擬似データにより性能が向上しやすい誤りタイプとそうでない誤りタイプが存在することが分かった.

## 6 おわりに

本研究では日本語文法誤り訂正のための誤用タグ付き評価コーパスを構築した. 学習者文には Lang-8 コーパスの日本語学習者文を利用し，一貫した訂正基準に基づき訂正を施した。また文法誤り訂正分野の研究者や開発者が使いやすい評価コーパスとするため，評価コーパスの仕様を英語文法誤り訂正で代表的なコーパスやツールに寄せた。本評価コーパスが日本語文法誤り訂正の研究促進に寄与することを期待する。実験では 6 種類の代表的な文法誤り訂正モデルを評価し, 今後の日本語文法誤り訂正においてべースラインとなるスコアを示した. 今後の課題としては日本語版 ERRANT の開発が挙げられる。本実験では誤りタイプ別の性能評価に Recall を用いたが，モデルをより精緻に評価するには Precision も考慮した $\mathrm{F}_{0.5}$ で評価することが望ましい，誤りタイプ別の $\mathrm{F}_{0.5}$ を求めるには， モデル出力に誤用タグを付与し，誤りタイプ別の Precision を求める必要がある。しかし日本語では ERRANT のような自動誤用タグ付けツールが存在せず，人手での誤用タグ付けはコストが高い。したがって日本語版 ERRANT を開発し，モデルの誤りタイプ別の性能を $\mathrm{F}_{0.5}$ で評価可能にする必要がある.

## 謝 辞

Lang-8 のデータを提供してくださった株式会社 Lang-8 の喜洋洋氏に感謝申しあげます.

## 参考文献

浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治 (2019). Universal Dependencies 日本語コーパス. 自然言語処理, 26 (1), pp. 3-36. [M. Asahara et al. (2019). Japanese Universal Dependencies Corpora. Journal of Natural Language Processing, 26 (1), pp. 336.].

浅野広樹, 水本智也, 乾健太郎 (2018). 文法性$\cdot$流暢性$\cdot$意味保存性に基づく文法誤り訂正の参照無し評価. 自然言語処理, 25 (5), pp. 555-576. [H. Asano et al. (2018). A Reference-less Evaluation Metric Based on Grammaticality, Fluency, and Meaning Preservation in Grammatical Error

Correction. Journal of Natural Language Processing, 25 (5), pp. 555-576.].

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations.

Boyd, A. (2018). "Using Wikipedia Edits in Low Resource Grammatical Error Correction." In Proceedings of the 4th Workshop on Noisy User-generated Text, pp. 79-84.

Brockett, C., Dolan, W. B., and Gamon, M. (2006). "Correcting ESL Errors Using Phrasal SMT Techniques." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 249-256.

Bryant, C., Felice, M., Andersen, Ø. E., and Briscoe, T. (2019). "The BEA-2019 Shared Task on Grammatical Error Correction." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 52-75.

Bryant, C., Felice, M., and Briscoe, T. (2017). "Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 793-805.

Bryant, C. and Ng, H. T. (2015). "How Far are We from Fully Automatic High Quality Grammatical Error Correction?" In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 697-707.

Cahill, A., Madnani, N., Tetreault, J., and Napolitano, D. (2013). "Robust Systems for Preposition Error Correction Using Wikipedia Revisions." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 507-517.

Choe, Y. J., Ham, J., Park, K., and Yoon, Y. (2019). "A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 213-227.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pp. 5755-5762.

Chollampatt, S., Wang, W., and Ng, H. T. (2019). "Cross-Sentence Grammatical Error Correction." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 435-445.

Cohen, J. (1960). "A Coefficient of Agreement for Nominal Scales." Educational and Psychological

Measurement, 20 (1), pp. 37-46.

Dagneaux, E., Denness, S., and Granger, S. (1998). "Computer-aided Error Analysis." System, 26 (2), pp. 163-174.

Dahlmeier, D. and Ng, H. T. (2011). "Grammatical Error Correction with Alternating Structure Optimization." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 915-923.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 568-572.

Dahlmeier, D., Ng, H. T., and Wu, S. M. (2013). "Building a Large Annotated Corpus of Learner English: The NUS Corpus of Learner English." In Proceedings of the 8th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 22-31.

De Felice, R. and Pulman, S. G. (2008). "A Classifier-Based Approach to Preposition and Determiner Error Correction in L2 English." In Proceedings of the 22nd International Conference on Computational Linguistics, pp. 169-176.

de Marneffe, M.-C., Manning, C. D., Nivre, J., and Zeman, D. (2021). "Universal Dependencies." Computational Linguistics, 47 (2), pp. 255-308.

Felice, M. and Briscoe, T. (2015). "Towards a Standard Evaluation Method for Grammatical Error Detection and Correction." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 578-587.

Felice, M., Bryant, C., and Briscoe, T. (2016). "Automatic Extraction of Learner Errors in ESL Sentences Using Linguistically Enhanced Alignments." In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers, pp. 825-835.

Flachs, S., Stahlberg, F., and Kumar, S. (2021). "Data Strategies for Low-Resource Grammatical Error Correction." In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 117-122.

藤野拓也, 水本智也, 小町守, 永田昌明, 松本裕治 (2012). 日本語学習者の作文の誤り訂正に向けた単語分割. 言語処理学会第 18 回年次大会発表論文集, pp. 26-29. [T. Fujino et al. (2012). Nihongo Gakushu-Sha no Sakubun no Ayamari Teisei ni Muketa Tango Bunkatsu. In Proceedings of the 18th Annual Meeting of the Association for Natural Language Processing, pp. 26-29.].

Gamon, M. (2010). "Using Mostly Native Data to Correct Errors in Learners' Writing." In Proceedings of Human Language Technologies: The 2010 Annual Conference of the North

American Chapter of the Association for Computational Linguistics, pp. 163-171.

Gamon, M., Gao, J., Brockett, C., Klementiev, A., Dolan, W. B., Belenko, D., and Vanderwende,

L. (2008). "Using Contextual Speller Techniques and Language Modeling for ESL Error Correction." In Proceedings of the 3rd International Joint Conference on Natural Language Processing, pp. 449-456.

Ge, T., Wei, F., and Zhou, M. (2018a). "Fluency Boost Learning and Inference for Neural Grammatical Error Correction." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 1055-1065.

Ge, T., Wei, F., and Zhou, M. (2018b). "Reaching Human-level Performance in Automatic Grammatical Error Correction: An Empirical Study." arXiv preprint arXiv:1807.01270 [cs. $C L]$.

Gehring, J., Auli, M., Grangier, D., Yarats, D., and Dauphin, Y. N. (2017). "Convolutional Sequence to Sequence Learning." In Proceedings of the 34th International Conference on Machine Learning, pp. 1243-1252.

Gotou, T., Nagata, R., Mita, M., and Hanawa, K. (2020). "Taking the Correction Difficulty into Account in Grammatical Error Correction Evaluation." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 2085-2095.

Granger, S. (1998). "The Computerized Learner Corpus: A Versatile New Source of Data for SLA Research." In Learner English on Computer, pp. 3-18.

Grundkiewicz, R. and Junczys-Dowmunt, M. (2018). "Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 284-290.

Grundkiewicz, R. and Junczys-Dowmunt, M. (2019). "Minimally-Augmented Grammatical Error Correction." In Proceedings of the 5th Workshop on Noisy User-generated Text, pp. 357-363.

Grundkiewicz, R., Junczys-Dowmunt, M., and Gillian, E. (2015). "Human Evaluation of Grammatical Error Correction Systems." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 461-470.

Grundkiewicz, R., Junczys-Dowmunt, M., and Heafield, K. (2019). "Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 252-263.

Gu, J., Wang, C., and Zhao, J. (2019). "Levenshtein Transformer." In Advances in Neural Information Processing Systems 32, pp. 11181-11191.

Guo, M., Dai, Z., Vrandečić, D., and Al-Rfou, R. (2020). "Wiki-40B: Multilingual Language Model Dataset." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 2440-2452.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197.

本間広樹，小町守 (2022). 高速な文法誤り訂正機能を持つ日本語ライティング支援システムの構築. 人工知能学会論文誌, 37 (1), pp. 1-14. [H. Homma, and M. Komachi (2022). Japanese Writing Support System with Fast Grammatical Error Correction. Transactions of the Japanese Society for Artificial Intelligence, 37 (1), pp. 1-14.].

Honnibal, M. and Montani, I. (2017). "spaCy 2: Natural Language Understanding with Bloom Embeddings, Convolutional Neural Networks and Incremental Parsing.".

今枝恒治, 河合敦夫, 石川裕司, 永田亮, 栘井文人 (2003). 日本語学習者の作文における格助詞の誤り検出と訂正. 情報処理学会研究報告, コンピュータと教育研究会, 2003 (13), pp. 39-46. [K. Imaeda et al. (2003). Error Detection and Correction of Case Particles in Japanese Learner's Composition. The Special Interest Group Technical Reports of IPSJ, IPSJ Special Interest Groups on Computers in Education, 2003 (13), pp. 39-46.].

今村賢治, 齋藤邦子, 貞光九月, 西川仁 (2012). 小規模誤りデータからの日本語学習者作文の助詞誤り訂正. 自然言語処理, 19 (5), pp. 381-400. [K. Imamura et al. (2012). Particle

Error Correction of Japanese Learners from Small Error Data. Journal of Natural Language Processing, 19 (5), pp. 381-400.].

井上優, 宇佐美洋, 成田高宏, 鏈水兼高 (2006). 作文対訳データベースの多様な利用のために：

「日本語教育のための言語資源及び学習内容に関する調査研究」成果報告書. [M. Inoue et al. (2006). Sakubun Taiyaku Detabesu no Tayo na Riyo no Tame ni: 'Nihongo Kyoiku no Tame no Gengo Shigen Oyobi Gakushu Naiyo ni Kansuru Chosa Kenkyu' Seika Hokoku-Sho. National Institute for Japanese Language and Linguistics.].

Ji, J., Wang, Q., Toutanova, K., Gong, Y., Truong, S., and Gao, J. (2017). "A Nested Attention Neural Hybrid Model for Grammatical Error Correction." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 753-762.

Junczys-Dowmunt, M. and Grundkiewicz, R. (2016). "Phrase-based Machine Translation is State-of-the-Art for Automatic Grammatical Error Correction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1546-1556.

Junczys-Dowmunt, M., Grundkiewicz, R., Guha, S., and Heafield, K. (2018). "Approaching Neural Grammatical Error Correction as a Low-Resource Machine Translation Task." In Proceedings of the 2018 Conference of the North American Chapter of the Association for

Computational Linguistics: Human Language Technologies, pp. 595-606.

Kaneko, M., Mita, M., Kiyono, S., Suzuki, J., and Inui, K. (2020). "Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4248-4254.

Kantor, Y., Katz, Y., Choshen, L., Cohen-Karlik, E., Liberman, N., Toledo, A., Menczel, A., and Slonim, N. (2019). "Learning to Combine Grammatical Error Corrections." In Proceedings of the 14th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 139-148.

笠原誠司, 藤野拓也, 小町守, 永田昌明, 松本裕治 (2012). 日本語学習者の誤り傾向を反映した格助詞訂正. 言語処理学会第 18 回年次大会発表論文集, pp. 14-17. [S. Kasahara et al. (2012). Nihongo Gakushu-Sha no Ayamari Keiko o Hanei Shita Kakujoshi Teisei. In Proceedings of the 18th Annual Meeting of the Association for Natural Language Processing, pp. 14-17.].

Katsumata, S. and Komachi, M. (2020). "Stronger Baselines for Grammatical Error Correction Using a Pretrained Encoder-Decoder Model." In Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing, pp. 827-832.

木山朔, 上坂奏人, 佐藤郁子, 佐藤京也, 米田悠人, 小山碧海, 三田雅人, 岡照晃, 小町守 (2022).日本語文法誤り訂正の流暢性評価に向けたデー夕作成. 言語処理学会第 28 回年次大会発表論文集, pp. 1704-1709. [H. Kiyama et al. (2022). Nihongo Bumpo Ayamari Teisei no Ryucho-Sei Hyoka ni Muketa Deta Sakusei. In Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1704-1709.].

Kiyono, S., Suzuki, J., Mizumoto, T., and Inui, K. (2020). "Massive Exploration of Pseudo Data for Grammatical Error Correction." IEEE/ACM Transactions on Audio, Speech, and Language Processing, 28, pp. 2134-2145.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 177-180.

Koehn, P. and Knowles, R. (2017). "Six Challenges for Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 28-39.

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In Proceedings of the 2003 Human Language Technology Conference of the North American Chapter of
the Association for Computational Linguistics, pp. 127-133.

小山碧海, 喜友名朝視顕, 小林賢治, 新井美桜, 小町守 (2020). 日本語学習者の文法誤り訂正のための評価コーパス構築. 言語処理学会第 26 回年次大会発表論文集, pp. 145-148. [A. Koyama et al. (2020). Nihongo Gakushu-Sha no Bumpo Ayamari Teisei no Tame no Hyoka Kopasu Kochiku. In Proceedings of the 26th Annual Meeting of the Association for Natural Language Processing, pp. 145-148.].

Koyama, A., Kiyuna, T., Kobayashi, K., Arai, M., and Komachi, M. (2020). "Construction of an Evaluation Corpus for Grammatical Error Correction for Learners of Japanese as a Second Language." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 204-211.

小山碧海, 喜友名朝視顕, 三田雅人, 岡照晃, 小町守 (2022). 日本語文法誤り訂正評価コーパスへの誤用タグ付け. 情報処理学会研究報告, 自然言語処理研究会, 2022-NL-253 (17), pp. 1-9. [A. Koyama et al. (2022). Nihongo Bumpo Ayamari Teisei Hyoka Kopasu he no Goyo Tagu Zuke. The Special Interest Group Technical Reports of IPSJ, IPSJ Special Interest Groups on Natural Language, 2022-NL-253 (17), pp. 1-9.].

古山翔太, 高村大也, 岡崎直観 (2022). 多様な規則を活用した文法誤り訂正のデー夕拡張に関する分析. 自然言語処理, 29 (2), pp. 542-586. [S. Koyama et al. (2022). Analysis of Data Augmentation for Grammatical Error Correction Based on Various Rules. Journal of Natural Language Processing, 29 (2), pp. 542-586.].

Kudo, T. (2018). "Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 66-75.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237.

Lai, S., Zhou, Q., Zeng, J., Li, Z., Li, C., Cao, Y., and Su, J. (2022). "Type-Driven MultiTurn Corrections for Grammatical Error Correction." In Findings of the Association for Computational Linguistics: ACL 2022, pp. 3225-3236.

Landis, J. R. and Koch, G. G. (1977). "The Measurement of Observer Agreement for Categorical Data." Biometrics, 33 (1), pp. 159-174.

Levenshtein, V. I. (1966). "Binary Codes Capable of Correcting Deletions, Insertions and Reversals." Soviet Physics Doklady, 10 (8), pp. 707-710.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880.

Li, X. and He, J. (2021). "Data Augmentation of Incorporating Real Error Patterns and Linguistic Knowledge for Grammatical Error Correction." In Proceedings of the 25th Conference on Computational Natural Language Learning, pp. 223-233.

Lichtarge, J., Alberti, C., and Kumar, S. (2020). "Data Weighted Training Strategies for Grammatical Error Correction." Transactions of the Association for Computational Linguistics, 8, pp. 634-646.

Lichtarge, J., Alberti, C., Kumar, S., Shazeer, N., Parmar, N., and Tong, S. (2019). "Corpora Generation for Grammatical Error Correction." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3291-3301.

Liu, J., Cheng, F., Wang, Y., Shindo, H., and Matsumoto, Y. (2018). "Automatic Error Correction on Japanese Functional Expressions Using Character-based Neural Machine Translation." In Proceedings of the 32nd Pacific Asia Conference on Language, Information and Computation, pp. 394-403.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

三田雅人, 水本智也, 金子正弘, 永田亮, 乾健太郎 (2021). 文法誤り訂正モデルの横断評価.自然言語処理, 28 (1), pp. 160-182. [M. Mita et al. (2021). Cross-Sectional Evaluation of Grammatical Error Correction Models. Journal of Natural Language Processing, 28 (1), pp. 160-182.].

Mita, M., Kiyono, S., Kaneko, M., Suzuki, J., and Inui, K. (2020). "A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 267-280.

Mita, M., Mizumoto, T., Kaneko, M., Nagata, R., and Inui, K. (2019). "Cross-Corpora Evaluation and Analysis of Grammatical Error Correction Models - Is Single-Corpus Evaluation Enough?" In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1309-1314.

Mita, M. and Yanaka, H. (2021). "Do Grammatical Error Correction Models Realize Grammatical Generalization?" In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4554-4561.

水本智也 (2020). 日本語文法誤り訂正における最適な分割単位の調査. 言語処理学会第 26 回年次大会発表論文集, pp. 1336-1339. [T. Mizumoto (2020). Nihongo Bumpo Ayamari Teisei ni Okeru Saiteki na Bunkatsu Tani no Chosa. In Proceedings of the 26th Annual Meeting of the Association for Natural Language Processing, pp. 1336-1339.].

Mizumoto, T., Hayashibe, Y., Komachi, M., Nagata, M., and Matsumoto, Y. (2012). "The Effect of Learner Corpus Size in Grammatical Error Correction of ESL Writings." In Proceedings of the 24th International Conference on Computational Linguistics: Posters, pp. 863-872.水本智也, 小町守, 永田昌明, 松本裕治 (2013). 日本語学習者の作文自動誤り訂正のための語学学習 SNS の添削ログからの知識獲得. 人工知能学会論文誌, 28 (5), pp. 420-432. [T. Mizumoto et al. (2013). Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction. Transactions of the Japanese Society for Artificial Intelligence, 28 (5), pp. 420-432.].

Morishita, M., Chousa, K., Suzuki, J., and Nagata, M. (2022). "JParaCrawl v3.0: A Largescale English-Japanese Parallel Corpus." In Proceedings of the 13th Language Resources and Evaluation Conference, pp. 6704-6710.

Morishita, M., Suzuki, J., and Nagata, M. (2020). "JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3603-3609.

Morita, H., Kawahara, D., and Kurohashi, S. (2015). "Morphological Analysis for Unsegmented Languages using Recurrent Neural Network Language Model." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297.

Nagata, R. and Nakatani, K. (2010). "Evaluating Performance of Grammatical Error Detection to Maximize Learning Effect." In Proceedings of the 23rd International Conference on Computational Linguistics: Posters, pp. 894-900.

南保亮太, 乙武北斗, 荒木健治 (2007). 文節内の特徵を用いた日本語助詞誤りの自動検出・校正. 情報処理学会研究報告, 自然言語処理研究会, 2007 (94), pp. 107-112. [R. Nampo et al. (2007). Automatic Error Detection and Correction of Japanese Particles Using Features within Bunsetsu. The Special Interest Group Technical Reports of IPSJ, IPSJ Special Interest Groups on Natural Language, 2007 (94), pp. 107-112.].

Náplava, J. and Straka, M. (2019). "Grammatical Error Correction in Low-Resource Scenarios." In Proceedings of the 5th Workshop on Noisy User-generated Text, pp. 346-356.

Náplava, J., Straka, M., Straková, J., and Rosen, A. (2022). "Czech Grammar Error Correction with a Large and Diverse Corpus." Transactions of the Association for Computational Linguistics, 10, pp. 452-467.

Napoles, C., Nădejde, M., and Tetreault, J. (2019). "Enabling Robust Grammatical Error Correction in New Domains: Data Sets, Metrics, and Analyses." Transactions of the Association for Computational Linguistics, 7, pp. 551-566.

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2015). "Ground Truth for Grammatical Error Correction Metrics." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 588-593.

Napoles, C., Sakaguchi, K., Post, M., and Tetreault, J. (2016). "GLEU Without Tuning." arXiv preprint arXiv:1605.02592 [cs.CL].

Napoles, C., Sakaguchi, K., and Tetreault, J. (2017). "JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 229-234.

Ng, H. T., Wu, S. M., Briscoe, T., Hadiwinoto, C., Susanto, R. H., and Bryant, C. (2014). "The CoNLL-2014 Shared Task on Grammatical Error Correction." In Proceedings of the Eighteenth Conference on Computational Natural Language Learning: Shared Task, pp. 1-14.

Ng, H. T., Wu, S. M., Wu, Y., Hadiwinoto, C., and Tetreault, J. (2013). "The CoNLL-2013 Shared Task on Grammatical Error Correction." In Proceedings of the 17th Conference on Computational Natural Language Learning: Shared Task, pp. 1-12.

Nivre, J., de Marneffe, M.-C., Ginter, F., Goldberg, Y., Hajič, J., Manning, C. D., McDonald, R., Petrov, S., Pyysalo, S., Silveira, N., Tsarfaty, R., and Zeman, D. (2016). "Universal Dependencies v1: A Multilingual Treebank Collection." In Proceedings of the 10th Language Resources and Evaluation Conference, pp. 1659-1666.

Nivre, J., de Marneffe, M.-C., Ginter, F., Hajič, J., Manning, C. D., Pyysalo, S., Schuster, S., Tyers, F., and Zeman, D. (2020). "Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4034-4043.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 160-167.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.
小川耀一朗, 山本和英 (2020). 日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成. 言語処理学会第 26 回年次大会発表論文集, pp. 505-508. [Y. Ogawa and K. Yamamoto (2020). Nihongo Bumpo Ayamari Teisei ni Okeru Ayamari Keiko o Koryo Shita Giji Ayamari Seisei. In Proceedings of the 26th Annual Meeting of the Association for Natural Language Processing, pp. 505-508.].

岡照晃 (2019). 言語研究のための電子化辞書. コーパスと辞書, 講座日本語コーパス 7, pp. 1-28.朝倉書店. [T. Oka (2019). Gengo Kenkyu no Tame no Denshi-Ka Jisho. Kopasu to Jisho, Koza Nihongo Kopasu 7, pp. 1-28. Asakura Shoten.].

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: System Demonstrations, pp. 48-53.

大山浩美, 小町守, 松本裕治 (2016). 日本語学習者の作文における誤用タイプの階層的アノテー ションに基づく機械学習による自動分類. 自然言語処理, 23 (2), pp. 195-225. [H. Oyama et al. (2016). Hierarchical Annotation and Automatic Error-Type Classification of Japanese Language Learners' Writing. Journal of Natural Language Processing, 23 (2), pp. 195-225.].

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Pereira, L., Manguilimotan, E., and Matsumoto, Y. (2016). "Leveraging a Large Learner Corpus for Automatic Suggestion of Collocations for Learners of Japanese as a Second Language." CALICO Journal, 33 (3), pp. 311-333.

Qorib, M., Na, S.-H., and Ng, H. T. (2022). "Frustratingly Easy System Combination for Grammatical Error Correction." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1964-1974.

Radford, A., Narasimhan, K., Salimans, T., and Sutskever, I. (2018). "Improving Language Understanding by Generative Pre-Training.".

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Reimers, N. and Gurevych, I. (2019). "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language

Processing, pp. 3982-3992.

Rothe, S., Mallinson, J., Malmi, E., Krause, S., and Severyn, A. (2021). "A Simple Recipe for Multilingual Grammatical Error Correction." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, pp. 702-707.

Rozovskaya, A. and Roth, D. (2010a). "Generating Confusion Sets for Context-Sensitive Error Correction." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 961-970.

Rozovskaya, A. and Roth, D. (2010b). "Training Paradigms for Correcting Errors in Grammar and Usage." In Proceedings of Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 154-162.

Rozovskaya, A. and Roth, D. (2011). "Algorithm Selection and Model Adaptation for ESL Correction Tasks." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 924-933.

Rozovskaya, A. and Roth, D. (2019). "Grammar Error Correction in Morphologically Rich Languages: The Case of Russian." Transactions of the Association for Computational Linguistics, 7, pp. 1-17.

Sakaguchi, K., Napoles, C., Post, M., and Tetreault, J. (2016). "Reassessing the Goals of Grammatical Error Correction: Fluency Instead of Grammaticality." Transactions of the Association for Computational Linguistics, 4, pp. 169-182.

Sakaguchi, K., Post, M., and Van Durme, B. (2017). "Grammatical Error Correction with Neural Reinforcement Learning." In Proceedings of the 8th International Joint Conference on Natural Language Processing, pp. 366-372.

Schneider, D. and McCoy, K. F. (1998). "Recognizing Syntactic Errors in the Writing of Second Language Learners." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics, pp. 1198-1204.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 86-96.

Shazeer, N. and Stern, M. (2018). "Adafactor: Adaptive Learning Rates with Sublinear Memory Cost." In Proceedings of the 35th International Conference on Machine Learning, pp. 4596-4604.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15 (56), pp. 1929-1958.

Stahlberg, F., Kulikov, I., and Kumar, S. (2022). "Uncertainty Determines the Adequacy of the Mode and the Tractability of Decoding in Sequence-to-Sequence Models." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 8634-8645.

Stahlberg, F. and Kumar, S. (2021). "Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models." In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 37-47.

Straka, M., Náplava, J., and Straková, J. (2021). "Character Transformations for NonAutoregressive GEC Tagging." In Proceedings of the 7th Workshop on Noisy User-generated Text, pp. 417-422.

Sun, X. and Wang, H. (2022). "Adjusting the Precision-Recall Trade-Off with Align-and-Predict Decoding for Grammatical Error Correction." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics, pp. 686-693.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems 27, pp. 3104-3112.

Suzuki, D., Takahashi, Y., Yamashita, I., Aida, T., Hirasawa, T., Nakatsuji, M., Mita, M., and Komachi, M. (2022). "Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction." In Proceedings of the 13th Language Resources and Evaluation Conference, pp. 5565-5572.

Suzuki, H. and Toutanova, K. (2006). "Learning to Predict Case Markers in Japanese." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 1049-1056.

Swanson, B. and Yamangil, E. (2012). "Correction Detection and Error Type Selection as an ESL Educational Aid." In Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 357-361.

Tajiri, T., Komachi, M., and Matsumoto, Y. (2012). "Tense and Aspect Error Correction for ESL Learners Using Global Context." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 198-202.

田中佑，村脇有吾，河原大輔，黒橋禎夫 (2021). 日本語 Wikipedia の編集履歴に基づく入力誤りデータセットと訂正システムの構築. 自然言語処理, 28 (4), pp. 995-1033. [Y. Tanaka et al. (2021). Building a Japanese Typo Dataset and Typo Correction System Based on Wikipedia's Revision History. Journal of Natural Language Processing, 28 (4), pp. 995-

1033.].

塘優旗, 小町守 (2015). 部分的アノテーションを利用した CRF による日本語学習者文の単語分割. 情報処理学会研究報告, 自然言語処理研究会, 2015-NL-223 (2), pp. 1-9. [Y. Tomo, and M. Komachi (2015). Bubun-Teki Anoteshon o Riyo Shita CRF niyoru Nihongo Gakushu-Sha Bun no Tango Bunkatsu. The Special Interest Group Technical Reports of IPSJ, IPSJ Special Interest Groups on Natural Language, 2015-NL-223 (2), pp. 1-9.].

Trinh, V. A. and Rozovskaya, A. (2021). "New Dataset and Strong Baselines for the Grammatical Error Correction of Russian." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 4103-4111.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Wan, Z., Wan, X., and Wang, W. (2020). "Improving Grammatical Error Correction with Data Augmentation by Editing Latent Representation." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 2202-2212.

Wang, L. and Zheng, X. (2020). "Improving Grammatical Error Correction Models with PurposeBuilt Adversarial Examples." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 2858-2869.

White, M. and Rozovskaya, A. (2020). "A Comparative Study of Synthetic Data Generation Methods for Grammatical Error Correction." In Proceedings of the 15th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 198-208.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 38-45.

Xie, Z., Genthial, G., Xie, S., Ng, A., and Jurafsky, D. (2018). "Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 619-628.

Xue, L., Constant, N., Roberts, A., Kale, M., Al-Rfou, R., Siddhant, A., Barua, A., and Raffel, C. (2021). "mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 483-498.
山下郁海, 金子正弘, 三田雅人, 勝又智, Aizhan Imankulova, 小町守 (2022). 言語間での転移学習のための事前学習モデルと多言語の学習者データを用いた文法誤り訂正. 自然言語処理, 29 (2), pp. 314-343. [I. Yamashita et al. (2022). Grammatical Error Correction with Pretrained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning. Journal of Natural Language Processing, 29 (2), pp. 314-343.].

Yannakoudakis, H., Andersen, Ø. E., Geranpayeh, A., Briscoe, T., and Nicholls, D. (2018). "Developing an Automated Writing Placement System for ESL Learners." Applied Measurement in Education, 31 (3), pp. 251-267.

Yannakoudakis, H., Briscoe, T., and Medlock, B. (2011). "A New Dataset and Method for Automatically Grading ESOL Texts." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 180-189.

Yasunaga, M., Leskovec, J., and Liang, P. (2021). "LM-Critic: Language Models for Unsupervised Grammatical Error Correction." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 7752-7763.

Yuan, Z. and Briscoe, T. (2016). "Grammatical Error Correction using Neural Machine Translation." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 380-386.

Yuan, Z. and Bryant, C. (2021). "Document-level Grammatical Error Correction." In Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 75-84.

Yuan, Z., Taslimipoor, S., Davis, C., and Bryant, C. (2021). "Multi-Class Grammatical Error Detection for Correction: A Tale of Two Systems." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 8722-8736.

Zhang, Y., Li, Z., Bao, Z., Li, J., Zhang, B., Li, C., Huang, F., and Zhang, M. (2022). "MuCGEC: a Multi-Reference Multi-Source Evaluation Dataset for Chinese Grammatical Error Correction." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3118-3130.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 156-165.

Zhou, W., Ge, T., Mu, C., Xu, K., Wei, F., and Zhou, M. (2020). "Improving Grammatical Error Correction with Machine Translation Pairs." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 318-328.

## 付録

## A BART 及び T5 の設定

表 15 に BART 及び T5 のハイパーパラメータと推論時の設定を示す.

表 15 BART 及び T5 のハイパーパラメータと推論時の設定.

## 略歴

小山碧海：2021 年東京都立大学システムデザイン学部システムデザイン学科情報通信システムコース卒業. 2023 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年 KDDI 株式会社入社及び東京都立大学大学院システムデザイン研究科情報科学域博士後期課程進学. 現在に至る.

喜友名朝視顕 : 2021 年東京都立大学システムデザイン学部システムデザイン学科情報通信システムコース卒業. 2023 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年ヤフー株式会社入社. 現在に至る.小林賢治：2021 年東京都立大学システムデザイン学部システムデザイン学科情報通信システムコース卒業. 2023 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年 NECソリユーションイノベータ株式会社入社. 現在に至る.

新井美桜：2017 年帝京大学外国語学部外国語学科卒業. 2020 年首都大学東京 (現東京都立大学) 大学院システムデザイン研究科情報科学域博士前期課程修了. 同年フューチャー株式会社入社. 現在に至る.

三田雅人：2014 年県立広島大学経営情報学部経営学科卒業. 2016 年奈良先端科学技術大学院大学情報科学研究科博士前期課程終了. 同年日本マイクロ

ソフト株式会社入社. 2018 年理化学研究所革新知能統合研究センター入所. 2021 年東北大学大学院情報科学研究科博士後期課程修了. 博士 (情報科学).同年東京都立大学システムデザイン学部特任助教. 2022 年株式会社サイバー エージェント AI Lab リサーチサイエンティスト. 現在に至る. 言語処理学会, ACL 各会員.

岡照晃：2010 年豊橋技術科学大学情報工学課程卒業. 2012 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2013 年より日本学術振興会特別研究員 (DC2) を経て, 2015 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). 同年京都大学大学院情報学研究科特定研究員. 2016 年国立国語研究所言語変化研究領域プロジェクト非常勤研究員. 同年同研究所コーパス開発センター特任助教. 2021 年東京都立大学システムデザイン学部特任助教. 2023 年一橋大学ソーシャル・データサイエンス研究科特任助教. 現在に至る.

小町守：2005 年東京大学教養学部基礎科学科科学史 $\cdot$ 科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (工学). 同年同研究科助教. 2013 年首都大学東京 (現東京都立大学) システムデザイン学部准教授. 2022 年同大学同学部教授. 2023 年一橋大学ソーシャル・データサイエンス研究科教授. 現在に至る. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.