# 言語間での転移学習のための事前学習モデルと多言語の学習者 データを用いた文法誤り訂正

山下 郁海 $^{\dagger} \cdot$ 金子 $\quad$ 正弘 ${ }^{\dagger \dagger}$. 三田 雅人 ${ }^{+\dagger, \dagger}$ ・勝又 智 $\dagger \cdot$ Aizhan Imankulova ${ }^{\dagger}$ ・小町守 $\dagger$

本稿では，文法誤り訂正における言語間での転移学習について研究を行う。近年，機械翻訳などのタスクで多言語の訓練データを用いた研究がなされ，言語を越えた知識の活用が行われている一方で, 文法誤り訂正では多言語の知識を用いる研究はほ とんど行われておらず，文法知識が言語を越えて転移可能であるかは未知の問題で ある。一方で, 類似した言語間には共通の文法項目が存在していることが広く知ら れており，そのような言語間で共通した文法項目については言語間で転移が可能な のではないかと考えられる。そこで我々は事前学習モデルと多言語の学習者デー夕 を用いて文法誤り訂正の学習を行い，言語間での転移学習が文法誤り訂正において 可能であるかを調査する。実験の結果，文法誤り訂正において言語間で文法知識の 転移が可能であることを示した。 また, 分析の結果, 事前学習モデルの構造が文法知識の転移に対して大きな影響を与えていること，より類似した言語間で共通の文法項目の転移が行われていること, 転移元の言語と転移先の言語のデータのサイズ に関わらず文法知識の転移が起きていることを確認した。

キーワード：文法誤り訂正, 転移学習, 多言語, 事前学習モデル
## Grammatical Error Correction with Pre-trained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning

Ikumi Yamashita ${ }^{\dagger}$, Masahiro Kaneko $^{\dagger \dagger}$, Masato Mita $^{\dagger \dagger \dagger, \dagger}$, Satoru Katsumata ${ }^{\dagger}$,

## Aizhan Imankulova ${ ^{\dagger}$ and Mamoru Komachi $^{\dagger}$}

In this study, we explore cross-lingual transfer learning in grammatical error correction (GEC) tasks. Few studies have investigated the use of knowledge from other languages for GEC; therefore, it is unclear if useful grammatical knowledge can be transferred. There are often common grammatical items between similar languages, and it may be possible to perform cross-lingual transfer learning by exploiting their grammatical similarities. In this study, we use pre-trained model and multilingual learner corpus for

cross-lingual transfer learning for GEC. Our results demonstrate that transfer learning from other languages can improve the accuracy of GEC. We also demonstrate that proximity to source languages has a significant impact on the accuracy of correcting certain types of errors.

Key Words: Grammatical Error Correction, Transfer Learning, Multilingual, Pre-trained Model

## 1 はじめに

文法誤り訂正は言語学習者の書いた文法誤りを含む文を文法的に正しい文に訂正するタスクである。これまで文法誤り訂正では主に大規模なデータが存在する英語に焦点を当てて研究が行われており，数多くの有効な手法が提案されている (Zhao et al. 2019; Grundkiewicz et al. 2019; Kiyono et al. 2019; Kaneko et al. 2020; Omelianchuk et al. 2020; Stahlberg and Kumar 2021).近年，英語以外のロシア語やチェコ語などの言語においても文法誤り訂正の研究が行われ始めている (Rozovskaya and Roth 2019; Náplava and Straka 2019; Katsumata and Komachi 2020; Rothe et al. 2021). しかし, これらの言語の文法誤り訂正モデルを訓練するための人手で訂正を施した学習者データは小規模でしか存在しないという問題がある.

小規模なデータしか存在しない問題に対処するために，様々なタスクで多言語のデータを活用する研究が進められている (Johnson et al. 2017; Ruder et al. 2019; Dabre et al. 2020). そのような研究の一つに，対象とする言語のモデルの性能向上のために他言語のデータで学習したモデルの知識を用いる転移学習が存在する (Zoph et al. 2016). 先行研究においては, このような言語間での転移学習の性能について，言語間での類似度が大きく影響していることが示されている (Cotterell and Heigold 2017; Johnson et al. 2017; Martínez-García et al. 2021). 例えば,同じ語族に属する言語は類似した文法規則や語彙を共有していることが多く, これらの言語間での類似性が対象となる言語のモデルを学習する際に有効だと考えられている。

一方で，これまで文法誤り訂正において多言語の学習者データを用いて言語間での転移学習を試みた研究は少なく, 格変化や単語の活用などのような文法誤りに関する知識が言語間で転移可能であるかは明らかになっていない，しかし，ある程度類似した言語，例えば同じ語族に属する言語であるロシア語やチェコ語のような言語間では文法的な正誤が転移可能なのではないかと考えられる，表 1 に示すのは「妹」を示す単語の日本語, ロシア語, チェコ語での格変化の一部である。日本語では主格と属格の変化を単語の変化ではなく, 別に助詞を用いることで行っているのに対し，ロシア語とチェコ語は単語の活用で行っていることがわかる。この例はロシア語とチェコ語の格変化の類似性を示しており，このような言語間の類似した文法規則については言語間で転移させることが可能なのではないかと考えられる。そこで我々は，文法誤り訂正において事前学習モデルと多言語の学習者データを用いて，言語間での転移学習を行

表 1 チェコ語とロシア語で類似した格変化.

い，言語間での文法知識の転移が可能であるかを調査する.

本研究の主な貢献は以下の 4 つである.

・ 文法誤り訂正において事前学習モデルと多言語の学習者デー夕を用い, 言語間での転移学習が可能であることを示した.
- 転移学習に用いる事前学習モデルの構造が, 多言語の学習者デー夕を用いた文法誤り訂正の学習に大きく影響していることを示した.
- 文法知識の転移には対象とする言語に近い言語の方が有効であり, 言語間で類似した文法項目に関する知識の転移が行われていることを示した.
- 言語間で類似した文法項目に関する知識の転移は転移元・転移先の言語のデータのサイズに関わらず起こることを示した.

本稿の構成を示す. 2 章では, 既存の文法誤り訂正の研究や多言語の言語知識を考慮した先行研究について紹介する． 3 章では, 本研究で行う言語間での転移学習を用いた文法誤り訂正の手法についての詳細を述べる． 4 章では， 3 章で述べた手法に対して複数の言語間で実験を行い評価する。 5 章では実験結果について事前学習モデルの構造や誤りタイプごとの訂正性能についての分析, 疑似誤りデータによるデータ拡張との比較を行う. 最後に 6 章で, 本研究のまとめを述べる.

## 2 先行研究

## 2.1 文法誤り訂正に関する関連研究

## 2.1.1 大規模データを用いた文法誤り訂正

文法誤り訂正は文法的に誤った文から正しい文への機械翻訳タスクとして捉えられ，一般にニューラルネットワークを用いた機械翻訳モデルを文法誤り訂正モデルとして扱うことが多く,性能向上のために多くのデータを必要としている (Zhao et al. 2019; Grundkiewicz et al. 2019). そのためにいくつかの研究では疑似データを人工的に作ることでデータを増やし性能向上を図っ

ている (Náplava and Straka 2019; Awasthi et al. 2019; Omelianchuk et al. 2020). 文法的に正しい文から文法的に誤った文を生成することは比較的に容易なため, 大規模な単言語コーパスから疑似データを生成する手法についても広範な研究が行われている (Xie et al. 2018; Kiyono et al. 2019; Takahashi et al. 2020; Stahlberg and Kumar 2021).また，文法誤りの訂正情報が付与されていない大規模なテキストデータ（以下，ラベルなしデータと言及する）で学習した事前学習モデルを用いることが文法誤り訂正に対して有効であることも示されている (Kaneko et al. 2020; Katsumata and Komachi 2020). これらの研究は大規模な訓練デー夕を用意して文法誤り訂正の性能向上を図る研究である.

## 2.1.2多言語の学習者データを用いた文法誤り訂正

多言語の学習者データを用いた文法誤り訂正の研究として, Rothe et al. (2021) は multilingual T5 (mT5) (Xue et al. 2021)を用いて初期化した文法誤り訂正モデルを多言語の学習者データで学習することで多言語文法誤り訂正モデルを構築する研究を行っている. この研究は, 本研究で明らかにしている文法誤り訂正における言語間での転移学習について, より大きなモデルとより大量のデータを用いることで性能向上に活かしたものである. 本研究は Rothe et al. (2021) とは異なり, 小さなモデルにおいて複数の設定の比較を行い, Rothe et al. (2021)における性能向上の要因の一つとなっている，文法誤り訂正において言語間で文法知識の転移が可能であることについて明らかにしている。また，多言語の学習者データを有効に用いるための設定がどのようなものになるのか, についての分析に焦点を当てている.

## 2.1.3 学習者の第一言語を考慮した文法誤り訂正

他言語について考慮した文法誤り訂正の研究として，学習者の第一言語に焦点を当てた文法誤り訂正の研究が行われている. Rozovskaya and Roth (2011) は単純べイズ分類器を用いた前置詞誤り訂正に対して異なる5つの第一言語からの情報を適用する手法を提案し, その後 Rozovskaya et al. (2017)は同様の手法を11の第一言語, 3つの誤りタイプに拡張した. Mizumoto et al. (2011) は統計的機械翻訳モデルをベースにした文法誤り訂正モデルにおいて，評価データと訓練デー 夕で同じ第一言語を持つ学習者のデータを用いることで性能が向上することを示した。その後, Chollampatt et al. (2016)はこの手法を拡張し, 統計的機械翻訳モデルをべースにした文法誤り訂正モデルの素性として, 各データの学習者の第一言語に対応したニューラル言語モデルを用いる手法を提案した. これらの研究は学習者の第一言語を考慮した文法誤り訂正の研究ではあるが, 我々の研究とは異なり言語間での文法知識の転移については焦点を当てていない.

## 2.2 多言語の知識を用いた関連研究

多言語の言語知識を用いる研究は文法誤り訂正とは異なる分野で盛んに行われている。機械翻訳では, Zoph et al. (2016) が大規模なデータが存在する言語対で学習したモデルを対象とす

る言語対のデータでファインチューニングを行うことで性能向上を図る手法を提案し, Johnson et al. (2017) は複数の言語のデータで一つのモデルを学習することで, 訓練データが存在しない言語についても翻訳が可能であることを示しており, どちらの研究でも本研究と同じく, より類似した言語対を用いることが翻訳性能の向上につながることを明らかにしている．また，Kim et al. (2019) は言語間でモデルのパラメータの転移を行う際に, 転移元の言語と転移先の言語間で言語表現の対応をとることによって翻訳性能の向上につなげており, Lin et al. (2021)は言語固有のサブネットワークを学習することで言語同士の不要な干渉を抑える手法を提案している.より良い多言語翻訳のための言語表現の獲得の研究もなされており, Ji et al. (2020)は言語間をよりうまく関連づけるための事前学習手法を, Pan et al. (2021) は対照学習を用いた学習手法を, Yang et al. (2021) は学習文中の単語を別言語の対応する単語に置き換えるコードスイッチングを用いた手法を，それぞれ提案している。対話生成では, Schuster et al. (2018)が言語間にまたがった表現の獲得のために機械翻訳モデルのエンコーダ部分を用いた研究を行っている。また，質問応答の分野では， Lee and Lee (2019) が敵対的生成ネットワークを用いた言語間での転移学習の手法を, Zhou et al. (2021) が多言語の事前学習モデルと転移元言語の訓練データを用いたデータ拡張の 2 つを組み合わせた手法を提案している。

言語間で構文知識を転移する研究も複数行われている. Kim et al. (2017) は品詞夕グ付けにおいて, 言語に依存しない表現と言語特有の表現を学習する 2 つモデルを組み合わせることによって言語間で構文知識を転移可能にする手法を提案している. Ahmad et al. (2019) は敵対的な学習を利用することで言語間にまたがる表現を生成するエンコーダを学習し，これを用いることで係り受け解析においての言語間での転移を可能にしている。また, Xu and Koehn (2021) は係り受け解析において, 転移元言語の文脈を考慮した言語表現を評価対象の言語の表現空間に適切に対応づけることで性能向上を図っている. Wu and Dredze (2019)は品詞夕グ付けや係り受け解析などの 5 つのタスクで multilingual BERT を用いた多言語知識の活用が有効であることを示している. さらに, Ahmad et al. (2021) は multilingual BERT に対して構文知識を明示的に学習に組み込むことで，構文解析など 4 つのタスクで性能が向上することを示した。これらの研究は我々と同じように異なる言語間での転移学習を行っているが, 我々が文法誤りに関する知識の転移に焦点を当てているのに対し, 構文知識の転移に焦点を当てている点で我々の研究とは異なる。一方で, 品詞夕グ付けに関する Kim et al. (2017)の研究では, 上述の機械翻訳での転移学習の研究や, 本研究で示す文法誤り訂正における言語間での転移学習と同様に, より類似した言語から転移学習を行うことで性能が向上することを報告しており，それぞれの研究において言語間で転移させている知識は異なるものの同様の傾向を示している。また，本研究ではこれらの関連研究では議論されることの少なかった, 転移元言語と転移先言語のそれぞれのデー夕量を変化させた際の結果に関する分析についても議論を行っている.

図 1 言語間での転移学習のための事前学習モデルと多言語学習者データを用いた文法誤り訂正モデルの学習の概要.

## 3 言語間での転移学習を用いた文法誤り訂正

本研究では， 3.1 節で示す事前学習モデルと，3.2 節で示す多言語学習者デー夕を用いた文法誤り訂正の学習手順を用いて文法誤り訂正モデルを学習し, 言語間での転移学習を行う。図 1 に学習全体の概要を示す. 我々は，まず転移元言語と転移先言語のラベルなしデータを用いて事前学習モデルの学習を行う1. 次に，その事前学習モデルによって初期化した文法誤り訂正モデルを, 転移元言語と転移先言語の学習者データを用いて学習を行う (fine-tuning 1). 最後に,転移先の言語の学習者データのみで文法誤り訂正モデルの学習を行う (fine-tuning 2).

## 3.1 多言語事前学習モデル

我々は，言語間での転移学習を行う際に，学習者データからのみでは得られない言語間にまたがった言語表現を獲得するために事前学習モデルを用いる。具体的には, Masked Language Modeling (MLM)/Translation Language Modeling (TLM) (Conneau and Lample 2019), そして, multilingual BART (mBART) (Liu et al. 2020)の 3 種類の事前学習モデルを使用する. 各モデルの事前学習の概要を図 2 に示す.

MLM/TLM は Bidirectional Encoder Representations from Transformers (BERT) (Devlin et al. 2019)の構造を元に提案された, Transformer (Vaswani et al. 2017)のエンコーダ部分を用いたモデルである．MLM は転移元言語と転移先言語の単言語デー夕を用いて事前学習を行う．学習の際には幾つかのトークンがマスクされた文が入力され，マスクされたトークンを予測することで言語表現の学習が行われる（図 2 上段左側）ＴTLM は MLM を対訳データでも学習できるように拡張したモデルである。対訳データが入力として与えられる際に，文のペアを連結す


図 2 MLM, TLM, mBART の事前学習の概要.

ることで一つの文とし，幾つかのトークンをマスクする。それ以外の学習や推論は MLM と同様に行われる（図 2 上段右側）。また，TLM はそれ単体で用いることはなくMLM と組み合わせて用いる，すなわち，学習の際には二つの学習を交互に行う。この論文ではこれ以降, MLM とTLM を組み合わせたモデルを簡潔な区別のために TLM と表記する．TLM は対訳データを学習に用いているため MLM と比較して言語間にまたがるより良い言語表現が得られることが期待される.

mBART は BART (Lewis et al. 2020) をもと多言語に拡張した Transformer のエンコーダとデコーダを用いるエンコーダ・デコーダの構造の事前学習モデルである。学習方法は BART のものを踏襲しており, 入力としてトークンやスパンのマスク, 単語の順番の変更などの複数のノイズの入った文が与えられ，そこから元の正しい文を復元し出力することで学習が行われる (図 2 下段). mBART と上述の MLM/TLM の大きな違いはデコーダが事前学習時に存在するか否か, という点であり, 本研究ではこの違いが文法誤り訂正における言語間での転移学習に対してどのような影響を与えるのかについて比較・分析を行う.

## 3.2 多言語の学習者データを用いた学習の手順

本研究では, 多言語の学習者デー夕を用いて文法誤り訂正モデルの学習を行う，第 2 章で説明した通り言語間での転移学習には様々な手法が存在しているが, 我々はその中からエンコー ダ・デコーダモデルを学習し転移させる手法を用いる.

ニューラル機械翻訳において，対象とする言語とは異なる言語対のデータで学習したモデルを

図 3 実験に用いる言語間の関係の概略図。語族などの情報は ASJP database (Wichmann et al. 2020) を基にしている。

対象とする言語対のデータでファインチューニングすることが有効であることが示されている (Imankulova et al. 2019; Dabre et al. 2019). また, 文法誤り訂正モデルの学習において，2 段階でのファインチューニングを行うことが性能向上に効果的であることが知られており (Lichtarge et al. 2020; Omelianchuk et al. 2020; Stahlberg and Kumar 2021), 特に Omelianchuk et al. (2020) は, 最終的な学習の対象となるデータセットとその他のデータセットが存在する際に, 1 段階目に最終的に対象とするデータとその他の学習者データを組み合わせて学習を行い, その後 2 段階目に対象とするデータのみでもう一度ファインチューニングを行う, という形の二段階でのファインチユーニングを用いて性能向上を達成している。 そこで，我々はこれらの先行研究に従って, 文法誤り訂正モデルを転移元言語と転移先言語の学習者デー夕を結合したデー夕で学習（図 1 中の fine-tuning 1）を行い, その後, 転移先言語の学習者データのみでファインチューニング （図1 中の fine-tuning 2) を行うことで最終的な文法誤り訂正モデルを得る ${ }^{2}$. なお, fine-tuning 1 と fine-tuning 2 で用いる転移先言語の学習者デー夕はどちらも同じものである.

## 4 実験

## 4.1 実験に用いた言語

本研究では, 転移先の言語 (文法誤り訂正の対象とする言語) としてロシア語, チェコ語, 英語の 3 つの言語について実験を行う。また，各転移先言語に対してそれぞれ，類似度の高い言語, 類似度が中程度の言語, 類似度の低い言語の 3 つの転移元の言語を用意する. 用いる言語間の類似度についてまとめたものを図 3 に示す。

ロシア語の文法誤り訂正に対しては, チェコ語, 英語, 日本語を転移元言語として用いる. ここでロシア語とチェコ語は同じスラヴ語族に属する言語であり, 形容詞や名詞の格変化など数

多くの類似した文法項目が存在する。英語とロシア語については語族や使用している文字は異なるが，主語によって動詞の形が変わるなど幾つかの共通点が存在する. 日本語は本研究で扱う言語の中で最もロシア語から遠い言語であり，語族だけでなく使用する文字や文法構造なども異なる言語である.

チェコ語の文法誤り訂正に対しては，ロシア語，英語，日本語を転移元言語として用いる，ロシア語とチェコ語の類似性については既に述べた通りであり，チェコ語と英語・日本語の関係はロシア語と同様である。

英語の文法誤り訂正に対しては，ドイツ語，ロシア語，日本語を転移元言語として用いる，英語とドイツ語は同じゲルマン語族に属しており，非常によく類似した言語である．また，英語とロシア語の関係は上述の通りであり，日本語はこれまでの設定と同様に今回用いる言語の中で最も転移先の言語である英語と類似していない言語である。なお，英語の文法誤り訂正は 5.5 節の転移先言語の学習者データのサイズに関する分析で扱う.

## 4.2 実験設定

我々は文法誤り訂正モデルとして, Conneau and Lample (2019) や Liu et al. (2020)が機械翻訳に用いたものと同様の Transformer モデルを用いる．MLM/TLM を事前学習モデルとして用いる際は，エンコーダとデコーダをどちらも MLM/TLM で初期化する。モデルの構造はエンコーダとデコーダがそれぞれ 6 層, 埋め込み層と隠れ層の次元数は 1024 とし3, バッチサイズは 32 , ドロップアウトは確率 0.1 で学習を行う。最適なモデルの選択は開発データに対するパープレキシテイが最も低いものを選択して行う。また, 学習後に各モデルの出力を 12 -best で行い, Chollampatt and Ng (2018) と同様に 5-gram 言語モデルを用いたリランキングを行って最終的な出力を得る。モデルの評価は文法誤り訂正の評価として広く用いられている MaxMatch $\left(\mathrm{M}^{2}\right)$ score (Dahlmeier and Ng 2012)を用いて, 評価デー夕に対する Precision, Recall, $F_{0.5}$ で行う.

## 4.3 データの詳細

実験に用いたデー夕の概要を表 2 に示す. 本研究では, 事前学習モデルを学習するための単言語データとして, ロシア語, チェコ語, 英語, ドイツ語はWMT-2019 で配布された News Crawl ${ }^{4}$ を，日本語は Wikipedia5データから必要な文数を抽出して用いた，また，TLM の学習に用いる対訳データとして TED talks (Cettolo et al. 2012)6を用いた. TED talksの公開されているデータは英語と各言語間での翻訳の形であり，本研究では各言語について英語側の文が同一の


表 2 実験に用いたデータの概要（単位は文）.

ものを抽出してぺアにすることで英語以外の各言語間での翻訳デー夕を再構築している。それぞれの開発データは同じコーパスから学習に用いるデータを除いた状態で表に示す文数をランダムに抽出した。

文法誤り訂正モデルの学習に用いる学習者データとして, ロシア語は RULEC-GEC (Rozovskaya and Roth 2019)7 及び Lang-8コーパス8のロシア語デー夕, 英語は NUS Corpus of Learner English (NUCLE) (Dahlmeier et al. 2013) ${ }^{9}$ 及び Lang-8 コーパスの英語デー夕, チェコ語は AKCES-GEC (Náplava and Straka 2019)10, ドイツ語は Falko-MERLIN-GEC (Boyd 2018)11 及び Lang-8コー パスのドイツ語デー夕，をそれぞれ用いた ${ }^{12}$. 開発と評価のデータには, ロシア語, チェコ語, ドイツ語についてはコーパスに付随しているデータをそのまま用いた．英語では開発データとして CoNLL 2013 (Ng et al. 2013)のデータを, 評価データとして CoNLL 2014 のデータを用い,日本語の開発データには NAIST 誤用コーパス (Oyama et al. 2013)を用いた ${ }^{13}$ 。また，実際に実験を行うときは各言語間で実験設定を揃えるために，転移元言語のデータのサイズを転移元
 2 \mathrm{scorer}$ を用いた評価の際に 30 分以上かかってしまう文を除いた.
}

表 3 ロシア語文法誤り訂正の結果. 事前学習モデルは初期化に用いた事前学習モデルを，学習者デー夕は文法誤り訂正モデル学習の際に用いた学習者データの言語と学習の手順を示す.Uはデー夕の結合を表し，円はファインチューニングを表す（例えば $(\mathrm{Cs} \cup \mathrm{Ru}) \rightarrow \mathrm{Ru}$ は，チェコ語とロシア語の結合データに対して学習を行った後に，ロシア語の学習者データのみで学習を行ったことを表す).

言語の中で最も学習者データの少ない言語に合わせて用いる ${ }^{14}$.

日本語の分かち書きには辞書としてUniDic (v.2.1.1)を用いた MeCab15を使用し, その他の言語のトークナイズには NLTK ${ }^{16}$ 使用した。また, 転移先言語の学習者デー夕には pyspellchecker ${ }^{17}$ によるスペルチェックを前処理として行った. その後, fastBPE ${ }^{18}$ を用いたバイト対符号化 (Sennrich et al. 2016) を語彙数が 20,000 になるように行い最終的なデータを得た.

## 4.4 実験結果

表 3 にロシア語の文法誤り訂正の結果を示す。(6) から (11)の MLM や TLM を用いて転移学習を行ったモデルが, (1) から (4)の事前学習モデルを用いないモデルや, (5)のロシア語のみで事前学習を行った MLM で初期化しロシア語の学習者データのみで文法誤り訂正の学習を


表 4 チェコ語文法誤り訂正の結果. 表 3 と同様に, 事前学習モデルは初期化に用いた事前学習モデルを,学習者データは文法誤り訂正モデル学習の際に用いた学習者データの言語と学習の手順を示す.U はデータの結合を表し， $\rightarrow$ はファインチューニングを表す.

行ったモデルと比較して高い $\mathrm{F}_{0.5}$ スコアを達成しており, 転移学習が効果的に機能していることがわかる。また, 最も $\mathrm{F}_{0.5}$ スコアの高いモデルは (9) の TLM を用いてチェコ語からの転移学習を行ったモデルである。一方で，(13) から (15)の mBART を用いて転移学習を行ったモデルは, (1)から (4) の事前学習モデルを用いないモデルや (12) のロシア語のみで事前学習を行ったBART で初期化しロシア語の学習者データのみで文法誤り訂正の学習を行ったモデルとほとんど変わらない，もしくは低い $\mathrm{F}_{0.5}$ スコアであり，転移学習がうまくいっていないことが読み取れる。

次に，表 4 にチェコ語の文法誤り訂正の結果を示す。チェコ語の文法誤り訂正ではロシア語の文法誤り訂正と似たような傾向が見られる。 すなわち，(6) から (11)の MLM やTLM を用いて転移学習を行ったモデルの $\mathrm{F}_{0.5}$ スコアが, (1) から (4) の事前学習モデルを用いないモデルや(5)のチェコ語のみで事前学習を行った MLM で初期化しチェコ語の学習者データのみで文法誤り訂正の学習を行ったモデルのスコアよりも高く, 転移学習が有効であることが示されており，最も $\mathrm{F}_{0.5}$ スコアが高いのは (9) の TLM を用いてロシア語からの転移学習を行ったモデルである。また, (13)から (15)の mBART を用いたモデルの結果もロシア語の文法誤り訂正と同様の傾向で，(1) から (4) の事前学習モデルを用いないモデルや (12)のチェコ語のみで事前学
習を行った BART で初期化しチェコ語の学習者データのみで文法誤り訂正の学習を行ったモデルとほとんど同程度の $\mathrm{F}_{0.5}$ スコアであり, 転移学習がうまくできていないことがわかる.

## 5 分析

## 5.1 文法誤り訂正における言語間での転移学習

この節では, 表 3 , 表 4 の 2 つの結果から共通して読み取れる言語間での転移学習を用いた文法誤り訂正における転移の傾向について分析を行う。それぞれの表の結果を見ると，2つの言語の結果で共通して各言語対において MLM や TLM を用いて転移学習を行ったモデル（表 3, 表 4 それぞれの (6)から (11)のモデル）の $\mathrm{F}_{0.5}$ スコアは，MLM や TLM を用いずに転移学習を試みた各言語対のモデル（表 3 , 表 4 それぞれの (2) から (4)のモデル）の $\mathrm{F}_{0.5}$ スコアよりも高いことが示されている。これは，言語対によらずどの言語でも，多言語の学習者デー夕をただ用いるだけではうまく知識を活かすことができず，MLM やTLM を用いることが転移学習に有効であることを示している。また，MLM やTLMを用いて最も類似した転移元言語からの転移学習を行ったモデル（表 3 , 表 4 それぞれの（6）と（9）のモデル）は，転移学習を用いずに MLM を用いて評価対象の言語のデー夕のみで学習したモデル（表 3, 表 4 それぞれの (5)のモデル）よりも $\mathrm{F}_{0.5}$ スコアが高いこともわかる. これは, 誤り訂正の対象とする言語のデータのみで文法誤り訂正を学習するよりも適切な設定で多言語の知識を入れることが有効であるということを示している。加えて，どちらの言語の文法誤り訂正でも，TLM を用いて最も類似した言語から転移を行ったモデル（表 3 ，表 4 それぞれの（9）のモデル）の $\mathrm{F}_{0.5}$ スコアが最も高く，他言語の文法知識を転移させる場合は言語の近さが重要になることを示唆している.

一方で, MLM/TLM を用いたモデル（表 3, 表 4 それぞれの (6)から (11)のモデル）と同様に事前学習モデルを用いているのにも関わらず，mBART を用いて転移学習を行ったモデル（表 3, 表 4 それぞれの (13) から (15)のモデル) は, どの転移元の言語を用いたモデルでも評価対象の言語の単言語データのみで学習したモデル（表 3, 表 4 それぞれの (5)と (12)のモデル）よりも $\mathrm{F}_{0.5}$ スコアが低いもしくは同程度であり，転移がうまくいっていないことがわかる．これは事前学習モデルの構造の違い（エンコーダのみのモデルとエンコーダ・デコーダモデルの違い)によるものではないかと考えられる.

## 5.2 事前学習モデルの構造の影響

この節では前節で示された, 用いる事前学習モデルによる結果の差について, 単言語の文法誤り訂正の学習を行う追加の実験と, 文法誤り訂正の学習前後でのモデルの類似度の観点から分析を行う.また, この節での分析を行う前の予備実験として, mBART のファインチューニングが適切に行えていることを学習時の loss やパープレキシティから検証し, ファインチュー

表 5 ロシア語とチェコ語で事前学習された mBART で初期化した文法誤り訂正モデルに対して, 転移元言語の学習者データを用いる場合と用いない場合の実験結果.

ニングが適切に行われている上で結果の差が生まれていることを確認した。予備実験の結果と議論については付録 A に示す.

## 5.2.1 単言語と多言語の学習者データ

4.5 節で述べたように，MLM/TLM を用いて転移学習を行ったモデル（表 3 ，表 4 それぞれの （9）から (11)のモデル）は事前学習モデルを用いずに転移学習を行ったモデル（表 3 , 表 4 それぞれの (2)から (4)のモデル) と比較して $\mathrm{F}_{0.5}$ スコアが高いのに対し, $\mathrm{mBART}$ を用いて転移学習を行ったモデル（表 3 ，表 4 それぞれの (13) から (15)のモデル）は事前学習モデルを用いずに転移学習を行ったモデルとほとんど $\mathrm{F}_{0.5}$ スコアが変わらない結果となっている。一方で，転移学習を用いず対象の言語の学習者データのみで学習を行ったモデルについては, 表 3 , 表 4 それぞれの (5) に示す MLM を用いたモデルと表 3，表 4 それぞれの (12) に示す BART を用いたモデルで大きな変化は見られない. これはエンコーダ・デコーダの構造の事前学習モデルで初期化された文法誤り訂正モデルが文法誤り訂正に有効ではないというわけではなく, “多言語の学習者データを扱う"という設定においてのみうまく学習ができない可能性を示唆している.

我々はこの仮説を確かめるために，ロシア語とチェコ語で事前学習を行った mBART モデルに対して，転移元言語の学習者デー夕を用いる fine-tuning 1 を行わずに転移先言語（評価対象の言語）の学習者データのみを用いる fine-tuning 2 を直接行い，結果を比較した。それぞれの結果を表 5 に示す。転移元ありと書かれたモデルがこれまでの結果で示した, 転移元言語の学習者データと転移先言語の学習者データを用いる fine-tuning 1 と転移先言語の学習者データのみを用いる fine-tuning 2 を通して転移学習を行ったモデルであり，転移元なしと書かれたモデルが fine-tuning 1 を行わず評価対象の言語の学習者データでの fine-tuning 2 のみで文法誤り訂正を学習したモデルである。結果を見ると，転移元言語の学習者データなしで学習したモデルの方が Precision, Recall, $\mathrm{F}_{0.5}$ の全てで高くなっており, mBART を用いたモデルは単言語の学習者データでの学習はうまくいくものの, 多言語の学習者データを使った転移学習がうまくできていないことがわかる。これは mBART を用いて単言語の文法誤り訂正モデルの学習を行い性能向上を確認した Katsumata and Komachi (2020)の結果と矛盾しないものである.

図 4 ロシア語文法誤り訂正モデルとチェコ語文法誤り訂正モデルの文法誤り訂正学習前後での CKA による各層の類似度. 各行はそれぞれ，Embは埋め込み層，E_L0 から E_L1 はエンコーダの各層, D_L0 から D_L5 はデコーダの各層，Avg は全体の平均，E_Avg はエンコーダの平均，D_Avg はデコーダの平均を示している.

## 5.2.2文法誤り訂正の学習前後でのモデルの変化

我々はこれらのエンコーダのみの構造の事前学習モデルとエンコーダ・デコーダの構造の事前学習モデルを用いた場合の多言語学習者データでの文法誤り訂正モデルの学習の差について, モデルのデコーダ部分に原因があるのではないかと考え，より詳しく分析するために，ニューラルネットワークの類似度を測る手法である Centered Kernel Alignment (CKA) (Kornblith et al. 2019)を用いて, 文法誤り訂正学習前の事前学習モデルと文法誤り訂正学習後の最終的なモデルの各層の類似度を計算した. CKA はフロベニウスノルムを用いて以下の式に示すような定義で与えられる。

$
\operatorname{CKA}(X, Y)=\frac{\left.\|Y^{T} X\right.\|_{\mathrm{F}}^{2}}{\left(\left.\|X^{T} X\right.\|_{\mathrm{F}}\left.\|Y^{T} Y\right.\|_{\mathrm{F}}\right)}
$

ここで， $X$ と $Y$ はそれぞれ文法誤り訂正の評価データ全文に対する各層の各サブワードトークンの表現の平均をとった隠れ層の次元サイズの行列である。結果を図 4 に示す. 結果を見ると TLM を用いたモデルは文法誤り訂正の学習前後でのデコーダの類似度が低いのに対し, mBART を用いたモデルではエンコーダとデコーダが共に文法誤り訂正の学習前後で類似度が高いことがわかる。 すなわち，エンコーダのみの構造の事前学習モデルで初期化した文法誤り訂正モデルは, 事前学習したエンコーダを保持しながらデコーダをほぼ一から学習している一方で, エンコーダ・デコーダの構造の事前学習モデルで初期化した文法誤り訂正モデルは, 事前学習時のエンコーダとデコーダを双方ともほぼ引き継ぐような形で文法誤り訂正の学習を行っていると考えられる。これらの結果から，エンコーダ・デコーダの構造の事前学習モデルをもとに多言語の学習者データを用いて文法誤り訂正の学習を行う際に, 大きく次の 2 つの可能性が示唆さ

れる。一つ目は，デコーダも含めて事前学習することが有効ではない可能性である，実際，機械翻訳分野において Rothe et al. (2020) が, デコーダのみの構造の事前学習モデルで初期化した機械翻訳モデルの性能が，エンコーダのみの構造の事前学習モデルで初期化した機械翻訳モデルの性能よりも低下することを報告している。二つ目は，エンコーダ・デコーダの双方を事前学習した場合にはエンコーダのみの構造の事前学習モデルを用いる場合とは異なる工夫が必要な可能性である。例えば， Rothe et al. (2021) は mT5 で多言語の学習者データを用いて文法誤り訂正の学習を行う際に, 事前学習時のタスクは文法誤り訂正とは異なるため, 文法誤り訂正に近い事前学習を再度行ってから実際の学習データで文法誤り訂正の学習を行うことが必要だと述べている。また Pajak and Pajak (2022)は 25 言語や 50 言語のよりサイズの大きい単言語データで事前学習の行われた mBART を fine-tuning することで多言語文法誤り訂正モデルの構築が可能であることを示している。文法誤り訂正に限らず，このような事前学習モデルと下流夕スクとの関係は未だ明らかになっていないことも多く, 今後より詳しい分析が必要になってくると考えられる.

## 5.3 誤りタイプごとの訂正性能

ここからは転移学習が有効であった MLM/TLM を用いた文法誤り訂正モデルに対して分析・考察を行う。この節では言語間で類似した誤りが転移しているかどうかについての分析を行う 19.表 6 に各ロシア語文法誤り訂正モデルの RULEC-GEC 中の出現頻度が上位 10 件の誤りタイプに対する Recall を示す。結果から，チェコ語を転移元言語としたモデルはほとんどの誤りにおいてベースラインモデルの Recall を上回っていることがわかる，加えて，ロシア語とチェコ語で類似した誤りタイプ (Spelling, Lexical choice（語彙の選択についての誤り）, Adj:Case（形容詞の格変化についての誤り), Noun:Case（名詞の格変化についての誤り））について，TLM を用いてチェコ語から転移を行ったモデルが最も高いスコアを得ている。これらの結果は言語間で類似した文法項目の誤りの知識について，言語間での転移学習を用いることで転移が可能であることを示している.

表 7 に各ロシア語文法誤り訂正モデルの Adj:Case，Noun:Caseの誤りを含む文に対する出力例を示す。下線の引かれている単語がそれぞれ Adj:Case と Noun:Case の誤りである. 原文と参照文を比較するとそれぞれの誤った単語について活用が変化し，正しい格への訂正が行われていることがわかる．各モデルの結果を見ると，まず転移学習を行わずロシア語のみで学習を行ったモデルは正しい文への訂正ができていないことがわかる。これは訓練データが少ないことによる影響だと考えられる。日本語を転移元言語としたモデルは, 名詞の誤りに対して正し


表 6 RULEC-GEC 中で頻度上位 10 件の誤りタイプに対する各モデルの Recall. （No-LM のモデルは事前学習モデルを用いていない表 3 の (1) のモデル，MLM のモデルはロシア語のみの MLM で初期化した表 3 の (5)のモデル，TLM のモデルはそれぞれ左から表 3 の (9), (10), (11) のモデルに対応している.)

 \\

表 7 Adj:Case と Noun:Case の誤りタイプに対する各モデルの出力例. 赤色の単語は誤りを含む単語であり，青色の単語は正しく訂正された単語である。 中括弧の中に示されているのは詳しい誤りタイプである。前半の文字は品詞を示しており，“A”は形容詞，“N”は名詞を表す。後半はその単語の格を示しており, “Nom”は主格, “Gen”は属格, “Pre”は前置詞格, “Inst”は具格である。

い格への訂正を行うのではなく, 別の単語への編集を行ってしまっている．また，英語は前置詞関係を別の単語を用いて表現する言語であり，前置詞格を持ち単語の活用で表現するロシア語とは異なるため，英語を転移元言語としたモデルでは前置詞格への訂正ができていないこと

表 8 転移元の英語の学習者データのサイズを変えた時の TLM を用いたロシア語・チェコ語文法誤り訂正の結果. small-En は表 3, 表 4 と同様の設定であり, large-En は英語の学習者データに Lang-8 の英語デー夕約 130 万文を追加した設定である.

もわかる. チェコ語を転移元としたモデルはこの中で唯一正しい訂正ができている。これは, チェコ語が持つ 7 つの格のうちの 6 つがロシア語と共通しており類似しているため, ロシア語の形容詞と名詞の格変化に関する誤り訂正に必要な文法知識が，チェコ語の学習者データから転移できているためであると考えられる.

## 5.4 転移元言語の学習者データサイズに対する分析

ここまでは文法誤り訂正においてエンコーダモデルの事前学習モデルと多言語の学習者デー 夕を用いることで，言語間で類似した文法知識の転移が可能であり，その際により近い言語を用いることで転移学習が効果的に行われることを示した。この節では転移元言語の学習者デー夕が増加した際にどのような影響が出るかについて分析を行う．転移元言語のデータサイズに関する分析を行うために，ロシア語とチェコ語の文法誤り訂正それぞれで，英語を転移元とする設定において英語の学習者データにLang-8コーパスも含めることでデータサイズを大きくして実験を行った．TLMを用いたモデルの各データサイズに対する結果の比較を表 8 に示す。結果を見ると，ロシア語とチェコ語でともに転移元の学習者データが増えたモデルの方が $\mathrm{F}_{0.5}$ スコアが高いことがわかる.これは転移元の言語の学習者データを増やすことで, 転移元の言語と転移先の言語の学習者データのバランスが変化するにもかかわらず転移学習の効果があり, さらに転移元言語のデータが少ない時に比べてより誤り訂正の性能は向上することを示している.

## 5.5 転移先言語の学習者データサイズに対する分析

この節では 5.4 節とは逆に転移先言語のデータが転移元言語よりも多い場合についての実験を行う，我々は，転移先言語のデータサイズによる転移学習への影響を調査するために，新たに英語の文法誤り訂正について 2 つのデータサイズの設定で実験を行った. 1 つ目の設定では NUCLEのみを訓練データとして用いる，すなわち，英語の訓練データの総文数は約 5 万 7 千文であり，この設定を “NUCLE only” と呼ぶ． 2 つ目の設定では NUCLE と英語の Lang-8 のデー 夕を訓練データとして用いる，すなわち，英語の訓練デー夕の総文数は約 130 万文 + 約 5 万 7 千文であり，この設定を“NUCLE + Lang-8-En”と呼ぶ.

表 9 英語の文法誤り訂正の結果. “NUCLE only” の設定の英語の学習者デー夕の文数は約 5 万 7 千文であり，“NUCLE + Lang-8-En”の設定の英語の学習者データの文数は約 130 万文 +5 万 7 千文で

表 9 に英語の文法誤り訂正の結果を示す. “NUCLE only” の設定では各モデルの結果はロシア語やチェコ語と似たような傾向となっており，(6)から (11)のMLM/TLM を用いて転移学習を行ったモデルの $\mathrm{F}_{0.5}$ スコアが (1) から (4) の MLM/TLM を用いていないモデルのスコアよりも高く, 最も英語に近いドイツ語からの転移を TLM を用いて行った (9) のモデルの $\mathrm{F}_{0.5}$ スコアが最も高いことがわかる。対して，“NUCLE + Lang-8-En”の設定では (6) から (11)の MLM/TLM を用いて転移学習を行ったモデルの $F_{0.5}$ スコアが (1) から (4) の MLM/TLM を用いなかったモデルよりは高いものの, (5) の英語のみで事前学習を行った MLM で初期化し英語の学習者データのみで文法誤り訂正の学習を行ったモデルの $\mathrm{F}_{0.5}$ スコアとはほとんど差がないことがわかる.

より詳細な分析を行うために，ロシア語の文法誤り訂正の際と同様に誤りタイプごとの訂正性能について調査した. 具体的には, grammatical ERRor ANnotation Toolkit (ERRANT) (Bryant et al. 2017) ${ }^{20}$ を用いて Lang-8 の英語データに誤りタイプを付与し, 頻度上位 5 件 (determiner, preposition, punctuation, verb, verb tense) と下位 5 件 (spelling, pronoun, verb form, morphology, subject-verb agreement) の誤りタイプについて各モデルの Recall を計算した. それぞれの設定に対する結果を表 10 と表 11 に示す.

表 10 に示す “NUCLE only” の設定に対する結果を見ると，ほとんどの誤りタイプで最も近い言語であるドイツ語から転移を行ったモデルが最も高い Recall を示していることがわかる。こ


 &  & DeEn &  & JaEn \\

表 10 評価データでの出現回数が 50 件以下である誤りタイプを除いたもののうち，Lang-8 の英語デー タ中の出現回数が上位 5 件と下位 5 件の誤りタイプに対する “NUCLE only” の設定の各文法誤り訂正モデルの Recall.（No-LM のモデルは事前学習モデルを用いていない表 9 の (1) のモデル, MLM のモデルは英語のみの MLM で初期化した表 9 の (5) のモデル，TLM のモデルはそれぞれ左から表 9 の (9), (10), (11)のモデルに対応している.)

 &  & DeEn &  & JaEn \\

表 11 評価データでの出現回数が 50 件以下である誤りタイプを除いたもののうち，Lang-8 の英語デー タ中の出現回数が上位 5 件と下位 5 件の誤りタイプに対する “NUCLE + Lang-8-En”の設定の各文法誤り訂正モデルの Recall.（各モデルと表 9 との対応は表 10 と同様である.)

れはロシア語やチェコ語の結果と同様に, 言語によらず転移元の言語と転移先の言語のデー夕サイズに大きな差がない場合は，言語間での転移学習により文法知識の転移が可能であり，特により近い言語の学習者データを用いることが有効であることを示している。

対して, 表 11 に示す “NUCLE + Lang-8-En”の設定の結果を見ると, 頻度上位 5 件の誤りタイプについてはどの言語から転移したモデルでも性能の向上は見られないことがわかる一方で，下位 5 件の誤りタイプについては少し異なる傾向が見られる。日本語から転移したモデルは pronoun, verb form, subject-verb agreement の誤りタイプについて単言語のデータを用いたモデルよりも性能が下がっており，これは日本語と英語の間でこれらの誤りに関しての類似点が存在しないためだと考えられる。対して, ドイツ語から転移したモデルは pronoun, morphology, subject-verb agreement という英語とドイツ語間で類似した誤りについてべースラインモデルよりも高い Recall を達成していることがわかる. このことから, 転移先の言語のデータサイズが転移元言語のデータサイズに比べて非常に大きい場合において，転移学習を用いることによる全体の訂正性能の改善は見られないが, 頻度が少なくかつ言語間で類似した誤りの知識については転移がなされていると考えられる。

## 5.6 疑似誤りデータによるデータ拡張との比較

この節では, 近年文法誤り訂正の学習において一般的なデータ拡張である疑似誤り生成と,本研究で扱っている他言語のデータを用いた言語間での転移学習について比較を行い, 文法知識が転移可能であることが既存手法と比較してどのような新しい効果をもたらすかについて， ロシア語とチェコ語の誤り訂正を例に議論を行う，現在疑似誤り生成の手法には Kiyono et al. (2019) で紹介されているように, 文法誤り訂正と同様に人手で訂正を施されたデータを用いて，通常の文法誤り訂正とは逆に誤りを生成するような学習を行う逆翻訳モデルを用いる手法 (BACKTRANS) と, 確率的に単語の順序の入れ替えなどの操作を行い文法的に正しい文に対して直接誤りを生成する手法 (DIRECTNOISE) の大きく 2 つが存在する。我々は今回比較する疑似誤り生成手法として, BACKTRANS の手法ではなく, DIRECTNOISEの手法の1つである, Zhao et al. (2019)の手法を用いた.これは, 今回比較の対象としているロシア語とチェコ語は英語とは異なり人手で訂正を施された学習者データが少なく, 実用上逆翻訳モデルの学習が難しいと考えられ, 加えて, ロシア語とチェコ語に対してDIRECTNOISEの手法を用いて性能向上を報告した先行研究 (Náplava and Straka 2019) が存在しているためである. 疑似誤りを生成するためのデータには，MLM/TLM と mBART を事前学習する際に用いた文を除いた News Crawl のデー 夕を用い, 最終的に生成された文数は, ロシア語が約 750 万文, チェコ語が約 550 万文となった.疑似誤りを用いた学習の際には，まず対象とする言語のラベルなしデータで事前学習を行った MLM で文法誤り訂正モデル初期化し, その後既存研究 (Kiyono et al. 2019; Grundkiewicz and Junczys-Dowmunt 2019; Grundkiewicz et al. 2019) に従い, 生成した疑似誤りデータで文法誤り

表 12 ロシア語文法誤り訂正における疑似誤り生成を用いたモデルと言語間転移学習を用いたモデルの比較。学習者データの列中の pseudo_Ruはロシア語の擬似誤りを示す.

表 13 チェコ語文法誤り訂正における疑似誤り生成を用いたモデルと言語間転移学習を用いたモデルの比較. 学習者データの列中の pseudo_Cs はチェコ語の擬似誤りを示す.

訂正の学習を行い，最後に人手で訂正を施された学習者データでファインチューニングを行うという手順で行った。

表 12 , 表 13 にロシア語とチェコ語の文法誤り訂正における，言語間での転移学習を用いたモデルと疑似誤りを用いたモデルとの比較結果を示す。結果を見ると，ロシア語・チェコ語ともに数百万文の疑似誤りデータを用いているにもかかわらず，データ量の少ない転移学習を用いたモデルのスコアの方が高いことがわかる。一方で Náplava and Straka (2019)は, Zhao et al. (2019) の疑似誤り生成手法を改善した Grundkiewicz et al. (2019)の手法を用いて，ロシア語とチェコ語の文法誤り訂正を行っており，疑似誤り生成に際して各言語に合わせたパラメータのチューニングや, ルールの追加による手法の改善, また, 疑似誤りデータでの事前学習後のファインチューニングの際に疑似誤りデータと学習者データを言語ごとに一定の比で組み合わせて学習する, などの誤り訂正の対象となる言語のデータに特化した調整を数多く行うことで，本研究の結果よりも大幅な性能の向上を報告している。これらの結果から, DIRECTNOISEによって生成された疑似誤りデータによる性能改善のためには，単にデー夕を増やすだけでなく，対象とする言語に合わせた調整が重要であると考えられる。このような言語固有の調整は, 文法
誤り訂正に関して詳しいだけでなく，対象とする言語に対しての知識も重要であり，顕著に性能を改善させるためには多くの労力が必要となる. また, BACKTRANSの手法については上述の通り，人手での訂正が施されたデータの少ない言語では用いることが難しい。対して, 本研究で示す他言語の学習者データを用いて転移学習を行うことで性能向上を図る手法は, 言語固有の調整は必要なく，より少ないデータで容易に性能向上が可能である.

加えて, ここまでは単純なデー夕拡張の手法の一つとしての本研究の意義について議論を行つてきたが，言語間での転移学習は疑似誤りによるデー夕拡張と対立する手法ではなく，例えば， Rothe et al. (2021)のようにより大きな疑似誤りデー夕による学習と組み合わせることも可能であり，その他のデータ拡張とともに用いることでの性能向上も考えられる．また，本研究で明らかにしている言語間での文法知識の転移は，言語間での類似度などを考慮したより性能の高い多言語文法誤り訂正モデルの学習や，データの全く存在しない言語や少ない言語に対しての類似した言語のデータを用いる zero-shot や few-shot での文法誤り訂正の研究など，今後の様々な研究の余地が残されており, デー夕拡張の手法以外の観点での発展も期待される.

## 6 おわりに

本研究では, 文法誤り訂正において言語間での転移学習により文法知識の転移が可能であるかを調査した，我々は文法誤り訂正モデルの学習に際し，まず事前学習モデルの学習を行い，その後事前学習モデルで初期化した文法誤り訂正モデルを転移元の言語の学習者データと転移先言語の学習者データを用いて学習し, 最後に転移先の言語の学習者データのみで fine-tuning を行うことで言語間での転移学習を行った。実験の結果, エンコーダのみの構造を用いた事前学習モデルと多言語の学習者デー夕を用いて言語間での転移学習が可能である，すなわち言語間で文法知識の転移が可能であることを明らかにし，より近い言語間を用いることで類似した文法項目の転移が行われることも示した。また，転移元の言語と転移先の言語の学習者データのサイズに関わらず，類似した言語間での共通した文法項目の転移は行われていることも併せて示した。一方で, エンコーダ・デコーダの構造の事前学習モデルを用いた実験では, 事前学習されたデコーダが多言語の学習者データを扱う際に悪影響を及ぼしている可能性を示した。この結果については様々な先行研究との関連が考えれるため今後の研究の余地があり, 事前学習されたデコーダの挙動についてはさらに詳細な分析を行っていきたい.

## 謝 辞

Lang-8 のデー夕使用にあたり，データを共有して頂きました株式会社 Lang-8 の喜洋洋様に感謝申し上げます。
本研究の一部は JSPS 科研費 19KK0286 の助成を受けたものです.

本論文の一部の内容は, The 28th International Conference on Computational Linguistics にて発表したものである (Yamashita et al. 2020).

## 参考文献

Ahmad, W., Li, H., Chang, K.-W., and Mehdad, Y. (2021). "Syntax-augmented Multilingual BERT for Cross-lingual Transfer." In Proceedings of ACL-IJCNLP, pp. 4538-4554.

Ahmad, W. U., Zhang, Z., Ma, X., Chang, K.-W., and Peng, N. (2019). "Cross-lingual Dependency Parsing with Unlabeled Auxiliary Languages." In Proceedings of CoNLL, pp. 372-382.

Awasthi, A., Sarawagi, S., Goyal, R., Ghosh, S., and Piratla, V. (2019). "Parallel Iterative Edit Models for Local Sequence Transduction." In Proceedings of EMNLP-IJCNLP, pp. $4260-4270$.

Boyd, A. (2018). "Using Wikipedia Edits in Low Resource Grammatical Error Correction." In Proceedings of $W$-NUT, pp. 79-84.

Bryant, C., Felice, M., and Briscoe, T. (2017). "Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction." In Proceedings of ACL, pp. 793-805.

Cettolo, M., Girardi, C., and Federico, M. (2012). "WIT": Web Inventory of Transcribed and Translated Talks." In Proceedings of EAMT, pp. 261-268.

Chollampatt, S., Hoang, D. T., and Ng, H. T. (2016). "Adapting Grammatical Error Correction Based on the Native Language of Writers with Neural Network Joint Models." In Proceedings of EMNLP, pp. 1901-1911.

Chollampatt, S. and Ng, H. T. (2018). "A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction." In Proceedings of AAAI, pp. 5755-5762.

Conneau, A. and Lample, G. (2019). "Cross-lingual Language Model Pretraining." In Proceedings of NeurIPS, pp. 7059-7069.

Cotterell, R. and Heigold, G. (2017). "Cross-lingual Character-Level Neural Morphological Tagging." In Proceedings of EMNLP, pp. 748-759.

Dabre, R., Chu, C., and Kunchukuttan, A. (2020). "A Comprehensive Survey of Multilingual Neural Machine Translation." ArXiv, abs/2001.01115.

Dabre, R., Fujita, A., and Chu, C. (2019). "Exploiting Multilingualism through Multistage FineTuning for Low-Resource Neural Machine Translation." In Proceedings of EMNLP-IJCNLP, pp. 1410-1416.

Dahlmeier, D. and Ng, H. T. (2012). "Better Evaluation for Grammatical Error Correction." In

Proceedings of NAACL-HLT, pp. 568-572.

Dahlmeier, D., Ng, H. T., and Wu, S. M. (2013). "Building a Large Annotated Corpus of Learner

English: The NUS Corpus of Learner English." In Proceedings of BEA, pp. 22-31.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of

Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Grundkiewicz, R. and Junczys-Dowmunt, M. (2019). "Minimally-Augmented Grammatical Error Correction." In Proceedings of $W$-NUT, pp. 357-363.

Grundkiewicz, R., Junczys-Dowmunt, M., and Heafield, K. (2019). "Neural Grammatical Error Correction Systems with Unsupervised Pre-training on Synthetic Data." In Proceedings of $B E A$, pp. 252-263.

Imankulova, A., Dabre, R., Fujita, A., and Imamura, K. (2019). "Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation." In Proceedings of MT Summit, pp. 128-139.

Ji, B., Zhang, Z., Duan, X., Zhang, M., Chen, B., and Luo, W. (2020). "Cross-Lingual PreTraining Based Transfer for Zero-Shot Neural Machine Translation." In Proceedings of the AAAI, pp. 115-122.

Johnson, M., Schuster, M., Le, Q. V., Krikun, M., Wu, Y., Chen, Z., Thorat, N., Viégas, F., Wattenberg, M., Corrado, G., Hughes, M., and Dean, J. (2017). "Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation." TACL, 5, pp. 339-351.

Junczys-Dowmunt, M., Grundkiewicz, R., Guha, S., and Heafield, K. (2018). "Approaching Neural Grammatical Error Correction as a Low-Resource Machine Translation Task." In Proceedings of the NAACL, pp. 595-606.

Kaneko, M., Mita, M., Kiyono, S., Suzuki, J., and Inui, K. (2020). "Encoder-decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction." In Proceedings of $A C L$, pp. 4248-4254.

Katsumata, S. and Komachi, M. (2020). "Stronger Baselines for Grammatical Error Correction Using a Pretrained Encoder-Decoder Model." In Proceedings of AACL, pp. 827-832.

Kim, J.-K., Kim, Y.-B., Sarikaya, R., and Fosler-Lussier, E. (2017). "Cross-Lingual Transfer Learning for POS Tagging without Cross-Lingual Resources." In Proceedings of EMNLP, pp. 2832-2838.

Kim, Y., Gao, Y., and Ney, H. (2019). "Effective Cross-lingual Transfer of Neural Machine Translation Models without Shared Vocabularies." In Proceedings of ACL, pp. 1246-1257. Kiyono, S., Suzuki, J., Mita, M., Mizumoto, T., and Inui, K. (2019). "An Empirical Study of

Incorporating Pseudo Data into Grammatical Error Correction." In Proceedings of EMNLPIJCNLP, pp. 1236-1242.

Kornblith, S., Norouzi, M., Lee, H., and Hinton, G. (2019). "Similarity of Neural Network Representations Revisited." In Proceedings of ICML, Vol. 97, pp. 3519-3529.

Lee, C.-H. and Lee, H.-y. (2019). "Cross-Lingual Transfer Learning for Question Answering." ArXiv, abs/1907.06042.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of $A C L$, pp. $7871-7880$.

Lichtarge, J., Alberti, C., and Kumar, S. (2020). "Data Weighted Training Strategies for Grammatical Error Correction." TACL, 8, pp. 634-646.

Lin, Z., Wu, L., Wang, M., and Li, L. (2021). "Learning Language Specific Sub-network for Multilingual Machine Translation." In Proceedings of ACL-IJCNLP, pp. 293-305.

Liu, Y., Gu, J., Goyal, N., Li, X., Edunov, S., Ghazvininejad, M., Lewis, M., and Zettlemoyer, L. (2020). "Multilingual Denoising Pre-training for Neural Machine Translation." TACL, 8, pp. 726-742.

Martínez-García, A., Badia, T., and Barnes, J. (2021). "Evaluating Morphological Typology in Zero-shot Cross-lingual Transfer." In Proceedings of ACL-IJCNLP, pp. 3136-3153.

Mizumoto, T., Komachi, M., Nagata, M., and Matsumoto, Y. (2011). "Mining Revision Log of Language Learning SNS for Automated Japanese Error Correction of Second Language Learners." In Proceedings of IJCNLP, pp. 147-155.

Náplava, J. and Straka, M. (2019). "Grammatical Error Correction in Low-Resource Scenarios." In Proceedings of $W$-NUT, pp. 346-356.

Ng, H. T., Wu, S. M., Wu, Y., Hadiwinoto, C., and Tetreault, J. (2013). "The CoNLL-2013 Shared Task on Grammatical Error Correction." In Proceedings of CoNLL, pp. 1-12.

Omelianchuk, K., Atrasevych, V., Chernodub, A., and Skurzhanskyi, O. (2020). "GECToR Grammatical Error Correction: Tag, Not Rewrite." In Proceedings of BEA, pp. 163-170.

Oyama, H., Komachi, M., and Matsumoto, Y. (2013). "Towards Automatic Error Type Classification of Japanese Language Learners' Writings." In Proceedings of PACLIC, pp. 163-172.

Pajak, K. and Pajak, D. (2022). "Multilingual Fine-tuning for Grammatical Error Correction." Expert Systems with Applications, 200. 116948.

Pan, X., Wang, M., Wu, L., and Li, L. (2021). "Contrastive Learning for Many-to-many Multilingual Neural Machine Translation." In Proceedings of ACL-IJCNLP, pp. 244-258.

Rothe, S., Mallinson, J., Malmi, E., Krause, S., and Severyn, A. (2021). "A Simple Recipe for Multilingual Grammatical Error Correction." In Proceedings of ACL, pp. 702-707.

Rothe, S., Narayan, S., and Severyn, A. (2020). "Leveraging Pre-trained Checkpoints for Sequence Generation Tasks." TACL, pp. 264-280.

Rozovskaya, A. and Roth, D. (2011). "Algorithm Selection and Model Adaptation for ESL Correction Tasks." In Proceedings of ACL, pp. 924-933.

Rozovskaya, A. and Roth, D. (2019). "Grammar Error Correction in Morphologically Rich Languages: The Case of Russian." TACL, 7, pp. 1-17.

Rozovskaya, A., Roth, D., and Sammons, M. (2017). "Adapting to Learner Errors with Minimal Supervision." $C L, 43$, pp. 723-760.

Ruder, S., Vulic, I., and Søgaard, A. (2019). "A Survey of Cross-lingual Word Embedding Models." JAIR, 65, pp. 569-630.

Schuster, S., Gupta, S., Shah, R., and Lewis, M. (2018). "Cross-lingual Transfer Learning for Multilingual Task Oriented Dialog." In Proceedings of NAACL-HLT, pp. 3795-3805.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of ACL, pp. 1715-1725.

Stahlberg, F. and Kumar, S. (2021). "Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models." In Proceedings of BEA, pp. 37-47.

Takahashi, Y., Katsumata, S., and Komachi, M. (2020). "Grammatical Error Correction Using Pseudo Learner Corpus Considering Learner's Error Tendency." In Proceedings of ACL$S R W$, pp. 27-32.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Proceedings of NIPS, pp. 5998-6008.

Wichmann, S., Holman, E. W., and Brown, C. H. (2020). "The ASJP Database (version 19)." Max Planck Institute for the Science of Human History.

Wu, S. and Dredze, M. (2019). "Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT." In Proceedings of EMNLP-IJCNLP, pp. 833-844.

Xie, Z., Genthial, G., Xie, S., Ng, A., and Jurafsky, D. (2018). "Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction." In Proceedings of NAACLHLT, pp. 619-628.

Xu, H. and Koehn, P. (2021). "Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation." In Proceedings of AdaptNLP, pp. 204-213.

Xue, L., Constant, N., Roberts, A., Kale, M., Al-Rfou, R., Siddhant, A., Barua, A., and Raffel, C. (2021). "mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer." In

Proceedings of NAACL, pp. 483-498.

Yamashita, I., Katsumata, S., Kaneko, M., Imankulova, A., and Komachi, M. (2020). "Crosslingual Transfer Learning for Grammatical Error Correction." In Proceedings of COLING, pp. 4704-4715.

Yang, J., Yin, Y., Ma, S., Huang, H., Zhang, D., Li, Z., and Wei, F. (2021). "Multilingual Agreement for Multilingual Neural Machine Translation." In Proceedings of ACL-IJCNLP, pp. 233-239.

Zhao, W., Wang, L., Shen, K., Jia, R., and Liu, J. (2019). "Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data." In Proceedings of NAACL, pp. 156-165.

Zhou, Y., Geng, X., Shen, T., Zhang, W., and Jiang, D. (2021). "Improving Zero-Shot Crosslingual Transfer for Multilingual Question Answering over Knowledge Graph." In Proceedings of NAACL-HLT, pp. 5822-5834.

Zoph, B., Yuret, D., May, J., and Knight, K. (2016). "Transfer Learning for Low-Resource Neural Machine Translation." In Proceedings of EMNLP, pp. 1568-1575.

## 付録

## A mBART で初期化したモデルの学習の推移

図 5 にチェコ語とロシア語で事前学習を行った mBART をロシア語文法誤り訂正のために fine-tuning 1 と fine-tuning 2 でそれぞれ 50 エポック続けて学習した際の訓練データと開発デー 夕に対する loss とパープレキシティを示す.まず, fine-tuning 1 の際の loss とパープレキシティの動きを見ると，最初の 10 エポック程度までにどちらも順調に下がり，その後は収束していることがわかる．これは学習しているモデルが事前学習されたモデルで初期化されていることと, 訓練デー夕の規模が小さいことが理由であり, 問題なく学習が行われていると思われる.次に, fine-tuning 2 の際の loss とパープレキシティの動きを見ると, 先ほどの fine-tuning 1 の際よりもさらに収束が早くなっていることがわかる。これは事前学習に加えて文法誤り訂正による学習がすでに一度行われていること, 加えて, fine-tuning 1 と比較して言語が一つに絞られたことでデータが少なくなり，夕スクの難易度も低下したことが原因だと考えられる。また， fine-tuning 2 の際の学習の収束の早さは MLM/TLM を用いたモデルでも同様の傾向が確認されており, これらの理由から fine-tuning 2 に関しても fine-tuning 1 と同様に問題なく学習が行われていると思われる。

図 $5 \mathrm{mBART} \mathrm{Cs \rightarrow Ru}$ の fine-tuning 1, fine-tuning 2 それぞれの学習時の loss とパープレキシティ (ppl はパープレキシティを示す).

## 略歴

山下郁海：2020 年首都大学東京 (現東京都立大学) システムデザイン学部システムデザイン学科情報通信システムコース卒業. 2022 年東京都立大学システムデザイン研究科情報科学域博士前期課程修了. 同年よりヤフー株式会社入社. 現在に至る.

金子正弘：2016 年北見工業大学工学部情報システム工学科卒業. 同年, 首都大学東京 (現東京都立大学) システムデザイン研究科博士前期課程に進学. 2018 年博士前期課程修了. 同年, 東京都立大学システムデザイン研究科博士後期課程に進学. 2019 年より日本学術振興会特別研究員 (DC2) を経て, 2021
年博士後期課程修了. 博士 (情報科学)。同年より東京工業大学情報理工学院研究員.

三田雅人：理化学研究所革新知能統合研究センター 自然言語理解チームテクニカルスタッフ。2016 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了。日本マイクロソフト株式会社のエンジニアを経て。2 2018 年より現職. 2021 年に東北大学大学院情報科学研究科博士後期課程を修了. 同年より, 東京都立大学特任助教を兼任．文法誤り訂正を中心とした自然言語処理による言語学習／教育支援に関心がある。言語処理学会, ACL 各会員.

勝又智：2018 年首都大学東京システムデザイン学部情報通信システムコー ス卒業. 2020 年同大学大学院システムデザイン研究科情報科学域博士前期課程修了. 同年株式会社レトリバ入社. 現在に至る．自然言語処理分野の研究に従事.

Imankulova Aizhan：2011 年サトバイエフカザフ国立工科大学オートメーションおよび制御学部卒業. 2014 年国際情報技術大学情報システム研究課博士前期課程卒業. 2017 年首都大学東京システムデザイン研究科研究生卒業. 同年,首都大学東京システムデザイン研究科博士後期課程に進学. 2021 年博士後期課程修了. 博士 (工学). 同年より株式会社 CogSmart 入社.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業.

2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年奈良先端科学技術大学院大学情報科学研究科修了. 博士 (工学). 同年より奈良先端科学技術大学院大学情報科学研究科助教を経て, 2013 年より首都大学東京 (現東京都立大学）システムデザイン学部准教授. 2022 年より同教授. 大規模なコー パスを用いた意味解析及び統計的自然言語処理に関心がある。言語処理学会 20 周年記念論文賞, 言語処理学会第 14 回年次大会最優秀発表賞, 情報処理学会平成 22 年度山下記念研究賞, 2010 年度本学会論文賞等を受賞. 情報処理学会, 言語処理学会, ACL 各会員.