文法誤り訂正は言語学習者の書いた文法誤りを含む文を文法的に正しい文に訂正するタスクである．これまで文法誤り訂正では主に大規模なデータが存在する英語に焦点を当てて研究が行われており，数多くの有効な手法が提案されている\cite{zhaoetal2019improving,grundkiewiczetal2019neural,kiyonoetal2019empirical,Kaneko2020GEC,omelianchuk-etal-2020-gector,stahlberg-kumar-2021-synthetic}．近年，英語以外のロシア語やチェコ語などの言語においても文法誤り訂正の研究が行われ始めている\cite{rozovskayaroth2019grammar,naplavastraka2019grammatical,katsumata-komachi-2020-stronger,rothe-etal-2021-simple}．しかし，これらの言語の文法誤り訂正モデルを訓練するための人手で訂正を施した学習者データは小規模でしか存在しないという問題がある．小規模なデータしか存在しない問題に対処するために，様々なタスクで多言語のデータを活用する研究が進められている\cite{johnsonetal2017googles,Ruder2019ASO,Dabre2020}．そのような研究の一つに，対象とする言語のモデルの性能向上のために他言語のデータで学習したモデルの知識を用いる転移学習が存在する\cite{zophetal2016transfer}．先行研究においては，このような言語間での転移学習の性能について，言語間での類似度が大きく影響していることが示されている\cite{cotterellheigold2017cross,johnsonetal2017googles,martinez-garcia-etal-2021-evaluating}．例えば，同じ語族に属する言語は類似した文法規則や語彙を共有していることが多く，これらの言語間での類似性が対象となる言語のモデルを学習する際に有効だと考えられている．一方で，これまで文法誤り訂正において多言語の学習者データを用いて言語間での転移学習を試みた研究は少なく，格変化や単語の活用などのような文法誤りに関する知識が言語間で転移可能であるかは明らかになっていない．しかし，ある程度類似した言語，例えば同じ語族に属する言語であるロシア語やチェコ語のような言語間では文法的な正誤が転移可能なのではないかと考えられる．表\ref{tab:example}に示すのは「妹」を示す単語の日本語，ロシア語，チェコ語での格変化の一部である．日本語では主格と属格の変化を単語の変化ではなく，別に助詞を用いることで行っているのに対し，ロシア語とチェコ語は単語の活用で行っていることがわかる．この例はロシア語とチェコ語の格変化の類似性を示しており，このような言語間の類似した文法規則については言語間で転移させることが可能なのではないかと考えられる．そこで我々は，文法誤り訂正において事前学習モデルと多言語の学習者データを用いて，言語間での転移学習を行い，言語間での文法知識の転移が可能であるかを調査する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{02table01.tex}\caption{チェコ語とロシア語で類似した格変化．}\label{tab:example}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究の主な貢献は以下の4つである．\begin{itemize}\item文法誤り訂正において事前学習モデルと多言語の学習者データを用い，言語間での転移学習が可能であることを示した．\item転移学習に用いる事前学習モデルの構造が，多言語の学習者データを用いた文法誤り訂正の学習に大きく影響していることを示した．\item文法知識の転移には対象とする言語に近い言語の方が有効であり，言語間で類似した文法項目に関する知識の転移が行われていることを示した．\item言語間で類似した文法項目に関する知識の転移は転移元・転移先の言語のデータのサイズに関わらず起こることを示した．\end{itemize}本稿の構成を示す．2章では，既存の文法誤り訂正の研究や多言語の言語知識を考慮した先行研究について紹介する．3章では，本研究で行う言語間での転移学習を用いた文法誤り訂正の手法についての詳細を述べる．4章では，3章で述べた手法に対して複数の言語間で実験を行い評価する．5章では実験結果について事前学習モデルの構造や誤りタイプごとの訂正性能についての分析，疑似誤りデータによるデータ拡張との比較を行う．最後に6章で，本研究のまとめを述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%