文法誤り訂正は言語学習者の書いた文法的に誤りを含んだ文を文法的に正しい文へと訂正を行うタスクであり，第二言語学習者の作文支援システムとして有用である．文法的に誤りを含んだ文に対して訂正を行う際，訂正結果は複数存在することがある．例えば，\citeA{bryant-ng-2015-far}は，文法的に誤りを含んだ文に対して10人のアノテータがそれぞれ異なる有効な訂正手法を提案する場合があることを示した．この10人のアノテータに対して，明示的に異なる訂正文の作成を行わせていないが，実際に，訂正した文におけるアノテータ間の一致率は約16\%であった．表\ref{table:example}に\citeA{bryant-ng-2015-far}により作成された複数訂正文の例の一部を示す．\textbf{太字}は原文から訂正が行われた箇所を示している．1文から複数の訂正文が提案されているが，いずれも原文において誤りのある箇所のみにおいて多様な訂正が行われている．この様に，様々な訂正結果が存在するため，文法誤り訂正モデルが複数の訂正結果を提示することで，言語学習者は訂正結果を反映するかどうかの判断や，複数の訂正結果の中から好みの表現を選択することが可能になる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{05table01.tex}\caption{BryantandNg(2015)により作成された1文に対する複数の訂正文の例}\label{table:example}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%一般に，文法誤り訂正は文法的に誤りを含んだ文から文法的に正しい文への機械翻訳タスクとして捉えられ，近年，ニューラルネットワークを用いた機械翻訳モデルが文法誤り訂正モデルとして用いられることが多い．実際に，機械翻訳モデルを文法誤り訂正モデルに適応することにより，文法誤り訂正タスクにおいても有効な結果を示している\cite{chollampatt2018mlconv,junczys-dowmunt-etal-2018-approaching,zhao-etal-2019-improving,kiyono-etal-2019-empirical,kaneko-etal-2020-encoder}．しかしながら，既存の文法誤り訂正モデルは1つの入力文に対して1つの有効な出力文の生成を目指しており，複数の訂正結果の生成を考慮していない．そこで我々は，文法誤り訂正において多様な出力を生成するという新たなタスクに取り組み，訂正度を制御可能な文法誤り訂正モデルを用いた手法を提案する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{28-2ia5f1.pdf}\end{center}\caption{1文中の単語編集率のヒストグラム}\label{fig:wer}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%訂正を行う際，必要最低限の書き換えのみ行うか，もしくは，より多くの書き換えを行うかという違いにより，訂正文に多様さが生じる．文法誤り訂正タスクにおいて訓練データとして一般的に使用されるLang-8\cite{2013B-C76}，評価データとして使用されるCoNLL-2014\cite{ng-etal-2014-conll}やJFLEG\cite{napoles-etal-2017-jfleg}では，1文中における訂正の量という意味での訂正度が異なることが知られている．また，\citeA{sakaguchi-etal-2016-reassessing}は，専門性の異なるアノテータにおいて，必要最小限の書き換えと流暢性を求めた書き換えの2種類の訂正をそれぞれ行うことで，多様な訂正文を作成し，それらの一致率は流暢な訂正において約15\%以下，最小限な訂正においても約38\%以下であったと報告している．つまり，1つの誤り文に対しても複数の訂正度を用いて訂正が行われるということである．しかし，既存の文法誤り訂正モデルは学習した単一の訂正度でのみ訂正を行っており，それらの異なる訂正度で訂正を行う手法の研究は行われていない．そこで本研究では，訂正度を制御可能な文法誤り訂正モデルを提案し，1つの入力文に対して複数の訂正度での訂正文を生成することで，多様な訂正文の生成を行う．手法としては，まず，文法誤りが訂正されているデータ内において，1文ごとの訂正度の情報を特殊トークンとして文に付与し，新たな訓練データを作成する．ここで，訂正度を表す指標として単語編集率を用いる．単語編集率とは文中の単語がどれだけ書き換えられたのかを表す指標であるため，文法的誤りを含んだ文と，その誤りを訂正した文の単語編集率は，文の訂正度を表していると言える．CoNLL-2014とJFLEGでは，JFLEGの方が訂正度が大きいことが知られており，実際に，図\ref{fig:wer}に示すグラフからも，CoNLL-2014よりもJFLEGの方が単語編集率が大きいため，単語編集率が訂正度を示していることが確認できる．そして，新たに作成した訓練データを用いて文法誤り訂正モデルの学習を行い，推論時には，入力文に複数の訂正度の特殊トークンを付与することで，付与した単語編集率に基づきモデルの訂正度を制御する．結果として，1つの入力文に対して1つの訂正度ではなく，複数の訂正度を用いて訂正を行うことが可能となり，多様な訂正文を得ることができる．我々は，さらに出力を多様化する手法として，誤り箇所を考慮したビームサーチ手法を提案する．文法誤り訂正において，複数の訂正結果を生成する手法としてはビームサーチを用いて$n$-bestを生成する方法が存在する\cite{grundkiewicz-etal-2019-neural,kaneko-etal-2020-encoder}．しかし，これらの研究では，1つの適切な訂正文の出力の探索のためにビームサーチを利用しており，多様な訂正結果の出力を目的としていない．さらに，通常のビームサーチを用いた$n$-best出力は多様性に欠けることが示されている\cite{DBS}．そのため，機械翻訳の分野などにおいて，多様な候補を生成するために，出力を多様にする制約を加えたいくつかの多様なビームサーチ手法が提案されている\cite{DBLP:journals/corr/LiMJ16,DBS}．これらの多様なビームサーチ手法は，文中の全てのトークンに対して様々な書き換えを行うことで，複数の出力文に多様性をもたらしている．一方で，入力文と出力文の大部分が共通しているようなタスクにおいては，これらの手法は適していないと考えられる．特に，文法誤り訂正においては，入力文の文法的に正しい部分に対しても書き換えが行われてしまうため，この様な入力文の全体に対して書き換えを行う手法は好ましくない．そのため，文法誤り訂正モデルは，入力文中の文法的に正しい部分は書き換えずに，誤りを含む部分に対してのみ様々な方法で訂正を行うことが望まれる．そこで本研究では，誤り箇所を考慮したビームサーチ手法を提案する．図\ref{fig:overview}は既存手法と提案手法との比較を図示したものである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{28-2ia5f2.pdf}\end{center}\hangcaption{既存のビームサーチ手法と提案手法を比較した概要図．赤字の単語は誤りであることを，太字の単語は訂正が行われたことを示している．}\label{fig:overview}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\renewcommand{\theenumi}{\alph{enumi}}\begin{enumerate}\item通常のビームサーチ(Plainbeamsearch)では，訂正が特定のパスに集中しているため多様性がなく，類似した単語の組み合わせで文を生成している．\item既存手法の多様なビームサーチ(Diverseglobalbeamsearch)は，様々なパスを探索している．したがって，通常のビームサーチとは異なり，この方法では様々な単語の組み合わせで文が生成されるため，多様な出力を得ることができる．ただし，訂正する必要のない単語においても書き換えを行った出力も生成されてしまう．\item提案手法である誤り箇所を考慮したビームサーチ(Diverselocalbeamsearch)では，訂正が必要な単語に対してのみ様々なパスの探索を行う．それゆえ，我々の提案手法では，訂正が必要な箇所でのみ，通常のビームサーチよりも多様な単語を組み合わせた文の生成を行う．\end{enumerate}ここで，上記の手法は全て同じビーム幅であるが，パスが異なることに注意されたい．実験の結果，訂正度を制御可能な文法誤り訂正モデルを用いることで既存手法よりも多様な訂正結果を生成することが可能となり，誤り箇所を考慮したビームサーチと組み合わせることで，更に多様化可能であることを示した．本研究の主な貢献は以下の4つである．\begin{itemize}\item単語編集率により文法誤り訂正モデルの訂正度が制御可能なことを示した．\item既存の多様な文を生成する手法が文法誤り訂正においては適切な多様性をもたらさないことを示した．\item訂正度を制御した文法誤り訂正モデルの出力を用いることで多様な出力が得られることを示した．\item誤り箇所を考慮したビームサーチを提案し，訂正度を制御した文法誤り訂正モデルと組み合わせることで既存手法よりも適切に出力文に多様性をもたらすことを示した．\end{itemize}本稿の構成を示す．2章では，既存の出力文の制御や多様化の先行研究について紹介する．3章では，訂正度を制御した文法誤り訂正モデルを提案する．4章では，誤り箇所を考慮したビームサーチを提案する．5章では，BERTを用いた文分類を提案する．6章では，複数の人手による訂正文が付与されている評価データを用いて提案手法を評価する．7章では，提案モデルについて分析する．最後に8章で，本研究のまとめを述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%