テキストに対して編集のタグ付けを行う文法誤り訂正器であるGECToRは，出力の説明性が高い一方で訂正文の流暢性が低い問題がある．この問題の原因として，GECToRがタグの情報のみから最適化されており，推定した訂正文の情報を考慮できていないことが考えられる．本研究では，訂正文の流暢性を考慮してタグ推定の最適化を行うために，GPT-2言語モデルが与える文のperplexityを報酬とした強化学習を行なった．実験の結果，訂正性能を維持しつつ，訂正文の流暢性が系列変換モデルと同等もしくは上回ることを示した．

文法誤り訂正は，入力文に含まれる文法誤りや表記誤りを訂正するタスクである．近年では系列タグ付けモデルに基づいた，推論が高速で説明性が高いモデルが提案されている．同モデルでは，入力の各トークンについて編集操作を示すタグを推定し，タグに従って後処理として入力文を編集することで訂正文を獲得する．代表的なモデルであるGECToR[1]は，無編集・置換・挿入・削除を示す基本的なタグに加えて，「動詞を過去形に」といった言語情報を考慮したタグを推定する．従来の系列変換モデルに基づく訂正手法が訂正文を直接推定することと比較して，タグの情報が直接ユーザへのフィードバックとして使用できるため有用である．一方で，GECToRの訂正文は流暢性が低いことが問題である．詳細は2節で述べるが，系列変換モデルとの比較を行った結果，訂正性能が同等であるにもかかわらずGECToRの訂正文の流暢性は低いことが明らかになった．Sakaguchiら[2]によって流暢性の重要性が指摘されていることや，流暢性の低さはGECToRの実応用の幅を狭めることを考慮すり単語を赤字で，訂正文において訂正された単語を青字で示した．誤り文Bothofhyperparametersaﬀectsmoreconservativecorrectionforthemodel.最小限の訂正文(Minimaledit)Bothofthehyperparametersaﬀectmoreconservativecorrectionforthemodel.流暢な訂正文(Fluencyedit)Bothofthehyperparameterscausethemodeltobemoreconservativewhenmakingcorrections.ると，改善されることが望ましい．ここで，表1にNapolesら[3]に倣い流暢性の高い訂正例を挙げる．最小限の訂正では冠詞𝑡ℎ𝑒の挿入と，主語動詞の一致の訂正（aﬀects→aﬀect）が起こっている．一方，流暢な訂正では動詞の語彙選択に関する訂正（aﬀect→cause）と，それに伴う語順の入れ替えによって大きな書き換えが起こっている．本研究の大局的な目的は，後者のような流暢な訂正の性能向上である．本研究は，GECToRの流暢性が低い原因は，最適化がタグ情報のみから行われており，得られた訂正文の情報を考慮していないことにあるという仮説に基づいている．そこで，言語モデルの生成確率に基づいて流暢性の観点から訂正文の報酬を計算し，報酬を強化学習のアルゴリズムを用いてタグの最適化に反映する学習手法を提案する．