文法誤り訂正は，主に言語学習者の書いた文法的に誤っている文（入力文）を文法的に正しい文（訂正文）に編集するタスクである．自動評価はコストをかけずにシステムを定量評価できるため，信頼できる自動評価手法の構築は研究および開発の発展に有用である．自動評価は訂正システムの出力文を入力文や人手で訂正した文（参照文）などを用いて評価する．訂正の仕方は一つではなく複数の訂正が考えられるため，自動評価は難しいタスクである．文法誤り訂正の自動評価は，参照文を用いる手法\cite{Dahlmeier,gleu}と用いない手法\cite{Napoles,asano-ja}に大別できる．前者は，可能な参照文を網羅することが難しい\cite{bryant}ため，参照文に含まれない表現に対してはそれが適切な訂正であっても不当に低い評価を与えるという問題がある．後者にはこの問題がなく，特に\citeA{asano-ja}は文法性・流暢性・意味保存性の各自動評価モデルの評価を統合することで参照文を用いる自動評価手法よりも人手評価との高い相関を達成した．文法性は訂正文が文法的に正しいかという観点である．流暢性は訂正文が母語話者にとってどの程度自然な文かという観点であり，文法性と区別されて重要性が示されている\cite{sakaguchi}．意味保存性は入力文と訂正文がどの程度意味が同じであるかという観点であり，文法的な文でも入力文と意味が異なる訂正は不適切なため重要な観点である．このように3項目で評価を行うことは，自動評価の解釈性を高めることができるため重要である．しかし，これらの各自動評価モデルは訂正文に対する各項目の人手評価に対してそれぞれ最適化されておらず，改善の余地がある．本研究では，人手評価との相関が高く，多様な訂正を正しく評価できる自動評価手法を構築するために，\citeA{asano-ja}の拡張として，文法性・流暢性・意味保存性の各自動評価モデルを各項目の人手評価に対して直接最適化する手法を提案する．具体的には，各項目の評価モデルとして，少量のデータで目的タスクに最適化できる事前学習された文符号化器BidirectionalEncoderRepresentationsfromTransformers(BERT)\cite{bert}を用い，各項目の人手評価値付きデータセットで再学習することで各評価モデルを最適化する．また，学習者が書いた文や機械翻訳の逆翻訳による擬似誤り文に対して，文法性や流暢性の評価値が付与された既存のデータは存在するが，文法誤り訂正の自動評価のために理想的な設定である，訂正文に対する各項目の人手評価値付きデータセットは存在しない．そのため，我々はクラウドソーシングを用いて，代表的な5種類の文法誤り訂正システムの訂正文に対して文法性・流暢性・意味保存性の人手評価を付与し，データセットを作成する．実験では，人手評価との相関およびMAEGE\cite{MAEGE}によって自動評価手法をメタ評価する．実験の結果，両方のメタ評価において我々の自動評価手法が従来の自動評価手法よりも適切な評価ができることを示した．また，各項目に対応する既存のデータセットを用いて訓練した自動評価モデルとの比較から，システムの訂正文に対する人手評価を用いてBERTを再学習することの有効性が明らかになった．分析の結果，参照文を用いない手法が多くのエラータイプの訂正を正しく評価できていないのに対して，提案手法は全てのエラータイプの訂正を正しく評価できていることがわかった．本研究の主な貢献は以下の4つである．\begin{itemize}\item文法誤り訂正の自動評価において，事前学習された文符号化器を用いて人手評価に直接最適化する手法を提案した．\item文法誤り訂正における自動評価手法の学習のための，訂正システムの訂正文に対して文法性・流暢性・意味保存性の3項目の評価値を付与したデータセットを作成した\footnote{\url{https://github.com/tmu-nlp/TMU-GFM-Dataset}}．\item人手評価との相関に基づくメタ評価およびMAEGEによるメタ評価の結果，提案手法は既存手法よりも適切な評価が行えていることを示した．\item分析の結果，従来手法に比べて，提案手法は調査可能な全てのエラータイプの訂正を正しく評価できていることを示した．\end{itemize}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%