\section{はじめに}
文法誤り訂正は，主に言語学習者の書いた文法的に誤っている文（入力文）を文法的に正しい文（訂正文）に編集するタスクである．自動評価はコストをかけずにシステムを定量評価できるため，信頼できる自動評価手法の構築は研究および開発の発展に有用である．自動評価は訂正システムの出力文を入力文や人手で訂正した文（参照文）などを用いて評価する．訂正の仕方は一つではなく複数の訂正が考えられるため，自動評価は難しいタスクである．文法誤り訂正の自動評価は，参照文を用いる手法\cite{Dahlmeier,gleu}と用いない手法\cite{Napoles,asano-ja}に大別できる．前者は，可能な参照文を網羅することが難しい\cite{bryant}ため，参照文に含まれない表現に対してはそれが適切な訂正であっても不当に低い評価を与えるという問題がある．後者にはこの問題がなく，特に\citeA{asano-ja}は文法性・流暢性・意味保存性の各自動評価モデルの評価を統合することで参照文を用いる自動評価手法よりも人手評価との高い相関を達成した．文法性は訂正文が文法的に正しいかという観点である．流暢性は訂正文が母語話者にとってどの程度自然な文かという観点であり，文法性と区別されて重要性が示されている\cite{sakaguchi}．意味保存性は入力文と訂正文がどの程度意味が同じであるかという観点であり，文法的な文でも入力文と意味が異なる訂正は不適切なため重要な観点である．このように3項目で評価を行うことは，自動評価の解釈性を高めることができるため重要である．しかし，これらの各自動評価モデルは訂正文に対する各項目の人手評価に対してそれぞれ最適化されておらず，改善の余地がある．本研究では，人手評価との相関が高く，多様な訂正を正しく評価できる自動評価手法を構築するために，\citeA{asano-ja}の拡張として，文法性・流暢性・意味保存性の各自動評価モデルを各項目の人手評価に対して直接最適化する手法を提案する．具体的には，各項目の評価モデルとして，少量のデータで目的タスクに最適化できる事前学習された文符号化器BidirectionalEncoderRepresentationsfromTransformers(BERT)\cite{bert}を用い，各項目の人手評価値付きデータセットで再学習することで各評価モデルを最適化する．また，学習者が書いた文や機械翻訳の逆翻訳による擬似誤り文に対して，文法性や流暢性の評価値が付与された既存のデータは存在するが，文法誤り訂正の自動評価のために理想的な設定である，訂正文に対する各項目の人手評価値付きデータセットは存在しない．そのため，我々はクラウドソーシングを用いて，代表的な5種類の文法誤り訂正システムの訂正文に対して文法性・流暢性・意味保存性の人手評価を付与し，データセットを作成する．実験では，人手評価との相関およびMAEGE\cite{MAEGE}によって自動評価手法をメタ評価する．実験の結果，両方のメタ評価において我々の自動評価手法が従来の自動評価手法よりも適切な評価ができることを示した．また，各項目に対応する既存のデータセットを用いて訓練した自動評価モデルとの比較から，システムの訂正文に対する人手評価を用いてBERTを再学習することの有効性が明らかになった．分析の結果，参照文を用いない手法が多くのエラータイプの訂正を正しく評価できていないのに対して，提案手法は全てのエラータイプの訂正を正しく評価できていることがわかった．本研究の主な貢献は以下の4つである．\begin{itemize}\item文法誤り訂正の自動評価において，事前学習された文符号化器を用いて人手評価に直接最適化する手法を提案した．\item文法誤り訂正における自動評価手法の学習のための，訂正システムの訂正文に対して文法性・流暢性・意味保存性の3項目の評価値を付与したデータセットを作成した\footnote{\url{https://github.com/tmu-nlp/TMU-GFM-Dataset}}．\item人手評価との相関に基づくメタ評価およびMAEGEによるメタ評価の結果，提案手法は既存手法よりも適切な評価が行えていることを示した．\item分析の結果，従来手法に比べて，提案手法は調査可能な全てのエラータイプの訂正を正しく評価できていることを示した．\end{itemize}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{文法誤り訂正の自動評価手法}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{参照文を用いる手法}\label{sec:reference-basedmetric}初期の研究\cite{dale}では，訂正した単語単位の編集に対して適合率・再現率・F値を評価していた．\citeA{Dahlmeier}はフレーズ単位で，適合率，再現率および適合率を重視するF値(${\rmF_{0.5}}$)の3つの値を評価するMaxMatch(${\rmM^2}$)を提案し，より正確な自動評価が可能となった．\citeA{imeasure}は悪い訂正と訂正を行わない場合の評価値がどちらも0になるなどの${\rmM^2}$の問題点に対処するI-measureを提案した．I-measureは単語レベルのアライメントに基づく重み付き精度によって計算され，入力文が悪化すると負の値，改善すると正の値となる．\citeA{gleu}は機械翻訳の自動評価で使われるBLEU\cite{bleu}を文法誤り訂正のために改善したGLEUを提案した．BLEUは訂正文と参照文を用いるが，GLEUは訂正文と参照文に加えて入力文も考慮する．\citeA{Napoles}の調査によると，参照文を用いる手法の中では，GLEUが人手評価との最高の相関を持つ．これらの評価指標は参照文を必要とするため，参照文が全ての正しい文を網羅できない問題に対処できない．しかし，可能な参照文を網羅することは現実的ではない\cite{bryant}ため，近年は参照文を用いない自動評価手法が注目されている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{参照文を用いない手法}\citeA{Napoles}は参照文を用いない文法誤り訂正の自動評価手法を初めて提案した．文法誤り検出ツールに基づく手法と言語モデルなどの言語学的素性に基づく手法が提案され，前者がGLEUと同等の性能を持つことが示された．既存の文法誤り検出ツールであるe-rater\textregisteredやlanguage-toolを用いた手法と，\citeA{Heilman}のミススペリング数や言語モデルの評価値や未知語の数などの言語学的素性を用いた手法で実験を行い，e-rater\textregistered{}を用いた手法がGLEUとほぼ同等の性能であることを示した．\citeA{asano-ja}は文法性・流暢性・意味保存性の3つの自動評価モデルに基づく，参照文を用いない自動評価手法を提案し，人手評価との最高の相関を達成した．文法性はGUGデータセット\cite{Heilman}で訓練したロジスティック回帰，流暢性はRNN言語モデル，意味保存性はMETEOR\cite{meteor}を用いて評価し，各評価値の重み付き和を最終的な評価とした．各評価値の重みはJFLEGデータセット\cite{jfleg}を用いてチューニングし，システムレベル・文レベルで\citeA{Grundkiewicz}の評価データを用いてメタ評価している．\citeA{asano-ja}の流暢性と意味保存性の自動評価モデルは人手評価に対して最適化されておらず，特に意味保存性は人手評価との相関が低い．本研究では\citeA{asano-ja}の拡張として，文法性・流暢性・意味保存性の各自動評価モデルを各項目の人手評価に対して最適化する．各項目の評価モデルを人手評価に最適化した効果を検証するために，最終的な評価値の計算方法や設定は\citeA{asano-ja}と同様に実験する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{各項目の評価モデルの学習に使用できる既存のデータセット}\label{sec:existingdata}文法性に関しては，\citeA{asano-ja}が文法性に関する自動評価モデルを訓練するために使用している，GUGデータセット\footnote{\url{https://github.com/EducationalTestingService/gug-data}}\cite{Heilman}がある．GUGデータセットは，学習者の書いた文に対して文法性の人手評価が付与されている．流暢性に関しては，BritishNationalCorpusおよびWikipediaの英文をGoogle翻訳で折り返し翻訳した疑似誤り文に対して流暢性(Acceptability)の人手評価が付与されたデータセット\footnote{\url{https://clasp.gu.se/about/people/shalom-lappin/smog/experiments-and-datasets}}\cite{Lau}が公開されている．文法性，流暢性に関しては上述のデータセットが存在するが，意味保存性に関しては，誤り文を含む文対に対して人手評価が付与されたデータセットは存在しない．これらのデータセットは，学習者が書いた文や機械翻訳が生成した文に対して人手評価を付与している．本研究では，これらのテキストは文法誤り訂正システムの訂正文とは異なる性質を持つと考え，実際の訂正文に対して文法性・流暢性・意味保存性の自動評価を新たに収集し，自動評価モデルを訓練する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{自動評価手法の評価}自動評価手法の評価（メタ評価）は，人手評価と高い相関を持つ自動評価ができることを検証するのが最も直観的であり\cite{banerjee}，一般的には人手評価との相関係数を用いて評価される．実際，機械翻訳の自動評価手法のSharedtaskであるWMT2019MetricsSharedTask\cite{WMT2019}では，複数の翻訳システムの出力文に対する人手評価と自動評価の相関を用いて，システムレベルと文レベルでのメタ評価を行っている．文法誤り訂正における自動評価手法のメタ評価では，複数の訂正システムに対する人手のランキングとの相関を測るメタ評価が行われている\cite{Grundkiewicz,sakaguchi,Napoles,asano-ja}．\citeA{asano-ja}はシステムレベルのメタ評価だけでなく文レベルでのメタ評価も行っている．本研究でも同様に，システムレベルと文レベルの両方のメタ評価を行う．\citeA{MAEGE}は人手のランキングを用いるメタ評価とは別に，人手の訂正から構築した束に基づく文法誤り訂正のメタ評価手法(MAEGE)を提案した．人手の訂正を用いることで，人手のランキングを用いるメタ評価の評価者間および評価者内の一致が低い問題に対処している．さらに，人手のランキングに依存することによる一部の有効なエラータイプの訂正を適切に評価できない問題に対して，人手による訂正から構築した束全体を評価に用いることで対処している．本研究ではより適切なメタ評価のため，人手評価との相関だけでなく，人手の訂正に基づくMAEGEによるメタ評価も行う．人手評価との相関によるメタ評価の詳細を\ref{sec:humancorrelation}節に，MAEGEによるメタ評価の詳細を\ref{sec:MAEGE}節に示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法:事前学習された文符号器を用いた自動評価モデル}
\label{sec:method}文法性・流暢性・意味保存性の人手評価値付きデータセットを用いて，各項目の評価モデルを最適化する．各項目の評価モデルに，訂正文あるいは入力文と訂正文の対から人手評価値を推定する回帰モデルとして，事前学習された文符号化器であるBERT\cite{bert}を用いることを提案する．BERTはそれまでの単方向でしか学習していなかった事前学習モデルとは異なり，入力文の一部をマスクしマスクされた単語を当てるように学習を行うことで，双方向での学習が可能となり，文全体を考慮した表現を獲得することができる．事前学習済みのBERTは，対象タスクに適した出力層に変更し，モデル全体を少量のデータセットで再学習させることで様々な自然言語処理タスクで高精度の予測を行うことができる．文法性・流暢性・意味保存性の項目ごとにBERTの再学習を行い，各項目の人手評価に最適化した自動評価モデルを構築する．再学習には各項目の人手評価値が付与されたデータセットを用いる．ただし，図\ref{fig:overview}に示すように，文法性および流暢性については訂正文のみから人手評価を推定し，意味保存性については入力文と訂正文の対から人手評価を推定する．再学習時には回帰モデルの学習と同時に文符号化器の学習も行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{28-2ia4f1.pdf}\end{center}\caption{評価手法の全体像（$\alpha,\beta,\gamma$は各評価値の重み）}\label{fig:overview}\vspace{-0.5\Cvs}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%訂正文の最終的な評価は，\citeA{asano-ja}と同様に各項目の評価値の線形和で求める．\begin{equation}\label{eq:1}\rm{Score}=\alpha\cdot\rm{Score_G}+\beta\cdot\rm{Score_F}+\gamma\cdot\rm{Score_M}.\end{equation}ここで，$\rm{Score_G}$，$\rm{Score_F}$，$\rm{Score_M}$はそれぞれ文法性，流暢性，意味保存性の評価値であり，各評価値は0から1になるように正規化を行う．重み$\alpha,\beta,\gamma$は$\alpha+\beta+\gamma=1$であり，いずれも負の値を取らない．各重みの決め方については\ref{sec:exp}節で説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{訂正文に対する人手評価値付きデータセットの構築}
\label{sec:createdata}文法誤り訂正の自動評価に理想的なデータで自動評価モデルの学習を行うために，訂正システムの訂正文に対して各項目の人手評価が付与されたデータセットを構築する．文法誤り訂正の検証用に一般的に利用されているCoNLL~2013\footnote{\url{https://www.comp.nus.edu.sg/~nlp/conll13st.html}}のテストデータである1,381文を複数の訂正システムで訂正した訂正文に対して，文法性・流暢性・意味保存性の人手評価を収集する\footnote{一般的に文法誤り訂正の評価に用いられているCoNLL~2014やJFLEGを自動評価モデルの学習データとして使用するのは不適切なため使用は避けた．}．CoNLL~2013のテストデータは，英語を母語としないシンガポール国立大学の学生25名によって書かれたエッセイをもとに作られている．監視技術と高齢化についての2つのトピックについて書かれており，学生の習熟度は比較的高い．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{訂正文生成のための文法誤り訂正システム}多様な訂正文に対して人手評価を収集するために，各入力文を代表的な以下の4種類の文法誤り訂正システムおよびシステムの学習時\footnote{2019年7月時点．}に公開されている中で最高性能のシステム\cite{copy}によって訂正し，アノテーションを実施する．\noindent\textbf{SMT}:統計的機械翻訳(StatisticalMachineTranslation)に基づくモデル．\citeA{smt}の実装\footnote{\url{https://github.com/grammatical/baselines-emnlp2016/tree/master/train-2018}}を用いた．言語モデルおよび単語クラス言語モデルの訓練には，公開されているデータ\footnote{\url{http://data.statmt.org/romang/gec-emnlp16/sim/}}のうちpart00からpart02までの30億文を用いた．KenLM\footnote{\url{https://kheafield.com/code/kenlm/}}\cite{kenlm}を用いて言語モデルの学習を行った．単語クラスの学習にはWord2Vec\cite{word2vec}を用いた．\noindent\textbf{RNN}:RecurrentNeuralNetworkに基づく系列変換モデル．実装にはfairseq\footnote{\url{https://github.com/pytorch/fairseq}}\cite{fairseq}を用いた．4層のBi-directionalLSTMを用い，単語埋め込みの次元数は512，バッチサイズは32とし，その他の設定は\citeA{luong}に従った．\noindent\textbf{CNN}:ConvolutionalNeuralNetworkに基づく系列変換モデル．実装にはfairseq$^{10}$\cite{fairseq}を用いた．符号化器および復号器の次元数は512とし，その他の設定は\citeA{cnn}に従った．\noindent\textbf{SAN}:Self-AttentionNetworkに基づく系列変換モデル．実装にはfairseq$^{10}$\cite{fairseq}を用いた．設定は\citeA{san}に従った．\noindent\textbf{SAN+Copy}:文法誤り訂正の入力文の単語が訂正されない割合が高いという性質を考慮して，訂正する必要がない部分は入力文から単語を直接コピーして出力できるようなコピー機構をSANに追加したモデル．データセットの作成時に公開されているモデルの中で最高性能のモデルであった．\citeA{copy}の実装\footnote{\url{https://github.com/zhawe01/fairseq-gec}}を用いた．各モデルの訓練のために，SAN+Copyは著者らが公開している訓練用データ$^{11}$(Lang-8,NUCLE,FCE)を，その他のモデルは\citeA{bea}の訓練用データ\footnote{\url{https://www.cl.cam.ac.uk/research/nl/bea2019st/#data}}(Lang-8,NUCLE,FCE,W\&I)を用いた．ただし，100トークン以上の文を削除した後に，BytePairEncoding\footnote{\url{https://github.com/rsennrich/subword-nmt}}\cite{bpe}を用い，結合回数を30,000として単語のサブワード化を行った．各モデルをCoNLL~2013のデータで2分割交差検証によって評価した結果および類似の設定で実験を行っている先行研究の結果の比較を表\ref{system_result}に示す．ただし，先行研究は2分割交差検証ではなく，NUCLEデータの一部を検証データとしてCoNLL~2013の評価を行っている．先行研究の報告と同等の性能を確認できたので，2分割交差検証のテストデータに対する訂正文に人手評価を付与する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{04table01.tex}\caption{CoNLL~2013における各システムの$\rmF_{0.5}$値}\label{system_result}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{訂正文に対する文法性・流暢性・意味保存性のアノテーション}CoNLL2013の1,381文を前節の各システムで訂正し，重複する訂正文を除いた合計4,223文に対して文法性・流暢性・意味保存性の人手評価値を付与する．文法性および流暢性は訂正文のみで評価を行い，意味保存性は入力文と訂正文から評価を行うようにした．\noindent\textbf{文法性}：訂正文の文法的な正しさを評価する．\citeA{Heilman}の5段階評価（4.完璧，3.分かりやすい，2.理解できる，1.理解できない，0.その他）に従って評価した．\noindent\textbf{流暢性}：訂正文の自然さを評価する．\citeA{Lau}の4段階評価（4.非常に自然，3.やや自然，2.やや不自然，1.非常に不自然）に従って評価した．\noindent\textbf{意味保存性}：入力文と訂正文の間の意味内容の等価性を評価する．\citeA{Xu}の5段階評価（4.同一，3.わずかに異なる，2.異なる，1.大幅に異なる，0.その他）に従って評価した．AmazonMechanicalTurk\footnote{\url{https://www.mturk.com/}}を用いて，1文あたり5人の評価者を募集した．データセットの質を担保するために，US在住者のうち，質の高い回答を行うMaster資格を保有し，過去のタスク承認率99\%以上かつ承認数50以上の評価者を採用した．また，入力文や訂正文を読まずに回答する評価者を拒否するために，全ての項目に4を回答させるダミー設問を設置した．さらに，全ての項目に同じ回答をする評価者や，極端に回答時間が速い評価者も拒否した．最終的に，3人以上の評価者が「0.その他」\footnote{不完全な文や意味不明な文．}を回答した文を除き，合計4,221文の人手評価値付きデータセットを作成した．時給7.25ドルと見積もって作業を複数人に分割して依頼し，データ作成時点（2019年）のレート換算で合計約10万円を使用してデータセットを作成した．人手評価値のヒストグラムおよび各項目間のピアソンの積率相関係数を図\ref{histgram_and_corrmatrix}に示す．2以下の評価は全体に少なく，特に意味保存性の項目は多くが3以上の評価を得た．また，文法性と流暢性との相関は高く，意味保存性は他の2項目間との相関が低い．流暢性の観点は文法性の観点も含まれているため高い相関になったと考えられる．図\ref{annotation_examples}に実際のアノテーション例を示す．上の評価例では，文法性および流暢性の評価は高いが，副詞の``inversely''が``definitely''になっているため意味保存性は低い評価となっている．下の例では文法性および流暢性の評価は低いが，形の変化や冠詞の有無の違いであり，全体としては意味はほとんど変わらないため意味保存性は高い評価となっている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{28-2ia4f2.pdf}\end{center}\caption{各項目のヒストグラム（左図）と各項目間の相関行列（右図）}\label{histgram_and_corrmatrix}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[t]\begin{center}\includegraphics{28-2ia4f3.pdf}\end{center}\caption{実際の評価例}\label{annotation_examples}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定}
提案手法の有効性を検証するために，人手評価との相関によるメタ評価およびMAEGEによるメタ評価を行い，既存手法と比較を行う．さらに，本研究で作成した，訂正システムに対して人手評価値を付与したデータセットでBERTを再学習することの有効性を検証するために，\ref{sec:existingdata}節で説明した既存のデータセットでBERTを再学習した場合との比較も行う．各項目の自動評価モデル単体のメタ評価を行った後，\ref{sec:method}章で説明した各自動評価モデルを組み合わせた手法のメタ評価を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{BERTの再学習}\ref{sec:createdata}章で構築したデータセットを訓練/検証/評価に3,376/422/423で分割し，BERTの再学習に使用する．比較手法におけるBERTの再学習のために，文法性$^1$および流暢性$^2$については\ref{sec:existingdata}節で説明したデータセットを使用する．意味保存性については，2文間の意味的類似度を$[0.0,5.0]$の連続値で評価したSemanticTextualSimilarityタスク\cite{sts}のデータセット\footnote{\url{http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark}}を使用する．文法性と流暢性に用いるデータセットは誤った文に対して評価がついているのに対し，このデータセットは誤りを含まない文対に対して評価がついている．事前学習済みのBERT(bert-base-cased)\footnote{\url{https://github.com/huggingface/transformers}}を，それぞれのデータセットを用いて再学習する．ハイパーパラメータは検証データを用いて，最大文長は128，256，バッチサイズは8，16，学習率は2e-5，3e-5，5e-5，エポック数は1から10の組み合わせからグリッドサーチで決定した．その他の学習設定は使用した事前学習済みモデルの事前学習時のものと同じである．検証データでスピアマンの順位相関係数が最大となるモデルを選択した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[b]\begin{center}\includegraphics{28-2ia4f4.pdf}\end{center}\caption{システムレベルでのメタ評価}\label{fig:sys_eval}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{メタ評価実験}\label{sec:exp}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{人手評価との相関によるメタ評価}\label{sec:humancorrelation}\paragraph{システムレベルのメタ評価}システムレベルの評価では，図\ref{fig:sys_eval}のように，システムレベルの自動評価値と人手評価値の相関を測ることでメタ評価を行う．システムレベルの自動評価値は，各訂正文の自動評価値をシステムごとに平均して用いた．\citeA{asano-ja}と同様に，\citeA{Grundkiewicz}が公開しているデータを用いる．このデータは12システムによるCoNLL2014のテストデータの訂正文に人手で1から5のランク付けを行ったものである．CoNLL2014のテストデータはCoNLL2013のテストデータと同様に，シンガポール国立大学の学生25名の書いたエッセイをもとに作られているが，トピックが異なり，遺伝子検査とソーシャルメディアの2つのトピックについて書かれている．さらに\citeA{Grundkiewicz}はそのランクからレーティングアルゴリズムであるTrueSkill\cite{trueskill}を用いてシステムレベルでの人手評価を計算した．\citeA{asano-ja}と比較を行うために，\citeA{Grundkiewicz}のTable3c\footnote{Table3cには，12システムの名前およびTrueSkillによって計算された人手評価が記載されている．}の人手評価を用いて計算した．相関係数にはピアソンの積率相関係数とスピアマンの順位相関係数を用いた．式~(\ref{eq:1})の重み$\alpha,\beta,\gamma$は\citeA{asano-ja}と同様にJFLEGデータセット\cite{jfleg}の人手評価を用いて調整した．JFLEGデータセットを用いたのは，単純には\citeA{asano-ja}の結果と比較するためであるが，評価データや学習に使ったCoNLLデータと，システムの数・学習者の習熟度・編集率などの性質が大きく異なるJFLEGデータを使って重みを決めることでデータ依存性の問題を議論できるからである．各重み$\alpha,\beta,\gamma$は0.01刻みで，$\alpha+\beta+\gamma=1$を満たす組み合わせからグリッドサーチを行い，ピアソンの積率相関係数を最大化するように決定した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{文レベルのメタ評価}\label{sec:sent-metaeval}文レベルのメタ評価では，各訂正文の自動評価値を人手評価値と直接比較する．\citeA{asano-ja}と同様に，\citeA{Grundkiewicz}のデータセットにおける正解率およびケンドールの順位相関係数によって，任意の2つの訂正文の優劣判定調査を行う．同一文に対するシステム出力の評価が異なるペアの評価を行い，その正解率(Accuracy)（式~(\ref{Accuracy})）とWMT2017\cite{wmt17}で使われているケンドールの順位相関係数$\tau$(Kendall's$\tau$)（式~(\ref{tau})）を用いてメタ評価を行う．一部の文に対しては複数人が評価を行っているが，それらは別事例とみなし，14,822ペアに対して評価を行った．\begin{gather}\label{Accuracy}Accuracy=\frac{適切に評価したペア数}{人手評価の大小が異なるペア数}.\\[1ex]\text{\textit{Kendall's}}\\tau=\frac{適切に評価したペア数-逆に評価したペア数}{人手評価の大小が異なるペア数}.\label{tau}\end{gather}式~(\ref{eq:1})の重み$\alpha,\beta,\gamma$は\citeA{Grundkiewicz}のデータセットを1:9の割合で検証用と評価用に分割し，検証用データにおけるケンドールの順位相関係数を最大化するように調整した．グリッドサーチの探索範囲はシステムレベルの評価と揃えた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{MAEGEによるメタ評価}\label{sec:MAEGE}\citeA{MAEGE}らは，人手評価との相関を用いるメタ評価に存在する，評価者間および評価者内の一致が低い問題や，一部のエラータイプに対する訂正を適切に評価できない問題に対処するために，人手による訂正を用いた自動評価手法のメタ評価手法(MAEGE)を提案した．人手による訂正アノテーションが付与されたコーパスを用い，各文に対して図\ref{fig4}に示すような人手の訂正を元とする束を構築する．全ての訂正が全体的な品質に等しく作用すると仮定して，訂正の適用数で順序づけが行われる．束を適用した誤り文セットを自動評価手法で評価し，定義された順序関係を正解順位として比較を行いメタ評価を行う．MAEGEでは，コーパスレベルと文レベルのメタ評価を行うことができる．詳細な説明は\citeA{MAEGE}を参照されたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.5\begin{figure}[t]\begin{center}\includegraphics{28-2ia4f5.pdf}\end{center}\hangcaption{各誤り文に対する人手の訂正を元とした束（左図）と実際の例（右図）．各有向エッジは人手の訂正の適用を表し，訂正文$k$は誤り文に対して$k$人目の訂正者の全ての訂正を適用した文である．}\label{fig4}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究の実験では，CoNLL2014\cite{conll2014}のテストデータを使用する．実験は公開されている実装\footnote{\url{https://github.com/borgr/EoE}}を使用したが，束を構築する際に入力文または訂正を適用した結果が空文にならないように訂正を加えた．コーパスレベルのメタ評価では\citeA{MAEGE}と同様の設定で，ピアソンの積率相関係数およびスピアマンの順位相関係数を用いて評価した．文レベルのメタ評価では\citeA{MAEGE}と同様の設定で，ケンドールの順位相関係数$\tau$\footnote{通常用いられる，全順序集合に対して定義された指標ではなく，半順序集合に合わせて\citeA{MAEGE}が再定義した指標を用いている．}およびピアソンの積率相関係数で評価した．各メタ評価における各項目の重みは\ref{sec:sent-metaeval}節の文レベルのメタ評価で決めた値を用いた．\citeA{MAEGE}では，2人のアノテーションのうち1人が訂正を行っていない文は削除している．それに加えて，上述した実装に加えた条件によって，元の1,312文から808文が選択される．その808文に対する合計1,704のアノテーションから合計6,634文が生成され，評価に使用された．それぞれ3つのランダムシードで実験を行い，平均値を報告する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ベースライン手法}本実験では，3つの自動評価手法と提案手法を比較する．参照文を用いる自動評価手法としては，\ref{sec:reference-basedmetric}節で説明したうち，文法誤り訂正の自動評価で一般的に使用されている${\rmM^2}$\cite{Dahlmeier}およびGLEU\cite{gleu}を用いる．参照文を用いる手法では，性能を最大にして比較を行うために，公式の2つの参照文に加えて\citeA{bryant}の追加の8つの参照文と\citeA{sakaguchi}の追加の8つの参照文を加えた18文を用いる．参照文を用いない自動評価手法としては，先行研究である\citeA{asano-ja}を用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果}
各実験結果の表における，BERTw/existingdataは既存のデータでBERTを再学習した場合，BERTw/ourdataは作成したデータでBERTの再学習を行った場合の結果を表す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{人手評価との相関によるメタ評価}\label{sec:result1}表\ref{result2-1}に文法性・流暢性・意味保存性の各項目の自動評価モデルの，作成した評価データを用いたメタ評価の結果を示す．\citeA{asano-ja}のシステムレベルにおける結果は再実装したものを用いた．\citeA{asano-ja}の手法と比較して，既存のデータでBERTを再学習する意味保存性の評価モデルを除いて，提案手法が高い相関を達成している．既存のデータでBERTを再学習する意味保存性の評価モデルの相関が高くないのは，再学習に用いたデータが文法的な誤りを含まない文対に対して人手評価が付与されていたからであると考えられる．再学習に用いるデータセットの違いでは，我々が作成したデータで再学習した各評価モデルが最高の人手評価との相関となっており，訂正システムの出力に対する人手評価に最適化をすることの有効性が確認できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{04table02.tex}\caption{作成したデータセットにおける各項目の自動評価手法のメタ評価．}\label{result2-1}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{result2-2}に文法性・流暢性・意味保存性の各項目の自動評価モデルの，\citeA{Grundkiewicz}の評価データを用いたメタ評価の結果を示す．\citeA{asano-ja}のシステムレベルにおける結果は\citeA{asano-ja}からの引用，文レベルにおける結果は再実装したものを用いている．表\ref{result2-1}では，各自動評価モデルは対応する項目の人手評価との相関を計算しているが，表\ref{result2-2}では，各自動評価モデルは総合的な人手評価との相関を計算している．意味保存性はシステムレベルでは負の相関，文レベルでは無相関となったが，文法性と流暢性に関しては全ての項目で，我々の作成したデータでBERTを再学習した手法がベースラインより高い相関となっている．意味保存性のシステムレベルで負の相関になっている理由は，訂正を行わないシステムに対する意味保存性単体の評価は高くなるのに対して，総合的な評価では訂正しないシステムに対しては低い評価となるため負の相関になっていると考えられる．実際に，評価データ中の各システムの訂正を行わない文数と提案手法の意味保存評価モデルの予測値のスピアマンの順位相関係数は0.923となり，各システムの訂正を行わない文数とシステムの人手の順位とのスピアマンの順位相関係数は$-$0.549となった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{04table03.tex}\caption{\protect\citeA{Grundkiewicz}のデータセットにおける各項目の自動評価手法のメタ評価．}\label{result2-2}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[b]\input{04table04.tex}\caption{システムレベル（左）と文レベル（右）のメタ評価}\label{result1}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{result1}に，\ref{sec:method}章で説明した各評価項目のモデルを組み合わせた手法の，システムレベルおよび文レベルの人手評価との相関によるメタ評価の結果を示す．\citeA{asano-ja}の結果は，システムレベルにおいては\citeA{asano-ja}における3項目を組み合わせた手法の中で最大の相関値を引用，文レベルにおいては再実装したものを使用している．システムレベルと文レベルの両方で，BERTの再学習に基づく自動評価手法が他の自動評価手法よりも大幅に高い性能を示したことから，文法誤り訂正の自動評価において事前学習された文符号化器BERTを用いることの有効性が確認できる．BERTの再学習に使用するデータセットの違いからは，システムレベルと文レベルの両方で我々のデータセットを用いる再学習が人手評価とのより高い相関を達成することがわかる．このことから，実際のシステムの訂正文に対する各項目の人手評価に自動評価モデルをそれぞれ最適化することの有効性が確認できる．文法性・流暢性・意味保存性の3項目を組み合わせる手法では，全体的に意味保存性の重み$\gamma$が小さくなっている．これは，文法誤り訂正では入力文と訂正文の多くの単語が共通するため，訂正の良し悪しによらず多くの場合に意味が変わらないことが原因だと考える．システムレベルでは1つの重みに偏っている．これは，重みのチューニングに，4つのシステムに対する人手のランキングがついたJFLEGデータセットを用いており，4つのシステムの評価は各項目を組み合わせずとも，文法性・流暢性の単体の評価器で高い精度で予測ができてしまうからであると考えられる．実際に，作成したデータにおける文法性単体の評価器は，JFLEGデータセットに対して0.976のピアソンの積率相関係数，1.0のスピアマンの相関係数であり，流暢性単体の評価器ではそれぞれ0.978，1.0であった．JFLEGデータセットは流暢性を重要視して作られているため，BERTw/ourdataでは流暢性の重みが高くなっている．BERTw/existingdataでは，流暢性単体よりも文法性単体の評価器の方がJFLEGデータセットに対する相関が高いため文法性の重みが高くなっていると考えられる．実際に，文法性単体の評価器はJFLEGデータセットに対して0.963のピアソンの積率相関係数，流暢性単体の評価器は0.957のピアソンの積率相関係数であった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[b]\input{04table05.tex}\caption{MAEGEによるメタ評価}\label{tb:result3}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{MAEGEによるメタ評価}\label{sec:result2}表\ref{tb:result3}にMAEGEによるコーパスレベルと文レベルのメタ評価の結果を示す．上段の参照文を用いる手法と下段の参照文を用いない手法を比較すると，コーパスレベルおよび文レベルの両方，特に文レベルにおいて参照文を用いない手法が高い相関となっている．参照文を用いる手法の$\rmM^2$は文レベルにおいてピアソンの積率相関係数は無相関，ケンドールの順位相関ではある程度の相関となっており，GLEUは$\rmM^2$と逆の振る舞いを示している．$\rmM^2$は同じ文の異なる訂正に対する順序付けはある程度予測できるが，全体的に一貫した評価をすることはできず，GLEUはその逆の性質を持つことを意味している．参照文を用いない手法を比較すると，BERTを用いた手法が\citeA{asano-ja}の手法より高い相関となっている．特にBERTを用いる手法はベースライン手法に比べて文レベルの両方の評価尺度で高い相関を持つことがわかる．このことから，BERTを用いた手法は同じ文の訂正ペアの順序付けと，全体的に一貫した評価の両方を行うことができることがわかる．再学習に用いるデータセットの違いでは，総合的に見ると，我々のデータセットを用いる方が相関が高くなった．\ref{sec:result1}節の人手評価との相関を用いる実験および\ref{sec:result2}節のMAEGEによる実験の結果，作成したデータでBERTを再学習する手法が最もよい結果となった．各項目の評価モデルを作成したデータセットに最適化することで，各項目の評価モデルの性能が向上し（表\ref{result2-1}，表\ref{result2-2}），その結果，各評価モデルを組み合わせた手法で性能が向上した（表\ref{result1}，表\ref{tb:result3}）．各評価モデルを組み合わせた場合の，再学習に用いるデータセットの違いによる性能の改善は大きくないが，表\ref{result2-1}，表\ref{result2-2}のように各項目の評価を見ると大きく改善しているため，データ作成にかかるコスト約10万円を考慮しても，各項目をより適切に評価するためにシステム出力にラベル付けして新たにデータを作る意味は十分あると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[b]\input{04table06.tex}\caption{提案手法のみが正しく評価できた例}\label{example1}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{評価例}${\rmM^2}$，GLEU，\citeA{asano-ja}，作成したデータでBERTの再学習を行った場合の提案手法による評価例を分析する．\citeA{Grundkiewicz}の評価データに対する各評価手法を比較する．表\ref{example1}に，提案手法のみが正しく評価できた例を示す．${\rmM^2}$は訂正文1と訂正文2に対して同じ評価値を与えており正しく評価できていない．表層的な語句の一致率に基づくGLEUは，参照文に``problems''が含まれないために訂正文1を低く評価し，表層的には似ているが余計な``the''が入っている訂正文2を高く評価してしまっている．一方で提案手法は，``disadvantages''が``problems''になっていても余計な``the''が入っている訂正文2よりも訂正文1のほうを高く評価できており，表層的な語句の一致率に依存せず評価できている．\citeA{asano-ja}が正しく評価できていないのは，\citeA{asano-ja}が主に流暢性，次に意味保存性を見ている（表\ref{result1}）が，流暢性の評価モデルは人手評価との相関が低い（表\ref{result2-1}）ことおよび意味保存性の評価モデルはMETEORであり入力文との表層一致で評価値を計算するため入力文に表層の近い訂正文2を高く評価するからであると考えられる．表\ref{example2}に，参照文を用いる手法では正しく評価できたが，参照文を用いない手法では正しく評価できなかった例を示す．参照文を用いる手法では，参照文には``child''が含まれているため，``child''が含まれている訂正文2を高く評価している．一方で，参照文を用いない手法では，``child''の部分が``children''となっている訂正文2を高く評価している．これは，参照文を用いないため，参照文の情報を考慮した評価ができないためである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[t]\input{04table07.tex}\caption{参照文を用いる手法のみが正しく評価できている例}\label{example2}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{エラータイプ別の評価分析}MAEGEでは，特定のエラータイプの訂正に対する評価の分析を行うことができる．特定のエラータイプの訂正のみが異なる文のペア$(c,c')$の集合を用意し，各ペア$(c,c')$の各文を評価して，その差分$m(c)-m(c')$の平均を計算する．$c$は特定のエラータイプの訂正を適用した後の文，$c'$はそのエラータイプの訂正を適用する前の文，$m$は評価手法を示す．負の値の平均差は評価手法がエラータイプの訂正に対して減点し，正の値の平均差は加点することを意味している．例えば，エラータイプがVt(Verbtense)で，$c$が``Themedicaltreatmenttechnologyduringthattime\textit{\textbf{is}}notadvancedenoughtocompletelycurehim.''，$c'$が``Themedicaltreatmenttechnologyduringthattime\textit{\textbf{was}}notadvancedenoughtocompletelycurehim.''のペアに対して各文の評価を行い$m(c)-m(c')$が正ならば訂正した文の方が高く評価できているため，適切に評価できており，負ならば，訂正した文の方を低く評価しているため，適切に評価できていない．エラータイプにはCoNLL2014\cite{conll2014}で指定されている27のエラータイプを使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[b]\input{04table08.tex}\caption{エラータイプ分析}\label{error}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{error}に結果を示す．${\rmM^2}$では全てのエラータイプで平均差がほぼ0（0.0001など）になっており\footnote{\citeA{MAEGE}の結果でも同様に${\rmM^2}$は全てのエラータイプが0または0に近い値となっている．}，特定のエラータイプに対して一貫した評価を行えていないことがわかる．GLEUでは多くのエラータイプの訂正に対して減点している．一方，参照文を用いない評価手法ではほとんど全てのエラータイプで正の値となっており，多くのエラータイプの訂正に対して加点できていることがわかる．特に，我々が作成したデータでBERTの再学習を行った手法においては全てのエラータイプの訂正に対して加点できている．また，既存のデータでBERTの再学習を行った場合に比べて，各エラータイプに対する平均差の値が大きくなっており，各エラータイプの訂正に対してより大きく加点できていることがわかる．特に，連続文やコンマ区切りの誤り(Srun)や並列性の誤り(Spar)は他の手法に比べて平均差が大きく，他の手法と比較してこれらの誤りに対する感度が高いことがわかる．逆に，明確にしないと修正ができないような誤り(Um)は他の手法と同様に平均差が小さく，他手法と同様に感度が低いことがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本研究では，文法誤り訂正の自動評価で重要である，文法性・意味保存性・流暢性の3項目の評価モデルを人手評価に最適化する手法を提案した．最適化するための理想的なデータセットが存在しないため，5つの訂正システムの出力に対して，文法性，流暢性，意味保存性の観点で人手評価を行いデータセットの作成を行った．作成した各項目のデータセットを用いて，事前学習された文符号化器の再学習を行い，各項目の評価モデルを作成してそれらを組み合わせて文法誤り訂正の自動評価を行った．実験では，まず各項目の評価モデルの個別のメタ評価を行い，各項目をどれだけ適切に予測できるか実験した．そして，人手評価との相関によるメタ評価および人手の訂正を用いたメタ評価で，各項目の評価モデルを組み合わせた手法を評価した．実験の結果，提案手法は従来手法に比べて，各項目をより適切に評価できること，各項目の評価モデルを組み合わせた評価でもより適切に評価できることを示した．そして，事前学習された文の符号化器であるBERTを回帰モデルとして用いることおよび我々が作成した訂正文に対する人手評価に最適化することが相関の改善に有効であることがわかった．分析の結果，従来手法ではいくつかのエラータイプの訂正に対して減点しているのに対して，提案手法は全てのエラータイプの訂正に対して適切に加点できていることがわかった．今後の発展としては，文法誤り訂正の精度改善に提案した自動評価手法を活用することである．例えば，提案した自動評価手法の評価値を報酬として強化学習による学習を行うことや，複数モデルのアンサンブルを行う時に使用して，最も良い訂正を選択することなどが考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本論文の実験をするにあたり，実装コードの提供をして頂いた浅野広樹氏，JFLEGの評価データで使用されているシステム出力を提供して頂いた坂口慶祐氏，AmazonMechanicalTurkで公開するタスクの確認を行って頂いたSitiOryzaKhairunnisa氏に感謝します．本研究の一部はJSPS科研費（若手研究，課題番号：JP20K19861）の助成を受けたものです．本研究の内容の一部は，The28thInternationalConferenceonComputationalLinguistics\cite{yoshimura}で発表したものです．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.6}\bibliography{04refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{吉村綾馬}{%2019年首都大学東京（現東京都立大学）システムデザイン学部システムデザイン学科情報通信システムコース卒業．同年，首都大学東京システムデザイン研究科情報科学域博士前期課程に進学．2021年博士前期課程修了．同年，株式会社ユーザーローカルに入社．現在に至る．}\bioauthor{金子正弘}{%2016年北見工業大学工学部情報システム工学科卒業．同年，首都大学東京システムデザイン研究科博士前期課程に進学．2018年博士前期課程修了．同年，首都大学東京システムデザイン研究科博士後期課程に進学．2019年より日本学術振興会特別研究員(DC2)を経て，2021年博士後期課程修了．博士（情報科学）．同年より東京工業大学情報理工学院研究員．現在に至る．}\bioauthor{梶原智之}{%愛媛大学大学院理工学研究科助教．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．大阪大学データビリティフロンティア機構の特任助教を経て，2021年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}\bioauthor{小町守}{%2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2008年より日本学術振興会特別研究員(DC2)を経て，2010年博士後期課程修了．博士（工学）．同年より同研究科助教を経て，2013年より首都大学東京システムデザイン学部准教授．大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}