\label{sec:intro}本稿では，参照文を用いた文単位での機械翻訳自動評価手法について述べる．文単位での信頼性の高い自動評価によって，機械翻訳システムの細かい改善が可能になる．文単位での機械翻訳の評価手法には，ある機械翻訳システムの翻訳文に対して他のシステムの翻訳文と比較して相対的に評価する手法と，翻訳文の品質を絶対的に評価する手法がある．本研究では，機械翻訳システムの文単位での定性的な分析，つまり，評価対象の機械翻訳システムがどのような文に対してどの程度の品質で翻訳できるのかについての分析を可能にするため，各翻訳文に対して絶対的な自動評価を行う．本研究では，人手評価に近い絶対評価ができる手法を信頼性の高い自動評価であると捉え，その信頼性に基づいて各評価手法の性能比較や分析を行う．機械翻訳に関する国際会議ConferenceonMachineTranslation(WMT)\footnote{https://aclanthology.info/venues/wmt}では，機械翻訳自動評価手法の人手評価との相関を競うMetricsSharedTaskが開催されており，これまでに多くの手法が提案されてきた．しかし，現在のデファクトスタンダードであるBLEU\cite{papineni-2002}をはじめとして，ほとんどの機械翻訳自動評価手法は文字$N$-gramや単語$N$-gramなどの局所的な素性を利用しており，文単位での評価にとっては限定的な情報しか扱えていない．また，大域的な情報を考慮するために文の分散表現を用いた手法も存在するが，人手評価値付きのデータセットなどの比較的少量の教師ありデータのみを用いてモデル全体を学習するため，十分な性能を示せていない．そこで本研究では，局所的な素性に基づく従来手法では扱えない大域的な情報を考慮するために，大規模コーパスによって事前学習された文の分散表現を用いる機械翻訳自動評価手法を提案する．我々の提案手法は，(a)~翻訳文と参照文を独立に符号化する手法と，(b)~翻訳文と参照文を同時に符号化する手法に大別できる．これらの2つの提案手法は，大規模コーパスによって事前学習された文の分散表現を素性として利用し，人手評価値付きのデータセット上で訓練された回帰モデルによって機械翻訳の自動評価を行うという点で共通している．我々はまず，事前学習された文の分散表現を用いた機械翻訳自動評価のための回帰モデルRUSE\footnote{https://github.com/Shi-ma/RUSE}(RegressorUsingSentenceEmbeddings)（図~\ref{fig:ruse_bert}(a)）を提案する．WMT-2017MetricsSharedTask\cite{bojar-2017}のデータセットにおける実験の結果，RUSEは文単位の全てのto-English言語対で従来手法よりも高い性能を示した．この結果は，事前学習された文の分散表現が機械翻訳の自動評価にとって有用な素性であることを示す．\begin{figure}[t]\begin{center}\includegraphics[scale=1.1]{26-3ia3f1.eps}\end{center}\caption{各手法の概要．散点部は訓練し，横線部は固定する．}\label{fig:ruse_bert}\end{figure}我々は続いて，文および文対の符号化器であるBERTによる機械翻訳自動評価手法（図~\ref{fig:ruse_bert}(b)）を提案する．BERT(BidirectionalEncoderRepresentationsfromTransformers)\cite{devlin-2019}は，大規模な生コーパスを用いて双方向言語モデルおよび隣接文推定の事前学習を行った上でタスクに応じた再訓練を行い，多くの自然言語処理タスクで最高性能を更新している．我々は，WMTMetricsSharedTaskの人手評価値付きデータセットを用いて再訓練することで，BERTによる機械翻訳自動評価を可能にした．WMT-2017MetricsSharedTaskのデータセットにおける実験の結果，BERTによる機械翻訳自動評価は文単位の全てのto-English言語対でRUSEを凌ぎ，最高性能を更新した．詳細な分析の結果，RUSEとの主な相違点である事前学習の方法，文対モデリング，符号化器の再訓練の3点が，それぞれBERTによる機械翻訳自動評価における性能改善に貢献していることが明らかになった．本研究の主な貢献は以下の3つである．\begin{itemize}\item事前学習された文の分散表現に基づく機械翻訳自動評価手法RUSEを提案し，事前学習された文の分散表現が機械翻訳の自動評価において有用な素性であることを示した．\item同じく事前学習された文の分散表現に基づくBERTによる機械翻訳の自動評価を行い，WMT-2017MetricsSharedTaskのデータセットを用いる実験において，文単位の全てのto-English言語対で最高性能を更新した．\itemRUSEとBERTによる機械翻訳自動評価の比較に基づく詳細な分析により，BERTの事前学習の方法，文対モデリング，符号化器の再訓練の3点が，それぞれ機械翻訳の自動評価における性能改善に貢献していることを明らかにした．\end{itemize}本稿の構成を示す．2節では，まず機械翻訳の人手評価について説明し，続いて機械翻訳自動評価手法の関連研究について概説する．3節では，事前学習された文の分散表現に基づくRUSEおよびBERTによる機械翻訳の自動評価手法を提案する．4節では，WMTMetricsSharedTaskの人手評価値付きデータセットを用いて，提案手法の評価実験を行う．5節では，訓練データの文対数と性能の関係やfrom-English言語対における性能について分析する．最後に6節で，本研究のまとめを述べる．