\label{sec:introduction}機械翻訳システムの研究開発において，システムの翻訳品質の評価は重要なプロセスの一つである．人手による翻訳品質評価では，機械翻訳システムによる翻訳（以下，{\MT}）に対して{\ADE}と{\FLU}の二つの側面から評価値が付与される\cite{Sumita05}．{\ADE}は，原文によって読者に伝わる情報のうちどの程度が翻訳文によって伝わるかを測る尺度である．一方，{\FLU}は，翻訳文が目的言語の文としてどの程度流暢（自然）であるかを原文とは独立に測る尺度である．本研究では，対象を英日機械翻訳に絞り，まず，現状の一般的な英日機械翻訳システムの翻訳品質を把握するために，市販されている英日機械翻訳システムで得られた{\MT}を{\ADE}と{\FLU}の側面から評価した．その結果，\ref{sec:experiment:setting}節で述べるように，{\ADE}の評価値に比べて{\FLU}の評価値のほうが低く，{\MT}の{\FLU}を向上させることがより重要な課題であることが判明した．このため，特に{\FLU}の向上に重点を置いたシステム改善を支援することを目的として，{\FLU}の評価の効率化を図るための自動評価手法を提案する．{\FLU}を低下させる要因はいくつか考えられるが，その一つに不自然な逐語訳がある．辞書と規則に基づく方式の機械翻訳システムは，現状では，逐語訳をすべきでない場合でもそのような訳し方をすることがある．このため，{\MT}には不自然な逐語訳が含まれている可能性が高い．従って，{\MT}と人間による翻訳（以下，{\HUM}）における逐語訳の違いを捉えることによって{\MT}の{\FLU}（の一部）の自動評価が可能になると期待できる．既存の自動評価手法の中には，機械学習によって識別器を構築する手法\cite{Oliver01,Kulesza04,Gamon05,Tanaka08}がある．この手法では，良い翻訳とは{\HUM}に近いものであり，そうでない翻訳とは{\MT}に近いものであると仮定される．このような仮定の下で，対訳コーパスにおける{\HUM}（正例）と，原文を機械翻訳システムで翻訳して得られる{\MT}（負例）とを訓練事例として識別器が構築される．この識別器を用いて，評価対象の{\MT}から抽出した素性に基づいて，その{\MT}が良い翻訳であるかそうでないかの二値判定が行なわれる．本研究では，このような先行研究に倣い，{\HUM}と{\MT}を訓練事例とした機械学習によって構築した識別器を用いて自動評価を行なう．このような自動評価手法においては，{\HUM}での逐語訳と{\MT}での逐語訳の違いを適切に捉えることができる手がかりを機械学習で用いる素性として選ぶ必要がある．本稿では，このような素性として{\align}結果を利用することを提案する．具体的には，\ref{sec:feats}節で述べるように，英文と{\HUM}の間，および英文と{\MT}の間で{\align}を行ない，その結果を機械学習のための素性とする．従来，{\FLU}の評価には$N$グラムが用いられることが多いが，{\HUM}と{\MT}での逐語訳の違いを捉えるには$N$グラムよりも{\align}結果を利用するほうが適切であると考えられる．検証実験の結果，提案手法によってシステムレベルでの自動評価が可能であることが示唆された．また，{\SVM}\cite{Vapnik98}による機械学習で各素性に付与される重みに基づいて{\MT}に特徴的な素性を特定できるため，このような素性を含む文を観察することによって文レベルでの{\MT}の特徴分析を行なうこともできる．