\section{はじめに}
\label{sec:introduction}機械翻訳システムの研究開発において，システムの翻訳品質の評価は重要なプロセスの一つである．人手による翻訳品質評価では，機械翻訳システムによる翻訳（以下，{\MT}）に対して{\ADE}と{\FLU}の二つの側面から評価値が付与される\cite{Sumita05}．{\ADE}は，原文によって読者に伝わる情報のうちどの程度が翻訳文によって伝わるかを測る尺度である．一方，{\FLU}は，翻訳文が目的言語の文としてどの程度流暢（自然）であるかを原文とは独立に測る尺度である．本研究では，対象を英日機械翻訳に絞り，まず，現状の一般的な英日機械翻訳システムの翻訳品質を把握するために，市販されている英日機械翻訳システムで得られた{\MT}を{\ADE}と{\FLU}の側面から評価した．その結果，\ref{sec:experiment:setting}節で述べるように，{\ADE}の評価値に比べて{\FLU}の評価値のほうが低く，{\MT}の{\FLU}を向上させることがより重要な課題であることが判明した．このため，特に{\FLU}の向上に重点を置いたシステム改善を支援することを目的として，{\FLU}の評価の効率化を図るための自動評価手法を提案する．{\FLU}を低下させる要因はいくつか考えられるが，その一つに不自然な逐語訳がある．辞書と規則に基づく方式の機械翻訳システムは，現状では，逐語訳をすべきでない場合でもそのような訳し方をすることがある．このため，{\MT}には不自然な逐語訳が含まれている可能性が高い．従って，{\MT}と人間による翻訳（以下，{\HUM}）における逐語訳の違いを捉えることによって{\MT}の{\FLU}（の一部）の自動評価が可能になると期待できる．既存の自動評価手法の中には，機械学習によって識別器を構築する手法\cite{Oliver01,Kulesza04,Gamon05,Tanaka08}がある．この手法では，良い翻訳とは{\HUM}に近いものであり，そうでない翻訳とは{\MT}に近いものであると仮定される．このような仮定の下で，対訳コーパスにおける{\HUM}（正例）と，原文を機械翻訳システムで翻訳して得られる{\MT}（負例）とを訓練事例として識別器が構築される．この識別器を用いて，評価対象の{\MT}から抽出した素性に基づいて，その{\MT}が良い翻訳であるかそうでないかの二値判定が行なわれる．本研究では，このような先行研究に倣い，{\HUM}と{\MT}を訓練事例とした機械学習によって構築した識別器を用いて自動評価を行なう．このような自動評価手法においては，{\HUM}での逐語訳と{\MT}での逐語訳の違いを適切に捉えることができる手がかりを機械学習で用いる素性として選ぶ必要がある．本稿では，このような素性として{\align}結果を利用することを提案する．具体的には，\ref{sec:feats}節で述べるように，英文と{\HUM}の間，および英文と{\MT}の間で{\align}を行ない，その結果を機械学習のための素性とする．従来，{\FLU}の評価には$N$グラムが用いられることが多いが，{\HUM}と{\MT}での逐語訳の違いを捉えるには$N$グラムよりも{\align}結果を利用するほうが適切であると考えられる．検証実験の結果，提案手法によってシステムレベルでの自動評価が可能であることが示唆された．また，{\SVM}\cite{Vapnik98}による機械学習で各素性に付与される重みに基づいて{\MT}に特徴的な素性を特定できるため，このような素性を含む文を観察することによって文レベルでの{\MT}の特徴分析を行なうこともできる．
\section{先行研究}
\label{sec:related_work}自動評価に関する研究は活発に行なわれ，これまでに様々な手法が示されている．このうち，BLEUやNIST，METEORなどの既存手法\cite{Papineni02,Doddington02,Banerjee05}では，{\FLU}の評価は，{\MT}と参照訳の間での高次の$N$グラムの照合によって行なわれる．これらの手法によって信頼できる評価結果を得るためには，（新規）評価対象文についての参照訳を通常複数用意する必要がある．しかし，大量の評価対象文について複数の参照訳を入手することは容易ではない．近年，機械学習を利用する手法がいくつか示されている\cite{Oliver01,Kulesza04,Quirk04,Gamon05,Albrecht07a,Albrecht07b,Paul07a,Tanaka08}．これらの手法は，モデルを構築する際に訓練事例集を必要とするが，（新規）評価対象文の{\FLU}を評価する際には参照訳を必要としない．機械学習を利用する手法は，機械学習によって回帰モデルを構築する手法と識別モデルを構築する方法に分けることができるが，両者では学習に必要な訓練事例集を用意するのに要する負担が異なる．回帰モデルは，{\MT}から抽出された素性に基づいて，その{\MT}の良さを表わす評価値を予測する．従って，回帰モデルを構築する手法\cite{Quirk04,Albrecht07a,Albrecht07b,Paul07a}では，大量の訓練事例に人手で評価値を付与する必要があり，訓練事例集の作成に要する負担が比較的大きい．一方，識別器を構築する手法\cite{Oliver01,Kulesza04,Gamon05,Tanaka08}では，識別器に入力された評価対象の{\MT}が{\MT}であるか{\HUM}であるかの二値判定を行なう．このため，対訳コーパスにおける{\HUM}と，原文を機械翻訳システムで翻訳して得られる{\MT}を訓練事例とすることができる．従って，大量の訓練事例に人手評価値を付与する必要がなく，負担は比較的小さく抑えられる．本稿では後者のアプローチを採るため，識別器を構築する先行研究について概観する．文献\cite{Oliver01}では，言語的な素性として，構文木の分岐に関する情報，文中での内容語の数に対する機能語や代名詞の数の割合，文の構成要素（名詞句や副詞句，形容詞句，前置詞句など）の長さなどが用いられている．この他に，パープレキシティが統計的な素性として利用されている．スペイン語から翻訳された英文からこれらの素性を抽出して，決定木学習によって識別器を構築し，試験事例に対して82.9\%の{\ACC}を得ている．また，構築された決定木を観察することによって，機械翻訳システムが抱える問題点をシステム開発者が把握できることが示されている．さらに，{\MT}の翻訳品質が向上すれば{\HUM}との識別が困難になるため，識別器の{\ACC}が低下するという予想を示している．しかし，予想の提示に止まっており，検証結果は示されていない．文献\cite{Kulesza04}では，評価対象文と参照訳の間の$N$グラム適合率や単語誤り率などを素性として，{\SVM}による機械学習が行なわれている．{\ACC}は，{\MT}だけから成る試験事例に対しては70.0\%，{\HUM}だけから成る試験事例に対しては58.7\%，両者から成る試験事例に対しては64.4\%であったと報告されている．この文献では，評価対象文が{\MT}であるか{\HUM}であるかの二値判定を行なうだけでなく，{\SVM}による機械学習の結果得られる分離超平面と事例との距離をその{\MT}に対する評価値とみなしている．この評価値と人手による評価値の間の相関係数は，既存の自動評価尺度（BLEU値や単語誤り率など）と人手評価値の間の相関係数よりも高かったという実験結果が示されている．文献\cite{Gamon05}では，素性として，品詞トライグラム，構文解析で使用された文脈自由文法規則，文構成要素の意味標識，文構成要素とその支配要素の間の意味的関係などが利用されている．英語から翻訳されたフランス語文からこれらの素性を抽出して{\SVM}による機械学習で識別器を構築し，訓練事例に対して77.8\%，試験事例に対して77.6\%の{\ACC}をそれぞれ得ている．文献\cite{Tanaka08}では，{\MT}の{\FLU}の自動評価を目的として，品詞の出現比率，品詞$N$グラム($N=1,2,3$)，単語トライグラムに着目し，これらの素性を個別に用いて識別器を構築している．ロイター英日対訳コーパス\cite{Uchiyama03}における和文を{\HUM}とし，英文を市販の機械翻訳システムで翻訳した結果を{\MT}として実験を行ない，品詞の出現比率による識別器で78.6\%，品詞$N$グラムによる識別器で94.9\%，単語トライグラムによる識別器で97.7\%の{\ACC}を得ている．さらに，{\MT}を{\FLU}の観点から上位群と下位群の2群に分けたとき，これらの素性を用いた識別器の正解率は，{\FLU}が上がるにつれて低下するという文献\cite{Oliver01}の仮説を確認している．
\section{着目した素性}
\label{sec:feats}{\MT}の{\FLU}を低下させる要因はいくつか考えられるが，その一つに不自然な逐語訳がある．本研究ではこの不自然な逐語訳を捉えることをめざしている．人間は，柔軟性に富む多様な表現上の工夫を施した翻訳を行なうことができるため，{\HUM}に不自然な逐語訳が含まれている可能性は低い．一方，人間の様々な翻訳技術が十分に反映されていない，辞書と規則に基づく方式の機械翻訳システムは，現状では，逐語訳をすべきでない場合でもそのような訳し方をすることがあるため，{\MT}には不自然な逐語訳が含まれている可能性が高い．このため，{\HUM}の{\FLU}と{\MT}の{\FLU}の違いを適切に捉えることができる手がかりとして逐語訳に着目した．例えば，次の英文(E\ref{SENT:failure})に対する{\HUM}は，無生物主語他動詞構文の構造変換が行なわれ，(H\ref{SENT:failure})のようになるだろう．これに対して，英文(E\ref{SENT:failure})を，本研究の実験で用いた3つの市販機械翻訳システムで処理すると(Ma\ref{SENT:failure})，(Mb\ref{SENT:failure})，(Mc\ref{SENT:failure})のような{\MT}がそれぞれ得られる．\begin{SENT3}\sentEHisfailuretofulfillthepromisemadethevoterssuspicious.\sentH彼が約束を果たさなかったので，有権者は疑い深くなりました．\sentMa彼が約束を実現させないことで，有権者は疑わしげになりました．\sentMb彼が約束を果たすことができなかったことは，投票者を疑わしくした．\sentMc約束を果たすことについての彼の失敗は投票者を疑い深くしました．\label{SENT:failure}\end{SENT3}{\MT}(Ma\ref{SENT:failure})と{\HUM}(H\ref{SENT:failure})を比べると，両者は非常に近いことが分かる．{\MT}(Mb\ref{SENT:failure})と{\HUM}(H\ref{SENT:failure})を比べると，両者の主な違いとして，makeを主辞とする動詞句の翻訳が挙げられる．英語では行為者が対象に能動的に働きかけるという捉え方がされる傾向が強い．これに対して，日本語では物事が自然にある状態になるという表現が好まれる．{\HUM}(H\ref{SENT:failure})では，このことを考慮してmakeが「なる」と訳されている．一方，{\MT}(Mb\ref{SENT:failure})では「する」という逐語訳になっている．{\MT}(Mc\ref{SENT:failure})と{\HUM}(H\ref{SENT:failure})を比べると，makeを主辞とする動詞句の翻訳の違いに加え，failureを主辞とする名詞句の翻訳の違いも見られる．{\HUM}(H\ref{SENT:failure})では，英語が名詞文体であり日本語が動詞文体であることを考慮して，動詞的意味を含む名詞句を文に展開するという工夫がされて自然な翻訳になっている．一方，{\MT}(Mc\ref{SENT:failure})ではそのまま「失敗」という逐語訳になっている．以上のような違いが主な原因で，特に{\MT}(Mc\ref{SENT:failure})の{\FLU}が{\HUM}(H\ref{SENT:failure})の{\FLU}よりも低くなっていると考えられる．{\HUM}と{\MT}の間には以上のような違いがあるため，英文と{\HUM}の間で単語同士の対応付けを行なった場合と英文と{\MT}の間で行なった場合を比べると，後者の場合のほうが単語対応が付きやすいと予想される．実際，英文(E\ref{SENT:failure})と{\HUM}(H\ref{SENT:failure})に対して，本研究の実験で用いた{\align}ソフトウェアで{\align}を行なうと，表\ref{tab:align}\,の左側のような結果が得られる．また，英文(E\ref{SENT:failure})と{\MT}(Mc\ref{SENT:failure})の間の{\align}結果は表\ref{tab:align}の右側のようになる．表\ref{tab:align}において，align($A$,$B$)は$A$と$B$が対応付けられた単語の対であることを表わし，nonalign\_eng($C$)は$C$が対応付けられずに残った英語単語であること，nonalign\_jpn($D$)は$D$が対応付けられずに残った日本語単語であることを表わす．以下，align($A$,$B$)を{\AL}と呼び，nonalign\_eng($C$)あるいはnonalign\_jpn($D$)を{\NAL}と呼ぶ．\begin{table}[t]\caption{英文(E\ref{SENT:failure})と{\HUM}(H\ref{SENT:failure})の{\align}結果と英文(E\ref{SENT:failure})と{\MT}(Mc\ref{SENT:failure})の{\align}結果}\label{tab:align}\input{02table01.txt}\end{table}表\ref{tab:align}を見ると，{\HUM}(H\ref{SENT:failure})より{\MT}(Mc\ref{SENT:failure})のほうが，{\AL}の比率が高いことが分かる．また，{\HUM}(H\ref{SENT:failure})ではfailureもmakeも単語対応が付いていないのに対して，{\MT}(Mc\ref{SENT:failure})では両方とも単語対応が付いている．さらに，{\HUM}(H\ref{SENT:failure})には「ない」，「ので」，「なる」などの{\NAL}が含まれている．これらのことから，{\HUM}における様々な表現上の工夫と{\MT}における逐語訳との違い（の一部）を{\AL}と{\NAL}によって捉えることができると考えられる．{\AL}と{\NAL}によって捉えることができる{\HUM}と{\MT}の違いは，{\AL}は主に{\HUM}と{\MT}の類似点（人間でも行なうような逐語訳）を表わしており，{\NAL}は主に{\HUM}と{\MT}の相違点（主に人間しか行なわないような翻訳）を表わしていると解釈することができる．{\AL}と{\NAL}によって捉えることができる{\HUM}と{\MT}の違いとしては，無生物主語他動詞構文の構造変換以外に代名詞の訳語選択などがある．{\HUM}では，英語の代名詞は日本語の代名詞としては表わされず，ゼロ代名詞化されたり，他の表現に置き換えられたりすることがある．これに対して，{\MT}では，英語の代名詞はそのまま日本語の代名詞に訳され，不自然な翻訳文となることが多い．例えば，次の{\HUM}(H\ref{SENT:indef-pron})では，hisは「自分」という表現に置き換えられ，heとitはゼロ代名詞化されている．これに対して，{\MT}(Ma\ref{SENT:indef-pron})，(Mb\ref{SENT:indef-pron})，(Mc\ref{SENT:indef-pron})では，「彼」や「それ」と訳されている．このように，代名詞が他の表現に置換されている{\HUM}と代名詞の逐語訳が含まれている{\MT}との違いは，{\AL}と{\NAL}によって捉えることができると考えられる．\begin{SENT3}\sentEMr.Smithdoeshisworkwhenhefeelslikedoingit.\sentHスミス氏は，したいと思うときに，自分の仕事をする．\sentMaスミス氏は，それをしたいと思うとき，彼の仕事をする．\sentMbスミスさんがそれをしたい気がするとき，彼は仕事します．\sentMcスミス氏がそれをしたい気がするとき，彼は彼の仕事をします．\label{SENT:indef-pron}\end{SENT3}{\HUM}において様々な表現上の工夫がされていればいるほど，{\HUM}と逐語訳による不自然な{\MT}との違いがより鮮明になる．従って，このような場合，{\AL}と{\NAL}によって{\HUM}と{\MT}の違いをより確実に捉えることができるようになり，有効性が高まると考えられる．他方，{\HUM}と{\MT}における語順の違いについては，{\AL}と{\NAL}では捉えることができない．しかし，この問題は，句対応付けを今後利用することなどによって解決できると考えられる．また，助詞についても，{\HUM}と{\MT}での{\AL}と{\NAL}の違いとして現れにくいため，捉えることは困難である．{\MT}に非対応単語が現れる原因として，機械翻訳システムによる無生物主語他動詞構文の構造変換の他に，翻訳処理の失敗などが想定される．非対応単語が構文構造変換によるものか翻訳処理失敗によるものかの区別は，{\MT}に現れる非対応単語と{\HUM}に現れる非対応単語を比較することによって可能な場合もある．なぜならば，構文構造変換による非対応単語は{\MT}集合にも{\HUM}集合にも現れうるのに対して，処理失敗によるものは{\HUM}集合には現れにくいと考えられるからである．本稿での{\SVM}による機械学習では，{\HUM}(H\ref{SENT:failure})と{\MT}(Mc\ref{SENT:failure})を，それぞれ，表\ref{tab:align}に示した{\AL}と{\NAL}を成分とする素性ベクトルで表わす．具体的には，{\HUM}と{\MT}に現れる{\AL}と{\NAL}を素性名番号（整数）に変換し，その素性値を1とする．
\section{実験と考察}
\label{sec:experiment}提案手法の有効性を確認するための実験について述べる．今回の実験は，報道記事を対象とし，辞書と規則に基づく方式の英日機械翻訳システムを用いて行なったものである．\subsection{実験方法}\label{sec:experiment:setting}提案手法の検証実験に必要な言語資源は，原文とそれに対する{\HUM}である．今回の実験では，ロイター英日対訳コーパスを利用した．このコーパスは，文献\cite{Uchiyama03}に示されている類似度を用いて文対応が付けられたコーパスである．文対応付けの結果には1対1のものと1対多のものがあるが，今回の実験では1対1に対応付けられている文の組を用いた．ロイター英日対訳コーパスには同一の英文や同一の和文が複数回出現することがある．このような重複がある場合には1文だけを残し他の文は削除した．{\MT}は，ロイター英日対訳コーパスの英文を，辞書と規則に基づく方式を採用している考えられる3つの市販機械翻訳システムで処理して得た．以下，{\MTS}，{\MTF}，{\MTL}とする．英文と{\HUM}の{\align}および英文と各{\MT}の{\align}は，{\MTS}を得るために使用した機械翻訳システムの開発企業で試作されたソフトウェア\footnote{民間企業で開発された非公開ソフトウェアであるため，アルゴリズムは開示できない．このため，公開ソフトウェアを用いた場合にどの程度の{\ACC}が得られるかを明らかにするための追加実験を行なった．追加実験にはGIZA++\cite{Och03}を用いた．GIZA++は，隠れマルコフモデルと統計的翻訳モデル（IBMモデル）に基づく統計的{\align}手法である．実験の結果，{\MTS}で99.0\%，{\MTF}で98.5\%，{\MTL}で99.6\%，3つの{\MT}の平均で99.0\%の{\ACC}が得られた\cite{Kotani09b}．これは，\ref{sec:experiment:accuracy_mt}節で示す本稿の実験結果と同程度の{\ACC}である．}を用いて行なった．このソフトウェアでは，まず和文を形態素に分割し，日本語の形態素と英語の単語を対応付ける．{\align}処理は，対訳辞書，シソーラス，係り受け規則などを利用して行なわれる．各機械翻訳システムに約15,000文を入力文として与え，すべての機械翻訳システムで処理が正常に終了し，さらに{\align}処理が正常に終了した文を選択した結果，3つの機械翻訳システムに共通する文として最終的に12,900文ずつが得られた．{\SVM}による機械学習にはTinySVM\footnote{http://chasen.org/{\textasciitilde}taku/software/TinySVM/}を利用した．カーネル関数は1次の多項式とした．カーネル関数以外のパラメータは，標準設定されている値を使用した．3つの{\MT}のうち{\MTS}を対象として，著者ら以外の評価者3名による人手評価を行なった．評価者は全員日本語母語話者であり，平均で約6年の英日機械翻訳用辞書の開発経験がある．評価対象文として{\MTS}から500文を無作為に抽出した．3つの{\MT}すべてから500文ずつ抽出して合計1,500文を人手評価する労力は大きいため，評価の負担を抑えるために{\MTS}だけを評価対象とした．評価の観点は，{\MT}の{\FLU}と{\ADE}とした．{\FLU}については，{\MT}の日本語としての{\FLU}を100点満点で採点しその点数に該当する評価値（表\ref{tab:ade-flu}の左側）を付与するよう評価者に指示した．{\FLU}の評価では{\MT}だけを評価者に示した．{\ADE}については，英文と{\MT}を比較し，英文で伝わる情報のうちどの程度が{\MT}で伝わるかを表わす評価値（表\ref{tab:ade-flu}の右側）を付与するよう指示した．3名による評価値の中央値を評価対象文の最終的な評価値とした．100点満点での評価における1点の持つ意味は規定せずに，評価者の主観的判断に委ねた．評価型国際ワークショップIWSLTなどでの評価基準のように5段階程度での評価の場合には1段階の持つ意味を規定することができるが，100点満点での評価における1点の持つ意味を規定することは現実的に困難である．それでも100満点での評価を行なった理由は，将来人手評価値を5段階あるいは10段階などに細分化して実験を行なうときに今回の人手評価結果を再利用できることである．また，通常のテストの採点では100点満点で点数付けされることが多いためでもある．なお，{\MT}に評価値4が付与されるのは75点から100点のときであるので，評価値4が付与された{\MT}がすべて人間訳並に流暢あるいは適切であるとは限らない．\begin{table}[b]\caption{人手評価での評価基準}\label{tab:ade-flu}\input{02table02.txt}\end{table}\begin{table}[b]\caption{人手評価値の度数分布表}\label{tab:freq-ade-flu}\input{02table03.txt}\end{table}人手評価結果を表\ref{tab:freq-ade-flu}に示す．{\ADE}については，評価値が3以上である{\MT}が51.4\%を占める．一方，{\FLU}については，評価値が3以上である{\MT}は21.6\%しかない．このことから，評価対象とした機械翻訳システムに関しては，{\MT}の{\FLU}を向上させることが重要な課題であると言える．{\MT}の{\FLU}の評価結果を評価者ごとに表\ref{tab:freq-flu-each}に示す．表\ref{tab:freq-flu-each}と表\ref{tab:freq-ade-flu}の左側（3名による評価値の中央値の集計）を比較すると，評価者1と評価者2は比較的甘い評価を行ない，評価者3は比較的厳しい評価を行なったことが分かる．\subsection{{\AL}と{\NAL}の分布}\label{sec:experiment:align_distri}\ref{sec:feats}節で示した作業仮説（{\HUM}より{\MT}のほうが単語対応が付きやすい）の妥当性を，実験に使用したソフトウェアによる{\align}結果において検証する．英文とその{\HUM}の間での{\align}結果に含まれる素性の延べ数と，英文とその各{\MT}の間での{\align}結果に含まれる素性の延べ数を表\ref{tab:align_distri}に示す．{\HUM}と{\MT}の間で{\AL}と{\NAL}の比率に差があるかどうかを検証するために，表\ref{tab:align_distri}の分布に対して$\chi^2$検定\footnote{$\chi^2$検定は，1条件で，各測定値が2つ以上のカテゴリのいずれか一方に分類されるときに，それぞれのカテゴリの度数の母比が，理論的に導出される特定の値と異なると言えるか否かを吟味する検定である\cite{Mori06}．}を行なった．その結果，比率の差は有意水準5\%で有意であった．さらに，{\HUM}とどの{\MT}との間で比率に差があるのかを検証するために，Ryan法による多重比較\footnote{Ryan法による多重比較は，誤差の割合の概念的単位を比較の集合に設定する際に，ステップ数によって個々の比較における有意水準を直接変化させて一対比較を行なう多重比較法である\cite{Mori06}．}を行なった．その結果，{\HUM}とすべての{\MT}の間において有意水準5\%で有意であった．このことから，{\HUM}よりも{\MT}のほうが単語対応が付きやすい傾向にあると言える．\begin{table}[b]\caption{各評価者の評価値の度数分布表}\label{tab:freq-flu-each}\input{02table04.txt}\end{table}\begin{table}[b]\caption{{\AL}と{\NAL}の出現比率}\label{tab:align_distri}\input{02table05.txt}\end{table}\subsection{機械翻訳システムと{\ACC}}\label{sec:experiment:accuracy_mt}提案手法の{\ACC}が使用した機械翻訳システムに影響を受けるかどうかを，{\MTS}，{\MTF}，{\MTL}を用いて検証する．これらの各{\MT}と{\HUM}を合わせた合計25,800件をそれぞれ事例集合として3つの識別器を構築した．{\HUM}はどの事例集合においても同一のものを使用した．各事例集合を5分割し，交差検定を行なった．素性としては{\AL}と{\NAL}の両方を使用した．試験事例の{\MT}に対する{\ACC}を表\ref{tab:accuracy_mt}に示す．数値は5分割交差検定の平均値である．表\ref{tab:accuracy_mt}より，使用した機械翻訳システムによらずいずれも高い{\ACC}が得られていることが分かる．\ref{sec:related_work}節で述べた先行研究\cite{Tanaka08}によると，本稿と同じ実験条件において，品詞$N$グラム($N=1,2,3$)を素性として構築した識別器で94.9\%，単語トライグラムを素性とした識別器で97.7\%の{\ACC}が得られている．本稿で得られた平均{\ACC}99.3\%は，この先行研究での{\ACC}と同程度である．\subsection{素性の種類の{\ACC}への影響}\label{sec:experiment:accuracy_feats}識別器の構築に使用する素性の種類が{\ACC}に与える影響を明らかにするために，素性として{\AL}だけを使用した場合と{\NAL}だけを使用した場合について{\ACC}を求めた．試験事例の{\MT}に対する{\ACC}’（5分割交差検定の平均値）を，{\AL}と{\NAL}の両方を用いた場合の{\ACC}と共に表\ref{tab:accuracy_feat}に示す．\begin{table}[b]\caption{提案手法の{\ACC}}\label{tab:accuracy_mt}\input{02table06.txt}\end{table}\begin{table}[b]\caption{素性の種類と{\ACC}}\label{tab:accuracy_feat}\input{02table07.txt}\end{table}{\AL}だけを用いた識別器，{\NAL}だけを用いた識別器，{\AL}と{\NAL}の両方を用いた識別器で{\ACC}の間に有意な差があるかどうかを見るために，McNemar検定\footnote{McNemar検定は，2条件における対応がある測定値が，ある特性の有無によって二分されるときに，その特性を有する母比が条件間で異なるか否かについて検定する手法である\cite{Mori06}．}を行なった．有意水準は，Bonferroni法により，比較する群数3で5\%を割った値とした．その結果，{\MTS}，{\MTF}，{\MTL}のいずれにおいても，すべての識別器の間で{\ACC}に有意水準1.7\%で有意差が見られた．表\ref{tab:accuracy_feat}を見ると，{\AL}と{\NAL}の両方を用いることによって最も高い{\ACC}が得られていることが分かる．また，すべての{\MT}において{\NAL}だけを用いた場合の{\ACC}が{\AL}だけを用いた場合の{\ACC}よりも高くなっている．このことから，{\HUM}と{\MT}を区別する手がかりとしては，{\NAL}のほうが{\AL}よりも有効であると言える．{\NAL}を用いたほうが{\ACC}が高くなる理由は，\ref{sec:feats}節で述べたように，{\AL}が主に{\HUM}と{\MT}の類似点を表わしているのに対して{\NAL}は主に{\HUM}と{\MT}の相違点を表わしていることであると考えられる．\subsection{事例数の{\ACC}への影響}\label{sec:experiment:accuracy_datasize}十分な{\ACC}を得るために必要な{\HUM}の数即ち対訳コーパスの量を明らかにするために，{\HUM}の数を12,900文，10,000文，7,000文，4,000文，1,000文と3,000文ずつ変化させて{\ACC}を求めた．それぞれの{\HUM}数において，{\HUM}とそれに対応する同数の{\MT}から成る事例集合を作成した．各{\HUM}数における{\ACC}（5分割交差検定の平均値）を図\ref{fig:datasize}に示す．{\HUM}の数を1,000文（{\MT}と合わせた事例全体では2,000文）まで減少させても{\ACC}は95\%以上となっている．従って，比較的小規模な対訳コーパスでも十分な{\ACC}が得られると言える．\begin{figure}[b]\begin{center}\includegraphics{17-1ia2f1.eps}\end{center}\caption{{\HUM}の数と{\ACC}の関係}\label{fig:datasize}\end{figure}\subsection{{\FLU}の評価値と{\ACC}の関係}\label{sec:experiment:accuracy_hum_eval}文献\cite{Oliver01}によると，{\MT}はその翻訳品質が向上すれば，{\HUM}との違いが小さくなるため，{\HUM}との識別が困難になり，識別器の{\ACC}は低下すると予想されている．実際，文献\cite{Sun07}や文献\cite{Tanaka08}では，{\MT}を翻訳品質が上位のものと下位のものに分けたとき，下位群での{\ACC}より上位群での{\ACC}のほうが低いことが確認されている．もし，本稿で提案する手法においても{\MT}の翻訳品質が向上する（人手評価値が高くなる）につれて{\ACC}が低下することが確認できれば，提案手法の{\ACC}が低下するかどうかによって翻訳品質が向上したかどうかを判断できることになり，システム開発において提案手法を用いた自動評価が可能になる．提案手法においてこのような{\ACC}の低下が生じるかを検証する．検証には，\ref{sec:experiment:setting}節で述べた{\MTS}500文に付与された{\FLU}の評価値を利用する．検証は，{\AL}と{\NAL}の両方を用いて構築した識別器，{\AL}だけを用いた識別器，{\NAL}だけを用いた識別器のそれぞれについて行なった．各識別器について，{\MTS}500文の{\FLU}の評価値別に，正しく{\MT}と識別された文数と誤って{\HUM}と識別された文数を集計した．それらの結果を表\ref{tab:flu_both},\ref{tab:flu_align},\ref{tab:flu_nonalign}にそれぞれ示す．\begin{table}[b]\caption{{\AL}と{\NAL}による識別器の{\ACC}と{\FLU}}\label{tab:flu_both}\input{02table08.txt}\end{table}\begin{table}[b]\caption{{\AL}のみによる識別器の{\ACC}と{\FLU}}\label{tab:flu_align}\input{02table09.txt}\end{table}\begin{table}[b]\caption{{\NAL}のみによる識別器の{\ACC}と{\FLU}}\label{tab:flu_nonalign}\input{02table10.txt}\end{table}正しく{\MT}と識別された文数と誤って{\HUM}と識別された文数の間に差があるかどうかを検証するために，表\ref{tab:flu_both},\ref{tab:flu_align},\ref{tab:flu_nonalign}の各分布に対してFisherの正確確率検定\footnote{Fisherの正確確率検定は，$\chi^2$検定と同様に対応がない2条件間の比率の比較を行なう方法であるが，周辺度数に0に近い値（10以下程度）があるときに適用される\cite{Mori06}．}を行なった．その結果，正しい識別件数と誤った識別件数の割合は，{\AL}と{\NAL}の両方を用いた場合（表\ref{tab:flu_both}）と{\NAL}だけを用いた場合（表\ref{tab:flu_nonalign}）は有意水準5\%で有意でなかったが，{\AL}だけを用いた場合（表\ref{tab:flu_align}）は有意水準5\%で有意であった．そこで，{\AL}だけを用いた場合について残差分析\cite{Tanaka05}を行なった結果，表\ref{tab:flu_align_zansa}に示すように，{\HUM}と誤識別される{\MT}の数は，{\FLU}の評価値が1か2である場合に有意水準5\%で有意に少なく，逆に，評価値が3か4である場合に有意水準5\%で有意に多かった．このことから，{\AL}だけを用いて構築した識別器の{\ACC}は，{\MT}の{\FLU}が高くなるにつれて低下すると言える．表\ref{tab:accuracy_feat}から分かるように，{\AL}のみによる識別器は，平均{\ACC}では，{\NAL}のみによる識別器にも{\AL}と{\NAL}の両方を用いた識別器にも劣る．しかし，{\ACC}の低下が見られることから，機械翻訳システムの開発において翻訳品質評価尺度として利用できることが示唆される．ただし，{\MTF}や{\MTL}を実験対象とした場合にも同様の結果が得られるかどうかの一般性の検証は今後の課題である．\begin{table}[t]\caption{表\ref{tab:flu_align}の調整済み残差}\label{tab:flu_align_zansa}\input{02table11.txt}\end{table}{\MT}は，その{\FLU}の評価値が高くなれば，{\HUM}との相違点が減少すると考えられる．このため，{\HUM}と{\MT}の相違点に相当する{\NAL}を素性とした場合も，{\FLU}の評価値が高い{\MT}は{\HUM}と誤って識別されやすくなり，{\ACC}が低下するはずである．しかし，実験では，機械学習に使用する素性に{\NAL}を含めて（{\NAL}だけを用いて，あるいは{\NAL}と{\AL}の両方を用いて）構築した識別器で{\MT}の識別を行なった場合，{\FLU}の評価値が高い{\MT}でも低い{\MT}でも{\ACC}にほとんど差は出なかった．この原因は，たとえ{\FLU}の評価値が高い{\MT}であっても，{\HUM}との明らかな相違点が含まれており，{\HUM}との識別が容易に行なえることにあるのではないかと考えられる．\subsection{既存手法との比較}\label{sec:experiment:accuracy_hum_eval_meteor}提案手法を，代表的な既存手法の一つであるMETEOR\cite{Banerjee05}と比較する．比較対象をBLEUやNISTではなくMETEORとした理由は，文単位での自動評価ではMETEORのほうが良いとされているからである\cite{Banerjee05}．METEORでは，評価対象文が参照訳と照合され，両者の類似度が評価値として評価対象文に付与される．評価値は0から1の範囲をとる．一方，提案手法は，評価対象文が良い翻訳であるかそうでないかの二値判定を行なう識別器であり，評価対象文に評価値を付与するものではない．このため，提案手法とMETEORを比較するために，次のような考えでMETEORを識別器とみなすことにする．すなわち，ある閾値を設け，評価対象文に対するMETEORによる評価値がその閾値以上であれば，その評価対象文を良い翻訳であると判定する識別器とする．METEORに基づく識別器の振る舞いは，設定する閾値によって異なる．閾値が高過ぎれば厳し過ぎる評価尺度になり，逆に，低過ぎれば甘過ぎる評価尺度になる．適切な閾値を決定するために，閾値を0.1から0.9まで0.1刻みで変化させて，\ref{sec:experiment:accuracy_hum_eval}節で行なった方法で{\MTS}~500文の{\FLU}の評価値別に，閾値未満の類似度が付与された文数と閾値以上の類似度が付与された文数を集計した．適切な閾値とは，集計結果に対して正確確率検定と残差分析を行ない，最も多くの{\FLU}の階級において有意水準5\%で有意差が確認できるときの閾値であるとした．参照訳には，ロイター英日対訳コーパスにおいて英文500文に対応する和文を用いた．{\MTS}と参照訳を``茶筅''\footnote{http://chasen.naist.jp/hiki/ChaSen/}で形態素解析した結果をMETEORへの入力とした．{\MTS}と参照訳の照合には，形態素の表記を照合するexactモジュールを使用した．この結果，閾値が0.4のときに{\FLU}の3つの階級(2，3，4)において有意水準5\%で有意差が確認できた．このため，閾値を0.4に設定したときのMETEORに基づく識別器を提案手法との比較対象とする．閾値を0.4としたときの，閾値未満の類似度が付与された文数と閾値以上の類似度が付与された文数，および閾値以上の類似度が付与された文の割合を表\ref{tab:flu_meteor}に示す．括弧内の数値は調整済み残差である．\begin{table}[b]\caption{METEORに基づく識別器（閾値0.4）による判定と{\FLU}}\label{tab:flu_meteor}\input{02table12.txt}\end{table}表\ref{tab:flu_meteor}から，METEORに基づく識別器は，{\FLU}の評価値が4である文のうち33.3\%を良くない翻訳であるとみなすことが分かる．一方，提案手法は，{\FLU}の評価値が4である文のうち55.6\%を良くない翻訳であるとみなすことが表\ref{tab:flu_align}から分かる．従って，{\FLU}が高い文を正しくそのように自動評価しなければならない場合（評価の効率化が重要な場合）には，提案手法は望ましくない．しかし，{\FLU}の評価値が1である文については，METEORに基づく識別器は31.5\%を良い翻訳であるとみなすのに対して，提案手法は{\FLU}の評価値が1である文のうち4.3\%しか良い翻訳であるとみなさない．従って，機械翻訳システムの評価において{\FLU}が低い文を見落としてはならない場合には，提案手法のほうが望ましいと言える．\subsection{文レベルでの{\MT}の特徴分析}\label{sec:experiment:likeness}\ref{sec:experiment:accuracy_hum_eval}節では，提案手法がシステムレベルでの自動評価に使える可能性があることを示した．しかし，機械翻訳システムの翻訳品質を高めていくためには，単にシステム全体として{\FLU}が向上したかどうかを評価するだけでなく，{\MT}と{\HUM}の間にどのような違いがあるのかを発見し，その違いを埋めていくために取り組むべき課題を明らかにする必要がある．{\MT}と{\HUM}の間の違いを見い出す方法の一つとして，{\MT}に特徴的な素性を（{\HUM}に特徴的な素性と見比べながら）観察するという方法が考えられる．{\MT}あるいは{\HUM}に特徴的な素性は，{\SVM}による機械学習で各素性に付与される重みに基づいて特定することができる．この重みの値が正ならば{\HUM}らしさを表わし，負ならば{\MT}らしさを表わす．重みの絶対値が大きいほど，{\HUM}らしさあるいは{\MT}らしさをより強く特徴付ける素性である．{\MTS}を分析対象とし，{\AL}と{\NAL}の両方を素性として用いた場合について各素性の重みを求めた．重みの絶対値が大きい素性の上位30個を表\ref{tab:effective_feats}に示す．まず，表\ref{tab:effective_feats}に示した素性のうち，一般にテキストでの出現頻度が高いと考えられる代名詞，冠詞，接続詞に関連する素性で示される特徴について議論する．\begin{enumerate}\item表\ref{tab:effective_feats}を見ると，{\HUM}には，第1位の{\NAL}nonalign\_jpn（同）や第3位のnonalign\_jpn（同氏）という素性や，第14位のnonalign\_eng(he)，第20位のnonalign\_eng(we)という素性が現れている．このことは，英語の代名詞が日本語の代名詞としては表わされず，「同首相」や「同グループ」のような接頭辞「同」を持つ照応表現や「同氏」という照応表現に訳されていることを示している．一方，{\MTS}には，第6位の{\AL}align(it,それ)や第21位のlign(its,その)という素性が現れている．このことから，英語の代名詞が日本語の代名詞として直訳されていることが読み取れる．このような違いは，例えば，次の英文(E\ref{SENT:pron})に現れるweやheの訳し方に見られる．\begin{SENT2}\sentE``Wehaveanexchangeratewhichseemstometomakesense,''hetoldforeignjournalistsinRome.\sentH同首相は，ローマで外国特派員に対し，「為替レートについては妥当なものと判断している」と述べた．\sentM「我々は，私には意味をなすように思われる為替レートを持つ」と，彼は，ローマの外国人記者に告げた．\label{SENT:pron}\end{SENT2}代名詞を直訳すると，原文が伝えている意味と異なる意味を伝える翻訳文が生成されたり，文意は同じでも不自然で読みにくい翻訳文が生成されてしまうという問題が生じることがある．従って，英語での代名詞による照応を日本語では他の表現による照応として翻訳できるようにすることが重要な課題である\cite{Yoshimi01a}．\begin{table}[t]\caption{重みの絶対値が大きい素性}\label{tab:effective_feats}\input{02table13.txt}\end{table}\item{\MTS}では，第10位にalign(the,その)という素性が現れている．これは，{\MTS}では冠詞theが「その」と訳される傾向があることを意味している．{\MTS}においてtheが常に「その」と訳されるわけではないが，例えば次の英文(E\ref{SENT:the_say})に対する{\MT}(M\ref{SENT:the_say})では，thecountryが「その国」と訳されている．一方，{\HUM}(H\ref{SENT:the_say})は，代名詞の場合と同様にtheが接頭辞「同」と訳されているため，自然な翻訳文となっている．\begin{SENT2}\sentEMexicanagricultureministerFranciscoLabastidaOchoasaidthecountryneedstoraisecoffeeproductivitytoboostforeignexportincomes.\sentHメキシコのラバスティダ農牧・農村開発相は，輸出収入を増加するため，同国はコーヒーの生産性を高める必要がある，と述べた．\sentMメキシコの農業大臣FranciscoLabastidaOchoaは言った．その国は，コーヒー生産性を増大対外輸出収入に上げる必要があると．\label{SENT:the_say}\end{SENT2}\item{\MTS}における第2位のalign（and,そして）と第4位のalign（and,及び）という素性に着目して，{\MTS}と{\HUM}での接続詞andの訳し方を比較する．まず，andが複数の名詞句$NP$を結合している表現``$NP_1$and$NP_2$''を含む英文の{\HUM}と{\MTS}を調査した．{\HUM}では，andは読点や「と」，「や」，「および」などに訳し分けられていた．一方，{\MTS}では，(M\ref{SENT:and_np})のように常に「，及び，」と訳されており，やや大袈裟な印象を受ける．\begin{SENT2}\sentEViratsaidinvestorswereworriedabouttheThaieconomyandthecoalitiongovernment'sstability.\sentHVirat氏は，投資家は，タイ経済と連立政権の安定性を懸念している，と指摘した．\sentMViratによれば，投資家は，タイの経済，及び，連立政権の安定性について心配した．\label{SENT:and_np}\end{SENT2}{\MTS}以外の二つの{\MT}についても同様の調査をしたところ，{\MTF}では「と」，「，および」，「そして」などにほぼ適切に訳し分けられていた．また，{\MTL}では常に「と」と訳されていた．{\MTS}においても，{\MTF}や{\MTL}のような訳し分けを実現することはそれほど困難ではないと考えられる．次に，andが複数の動詞句を結合している表現を含む英文の{\HUM}と{\MTS}を調査した．その結果，{\HUM}ではandは動詞の連用形に訳されているのに対して，{\MTS}では(M\ref{SENT:and_vp})のように常に「〈動詞の連用形〉，そして，」と訳されていた．\begin{SENT2}\sentEJapanistheworld'sleadingconsumerofpalladiumandRussiaistheworld'slargestexporter.\sentH日本は世界的にも大口のパラジウム消費国であり，ロシアは世界最大の輸出国．\sentM日本は，パラジウムの世界の主要な消費者であり，そして，ロシアは，世界で最も大きな輸出業者である．\label{SENT:and_vp}\end{SENT2}また，我々の調査範囲では，{\MTF}と{\MTL}では常に「〈動詞の終止形〉，そして，」と訳されていた．andが複数の動詞句を結合している場合，動詞を連用形にして，andを「そして」と訳さないようにすることもそれほど困難ではないと考えられる．\end{enumerate}次に，表\ref{tab:effective_feats}\,に示した素性のうち，実験に使用したコーパスが報道記事であることに起因すると考えられる動詞の訳し分けと時間表現について議論する．\begin{enumerate}\item{\MTS}では，第11位にalign(say,言う)という素性が現れている．一方，{\HUM}では，第23位のnonalign\_jpn(述べる)や第24位のnonalign\_jpn(語る)という素性が現れている．「述べる」や「語る」を含む{\HUM}（例えば(H\ref{SENT:the_say})など）を調査したところ，「述べる」や「語る」に対応する英語表現はsayであることが多かった．実験に用いたコーパスには記者会見やインタビューでの発言が含まれているが，このような発言では，sayを「言う」と訳すより「述べる」や「語る」などと訳したほうが適切であることが多いため，sayの柔軟な訳し分けを実現する必要がある．\item{\MTS}では，第17位にalign(onWednesday,水曜日に),第20位にalign（onThursday,木曜日に），第26位align(onTuesday,火曜日に)という素性が現れている．このことから，{\MTS}では(M\ref{SENT:time})のように曜日が忠実に訳されていることが読み取れる．一方，{\HUM}では，第7位にnonalign\_eng(Wednesday)，第11位にnonalign\_eng(Monday)，第17位にnonalign\_eng(Thursday)という素性が現れている．このことは，次の{\HUM}(H\ref{SENT:time})のように，曜日が直訳されていないことを示している．\begin{SENT2}\sentEThesenateisexpectedtobegindebateontheamendmentonWednesday.\sentH上院での同案の審議は，5日から開始される見通し．\sentM上院は，水曜日に修正に関して討論を始めることを期待されている．\label{SENT:time}\end{SENT2}{\HUM}で曜日が直訳されていない理由は，英語の報道記事では時間を曜日で表わすのに対して，日本語の記事では日付で表わすという文体上の違いにある．{\align}結果という素性によってこのような文体的な違いも浮き彫りになることは興味深い．\end{enumerate}
\section{おわりに}
本稿では，{\HUM}と{\MT}を訓練事例とした機械学習によって構築した識別器を用いて{\MT}の{\FLU}を自動評価する手法について述べた．提案手法では，{\HUM}と{\MT}の{\FLU}の違いを捉える手がかりとして，英文と{\HUM}の間，および英文と{\MT}の間で{\align}を行なった結果を利用した．提案手法は，識別器を構築する際に対訳コーパスを必要とするが，評価対象文を評価する際には参照訳を必要としない．さらに，大量の訓練事例に{\FLU}の評価値を付与する必要もない．検証実験の結果，(1)提案手法は，素性として{\AL}だけを使用した場合，93.7\%の{\ACC}で{\HUM}と{\MT}の識別が可能であることと，(2){\MT}を{\FLU}の側面から4段階に分けて{\ACC}の低下を正確確率検定と残差分析で検定したところ，{\FLU}の評価値が上がるにつれて，{\AL}だけを素性とした場合の提案手法の{\ACC}が有意水準5\%で有意に低下することが確認できた．この{\ACC}の低下傾向は，提案手法によってシステムレベルでの評価を支援できることを示唆している．さらに，{\SVM}による機械学習で各素性に付与される重みに基づいて{\MT}に特徴的な素性を特定することができるため，このような素性を含む文を観察することによって文レベルでの特徴分析を行なうこともできる．今後の課題は，辞書と規則に基づく方式以外の機械翻訳システム，英語と日本語以外の言語対，報道記事以外のテキストなど様々な設定条件の下で提案手法の有効性の検証を行なうことである．\bibliographystyle{jnlpbbl_1.4}\begin{thebibliography}{}\bibitem[\protect\BCAY{Albrecht\BBA\Hwa}{Albrecht\BBA\Hwa}{2007a}]{Albrecht07a}Albrecht,J.~S.\BBACOMMA\\BBA\Hwa,R.\BBOP2007a\BBCP.\newblock\BBOQ{ARe-examinationofMachineLearningApproachesforSentence-LevelMTEvaluation}.\BBCQ\\newblockIn{\BemProceedingsofthe45thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\880--887}.\bibitem[\protect\BCAY{Albrecht\BBA\Hwa}{Albrecht\BBA\Hwa}{2007b}]{Albrecht07b}Albrecht,J.~S.\BBACOMMA\\BBA\Hwa,R.\BBOP2007b\BBCP.\newblock\BBOQ{RegressionforSentence-LevelMTEvaluationwithPseudoReferences}.\BBCQ\\newblockIn{\BemProceedingsofthe45thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\296--303}.\bibitem[\protect\BCAY{Banerjee\BBA\Alon}{Banerjee\BBA\Alon}{2005}]{Banerjee05}Banerjee,S.\BBACOMMA\\BBA\Alon,L.\BBOP2005\BBCP.\newblock\BBOQ{METEOR:AnAutomaticMetricforMTEvaluationwithImprovedCorrelationwithHumanJudgments}.\BBCQ\\newblockIn{\BemProceedingsoftheACLWorkshoponIntrinsicandExtrinsicEvaluationMeasuresforMachineTranslationand/orSummarization},\mbox{\BPGS\65--72}.\bibitem[\protect\BCAY{Corston-Oliver,Gamon,\BBA\Brockett}{Corston-Oliveret~al.}{2001}]{Oliver01}Corston-Oliver,S.,Gamon,M.,\BBA\Brockett,C.\BBOP2001\BBCP.\newblock\BBOQ{AMachineLearningApproachtotheAutomaticEvaluationofMachineTranslation}.\BBCQ\\newblockIn{\BemProceedingsofthe39thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\148--155}.\bibitem[\protect\BCAY{Doddington}{Doddington}{2002}]{Doddington02}Doddington,G.\BBOP2002\BBCP.\newblock\BBOQ{AutomaticEvaluationofMachineTranslationQualityUsingN-gramCo-OccurrenceStatistics}.\BBCQ\\newblockIn{\BemProceedingsofthe2ndHumanLanguageTechnologiesConference},\mbox{\BPGS\128--132}.\bibitem[\protect\BCAY{Gamon,Aue,\BBA\Smets}{Gamonet~al.}{2005}]{Gamon05}Gamon,M.,Aue,A.,\BBA\Smets,M.\BBOP2005\BBCP.\newblock\BBOQ{Sentence-levelMTevaluationwithoutreferencetranslations:Beyondlanguagemodeling}.\BBCQ\\newblockIn{\BemProceedingsofEAMT10thAnnualConference},\mbox{\BPGS\103--111}.\bibitem[\protect\BCAY{Kotani,Yoshimi,Kutsumi,\BBA\Sata}{Kotaniet~al.}{2009}]{Kotani09b}Kotani,K.,Yoshimi,T.,Kutsumi,T.,\BBA\Sata,I.\BBOP2009\BBCP.\newblock\BBOQ{ValidityofanAutomaticEvaluationofMachineTranslationUsingaWord-alignment-basedClassifier}.\BBCQ\\newblockIn{WenjieLiandDiegoMoll{\'a}-Aliod}\BED,{\Bem{ComputerProcessingofOrientalLanguages:LanguageTechnologyfortheKnowledge-BasedEconomy}},\lowercase{\BVOL}\5459of{\Bem{LectureNotesinArtificialIntelligence}},\mbox{\BPGS\91--102}.{Springer}.\bibitem[\protect\BCAY{Kulesza\BBA\Shieber}{Kulesza\BBA\Shieber}{2004}]{Kulesza04}Kulesza,A.\BBACOMMA\\BBA\Shieber,S.~M.\BBOP2004\BBCP.\newblock\BBOQ{ALearningApproachtoImprovingSentence-LevelMTEvaluation}.\BBCQ\\newblockIn{\BemProceedingsofthe10thInternationalConferenceonTheoreticalandMethodologicalIssuesinMachineTranslation},\mbox{\BPGS\75--84}.\bibitem[\protect\BCAY{森\JBA吉田}{森\JBA吉田}{2006}]{Mori06}森敏昭\JBA吉田寿夫（編著）\BBOP2006\BBCP.\newblock\Jem{{心理学のためのデータ解析テクニカルブック}}.\newblock北大路書房.\bibitem[\protect\BCAY{Och\BBA\Ney}{Och\BBA\Ney}{2003}]{Och03}Och,F.~J.\BBACOMMA\\BBA\Ney,H.\BBOP2003\BBCP.\newblock\BBOQ{ASystematicComparisonofVariousStatisticalAlignmentModels}.\BBCQ\\newblock{\BemComputationalLinguistics},{\Bbf29}(1),\mbox{\BPGS\19--51}.\bibitem[\protect\BCAY{Papineni,Roukos,Ward,\BBA\Zhu}{Papineniet~al.}{2002}]{Papineni02}Papineni,K.,Roukos,S.,Ward,T.,\BBA\Zhu,W.\BBOP2002\BBCP.\newblock\BBOQ{BLEU:aMethodforAutomaticEvaluationofMachineTranslation}.\BBCQ\\newblockIn{\BemProceedingsofthe40thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\311--318}.\bibitem[\protect\BCAY{Paul,Finch,\BBA\Sumita}{Paulet~al.}{2007}]{Paul07a}Paul,M.,Finch,A.,\BBA\Sumita,E.\BBOP2007\BBCP.\newblock\BBOQ{Translationqualitypredictionusingmultipleautomaticevaluationmetrics}.\BBCQ\\newblock\Jem{言語処理学会第13回年次大会発表論文集},\mbox{\BPGS\95--98}.\bibitem[\protect\BCAY{Quirk}{Quirk}{2004}]{Quirk04}Quirk,C.~B.\BBOP2004\BBCP.\newblock\BBOQ{TrainingaSentence-LevelMachineTranslationConfidenceMeasure}.\BBCQ\\newblockIn{\BemProceedingsofthe4thInternationalConferenceonLanguageResourcesandEvaluation},\mbox{\BPGS\825--828}.\bibitem[\protect\BCAY{隅田\JBA佐々木\JBA山本}{隅田\Jetal}{2005}]{Sumita05}隅田英一郎\JBA佐々木裕\JBA山本誠一\BBOP2005\BBCP.\newblock機械翻訳システム評価法の最前線.\\newblock\Jem{情報処理},{\Bbf46}(5),\mbox{\BPGS\552--557}.\bibitem[\protect\BCAY{Sun,Liu,Cong,Zhou,Xiong,Lee,\BBA\Lin}{Sunet~al.}{2007}]{Sun07}Sun,G.,Liu,X.,Cong,G.,Zhou,M.,Xiong,Z.,Lee,J.,\BBA\Lin,C.\BBOP2007\BBCP.\newblock\BBOQ{DetectingErroneousSentencesusingAutomaticallyMinedSequentialPatterns}.\BBCQ\\newblockIn{\BemProceedingsofthe45thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\81--88}.\bibitem[\protect\BCAY{田中\JBA南條\JBA吉見}{田中\Jetal}{2008}]{Tanaka08}田中元貴\JBA南條浩輝\JBA吉見毅彦\BBOP2008\BBCP.\newblock{機械翻訳文と人間による翻訳文で構築した識別器による機械翻訳システムの自動評価}.\\newblock\Jem{言語処理学会第14回年次大会発表論文集},\mbox{\BPGS\865--868}.\bibitem[\protect\BCAY{田中\JBA山際}{田中\JBA山際}{2005}]{Tanaka05}田中敏\JBA山際勇一郎\BBOP2005\BBCP.\newblock\Jem{{新訂ユーザーのための教育・心理統計と実験計画法}}.\newblock教育出版.\bibitem[\protect\BCAY{Utiyama\BBA\Isahara}{Utiyama\BBA\Isahara}{2003}]{Uchiyama03}Utiyama,M.\BBACOMMA\\BBA\Isahara,H.\BBOP2003\BBCP.\newblock\BBOQ{ReliableMeasuresforAligningJapanese-EnglishNewsArticlesandSentences}.\BBCQ\\newblockIn{\BemProceedingsofthe41stAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\72--79}.\bibitem[\protect\BCAY{Vapnik}{Vapnik}{1998}]{Vapnik98}Vapnik,V.~N.\BBOP1998\BBCP.\newblock{\Bem{StatisticalLearningTheory}}.\newblockWiley-Interscience.\bibitem[\protect\BCAY{吉見}{吉見}{2001}]{Yoshimi01a}吉見毅彦\BBOP2001\BBCP.\newblock英日機械翻訳における代名詞翻訳の改良.\\newblock\Jem{自然言語処理},{\Bbf8}(3),\mbox{\BPGS\87--106}.\end{thebibliography}\begin{biography}\bioauthor{吉見毅彦}{1987年電気通信大学大学院計算機科学専攻修士課程修了．1999年神戸大学大学院自然科学研究科博士課程修了．（財）計量計画研究所（非常勤），シャープ（株）を経て，2003年より龍谷大学理工学部勤務．2004年より2008年まで（独）情報通信研究機構専攻研究員を兼任．}\bioauthor{小谷克則}{2004年関西外国語大学外国語学研究科博士課程修了（英語学博士）．2002年より2008年まで（独）情報通信研究機構特別研究員．2004年より関西外国語大学外国語学部勤務．}\bioauthor{九津見毅}{1990年大阪大学大学院工学研究科修士課程修了（精密工学—計算機制御）．同年シャープ株式会社に入社．現在，同社ビジネスソリューション事業本部要素技術開発センター新規事業開発室主事．1990年より機械翻訳システムの研究開発に従事．}\bioauthor{佐田いち子}{1984年北九州大学文学部英文学科卒業．同年シャープ（株）に入社．現在，同社ビジネスソリューション事業本部要素技術開発センター新規事業開発室副参事．1985年より機械翻訳システムの研究開発に従事．}\bioauthor{井佐原均}{1978年京都大学工学部卒業．1980年同大学院修士課程修了．博士（工学）．1980年通商産業省電子技術総合研究所入所．1995年郵政省通信総合研究所関西支所知的機能研究室室長．情報通信研究機構上席研究員を経て，現在，豊橋技術科学大学情報メディア基盤センター教授．自然言語処理，機械翻訳の研究に従事．言語処理学会，情報処理学会，人工知能学会，日本認知科学会，各会員．}\end{biography}\biodate\end{document}