# 単語アライメントを用いた英日機械翻訳文の流暢さの自動評価

本稿では, 人間による翻訳 (人間訳)と機械翻訳システムによる翻訳 (システム訳)を 訓練事例とした機械学習によって構築した識別器を用いてシステム訳の流暢さを自動評価する手法について述べる。提案手法では, 人間訳とシステム訳の流暢さの違 いを表わす手がかりとして, 逐語訳（原文と翻訳文での単語同士の対応）に着目し た。人間訳とシステム訳における逐語訳の違いを捉えるために，原文と人間訳との 間，および原文とシステム訳との間で単語対応付けを行ない，その結果を機械学習 のための素性とする. 提案手法は, 識別器を構築する際に対訳コーパスを必要とす るが，評価対象のシステム訳の流暢さを評価する際には参照訳を必要としない. さ らに，大量の訓練事例に人手で流暢さの評価値を付与する必要もない。検証実験の 結果, 提案手法によってシステムレベルでの自動評価が可能であることが示唆され た。また, サポートベクターマシンによる機械学習で各素性に付与される重みに基 づいてシステム訳に特徴的な素性を特定できるため, このような素性を含む文を観察することによって文レベルでのシステム訳の特徴分析を行なうこともできる。

キーワード：機械翻訳，自動評価, 流暢さ, 逐語訳, 単語対応付け, 機械学習
## Automatic Evaluation of the Fluency of English-to-Japanese Machine Translation Using Word Alignment

\author{
Takehiko Yoshimi $^{\dagger}$, Katsunori Kotani $^{\dagger \dagger}$, Takeshi Kutsumi ${ }^{\dagger \dagger}$, \\ ICHIKO SATA ${ }^{\dagger \dagger \dagger}$ and HITOSHI ISAHARA ${ }^{\dagger \dagger \dagger \dagger}$
}

This paper presents a method of automatically evaluating the fluency of machinetranslated sentences. We constructed a classifier that would distinguish machine translations from human translations, using Support Vector Machines as machine learning algorithms. In order to obtain a clue to the distinction, we focused on literal translations (word-for-word translations). The classifier was constructed based on features derived from word alignment distributions between source sentences and human/machine translations. Our method employed parallel corpora to construct the classifier but required neither manually labeled training examples nor multiple reference translations to evaluate new sentences. We confirmed that our method could assist evaluation on system level. We also found that this method could identify the

qualitative characteristics of machine translations, which would greatly help improve the translation quality.

Key Words: Machine Translation, Automatic Evaluation, Fluency, Word-for-Word Translation, Word Alignment, Machine Learning

## 1 はじめに

機械翻訳システムの研究開発において, システムの翻訳品質の評価は重要なプロセスの一つである。人手による翻訳品質評価では，機械翻訳システムによる翻訳（以下，システム訳）に対して適切さと流暢さの二つの側面から評価値が付与される (隅田, 佐々木, 山本 2005). 適切さは，原文によって読者に伝わる情報のうちどの程度が翻訳文によって伝わるかを測る尺度である。一方，流暢さは，翻訳文が目的言語の文としてどの程度流暢（自然）であるかを原文とは独立に測る尺度である。本研究では，対象を英日機械翻訳に絞り，まず，現状の一般的な英日機械翻訳システムの翻訳品質を把握するために, 市販されている英日機械翻訳システムで得られたシステム訳を適切さと流暢さの側面から評価した。その結果, 4.1 節で述べるように, 適切さの評価値に比べて流暢さの評価値のほうが低く, システム訳の流暢さを向上させることがより重要な課題であることが判明した.

このため，特に流暢さの向上に重点を置いたシステム改善を支援することを目的として，流暢さの評価の効率化を図るための自動評価手法を提案する。流暢さを低下させる要因はいくつか考えられるが，その一つに不自然な逐語訳がある。辞書と規則に基づく方式の機械翻訳システムは，現状では，逐語訳をすべきでない場合でもそのような訳し方をすることがある．このため, システム訳には不自然な逐語訳が含まれている可能性が高い. 従って, システム訳と人間による翻訳（以下，人間訳）における逐語訳の違いを捉えることによってシステム訳の流暢さ (の一部) の自動評価が可能になると期待できる.

既存の自動評価手法の中には, 機械学習によって識別器を構築する手法 (Corston-Oliver, Gamon, and Brockett 2001; Kulesza and Shieber 2004; Gamon, Aue, and Smets 2005; 田中, 南條, 吉見 2008)がある。この手法では, 良い翻訳とは人間訳に近いものであり, そうでない翻訳とはシステム訳に近いものであると仮定される。このような仮定の下で，対訳コーパスにおける人間訳 （正例）と，原文を機械翻訳システムで翻訳して得られるシステム訳（負例）とを訓練事例として識別器が構築される。この識別器を用いて, 評価対象のシステム訳から抽出した素性に基づいて，そのシステム訳が良い翻訳であるかそうでないかの二値判定が行なわれる.

本研究では, このような先行研究に倣い, 人間訳とシステム訳を訓練事例とした機械学習によって構築した識別器を用いて自動評価を行なう。このような自動評価手法においては, 人間訳での逐語訳とシステム訳での逐語訳の違いを適切に捉えることができる手がかりを機械学習

で用いる素性として選ぶ必要がある。本稿では, このような素性として単語対応付け結果を利用することを提案する，具体的には， 3 節で述べるように，英文と人間訳の間，および英文とシステム訳の間で単語対応付けを行ない，その結果を機械学習のための素性とする．従来，流暢さの評価には $N$ グラムが用いられることが多いが，人間訳とシステム訳での逐語訳の違いを捉えるには $N$ グラムよりも単語対応付け結果を利用するほうが適切であると考えられる.

検証実験の結果，提案手法によってシステムレベルでの自動評価が可能であることが示唆された。また，サポートベクターマシン (Vapnik 1998)による機械学習で各素性に付与される重みに基づいてシステム訳に特徴的な素性を特定できるため，このような素性を含む文を観察することによって文レベルでのシステム訳の特徴分析を行なうこともできる.

## 2 先行研究

自動評価に関する研究は活発に行なわれ，これまでに様々な手法が示されている。このうち， BLEU や NIST, METEOR などの既存手法 (Papineni, Roukos, Ward, and Zhu 2002; Doddington 2002; Banerjee and Alon 2005)では, 流暢さの評価は, システム訳と参照訳の間での高次の $N$ グラムの照合によって行なわれる。これらの手法によって信頼できる評価結果を得るためには, （新規）評価対象文についての参照訳を通常複数用意する必要がある。しかし, 大量の評価対象文について複数の参照訳を入手することは容易ではない.

近年，機械学習を利用する手法がいくつか示されている (Corston-Oliver et al. 2001; Kulesza and Shieber 2004; Quirk 2004; Gamon et al. 2005; Albrecht and Hwa 2007a, 2007b; Paul, Finch, and Sumita 2007; 田中他 2008).これらの手法は，モデルを構築する際に訓練事例集を必要とするが，（新規）評価対象文の流暢さを評価する際には参照訳を必要としない．機械学習を利用する手法は，機械学習によって回帰モデルを構築する手法と識別モデルを構築する方法に分けることができるが, 両者では学習に必要な訓練事例集を用意するのに要する負担が異なる.回帰モデルは，システム訳から抽出された素性に基づいて，そのシステム訳の良さを表わす評価値を予測する。従って，回帰モデルを構築する手法 (Quirk 2004; Albrecht and Hwa 2007a, 2007b; Paul et al. 2007) では, 大量の訓練事例に人手で評価值を付与する必要があり, 訓練事例集の作成に要する負担が比較的大きい。一方, 識別器を構築する手法 (Corston-Oliver et al. 2001; Kulesza and Shieber 2004; Gamon et al. 2005; 田中他 2008) では, 識別器に入力された評価対象のシステム訳がシステム訳であるか人間訳であるかの二値判定を行なう。このため, 対訳コーパスにおける人間訳と，原文を機械翻訳システムで翻訳して得られるシステム訳を訓練事例とすることができる。従って，大量の訓練事例に人手評価値を付与する必要がなく，負担は比較的小さく抑えられる。本稿では後者のアプローチを採るため, 識別器を構築する先行研究について概観する.
文献 (Corston-Oliver et al. 2001) では，言語的な素性として，構文木の分岐に関する情報，文中での内容語の数に対する機能語や代名詞の数の割合, 文の構成要素 (名詞句や副詞句, 形容詞句, 前置詞句など）の長さなどが用いられている。この他に，パープレキシテイが統計的な素性として利用されている。、スペイン語から翻訳された英文からこれらの素性を抽出して, 決定木学習によって識別器を構築し, 試験事例に対して $82.9 \%$ の識別正解率を得ている。また, 構築された決定木を観察することによって，機械翻訳システムが抱える問題点をシステム開発者が把握できることが示されている。 さらに，システム訳の翻訳品質が向上すれば人間訳との識別が困難になるため, 識別器の識別正解率が低下するという予想を示している。しかし, 予想の提示に止まっており，検証結果は示されていない.

文献 (Kulesza and Shieber 2004)では，評価対象文と参照訳の間の $N$ グラム適合率や単語誤り率などを素性として，サポートベクターマシンによる機械学習が行なわれている。識別正解率は, システム訳だけから成る試験事例に対しては $70.0 \%$, 人間訳だけから成る試験事例に対し

は，評価対象文がシステム訳であるか人間訳であるかの二値判定を行なうだけでなく，サポー トベクターマシンによる機械学習の結果得られる分離超平面と事例との距離をそのシステム訳に対する評価値とみなしている。この評価値と人手による評価値の間の相関係数は, 既存の自動評価尺度（BLEU 值や単語誤り率など）と人手評価値の間の相関係数よりも高かったという実験結果が示されている.

文献 (Gamon et al. 2005) では, 素性として, 品詞トライグラム, 構文解析で使用された文脈自由文法規則, 文構成要素の意味標識, 文構成要素とその支配要素の間の意味的関係などが利用されている。英語から翻訳されたフランス語文からこれらの素性を抽出してサポートベクター マシンによる機械学習で識別器を構築し, 訓練事例に対して $77.8 \%$, 試験事例に対して $77.6 \%$ の識別正解率をそれぞれ得ている.

文献 (田中他 2008)では, システム訳の流暢さの自動評価を目的として, 品詞の出現比率, 品詞 $N$ グラム $(N=1,2,3)$, 単語トライグラムに着目し, これらの素性を個別に用いて識別器を構築している。 ロイター英日対訳コーパス (Utiyama and Isahara 2003) における和文を人間訳とし, 英文を市販の機械翻訳システムで翻訳した結果をシステム訳として実験を行ない, 品詞の出現比率による識別器で $78.6 \%$, 品詞 $N$ グラムによる識別器で $94.9 \%$, 単語トライグラムによる識別器で $97.7 \%$ の識別正解率を得ている. さらに, システム訳を流暢さの観点から上位群と下位群の 2 群に分けたとき, これらの素性を用いた識別器の正解率は, 流暢さが上がるにつれて低下するという文献 (Corston-Oliver et al. 2001)の仮説を確認している.

## 3 着目した素性

システム訳の流暢さを低下させる要因はいくつか考えられるが，その一つに不自然な逐語訳がある。本研究ではこの不自然な逐語訳を捉えることをめざしている，人間は，柔軟性に富む多様な表現上の工夫を施した翻訳を行なうことができるため，人間訳に不自然な逐語訳が含まれている可能性は低い。一方, 人間の様々な翻訳技術が十分に反映されていない, 辞書と規則に基づく方式の機械翻訳システムは，現状では，逐語訳をすべきでない場合でもそのような訳し方をすることがあるため，システム訳には不自然な逐語訳が含まれている可能性が高い。このため, 人間訳の流暢さとシステム訳の流暢さの違いを適切に捉えることができる手がかりとして逐語訳に着目した，例えば，次の英文 (E1)に対する人間訳は，無生物主語他動詞構文の構造変換が行なわれ, (H1)のようになるだろう。これに対して, 英文 (E1)を, 本研究の実験で用いた 3 つの市販機械翻訳システムで処理すると (Ma1), (Mb1), (Mc1)のようなシステム訳がそれぞれ得られる。

(E1) His failure to fulfill the promise made the voters suspicious.

（H1）彼が約束を果たさなかったので，有権者は疑い深くなりました。

（Ma1） 彼が約束を実現させないことで，有権者は疑わしげになりました.

（Mb1） 彼が約束を果たすことができなかったことは，投票者を疑わしくした.

(Mc1) 約束を果たすことについての彼の失敗は投票者を疑い深くしました.

システム訳 (Ma1)と人間訳 (H1)を比べると, 両者は非常に近いことが分かる.

システム訳 (Mb1) と人間訳 (H1)を比べると, 両者の主な違いとして, makeを主辞とする動詞句の翻訳が挙げられる．英語では行為者が対象に能動的に働きかけるという捉え方がされる傾向が強い．これに対して，日本語では物事が自然にある状態になるという表現が好まれる．人間訳 (H1)では, このことを考慮して makeが「なる」と訳されている，一方，システム訳 (Mb1) では「する」という逐語訳になっている.

システム訳 (Mc1) と人間訳 (H1)を比べると, make を主辞とする動詞句の翻訳の違いに加え, failure を主辞とする名詞句の翻訳の違いも見られる。人間訳 (H1)では, 英語が名詞文体であり日本語が動詞文体であることを考慮して，動詞的意味を含む名詞句を文に展開するという工夫がされて自然な翻訳になっている。一方, システム訳 (Mc1)ではそのまま「失敗」という逐語訳になっている。以上のような違いが主な原因で, 特にシステム訳 (Mc1)の流暢さが人間訳 (H1)の流暢さよりも低くなっていると考えられる.

人間訳とシステム訳の間には以上のような違いがあるため, 英文と人間訳の間で単語同士の対応付けを行なった場合と英文とシステム訳の間で行なった場合を比べると，後者の場合のほうが単語対応が付きやすいと予想される。実際, 英文 (E1) と人間訳 (H1)に対して, 本研究の実験で用いた単語対応付けソフトウェアで単語対応付けを行なうと, 表 1 の左側のような結果
表 1 英文 (E1) と人間訳 (H1) の単語対応付け結果と英文 (E1) とシステム訳 (Mc1) の単語対応付け結果

が得られる. また, 英文 (E1) とシステム訳 (Mc1)の間の単語対応付け結果は表 1 の右側のようになる。表 1 において, $\operatorname{align}(A, B)$ は $A$ と $B$ が対応付けられた単語の対であることを表わし， nonalign_eng $(C)$ は $C$ が対応付けられずに残った英語単語であること, nonalign_jpn $(D)$ は $D$ が対応付けられずに残った日本語単語であることを表わす。以下, $\operatorname{align}(A, B)$ を対応単語対と呼び, nonalign_eng $(C)$ あるいは nonalign_jpn $(D)$ を未対応単語と呼ぶ.

表 1 を見ると, 人間訳 (H1)よりシステム訳 (Mc1)のほうが, 対応単語対の比率が高いことが分かる。また, 人間訳 (H1)では failure も make も単語対応が付いていないのに対して, システ厶訳 (Mc1) では両方とも単語対応が付いている。 さらに，人間訳 (H1)には「ない」,「ので」,「なる」などの未対応単語が含まれている。

これらのことから，人間訳における様々な表現上の工夫とシステム訳における逐語訳との違い（の一部）を対応単語対と未対応単語によって捉えることができると考えられる. 対応単語対と未対応単語によって捉えることができる人間訳とシステム訳の違いは, 対応単語対は主に人間訳とシステム訳の類似点（人間でも行なうような逐語訳）を表わしており，未対応単語は主に人間訳とシステム訳の相違点（主に人間しか行なわないような翻訳）を表わしていると解
釈することができる.

対応単語対と未対応単語によって捉えることができる人間訳とシステム訳の違いとしては,無生物主語他動詞構文の構造変換以外に代名詞の訳語選択などがある。人間訳では，英語の代名詞は日本語の代名詞としては表わされず，ゼロ代名詞化されたり，他の表現に置き換えられたりすることがある。これに対して，システム訳では，英語の代名詞はそのまま日本語の代名詞に訳され，不自然な翻訳文となることが多い，例えば，次の人間訳 (H2)では，hisは「自分」 という表現に置き換えられ, he と it はゼロ代名詞化されている。これに対して, システム訳 (Ma2), (Mb2), (Mc2)では, 「彼」や「それ」と訳されている。このように，代名詞が他の表現に置換されている人間訳と代名詞の逐語訳が含まれているシステム訳との違いは, 対応単語対と未対応単語によって捉えることができると考えられる。

(E2) Mr. Smith does his work when he feels like doing it.

(H2) スミス氏は，したいと思うときに，自分の仕事をする。

（Ma2） スミス氏は，それをしたいと思うとき，彼の仕事をする。

（Mb2）スミスさんがそれをしたい気がするとき，彼は仕事します。

(Mc2) スミス氏がそれをしたい気がするとき，彼は彼の仕事をします。

人間訳において様々な表現上の工夫がされていればいるほど，人間訳と逐語訳による不自然なシステム訳との違いがより鮮明になる. 従って, このような場合, 対応単語対と未対応単語によって人間訳とシステム訳の違いをより確実に捉えることができるようになり，有効性が高まると考えられる。

他方，人間訳とシステム訳における語順の違いについては，対応単語対と未対応単語では捉えることができない. しかし，この問題は，句対応付けを今後利用することなどによって解決できると考えられる。また，助詞についても，人間訳とシステム訳での対応単語対と未対応単語の違いとして現れにくいため，捉えることは困難である。

システム訳に非対応単語が現れる原因として, 機械翻訳システムによる無生物主語他動詞構文の構造変換の他に，翻訳処理の失敗などが想定される。非対応単語が構文構造変換によるものか翻訳処理失敗によるものかの区別は，システム訳に現れる非対応単語と人間訳に現れる非対応単語を比較することによって可能な場合もある. なぜならば，構文構造変換による非対応単語はシステム訳集合にも人間訳集合にも現れうるのに対して，処理失敗によるものは人間訳集合には現れにくいと考えられるからである。

本稿でのサポートベクターマシンによる機械学習では, 人間訳 (H1) とシステム訳 (Mc1)を, それぞれ，表 1 に示した対応単語対と未対応単語を成分とする素性べクトルで表わす。具体的には, 人間訳とシステム訳に現れる対応単語対と未対応単語を素性名番号（整数）に変換し，その素性値を 1 とする.

## 4 実験と考察

提案手法の有効性を確認するための実験について述べる，今回の実験は，報道記事を対象とし，辞書と規則に基づく方式の英日機械翻訳システムを用いて行なったものである.

## 4.1 実験方法

提案手法の検証実験に必要な言語資源は，原文とそれに対する人間訳である。今回の実験では，ロイター英日対訳コーパスを利用した。このコーパスは, 文献 (Utiyama and Isahara 2003) に示されている類似度を用いて文対応が付けられたコーパスである。文対応付けの結果には 1 対 1 のものと 1 対多のものがあるが，今回の実験では 1 対 1 に対応付けられている文の組を用いた. ロイター英日対訳コーパスには同一の英文や同一の和文が複数回出現することがある。このような重複がある場合には 1 文だけを残し他の文は削除した.

システム訳は，ロイター英日対訳コーパスの英文を，辞書と規則に基づく方式を採用している考えられる 3 つの市販機械翻訳システムで処理して得た. 以下, システム訳 $\mathrm{a}$, システム訳 $\mathrm{b}$, システム訳 $\mathrm{c}$ とする. 英文と人間訳の単語対応付けおよび英文と各システム訳の単語対応付けは，システム訳 $\mathrm{a}$ を得るために使用した機械翻訳システムの開発企業で試作されたソフトウェア1を用いて行なった. このソフトウェアでは, まず和文を形態素に分割し, 日本語の形態素と英語の単語を対応付ける. 単語対応付け処理は, 対訳辞書, シソーラス, 係り受け規則などを利用して行なわれる。各機械翻訳システムに約 15,000 文を入力文として与え, すべての機械翻訳システムで処理が正常に終了し, さらに単語対応付け処理が正常に終了した文を選択した結果, 3 つの機械翻訳システムに共通する文として最終的に 12,900 文ずつが得られた.

サポートベクターマシンによる機械学習には TinySVM ${ }^{2}$ を利用した。 カーネル関数は 1 次の多項式とした. カーネル関数以外のパラメータは, 標準設定されている値を使用した.

3 つのシステム訳のうちシステム訳 $\mathrm{a}$ を対象として, 著者ら以外の評価者 3 名による人手評価を行なった，評価者は全員日本語母語話者であり，平均で約 6 年の英日機械翻訳用辞書の開発経験がある．評価対象文としてシステム訳 a から 500 文を無作為に抽出した． 3 つのシステ厶訳すべてから 500 文ずつ抽出して合計 1,500 文を人手評価する労力は大きいため, 評価の負担を抑えるためにシステム訳 a だけを評価対象とした。評価の観点は，システム訳の流暢さと適切さとした．流暢さについては，システム訳の日本語としての流暢さを 100 点満点で採点し
^{1}$ 民間企業で開発された非公開ソフトウェアであるため, アルゴリズムは開示できない.このため, 公開ソフトウェアを用いた場合にどの程度の識別正解率が得られるかを明らかにするための追加実験を行なった. 追加実験には GIZA++(Och and Ney 2003) を用いた. GIZA++は, 隠れマルコフモデルと統計的翻訳モデル（IBM モデル）に基づく統計的単語対応付け手法である。実験の結果, システム訳 a で $99.0 \%$, システム訳 bで $98.5 \%$, システム訳 c で $99.6 \%, 3$ つのシステム訳の平均で 99.0\%の識別正解率が得られた (Kotani, Yoshimi, Kutsumi, and Sata 2009). これは, 4.3 節で示す本稿の実験結果と同程度の識別正解率である.

2 http://chasen.org/ taku/software/TinySVM/
}

その点数に該当する評価値（表 2 の左側）を付与するよう評価者に指示した．流暢さの評価ではシステム訳だけを評価者に示した。適切さについては，英文とシステム訳を比較し，英文で伝わる情報のうちどの程度がシステム訳で伝わるかを表わす評価値（表 2 の右側）を付与するよう指示した， 3 名による評価值の中央値を評価対象文の最終的な評価値とした. 100 点満点での評価における 1 点の持つ意味は規定せずに，評価者の主観的判断に委ねた。評価型国際ワー クショップ IWSLT などでの評価基準のように 5 段階程度での評価の場合には 1 段階の持つ意味を規定することができるが， 100 点満点での評価における 1 点の持つ意味を規定することは現実的に困難である。それでも 100 満点での評価を行なった理由は，将来人手評価値を 5 段階あるいは 10 段階などに細分化して実験を行なうときに今回の人手評価結果を再利用できることである。また，通常のテストの採点では 100 点満点で点数付けされることが多いためでもある. なお，システム訳に評価値 4 が付与されるのは 75 点から 100 点のときであるので，評価値 4 が付与されたシステム訳がすべて人間訳並に流暢あるいは適切であるとは限らない.

人手評価結果を表 3 に示す。適切さについては, 評価値が 3 以上であるシステム訳が $51.4 \% を$占める。一方，流暢さについては，評価值が 3 以上であるシステム訳は $21.6 \%$ かない. このことから, 評価対象とした機械翻訳システムに関しては, システム訳の流暢さを向上させることが重要な課題であると言える。

システム訳の流暢さの評価結果を評価者ごとに表 4 に示す。表 4 と表 3 の左側（3 名による評価値の中央值の集計）を比較すると，評価者 1 と評価者 2 は比較的甘い評価を行ない, 評価者 3 は比較的厳しい評価を行なったことが分かる.

表 2 人手評価での評価基準

表 3 人手評価値の度数分布表

## 4.2 対応単語対と未対応単語の分布

3 節で示した作業仮説（人間訳よりシステム訳のほうが単語対応が付きやすい）の妥当性を，実験に使用したソフトウェアによる単語対応付け結果において検証する．英文とその人間訳の間での単語対応付け結果に含まれる素性の延べ数と, 英文とその各システム訳の間での単語対応付け結果に含まれる素性の延べ数を表 5 に示す.

人間訳とシステム訳の間で対応単語対と未対応単語の比率に差があるかどうかを検証するために，表 5 の分布に対して $\chi^{2}$ 検定 ${ }^{3}$ を行なった。その結果, 比率の差は有意水準 $5 \%$ で有意であった. さらに, 人間訳とどのシステム訳との間で比率に差があるのかを検証するために, Ryan 法による多重比較4を行なった。その結果，人間訳とすべてのシステム訳の間において有意水準 $5 \%$ で有意であった.このことから, 人間訳よりもシステム訳のほうが単語対応が付きやすい傾向にあると言える.

## 4.3 機械翻訳システムと識別正解率

提案手法の識別正解率が使用した機械翻訳システムに影響を受けるかどうかを，システム訳 $\mathrm{a}$, システム訳 $\mathrm{b}$, システム訳 $\mathrm{c}$ を用いて検証する。これらの各システム訳と人間訳を合わせた合計 25,800 件をそれぞれ事例集合として 3 つの識別器を構築した。人間訳はどの事例集合においても同一のものを使用した。 各事例集合を 5 分割し, 交差検定を行なった. 素性としては対応単語対と未対応単語の両方を使用した。

表 4 各評価者の評価値の度数分布表

表 5 対応単語対と未対応単語の出現比率

^{3} \chi^{2}$ 検定は, 1 条件で，各測定值が 2 つ以上のカテゴリのいずれか一方に分類されるときに，それぞれのカテゴリの度数の母比が, 理論的に導出される特定の値と異なると言えるか否かを吟味する検定である (森, 吉田 2006).

 }^{4}$ Ryan 法による多重比較は, 誤差の割合の概念的単位を比較の集合に設定する際に，ステップ数によって個々の比較における有意水準を直接変化させて一対比較を行なう多重比較法である (森, 吉田 2006).

試験事例のシステム訳に対する識別正解率を表 6 に示す．数値は 5 分割交差検定の平均値である。表 6 より, 使用した機械翻訳システムによらずいずれも高い識別正解率が得られていることが分かる.

2 節で述べた先行研究 (田中他 2008 ) によると, 本稿と同じ実験条件において, 品詞 $N$ グラム $(N=1,2,3)$ を素性として構築した識別器で $94.9 \%$, 単語トライグラムを素性とした識別器で $97.7 \%$ 識別正解率が得られている. 本稿で得られた平均識別正解率 $99.3 \%$ は, この先行研究での識別正解率と同程度である.

## 4.4 素性の種類の識別正解率への影響

識別器の構築に使用する素性の種類が識別正解率に与える影響を明らかにするために，素性として対応単語対だけを使用した場合と未対応単語だけを使用した場合について識別正解率を求めた。試験事例のシステム訳に対する識別正解率’（5 分割交差検定の平均值）を，対応単語対と未対応単語の両方を用いた場合の識別正解率と共に表 7 に示す.

対応単語対だけを用いた識別器, 未対応単語たけを用いた識別器, 対応単語対と未対応単語の両方を用いた識別器で識別正解率の間に有意な差があるかどうかを見るために, McNemar 検定 5 を行なった，有意水準は，Bonferroni 法により，比較する群数 3 で $5 \%$ を割った値とした．その結果，システム訳 $\mathrm{a}$, システム訳 $\mathrm{b}$ ，システム訳 $\mathrm{c}$ のいずれにおいても，すべての識別器の間で識別正解率に有意水準 $1.7 \%$ で有意差が見られた.

表 7 を見ると, 対応単語対と未対応単語の両方を用いることによって最も高い識別正解率が得られていることが分かる。また，すべてのシステム訳において未対応単語だけを用いた場合の識別正解率が対応単語対だけを用いた場合の識別正解率よりも高くなっている。このことから，人間訳とシステム訳を区別する手がかりとしては，未対応単語のほうが対応単語対よりも

表 6 提案手法の識別正解率

表 7 素性の種類と識別正解率

^{5} \mathrm{McNemar}$ 検定は， 2 条件における対応がある測定値が，ある特性の有無によって二分されるときに，その特性を有する母比が条件間で異なるか否かについて検定する手法である (森，吉田 2006).
}
有効であると言える。未対応単語を用いたほうが識別正解率が高くなる理由は， 3 節で述べたように，対応単語対が主に人間訳とシステム訳の類似点を表わしているのに対して未対応単語は主に人間訳とシステム訳の相違点を表わしていることであると考えられる.

## 4.5 事例数の識別正解率への影響

十分な識別正解率を得るために必要な人間訳の数即ち対訳コーパスの量を明らかにするために, 人間訳の数を 12,900 文, 10,000 文, 7,000 文, 4,000 文, 1,000 文と 3,000 文ずつ変化させて識別正解率を求めた。それぞれの人間訳数において, 人間訳とそれに対応する同数のシステム訳から成る事例集合を作成した。

各人間訳数における識別正解率 ( 5 分割交差検定の平均値) を図 1 に示す. 人間訳の数を 1,000 文（システム訳と合わせた事例全体では 2,000 文）まで減少させても識別正解率は $95 \%$ 以上となっている. 従って, 比較的小規模な対訳コーパスでも十分な識別正解率が得られると言える.

## 4.6 流暢さの評価値と識別正解率の関係

文献 (Corston-Oliver et al. 2001)によると, システム訳はその翻訳品質が向上すれば, 人間訳との違いが小さくなるため, 人間訳との識別が困難になり, 識別器の識別正解率は低下すると予想されている. 実際, 文献 (Sun, Liu, Cong, Zhou, Xiong, Lee, and Lin 2007) や文献 (田中他 2008)では, システム訳を翻訳品質が上位のものと下位のものに分けたとき, 下位群での識別正

図 1 人間訳の数と識別正解率の関係
解率より上位群での識別正解率のほうが低いことが確認されている。もし，本稿で提案する手法においてもシステム訳の翻訳品質が向上する（人手評価値が高くなる）につれて識別正解率が低下することが確認できれば，提案手法の識別正解率が低下するかどうかによって翻訳品質が向上したかどうかを判断できることになり，システム開発において提案手法を用いた自動評価が可能になる，提案手法においてこのような識別正解率の低下が生じるかを検証する．検証には，4.1 節で述べたシステム訳 a 500 文に付与された流暢さの評価値を利用する.

検証は，対応単語対と未対応単語の両方を用いて構築した識別器，対応単語対だけ用いた識別器, 未対応単語だけを用いた識別器のそれぞれについて行なった. 各識別器について, システム訳 a 500 文の流暢さの評価値別に，正しくシステム訳と識別された文数と誤って人間訳と識別された文数を集計した。それらの結果を表 $8,9,10$ にそれぞれ示す.

正しくシステム訳と識別された文数と誤って人間訳と識別された文数の間に差があるかどうかを検証するために，表 $8,9,10$ の各分布に対して Fisher の正確確率検定6を行なった。その結果, 正しい識別件数と誤った識別件数の割合は, 対応単語対と未対応単語の両方を用いた場合

表 8 対応単語対と未対応単語による識別器の識別正解率と流暢さ

表 9 対応単語対のみによる識別器の識別正解率と流暢さ

表 10 未対応単語のみによる識別器の識別正解率と流暢さ

^{6}$ Fisher の正確確率検定は， $\chi^{2}$ 検定と同様に対応がない 2 条件間の比率の比較を行なう方法であるが，周辺度数に 0 に近い値（10 以下程度）があるときに適用される (森, 吉田 2006).
}
表 11 表 9 の調整済み残差

（表 8）と未対応単語だけを用いた場合（表 10）は有意水準 $5 \%$ \%有意でなかったが，対応単語対だけを用いた場合（表 9）は有意水準 5\%で有意であった。そこで，対応単語対だけを用いた場合について残差分析 (田中，山際 2005)を行なった結果，表 11 に示すように，人間訳と誤識別されるシステム訳の数は，流暢さの評価値が 1 か 2 である場合に有意水準 $5 \%$ で有意に少なく, 逆に，評価値が 3 か 4 である場合に有意水準 $5 \%$ で有意に多かった. このことから，対応単語対だけを用いて構築した識別器の識別正解率は, システム訳の流暢さが高くなるにつれて低下すると言える，表 7 から分かるように，対応単語対のみによる識別器は, 平均識別正解率では, 未対応単語のみによる識別器にも対応単語対と未対応単語の両方を用いた識別器にも劣る. しかし, 識別正解率の低下が見られることから, 機械翻訳システムの開発において翻訳品質評価尺度として利用できることが示唆される。たたし，システム訳 $\mathrm{b}$ やシステム訳 $\mathrm{c}$ を実験対象とした場合にも同様の結果が得られるかどうかの一般性の検証は今後の課題である.

システム訳は，その流暢さの評価値が高くなれば，人間訳との相違点が減少すると考えられる。このため, 人間訳とシステム訳の相違点に相当する未対応単語を素性とした場合も，流暢さの評価値が高いシステム訳は人間訳と誤って識別されやすくなり, 識別正解率が低下するはずである。しかし，実験では，機械学習に使用する素性に未対応単語を含めて（未対応単語たけを用いて，あるいは未対応単語と対応単語対の両方を用いて）構築した識別器でシステム訳の識別を行なった場合，流暢さの評価値が高いシステム訳でも低いシステム訳でも識別正解率にほとんど差は出なかった。この原因は，たとえ流暢さの評価値が高いシステム訳であっても，人間訳との明らかな相違点が含まれており，人間訳との識別が容易に行なえることにあるのではないかと考えられる。

## 4.7 既存手法との比較

提案手法を, 代表的な既存手法の一つである METEOR (Banerjee and Alon 2005) と比較する。比較対象を BLEU や NIST ではなく METEOR とした理由は，文単位での自動評価では METEOR のほうが良いとされているからである (Banerjee and Alon 2005). METEOR では,評価対象文が参照訳と照合され，両者の類似度が評価値として評価対象文に付与される。評価
値は 0 から 1 の範囲をとる。一方，提案手法は，評価対象文が良い翻訳であるかそうでないかの二值判定を行なう識別器であり，評価対象文に評価値を付与するものではない．このため，提案手法と METEOR を比較するために, 次のような考えで METEOR を識別器とみなすことにする。すなわち，ある閾値を設け，評価対象文に対する METEORによる評価値がその閾値以上であれば，その評価対象文を良い翻訳であると判定する識別器とする。

METEOR に基づく識別器の振る舞いは，設定する閥値によって異なる。閥値が高過ぎれば厳し過ぎる評価尺度になり, 逆に，低過ぎれば甘過ぎる評価尺度になる。適切な閾値を決定するために，閥值を 0.1 から 0.9 まで 0.1 刻みで変化させて, 4.6 節で行なった方法でシステム訳 a 500 文の流暢さの評価値別に, 間値未満の類似度が付与された文数と間值以上の類似度が付与された文数を集計した，適切な閾値とは，集計結果に対して正確確率検定と残差分析を行ない，最も多くの流暢さの階級において有意水準 $5 \%$ \%゙有意差が確認できるときの閾値であるとした.参照訳には， ロイター英日対訳コーパスにおいて英文 500 文に対応する和文を用いた. システム訳 a と参照訳を “茶笔” 7で形態素解析した結果を METEORへの入力とした. システム訳 a と参照訳の照合には，形態素の表記を照合する exact モジュールを使用した。この結果, 閾値が 0.4 のときに流暢さの 3 つの階級 $(2,3,4)$ において有意水準 $5 \%$ で有意差が確認できた. このため, 闇値を 0.4 に設定したときの METEOR に基づく識別器を提案手法との比較対象とする. 闇値を 0.4 としたときの, 間値未満の類似度が付与された文数と間値以上の類似度が付与された文数，および閾値以上の類似度が付与された文の割合を表 12 に示す. 括弧内の数値は調整済み残差である。

表 12 から， METEOR に基づく識別器は，流暢さの評価值が 4 である文のうち $33.3 \% を$ 良くない翻訳であるとみなすことが分かる。一方, 提案手法は, 流暢さの評価値が 4 である文のうち $55.6 \%$ を良くない翻訳であるとみなすことが表 9 から分かる，従って，流暢さが高い文を正しくそのように自動評価しなければならない場合（評価の効率化が重要な場合）には，提案手法は望ましくない，しかし，流暢さの評価値が 1 である文については，METEOR に基づく識

表 12 METEOR に基づく識別器（閥値 0.4 ）による判定と流暢さ


別器は $31.5 \%$ 良い翻訳であるとみなすのに対して, 提案手法は流暢さの評価値が 1 である文のうち $4.3 \%$ しか良い翻訳であるとみなさない，従って，機械翻訳システムの評価において流暢さが低い文を見落としてはならない場合には，提案手法のほうが望ましいと言える。

## 4.8 文レベルでのシステム訳の特徴分析

4.6 節では，提案手法がシステムレベルでの自動評価に使える可能性があることを示した。しかし，機械翻訳システムの翻訳品質を高めていくためには，単にシステム全体として流暢さが向上したかどうかを評価するだけでなく, システム訳と人間訳の間にどのような違いがあるのかを発見し，その違いを埋めていくために取り組むべき課題を明らかにする必要がある。システム訳と人間訳の間の違いを見い出す方法の一つとして, システム訳に特徴的な素性を（人間訳に特徴的な素性と見比べながら）観察するという方法が考えられる。

システム訳あるいは人間訳に特徴的な素性は, サポートベクターマシンによる機械学習で各素性に付与される重みに基づいて特定することができる。この重みの値が正ならば人間訳らしさを表わし，負ならばシステム訳らしさを表わす。重みの絶対値が大きいほど，人間訳らしさあるいはシステム訳らしさをより強く特徴付ける素性である.

システム訳 $\mathrm{a}$ を分析対象とし, 対応単語対と未対応単語の両方を素性として用いた場合について各素性の重みを求めた。重みの絶対値が大きい素性の上位 30 個を表 13 に示す.

まず，表 13 に示した素性のうち，一般にテキストでの出現頻度が高いと考えられる代名詞，冠詞，接続詞に関連する素性で示される特徴について議論する.

（1）表 13 を見ると, 人間訳には, 第 1 位の未対応単語 nonalign_jpn (同) や第 3 位の nonalign_jpn （同氏）という素性や, 第 14 位の nonalign_eng(he), 第 20 位の nonalign_eng(we) という素性が現れている。このことは, 英語の代名詞が日本語の代名詞としては表わされず,「同首相」や「同グループ」のような接頭辞「同」を持つ照応表現や「同氏」という照応表現に訳されていることを示している。一方, システム訳 $a$ には, 第 6 位の対応単語対 $\operatorname{align}(\mathrm{it}$, それ) や第 21 位の lign(its, その) という素性が現れている.このことから, 英語の代名詞が日本語の代名詞として直訳されていることが読み取れる。このような違いは,例えば，次の英文 (E3) に現れる we やheの訳し方に見られる.

(E3) "We have an exchange rate which seems to me to make sense," he told foreign journalists in Rome.

(H3) 同首相は，ローマで外国特派員に対し，「為替レートについては妥当なものと判断している」と述べた.

（M3）「我々は，私には意味をなすように思われる為替レートを持つ」と，彼は， ローマの外国人記者に告げた。

代名詞を直訳すると，原文が伝えている意味と異なる意味を伝える翻訳文が生成された
表 13 重みの絶対値が大きい素性

り，文意は同じでも不自然で読みにくい翻訳文が生成されてしまうという問題が生じることがある，従って，英語での代名詞による照応を日本語では他の表現による照応として翻訳できるようにすることが重要な課題である (吉見 2001).

（2）システム訳aでは，第 10 位に align(the, その) という素性が現れている。 これは, システム訳 a では冠詞 the が「その」と訳される傾向があることを意味している。システム訳 aにおいて the が常に「その」と訳されるわけではないが, 例えば次の英文 (E4)に対するシステム訳 (M4) では, the countryが「その国」と訳されている。一方, 人間訳 $(\mathrm{H} 4)$

は, 代名詞の場合と同様に the が接頭辞「同」と訳されているため, 自然な翻訳文となっている。

(E4) Mexican agriculture minister Francisco Labastida Ochoa said the country needs to raise coffee productivity to boost foreign export incomes.

(H4) メキシコのラバスティダ農牧・農村開発相は, 輸出収入を増加するため, 同国はコーヒーの生産性を高める必要がある，と述べた。

(M4) メキシコの農業大臣 Francisco Labastida Ochoa は言った。その国は, コー ヒー生産性を増大対外輸出収入に上げる必要があると.

（3） システム訳 a における第 2 位の align（and, そして）と第 4 位の align（and, 及び）という素性に着目して, システム訳 a と人間訳での接続詞 and の訳し方を比較する。まず, and が複数の名詞句 $N P$ を結合している表現 “ $N P_{1}$ and $N P_{2}$ ” を含む英文の人間訳とシステム訳 aを調査した。人間訳では, and は読点や「と」，「や」，「および」などに訳し

おり，やや大袈乷な印象を受ける。

(E5) Virat said investors were worried about the Thai economy and the coalition government's stability.

（H5）Virat氏は, 投資家は, タイ経済と連立政権の安定性を懸念している，と指摘した.

（M5）Viratによれば，投資家は，夕イの経済，及び，連立政権の安定性について心配した。

システム訳 a 以外の二つのシステム訳についても同様の調査をしたところ，システム訳 bでは「と」，「，および」，「そして」などにほぼ適切に訳し分けられていた。また，シス

ステム訳 $\mathrm{c}$ のような訳し分けを実現することはそれほど困難ではないと考えられる.次に， and が複数の動詞句を結合している表現を含む英文の人間訳とシステム訳 a を調査した。その結果, 人間訳では and は動詞の連用形に訳されているのに対して, システ么訳 aでは (M6)のように常に「〈動詞の連用形〉, そして,」と訳されていた.

(E6) Japan is the world's leading consumer of palladium and Russia is the world's largest exporter.

（H6） 日本は世界的にも大口のパラジウム消費国であり， ロシアは世界最大の輸出国.

（M6）日本は，パラジウムの世界の主要な消費者であり，そして，ロシアは，世界で最も大きな輸出業者である。

また, 我々の調査範囲では, システム訳 b とシステム訳 c では常に「〈動詞の終止形〉,

そして,」と訳されていた. and が複数の動詞句を結合している場合, 動詞を連用形にして， and を「そして」と訳さないようにすることもそれほど困難ではないと考えられる。次に，表 13 に示した素性のうち，実験に使用したコーパスが報道記事であることに起因すると考えられる動詞の訳し分けと時間表現について議論する。

(1) システム訳 a では，第 11 位に align(say, 言う) という素性が現れている。一方, 人間訳では，第 23 位の nonalign_jpn(述べる) や第 24 位の nonalign_jpn(語る) という素性が現れている。「述べる」や「語る」を含む人間訳（例えば $(\mathrm{H} 4)$ など）を調査したところ，「述べる」や「語る」に対応する英語表現は say であることが多かった．実験に用いたコー パスには記者会見やインタビューでの発言が含まれているが, このような発言では, say を「言う」と訳すより「述べる」や「語る」などと訳したほうが適切であることが多いため，sayの柔軟な訳し分けを実現する必要がある.

（2）システム訳aでは, 第 17 位に align(on Wednesday, 水曜日に), 第 20 位に align (on Thursday,木曜日に)，第 26 位 align(on Tuesday, 火曜日に) という素性が現れている。このことから，システム訳 aでは (M7)のように曜日が忠実に訳されていることが読み取れる。一

方，人間訳では，第 7 位に nonalign_eng(Wednesday), 第 11 位に nonalign_eng(Monday),第 17 位に nonalign_eng(Thursday) という素性が現れている。このことは, 次の人間訳 (H7)のように，曜日が直訳されていないことを示している.

(E7) The senate is expected to begin debate on the amendment on Wednesday.

(H7) 上院での同案の審議は, 5 日から開始される見通し.

（M7）上院は，水曜日に修正に関して討論を始めることを期待されている.

人間訳で曜日が直訳されていない理由は，英語の報道記事では時間を曜日で表わすのに対して，日本語の記事では日付で表わすという文体上の違いにある。単語対応付け結果という素性によってこのような文体的な違いも浮き彫りになることは興味深い.

## 5 おわりに

本稿では, 人間訳とシステム訳を訓練事例とした機械学習によって構築した識別器を用いてシステム訳の流暢さを自動評価する手法について述べた。提案手法では，人間訳とシステム訳の流暢さの違いを捉える手がかりとして，英文と人間訳の間，および英文とシステム訳の間で単語対応付けを行なった結果を利用した，提案手法は，識別器を構築する際に対訳コーパスを必要とするが，評価対象文を評価する際には参照訳を必要としない. さらに，大量の訓練事例に流暢さの評価値を付与する必要もない.

検証実験の結果，(1) 提案手法は, 素性として対応単語対だを使用した場合, $93.7 \%$ 識別正解率で人間訳とシステム訳の識別が可能であることと， (2) システム訳を流暢さの側面から 4
段階に分けて識別正解率の低下を正確確率検定と残差分析で検定したところ, 流暢さの評価值が上がるにつれて，対応単語対だけを素性とした場合の提案手法の識別正解率が有意水準 $5 \%$有意に低下することが確認できた。この識別正解率の低下傾向は, 提案手法によってシステムレベルでの評価を支援できることを示唆している。 さらに，サポートベクターマシンによる機械学習で各素性に付与される重みに基づいてシステム訳に特徴的な素性を特定することができるため，このような素性を含む文を観察することによって文レベルでの特徴分析を行なうこともできる.

今後の課題は, 辞書と規則に基づく方式以外の機械翻訳システム, 英語と日本語以外の言語対, 報道記事以外のテキストなど様々な設定条件の下で提案手法の有効性の検証を行なうことである。

## 参考文献

Albrecht, J. S. and Hwa, R. (2007a). "A Re-examination of Machine Learning Approaches for Sentence-Level MT Evaluation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 880-887.

Albrecht, J. S. and Hwa, R. (2007b). "Regression for Sentence-Level MT Evaluation with Pseudo References." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, pp. 296-303.

Banerjee, S. and Alon, L. (2005). "METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments." In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72.

Corston-Oliver, S., Gamon, M., and Brockett, C. (2001). "A Machine Learning Approach to the Automatic Evaluation of Machine Translation." In Proceedings of the 39th Annual Meeting of the Association for Computational Linguistics, pp. 148-155.

Doddington, G. (2002). "Automatic Evaluation of Machine Translation Quality Using N-gram Co-Occurrence Statistics." In Proceedings of the 2nd Human Language Technologies Conference, pp. 128-132.

Gamon, M., Aue, A., and Smets, M. (2005). "Sentence-level MT evaluation without reference translations: Beyond language modeling." In Proceedings of EAMT 10th Annual Conference, pp. 103-111.

Kotani, K., Yoshimi, T., Kutsumi, T., and Sata, I. (2009). "Validity of an Automatic Evaluation of Machine Translation Using a Word-alignment-based Classifier." In Wenjie Li and Diego

Mollá-Aliod (Ed.), Computer Processing of Oriental Languages: Language Technology for the Knowledge-Based Economy, Vol. 5459 of Lecture Notes in Artificial Intelligence, pp. 91-102. Springer.

Kulesza, A. and Shieber, S. M. (2004). "A Learning Approach to Improving Sentence-Level MT Evaluation." In Proceedings of the 10th International Conference on Theoretical and Methodological Issues in Machine Translation, pp. 75-84.

森敏昭, 吉田寿夫（編著） (2006). 心理学のためのデータ解析テクニカルブック. 北大路書房.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.

Papineni, K., Roukos, S., Ward, T., and Zhu, W. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Paul, M., Finch, A., and Sumita, E. (2007). "Translation quality prediction using multiple automatic evaluation metrics." 言語処理学会第 13 回年次大会発表論文集, pp. 95-98.

Quirk, C. B. (2004). "Training a Sentence-Level Machine Translation Confidence Measure." In Proceedings of the 4th International Conference on Language Resources and Evaluation, pp. 825-828.

隅田英一郎, 佐々木裕, 山本誠一 (2005). 機械翻訳システム評価法の最前線. 情報処理, 46 (5), pp. 552-557.

Sun, G., Liu, X., Cong, G., Zhou, M., Xiong, Z., Lee, J., and Lin, C. (2007). "Detecting

Erroneous Sentences using Automatically Mined Sequential Patterns." In Proceedings of the

45th Annual Meeting of the Association for Computational Linguistics, pp. 81-88.

田中元貴, 南條浩輝, 吉見毅彦 (2008). 機械翻訳文と人間による翻訳文で構築した識別器によ

る機械翻訳システムの自動評価. 言語処理学会第 14 回年次大会発表論文集, pp. 865-868.

田中敏, 山際勇一郎 (2005). 新訂ユーザーのための教育 ・ 心理統計と実験計画法. 教育出版.

Utiyama, M. and Isahara, H. (2003). "Reliable Measures for Aligning Japanese-English News

Articles and Sentences." In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 72-79.

Vapnik, V. N. (1998). Statistical Learning Theory. Wiley-Interscience.

吉見毅彦 (2001). 英日機械翻訳における代名詞翻訳の改良. 自然言語処理, 8 (3), pp. 87-106.

## 略歴

吉見毅彦：1987 年電気通信大学大学院計算機科学専攻修士課程修了. 1999 年神戸大学大学院自然科学研究科博士課程修了. (財) 計量計画研究所 (非常
勤)，シャープ（株）を経て，2003 年より龍谷大学理工学部勤務. 2004 年よ

り 2008 年まで（独）情報通信研究機構専攻研究員を兼任.

小谷克則: 2004 年関西外国語大学外国語学研究科博士課程修了 (英語学博士). 2002 年より 2008 年まで（独）情報通信研究機構特別研究員. 2004 年より関西外国語大学外国語学部勤務.

九津見毅：1990 年大阪大学大学院工学研究科修士課程修了（精密工学一計算機制御). 同年シャープ株式会社に入社. 現在, 同社ビジネスソリューション事業本部要素技術開発センター新規事業開発室主事. 1990 年より機械翻訳システムの研究開発に従事.

佐田いち子：1984 年北九州大学文学部英文学科卒業. 同年シャープ（株）に入社. 現在, 同社ビジネスソリューション事業本部要素技術開発センター新規事業開発室副参事. 1985 年より機械翻訳システムの研究開発に従事.

井佐原均：1978 年京都大学工学部卒業. 1980 年同大学院修士課程修了. 博士 (工学)。1980 年通商産業省電子技術総合研究所入所. 1995 年郵政省通信総合研究所関西支所知的機能研究室室長. 情報通信研究機構上席研究員を経て, 現在，豊橋技術科学大学情報メディア基盤センター教授. 自然言語処理,機械翻訳の研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, 日本認知科学会, 各会員.

$(2008$ 年 4 月 22 日 $\quad$ 受付 $)$
$(2009$ 年 4 月 4 日 $\quad$ 再受付 $)$
$(2009$ 年 9 月 7 日 $\quad$ 再々受付 $)$
$(2009$ 年 10 月 27 日 $\quad$ 採録)