新しい機械翻訳自動評価基準
NMGの提案
諏訪東京理科大学システム工学部電子システム工学科教授

江原PROFILE

暉将

1967年早稲田大学理工学部電気通信学科卒。同年NHK入局、技術現業局を経て1970年より放送技術研究所に所属。情報検索、音声認識、機械翻訳の研究などに従事。2003年より現職。

eharate @ rs.suwa.tus.ac.jp

1

最近では、同様の評価基準として、（1）
Fluency（流暢はじめにさ、自然性）と（2）Adequacy（適切さ、妥当性）が用いられている。例えば、「私は少年である」という日機械翻訳は発展途上の技術であり、常に改良が加えら本文を英語に翻訳した場合、"I am a girl"は（1）は高れている。その改良内容は、辞書の充実であり、また構いが（2）は低い。一方、"Me is boy"は（1）は低いが文規則の精緻化である。時には、全く新しい翻訳方式に（2）は高い。これらの評価基準を用いて人手によってパラダイムシフトされることもある。これらの改良が加機械翻訳結果を評価することができる。次節で述べる自えられると、その有効性を評価する必要がある。従来は、

動評価基準は、（1）と（2）の人手評価基準を置き換え翻訳試験文を改良前と改良後の2つのシステムで翻訳さうるものでなければならない。

せ、両者の翻訳結果を人手によって評価することで改良の有効性を確認してきた。しかし、このような人手による評価はコストが高く、時間もかかるという欠点がある。

3

自動評価の基準

そこで正解翻訳文（基準翻訳文という）を人手で作成しておいて、機械翻訳結果と基準翻訳文を自動比較するこ

人手による評価の高コスト性を克服するものとして機とで機械翻訳の精度を評価する新しい評価手法が考案さ

械翻訳結果の自動評価基準が提案された。その中でれた。本文では、これらの評価手法の概要を解説するとBLEU（Bilingual Evaluation Understudy）が最も良共に、筆者らが考案した新しい自動評価基準NMGにつく利用されている。
BLEUは評価対象となる機械翻訳文と人手で作成いて述べる。

した正解翻訳文（基準翻訳文）を比較して、その表現の2一致度合いに基づいて評価値とするものである※2。翻訳には多数の正解がありうるので、正解文を複数用意して人手による評価の基準比較するのが普通である。このような自動評価手法は、人手による評価基準の一つとして、Muプロジェクト※1

高速かつ低コストで評価を行える利点があるが人手評価※3で用いた（1）理解容易性と（2）忠実度がある 。前者と比較しての欠点も指摘されている。例えば文献 では、は出力の訳文が翻訳先の言語表現としてどれだけ自然で意味不明の文でありながら、BLEUの評価値が変わらなあるかを評価する指標であり、5段階で評価される。後い場合があることが述べられている。例えばアラビア語者は出力文が入力文の持つ情報をどれだけ忠実に反映しから英語への機械翻訳結果 "Appeared calm when heているかを評価する指標であり、7段階で評価される。

was taken to the American plane， which will to238

Japio 2007 YEAR BOOK

4Part寄稿集

機械翻訳技術の向上

Miami， Florida." のBLEUの値と、意味不明な文比較し、n-gramの一致度を計測する。大規模コーパス"Was being led to the calm as he was would takeを利用することで翻訳先言語のさまざまな表現と比較でcarry him seemed quite when taken" のBLEU値がき、表現の自然性を評価に盛り込むことができる。以下、

注1

NMGの計算法を具体的に説明する。

一致することが指摘されている 。
このようなBLEUの欠点は、次に示す（1）や（2）（1）評価対象文（機械翻訳文）Cを単語列W1，…Wnなどの点から生じている。
（1）
単語の文字面のみの一致に分割する。に基づいて評価しており意味の類似性を考慮していない。

（2）i = 1，…，n に対して、Wi から始まるgramで比較コ（2）
構文的な自然性が評価に盛り込まれてない。
（1）のーパス中に存在する最大のgram数をgrams（Wi ）と欠点を克服する評価基準の一つとしてMETEORが提案する※4されている 。METEORでは、語の屈折などを標準化するstemming（例えば、boysをboyにする）やシソーラス（意味辞書）を用いて意味の類似性を考慮できるようにしている。また、（2）の欠点を克服するために、

注3。そのとき評価値NMG（Normalized MeanGrams）を以下で定義する。
nNMG（C）＝loge（Σi＝1 grams（Wi ）/n ）
たとえば、比較コーパスが以下の4文から成るとして構文的な自然性を評価基準に含める手法の一つとして・ i am a boy

Bllip score（Brown Laboratory for Linguistic

・ you are a girl※5

Information Processing score）がある 。この評価

・ he is a man

基準は、評価対象文と基準翻訳文の双方を依存解析し、・ she is a woman

得られた依存構造の一致率に基づいてスコアを求めるも注2のである 。さらに（1）と（2）の両方の欠点を補う※6基準としてSemantic Roll Overlapが提案されている 。
しかし、文字面以外の一致率に基づく評価には、構文評価対象文（C）を・ she is a girlとすると、n=4であり、評価対象文の4個の単語に対す
るgramsは（依存）解析器やシソーラスなど、何らかの高度なツー・ grams（she）=3ルや言語資源を必要としているという欠点がある。そこ

・ grams（is）=2

で筆者らは、単純なテキストコーパス以外の言語資源を・ grams（a）=2必要とせず、しかも表現の自然性を考慮した評価基準と・ grams（girl）=1してNMG （Normalized Mean Grams）を提案した。

4となるのでNMG（C）＝loge（（3+2+2+1）/4）＝loge（200）＝0.69

新しい自動評価基準NMG

先行研究の調査結果に基づき、表現の自然性を評価すとなる。NMGの値は使用する比較コーパスに依存する。

る新しい評価基準を提案する。この方法は、評価対象文比較コーパスとして大規模な翻訳先言語のコーパスをとを目標言語の大規模コーパス（比較コーパスと呼ぶ）とることもできるし、基準翻訳文集合のみをとることもで

注1
この評価での基準翻訳文の一つは以下のとおり。
"Orejuela appeared calm as he was led to the American plane
which will take him to Miami， Florida."
注2
依存解析とは日本語の係り受け解析に相当し、依存関係は係り受け関係に相当する。

きる。
注3
gramとは連続する単語のことである。gram数とは連続する単語数のことである。

新しい機械翻訳自動評価基準NMGの提案
Japio 2007 YEAR BOOK

239

5

NMGによる評価実験

NMGを用いた評価実験を行う。評価対象システム＊7（system）は文献 で用いたものであり、以下に示す。
・PAJでの翻訳結果（基準翻訳文）: ref
・特許専用規則方式機械翻訳による日英機械翻訳結果: rmt・rmtに対して統計的後編集を施した結果: spe
・統計方式機械翻訳のみによる日英機械翻訳結果:
smt

図1

実験結果

テストデータ（sample）として以下を用いた。これも文献※7で用いたものと同一である。

有意差があると判定された。

・closed test: sample1 188文
・open test: sample2 188文
比較コーパス（corpus）としては以下の2種類を利用

7

実験結果の考察した・基準翻訳文（ref）1文のみ: REF
注4

・米国特許アブストラクトデータ

図1を見ると興味深い事実がいくつか分かる。
: ABS（1）比較コーパスをREFとした場合、規則方式機械翻訳

systemが4通り、sampleが2通り、corpusが2通り結果（rmt）よりも統計的後編集結果（spe）の方あるので、実験の組み合わせは16通りとなるが、cor-が評価値が高い。これは、文献※7に示したBLEUでpus=REF、system=refの組み合わせは意味がない。の評価結果と一致している。しかしながら、比較コ

そこで、実際には14通りを実験した。

ーパスをABSとするとspeよりrmtの方がNMGの評価値が高くなっている。これは、英語としての構6

文的自然性がspeよりrmtの方が高いことを示して実験結果おり、rmtとspeの翻訳結果を目視によって比較した直感的考察結果と一致している。このことから評価実験の結果得られたNMGの平均値（μ）を図1に示す。

NMGによる評価が英語としての構文的自然性を評価するという所望の性質を持っているといえる。

実験した各システム間についてt検定を行った。その（2）先に述べたようにcorpus=REF，sample=1にお結果、corpus=REF， sample=1の場合で、rmtといてsystem=rmtとsystem=smtとではNMGにsmtとの間で有意水準1%で平均値間に有意差がないと有意な差はないが、corpus=ABSとした場合には、判定された。それ以外のすべての組み合わせについては大きな差が出ており、少なくとも、今回用いた統計的機械翻訳（smt）の結果は、規則方式機械翻訳

注4

米 国 に お い て 2000年 に 特 許 明 細 書 と し て 公 開 さ れ た デ ー タ（157,596件）から要約部分のみを抽出したもの。本研究が、「課題」部分を翻訳対象にしているので要約部分のみを用いるのが適切であると考えた。ABSの総文数819,123、総単語数は21,194,662である。

240

Japio 2007 YEAR BOOK（rmt）の結果と比較して、英語としての構文的自然性を有していないといえる注6。

4

Part

（3）最後にcorpus=ABSとした場合、PAJの英文自体寄稿集

機械翻訳技術の向上

参考文献（ref）の評価値が最も高いのは当然であろうが、定※1 長尾真、辻井潤一：Muプロジェクトにおける日英

量的に、例えばcorpus=ABS， sample=2，sys-

翻訳結果の評価、情報処理学会研究報告、自然言

tem=refのNMG（μ）=0.8575であり、これは、語処理47-11、pp.79-88、1985。

平均グラム数e NMG が e 0.8575 =2.35、つまりref中の※2 Kishore Papineni, Salim Roukos, Todd Ward,各単語から始まるABSに存在するgram数が平均

Wei-Jing Zhu : BLEU: a Method for2.35 gramであるということになる。これは、refAutomatic Evaluation of Machineに存在する長い単語列に対してはABSに存在しなTranslation, ACL2002， 2002.

い可能性が高いということを意味しており、ABSの規模が小さすぎたためと考えられる。

※3 Chris Callison-Burch, Miles Osborne, Philipp
Koehn: Re-evaluating the Role of BLEU inMachine Translation Research, 11th8Conference of the European Chapter of theおわりにAssociation for Computational Linguistics,
pp.249-256, 2006.

機械翻訳の新しい自動評価基準としてNMG※4 Satanjeev Banerjee, Alon Lavie : METEOR:（Normalized Mean Grams）を提案し、PAJの基準翻An Automatic Metric for MT Evaluation with

訳文および米国特許アブストラクトデータを用いて、各Improved

種機械翻訳結果の精度や自然性を評価した。その結果、Judgments， Proceedings of the ACL

目視による直感的な評価結果に一致しており、本評価基Workshop on Intrinsic and Extrinsic

準が妥当なものであることが分かった。今後の課題とし

Evaluationて以下が考えられる。

Translation and/or Summarization, pages

・一層大規模な英語コーパスを用いて自然性の評価をす

65-72, Ann Arbor, June 2005.

る・意味や構文の類似性も考慮できるように評価基準を改良する。
・人手での評価結果とNMGの評価結果の関係を明らかにする

Correlation

MeasureswithforHumanMachine※5 Michael Pozar, Eugene Charniak : Bllip: An
Improved Evaluation Metric for MachineTranslation, Brown

UniversityMasterTheses, 2006.
※6 Jesú s Gimé nez, Lluĺ s Má rquez : Linguistic
Features for Automatic Evaluation of
Heterogenous MT Systems，Proceedingsof the Second Workshop on Statistical
Machine Translation, pages 256-264,Prague, June 2007.
※7 江原暉将：規則方式機械翻訳と統計的後編集を組み合わせた特許文の日英機械翻訳、Japio 2006
Year Book、pp.184-187、2006。

注6

ここで用いたSMTでは、92，855文対を用いてGIZA++によって翻訳モデルの学習を行った。

新しい機械翻訳自動評価基準NMGの提案
Japio 2007 YEAR BOOK241