機械翻訳結果の自動評価値を用いて人手評価値を予測する
To predict human evaluation score of a machine translation result by automatic evaluation score
元山梨英和大学教授

江原暉将1967 年早稲田大学理工学部卒。同年 NHK 入局。2003 年諏訪東京理科大学教授。2009年山梨英和大学教授。2015 年退職。アジア太平洋機械翻訳協会（AAMT）／Japio 特許
翻訳研究会委員。

1

表1

はじめに内容の伝達レベルの評価

評点

説明

5

す べ て の 重 要 情 報 が 正 確 に 伝 達 さ れ て い る。
（100%）

4

ほとんどの重要情報は正確に伝達されている。
（80% ～）

3

半分以上の重要情報は正確に伝達されている。
（50% ～）

2

いくつかの重要情報は正確に伝達されている。
（20％～）

1

文意がわからない、もしくは正確に伝達されている重要情報はほとんどない。（～20%）

機械翻訳の精度が向上するにつれて、翻訳結果の評価は、研究の観点からだけでなく実用の観点からも重要になってきている。翻訳は極めて人間的な作業であるため、機械で自動評価をすることが難しく、最終的には人手評価に頼らざるを得ない現状である。しかし人手評価にはコストも時間もかかるため、何とか精度の良い自動評価手法を得ようと盛んに研究が行われている [1][2]。本文では、自動評価結果に基づいて人手評価結果を推定する手法について考察する。自動評価は、まだまだ精度が低い

特許文書の機械翻訳結果の人手評価については、文が、現状でどの程度の誤差で人手評価結果を推定できる

献 [3] で詳細に検討され、「内容の伝達レベルの評価」がかを調べることが目的である。

提案されている 2。これは、機械翻訳結果が、原文の内容

機械翻訳の評価には、大きくシステムレベルの評価とをどの程度正確に伝達しているかを、【表 1】に示す 5

文レベルの評価がある。システムレベルの評価とは、複段階の評価基準で主観的に評価するものである。
【表 1】数の機械翻訳システムがあった場合に、どの機械翻訳シを用いて文レベルで評価を行うものであるが、複数の文ステムが精度が良いかを評価するものである。一方、文に対して内容の伝達レベルの評価を行うことで、システレベルの評価は、具体的な翻訳対象文 をある機械翻訳ムレベルの評価にも用いることができる。

1

システムで翻訳した場合、どの程度精度良く翻訳できた

一 方、 自 動 評 価 手 法 と し て は、 多 く の も の が 提 案かを評価するものである。システムレベルの評価であれされているが、本文では、代表的な評価基準である

ば、多数の試験文を翻訳させて、それらの良否を総合的BLEU[4]、RIBES[5]、IMPACT[6] の 三 種 に つ い て 考 察に判断できるが、文レベルの評価では個々の文ごとの評する。BLEU は自動評価基準として、最初に提案され、価になる。従ってシステムレベルの評価より文レベルのその後も標準的な評価手法として広く用いてられてい評価のほうが難しい。

る。RIBES と IMPACT は、我が国の研究者によって考案された評価基準であり、英語と日本語あるいは中国

1302

翻訳対象は「文」である必要はない。例えば特許のタイトルなどは「名詞句」が多い。そのため、正確には「文レベル」ではなく、「セグメントレベル」という用語を用いるが、ここでは分かりやすい「文レベル」という言い方をする。

2

後述する WAT2016 では内容の伝達レベルの評価を JPO
adequacy と呼んでいる。本文では更に簡略に adequacyと呼ぶことがある。

【図1】には標準偏差の範囲も示している。
【図【図 1】には標準偏差の範囲も示している。
1】には標準偏差の範囲も示している。
5554.5
4.5
4.5
444
3.5
3.5
3.5
3332.52.5
2.5
2221.51.5
1.5
111 000

語と日本語など語順の大幅に異なる言語間の翻訳結果機械翻訳文を比較することで評価を行う。評価値は 0から 1 の範囲内にあり、値が大きいほど評価が高い。

2 自動評価値と人手評価値の関係

B
B
BRRRIMIM
IM

0.20.20.2

0.4
0.40.45554.54.54.54443.5
3.5
3.5
3332.52.5
2.52221.5
1.5
1.5
111 000

ADEQUACY
ADEQUACY
ADEQUACY関係を調査する。このようなデータとして WAT2016

書の機械翻訳タスクとして英日、中日、韓日とその逆方

evaluation と JPO adequacy（内容の伝達レベルの40.2
0.2
0.2

0.4
0.4
0.4

3.5，4，4.5，5 の 9 個の値をとりうる。人手評価の各値に対して、その値をとるデータに対する自動評価値の平均値の変化を【図 1】に示す。【図 1】には標準偏差の範囲も示している。
人手評価値の 5 と 1 の間で自動評価値の平均値の差は BLEU、IMPACT、RIBES の順に小さくなるが、標準偏差の値も、その順に小さくなっている。そこで人手評価値が 5 の平均値から 1 の平均値を引いた値（DA）

ADEQUACY
ADEQUACY
ADEQUACY

adequacy の評価者は翻訳の専門家であり 2 名である。

階評価であるので 2 名の平均値は 1，1.5，2，2.5，3，5
55
4.5
4.5
4.5
444
3.5
3.5
3.5
333
2.5
2.5
2.5
222
1.5
1.5
1.5
11
1 0
00

0.8
0.8
0.8

11
1555
4.5
4.5
4.5
444
3.5
3.5
3.5
3332.52.52.52221.5
1.51.5111 000図
図
図0.20.2
0.2

0.4
0.60.40.60.4 IMPACT 0.6

0.8
0.80.8IMPACT
IMPACT111（c）IMPACT(c)(c) IMPACTIMPACT
図
1 自動評価値(横軸)と人手評価値(縦軸)の関係
自動評価値(横軸)と人手評価値(縦軸)の関係
図1
図 1 自動評価値(横軸)と人手評価値(縦軸)の関係

図1(c) IMPACT
自動評価値 ( 横軸) と人手評価値 ( 縦軸 ) の関係
表2

DA、SD、SD/DA の値

人手評価値の5 と1の間で自動評価値の平均値の差は
人手評価値の
1
人手評価値の 55 とと DA1 の間で自動評価値の平均値の差はの間で自動評価値の平均値の差は
SD
SD/DA
BLEU、IMPACT、RIBESの順に小さくなるが、標準偏差
BLEU、IMPACT、RIBESの順に小さくなるが、標準偏差
BLEU
0.362 の順に小さくなるが、標準偏差
0.175
0.483
BLEU、IMPACT、RIBESの値も、その順に小さくなっている。
そこで人手評価値が5の値も、その順に小さくなっている。
そこで人手評価値がRIBES
0.218
0.103
0.473 5の値も、その順に小さくなっている。
そこで人手評価値が5IMPACT

0.3160.125【図2】【図【図 2】2】を推定しを推定しを推定しに示す。
【に示す。
【に示す。
【と標準偏と標準偏と標準偏に加えてに加えてに加えてける
IM
ける
ける IM
IM日と同一
日と同一
日と同一

0.396

〔3〕
〔3〕
〔3〕と各人手評価値に対する標準偏差の平均値（SD）および SD を DA で割った値（SD/DA）を【表 2】に示す。

0.6
0.6
0.6(b)(b) RIBESRIBES

対して、JPO adequacy での評価が行われた。JPO

手評価結果の関係を示す。人手評価は 1 から 5 の 5 段

RIBESRIBES
RIBES（b）RIBES(b) RIBESの う ち pairwise evaluation で の 上 位 3 位 の 結 果 に【図 1】に中日の翻訳結果に対する自動評価結果と人【表2】【表【表 2】
2】
小さくな
小さくな
小さくな
誤差が最誤差が最誤差が最333【図1【図1【図 1ら人手評
ら人手評
ら人手評
【図【図 2】2】【図2】評価）が用いられた。参加者が提出した機械翻訳結果

では人手評価結果として JPO adequacy を用いる。

111

機械翻訳技術の向上

向の計 6 タスクが行われ、人手評価として、pairwise

人手評価の文数は各タスクごとに 200 文である。本文

0.80.80.8(a) BLEU

ず同一の機械翻訳文に対する人手評価値と自動評価値の価結果データを利用する [7]。WAT2016 では、特許文

0.60.60.6(a)（a）BLEU(a) BLEU
BLEU

自動評価値から人手評価値を推定するにあたって、ま（Workshop on Asian Translation, 2016） で の 評

BLEU
BLEU
BLEU

ADEQUACY
ADEQUACY
ADEQUACY

IMPACT ともに理想的な翻訳とみなせる参照翻訳文とADEQUACY
ADEQUACY
ADEQUACYの評価に適しているといわれている。BLEU、RIBES、の平均値の平均値の平均値
対する標
対する標
対する標(SD/DA)(SD/DA)(SD/DA)

自動評価値から人手評価値を推定す
る【 表 2】 か ら SD/DA は BLEU、RIBES、IMPACT3の順に小さくなっており、IMPACT が人手評価値を推【図 1】と【表 2】を参考にして自動評価値（IMPACT）定するのに誤差が最も小さいことがわかる。

から人手評価値（JPO adequacy）を推定する関数（グラフ）を【図 2】のように定める。
【 図 2】 の 関 数 を 用 い て、IMPACT 値 か ら JPO
adequacy を推定した推定値を実測値から引いた残差

YEAR BOOK 2O17 303

【図 1】と【表 2】を参考にして自動評価値(IMPACT)から人手評価値(JPO adequacy)を推定する関数(グラフ)を【図 2】のように定める。

果も示してある。韓日と英日における IMPACT 値から5

JPO adequacy を推定する関数は中日と同一で【図 2】4.51ADEQUACY4に示すものである。

3.532.5

4 推定結果の考察

21.5
100.20.60.8

1

差は、ほぼ±1.5 の範囲にある。実測値が小さい場合は、

図 2 自動評価値(横軸)から人手評価値(縦軸)を自動評価値（横軸）から人手評価値（縦軸）を推定する関数

残差が負（実測値が推定値より小さい）となる傾向が高推定する関数

く、実測値が大きい場合は、残差が正（実測値が推定値の値を【図 3（a）】に示す。【図 3】には、実測値の各【図 2】の関数を用いて、IMPACT 値から JPO adequacy
値に対する残差の平均値と標準偏差を示している。まを推定した推定値を実測値から引いた残差の値を【図 3 (a)】た、【図 3】には、中日の結果に加えて韓日と英日の結に示す。
【図 3】には、実測値の各値に対する残差の平均値より大きい）となる傾向が高い。なお、韓日の実測値 1，5と標準偏差を示している。また、【図 3】には、中日の結果
5関係

54.5に加えて韓日と英日の結果も示してある。韓日と英日にお4.54.544ける IMPACT
値から JPO adequacy を推定する関数は中43.5
3.5
3.5
日と同一で【図2】に示すものである。
3332.5
2.5
2.5
222
1.5
1.5
1.5
111 -2-1.5-1-0.5
00.5
11.5
2-2-1.5-1-0.5
00.5
11.5
2-2-1.5-1-0.5 RESIDUALS
00.5
11.52ADEQUACYADEQUACYADEQUACY

値の差は標準偏差価値が 5〔3〕RESIDUALSRESIDUALS

(a)
（a）中日
(a) 中日中日

ADEQUACY
ADEQUACY
ADEQUACY(a) 中日5554.54.5
4.54443.5
3.5
3.53332.5
2.5
2.5
222
1.5
1.5
1.5
11
1 -2
-2-2

-1.5
-1.5
-1.5

-1-1-1-0.5
0-0.5
0-0.5 RESIDUALS
0RESIDUALSRESIDUALS

0.5
0.5
0.5

11
1

1.5
1.5
1.5

222（b）韓日(b) 韓日ADEQUACY
ADEQUACY
ADEQUACY(b)(b) 韓日韓日5554.54.5
4.5
4443.53.53.53332.5
2.5
2.5
2221.51.5
1.5
111 -2-2-2-1.5-1.5-1.5-1-1-1-0.5
0-0.5
0-0.5 RESIDUALS
0RESIDUALSRESIDUALS

0.5
0.5
0.5

11
11.5
1.5
1.5

222（c）英日(c)(c) 英日英日
図3
人手評価値の実測値(縦軸)と残差(横軸)の関係
図
図3
3 人手評価値の実測値(縦軸)と残差(横軸)の関係
人手評価値の実測値(縦軸)と残差(横軸)の関係

図3304【図 3】を見ると、英日の実測値 1 と 1.5 を除き、残IMPACT

図2

10.4(c) 英日
人手評価値の実測値（縦軸）と残差（横軸）の関係

3.
推定結果の考察3.
3. 推定結果の考察
推定結果の考察【図3】を見ると、英日の実測値
1と1.5 を除き、残差【図3】を見ると、英日の実測値【図 3】を見ると、英日の実測値 11とと 1.51.5 を除き、残差を除き、残差1.5，2 はデータが存在しなかった。また、英日の実測値 1 のデータ数は 1 であり、1.5 のデータ数は 12 でる傾向が高い。なお、韓日の実測値
1, 1.5,2 はデータが存あった。
る傾向が高い。なお、韓日の実測値る傾向が高い。なお、韓日の実測値 1,1, 1.5,1.5, 22 はデータが存はデータが存在しなかった。また、英日の実測値
1のデータ数は1 であ在しなかった。また、英日の実測値
1のデータ数は在しなかった。また、英日の実測値
1 のデータ数は 11 であであ
英日の実測値 1 と 1.5 の場合の推定値と実測値の齟り、1.5のデータ数は12であった。
り、1.5のデータ数は12であった。
り、1.5 のデータ数は 12 であった。
齬について考察する。実測値
1 の原文・参照翻訳文・
英日の実測値
英日の実測値 11とと 1.51.5 の場合の推定値と実測値の齟齬にの場合の推定値と実測値の齟齬に英日の実測値
1と1.5の場合の推定値と実測値の齟齬に
機械翻訳文は以下の通りである。
ついて考察する。実測値
1 の原文・参照翻訳文・機械翻訳
ついて考察する。実測値
ついて考察する。実測値 11 の原文・参照翻訳文・機械翻訳の原文・参照翻訳文・機械翻訳
文は以下の通りである。
Another embodiment provides a green tea
文は以下の通りである。
文は以下の通りである。
Another
embodiment
providesgreen
tea
polyphenol
polyphenol
esterified
witha
least
fatty
Another
providesagreentea
polyphenol
Another embodimentembodiment
providesaatgreentea twopolyphenol
esterified
with
at
least
two
fatty
acids.
esterified with
with at
at least
least two
two fatty
fatty acids.
acids.
acids.
esterified
別の実施形態は、少なくとも２つの脂肪酸でエステル化
別の実施形態は、少なくとも２つの脂肪酸でエステル化
別の実施形態は、少なくとも２つの脂肪酸でエステル化
別の実施形態は、少なくとも2 つの脂肪酸でエステされた緑茶ポリフェノールを提供する。
された緑茶ポリフェノールを提供する。
された緑茶ポリフェノールを提供する。
ル化された緑茶ポリフェノールを提供する。
別の実施形態は、少なくとも２つの脂肪酸を有するグリ別の実施形態は、少なくとも２つの脂肪酸を有するグリ
別の実施形態は、少なくとも２つの脂肪酸を有するグリーン緑茶ｅｓｔｅｒｉｆｉｅｄを提供する。
別の実施形態は、少なくとも2 つの脂肪酸を有するーン緑茶ｅｓｔｅｒｉｆｉｅｄを提供する。
ーン緑茶ｅｓｔｅｒｉｆｉｅｄを提供する。
機械翻訳文は原文に含まれる技術用語”polyphenol”
が訳グリーン緑茶 esterified を提供する。
機械翻訳文は原文に含まれる技術用語”polyphenol”
機械翻訳文は原文に含まれる技術用語”polyphenol” が訳が訳されておらず、”esterified”も原文のままである。
従って、人されておらず、”esterified”も原文のままである。
従って、されておらず、”esterified”も原文のままである。
従って、人人
機械翻訳文は原文に含まれる技術用語“polyphenol”
が手評価値が手評価値が 11 となったと思われる。一方、訳文の前半は参となったと思われる。一方、訳文の前半は参手評価値が1となったと思われる。一方、訳文の前半は参訳されておらず、“esterified” も原文のままである。
照翻訳文と機械翻訳文が一致しておりIMPACT の値が大照翻訳文と機械翻訳文が一致しており照翻訳文と機械翻訳文が一致しており IMPACT
IMPACT の値が大の値が大従って、人手評価値が1となったと思われる。一方、
きく(0.671)なったと推定される。実測値が1.5の場合で、きく(0.671)なったと推定される。実測値が1.5の場合で、きく(0.671)なったと推定される。実測値が 1.5 の場合で、IMPACT
訳文の前半は参照翻訳文と機械翻訳文が一致しておりIMPACT 値が値が 0.60.6 以上の原文・参照翻訳文・機械翻訳文の以上の原文・参照翻訳文・機械翻訳文のIMPACT
値が0.6以上の原文・参照翻訳文・機械翻訳文のデータは以下の4データである。
IMPACTの値が大きく（0.671）なったと推定される。
データは以下の 44 データである。
データである。
データは以下のFIG.
15isarepresentation
of
one
unit
of aFIG.
aof
one
unita
実測値が1.5is
IMPACT 値がFIG. 15
15isの場合で、
a representation
representationof 0.6one 以上の原文
unit ofof ・acarboxymethyl
cellulose
molecule.
carboxymethylcellulose
molecule.
carboxymethyl cellulose molecule.
参照翻訳文・機械翻訳文のデータは以下の4 データで
図１５は、カルボキシメチルセルロース分子の１つの単図１５は、カルボキシメチルセルロース分子の１つの単図１５は、カルボキシメチルセルロース分子の１つの単ある。
位の模式図である。
位の模式図である。
位の模式図である。
図１５は、したセルロース分子の１つのユニットの表現
FIG.
15 is a representation of one unit of a
図１５は、したセルロース分子の１つのユニットの表現
図１５は、したセルロース分子の１つのユニットの表現である。
carboxymethyl
cellulose molecule.
である。
である。

図 15 は、カルボキシメチルセルロース分子の 1 つThe
coatings comprising
a SOF
are resistantto surface
TheThe coatings
coatings comprising
comprising aa SOF
SOF areare resistantresistant toto surface
surfaceの単位の模式図である。
wearordamage.
wearordamage.
wear or damage.
図
15 は、したセルロース分子の 1 つのユニットのＳＯＦを含むコーティングは、表面摩耗または損傷に対ＳＯＦを含むコーティングは、表面摩耗または損傷に対ＳＯＦを含むコーティングは、表面摩耗または損傷に対して耐性である。
表現である。
して耐性である。
して耐性である。
＼を含むコーティングは、表面の摩耗または損傷に抵抗＼を含むコーティングは、表面の摩耗または損傷に抵抗＼を含むコーティングは、表面の摩耗または損傷に抵抗される。
される。
Thecoatings comprising a SOF are resistant
される。
to surface wear or damage.
This
process andthe reaction
performing theThis
This processprocess andand thethe reaction
reaction performing
performing thethetransformation
isknown
assubstitution.
transformation
isknown
assubstitution.
transformation is known as substitution.
このようなプロセスおよび変換を行う反応は、置換としこのようなプロセスおよび変換を行う反応は、置換としこのようなプロセスおよび変換を行う反応は、置換として知られている。て知られている。て知られている。

SOF を含むコーティングは、表面摩耗または損傷に対して耐性である。

必要である。
今回行った手法は、非常に単純なものである。用いて＼を含むコーティングは、表面の摩耗または損傷に抵いる自動評価規準も IMPACT のみであり、推定するた抗される。

めの関数も単純な区分線形関数である。今後、多数の自動評価規準を組み合わせることや、より複雑な推定手法

This process and the reaction performing theを用いることなどが考えられる。

transformation is known as substitution.
このようなプロセスおよび変換を行う反応は、置換として知られている。
変換を行うこの処理及び反応は、代替として知られている。

The resin composition 66 is a composition forforming the resin layer 63 by hardening.

4

機械翻訳技術の向上

樹脂組成物 66 は、硬化により樹脂層 63 を形成する組成物である。
66 は、硬化樹脂組成物によって樹脂層 63 を形成するための組成物である。
第 1 と第 2 の例は、技術用語が誤訳となっている。第3 の例は and の並列範囲を間違えており、第 4 の例は、“resin composition” の訳出し位置が誤っている。いずれの例でも、誤りは一部の重要な用語の誤訳または訳出し位置の誤りであり、文全体としては参照翻訳文と機械翻訳文は類似している。
このように文の一部ではあるが重要な部分に誤りがある場合、人手評価値は低くなる。一方、文全体の類似性を計測して評価する自動評価手法では評価値が高くなってしまう傾向がある。

5 まとめ
機 械 翻 訳 の 文 レ ベ ル の 評 価 に お い て、 自 動 評価値（IMPACT）から人手評価値（内容の伝達レベル）を推定する手法を試みた。その結果、5 段階評価の中で、多くの場合±1.5 の範囲で推定することができた。
人手評価の実測値は小さいが、自動評価値からの推定値が大きく、両者の齟齬が大きい例について考察したところ、文の一部ではあるが重要な部分に誤りがある例が多かった。今後、文の構成要素の中での重要性に着目した自動評価手法の開発が望まれる。特許文献の場合は、特に技術用語の訳語の正確性を考慮した自動評価手法がYEAR BOOK 2O17 305

参考文献[1] 越前谷博：自動評価手法がもたらした歓喜と失望、そして、希望、特許文書の機械翻訳結果評価方法検討会発表資料、2012 年 9 月 7 日。
http://aamtjapio.com/kenkyu/files/
discussion01/AAMT_Japio_discus(20120907)-01.pdf[2] 磯崎秀樹：翻訳自動評価法─翻訳の質を推定する技術の進化─、第 4 回特許情報シンポジウム発表資料、2016 年 11 月 25 日、pages 31-38。
http://aamtjapio.com/kenkyu/files/
symposium2016/AAMT_symposium_20161125.pdf[3] 特許庁：特許文献機械翻訳の品質評価手法に関する調査報告書、平成 26 年 2 月。
https://www.jpo.go.jp/shiryou/toushin/chousa/pdf/kikai_honyaku/h25_01.pdf[4] Kishore Papineni, Salim Roukos, Todd
Ward, and Wei-Jing Zhu : BLEU: a Method
for Automatic Evaluation of MachineTranslation, Proceedings of the 40th
Annual Meeting of the Association for
Computational Linguistics (ACL), July 2002,
pages 311-318.
[5] 平尾努、磯崎秀樹、Kevin Duh、須藤克仁、塚田元、
永田昌明：RIBES：順位相関に基づく翻訳の自動評価法、言語処理学会第 17 回年次大会発表論文集、2011 年 3 月、pages 1115-1118.
[6] Hiroshi Echizen-ya, Kenji Araki : Automatic
Evaluation of Machine Translation basedon Recursive Acquisition of an Intuitive
Common Parts Continuum, Proceedings ofthe Eleventh Machine Translation Summit(MT SUMMIT XI), Sept. 2007, Page.151158.
[7] Toshiaki Nakazawa, Chenchen Ding, HideyaMino, Isao Goto, Graham Neubig, and Sadao
Kurohashi : Overview of the 3rd Workshop
on Asian Translation, Proceedings of the 3rdWorkshop on Asian Translation (WAT2016),
pages 1-46, Dec. 2016.

306機械翻訳技術の向上

4

YEAR BOOK 2O17 307