機械翻訳評価のための項目反応理論に基づく一対比較結果の統合
IRT-based Aggregation Model of Pairwise Comparison for Evaluating Machine Translations
京都大学大学院情報学研究科

大谷直樹

2017 年京都大学大学院情報学研究科知能情報学専攻博士前期課程修了。自然言語処理とクラウドソーシングの研究に従事。

otani@nlp.ist.i.kyoto-u.ac.jp075-753-5346

京都大学大学院情報学研究科

中澤敏明

2010 年京都大学大学院情報学研究科知能情報学専攻博士課程修了。博士（情報学）。機械翻訳の研究に従事。

京都大学大学院情報学研究科教授

黒橋禎夫

1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了。博士（工学）。
2006 年 4 月より京都大学大学院情報学研究科教授。自然言語処理、知識情報処理の研究に従事。

284

機械翻訳の国際ワークショップが主催する機械翻訳コ

1 はじめにンペティションのために、いくつかの比較結果の統合手

人手評価は機械翻訳システムの性能を測る際にもっと法が提案されている。そこでは、参加者のシステムが出も信頼のおける手段である。機械翻訳に限らず、文書要力した翻訳文を人手で比較し、その結果を統合して最終約や対話システムの評価のように正解と言える出力が無的なシステムのランキングが算出されている。しかし、数に存在し、単なる表層的な判定ではその正しさが測れ

既存手法は次のような重要な課題を考慮できていない。

ないような自然言語処理の幅広いタスクにおいて、人手推定結果の解釈可能性 : 評価という目的に照らせば、評評価は重要な手段と考えられている。

価結果にもとづいて開発者が機械翻訳システムを改善で近年人手評価のコストを抑制するためにクラウドきる、あるいは評価の実施者が評価セットを点検できるソーシングが使われるようになった。しかしクラウドことが望まれる。しかし、既存手法からはシステム単位ソーシングの作業者は翻訳の専門家ではないため、判断の実数スコアしか得られない。

はしばしば信頼性と一貫性を欠く。

評価者の正確さ : クラウドソーシングの作業者の中に作業結果の品質を上げるためには、クラウドソーシン

は、翻訳文の品質に関して一定の基準をもって判定をグで発注する作業は単純でなければならない。したがっ行える人もいれば、そうでない人もいる（Graham ら，て、多くの先行研究は絶対評価ではなく、一対比較のよ2015）。評価者個人によって異なる翻訳品質に関するうな相対評価を採用している。加えて、最終成果物の誤正確さは重要な要素であるが、既存のモデルはそれを明りを減らすためには、一つの作業を複数の作業者に依頼示的に考慮していない。

してその判断を統合する方法が有効である。

新たに提出されたシステムの評価 : これまでのアプロー

チは、提出された翻訳システム間のすべての組み合わせを考慮しており、新しいシステムが登場した場合には、2 問題設定

そのシステムをすでに存在するシステムのすべてと比較

翻訳システムの集合を I、入力文の集合を J、評価者の集合を K とする。人手評価を行う前に、適当なシスする必要がある。
これらの課題を解決するために、我々は項目反応理論（item response theory; IRT）のモデルを利用する。

テムを選んでベースラインとし、J に対してベースライン翻訳文を生成しておく。

この理論は学力テストやアンケートを受ける受験者の特翻訳システム i ∈ I が文 j ∈ J に対して翻訳文を生成す性を評価するために用いられる。IRT モデルは高い解釈る。そして評価者 k ∈ K がその翻訳文をベースライン可能性を持ち、その効果は理論的・実証的研究によって翻訳文と比較し、比較結果を報告する。

示されている。例えば、テストの設問それぞれが持つ情報量を受験者の回答から推定することができる。
IRT の問題設定とのアナロジーを利用するために、我々は次のような翻訳評価の手続きを考える（図 1）。
まず、あらかじめ設定したベースライン翻訳の存在を仮価者 k が与えた一対比較結果を ui,j,k とし、次のように値を定める。

{

1（ベースライン翻訳のほうが良い）,ui,j,k= 2（どちらでもない）3（システム i の翻訳のほうが良い）のベースライン翻訳と比較する。それぞれの組み合わせ

以後、c ∈ {1,2,3} で比較結果を表す。

に対し、複数の評価者が比較結果を与える。

それぞれのシステム i は潜在的な性能を表すパラメー

この一対比較は学力テストにおける設問に対応しておタ ϑi ∈ R を持つとする。本研究の目標は観測された比り、評価者の正確さは設問の識別力に、一対比較でベー較結果 U={ui,j,k}i ∈ I,j ∈ J,k ∈ K にもとづいて ϑ を推定するこスラインに勝利する難しさは設問の難易度に対応する。とである。

翻訳システムは学力テストの受験者と見なすことができるので、IRT モデルを使って自然にシステム（受験者）の性能（学力）を調べることができる。
さらに、あらかじめベースライン翻訳を固定すること3 一対比較結果の生成モデル
IRT にもとづく一対比較のモデルについて述べる。の利益として、翻訳システムが新たに提出された際に、既存手法のようにシステム間の全組み合わせを試すこと

3.1

段階反応モデルの拡張なく、追加されたシステムの出力を一定数のベースライ

Samejima（1968） に よ る 段 階 反 応 モ デ ル

ン翻訳と比較するだけで性能を推定することができる。

（graded response model; GRM）をもとにして、一対比較結果の生成モデルを定義する。GRM は順序尺度を値として持つ反応を対象としている。具体的には、
A+、A、B+ のようなレーティングや、学力テストにおける部分点などがその対象である。 本研究の問題設定
では、一対比較結果を部分点とみなすことができる。システムの翻訳がベースライン翻訳より優れていると判断された場合、そのシステムは c=3 点を得る。もし比較結果が引き分けだった場合、システムは c=2 点を得る。
そしてシステムの翻訳の負けと判定された場合、システ
ムは c=1 点だけを得る。

図１

本研究の問題設定

それぞれのシステムが翻訳を生成し、評価者がベースライン翻訳と品質を比較する。

（ϑi）を文 j に対するシステム i とベースラインのP*jkc
翻訳に関して、評価者 k が比較結果π >c を報告する確率とする。その確率を次で定義する。

YEAR BOOK 2O17 285

4

機械翻訳技術の向上定する。そして、性能を求めたいシステムの翻訳を、そシステム i が文 j に対して生成した翻訳文に関して評1
P*jkc（ϑi）= ――――――――――
1+exp（－ a（ϑki－bjc）

mL（ξ）= logP（U, ξ）=∞
P（ϑ）P（Ui|ϑ,ξ）dϑ + logP（ξ）,∑ i ∈ I log∫－∞（θi）=1、P*jk3（θi）=0 である。パラメー
ただし、P*jk0である。ここで Ui はシステム i の翻訳に対する一対比

タ a と b はそれぞれ識別力パラメータと困難度パラメー

較結果の集合である。積分部分はガウス・エルミート求タと呼ばれる。a は評価者固有の評価力を表し、b は文積法（Gauss-Hermite quadrature）によって近似す固有の翻訳難易度を表す。a は正の実数で、b は b1<b2る。という制約を満たす。ここで b1 はベースライン翻訳にこの近似した周辺尤度関数を勾配降下法によって最適

引き分けあるいは勝つ（c>1）難しさに対応し、b2 はベー化する。このとき、バリア関数を導入することによってスライン翻訳に勝つ（c>2）難しさに対応する。

パラメータの不等式制約を加える。

一対比較結果 ui,j,k の生成確率は上で定義した確率の4.2差として定義される。

事後分布最大化（ϑi）－ P*jkc（ϑi）
Pjkc（ϑi）= P（ui,j,k = c|ϑi,bj,ak）=P*jkc－1

ξの推定値が得られたうえで、次にシステムの潜在パ

このモデルはもとの GRM とは異なる。GRM では a

ラメータ ϑ = {ϑi}i ∈ I を事後分布最大化によって求める。の値は項目ごとに固有な値として定義されており、それぞれの a はただひとつの項目に属す。一方で本研究の最大化する目的関数は、
L（ϑ）= logP（U,ϑ;ξ）∑i ∈ I（logP（ϑi）+ logP（Ui|ϑi;ξ））

モデルは、ひとりの評価者が複数の文を評価する状況を表現するために、a を文 j とは独立な値として扱う。

である。勾配降下法によって ϑ の推定値を得る。

3.2

5 実験

パラメータの事前分布推定値を安定して得るために、パラメータに事前分布を仮定する。ϑ と b には正規分布を仮定し、ϑ ∼ N（0,τ2）、

機 械 翻 訳 の 国 際 ワ ー ク シ ョ ッ プ Workshop on（µbc, σ ）（c =1,2）とする。識別力パラメータbc ∼ N

Statistical Machine Translation（WMT）2013 には正の値のみを取るので、対数正規分布を事前分布としおいて収集された一対比較結果を用いて実験を行う。て仮定する。つまり、log（a）∼ N（µa, σ ）である。τ、µ、WMT2013 のデータには 10 言語対に関する結果が含σはハイパーパラメータである。

まれている。詳細は Bojar ら（2013）の概要論文を参2bc2a

照されたい。

4 パラメータの推定5.1

観測した一対比較結果 U に対して、以下の尤度関数

提案手法（GRM）: a=1.7、b=（－0.5,0.5）としてを最大化するモデルのパラメータを求める。
L（ϑ, ξ）= logP
（U;ϑ,ξ）.
本節では、a = {ak}k ∈ K と b = {bj1,bj2}j ∈ J をまとめてξで表記する。

設定初期化する。ϑ の初期値は各システムに対して一対比較結果の値を合計したうえで、事前分布に適合するように￣、値をスケーリングする。ハイパーパラメータはτ= √2、σa = 1.0、µb=（－0.5, 0.5）、σb = 2.0µa= log（1.7）とする。

4.1

周辺尤度最大化比較手法 : ExpectedWins（EW）（Bojar ら , 2013）、

求めたいシステムの潜在パラメータ ϑ とその他のパHopkins と May（2013）による手法（HM）、そして、ラメータξを同時に最適化した場合、正確な推定値が得

Baba と Kashima（2013） に よ る 二 段 階 ク ラ ウ ドられにくいという問題がある。そのため、まず ϑ に関ソーシングモデル（TSt）を提案手法と比較する。また、して尤度関数を周辺化し、それを最大化するξを求める。

実験の正解データを生成するために使用する TrueSkill

周辺化した尤度関数は（TS）（Sakaguchi ら , 2014）のスコアを参考値として報告する。Sakaguchi ら（2014）の実験設定にし286たがい、HM と TS のハイパーパラメータを設定する。

語翻訳タスクの一対比較である。ベースライン翻訳を必

TSt に関しては Baba と Kashima（2013）の実験設要とする GRM と TSt については、ベースラインとし定にしたがう。て使われたシステムをカッコ内に示している。

一対比較結果 : WMT2013 では 5 システムごとの部分TS によって正解スコアが計算されていることに加ランキングの形で比較結果が収集されている。あらかじえ、一対比較結果を能動的に選択しているため、TS のめこの部分ランキングを一対比較結果に変換しておく。

推定スコアの相関係数と nDCG が最も高い。GRM はその一対比較結果をランダムに 800、1,600、3,200、ベースラインの設定が最も良かったケース（DCU）で6,400 個抽出する。ただし、TS は次に入力する一対TS と同等の相関係数と nDCG を達成している。一方比較結果をランダムではなく能動的に選ぶ手法である。

TSt は相関係数が最も高かったケースでも nDCG は高この挙動をシミュレートするため、一旦すべてのデータくなかった。つまり順位という観点では正解を再現できを受け取り、一定数に達するまで比較結果を戦略的に順なかった。最も悪いケースでは GRM、TSt ともに正解次選択するという方法をとる。この点で、TS は他の手と相関係数の低い値を推定したが、GRM の nDCG は法よりも有利な環境にある。

高かった。このことから、GRM は正解データを十分高正解データ : WMT2014 以降の公式スコア計算方法にい精度で推定できると言える。

全データから 1000 個のブートストラップサンプルを5.3

ベースラインの選択作成し、それぞれのうえで TS によって各システムの潜ベースライン翻訳の品質が高すぎたり低すぎたりし在スコアを計算する。この 1000 個のスコアの平均をた場合、一対比較から有用な情報が得られないと予想で各システムの正解スコアとする。

きる。実際に図 2 の結果はベースラインシステムの選評価指標 : 正解スコアとのピアソン相関係数と nDCG

択は最終的な推定スコアに影響を与えることを示して（normalized discounted cumulative gain）によっいる。例えば、SHEF-WPROA の翻訳をベースラインて推定スコアの良さを評価する。ピアソン相関係数は値とすると、推定されるシステムの潜在スコアは不正確の大小だけを評価する一方で、nDCG は順位を考慮すだった。その理由は、SHEF-WPROA が 69.4% の一る。これはシステムの順位付けを行うという今回の問題対比較で負けと判定されているからである。対象的に、設定に適している。

DCU は 34.5% で勝ち、34.8% で負けており、その結果から他のシステムをうまく識別することができる。

5.2

結果

ゆえに、DCU をベースラインとして用いたときに最良

図 2 に、正解スコアと推定スコアの間の相関係数とnDCG を示す。データは WMT2013 スペイン語－英図２の相関係数と nDCG を達成することができた。
では、一対比較実行前にどうやってこのような良い正解スコアと推定スコアの間のピアソン相関係数と nDCGYEAR BOOK 2O17 287

機械翻訳技術の向上

4

したがい、TS を用いて正解のシステムスコアを得る。

ベースラインシステムを探せば良いのだろうか。ひとつ

ここで P'=∂P/∂θである。情報関数は翻訳文固有での方法は、BLEU や METEOR のような自動評価指標あり、評価者からは独立であるため、すべての評価者上の結果を調べることである。自動評価の結果と一対比較で一様に ak =1（k ∈ K）とする。

統合の結果を分析したところ、自動評価の結果が全シス

表 2 にふたつの文に関する参照文と各システムの翻テムの平均値に近いものを選べば、比較的良い統合結果訳文を示す。文 1858 の情報関数は高い ϑ に対して高が得られることがわかった。

い値を持つが、文 1818 の情報関数は低い ϑ に対して高い値を持つ。

5.4

評価者の正確さ

実際の翻訳を見ると、文 1818 に対するベースライ

評価者の正確さに対する GRM の頑健さを調べるためンシステムの翻訳は比較的良いが、文 1858 に対するに、不正確な評価者をシミュレートして実験を行った。

翻訳には “drink” や “galaxias” のような誤りが多数

実験では評価者の一部をランダムに選択し、その評価者含まれていることがわかる。その結果、低い潜在パラの全判定結果を一様な確率で付け替えた。不正確な評価

メータ ϑ を持つシステムは文 1858 でベースラインに者の割合は 10% から 50% まで 10％ずつ増加させた。

負けやすい。一方で低いパラメータを持つシステムでもそれぞれのケースで HM と EW、そして提案手法によ

文 1818 ではベースラインに勝つものがあり、システる推定スコアの精度を計算した。

ムの翻訳性能の識別に貢献している。情報関数は受験者

表 1 に示す結果から、GRM は HM と EW よりもノの能力を効果的に測定できるように学力テストを設計すイズによる悪影響が少ないことがわかる。GRM は評価る際に用いられる。同様に、機械翻訳の評価においても者固有の正確さパラメータを持っており、不正確な評価今回の推定結果をもとに次回の評価に含める入力文を選者を検出してその影響を抑制できていると考えられる。

定することに使用できるだろう。

表1

不正確な評価者のシミュレーション

GRM のスコアは全ベースラインの平均値である。HMと EW については GRM からの差分を示す。
ノイズ (%)

6 おわりに01020304050.929.917.900.879.849.807

統合に取り組んだ。本研究の狙いは次の三点にまとめら

HM +.002 －.005 －.009 －.015 －.025 －.038れる。（1）解釈可能性の高い推定結果を得る。（2）評Correlation
GRM

EW －.025 －.028 －.035 －.038 －.040 －.046
nDCG
GRM

.883

.867

.847

.822.793.752

HM －.024 －.130 －.137 －.144 －.152 －.168
EW －.035 －.054 －.064 －.060 －.060 －.069

本研究は機械翻訳評価のための人手の一対比較結果の価者固有の正確さを考慮する。（3）新しく提出されるシステムの評価を容易にする。
これらの課題に対処するため、本研究は固定したベースライン翻訳との一対比較に着目した。一対比較の片方を予め決めておくことにより、学力テストとのアナロ

5.5

一対比較の難易度

ジーを利用して IRT の段階反応モデルを自然に適用す

本研究の提案手法は IRT の GRM の自然な拡張であることができる。また、すべての組み合わせを比較するり、IRT モデルの種々の分析方法が適用できる。標準場合に比べて、システムが追加された際に必要な比較数的な分析指標である、項目の情報関数（informationが少なく抑えられる。WMT2013 で収集された実デーfunction）は項目（本研究では翻訳文に対応する）ごとタを用いた実験により、提案手法の頑健さと推定値の解の潜在パラメータ測定の信頼度を表す。情報関数は推定釈可能性を確かめた。

されたξを用いて次のように定義される。

[][]∂2L（ϑ;ξ）∂2logPjkc（ϑ）3（ϑ）=－E ―――――=∑c=1 ――――――
Pjkc
Ij22∂θ∂θ[P*'（ϑ）－P*'（ϑ）]23
jkc－1
jkc=∑c=1 ――――――――――（ϑ）－P*'（ϑ）
P*'
jkc－1jkc288

表2WMT2013 スペイン語－英語翻訳タスクのデータに対する推定結果の例

参照訳は主催者によって与えられており、評価者にも提示されている。ϑ の推定値は 6,400 個のランダムサンプル100 セットで得た値の平均値である。

参考文献

by the crowd alone. Natural Language◦Yukino Baba and Hisashi Kashima. 2013.

Engineering, FirstView:1–28, September. (1).

Statistical quality estimation for general

Mark Hopkins and Jonathan May. 2013.

crowdsourcing tasks. In Proceedings of theModels of Translation Competitions. In

19th ACM SIGKDD international conference

Proceedings of the 51st Annual Meetingon Knowledge discovery and data miningof t he Associat ion f or Com put at i o n a l(KDD), pages 554–562, New York, USA,Linguistics (ACL), pages 1416–1424, Sofia,August. ACM Press.

Bulgaria. Association for ComputationalOndřej Bojar, Christian Buck, Chris Callison-Linguistics.

Burch, Christian Federmann, Barry Haddow,

Keisuke Sakaguchi, Matt Post, and BenjaminPhilipp Koehn, Christof Monz, Matt

Van Durme. 2014. Efficient Elicitation

Post, Radu Soricut, and Lucia Specia.

of Annotations for Human Evaluation of2013. Findings of the 2013 Workshop

Machine Translation. In Proceedings of theon Statistical Machine Translation. InNinth Workshop on Statistical MachineProceedings of the Eighth Workshop onTranslation (WMT), pages 1–11, Baltimore,

Statistical Machine Translation (WMT),Maryland, USA.

pages 1–44, Sofia, Bulgaria. Association for

Fumiko Samejima. 1968. Estimation ofComputational Linguistics.

latent ability using a response pattern

Yvette Graham, Timothy Baldwin, Alistairof graded scores. ETS Research Bulletin

Moffat, and Justin Zobel. 2015. Can

Series, 1968(1):i–169, June.

◦machine translation systems be evaluatedYEAR BOOK 2O17 289

4

機械翻訳技術の向上

文 1858: ベースライン翻訳に勝つことが困難
Hasta 2007 los dos telescopios Keck situados en el volcán hawaiano de Mauna Kea
原文eran considerados los más grandes del mundo.
Until 2007, the two Keck telescopes at the Hawaiian volcano, Mauna Kea, were the参照訳
largest in the world.
Until 2007, the two Keck telescopes located on the Hawaiian volcano Mauna of KEA
DCU[baseline]
were considered the largest in the world.
Until 2007 the two Keck telescopes located on the Hawaiian volcano Mauna Kea were
θ=ONLINE-B
considered the largest in the world.
0.24
Until 2007, the two Keck telescopes located on the Hawaiian volcano of Mauna KeaUEDIN
0.12
were considered the largest in the world.
Until 2007, the two Keck telescope located in the volcano Mauna Kea hawaiano of
CU-ZEMAN-0.10
were regarded as the world’s largest.
Until 2007, the two Telescope Keck located in the Kea volcano hawaiano of Mauna
JHU
-0.12
were considered the world’s largest.
Until 2007 the two telescope Keck located volcano hawaiano of Mauna KEA wereSHEF-WPROA-0.92
regarded larger of world.
文 1818: ベースライン翻訳に勝つことが容易
Dependiendo de las tonalidades, algunas im・ágenes de galaxias espirales seSource
convierten en verdaderas obras de arte.
Depending on the colouring, photographs of spiral galaxies can become genuine work ofReference
art.
Depending on the drink, some images of galaxias galaxies become true works of art.
DCU[baseline]
ONLINE-B
0.24
Depending on the shades, some images of spiral galaxies become true works of art.
UEDIN
0.12
(Same as ONLINE-B)
Depending on the tonalidades, some images of spirals galaxies become true works ofCU-ZEMAN
-0.10
art.
Depending on the tonalidades, some images of galaxies spirals become true works ofJHU
-0.12
art.
SHEF-WPROA-0.92
Depending on the tonalidades, some images of galaxies spirals become real artwork.