Vol.2015-NL-222 No.2
2015/7/15

情報処理学会研究報告
IPSJ SIG Technical Report

中間言語モデルを用いたピボット翻訳の精度向上
三浦 明波1,a)Graham Neubig1,b)

Sakriani Sakti1,c)

戸田 智基1,d)

中村 哲1,e)

概要：統計的機械翻訳において，特定の言語対で十分な文量の対訳コーパスが得られない場合，中間言語を用いたピボット翻訳が有効な手法の一つである．複数のピボット翻訳手法が考案されている中でも，特に中間言語を介する 2 つの翻訳モデルを合成するテーブル合成手法で，高い翻訳精度を得られることが知られている．ところが，従来のテーブル合成手法では，フレーズ対応推定時に用いた中間言語の情報が「忘却」され，翻訳時には利用できない問題が発生する．本稿では，合成時に用いた中間言語の情報も「記憶」
し，ピボットの言語モデルを追加の情報源として翻訳に利用する新たなテーブル合成手法を提案する．また，欧州議会議事録による多言語コーパスを用いた実験により，本手法で評価を行った全ての言語の組合せで従来手法よりも有意に高い翻訳精度が得られた．

1. はじめに
統 計 的 機 械 翻 訳 (Statistical Machine Translation:

SMT[1]) では，学習に用いる対訳コーパスが大規模になる

	ほど，高精度な訳出結果を得られることが知られている [2]．

(a) モデル学習に用いるフレーズ対応 (独-英-伊)

一方，英語を含まない言語対などを考慮すれば，多くの言
	

語対において，大規模な対訳コーパスを取得することは困難と言える．特定の言語対で十分な文量の対訳コーパスが	得られない場合，中間言語を用いたピボット翻訳が有効な(b) 従来手法によって得られるフレーズ対応解法の一つである [3]．

	

中間言語を用いる手法も様々なものが考案されてい		

る [4][5][6] が，特に原言語・中間言語，中間言語・目的言
語の 2 つの翻訳モデルを合成し，新しく得られた原言語・(c) 提案手法によって得られるフレーズ対応

目的言語翻訳モデルによって翻訳を行うテーブル合成手法
で，高い翻訳精度を得られることが示されている．ところ

図 1

テーブル合成手法の例，および従来手法と提案手法の比較

が，語義曖昧性や言語間の用語法の差異により，原言語・目的言語間のフレーズ対応を正確に推定することは困難で推定するのは複雑な問題となってくる．その上，図 1 (b)ある．

に示すように，従来のテーブル合成手法では，合成時に原

図 1 (a) はテーブル合成手法によって対応を推定するフレーズの例を示しており，図中ではドイツ語とイタリア語

言語と目的言語の橋渡しをしていた中間言語フレーズの情報が，合成後には保存されず失われてしまう．

それぞれにおける 3 つの単語が，語義曖昧性を持つ英単

この問題を克服するため，本稿では原言語と目的言語を語「approach」に結び付いている．このような場合，原言結び付けていた中間言語フレーズの情報も翻訳モデル中に語・目的言語間のフレーズ対応を求め，適切な翻訳確率を保存し，原言語から目的言語と中間言語への同時翻訳確率を推定することによって翻訳を行う新しいテーブル合成手奈良先端科学技術大学院大学 情報科学研究科
Nara Institute of Science and Technology
miura.akiba.lr9@is.naist.jp
neubig@is.naist.jp
ssakti@is.naist.jp
tomoki@is.naist.jp
s-nakamura@is.naist.jp

法を提案する．図 1 (c) に，本提案手法によって得られる

c 2015 Information Processing Society of Japan
⃝

1

1

a)
b)
c)
d)
e)

フレーズ対応の例を示す．本手法の利点は，英語のように中間言語として選ばれる言語は豊富な単言語資源も得られる傾向が強いため，このような追加の言語情報を翻訳シス
テムに組み込み，翻訳の質を向上させられることにある．

Vol.2015-NL-222 No.2
2015/7/15

情報処理学会研究報告
IPSJ SIG Technical Report

中間言語フレーズの情報を翻訳時に役立てるため，

2.2 複数同期文脈自由文法

同期文脈自由文法 (Synchronous Context-free Grammar:

MSCFG[8] は，SCFG を複数の目的言語文を同時に生成

SCFG[7]) を複数の目的言語文の同時生成に対応できるようできるように拡張されている．SCFG では生成規則中の目拡張した複数同期文脈自由文法 (Multi-Synchronous CFG:

的言語記号列 t が単一であったが，MSCFG では以下のよ

MSCFG[8]) を用いて翻訳モデルの学習を行う．MSCFG

うに N 個の目的言語記号列を有する．

による翻訳モデルを構築するために，原言語・中間言語おなく，原言語・目的言語・中間言語の MSCFG ルールテー!
"
X → s, t1 , ..., tN

ブルとして合成し，これによってピボットを記憶する．訳

通常の MSCFG 学習手法では，SCFG ルール抽出手法を出候補の探索時には，生成文の自然性を評価し，適切な語一般化し，行アラインメントの取れた多言語コーパスから彙選択を促すために言語モデルを用いるが，目的言語モデ

多言語置換規則が抽出され，複数の目的言語を考慮したス

ルのみでなく，中間言語モデルも同時に用いた探索を行う．

コアが付与される．

よび中間言語・目的言語の SCFG 翻訳規則が格納された
ルールテーブルを元に，SCFG ルールテーブルとしてでは(3)

本手法の有効性を調査するため，欧州議会議事録を元にしMSCFG で複数の目的言語モデルを考慮した探索を行う

た Europarl 多言語コーパスから英語を中間言語とし，異場合，各言語毎に導出中の単語列を記憶し，組合せ毎に状なる 4 つの言語を用いて実験を行ったが，すべての組合せ態を区別する必要があるため，探索手順にも複数の手法がにおいて従来手法よりも有意に高い翻訳精度が得られた．

考えられる．SCFG の探索における単一の目的言語文を単
純に複数の目的言語文に拡張して同時に展開する同時探索

2. 機械翻訳方式

では，探索幅の制限により主要な目的言語文の多様性が失われてしまう可能性がある．そこで先ず，第一の目的言語

2.1 同期文脈自由文法
本節では先ず，階層的フレーズベース翻訳 (Hierarchical

文のみを考慮した組合せで探索して多様性を確保し，続いPhrase-Based Translation: Hiero[7]) を代表とする様々なてその他の目的言語文との組合せに展開する逐次探索によ翻訳方式で用いられる SCFG について紹介する．SCFG

り，主要な目的言語を重視した効率的な探索が行える．

Neubig らによる MSCFG の学習手法では，原言語と複数は，以下のような置換規則によって構成される．

の目的言語とで行アラインメントの取れた大規模な多言語!
"
X → s, t(1)

コーパスが必要となるため，直接の対訳コーパスの取得が限られている際には用いることができない．そこで次節か

ここで， X は置換規則の親記号であり，s と t はそれぞらは，2 つの SCFG ルールテーブルを合成することによっ

れ原言語と目的言語における終端記号と非終端記号からなて MSCFG ルールテーブルを得る手法について述べる．

る記号列である．s と t にはそれぞれ同じ数の非終端記号

3. ピボット翻訳手法が含まれ，対応する記号に対して同じインデックスが付与

SMT において中間言語を用いて翻訳を行う手法は複数される．以下に置換規則の例を示す．

考案されており，以下の 3 種類に大別することができる．

X → ⟨X0 of X1 , X1 の X0 ⟩(2)

Chiang による SCFG の学習手法では，対訳文と単語アラインメントを元に自動的に SCFG ルールが抽出される．
抽出された各々のルールには，双方向のフレーズ翻訳確率φ(s|t), φ(t|s)，双方向の語彙翻訳確率 φlex (s|t), φlex (t|s)，
ワードペナルティ (t の終端記号数)，フレーズペナルティ(定数 1) の計 6 つのスコアが付与される．
翻訳時には，導出に用いられるルールのスコアと，生成される目的言語文の言語モデルスコアの和を導出確率として最大化するよう探索を行う．言語モデルを考慮しない場
合，CKY+法 [9] によって効率的な探索を行ってスコア最

逐次的ピボット翻訳 (Cascade):
入力文を原言語・中間言語の翻訳モデルで翻訳し，その出力を中間言語・目的言語文で翻訳する [3]コーパス翻訳方式 (Synthetic):
原言語・中間言語あるいは目的言語・中間言語の対訳
コーパスの中間言語側を翻訳することで擬似的な対訳
コーパスを得る [3]
テーブル合成方式 (Triangulation):
原言語・中間言語および中間言語・目的言語の翻訳モデルを合成することで原言語・目的言語の翻訳モデルを得る [4]大の導出を得ることが可能である．言語モデルを考慮する

とりわけ，テーブル合成手法によるピボット翻訳で高品場合には，キューブ枝刈り [7] などの近似法により探索空間

質な訳出結果が得られることが知られているため [5]，以降を抑えつつ，目的言語モデルを考慮した探索が可能である．

ではテーブル合成手法に的を絞って議論を行う．

c 2015 Information Processing Society of Japan⃝2

Vol.2015-NL-222 No.2
2015/7/15

情報処理学会研究報告
IPSJ SIG Technical Report#$# $φ t, p|s = φ t|p φ (p|s)#$φ s|p, t = φ (s|p)

3.1 従来のテーブル合成手法
Cohn らによるテーブル合成手法 [4] では，先ず原言語・
中間言語および中間言語・目的言語の翻訳モデルを対訳デー

(12)
(13)

タによって学習し，それぞれをフレーズ (ルール) テーブル

原言語・中間言語間の翻訳確率 φ(p|s)，φ(s|p)，φlex (p|s)，

TSP , TP T として格納する．そして，テーブル TSP , TP T
! "のそれぞれにフレーズ対 ⟨s, p⟩ , p, t が含まれるような

φlex (s|p) はテーブル TSP のスコアをそのまま用いること

中間言語フレーズ p が存在する場合，以下のような規則をに含まれる非終端記号数を 2 つのワードペナルティとし，作成する．

定数 1 のフレーズペナルティの合わせて 13 個のスコアが!
"X → s, t(4)

作成されたすべての規則について，フレーズ翻訳確率φ(·) と語彙翻訳確率 φlex (·) を以下の計算によって推定することで原言語・目的言語のテーブル TST を合成する．

# $φ t|s =
# $φ s|t =

# $φlex t|s =# $φlex s|t =%p∈TSP ∩TP T%

p∈TSP ∩TP T%

p∈TSP ∩TP T%

p∈TSP ∩TP T#$
φ t|p φ (p|s)#φ (s|p) φ p|t$# $φlex t|p φlex (p|s)# $φlex (s|p) φlex p|t(5)

このように中間言語を記憶するテーブル合成手法では，! "!
"s, t ではなく， s, t, p の全組み合わせを記録するため，
従来より大きなルールテーブルが合成されてしまう．計算
資源を節約するためには，幾つかのフィルタリング手法が助的な目的言語 T2 で翻訳を行う際には，T1 -フィルタリン
グ手法 [8] が効果的である．この手法では，原言語フレー

(6)
(7)
(8)

ズ s に対して，先ず言語 T1 において φ(t1 |s) が上位 L 個までの t1 を残し，それぞれの t1 に対して φ(t1 , t2 |s) が最大となるような t2 を残す．

4. 実験的評価
4.1 実験設定

モデルに基いている．

本提案手法の有用性を評価するため，欧州諸言語を広くカバーし，ピボット翻訳のような多言語翻訳タスクで広く

(9)
(10)

ところが，現実には語の多義性や言語間の文法の不一致によって，これらの数式は正確ではない．結果として，ピ
ボット翻訳は通常の機械翻訳よりも遥かに大きな曖昧性の問題を抱えている．

用いられる Europarl コーパス [10] を用いて実験を行った．
本実験では，英語 (en) を中間言語として固定し，欧州の中でも特に話者数の多いドイツ語 (de), スペイン語 (es), フ
ランス語 (fr), イタリア語 (it) の 4 言語の組合せでピボッ
ト翻訳を行い，手法毎の翻訳精度を比較した．5 言語間の対訳コーパスを得るため，先ず Gale-Church アラインメン
ト法 [11] によって行アラインメントの取れた多言語コーパ
ス約 90 万文を取得し，そこから 1,500 文ずつを最適化と評価用に取り出した．それぞれの翻訳モデルの学習には 10

3.2 提案するテーブル合成手法
前述の曖昧性の問題に対処するため，本稿で提案する
テーブル合成手法では，関連する中間言語フレーズを追加の言語情報として記憶することで，曖昧性の解消に利用する．特に，中間言語フレーズ p で確率周辺化を行い SCFG
ルールを合成する代わりに，原言語・目的言語・中間言語のフレーズ対応を MSCFG ルールとして以下のように合成する．

MSCFG ルールにおける素性となる．

考えられる．Neubig らによると，主要な目的言語 T1 と補式 (5)-(8) は，以下のような条件を満たす無記憶通信路#$# $φ t|p, s = φ t|p#$
φ s|p, t = φ (s|p)

が可能である．これら 10 個の翻訳確率に加えて，t と p!
"
X → s, t, p

(11)

万文，目的言語モデルの学習にも 10 万文を用いた．また，多くの場合，英語においては大規模な単言語資源が取得可能であるため，最大 200 万文までのデータを用いて段階的に学習を行った中間言語モデルを用意した．デコーダにはTravatar [12] を用い，付属の Hiero ルール抽出コードを用
いて SCFG 翻訳モデルの学習を行った．翻訳結果の評価には，自動評価尺度 BLEU [13] を用い，各翻訳モデルはMERT[14] により，開発データセットに対して BLEU ス
コアが最大となるようにパラメータを調整を行った．提案

このような規則を用いて翻訳を行うことによって，同時手法のテーブル合成によって得られた MSCFG ルールテー生成される中間言語文を通じて中間言語モデルなどのよう

ブルは，L = 20 の T1 フィルタリング手法によって枝刈りな追加の素性を取り入れることが可能となる．式 (5)-(8)を行った．また，本実験の MSCFG を用いた探索では，目に加えて，目的言語と中間言語を同時に考慮した翻訳確率

的言語文，中間言語文の順に組合せを展開する逐次探索を

φ(t, p|s), φ(s|p, t) を以下のように推定する．

行った．
次節では以下の 6 つの翻訳手法を比較評価する．

c 2015 Information Processing Society of Japan⃝3

Vol.2015-NL-222 No.2
2015/7/15

情報処理学会研究報告
IPSJ SIG Technical Report

BLEU Score [%]Source

de

es

fr

it

Tri. SCFG

Tri. MSCFG

Tri. MSCFG

Tri. MSCFG(baseline)-PivotLM+PivotLM 100k

+PivotLM 2M

25.05

25.31

25.38

25.52

25.65

23.86

24.12

24.16

24.25

† 25.75

23.04

20.76

21.27

21.42

de

20.11

18.52

18.77

18.97

† 21.65

fr

33.48

27.00

29.54

it

27.82

22.57

25.11

† 29.87

de

19.69

18.01

18.73

18.77

18.87

es

34.36

27.26

30.31

30.53

† 30.73

TargetDirectCascade

es

27.10

fr
it

it

28.48

22.73

25.31

25.50

19.09

14.03

17.35

es

31.99

25.64

28.85

† 17.99

fr

31.39

25.87

28.48

‡ 22.29† 19.40

19.08† 29.9125.01

de† 24.58† 29.95‡ 25.64

25.18† 19.19‡ 31.00† 25.72‡ 26.22‡ 18.1728.83‡ 18.52† 29.31

29.01

28.40

† 29.0228.63

表 1 各手法による翻訳精度．太字はそれぞれの言語対において最も BLEU スコアが高いことを示し，短剣符は提案手法の翻訳精度が従来手法よりも統計的に有意であることを示す († : p < 0.05, ‡ : p < 0.01)

Direct:Directモデルで逐次的ピボット翻訳．

Tri. SCFG:
原言語・中間言語および中間言語・目的言語の SCFGBLEU Score [%]原言語・中間言語および中間言語・目的言語の SCFG

モデルを合成し，原言語・目的言語の SCFG モデルに

22.8
22.6
22.4
22.2
22
21.8
21.6
21.4

よって翻訳．

21.2

Tri. MSCFG:

05000006

1x10

6

1.5x106

2x10

Pivot-LM Size [sent.]

原言語・中間言語および中間言語・目的言語の SCFG モ
デルを合成し，原言語・目的言語・中間言語の MSCFG

Tri. MSCFG

23

接対訳コーパスで学習した SCFG で翻訳．

Cascade:Tri. SCFG

23.2

比較のため，中間言語を用いず原言語・目的言語の直

図 2

中間言語モデル規模がピボット翻訳精度に与える影響 (独-伊)によって翻訳．「-Pivot」は中間言語モデルを用いないことを示し，「+PivotLM 100k/2M」はそれぞれ 10 万
文，200 万文で学習した中間言語を用いることを示す．

がり，安定して翻訳精度を改善できると言えるだろう．
また，MSCFG に合成するが中間言語モデルを用いず翻訳を行う場合を見てみると，SCFG に合成する場合よりも4.2 実験結果

多くの言語対で僅かに精度が向上している．これは，追加

表 1 に，英語を介したすべての言語対におけるピボットの翻訳確率などのスコアが有効な素性として働き，適切な翻訳の結果を示す．評価値から，提案したテーブル合成手

語彙選択に繋がったことなどが原因として考えられる．

法で中間言語モデルを考慮した翻訳を行った場合，すべて

中間言語モデルのサイズがピボット翻訳精度に与える影の言語対において従来のテーブル合成手法よりも BLEU

響の大きさは言語対によって異なってはいるが，中間言語

スコアが上昇していることが確認できる．すべての組合せ

モデルの規模が大きくなるほど精度が向上することも確認において，テーブル合成手法で中間言語情報を記憶し，200できる．図 2 はドイツ語・イタリア語のピボット翻訳にお万文の言語モデルを考慮して翻訳を行った場合に最も高い

いて異なるデータサイズで学習した言語モデルが翻訳精度スコアを達成しており，従来法に比べ 0.4 から 1.2 ほどのに与える影響を示す．

BLEU 値の向上が見られる．このことから，中間言語情報

最後に，本提案手法によって中間言語側で曖昧性が解消を記憶し，これを翻訳に利用することが曖昧性の解消に繋されて精度向上に繋がったと考えられる訳出の例を示す．

c 2015 Information Processing Society of Japan⃝4

Vol.2015-NL-222 No.2
2015/7/15

情報処理学会研究報告
IPSJ SIG Technical Report

入力文 (ドイツ語):[6]

ich bedaure , daß es keine gemeinsame annäherung
gegeben hat .
参照文 (イタリア語):

sono spiacente del mancato approccio comune .

[7]

Tri. SCFG:
mi rammarico per il fatto che non si ravvicinamento[8]

comune . (BLEU+1: 13.84)
Tri. MSCFG+PivotLM 2M:[9]

mi dispiace che non esiste un approccio comune .
(BLEU+1: 25.10)[10]

i regret that there is no common approach .
(Generated English Sentence)[11]

上記の Tri. MSCFG+PivotLM 2M で導出に用いられた MSCFG ルールでは，イタリア語「approccio」と英語[12]「approach」が結び付いており，生成される英文中の単語の前後関係から適切な語彙選択を促し，精度向上に繋がっ[13]たものと考えられる．

5. おわりに
本稿ではピボット翻訳において，中間言語を介する 2 つ[14]

Xiaoning Zhu, Zhongjun He, Hua Wu, Conghui Zhu,
Haifeng Wang, and Tiejun Zhao. Improving Pivot-Based
Statistical Machine Translation by Pivoting the Cooccurrence Count of Phrase Pairs. In Proc. EMNLP,
2014.
David Chiang. Hierarchical phrase-based translation.
Computational Linguistics, Vol. 33, No. 2, pp. 201–228,
2007.
Graham Neubig, Philip Arthur, and Kevin Duh. MultiTarget Machine Translation with Multi-SynchronousContext-free Grammars. In Proc. NAACL, 2015.
Jean-Cédric Chappelier, Martin Rajman, et al. A Generalized CYK Algorithm for Parsing Stochastic CFG.
TAPD, Vol. 98, No. 133-137, p. 5, 1998.
Philipp Koehn. Europarl: A parallel corpus for statisticalmachine translation. In MT summit, Vol. 5, pp. 79–86,
2005.
William A Gale and Kenneth W Church. A program foraligning sentences in bilingual corpora. Computational
linguistics, Vol. 19, No. 1, pp. 75–102, 1993.
Graham Neubig. Travatar: A Forest-to-String MachineTranslation Engine based on Tree Transducers. In Proc.
ACL Demo Track, pp. 91–96, 2013.
Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation ofmachine translation. In Proc. ACL, pp. 311–318, 2002.
Franz Josef Och. Minimum Error Rate Training in Statistical Machine Translation. In Proc. ACL, pp. 160–167,
2003.

の SCFG ルールテーブルを 1 つの MSCFG ルールテーブ
ルに合成し中間言語情報を記憶して翻訳を行う新しいテー
ブル合成手法を提案した．そして実験結果から，本手法で得られる MSCFG ルールテーブルと，大規模な言語モデル
を用いて翻訳を行うことで高いピボット翻訳精度が得られることが分かった．今後の計画として，中間言語における表現を工夫し，合成されるルールの翻訳確率を高精度に推定する手法の提案などを行っていきたい．
謝辞： 本研究の一部は，Microsoft CORE プロジェクトの助成を受け実施したものである．
参考文献
[1]

[2]

[3]

[4]

[5]

Peter F. Brown, Vincent J.Della Pietra, Stephen A. Della
Pietra, and Robert L. Mercer. The Mathematics ofStatistical Machine Translation: Parameter Estimation.
Computational Linguistics, Vol. 19, pp. 263–312, 1993.
Christopher Dyer, Aaron Cordova, Alex Mont, andJimmy Lin. Fast, easy, and cheap: construction of statistical machine translation models with MapReduce. In
Proc. WMT, pp. 199–207, 2008.
Adrià de Gispert and José B. Mariño. Catalan-English
Statistical Machine Translation without Parallel Corpus:
Bridging through Spanish. In Proc. of LREC 5th Workshop on Strategies for developing machine translation
for minority languages, 2006.
Trevor Cohn and Mirella Lapata. Machine Translation
by Triangulation: Making Eﬀective Use of Multi-Parallel
Corpora. In Proc. ACL, pp. 728–735, June 2007.
Masao Utiyama and Hitoshi Isahara. A Comparisonof Pivot Methods for Phrase-Based Statistical MachineTranslation. In Proc. NAACL, pp. 484–491, 2007.

c 2015 Information Processing Society of Japan⃝

5