言語処理学会 第21回年次大会 発表論文集 (2015年3月)

複数の目的言語の同時生成による統計的機械翻訳
Graham Neubig, Philip Arthur, Kevin Duh
奈良先端科学技術大学院大学 情報科学研究科

1

はじめに*+,#-%!!

!"#$%&')*+,,.
70
84+*+,,.
34516,5*+,,.
/0,,1,2!"#$%&'(!"()!"&'!"#$%

通常の統計的機械翻訳 (statistical machine transla!!!!!!!!!!!!!
tion; SMT) システムでは、原言語文 F から１つの目的言語文 E へと翻訳を行う。しかし、人手翻訳が実際に行
図 1: 複数の目標言語を考慮した翻訳の例
われる場面では、同一の内容を多数の言語へ翻訳することが多い。例えば、国連文章は 6 カ国語へ翻訳され [5]、へとさらに拡張する (3 節)。MSCFG を対訳データからTED 講演の字幕は 50 カ国語以上へ翻訳されている [2]。
学習する方法 (4 節) と、複数の目的言語に対する LM を
しかし、機械翻訳の研究では、このような多言語データ考慮する探索方法 (5 節) を提案する。提案法の有効性をを有効に利用する手法は存在しながらも比較的少ない。
検証するために、国連文章を題材に実験的評価を行う (6
複数の原言語文の翻訳結果を組み合わせる研究 [10] や多節)。その結果、T1 に比べて T2 で高性能な LM が構築
くの言語でトピックモデルを学習する研究 [7] はその例でき、T1 と T2 が比較的類似している言語である場合として挙げられる。
において、複数の目的言語を考慮することで性能の向上
本研究では、多言語データを有効に利用する手法としが実現可能であることが分かった。て、複数の目的言語文を同時生成する機械翻訳手法を提案する。つまり、F から単一の E を生成するのではな 2 同期文脈自由文法
く、複数の目的言語からなる文の集合 ⟨E1 , E2 , . . . , EN ⟩
まず、階層的フレーズベース翻訳 (Hiero [4]) を初めとを生成する（以降、各目的言語文に対応する言語を T1、する様々な翻訳方式で利用される
SCFG について紹介
T2 などと省略する）。この枠組みは、英語の国連文章やする。
SCFG
はX、γ、αの3つ組で表現する同期ルー
TED 講演から複数の言語の文章や字幕を作成することルからなる。に類似しているとも言える。
X → ⟨γ, α⟩(1)
しかし、複数の目的言語文を同時生成するにはどのようなメリットがあるのか？アラビアを原言語、英語を ここで、X はルールの親記号であり、γ と α はそれぞT1、日本語を T2 とした翻訳例を図 1 に示す。日本語母 れ原言語と目的言語における終端記号と非終端記号から語話者が英語の文だけを閲覧した時に、正しい訳を選択 なる記号列である。非終端記号はすべてインデックスをできるのだろうか？英語の能力が高い、もしくは政治に 持っており、γ と α で同じインデックスを持つ記号は対詳しい一部の人を除けば、悩む人は多かろう。しかし、 応すると見なされる。同期ルールの例を下に示す。
英語能力が高くなくても、対応する T2 の日本語訳も与X → ⟨X0 of the X1 , X1 の X0 ⟩.
(2)
えられれば、容易に３つ目の訳を最も自然として選択できる可能性が高い。
原言語文 F が与えられた際、文に合致するルールをこの例を SMT の枠組みに言い換えると、E1 と E2 とい 探し出し、CKY+アルゴリズム [3] で構文解析を行うとう 2 つの目的言語文を同時に生成し、E1 を選択する際に 生成可能な翻訳結果が列挙でき、さらにルールにスコアE2 の自然性を判断材料に利用することに当たる。語句の が付与された場合の SCFG であれば、スコア最大の翻訳自然性を判定する役割を担うのは言語モデル (language 仮説も取得可能である。また、目的言語文に対する LMmodel; LM) であり、大量で良質なデータを使うほど高 を考慮する際、計算量は増加するが、キューブ枝狩り [4]性能な LM ができ、翻訳精度が向上する [1]。つまり、T1 などの近似法を導入することで現実的な時間で訳の生成では小さな LM、T2 では大きな LM が構築できる場合、 が可能となる。
E2 の自然性が E1 の選択の助けになる場合は容易に考えられる。例えば、言語資源の少ない言語や、新しく国 3 複数同期文脈自由文法連に加入した国の言語などが具体例として思い浮かぶ。
本節では、複数の目的言語文の同時生成を可能とする複数の目的言語を扱う SMT の具体的な実現方法とし提案法の MSCFG について述べる。書き換えルールが原て、Chiang[4] の同期文脈自由文法 (synchronous context
言語記号列 γ と目的言語記号列 α からなる通常の SCFG
free grammar; SCFG) を採用する (2 節)。SCFG は 2 言を拡張し、下記の通り N 個の目的言語記号列を有する語の文 F と E を同時生成するが、我々はこの枠組みを任ルールを定義する。
意の数の文 ⟨F, E1 , E2 , . . . , EN ⟩ を同時生成できる複数
同期文脈自由文法 (multi-synchronous CFG; MSCFG)
X → ⟨γ, α1 , ..., αN ⟩(3)

― 796 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

MSCFG を用いて訳出を行うには、通常の SCFG と同じ した多言語フレーズを抽出してから、通常の SCFG とく、CKY+アルゴリズムで原言語文の構文解析を行う。 同じく、部分フレーズを (原言語とすべての目的言語に構文解析の結果得られる導出から目的言語文を生成する おいて) 非終端記号に置き換え、MSCFG ルールを得る。
際、1 つだけではなく、複数の目的言語文を生成する。
4.2 ルールのスコア付け
この定式化は通常の SCFG とさほど変わらない単純な拡張であるとも言える。しかし、翻訳システムの学習とルールを抽出してから、各ルールの品質を評価する素訳出を行う上で、複数の目的言語文に対応する新たなア 性関数を計算する。2 言語の記号列 γ と α1 を有する通ルゴリズムが必要となり、これらを以降の節で提案する。 常の SCFG ルールでは、翻訳確率 P (γ|α1 ) と P (α1 |γ)の対数、語彙化翻訳確率 Plex (γ|α1 ) と Plex (α1 |γ) の対
4 MSCFG の学習数、α1 の終端記号数（単語数）、フレーズペナルティな
本節では、複数の言語の対訳コーパスから、MSCFG ど、6 つの素性を計算するのが一般的である。
MSCFG では、さらに α1 以外の目的言語記号列を考に基づく翻訳モデルを学習する手法について述べる。
慮した素性を定義することができる。特に、本研究の実
4.1 ルール抽出
験では N = 2 の場合を扱うため、2 つ目の目的言語記号
まず、Chiang[4] による通常の 2 言語 SCFG のルール 列 α2 を含めた翻訳確率 P (γ|α2 ) と P (α2 |γ) の対数、語抽出について簡単に述べる。原言語コーパス F と目的 彙化翻訳確率 Plex (γ|α2 ) と Plex (α2 |γ) の対数、α2 の終言語コーパス E を準備し、各文に対して IBM モデルな 端記号数を素性として定義する。また、両方の目的言語記号列を考慮した翻訳確率 P (γ|α1 , α2 ) と P (α1 , α2 |γ)
どを用いて単語アライメントを得る [11]。
この文とアライメントに基づき、フレーズ抽出を行 の対数も用いる。これらを合わせて、2 つの目的言語をう。原言語文 F = f J と目的言語文 E = eI 、原言 考慮した MSCFG では 13 個の素性が得られる。
11

語インデックス i と目的言語インデックス i′ の組からなる単語アライメント A = {⟨i1 , i′ 1 ⟩, . . . , ⟨i|A| , i′ |A| ⟩}が与えられ、これに基づいてフレーズ対の集合 BP =′j|BP | j |BP |j′,e⟩} を抽出する。ここで、{⟨fij11 , ei′ 11 ⟩, . . . , ⟨fi|BP′i||BP |j1
fi1 は i1 単語目から j1 単語目を含む f1J の部分単語列でj′あり、ei′ 11 は目的言語に対して同様に定義される。ある′
フレーズ対 ⟨fij , eji′ ⟩ が抽出される条件は、両方のフレー4.3ルールのフィルタリング

機械翻訳では、訳出に必要な計算量とメモリ領域を削減するために、事前に翻訳モデルから一部のルールをフィルタリングするのが一般的である。例えば、各 γ に対して P (α1 |γ) の順に α1 の候補を並べ、確率最大の L個のルールのみを訳出に利用する手法が広く使われる。
本研究では、このフィルタリング法を 2 つの目的言語を考慮した MSCFG に適応する 2 つの手法を提案し、実験で比較する。1 つ目の手法を T1+T2 フィルタリング法と定義し、両方の目的言語を考慮した翻訳確率P (α1 , α2 |γ) に基づいて、確率最大の L 個のルールを選択する。このフィルタリング法は通常の SCFG における手法の単純な拡張であるが、各 α1 に対して多くの α2 が存在する場合、フィルタリング後に残る α1 の候補数を減らしてしまう可能性もある。この問題に対応するために、まず P (α1 |γ) を用いて確率最大の α1 の候補を L 個選択してから、各 α1 に対して確率 P (α1 , α2 |γ) が最大の α2 を選択する T1 フィルタリング法も提案する。これにより必ず α1 の多様性は保証されるが、その一方 α1に対して α2 が 1 つしか残らないという強い制約も課される。

ズ中に、対応する単語が 1 つ以上含まれており、1 つのフレーズに含まれながらもう一方のフレーズに含まれない単語対応が存在しないことである。この条件に合致するフレーズは Och[9] の phrase-extract アルゴリズ
ムで抽出できる。フレーズから同期ルールを作成するた′
めに、BP 中の各 ⟨fij , eji′ ⟩ に対して、そのフレーズに含まれる部分フレーズを列挙し、非終端記号で置き換える[4]。
このルール抽出を複数の目的言語を扱える MSCFGへと拡張するために、まず原言語コーパス F と目的言語コーパス {E1 , . . . , EN } を準備し、各 F と En の組に対して独立に単語アライメントを行う。この結果、原言語文 F に対して N 個の目的言語文 {E1 , . . . , EN }と N 個のアライメント {A1 , . . . , AN } が得られる。次に、N 個の言語対に対して、通常の 2 言語に対する 5 複数の言語モデルを考慮した探索phrase-extract アルゴリズムを用いて、N 個のフレーLM は目的言語文の確率 P (E) を計算し、通常の翻訳ズ対集合 {BP1 , . . . , BPN } を抽出する。
においても提案法においても必要不可欠な情報源である。
最後に、この N 個のフレーズ対集合を、すべての目的言語を同時に考慮した多言語フレーズ集合に変換する。 しかし、LM 確率は 4.2 節で紹介されたような各ルール
具体的には、各原言語フレーズ fij に着目し、各フレー に対して独立に計算する局所素性とは異なり、ルールのズ集合 BPn において fij と対応する 0 個以上の目的言語 組み合わせに依存する。n-gram の LM 確率
フレーズ対集合を T Pn とする。すべての T Pn の直積集
|E|+1∏
合を作成し、これに fij を加えることで、多言語フレーPLM (E) =p(ei |ei−n+1 , . . . , ei−2 , ei−1 )(4)ズ集合を得る。つまり、fij は T1 において 2 つのフレーi=1ズと対応され、T2 において 3 つのフレーズと対応されの場合、各単語 ei の確率は直前の n−1 単語に依存する。
るなら、fij に対して 2 ∗ 3 = 6 個のフレーズ三つ組を抽LM を使用しない場合の CKY+アルゴリズム [3] は、出することとなる。このようにすべての目的言語を考慮
原言語スパン fij の最もスコアの高い訳出候補を記憶す― 797 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

'()$*+",!"#$%&!"#$%&!"
#
"
% $"
#
"!

!"#$%&

#
"
$!"
#
"% &"

!"#$%&&"
#
"% &"
#
"
$!"#$%&!"
#
"
$ $"
#"!

'.)$/0120,-"(3!"#$%&!"#$%&!"#"%!"#$%&&"#"%!"#$%&!"#"$!"#$%&

&"
#"
!

T1
T2
ar
es
frru
zh

40(5!"#$%&!"#$%&!"#"%!"#$%&!"#$%&

&"
#
"
% &"
#
"
$!"#$%&!"#$%&

!"
#
"
$ $"
#
"
!

$#
"!

!"
#
"
% &"
#
"
$&"
#
"
% %"
#
"
$!"
#
"
$ '"
#
"
$

図 2: (a) 同時探索と (b) 逐次探索の状態の例

ar
24.77
†25.22
25.02
24.52
24.19

es
42.07
40.88
‡42.84
41.94
41.95

fr
37.22
37.44
‡38.85†37.80
37.21

ru
26.18
25.96
26.47
26.19
25.67

zh
21.14
21.13
21.37
21.25
21.15
-

表 1: 通常の SCFG（1 行目）と MSCFG が T2 を考慮した場合（2〜6 行目）の翻訳結果。太字は各 T1 における最も高い精度であり、短剣符は SCFG ベースラインとの有意差を示す(†: p < 0.05, ‡: p < 0.01)の LM の学習データを 10 万文に限定し、T2 の LM 学る動的計画法に基づく。LM 確率を考慮する際、fij に 習をすべての約 350 万文で行った。
対して、更に訳出候補の両側の n − 1 個の単語も状態とSCFG と MSCFG の翻訳システムを、Travatar[8] をして区別する必要がある。この状態の拡張で探索空間が 用いて作成した。T2 を導入することで T1 の翻訳精度向膨らみ、現実的な時間での全探索が不可能となるため、 上を実現する本研究の主な目的を考慮して、モデルの最各スパンにおいて考慮する組み合わせの数に対して制限 適化と評価に T1 の BLEU スコアを利用した。断りのな(pop limit) を設け、近似的な探索を行う [4]。複数の目 い限り、探索にはビーム幅 2,000 の同時探索を用い、T1的言語文に対する LM を考慮する場合、各言語の両端の フィルタリング法で確率上位の 10 個のルールに制限しn − 1 単語を考慮する必要が生じ、さらに探索空間が広 た。なお、事件結果の議論の際、目的言語を「T1/T2」がる。この探索を行う方法を 2 つ提案する。
(例：fr/es) の形式で記述する。
まず、同時探索では、T1 と T2 の両端の単語を同時に考慮した探索を行う。図 2(a) に示すように、両言語の単 6.2 複数の目的言語を考慮する効果語を考慮した LM 状態を定義し、これを通常の手続きでまず本節で、複数の目的言語を考慮することで、T1展開する。既存の探索法の拡張で比較的シンプルである の翻訳精度向上を実現できるかを検証する。5 つの言語
反面、それぞれの言語で考慮する候補の数が、同じビー を T1 とし、残りの言語をそれぞれ T2 にした結果と、ムを用いた単言語の探索に比べて減少する問題もある。 ベースラインである通常の SCFG の結果を表 1 に示す。
例えば、図では３つの仮説が展開されたにも関わらず、 この図から、すべての T1 において、T2 を考慮した方T1 の単語列に重複があるため、T1 の単語列の異なり数 が高い性能が見られ、特に英語に言語的構造の近いスペは 2 にとどまる。この多様性の減少は翻訳精度に悪影響 イン語は（T1 がスペイン語の場合を除いて）すべてのを及ぼす恐れがある。
言語対で最も有効な T2 であった。このことから、複数この問題の解決策の 1 つとして、逐次探索も提案する。 の目的言語を考慮した提案法は確かに性能の向上に貢献
逐次探索では、図 2(b) に示すように、まず T1 を考慮し できることが分かる。
た探索を行ってから、T2 を考慮する探索を行う。これ
上がり幅を見てみると、fr/es が最も高い 1.63 点を記により、仮説の T1 における多様性は保証されるが、T2 録し、es/fr の 0.77 点が続く。その一方で、中国語やロの LM 確率が探索に大きな影響を与える場合、T1 のみ シア語が含まれる言語対では、有意差が見られず、若干を用いた探索の段階で失敗する要因にもなり得る。の性能悪化が見られることもあった。このことから、提案法は特に言語的特徴の類似している言語を対象とした6 実験的評価場合に有効であると言える。

6.1

実験設定

6.3

T1 の LM 性能、フィルタリング、探索の影響

実験の題材として、国連文章から構成される MultiUN
T1 の LM 性能：今までの実験で、T1 の LM 学習デーコーパスを用いる [5]。このコーパスを題材に選んだの タを 10 万文に限定することで、T2 の LM より弱いモデは、アラビア語 (ar)、英語 (en)、スペイン語 (es)、フラ ルを構築した。T2 の LM は、T1 の弱い LM を補う役割ンス語 (fr)、ロシア語 (ru)、中国語 (zh) という言語的特 を果たしているため、性能の上がり幅も T1 の LM の相徴の異なる大量な対訳データを含むためである。元文章 対的な弱さに依存すると仮定できる。この影響を調べるが英語の場合が多いため、実験でも英語を原言語とし、 ために、T1 の学習データを 0 文から全データの 350 万それ以外の言語を第 1 と第 2 の目的言語とする。まず、 文へと変動させ、各データ数での T2 の追加による向上文のアライメントを取り、2 回以上コーパスに現れる原 幅を調べた。図 3 に、特に影響が顕著だった fr/es の実験
言語文を 1 回のみに減らして、約 350 万文からなる、6 を示す。この結果、0 文の場合に T2 の導入により 3.79カ国語対訳コーパスを作成する。この中から、1,500 文 点という大幅な性能向上が見られ、T1 の学習に用いるずつパラメータ調整とテストデータとして取り除き、残 文数が増えるほど上がり幅が狭まり、40 万文程度を T1りを学習データとする。また、1 節で述べたような、T1 の学習に用いた場合はほぼ差がなくなっている。このこの言語資源が少ない状況を想定して、翻訳モデルと T1 とから、T1 の LM に比べて T2 で性能の良い LM が作― 798 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

T2
ares
fr
ruzh

T1=fr
T1+T2
T1
36.12 37.44
38.87
38.85
37.02 37.80
37.06 37.21

T1=zh
T1+T2
T1
20.57 21.13
20.47 21.37
19.90 21.25
20.04 21.15-

表 2: フィルタリング法による翻訳精度の差

図 4: T2 の LM なし (1 LM)、同時探索 (Joint)、逐次探索(Seq.) の翻訳精度
図 3: 様々なデータサイズで学習した T1 LM に対する T2 のLM なし (-LM2) とあり (+LM2) の翻訳精度ことで第 1 の目的言語の翻訳精度向上が実現可能であることを示した。今後の課題として、全言語を含んだ対訳データが入手可能でない場合の学習法、複数の言語を考慮した単語アライメント [6] との組み合わせ、両目的言語の翻訳精度を最適化する枠組みなどが考えられる。
謝辞：有益な助言を下さった渡辺太郎氏と三浦明波氏に感謝します。本研究の一部は、Microsoft CORE プロジェクトおよび JSPS 科研費 25730136 の助成を受け実施したものである。

成可能な場合に、提案法は特に有効であると言える。
フィルタリング法：4.3 節で述べたフィルタリング法の影響を調べるために、各フィルタリング法を用いた翻訳実験を行った。T1 をフランス語と中国語とし、確率最大の 10 個のルールを用いた場合の実験結果を図 2 に示す。この実験結果から、T1 フィルタリング法はほとんどの場合において、高い翻訳精度を実現していることが分かり、4.3 節で仮定された通り、T1 の多様性を維持することが T1 の翻訳精度向上につながることが分かる。そ 参考文献の一方、唯一の例外として fr/es の結果が挙げられ、T1 [1] T. Brants, A. C. Popat, P. Xu, F. J. Och, and J. Dean.と T2 が十分に類似している場合はフィルタリング法のLarge language models in machine translation. In Proc.
EMNLP, pages 858–867, 2007.
工夫はさほど必要ないことも分かる。
[2] M. Cettolo, C. Girardi, and M. Federico. WIT3: web inven探索法：最後に、同時探索と逐次探索の影響を調べた。
tory of transcribed and translated talks. In Proc. EAMT,
fr/zh の翻訳方向においてフィルタリング法を T1 法もpages 261–268, 2012.
しくは T1+T2 法とし、ビーム幅を様々な値と変動させ [3] J.-C. Chappelier, M. Rajman, et al. A generalized CYK
algorithm for parsing stochastic CFG. In TAPD, pages 133–た。逐次探索の場合の T2 のビーム幅は大きな影響がな
137, 1998.
かったため、10 と固定した。また、T2 の LM を用いな [4] D. Chiang. Hierarchical phrase-based translation. Compuいシステムの結果も参考として示す。
tational Linguistics, 33(2):201–228, 2007.
図 4 の実験結果から分かる通り、T1 フィルタリング [5] A. Eisele and Y. Chen. MultiUN: A multilingual corpus
from United Nation documents. In Proc. LREC, 2010.
法を用いる場合、両方の探索法に大きな差が見られない[6] A. Lardilleux and Y. Lepage. Sampling-based multilingual
が、T1+T2 フィルタリング法を用いる場合、逐次探索alignment. In Proc. RANLP, pages 214–218, 2009.
法において大幅な性能向上が見られる。このことから、 [7] D. Mimno, H. M. Wallach, J. Naradowsky, D. A. Smith, andA. McCallum. Polylingual topic models. In Proc. EMNLP,
フィルタリングにより T1 の多様性が保証されている場
pages 880–889, 2009.
合は逐次探索の工夫は必要ないが、単純な T1+T2 フィ [8] G. Neubig. Travatar: A forest-to-string machine translaルタリングなら逐次探索は T1 の多様性を保持し、性能tion engine based on tree transducers. In Proc. ACL DemoTrack, pages 91–96, 2013.の向上につながることが分かる。なお、紙面の都合上詳細な結果を示さないが、fr/es の方向で同様の実験を行っ [9] F. J. Och. Statistical machine translation: from single-wordmodels to alignment templates. PhD thesis, RWTH Aachen,
た際、いずれのフィルタリング法でも探索法の精度に大2002.
差がなかったことから、T1 と T2 が類似している場合、 [10] F. J. Och and H. Ney. Statistical multi-source translation.
In Proc. MT Summit, pages 253–258, 2001.
この工夫の必要性が減少することも言える。

7[11] F. J. Och and H. Ney. A systematic comparison of various
statistical alignment models. Computational Linguistics,
29(1):19–51, 2003.

おわりに本研究では、複数の目的言語を考慮した新たな機械翻訳枠組みを提案し、第 2 の目的言語の自然性を評価する― 799 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.