階層的モデルを用いた機械翻訳のためのフレーズアライメント
Graham Neubig†‡*
渡辺 太郎 ‡
隅田 英一郎 ‡† 京都大学 情報学研究科‡ 情報通信研究機構

森 信介 †河原 達也 †* 日本学術振興会 特別研究員

θ がスコア付きのフレーズテーブルであるならば、従来のフレーズベース SMT を利用して P (e|f , θ) を探索
フレーズベース統計的機械翻訳 (SMT,[11]) の学習は することができるため、本稿ではパラメータの事後確率
単語アライメントされていない対訳コーパスを入力とし、 P (θ|hE, Fi) の求め方に着目する。ベイズ則を用いて、事スコア付きのフレーズテーブルを出力する。従来法では、 後確率をコーパス尤度とパラメータの事前確率に分解し、フレーズテーブルを 2 段階で構築する。まず、単語や最小フレーズを対応付ける単語アライメントを行なってかP (θ|hE, Fi) ∝ P (hE, Fi|θ)P (θ)
ら、これらを複数の粒度で網羅的に組み合わせるフレーズ抽出を行う。長いフレーズで語彙的曖昧性を解消しな 右側の 2 つの確率をモデル化する。第 3 節で従来モデル
がら、短いフレーズでスパースなデータに対応すること について述べ、第 4 節で提案手法について述べる。
ができるため、フレーズベース SMT の強みはこの複数
3 従来の ITG モデルのフレーズ粒度が利用できる枠組みにあると言える。
近年、フレーズアライメントは研究されており、特にしかし、このような 2 段階法では単語アライメントとフレーズ抽出を独立に行うため、翻訳に最適なフレーズ Inversion Transduction Grammar（ITG）を利用する先テーブルが得られない。DeNero ら [8] はこの問題に対し 行研究が多い [16, 1]。ITG は同期文脈自由文法の一種て、教師ありモデルを用いて単語アライメントとフレー で、非終端記号を生成する時に単語の並べ換えを行うこズ抽出を同時に行い、翻訳結果の精度向上を実現した。 とが特徴である [15]。ITG 制限を利用することにより計
本稿では、複数の粒度でフレーズアライメントを行 算量を減らし、多項式時間でアライメントの最尤解や周う教師なしモデルを提案する。具体的には、Inversion 辺確率が計算できる [7]。
あるフレーズペアの生成確率を Pf lat (he, f i; θx , θt ) とTransduction Grammar (ITG,[15]) を用いた階層的なモデルを実現した。先行研究 [16] と同様に、簡潔なフレー し、フレーズペア確率 θt と記号確率 θx でパラメータ化ズテーブルを学習するためにノンパラメトリックベイズ する。従来の ITG モデルは以下の生成過程を利用する：
法に基づく確率過程を利用する。この枠組みで、フレー1. シンボル x を多項式分布 Px (x; θx ) に従って生成すズ分布が自分自身を基底測度に含む再帰的なモデルで複る。x が取り得る値は term,reg,inv である。
数の粒度のフレーズを学習する。この学習されたフレー2.
xの値に従って：ズを直接フレーズテーブル構築に利用するため、ヒューリスティックなフレーズ抽出を行わなずに高い翻訳精度(a) x = term（終端記号）の場合、フレーズペアが実現できる。
確率 Pt (he, f i; θt ) に従ってフレーズペアを生
仏英・日英翻訳における評価実験では、提案手法は 2成する。
段階法と同程度の翻訳精度を実現しながらフレーズテー(b) x = reg（普通非終端記号）の場合、Pf lat にブルのサイズを大幅に削減できた。
従ってフレーズペア he1 , f1 i と he2 , f2 i を生成

1

はじめに

2

フレーズ抽出の確率モデル

統計的機械翻訳は学習コーパス hE, Fi と翻訳したい
原言語文 f が与えられた場合、最も確率の高い目的言語文 e を探索する。

ê = argmaxP (e|f , hE, Fi)e

未観測のパラメータ集合 θ があり、θ が与えられた場
合、e は学習コーパスと条件付き独立であると仮定し、目的言語文の確率は以下のようになる。
∫P (e|f , hE, Fi) = P (e|f , θ)P (θ|hE, Fi)(1)
θし、he1 e2 , f1 f2 i で 1 つのフレーズペアに融合する。
(c) x = inv（倒置非終端記号）の場合、(b) と同じように 2 つのフレーズペアを生成するが、f1と f2 を逆順に並べる：he1 e2 , f2 f1 i。

各文に対する Pf lat の積を取り、コーパス尤度が計算できる。
∏P (hE, Fi|θ) =Pf lat (he, f i; θ).
he,f i∈hE,F i

従来の ITG モデルを flat と呼ぶ。

3.1

ベイズ学習によるモデル化

前節のモデルはそのまま最尤推定で学習できるが、最尤解では非常に長いフレーズペア（1 文 1 フレーズ）が得られてしまう。Zhang ら [16] は簡潔なフレーズ辞書に高い確率を与える事前確率 P (θ) = P (θx , θt ) を利用することで、長いフレーズの問題を解決する。
ここでは、θx の事前確率に Dirichlet 分布を利用し、θtにはノンパラメトリックベイズ法に基づく Pitman-Yor
過程 [14] を利用する。

Pbu では、e と f の中から空でない単語列を g とし、確率を以下のように定義する。
Pbu (he, f i) = Puni (g)Ppois (|g|; λ)/2.
e と f を両方考慮するため、Pbu を 2 で割っている。

4

階層的 ITG モデル

flat では、最小フレーズのみが記憶されるが、複数の粒度のフレーズを利用した機械翻訳に比べて最小フレーズのみを利用した機械翻訳の精度が低いと知られている
θt ∼P Y (d, s, Pbase )(2) [5]。このため、先行研究は flat で最小フレーズをアライメントしてから、ヒューリスティックスに基づいて網θx ∼Dirichlet(α)
羅的に長いフレーズを抽出する。提案手法では、階層的
Pitman-Yor 過程の割引パラメータ d と強さパラメータ なモデルを利用することで、複数の粒度のフレーズを直s を Teh[14] と同様に推定する。Pbase は次節で述べる基 接確率モデルで表現する。このため、ヒューリスティックスに基づくフレーズ抽出を行わずに高い翻訳精度を実底測度（base measure) である。
Pitman-Yor 過程による事前分布を用いる利点は、生 現する。この階層的モデルを hier と呼ぶ。
flat と 同 様 、hier の フ レ ー ズ ペ ア 確 率成されたフレーズペアを記憶するという確率過程の性質にある。分布から頻繁に生成されるフレーズペアの Phier (he, f i; θx , θt ) を 定 義 す る 。モ デ ル の 違 い は 生
確率が高くなり、さらに生成されやすくなる（いわゆる 成過程の順番にある。flat はまず導出木の分岐点を「rich-gets-richer 効果」）。Pitman-Yor 過程を用いた学 Px から生成してからフレーズペアを Pt から生成する習によって、より少ない、より役に立つフレーズから構 のに対して、hier はまず Pt からフレーズペア he, f i成されるフレーズテーブルが構築できる。また、Pt か を生成しようとする。Pt からフレーズペアが生成でら生成されるフレーズのみが記憶されることに注意する きなかった場合、基底測度で再帰的により小さいフ必要がある。flat では、終端記号の最小フレーズペア レーズペアを２つ生成し、組み合わせることで新たなのみが Pt から生成されるため、記憶されるのも最小フ フレーズペアを生成する。正式には、式 (2) で利用した基底測度 Pbase の代わりに、新しい基底測度 Pdac
レーズペアのみである。
（“divide-and-conquer”) を定義し、θt の式は以下のよ3.2 基底測度うになる。
式 (2) の Pbase はモデルにおけるフレーズペアの事前θt ∼ P Y (d, s, Pdac )(3)
確率であり、適切に決めることでフレーズのアライメ
Pdac の生成過程は Pf lat と類似しており、以下のようントしやすさに関する事前知識をモデルに組み込める。
な ITG に基づく生成過程となる。
ここで、Pbase は対応なしのフレーズ（|e| = 0 または|f | = 0）を生成するかどうかを一定の確率 Pu で選び1 、 1. 記号 x を Px (x; θx ) に従って生成する。x は base、対応なしのフレーズを Pbu から生成し、対応ありのフreg、inv の値を取り得る。
レーズペアを Pba から生成する。
2. x の値に従って：
Pba は DeNero ら [5] と同じく以下の形とする。
(a) x = base の場合、新しいフレーズペアを第Pba (he, f i) =M0 (he, f i)Ppois (|e|; λ)Ppois (|f |; λ)3.2 節の Pbase から直接生成する。
(b) x = reg の場合、he1 , f1 i と he2 , f2 i を Phier
1M0 (he, f i) =(Pm1 (f |e)Puni (e)Pm1 (e|f )Puni (f )) 2から生成し 1 つのフレーズペア he1 e2 , f1 f2 i を作成する。
Ppois は平均長パラメータ λ を持つポアソン分布である。
(c) x = inv の場合、(b) と同じように 2 つのフ長いフレーズを避けるために、λ に小さい値を利用すレーズペアを生成するが f1 と f2 を逆順に並る2 。Pm1 は単語確率に基づく IBM モデル 1 確率である
べる he1 e2 , f2 f1 i。
[2]。これを利用することで、フレーズを構成する単語の翻訳確率が高ければフレーズの確率も高くなる。両方向flat と hier の導出木の比較を図 1 に示す。図 1 の通の条件付き確率の相乗平均を利用することで、両モデル り、flat の Pt は最小フレーズのみを生成するが、hierが一致するフレーズを優先的にアライメントする [12]。 では複数の粒度のフレーズを Pt から生成し、記憶する。
4.1
1 P は 10−2 、10−3 、10−10 の中からヘルドアウトデータで精度uが最もよくなるように選択する。
2 λ を 1、0.1、0.01 の中からヘルドアウトデータで精度が最も高くなるように選択する。

実装

フレーズアライメントの先行研究の多くはサンプリン
グを用いてモデルを学習する [5, 1]。本研究では Blunsom
ら [1] に従い、文ごとのブロックサンプリングを利用す図 2: フレーズ・ブロック・単語のアライメントスに基づくフレーズ抽出と組み合わせることができるため、これを 2 つ目のベースラインとして利用する。しかし、提案手法は長いフレーズを取ることもあり、最小フレーズでもデータがスパースになることもある。このため、さらに細かいアライメントを得るために、モデルがあるフレーズを生成した場合、そのまま使う（heur-p）
だけではなく、1 対多アライメントになるまでを分解する（heur-b）手法や、1 対 1（または 0）のアライメントまで分解する（heur-w）手法も試みる（図 2）。

5.2

図 1: 単語アライメント (a)、flat の導出木 (b)、hier の導出木 (c)。実線と点線はそれぞれ最小フレーズペアとその多のフレーズペアであり、モデルに記憶されるフレーズはそのフレーズを生成した Pt の下に書いてある。「Smith/スミス」はPbase によって生成されたる。ITG の導出木候補を現実的な時間で探索するために
Saers ら [13] のビームサーチに基づくチャート法を採用し、確率ビームを P > 10−10 とする。
従来のモデルに比べて、フレーズペアの頻度管理に注意する必要がある。あるフレーズペア ta が tb と tc から構成される場合、ta を含むサンプルが削除される時に tbと tc の頻度を減らさなければならない場合がある。Ptを中華料理店過程 (CRP,[14]) で表現する場合、フレーズの管理は容易となる。ta を生成するテーブルに対して、客の数だけではなく、テーブルを生成した時に利用したフレーズペア tb と tc も記録しておく。ta の客数が0 になった場合、tb と tc の客数も 1 人減らす。

5フレーズ抽出

本節では、従来のフレーズ抽出と提案手法のフレーズ抽出について述べる。

5.1

ヒューリスティクスに基づくフレーズ抽出

従来のフレーズ抽出は単語アライメントに従ってフレーズを網羅的に抽出する [11]。フレーズペアに対して、最尤推定による両方向の条件付き確率 Pml (f |e)と Pml (f |e)、単語の翻訳確率を用いる両方向の lexical
weighting 確率 [11]、各フレーズに対する定数のペナルティという 5 つの素性を計算する。このフレーズ抽出法を heur-w と呼ぶ。heur-w に必要な単語アライメン
トは IBM モデル [2] で得ることができ、これを 1 つ目のベースラインとして利用する。
提案手法で得られるアライメントもヒューリスティクモデル確率に基づくフレーズ抽出

ITG モデルの生成確率 Pt (he, f i) に基づくフレーズテーブル構築法も提案する。フレーズテーブルの素性として、条件付き確率 Pt (f |e) と Pt (e|f ) や、lexical weighting 確率、フレーズペナルティなどを利用する。前節の条件付き確率は最尤推定によるものであったが、ここではモデル確率 Pt を使って条件付き確率を計算する：∑Pt (he, f˜i)
Pt (f |e) = Pt (he, f i)/{f˜:c(he,f˜i)≥1}

Pt (e|f ) = Pt (he, f i)/∑Pt (hẽ, f i).

{ẽ:c(hẽ,f i)≥1}

なお、サンプルに 1 回以上現れるフレーズペアのみをフレーズテーブルに入れる。
さらに、2 つの素性を加える。1 つ目はモデルによるフレーズペアの同時確率 Pt (he, f i) である。2 つ目は insideoutside アルゴリズムで計算されたスパンの事後確率に基づいて、あるフレーズペア he, f i が入っているスパンの平均事後確率を素性とする。スパン確率は頻繁に起こるフレーズペア、または頻繁に起こるフレーズペアを元に構成されるフレーズペアで高くなるため、フレーズペアがどの程度信頼できるかを判定するのに有用である。
このモデル確率に基づくフレーズ抽出を mod と呼ぶ。

6

実験評価

提案手法を仏英翻訳と日英翻訳のタスクで評価した。
仏英翻訳において Workshop on Statistical MachineTranslation (WMT)[3] のデータを用い、翻訳モデル学
習に news commentary のコーパス、言語モデル学習にnews commentary と Europarl のコーパスを利用した。
日英翻訳は NTCIR の特許翻訳タスク [9] のデータを用
い、翻訳モデルにパラレルコーパスの最初の 10 万文、言語モデルにパラレルコーパス全体を利用した。コーパスの諸元を表 1 に示す。データの前処理として単語分割（トークン化）と小文字化を行い、翻訳モデルの学
習に 40 単語以下の文のみを利用する。デコーダとして

表 1: 各コーパスの単語数

翻訳モデル
言語モデル
重み学習テスト

表 3: 様々なフレーズ抽出法による翻訳精度とフレーズテー
ブルサイズ（仏英）

特許

WMT
fren

jaen

1.56M
-

1.35M
52.7M

2.78M
-2.38M
44.7M

55.4k
72.6k

49.8k
65.6k

80.4k
48.7k

68.9k
40.4k

表 2: BLEU スコアとフレーズテーブルのサイズ。太字は最も高い精度のシステムに比べて統計的に有意な差ではない（p < 0.05 のサインテストにより [4]）

抽出法

giza
flat
hier

heur-w
mod
mod

fr-en
BLEU サイズ

ja-en
BLEU サイズ

21.35
17.97
21.50

23.20
16.10
23.23

4.01M
117k
751k

4.22M
89.7k
723k

flat

7hier

mod

17.97

117k

21.50751k

heur-w
heur-b

21.52
21.45

5.65M
4.93M

21.68
21.41

5.39M
2.61M

heur-p

21.56

4.88M

21.47

1.62M

おわりに

本稿はベイズ学習と ITG に基づく階層的モデルを用いて、機械翻訳のためのフレーズアライメントと抽出を同時に行う手法を提案する。提案手法を使った評価実験
では、従来の 2 段階法とほぼ同等の精度を保ちながらフレーズテーブルのサイズを大幅に削減できた。

参考文献[1] P. Blunsom and T. Cohn. Inducing synchronous grammars with slice sampling. In Proc. NAACL, 2010.
Moses[10] を利用する。フレーズの最大長を 7 とし、言語 [2] P. F. Brown, V. J. Pietra, S. A. D. Pietra, and R. L.
Mercer. The mathematics of statistical machine transモデルは Kneser-Ney 平滑化を用いた 5-gram モデルでlation: Parameter estimation. Computational Linguisある。評価基準は 4-gram までの BLEU スコアとする。
tics, 19:263–311, 1993.
最初の実験では、flat と hier のモデル確率を利用[3] C. Callison-Burch, P. Koehn, C. Monz, K. Peterson,
したフレーズ抽出（mod）と、GIZA++から得られたアM. Przybocki, and O. F. Zaidan. Findings of the2010 joint workshop on statistical machine translaライメント（giza）とヒューリスティックスに基づくフtion and metrics for machine translation. In Proc.
レーズ抽出の精度を比べる。
WMT/MetricsMATR, pp. 17–53, 2010.
giza の場合は Model 4 までの標準的な学習設定を用 [4] M. Collins, P. Koehn, and I. Kučerová. Clause reいて、grow-diag-final-and で両方向のアライメント
structuring for statistical machine translation. In Proc.
ACL, pp. 531–540, 2005.
結果で組み合わせる。提案手法では 100 イタレーション[5] J. DeNero, A. Bouchard-Côté, and D. Klein. Samの学習を行い、最後のサンプルを利用する。実際には 100
pling alignment structure under a Bayesian translation
イタレーション目まで尤度が単調増加したが、翻訳精度
model. In Proc. EMNLP, pp. 314–323, 2008.
は 5〜10 イタレーション目以降ほぼ同等となった。1 イ[6] J. DeNero, D. Gillick, J. Zhang, and D. Klein. Why
generative phrase models underperform surface heurisタレーションは 1 コアで約 1.3 時間かかったため、良いtics. In Proc. WMT, pp. 31–38, 2006.
翻訳精度は 6.5〜13 時間で実現することができた。
[7] J. DeNero and D. Klein. The complexity of phrase
実験結果を表 2 に示す。仏英・日英ともに、階層的モ
alignment problems. In Proc. ACL, pp. 25–28, 2008.
デルの確率を利用したフレーズテーブルは GIZA++と[8] J. DeNero and D. Klein. Discriminative modeling ofextraction sets for machine translation. In Proc. ACL,
ヒューリスティックスに基づくフレーズ抽出の精度をわ
pp. 1453–1463, 2010.
ずかに上回った。完全な確率モデルがヒューリスティッ[9] A. Fujii, M. Utiyama, M. Yamamoto, and T. Utsuro.
クスに基づくフレーズ抽出を上回ったのは本稿で初めてOverview of the patent translation task at the NTCIRである。さらに、提案手法で得られたフレーズテーブル
7 workshop. In Proc. NTCIR-7, pp. 389–400, 2008.のサイズも従来法の 20%弱に収まった。また、モデル確 [10] P. Koehn, et al. Moses: Open source toolkit for statistical machine translation. In Proc. ACL, 2007.
率を用いた場合、hier は flat を大きく上回った。これ[11] P. Koehn, F. J. Och, and D. Marcu. Statistical phraseは、先行研究が報告する通り [6]、最小フレーズのみをbased translation. In Proc. NAACL, pp. 48–54, 2003.
利用すると高い精度が得られないからである。
[12] P. Liang, B. Taskar, and D. Klein. Alignment by agreement. In Proc. NAACL, pp. 104–111, 2006.
最後に、モデル確率に基づくフレーズ抽出と従来法の[13] M. Saers, J. Nivre, and D. Wu. Learning stochas比較を表 3 に示す。hier や flat のアライメントを利用
tic bracketing inversion transduction grammars with a
し、モデル確率を用いる提案手法 mod に加えて、第 5
cubic time biparsing algorithm. In Proc. IWPT, 2009.
節で説明したフレーズ heur-p、ブロック heur-b、単語 [14] Y. W. Teh. A hierarchical Bayesian language model
based on Pitman-Yor processes. In Proc. ACL, 2006.
heur-w を最小単位とするヒューリスティック抽出を比[15] D. Wu. Stochastic inversion transduction grammars
較した。hier と mod の組み合わせはヒューリスティッ
and bilingual parsing of parallel corpora. Computaク抽出とほぼ同等、またはより高い精度を示しながら、
tional Linguistics, 23(3):377–403, 1997.
[16] H. Zhang, C. Quirk, R. C. Moore, and D. Gildea.
フレーズテーブルのサイズを大幅に削減した。
Bayesian learning of non-compositional phrases withsynchronous parsing. Proc. ACL, pp. 97–105, 2008.