句の依存関係確率モデルを用いた統計的対訳文アライメント
中澤 敏明

黒橋 禎夫

京都大学大学院情報学研究科
nakazawa@nlp.kuee.kyoto-u.ac.jp kuro@i.kyoto-u.ac.jp

1

はじめにでのアライメント結果を得た後に、それらをヒューリスティックな方法で対称化することにより多対多の対

既存の統計的対訳文アライメント手法の多くは、文応を獲得しているが、本モデルでは推定時に双方向のを単純な単語列として見た単語アライメント ([1, 4])確率を同時に用いており、多対多の対応も推定時に自である。英語とフランス語のように語順変化が局所的然と学習される。

であり、大きな構造の違いがない言語対においてはこのような手法でも十分な精度を達成できるが、日本語

2

依存関係確率モデルと英語などのように構造が大きく異なる言語対に対し2.1

アライメント の単位ては脆弱であり、良い精度は得られない。単純な単語アライメント手法による結果の上に構文情報を追加する手法 ([7, 3]) もいくつか提案されているが 、ベースとなるアライメントそのものの精度が高くない状況では大きな精度の向上を達成することは難しい。
そこで本稿では、初めから言語構造を利用した対訳文アライメントモデルを提案する。本モデルは依存構
造解析された二つの木構造において、句の対応のペアの原言語側と目的言語側での依存関係をモデル化したものであり、単語列アライメントで扱うのが困難な距離の大きな語順変化にも対応することができる。言い替えれば 、本モデルは木構造上での reordering モデルである。
もちろん木構造を利用したアライメントモデルはすでにいくつか提案されている。[9] は構文解析結果をアライメントで利用しているが 、木構造に対して挿入、削除、複製などの操作をする必要があり、モデルが複雑であるし 、ロバストではない。[2] は提案手法と同様に依存構造解析結果を利用しているが、単語単位の手法であり、句などの大きな単位が扱えない上に、1 対1 対応のみという制約があり、やはりロバスト性に欠ける。提案モデルでは多対多の対応を生成することができるし 、アライメントの単位は単語よりもう少し大きい、意味的なまとまりのある単位である (2.1 章)。
我々が以前提案した手法 [5] では内容語は内容語のみに 、付属語は付属語のみにしか対応しないという制約があり、これがしばしば誤った対応を生成していた。本手法ではこの制約を取り除き、より柔軟なアライメントを可能とした。また以前のモデルでは各方向以後の説明では原言語に日本語、目的言語に英語を仮定する。ただし 、提案手法は言語対によらない汎用的なものであることに注意されたい。
まず対訳文を両言語とも依存構造解析する。日本語文に対しては JUMAN および KNP を用い、英語文に対しては Charniak のパーサを用いて句構造に変換し 、これにフレーズの head を定義するルールを適用することにより依存構造に変換する。これらの処理により、文は 1 つの内容語と 0 個以上の機能語とをひとまとまりとした句をノードとする依存構造木に変換される。
次に機能語を、内容語同士をつなぐ ものと考える。
つまり機能語は、内容語とその係り先の内容語との間に位置しており、それらをつなぐ 枝として働くと考える。なお機能語がない句については、その句の係り受け情報を機能語の代わりとする。係り受け情報としては各パーサによって定義される “係り受けタイプ ” と “係る方向” を利用する。係り受けタイプは日本語では“文節内” や “連用” 、“連体” などが、英語では “NP” 、“VP” 、“PP” などがある。係る方向はその句が係り先の前から係るか、後ろから係るかの情報である。これは英語で同士の前から係る名詞は主語 (日本語での “ガ格”) である可能性が高く、後ろから係る名詞は目的語 (“ヲ格”) である可能性が高いといった現象を扱うのに有効である。
図 1 に依存構造木の例を示す。提案モデルではこれ
ら内容語ノード、付属語ノード それぞれをアライメントの最小単位として扱う。なお、モデル推定時には連ẕ㞟ᅋ䛻ศᩓ䛜䛒䜛䛸⪃䛘䜛ሙྜ䚸䛭䛾ẕ㞟ᅋ䛻䜘䜛ຠᯝ䜢ኚ㔞ຠᯝ䛸䛔䛖䚹

When the dispersion in a popula!on isconsidered to exist, the effect due to thepopula!on is called a variable effect.

表 1: カテゴ リ確率の有無による精度比較[ྠ᱁㐃య]䡘ẕ䛻䡘㞟ᅋ[WHADVP]䡘When䛜䡘ศᩓ[NP]䡘the dispersion䛸䡘䛒䜛

カテゴ リ確率なし
カテゴ リ確率あり

適合率
58.25
76.52

再現率
42.77
50.23

F値
49.33
60.65

in䡘a popula!onሙྜ䡘⪃䛘䜛

[SBAR]䡘is considered[㐃య]䡘䛭䛾

to䡘exist[ྠ᱁㐃య]䡘ẕ[NP]䡘the effect䛻 䜘䜛䡘㞟ᅋ[ADJP]䡘due䜢䡘ຠᯝto䡘the popula!on[ᩥ⠇ෆ]䡘ኚ

fj の依存関係であり、rel(eaj ←eaj 0 ) も同様である。
p(rel(eaj ←eaj 0 )|rel(fj ←fj 0 )) は依存関係確率であり、[ROOT]䡘is called[ᩥ⠇ෆ]䡘㔞

[JJ]䡘variable䛸䡘ຠᯝ[S]䡘a effect[ROOT]䡘䛔䛖

原言語側で直接の親子関係になっている二つのノード┠ⓗゝㄒ䠄ⱥㄒ䠅ཎゝㄒ䠄᪥ᮏㄒ䠅p(fj |eaj ) 単 語 翻 訳 確 率1で あ り、IBM Model 1と 同様の定義である。rel(fj ←fj 0 ) は fj 0 からみた(fj と fj 0 ) の対応する目的言語側のノード (eaj と eaj 0 )の依存関係がど うなっているかを表す確率である。

図 1: 依存構造木の例

提案モデルでは対訳文のアライメント確率 p(a|f, e)
を lexicon probability と alignment probability を双続する複数のノード のかたまりもアライメントの単方向分すべて掛け合わせたものとして以下のように定位として考慮することにより、多対多対応を実現する

義し 、この確率が最大となるアライメントを最も良い(3.2.3 章参照)。

アライメントとする。

2.2p(Tf |Te , a) · p(a|Te ) · p(Te |Tf , a) · p(a|Tf )モデルの定義提案するモデルでは、IBM Model[1] のような方向性のある確率モデルを双方向同時に利用する。そこでまず方向性のある確率モデルを定義する。

IBM Model では与えられた原言語文 f と目的言語
文 e に対して最も良いアライン メント â を

â = argmax p(f |e, a) · p(a|e)

3 トレーニング
モデルのトレーニングではまず単語翻訳確率のみを推定 (Model 1) し 、これを初期値として依存関係確率と単語翻訳確率を同時に推定 (Model 2) する。推定には EM アルゴ リズムを用いる。

(1)により求める。ここで p(f |e, a) は lexicon probability 、p(a|e) は alignment probability と呼ばれている。
提案モデルでは木構造を利用しているため、以下のような確率を考える。与えられた原言語の依存構造木

Tf と目的言語の依存構造木 Te に対して、IBM Modelと同様に以下のように書ける。

â = argmax p(Tf |Te , a) · p(a|Te )

(5)

(2)

3.1

Model 1

基本的には IBM Model 1 と全く同じ方法で、各方向独立に推定を行う。ただし提案モデルでは内容語、機能語が内容語、機能語、NULL のどれに対応するかといった確率 (カテゴ リ確率) も利用する点が異なる。
予備実験ではこの確率の導入により、Model 1 のみのアライメントの精度が表 1 のように向上することがわかった。カテゴ リ確率は出現頻度が極端に少ない単

さらに Tf が J 個のノード f1 , ..., fJ から、Te が I 個語を正しくアライメントするの有効である。これは出のノード e1 , ..., eJ から構成されているとし 、各ノー現頻度が少ない語はほぼ確実に内容語であるからであド の係り先 (親) のノードを、添字にダッシュを付けるる。なおカテゴ リ確率は Model 1 の推定にのみ利用ことにより表し (例えばノード fj の係り先のノードはし 、Model 2 では利用しない。

fj 0 ) 、それぞれの確率を以下のように定義する。
J∏p(Tf |Te , a) ≈p(fj |eaj )(3)のみであり、複数ノード のかたまりは考慮しない。つp(a|Te ) ≈J∏

j=1p(rel(eaj ←eaj 0 )|rel(fj ←fj 0 ))Model 1 の推定の際には対応の単位は各ノード 単体まり、この時点では 1 対 1 対応のみしか扱えない。多対多対応は Model 2 の推定から考慮し 、多ノード 候補(4)を動的に作り出すことにより実現する。これは Modelaj は fj の対応先のノード 番号であり、eaj は対応ノー

1 の段階で多ノード 候補全てを考慮すると、アライメント候補数が爆発し 、扱えなくなるためである。

j=1

ド を表す。
1 我々は複数の単語のかたまりや係り受け情報もノードとしているため正確には単語ではないが 、便宜上こう呼ぶ。

3.2

Model 2

単語翻訳確率と依存関係確率を同時に推定する。

Model 2 では双方向の確率を両方用い、一つのアライメント結果を得る。
しかし Model 1 とは違い近似なしでモデルを完全に推定することはできないため、単語翻訳確率のみを用

修正後のアライメント確率が修正前よりも高くなる
場合にのみ修正を実行し 、修正された状態から再度修正を行っていく。確率が高くなる修正箇所がなくなるまで修正を繰り返し行う。最終的に得られたアライメントが 、最も確率の高いアライメントとなる。

3.2.3

いて初期アライメントを生成し 、山登り法により依存関係確率を考慮した n-best アライメントを探索する。
依存関係確率は、原言語側で直接の親子関係にあるノード (fj と fj 0 ) の対応する目的言語側のノード (eajと eaj 0 ) の関係 (rel(eaj ←eaj 0 )) に対して与えられる確率 p(rel(eaj ←eaj 0 )|rel(fj ←fj 0 )) である。rel(P2 ←P1 )

多ノード 候補の生成獲得された最も確率の高いアラ イメント の中に 、NULL に対応付けされたノード があった場合、それらを親、または子の NULL 対応でないノード に併合したものを新たな多ノード 候補として生成し 、次のイタレーションから探索に入れる。この新たな多ノード候補はその対訳文から 1 回出現したものとして数える。

はあるノード (P1 ) から別のあるノード (P2 ) までの経路で表し 、離れているノード 数分だけ以下の表記を並べることにより表現する。
• P2 が P1 の (前の子、後ろの子): (c- 、c+)

• 同じ句内で P2 が内容語、P1 が機能語: c

4

実験と考察

JST 日英抄録コーパスを用いてアライメント実験を行った。このコーパスは、科学技術振興機構所有の約200 万件の日英抄録から 、内山・井佐原の方法 [8] に• P2 が P1 の (前の親、後ろの親): (p- 、p+)より、情報通信研究機構が作成したものであり、100• 同じ句内で P2 が機能語、P1 が内容語: p

万対訳文からなる。このうち 100 対訳文についてアラ

例えば図 1 において “いう” から見た “場合” の依存関イメントの正解を人手で付与し 、アライメント精度を係は “c-” 、“考える” は “c-;c” 、“考える” は “c-;c” 、“適合率、再現率、F 値により測定した。実験は全てのある” は “c-;c;c-;c” などとなる。

語を原形に戻して行った。また提案モデルでは英語の3.2.1

初期アライメント の生成冠詞は無視している。実験結果を表 2 に示す。

Model 1 は両方向とも 5 回ずつイタレーションを行
原言語側、目的言語側の全てのノード 及び多ノード

い、得られたパラメータを用いて 3.2.1 章で説明した候補間の単語翻訳確率を計算し 、単語翻訳確率の最も初期アライメントを生成し 、これを評価したものであ高いペアから順に採用する。ただし 、すべてのノードる。Model 2-1 は Model 1 のアライメント結果から依は 1 度しかアライメントされない。つまり対応の採用存関係確率を推定して Model 1 のパラメータに追加しは排他的に行われるが、そもそも多ノード 候補を考慮た状態でのアライメント精度である。つまり Model 1しているため自然と多対多対応が実現される。多ノーと Model 2-1 とを比較することにより、依存関係確率

ド 候補の生成については 3.2.3 章で述べる。なお、単の効果が見て取れる。以後 Model 2 のイタレーション

語翻訳確率は両方向の単語翻訳確率を単純に掛け合わを 5 回行い、その都度アライメント精度を算出した。

せることにより計算される。

3.2.2

山登り法

また比較として GIZA++による双方向のアライメント結果を様々な対称化アルゴ リズムでマージした結果も示す。これらの結果と比較すると、提案モデルの初期アライメントの状態から、依存関係確率を考慮しながらアライメントを修正していき、徐々に確率の高いアライメントを探索していく。修正手段としては以下の 2 種類を考える。
対応の入れ替え: 任意の 2 つの対応に注目し 、それらの対応を入れ替える。
大きな対応への拡大: 任意の 1 つの対応に注目し 、その原言語側または目的言語側いずれかの対応を、親または子方向に 1 ノード 分だけ拡大する。拡大先のノードにすでに対応が存在する場合、その対応は棄却
し 、反対言語側のノードは NULL 対応となる。

方がより精度の高いアライメントが実現できていることが分かる。さらに、対訳辞書などの言語リソースを用い、アライメントの整合性尺度を用いた手法 [6] による結果も示した。この手法と比較すると精度は若干劣っているが、対訳辞書などを全く用いていなくてもある程度の精度が達成できるということが分かった。
また、提案手法に置いても数字の汎化や同じアルファベットの出現などに注目するなどの枠組を入れることにより、[6] と同等かそれ以上の精度を実現することができると考えられる。

上での reordering モデルと言うことができ、シンプル
表 2: アライメント実験結果
Model 1Model 2-1
Model 2-2
Model 2-3
Model 2-4
intersection
grow-final-and
grow-diag-final-and
整合性尺度 [6]

適合率
76.52
81.58
82.79
83.12
81.70
88.14
78.00
74.95
64.24

再現率
50.23
54.95
60.34
62.27
62.78
40.18
52.93
54.26
84.19

F値
60.65
65.67
69.81
71.20
71.00
55.20
63.06
62.95
72.88

なモデルながらも言語構造の違いを柔軟に吸収し 、精度の高いアライメントを実現できた。今回はアライメントの精度のみを評価したが、この結果が翻訳の精度にどのように影響するかを調査する必要がある。
提案手法は依存構造解析に大きく依存しており、依存構造解析誤りが容易にアライメントの誤りにつながってしまう。各言語独立に依存構造解析の精度向上を期待することはできるが、対訳がある状況では両言語の解析結果を照らしあわせて、文構造を修正しつつアライメントすることも可能なはずであり、現在検討䕔when䕔 䕔the䕔 䕔dispersion
䕔
in䕔 䕔
a
popula on 䕔 䕔䕔is䕔
considered䕔to䕔exist䕔 䕔the䕔 䕔effect䕔due䕔to䕔 䕔the䕔 䕔
popula on䕔is䕔
called䕔 䕔a䕔 䕔variable䕔 䕔effectẕ 㞟 䛻 ศ 䛜 䛒 䛸 ⪃ ሙ 䛭 ẕ 㞟 䛻 ຠ 䜢 ኚ 㔞 ຠ 䛸 䛔ᅋᩓ䜛ᅋ 䜘 ᯝᯝ䛖䛘 ྜ 䛾䜛䜛中である。これが実現できれば 、依存構造解析とアラ

図 2: アライメント結果例[4] Philipp Koehn, Franz J. Och, and Daniel Marcu. Statistical phrase-based translation. In HLT-NAACL
2003: Main Proceedings, pages 127–133, 2003.

図 2 にアライメントの例を示す。例を見ると、“母[5] Toshiaki
Nakazawa
andSadao
Kurohashi.
Linguistically-motivatedtree-based
probabilistic phrase alignment.
In In Proceedings of theEighth Conference of the Association for MachineTranslation in the Americas (AMTA2008), 2008.

集団 ↔ population” 、“変 量 ↔ variable” 、“に よる↔ due to” など 、期待する多対多の対応が得られていることが分かる。またアライメント誤りの原因として最も大きいのはパース誤りであり、次いで多いのが初期アライメントのミスによるものであった。一方の言語で省略が起こっている場合や、同じ語が複数回出現する場合など 、翻訳確率だけでは正しいものを判断できず、山登り法でも修正できなかったケースが多かった。これは初期アライメント生成時に曖昧性がある場合などは、多少依存関係確率を考慮するなどすれば解決すると思われる。

5

結論
本稿では句の依存関係確率モデルを用いた統計的アライメント手法を提案した。この確率モデルは木構造イメント双方の精度向上が可能となると考える。

参考文献[1] Peter F. Brown, Stephen A. Della Pietra, Vincent
J. Della Pietra, and Robert L. Mercer. The mathematics of statistical machine translation: Parameterestimation. Association for Computational Linguistics, 19(2):263–312, 1993.
[2] Colin Cherry and Dekang Lin. A probability modelto improve word alignment. In Proceedings of the 41st
Annual Meeting of the Association of ComputationalLinguistics, pages 88–95, 2003.
[3] Brooke Cowan, Ivona Kuc̆erová, and Michael Collins.
A discriminative model for tree-to-tree translation.
In Proceedings of the 2006 Conference on EMNLP,
pages 232–241, Sydney, Australia, July 2006. Association for Computational Linguistics.

[6] Toshiaki Nakazawa, Kun Yu, and Sadao Kurohashi.
Structural phrase alignment based on consistency criteria. In In Proceedings of Machine Translation Summit XI (MT-Summit XI), pages 337–344, 2007.
[7] Chris Quirk, Arul Menezes, and Colin Cherry. Dependency treelet translation: Syntactically informed
phrasal SMT. In Proceedings of the 43rd Annual
Meeting of the Association for Computational Linguistics (ACL’05), pages 271–279, 2005.
[8] Masao Utiyama and Hitoshi Isahara. A japaneseenglish patent parallel corpus. In MT summit XI,
pages 475–482, 2007.
[9] Kenji Yamada and Kevin Knight. A syntax-based
statistical translation model. In Proceedings of 39thAnnual Meeting of the ACL, pages 523–530, 2001.