# 依存関係確率モデルを用いた統計的句アライメント

中澤 敏明 $・$ 黒橋 禎夫 $\dagger$
}

語順や言語構造の大きく異なる言語対間の対訳文をアライメントする際に最も重要 なことは, 言語の構造情報を利用することと, 一対多もしくは多対多の対応が生成 できることである。本論文では両言語文の依存構造木上での単語や句の依存関係を モデル化した新しい句アライメント手法を提案する。依存関係モデルは木構造上で の reordering モデルということができ, 非局所的な語順変化を正確に扱うことがで きる。これは文を単語列として扱う既存の単語アライメント手法にはない利点であ る. また提案モデルはヒューリスティックなルールを一切用いずに, 句となるべき 単位の推定を自動的に行うことができる。 アライメント実験では, 既存の単語アラ イメント手法と比較して, 提案手法にではアライメントの精度を $\mathrm{F}$ 値で 8.5 ポイン ト向上させることができた.

キーワード：機械翻訳，アライメント，木構造，依存関係確率
## Statistical Phrase Alignment Model Using Dependency Relation Probability

\author{
Toshiaki NaKazaWa $^{\dagger}$ and Sadao Kurohashi ${ }^{\dagger}$
}

\begin{abstract}
When aligning very different language pairs, the most important needs are the use of structural information and the capability of generating one-to-many or many-tomany correspondences. In this paper, we propose a novel phrase alignment method which models word or phrase dependency relations in dependency tree structures of source and target languages. The dependency relation model is a kind of tree-based reordering model, and can handle non-local reorderings which sequential word-based models often cannot handle properly. The model is also capable of estimating phrase correspondences automatically without any heuristic rules. Experimental results of alignment show that our model could achieve F-measure 8.5 points higher than the conventional word alignment model with symmetrization algorithms.
\end{abstract}

Key Words: machine translation, alignment, tree structrue, dependency relation probability

## 1 はじめに

日本語と英語のように言語構造が著しく異なり，語順変化が大きな言語対において，対訳文をアライメントする際に重要なことは二つある。一つは構文解析や依存構造解析などの言語情報をアライメントに組み込み，語順変化を克服することであり，もう一つはアライメントの手法が


1 対 1 の単語対応だけでなく, 1 対多や多対多などの句対応を生成できることである. これは一方の言語では 1 語で表現されているものが，他方では 2 語以上で表現されることが少なくないからである。しかしながら，既存のアライメント手法の多くは文を単純に単語列としてしか扱っておらず (Brown, Pietra, Pietra, and Mercer 1993), 句対応は単語対応を行った後にヒューリスティックなルールにより生成するといった方法を取っている (Koehn, Och, and Marcu 2003). Quirk ら (Quirk, Menezes, and Cherry 2005) や Cowan ら (Cowan, Kučerová, and Collins 2006) はアライメントに構造情報を統合しようとしたが，前述の単語列アライメントを行った後に用いるに留まっている。単語列アライメント手法そのものの精度が高くないため, このような方法では十分な精度でアライメントが行えるとは言い難い.

一方で，アライメントの最初から構造情報を利用する手法もいくつか提案されている. Watanabe ら (Watanabe, Kurohashi, and Aramaki 2000) や Menezes と Richardson (Menezes and Richardson 2001) は構文解析結果を利用したアライメント手法を提案しているが，対応の曖昧性解消の際にヒューリスティックなルールを用いている. Yamada と Knight (Yamada and Knight 2001) や Gildea (Gildea 2003) は木構造を利用した確率的なアライメント手法を提案している. これらの手法は一方の文の木構造に対して葉の並べ替え, 部分木の挿入・削除といった操作を行って，他方の文構造を再現するものであるが，構文情報の利用が逆に強い制約となってしまい, 文構造の再現が難しいことが問題となっている. Yamada と Knight はいったん木構造を崩すことによって, Gildea は部分木を複製することによってこの問題に対処している. 我々はこのような木構造に対する操作は不要であり, 依存構造木中の部分木をそのままアライメントすればよいと考えた。また Cherry と Lin (Cherry and Lin 2003)は原言語側の依存構造木を利用した識別モデルを提案している。しかしながらこの手法はアライメント単位が単語のみであり，一対一対応しか扱えないという欠点がある. phrase-based SMTでいうところの“句”はたたの単語列に過ぎないが，Nakazawa と Kurohashi (Nakazawa and Kurohashi 2008b) は言語的な句をアライメントの最小単位とし, 句の依存関係に着目したモデルを提案しているが，そこでは内容語は内容語のみ，機能語は機能語のみにしか対応しないという制約があり，また複数の機能語をひとまとまりに扱っているという問題もあり, これらがしばしば誤ったアライメントを生成している.

本論文では Nakazawa と Kurohashi の手法の問題点を改善し，単語や句の依存関係に注目した句アライメントモデルを提案する。提案手法のポイントは以下の 3 つである.

(1) 両言語とも依存構造解析し, アライメントの最初から言語の構造情報を利用する

（2）アライメントの最小単位は単語だが, モデル学習時に句となるべき部分を自動的に推定し, 句アライメントを行う

（3）各方向（原言語 $\rightarrow$ 目的言語と目的言語 $\rightarrow$ 原言語）の生成モデルを二つ同時に利用することにより，より高精度なアライメントを行う
本モデルは二つの依存構造木において，一方の依存構造木で直接の親子関係にある一組の対応について，他方のそれぞれの対応先の依存関係をモデル化しており，単語列アライメントで扱うのが困難な距離の大きな語順変化にも対応することができる。言い替えれば，本モデルは木構造上での reordering モデルということができる。また本モデルはヒューリスティックなルー ルを用いずに，句となるべき部分を自動的に推定することができる。ここでいう句とは必ずしも言語的な句である必要はなく，任意の単語のまとまりである。ただ， Phrase-based SMTにおける句の定義との重要な違いは, 我々は木構造を扱っており, 単語列としては連続でなくても，木構造上で連続ならば句として扱っているという点である。

また我々のモデルは IBM モデルのような各方向の生成モデルを両方向分同時に用いてアライメントを行う．これはアライメントの良さを両方向から判断する方が自然であり， Liang ら (Liang, Taskar, and Klein 2006) による報告にもあるように，そうした方が精度よいアライメントが行えるからである。ただし, Liang らの手法が IBM モデルと同様に単語列を扱うものであるのに対し, 提案手法は木構造を扱っているという重要な違いがある. また Liang らの手法では部分的に双方向のモデルを結合するに留まっており，アライメントの結果としては各方向それぞれ独立に生成されるが，我々の方法ではただ一のアライメントを生成するという違いもある.

最近の報告では生成モデルよりも識別モデルを用いた方がより高精度なアライメントが行えるという報告がなされているが, 学習用にアライメントの正解セットを用意するコストがかかってしまう．そこで我々は教師なしでモデル学習が行える生成モデルを用いた。モデルは 2 のステップを経て学習される. Step 1 では単語翻訳確率を学習し, Step 2 では句翻訳確率と依存関係確率が推定される. さらにStep 2 では単語対応が句対応に拡張される. 各 Step は EM アルゴリズムにより反復的に実行される.

次章では我々の提案するアライメントモデルを，IBM モデルと比較しながら定義する， 3 章ではモデルのトレーニングについて説明し， 4 章では提案手法の有効性を示すために行った実験の結果と結果の考察を述べ, 最後に結論と今後の課題を述べる.

## 2 提案モデル

以降の説明においては言語対として日本語と英語を用いるが，提案モデルはこの言語対に特別に設計されたものではなく，言語対によらないロバストなものである.

提案モデルは依存構造木上で定義されるものであるので, まず対訳文を両言語とも依存構造解析し，単語の依存構造木に変換する。図 1 の一番右に依存構造木の例を示す。単語は上から下に順に並んでおり，文のヘッドとなる単語は最も左側に位置している。アライメントの最小単位はこれら各単語であるが，モデル推定時に複数単語のかたまりを句として自動的に獲得す

$\mathbf{f} \longrightarrow \mathbf{e}$

Proposed

図 1 単語列アライメントモデルと提案手法との比較

る.これについては 3.2 章で詳しく述べる。

## 2.1 提案モデル概観

本章では，広く知られており，かつ一般的に用いられている統計的なアライメント手法であるIBM モデルと比較しながら，我々が提案するモデルについて説明する．IBM モデル (Brown et al. 1993) では, 与えられた日本語文 $\mathbf{f}$ と英語文 $\mathbf{e}$ からなる対訳文間の最も良いアライメント âは以下の式により獲得される：

$
\begin{aligned}
\hat{\mathbf{a}} & =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{a} \mid \mathbf{f}, \mathbf{e}) \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} \frac{p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})}{p(\mathbf{f} \mid \mathbf{e})} \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} \frac{p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})}{\sum_{\mathbf{a}} p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})} \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{a}, \mathbf{f} \mid \mathbf{e}) \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{f} \mid \mathbf{a}, \mathbf{e}) \cdot p(\mathbf{a} \mid \mathbf{e})
\end{aligned}
$

ここで, $p(\mathbf{f} \mid \mathbf{a}, \mathbf{e})$ は語彙確率 (lexicon probability) と呼ばれ, $p(\mathbf{a} \mid \mathbf{e})$ はアライメント確率 (alignment probability) と呼ばれている.

$\mathbf{f}$ が $n$ 語 $\left(f_{1}, f_{2}, \ldots, f_{n}\right)$ からなり, e が $m$ 語 $\left(e_{1}, e_{2}, \ldots, e_{m}\right)$ と $\operatorname{NULL}\left(e_{0}\right)$ からなるとする.またアライメント $\mathbf{a}$ は $\mathbf{f}$ の各単語から $\mathbf{e}$ の単語への対応を表し, $a_{j}=i$ は $f_{j}$ が $e_{i}$ に対応していることを示すとする。このような条件の下，上記二つの確率は以下のように展開される：

$
p(\mathbf{f} \mid \mathbf{a}, \mathbf{e})=\prod_{j=1}^{J} p\left(f_{j} \mid e_{a_{j}}\right)
$

$
p(\mathbf{a} \mid \mathbf{e})=\prod_{i=1}^{I} p\left(\Delta j \mid e_{i}\right)
$

ここで $\Delta j$ は $e_{i}$ に対応する $\mathbf{f}$ の単語の相対位置である. 式 2 は単語翻訳確率の積であり，式 3 は相対位置確率の積となっている。ただし, ここで示した式は正確にIBM モデルを記述しているわけではなく，その意図を簡単に示したものである。また図 1 の左側に IBM モデルによるアライメントの例を示す. IBM モデルは方向性があるため，アライメントに制限がある。これを解消するため，両方向による結果を最後に統合して最終的なアライメントとすることが多い (Koehn et al. 2003). しかし日英のような言語構造の違いの大きい言語対においては, このような方法では十分な精度でのアライメントは行えない.

提案モデルは IBM モデルを 3 つの点で改善する。一つ目は式 2 において, 単語ではなく句を考慮する。二つ目は式 3 において，文中での単語の位置ではなく，依存関係を考慮する，最後に，提案モデルでは最も良いアライメント $\hat{\mathbf{a}}$ を求める際に，片方向のモデルだけでなく，両方向のモデルを同時に利用する。つまり，式 1 を以下のように変更する：

$
\begin{aligned}
\hat{\mathbf{a}} & =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{a} \mid \mathbf{e}, \mathbf{f})^{2} \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{a}, \mathbf{f} \mid \mathbf{e}) \cdot p(\mathbf{a}, \mathbf{e} \mid \mathbf{f}) \\
& =\underset{\mathbf{a}}{\operatorname{argmax}} p(\mathbf{f} \mid \mathbf{a}, \mathbf{e}) \cdot p(\mathbf{a} \mid \mathbf{e}) \cdot p(\mathbf{e} \mid \mathbf{a}, \mathbf{f}) \cdot p(\mathbf{a} \mid \mathbf{f})
\end{aligned}
$

我々のモデルでは句を扱っているため，上式を素直に計算できる。また式の上ではIBM モデルと同じ解が得られるはずであるが，それぞれの確率を近似するため，両方向を考慮した方がよりよい解が得られる。図 1 の一番右に提案モデルによるアライメント例を示す。従来手法のアライメントと比べると，多対多対応が自然と獲得されていることがわかる.

提案モデルは EM アルゴリズムにより学習される (Liang et al. 2006). 目的関数として, 与えられたデータに対する尤度を考える：

$
\begin{aligned}
\sum_{(\mathbf{e}, \mathbf{f})} \log p(\mathbf{e}, \mathbf{f}) & =\sum_{(\mathbf{e}, \mathbf{f})}\left(\log \sum_{\mathbf{a}} p(\mathbf{a}, \mathbf{e}, \mathbf{f})\right) \\
& =\sum_{(\mathbf{e}, \mathbf{f})}\left(\log \sum_{\mathbf{a}} \sqrt{p(\mathbf{a}, \mathbf{e}, \mathbf{f})^{2}}\right) \\
& =\sum_{(\mathbf{e}, \mathbf{f})}\left(\log \sum_{\mathbf{a}} \sqrt{p(\mathbf{a}, \mathbf{e} \mid \mathbf{f}) \cdot p(\mathbf{f}) \cdot p(\mathbf{a}, \mathbf{f} \mid \mathbf{e}) \cdot p(\mathbf{e})}\right)
\end{aligned}
$

この尤度を最大化するようなパラメータ $\theta$ を求める。 $\theta$ は各方向のモデルにおけるパラメータ

をまとめたものとする． E-stepでは現在のパラメータ $\theta$ の下でのアライメントの事後確率を以下のように計算する：

$
\begin{aligned}
q(\mathbf{a} ; \mathbf{e}, \mathbf{f}) & :=p(\mathbf{a} \mid \mathbf{e}, \mathbf{f} ; \theta) \\
& =\frac{p(\mathbf{a}, \mathbf{e}, \mathbf{f} ; \theta)}{\sum_{\mathbf{a}} p(\mathbf{a}, \mathbf{e}, \mathbf{f} ; \theta)} \\
& =\frac{\sqrt{p(\mathbf{a}, \mathbf{e} \mid \mathbf{f} ; \theta) \cdot p(\mathbf{f}) \cdot p(\mathbf{a}, \mathbf{f} \mid \mathbf{e} ; \theta) \cdot p(\mathbf{e})}}{\sum_{\mathbf{a}} \sqrt{p(\mathbf{a}, \mathbf{e} \mid \mathbf{f} ; \theta) \cdot p(\mathbf{f}) \cdot p(\mathbf{a}, \mathbf{f} \mid \mathbf{e} ; \theta) \cdot p(\mathbf{e})}}
\end{aligned}
$

M-step ではパラメータの更新を行う：

$
\theta^{\prime}:=\underset{\theta}{\operatorname{argmax}} \sum_{\mathbf{a}, \mathbf{e}, \mathbf{f}} q(\mathbf{a} ; \mathbf{e}, \mathbf{f}) \log p(\mathbf{a}, \mathbf{e}, \mathbf{f} ; \theta)
$

次節以降では, lexicon probabilitiy と alignment probabilitiyを定義する.

## 2.2 句翻訳確率

$\mathbf{f}$ が $N$ 個の句 $\left(F_{1}, F_{2}, \ldots, F_{N}\right)$ からなり, $\mathbf{e}$ が $M$ 個の句 $\left(E_{1}, E_{2}, \ldots, E_{M}\right)$ と $\operatorname{NULL}\left(E_{0}\right)$ からなるとする。またアライメント $\mathbf{A}^{\mathrm{fe}}$ は $f$ 各句から $e$ の単句への対応を表し, $A_{j}^{f e}=i$ は句 $F_{j}$ が句 $E_{i}$ に対応していることを示すとする.

提案モデルでは, IBM モデルにおける単語翻訳確率 $p\left(f_{j} \mid e_{i}\right)$ の代わりに, 句翻訳確率 $p\left(F_{j} \mid E_{i}\right)$ を考える。ただし， 2 語以上からなる句は NULL 対応にはならないという制限を加える（その句に含まれる各単語が NULL 対応になるものとする). 句翻訳確率を用いて, 式 2 を以下のように変更する：

$
p(\mathbf{f} \mid \mathbf{a}, \mathbf{e})=\prod_{j=1}^{N} p\left(F_{j} \mid E_{A_{j}^{f e}}\right)
$

ここで, 句 $F_{j}$ と句 $E_{i}$ が対応付いたと仮定すると, この句の対応に寄与する句翻訳確率は,双方向分の句翻訳確率を掛け合わせるため以下のようになる：

$
p\left(F_{j} \mid E_{i}\right) \cdot p\left(E_{i} \mid F_{j}\right)
$

この確率の積を句対応確率と呼ぶことにする。表 1 の上部に図 1 の例における句対応確率を示す.

## 2.3 依存関係確率

IBM モデルにおいて，単語の移動，すなわち reordering モデルは, 式 3 に示したように, 一
表 1 各確率の計算例

つ前の単語のアライメントとの相対位置によって定義されている.これに対し提案モデルでは,単語の文内での位置ではなく，依存関係を考慮する.

まず $\mathbf{e}$ のある単語 $e_{p}$ と, $e_{p}$ に係る単語 $e_{c}$ について考え, それらの可能なアライメントのうち, $e_{p}$ が句 $E_{P}$ に属し， $e_{c}$ が句 $E_{C}$ に属しており， $E_{C}$ が $E_{P}$ に係っているものを考える。このような状況において， $E_{P}$ と $E_{C}$ の $\mathbf{f}$ での対応句 $F_{A_{P}^{e f}}$ と $F_{A_{C}^{e f}}$ の関係をモデル化したものが依存関係確率である。図 2 に例を示す。日英などのように語順の大きく異なる言語対であっても，文内の単語や句の依存関係は多くの場合保存され， $F_{A_{C}^{e f}}$ が直接 $F_{A_{P}^{e f}}$ に係ることが多い. 提案モデルはこのような傾向を考慮したものである。直接の親子関係にある 2 単語が属する 2 句の対応先の句の関係は $\operatorname{rel}\left(e_{p}, e_{c}\right)$ のように記述することにし，これは $e_{p}$ が属する句の対応先の句 $F_{A_{P}^{e f}}$ から, $e_{c}$ が属する句の対応先の句 $F_{A_{C}^{e f}}$ への経路として定義される. 経路は以下のような表記に従って示される：
- 子ノードへ行く場合は 'c'(child node)
- 親ノードへ行く場合は ' $\mathrm{p}$ '(parent node)

$\cdot$ 2 ノード以上離れている場合は，上記二つを並べて表記する

例えば図 1 において, “for"から "photodetector"への経路は 'c'となり, “the"から "for"への経路は，2ノード離れているため 'p;p'となる。句同士の依存関係を記述する際には，経路上にある全ての句は，2つ以上の単語からなる句も含めて，すべて 1 つのノードとして扱う。このため, 図 1 において "photogate”から “the”への経路は 'p;c;c;c'となる.

f

$\mathbf{e}$

図 2 依存関係の例（親子関係にある $e_{p}$ と $e_{c}$ が属する句 $E_{P}$ と $E_{C}$ の対応先の句 $F_{A_{P}^{e f}}$ と $F_{A_{C}^{e f}}$ の関係をモデル化する)

この rel を用いて，式 3 を以下のように改善する：

$
p(\mathbf{a} \mid \mathbf{e})=\prod_{\left(e_{p}, e_{c}\right) \in D_{\mathbf{e}-p c}} p_{\text {ef }}\left(\operatorname{rel}\left(e_{p}, e_{c}\right)\right)
$

ここで $D_{\mathrm{e}-p c}$ は $\mathbf{e}$ の木構造において直接の親子関係にある全ての単語の組み合わせである。また $p_{\mathbf{e f}}\left(\operatorname{rel}\left(e_{p}, e_{c}\right)\right)$ を $\mathbf{~} \rightarrow \mathbf{f}$ 方向の依存関係確率と呼ぶ. $p_{\mathbf{e f}}$ は木構造上での reordering モデルと考えることができる.

$r e l$ にはいくつか特別な值がある。まず $E_{C}$ と $E_{P}$ が同じ場合, つまり, $e_{c}$ と $e_{p}$ が同じ句に属する場合， $r e l=$ 'SAME'となる．次に NULL アライメントに関してだが，これには $e_{p}$ が NULL 対応の場合, $e_{c}$ が NULL 対応の場合, 両方とも NULL 対応の場合の 3 通りがあり, それぞれ rel の値は 'NULL_p', 'NULL_c', 'NULL_b'となる. 例として表 1 の下部に図 1 の例における依存関係確率を各方向それぞれ示す。

一般的に，構文解析などにおいても，親ノードとの関係たけけでなく，さらにその親のノードとの関係を考慮することは自然であり，精度の向上につながる，提案モデルにおいても，直接の親子関係だけでなく, さらにその親ノードとの関係も考慮し, 以下のように定式化する：

$
p(\mathbf{a} \mid \mathbf{e})=\prod_{\left(e_{p}, e_{c}\right) \in D_{\mathbf{e}-p c}} p_{\text {ef- } p c}\left(\operatorname{rel}\left(e_{p}, e_{c}\right)\right) \cdot \prod_{\left(e_{g}, e_{c}\right) \in D_{\mathbf{e}-g c}} p_{\mathbf{e f}-g c}\left(\operatorname{rel}\left(e_{g}, e_{c}\right)\right)
$

ここで $D_{\mathbf{e}-g c}$ は $\mathbf{e}$ の木構造において祖父と子の関係にある全ての単語の組み合わせである. $p_{\text {ef }-p c}$ は直接の親子関係にある 2 単語を見たときの依存関係確率であり, $p_{\text {ef- } g c}$ は親の親と子の関係にある 2 単語の場合の依存関係確率である.

なお，逆方向（f から $\mathbf{e} ）$ のモデル $p(\mathbf{a} \mid \mathbf{f})$ も全く同様に定義される.

$
p(\mathbf{a} \mid \mathbf{f})=\prod_{\left(f_{p}, f_{c}\right) \in D_{\mathbf{f}-p c}} p_{\mathbf{f e}-p c}\left(\operatorname{rel}\left(f_{p}, f_{c}\right)\right) \cdot \prod_{\left(f_{g}, f_{c}\right) \in D_{\mathbf{f}-g c}} p_{\mathbf{f e}-g c}\left(\operatorname{rel}\left(f_{g}, f_{c}\right)\right)
$

## 3 トレーニング

提案モデルは 2 つのステップに分けて学習される。これは IBM モデルにおいて，完全に最適解が求まる簡単なモデルからスタートし, 徐々により複雑なモデルに移行することに対応する. Step 1 では単語翻訳確率の推定が行われ, Step 2 では句翻訳確率と依存関係確率の推定が行われる. どちらのステップにおいてもモデルは EMアルゴリズムにより学習される。 またステップ 1 においては句は扱わず，全て単語単位での学習となる。複数単語の塊＝句は Step 2 において自動的に獲得される。

## 3.1 Step 1

Step 1 では各方向独立に, 単語翻訳確率を推定する. これは IBM Model 1 と全く同様の方法により行われる. Step 1 の推定の際には対応の単位は各ノード単体，つまり単語のみであり，句は考慮しない. 句は Step 2 の推定から考慮し, 句となるべき候補を動的に作り出すことにより実現する。これは Step 1 の段階で可能な句の候補全てを考慮すると，アライメント候補数が爆発し，扱えなくなるためである。

$\mathbf{f}$ から eへのアライメントを考えると, $\mathbf{f}$ の各単語は, 他の単語に関係なく, e の任意の単語, または NULL に対応することができる。このことから，あるひとつの可能なアライメント $\mathbf{a} の$確率は以下のように計算できる：

$
\begin{aligned}
p(\mathbf{a}, \mathbf{f} \mid \mathbf{e}) & =p(\mathbf{f} \mid \mathbf{a}, \mathbf{e}) \cdot p(\mathbf{a} \mid \mathbf{e}) \\
& =\prod_{j=1}^{J} p\left(f_{j} \mid e_{a_{j}}\right) \cdot C(n, m)
\end{aligned}
$

ここで $p(\mathbf{a} \mid \mathbf{e})$ は全てのアライメントにおいて一定 (uniform) であるとし, 各文の単語数による関数 $C(n, m)$ と置く. さらに, 全ての可能なアライメントを考慮すると, 確率 $p(\mathbf{f} \mid \mathbf{e})$ は以下のように計算できる。

$
p(\mathbf{f} \mid \mathbf{e})=\sum_{\mathbf{a}} p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})
$

単語翻訳確率の初期值として一様な確率を与えておき, 式 13 と 15 を計算して, 正規化したアライメント回数 $\frac{p(\mathbf{a}, \mathbf{f} \mid \mathbf{e})}{p(\mathbf{f} \mid \mathbf{e})}$ をアライメント $\mathbf{a}$ 内の全ての単語対応に与える. 次に単語翻訳確率を最尤推定により求める。これを繰り返すことにより, 単語翻訳確率を推定する。なおこの計算は効率的に行うことができ, 近似することなく最適なパラメータが求められる. 反対方向 (e

## $3.2 \quad$ Step 2

Step 2 では句翻訳確率と依存関係確率の両方を推定する。また $\mathbf{f}$ から e, e から $\mathbf{f}$ の二つのモデルを同時に用いて，一つの方向性のないアライメントを得る. Step 1 では計算を効率化することにより，近似を用いずにモデルの推定が完全に行えるが， Step 2 では可能なアライメントを全て考慮することは不可能である。そこで我々は最も良いアライメントを探索するために, まず句翻訳確率のみから初期アライメントを生成し，その後依存関係確率も考慮しつつ，山登り法によってアライメントを徐々に修正するという方法をとる.

さらに Step 2 において新たな句候補の生成を行う，新たな句候補は山登り法によって求められた最も良いアライメントの状態から生成され, 次のイタレーションから考慮される。つまり， Step 2 のイタレーションが進むに連れ，より大きな句の対応を発見することができる.

全体として, Step 2 の 1 回のイタレーションは, E-step での“初期アライメント” の生成と “山登り法”により最適なアライメントの探索, E-step と M-step の間での新たな句候補の生成, M-step でのパラメータの更新の 4 つの要素からなる.

Step 2 での一回目のイタレーションでは, パラメータの初期値を以下のようにする。一回目のイタレーションにおいては全ての句は 1 単語からなるため（2 単語以上からなる句候補が獲得されていないため）句翻訳確率については, Step 1 で求めた単語翻訳確率をそのまま用いる.依存関係確率は, Step 1 の最後のイタレーションで得られた最も良いアライメント結果において依存関係の生起回数を計数し，そこから求めた確率を用いる.

## 初期アライメント (E-step)

依存関係確率は用いず，句翻訳確率のみから初期アライメントを生成する。全ての句候補同士の対応（もしくは NULL 対応）に対して，句対応確率を式 9 により計算する。これらの中から, 句対応確率の相乗平均が高いものから順に, 対応として採用する。この際, 各単語は 1 度しか対応付かないようにする。つまりすでに採用されている対応と重なるような対応は採用しない. なお句候補の生成については後で述べる.

初期アライメントが生成されたら，その状態でのアライメント確率を計算する。このときから依存関係確率も用い，式 4 のように計算する.

## 山登り法 (E-step)

初期アライメントの状態から, 依存関係確率を考慮しながらアライメントを修正し, 徐々に確率の高いアライメントを探索していく. 修正手段としては以下の 4 種類を考える.

図 3 山登り法によるアライメントの修正例

Swap: 任意の 2 つの対応に注目し, それらの対応を入れ替える. 例えば図 3 の最初の操作では，“光 $\leftrightarrow$ photogate”と“フォトゲート $\leftrightarrow$ photodetector”の対応がそれぞれ“光 $\leftrightarrow$ photodetector”と“フォトゲート $\leftrightarrow$ photogate”というように対応が入れ替えられている.

Extend： 任意の1つの対応に注目し，そのいずれかの言語における句を，親または子方向に 1 ノード分だけ拡大する。

Add： NULL 対応となっている原言語側及び目的言語側のノード間に，新たに対応を追加する.

Reject：すでにある対応を削除し，それぞれ NULL 対応とする。

図 3 に山登り法によるアライメント修正過程の例を示す。なお図 3 は 1 回以上イタレーションを行ったあとの状態である。修正後のアライメント確率が修正前よりも高くなる場合にのみ修正を実行し，修正された状態から再度修正を行っていく，確率が高くなる修正箇所がなくなるまで修正を繰り返し行い, 最終的に得られたアライメントが, 最も確率の高いアライメントとなる。なお修正の途中で得られたアライメントの状態を，確率の高いものから $n$ 個保存しておき，仮想的な $n$-best アライメントとし，パラメータ推定の際に利用する.

## 新たな句候補の生成

山登り法により得られた最も良いアライメント結果のうち, NULL対応となった単語に注目する. NULL 対応となった語の親，または子の単語が NULL 対応でなければ，その単語と NULL 対応の単語とをまとめたものを新たに句として獲得し, Step 2 の次のイタレーションから探索範囲に入れる。例えば図 3 の最終状態において NULL 対応となっている“素子”は，その子の
対応である “受光 $\leftrightarrow$ photodetector”に含まれ，新たに“受光素子”という句を作りだし，“受光素子 $\leftrightarrow$ photodetector” という対応があるものと考えるさらに親の対応である“に $\leftrightarrow$ for” に含まれ，“素子に”という句もつくり出し，“素子にに for”という対応があるものと考える.これらの新たに考慮される対応には, 元の対応の出現期待値（正規化されたアライメントの確率）を分配する。例えば図 3 のアライメントの正規化された確率を 0.7 とすると, “受光 $\leftrightarrow$ photodetector”と“受光素子 $\leftrightarrow$ photodetector”にそれぞれ 0.35 ずつ, “に $\leftrightarrow$ for”と“素子に $\leftrightarrow$ for”にも 0.35 ずつ出現期待値を与える.

このように，NULL 対応に注目することにより動的に句となるべきかたまりを獲得していき， モデルの構築を行う.

## モデル推定 (M-step)

一般的な EM アルゴリズムにおいては, 得られた n-best アライメントのそれぞれのアライメント確率を正規化し，各アライメントにおけるパラメータの出現回数をこの正規化された確率値（出現期待値）を用いて計数する。我々もこの方法に従い, 全ての対訳文での全てのアライメント結果を集めてパラメータの推定を行う。たたし，正確に全てのアライメントを数え上げることはできないため, 山登り法の途中で得られたアライメントのうち, アライメントの確率の高いもの上位 $n$ 個（山登りの回数が $n$ に満たない場合はその全て）を用いる。パラメータ推定は各パラメータの出現期待値の総和を全体の回数で正規化することにより行われる。例えば句翻訳確率は以下のような式により推定する：

$
p\left(F_{j} \mid E_{i}\right)=\frac{C\left(F_{j}, E_{i}\right)}{\sum_{k} C\left(F_{k}, E_{i}\right)}, \quad p\left(E_{i} \mid F_{j}\right)=\frac{C\left(F_{j}, E_{i}\right)}{\sum_{k} C\left(E_{k}, F_{j}\right)}
$

ここで $C\left(F_{j}, E_{i}\right)$ は $F_{j}$ と $E_{i}$ がアライメントされた回数である.

ここまでの処理により，EM アルゴリズムの E-step, M-step が終了し, 再び E-step に戻る. これを複数回繰り返すことにより，モデルのトレーニングを行う.

## 4 アライメント実験

提案手法の有効性を示すためにアライメント実験を行った. トレーニングコーパスとして $\mathrm{JST}^{1}$ 日英抄録コーパスを用いた。このコーパスは，科学技術振興機構所有の約 200 万件の日英抄録から, 内山・井佐原の方法 (Utiyama and Isahara 2007) により, 情報通信研究機構 ${ }^{2}$ が作成したものであり， 100 万対訳文からなる。このうち 475 文に人手で正解のアライメントを付与


し, 正解データとした。ただし, 正解データには $\operatorname{Sure}(S)$ アライメントのみが付与されており, Possible (P) アライメントはない (Och and Ney 2003)，また評価の単位は日本語, 英語とも単語とし，適合率・再現率・ $\mathrm{F}$ 値により精度を求めた.

日本語文に対しては形態素解析器 JUMAN (Kurohashi, Nakamura, Matsumoto, and Nagao 1994) および依存構造解析器 KNP (Kawahara and Kurohashi 2006) を用い，英語文に対しては Tsuruoka と Tsujii の POS タガー (Tsuruoka and Tsujii 2005)でPOS タグを付与し, MST パー サ (McDonald, Pereira, Ribarov, and Hajic 2005) を用いて単語の依存構造木に変換する.

また Step 2 のパラメータ推定の際に用いるアライメントの数は $n=10$ とした.

実験は 2 種類行った。一つ目は既存の単語列アライメント手法と比較することによって提案手法の有効性を示すための実験であり，二つ目は依存構造を利用することと，単語より大きな単位である句を扱うことの効果を示すための実験である．全ての実験において，各単語は原形に戻した状態でトレーニングを行った.

## 4.1 単語列アライメント手法との比較

比較実験として, 単語列アライメント手法として広く利用されているIBM モデルを実装したアライメントツールである GIZA++ (Och and Ney 2003) を用いてアライメントを行った. 各モデルのイタレーション回数などのオプションはデフォルトの設定をそのまま利用した. さらに各方向のアライメント結果を三つの対称化手法により統合した (Koehn et al. 2003). 結果を表 2 の下部 3 行に示す. 利用した対称化手法は 'intersection', 'grow-final-and', 'grow-diag-final-and' の 3 つである (Koehn, Axelrod, Mayne, Callison-Burch, Osborne, and Talbot 2005).

表 2 アライメント実験結果（提案手法と単語列アライメント手法との比較）

一方，提案手法によるアライメント精度を表 2 の上部に示す。まず'Step 1’に示されているのは, Step 1のイタレーションを 5 回行った後に学習されたパラメータ（単語翻訳確率）を用いたアライメントの精度である。 なおここでのアライメントは, 両方向のパラメータを用いて, 3.2 章の初期アライメント生成手法と同様にアライメントを生成した結果である. 'Step 2-X'は Step 2 の各イタレーション終了時点でのアライメント精度である. 'Step 2-1'は句翻訳確率は 'Step 1’のものと同じたが，それに加えて'Step 1'のアライメント結果から推定した依存関係確率を用いてアライメントを行っている。つまり, 'Step 1'と 'Step 2-1’とを比較することにより，依存関係確率を用いることによるアライメント精度の向上が見て取れる．以後 Step 2 のイタレーションを行い, その都度アライメント精度を計測した。結果として, 提案手法では単語列アライメント手法よりも $\mathrm{F}$ 值で 4.9 ポイントのアライメント精度向上を達成した（Step 2-7 と grow-diag-final-and との比較による)。適合率だけを見ると 'intersection’が最もよい値を示しているが再現率が極端に低くなっている。また再現率が最も高いのは 'grow-diag-final-and'であるが, 同程度の再現率を示している提案手法の結果を見ると, 適合率では大きく上回っており, 総合的に見て提案手法は単語列アライメント手法よりも優れているということができる。 なお $\mathrm{F}$值は Step 2-7 が最も高い値を示したが, Step 2-5 から 2-7までは大差ないことと, Recall よりも Precision が高い方が翻訳での利用を考えた際には有利であり，イタレーションが進むに連れ Precision が低下していくことを考慮して, Step 2-5 の結果に注目することにする.

次に, 機能語に関する簡単なルールを人手により作成し, 最終的なアライメント結果の修正を行った。用いたルールは以下の 3 つである：
- 英語の冠詞はその係り先のノード（普通は名詞）に併合する
- 日本語の助詞と英語の 'be'や 'have' との間に対応がある場合, それらは棄却する
- 日本語の ‘する’, ‘れる’, 英語の 'be', 'have'が NULL に対応している場合, その係り先の動詞や形容詞のノードに併合する

これらのルールを Step 2-5の結果に適用することにより, F 値は 70.76 に向上し, 単語列アライメントよりも 8.5 ポイント高い $\mathrm{F}$ 値を達成した（表 2 の Step 2-5 + rule）. なお, 以後の考察ではルールなしの Step 2-5の結果を検討する.

## 4.2 依存構造と句を扱うことの有効性

依存構造木を用いることと, 単語より大きな句という単位を用いることの有効性を示すための実験を行った．実験の条件として以下の 4 通りを採用した：
- 依存構造木と句のどちらも用いる（結果の ‘提案手法’）
- 依存構造木のみを利用し, 句は用いない
- 依存構造木は利用せず，句のみを用いる
- 依存構造木と句のどちらも利用しない（結果の ‘ベースライン’）
表 3 依存構造木および句を利用することの効果（Step 2 での 5 回のイタレーション後のアライメント精度)

なお依存構造木を用いない実験においては, 単語の依存関係ではなく相対位置の情報を用いた。例えば原言語側で連続している一組の対応のそれぞれの対応先が前, 又は後ろに何単語（もしくは句）離れているかをモデル化した．実験結果を表 3 に示す。全ての実験条件において，示した結果は Step 2 で 5 回イタレーションを行った後のアライメント結果での評価である.

この結果から, 句を扱うことは再現率の向上につながり, 依存構造木を利用することは適合率の向上につながることがわかり，両方を用いることにより，適合率・再現率ともにバランスよく高い精度を達成することができると言える。

## 5 考察

4.1 章（表 2）から, 単純な単語列アライメントモデルと比較して, 提案モデルが十分に高精度なアライメントを行えていることがわかる。図 4 および図 5 で二つの手法のアライメント結果の比較を示す。灰色に塗られたマスはアライメントの正解であり，黒い四角（ロ）がある部分が出力である。図 4 は単語列アライメントの結果の例である。文内に“非去勢マウス”と “去勢マウス”, “non-castrated mice”と“castrated mice”というように, 同じ語が複数回出現しており，アライメントに曖昧性があるが，単語列アライメントモデルはこの曖昧性解消に失敗している。これは文を単純な単語列として見た場合，曖昧性を持つ語同士が互いに近くに位置しており，さらに曖昧性解消の手がかりとなる“同様に $\leftrightarrow$ as”といった対応ともほぼ等距離にあるためである。一方で図 5 に示すように，提案モデルではこれらの語を正しく対応付けることができており，文を木構造で見た場合の利点が生かされている．例えば英語側の木構造において, “as"に係っているのは "castrated mice”ではなく"non-castrated mice"であり, 同様に日本語側の木構造においても，“同様に”に係っているのは“去勢マウス”ではなく“非去勢マウス”である。このような関係から，“非去勢マウス $\leftrightarrow$ non-castrated mice”，“去勢マウス $\leftrightarrow$ castrated mice”という正しい対応関係が獲得されている.

1 章で述べたように，IBM モデルに代表されるような文を単純な単語列として扱う既存の統計的単語列アライメントモデルは, 英語とフランス語などのように語順がほぼ同じであり, 語順

図 4 単語列アライメントにおける曖昧性解消の失敗例 (grow-diag-final-and)

図 5 提案手法によるアライメント例（曖昧性が正しく解消されている）

変化がある場合でも局所的である言語対においては十分頑健に働くが，語順が大きく変化する言語対においてはその精度に問題がある。例えば日本語と英語について考えてみると，日本語の文は SOV の語順であるのに対し，英語ではSVO の語順であり，このため語順の変化が大きくなりやすい.このような言語対においては言語の構造情報を利用することが自然であり，ま

た有効であることが本実験により示されている.

句を扱うことによる改善例としては, 図 6 において単語列アライメントモデルでは “受光素子 $\leftrightarrow$ photodetector” という句対応の獲得に失敗しているのに対し, 図 7 に示すように提案手法では正しく獲得されている。単語レベルでの対応を後から重ね合わせる手法では，どこまでが句となるべきかの境界判定ができないなどの欠点があり，このような句対応を精度良く発見することは難しい。これに対し提案手法ではパラメータの学習と同時に句を獲得することができる上に，木構造を利用しているため，単語列としては連続であっても意味上不連続であり，句となるべきではないといった境界判定が自然に行える。

表 4 に, 得られた対応を大きさごとに計数した結果を示す（単語列アライメント手法は growdiag-final-and, 提案手法は Step 2 の 5 回目のイタレーションの結果)。なお提案手法ではイ夕レーションが進むにつれて， 1 ずつ句の大きさが大きくなる. このため, 5 回目のイタレーションにおいては日英の句の合計が 6 の対応が最大となる．結果を見ると，単語列アライメント手

図 6 単語列アライメントにおける句対応獲得の失敗例 (grow-diag-final-and)

 &  &  &  & \ulcorner &  &  &  &  \\

図 7 提案手法によるアライメント例（句が正しく獲得されている）
法に比べて提案手法では得られた対応の個数がサイズがより大きなものへとシフトしていることが見て取れ，より大きなサイズの対応が獲得されていることがわかる。これが再現率の向上に大きく貢献しているといえる.

さらにイタレーションごとの各言語の NULL 対応ノード数と, 平均フレーズサイズの推移を図 8 に示す. 平均フレーズサイズは, 例えばある一つの対応に含まれる日本語の単語が $j$ 語, 英語の単語が $i$ 語ならば $(i+j) / 2$ とした，ある程度までは平均フレーズサイズは上昇するが， 6 回目程度からはそれほど大きくは変化しておらず，アライメントが安定していることがわかる。

翻訳での利用を考えた場合，適合率は高ければ高いほどもちろん翻訳の精度が向上すると考えられる。しかしながら再現率が低いと，例えば Phrase-based SMT (Koehn et al. 2003) や Hiero (Chiang 2005) などにおいてはフレーズテーブルのサイズが大きくなりすぎるという問題が起こ

表 4 得られた対応の大きさの分布

} & 1 & 3492 & 289 & 41 & 6 & 3 & 1 \\

図 8 NULL 対応ノード数と平均フレーズサイズの推移

り, 用例ベース翻訳システム (Nakazawa and Kurohashi 2008a) においては利用可能な用例の数が減ってしまうなど，再現率もおざなりにはできない，一方で再現率のみが高く，適合率が低くてもやはり質の良い翻訳は行えない。つまり両者のバランスを取り，どちらも向上させることが，翻訳の質の向上につながるはずであり， 4.2 章で示したように，提案手法はこの観点からも有効であると言える。実際に提案手法によるアライメントによって翻訳精度が向上するかの調査は今後の課題である。

提案手法におけるアライメント誤りの要因で最も大きいものは, 構文解析の誤りによるものである。提案手法は構文解析結果に強く依存しており，構文解析が誤っていると容易にアライメントの誤りにつながってしまう。長期的には各言語の構文解析の精度が向上していくことも十分期待できるが，構文解析結果を修正しつつアライメントすることも考えられる (Fraser, Wang， and Schütze 2009).

また山登り法によるアライメントの探索の際に局所解に陥ってしまうという問題もしばしば見受けられた。これはほとんどの場合，一方の言語で 1 文内に同じ語や句が複数回出現しているが，他方では省略されて 1 度しか出現していないなど，出現回数に差がある場合に起こる。初期アライメント生成時には周りのノードとの関係は一切見ていないため, このような省略がある場合にはどちらが正しい対応かを判断することができないため, ランダムにどちらかが選ばれる。このとき運悪く誤った方を選択してしまい，さらにその周囲に誤った対応がいくつかあると，お互いに足を引っ張り合い，局所解に陥ってしまう．このように，提案手法では必ずしも最もよいアライメントが得られるとは限らない. この問題を解決するためには, 山登り法の初期値を複数用意しておき，探索を複数回行うといった方法を取ったり，アライメントの探索アルゴリズムをよりよいものに改良する必要があり，例えば Belief Propagation を利用する (Cromierès and Kurohashi 2009)ことなどが考えられる.

さらに，機能語をどのように扱うかといった難しい問題も残されている。機能語は明確に対応する語を持たないことがしばしばある。例えば日本語における格助詞などや英語における冠詞などはその典型的な例である。このような語に対しては, アライメントの正解の基準と出力とが整合的でない場合が多く, これがアライメント精度の向上の障害になってしまう． 4.1 章の最後に示したように，提案手法では簡単なルールを用いるだけで大幅な精度の向上を達成できる。これは木構造を利用していることの利点であるといえる.

## 6 結論

本稿では依存関係確率モデルを用いた統計的句アライメント手法を提案した。提案モデルは木構造上での reordering モデルということができ, シンプルなモデルながらも言語構造の違いを柔軟に吸収し，精度の高いアライメントを実現できた．実験結果から，語順の大きく異なる
言語対に対しては既存の単語列アライメント手法では十分な精度を達成することは困難であり，構文解析などの言語情報を利用することが自然であり，高い効果を示すことが証明された．今回は日本語と英語間のアライメント実験のみしか行わなかったが, 同様に語順に大きな違いのある日本語と中国語間での実験などを行い，提案手法が言語対によらずロバストな手法であることを示す必要がある。

考察にも述べたとおり, 提案手法は依存構造解析に大きく依存しており, 依存構造解析誤りが容易にアライメントの誤りにつながってしまう。両言語の解析結果を照らしあわせて，文構造を修正しつつアライメントすることも可能なはずであり，現在検討中である。これが実現できれば，依存構造解析とアライメント双方の精度向上が可能となると考える.

アライメントの精度のみを評価したが, この結果が翻訳の精度にどのように影響するかを調查することは今後の課題である.

## 参考文献

Brown, P. F., Pietra, S. A. D., Pietra, V. J. D., and Mercer, R. L. (1993). "The Mathematics of Statistical Machine Translation: Parameter Estimation." Association for Computational Linguistics, 19 (2), pp. 263-312.

Cherry, C. and Lin, D. (2003). "A Probability Model to Improve Word Alignment." In Proceedings of the 41st Annual Meeting of the Association of Computational Linguistics, pp. 88-95.

Chiang, D. (2005). "A Hierarchical Phrase-Based Model for Statistical Machine Translation." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 263-270.

Cowan, B., Kučerová, I., and Collins, M. (2006). "A Discriminative Model for Tree-to-Tree Translation." In Proceedings of the 2006 Conference on EMNLP, pp. 232-241 Sydney, Australia. Association for Computational Linguistics.

Cromierès, F. and Kurohashi, S. (2009). "An Alignment Algorithm Using Belief Propagation and a Structure-Based Distortion Model." In Proceedings of the 12th Conference of the European Chapter of the ACL (EACL 2009), pp. 166-174 Athens, Greece. Association for Computational Linguistics.

Fraser, A., Wang, R., and Schütze, H. (2009). "Rich Bitext Projection Features for Parse Reranking." In Proceedings of the 12th Conference of the European Chapter of the ACL (EACL 2009), pp. 282-290 Athens, Greece. Association for Computational Linguistics.

Gildea, D. (2003). "Loosely Tree-based Alignment for Machine Translation." In Proceedings of the 41st Annual Meeting on ACL, pp. 80-87.

Kawahara, D. and Kurohashi, S. (2006). "A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 176-183. New York City, USA. Association for Computational Linguistics.

Koehn, P., Axelrod, A., Mayne, A. B., Callison-Burch, C., Osborne, M., and Talbot, D. (2005). "Edinburgh System Description for the 2005 IWSLT Speech Translation Evaluation." In Proceedings of International Workshop on Spoken Language Translation 2005 (IWSLT'05).

Koehn, P., Och, F. J., and Marcu, D. (2003). "Statistical Phrase-Based Translation." In HLTNAACL 2003: Main Proceedings, pp. 127-133.

Kurohashi, S., Nakamura, T., Matsumoto, Y., and Nagao, M. (1994). "Improvements of Japanese Morphological Analyzer JUMAN." In Proceedings of The International Workshop on Sharable Natural Language, pp. 22-28.

Liang, P., Taskar, B., and Klein, D. (2006). "Alignment by Agreement." In Proceedings of the Human Language Technology Conference of the NAACL, Main Conference, pp. 104-111. New York City, USA. Association for Computational Linguistics.

McDonald, R., Pereira, F., Ribarov, K., and Hajic, J. (2005). "Non-Projective Dependency Parsing using Spanning Tree Algorithms." In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pp. 523-530. Vancouver, British Columbia, Canada. Association for Computational Linguistics.

Menezes, A. and Richardson, S. D. (2001). "A Best-first Alignment Algorithm for Automatic Extraction of Transfer Mappings from Bilingual Corpora." In Proceedings of the 39th Annual Meeting of the Association for Computational Linguistics (ACL) Workshop on Data-Driven Machine Translation, pp. 39-46.

Nakazawa, T. and Kurohashi, S. (2008a). "Kyoto-U: Syntactical EBMT System for NTCIR-7 Patent Translation Task." In Proceedings of HLT/EMNLP 2005, pp. 467-474.

Nakazawa, T. and Kurohashi, S. (2008b). "Linguistically-motivated Tree-based Probabilistic Phrase Alignment." In Proceedings of the Eighth Conference of the Association for Machine Translation in the Americas (AMTA2008).

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Association for Computational Linguistics, 29 (1), pp. 19-51.

Quirk, C., Menezes, A., and Cherry, C. (2005). "Dependency Treelet Translation: Syntactically Informed Phrasal SMT." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 271-279.

Tsuruoka, Y. and Tsujii, J. (2005). "Bidirectional Inference with the Easiest-First Strategy for

Tagging Sequence Data." In Proceedings of HLT/EMNLP 2005, pp. 467-474.

Utiyama, M. and Isahara, H. (2007). "A Japanese-English Patent Parallel Corpus." In MT summit XI, pp. 475-482.

Watanabe, H., Kurohashi, S., and Aramaki, E. (2000). "Finding Structural Correspondences from Bilingual Parsed Corpus for Corpus-based Translation." In Proceedings of the 18th International Conference on Computational Linguistics, pp. 906-912.

Yamada, K. and Knight, K. (2001). "A Syntax-based Statistical Translation Model." In Proceedings of 39th Annual Meeting of the ACL, pp. 523-530.

## 略歴

中澤敏明：2005 年東京大学工学部電子情報工学科卒業. 2007 年同大学院修士課程修了. 2007 年京都大学大学院博士後期課程入学. 機械翻訳の研究に従事.

黒橋禎夫：1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了.

博士 (工学). 2006 年, 京都大学大学院情報学研究科教授, 現在に至る.