# 単語並べ替えと冠詞生成の同時逐次処理：日英機械翻訳への適用

本稿では，機械翻訳の単語並べ替え問題にシフトリデュース構文解析法を応用する ための手法を提案する。提案手法では, 単一言語の Inversion Transduction 文法に よって単語並べ替え問題を定式化する。また，日本語文と英語文との単語対応をと りやすくするため, あらかじめ除去した英冠詞を翻訳結果へ挿入する問題も単語並 べ替えと同時に定式化する。提案法を日英特許翻訳に適用したところ, 句に基づく 統計的機械翻訳の BLEU スコア 29.99 に対して, +3.15 の改善が得られた。 キーワード：統計的機械翻訳, 単語並べ替え, 後編集, 冠詞生成, シフトリデュース構文解析
## Incremental Word Re-Ordering and Article Generation: Its Application to Japanese-to-English Machine Translation

\author{
Katsuhiko Hayashi $^{\dagger}$, Katsuhito Sudoh $^{\dagger}$, Hajime Tsukada $^{\dagger}$, \\ JUN SUZUKI ${ }^{\dagger}$ and MASAaKi NAgATa ${ }^{\dagger}$
}

This paper introduces a novel word re-ordering model for statistical machine translation that employs a shift-reduce parser for inversion transduction grammars. The proposed model also solves article generation problems simultaneously with word reordering. We applied it to the post-ordering of phrase-based machine translation (PBMT) for Japanese-to-English patent translation tasks. Our experimental results suggest that our method achieves a significant improvement of +3.15 BLEU scores against 29.99 BLEU scores of the baseline PBMT system.

Key Words: Statistical machine translation, Word re-ordering, Postediting, Shift-reduce parsing

## 1 はじめに

句に基づく統計的機械翻訳 (Koehn, Och, and Marcu 2003) が登場し，仏英などの言語対における機械翻訳性能は大きく向上した，その一方で，文の構文構造が大きく異なる言語対（日英など）において，長距離の単語並べ替えを上手く扱うことができないという問題がある.

近年, この問題を解決するため, 同期文脈自由文法 (Wu 1997; Chiang 2005) や木トランスデューサ (Graehl and Knight 2004; Galley, Graehl, Knight, Marcu, DeNeefe, Wang, and Thayer 2006)により, 構文情報を使って単語並べ替えと訳語選択を同時にモデル化する研究が活発化し


ている.しかし, 単語アライメントや構文解析のエラーを同時にモデルへ組み达んでしまうため, 句に基づく手法と比較して, いつでもより良い性能を達成できているわけではない.

これらの研究と並行して, 事前並べ替え法 (Collins, Koehn, and Kučerová 2005; Isozaki, Sudoh, Tsukada, and Duh 2012) や事後並べ替え法 (Sudoh, Wu, Duh, Tsukada, and Nagata 2011; Goto, Utiyama, and Sumita 2012) に関する研究も盛んに行われている.これらの手法は単語並べ替えと訳語選択の処理を分けてモデル化し，語順が大きく異なる言語対で，句に基づく手法の翻訳性能を大きく向上させられることが報告されている.

特に, 文献 (Isozaki et al. 2012) で提案された主辞後置変換規則による事前並べ替え法は, 特許文を対象とした英日翻訳で高い性能を達成している (Goto, Lu, Chow, Sumita, and Tsou 2011; Goto, Chow, Lu, Sumita, and Tsou 2013).この規則はある言語（本稿では英語を仮定する）を日本語（主辞後置言語）の語順へと変換するものであるが，文献 (Sudoh et al. 2011)では，主辞後置変換規則によってできた日本語語順の英語文を元の英語文へと復元するためのモデルを構築し，主辞後置変換規則の利点を日英翻訳へと適用可能にしている（事後並べ替え法）.

文献 (Goto et al. 2012) では事後並べ替えを構文解析によってモデル化している。この手法は, 1 言語の上で定義された Inversion Transduction 文法 (ITG) (Wu 1997)1 1 に Berkeley 構文解析器を適用することで，単語並べ替えを行う。また，主辞後置変換規則では日英単語アライメント性能を向上させるため，データから英冠詞を除去する，そのため，翻訳結果に冠詞生成を行う必要があり, 文献 (Goto et al. 2012)では, 構文解析による単語並べ替えとは独立して, $N$-gram モデルによる冠詞生成法を提案している.

文献 (Goto et al. 2012)の手法は, Berkeley 構文解析器の解析速度の問題や冠詞生成を独立して行うことから, 解析効率や精度の点で大きな問題が残る。本稿では, この構文解析に基づく事後並べ替えの新たな手法を提案し，解析効率，及び，翻訳性能の改善をはかる．提案手法はシフトリデュース構文解析法に基づいており, 文献 (Goto et al. 2012)で利用された段階的枝刈り手法による Berkeley 構文解析 (Petrov and Klein 2007) と比べて, 次の利点を持つ.

1 線形時間で動作し, 高速で精度の高い単語並べ替えが可能.

2 並べ替え文字列の $N$-gram 素性（非局所素性に該当）を用いても計算量が変わらない.

3 アクションを追加するだけで，並べ替えと同時に語の生成操作などが行える.

1 と 2 の利点は, 解析効率における利点, また, 2 と 3 は翻訳性能を向上させる上での利点となる. 特に，3つ目の利点を活かして，単語並べ替えと冠詞生成問題を同時にモデル化することが, 提案法の最も大きな新規性と言える。本稿では, 日英特許対訳データを使って, 提案手法が従来手法を翻訳速度，性能の両面で上回ることを実験的に示す。以下，第 2 章では構文解析
^{1}$ ITG は 2 言語の構文解析 (biparsing) を扱う枠組みであるが, 単語並べ替え問題では原言語の単語と目的言語の訳語を同じと考えることができるため, 1 言語の上で定義された通常の構文解析として扱える.
}

による事後並べ替えの枠組み, 第 3 章では提案手法, 第 4 章では実験結果について述べる，第 5,6 章では研究の位置付けとまとめを行う.

## 2 構文解析による事後並べ替え

図 1 に示すように, 事後並べ替えによる機械翻訳方式 (Sudoh et al. 2011) は 2 つのステップに分けられる。最初のステップでは入力文をそのままの並びで出力言語文（中間言語文）へと翻訳する。そして，次のステップにおいて中間言語文を並べ替え，出力言語の語順になった文を生成する. 文献 (Goto et al. 2012) はこの 2 番目のステップを構文解析によってモデル化し, そのための学習データを次のような手順で作成している.

まず, 図 2 の左図に示すように, 英語文に対して語彙化構文木を作成する. 次に, 主辞後置変換規則によって, 図 2 の右図に示すような木 (中間英語木) へと変換する ${ }^{2}$. この変換では, 非終端記号に付随する主辞をその句の後方へと移動する。例えば, 左図の $\mathrm{PP}($ with) $\rightarrow \mathrm{PR}$ (with) $\mathrm{NP}$ (telescope) の辺では, PP の主辞となる withは telescopeの前に位置するが, 右図では PP\# $\rightarrow \mathrm{N}($ telescope) “a/an" PR(with)のように telescope の後ろに位置する。\#は並べ替えを意味するマークである．右図の木構造における葉ノードから成る文を中間英語文と呼ぶ.

さらに, 中間英語文からは冠詞 (the, a, an)が消去されており, 逆に, 日本語の助詞 (が (ga),

図 1 事後並べ替えによる機械翻訳方式の流れ

図 2 主辞後置変換規則による中間英語データの作成例
($ telescope $) \rightarrow \mathrm{N}($ telescope) のような単一規則は解析効率を考慮して全て除去している.
}

は (wa),を (wo)）が挿入されているが，これらは日本語文との単語対応をとりやすくするためである。削除された冠詞はそれが先頭に挿入される句を表す品詞ないしは非終端記号にマークしている。例えば, $\mathrm{N}$ (telescope)“a/an”である。文献 (Goto et al. 2012) はこのような削除した冠詞のマークを行っていないが，提案手法では削除した冠詞の挿入を構文解析の朹組みとして定式化するため, このようなマークを行っている.

\#や冠詞マークを使うことで, 図 2 の右図に示す中間英語木から元の英語文を復元することは可能である。よって, 中間英語木から学習した構文解析器によって, 翻訳器が出力した中間英語文に中間英語木構造を自動推定することで, 機械翻訳の単語並べ替えを行うことができる.

## 3 シフトリデュース構文解析による単語並べ替えと冠詞生成

## 3.1 単一言語の Inversion Transduction 文法

第 2 節で説明した単語並べ替え（及び，冠詞生成）問題は，文献（Tromble and Eisner 2009; DeNero and Uszkoreit 2011) などで言及されているように, Inversion trasduction 文法 (ITG) (Wu 1997) と関連付けられる。本来, ITG は 2 言語の構文解析 (biparsing) を扱う枠組みであるが，単語並べ替え問題を扱う場合， 1 言語の構文解析として定式化する点に注意する（単一言語の ITG).

単一言語の ITG $G$ は $G=(V, T, P, I, \mathrm{TOP})$ から成る. ここで $V$ は非終端記号, 及び, 品詞の集合, $T$ は終端記号の集合, $P$ は生成規則の集合, $I$ は冠詞挿入 (“the”, “a/an”, “no article”) を行う非終端記号及び品詞の候補集合, TOP は開始記号である. 生成規則の集合 $P$ は

$
\mathrm{X} \rightarrow w, \quad \mathrm{X} \rightarrow \mathrm{YZ}, \quad \mathrm{X}^{\#} \rightarrow \mathrm{YZ}, \quad \mathrm{TOP} \rightarrow \mathrm{X} \mid \mathrm{X}^{\#}
$

の形式を持つ規則から構成される $(w \in T, \mathrm{X}, \mathrm{X} \#, \mathrm{Y}, \mathrm{Z} \in V)$. 最初の規則は単語 $w$ を生成する語彙生成規則, 次の 2 つは 2 分生成規則, 最後は終了規則である.

## 3.2 シフトリデュース構文解析

単一言語の ITG に対するシフトリデュース構文解析法を定義する。本稿で用いる記法は, 文献 (Huang and Sagae 2010) や (Zhang and Clark 2011) を参考にしているため, 以下の定義を読解する上で，それらを参考にすると良いだろう。

シフトリデュース構文解析は状態とアクションを使って解析を進める。基本的な動作原理は, まず，入力文 $W=w_{1} \ldots w_{|W|}$ をバッファ $B$ に積み込み（慣習に従い，左端が先頭), シフトと呼ばれるアクションによって, バッファの先頭単語に語彙生成規則を適用して, 状態が持つスタックの先頭へと移す。そして, リデュースと呼ばれるアクションを使って, 状態が持つスタックの先頭 2 つの要素に対して 2 分生成規則を適用して, 構文木を組み上げていく. 本稿で

はさらに，挿入アクションを使って，冠詞の生成問題も同時にモデル化する.

シフトリデュース構文解析における状態 $p$ は

$
p:[\ell:\langle i, j, S\rangle: \pi]
$

として定義され， $\ell$ はステップ数， $S$ はスタックを表す．スタックは $\ldots\left|s_{1}\right| s_{0}$ を要素に持ち，各要素は部分解析木を表現する。慣習に従い，スタックの要素は右端を先頭とし，各要素を|で区切る，i $i$ はタック先頭要素 $s_{0}$ が持つ部分解析木の左端単語の $W$ 中での位置インデックスを表し， $j$ はバッファ $B$ の先頭単語の $W$ 中での位置インデックスを表す. $\pi$ は予測前状態へのポインタ集合である。予測前状態とは, 現状態の $s_{0}$ が構築される直前の状態のことであり， $\pi$ はそこへのバックポインタを保持する。 $\pi$ が集合となるのは, 文献 (Huang and Sagae 2010)の動的計画法により状態の結合が起こると， $\pi$ をも一方の状態の $\pi$ へと結合するからである ${ }^{3}$.

各スタックの要素は以下の部分解析木に関する変数を持つ.

$
s=\left.\langle\mathrm{H}, h, w_{\text {left }}, w_{\text {right }}, a\right.\rangle
$

ここで $\mathrm{H}$ とは $s$ が持つ部分解析木のルートにある非終端記号または品詞ラベルの変数を表す. $h$ は $\mathrm{H}$ に付随する主辞単語の $W$ 中のインデックスを表す変数である, $a$ は “the", “a/an”, “no article"，または null が割り当てられる変数を示している $4 . w_{\text {left }}$ と $w_{\text {right }}$ は部分解析木が覆う並べ替え文字列の左端と右端単語を表す変数である（解析時に並べ替えが起こったとき， $w_{l \text { left }}$ と $w_{\text {right }}$ だけを明示的に並べ替えることに注意）ｓ喓素 $*$ は $s . *$ として参照する.

図 3 には状態の説明図を示す，以下のアクションに関する説明が煩雑になることを防ぐため, スタック要素の定義から $\mathrm{L}, \mathrm{R}, w_{l}$ は除いたが, 後述する識別モデルの素性にはこれらを利用する. Lは $\mathrm{H}$ の左側の子供となる非終端記号, $\mathrm{R}$ は右側の子供となる非終端記号, $w_{l}$ は L 付随する主辞単語の $W$ 中の位置インデックスを表す変数である.

図 3 状態定義の説明図: 慣習上，スタックは右端，バッファは左端が先頭とする.
^{3} \pi$ の結合は, シフトで作られた状態同士が結合されたときに起こる. 詳細は文献 (Huang and Sagae 2010) を参照.

4 "no article”と null を区別し, 一度“no article” が插入れれも, “the”や“a/an”の㨁入が行えるようにしている.
}
提案手法はシフト-X, 挿入- $x$, リデュース MR-X, リデュース $\mathrm{SR}-\mathrm{X}$ ， 終了の 5 種類のアクションを持つ。以下，各アクションは推論規則

$
\frac{\text { 前状態 } p}{\text { 後状態 } p^{\prime}} \text { 条件部 }
$

を使って定義する. 条件部にはアクションの適用条件を記述し, 状態 $p$ にアクションを適用すると, 状態 $p^{\prime}$ になことを表す. 解析は初期状態 $p_{0}:[0:\langle 0,1, \epsilon\rangle: \emptyset]$ から始まり, 終了アクションによって導かれる終了状態に至るまで続ける。

・ シフト-X: バッファの先頭単語をスタックに積み, 品詞を割り当てる.

$
\frac{p:\left[\ell:\left.\langle i, j, S \mid s_{0}^{\prime}\right.\rangle: \pi\right]}{\left.p^{\prime}:\left[\ell+1:\left.\langle j, j+1, S\left|s_{0}^{\prime}\right| s_{0}\right)\right.\rangle:\{p\}\right]} \quad \mathrm{X} \rightarrow w_{j} \in P
$

ここで $s_{0}$ は $\mathrm{H}=\mathrm{X}, \quad h=j, \quad w_{\text {left }}=w_{j}, w_{\text {right }}=w_{j}, \quad a=\operatorname{null}$ となり, 単語 $w_{j}$ に品詞 $\mathrm{X}$ が割当られたことを意味する。
- 挿入- $x$ : 現在の状態が持つスタック先頭要素の部分解析木が覆う単語列の先頭に “the", "a/an", “no articles”のいずれか（変数 $x$ で表す）を挿入する操作を行う.

$
\frac{\left.\left.p:\left[\ell:\langle i, j, S| s_{0}^{\prime}\right)\right.\rangle: \pi\right]}{p^{\prime}:\left[\ell+1:\left.\langle i, j, S \mid s_{0}\right.\rangle: \pi\right]} s_{0}^{\prime} \cdot \mathrm{X} \in I \wedge
$

$
\left(s_{0}^{\prime} \cdot a=\text { null } \| x \neq \text { "no article" } \wedge s_{0}^{\prime} \cdot a \neq \text { "the" } \wedge s_{0}^{\prime} \cdot a \neq \text { "a/an" }\right)
$

ここで $s_{0}$ は $\mathrm{H}=s_{0}^{\prime} \cdot \mathrm{H}, \quad h=s_{0}^{\prime} \cdot h, \quad w_{\text {left }}=s_{0}^{\prime} \cdot w_{\text {left }}, w_{\text {right }}=s_{0}^{\prime} \cdot w_{\text {right }}, \quad a=x$ となる. アクションの適用条件で $s_{0}^{\prime}=$ null は現状態でまだ一度も冠詞挿入が行われていないことを意味し, “the”, “a/an", “no article”が代入できる。一方, すでに“no article”が挿入された位置には, 条件 $x \neq$ "no article" $\wedge s_{0}^{\prime} \cdot a \neq$ “the" $\wedge s_{0}^{\prime} \cdot a \neq$ “a/an”によって, “the" か “a/an”のみ挿入可能で，そのいずれかを挿入以後，その位置には冠詞挿入は行えない.

・リデュース：リデュース MR-Xとリデュース SR-X\#の 2 種類を定義する. これらは同じ形式の推論規則で表記できる。

$
\frac{q:\left[-:\left.\langle k, i, S^{\prime} \mid s_{1}^{\prime}\right.\rangle: \pi^{\prime}\right] \quad p:\left[\ell:\left.\langle i, j, S \mid s_{0}^{\prime}\right.\rangle: \pi\right]}{p^{\prime}:\left[\ell+1:\left.\langle k, j, S^{\prime} \mid s_{0}\right.\rangle: \pi^{\prime}\right]} \mathrm{X} \rightarrow \mathrm{YZ} \in P \wedge q \in \pi
$

リデュースは $s_{0}^{\prime}$ と $s_{1}^{\prime}$ を文法規則 $\mathrm{X} \rightarrow \mathrm{Y} \mathrm{Z}$ によって結合し, 新たなスタック要素 $s_{0}$ を作り出す.リデュース MR-Xでは

$
s_{0}=\left.\langle\mathrm{X}, s_{0}^{\prime} \cdot h, s_{1}^{\prime} \cdot w_{\text {left }}, s_{0}^{\prime} \cdot w_{\text {right }}, s_{1}^{\prime} \cdot a\right.\rangle
$

を新たに作り出す. 新たな非終端記号は $\mathrm{X}$ となり, その主辞単語は $s_{0} . h=s_{0}^{\prime} . h$ として, $\mathrm{Z}$ の主辞単語の位置インデックスを代入する. リデュース MR は非終端記号 $\mathrm{Y}$ と Z が覆う 2 つの句をそのままの並びで結合するため, $\mathrm{X}$ が覆う句の左端は $s_{0} \cdot w_{l e f t}=s_{1}^{\prime} \cdot w_{l e f t}$,
右端は $s_{0} \cdot w_{r i g h t}=s_{0}^{\prime} \cdot w_{\text {right }}$ となる. 冠詞変数は $s_{0} \cdot a=s_{1}^{\prime} \cdot a$ として, Y の先頭に挿入された冠詞変数が代入される. リデュース SR-X\# は MR-X とは逆に，文法規則 $\mathrm{X} \# \rightarrow \mathrm{Y} Z$ によってＹとＺの句を並べ替えて結合し，新たなスタック要素

$
s_{0}=\left.\langle\mathrm{X}^{\#}, s_{0}^{\prime} \cdot h, s_{0}^{\prime} \cdot w_{\text {left }}, s_{1}^{\prime} \cdot w_{\text {right }}, s_{0}^{\prime} \cdot a\right.\rangle
$

を作り出す。新たな非終端記号は $\mathrm{X} \#$ となり，その主辞単語はリデュース $\mathrm{MR}$ 同様に $s_{0} . h=s_{0}^{\prime} . h$ として, $\mathrm{Z}$ の主辞単語の位置インデックスを代入する. リデュース $\mathrm{SR}$ は非終端記号 Y と Z が覆う 2 つの句を並べ替えて結合するため, $\mathrm{X} \#$ が覆う句の左端は $s_{0} \cdot w_{\text {left }}=s_{0}^{\prime} \cdot w_{\text {left }}$, 右端は $s_{0} \cdot w_{\text {right }}=s_{1}^{\prime} \cdot w_{\text {right }}$ となる. 冠詞変数は $s_{0} \cdot a=s_{0}^{\prime} \cdot a$ として, $\mathrm{Z}$ の先頭に挿入された冠詞変数が代入される.
- 終了：シフトやリデュースをこれ以上適用できなくなり, 終了規則が適用できる場合,

$
\frac{p:\left[\ell:\left.\langle 0,|W|, s_{0}^{\prime}\right.\rangle: \pi\right]}{\left.p^{\prime}:\left[\ell+1:\left.\langle 0,|W|, s_{0}\right)\right.\rangle: \pi\right]} \quad \text { TOP } \rightarrow \mathrm{X} \mid \mathrm{X}^{\#} \in P
$

として，終了状態 $p^{\prime}$ を導く．ただし， $s_{0}^{\prime} \cdot \mathrm{H}=\mathrm{X} \mid \mathrm{X}^{\#}, s_{0} \cdot \mathrm{H}=\mathrm{TOP}$ とする．終了状態 $p^{\prime}$ からバックトレースすることで，中間英語木，または，英語文は出力できる.

図 4 に解析の例を示す。図 4 では，解析の過程が全て理解できるよう，スタック要素を省略せず，解析部分木を全て示した。

入力文 $W$ が与えられたとき，初期状態 $p_{0}$ から終了状態に至る状態とアクションの系列を完全アクション状態系列と呼び,

$
y=\left(\left(p_{0}, a_{0}\right),\left(p_{1}, a_{1}\right), \ldots,\left(p_{|y|-1}, a_{|y|-1}\right),\left(p_{|y|},-\right)\right)
$

と定義すると，シフトリデュース構文解析の探索問題は以下のように定式化される.

$
\hat{y}=\underset{y \in \mathcal{Y}(W)}{\arg \max } \sum_{\ell=0}^{|y|-1} \operatorname{Score}\left(p_{\ell}, a_{\ell}\right)
$

ここで $\mathcal{Y}(W)$ は， $W$ に対して解析可能な全ての完全アクション状態系列の集合を表す。一般に， $\operatorname{Score}(p, a)$ は識別モデルによってモデル化される.

$
\operatorname{Score}(p, a)=\Phi(p, a) \cdot \vec{\alpha}
$

素性関数 $\Phi$ は状態 $p$ とアクション $a$ を素性べクトル $\Phi(p, a)$ へ写像する関数である, 素性べクトルは発火した素性が対応する次元に 1 ，それ以外は 0 をとる。 $\vec{\alpha}$ は重みべクトルで，素性べクトルとの内積をスコアとする。表 1 には本稿の実験で使用した素性テンプレートを示す。。 によって結合された要素は組み合わせ素性を表し, 状態 $p$ が持つ要素から全て計算される。さらに，全ての素性は $a$ を結合して，状態 $p$ でアクション $a$ を行う判断をモ゙ル化している。例

図 4 中間英語文 “girl wo saw” に対する提案手法の動作事例

えば，図 4 の step5 の状態でレデュース SR-VP\# アクションを行う場合, 素性テンプレートの $s_{0} \cdot \mathrm{H} \circ s_{1} \mathrm{H} \circ s_{1}$.L は $\mathrm{V} \circ \mathrm{NP} \circ \mathrm{N} \circ$ レデュース $\mathrm{SR}-\mathrm{VP} \#$ という素性になり, 素性関数 $\Phi$ によって素性べクトルの対応する次元へ写像される。表の最も下の行は並べ替え文字列に関わる素性で,本稿ではこれらを非局所素性 (non-local feature, nf) と呼ぶ.

実装上では，解析性能を高めるため，ビームサーチ (Zhang and Clark 2008) により，各ステップではスコアが上位 beam 個の状態をビームスタックに保持して解析を行う.

## 3.3 曖昧性除去によるビームサーチの効率改善

単一言語のITGに従って, ある文字列の並べ替えを行う場合, 様々な導出過程から同一の並べ替え文字列を作り出すことができる。例えば，図 5 のような例である.
表 1 素性テンプレート

 \\

$t$ は品詞夕グを表す。○は要素の結合を表す.

図 5 複数の導出による並べ替えの曖昧性

これは元の文 “e1 e2 e3 e4”を並べ替えない場合のITG木が複数存在することを示している. この現象を Spurious Ambiguity の問題と呼ぶ. 文献 (Wu 1997)では Spurious Ambiguityを解消するために, 左分岐重視 (Left heavy) の ITG を提案しているが, 図 2 のような一般的な複数の非終端記号を持つ文法規則において，一意な構造に変換する方法は自明ではない.

シフトリデュース構文解析におけるビームサーチでは, Spurious Ambiguity が及ぼす問題は大きい，なぜなら，同じ並べ替え文字列を表現した元長な状態により，ビームスタックが無駄に消費されるからである．実際にこのことは第 4.2 節の実験で示す.

提案法では, この問題に対応するため, 2 つの手法を活用する．1つは文献 (Huang and Sagae 2010）の動的計画法に基づくシフトリデュース構文解析法を適用することである。この手法では，識別モデルの素性ベクトルが同じになる状態を結合し，ビームスタック上に不要な解を保持する必要がなくなる。そのため，壳長な状態の多くを効率的に抑えることができる 5 .

もう1つは並べ替え文字列を解析と同時に構築し, ハッシュテーブルによって同じ文字列を

持つ状態を枝刈りする方法である．同じステップにある状態で，並べ替え文字列とスタック要素 $s_{0}$ と $s_{1}$ の部分木のルート非終端記号が全て一致する場合, モデルスコアの低い方の状態を削除する， $s_{0}$ と $s_{1}$ のルート非終端記号を考慮するのは, 解析エラーを軽減するためである.

## $3.4 \mathrm{CKY$ 構文解析との計算量比較}

シフトリデュース構文解析は最適解を求められる保証はないが, 入力文長に対して, 線形時間に動作するという利点がある。一方で, CKY 構文解析法は最適解を求めることはできるが, 1 次の主辞・従属辞関係を考慮した場合, 最悪計算量が $O\left(n^{5}|V|^{3}\right)$ に及ぶことが知られている ( $n$ は入力文長, $|V|$ は非終端記号の集合サイズ) (Eisner and Satta 1999).

さらに, 単一言語のITGに対して, 第 3.2 節で定義したような並べ替え単語列の左端単語 $w_{l e f t}$ と右端単語 $w_{\text {right }}$ を特徴量（非局所素性）に考慮すると, リデュース MR に対応する CKY 構文解析の推論規則は以下のようになる.

$
\frac{\left[i, h, k, \mathrm{X}, w_{\text {left }}, w_{\text {right }}\right]\left[k, h^{\prime}, j, \mathrm{X}^{\prime}, w_{\text {left }}^{\prime}, w_{\text {right }}^{\prime}\right]}{\left[i, h^{\prime}, j, \mathrm{X}^{\prime}, w_{\text {left }}, w_{\text {right }}^{\prime}\right]} \quad \mathrm{X}^{\prime \prime} \rightarrow \mathrm{XX}^{\prime} \in P
$

ここで $\left[i, h, k, \mathrm{X}, w_{\text {left }}, w_{\text {right }}\right]$ はある 1 つの CKYアイテムを表し, $i, k$ はアイテムが表現する解析結果の左端と右端のインデックス, $h$ は主辞のインデックスを表す.この推論規則では, 長さ $n$ に対する 9 つの自由変数 $i, h, k, h^{\prime}, j, w_{\text {left }}, w_{\text {right }}, w_{\text {left }}^{\prime}, w_{\text {right }}^{\prime}$, 非終端記号の集合 $V$ から 3 つの記号 $\mathrm{X}, \mathrm{X}, \mathrm{X}$ ”を考慮するため, 計算量は $O\left(n^{9}|V|^{3}\right)$ となる. 本稿では, 主辞は必ず後置することを仮定しているため, $h$ と $h^{\prime}$ はそれぞれ $k$ とから参照でき, 計算量は $O\left(n^{7}|V|^{3}\right)$ となる. $N$-gram を考慮した構文解析がこのような高い計算量に及ぶことは, 文献 (Li, Zhang, Che, Liu, Chen, and Li 2011)の係り受けと品詞夕グ付けの同時解析でも言及されている（品詞タグ付けの場合, 連接部分の計算量は $n$ ではなく, 品詞の候補数となる).

CKY 構文解析ではある CKY アイテムに対して，ビタビスコア $\beta$ を最大にする解をボトムアップに計算していく.

$
\begin{array}{r}
\beta\left(\left[i, j, \mathrm{X}^{\prime \prime}, w_{\text {left }}, w_{\text {right }}^{\prime}\right]\right)=\max _{k, w_{\text {right }}, w_{\text {left }}^{\prime}, \mathrm{X}, \mathrm{X}}\left.\{\beta\left(\left[i, k, \mathrm{X}, w_{\text {left }}, w_{\text {right }}\right]\right) \cdot \beta\left(\left[k, j, \mathrm{X}^{\prime}, w_{\text {left }}^{\prime}, w_{\text {right }}^{\prime}\right]\right)\right. \\
\left.\cdot p\left(\mathrm{X}^{\prime \prime} \rightarrow \mathrm{XX}^{\prime}\right) \cdot n f\left(w_{\text {right }}, w_{\text {left }}^{\prime}\right)\right.\} .
\end{array}
$

$p$ は規則のスコア, $n f$ は並べ替え文字列から計算される 2-gram モデルなどの非局所素性に関わるスコアである． $N$-gram を考慮した CKY 構文解析の計算量は Hook Trick と呼ばれる分配法則によってさらに削減できる (Huang, Zhang, and Gildea 2005). Hook Trick は式 (4)の右辺に対して，次のような式変換を行う（max 演算は積に対して分配的であることに従う）.

$
\begin{aligned}
\max _{k, w_{\text {left }}^{\prime}, \mathrm{X}},\left.\{\max _{w_{\text {right }}, \mathrm{X}}\left.\{\beta\left(\left[i, k, \mathrm{X}, w_{\text {left }}, w_{\text {right }}\right]\right) \cdot p\left(\mathrm{X}^{\prime \prime} \rightarrow \mathrm{XX}^{\prime}\right) \cdot n f\left(w_{\text {right }}, w_{\text {left }}^{\prime}\right)\right.\}\right. \\
\left.\cdot \beta\left(\left[k, j, \mathrm{X}^{\prime}, w_{\text {left }}^{\prime}, w_{\text {right }}^{\prime}\right]\right)\right.\}
\end{aligned}
$

内部 max 演算では $i, j, k, w_{l e f t}, w_{r i g h t}, w_{l e f t}^{\prime}$ と $\mathrm{X}, \mathrm{X}^{\prime}, \mathrm{X}^{\prime \prime}$ を考慮し, 外部 $\max$ 演算では $i, j, k, w_{l e f t}$, $w_{\text {left }}^{\prime}, w_{\text {right }}^{\prime}$ と X',X"を考慮する.これより計算量は $O\left(n^{7}|V|^{3}\right)$ から $O\left(n^{6}|V|^{3}+n^{6}|V|^{2}\right)$ となる. しかし, このような計算量は一般にコストが大きく, 提案法と比較して, 実用的ではない.

非局所素性を考慮した CKY 構文解析は Cube Pruning と呼ばれる近似解法 (Huang and Chiang 2007) を使うと, $O\left(n^{3}|V|^{3}\right)$ の CKY 構文解析として解くことはできるが, 最適解が求められる保証はなくなる。これより, CKY 法や同様の原理（動的計画法）に基づくBerkeley 構文解析などと比較して, 提案法は単語並べ替え問題において, 実用性の観点から大きな利点がある.

## 4 実験

## 4.1 実験データとツール

実験には NTCIR-9 と NTCIR-10の特許データを使い，日英翻訳を行った．日本語の形態素解析には Mecab 6 を使用した，英語文の語彙化構文木を作成するため, Enju (Miyao and Tsujii 2008) を用いて全ての英語文を解析した．機械翻訳には，デコーダに Moses (Koehn, Hoang, Birch， Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, and Zens 2007), 単語アライメントに GIZA++ (Och and Ney 2003), 言語モデルに SRILM (Stolcke, Zheng, Wang, and Abrash 2011) を用いた。データ及びッールについては表 2 と表 3 にまとめる.

Enjuによって解析した語彙化構文木を文献 (Isozaki et al. 2012)の規則によって中間英語木へと変換した，削除した冠詞の挿入マークは，その冠詞を含む句の中で最も葉に近い非終端記号に付与した. 冠詞を含む句の非終端記号がない場合, 品詞に挿入マークを付与した. 日本語の助詞挿入は文献 (Isozaki et al. 2012)に従って行った.

提案手法の単語並べ替えモデルの学習は平均化パーセプトロン (Collins and Roark 2004)で行った. また, 学習データの量が多いため, 素性ハッシング (Shi, Petterson, Dror, Langford,

表 2 NTCIR-9 と NTCIR-10デー夕

表 3 実験に使用したツール



Smola, and Vishwanathan 2009) を使って, 素性計算を高速化した. 提案手法, 及び, 比較手法での冠詞挿入によって “a/an”が挿入された場合，挿入位置の後ろに位置する単語の 1 文字目が母音の場合, an を㨁入し, 子音の場合, aを挿入して翻訳結果を出力した. 日本語助詞は事後並べ替えの解析時には 1 単語として扱い, 翻訳結果の出力時には全て取り除いた.

## 4.2 単語並べ替えに関する実験結果

提案手法の単語並べ替え性能を調べるため, 全訓練デー夕の中間英語木 $3,191,228$ 文からランダムに 300,000 文を抽出し, 並べ替えのための構文解析器を学習した. ただし, 中間英語木において冠詞削除, 及び, 日本語助詞の挿入は行っておらず, ここでは並べ替えのみ（挿入アクションは用いない）を行うようにしている。なぜなら, 冠詞削除や日本語助詞の挿入は翻訳時の単語アライメント性能向上を意図した操作であり, ここでは純粋に提案法の構文解析, 及び,単語並べ替え性能を調べることが目的だからである.

図 6 では提案法を学習したときの学習イテレーションと開発データに対する $\mathrm{F}$ 値の関係, 図 7 には BLEU スコア (Papineni, Roukos, Ward, and Zhu 2002)との関係を示す.F 値の計算は $\mathrm{EVALB}^{7}$ を用いて評価した8. “Base"は通常のビームサーチ, “DP” は動的計画法付きビームサーチ，“Hash”は第 3.3 節で述べたハッシュテーブルによる枝刈りを表し，各システムはビー ム幅 12 で訓練した. 図 6 と図 7 から, “DP” やHash”に比べて, “Base"による学習の効率が悪いことがわかる。図 8 と図 9 では “Base” のビーム幅を $12,24,36$ にしたときの学習イテレー ションと開発データに対する $\mathrm{F}$ 値, 及び, BLEU との関係を示した. これから “Base”による学習は，“DP”や“Hash”よりもビーム幅を大きく設定しなければ，学習が円滑に行えないことがわかる。

表 4 は，NTCIR-9 のテストデータの中間英語文を各システムによって解析したときの BLEU,

図 6 学習のイテレーション回数と開発デー夕に対する $\mathrm{F}$ 値

図 7 学習のイテレーション回数と開発データに対する BLEU スコア


RIBES (Isozaki, Hirao, Duh, Sudoh, and Tsukada 2010), 構文解析性能（再現率，適合率, F 値, 文正解率), 解析時間を示した. 文献 (Goto et al. 2012) は論文から抜粋した数値を示す. Berkeley 構文解析はデフォルト設定で学習し, 6 回の学習イテレーションを行った。結果からは，提案手法のうち “DP” 法が他の手法に比べ，高い性能を達成できることがわかった.

表 5 では，表 1 の非局所素性を全て取り除いた (nf. 無し) モデルを学習し, nf. 有りのモデルと比較した，実験結果からは，非局所素性が並べ替えの性能向上に寄与していることがわかる.表 6 では, $k$-best 出力時に, 出力リストの中にどれだけの種類の文字列があるかを示す. 表 6

図 8 “Base”法の学習時におけるビーム幅と開発データに対する $\mathrm{F}$ 値の関係：テスト時のビーム幅は訓練時と同じに設定

図 9 “Base”法の学習時におけるビーム幅と開発データに対するBLEU スコアの関係:テスト時のビーム幅は訓練時と同じに設定

表 4 NTCIR-9 テストデー夕に対する語順並べ替え, ITG 構文解析性能と解析時間

表 5 非局所素性 (nf.) による構文解析, 及び, 語順並べ替え性能への影響

ビーム幅は全て 12 に設定.
表 $6 k$-best リスト中に存在する文字列種類

文字列種類数の合計 $/ k$-best リストサイズの合計.

には，テストデータに対して出力した各 $k$-best リスト中の文字列種類数の合計 $/ k$-best リストサイズの合計を示し, 分子の数が多い程, 多様な並べ替え文字列を出力できることを意味する。例えば，“Base”法の 64-best リストには， 3，4 種類程度の並べ替え文字列しか存在せず， Berkeley 構文解析でも同様に，同じ文字列を表す解析結果を大量に出力しているがわかる。一方, “Hash”法ではこれらの圥長な表現を排除し, 多様な解析結果を出力できている.

以上の実験から，シフトリデュース法による単語並べ替え性能を向上させるには，Spurious Ambiguity の問題に対処し, ビーム幅を効率的に活用することが極めて重要であることがわかった. よって，以下の翻訳実験では，提案法は全て “DP”法を用いて行う。“Hash”は “DP”よりも同じ文字列を多く排除できる一方で，文字列を動的に作り出す必要があり，計算コストが高い. “Hash”法のコスト削減や “DP”法との併用については，今後の課題である.

## 4.3 翻訳に関する実験結果

通常の日英翻訳器は, Mosesの distortion limitを 0, 6, 12, 20 に設定し, 言語モデルには訓練データの全英語文から学習した 6-gram 言語モデルを使用した. Moses の学習は BLEU に対して Minimum error rate training (MERT) (Och 2003) を行った.

単語並べ替えによる翻訳実験では，学習デー夕に中間英語木 $3,191,228$ 文から抽出した中間英語文を使用し，日本語から中間英語文への翻訳モデルを作成した，中間英語文の言語モデルは 6-gram まで学習し, Mosesの distortion limit (dist)は 0 に設定した. Mosesの学習は BLEUに対して MERT で行った。事後並べ替えは翻訳器から出力した中間英語文の 1-best を単語並べ替えモデルで元の英語文にし，評価を行った。

表 7 に提案手法と他の手法の実験結果を示す. 表 7 からは提案手法が文献 (Goto et al. 2012) のモデルを上回る性能を達成していることがわかる. 文献 (Goto et al. 2012)の実験結果は我々の実験によるものではないが，実験に使用したツールやデータは同一のものであることを明記しておく. さらに， 3.2 節で定義した非局所素性 (nf.)を使ったモデル (nf. 有り)と取り除いたモデル (nf. 無し) を比較すると, 非局所素性が有効であることがわかる. BLEU スコアを使って,有意水準 $5 \%$ で 2 項検定を行ったところ, nf. 無しモデルと nf. 有りモデルには有意な差が確認さ

れた。また，非局所素性を使うことによる解析時間への影響も少ない.

## 4.4 実験結果の分析

提案手法では単語並べ替えと冠詞挿入を同時に行っているが，それらを同時解析することの利点を分析するため，様々なシステムとの比較を行った．NTCIR-9と-10のテストデータに対する実験結果は表 8 に示す.

単語並べ替えと冠詞生成の同時処理の有効性 (1.2.3.4.) 2. の結果は 1. の結果から冠詞を削除したときの性能を示している，冠詞を削除すると，BLEU 評価尺度による翻訳精度が極端に落ちることがわかる。これは BLEUが $N$-gram 単位で評価を行う尺度だかである。

次に，3.の結果は， $N$-gram 手法によって 2. の翻訳文へ冠詞挿入を行ったときの結果を示し

表 7 システム比較

解析時間は 1 文当たりの平均秒を示している。**は我々の実験によるものではなく, 論文からの引用を意味する.

表 8 単語並べ替えと冠詞插入に関する各システムの精度比較

J-HFE は日本語から中間英語, J-E は日本語から英語への翻訳を意味する.

ている. $N$-gram 手法は文献 (Goto et al. 2012) と同様の冠詞挿入手法を意味する ${ }^{9}$. この結果から， $N$-gram 手法によって性能は向上するが，1.の同時解析ほどの性能は得られないことがわかる.

提案手法と $N$-gram 手法による翻訳結果を比較すると，提案手法の方が冠詞挿入を多く行っていることがわかった， $N$-gram 手法では冠詞挿入を行う程, 文が長くなるため, 確率が小さくなり，なるべく短い文が選ばれてしまうためであると考察される.

4. は, Mosesによって日英翻訳を行うとき, 英語データから冠詞を削除し, 翻訳結果出力後に $N$-gram 手法で冠詞挿入した結果を示している。この結果から，単純に冠詞を後編集で挿入するだけでは，翻訳性能を改善できないことがわかる.

日英対訳データから冠詞を除去することの意味 (1.5.) 5. では, 冠詞を英語文から削除せず,提案手法で単語並べ替えのみを行った結果を示している。このアプローチでは翻訳性能を向上させることができなかった. この理由は中間英語文で “the the the”のように冠詞が連続して出現してしまうため，翻訳文にも不要な冠詞が出現してしまうからである.

Berkeley 構文解析器との比較 (1. 2. 3. 6. 7.) Berkeley 構文解析器と提案手法を比較する. Berkeley 構文解析器は提案手法と同様の 500,000 文を使って学習した. 2. 3. と 6. 7.の結果から, Berkeley 構文解析器による単語並べ替え性能と提案手法による単語並べ替えの性能はほぼ同等であることがわかる，一方，1.と 7.の結果に対して，BLEU スコアを使って，有意水準 $5 \%$ で 2 項検定を行ったところ, それらには有意な差が確認できた。これは提案法の冠詞生成が $N$-gram 冠詞生成法よりも高い精度であるためと言える.

また, Berkeley 構文解析器と提案手法の解析速度を比較すると, 提案手法のビーム幅を 156 に設定したときにちょうど同程度の解析時間となる。さらに, 提案手法は冠詞挿入も行っているのに対し, Berkeley 構文解析器は $N$-gram 手法による冠詞挿入を未だ行っていない時点での解析時間であり，提案法が従来法よりも効率的に動作することがわかる.

## 5 関連文献

事後並べ替え手法は須藤ら (Sudoh et al. 2011) によって提案された. 須藤らは日本語文から中間英語文への翻訳を行った後，再び機械翻訳によって中間英語文を英語文へと翻訳している.後藤らは中間英語文から英語文への並べ替えを構文解析によって行うことで, 須藤らの手法を

上回る精度を達成した。本稿でも同様に，構文解析によって事後並べ替えをモデル化した．提案法はシフトリデュース構文解析法を基盤にしており，単語並べ替えと冠詞生成を同時に処理する仕組みや非局所素性の導入を行うことで，精度と解析効率をさらに向上させた。これらの点から，提案法は後藤らの手法と明確に区別できる.

文献 (Knight and Chander 1994) では，機械翻訳の後編集において冠詞挿入を行うことの重要性を提唱し，英語文への冠詞挿入を決定木によって行った．後続的にいくつかの文献で英語文への冠詞挿入を機械学習によって解く手法が提案されているが (Minnen, Bond, and Copestake 2000; Turner and Charniak 2007), 構文解析と冠詞挿入を同時に行う枠組みを提唱したのは，著者らの知る限り，本稿が初めてである。

提案手法で採用したシフトリデュース構文解析法は様々な文法理論の構文解析に応用されている。例えば，依存文法 (Yamada and Matsumoto 2003; Nivre 2003; Huang and Sagae 2010),文脈自由文法 (Sagae and Lavie 2006), 組み合わせ範疇文法 (Zhang and Clark 2011) などへの応用がある. シフトリデュース構文解析法を単一言語のITGへ応用した例は本稿が初めてである.

## 6 まとめと今後の課題

本稿では，シフトリデュース構文解析法をべースにした単語並べ替えと冠詞生成の同時逐次処理法を提案し，日英機械翻訳における事後並び替え問題に適用した。日英特許翻訳タスクを使った実験から，提案法は文献 (Goto et al. 2012) における事後並べ替え法の解析精度と効率の問題を改善できることがわかった，特に，解析効率の面では，理論上の計算量，及び，実際の解析速度において, 従来法より優れることを示した. また, 冠詞生成を単語並べ替えと同時にモデル化することが翻訳精度の向上につながることを示した.

提案法は，本質的には事後並べ替えだけでなく，事前並べ替えにも適用可能である。たたし，文献 (Isozaki et al. 2012)の主辞後置変換規則を用いずに，モデルを学習するためのデータを作成する方法は自明ではない。 よって, 単語アライメントと構文木から単語並べ替え構文解析器の学習データを作るための手法開発が今後の課題である。また, 提案手法は翻訳結果の 1-best に対して，動作する仕組みであったが，今後は多様な翻訳結果に対して動作させるため，翻訳ラティスを解析する仕組みに拡張することが課題となる.

## 参考文献

Chiang, D. (2005). "A Hierarchical Phrase-based Model for Statistical Machine Translation." In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp. 263-270.

Collins, M., Koehn, P., and Kučerová, I. (2005). "Clause Restructuring for Statistical Machine Translation." In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, pp. 531-540.

Collins, M. and Roark, B. (2004). "Incremental Parsing with the Perceptron Algorithm." In Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics, p. 111.

DeNero, J. and Uszkoreit, J. (2011). "Inducing Sentence Structure from Parallel Corpora for Reordering." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 193-203.

Eisner, J. and Satta, G. (1999). "Efficient Parsing for Bilexical Context-Free Grammars and Head Automaton Grammars." In Proceedings of the 37st Annual Meeting on Association for Compu tational Linguistics, pp. 457-464.

Galley, M., Graehl, J., Knight, K., Marcu, D., DeNeefe, S., Wang, W., and Thayer, I. (2006). "Scalable Inference and Training of Context-rich Syntactic Translation Models." In Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics, pp. 961-968.

Goto, I., Chow, K. P., Lu, B., Sumita, E., and Tsou, B. K. (2013). "Overview of the Patent Machine Translation Task at the NTCIR-10 Workshop." In Proceedings of NTCIR, pp. 260-286.

Goto, I., Lu, B., Chow, K. P., Sumita, E., and Tsou, B. K. (2011). "Overview of the Patent Machine Translation Task at the NTCIR-9 Workshop." In Proceedings of NTCIR, pp. 559-578.

Goto, I., Utiyama, M., and Sumita, E. (2012). "Post-ordering by Parsing for Japanese-English Statistical Machine Translation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 311-316.

Graehl, J. and Knight, K. (2004). "Training Tree Transducers." In Proceedings of HLT-NAACL, pp. 105-112.

Huang, L. and Chiang, D. (2007). "Forest Rescoring: Faster Decoding with Integrated Language Models." In Proceedings of the 45th Annual Meeting on Association for Computational Linguistics, Vol. 45, p. 144.

Huang, L. and Sagae, K. (2010). "Dynamic Programming for Linear-time Incremental Parsing." In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, pp. 1077-1086.

Huang, L., Zhang, H., and Gildea, D. (2005). "Machine Translation as Lexicalized Parsing with Hooks." In Proceedings of the Ninth International Workshop on Parsing Technology, pp. 65-73.

Isozaki, H., Hirao, T., Duh, K., Sudoh, K., and Tsukada, H. (2010). "Automatic Evaluation of

Translation Quality for Distant Language pairs." In Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp. 944-952. Association for Computational Linguistics.

Isozaki, H., Sudoh, K., Tsukada, H., and Duh, K. (2012). "HPSG-based Preprocessing for Englishto-Japanese Translation." ACM Transactions on Asian Language Information Processing (TALIP), 11 (3).

Knight, K. and Chander, I. (1994). "Automated Postediting of Documents." In Proceedings of the National Conference on Artificial Intelligence, p. 779.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., and Zens, R. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the ACL on Interactive Poster and Demonstration Sessions, pp. 177-180.

Koehn, P., Och, F., and Marcu, D. (2003). "Statistical Phrase-based translation." In Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1, pp. 48-54.

Li, Z., Zhang, M., Che, W., Liu, T., Chen, W., and Li, H. (2011). "Joint Models for Chinese POS Tagging and Dependency Parsing." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 1180-1191. Association for Computational Linguistics.

Minnen, G., Bond, F., and Copestake, A. (2000). "Memory-based Learning for Article Generation." In Proceedings of the 2nd workshop on Learning language in logic and the 4th conference on Computational natural language learning-Volume 7, pp. 43-48.

Miyao, Y. and Tsujii, J. (2008). "Feature Forest Models for Probabilistic HPSG Parsing." Computational Linguistics, 34 (1), pp. 35-80.

Nivre, J. (2003). "An Efficient Algorithm for Projective Dependency Parsing." In Proceedings of the 8th International Workshop on Parsing Technologies.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics-Volume 1, pp. 160-167. Association for Computational Linguistics.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational linguistics, 29 (1), pp. 19-51.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th annual meeting on association for computational linguistics, pp. 311-318. Association for Computational Linguistics.

Petrov, S. and Klein, D. (2007). "Improved Inference for Unlexicalized Parsing." In Human lan-
guage technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics, pp. 404-411.

Sagae, K. and Lavie, A. (2006). "A Best-first Probabilistic Shift-reduce Parser." In Proceedings of the COLING/ACL on Main Conference Poster Sessions, pp. 691-698.

Shi, Q., Petterson, J., Dror, G., Langford, J., Smola, A., and Vishwanathan, S. (2009). "Hash Kernels for Structured Data." The Journal of Machine Learning Research, pp. 2615-2637.

Stolcke, A., Zheng, J., Wang, W., and Abrash, V. (2011). "SRILM at Sixteen: Update and Outlook." In Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop.

Sudoh, K., Wu, X., Duh, K., Tsukada, H., and Nagata, M. (2011). "Post-ordering in Statistical Machine Translation." In Proceedings of MT Summit.

Tromble, R. and Eisner, J. (2009). "Learning Linear Ordering Problems for Better Translation." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 2, pp. 1007-1016.

Turner, J. and Charniak, E. (2007). "Language Modeling for Determiner Selection." In Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers, pp. 177-180. Association for Computational Linguistics.

Wu, D. (1997). "Stochastic Inversion Transduction Grammars and Bilingual Parsing of Parallel Corpora." Computational Linguistics, 23 (3), pp. 377-403.

Yamada, H. and Matsumoto, Y. (2003). "Statistical Dependency Analysis with Support Vector Machines." In Proceedings of the 8th International Workshop on Parsing Technologies, Vol. 3. Zhang, Y. and Clark, S. (2008). "A Tale of Two Parsers: Investigating and Combining Graphbased and Transition-based Dependency Parsing using Beam-Search." In Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp. 562-571.

Zhang, Y. and Clark, S. (2011). "Shift-reduce CCG Parsing." In Proceedings of the 49th Meeting of the Association for Computational Linguistics, pp. 683-692.

## 略歴

林克彦：2013 年, 奈良先端科学技術大学院大学博士後期課程修了. 現在, NTTコミュニケーション科学基礎研究所に所属. 博士 (工学). 構文解析, 機械翻訳に関する研究に従事. ACL, 情報処理学会, 言語処理学会各会員.

須藤克仁 : 2000 年, 京都大学工学部卒業. 2002 年, 同大大学院情報学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 音声言語処理, 統計的機械翻訳に関する研究に従事. ACL, 情報処理学会, 言語処理学会, 日本音響学
会各会員.

塚田元：1987 年, 東京工業大学理学部情報科学科卒業. 1989 年, 同大学院理工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, NTT コミュニケーション科学基礎研究所に所属. 統計的機械翻訳の研究に従事. $\mathrm{ACL}$, 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, 日本音響学会各会員.

鈴木潤：2001 年, 慶應義塾大学大学院理工学研究科計算機科学専攻修士課程修了. 同年, 日本電信電話株式会社入社. 2005 年奈良先端大学院大学博士後期課程修了. 2008 2009 年 MIT CSAIL 客員研究員. 現在, NTT コミュニケーション科学基礎研究所に所属. 博士 (工学). 主として自然言語処理, 機械学習に関する研究に従事. ACL, 情報処理学会, 言語処理学会各会員.

永田昌明：1987 年, 京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, NTTコミュニケーション科学研究所主幹研究員 (上席特別研究員)．博士 (工学)．統計的自然言語処理の研究に従事. ACL,電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会各会員.