依存構造木に基づく機械翻訳における柔軟な非終端記号の挿入位置の選択モデル
Insertion Position Selection Model for Flexible Non-Terminals in Dependency Tree-to-Tree MachineTranslation
京都大学大学院情報学研究科

中澤敏明

2010 年京都大学大学院情報学研究科知能情報学専攻博士課程修了。博士（情報学）。機械翻訳の研究に従事。

nakazawa@nlp.ist.i.kyoto-u.ac.jp

京都大学大学院情報学研究科教授

075-753-5346

黒橋禎夫

1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了。博士（工学）。2006 年 4 月より京都大学大学院情報学研究科教授。自然言語処理、知識情報処理の研究に従事。

1 はじめにような部分木を浮動部分木と呼ぶ。例えば図１のように木構造を利用した翻訳モデルは非終端記号を用いるこのように翻訳したら良いかを図 1 の翻訳ルールは知らとで目的言語の語順を表現することができるため、単語ないため、このルールをそのまま使うことができない。

列による翻訳モデルで必須である単語並べ替えモデルがこの問題を解決するために、これまでの研究では、糊不要である。例えば図 1 に示すような翻訳ルールが与ルールを使う方法 [1] や依存構造木の形に制約を与えるえられたとすると、「公園 – park」を非終端記号に置き方法 [2] などが提案されてきた。Richardson ら [3] は浮換えることで、「公園」の代わりに「図書館」がある新動部分木に対して、可能性のある挿入箇所を全て考慮すたな入力文を翻訳することは非常に容易である。

る「柔軟な非終端記号」を導入することでこの問題を解

入力文に「突然」が存在する場合、この浮動部分木をど一方で、訓練対訳文に存在しない単語や句（部分木）決した。可能性のある挿入箇所は以下の制約を満たす：を挿入する必要がある場合は問題である。本稿ではこの・可能性のある挿入箇所は元言語側の浮動部分木の親に対応する目的言語側の単語の子でなければならない
・可能性のある挿入箇所は依存構造木上で交差してはならない
例えば図 1 では浮動部分木「突然」に対する可能性のある挿入箇所が灰色の矢印で示されている。「突然」は「電話する」の子供なので、可能性のある挿入箇所も「電話する」の対応先である “called” の子供でなければならない。
柔軟な非終端記号は浮動部分木を扱うのに非常に強力であり、翻訳精度も大きく向上すると報告されているが、翻訳時の計算コストが増大するという問題がある。

図1

入力文と翻訳ルールの例

我々の実験では柔軟な非終端記号を利用することで、翻236

2016イヤーブック寄稿集-3.indb236

2016/10/26

20:04:45

訳にかかる時間が 3 から 6 倍になった。これは最適な挿入箇所がデコーディング時に動的に選択されるためである。しかし我々は両言語の木構造の情報を利用することで、あらかじめ可能性のある挿入箇所を減らし、さらには 1 つに限定してしまうことも可能であると考え、これを行う手法を提案する。提案する手法により、柔軟な非終端記号を利用しても計算コストを抑えることができ、翻訳にかかる時間が著しく長くなることを避けることができるだけでなく、探索空間が小さくなることでより最適な解が見つけやすくなり、翻訳精度の向上も見込める。
図2

2 挿入箇所の選択
語側と目的言語側の文脈を考慮することで選択できる

ア sk を cik より計算する。各ベクトルは以下の式で計算される：と仮定した。原言語側の文脈として I の親の単語（Ps）

csk = tanh (Wcs [I;Ps;Ds])と、I と Ps との距離（Ds）を利用する。目的言語側のctk = tanh (Wct [Sp;Sn;Pt;Dtk])

文脈としては各挿入箇所の親の単語（Pt）と、挿入箇所

cik = tanh (Wci [csk;ctk])と Pt との距離（Dt）、挿入箇所の前（Sp）と後ろ（Sn）

sk = Wscikの兄弟の単語を利用する。距離は単語列上の単語数ではなく、依存構造木上の兄弟の数で計算し、挿入箇所が親

ここで “；” はベクトルの結合を意味する。csk、ctk、cik のサイズはそれぞれ 100 次元とした。の左側ならば正の値、右側ならば負の値とする。図１の同一のネットワークを全ての挿入箇所候補に適用し、“park” と “yesterday” の間の挿入箇所を例にとると、それぞれの挿入箇所のスコアを得る。これらのスコアを

I =「突然」、Ps =「電話した」、Ds = +2、Sp = “park”、ソフトマックス関数により正規化し、交差エントロピー

Sn = “yesterday”、Pt = “called”、Dt = -3 と な る。

誤差関数により誤差を計算する。各層は全結合のフィーこれらの手がかりをニューラルネットワークモデルの入ドフォワードネットワークで、学習時には 50% ドロッ力とし、挿入箇所の選択問題を解く。

プアウトを用いた。

2.1

2.2

ニューラルネットワークモデル

訓練データの生成

図２に挿入箇所選択問題を解くためのニューラルニューラルネットワークモデルを訓練するためのネットワークモデルを示す。k 番目の挿入箇所候補に対データは、単語アライメント済みの対訳コーパスからして、手がかりとなる単語（I、Ps、Pt、Sp 、Sn ）はアルゴリズム１により自動的に生成することができる。

3 つの埋め込み層（embedding layer）によりベクトALIGNMENT 関数は与えられた原言語の単語に対応すル表現に変換される。3 つの層はそれぞれ表層語（200る目的言語の単語を返し、ISPARENTCHILD 関数は次元）、品詞（10 次元）、係り受けタイプ（10 次元）

Pt が Ct の親ならば真を返し、そうでなければ偽を返す。の埋め込みを行い、合わせて 220 次元のベクトルを生GENERATEDATA 関 数 は Ps、Cs、Pt と そ れ ぞ れ成する。これらの単語とそれらの距離を使って、原言語の文脈を使って Ct の位置を予測するような一つの訓練側と目的言語側の文脈ベクトル cs と ct を生成する。

データを、Ct を目的言語の依存構造木から取り除くこ

次に各言語の文脈ベクトルから挿入箇所候補に対する文とで生成する。もともと Ct があった位置が正解となり、脈ベクトル ci を生成する。最後に挿入箇所候補のスコそれ以外は不正解となる。なお Cs は図２の I に相当する。

kkkkk4

機械翻訳技術の向上

最適な挿入箇所は、挿入される単語（I）とその原言

挿 入箇所選択のためのニューラルネットワークモデル（四角内の数字はベクトルの次元数）

YEAR BOOK 2O16 237

2016イヤーブック寄稿集-3.indb237

2016/10/26

20:04:45

した。中国語の解析には KKN[9] と SKP[10] を利用した。

アルゴリズム１ 訓練データの生成

単語アライメントには教師あり単語アライメントツール

for all Ps ∈ words in source tree doNile[11] を用いた。

Pt = ALIGNMENT(Ps)

依存構造木に基づいた翻訳デコーダーとして

for all Cs ∈ CHILDREN(Ps) do

Ct = ALIGNMENT(Cs)

KyotoEBMT[12] を用いた。ニューラルネットワークモ

if ISPARENTCHILD(Pt, Ct) thenデルの構築と訓練には Chainer[13] を用いた。

GENERATEDATA(Ps, Cs, Pt, Ct)
end if

表 1：ASPEC の文数

end forend for

2.3

翻訳における挿入箇所の選択

日⇔英日⇔中訓練

2,020,106

667,520

開発

1,789

2,115

テスト

1,812

2,174

3.1

訓練されたニューラルネットワークモデルを使うこと

挿入箇所選択実験

で翻訳ルール内の浮動部分木に対する各挿入箇所候補のニューラルネットワークモデルの訓練データと開発スコアが計算でき、最もスコアが高いものを最適な挿入データ及びテストデータは 2.2 節の方法により自動的箇所として選択することができる。ここで、多くの場合、に生成した。ASPEC より生成されたデータの大きさと、翻訳ルールには元の対訳依存構造木の一部しか含まれて不動部分木ごとの挿入箇所候補数の平均を表２に示す。

いない。つまり挿入箇所の選択に利用できる文脈情報は、トレーニングは 100 エポック行い、開発データにおいニューラルネットワークモデルの訓練に利用したものとて最も精度が高かったパラメータをテストに利用した。

異なることになる。例えば図１において入力文に「公園テストデータにおける平均誤差および精度を表２に示で」がないとすると、挿入箇所候補数は 6 となり、文す。結果より、提案するモデルは非常に高精度に正しい脈として “in” が使えないことになる。しかしながら翻挿入箇所を選択できていることがわかる。目的言語が日訳における挿入箇所選択に利用できる文脈と似たような本語の場合の精度が逆方向の場合の精度よりも高くなっ文脈や全く同じ文脈は他の対訳文で出現する可能性が高ているが、これは日本語が head-final 言語であり、ほいと考えられるため、大きな問題ではない。

とんどの場合、単語は左から右にかかるため、問題が簡単なためであると考えられる。
テストデータにおいては誤りとされている挿入箇所を3 実験
ASPEC選択した場合であっても、文法的に正しく、文の自然さを利用して、挿入箇所選択と翻訳の 2 つとしても問題ない場合もあると考えられるため、実際のの実験を行った。ASPEC に含まれる文の数を表１に示精度はこれよりも高いと推定される。例えば挿入箇所の[4]を用いた。

スコア上位 2 つまでの精度を見ると、目的言語が日本を用いて句構造に変換

語の場合は 99.5%、それ以外の場合でも 99.0% 程度す。日本語文の解析には JUMAN[5]と KNP[6]

英語文の解析はまず nlparser[7]

し、人手で整備したルールにより依存構造木に変換[8]

表2となる。

挿入箇所選択実験のデータサイズおよび実験結果

日→英

英→日

日→中中→日

訓練

15.7M

5.7M

開発

160K

58K

テスト

160K

58K

挿入箇所の平均数

3.39

3.15

3.72

3.41

最適 epoch 数89716179

平均誤差

0.089

0.058

0.105

0.056

精度 (%)

97.0897.7296.51

97.99

238

2016イヤーブック寄稿集-3.indb

238

2016/10/26

20:04:45

3.2

翻訳実験

“in” のみを用いるよりも良いと考えられる。これは特に以下の 3 つの設定で、ASPEC を用いて翻訳実験を目的言語が日本語の場合に重要である。なぜなら日本語

行った：

では動詞の子供は多くの場合格助詞であるが、格助詞の・設定１：柔軟な非終端記号を使わず、単純な糊ルール情報だけでは最適な挿入箇所の選択には不十分であるとを使って用例を結合する考えられるからである。部分木全体をベクトル表現に変・設定２：柔軟な非終端記号を使うが、挿入箇所の選択換する手法としては、[17] や [18] などの既存手法がは行わない（ベースライン）利用できる。これは今後の課題である。

・設定３：ニューラルネットワークモデルにより最適と判定された挿入箇所のみを使う（提案手法）
翻 訳 の 精 度 は 自 動 評 価 尺 度 で あ る BLEU[14] とによって評価し、有意差検定も行った[1] David Chiang. 2005. A hierarchicalphrase-based model for statistical machine

RIBES は BLEU よりも語順の正しさに敏感であり、提translation. In Proceedings of the 43rd Annual

案手法も語順の正しさにより効果があると考えられるた

Meeting of the Association for Computational

め、RIBES の向上が期待される。また設定１を基準とLinguistics (ACL’ 05), pages 263–270.

した設定２および３の相対的な翻訳時間も調べた。

Association for Computational Linguistics.

[16]

実験結果を表３に示す。結果を見ると、英日翻訳のBLEU スコアを除いて、すべての言語対において提案[2] Libin Shen, Jinxi Xu, and Ralph M

手法の翻訳精度がベースラインと比較して有意に向上しWeischedel. 2008. A new string-to-た。また翻訳にかかる時間も、ベースラインと比較してdependency machine translation algorithm

およそ 60% 低減された。

with a target dependency language model. In
Association for Computational Linguistics.

4 まとめと今後の課題

4

機械翻訳技術の向上。

RIBES

[15]

[3] John Richardson, Fabien Cromie`res,

本稿では依存構造木に基づいた機械翻訳において柔Toshiaki Nakazawa, and Sadao Kurohashi.

軟な非終端記号を用いる際に計算コストが大きくなって2016. Flexible non-terminals for dependency

しまう問題に対して、ニューラルネットワークモデルをtree-to-tree reordering. In NAACL.

利用して最適な挿入箇所をあらかじめ決定することでデコード時の探索空間を小さくする手法を提案した。提案[4] Toshiaki Nakazawa, Manabu Yaguchi,

したモデルは最適な挿入箇所を高精度で選択することがKiyotaka Uchimoto, Masao Utiyama, Eiichiro

でき、これにより翻訳にかかる時間の低減および翻訳精Sumita, Sadao Kurohashi, and Hitoshi

度の向上を達成することができた。

Isahara. 2016. ASPEC: Asian scientific

現在は文脈として周辺の単語のみを用いているが、そpaper excerpt corpus. In Proceedings of theの単語を根とした部分木全体の情報を利用することで、

Ninth International Conference on Language

より精度が向上する可能性がある。例えば図１においResources and Evaluation (LREC 2016),て “in the park” という部分木全体の情報を用いる方がpages 2204–2208, Portoroz, Slovenia, May.

表3

翻訳実験結果。* は設定２と比較して設定３が有意（p < 0.01）に良いことを示す。

日→英
BLEU

英→日

日→中中→日

RIBES

Time

BLEU

RIBESTimeBLEU

RIBES

Time

BLEU

RIBES

Time

設定１ 20.28 65.08

1.00

28.77 75.21

1.00

24.85 66.60

1.00

30.51 73.08

1.00

設定２ 21.61 69.82

6.28

30.57 76.13

3.30

28.79 78.11

5.16

34.32 77.82

5.28

設定３ 22.07* 70.49* 2.25

30.50 76.69* 1.27 29.83* 79.73* 2.21 34.71* 79.25* 1.89

YEAR BOOK 2O16 239

2016イヤーブック寄稿集-3.indb239

2016/10/26

20:04:46

[5] Sadao Kurohashi, Toshihisa Nakamura,[11] Jason Riesa, Ann Irvine, and Daniel Marcu.

Yuji Matsumoto, and Makoto Nagao. 1994.

2011. Feature-rich language-independent

Improvements of Japanese morphologicalsyntax-based alignment for statisticalanalyzer JUMAN. In Proceedings of Themachine translation. In Proceedings of theInternational Workshop on Sharable Natural

2011 Conference on Empirical Methods

Language, pages 22–28.

in Natural Language Processing, pages
497–507. Association for Computational[6] Sadao Kurohashi and Makoto Nagao.

Linguistics.

1994. A syntactic analysis method of long
Japanese sentences based on the detection[12] John Richardson, Fabien Cromieres,of conjunctive structures. Computational

Toshiaki Nakazawa, and Sadao Kurohashi.

Linguistics, 20(4):507–534.

2014. KyotoEBMT: An example-based
dependency-to-dependency translation[7] Eugene Charniak and Mark Johnson. 2005.

framework. In Proceedings of 52nd Annual

Coarse-to- fine n-best parsing and maxent

Meeting of the Association for Computational

discriminative reranking. In Proceedings of theLinguistics: System Demonstrations, pages

43rd Annual Meeting of the Association for

79–84. Association for Computational

Computational Linguistics (ACL’ 05), pages

Linguistics.

173–180.
[13] Seiya Tokui, Kenta Oono, Shohei Hido,[8] Michael Collins. 1999. Head-Drivenand Justin Clayton. 2015. Chainer: a next-Statistical Models for Natural Language

generation open source framework for deepParsing. Ph.D. thesis, University oflearning. In Proceedings of Workshop on

Pennsylvania.

Machine Learning Systems (LearningSys)
in The Twenty-ninth Annual Conference on[9] Mo Shen, Hongxiao Liu, Daisuke Kawahara,
and Sadao Kurohashi. 2014. Chinese

Neural Information Processing Systems(NIPS).

morphological analysis with character-level
pos tagging (short paper). In Proceedings of[14] Kishore Papineni, Salim Roukos, Todd

the 52nd Annual Meeting of the Association

Ward, and WeiJing Zhu. 2002. BLEU: afor Computational Linguistics (ACL2014),

method for automatic evaluation of machine

Baltimore, USA.

translation. In ACL, pages 311–318.

[10] Mo Shen, Daisuke Kawahara, and Sadao[15] Hideki Isozaki, Tsutomu Hirao, Kevin Duh,

Kurohashi. 2012. A reranking approach

Katsuhito Sudoh, and Hajime Tsukada. 2010.

for dependency parsing with variable-sized

Automatic evaluation of translation quality

subtree features. In Proceedings of 26th

for distant language pairs. In Proceedings ofPacific Asia Conference on Languagethe 2010 Conference on Empirical Methods

Information and Computing, pages 308–317.

in Natural Language Processing, EMNLP ’240

2016イヤーブック寄稿集-3.indb240

2016/10/26

20:04:46

10, pages 944–952, Stroudsburg, PA, USA.
Association for Computational Linguistics.
[16] Philipp Koehn. 2004. Statisticalsignificance tests for machine translation
evaluation. In Dekang Lin and Dekai Wu,editors, Proceedings of EMNLP 2004, pages388–395, Barcelona, Spain, July. Association
for Computational Linguistics.
[17] Yang Liu, Furu Wei, Sujian Li, Heng Ji,Ming Zhou, and Houfeng WANG. 2015.
A dependency-based neural network forrelation classification. In Proceedings of the4

機械翻訳技術の向上

53rd Annual Meeting of the Association
for Computational Linguistics and the 7thInternational Joint Conference on Natural
Language Processing (Volume 2: ShortPapers), pages 285–290. Association for
Computational Linguistics.
[18] Lili Mou, Hao Peng, Ge Li, Yan Xu, LuZhang, and Zhi Jin. 2015. Discriminative
neural sentence modeling by tree-basedconvolution. In Proceedings of the 2015
Conference on Empirical Methods in Natural
Language Processing, pages 2315–2325,
Lisbon, Portugal, September. Association for
Computational Linguistics.

YEAR BOOK 2O16 241

2016イヤーブック寄稿集-3.indb241

2016/10/2620:04:46