目的言語の構文解析器を用いた機械翻訳のプレオーダリング
Preordering using a Target-Language Parser for Statistical Machine Translation
日本放送協会PROFILE

1

放送技術研究所ヒューマンインターフェース研究部専任研究員

後藤功雄

2014 年京都大学大学院情報学研究科博士課程修了。博士（情報学）。1997 年 NHK 入局。2008 年から 2013 年まで情報通信研究機構に出向。自然言語処理の研究に従事。

はじめに

2

プレオーダリング手法

筆者らは統計的機械翻訳（SMT）において語順推定

機械翻訳は原言語文 F を目的言語文 E へ変換する処を改良する研究を情報通信研究機構および NHK にて実理と定義できる。この処理で語順が異なる言語間では語施した [1,2]。本稿では、この研究成果について紹介す順の変更が必要である。プレオーダリングによる翻訳はる。語順が大きく異なる言語間の機械翻訳では、目的言語順並べ替えと訳語選択の処理を 2 段階に分けて、次語の語順を推定する必要がある。語順を推定するためにのように翻訳する。はじめに、F を、ほぼ目的言語の語統計的機械翻訳（SMT）では、語彙化語順推定モデル順である原言語の単語列 F' に並べ替え（プレオーダリ[3]、階層フレーズベース [4]、構文ベース [5]、プレオーング）、次に、F' を E に翻訳する。

ダリング [6] などの手法が提案されてきた。プレオーダ

プレオーダリング手法として多くの手法が提案されてリングは、原言語文のみに対する処理であるために、長いる。ほとんどのプレオーダリング手法は、原言語の構距離の語順並べ替えに有用な原言語の構文構造をシンプ文解析器と並べ替えルールを用いる [6,7]。これらの手ルに利用できるという特徴がある。英日翻訳で高性能な法は、原言語の構文解析器が利用できない場合は適用で英語の構文解析器を用いたプレオーダリングは有効性がきない。この場合でも利用できる、構文解析器を必要と高いことが確認されている [7,8]。構文構造を用いる既しない手法も提案されている [9]。この手法は対訳コー

存のプレオーダリング手法は原言語の構文解析器を必要パスと単語アラインメントを用いてシンタックスに基づとする。しかし、多くの言語では高性能な構文解析器はかない構造（非構文の構造）の解析器を構築する。そし利用できない。機械翻訳が必要とされる状況として、原て、この解析器で原言語文の構造を解析して BTG[10]言語では高性能な構文解析器が利用できないが目的言語に基づいて並べ替える。

では利用でき、原言語と目的言語の語順が大きく異なる

構文構造は、非構文の構造に比べて語順の推定で次の場合が考えられる。本稿はこの状況で利用できるプレ点で優れていると考えられる。

オーダリング手法を提案する。提案手法は、目的言語の・構文構造は意味表現と部分構造が一致していると考え構文解析器で獲得した目的言語文の構文構造を原言語文られる。例えば、節は１つの意味表現になっておりかに射影して同期率の高い原言語の構文構造を構築するこつ構文構造の部分構造になっている。それに対して、とで、構文構造を利用するプレオーダリングモデルを構

非構文の構造は必ずしも意味表現と部分構造が一致す築する。

るとは限らない。
・構文構造は非構文の構造より情報量が多い。構文構造は多くのフレーズラベルを用いるが、非構文の構造は328

本研究のメインの貢献は、目的言語の構文解析器を用いたプレオーダリングの枠組みである。これに加えて、射影による新しい句構造構築手法を提案する。提案手法
は既存の射影による句構造構築手法 [12] と比べて次の2 つの違いがある。（１）CFG の確率推定において、既提案手法は、原言語の構文解析器が利用できない場合存手法では射影から得られる曖昧性のある候補の確率にでも、目的言語の構文解析器を用いることで、構文構造一様分布を仮定しているが、この仮定は正しくない。そに基づいたプレオーダリングができる。対訳文では、原れに対して、提案手法は全ての候補の確率を計算する。

言語と目的言語の構文構造は類似していることが期待さ（２）既存手法は原言語の品詞タグを必要とするが、提れる [11]。この期待に基づいて対訳文中の原言語の構案手法は必要としない。ただし、原言語文の単語分割は文構造を構築し、ITG[10] に基づくプレオーダリング必要である。

モデルを学習する。
ITG/BTG の効果的な学習には、対訳構造の同期率が以下、プレオーダリングモデルの構築の詳細について説明する。

高いことが重要である。なぜなら、ITG/BTG は同期しSVPている部分から学習されるためである。そこで、言語間VPの射影によって構文構造の同期率が高い対訳文を選択し、さらに射影に基づいて同期率が高い構文構造を構築することによって、ITG/BTG の効果的な学習を促進する。

NPE:

hebought

newbooksyesterdayF:NP

プレオーダリングモデルは次のステップで構築する。
1． 目的言語の構文解析器を用いて、対訳コーパスの目VP

S?

VP的言語文の 2 分木構文構造を獲得する。
2． 目的言語文の部分的な構文構造を、単語アラインメ

SVP

ントを用いて原言語文に射影する。（4.1 節）

VPNP

3． 射影された部分構造を用いて同期率の高い対訳文をNP選択する。（4.2 節）
4． 射影された部分構造を用いて確率的 CFG と教師無確率モデルで訓練データの原言語文を構文解析し、同VP

F:
図 1 部分構造の射影と 2 分木構造の構築例

しの確率的品詞推定モデルを構築する。（4.3 節）
5． 射影された部分構造を制約として用いて、構築したNPPP4モデルの訓練期率の高い構文構造を構築する。（4.4 節）
6． 構築した原言語の構文構造と単語アラインメントを

本節では、前記のステップ 2 以降を説明する。

用いて ITG に基づくプレオーダリングモデルを学習して構築する。（4.5 節）

4.1

部分構造の射影プレオーダリングモデルを構築した後、このモデル

まず、自動単語アラインメント手法を用いて対訳文間を用いて対訳コーパスの原言語文をプレオーダリングしの単語アラインメントを獲得する。このアラインメントて、F' と E のパラレルコーパスを構築する。このコーを介して目的言語文の部分的な構文構造を原言語文に射パスを用いて SMT のモデルを学習する。

影する。これによって原言語文の部分的な構文構造が得

入力文の翻訳は、プレオーダリングモデルを用いて入力文 F を F' に変換してから SMT で翻訳する。

られる。射影の例を図 1 の上部に示す。
射影は次のように行う。単語アラインメントを介しYEAR BOOK 2O15 329

機械翻訳技術の向上

3

提案手法の概要

寄稿集４

1 種類のフレーズラベルしか用いない。

て E の部分木のスパンに対応する F の部分木のスパン( )=を特定し、E の部分木の根のフレーズラベルを F のスパンに付与する。F の部分木のスパンは、E のスパン中

の語にアラインメントされた語の左端から右端までとす∏( | ) ()

∏ ( | )(1)る。この F のスパンを最小射影スパンと呼ぶ。最小射

ここで、ℛ は CFG ルールの集合を表し、c(x →α ,D)影スパンに隣接していてアラインメントされていない語は D を構成する CFG ルール x →αの頻度を表し、t ∈は、このスパンに含まれる可能性があり、スパンの範囲に曖昧性がある状態とする。図 1 では、最小射影スパ𝒯 は品詞タグを表し、t の添え字 i は F での単語位置をンを水平の実線、アラインメントされていない語の部分

ル S を用いる。

表す。木構造の根のフレーズラベルには、フレーズラベ

PY モデルは CFG ルールまたは原言語の単語の確率を水平の破線で示している。
最小射影スパンが互いに部分的に重複する（不整合と分布として次式で表される。

呼ぶ）と、射影された部分構造を補完しても木構造を構

P(α|x)~PYx (dcfg, θcfg, Pbase (α|x))

成できないので、不整合な部分構造は削除する。

P(f |t)~PYx (dtag, θtag, Pbase (f |t))ここで、dcfg, θcfg, dtag, θtag は、PY モデルのハイパー4.2

同期率の高い対訳文の選択パラメータであり、文献 [14] の手法で最適化する。バッ

射影した部分構造を用いて構造の同期率が高い対訳文

クオフの確率分布には一様分布、すなわち、Pbase (αを選択する。各対訳文対での同期率とは、「原言語文で|x) =1 ⁄ |V|2 および Pbase (f |t)=1 ⁄ |ℱ| を用いる。ここで、のスパンの数」を「原言語文中の語数―1」で割った値|V| は非終端記号の種類数、|ℱ| は訓練データ中の原言語で計算する。選択した対訳文は 4.3 〜 4.5 節で用いる。の単語の種類数である。
式 (1) および次の制約に基づいてサンプリングするこ

4.3

構文解析のための確率モデルの構築とでモデルを構築する。最小射影スパンが存在する場合射影された原言語の部分構造からプレオーダリングモ

は、アラインメントされていない語の部分を除いたスパ

デルの学習に用いる 2 分木構造を獲得するために、構ンが最小射影スパンと不整合にならないスパンをサンプ

文解析用の確率モデルを構築する。F とその部分構造をリングする。そして、フレーズラベルが射影されている入力として用いて、原言語に対する確率的文脈自由文法スパンでは、射影されているフレーズラベルをサンプリ（PCFG）および教師無しの確率的品詞推定モデルを構ングする。

築する。これらのモデルを Pitman-Yor 過程 (PY)[13]

サンプリングは、動的計画法に基づいて文構造単位でを用いて構築する。なぜなら、その “rich-get-richer”ギブスサンプリングにより行う [15]。各文において、の特性が部分的に付与された構造を持つデータからモデCYK アルゴリズムでボトムアップに内側確率を計算し、ルを学習するのに適しているためである。

次に各 CFG ルールを頂点とするサブツリーの内側確率ここで用いる CFG ルール x →αは、非終端記号 x ∈を用いてトップダウンで部分木構造をサンプリングすV と 2 つの非終端記号で構成される順序対αからなる。

る。計算コストを削減するために、内側確率を計算する

非終端記号の集合 V は V = ℒ ∪ 𝒯 で、ℒ はフレーズラ際には文中の各語に対して確率が上位の品詞タグのみをベルの集合である。𝒯={1,2,…,|𝒯|} は原言語の教師無し用いる。後の実験では、上位 5 位以内の品詞タグを利の品詞タグを表す数字の集合で、|𝒯| は品詞タグの種類用した。1数を表す。訓練データ中の原言語の単語集合を ℱ とし、4.4

F = f1 f2…fm, f ∈ ℱ とする。木構造 D の確率は、その同期率の高い構造の獲得構築した確率モデルを用いて、射影されたスパンと構成要素である CFG ルールと単語の確率の積により式(1) で計算する。

1

330

品詞タグの確率は初期状態では全て等確率とした。

文解析することで、射影されたスパンやラベルの不足を5

寄稿集４

フレーズラベルの制約の下で訓練データの原言語文を構プレオーダリング補完し、スパンの曖昧性を解消する。これによって、目例を図 1 の下部に示す。

入力文は ITG 構文解析モデルを用いてプレオーダリングする。入力文をプレオーダリングする例を図 2 に示す。はじめに、ITG 構文解析モデルで入力文を構文4.5プレオーダリングモデルの学習解析する。このとき 2 分木構造と並べ替えを特定する

前節で獲得した原言語の 2 分木構文構造と単語アラ"_SW" と "_ST" を含むフレーズラベルを決定する。そインメントからプレオーダリングモデルを学習する。こして、2 分木で "_SW" が付与されたノードの子ノードのプレオーダリングモデルは、PCFG を用いた構文解の順番を変更する。

析と ITG を組み合わせたモデル（ITG 構文解析モデル）として構築する。

訓練データは、4.1 節で射影されたスパンの制約のもとで ITG 構文解析モデルで原言語文を構文解析して並プレオーダリングモデルの訓練データは次のようにしべ替える。て構築する。獲得した F の 2 分木構造の任意の子ノードの順番を替えることで、E の語順に最も近くなるものを F' とし、その構造を特定する。語順の近さの基準に6実験は Kendall のτを用いる。そして、F の構造に対して、F と F' とで子ノードの順番が異なるノードのフレーズ

日 英 と 中 英 の 特 許 翻 訳 の 実 験 を NTCIR-9 とラベルには "_SW" を付与し、順番が同じノードのフレー

NTCIR-10 の特許機械翻訳タスク [8,17] のデータをズラベルには "_ST" を付与する。この構造は ITG から用いて行った。の導出と考えることができる。次に、この 2 分木構造を用いて PCFG の学習アルゴリズムで ITG 構文解析モ

6.1

設定

デルを学習する。学習したモデルが提案手法のプレオー

NTCIR-9 の デ ー タ と NTCIR-10 の デ ー タ と で は、ダリングモデルである。この学習アルゴリズムには、隠訓練データと開発データは同じで、テストデータは異なれクラスを使う手法 [16] を用いる。

る。訓練データは日英が約 318 万文対で中英が 100万文対である。開発データは、日英・日中それぞれ 2,000F:文対である。テストデータは、NTCIR-9 で 2,000 文、NTCIR-10 で 2,300 文である。英語の構文解析器に

S_ST
VP_SW

Enju、日本語の単語分割に MeCab、中国語の単語分

VP_SW

割に Stanford segmenter を用いた。日本語の英数字

NP_ST
NP_ST
PP_ST

NP_ST

VP_ST

_ST
S

できたものを訓練データとして用いた。これは日英で約206 万文対、中英で約 40 万文対であった。単語アラ
インメントは GIZA++ と grow-diag-final-and ヒューNP

リスティックおよび誤りを低減させる前後処理（英語のNP
VPの学習には、40 単語以下の文で英語側の文が構文解析

VP
VP

NP

は、英単語の単位に合わせて単語分割した。翻訳モデル

PP:冠詞と日本語助詞「が」「を」「は」をアラインメント推定時に削除）[18] により獲得した。訓練データの目的

図 2 入力文をプレオーダリングする例

言語文を用いて 5-gram の言語モデルを学習した。
提案手法（Proposed）は次のように学習した。4.2

YEAR BOOK 2O15 331

機械翻訳技術の向上的言語文の構造と同期率が高い 2 分木構造を獲得する。

節の同期率の高い対訳文の選択では、上位 10 万文を

表 2 中英翻訳の評価結果

NTCIR-9RIBES
BLEU
75.02 29.22
76.11 31.20
77.68 32.39
78.44 32.47
77.98 33.03
76.88 28.85
78.18 30.80
81.61 35.16

選択した。4.3 節の確率モデルの学習では、|𝒯|=50 とし、サンプリングをデータ全体に対して 100 回行った。
Berkeley parser [16] をプレオーダリングモデルの学習および構文解析に用いた。翻訳にはフレーズベース
SMT の Moses[19] を用い、distortion limit の設定値を標準設定の 6 とした。
比較手法として、次の 6 つの手法を用いた。
⃝PBMTL-4
PBMTL-10
HPBMT
SBMT
PBMTD-10
SRCDEP-6
LADER-6
Proposed-6

フ レ ー ズ ベ ー ス SMT ＋ 語 彙 化 語 順 推 定 モ デ ル

表 3 提案手法の対訳文選択の効果（PBMTL）[19]⃝階層フレーズベース SMT（HPBMT）[4]⃝String-to-tree 構文ベース SMT（SBMT）[5]⃝

フレーズベース SMT ＋単語列ラベリングに基づく
語順推定モデル（PBMTD）[18]⃝

原言語の依存構造解析器を用いたプレオーダリング（SRCDEP）[20]⃝NTCIR-9
RIBES
BLEU

LADER（提72.33
案法不適用）LADER（提74.31
案法適用）6.2

NTCIR-10
RIBES
BLEU

32.30

70.96

33.07

32.98

73.98

33.90

結果

評価は、自動評価の BLEU-4 と RIBES v1.01 で行っ構文解析器不要のプレオーダリング（LADER）[9]た。評価結果を表 1 と表 2 に示す。日英翻訳および中PBMTD は Moses 互換のデコーダーを用い、他は英翻訳のいずれにおいても、NTCIR-9 と NTCIR-10

Moses を 用 い て 翻 訳 し た。PBMTL の 語 順 推 定 モ デのデータで、提案手法は比較した手法より高い RIBES

ルの学習には翻訳モデルの訓練データを全て用いた。

および BLEU のスコアが得られた。これによって、提PBMTD の語順推定モデルの学習には 20 万文を用い案手法の有効性が確認された。SRCDEP の並べ替えた。SRCDEP で利用する依存構造解析には CaboCha

ルールは構造の一部のみを考慮するが、提案手法は文全（日本語）と Stanford parser ＆ tagger（中国語）を体を考慮して並べ替える。提案手法は LADER では用用いた。CaboCha の出力は単語の依存構造に変換しいない構文を用いる。これらの違いの有効性が確認されて利用した。SRCDEP の並べ替えルールの学習にはた。

翻訳モデルの訓練データを全て用いた。LADER のプ

さらに、4.2 節で提案した、構造の射影に基づく構造レオーダリングモデルの学習には 4.2 節の手法で選択の同期率が高い対訳文選択の効果について検証する。提した 10 万文の訓練データ（すなわち Proposed と同案手法は同期率が高い対訳文の選択が必要不可欠であるじ訓練データ）を用いて 100 回の繰り返し計算を行っため、LADER を用いて日英翻訳の比較実験を行った。

た。HPBMT と SBMT の max-chart-span の 設 定 は次の 2 つの条件で学習した LADER の結果を比較する。

無制限とした。他の手法のフレーズベース SMT での（１）提案手法の対訳文選択を適用しなかった訓練デー

distortion limit の設定値はシステム名の添え字で示す。

タ 10 万文で学習した LADER( 提案法不適用 ) と（２）

表 1 日英翻訳の評価結果

提案手法の対訳文選択を適用して選択した訓練データ

PBMTL-4
PBMTL-20
HPBMT
SBMT
PBMTD-20
SRCDEP-6
LADER-6
Proposed-6

332

NTCIR-10
RIBES
BLEU
74.24 30.65
75.41 32.34
77.45 33.61
77.68 33.90
77.48 34.28
76.14 29.36
77.06 31.12
81.05 36.22

NTCIR-9
RIBES
BLEU
65.48 26.73
68.79 30.92
70.11 30.29
72.54 31.94
73.54 33.14
71.88 29.23
74.31 32.98
76.35 33.83

NTCIR-10RIBES
BLEU
65.53 27.44
68.30 31.07
69.69 30.77
71.32 32.40
72.23 33.87
71.20 29.40
73.98 33.90
75.81 34.90

10 万文で学習した LADER( 提案法適用 ) である。結果 を 表 3 に 示 す。RIBES お よ び BLEU の ス コ ア は、LADER( 提案法適用 ) のほうが LADER( 提案法不適用 )より高い。これにより、提案手法である構造の同期率が高い対訳文の選択は、BTG の効果的な学習に効果があることが確認された。

[9] Graham Neubig, Taro Watanabe, andShinsuke Mori. Inducing a discriminative parser
to optimize machine translation reordering.
EMNLP 2012.

リング手法を提案した。提案手法は、原言語の構文解析[10] Dekai Wu. Stochastic inversion器を必要とせずに構文構造を利用してプレオーダリング

transduction grammars and bilingual parsing

することができる。また、提案手法は、言語間の部分構造の射影により、文構造の同期率が高い対訳文対の選択と同期率が高い原言語の構文構造の構築を行う。これによって得られた同期率が高い構文構造を用いることで、ITG の学習を促進して効果的な学習を実現した。日英・日中の特許翻訳で有効性を確認した。

参考文献[1] Isao Goto, Masao Utiyama, Eiichiro Sumita,
and Sadao Kurohashi. Preordering using aof parallel corpora. CL, 23(3):377–403, 1997.
[11] Rebecca Hwa, Philip Resnik, Amy Weinberg,
Clara Cabezas, and Okan Kolak. Bootstrapping
parsers via syntactic projection across paralleltexts. Nat. Lang. Eng., 11(3):311–325, 2005.
[12] Wenbin Jiang, Qun Liu, and Yajuan Lv.
Relaxed cross-lingual projection of constituent
syntax. EMNLP 2011.
[13] Jim Pitman and Marc Yor. The twoparameter poisson-dirichlet distribution
derived from a stable subordinator. Ann. Prob.,25(2), 1997.

target-language parser via cross-language[14] Yee Whye Teh. A bayesian interpretation

syntactic projection for statistical machineof interpolated Kneser-Ney. NUS School oftranslation, ACM Transactions on Asian

Computing Technical Report TRA2/06, 2006.

and Low-Resource Language Information[15] Mark Johnson, Thomas Griffiths, andProcessing (TALLIP), 14(13):13:1–

Sharon Goldwater. Bayesian inference for

13:23, June 2015. DOI: http://dx.doi.

PCFGs via Markov chain Monte Carlo. NAACL

org/10.1145/2699925.

2007.

[2] 後藤功雄 , 内山将夫 , 隅田英一郎 , 黒橋禎夫 . 目的[16] Slav Petrov, Leon Barrett, Romain Thibaux,

言語の構文解析器を用いた機械翻訳のプレオーダリ

and Dan Klein. Learning accurate, compact,ング . 言語処理学会第 21 回年次大会 (NLP2015),
pages 429–432, 2015.

and interpretable tree annotation. ACL 2006.
[17] Isao Goto, Ka Po Chow, Bin Lu, Eiichiro[3] Christoph Tillman. A unigram orientation

Sumita, and Benjamin K. Tsou. Overview ofmodel for statistical machine translation. HLT-the patent machine translation task at theNAACL 2004.

NTCIR-10 workshop. NTCIR-10, 2013.

[4] David Chiang. Hierarchical phrase-basedtranslation. CL, 33(2):201–228, 2007.
[5] Hieu Hoang, Philipp Koehn, and Adam[18] Isao Goto, Masao Utiyama, Eiichiro
Sumita, Akihiro Tamura, and Sadao Kurohashi.
Distortion model based on word sequence

Lopez. A unified framework for phrase-based,labeling for statistical machine translation.

hierarchical, and syntax-based statistical

ACM TALIP, 13(1):2, 2014.

machine translation. IWSLT 2009.

[19] Philipp Koehn, Hieu Hoang, Alexandra[6] Fei Xia and Michael McCord. Improving aBirch, Chris Callison-Burch, Marcello Federico,

statistical MT system with automatically

Nicola Bertoldi, Brooke Cowan, Wade Shen,learned rewrite patterns. Coling 2004.
[7] Hideki Isozaki, Katsuhito Sudoh, Hajime

Christine Moran, Richard Zens, Chris Dyer,Ondrej Bojar, Alexandra Constantin, andTsukada, and Kevin Duh. HPSG-based

Evan Herbst. Moses: Open source toolkit for

preprocessing for English-to-Japanesestatistical machine translation. ACL 2007.

translation. ACM TALIP, 11(3):8, 2012.
[8] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro
Sumita, and Benjamin K. Tsou. Overview of[20] Dmitriy Genzel. Automatically learningsource-side reordering rules for large scalemachine translation. Coling 2010.

the patent machine translation task at theYEAR BOOK 2O15 333

機械翻訳技術の向上

目的言語の構文解析器を用いた機械翻訳のプレオーダ

NTCIR-9 workshop. NTCIR-9, 2011.

寄稿集４7

まとめ