統計的機械翻訳のための単語列ラベリングに基づく語順推定モデル
Distortion Model Based on Word Sequence Labeling for Statistical Machine Translation
日本放送協会PROFILE

1

放送技術研究所ヒューマンインターフェース研究部専任研究員

後藤功雄

1997 年 NHK 入局。2008 年より情報通信研究機構に出向。2013 年 NHK に復帰。2014 年京都大学大学院博士課程修了。
博士（情報学）。自然言語処理の研究に従事。

を表している。次に生成されるべき語は “bought” ではじめにあるので、次に翻訳されるべきである原言語文中の語は「買った」である。そのため、語順推定モデルは、「買っ筆者らは統計的機械翻訳（SMT）において語順推定を改良する研究を情報通信研究機構にて実施した［1, 2］。

た」を含むフレーズを次に翻訳するべきフレーズの位置として推定する必要がある。

本稿では、この研究成果について紹介する。SMT では、訳語選択と語順推定という２つの処理が必要である。特に日英など語順が大きく異なる言語間では、語順の推定が難しい課題である。この課題を解決するために、これまでに語彙化語順推定モデル［3］、並べ替え制約［4］、プ

図1

日英翻訳の語順推定の例。四角の枠はフレーズを表す。

レオーダリング［5］、階層フレーズベース SMT［6］、構文

ここで、語順推定の課題をより正確に説明するために

ベース SMT［7］などが提案されている。一般的に、原言

current position（CP）および subsequent position

語の構文構造は長距離の語順推定に有用である。しかし、（SP）という２つの用語を導入する。CP は、生成中の多くの言語では高性能な構文解析器が利用できない。そ目的言語文中でアラインメントされている右端の語に対こで、構文解析器を必要としない翻訳手法も必要である。

応する原言語文中の位置である。SP は、次に生成するフレーズベース SMT［8］ は、構文解析器を必要としな目的言語のフレーズ中でアラインメントされた左端の語

い SMT 手法で広く利用されているものの１つである。に対応する原言語文中の位置である。フレーズベース

我々は、フレーズベース SMT で利用する新しい語順推SMT による翻訳処理での語順推定モデルの役割は、原定モデルを提案する。

言語文中において最後に翻訳した位置（CP）が分かっ1を推定することている状態で次に翻訳する位置（SP）

2

フレーズベース SMT での語順推定モデル

フレーズベース SMT

SP の推定は難しい課題である。図２に CP と SP の例を示す。上付き数字は原言語の単語位置を示す。

では、目的言語文を文頭から図２において、（a）では SP は８である。しかし、（b）

文末へ連続的に生成していく。そのため語順推定モデル

では CP の語は同じであるが SP は異なる。これらの例［8］の役割は、翻訳処理中において最後に生成した目的言語の表現の右隣に生成するべき目的言語表現に対応する原言語文中の表現の位置を推定することである。例を図１に示す。図１では、「彼 は」のみが翻訳されている状態256である2。

12

正解訳は複数あり得るため、SP は１カ所だけとは限らない。
この定義は既存手法［8］の定義とは少し違いがある。既存手法では、フレーズ内の単語対応を考慮せずに、CP は最後に翻訳したフレーズの右端位置、SP は次に翻訳するフレーズの左端位置としている。

寄稿集４

各分類（クラス）の確率を計算する。この場合、同じクラスに含まれる位置が同じ確率になってしまうという問題がある。この問題を軽減するために分類を細かくすると、各クラスに該当する学習データの量が少なくなって機械翻訳技術の向上

多くのクラスでフレーズや語の頻度が０になり、統計量の信頼性が低下してしまうという問題が起きてしまう。

3

提案手法

我々は、既存手法のように相対位置の確率を計算するというアプローチではなく、各 SP 候補を特徴付ける特図2

日英翻訳での CP と SP の例。CP はボールド、SP はイタリックで表されている。×は SP 以外の SP 候補を表している。

から距離は SP を決める本質的な要因ではないことが分徴量に基づいて各 SP 候補が SP である確率を直接計算するというアプローチを提案する。これによって、前記の問題を起こさずに各位置の確率を計算することができる。SP 候補 j が SP である確率は、かる。また、SP を推定するのに CP の語とその文脈だ

P（X＝j│i, S）
（1）

けでは十分ではないことが分かる。そのため、CP の語と表すことができる。ここで、i は CP、S は原言語文、だけでなく SP 候補の語も同時に考慮する必要がある。

X は SP の確率変数である。

図２において、（c）と（d）では CP の語は同じであり、次に（1）式を実現する２つのモデルを説明する。

どちらにも SP 候補として「借りた」と「買った」がある。
（c）では「借りた」が SP であるが、（d）では「買った」3.1ペアモデルが SP である。この違いの原因の１つは SP 候補間の相ペアモデルは、（1）式を実現する手法で、メインの提対的な語順の違いである。そのため、SP 候補の語だけ案手法のベースとなるモデルである。我々はこのモデル

でなく、SP 候補間の相対的な語順も重要である。

を最大エントロピー法で構築する。s を原言語の単語、図 2 において、（d）と（e）では CP の語は同じであり、s1n＝s1s2…sn を原言語文とする。文頭に BOS、文末SP 候補の「買った」と「借りた」の語順も同じである。

（s0に EOS の記号を追加する。すると原言語文 S は s0n＋1

しかし、（d）と（e）では SP の語が異なる。この要因＝BOS、sn＋1＝EOS）で表される。ペアモデルは次式

は CP や SP 候補の語の文脈の違いである。そのため、により確率を計算する。

近い SP 候補を選択すれば良いわけではなく、CP やSP 候補の文脈を考慮する必要がある。
すなわち、SP を推定するためには、CP の語、SP候補の語、SP 候補間の相対的な語順、CP および SP候補の文脈を考慮する必要がある。
フレーズベース SMT の語順推定モデルはこれまでに、MSD 語彙化語順推定モデル［3, 9, 10］や、CP もしくは SP 候補の文脈を考慮する語順推定モデル［11, 12, 13］

P（X＝j│i, S）＝

1
exp（wT（f i, j, S, o, d））（2）
Zi

ここで、

｛0（│j－i│＝1）0（i＜j）
o＝、d＝ 1（2≦│j－i│≦ 5）
1（i＞j）
2（6≦│j－i│）｛

Zi ＝Σexp（wT（f i, j, S, o, d））

j∈｛1≦j≦n＋1<j≠i｝

が提案されている。これらのモデルはいずれも SP をであり、f（・）はバイナリ素性関数を要素とするベクトCP からの相対位置（距離と方向）で特定し、相対位置

ルで、w はそれに対応する重みパラメータのベクトルの確率を計算する。相対位置はいくつかに分類されて、である。Zi は正規化項、o は i から j への方向、d は距

YEAR BOOK 2O14257表1

素性テンプレート

テンプレート,sj+p〉1〈o,,ti〉〈o,,tj〉〈o,,d〉,〈o〉〈o,,si+p〉1〈o,2〈o, si+p, sj＋q〉〈o,,ti, tj〉〈t,,ti－1, ti, tj〉〈o,,ti, ti＋1, tj〉,
〈o, ti, tj－1, tj〉,〈o, ti, tj, ti＋1〉〈o,,si, ti, tj〉〈o,,sj, ti, tj〉
p∈{p│−2≦p≦2}（p, q）∈{（p, q）│−2≦p≦2∧−2≦q≦2∧（│p│≦1∨│q│≦1）}

12

離クラスである。バイナリ素性関数は素性に一致した場
合に１、それ以外で０を返す。表１に素性を構築する際に用いる素性テンプレートを示す。ti は si の品詞を表す。
（2）式で i、j、S は素性関数で利用されている。これによって、CP の語、SP 候補の語、CP および SP の文脈を同時に考慮して確率を計算することができる。

3.2

系列モデル

ペアモデルでは SP 候補間の相対的な語順を考慮でき

ラベル系列の例。図 2（c）の場合。四角の枠内のラベルが系列を表す。

ないという問題がある。この問題を解決するモデルを提することを把握することができる。なぜなら、「借りた6」

案する。このモデルがメインの提案手法であり、系列モにはラベル I が対応し、一方「買った10」にはラベル Sデルと呼ぶ。

が対応している。そして、ラベル I はラベル S より CP

図２の（c）と（d）で、「借りた」と「買った」はどちらに相対的に近いと定義されているためである。ラベル系も原言語文に出現している。ペアモデルは距離の違い列と入力文の単語を用いることで、系列モデルは「買っによる影響を距離クラスである d のみで考慮している。

た10」の SPC より CP に近い位置に「借りた」が存在

そのため、もしこれらの語が同じ距離クラスに出現したすることを確率の計算に反映させることができる。

場合は、これらの語の CP からの距離の違いを扱うこと

我々は、CRF［14］を基にした系列ラベリング技術を用ができない。このようなケースは、学習時では適切に分いて、SP に対応するラベル系列を識別する。我々のタ

離できない学習データとなり、翻訳時では適切に推定す

スクと CRF のタスクとは２つの違いがある。違いの１ることが困難となる。

つは、CRF は全てのラベル候補からラベル系列を識別

系列モデルは相対的な語順を考慮することで、このするが、我々のラベル系列は、CP はラベル C、SPC問題を解決する。これは、CP から各 SP 候補（SPC）はラベル S、それらの間はラベル I と制約を与えている。の範囲を表すラベル系列を識別することで行う。各ラベ

もう１つの違いは、CRF は同じ系列データに対するラル系列は１つの SPC に対応しているので、SP に対応ベル系列を識別することを目的としているが、我々は長するラベル系列を特定することができれば、SP を特定さの異なる系列に対するラベル系列を識別する。すなわすることができる。ラベル系列は C、I、S という３種

ち、CP と SPC の外側にはラベルを付与しない。この類のラベルを用いて CP から SPC の範囲を表す。ラベ違いは CRF のタスクにおいて、CP と SPC の外側に

ル C は CP を表し、ラベル S は SPC を表し、ラベル I別のラベル（例えばラベル E）を付与するが、ラベル Eは CP と SPC の間の位置を表す。図２（c）に対するラに関する素性が全く定義されていない場合に相当する。

ベル系列の例を図３に示す。SPC は各ラベル系列の ID

本稿では、異なる長さの単語列に対応するラベル系列をとして用いる。

識別する手法を partial CRF と呼ぶ。

ラベル系列は相対的な語順を扱うことができる。例え

我々は partial CRF を用いて系列モデルを構築する。

ば、図３のラベル系列 ID が 10 のラベル系列は、「買っ系列モデルは、ラベルと系列を利用するようにペアモデた 」の SPC より CP に近い位置に「借りた」が存在ルを拡張することで得られる。ラベルを利用するため

10258

図3

ル系列を各 SPC に対して想定する。そして素性にラベできる。なぜなら、長い系列には多くのラベルがあるた

ルの情報を加えるために、表１の全ての素性テンプレーめ含まれる素性が多く、短い系列にはラベルが少ないた

トに素性テンプレート〈li, lj〉を追加する。ここで li は i

め含まれる素性が少ない。この素性の量のバイアスが距の位置に対応するラベルを表す。例えば、表１の素性テ離の影響を学習する際に重要な手がかりとなるためであンプレート〈o, si＋1, sj〉に〈li, lj〉を追加することで、る。

機械翻訳技術の向上ることで、系列モデルは距離の影響を自然に扱うことが寄稿集４に、図３のような CP から SPC の範囲を特定するラベ

素性テンプレートは〈o, si＋1, sj, li, lj〉となる。さらに系列を利用するように拡張する。ペアモデルでは、素性3.3

訓練データテンプレートを適用する際に位置ペア（i, j）を用いた。

提案手法の語順推定モデルの学習には教師有りの訓練

それに対して系列モデルでは、素性テンプレートを適用データを用いる。このデータはパラレルコーパスと言語する際に位置ペア（i, k）, k∈ {k│i＜k≦j∨j≦k＜i}、お間の単語アラインメントから構築する。図４に訓練デーよび（k, j）, k∈ {k│i≦k＜j∨j＜k≦i} を用いる。この際、タの例を示す。対訳文の目的言語側でアラインメントさ表１の素性テンプレートでは、２つの位置を表す際に iれている単語を左から右にたどっていくと、それらの単と j を用いているが、素性テンプレートを系列モデルに語に対応する原言語単語の順番（原言語側の矢印）が教適用する際には、これらの２つの位置を表す変数のどち師データとなる。原言語文と原言語側の矢印で表されるらかに k を用いる。例えば、位置ペア（i, k）の場合、i情報を訓練データとして用いる。と j を用いた素性テンプレート〈o, si＋1, sj, li, lj〉を適用する際は、〈o, si＋1, sk, li, lk〉とする。
系列モデルは SPC の j が SP である確率を次式で計算する。
P（X＝j│i, S）
1
exp
wT（f i, k, S, o, d, li, lk）
Zik∈M⊃｛j｝（Σ＝＋f k, j, S, o, d, l , l ））
Σw（Tkk∈M⊃｛i｝

ここで、｛｛m│i＜m＜j｝（i＜j）
M＝｛m│j＜m＜i｝
（i＞j）
Zi ＝

Σ＋,Tik∈M⊃｛j｝

kf k, j, S, o, d, l , l ））Σw（Tk∈M⊃｛i｝k

日英翻訳での教師有り訓練データの例。日英の単語間の線は単語アラインメントを表す。

（3）

f i, k, S, o, d, l , l ）（Σw（expj∈｛ 1≦j≦n＋1∧j≠i｝

j

図4j4

実験

4.1

実験設定

NTCIR-9 特許機械翻訳タスク［15］ のデータを用いて日英（JE）、中英（CE）の特許翻訳の実験を行った。
提案手法で用いたフレーズベース SMT の翻訳システムには Moses［8］と同等のシステムを用いた。単語アライである。j は SPC の他にラベル系列 ID を表しているたンメントには GIZA＋＋を用いた。言語モデルは、対訳め、（3）式はラベル系列を識別していると見なすことがデータの目的言語側のデータで学習し、5-gram を用いできる。

た。翻訳モデルは 40 単語以下の対訳データで学習した。

（3）式の exp(・) 内の最初の項は位置 i と系列内の他

紙面の都合上、詳細な実験設定［1］の説明は省略する。の位置との組およびそれらの文脈を利用し、２番目の項下記の 5 つの語順推定モデルを SMT システムの素は位置 j と系列内の他の位置との組およびそれらの文脈性として用いた場合を比較して、提案手法の有効性を評を利用する。

価した。

長さの異なる系列を識別するようにモデルを設計す（LINEAR）
・線形歪みコストモデル［8］YEAR BOOK 2O14259

・LINEAR と MSD 語彙化語順推定モデル［9］（LINEAR＋LEX）
・ ９ ク ラ ス 分 類 に 基 づ く 語 順 推 定 モ デ ル［12］（9-CLASS）
・提案手法のペアモデル（PAIR）
・提案手法の系列モデル（SEQUENCE）
提案手法の PAIR と SEQUENCE の構築には、計算量を削減するために、翻訳モデルを構築する際に用いたデータのうち 20 万文のデータを用いて学習した。モデ

図5

日英翻訳の評価結果

図6

中英翻訳の評価結果

ルパラメータの推定には L-BFGS［16］を用いた。
9-CLASS は、提案手法のモデルで用いたデータと同じ 20 万文を用いて構築した。モデルパラメータの推定には L-BFGS を用いた。
MSD 語彙化語順推定モデルは、翻訳モデルを構築する際に用いたデータを全て用いて構築した。
線形歪みコストモデルは、距離3 のみに応じてコストが決まるモデルである。
フ レ ー ズ ベ ー ス SMT の distortion limit に は 10,率との関係を調べた。具体的には、日英翻訳に おい20, 30, ∞の４種類の値を用いた。本稿では、開発デーて、distortion＝j－i－1 と次の３種類の確率との関係

タを用いてシステム毎に distortion limit を選択した。

を調べた。（1）日本語テスト文における SEQUENCEまた、階層フレーズベース SMT（HIER）の翻訳も行っの 平 均 確 率。（2）日 本 語 テ ス ト 文 に お け る PAIR のた。このシステムには Moses を用いた。max-chart-

平 均 確 率。（3）訓 練 デ ー タ に お け る 最 尤 推 定 の 確 率

span は∞に設定した。

（CORPUS）。結果を図７に示す。図７より、距離クラスが同じ distortion（５から 20 は同じ距離クラス素4.2

評価結果性）では、PAIR はほぼ同じ平均確率であるのに対し、

評 価 は、BLEU-4（case insensitive） で 行 っ た。

SEQUENCE は distortion が大きくなると平均確率が

図５に JE の結果を、図６に CE の結果を示す。提案

低くなっている。この傾向は CORPUS と同じである。

手法の SEQUENCE の結果は、比較したフレーズベー

これにより、SEQUENCE が距離による影響を PAIR

ス SMT の語順推定モデルの結果よりも評価が高かっに比べて適切に学習できていることが確認された。

た。これにより提案手法の系列モデルの有効性が確認された。SEQUENCE の結果は PAIR の結果より評価が高かった。これにより、SEQUENCE で系列を扱うことで候補間の相対的な語順を考慮できることなどが有効であることが確認された。また、階層フレーズベース
SMT（HIER）との比較でも SEQUENCE は JE で値が高く、CE でも同等以上の値であった。
提案手法の系列モデルが距離の影響をどれだけ適切に学習できているか調べるために、距離と平均確3260

より正確には ､ 次節で説明する distortion である ｡

図7

日英翻訳での distortion と確率との関係

寄稿集４5

Toolkit for Statistical Machine Translation.

まとめ

In Proceedings of ACL, pp. 177–180. 2007.
［9］Philipp Koehn et al. Edinburgh System
Description for the 2005 IWSLT Speechを提案した。提案した系列モデルは１つの確率モデルのTranslation Evaluation. In Proceedings ofみで構成され、候補間の相対的な語順や距離の影響を考IWSLT, 2005.

慮することができる。日英、中英の特許翻訳の実験で有効性を確認した。

機械翻訳技術の向上

フレーズベース SMT のための新しい語順推定モデル［10］Michel Galley and Christopher D. Manning.
A Simple and Effective Hierarchical Phrase
Reordering Model. In Proceedings of EMNLP,

参考文献

pp. 848–856. 2008.

［1］Isao Goto, Masao Utiyama, Eiichiro Sumita,［11］ Richard Zens and Hermann Ney. Dis-Akihiro Tamura, and Sadao Kurohashi. Distortioncriminative Reordering Models for Statistical

Model Based on Word Sequence LabelingMachine Translation. In Proceedings offor Statistical Machine Translation. ACM

WMT, pp. 55–63, 2006.

Transactions on Asian Language Information
Processing 13, 1, Article 2, 2014.
［2］Isao Goto, Masao Utiyama, Eiichiro Sumita,Akihiro Tamura, and Sadao Kurohashi.

［12］Spence Green et al. Improved Models ofDistortion Cost for Statistical MachineTranslation. In Proceedings of HLT-NAACL,
pp. 867–875. 2010.

Distortion Model Considering Rich Context［13］ Minwei Feng et al. Advancements infor Statistical Machine Translation. In

Reordering Models for Statistical Machine

Proceedings of ACL, pp. 155–165, 2013.

Translation. In Proceedings of ACL, pp.

［3］Christoph Tillman. A Unigram Orientation

322–332. 2013.

Model for Statistical Machine Translation. In［14］John D. Lafferty et al. Conditional Random

Proceedings of HLT-NAACL, pp. 101–104,

Fields : Probabilistic Models for Segmenting

2004.

and Labeling Sequence Data. In Proceedings［4］Richard Zens et al. Reordering Constraintsof ICML, pp. 282–289, 2001.

for Phrase-Based Statistical Machine［15］Isao Goto et al. Overview of the Patent

Translation. In Proceedings of Coling, pp.

Machine Translation Task at the NTCIR-9

205–211. 2004.

Workshop. In Proceedings of NTCIR-9, pp.

［5］Fei Xia and Michael McCord. Improving a559–578, 2011.

Statistical MT System with Automatically［16］D.C. Liu and J. Nocedal. On the Limited

Learned Rewrite Patterns. In Proceedings ofMemory Method for Large Scale Optimization.

Coling, pp. 508–514, 2004.

Mathematical Programming B 45, 3, pp.

［6］David Chiang. Hierarchical Phrase-Based503–528. 1989.

Translation. Computational Linguistics 33,2, pp. 201–228, 2007.
［7］Kenji Yamada and Kevin Knight. A Syntaxbased Statistical Translation Model. In
Proceedings of ACL, pp. 523–530, 2001.
［8］Philipp Koehn et al. Moses: Open Source

YEAR BOOK 2O14261