言語処理学会 第21回年次大会 発表論文集 (2015年3月)

表層的な統語素性を用いたチャンキングによる対訳フレーズの抽出
酒井 勇輔 †† 中央大学大学院 理工学研究科 情報工学専攻

鈴木 寿 ‡‡ 中央大学 理工学部 情報工学科{ysakai@suzuki-lab., suzuki@}ise.chuo-u.ac.jp

1

はじめに

内容語のアライメントにおいては，内容語に特化したヒューリスティックを用いて両方向のモデルを組み句に基づく統計的機械翻訳 [3] では，対訳コーパス合わせる手法が，高いアライメント性能を実現するこから学習された単語アライメントを基にフレーズテーとを確認した．また，抽出された対訳フレーズを用いブルを抽出する．現在主流の単語アライメント手法でて翻訳実験をおこなった結果，翻訳性能の上昇を確認

ある IBM モデル [1] では，言語学的な情報を用いなした．

いので，言語構造の大きく異なる言語対において正しいアライメントが得られにくい．この問題を解決する
べく，言語学的な情報を用いた様々なアライメントモ

提案手法

2デルが提案されている．
提案する対訳フレーズ抽出法は，独立した２つのス構文情報を統計的なモデルに組み込んだ手法としては，Nakazawa ら [6] の両言語の依存構造木を用いたアライメントモデルが挙げられる．このモデルでは，フレーズの依存関係確率などを用いることによって，言語間の構造の違いに適応し，アライメント性能の向上を実現している．課題点としては，木構造を用いるテップから成り立つ．まず，それぞれの対訳コーパス中から機能語を取り除き，内容語に限定した訓練デー
タを用いてアライメントを学習する．次に，それぞれの言語ごとに機能語を近傍の内容語に統合するチャンキング処理をおこない，対訳フレーズを抽出する．

ことによる，計算量の増大と構文解析の誤りが考えられる．
また，単語単位のアライメント手法には，意味的な2.1

内容語のアライメント対応関係を持たない機能語が，不適切に対応付けされ機能語が持つ役割は各言語に固有であることも多てしまうという問題が挙げられている．内容語は異ないので，適切なアライメントを求めることは本質的にる言語間においても対応関係が明確である場合が多い

難しい．対照的に，内容語については意味的に等価なが，機能語が持つ役割は各言語に固有であることも多１対１の対応関係が得られやすい．図 1 は，日英新聞いので，対応関係が存在しない場合がある．この性質

記事対応付けデータ (JENAAD) [11] の各文ごとに，に着目した研究として Yung ら [12] は，訓練データか英語と日本語の語数の差をプロットしたものである．

ら対応関係が存在しない語を取り除いてアライメント

原文では日本語の文の方が語数が多い傾向が見られるを学習することにより，翻訳性能の向上を図っている．

が，内容語のみの文の場合は分布の裾が絞られ言語間これらの背景を踏まえて，本研究では，構文木のよの偏りも軽減されている．このことからも内容語は比うな深い統語情報は用いずに，品詞情報などの表層的較的対応関係が明確であることが裏付けられる．

な統語素性のみを用いて，意味的な対応関係が明確な以上の性質に基づいて，Yung ら [12] は，対応関係

対訳フレーズを抽出することを目指す．提案手法では，が存在しない語を取り除いたコーパスから IBM モデ

IBM モデルを内容語に限定して適用し正確度の高いアライメントを得たのちに，単語間の結びつきの強さを素性として機能語を近傍の内容語に統合することにルによってアライメントの学習をおこなっている．提より，対訳フレーズを抽出する．

着目したヒューリスティックを用いる．

案手法では，IBM モデルによって学習された１対多のアライメントを組み合わせる際に，内容語の特性に― 964 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

区切り位置を選ぶ分類問題としてモデル化する．
入力文字列 x = x1 x2 ... xN が与えられたときのフレーズの区切れ位置を，1-of-K 符号化ベクトルy = y1 y2 ... yN −1 によって表す．x1 および xN はアライメントが付与された内容語である．y の各要素の値は，フレーズの区切れ位置が xi と xi+1 の間にあるとき，yj = δ(j, i) となる．P (yi = 1 | x) を直接モデル化し，arg max P (yi = 1 | x) をフレーズ区切りi位置として決定する．P (yi = 1 | x) を次式のように定式化する．

図 1: 英日対訳文の語数差
はじめに対訳コーパス中から機能語である単語を取り除く．またアライメントエラーを減らすために，言語間において内容語の語数が大きく異なる文についても訓練データから取り除く．さらにデータスパースネ
スに対する頑健性を高めるために，動詞などの活用する内容語については見出し語化をおこなう．次に内容語のみに限定された訓練データから IBM モデルを用いて単語アライメントを学習する．最後に IBM モデルによって得た１対多のアライメントを組み合わせ，対称なアライメントを獲得する．
従来のフレーズベース機械翻訳において一般的に用M∑− log ϕk (xi , xi+1 )wk ∑N −1j=1 − log ϕk (xj , xj+1 )k=1(1)∑M
wk は k=1 wk = 1 の制約を満たす混合係数であP (yi = 1 | x) =る．ϕk (xi , xi+1 ) は xi と xi+1 の結びつきの強さを表す任意の確率関数である．この関数の負の対数をとることにより，“xi と xi+1 が結びつく” という事象の情報量を表現している．分母の正規化項を用いて，xという局所的な範囲内における，相対的な結びつきやすさにスケーリングすることによって，異なる特徴空間から得た M 個の素性値を統一的な尺度で評価している．
素性関数 ϕk (xi , xi+1 ) には M = 8 として以下の2-gram 確率を用いた．

いられる grow-diag-final-and ヒューリスティックでは，両方向の単語アライメントの交差 (intersection)

ϕ1 (xi , xi+1 )=P (xi+1 | xi )(2)を基にして，隣接する 8 方向に結合アライメントが存

ϕ2 (xi , xi+1 )=P (xi | xi+1 )(3)

ϕ3 (xi , xi+1 )=P (gi+1 | gi )(4)のアライメントでは１対１の対応を前提としている．

ϕ4 (xi , xi+1 )=P (gi | gi+1 )(5)

そこで，提案する limited-diag-final-and ヒューリス

ϕ5 (xi , xi+1 )=P (gi+1 | xi )(6)

ティックでは，8 方向ではなく，斜め 4 方向に隣接す

ϕ6 (xi , xi+1 )=P (xi | gi+1 )(7)

ϕ7 (xi , xi+1 )=P (xi+1 | gi )(8)

ϕ8 (xi , xi+1 )=P (gi | xi+1 )(9)

在する際にそれらを貪欲に追加する [3]．このモデルは多対多の対応を獲得するためのものであるが，内容語る結合アライメントのみを追加する．また，結合アライメントを貪欲に追加するのではなく，上下左右方向にすでにアライメントが存在する際には追加しないよう制限する．全くアライメントが存在しない領域の補間には既存手法と同様の final-and ヒューリスティッ

gi は xi の品詞を表す．品詞情報から得られる大局的な統計量と各単語ごとの局所的な統計量を組み合わクを用いる．

せることにより，低頻度語の推定に対する頑健性を高めている．また前向きと後ろ向きの 2-gram を用いる

2.2

ことにより，修飾の方向に依らない推定をおこなってチャンキングの確率モデルいる．

各機能語を近傍の内容語に統合し，フレーズを構成混合パラメータ wk の値は言語依存である．例えばする．この過程を，アライメントが付与された内容語

日本語の場合は，名詞などの内容語の後に助詞などのから次の内容語までの各単語間の中から，フレーズの機能語が結びついて一つの文節を構成する場合が多い― 965 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 内容語と機能語の概略
言語

内容語

機能語

英語

名詞，代名詞，動詞，形容詞，副詞，間投詞

助動詞，冠詞，前置詞，接続詞，記号

日本語

名詞，動詞，形容詞，副詞，連体詞，感動詞

接頭詞，接続詞，助詞，助動詞，記号，フィラーので，前向きの素性に対する重みを大きくすると適切
表 2: 内容語アライメントの評価な区切り位置が得られやすい．最適な wk の値を決定するために，人手によって区切り位置を与えた少量のコー

Methodprecision

recallAER

パス D = {(x(1) , y (1) ), (x(2) , y (2) ), ..., (x(|D|) , y (|D|) )}intersection

97.98

83.03

10.11

grow-diag-final-and
limited-diag-final-and

85.11
97.27

93.92
91.14

10.71
5.90

を用いてパラメータチューニングをおこなう．EM ア
ルゴリズムの枠組みに基づいたパラメータチューニン
グの手順は以下の通りである．

Algorithm 1 Parameter tuning
initialize the mixing parameters wk

3.1

repeatfor all (x(d) , y (d) ) such that 1 ≤ d ≤ |D| do

日英新聞記事対応付けデータ (JENAAD) を用いて内容語のアライメントの性能評価をおこなった．訓練

for all k such that 1 ≤ k ≤ M dofor all i such that 1 ≤ i ≤ N − 1 do
if yi = 1 then− log ϕk (xi ,xi+1 )Φk (xi ,xi+1 ) ← ∑N −1
j=1

内容語アライメントの評価

データのサイズは，内容語の語数差が 10 語以上異なる文を除いた 120,000 文，テストデータのサイズは100 文である．形態素解析器として，英語には Enjuのスーパータガー [5]，日本語には MeCab [4] を用い− log ϕk (xj ,xj+1 )else− log(1−ϕk (xi ,xi+1 ))Φk (xi ,xi+1 ) ← ∑N −1− log(1−ϕk (xj ,xj+1 ))j=1

た．それぞれの形態素解析器が出力する品詞情報を基に，内容語と機能語を表 1 のように規定した 1 ．IBM
モデルの学習には GIZA++ [8] の標準的な設定を用

end ifend forN −1wk Φk (xi , xi+1 )1 ∑γd,k ←∑M
N − 1 i=1′′
k′ =1 wk Φk (xi , xi+1 )end forend for|D|
1 ∑γd,kwknew ←|D|
d=1
until the parameters converge

γd,k は，それぞれのデータ x(d) に対して，混合要素 k が y (d) の観測を説明する，負担の度合いを表している．

いた．アライメントの評価指標として precision/recallおよび AER [8] を用いた．

intersection, grow-diag-final-and および limiteddiag-final-and によって獲得された，それぞれの内容語アライメントに対する評価結果を表 2 に示す．limited-diag-final-and では precision の低下を最小限に抑えながらも recall を大幅に上昇させることにより，AERの低下を実現している．

3.2

翻訳結果の評価

チャンキングによって抽出された対訳フレーズを用いて翻訳実験をおこなった．ベースライン手法には

3

grow-diag-final-and によるアライメントから抽出され評価実験たフレーズテーブルを用いている．提案手法ではチャ

内容語アライメントの性能およびチャンキングによって抽出した対訳フレーズを用いた翻訳の性能の評

ンキングによって抽出された対訳フレーズをベースラインのフレーズテーブルに追加する．

価をおこなった．
1 実際にはさらに細分された品詞体系に基づいて規定されるが，紙面の都合上概略のみを示す．

― 966 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 3: 翻訳結果の評価

MethodBaseline
ProposedJENAAD

KFTT

1-gram2-gram3-gram4-gramBLEU

1-gram2-gram3-gram4-gram

BLEU

47.2
47.2

15.9
16.2

6.7
7.0

3.0
3.2

11.01
11.34

54.5
54.4

26.4
26.3

14.214.2

8.2
8.3

20.22
20.23

対訳コーパスには日英新聞記事対応付けデータ2を与えたコーパスを用いた．これらの人手による処理(JENAAD) および京都フリー翻訳タスク (KFTT) をを自動化し，各言語に対する前提知識を必要としない用いた．訓練データのサイズは JENAAD が 120,000モデルに改善することが，今後の課題である．

文，KFTT が 329,169 文，開発データのサイズはJENAAD が 3,000 文，KFTT が 1,235 文，テストデータのサイズは JENAAD が 4,213 文，KFTT が2,326 文となっている．チャンキングのパラメータチューニングには，それぞれの訓練データごとに最初の100 文を用いた．言語モデルには SRILM [10] によって学習された 5-gram モデルを用いた．デコーダにはMoses [2] を用いた．デコーダのパラメータチューニ
ングは MERT [7] によっておこなった．翻訳評価指標として，BLEU [9] を用いた．
翻訳結果に対する BLEU の値とその内訳を表 3 に示す．JENAAD については，大局的な対応関係を用いることにより，2-gram, 3-gram, 4-gram の適合率が上昇している．一方 KFTT については，BLEU の上昇は僅かであった．これは，専門用語に対する形態素解析が適切におこなわれなかったことが理由として考えられる．

4

参考文献[1] P. F. Brown, S. A. Della Pietra, V. J. DellaPietra, and R. L. Mercer. The Mathematics ofStatistical Machine Translation: Parameter Estimation. Computational Linguistics, 19(2):263–311, 1993.
[2] P. Koehn, et al. Moses: Open Source Toolkit for
Statistical Machine Translation. In Proc. ACL,2007.
[3] P. Koehn, F. J. Och, and D. Marcu. StatisticalPhrase-based Translation. In Proc. NAACL, pp.
48–54, 2003.
[4] T. Kudo, K. Yamamoto, and Y. Matsumoto. Applying Conditional Random Fields
to Japanese Morphological Analysis. In Proc.
EMNLP, pp.230–237, 2004.
[5] Y. Miyao, and J. Tsujii. Feature Forest Models
for Probabilistic HPSG Parsing. Computational
Linguistics, 34(1):35–80, 2008.
[6] T. Nakazawa, and S. Kurohashi. Alignment byBilingual Generation and Monolingual Derivation. In Proc. COLING, pp. 1963–1978, 2012.

おわりに本研究では，既存のアライメント手法を内容語に限定して適用したのちに，機能語を近傍の内容語に統合することにより，対訳フレーズを抽出する手法を提案した．内容語のアライメントにおいては，内容語に特化したヒューリスティックを用いて両方向のモデルを組み合わせる手法が，高いアライメント性能を実現することを確認した．また，抽出された対訳フレーズを用いて翻訳実験をおこなった結果，翻訳性能の上昇を確認した．
提案した手法では，内容語と機能語の区別を人手によって実験的に規定したが，各品詞をどちらに分類すべきかは自明ではない．また，チャンキングの重みパラメータを決定するために，人手によって区切り位置
2 Graham Neubig, “The Kyoto Free Translation Task,”
http://www.phontron.com/kftt/, 2011.

[7] F. J. Och. Minimum Error Rate Training in Statistical Machine Translation. In Proc. ACL, pp.
160–167, 2003.
[8] F. J. Och, and H. Ney. A Systematic Comparison of Various Statistical Alignment Models.
Computational Linguistics, 29(1):19–51, 2003.
[9] K. Papineni, S. Roukos, T. Ward, and W. Zhu.
Bleu: a Method for Automatic Evaluation ofMachine Translation. In Proc. ACL, pp. 311–318, 2002.
[10] A. Stolcke. SRILM - An Extensible Language
Modeling Toolkit. In Proc. ICSLP, pp. 901–904,
2002.
[11] M. Utiyama, and H. Isahara. Reliable Measures for Aligning Japanese-English News Articles and Sentences. In Proc. ACL, pp. 72–79,
2003.
[12] F. Yung, K. Duh, and Y. Matsumoto. Analysis
and Prediction of Unalignable Words in Parallel
Text. In Proc. EACL, pp. 190–194, 2014.

― 967 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.