Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

階層的モデルを用いた機械翻訳のためのフレーズアライメント
Graham Neubig1,2,3, 渡辺 太郎 2, 隅田 英一郎 2,
1
1
森 信介 , 河原 達也
1

2
京都大学 情報学研究科
情報通信研究機構 (NICT)3
日本学術振興会 特別研究員

1

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

1. はじめに2

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

フレーズテーブル●

フレーズベース機械翻訳の中心●

スコア付きの対訳フレーズ
原言語
Mrs.
Mrs. Smith
Red●

目的言語さんスミス さん赤い…

スコア0.05 0.20 0.005 1
1.0 1.0 1e-05 1
0.4 0.5 0.02 1文単位でアライメントされた対訳コーパスから学習●

フレーズのアライメントが必要
3

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

フレーズテーブル構築の従来法：
１対多、組み合わせ、抽出
パラレル
テキスト

単語アライメント(GIZA++)

f→e
１対多対応
組み合わせ

単語アライメント(GIZA++)

e→f
１対多対応

多対多対応

フレーズ
抽出

フレーズテーブル+ 意外と強力、 Moses などで広く使われる- 複雑でヒューリスティックスがたくさん- 段階に分かれるため、最終目的であるフレーズテーブルの構築に合わないアライメントを獲得- 網羅的に抽出されたフレーズテーブルは膨大

4Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

フレーズテーブル構築の従来法：
多対多、抽出パラレル
テキスト●

フレーズアライメント

多対多対応

フレーズ
抽出

フレーズテーブル

近年、直接多対多アライメントを獲得する手法が注目されている [Zhang+ 08, DeNero+ 08, Blunsom+ 10]+ モデルが簡潔となり、精度も少し上がる●

短いフレーズをアライメントし、フレーズ抽出で長いフレーズに組み合わせる- まだ従来法の問題が多く残る●

膨大なフレーズテーブル、ヒューリスティックス、段階化により最適なアライメントが発見できない5

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

提案手法：階層的モデル
パラレルテキスト●

階層的フレーズ
アライメントフレーズ
テーブル

最小フレーズだけではなく、複数の粒度のフレーズをモデルに含む+ 直接フレーズテーブルをモデル化できる+ ヒューリスティックスの必要がなくなる+ 精度を保ちながらフレーズテーブルのサイズが減らせる●

Inversion Transduction Grammar (ITG) を用いた階層的モデルで実現

6

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

2. Inversion Transduction Grammar を用いたフレーズアライメント

7Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

Inversion Transduction Grammar (ITG)●

言語間をまたぐ文脈自由文法
非終端記号は「普通 (reg) 」と「倒置 (inv) 」● 1 つの前終端記号「 term 」● 終端記号はフレーズペア
●

reg

inv

term

term

term

term

7/7kilos/ キロ

Mr./ さん Smith/ スミス

English7 kilos

Japanese
7 キロ

EnglishJapanese
Mr. Smith スミス さん
8Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

ITG を用いたパージング●

非終端・前終端記号の記号分布 Px, フレーズペア分布
Pt を利用し、両言語でパージングできる
Mrs.

Smith'sスミスさんのPx(inv)Px(term)red
赤いPx(reg)Px(term)

cookbook
料理本

Px(reg)Px(term)Px(reg)Px(term)Pt(Mrs./ さん )●Pt(Smith/ スミス )Px(term)Pt('s/ の ) Pt(red/ 赤い ) Pt(cookbook/ 料理 本 )最尤解も得られて、確率に従ったサンプリングも可能9Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

フレーズペア・記号の頻度の求め方：
ギブスサンプリング [Blunsom+ 10]
1.各文のパーズを初期化し、頻度 cx と ct を数える
2.for 100 イタレーション
1. for each 文 s in コーパス
1.s の現在のパーズによる頻度を cx と ct から引く
2.Px と Pt の確率に基づいて s の新しいパーズをサンプリングする
3.新しいパーズによる頻度を cx と ct に足す
3.得られた頻度に従って、フレーズテーブルを出力する
10

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

フレーズペア・記号確率の求め方●

フレーズペアと記号の頻度ct(Mrs./ さん )=12ct(Red/ 赤い )=3ct(Smith/ スミス )=0cx(reg)=415cx(inv)=43cx(term)=312…

スムージングを行う（例：加算スムージング）●●

本研究のスムージング法は Pitman-Yor 過程（予稿を参照）

P t f , e=●c t f , e t P base f , e ∑f , e c t f , e tc x  x  x /3P x  x =∑x c x  x  x

Pbase は「未知フレーズペアモデル」
全てのフレーズペアに少しの確率を与える● 先行研究で両方向の単語 Model 1 確率の相乗平均●

11

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

従来モデルに追加される頻度●

記号分布 Px から生成されるものは cx に加算
フレーズペア分布 Pt から生成されるものは ct に加算
Px(reg)Px(inv)Px(term)Px(term)Px(reg)Px(term)ct(Mrs./ さん )++●ct(Smith/ スミス )++Pbase(Smith/ スミス )Px(reg)Px(term)Px(term)Pt('s/ の )Pt(red/ 赤い )Pt(cookbook/ 料理 本 )ct('s/ の )++ct(red/ 赤い )++ct(cookbook/ 料理 本 )++Pt(base)Pt(Mrs./ さん )cx(reg) += 3cx(inv) += 1cx(term) += 5

問題：最小フレーズのみが含まれる→ アライメント後にヒューリスティックな抽出が必要

12

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

3. 提案手法：階層的なモデル

13

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

未知フレーズペアモデルを考え直す●

未知のフレーズペアに与える確率●

従来法： Pbase は Model 1 確率の相乗平均●●

高確率の単語ペアを含む→高確率のフレーズペア

提案手法：フレーズペアの組み合わせで未知のフレーズペアを構築するモデル Pdac
Pt(red/ 赤い )← 高

Pt(cookbook/ 料理 本 )← 高Pdac(red cookbook/ 赤い料理本 )← 高c t f ,et P dac f ,e P t f ,e=∑f ,e c t f ,et

14

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

Pdac の計算●ITG と同じように、 3 通りのパターンで長いフレーズペアを短いフレーズペアから構築
普通 :Px(reg) * Pt(red/ 赤い ) * Pt(cookbook/ 料理 本 ) →red cookbook/ 赤い 料理 本

倒置 :Px(inv) * Pt(Mrs./ さん ) * Pt(Smith/ スミス ) →Mrs. Smith/ スミス さん

ベース : Px(base) * Pbase(Smith/ スミス ) →Smith/ スミス

Pdac の計算に Pt を利用
Pt の計算に Pdac を利用→再帰的なモデル！

15

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

提案手法の生成過程●

複数の粒度のフレーズを分布 Pt から生成し、 ct に加算
Pt(dac)c(Mrs. Smith 's red cookbook/ スミス さん の 赤い 料理 本 )++Px(reg)Pt(dac)c('s red cookbook/ の 赤い 料理 本 )++Px(inv)Px(reg)Pt(dac)Px(base)Pt(dac)c(red cookbook/ 赤い 料理 本 )++c(Smith/ スミス )++Pt(Mrs./ さん )cx(base) += 1

Pt(dac)c(Mrs. Smith/ スミス さん )++cx(reg) += 3cx(inv) += 1

Px(reg)Pt('s/ の )c(Mrs./ さん )++ Pbase(Smith/ スミス ) c('s/ の )++Pt(red/ 赤い )Pt(cookbook/ 料理 本 )c(red/ 赤い )++c(cookbook/ 料理 本 )++16●

別途の抽出を行わなくても長いフレーズも獲得できる！

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

4. 実験評価17

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

実験データ
●

日英・仏英の 2 タスク
日英： NTCIR の特許翻訳● 仏英： WMT10 の news-commentary タスク●●

学習データを小文字化、トークン化し、学習データを40 単語以下の文とする
WMT( 単語数）
翻訳モデル
言語モデル
重み学習テスト

fr
1.56M
55.4k
72.6k

en
1.35M
52.7M
49.8k
65.6k

NTCIRja
2.78M
80.4k
48.7k

en
2.38M
44.7M
68.9k
40.4k
18

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

実験設定●

デコーダとして Moses を利用●

BLEU を評価基準とする●

３つのアライメント法：
GIZA++● 従来の ITG モデル (FLAT)● 提案手法の ITG モデル (HIER)●●

２つのフレーズ抽出法：ヒューリスティックなフレーズ抽出● モデル確率 P を利用t●

19

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

実験結果
フレーズテーブルのサイズ

24523

4100 万フレーズ

BLEU*100

翻訳精度

222120
19
18

fr-en

ja-en

GIZA++
3FLAT
2HIER

GIZA++
FLATHIER

10fr-en

ja-en●

GIZA++ はヒューリスティック、 FLAT と HIER はモデル確率●GIZA++ と同程度の精度、フレーズテーブルは小さい●

従来の ITG モデルに比べて高精度

20

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

5. まとめ21

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

まとめ
●

●

階層的モデルを利用することで、複数の粒度のフレーズをアライメントモデルに含めるヒューリスティックなフレーズ抽出を行わずに、簡潔なフレーズテーブルで高い翻訳精度を実現した●●

完全な確率モデルが GIZA++/ ヒューリスティックスより高い精度になったのが初めて

これからの課題：
統語情報を利用した機械翻訳への適用● 分散処理による大規模データへの展開●●

ソフトをオープンソースで公開する予定
22

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

ご清聴ありがとうございました

23

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

提案手法 vs. ITG アライメント＋
ヒューリスティックなフレーズ抽出
フレーズテーブルのサイズ

翻訳精度 (fr-en)
4

24

3.5

100 万フレーズ

BLEU*100

232221201918

●

HEUR

MOD

32.5
FLAT
2HIER
1.5

FLAT
HIER

10.50HEUR

MOD

フレーズテーブルのサイズを増やすが、精度は HIERとモデル確率を利用した場合に劣る
24

Neubig, 渡辺 , 隅田 , 森 , 河原 - 階層的モデルを用いた機械翻訳のためのフレーズアライメント

提案手法の生成過程●

フレーズペアを生成してみる、バックオフで DAC
Px(reg)Px(reg)Px(inv)

提案手法

Pt(dac)Px(reg)Px(term)Px(term)Px(term)Px(reg)Px(term)Pt(Mrs./ さん )Pt(dac)Pt(dac)Px(inv)Px(reg)Pt(dac)Px(base)Pt(Smith/ スミス )従来法
Px(term)Pt('s/ の ) Pt(red/ 赤い ) Pt(cookbook/ 料理 本 )Pt(dac)Px(reg)Pt(Mrs./ さん ) Pbase(Smith/ スミス ) Pt('s/ の ) Pt(red/ 赤い ) Pt(cookbook/ 料理 本 )●木の上から下まで、 Pt から生成25