機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

Graham Neubig
奈良先端科学技術大学院大学 (NAIST)
2014-05-25

1機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

機械翻訳
●

●

原言語から目的言語へと自動的に翻訳
原言語

目的言語

太郎が花子を訪問した。

Tarovisited
Hanako.

近年に著しい発展と実用化

2機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

機械翻訳実験に参加した人間翻訳者の言葉 [Green+ 13]「業務で Google や Babel を使ったことがあるけれど、あなたの翻訳システムの方がよっぽど精度が良い！」
実は Google 翻訳だった…
3

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

なぜここまでできるようになったのか？
1)モデルの構築に統計手法を用いる 統計的機械翻訳
2)単語列ごとに翻訳を行う フレーズベース機械翻訳
3)翻訳の評価を効率化する

自動評価

4)翻訳を最適化問題として扱う

識別学習

5)文の構造を考慮する

統語ベース翻訳

4機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

1. 統計的機械翻訳

5

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

翻訳システムの人手構築●

人手によって変換ルールを構築

辞書項目
英語の「 white 」を日本語の「白い」へ変換
英語の「 run 」を日本語の「走る」へ変換
並べ替えルール
英語の「主語・動詞・目的語」を日本語の「主語は・目的語を・動詞」

6機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

問題！
●

●

人手によるコスト（日本語・中国語？日本語・タイ語？）
例外
white day →☓ 白い日○ ホワイトデー
he has blue eyes →☓ 彼は青い目を持っている○ 彼の目は青い7機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

統計的機械翻訳 [Brown+ 93]●

大量の学習データからシステムを自動的に学習
対訳文モデル翻訳モデル

太郎が花子を訪問した。
Taro visited Hanako.
花子にプレセントを渡した。
He gave Hanako a present.
...

並べ替えモデル
言語モデル

8

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

統計的機械翻訳●

翻訳モデル (TM)P(“ 今日” |“today”) = highP(“ 今日 は 、” |“today”) = medium

P(“ 昨日” |“today”) = low

P(●

並べ替えモデル (RM)

鶏がchicken eats
●鶏食べる)=highP(をeats食べる鶏)=highchicken

P(がeats食べる)=lowchicken

言語モデル (LM)P( “Taro met Hanako” )=highP( “the Taro met the Hanako” )=low
9機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

パターン学習の例●

日本語メニューのあるイタリア料理屋に行ったらチーズムース
Mousse di formaggi
タリアテッレ ４種のチーズソース
Tagliatelle al 4 formaggi
本日の鮮魚
Pesce del giorno
鮮魚のソテー お米とグリーンピース添え
Filetto di pesce su “Risi e Bisi”
ドルチェとチーズ
Dolce e Formaggi●「 formaggi 」の日本語訳は？「 pesce 」？「 e 」？ 10

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

パターン学習の例●

日本語メニューのあるイタリア料理屋に行ったらチーズムースMousse di formaggi
タリアテッレ ４種のチーズソース
Tagliatelle al 4 formaggi
本日の鮮魚
Pesce del giorno
鮮魚のソテー お米とグリーンピース添え
Filetto di pesce su “Risi e Bisi”
ドルチェとチーズ
Dolce e Formaggi●「 formaggi 」の日本語訳は？「 pesce 」？「 e 」？ 11

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

翻訳精度 (BLEU)

データの威力12

言語モデルデータ (100 万単語 )[Brants 2007]機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

2. フレーズベース機械翻訳

13機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

フレーズベース機械翻訳 [Koehn+ 03]●

文をフレーズ（単語列）ごとに翻訳して、並べ替え

Today I will give a lecture on machine translation .
Today
I will give
今日は、 を行います

Today
今日は、

a lecture onの講義

machine translation
機械翻訳

machine translation
機械翻訳a lecture onの講義

I will giveを行います.
。

.
。

今日は、機械翻訳の講義を行います。
14機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

なぜフレーズ？
原言語フレーズ 目的言語フレーズ
white
通常辞書にwhite
含まれる単語 white
white
通常辞書に含 white
まれない単語 white
white rice
複合語
white daywhite house

スコア

0.5
白0.25
白い0.1
白色0.05
ホワイト
白 を
0.05
白 が0.05
白米
1.0
ホワイト ・ デー
1.0
ホワイト ・ ハウス 1.0

15機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

フレーズの自動獲得●

単語の対応に基づいてフレーズを列挙
marathon → マラソン

マラソン を 走る
run a marathon

run → 走るa marathon → マラソン
a marathon → マラソン を
marathon → マラソンを
run a → 走る
run a → を 走る
run → を 走る
run a marathon → マラソンを走る機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

3. 自動評価機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

人手評価●

意味的妥当性 (Adequacy): 原言語文の意味が伝わるか●

流暢性 (Fluency): 目的言語文が自然か●

比較評価 (Pairwise): X と Y どっちの方が良いか
太郎が花子を訪問した

Taro visited Hanako the Taro visited the Hanako Hanako visited Taro

妥当 ?
○
流暢 ?
○
X より良い B, C
●

○
☓
C

精度は良いが、非常に労力がかかる☓○

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

自動評価●

システム出力は正解文に一致するか
正解文 :Taro visited Hanako

システム出力 : the Taro visited the Hanako●

翻訳の正解は単一ではないため、複数の正解を利用することも正解文 :Taro visited Hanako
Taro ran in to Hanako

システム出力 : the Taro visited the Hanako

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

BLEU [Papineni+ 03]●

最初に提案された自動評価尺度●

未だに最も標準的●n-gram 適合率 + 短さペナルティ
Reference: Taro visited Hanako
System: the Taro visited the Hanako

Brevity: min(1, |System|/|Reference|) = min(1, 5/3)

1-gram: 3/5
2-gram: 1/4
brevity penalty = 1.0
BLEU-2 = (3/5*1/4)1/2 * 1.0= 0.387

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

4. 識別学習機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

翻訳の最適化 [Och+ 02]●

各モデルのスコアを組み合わせた解のスコア○ Taro visited Hanako☓ the Taro visited the Hanako☓ Hanako visited Taro●

TM-3-4-3

RM-1-1-2-8-10-7 最大 ☓スコアを重み付けると良い結果が得られる○ Taro visited Hanako☓ the Taro visited the Hanako☓ Hanako visited Taro●

LM-4-5-2LM
TMRM
0.2*-4 0.3*-3 0.5*-1
0.2*-5 0.3*-4 0.5*-10.2*-2 0.3*-3 0.5*-2

最適化は重みを発見 : wLM=0.2 wTM=0.3 wRM=0.5

最大 ○-2.2-2.7-2.3

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

翻訳の最適化の難しさ●膨大な仮説空間 → 仮説の列挙が難しい
n-best 出力 (dev)入力 (dev)
太郎が花子を訪問した

モデル解探索重み

正解文 (dev)
良い重みの発見●

the Taro visited the Hanako
Hanako visited Taro
Taro visited Hanako...

Taro visited Hanako

BLEU などの不安定性 → 一般化が難しい機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

機械翻訳のための最適化手法
誤り率最小化学習 [Och+ 04] オンライン学習 [Watanabe+ 07]
44220-4-4-2-2-20024-4-2-2-4-410

10024-4-22

4002244*iw t =w t− 1+ ϕ(e )−ϕ( êi )10-4-20勾配法 [Smith+ 06]-4-2002410-4-3-2-1 0 1 2 3 4

ランキング学習 [Hopkins+ 11]
e1,1: #2
e1,2: #1
e1,3: #3

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

5. 統語ベース翻訳

25

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

フレーズベース翻訳と並べ替え
友達とwith my friend

ご飯
をrice

食べた
I ate

I ate

rice

友達とwith my friend

ご飯をrice

食べた
I ate

rice

with my friend

I ate

友達とand my friend

ご飯
をrice

食べた
I ate

I ate

rice

with my friend

and my friend

26機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

構文解析
VPVPPPPPPPNPN

NPNP

友達と ご飯NPPPP

Vを 食べたNPNPV

友達 と ご飯 を 食べた

27

機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

Tree-to-String 翻訳 [Liu+ 06]
x1 with x0

VP0-5
VP2-5

PP0-1
N0

P1

友達と

PP2-3

x1 x0
VP4-5

N2P3

V4 SUF5

ご飯を食べ

x1x1

ate

たa mealmy friendx0x0

ate a meal with my friend

28機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

日本語における Tree-to-String 翻訳実験●

少しの工夫で既存手法を大幅に上回る [Neubig+14]

In equipment which generates CT by pressure waves, it was confirmed
入力 that development hours of CT bubbles increase in proportion to the 0.5th
power of input power of pressure waves.
PB

気泡を生成することを確認した圧力波によりｃｔ装置において，０．５乗に比例して増加し，圧力波の入力電力のｃｔの開発時間。

T2S

圧力波によるｃｔを発生する装置において，ｃｔ気泡の開発時間が圧力波の入力パワーの０．５乗に比例することを確認した。

正解

圧力波によりｃｔを発生させる装置では圧力波の入力パワーの０．５乗に比例してｃｔ気泡の発達時間が増大することを確認した。

●

オープンソース公開
http://www.phontron.com/travatar29機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

これからの機械翻訳？

30機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

文脈を考慮した機械翻訳●

日英翻訳の主語の省略
あ、結構です。書かなくていいですよ。
正解：

Oh, that's fine. You don't have to write.

システム： I don't write in, thank you.
●

文脈から読み取る語彙選択
Please keep lying.
正解：

このまま休んでいてください。

システム： 嘘をつけ続けてください。
31機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

翻訳の頑健性●（ Web 上などの）崩れた表現
はい、ごくろうさまでした。
正解：

You're all set.

システム： Yes, it was very good wax.
はい、 ごく ろう さま でした 。
●

音声認識結果の入力等

32機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

同時性の高い音声翻訳[Fujita+13, Oda+14]

33機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

同時性の高い音声翻訳[Fujita+13, Oda+14]34機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜非言語情報を考慮した音声翻訳[Kano+ 12, Kano+13]35機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

非言語情報を考慮した音声翻訳[Kano+ 12, Kano+13]36機械翻訳〜なぜできなかったのか？なぜできるようになりつつあるのか？〜

Thank you for listening!
↓
ご清聴ありがとうございます !
更に勉強するには：
コロナ社「機械翻訳」
ALAGIN セミナーの発表資料
https://sites.google.com/site/coronamachinetranslation/slides
37