音声翻訳技術

音声翻訳技術Graham Neubig
奈良先端科学技術大学院大学（ NAIST ）2015/5/11
http://phontron.com/slides/neubig15jsai-slides.pdf
共著者：
中村哲、戸田智基、 Sakriani Sakti 、叶高朋、大串正矢、藤田朋希、
清水宏晃、小田悠介、三重野隆史、 Do Quoc Truong1音声翻訳技術

音声翻訳

2

引用元：情報通信研究機構 YouTube

音声翻訳技術

音声翻訳システム

音声認識
こんにちは、駅はどこですか？
機械翻訳
Hello, where is the station?
音声合成
3音声翻訳技術

次世代の音声翻訳に向けた 2 つの課題●

音声翻訳結果を早く聞き手に届けられるか？

→同時音声翻訳

●

音声の表現力を維持して翻訳できるか？

→音響特徴の翻訳●

音声認識誤りに頑健に翻訳できるか？

→複数の候補の考慮と同時最適化

今回の範囲外：→ 句読点の挿入 [Peitz+11]→ 言いよどみへの対処 [Wang+10]4音声翻訳技術

同時音声翻訳

5音声翻訳技術

音声翻訳システム●

ある言語の音声から違う言語の音声へ翻訳
音声認識
こんにちは、駅はどこですか？
機械翻訳
Hello, where is the station?
音声合成
6音声翻訳技術

遅延の問題●

従来のシステムは 1 文の入力が終わるまで翻訳しない！
遅延
音声認識
こんにちは、駅はどこですか？
機械翻訳
Hello, where is the station?
音声合成
7

音声翻訳技術目標：遅延の低減●

1 文が完全に終わる前に適切なタイミングで翻訳開始
遅延：減少
音声認識

こんにちは、駅は翻訳

翻訳

どこですか？

翻訳

Hello,the station where is it?

合成

合成

合成
8

音声翻訳技術

遅延の削減に関わる研究• [Fugen+ 2007]– 言語モデルや音響情報に基づくタイミング決定• [Bangalore+ 2012]– 音声認識の無音区間 (pausing) を用いて文を分割• [Rangarajan+ 2013]– 予測された句読点の挿入位置 ( コンマ、ピリオド、その他 )を使用– 数種類の手法を比較検討…

句読点による手法が最高性能• [Fujita+ 2013]– 翻訳モデルにおける並べ替えの位置を推定– 並べ替えが起きなさそうな場所で翻訳
9音声翻訳技術

訳出タイミングの最適化[Oda+ ACL14]10音声翻訳技術

訳出タイミング決定法の問題
すべてヒューリスティクスに基づく手法
音韻的情報、言語的情報…

• 分割位置が翻訳精度に与える影響を考慮せず• 翻訳器に対して分割位置が最適化されていないタイミングを最適化したい！
11音声翻訳技術

定式化
1)学習データ ( 対訳コーパス ) 全体で分割する数 K を決定
2)K 個の分割位置を学習データから選択
3)分割位置の素性をモデル化

K
対訳 F, E

翻訳器 MT

学習モデル化S*

文分割モデル

評価尺度 EV12音声翻訳技術

手法 1: 貪欲法による分割• 次の分割位置を決めるとき、今までに選んだ分割位置を保持( ＝貪欲法 : greedy search)Iω = 0.7I
ω = 0.6I
ω = 0.7ate
ω = 0.5atelunch
ω = 0.8lunchω = 0.4ate
ω = 0.6lunch

butsheω = 0.6

ω = 0.6butsheω = 0.3

ω = 0.9but

she

left

leftleftω = 0.6
13→ 選ばれた分割位置の素性を SVM で学習音声翻訳技術

手法２：素性のグループ化• ω は複雑な関数、ノイズが多い– 貪欲法では偶然 ω が良くなる分割位置で過学習

解決策

同じ素性を持つ分割位置をグループ化、同時に分割…

例：前後の品詞

I

代名詞

atelunch

動詞

名詞

but

接続詞

グループ ( 代名詞 + 動詞 ) グループ ( 名詞 + 接続詞 )

I

代名詞

ate
動詞an限定詞

動的計画法 (DP) で探索、探索で素性が得られるので正則化の導入も可能apple
名詞

モデル化は不要

andshe代名詞left
動詞

グループ ( 限定詞 + 名詞 )an

接続詞 限定詞

orange名詞14音声翻訳技術

実験結果（ BLEU ）速度 3 倍Title:C:\Users\Yusuke ODA\Documents\MA
Creator:MATLAB, The MathWorks, Inc. Vers
CreationDate:03/07/2014 07:47:57
LanguageLevel:2

英独

速度 4~5 倍

英日
15音声翻訳技術

システムデモ([Fujita+13] の手法 )16音声翻訳技術

同時通訳データを用いた同時音声翻訳[Shimizu+ 13, Shimizu+ 14]

17音声翻訳技術

同時通訳者の技術

 語彙の選択－ 文法構造が異なる言語対において並び替えを減少させる狙い
A because BAbecause B
同時翻B だからAA なぜならば B 通訳訳
 サラミテクニック [Jones 02]－ １つの長い文を複数のチャンクに分割
last year

I went to Japan
日本に行った去年

遅延時間を短縮するために同時通訳者は様々な技術を駆使
18

音声翻訳技術

同時通訳データ 収録材料－ TED 講演 ( 英語 → 日本語 )利点：翻訳データ ( 字幕 ) と同時通訳データを比較 同時通訳者－ 通訳経験年数が異なる三人－ 経験が長い順に S, A, B ランク

ExperienceRank

15 years
4 years
1 yearS rankA rankB rank

利点：同時通訳の訳出の違いを分析

19音声翻訳技術

同時通訳データの適用 アプローチ－ 同時通訳者のように訳出する同時音声翻訳の構築
提案

同時通訳データ

翻訳データ

学習
入力文

翻訳システム従来[Paulik+ 09][Sridhar+ 13]

同時通訳者のような出力文

20音声翻訳技術分野適応の技術を用いた通訳者の再現
 チューニング (Tu)
－ 同時通訳者の訳出結果に近づくようにパラメータが調節されることを期待 言語モデル (LM) ：線形補間－ 同時通訳者のような語順や語彙選択を期待 翻訳モデル (TM) ： fill-up 法 [Bisazza+ 11]－ LM と同様，同時通訳者のような語彙選択を期待
機械翻訳システムの学習における３つの過程に同時通訳データを利用
21音声翻訳技術

通訳データを用いた評価実験
性能の向上

フレーズ単位

同時通訳に近い訳出

文単位

遅延時間の短縮2211音声翻訳技術

訳出の例
例文
入力

If you look at in the context of the history you can see what this isdoing

正解

過去から流れを見てみますと災害はこのように増えています

従来

見てみると歴史の中で見ることができますこれがやっていること

提案

では歴史の中で見ることができますこれがやっていること

 単語数の減少－ チューニングによって短いフレーズを好む
パラメータに調整 翻訳結果の 25% の文が「で」から開始－ 同時通訳者が次の文を待つまでの沈黙を回避
23

音声翻訳技術

音響特徴の翻訳24音声翻訳技術

声の特徴は多く語る
Yes we can!

Yes we can...

25音声翻訳技術問題！
●

音声認識の時点で声の特徴が失われる…
音声認識
こんにちは、駅はどこですか？
機械翻訳
Hello, where is the station?
音声合成
26

音声翻訳技術

声の特徴を翻訳する音声翻訳[Truong+ 15]

27音声翻訳技術

実験題材：強調の翻訳[Kano+12, Kano+13]
Hello, I’m Mike.
My membershipnumber is 581.

No !, myID is 581.

Five

Eight One( 強調 )

会員番号 511 のマイク様ですね？

失礼しました .
会員番号 581 のマイク様ですね？

ご はち ご( 強調 )
28

音声翻訳技術

音声の特徴の翻訳

29音声翻訳技術

音響翻訳の枠組み●

強調あり音声の認識・合成：
重回帰隠れセミマルコフモデル (MR-HSMM)

通常のマルコフモデル

強調のマルコフモ
デル

●

q1

q2

q3

1- λ
q1

q2

q3

q1

q2

q3

λ

音声信号

λ→ 強調度

音響特徴の翻訳：条件付き確率場 (CRF)30音声翻訳技術

実験結果●

人間に聞かせ「どの単語が強調？」と聞いた時の正解率
例１：

例２：

翻訳なし

●

提案法

自然音声

人間は翻訳された強調が認識可！

31音声翻訳技術

音声認識誤りに頑健な音声翻訳

32音声翻訳技術

音声翻訳独特の問題点
テキスト
（原言語）

機械翻訳
機械翻訳

テキスト
（目的言語）

エラー

音声
原言語

音声
音声
認識認識エラー

機械翻訳
機械翻訳

音声
音声合成
合成

音声
目的言語エラー

音声認識の誤りが機械翻訳に影響を及ぼす33
33

音声翻訳技術

音声認識誤りと翻訳
誤り： 0

熱に効く薬が欲しいのですが誤り： 0

翻訳

誤り： 1

認識
熱に効く薬が欲しいのですが●列に効く薬が欲しいのですが誤り： 1

翻訳

誤り： 2

熱に効く薬が欲しいのですが

I'd like medicine
for a fever

I'd like medicine
for a row
誤り： 0翻訳

I want medicine
for a fever

認識誤りへの対応
複数の候補の中からどの認識候補を利用するかを選択
34● 誤りの中でもマシなものになるように学習●音声翻訳技術

認識・翻訳のパラメータ最適化●

各モデルのスコアを組み合わせた解のスコア○ Taro visited Hanako☓ the Taro visited the Hanako☓ Hanako visited Taro●

TM-3-4-3

RM-1-1-2-8-10-7 最大 ☓スコアを重み付けると良い結果が得られる○ Taro visited Hanako☓ the Taro visited the Hanako☓ Hanako visited Taro
●LM-4-5-2LMTMRM
0.2*-4 0.3*-3 0.5*-1
0.2*-5 0.3*-4 0.5*-1
0.2*-2 0.3*-3 0.5*-2

最大 ○-2.2-2.7-2.3

チューニングは重みを発見 : wLM=0.2 wTM=0.3 wRM=0.5

音声翻訳技術

誤り率最小化 (MERT)●

翻訳精度を重み調整の反復で最適化
n-best 出力 (dev)入力 (dev)

解探索

太郎が花子を訪問した

モデル

重み

the Taro visited the Hanako
Hanako visited Taro
Taro visited Hanako...

正解文 (dev)

良い重みの発見

Taro visited Hanako

音声翻訳技術

複数の候補を考慮した認識・翻訳XFE

認識候補１

音声音声認識認識

認識候補 2

機械機械翻訳
翻訳:

φ・・・

翻訳候補１
翻訳候補 2:・・・Eˆ  arg max( P ( E , F | X , λASR , λMT ))E

Ê :選択される翻訳候補 F : 認識仮説 E : 翻訳仮説

P( E , F | X , λMT ,ASR ) :認識、翻訳の同時確率

λASR ,MT :3737音声翻訳技術

候補の表現法n-best リスト

認識
翻訳
選択認識 1
翻訳 1 X
原文認識 2
翻訳 2 O
認識 3
翻訳 3 X

ラティス
認識
原文

翻訳
翻訳38

音声翻訳技術

同時最適化[Zhang+04]
X

F
音声音声
認識
認識E

認識候補１
認識候補 2

機械機械
翻訳
翻訳:

φ

翻訳候補１
翻訳候補 2:・・・・・・

λMT , λASR  arg max  BLEU ( E ref , Eˆ ) 
λMT , λ ASR

E ref :英語参照文

Ê : 翻訳文

BLEU : 翻訳の評価尺度 [Papineni et al.,2002.]λASR , λMT : 最適化した重みベクトル39
39

音声翻訳技術

実験結果[Ohgushi+13]
大幅な性能向上40音声翻訳技術まとめ41

音声翻訳技術

まとめ●●

より早く、より豊かに音声翻訳結果を聞き手に届ける取り組み
今後の課題：

同時音声翻訳における未来の情報の予測[Grissom+14,Oda+15]● より豊かな音響情報の翻訳● end-to-end システムの開発●

42音声翻訳技術参考文献

43音声翻訳技術

参考文献

●

●

●

●

●
●

●

●
●

●

●

●

●

●

●

●

●

S. Bangalore, V. K. R. Sridhar, P. K. L. Golipour, and A. Jimenez. Real-time incremental speech-to-speech translationof dialogs. In Proc. NAACL, 2012.
C. Fugen, A. Waibel, and M. Kolss. Simultaneous translation of lectures and speeches. Machine Translation,
21(4):209–252, 2007.
T. Fujita, G. Neubig, S. Sakti, T. Toda, and S. Nakamura. Simple, lexicalized choice of translation timing for
simultaneous speech translation. In Proc. InterSpeech, pages 3487–3491, 2013.
A. Grissom II, H. He, J. Boyd-Graber, J. Morgan, and H. Daume III. Don’t until the final verb wait: Reinforcement
learning for simultaneous machine translation. In Proc. EMNLP, pages 1342–1352, 2014.
R. Jones. Conference interpreting explained, volume 6. 2002.
T. Kano, S. Sakti, S. Takamichi, G. Neubig, T. Toda, and S. Nakamura. A method for translation of paralinguistic
information. In Proc. IWSLT, pages 158–163, 2012.
T. Kano, S. Takamichi, S. Sakti, G. Neubig, T. Toda, and S. Nakamura. Generalizing continuous-space translation ofparalinguistic information. In Proc. InterSpeech, 2013.
H. Ney. Speech translation: Coupling of recognition and translation. In Proc. ICASSP, pages 517–520, 1999.
Y. Oda, G. Neubig, S. Sakti, T. Toda, and S. Nakamura. Optimizing segmentation strategies for simultaneous speechtranslation. In Proc. ACL, pages 551–556, 2014.
Y. Oda, G. Neubig, S. Sakti, T. Toda, and S. Nakamura. Syntax-based simultaneous translation through prediction ofunseen syntactic constituents. In Proc. ACL, 2015.
M. Ohgushi, G. Neubig, S. Sakti, T. Toda, and S. Nakamura. An empirical comparison of joint optimization techniques
for speech translation. In Proc. InterSpeech, pages 2619–2622, 2013.
M. Paulik and A. Waibel. Extracting clues from human interpreter speech for spoken language translation. In Proc.
ICASSP, pages 5097– 5100. IEEE, 2008.
S. Peitz, M. Freitag, A. Mauser, and H. Ney. Modeling punctuation prediction as machine translation. In Proc. IWSLT,pages 238–245, 2011.
V. K. Rangarajan Sridhar, J. Chen, S. Bangalore, A. Ljolje, and R. Chengalvarayan. Segmentation strategies for
streaming speech translation. In Proc. NAACL, pages 230–238, 2013.
H. Shimizu, G. Neubig, S. Sakti, T. Toda, and S. Nakamura. Constructing a speech translation system using
simultaneous interpretation data. In Proc. IWSLT, pages 212–218, 2013.
H. Shimizu, G. Neubig, S. Sakti, T. Toda, and S. Nakamura. Collection of a simultaneous translation corpus forcomparative analysis. In Proc. LREC, 2014.
W. Wang, G. Tur, J. Zheng, and N. F. Ayan. Automatic disfluency removal for improving spoken language translation.44
In Proc. ICASSP, pages 5214–5217, 2010.

音声翻訳技術

追加資料

45

音声翻訳技術

同時音声翻訳の評価[Mieno+ 15]●

人手評価で、様々な遅延と翻訳精度を持った文を評価者に表示し、評価関数を計算

46