言語処理学会 第 19 回年次大会 発表論文集 (2013 年 3 月)￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣

音声認識と機械翻訳のランク学習による同時最適化
大串 正矢

Graham Neubig Sakriani Sakti 戸田 智基 中村 哲

奈良先端科学技術大学院大学 情報科学研究科〒 630-0192 奈良県生駒市高山町 8916-5{masaya-o,neubig}@is.naist.jp

1. はじめにZF =音声翻訳システムは音声認識と機械翻訳，テキスト音声

∑{∑}
exp
λi φi (F , X)

F,X(2)

i

合成の３つのモジュールによって構成されている．たいてZF は正規化係数を表し，φi (F , X) は素性 関数 を 表

いの場合，音声認識部は単語誤り率 (WER) が最小になるす．認 識 で 用 い ら れ る 素 性 は 音 響 モ デ ル の 対 数 確 率ように最適化されている．しかし WER の減少が直接翻訳精度の向上に繋がる保証はない．先行研究では音声認識log Pam (X|F )，原言語モデルの対数確率 log Pslm (F )，単語数 |F | である．入力 X に対してデコーディングによっと機械翻訳を翻訳の指標である BLEU[1] の値が最大になて得られる確率最大の認識仮説はるように同時最適化を行い，一定の成果を上げている [2]．

F̂ = argmaxF (P (F | X, λASR ))また機械翻訳の最適化では，多くの素性を用いることが翻訳精度向上に繋がることが確認されているが [3]，同時最適化において多くの素性を用いる試みはまだない．そこで，多くの素性を最適化可能な対ランク最適化 PRO[3]を用いて同時最適化を行った．機械翻訳の素性と音声認(3)となる．

2.2. 機械翻訳の定式化

識の素性に加えて，認識単語の頻度を素性として適用し，認識仮説 F に対する翻訳結果 E の事後確率は P (E | F )多数の素性を用いて同時最適化の効果を検証した．旅行と定義され，下記の対数線形モデルで与えられる．
}{∑1′′λi φi (E, F )(4)P (E | F , λM T ) =exp
ZE′

会話 (BTEC) による音声認識，機械翻訳における実験結果より同時最適化において PRO は MERT に比べて精度が低いことが分かった．しかし素性を多く用いることで一定の精度向上を確認することができた．

iZE は式 (2) と同じく正規化係数である．φi′ (E, F ) として翻訳で標準的に用いられる素性は言語モデル対数確率2. 音声翻訳システム

log Plm (E)，翻訳モデルの前向き対数確率 log P (E | F )，後ろ向き対数確率 log P (F | E)，並べ替えモデル対数確

音声翻訳では，入力信号X は音声認識によって原言語文率などの計 14 素性である [5]．Ê は式 (3) と同じく確率の認識仮説F へ変換される．さらに認識仮説F が機械翻最大の翻訳仮説を表す．

訳へ入力され，翻訳仮説E が得られる．

3. 重み最適化
2.1. 音声認識の定式化

最適化とはある制約条件のもとで目的関数を最大化もし入力信号 X に対する認識仮説 F の事後確率は P (F | X)

くは最小化することである．通常，音声認識のパラメーと定義され，下記の対数線形モデルで与えられる [4]．

タ λASR を音声認識の評価尺度である単語誤り率 (WER){∑}
1
P (F |X, λASR ) =exp
λi φi (F , X)
ZFiで最適化する．

(1)― 564 ―λ̂ASR = argminλASR W ER(F ref , F̂ )(5)

Copyright(C) 2013 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 認識，翻訳候補の例
認識候補

翻訳候補

if (i)

je(i, j)φ(i, j)b(i, j)1“何をお飲みになりますか”1“what would you like to drink ?”

[2 4]

1.00

2

“何用をお飲みになりますか”2“what would you like for ?”

[3 8]

0.60

3

“何いをお飲みになりますか”3“what do you have ?”

[6 1]

0.28

機械翻訳のパラメータ λM T を翻訳の評価尺度であることで，BLEU の差が有意でない候補対をデータから取BLEU[1] で最適化する．

り除き，過学習を防ぐ．

λ̂M T = argmaxλM T BLEU (E ref , Ê){(6)α(|b(i, j) − b(i, j ′ )|) =最適化の手法については次節以降に示す．

3.1. 誤り率最小化学習 (MERT:Minimum Error RateTraining)0

if |b(i, j) − b(i, j ′ )| < 0.05

1otherwise

3.3. デコーディングと同時最適化
通常，音声認識と機械翻訳は個別に最適化されており，認MERT[6] は評価関数を直接最大化する手法である．通常，
BLEU や WER などの評価関数は局所解が存在し，微分不識の確率が最も高い候補を翻訳し，翻訳の確率が最も高可能であるため厳密に最大化することは困難である．そが翻訳に適しているとは限らないため認識において複数

こで，MERT は与えられた素性に対して，それに付随すの候補を考慮すると更なる精度向上が実現できる [7]．同る全てのパラメータを最適化するのではなく，一つ一つ時デコーディングにおける事後確率を対数線形モデルでのパラメータを順に最適化することにより評価関数を最表すと下記の用になる．ZE,F は式 2 と同じく正規化係数適化する手法である．また一つのパラメータの最適化手である．

法は Och の線形探索アルゴリズム [6] である.

い候補を出力する．しかし，認識の確率が最も高い候補

P (E, F |X) =3.2. 対ランク最適化 (PRO:Pairwise Rank Optimization)
MERT は線形探索を行っており，学習に必要な時間が素性の数に比例して増加するため，高次元の素性空間における最適化には適していない．そこで多くの素性に対応可能な対ランク最適化 PRO[3] を適用する．PRO はランク学習を用いた重み最適化法である．学習の段階では翻訳仮説に対して，予め BLEU スコアを計算しておく．次に翻訳候補のペアを作り，BLEU スコアが高い候補から低い候補の素性の差分を取り，プラスのラベルを与える．
同様に BLEU スコアが低い候補から高い候補に対しても素性の差分を取り，マイナスのラベルを与える．翻訳のペアを仮に e(i,j) と e(i,j’)，素性のペアを φ(i, j)，φ(i, j ′ )1
ZE,Fexp{∑}
λi φi (E, F , X)

(8)i

入力信号 X に対してデコーディングにより得られる確率の最も高い翻訳仮説はÊ = argmaxE (P (E, F | X, λASR , λM T ))(9)

本研究では同時デコーディングの手法として認識の n-bestを用いて翻訳を行う．つまり式 (9) の確率最大の仮説を探索する時，F の母集団は認識の n-best であり，E の母集団は各認識仮説に対して生成される翻訳候補である．同時最適化では選ばれた仮説と参照文の BLEU スコアが最も高くなるようなパラメータ λASR ，λM T を同時に最適化する．とし，それらの BLEU スコアを b(i, j)，b(i, j ) とする. 例

λ̂ASR , λ̂M T = argmaxλASR ,λM T (BLEU (E ref , Ê))(10)

えば，表 1 の第 1 と第 3 候補において得られる評価関数はパラメータの最適化手法は先行研究では上記に記したb(1, 1) > b(1, 3) となり，素性の差分とラベルは ([-4,3],+)

MERT であり，本研究ではこれに加えて PRO の効果をと ([4,-3],-) となる．これを分類器の学習データとして加検証する．これらの手法により，通常の個別最適化ではえる．また全ての候補対を利用するのではなく，下記式得られなかった候補が選ばれるように同時最適化が行わの通り BLEU の差が 0.05 以上である候補対のみ利用する

れる．

′― 565 ―Copyright(C) 2013 The Association for Natural Language Processing.
All Rights Reserved.

(7)

4. 新たな素性：認識単語の頻度した 3 素性を加えたシステムを「+ASR」と記し，4 節で説明した語彙素性を加えたシステムを「+Lex」と記する．

PRO の利点の一つは多くの素性が利用できるところにある．そこで，新たな素性として，認識候補の単語を素性として加える．これにより翻訳に寄与する単語の認識に対する重みを最適化することが期待される．図 1 に示す

MERT と PRO では Moses[5] の実装を使用し，PRO に用いる２値識別器として MegaM[8] を使用した．スコアは3 回の平均値を用いて，翻訳仮説は 50 として，イテレーション回数は 25 回とした．

ように音声認識用の辞書を用意し, 単語単位で一致した個数をカウントする．

図 1: 認識単語の頻度

5. 実験結果と考察
5.1. 実験条件
実験で利用したデータは表 2 の通りである．HMM 音響モ
デルを使用し学習には CSJ の男女講演データ 486 時間を

図 2: チューニングデータにおける翻訳精度使用した．原言語と目的言語の言語モデルの学習には旅行
会話コーパス BTEC のデータを原言語では 12k 文，目的言語では 162k 文を使用し Trigram 言語モデルを使用した．
翻訳モデルの学習には BTEC162k 文の日本語と英語のパラレルコーパスを使用し，翻訳モデルは Moses[5] によって構築されたフレーズベース翻訳モデルである．チュー
ニングは BTEC の 1,220 文の日本語の音声データを使用し，テストはチューニングでは使用していない BTEC の1,220 文の日本語の音声データを使用した．
表 2: 本実験で使用したデータサイズ
学習データ (音響モデル)

486 時間

学習データ (言語モデル (原言語))

12k 文

学習データ (翻訳モデル)

162k 文学習データ (言語モデル (翻訳言語))

162k 文チューニングデータ

1,220 文テストデータ1,220 文図 3: テストデータにおける翻訳精度

5.3. 実験結果と考察
実験結果を図 2，図 3 に示す．MERT と PRO の両手法に5.2. チューニング条件

おいて認識の n-best を考慮した方が BLEU スコアが減少

MERT と PRO を最適化手法として使用し，音声認識で出している．これは音響モデルスコアが反映されていない力される認識仮説は 1-best と 50-best を使用した．翻訳ため音声認識の n-best 候補の中から正解でない翻訳しやの素性はベースラインで通常の 14 素性を使用した．さらすい候補を選び翻訳したためである．また MERT においに認識の n-best を考慮したシステムでは，2.1 節で説明てチューニングデータ，テストデータ共に音響的特徴量が― 566 ―Copyright(C) 2013 The Association for Natural Language Processing.
All Rights Reserved.

BLEU スコアを上昇させていることが確認できる．PRO
においては n-best を利用することにより BLEU スコアがてみる．この単語が含まれる場合とそうでない場合において分析を行った．その分析で発見した例を表 5 に示す．

低下しており，音響的特徴量を素性として加えることにより，BLEU スコアの上昇が見られたが，1-best の PROの値を超えるほどではない．今回は各手法によるチュー

表 5: 認識単語と効果の例

ニング時間の計測も行った．MERT は 1best で 5,106 秒，認識単語

英文

n-best で 28 万秒，音響的特徴量を考慮した n-best では

すみません が ウェイトレス さん

excuse me , miss .

48 万秒の時間がかかったが，PRO では 1-best で 3933 秒，n-best で 10 万秒，音響的特徴量を考慮した場合で 23 万

すみません か ウェイトレス さん

excuse me ? miss mr .

秒と MERT に比べチューニングに要する時間は大きく減少している．
本研究で提案した認識単語の頻度も BLEU スコアの上昇「か」ではハテナ
この例より「が」ではコンマとなり，となっており，期待した効果を確認できた．に寄与していおり，BLEU スコアがチューニングデータ

6. Conclusion

においては 1.7、テストデータにおいては 0.4 程度の翻訳精度の向上が見られ，多くの素性を用いることが BLEU

本研究では新たな素性を加え，PRO による同時最適化のスコアの向上に寄与することが確認できた．新しい素性検討を行った．実験結果より PRO はチューニングにおいに期待した効果は下記の 2 点である．て MERT に比べると精度が劣るが，多くの素性を用いることで精度が向上することが確認できた．今後は素性と• フィラーなどの余分な単語の除去

データ数を増加し PRO の効果を検証していきたい．また• 翻訳に重要な単語が含まれる候補の優先的選択

MIRA[9] など PRO 以外に多くの素性に対応可能な学習法が存在するため，これらの同時最適化を用いた際の効果

これらの効果について分析を行った．まずフィラーに関を検証したい．

して，フィラーと最適化によって出力された重みの関係性を表 3 に示す．フィラーと思われる認識単語の重みは7. References

おおむねマイナスとなっており，観測された分だけ，そ[1] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu.
BLEU: a msthod for automatic evaluation of machine translation. In
Association for Computational Linguistics, 2002.の認識候補を選ばないように学習していることが分かる．
次に翻訳に重要な単語が含まれる候補を優先的に選択す表 3: フィラーに対して学習された重み
フィラー

重み

フィラー

重み

え-0.0562

いっ-0.0035

う-0.0346

おっ-0.0001

わ-0.0123

えっ-0.0045[3] Mark Hopkins and Jonathan May. Tuning as ranking. In EmpiricalMethod in Natural Language Processing, 2011.
[4] Franz Josef Och and Hermann Ney. Discriminative training and maximum entropy models for statistical machine translation. In Association
for Computational Linguistics, 2002.
[5] P. Koehn, H. Hoang, A. Birch, C. Callison-Burch, M. Federico,
N. Bertoldi, B. Cowan, W. Shen, C. Moran, R. Zens, et al. Moses:
Open source toolkit for statistical machine translation. In Association
for computational linguistics, volume 45, page 2, 2007.
[6] Franz Josef Och. Minimum error rate training in statistical machinetranslation. In Association for Computational Linguistics, 2011.

表 4: 最大と最小の学習された重み認識単語

重み

認識単語

重みが0.2218

か-0.5516

お0.1363

二-0.1541

を0.1223

え-0.0562[2] Xiaodong He, Li Deng, and Alex Acero. Why word error rate is nota good metric for speech recognizer training for the speech translation
task. In ICASSP, 2011.

[7] Hermann Ney. Speech translation: Coupling of recognition and translation. In IEEE, 1999.
[8] Hal Daumé III. Notes on CG and LM-BFGS optimization of logistic
regression. http://hal3.name/megam/, August 2004.
[9] Taro Watanabe, Jun Suzuki, Hajime Tsukada, and Hideki Isozaki. Online large-margin training statistical machine translation. In Empirical Methods in Natural in Natural Language Processing and Computational Natural Language Learning, 2007.

る場合について述べる．表 4 より，最も重みが高くなったのが「が」や「を」のような機能語である．例として重みが高い「が」と重みの低い「か」という単語に着目し― 567 ―

Copyright(C) 2013 The Association for Natural Language Processing.
All Rights Reserved.