同時通訳データを利用した自動同時通訳システムの構築☆清水宏晃，

Graham Neubig，Sakriani Sakti，戸田智基，中村哲（奈良先端大）1 はじめに
音声翻訳は，自動的にある言語の音声を異なる言語の音声に翻訳する技術であり，言語の壁を越えて人間の意思疎通を可能にする．しかし，音声翻訳にはいくつか問題点がある．例えば，音声翻訳が日常会話のようなユーザーの発話が短い場面で使用されるとき，ユーザーの発話が翻訳されるまでの処理時間は短いため，実用的に使用できる．一方，音声翻訳が講演のような発話が長い場面に使用されるとき，ユーザーの発話が翻訳されるまでの処理時間は長くなる．それゆえ，発話と翻訳の間に発生する時間のずれ（以降，遅延時間）が原因となり，ユーザーは講演の内容をリアルタイムで理解することが困難となる．
実際，講演を通訳する際は，多くの同時通訳者が，話者の発話が開始されるとまもなく，通訳を開始する．その際，同時通訳者は遅延時間を短縮するために，長い発話を短いチャンクに分割して通訳をしている ．音声翻訳における遅延時間の問題を解決するために，同時通訳者のように，自動的に長い発話が提案を短いチャンクに分割し翻訳を行う手法されている．しかし，システムの学習には，翻訳者によって作成された翻訳データが利用されているため，同時通訳者のような翻訳結果にならない．そこで，同時通訳者が同時通訳したデータ（以降，同時通訳デー
タ）を利用すれば，同時通訳者の訳出に近づき，かつ遅延時間の短縮が期待できる．
本稿では，講演を自動的に通訳する同時通訳システムの性能を改善するために，学習に同時通訳データを利用する．実験では，講演に対して同時通訳システムの性能を調査し，遅延時間と翻訳精度の観点から評価を行う．

[1℄[2℄[3℄TED

2 同時通訳データ
本節では，同時通訳システムの学習に利用する同時通訳データについて記述する．
は，講演1 を収録材料とし，英日方著者ら向の同時通訳音声を収録および書き起こしを行い，同時通訳データベースを構築している．この同時通訳データベースにおける特徴の一つとして，通訳経験年数の異なる複数の同時通訳者が同じ講演を同時通訳している点である．そのため，通訳経験年数による通訳の特徴を比較できる．
は，同時通訳データの書き起こし例を示す．通訳音声に対して文を定めることは困難なため，通訳音声を以上の無音区間によって分割したものを発話単位として定めている．
また，書き起こしデータには，フィラーや言いよどみなどの言語情報を表すタグだけでなく，各発話単位に対して発話開始時間や発話終了時間も付与している．

[4℄TED

Fig. 10.5se

0001 - 00：44：107 - 00：45：043
本日は<H>
0002 - 00：45：552 - 00：49：206
みなさまに(F え)難しい話題についてお話したいと思います。
0003 - 00：49：995 - 00：52：792(F え)みなさんにとっても意外と身近な話題です。

Fig. 1 同時通訳データの書き起こし例．F はフィラー，H は言い伸ばしのタグを示す
3

分割手法

本節では，同時通訳システムに利用する発話の分割手法について記述する．
ら
言語情報を利用した発話の分割手法がによって提案されている．この手法は，原言語を目的言語に翻訳する際に，両言語の語順の並び替えが起きにくい確率 （以降，右確率）を利用して，翻訳単位を決定する．
この手法のアルゴリズムについて記述する．まずフレーズテーブルと呼ばれる対訳データから抽出されたフレーズペアの集合を利用し，フレーズテーブルに存在する最長フレーズを仮の翻訳単位として決定する．具体的には，原言語の入力文を先頭から１単語ず
h1 ; ::: ; hj がつ単語列 H へ追加する途中で，Hフレーズテーブルの原言語に存在しなくなった場合，
h1 ; ::: ; hj 1 を仮の翻訳単位として選択する．次に，語順の並び替えが起きにくい位置で分割するために，右確率を利用し，最終的な翻訳単位として決定する．
具体的には，仮の翻訳単位の右確率と閾値を比較する．右確率が閾値を上回った場合は，最終的な翻訳単位として決定する．一方，右確率が閾値を下回った場
合は，次に存在する仮の翻訳単位と結合し，閾値と比較する．この手法の利点は，発話の途中で翻訳を開始できることである．そのため，発話がすべて終了してから翻訳する場合と比較すると，遅延時間が短縮される．

Fujita [3℄=4

同時通訳データのモデル適応

同時通訳システムの性能を改善するために，同時通訳データを学習に利用する．本節では，翻訳精度の改善及び遅延時間の短縮を目指し，同時通訳データを利用する過程について記述する．
4.1

翻訳精度の改善

統計的機械翻訳システムを構築する際に行われる
３つの過程に同時通訳データを使用し，翻訳精度の改善を試みる．
チューニング： チューニングとは，テストのドメインに特化するため，統計モデルのパラメータを最適化する方法である．その最適化に用いるデー Constru ting a Automati Simultaneous Interpretation System using Simultaneous Interpretation Data.
by SHIMIZU, Hiroaki, NEUBIG, Graham, SAKTI, Sakriani, TODA, Tomoki, NAKAMURA, Satoshi(NAIST)Table 1 実 験 で 用 い た 翻 訳 モ デ ル の 学 習 デ ー タ(TM), 言語モデルの学習データ (LM), チューニン
グデータ (tune) および テストデータ (test) に使用した TED 講演の翻訳データ (TED-T)，同時通訳デー
タ (TED-I) および英次郎辞書と付属の例文 (DICT)の形態素数
TED-T TED-I DICTTM (en) 1.57M 29.7k 13.2M
TM (ja) 2.24M 33.9k 19.1M
LM (en) 1.57M 29.7k 13.2M
LM (ja) 2.24M 33.9k 19.1M
tune (en) 12.9k 12.9k |tune (ja) 19.1k 16.1k |11.5k |
test (en) |test (ja)|14.9k |

5.1

言語モデルの学習： 言 語 モ デ ル の 学 習 に 同 時 通 訳
データを利用する理由は，機械翻訳において，言語モデルは出力文のスタイルに大きな影響を与えるため，同時通訳のような文を生成するには有効と考えられるためである． 翻訳データに比べて同時通訳データを大量に確保することが困難であるため，翻訳データおよび同時通訳データそれぞれに対して言語モデルを構築し，二つのモデルを線形補間で組み合わせる．その際，パラメータは同時通訳データに対して最適化する．
翻訳モデルの学習： 翻 訳 モ デ ル の 学 習 に 同 時 通 訳
データを利用する理由は，翻訳モデルは翻訳するフレーズに影響を与えるため，同時通訳が使用するフレーズを生成するのに有効と考えられるためである．言語モデルの学習と同様，翻訳データに比べて同時通訳データを大量に確保することが困難であるため，法を使用して，フレーズテーブルを作成する．
法とは，他のフレーズテーブルには存在するが，優先度が最も高いフレーズテーブルにないフレーズおよびスコアを，優先度が最も高いフレーズテーブルに追加する手法である．翻訳データと同時通訳データから作成した２つのフレーズテーブ
ルの内，同時通訳データを優先度が高いフレーズテーブルと設定する．

Fill-up [5℄Fill-up4.2

遅延時間の短縮

同時通訳データには，遅延時間を短縮される工夫がされており，翻訳データと比べて，並び替えが起きにくい．そのため， 節で紹介した右確率の学習に，同時通訳データを利用することで，分割される翻訳単位の数が変化すると考えられる．そのため，翻訳データに同時通訳データを加え，右確率を学習する．

35 実験
本節では，同時通訳システムの性能を評価する実験について記述する．

TEDTED

Table 1[4℄TED
LM
Champollion ToolKit[6℄ (CTK)tune test
5.2

タに対し，翻訳データの代わりに同時通訳データを使用する．

実験データ

講演に対して英日方向の通訳であタスクは，る．そのため，データには，講演の翻訳データと同時通訳データを使用する．さらに，辞書として英辞郎辞書と付属の例文2 を使用する．に示す．テストの正解文
各データの詳細はには，同時通訳データを使用している．なぜなら，翻訳データでは必ずしも通訳者に近い訳出を実現できているとは限らないことが著者らによって報告されているからである．
また，講演の同時通訳データは，文アライメントが取れていないことである． そのため，およびの学習に使用した同時通訳データには，により，自動的に文アライメントを取る．一方，とには人手で文アライメントを取る．

TM

ツールキットと評価手法

Moses [7℄(distortion limit) 12
Moses
KyTea [8℄同時通訳システムには，のフレーズベース機械翻訳を使用する．なお，デコーディングにおける並び替えの制限はと設定する．トークン化には，英語ではに含まれるスクを使用する．学習デー
リプト，日本語ではタ間の単語アライメントを取るツールには，目的言語である日本語に対して言語モデルを作成するツールにはを使用し，で学習する．各素性の重みはを用いてが最大になるように最適化を行う．
性能の評価は，遅延時間および翻訳精度の観点から行う．翻訳精度には，機械翻訳の自動評価尺度であるおよびを用いる．遅延時
間 D は，D A T で計算を行った ．A は一文あたりの音声認識に要した時間を表す．T は一文あたりのデコーディングにかかる平均時間を表す．

[9℄

SRILM [10℄MERT [11℄BLEU [12℄RIBES [13℄= +5.3

4.1

GIZA++
5-gramBLEU[3℄

同時通訳データと翻訳精度に関する実験

3

節で記載した つの過程に同時通訳データを使用し，翻訳精度の改善について調査した．実験のテス
トデータは，人手の書き起こしデータを使用した．分割法は， 節に紹介した右確率を用いた手法を使用した．右確率の学習には，のみを使用した．閾の場合を実験し値は， ， ， ， ， ，た．比較対象として，翻訳データのみの場，チュー合と，同時通訳データをチューニング
ニング及び言語モデル，チューニング，言語モデル及び翻訳モデルに追加したに示す．
場合を実験した．実験結果をより，と遅延時間の観点から評価したと比べ，翻訳精度に統グラフと見ると， は計的有意差が確認できなかった．しかし，及はと比べ，右確率が及び
び
では，翻訳精度に関して統計的有意差が確認できた．例えば，はがの翻訳結果秒要している．しかし，を得るのにはわずか秒でがの翻訳結果を得ることができた．
次に，と遅延時間の観点から評価したグラフ
及びはを見ると， ，と比べ，翻訳精度に統計的有意差が確認できなかった．考え得る原因の一つは，チューニングであ

3TED-T
0.0 0.2 0.4 0.6 0.8 1.0(Baseline)(Tu)(LM+Tu)(TM+LM+Tu)
Fig 2
Fig 2
BLEU
Tu Baseline
LM+Tu
TM+LM+Tu Baseline
0.8
1.0Baseline BLEU 7.81
5.23
TM+LM+Tu
2.08 BLEU 8.39
RIBES
Tu LM+Tu TM+LM+Tu Baseline
1 http://www.ted. om
2 http://eijiro.jp

Fig. 3 右確率の学習データを変更した場合の実験
結果

Fig. 2 同時通訳データと翻訳精度の実験結果
Table 2 テストセットにおける右確率を用いて分割された原言語側の翻訳単位数．右確率を学習したデー
タがそれぞれ TED の翻訳データのみ (W/O I)，及びTED の同時通訳データを追加したデータ (With I)
右確率 W/O I With I
0.06150 6118
6140 6105
0.2
0.45155 5097
5123 5060
0.6
0.82070 1977
1.0560
560
BLEU
RIBES
TM+LM+Tuる．今回，チューニングはを最適化するようにパラメータを決定したため，が改善しなかったと考えられる．に翻訳例を記載する．の翻に比べ短縮されており，正解
訳文の長さは，文に近づいた．

Table 35.4

Baseline

同時通訳データと遅延時間に関する実験

次に，右確率の学習データに同時通訳データを使用し，遅延時間の短縮について調査した．右確率の学習データには，翻訳データのみの場合と翻訳データに同時通訳データを追加した場合を比較した．システムの学習データには，節のを使用した．に示す．このグラフから，翻訳精実験結果を度及び遅延時間は同時通訳データを追加した場合がそうでない場合と比較して，劣化した．この原因を考察するため，右確率を用いて分割した翻訳単位の数を調べた．全ての右確率における翻訳単位数が，並び替えモデルに同時通訳データを追加した場合が，追加しなかった場合に比べ減少した．つまり，(W/O I)I)
TM+LM+Tu
Fig 3(Table 2)(With

本実験の設定では，同時通訳データを右確率の学習に用いたが，大きな変化は見られなかった．
5.5

音声認識部を考慮した実験

5.4

次に，節の実験では，テストに人手で書き起こしたデータが使用されたが，本節では音声認識したデータを使用し再度実験を行った．テストデータの単である．
語誤り率は実験結果をに示す．まず確認できることが，の場合と比較する
人手で書き起こされた結果と翻訳精度が劣化している点である．これは音声認識の誤りが原因であると考えられる．しかし，性能の傾向は，人手書き起こされたデータを用いた場合と同様であることが分かる．
また，構築した同時通訳システムの性能と実際の通に通訳経験年数訳者の性能を比較するために，年
ランク と 年
ランク の通訳者の翻訳精の観点からは，度と遅延時間をプロットした．
構築したシステムの性能は通訳者に及ばなかった．しかし，と遅延時間の観点から評価したグラフ
を見ると，
はがの翻訳秒要しており， ランクも結果を得るのに秒要してがの訳出をしている．
は日本語と英語のような並び替えが起きやすい言語対の評価に適しているため，構築した同時通訳シス
テムは ランクの通訳者とほぼ同等の性能であると考えられる．

19.36%
Fig 4

4 (A) 1 (B(Fig 2)

Fig 4)BLEU

RIBESTM+LM+Tu RIBES 44.59
2.06B2.17
RIBES 45.59
RIBES
B6

関連研究

同時通訳データを利用したシステムの構築に関する研究はいくつかなされている．
らは，構文ルールを利用した同時通訳システ．この研究は，学習データにムを構築しているの同時通訳コーパスを利用して同時通訳システムを構築している．しかし，ルールベー

Ryu
SIDB

[14℄

[15℄[16℄[17℄

Table 3 翻訳文の一例
翻訳文
原言語文
同時通訳データの正解文

Baseline(右確率 1.0)
TM+LM+Tu(右確率 1.0)

the next slide i show you will be a rapid fast forward of
what's happened over the last 25 years
この 25 年間に何が起こったかというのを早送りで見せたいと思います
次のスライドをお見せしますが急速に進んで何が起こったのです過去

次のスライドをお見せしますがこの25 年間

25 年間に起こったのです

参考文献[1℄ Roderi k Jones. Conferen e Interpreting Explained(Translation Pra ti es Explained). St. Jerome Publishing, 2002.
[2℄ Srinivas Bangalore et al. Real-time in rementalspee h-to-spee h translation of dialogs. In Pro .
NAACL12, 2012.
[3℄ Tomoki Fujita et al. Simple, lexi alized hoi e oftranslation timing for simultaneous spee h translation. In Pro . 14th InterSpee h, 2013.
[4℄ 清水 宏晃 他. 同時通訳データを利用した同時通訳用機械翻訳システムの構築. 情報処理学会 第 212 回自然言語処理研究会 (SIG-NL), 北海道, 7 2013.
[5℄ Arianna Bisazza, Ni k Ruiz, Mar ello Federi o.
Fill-up versus interpolation methods for phrasebased smt adaptation. In Pro . IWSLT, pp. 136{143, 2011.
[6℄ Xiaoyi Ma. Champollion: A robust parallel text
senten e aligner. In Pro . LREC, 2006.
[7℄ Philipp Koehn et al. Moses: Open sour e toolkit
for statisti al ma hine translation. In Pro . ACL,
pp. 177{180, Prague, Cze h Republi , 2007.
[8℄ Graham Neubig, Yosuke Nakata, Shinsuke Mori.
Pointwise predi tion for robust, adaptable Japanesemorphologi al analysis. In Pro . ACL, pp. 529{533,Portland, USA, June 2011.

Fig. 4 音声認識部を考慮した実験結果
ス機械翻訳を用いているため，多言語に対応することが容易ではない．
著者らは，学習データに同時通訳データを利用した機械翻訳システムを構築している ．しかし，翻訳精度の観点からのみ機械翻訳システムの性能を評価しており，遅延時間の観点から性能の評価が行えていない．

[4℄

7 おわりに本稿は，同時通訳データを利用することによって，同時通訳システムを構築し，遅延時間と翻訳精度から評価を行った．実験の結果，同時通訳データを学習データに使用することで，人手で書き起こしたデー
タ，音声認識の認識結果共に性能が改善した．今後の課題としては，同時通訳システムの主観評価が考えられる．

JSPS

謝辞 本研究の一部は，科研費成を受け実施したものである．

24240032 の助[9℄ Franz Josef O h, Hermann Ney.
A systemati
omparison of various statisti al alignment models.
Computational Linguisti s, Vol. 29, No. 1, pp. 19{51, 2003.
[10℄ Andreas Stol ke. SRILM - an extensible language
modeling toolkit. In Pro . 7th International Conferen e on Spee h and Language Pro essing (ICSLP),
2002.
[11℄ Franz Josef O h. Minimum error rate training instatisti al ma hine translation. In Pro . ACL, 2003.
[12℄ Kishore Papineni et al. BLEU: a method for automati evaluation of ma hine translation. In Pro .
ACL, pp. 311{318, Philadelphia, USA, 2002.
[13℄ Hideki Isozaki et al. Automati evaluation of translation quality for distant language pairs. In Pro .
EMNLP, pp. 944{952, 2010.
[14℄ Koi hiro Ryu et al. In remental japanese spoken
language generation in simultaneous ma hine interpretation. In Pro . Asian Symposium on NaturalLanguage Pro essing to Over ome language Barriers, 2004.
[15℄ Yasuyuki Aizawa et al. Spoken language orpus
for ma hine interpretation resear h. In International Conferen e on Spee h and Language Pro essing (ICSLP), pp. vol. III, page 398{401, 2000.
[16℄ Shigeki Matsubara et al. Bilingual spoken language
orpus for simultaneous ma hine interpretation resear h. In Pro . LREC, pp. vol. I, page 153{159,2002.
[17℄ Hitomi Toyama et al. Ciair simultaneous interpretation orpus. In Pro . Oriental COCOSDA, 2004.