情報処理学会研究報告
IPSJ SIG Technical Report

同時性を考慮した音声翻訳システムの検討
藤田 朋希

Graham Neubig

Sakriani Sakti

戸田 智基

中村 哲

概要：従来の音声翻訳システムでは発話から合成までに生じる遅延が大きく，ニュースや講演の内容をリアルタイムで理解することが困難である．そこで，本研究では音声翻訳システムの遅延の原因として考えられる機械翻訳モジュールの開始時間および処理時間の改善を図る．具体的にはフレーズベース機械翻訳のフレーズテーブルを用いて，翻訳単位を短くする方法を提案し，翻訳の精度と同時性への影響を調査する．実験的評価により，翻訳開始および翻訳処理の時間が減少させることができることを確認した．
キーワード：音声翻訳システム，同時通訳，遅延Towards a Speech Translation System Considering Simultaneity
Abstract: In conventional speech translation systems, it is diﬃcult to understand the content of news andlectures in real time, because of the large delay between the begining of the utterance and the end of synthesis. In this research, we try to improve translation start time and translation processing time of the machinetranslation module. Concretely, using the phrase table of phrase-base translation, we propose a methodof shortening the translation unit and examine the eﬀect on translation speed and accuracy. Through experimental evaluation, we confirmed the fact that translation start time and translation processing timedecrease.
Keywords: speech translation system，simultaneous translation，delay

1. はじめに行う音声認識 (ASR) モジュール，書き起こされたテキス
トから目的言語への翻訳を行う機械翻訳 (MT) モジュー

世界各国において，留学，出張，海外旅行など，多言語ル，翻訳結果を再生する音声合成 (TTS) モジュールから構でコミュニケーションをする場面が増加している．また，成される．通常，ASR モジュールが終了するまで MT モ

国内においても海外のニュースや講演を見て情報を収集

ジュールを開始せず，MT モジュールが終了するまで TTSすることで，知識を深め，日常生活や業務に活かすことがモジュールを開始しない．このため，発話から合成までにできる．このような場面で内容をスムーズに理解するため生じる遅延が大きく，ニュースや講演の内容をリアルタイには，発話に含まれている情報を正確に把握するだけでなムで理解することが困難である．

く，話の流れについていけるようにリアルタイムで情報を音声翻訳システムの遅延の主な原因として，MT モジュー得る必要がある．これを音声翻訳システムで支援するためルの開始時間および処理時間が考えられる．通常の機械には，同時通訳者のようなリアルタイムかつ高精度な翻訳翻訳単位として文が用いられるため，1 文の発話が終了すを行う技術が必要不可欠となる．

るまで MT モジュールを開始することができず，待ち時音声翻訳システムの翻訳精度改善については，精力的な間が長くなる．また，翻訳単位が長くなればなるほど，処研究がなされており，多大な研究成果が得られている一方理時間は増加する．この問題に対して，従来の音声翻訳シで，同時通訳者のようなリアルタイムでの翻訳結果出力にステムよりも翻訳単位を短くとることができれば，MT モ

ついては，未だ数多くの問題が残されている．従来の音声

ジュールの開始時間を速くし，処理時間を短縮できると考翻訳システムは，発話内容からテキストへの書き起こしをえられる．
本研究では，音声翻訳システムの遅延の原因として考え

奈良先端科学技術大学院大学
Nara Institute of Science and Technology

られる MT モジュールの開始時間および処理時間の改善

c 2012 Information Processing Society of Japan⃝11

情報処理学会研究報告
IPSJ SIG Technical Reportを図る．具体的には，フレーズベース機械翻訳のフレーズテーブルを用いることで，フレーズベース機械翻訳が持つ汎用的な言語非依存性を保持しつつ，翻訳単位を短くする方法を提案する．まず，原言語のフレーズパターンを利用することで，翻訳単位を決定する手法を提案する．さらに，翻訳単位が短くなりすぎて翻訳精度が劣化することを防ぐために，両言語の語順が同等である確率 (right 確率) を利用して、翻訳単位の長さの調整を行う手法も提案する．提案法における翻訳の精度と同時性への影響を調査するため
図 1に，旅行対話のデータを利用して，翻訳単位の長さと翻訳フレーズテーブルによる翻訳単位の決定精度の関係を検証する．フレーズテーブルと right 確率をフレーズとは原言語および目的言語を翻訳しやすい単語用いた翻訳単位の決定方法により，翻訳開始および翻訳処列に区切った単位のことであり，単語単位で翻訳をするよ理の時間を減少させることができることを示す．

りも翻訳精度が良いとされている．表 1 にフレーズテーブ
ルの例を示す．フレーズテーブルは原言語と目的言語の対

2. 関連研究

訳コーパスに対して，単語アライメント [7] を行うことで，音声翻訳システムの同時性を向上させる研究として，ASR モジュールで検出される無音区間を利用して翻訳単自動的に抽出される．[6] なお，表中の 3 列目の right 確率
は第 3.3 節で詳しく説明する．

位を決定する手法 [1] がある．この手法では，音響特徴量そして，このように算出されたフレーズ対にスコアを付のみを考慮しているため，同時通訳者のように文脈によっ与する翻訳モデル，目的言語の文にスコアを付与する言語て適切な翻訳単位を選択することが困難である．

モデル，フレーズ間の並びにスコアを付与する並べ替えの

この他に，構文ルールを適用した手法 [9] もある．このモデルの 3 つを組み合わせて翻訳候補のスコアを算出する．

手法では各言語間の構文ルールを人手で構築しているため汎用性に欠け，多言語の翻訳に適用することが困難である．

3.2 フレーズテーブルを利用した翻訳単位の決定
フレーズテーブルは対訳コーパスさえあればどの言語対3. 提案法でも取得することができるため，多言語に容易に対応でき本説では，同時性の高い，かつ多言語に対応した音声翻る．このフレーズベース機械翻訳の汎用性を保つために，訳システムを実現するために，対訳コーパスから得られたまず，翻訳単位の決定にフレーズテーブルの原言語のパフレーズテーブルを利用した翻訳単位の決定方法を提案す

ターンを利用する方法を提案する．

る．2 節で述べた従来手法に比べて，提案法では同時通訳

図 1 はフレーズテーブルを利用した翻訳単位の決定の処者と同じように発話内容を考慮した翻訳単位で翻訳を行う

理を示す．原言語文の入力を F = f1 . . . fj ，現在，マッチことができ，汎用性の高い手法を用いているため多言語にの対象となっている単語列を G = g1 . . . gk とする．まず，対応できる．

F を単語単位で入力していき，G に追加していく．G に入っている単語がフレーズテーブルの原言語のパターンと表 1

フレーズテーブルの例マッチする場合は，G をそのまま保持する．G がフレーズ原言語フレーズ

目的言語フレーズ

right 確率私

I0.8

テーブルにマッチしなくなった場合，g1 . . . gk−1 を翻訳単

私はI0.3

男位として確定し，G ← gk とする．これにより，フレーズman

0.9

男 です

am a man

0.6

テーブルにある原言語の最長フレーズを翻訳単位として選

何what

0.9

何時

what time

0.7

何 時 からfrom what time

0.4

プレー

play

0.3

できcan0.7

でき ますか?

0.6

択する．
この動作の具体例として，原言語の入力を式 (1) に示す．

F= 私は男です(1)

この場合，f1 = 私 ，f2 = は ，f3 = 男 ，f4 = ですである．まず，f1 を G に追加する．すると，G = 私 と3.1 フレーズベース機械翻訳なり，これはフレーズテーブルの原言語側のフレーズとし機械翻訳はルールベース機械翻訳と統計的機械翻訳に分て存在するため G = 私 として保持する．今度は，f2 を類される．現在，統計的機械翻訳が世界的に研究の主流で追加し，G = 私 は となり，これもフレーズテーブルにあり，フレーズベース機械翻訳 [6] もその 1 種である．

存在するため G をこのまま保持する．今度は，f3 を追加

c 2012 Information Processing Society of Japan⃝

2情報処理学会研究報告
IPSJ SIG Technical Reportする．すると，G = 私 は 男 となり，これはフレーズ

表 4

翻訳単位

翻訳結果

何 時 からfrom what time

プレー でき ますか

can we play ?

テーブル中の原言語側のフレーズパターンとマッチしないため，g1 . . . gk−1 に当たる 私 は を翻訳単位として確定

フレーズテーブルと right 確率

し，G を gk に当たる 男 に置き換える．この作業を原言語の入力終了まで繰り返す．
最終的に，F は表 2 のような翻訳単位と翻訳結果となる．
表 2

フレーズテーブルのみ
翻訳単位

翻訳結果

私はI男 です

am a man

3.3 right 確率を利用した翻訳単位の長さ調整
前節で紹介したフレーズテーブルの原言語パターンを利用した翻訳単位の決定のみでは，翻訳単位が短すぎること

図 2 right 確率もあり翻訳精度の高い翻訳結果を得ることができない．

F= 何時

から

プレー

できますか

(2)

例えば，式 (2) の入力に対し，フレーズテーブルのみを利用した翻訳単位の決定による翻訳では表 3 のようになる．
表 3

フレーズテーブルのみ

翻訳単位

翻訳結果

何 時 からfrom what time

プレー

play

でき ますか?

この問題の原因として， プレー と でき ますか を 1 句の単位で翻訳すると play と can のように得たい翻訳

図 3 翻訳単位の調整

4. 実験

結果と逆順になってしまうことが考えられる．そのため，翻訳単位の長さ変えた場合の翻訳速度と翻訳精度の関係逆順になりそうなフレーズを 1 つの単位として翻訳するこについて調べるため実験を行う．さらに，閾値別の翻訳結とが出来れば，翻訳精度は向上すると期待される．

果文を見てスコアを付与してもらう主観評価実験も行う．

本報告では，逆順になりやすい句を判別する手法として，right 確率を用いる手法を提案する．right 確率とは原言語

4.1 実験設定を目的言語に翻訳する際に両言語の語順が同等である確率

本論文では，MT モジュールの改善による，翻訳速度とであり，フレーズベース機械翻訳の並べ替えモデルに利用翻訳精度の関係性に焦点を絞るために，ASR モジュールのされる．図 2 に示すように，Monotone と Discontinuous-代わりに書き起こしたテキストデータを使用し，TTS モ

right の確率の合計であり，この確率が高いほど翻訳の際ジュールにについては考慮しない．ここで，1 文単位の翻に並べ替えが不要となる確率が高い．

訳を従来システムとし，1 句単位に区切ったテキストの翻right 確率を利用した翻訳単位の調整の処理を図 3 に示訳を提案システムとする．

す．まず，図 1 の処理を行って，翻訳単位を暫定的に確定

表 5 は実験データを示しており，タスクは BTEC[10]する．その後，その翻訳単位の right 確率と閾値を比較しコーパスの旅行対話文である．また，テストデータの 1018て，閾値未満の場合は次の翻訳単位と結合して，閾値以上文は 1 文あたり 8.6 形態素しかあらず，比較的短い文からの場合は翻訳単位を決定する．例えば，閾値を 0.5 に設定なっている．長い文に対する本手法の有効性を確認するた

すると，表 4 のように right 確率が閾値を下回る プレーめに，テストデータから 11 形態素以上のみの文を使用してを翻訳単位とせず，次の でき ますか と合わせて翻訳単の実験も行う．このテストデータは表 5 の中でテスト 11+位を長く取得する．これにより，自然な英訳が得られる．と記載している．

この枠組みにおいて，閾値を 1.0 に設定すると通常の文単また，機械翻訳エンジンとして Moses[5] を用いる．設位での翻訳処理と等価となり，閾値を 0.0 に設定すると 3.2

定はデフォルトと語彙化された並べ替えモデル [4] を使用

節の方法と等価となる.

する．なお，原言語から目的言語に翻訳する際の並べ替え

c 2012 Information Processing Society of Japan⃝

3情報処理学会研究報告
IPSJ SIG Technical Report

これに対して，BLEU は閾値 0.0 の場合は 39.13，閾値 1.0

表 5

実験データ

文

形態素

形態素/文

学習データ

162,318

1,380,817

8.5

テスト10188782

8.6

テスト 11+2173092

14.2の場合は 56.32 である．このことより，翻訳速度と翻訳精度の関係はトレードオフであることが言える．
また，長い文に対しても翻訳速度と翻訳精度の関係性を調査するため，実験を行う．図 5 はテスト 11+のデータに対しての実験結果を示しており，テストのデータと同様に，翻訳速度と翻訳精度の関係はトレードオフである．テストと比べ，BLEU が全体的に 10 点から 12 点ほど減少している．また，閾値を 0.8，1.0 にした際に遅延が極端に上がり，平均形態素数の多い文では 1 文単位の翻訳に時間がかかるが閾値を小さくすることで翻訳速度を大幅に改善できる．
そのため，提案法が長い文に対して特に有効であることが分かる．
最後に，主観評価結果を表示する．この実験では入力文と閾値 0.0，0.5，1.0 にした際の翻訳結果文を見てもらいAcceptability 評価基準 [2] に沿って 0 から 5 のスコアを付与してもらう．なお，被験者は 5 人で各閾値の翻訳結果を

図 4

実験結果の制限 (Distortion Limit) を予備実験により，従来システ
ムで速度と精度のバランスを取った 12 に設定する．また，言語モデルは閾値に合わせて変更した．原言語文の翻訳単位の決定の際に設定した閾値と同じ値を使用して，目的言語文の学習単位を変更する．

4.2 翻訳の評価尺度
翻訳精度の評価尺度として BLEU[8] を使用する．同時通訳における同時性に対する確立した評価尺度がないた
め，遅延 D を翻訳速度の尺度として提案する．遅延 D は発話開始から翻訳終了までの平均時間と定義する．D の算
出には式 (3) を用いる．

D=F×U+T

図 5 実験結果 (11 形態素以上)(3)

F は翻訳する形態素数の平均を表し，テストデータに対する形態素数を翻訳回数で除算して算出する．U は 1 形態素あたりにかかる発話時間を表す．[3] の調査において，1 形態素当たりの平均発話時間が約 0.21 であったため，この値を U として利用する．T は機械翻訳システムの処理時間の平均を表し，実行時間を翻訳回数で除算して算出する．

4.3 実験結果
実験では，まず，テストに対して翻訳単位の長さにより，翻訳速度と翻訳精度の関係性を調査する．図 4 はテストのデータに対しての実験結果を示しており，閾値 0.0 の場合の D は約 0.8，閾値 1.0 の場合の D は約 2.25 で 3 倍違う．

c 2012 Information Processing Society of Japan⃝

図 6

主観評価結果4

情報処理学会研究報告
IPSJ SIG Technical Report

300 文ずつ評価する．結果は図 6 に示す．この結果から，参考文献

平均的に閾値が高いほど主観評価の結果が良い．

[1]

表 6，7，8 は閾値により翻訳結果および主観評価に差が出ていない例，翻訳結果および主観評価に差が出た例，翻訳結果に差が出たが，主観評価に差が出ていない例を示し[2]ている．
[3]

表 6 「コーラ を ください」の主観評価例
閾値

翻訳結果

Acceptability

0.0

coke , please . /50.5

coke , please . /51.0

coke , please . /

5

[4]

[5]

表 7 「もっと 手頃 な ホテル は あり ませ ん か」の主観評価例
閾値

翻訳結果

Acceptability

0.0

more / reasonable / is there a hotel ? /30.5

more / reasonable ? / is there a hotel ? /41.0

do you have a more reasonable hotel ? /

5

[6]

[7]
表 8 「サーフィン に いい 場所 を 教え て ください」の主観評価例閾値

翻訳結果

Acceptability

0.0

for surfing / tell me a good place /50.5

for surfing tell me a good place /51.0

please tell me a good surfing place ? /

5

[8]

[9]

まず，表 6 について，短い形態素の文であるため，翻訳 結 果 に 差 が 出 ず ，Acceptability も 変 わ ら な い ，対 して，表 7 は長い形態素の文であるため，翻訳結果に差があり，Acceptability にも差が生じる．しかし，表 8 は翻訳結果に差があるが，Acceptability に差がない．これは「いい 場所 を 教え て ください」を 1 句として翻訳できているからである．このように長い句をフレーズテーブル定[10]

Srinivas Bangalore, Vivek Kumar Rangarajan Sridhar,
Prakash Kolan Ladan Golipour, and Aura Jimenez. Realtime incremental speech-to-speech translation of dialogs.
In Proceedings of NAACL, 2012.
I. Goto, B. Lu, K.P. Chow, E. Sumita, and B.K. Tsou.
Overview of the patent machine translation task at thentcir-9 workshop. In Proceedings of NTCIR, volume 9,
pages 559–578, 2011.
Shigeki Matubara Haibei Yu, Koichiro Ryu. A corpusbased analysis of simultaneous interpreterfs utterance
speed. 2008.
P. Koehn, A. Axelrod, A.B. Mayne, C. Callison-Burch,
M. Osborne, and D. Talbot. Edinburgh system description for the 2005 IWSLT speech translation evaluation.
In International Workshop on Spoken Language Translation, 2005.
P. Koehn, H. Hoang, A. Birch, C. Callison-Burch,
M. Federico, N. Bertoldi, B. Cowan, W. Shen, C. Moran,
R. Zens, et al. Moses: Open source toolkit for statisticalmachine translation. In Annual meeting-association forcomputational linguistics, volume 45, page 2, 2007.
P. Koehn, F.J. Och, and D. Marcu. Statistical phrasebased translation. In Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1, pages 48–54. Associationfor Computational Linguistics, 2003.
F.J. Och and H. Ney. A systematic comparison of various
statistical alignment models. Computational linguistics,
29(1):19–51, 2003.
K. Papineni, S. Roukos, T. Ward, and W.J. Zhu. BLEU:
a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting on association for computational linguistics, pages 311–318.
Association for Computational Linguistics, 2002.
Koichiro Ryu, Atsushi Mizuno, Shigeki Matsubara, andYasuyoshi Inagaki. Incremental Japanese spoken language generation in simultaneous machine interpretation. In Proceedings of Asian Symposium on NaturalLanguage Processing to Overcome Language Barriersin Hainan Island China, 2004.
T. Takezawa, E. Sumita, F. Sugaya, H. Yamamoto, andS. Yamamoto. Toward a broad-coverage bilingual corpusfor speech translation of travel conversations in the realworld. In Proceedings of LREC, volume 1, pages 147–152, 2002.

形句として学習されている場合は訳出が悪化しない．

5. おわりに本研究では，同時性が高く，汎用性のある音声翻訳システムのための翻訳単位の決定方法を提案した．同時性については従来システムの 1 文単位の翻訳ではなく，1 句単位で翻訳する方法を提案することで，翻訳の開始時間および処理時間の減少を図った．汎用性についてはどの言語対でも自動的に計算可能なフレーズテーブルと right 確率のみを利用した．その結果，従来システムに比べ，翻訳時間を減少することが実験結果より確認できた．ASR モジュー
ル，TTS モジュールを考慮してシステムの実現を図るのが今後の課題である．

c 2012 Information Processing Society of Japan⃝5