Vol.2014-NL-219 No.3
2014/12/16

情報処理学会研究報告
IPSJ SIG Technical Report

同時音声翻訳における翻訳精度と遅延時間を同時に考慮した評価尺度
三重野 隆史1,a)Graham Neubig1,b)

Sakriani Sakti1,c)

戸田 智基1,d)

中村 哲1,e)

概要：音声翻訳には，音声認識から翻訳された文を出力するまでにかかる遅延時間が存在する．近年注目されている同時音声翻訳では，文末を待たずに翻訳を開始することができ，遅延時間を短縮することができる．この同時音声翻訳において，翻訳精度と遅延時間を同時に考慮した評価方法は確立しておらず，システムの最適化を行うことが困難である．そこで本研究では，同時音声翻訳システムの自動評価や最適化

1. はじめに高いを可能にするために， 人手評価に基づいて評価を行い，新しい評価尺度の提案を行う．

する技術であり，長年の研究によりその性能は改善しつつある．しかし，文単位で翻訳する従来の音声翻訳 [8] が講演のような発話が長い場面に使用される場合，発話開始から翻訳開始までの時間（以降，遅延時間）が長くなる．こ

翻訳精度

音声翻訳は，ある言語の音声を異なる言語の音声に翻訳細かく分割して翻訳
more / reasonable / is there a hotel ? /内容とのずれが生じ，講演全体が理解し辛くなる．
この遅延時間の問題を解決するために，同時音声翻訳の低いのため，翻訳内容と講演者の身振りやスライドなどの表示短い

遅延時間長い

研究が行われている [1], [11] ．同時音声翻訳は文単位で翻図 1

訳する従来の音声翻訳とは異なり，文の途中で翻訳を開始するため，遅延時間を短縮することができる．同時音声翻同時音声翻訳における遅延時間と翻訳精度の関係性の例

ムが，人にとって最適であるかは明らかではない．

訳で重要となるのは，翻訳精度をできるだけ維持しつつ，そこで本研究では，同時音声翻訳システムの自動評価や遅延時間を短縮することであり，従来の研究では遅延時間最適化を可能にするために，翻訳精度と遅延時間を同時にを短縮する様々な文分割法の提案がなされてきた．

考慮した評価尺度の作成方法を提案する．具体的には，同

しかしながら，遅延時間を減らせば減らすほど，翻訳に一の入力動画に対して，精度の異なる複数の翻訳結果を作利用できる文脈情報も減るため，図 1 の例で示すように遅成し，動画に話者の実際の発話より遅れて提示する．こう延時間を短縮すると翻訳精度が劣化することも知られていすることにより，同一の動画に対して様々な翻訳精度と遅る [4]．この中で同時音声翻訳における翻訳精度と遅延時延時間を持った動画が得られ，これらを被験者に見せてラ間の相対的な重要度は比較的言及されてこなかった．つまンク形式で評価を行ってもらう．そして，遅延時間と翻訳り，人にとって遅延時間は翻訳精度，または翻訳精度は遅精度を入力として人手評価結果を推定するランキング学習

延時間と比べて，どの程度重要であるかということである．の問題として定式化し，評価関数を学習する．

このことから，各遅延時間と翻訳精度を備えたどのシステ

実験では，評価の対象に TED 講演 *1 を用い，英日方向で翻訳された結果を字幕出力として被験者に提示した．評1a)b)c)d)e)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
mieno.takashi.mh1@is.naist.jp
neubig@is.naist.jp
ssakti@is.naist.jp
tomoki@is.naist.jp
s-nakamura@is.naist.jpⓒ 2014 Information Processing Society of Japan

価データの翻訳精度の素性として人手評価（5 段階評価）と自動評価を用いる．比較検証を行った結果，人手評価を用いた場合，遅延時間と翻訳精度を入力とした評価関数が*1

http://www.ted.com

1Vol.2014-NL-219 No.3
2014/12/16

情報処理学会研究報告
IPSJ SIG Technical Report

実際に動画を見た評価者の主観と最も高い一致率を示し

表 1

評価の結果得られるデータの例
ランクた．また，先行研究で仮定されてきた，翻訳精度と遅延時事例間のトレードオフを客観的に裏付ける結果にもなった．しかし，自動評価尺度を用いた結果は人手評価に比べて精度が低く課題は残る．

2. 評価関数1れたとき，主観評価と相関のある評価スコアを返す評価関2

数 S を式 (1) のように定義する．

S = wT ϕ(x)

(1)

3

2

3

遅延/精度

遅延/精度

遅延/精度

12/0.13

3/0.14

7/0.1621/0.302/0.22

2/0.303

1/0.15

5/0.15

5/0.35

同時音声翻訳における翻訳精度と遅延時間を同時に考慮した評価を行うために，任意の同時音声翻訳結果が与えら1

時間 (sec)
提示文
時間 (sec)
提示文

表 2 提示するデータの例
00:00:00.100 - 00:00:03.000
去年 この２つのスライドをお見せして

00:00:03.000 - 00:00:05.000
過去３百万年 アラスカとハワイを除く米国と時間 (sec)

00:00:05.000 - 00:00:07.000

提示文

同じ面積があった極域の氷河がここで，ϕ は x から同時音声翻訳の評価に有用な素性を計算する関数である．本稿で ϕ(x) を遅延時間と翻訳精度

The next slide I show you will be a rapid fast forward of ……という 2 つの値を計算し，ベクトルとして返す関数とすでは次のスライドで過去25年の動きを早送りに......

る．*2 w はこの素性の相対的な重要度を表す重みベクトル時間である．本研究の目標は，この重みベクトルをデータに基づいて推定することで，同時音声翻訳において遅延時間と発話開始 遅延時間

翻訳精度が聞き手の主観に与える影響を明らかにすることであり，次節以降にその具体的な手続きを説明する．

3. 評価データの収集法
本節では，前節で述べた評価関数の推定とメタ評価に利用するための，同時音声翻訳の翻訳精度と遅延時間を同時に考慮した人手評価データの収集法を記述する．

3.1 評価データの形式
2 節の自動評価関数は動画 x を受け取り，スコア S を返す．この関数を学習するデータを作成する方法として，まず，評価者に動画を視聴してもらい，スコア S を直接 5 段階評価などで評価付ける方法が考えられる．しかし，翻訳精度と遅延時間を総合的に評価する人手評価指標は確立しておらず，その設計が容易ではない．
そこで本研究では，S を直接付与する絶対評価ではなく，複数の候補を比較して評価する相対評価を採用することでこの問題を回避する．具体的には，同一の動画に対して，複数の異なった翻訳精度と遅延時間を持った翻訳結果を評価者に見せ，理解のしやすい順にランク付けを行ってもらう方法を用いる．表 1 に，評価の結果得られるデータの例
を示す．

3.2 データの作成
1 つの動画を作成するために，まず平均文数 4〜5 文程度となるように動画の一部を選択し，切り出す．*3 文数は原*2*3

つまり，線形モデルに限定される．
4〜5 文を利用する理由は，評価文数が多すぎる場合，被験者に負担がかかりすぎて評価が曖昧になることを回避するためである．

ⓒ 2014 Information Processing Society of Japan

図 2

遅延時間の例文である英文のピリオドを基準に算出する．選択する基準は，なるべくそれ以前の内容に依存せず，発話開始のタイミングが明確であることを重視する．

3.3 翻訳結果の提示
次に，実際に評価者に見せる動画を作成する．本研究では，翻訳結果の出力を字幕データとして，被験者に提示する．音声データではなく字幕データを用いた理由は，2 つある．1 つ目は，収録音声を用いた場合，不均一な声色とイントネーションにより，評価条件を均一に保つことが困難なことである．2 つ目は，合成音声を用いた場合，合成音の明瞭性や流暢性の低さから，対象となる翻訳精度と遅延時間の評価が困難となるためである．これらの要因の扱いは今後の重要な課題であるが本稿では評価データを作成する際に，音声の個人性や明瞭性などに評価が左右されない字幕データを用いる．
表 2 に，提示するデータの一例を示す．データにはそれぞれ字幕を表示する時間が，00 : 00 : 00.100−00 : 00 : 03.000，のように与えられている．更に，3.2 項で作成した翻訳結果の提示には，無作為に選択された遅延時間を付加し，切り出した動画の開始時点を遅延 0 秒として動画の上に表示する．本研究において遅延時間とは，講演者の発話開始から翻訳データの提示までに要した時間とすることに注意されたい．具体例を図 2 に示す．図から分かるように，仮に20 秒の動画を選択した場合，翻訳結果の提示に遅延時間を 5 秒設けると，その動画は合計 25 秒の動画となる．た2

Vol.2014-NL-219 No.3
2014/12/16

情報処理学会研究報告
IPSJ SIG Technical Report

だし，この場合，伸びた表示の時間だけ提示する動画の長表 3さを伸ばすこととする．

3.4 動画の評価
動画の評価には，理解のしやすい順にランクを付ける方

評価データの翻訳精度
TED S-rank Travatar

BLEU+1

0.23

0.18

0.22

RIBES

0.71

0.59

0.68

人手評価 (5 段階)

3.85

3.01

2.15法を用いる．具体的には，ひとつの画面に異なる翻訳精度画に対して英日方向に翻訳された結果を付与した 3 つの字と遅延時間を持つ同一の動画を複数提示し，被験者に任意幕付き動画を視聴しながら内容の理解しやすさを基準に 1のタイミングで視聴して貰いランク付けを行う．このとから 3 のランク付けを行ってもらった．ランク付けを被験き，正確な評価データを得るために同一の動画に関しては者 10 人が行い，被験者は全て日本語を母国語とする．

何度でも視聴し比較することは可能とする．

4. ランキング学習による重みの推定

TED 講演を選んだ理由は，2 つ挙げられる．1 つ目は，リアルタイム性の高い動画であるからである．動画には講演者の身振りやスライドが含まれており，遅延時間が長く前節で述べたデータを用いて重みベクトルを推定する．

なると翻訳内容と講演者の身振りやスライドなどの表示内重みベクトルの推定にはランキング学習を使用する．ラン

容とのずれが生じ易いため，同時音声翻訳の評価タスクにキング学習の目的は，提示された動画から抽出された素性適している．2 つ目は，TED 講演が機械翻訳の性能を評価ベクトル（本稿では翻訳精度と遅延時間）に基づき，各動する際のテストセットとして頻繁に使用されているからで画に対するランキングを出力することである．ランキング

ある．

学習の学習データは，動画から抽出された素性ベクトル3.2 項のもと，20 秒から 30 秒程度の動画を 10 種類用意

ϕ(x) と評価者により判定されたランク yi ∈ {1, 2, ...} のペ

し，無作為に選ばれた翻訳結果と遅延時間を付加した字幕

ア集合 {(ϕ(xi ), yi )}mi=1 により構成される．ランキング学データを与えた．今回の評価データでは，1 動画の平均文

習では，素性ベクトル ϕ(x) のランクが高い（つまり，数数は約 4.3 文となった．また，動画にはスライドを含むも字が低い）ほど大きな値を出力する関数 f : S を作成するの（翻訳データと表示内容の遅延が分かりやすいもの）と，ことが目標となる．

スライドを含まないものを同数用いた．

関数 f を f (ϕ(x)) = wT ϕ(x) とすると，ランキング学習は各インスタンスのペア (i, j), ϕ(xi ) ̸= ϕ(xj ) に関して，yi < yj ⇔ f (ϕ(xi )) > f (ϕ(xj ))⇔ wT (ϕ(xi ) − ϕ(xi ))【翻訳データ】
翻訳データには，TED の字幕データ，S ランク（通訳経験年数 15 年）[13] の同時通訳者が同時通訳を行なった際の書起しデータ，機械翻訳システム Travatar[9] の翻訳デー
タの 3 種類を用いた．字幕データの表示時間には，TED よとなる重みベクトル w を求めることになる．このようなりダウンロードできる字幕データを元に作成した．講演者

ベクトルを適切に学習するため，各素性ベクトルのペアの発話タイミングと字幕の表示タイミングに大きなずれがを考え，新たに {(ϕ(xi1 ) − ϕ(xi2 )), zi }ni=1 を作成する．こ無いことをあらかじめ確認した．

こで，
+1 y < yi1i2zi =−1 yi1 > yi2

翻訳精度には，自動評価尺度 BLEU+1[7] 及び RIBES[6]，人手評価の 3 つを用いた．人手評価には忠実性を 5 段階評
価 [2] で被験者 5 人に評価を行ってもらい，その結果を加算平均して用いた．なお，学習の際にすべての翻訳精度がであり，n は全ての可能なペア数を表す．この新たなデー同じスケールになるように人手評価の 5 段階を 0-1 の間にタを学習データとして 2 クラス分類問題を解くことによっなるように正規化する．自動評価を計算する際に，日本語て上記の大小関係を満たす関数を学習することができる．の単語分割には KyTea[10] を使用した．参照訳には TED

その際に，同じペアで順序を入れ替えただけのペアは境界の字幕データとは異なる翻訳者の翻訳結果を用いた．各評からの距離が等しいという特徴を利用し，z = +1 のペア

価データの翻訳精度を表 3 に示す．

のみ学習に利用する．

【遅延時間】

5. 実験的評価
本節では，実験設定および実験結果について記述する．

遅延時間は秒単位で，D = {0, 1, 2, 3, 5, 7, 10} の 7 種類で与えた．3.3 項で示したように，今回の評価データにおいて遅延時間は発話開始からの時間とした．
【学習・評価】

5.1 実験設定

学習器には LIBLINEAR[3] を用いた．正則化係数を調【評価データ】

整したところデフォルトの 1 で最も高い精度となっため，評価データには TED 講演を使用し，被験者は同一の動ⓒ 2014 Information Processing Society of Japan3

Vol.2014-NL-219 No.3
2014/12/16

情報処理学会研究報告
IPSJ SIG Technical Report5

重み w と分類精度 Acc : 遅延時間 (D)，翻訳精度 (A)

素性評価尺度

Dw の比wAcc

遅延精度

平均分散--0.09---0.67

BLEU+1-0.98--0.50RIBES--0.02--0.44

人手評価

-2.07

--0.71

BLEU+1-0.09

0.67

7.2

22.00.66

RIBES

-0.09

0.06

0.6

2.00.67

人手評価

-0.10

2.27

22.0

1.4

0.81

AD+A4

人手評価

表 4321

学習器の結果の評価方法を述べる諸設定はデフォルトのま0

まとした．
図 35.2 実験結果

246Delay (sec)810

評価関数によって得られたヒートマップ (人手評価)

S = −0.1 ∗ 遅延時間 + 2.27 ∗ (翻訳精度 ∗ 0.25 − 0.25)

ランキング学習の結果，得られた翻訳精度と遅延時間の重み及びその比と分類精度 Acc を表 4 に示す．D は素性には同じ翻訳システムに 5.5 秒の遅延時間を加えることと同遅延時間のみを用いた場合，A は素性に翻訳精度のみを用じであると示している．今回の評価実験により得られた評

いた場合，D+A は素性に遅延時間と翻訳精度を用いた場

価関数 S をヒートマップとして図 3 に示す．ヒートマップ

合をそれぞれ表す．ここで，Acc はランク正解率を示しての左上に行くに従い評価スコアが高くなり，右下に向かうおり，チャンスレートは 0.5 である．遅延時間及び翻訳精ほど評価スコアが低くなっていることが分かる．今後の同度の重みは，各動画の平均値を表しており，重み w の比は

時音声翻訳に関する研究では，図 1 のようなシステムごと翻訳精度の重みを遅延時間の重みで割ったものである．の遅延時間と翻訳精度を表したグラフを上記のヒートマッ

この結果からまず，遅延時間のみもしくは人手評価によプと照らし合わせることで，実際にどのシステムが最も主る翻訳精度のみを素性とした場合には，分類精度がチャン観的に良いかがある程度明らかになる．ただし，このようスレートを上回っていることが分かる．このことから，人なヒートマップは言語対，分野，提示法に依存することも手評価による翻訳精度と，遅延時間は素性として有効であ容易に考えられ，これらの影響を調べるのは重要な課題でるといえる．更に人手評価の場合，遅延時間と翻訳精度をある．

同時に素性とすることにより分類精度が更に上昇すること

6. 関連研究が確認された．これは，同時音声翻訳システムの評価の際に，翻訳精度と遅延時間を同時に考慮することの有用性を示している．

同時音声翻訳のための文分割位置に関する研究は，近年になっていくつか提案されている [1], [11], [12]．しかし，翻訳精度のみを素性としたとき，自動評価尺度の分類精ここに挙げたいずれの手法も，同時音声翻訳における翻訳度はチャンスレートを上回らず，動画に対する評価との相精度を維持したまま遅延時間を短縮する手法の提案に留ま関が無いことが分かった．つまり，既存の自動評価尺度だり，翻訳精度と遅延時間の関係性に関しては言及してこな

けでは同時音声翻訳システムを主観に基づいた評価ができかった．文献 [5] は，遅延時間と翻訳精度を同時に評価すないことが明らかになった．これは，n-gram 一致率を用る関数を提案しているが，強化学習の報酬関数に用いる目いて測るような既存の自動評価尺度では，意訳を考慮する的で考案されたものであり，主観評価に基づいてその妥当ことができないため，訳出の意味が人にとっては妥当だと性が議論されているわけではない．そこで本研究では，主しても，参考文と異なった言い回しをしていれば不当に評

観評価に基づいた同時音声翻訳システムの翻訳精度と遅延価が下がるためだと考えられる．具体例を表 5 に示す．こ時間を同時に考慮して評価のできる新しい評価尺度の提案の表から分かるように，BLEU+1 及び RIBES では TEDを行った．と Travatar の翻訳精度は同程度であるが，人手評価では7. おわりにTED の翻訳結果ほうが Travatar よりも良いと判断されている．

本研究では，同時音声翻訳システムの評価手法として，w の比で分かるように人手評価の場合，翻訳精度と遅延翻訳精度と遅延時間を同時に考慮した評価方法の提案を時間の間ではトレードオフの関係性が見られた．人手評価行った．その結果，人手で測る翻訳精度と遅延時間は両方，に 5 段階評価を用いたため，翻訳精度が 1 段階あがること同時音声翻訳の結果を付与した動画を視聴した被験者の主ⓒ 2014 Information Processing Society of Japan4

Vol.2014-NL-219 No.3
2014/12/16

情報処理学会研究報告
IPSJ SIG Technical Report
表 5 人手評価と自動評価の例
例文
原言語文

Now, it wasn’t until this point that I realized that these photos were such a huge

BLEU+1RIBES

人手評価------

0.12

0.64

3.60

part of the personal loss these people had felt.
参照文

この写真は被害者が受けた個人的なダメージの非常に大きな一部であることに、その時になって気づきました。

TED 字幕

この時 私は初めて気付いたのですが、これらの写真は被災者が味わった個人的な、喪失感の大きな部分を占めていたのです。

S-rankでこの時点で、得た写真は 持ち主にとっては大変大切なんだろうと思いました。

0.09

0.72

2.20

Travatar

今、この写真を自己喪失感じました人のような大の部分があるのに気づきましたのは、こ

0.16

0.64

1.20

こまでありませんでした。

観評価との相関が見られ，精度と遅延を同時に考慮した方[11]が，高い評価精度が得られた．また，5 段階の人手評価と遅延時間はトレードオフの関係にあり，評価が 1 段階上が[12]るごとに 5.5 秒の遅延が許される結果となった. 今後の課題としては，自動評価における精度改善，非線形なモデルへの適用，音声データを用いた評価などが挙げられる．
[13]

謝辞
本研究の一部は JSPS 研究費 24240032 の助成を受け実施したものである．

Oda, Y., Neubig, G., Sakti, S., Toda, T. and Nakamura,S.: Optimizing Segmentation Strategies for Simultaneous Speech Translation, Proc. ACL (2014).
Ryu, K., Mizuno, A., Matsubara, S. and Inagaki, Y.: Incremental Japanese spoken language generation in simultaneous machine interpretation, In Proc. Asian Symposium on Natural Language Processing to Overcome language Barriers (2004).
Shimizu, H., Neubig, G., Sakti, S., Toda, T. and Nakamura, S.: Constructing a Speech Translation Systemusing Simultaneous Interpretation Data, Proc. IWSLT(2013).

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

Bangalore, S., Sridhar, V. K. R., Golipour, P. K. L. andJimenez, A.: Real-time Incremental Speech-to-Speech
Translation of Dialogs, Proc. NAACL (2012).
DARPA: Linguistic Data Annotation Specification: Assessment of Fluency and Adequacy in Arabic-English
and Chinese-English Translations (2002).
Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R.
and Lin, C.-J.: LIBLINEAR: A Library for Large Linear
Classification, Journal of Machine Learning Research,Vol. 9 (2008).
Fujita, T., Neubig, G., Sakti, S., Toda, T. and Nakamura, S.: Simple, Lexicalized Choice of Translation Timing for Simultaneous Speech Translation, Proc. 14th InterSpeech (2013).
Grissom II, A., He, H., Boyd-Graber, J., Morgan, J. andDaum’e III, H.: Don’t Until the Final Verb Wait: Reinforcement Learning for Simultaneous Machine Translation, Proc. EMNLP, pp. 1342–1352 (2014).
Isozaki, H., Hirao, T., Duh, K., Sudoh, K. and Tsukada,
H.: Automatic Evaluation of Translation Quality for Distant Language Pairs, Proc. EMNLP, pp. 944–952 (2010).
Lin, C.-Y. and Och, F. J.: A Method for Evaluating
Automatic Evaluation Metrics for Machine Translation,
Proc. COLING, pp. 501–507 (2004).
Matusov, E., Mauser, A. and Ney, H.: Automatic Sentence Segmentation and Punctuation Prediction for Spoken Language Translation, Proc. IWSLT, pp. 158–165(2006).
Neubig, G.: Travatar: A Forest-to-String MachineTranslation Engine based on Tree Transducers, Proc.
ACL, pp. 91–96 (2013).
Neubig, G., Nakata, Y. and Mori, S.: Pointwise Prediction for Robust, Adaptable Japanese MorphologicalAnalysis, Proc. ACL, pp. 529–533 (2011).

ⓒ 2014 Information Processing Society of Japan

5