Average Token Delay: 同時翻訳の遅延評価尺度
加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学{kano.yasumasa.kw4,sudoh,s-nakamura}@is.naist.jpとに示したものである。SRC と TGT はそれぞれ、概要入出力の 1 トークンを示す。wait-k [1] は、最初に同時翻訳は、話し手が話し終わる前に翻訳を開始

𝑘 トークン待って、その後は1 トークン入力を待するタスクである。大きな遅延を許容すれば、翻訳

ち、1 トークンの質を向上させやすいが、会話など即時性が求めらす。chunk-k は、𝑘 トークン待って 𝑘 トークン出力れる場合には、翻訳の質をできるだけ下げずに遅延するというのを繰り返す。近年の同時機械翻訳モデを抑える必要がある。この遅延を測る既存の指標は、翻訳の出力開始時に着目し、出力の終了時を十ルの翻訳の遅延評価には Average Lagging (AL) [1] が用いられてきた。これは、各翻訳単語の出力に必要分に考慮していなかった。しかし、ある部分の翻訳となる入力単語の数をもとに計算される。図 2 は、の出力終了が遅れると、次の部分の翻訳の出力開始入出力を同時に、かつ 1 トークンの入出力を同じ時を遅らせることにもつながり、即時性が失われる。

間で実行できると仮定した wait-k と chunk-k の訳出

そこで、本稿では、翻訳の終了時に着目した新しいタイミングを示している。ここでは簡略化のために遅延評価尺度である Average Token Delay (ATD) を提計算時間を省略している。この図からわかる通り、案する。同時機械翻訳の実験を行い、既存の遅延評

wait-k と chunk-k は、この仮定の下では入出力のタ価尺度と比較して、より様々な訳出タイミングの決イミングが完全に一致する。よって、これらの遅延め方の評価に適していることを確かめた。

は同一になるはずである。しかし、実際にこれら

1の AL を実際に計算すると、wait-k の AL は、 15
5 = 3,はじめに

chunk-k の AL は 137 ≈ 1.857 で、chunk-k の方が大幅に遅延が小さいと評価される。このように、チャンWait-3
SRC SRC SRC

SRCTGTSRCTGTChunk-3
SRC SRC SRC

SRC
SRCTGTTGTTGT TGT TGTSRC SRC SRCTGT TGT TGT

123456SRCTGT TGT TGT

789101112TGT1314

図 1 step ごとの wait-3 と chunk-3

Chunk-3
SRC SRC SRC / SRC SRC SRC / SRC
TGT TGT TGT / TGT TGT TGT / TGT
2

図2345677

ク翻訳が長くなるほど、AL は遅延を小さく評価する傾向がある。しかし、実際には、前のチャンクの翻訳が出力し終わらないと次の翻訳が出力できないため、チャンク翻訳の長さは遅延につながる。そこで、本稿では、出力翻訳の終わるタイミングに着目した遅延尺度である Average Token Delay (ATD)1）をWait-3
SRC SRC SRC / SRC / SRC / SRC / SRC /TGT / TGT / TGT / TGT / TGT TGT TGT

1

翻訳を出力するというのを繰り返

89

time-synchronous な wait-3 と chunk-3

提案する。同時機械翻訳の実験を行い、複数のモデルを AL と ATD で比較し、ATD は wait-k のみでなく、チャンクベースのモデルの遅延もより適切に測れることが分かった。

2関連研究
これまで AL 以外にも、いくつかの遅延尺度が提案されてきた。Consecutive Wait (CW) [2] は文の局所的な遅延を評価する。Average Proportion (AP) [3] は始めるタスクである。図 1 は、二種類の基本的な文全体の遅延を評価するが、入出力のタイミング決定戦略が同じでも、文の長さによって、遅延の値が同時機械翻訳戦略による入出力過程をステップご

1） https://github.com/facebookresearch/SimulEval に実装予定

同時翻訳とは、話し手が話し終わる前に翻訳を大きくことなってしまうという問題があった。AL

表 1 (4) 式の例

𝐿 𝑎𝑐𝑐

は、理想的なタイミングとのズレをもとに計算することによって、その問題を改善した。AL は以下の

𝑥1

( 𝒚 𝑐 (𝑡 ) −1 ) − 𝐿𝑥2𝑥3 /𝐴𝐿 𝑔 (𝒙, 𝒚) =1
𝜏𝑔 (|𝒙|)𝜏=1)𝑔(𝜏) −

𝜏−1.
𝑟

𝜏𝑔 (|𝒙|) = min{𝜏 | 𝑔(𝜏) = |𝒙|}

𝐿 𝑎𝑐𝑐
(1)

𝑥1𝒙5𝑥6 /𝑦1𝑦2𝑦3 /𝑎𝑐𝑐

𝑦4 𝒚5𝑐(𝑡)−1(𝒙)>0𝒙4𝑥5𝑥6 /𝑦1𝑦2𝑦3( 𝒚 𝑐 (𝑡 ) −1 ) − 𝐿𝑥2𝑥3 /(2)𝑥1

後の入力単語を読み終わった直後に出力した翻訳単

𝑥2

𝑆 > 𝐿 𝑎𝑐𝑐

提案尺度𝑥1src
tgt

2. Policy : WRITE

src
tgt

3. Decode and Output
speech segment

src
tgt

4. Policy : WRITE

src
tgt

5. Decode and Output
speech segment

src
tgt

6 . Policy : READ

src
tgt

7 . Policy : WRITE

src
tgt

8 . Decode and Output
speech segment

𝑥2

𝑦2𝒚3

(𝒙 𝑐 (𝑡 ) )𝒙3 /𝑦1𝑦2𝑦3𝒚4

入力文 𝒙 と出力文 𝒚 がそれぞれ、𝒙 = 𝒙 1 , 𝒙 2 , ..., 𝒙 𝐶と 𝒚 = 𝒚 1 , 𝒚 2 , ..., 𝒚 𝐶 というチャンクに区切られるとする。それぞれのチャンクは、さらにサブセグメントに分かれる。テキストの場合は単語または文字がサブセグメントとなる。音声の場合は、0.3 秒で 1単語の発話があると仮定し、チャンクを 0.3 秒の長さのサブセグメントに分割し、余りも１つのサブセグメントとする。その結果、入力文と出力文はそれ
ぞれ 𝒙 = 𝑥 1 , ..., 𝑥 | 𝒙| 、𝒚 = 𝑦 1 , ..., 𝑦 |𝒚 | というサブセグメントの系列として表せる。ATD は以下の式で定義される。

src図 3
tgt|𝒚 |)1 ∑(ATD(𝒙, 𝒚) =𝑇 (𝑦 𝑡 ) − 𝑇 (𝑥 𝑠 (𝑡 ) )| 𝒚| 𝑡=1(3)

ここで、Step ごとの speech-to-speech 同時機械翻訳の例
7 . Detect boundary

本稿では、Average Token Delay という新しい指標

src
8 . Encode and Decodeを提案する。まずは、speech-to-speechの翻訳においtgtて説明し、それを speech-to-text、text-to-textへの同時
9 . Output Speech
翻訳へと一般化する。

3.1

𝒙3 /
𝑦1

語のインデックスを表す。r は | 𝒚|/|𝒙| で定義される。

1. Policy : READ𝒚5

𝑆 ≤ 𝐿 𝑎𝑐𝑐 (𝒙 𝑐 (𝑡 ) )るために読んだ入力単語の数を表す。𝜏𝑔 (|𝒙|) は、最src
tgt𝑦4 /

表 2 (5) 式の例

𝑔(𝜏) は単調増加関数で、𝜏 番目の出力単語を出力す

3𝑐 (𝑡 ) −1 ) ≤ 0𝑥4

式で定義され、𝜏𝑔∑( | 𝒙| ) (𝑎𝑐𝑐 (𝒙segmentspeech-to-speech の同時翻訳図 3 は音声同時翻訳の音声や処理の継続長を考慮した処理時間を模式的に示したものである。白い部

𝑆 = 𝑡 − 𝑚𝑎𝑥(𝐿 𝑎𝑐𝑐 ( 𝒚 𝑐 (𝑡 ) −1 ) − 𝐿 𝑎𝑐𝑐 (𝒙 𝑐 (𝑡 ) −1 ), 0)𝑆

𝑆 ≤ 𝐿 𝑎𝑐𝑐 (𝒙 𝑐 (𝑡 ) )𝑠(𝑡) =
 𝐿 𝑎𝑐𝑐 (𝒙 𝑐 (𝑡 ) ) 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒(4)(5)とする。𝐿 𝑎𝑐𝑐 (𝒙 𝑐 ) は c 番目のチャンクまでの累積∑長であり、 𝑐𝑗=1 |𝒙 𝑗 | と表せる。𝑐(𝑡) は 𝑦 𝑡 の属するチャンク番号 𝑐 を表し、𝐿 𝑎𝑐𝑐 (𝒙 0 ) = 0、𝐿 𝑎𝑐𝑐 ( 𝒚 0 ) = 0とする。

分は、固定長の音声セグメントを示し、青い部分は𝑇 (·) はそれぞれのサブセグメントの終わるタイミ

入力を待つか出力するかの決定する時間を示し、オングを示し、図 3 で色のついた点である。ATD は、レンジの部分は、翻訳デコード時間を示す。ステッ

出力サブセグメント 𝑦 𝑡 と対応する入力サブセグメ

プ 1 から翻訳が始まり、ステップ 8 で翻訳を終え、ント 𝑦 𝑠 (𝑡 ) の時間差の平均として計算される。入出ステップ 8 における同じ色の点 (黒、赤、白) の時間差の平均として ATD は計算される。

力のサブセグメントの対応は、特に語順の大きく異なる言語ついにおいては意味的に必ずしも正しくなう。そこで、図 6 に示される通り、CW や AP のよ
うに入出力の単語がそれぞれ１ step の時間を使うとして、ATD を計算する。また、ATD は、図 2 で示さ
図4

speech-to-text 同時翻訳の遅延測定概略図

れるように、モデルが入出力を並列に行うことができると仮定して計算される。

シミュレーション

4

ATD による遅延計測の特性を示すためのシミュ
レーションの結果を以下に示す。

いが、遅延の計算においては AL と同様に、このように単純化している。

10108866ATD

図6 non-computation
aware text-to-text 同時翻訳の遅延測定概略図
AL

図 5 text-to-text 同時翻訳の遅延測定概略図4202

表 1 は、(4) 式 の 𝑚𝑎𝑥 の 中 の 例 を 表 す。
𝐿 𝑎𝑐𝑐 ( 𝒚 𝑐 (5) −1 ) − 𝐿 𝑎𝑐𝑐 (𝒙 𝑐 (5) −1 ) = 0 ≤ 0 の時は、𝑦 5 は𝑥5 に対応する。𝐿 𝑎𝑐𝑐( 𝒚 𝑐 (5) −1 ) − 𝐿𝑎𝑐𝑐

4k6ンク前までの部分入力より 1 トークン長いため、

42024

図7

AL による遅延測定

4.1

wait-k と chunk-k の比較(𝒙 𝑐 (5) −1 ) = 1 > 0の 時 は、1 チ ャ ン ク 前 ま で の 部 分 翻 訳 が １ チ ャ

wait-kchunk-k810k6wait-kchunk-k810

図 8 ATD による遅延測
定𝑆 = 5 − 1 = 4 により、𝑦 5 は 𝑥4 に対応する。このよう

長さ 10 トークンの入力文を wait-k と chunk-k で、に、ATD では前のチャンク翻訳の終了が遅くなると長さ 10 トークンの文へ翻訳する際に、k を 1 から遅延が増える。

10 まで変化させて比較した。図 7,8 がその結果を

表 2 は、(5) 式の例を表す。𝑆 = 3 ≤ 𝐿 𝑎𝑐𝑐 (𝒙 𝑐 (3) ) の示す。図 7 は 1 節で述べられたように、chunk-k と時は、𝑦 3 は 𝑥 3 に対応する。𝑆 = 4 > 𝐿 𝑎𝑐𝑐 (𝒙 𝑐 (4) ) の時

wait-k の AL に大きな差が出てしまうことを示しては、𝑥4 が存在せず、最後の入力トークン 𝑥3 に対応する翻訳が長めに出力していると捉える。そこで、いる。その一方で、ATD は図 8 で示されている通𝐿 𝑎𝑐𝑐 (𝒙 𝑐 (4) ) = 3 により、𝑦 4 は 𝑥 3 に対応する。

は、wait-9 と wait-10 は遅延の大きさが近いにも関わ{speech,text}-to-text の同時翻訳らず、ギャップが生まれてしまっている。付録にさ3.2

り、chunk-k と wait-k が一致している。また、AL でらに大きな図を示す。このように、ATD は、wait-k

図 4 は speech-to-text への同時翻訳を表している。のような 1 トークン読んで１トークン出力するとい字幕のように、テキストは同時に複数の単語を出力うのを繰り返すモデルでも、複数トークンを一度にできるため、テキストのサブセグメント (単語) の出力するチャンクベースのモデルでも、より適切な長さは無視している。図 5 は text-to-text 同時翻訳を結果が得られると考えられる。

示している。この場合、入力のテキストは基本的にstreaming ASR(自動音声認識) の結果として受け取る
ため、黄色の入力サブセグメントの長さは、ASR の処理時間となる。

3.3

Non-computation-aware ATD

コンピュータの性能や実装効率に依存せずに、同時翻訳モデルの遅延を図ることがある。そのよう

4.2

翻訳例

図 9 はチャンクベースの 3 つの異なるモデルによる同時翻訳例である。モデル１は入力文全体を待ってから、翻訳を始めているため、最も遅延が大きく、翻訳の質は高い。モデル２は、「I」の直後に区切って翻訳を始めているため、モデル１より遅延が小さいが、その分翻訳の質は落ちる。モデル３はな場合には、図 3, 4, 5, のオレンジ、青、黄色の部

モデル２に似ているが、チャンク翻訳の出力長が長分を除去し、音声セグメントの長さのみを残して、く、その分翻訳の質が落ちている。

ATD の遅延を計算する。しかし、このままでは、AL は、モデル 3 とモデル２の間に急激な差があtext-to-text の翻訳では、遅延が常に 0 になってしまり、モデル３が最も遅延が少ないと評価しているModel 1
ATD:5.4, AL:5.0, Quality: 1stI bought a pen . /私 は ペン を 買っ た 。
123 4 5 6 7 8
9 10 11 1230

BLEU

25

Model 2
ATD:3.4, AL:1.1, Quality: 2nd
I / bought a pen . /私。
/ ペン を 買っ た 。
1 2
3 4 5 67 8
9 10

PA-0
PA-1
wait-k
MU-0
MU-1
ICLP

15100.0

Model 3
ATD:4.1, AL:0.8, Quality: 3rd
I / bought a pen. /私で ござい ます 。/ペン を 買っ た 。
1 2
3 456 78 9
10 11

2.55.0

図 107.5

15.0

17.5

AL による遅延測定

2520
PA-0
PA-1
wait-k
MU-0
MU-1
ICLP

15

いるため、翻訳が終わるのが遅いモデル３よりモデ

10

ル２の方が遅延が小さいと評価することができて4681012ATDいる。
図 11

実験

1416

PA-0
PA-1
wait-k
MU-0
MU-1
ICLP

1.6

独同時機械翻訳の実験を行い、AL と ATD を比較

1.5
Ratioした。

データ

18

ATD による遅延測定

1.7

遅延尺度の効果を確かめるため、text-to-text の英

5.1

12.5

翻訳例

が、これはこれまで述べてきた通り、直感に反している。その一方で、ATD は出力長の遅延を考慮して510.0
AL30BLEU

図920

1.4
1.3
1.2
1.1

IWSLT evaluation campaign の デ ー タ を 用 い た。

1.0

WMT 2014 training set (450 万文) をトレーニングデー

0.0

タとし、IWSLT 2017 training set (20.6 万文) をファインチューニングのデータとして用いた。dev2010,

2.5

5.0

図 12

7.5

10.0
AL

12.5

15.0

17.5

Length ratio と AL

tst2010, tst2011 and tst2012 (合計 5,589 文) を開発デー

さい部分では、翻訳が参照文に比べて長めに出力さタとし、tst2015 (1,080 文) で評価した。

れてしまい、図 9 のモデル３と同様の現象が起こっ加納ら [4] に従った実験設定で、wait-𝑘 [1], Meaningful Unit (MU) [5], Incremental Constitute Label Prediction(ICLP) [6], そして Preﬁx Alignment (PA) [4] のモデルを比較した。翻訳の質と遅延の評価には、SimulEvalを用いた。

5.2

結果ている。MU は、ATD が大きくなっても、必ずしもBLEU [7] が向上していない。これは、本来より長く翻訳が出力されたことによって ATD が大きくなると同時に、翻訳の質も下がってしまったからである。

6

おわりに

図 10,11 はその実験結果を示す。図 10 の AL に比同時機械翻訳における新しい遅延尺度を提案しべると、 図 11 の ATD は各モデルの遅延の違いをた。出力翻訳長を考慮した ATD は、AL ではうまくより明確に示している。MU と ICLP は ATD におい測れないチャンクベースのモデルにも対応した。今て、遅延と精度のトレードオフが低下している。こ後は、タイミング情報のみならず、入出力単語の意の原因は、図 12 の AL が小さい範囲で length ratio が1.0 を超えているところにも現れている。AL が小味の対応関係も考慮していくことが重要である。

謝辞
本研究の一部は科研費 21H05054 の助成を受けたものである。

参考文献[1] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, KaiboLiu, Baigong Zheng, Chuanqiang Zhang, Zhongjun He,Hairong Liu, Xing Li, Hua Wu, and Haifeng Wang. STACL:
Simultaneous translation with implicit anticipation and controllable latency using preﬁx-to-preﬁx framework. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3025–3036, Flo-rence, Italy, July 2019. Association for Computational Linguistics.
[2] Jiatao Gu, Graham Neubig, Kyunghyun Cho, and Victor O.K. Li. Learning to translate in real-time with neuralmachine translation. In Proceedings of the 15th Conference of the European Chapter of the Association for
Computational Linguistics: Volume 1, Long Papers,

pp. 1053–1062, Valencia, Spain, April 2017. Associationfor Computational Linguistics.
[3] Kyunghyun Cho and Masha Esipova. Can neural machinetranslation do simultaneous translation? arXiv preprint
arXiv:1606.02012., 2016.
[4] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura.
Simultaneous neural machine translation with preﬁx alignment. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022),pp. 22–31, Dublin, Ireland (in-person and online), May2022. Association for Computational Linguistics.
[5] Ruiqing Zhang, Chuanqiang Zhang, Zhongjun He, HuaWu, and Haifeng Wang. Learning adaptive segmentation
policy for simultaneous translation. In Proceedings ofthe 2020 Conference on Empirical Methods in NaturalLanguage Processing (EMNLP), pp. 2280–2289, Online,

November 2020. Association for Computational Linguistics.
[6] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura.
Simultaneous neural machine translation with constituent
label prediction. In Proceedings of the Sixth Conference on Machine Translation, pp. 1124–1134, Online,
November 2021. Association for Computational Linguistics.
[7] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-JingZhu. Bleu: a method for automatic evaluation of machinetranslation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics,
pp. 311–318, Philadelphia, Pennsylvania, USA, July 2002.
Association for Computational Linguistics.

付録A.1

シミュレーションALA

5550454035302520151050

wait-kchunk-k0

5101520k25303540ATD

図 13 AL による遅延測定
5550454035302520151050wait-kchunk-k0510

図 141520k25303540

ATD による遅延測定

長さ 40 トークンの入力文を wait-k と chunk-k で、長さ 40 トークンの文へ翻訳する際に、k を 1 から40 まで変化させて比較した。本文の 10 トークンの場合に比べ、より chunk-k と wait-k のギャップが大きくなっている。