IWSLT Evaluation Campaign:
Simultaneous Speech Translation
須藤 克仁
奈良先端科学技術⼤学院⼤学

同時⾳声翻訳•漸進的な⾳声翻訳（≠同時通訳）
so basically the purpose of this lecture course isto learn basic knowledge of sequential data modelingthat can be applied to any kind of sequential data

では 基本的に この授業の⽬的は基本知識を学ぶことです 系列データのモデル化の適⽤するのは あらゆる種類の 系列データです
第141回 ⾳声⾔語情報処理研究会（オンライン）

2

オフライン翻訳と同時通訳

3(1) The relief workers (2) say (3) they
don’t have (4) enough food, water,
shelter, and medical supplied (5) todeal with (6) the gigantic wave ofrefugees (7) who are ransacking thecountryside (8) in search of the basics(9) to stay alive.
出典: ⽔野 的 (Akira Mizuno),『同時通訳の理論：認知的制約と訳出⽅略』
第141回 ⾳声⾔語情報処理研究会（オンライン）

オフライン翻訳と同時通訳

4(1) The relief workers (2) say (3) they don’t have (4) enoughfood, water, shelter, and medical supplied (5) to deal with (6)the gigantic wave of refugees (7) who are ransacking thecountryside (8) in search of the basics (9) to stay alive.

(1) 救援担当者は (9) ⽣きるための (8) ⾷料を求めて (7) 村を荒らし回っている (6)⼤量の難⺠たちの世話をするための (4)⼗分な⾷料や⽔、宿泊施設、医薬品が (3)無いと (2) ⾔っています
出典: ⽔野 的 (Akira Mizuno),『同時通訳の理論：認知的制約と訳出⽅略』
第141回 ⾳声⾔語情報処理研究会（オンライン）

オフライン翻訳と同時通訳

5(1) The relief workers (2) say (3) they don’t have (4) enoughfood, water, shelter, and medical supplied (5) to deal with (6)the gigantic wave of refugees (7) who are ransacking thecountryside (8) in search of the basics (9) to stay alive.

(1) 救援担当者たちの (2) 話では (4) ⾷料，⽔，宿泊施設，医薬品が (3) ⾜りず (6) ⼤量の難⺠たちの (5) 世話ができないとのことです (7) 難⺠たちは今村々を荒らし回って、(9) ⽣きるための (8) ⾷料を求めているのです

出典: ⽔野 的 (Akira Mizuno),『同時通訳の理論：認知的制約と訳出⽅略』
第141回 ⾳声⾔語情報処理研究会（オンライン）

6

同時翻訳の位置づけ
同時性

原⽂忠実性

解釈性

オフライン翻訳

×

○

○

同時翻訳

○

○

△

同時通訳

○

△

○

第141回 ⾳声⾔語情報処理研究会（オンライン）

7

同時翻訳の位置づけ

オフライン翻訳

同時性

原⽂忠実性

解釈性

×

○

○

同時性と解釈性の両⽴のため⾔い換えや要約も含む⾼度な訳出を⾏う
同時通訳

○

△

第141回 ⾳声⾔語情報処理研究会（オンライン）○

8

同時翻訳の位置づけ
同時性

原⽂忠実性

解釈性

オフライン翻訳

×

○

○

同時翻訳

○

○

△

訳出順の調整（順送りの訳）のみで同時性を実現するため 解釈性に影響あり
第141回 ⾳声⾔語情報処理研究会（オンライン）IWSLTとは？
•The International Conference on
Spoken Language Translation• 2004年に第1回開催@ATR• 第17回（2020年）から呼称をconference に（略称は変更なし）• Evaluation Campaign（共通タスク）とResearch Papers（研究発表）

第141回 ⾳声⾔語情報処理研究会（オンライン）

910SIGSLT•ACL, ISCA, ELRAの合同SIG•19名のSteering Committeeメンバー• Chair: Alex Waibel (CMU)• ACL SIG President: Marcello Federico(Amazon)• ISCA SIG President: Satoshi Nakamura(NAIST)• ELRA SIG President: Sebastian Stüker(Zoom)
第141回 ⾳声⾔語情報処理研究会（オンライン）IWSLT 2022 (The 19th IWSLT)

11•ACL 2022の併設会議• 5/26-27 ダブリン（ハイブリッド）• 3/13 Research paper due• 3/14-25 Evaluation Period• Evaluation Campaign• Simultaneous / Offline / Low-Resource/ Speech-to-Speech / Multilingual /Dialect / Formality Control / Isometric• 下線のものは英⽇ (en-ja) タスクあり
第141回 ⾳声⾔語情報処理研究会（オンライン）

12

Simultaneous ST on IWSLT 2022

•https://iwslt.org/2022/simultaneous•⼊⼒の違いによる2トラック• Text-to-Text: ストリーミングASR⼊⼒• Speech-to-Text: ⾳声⼊⼒

•3つの異なる⽬的⾔語• English-to-German (2020-)• English-to-Japanese (2021-)• English-to-Chinese (2022-)
第141回 ⾳声⾔語情報処理研究会（オンライン）

データセット

13•学習データ・開発データ• MuST-C v2.0 (Cattoni+ 2020)• TED Talks 英語⾳声＋多⾔語テキスト• train, dev, tst-COMMON, tst-HE• 合計30万⽂、600時間程度• 他各種⾳声翻訳・機械翻訳データ•評価データ• MuST-C未公開データ

R. Cattoni et al., MuST-C: A multilingual corpus for end-to-end speech translation,
Computer Speech & Language, Vol. 66, Article 101155, March 2020.
第141回 ⾳声⾔語情報処理研究会（オンライン）

ベースラインシステム

14•オーガナイザが構築⽅法を公開• fairseqベースの翻訳• en-de speech-to-text• en-ja speech-to-text, text-to-text• (fairseqのバージョン不整合で難儀しました…)• torchaudioによるストリーミングASR• Emformerモデル• 学習レシピ を公開

第141回 ⾳声⾔語情報処理研究会（オンライン）

評価⽅法

15

•Dockerイメージを提出• オーガナイザがAWS上で実⾏、評価• 評価ツール SimulEval (Ma et al. 2020)•品質 (Quality) 評価• BLEU +⼀部⼈⼿評価実施予定 (en-de)•遅延 (Latency) 評価• Average Lagging

X. Ma et al., SIMULEVAL: An Evaluation Toolkit for Simultaneous Translation,
Proc. EMNLP 2020 (Systems Demonstrations), November 2020.
第141回 ⾳声⾔語情報処理研究会（オンライン）

16

Average Lagging$1
𝐴𝐿 = & 𝐿𝑎𝑔(𝑡)𝜏!"#𝑡−1
𝐿𝑎𝑔 𝑡 = 𝑔 𝑡 −𝛾𝒚𝛾=𝒙>>output (𝒚)•理想的な同時翻訳 >>input (𝒙)からの平均遅延𝑔(1)𝐿𝑎𝑔(1)𝑔(2)𝐿𝑎𝑔(2)𝑔(3)𝐿𝑎𝑔(3)𝑔(4)𝐿𝑎𝑔(4)𝑔(5)𝐿𝑎𝑔(5)

𝜏 = argmin 𝑔 𝑡 = 𝒙!

M. Ma et al., STACL: Simultaneous Translation with Implicit Anticipation andControllable Latency using Prefix-to-Prefix Framework, Proc. ACL 2019, July 2019.
第141回 ⾳声⾔語情報処理研究会（オンライン）

17
Average Lagging (SimulEval版)•⾳声⼊⼒に対応

where ⌧ (|X|) = min{i|di = |X|} is the index
of the target token when the policy first reaches
the end of the source sentence and = |Y |/|X|.
(i 1) / term is the ideal policy for the system tocompare with. AL has good properties such as being length-invariant and intuitive. Its value directly
describes the lagging behind the ideal policy.

$FWXDO6RXUFH/HQJWK• 実時間による遅延•⽐較対象の修正• 出⼒が短い際の問題

Differentiable Average Lagging (DAL) introduces a minimum delay of 1/ after each operation. Unlike AL, it considers the tokens when 𝒚i > ⌧ (|X|) (Cherry and Foster, 2019). It is de𝒙
fined in Eq. (4):• オリジナル: 𝛾 =𝒚∗

1 Xi 𝛾
1 =• DALSimulEval:=d,(4)|Y ||Y |i=10i𝒙［図はMaexampleet al. (2020)
よりCC BY
4.0］
Figure1: Anof originalAL failedon early
wherestop translation. Red (solid straight) line shows the(ideal policy in (Ma et al., 2019). Green (dotted straight)
di=0iline depicts the modified ideal policy in this paper.
第141回
⾳声⾔語情報処理研究会（オンライン）
d0i =.
(5)Black (solid zigzag) line demonstrates the alignment
max(di , d0 + ) i > 0

by AL and BLEU, reported on the blind test set, for thesystems submitted to the speech track with segmentedinput. AL is measured in seconds.

bythemenFigure 4: Latency-quality trade-off curves, measuredby AL and BLEU, reported on the blind test set, forthe systems submitted to the speech track with segmented input. AL is considering the computation timeand measured in seconds.

Figby
themenand

品質と遅延のトレードオフ

18•品質と遅延は反⽐
例する• 意外に早く飽和？

•複数の設定で実験⽐較が必要
図: IWSLT 2021 同時⾳声翻訳タスク(en-de)のAL（秒,計算時間込）とBLEUの結果
regimes for unsegmented input in the next edi-

［図は下記
paper よりCC4.0］
tion. TheOverview
ranking is consistentover alltheBY
regimes

3Offlin segmented systems and unsegmented systems:
A. Anastasopoulos
OF THEfor
1. USTC 2. AppTek et
We al.,
alsoFINDINGS
report four latencywit
IWSLT
2021
EVALUATIONCAMPAIGN,
qualitytrade-offcurves:Lik

Proc. IWSLT 2021, August 2021.

• Segmented input systems without consider第141回 ⾳声⾔語情報処理研究会（オンライン）
ing computation time in Figure 3.

it fext

19
遅延レジーム (Latency regimes)•システム⽐較のための遅延⽬安• ドイツ語 (de)<中国語 (zh)<⽇本語 ( ja)
en-de

en-ja

en-zhLow≤1000 (ms) ≤2500 (ms) ≤2000 (ms)Medium≤2000 (ms) ≤4000 (ms) ≤3000 (ms)High

≤4000 (ms) ≤5000 (ms) ≤4000 (ms)(en-ja, en-zh の Speech-to-speech は2022から)
第141回 ⾳声⾔語情報処理研究会（オンライン）

20
IWSLT 2021 同時翻訳参加チーム• UEDIN (U. Edinburgh): en-de textのみ• VOLCTRANS (ByteDance): textのみ• NAIST: en-ja textのみ• USTC-NELSLIP (USTC+iFlytek): 全て1位
• RNN-Tの拡張、Cross Attention
Augmented Transducer (CAAT)• Transformerの注視機構の応⽤• end-to-end と cascadeの両⽅を⽐較• APPTEK (AppTek): en-deのみ, cascade
第141回 ⾳声⾔語情報処理研究会（オンライン）

21
IWSLT 2021 同時翻訳結果 (en-de)Figure 3: Latency-quality trade-off curves, measured
by AL and BLEU, reported on the blind test set, for thesystems submitted to the speech track with segmentedinput. AL is measured in seconds.

Text-to-Text

Speech-to-Text

Figure 1: Latency-quality trade-off curves, measured
by AL and BLEU, reported on the blind test set, for thesystems submitted to the English-German text track.

Figure 4: Latency-quality trade-off curves, measured
by AL and BLEU, reported on the blind test set, forthe systems submitted to the speech track with segmented input. AL is considering the computation timeand measured in seconds.

［図はA. Anastasopoulos et al. (2021)より- CC BY 4.0］

regimes for unsegmented input in the next edi第141回 ⾳声⾔語情報処理研究会（オンライン）
tion. The ranking is consistent over all the regimes

22IWSLT 2021 同時翻訳結果 (en-ja)

Figure 1: Latency-quality trade-off curves, measured
by AL and BLEU, reported on the blind test set, for thesystems submitted to the English-German text track.

Text-to-Text• データ拡張が有効• 逆翻訳• 知識蒸留• ⾃⼰学習• USTC+iFlytekの⼿法の効果⼤Figure 2: Latency-quality trade-off curves, measured
by AL and BLEU, reported on the blind test set, for thesystems submitted to the English-Japanese text track.

order to obtain a broader sense of ［図はA.
latency-quality
Anastasopoulos et al. (2021)より- CC BY 4.0］
tradeoffs, we also plot all submitted systems for
第141回 ⾳声⾔語情報処理研究会（オンライン）
quality and latency.

23
同時翻訳の諸課題と今後の展望•語順の差と訳出遅延の関係•同時翻訳の訳質評価•Speech-to-Speech 同時翻訳

第141回 ⾳声⾔語情報処理研究会（オンライン）

語順の差と訳出遅延の関係

24•現状の評価スキームの限界• 学習／開発／評価データ: 通常の翻訳• 翻訳結果: （強引な）順送りの訳•何が問題か？
• 理想的な「順送りの訳」がないので遅延削減が訳質低下に直結する• NAIST同時通訳コーパス (Doi et al., 2021)• 通訳なので情報の省略や誤りもある
K. Doi et al., Large-Scale English-Japanese Simultaneous Interpretation Corpus:
Construction and Analyses with Sentence-Aligned Data, Proc. IWSLT 2021, August 2021.
第141回 ⾳声⾔語情報処理研究会（オンライン）

同時翻訳の訳質評価

25•参照訳が順送りでないのでBLEU等
表層評価には限界がある• ⼈⼿評価は 2022 en-de で実施予定• en-ja では⾮公式な⼈⼿評価検討中•伝達内容の正しさの評価は未確⽴• 通訳研究においても同様• cf. 同時通訳の誤り (Doi et al., 2021)• …依然として⾮常に挑戦的な課題
第141回 ⾳声⾔語情報処理研究会（オンライン）

Speech-to-Speech 同時通訳

26

•同時翻訳に限らずIWSLT全体で注⽬• 今後の研究加速に期待•漸進的ASR, MT, TTSの組み合わせでcascade型システムの構築は可能(Fukuda et al., 2021)• 遅延とエラーの伝播が課題• 漸進的TTSにおける発声詰まりの問題• 合成⾳出⼒未了のテキストの滞積

R. Fukuda et al., Simultaneous Speech-to-Speech Translation System with TransformerBased Incremental ASR, MT, and TTS, Proc. Oriental COCOSDA 2021, November 2021.
第141回 ⾳声⾔語情報処理研究会（オンライン）

27

まとめ
•IWSLT 同時翻訳タスクの紹介• 実⽤的にも⼤きなチャレンジです•タスク参加者が少ない…
• 研究では急速にプレイヤーが増加• テキスト⼊⼒、⾳声⼊⼒とも•是⾮次回 (2023) ご参加ください• ACL 2023併催で提案？
• 同時翻訳以外のタスクもあります
第141回 ⾳声⾔語情報処理研究会（オンライン）

Join Our Groups!
•IWSLT Evaluation Campaign• https://groups.google.com/g/iwsltevaluation-campaign• 共通タスクに関する告知•SIGSLT• https://groups.google.com/g/sigslt• SIGの活動に関する告知• ISCA SIGSLT Lectures
https://iwslt.org/lectures/

第141回 ⾳声⾔語情報処理研究会（オンライン）

28