言語処理学会 第30回年次大会 発表論文集（2024年3月）

漸進的な音声分割を用いたストリーミング同時音声翻訳
福田 りょう 須藤 克仁 中村 哲
奈良先端科学技術大学院大学{fukuda.ryo.fo3，sudoh，s-nakamura}@is.naist.jp

概要
同時音声翻訳モデルを実用化する際には、連続音
声を逐次的に処理する必要があるが、近年の研究は音声が文等の短い単位に分割されたベンチマーク
データを対象に行われており、連続音声の処理については十分に検討が行われていない。そこで本稿では漸進的な音声分割モデルを作成し、同時音声翻訳
モデルと組み合わせて連続音声を処理するストリー
ミング同時音声翻訳システムを構築した。実験では、音声分割手法がトップラインの 94%以上の翻訳精度を維持できることを確認し、また音声分割における将来と過去の音声情報の重要性を検証した。

1

はじめに

同時音声翻訳は、発話の完了を待たずに翻訳処理を開始する音声機械翻訳であり、言語の壁を超えた
即時性の高い情報伝達を実現する技術として実用化が期待されている。同時音声翻訳の従来方式では、
音声認識、発話より短いチャンクへの自動分割、機械翻訳という 3 つの処理が必要であった [1, 2, 3]。
ニューラル機械翻訳 [4] の発展に伴い、音声を直接翻訳する End-to-end 型の音声翻訳モデル [5] を用いてよりシンプルな構成で同時音声翻訳が実現できるようになった。Ma ら [6] は、テキストからテキストへの同時翻訳の手法 [7, 8] を同時音声翻訳に適用した。Liu ら [9] は訳出タイミングと翻訳精度を同時に最適化する手法を提案した。近年では、事前学習済みの大規模な音声モデルや多言語モデルを用いた同時音声翻訳が提案されている [10, 11]。
このような発展の一方で、同時音声翻訳における連続音声の処理方法については十分な検討がなされていない。音声は本来、長さに制限のない連続的なデータ (ストリーミングデータ) である。しかしほとんどの既存研究ではそのような入力が想定されておらず、実験では事前に発話単位に分割された数秒〜十数秒程度の音声セグメントが入力として用いられてきた。
即時性が求められない通常の音声機械翻訳 (オフライン音声翻訳) では、連続音声を適切に処理するための手法が研究されている。既存の音声翻訳モデルは単体で連続音声を処理することが難しいため、翻訳前に音声分割を実行する方法が一般的である。
音声区間検出による分割 [12] は最も典型的な音声分割手法であるが、発話の過剰な分割により翻訳精度を低下させる問題が指摘されている [13]。この問題を緩和するため、音声区間で分割した音声セグメン
トを一定の長さになるまで連結する方法が提案されている [14, 15]。近年では、音声翻訳コーパスに含まれる発話単位のセグメント境界を予測する分類器を用いたモデルベースの手法が提案され、従来手法を大きく上回ることが報告されている [16, 17, 18]。
既存の音声分割手法の多くはオフライン音声翻訳のために設計されており、発話より長い音声を入力することが想定されている。一方で同時音声翻訳においては、翻訳処理と同様に、発話の完了を待たずに漸進的な音声分割処理を行う必要がある。そこで
本稿では、オフライン音声翻訳のための音声分割手法の、同時音声翻訳への適用可能性を検討した。具
体的には、モデルベースの音声分割手法 [18] を漸進的な処理に対応させるために、学習時に参照できる
将来の情報に制約をかけて音声分割モデルの学習を行った。その後、作成した音声分割モデルと同時音
声翻訳モデルを組み合わせてストリーミング同時音
声翻訳システムを構築した。TED talks の音声翻訳
コーパス MuST-C を用いた英独音声翻訳実験で、提案手法がベースラインを上回り、音声翻訳コーパスに含まれる文単位のセグメントの 94%以上の翻訳精度を維持できることを示した。また、音声分割モデルが参照できる将来の情報に制約をかけることで学
習と推論の条件の不一致が緩和され、翻訳精度が向上することを確認した。最後に、音声分割における過去の情報の重要性を検証した。

― 2318 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Chunk with
fixed size X

2

漸進的な音声分割

2.1

モデルベースの音声分割…

音声翻訳コーパスには通常、文にアライメントさ

Seg

Seg

Seg

Seg

bos

れた音声セグメントを含む。これらのセグメントの

Seg

Seg

Seg

eos

…

境界は多くの場合発話の区切りと一致するため、翻Segmentation

訳に適していると考えられる。SHAS [16] は、音声

prefix!is_end !is_end is_end

翻訳コーパスのセグメント境界を予測する分類器を用いてオフライン音声翻訳において高い翻訳精度を

Seg

ST

ST

ST

ST

ST

ST

ST
Simultaneous ST達成した。SHAS の分類器の構造は、事前学習済み

図 1: ストリーミング同時音声翻訳システムの概要の自己教師あり音声モデル wav2vec 2.0 [19] のエン本研究では異なるマスク行列 𝑀 のパターンを用

コーダに 1 層の Transformer Encoder 層 [20] を繋げた

いて学習した 3 つの音声分割モデルを比較した。

ニューラルネットワークモデルである。モデルは、
フレーム単位の系列ラベリング問題として音声翻訳• Unmasked: 𝑀 を 用 い な い。学 習 時 に self-

コーパスのセグメント境界の予測を学習する。学習• Monotonic masking [21, 22, 23]: 𝑖, 𝑗 ( 𝑗 < 𝑖) につ

attention は最大 20 秒先の情報を参照できる。

時及び推論時には固定長 （20 秒) の音声が入力されいて 𝑀 (𝑖, 𝑗) = 0 となるような 𝑀 を用いる。学る。SHAS+FTPT [18] は、SHAS の拡張であり、分類習時 に self-attention は 過 去 の 情 報 の み 参 照 で器の wav2vec 2.0 のパラメータを追加学習することきる。

でより高い翻訳精度を達成した。また SHAS+FTPT• Chunk-wise masking [24, 25]: 入力フレームを固は、音声をより短いセグメントに分割するため、処理時間の観点から漸進的処理に適している。

定のチャンクサイズに分割して現在と過去のチャンクだけを参照できるようにする。具体的

2.2

には、

Attention masking

Transformer Encoder 層では、self-attention により、最
 0 if 𝑐(𝑖) ≠ 𝑐( 𝑗) and 𝑗 < 𝑖,(2)
𝑀 (𝑖, 𝑗) =
 1 otherwise.
とする。𝑐(𝑖) は 𝑖 番目のフレームが属するチャ

大 20 秒先の音声情報を参照できる。同時音声翻訳

ンクのインデックスである。Monotonic masking

では、発話より短いチャンクを漸進的に処理する必要があるため、SHAS+FTPT の学習時のように長いと比べ、チャンク単位で漸進的に処理を行う推本 研 究 で は 音 声 分 割 モ デ ル SHAS+FTPT を 同
時 音 声 翻 訳 に 適 用 す る。wav2vec 2.0 及 び 追 加 の論時と近い条件で学習を行う。

将来の情報を参照できない。本研究では、モデル学習時に self-attention が参照できる将来の情報に制約をかけることで推論時とのギャップを低減することを検討した。Self-attention は下式で定義される
scaled dot-product attention である。

(

)
𝑄𝐾 𝑇
Attention(𝑄, 𝐾, 𝑉) = softmax √
𝑉
(1)
𝑑
( 𝑇)
√
Attention の重み行列 softmax 𝑄𝐾∈ 𝑅𝑇 ×𝑇 は、 𝑗 番𝑑ストリーミング同時音声翻訳

3

図 1 に本稿で構築するストリーミング同時音
声翻訳 （Streaming Simultaneous ST） システムの概要図を示す。システムは音声分割 (Segmentation) と同時音声翻訳 (Simultaneous ST) で構成されており、
2 つのモデルが交互に処理を行うことで動作する。擬似コードを Algorithm 1 に示す。システムは目の Query 𝑄 𝑗 が 𝑖 番目の Value 𝑉𝑖 を参照する際の重receive speech stream() 関数を用いて音声データを連

み 𝛼𝑖, 𝑗 (𝑖 <= 𝑇, 𝑗 <= 𝑇) の要素から構成されている。

続的に受け取り 𝑐ℎ𝑢𝑛𝑘 に追加する (行 8)。音声チャ

もし 𝛼𝑖, 𝑗 = 0 であれば、𝑄 𝑗 は 𝑉𝑖 を参照しない。こンク 𝑐ℎ𝑢𝑛𝑘 の長さが固定長 𝑋 に達すると、音声分割

こで、Attention の参照範囲を制御するために、重みSegmentation(·) を実行する (行 10-11)。次に、音声分

行列にマスク行列 𝑀 ∈ 𝑅𝑇 ×𝑇 を掛け合わせることが割結果として得られる音声セグメントの一部であできる。もし 𝑀 (𝑖, 𝑗) = 0 であれば、𝑄 𝑗 は 𝑉𝑖 を参照

る 𝑝𝑎𝑟𝑡 𝑠𝑒𝑔、同一セグメント内の過去の音声情報しない。

𝑐𝑜𝑛𝑡𝑒𝑥𝑡、セグメント終了フラグ 𝑖𝑠 𝑒𝑛𝑑 を引数にと― 2319 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Algorithm 1 Streaming Simultaneous ST
1: Input: chunk size 𝑋 (in seconds), threshold 𝑡ℎ𝑟
2: Initialize:
3:𝑐ℎ𝑢𝑛𝑘 ← []⊲ pool to store speech data4:
𝑐𝑜𝑛𝑡𝑒𝑥𝑡 ← [] ⊲ context for segmentation and translation5:𝑛𝑒𝑥𝑡 𝑝𝑟𝑒 𝑓 𝑖𝑥 ← [] ⊲ pool to store next segment’s preﬁx
6:
𝐼 𝑁 𝑃𝑈𝑇 𝑆𝑃𝑆 ← 16000⊲ sps of audio; 16kHz
7: while True do
8:append receive speech stream() to the 𝑐ℎ𝑢𝑛𝑘
9:
if length(𝑐ℎ𝑢𝑛𝑘) ≥ 𝑋 · 𝐼 𝑁 𝑃𝑈𝑇 𝑆𝑃𝑆 then10:𝑝𝑎𝑟𝑡 𝑠𝑒𝑔, 𝑝𝑟𝑒 𝑓 𝑖𝑥, 𝑖𝑠 𝑒𝑛𝑑 ← Segmentation(
11:
𝑐ℎ𝑢𝑛𝑘, cat(𝑛𝑒𝑥𝑡 𝑝𝑟𝑒 𝑓 𝑖𝑥+𝑐𝑜𝑛𝑡𝑒𝑥𝑡), 𝑡ℎ𝑟)
12:
if len(𝑛𝑒𝑥𝑡 𝑝𝑟𝑒 𝑓 𝑖𝑥) ≥ 0 then13:𝑝𝑎𝑟𝑡 𝑠𝑒𝑔 ← cat(𝑛𝑒𝑥𝑡 𝑝𝑟𝑒 𝑓 𝑖𝑥, 𝑝𝑎𝑟𝑡 𝑠𝑒𝑔)
14:
15:
16:
17:
18:
19:
20:

4.1

タスク

Ted talks の音声翻訳コーパス MuST-C v2 に含まれる、英語の講演音声とそれに対応付いた書き起こし
テキスト、及びドイツ語の翻訳テキストを用いて
英独音声翻訳の実験を行った。学習データ、開発
データ及び評価データのセグメント数はそれぞれ
250,942、1,415、2,580 である。音声分割モデルの学
習に学習・開発データを用いた。システムの評価のために評価データを用いた。
音声分割手法 (4.2) と同時音声翻訳モデル (4.3) を用いてストリーミング同時音声翻訳システムを構築

𝑛𝑒𝑥𝑡 𝑝𝑟𝑒 𝑓 𝑖𝑥 ← 𝑝𝑟𝑒 𝑓 𝑖𝑥
SimulST(𝑝𝑎𝑟𝑡 𝑠𝑒𝑔, 𝑐𝑜𝑛𝑡𝑒𝑥𝑡, 𝑖𝑠 𝑒𝑛𝑑)
if 𝑖𝑠 𝑒𝑛𝑑 == False then𝑐𝑜𝑛𝑡𝑒𝑥𝑡 ← cat(𝑐𝑜𝑛𝑡𝑒𝑥𝑡, 𝑝𝑎𝑟𝑡 𝑠𝑒𝑔)
else
𝑐𝑜𝑛𝑡𝑒𝑥𝑡 ← []𝑐ℎ𝑢𝑛𝑘 ← []した。システム構築のために SimulEval toolkit [26] 1）を用いた。
評価時は、自動分割した音声に対する翻訳結果を評価データのセグメントとトーク毎に対応付けを行った後、BLEU [27] を測定した。対応付けには編
集距離に基づくテキスト整列アルゴリズム [28] を用いた。

る、同時音声翻訳 SimulST(·) を実行する (行 15)。こ

4.2

音声分割

こで、𝑖𝑠 𝑒𝑛𝑑 == True の場合、SimulST(·) は文末まで

6 つの音声分割手法を比較した。

生成を行った後、次のセグメントの処理に備えて状• 𝑇 𝑜 𝑝𝑙𝑖𝑛𝑒: 評価データのセグメント境界

態をリセットする。その後、過去の情報 𝑐𝑜𝑛𝑡𝑒𝑥𝑡 を更新し （行 16-19）、𝑐ℎ𝑢𝑛𝑘 をリセットして （行 20）• Fixed-length: 固定長で分割するベースライン

行 8 の処理に戻る。

• Monotonic: Monotonic masking (2 章)• Unmasked: マスクなしの音声分割モデル (2 章)

Segmentation(·) で は 音 声 分 割 モ デ ル の 推 論 を 実行する。音声分割モデルは、過去の情報と現在のチャンクを連結した系列を入力として受け取り、各フレームが音声セグメントに含まれる確率を出力する。次に、過去の情報に対応する予測を切り捨てた、現在のチャンク部分の確率の系列に閾値
𝑡ℎ𝑟 (0 ≤ 𝑡ℎ𝑟 ≤ 1) で閾値処理を行うことでセグメ• Chunk-wise: Chunk-wise masking (2 章)
音声分割モデルにおける閾値処理の設定値 𝑡ℎ𝑟 を
0.1 から 0.7 の間で探索し、最も翻訳精度が高かった
0.3 を選択した。Chunk-wise の学習時のチャンクの長さを 1 秒とした。Fixed-length の設定は固定長 10秒から 20 秒の間で探索し、最も翻訳精度が高い 15秒を選択した。

ントの境界（開始 bos, 終了 eos）を決定する。ここで 𝑡ℎ𝑟 = 0.1 は 𝑡ℎ𝑟 = 0.9 よりも消極的な分割を行うことを意味する。最後に bos と eos の間にある音声を 𝑝𝑎𝑟𝑡 𝑠𝑒𝑔 として返す。この時、次のセグメントのプレフィックス 𝑝𝑟𝑒 𝑓 𝑖𝑥 とセグメント終了フラグ
𝑖𝑠 𝑒𝑛𝑑 も同時に返す。Segmentation(·) の詳細を付録
A.1 に示す。

4

4.3

同時音声翻訳

事前学習済みの音声モデル HuBERT [29] と、多言語モデル mBART50 [30] に基づく同時音声翻訳
モデル [11] を使用した。翻訳の出力タイミングを
決 定 す る 方 策 と し て、過 去 の 仮 説 と 現 在 の 仮 説の間の最長共通プレフィックスを出力する Local
agreement [31] を用いた。推論時のチャンクサイズ

実験設定
ストリーミング同時音声翻訳システムを構築し、を 𝑋 = {400, 600, 800, 1000, 1200} (ms) として遅延を調節した。

提案手法の有効性を検証するために異なる音声分割手法を比較した。

1） https://github.com/facebookresearch/SimulEval― 2320 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

音声分割モデルの比較から、将来の音声情報が分

BLEU

29

割精度に影響することが確認された。続いて過去の27

音声情報の重要性を検証するため、音声分割モデル

25の推論時に用いていた同一セグメント内の過去の情
報 𝑐𝑜𝑛𝑡𝑒𝑥𝑡 を取り除いて結果を比較した。図 3 に結Unmasked
Monotonic
Chunk-wise
ToplineFixed-length (15s)

23
21
19
400

600

800
chunk size

1000

果を示す。いずれのチャンクサイズにおいても大きく翻訳精度が低下したことから、過去の情報も分割精度に大きく影響することが確認された。

1200の比較。閾値 𝑡ℎ𝑟 = 0.3。

先行研究として、原理的に連続音声を処理できる
同時音声翻訳モデルが提案されている [32] が、連30

続音声での実験は行われていない。Polák ら [33] は、

28

音声分割を統合した同時音声翻訳モデルを提案した。これは我々の知る限り、End-to-end 型の音声翻

26
BLEU

関連研究

6

図 2: 異なるチャンクサイズにおける音声分割手法

訳モデルを用いて連続音声の同時音声翻訳実験を24行った唯一の先行研究である。Polák らの手法は外22部の音声分割手法を必要としない利点がある一方

Chunk-wise

20

で、学習コストが高く、また任意の音声翻訳モデル

Chunk-wise (w/o context)を用いることができない欠点がある。

18
400

600

800
chunk size

1000

1200

おわりに

7

図 3: 過去の情報 𝑐𝑜𝑛𝑡𝑒𝑥𝑡 のアブレーション

本稿では、オフライン音声翻訳のための音声分割手法を同時音声翻訳に適用し、ストリーミング同

5

実験結果

時音声翻訳システムを構築した。実験では、提案

図 2 に各音声分割手法を用いたシステムの翻訳精度を示す。音声分割モデルを用いた 3 つの手法 (Unmasked、Monotonic、Chunk-wise) は い ず れ も
ベースライン Fixed-length を上回り、Chunk-wise はTopline の 94-99%の翻訳精度を維持した。各音声分
割手法による翻訳精度の詳細を付録 A.2 に示す。

した音声分割モデルがトップラインの翻訳精度を94-99%維持することを示し、また音声分割の判断において将来と過去の情報が重要であることを明らかにした。

謝辞
本 研 究 の 一 部 は JSPS 科 研 費 JP21H05054、Chunk-wise は Unmasked の BLEU を平均 1.2 ポイン
ト上回った。マスク行列により参照できる将来の情

JP21H03500、JP23KJ1583 の助成を受けた。

報に制約をかけることで学習と推論の条件の不一致

参考文献が緩和されたと考えられる。一方で、Monotonic とChunk-wise の間に大きな差は見られなかった。ただし、詳細は省略するが、セグメント境界を決定する[1] Srinivas Bangalore, Vivek Kumar Rangarajan Sridhar, Prakash
Kolan, Ladan Golipour, and Aura Jimenez. Real-time incremental
speech-to-speech translation of dialogs. In Proceedings of the2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, pp. 437–445, June 2012.

ための閾値 𝑡ℎ𝑟 を 0.3 より大きくした時の翻訳精度の低下は Monotonic でより顕著であり、𝑡ℎ𝑟 = 0.5 以
上では Monotonic は Chunk-wise を大きく下回った。
𝑡ℎ𝑟 = 0.1 から 0.7 までの結果を付録 A.3 に示す。𝑡ℎ𝑟が大きいと分割がより積極的になるため、音声分割
精度の差が強調されやすい。この結果は Chunk-wiseが利用できるチャンクレベルの短い将来の情報が、[2] Tomoki Fujita, Graham Neubig, Sakriani Sakti, Tomoki Toda, andSatoshi Nakamura. Simple, lexicalized choice of translation timing
for simultaneous speech translation. In Proc. Interspeech 2013,
pp. 3487–3491, 2013.
[3] Vivek Kumar Rangarajan Sridhar, John Chen, Srinivas Bangalore,
Andrej Ljolje, and Rathinavelu Chengalvarayan. Segmentation
strategies for streaming speech translation. In Proceedings of the

分割精度向上に寄与することを示唆している。

― 2321 ―2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Technologies, pp. 230–238, June 2013.
[4] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks. Advances in neural information processing systems, Vol. 27, , 2014.
[5] Alexandre Bérard, Olivier Pietquin, Laurent Besacier, andChristophe Servan. Listen and translate: A proof of concept
for end-to-end speech-to-text translation. In NIPS Workshop on
end-to-end learning for speech and audio processing, 2016.
[6] Xutai Ma, Juan Pino, and Philipp Koehn. SimulMT to SimulST:
Adapting simultaneous text translation to end-to-end simultaneous
speech translation. In Proceedings of the 1st Conference of the
Asia-Paciﬁc Chapter of the Association for Computational
Linguistics and the 10th International Joint Conference on
Natural Language Processing, pp. 582–587, December 2020.

[7] Mingbo Ma, Liang Huang, Hao Xiong, Renjie Zheng, Kaibo Liu,
Baigong Zheng, Chuanqiang Zhang, Zhongjun He, Hairong Liu,
Xing Li, Hua Wu, and Haifeng Wang. STACL: Simultaneoustranslation with implicit anticipation and controllable latency using
preﬁx-to-preﬁx framework. In Proceedings of the 57th Annual
Meeting of the Association for Computational Linguistics,
pp. 3025–3036, July 2019.
[8] Xutai Ma, Juan Miguel Pino, James Cross, Liezl Puzon, and Jiatao
Gu. Monotonic multihead attention. In International Conference
on Learning Representations, 2020.
[9] Dan Liu, Mengge Du, Xiaoxi Li, Ya Li, and Enhong Chen. Cross
attention augmented transducer networks for simultaneous translation. In Proceedings of the 2021 Conference on Empirical
Methods in Natural Language Processing, pp. 39–55, November 2021.
[10] Peter Polák, Ngoc-Quan Pham, Tuan Nam Nguyen, Danni Liu,
Carlos Mullov, Jan Niehues, Ondřej Bojar, and Alexander Waibel.
CUNI-KIT system for simultaneous speech translation task at
IWSLT 2022. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pp.
277–285, May 2022.
[11] Ryo Fukuda, Yuta Nishikawa, Yasumasa Kano, Yuka Ko, Tomoya
Yanagita, Kosuke Doi, Mana Makinae, Sakriani Sakti, Katsuhito
Sudoh, and Satoshi Nakamura. NAIST simultaneous speech-tospeech translation system for IWSLT 2023. In Proceedings of the20th International Conference on Spoken Language Translation (IWSLT 2023), pp. 330–340, July 2023.

[12] Jongseo Sohn, Nam Soo Kim, and Wonyong Sung. A statisticalmodel-based voice activity detection. IEEE signal processing
letters, Vol. 6, No. 1, pp. 1–3, 1999.
[13] David Wan, Chris Kedzie, Faisal Ladhak, Elsbeth Turcan, Petra
Galuščáková, Elena Zotkina, Zheng Ping Jiang, Peter Bell, andKathleen McKeown. Segmenting subtitles for correcting asr segmentation errors. In Proceedings of the 16th Conference of
the European Chapter of the Association for Computational
Linguistics: Main Volume, pp. 2842–2854, 2021.

[14] Marco Gaido, Matteo Negri, Mauro Cettolo, and Marco Turchi.
Beyond voice activity detection: Hybrid audio segmentation for
direct speech translation. CoRR, Vol. abs/2104.11710, , 2021.
[15] Hirofumi Inaguma, Brian Yan, Siddharth Dalmia, Pengcheng Guo,
Jiatong Shi, Kevin Duh, and Shinji Watanabe. ESPnet-ST IWSLT
2021 oﬄine speech translation system. In Proceedings of the
18th International Conference on Spoken Language Translation, pp. 100–109, August 2021.

[16] Ioannis Tsiamas, Gerard I. Gállego, José A. R. Fonollosa, andMarta R. Costa-jussà. SHAS: Approaching optimal Segmentation
for End-to-End Speech Translation. In Proc. Interspeech 2022,
pp. 106–110, 2022.
[17] Ryo Fukuda, Katsuhito Sudoh, and Satoshi Nakamura. Speech Segmentation Optimization using Segmented Bilingual Speech Corpus
for End-to-end Speech Translation. In Proc. Interspeech 2022,
pp. 121–125, 2022.

[18] Ryo Fukuda, Katsuhito Sudoh, and Satoshi Nakamura. Improving speech translation accuracy and time eﬃciency with ﬁne-tuned
wav2vec 2.0-based speech segmentation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 32,
pp. 906–916, 2024.
[19] Alexei Baevski, Yuhao Zhou, Abdelrahman Mohamed, andMichael Auli. wav2vec 2.0: A framework for self-supervised
learning of speech representations. Advances in Neural Information Processing Systems, Vol. 33, , 2020.
[20] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit,
Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin.
Attention is all you need. In Advances in neural information
processing systems, pp. 5998–6008, 2017.
[21] Colin Raﬀel, Minh-Thang Luong, Peter J Liu, Ron J Weiss, andDouglas Eck. Online and linear-time attention by enforcing monotonic alignments. In International conference on machinelearning, pp. 2837–2846. PMLR, 2017.
[22] Chung-Cheng Chiu and Colin Raﬀel. Monotonic chunkwise attention. In International Conference on Learning Representations, 2018.
[23] Xutai Ma, Juan Miguel Pino, James Cross, Liezl Puzon, and Jiatao
Gu. Monotonic multihead attention. In International Conference
on Learning Representations, 2019.
[24] Xie Chen, Yu Wu, Zhenghao Wang, Shujie Liu, and Jinyu Li.
Developing real-time streaming transformer transducer for speech
recognition on large-scale dataset. In ICASSP 2021 - 2021 IEEE
International Conference on Acoustics, Speech and Signal
Processing (ICASSP), pp. 5904–5908, 2021.

[25] Jian Xue, Peidong Wang, Jinyu Li, Matt Post, and Yashesh Gaur.
Large-Scale Streaming End-to-End Speech Translation with Neural
Transducers. In Proc. Interspeech 2022, pp. 3263–3267, 2022.
[26] Xutai Ma, Mohammad Javad Dousti, Changhan Wang, Jiatao Gu,
and Juan Pino. SIMULEVAL: An evaluation toolkit for simultaneous translation. In Proceedings of the 2020 Conference on
Empirical Methods in Natural Language Processing: System Demonstrations, pp. 144–150, October 2020.

[27] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu.
Bleu: a method for automatic evaluation of machine translation. In
Proceedings of the 40th Annual Meeting of the Association
for Computational Linguistics, pp. 311–318, July 2002.

[28] Evgeny Matusov, Gregor Leusch, Oliver Bender, and Hermann
Ney. Evaluating machine translation output with automatic sentence segmentation. In Proceedings of the Second International Workshop on Spoken Language Translation, 2005.
[29] Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal
Lakhotia, Ruslan Salakhutdinov, and Abdelrahman Mohamed. Hubert: Self-supervised speech representation learning by masked
prediction of hidden units. IEEE/ACM Transactions on Audio,
Speech, and Language Processing, Vol. 29, pp. 3451–3460,2021.
[30] Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal,
Vishrav Chaudhary, Jiatao Gu, and Angela Fan. Multilingualtranslation with extensible multilingual pretraining and ﬁnetuning.
arXiv preprint arXiv:2008.00401, 2020.
[31] Danni Liu, Gerasimos Spanakis, and Jan Niehues. Low-Latency
Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection. In Proc. Interspeech 2020, pp. 3620–
3624, 2020.
[32] Xutai Ma, Yongqiang Wang, Mohammad Javad Dousti, Philipp
Koehn, and Juan Pino. Streaming simultaneous speech translation with augmented memory transformer. In ICASSP 2021 2021 IEEE International Conference on Acoustics, Speechand Signal Processing (ICASSP), pp. 7523–7527, 2021.

[33] Peter Polák and Ondřej Bojar. Long-form end-to-end speechtranslation via latent alignment segmentation. arXiv preprint
arXiv:2309.11384, 2023.

― 2322 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

i.

Algorithm 2 Segmentation
1: Input: 𝑐ℎ𝑢𝑛𝑘, 𝑐𝑜𝑛𝑡𝑒𝑥𝑡, 𝑡ℎ𝑟
2: Output: 𝑝𝑎𝑟𝑡 𝑠𝑒𝑔, 𝑝𝑟𝑒 𝑓 𝑖𝑥, 𝑖𝑠 𝑒𝑛𝑑
3: 𝐼 𝑁 𝑃𝑈𝑇 𝑆𝑃𝑆 ← 16000⊲ sps of audio; 16kHz
4: 𝑂𝑈𝑇 𝑃𝑈𝑇 𝑆𝑃𝑆 ← 49.95⊲ sps of seg()’s output
5: 𝐼 𝑁 𝑂𝑈𝑇 𝑅 𝐴𝑇 𝐼𝑂 ← 𝐼 𝑁 𝑃𝑈𝑇 𝑆𝑃𝑆 / 𝑂𝑈𝑇 𝑃𝑈𝑇 𝑆𝑃𝑆
6: 𝑝𝑟𝑜𝑏𝑠 𝑐𝑜𝑛𝑡𝑒𝑥𝑡, 𝑝𝑟𝑜𝑏𝑠 ← seg(concat(𝑐𝑜𝑛𝑡𝑒𝑥𝑡, 𝑐ℎ𝑢𝑛𝑘))
7: 𝑠𝑒𝑔𝑚𝑒𝑛𝑡𝑠 ← thresholding(𝑝𝑟𝑜𝑏𝑠, 𝑡ℎ𝑟)
8: 𝑠𝑒𝑔𝑚𝑒𝑛𝑡𝑠 ← expand list(𝑠𝑒𝑔𝑚𝑒𝑛𝑡𝑠, 𝐼 𝑁 𝑂𝑈𝑇 𝑅 𝐴𝑇 𝐼𝑂)
9: 𝐵 𝑏𝑜𝑠 ← ﬁndBos(𝑠𝑒𝑔𝑚𝑒𝑛𝑡𝑠)
10: 𝐵𝑒𝑜𝑠 ← ﬁndEos(𝑠𝑒𝑔𝑚𝑒𝑛𝑡𝑠)
11: if len(𝑐𝑜𝑛𝑡𝑒𝑥𝑡) ≠ 0 then12:
if empty(𝐵𝑏𝑜𝑠 ) and empty(𝐵𝑒𝑜𝑠 ) then⊲ pattern (ii)13:
return 𝑐ℎ𝑢𝑛𝑘, [], False
14:
else if 𝐵𝑒𝑜𝑠 [-1] > 𝐵𝑏𝑜𝑠 [-1] then⊲ pattern (iv), (viii)
15:
return 𝑐ℎ𝑢𝑛𝑘[:𝐵𝑒𝑜𝑠 [-1]], [], True16:else
⊲ pattern (vi)17:
return 𝑐ℎ𝑢𝑛𝑘[:𝐵𝑒𝑜𝑠 [0]], 𝑐ℎ𝑢𝑛𝑘[𝐵𝑏𝑜𝑠 [0]:], True

bos
v.

A.1

Segmentation アルゴリズム

eos

vii.

vi.

viii.

図 4: 音声分割モデルの予測パターン

A.2

各音声分割手法の BLEU スコア

表 1: 音声分割手法の翻訳精度。括弧内はトップラインに対する分割手法の比。
Chunk size
400
600
800
1000
1200

A.3

参考情報

iv.

𝑡ℎ𝑟

18: else
19:
if empty(𝐵𝑏𝑜𝑠 ) and empty(𝐵𝑒𝑜𝑠 ) then⊲ pattern (i)20:return [], [], True
21:else if 𝐵𝑒𝑜𝑠 [-1] > 𝐵𝑏𝑜𝑠 [-1] then⊲ pattern (v)22:return 𝑐ℎ𝑢𝑛𝑘[𝐵𝑏𝑜𝑠 [0]:𝐵𝑒𝑜𝑠 [-1]], [], True23:
else
⊲ pattern (iii), (vii)24:
return 𝑐ℎ𝑢𝑛𝑘[𝐵𝑏𝑜𝑠 [0]:], [], False

A

iii.

ii.

Unmasked23.3 (0.943)
25.1 (0.926)
26.3 (0.913)
26.1 (0.888)
26.7 (0.908)

Monotonic
24.4 (0.988)
25.9 (0.956)
26.9 (0.934)
27.4 (0.932)
28 (0.952)

Chunk-wise
24.5 (0.992)
26 (0.959)
27.3 (0.948)
27.7 (0.942)
27.8 (0.946)

異なる閾値における音声分割の比較
28
27

BLEU

26

Algorithm 1 中の Segmentation(·) の擬似コードを Algorithm 2 に示す。処理手順は以下の通りである。
1. 過去の情報 𝑐𝑜𝑛𝑡𝑒𝑥𝑡 とチャンク 𝑐ℎ𝑢𝑛𝑘 を連結して音声分割モデル seg(·) に入力し、各フレームがセグメントに含まれている確率を予測する (行 6)。
2. thresholding(·) で、𝑐ℎ𝑢𝑛𝑘 に 対 応 す る 確 率の 系 列 𝑝𝑟𝑜𝑏𝑠 を 閾 値 処 理 し 𝑠𝑒𝑔𝑚𝑒𝑛𝑡𝑠 =[𝑠0 , 𝑠1 , . . . , 𝑠 ⌊𝑋·𝑂𝑈𝑇 𝑃𝑈𝑇 𝑆 𝑃𝑆 ⌋ ] (𝑠𝑖 ∈ {0, 1}) を 得 る (行7)。
3. expand list(·) で、𝑠𝑒𝑔𝑚𝑒𝑛𝑡𝑠 の 各 要 素 を
𝐼 𝑁 𝑂𝑈𝑇 𝑅 𝐴𝑇 𝐼𝑂 回 繰 り 返 し た 新 し い リ ス ト
𝑠𝑒𝑔𝑚𝑒𝑛𝑡𝑠 = [𝑠0 , 𝑠1 , . . . , 𝑠 ⌊𝑋·𝐼 𝑁 𝑃𝑈𝑇 𝑆 𝑃𝑆 ⌋ ] を得る (行 8)。
4. ﬁndBos(·) と ﬁndEos(·) で、bos のインデックスのリス
ト 𝐵𝑏𝑜𝑠 と eos のインデックスのリスト 𝐵𝑒𝑜𝑠 をそれぞれ得る (行 9-10)。ここで• 𝐵𝑏𝑜𝑠 = [𝑖|𝑥𝑖−1 = 0 and 𝑥𝑖 = 1 for all 𝑖 ∈ {1, 2, . . . , ⌊𝑋·
𝐼 𝑁 𝑃𝑈𝑇 𝑆𝑃𝑆⌋}]• 𝐵𝑒𝑜𝑠 = [𝑖|𝑥𝑖−1 = 1 and 𝑥𝑖 = 0 for all 𝑖 ∈ {1, 2, . . . , ⌊𝑋 ·𝐼 𝑁 𝑃𝑈𝑇 𝑆𝑃𝑆⌋}]である。
5. 図 4 はチャンクの予測を (i) から (viii) の 8 パターンに分類したものである。このうちパターン (iv) と(viii)、パターン (iii) と (vii) を同様に扱い、𝑐𝑜𝑛𝑡𝑒𝑥𝑡,
𝐵𝑏𝑜𝑠 , 𝐵𝑒𝑜𝑠 の内容に応じて 6 通りの分岐処理を行う(行 11-24)。𝑝𝑟𝑒 𝑓 𝑖𝑥 はパターン (vi) で生じる次のセグ
メントのプレフィックスを管理する変数である。

25
24
Unmasked
Monotonic
Chunk-wise

23
22
21

400 600 800 1000 1200
chunk size(a)𝑡ℎ𝑟 = 0.1.

400 600 800 1000 1200
chunk size(c)𝑡ℎ𝑟 = 0.5.

400 600 800 1000 1200
chunk size(b)𝑡ℎ𝑟 = 0.3.

400 600 800 1000 1200
chunk size(d)𝑡ℎ𝑟 = 0.7.

図 5: 異なる閾値 𝑡ℎ𝑟 における音声分割モデルの比較。
図 5 は、閾値 𝑡ℎ𝑟 が大きく分割が積極的になるほど、音声分割モデルの精度の差が顕著に表れる様子を示す。

― 2323 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).