音声機械翻訳のための音声翻訳コーパスに基づく発話分割○福田 りょう, 須藤 克仁, 中村 哲
奈良先端科学技術大学院大学
知能コミュニケーション研究室

研究概要
Ø 音声機械翻訳では、適切なセグメントへの自動発話分割が重要• 問題：発話区間に基づく自動分割は翻訳に不適切なセグメントを生成• 本発表：連続音声を、「文」に対応するセグメントへ直接分割
音声翻訳コーパスのセグメント境界を学習し、音声から「文」の境界を直接予測する発話分割モデルを提案

TED talksの英語-ドイツ語 音声翻訳実験において従来の発話分割手法よりも高い翻訳性能を達成
1

研究背景

2

音声機械翻訳（ST）における発話分割• 音声機械翻訳（ST; Speech Translation）… 音声→テキストの機械翻訳(“this would have been fine”)

SpeechTranslation“Das wäre okay gewesen.”• STの前段の処理である、セグメントへの発話分割は性能に大きく影響• 学習時：音声翻訳コーパスに含まれる、分割済みの音声セグメントを使用• 実用時：セグメントの境界は未知 → 自動発話分割

3

発話区間に基づく分割 - VAD• 音声区間検出（VAD; Voice Activity Detection）[Sohn+99][Bangalore+12]• 最も標準的な手法。無音（silence）を基準とした分割

speechspeechsilence• 人手による分割とのギャップが大きい [Papi+21]（[Papi+21]から引用）

4

発話区間に基づく分割 - VAD• 音声区間検出（VAD; Voice Activity Detection）[Sohn+99][Bangalore+12]• 無音は必ずしも文境界とは一致しない → 過剰分割・過少分割
n 長い無音による文の断片化 → 過剰分割（Over-segmentation）(“i think my personal storyis explained simply on slides”)

n 短い無音を無視した文の一体化 → 過少分割（Under-segmentation）(“uh no he is in trouble what is the problem”)

人手による分割
VADによる分割

5

関連研究

6

長さに基づく分割• 固定長セグメントへの分割 [Sinclair+14]• セグメント長が一定に保たれる利点がある。VADを上回るという報告もある [Gaido+21]• 音響や言語情報を考慮しないため不自然な分割が頻繁に起こる…
20s20s• VADと固定長分割の組み合わせ推論 [Potapczyk+20][Gaido+21][Inaguma+21]• 音の強さとセグメントの長さを考慮 → 過剰分割の緩和• 言語情報を考慮しない → 翻訳に適さない分割

threshold[min _len, max _len]

…

VAD
4s+5s

7

言語情報に基づく再分割 [Ore+20][Pham+20][Nguyen+21]• 句読点復元モデルや言語モデルを用いて、音声認識（ASR）出力を再分割
VADASRhi there the weather
today was warm

再分割

hi there the weather
today was warm

句読点復元・言語モデル

Hi there.

MTThe weather today was warm.

• 文単位に再分割することで機械翻訳（MT）の翻訳精度が向上 → Cascade STで広く利用• ASRモデルを介さない、End-to-end STモデルへの適用が難しい• 不適切な分割による、ASRの認識誤りを防げない

8

本研究の目的

連続音声を「文」に対応するセグメントへ直接分割• より翻訳に適した音声セグメントへ• End-to-end STへ適用するため音声レベルで分割

9

提案手法

10

音声翻訳コーパスに基づく発話分割学習• MuST-C … TED Talksの音声翻訳コーパス
文単位のテキストに対応付いた音声を入手可能 → 文単位の音声分割の学習（例）MuST-Cの学習データ
27.46 s30.07 s31.31 s34.56 s

音声（英語）
Save the shoes.

Thank you.

テキスト（英語）

Retten Sie die Schuhe.

Vielen Dank.

テキスト（ドイツ語）11

音声翻訳コーパスに基づく発話分割学習• MuST-C … TED Talksの音声翻訳コーパス
文単位のテキストに対応付いた音声を入手可能 → 文単位の音声分割の学習
提案手法の学習データ。時刻情報を基に、音響特徴量のフレームにラベル𝑥 ∈ {0, 1}を付与
27.46 s30.07 s31.31 s34.56 s

• 入力：音響特徴量• 出力：ラベル[11000000000000000111111000000000000001]の系列ラベリング

12Transformer Encoderを用いた発話分割モデル• モデル：二次元畳み込み＋Transformer Encoder• データ：2つの連続するセグメントを連結し、FBANKフレームに対してラベル付けℒ!"# (𝑥,* 𝑥)[ 𝑥$ 𝑥% 𝑥& 𝑥' ] ………………... target 𝑥 ∈ {0, 1}[ 𝑥*$ 𝑥*% 𝑥*& 𝑥*' ] ………………... output 𝑥! ∈ R!
Linear + Softmax• 学習：交差エントロピー損失ℒ!"# (𝑥,* 𝑥)の最小化(exp(𝑥!%,')ℒ"#$ (𝑥,! 𝑥) = − / 0𝑤" log𝑥exp(𝑥!%,* + 𝑥!%,') %,'%&'exp(𝑥!%,*)+ (1 − 𝑤" ) log
𝑥9exp(𝑥!%,* + 𝑥!%,') %,*Transformer encoder

×𝐿

2d Convolution… input (FBANK)※ rescaling weight 𝑤" ≔ 0.913

発話分割モデルの推論(1) 固定長𝑇のセグメントを発話分割モデルに入力し、各フレームのラベル確率𝑥! を出力(2) Decision関数によりラベルを決定（後述）(3) ラベルを基に音声を再分割

1 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 1 1Decision
𝑥! 𝑥" 𝑥# 𝑥$ 𝑥% 𝑥& 𝑥' 𝑥( 𝑥) 𝑥!*𝑥!!𝑥!"𝑥!#𝑥!$𝑥!%𝑥!&𝑥!'𝑥!(𝑥!)𝑥"*𝑥"!𝑥""𝑥"#𝑥"$𝑥"%𝑥"&

発話分割モデル

発話分割モデル

固定長𝑇 (t = 1)

固定長𝑇 (t = 2)

…

14

追加手法

発話分割モデルとVADの組み合わせ推論• 発話分割モデルは、音のパワーだけを分割の判断根拠にしない→ パワーが大きい部分で分割することもOracle segments
Predicted segments• ”非音声領域はセグメント境界の必要条件”という仮定のもと、発話分割モデルとVADの組み合わせ推論を提案→ VADで非音声領域を検出して予測を補強
15

Decision関数
n 発話分割モデルの推論
Decision = 1 if P 𝑥0 = 1|𝑓0 ≥ 𝑃123452678 else 0

1なら発話外=セグメント境界に含まれる
0なら発話内=セグメントに含まれる

n 発話分割モデルとVADの組み合わせ推論 追加手法
if len(segm) < maxlen thenDecision = 1 if P 𝑥0 = 1|𝑓0 ≥ 𝑃123452678 AND 𝑉𝐴𝐷 𝑓0 == 1
else
Decision = 1 if P 𝑥0 = 1|𝑓0 ≥ 𝑃123452678 OR 𝑉𝐴𝐷 𝑓0 == 1
※ 𝑃"#$%&#'() ：発話分割モデルの予測に対する閾値
※ len(segm) ：セグメント長（ラベル“1”の連続数）、maxlen：長さ上限を決める閾値
17

実験

18

実験設定
• データ：MuST-C English-German [Gangi+19]• TED talksの音声翻訳コーパスMuST-Cに含まれる、約408時間の英語の音声と、それに対応づいた書き起こしテキスト、及びドイツ語の翻訳テキスト• 発話分割手法• トップライン：MuST-Cに含まれる分割済みセグメント（Oracle）• ベースライン：WebRTC VAD（VAD）、固定長（Fixed-length）• 提案手法：発話分割モデル（Our model）、組み合わせ推論（VAD hybrid）

19

実験設定
• STシステム• Cascade ST、End-to-end ST
Cascade ST

発話分割(TransformerEncoder)End-to-end ST

発話分割(TransformerEncoder)

ASR(Transformer withCTC subtask)

MT(Transformer)

ST(Transformer)• 評価• 編集距離に基づき出力テキストを再分割後、WERやBLEUを測定 [Matusov+2005]
20

ベースライン手法の結果
複数の試行の中で最も高いBLEUスコアを得た条件の結果• Best VAD：(aggressiveness, frame size) = (2, 20ms)• Best Fixed-length：20秒（Cascade ST）、12秒（End-to-end ST）

OracleBest VAD
Best Fixed-length

Cascade ST End-to-end ST
WER BLEU
BLEU
12.60 23.59
22.50
30.59 17.02
16.40
20.60 19.29
17.96
Cascade STにおけるベースラインの比較• VADはFixed-lengthより低いBLEUスコア（17.96 → 16.40）• OracleとFixed-lengthでは4~5pt程度のギャップ（22.50 → 17.96）• ある程度まではセグメントの長さを確保することで低下を抑えられる

21

提案手法の結果• Best VADに対しては3~4pt、Best Fixed-lengthに対しては~2pt程度の向上• VADとの組み合わせ推論により~0.8ptの向上• Oracleと比較して2~3ptのギャップ
Cascade ST End-to-end ST
WER BLEU
BLEU
Oracle12.60 23.59
22.50
Best VAD
30.59 17.02
16.40
Best Fixed-length 20.60 19.29
17.96
Our model
20.99 20.18
19.10+ VAD hybrid
19.06 20.99
19.87
22

事例分析：出力テキストと分割位置
Oracle (ASR)

bonobos are together with chimpanzees you aposre living closest relative ■Oracle (MT)Bonobos sind zusammen mit Schimpansen, Sie leben am nächsten Verwandten. ■Best VAD (ASR)

bonobos are ■ together with chimpanzees you aposre living closest relative that ...

Best VAD (MT)Bonobos sind es. ■ Zusammen mit Schimpansen leben Sie im Verhältnis zum ...

Our model (ASR)

bonobos are together with chimpanzees you aposre living closest relative ■Our model (MT)Bonobos sind zusammen mit Schimpansen, Sie leben am nächsten Verwandten. ■23

事例分析：音声波形と分割位置• 発話分割モデルのみや、VADのみによる推論では過剰な分割が目立った

Oracle segments

Our model

Predicted segments

VAD
28.36 s36.79 s24

事例分析：音声波形と分割位置• 発話分割モデルのみや、VADのみによる推論では過剰な分割が目立った• 組み合わせ推論により2つの手法が相補的に作用 → 過剰分割の軽減
Oracle segments

Our model

Predicted segments
Predicted boundaries

VAD

Our model + VAD
28.36 s36.79 s25

まとめØ 本研究では、音声翻訳コーパスに基づく発話分割予測モデルを提案• 連続音声を「文」に対応するセグメントへ直接分割
Ø TED talksの英語-ドイツ語 音声翻訳実験で効果を検証• 発話区間や長さに基づく従来手法よりも高い翻訳性能を達成• VADとの組み合わせ推論で更に性能が向上
n 今後の展望• 翻訳コーパスのセグメント境界は常に最良か？ -> 翻訳性能で最適化• オンラインSTのための、発話分割機能を備えたEnd-to-end ST26

付録

27

実験設定：STシステム28