(14)[一般発表] 離散音声トークン生成によるテキスト音声合成のための音声主観評価値予測に基づく decoding 戦略◎山内 一輝, 中田 亘, 齋藤 佑樹, 猿渡 洋 （東京大学）

音声サンプルはこちら！

概要：離散音声トークン生成に基づく TTS モデルおける decoding 戦略の探求
l 背景：離散音声トークンを中間表現として用いる自己回帰型テキスト音声合成（Text-to-Speech: TTS）
○ 従来のメルスペクトログラムに代わり，Neural Audio Codec (NAC) [1] などのデータ駆動で獲得された離散表現を逐次生成

Decoder○ 自然言語処理（特にテキスト生成）分野で研究されてきた離散トークン処理手法に類似した音声処理手法

l 問い：最適な decoding 戦略（= 計算された出力確率から実際に出力するトークンを選択する方法）は?
○ 例：greedy search は同じトークン列の繰り返し生成問題を引き起こす

Cross-attention

Transformer encoderl 提案：音声に対する主観評価値の自動予測を活用して最適な出力トークンを選択

TTS モデルの追加学習なしで合成音声の自然性を向上！

Text： 離散音声トークン

Transformer decoder
BOS

関連研究：テキスト生成における decoding 戦略
top-k / top-p サンプリング

Controlled decoding (block-wise best-of-𝑲)l 人間の嗜好度の予測値（preﬁx score）に基づいてトークンを選択

l サンプリングにより出力を多様化し，繰り返し生成問題を軽減○ 出力されうるトークンの候補を絞り，不適切なトークンの生成を軽減○ 尤度が高いフレーズと好ましいフレーズは異なる場合がある

出力確率

出力確率

累積確率が p = 0.90 となる最小集合がサンプリング候補

上位 k=4 単語がサンプリング候補

0.20

cat

出力済みの単語

0.30

0.30

dog

0.15

lion

0.20
0.12

2ger

0.08

0.05

0.04

0.03

birdratfrog

dragon

0.15

dog

cat

lion

0.12

2ger

次の単語列の候補を!(= 4)パターン出力

This paper
0.080.05

0.04

0.03

bird

ratfrog

dragon次に続く単語列（フレーズ）の候補

Preﬁx scorewill receive diverging reviews

lowaveragevery highvery low

may be liked bywill be liked by Selected

⾔語モデル

is not ge7ng into𝑘 = 4 とした top-k サンプリング[2]の概要 𝑝 = 0.9 とした top-p サンプリング[3]の概要

Controlled decoding [4] の概要

提案手法：音声主観評価値の自動予測を活用した decoding 戦略
TTS のための sequence-level best-of-𝑲 / block-wise best-of-𝑲

主観評価値の予測に基づく prefix scorer

l top-k top-p サンプリングにより 𝐾 通り生成し，preﬁx score が最も高い候補を選択 l 自然性 MOS 予測モデル UTMOS [5]を活用
TTS model

TTS model

Preﬁx score(= UTMOS [5])!

0.5秒生成 Prefix score

Prefix score

4.2

4.1

4.4

3.9

Selected

4.0!

3.8

TTS model

0.5秒生成 Prefix score

4.0

4.3

4.1

4.4

3.8

4.3

4.1

3.6

3.9

Selected○ 5 段階の自然性 MOS の予測値を preﬁx score とする

TTS model

Selected○ 学習時，入力音声をランダムな時刻以降切り捨てる

0.5秒生成→ 途中まで合成された音声の主観評価値予測が可能に
Selected

切り取った音声Preﬁx scorer

4.0

1 2 3 4 5

block-wise best-of-𝐾 のための prefix scorer の学習方法の概要

block-wise best-of-𝐾 (controlled decoding) の概要

sequence-level best-of-𝐾 の概要切り取り前の音声の主観評価値

実験的評価：提案手法は合成音声の自然性向上に有効か?
実験条件
l TTS モデル：Transformer TTS [6]l 離散音声トークン：○ Descript Audio Codec (DAC) [7]l データセット：LJSpeech [8]○ 単一女性英語話者による読み上げ音声○ 学習/検証/評価：12,600/250/250 発話

l 比較手法：○ greedy search○ naive sampling○ top-k top-p sampling○ sequence-level best-of-𝐾 （提案手法）○ block-wise best-of-𝐾 （提案手法）

サンプル数𝑲に関する abla>on study

主観評価実験の結果
l 自然性に関する 5 段階 MOS 評価の結果：

l block-wise best-of-𝐾 の 𝐾 と MOS の関係：

○ サンプリングに基づく手法 > greedy search○ 𝐾 を 2 から 8 まで上げると MOS は向上○ 提案手法 > 従来のサンプリングに基づく手法○ 𝐾 を 8 から 32 まで上げると MOS は低下

提案手法は合成音声の自然性向上に有効！

○ 一方，𝐾 を大きくするほど UTMOS は 向上

MethodMOS (↑)

UTMOS (↑)

greedy search

3.35 ± 0.09

4.27

naive sampling

3.57 ± 0.08

4.31

top-k top-p sampling

3.62 ± 0.08

4.36

sequence-level best-of-𝐾

3.71 ± 0.07

4.46

block-wise best-of-𝐾

3.73 ± 0.07

4.43

ground-truth

3.92 ± 0.07

4.43

※受聴者はネイティブ英語話者200人，1人の評価回数は24→ UTMOS は主観評価値と必ずしも一貫しない

𝐾 を大きくしすぎると preﬁx scorer に過適合サンプル数 𝑲2481632MOS (↑)
3.72 ± 0.08
3.74 ± 0.08
3.83 ± 0.07
3.79 ± 0.07
3.65 ± 0.08

UTMOS (↑)
4.40
4.43
4.43
4.45
4.46

今後の展望
l 自然性以外の観点の主観評価値に基づく decoding 戦略の提案

l 自然性向上に有効な逐次的な decoding 戦略の提案○ 実験では逐次的 decoding の自然性向上に対する有効性は示されず○ Preﬁx score は自然性に限らず様々な観点の主観評価値に拡張可能○ 逐次的 decoding は長時間音声のストリーミング合成などに適応可能○ 韻律の自然性や感情の適合度などに関する自動評価手法の構築

参考文献 [1] N. Zeghidour et al., IEEE/ACM TASLP, 2021. [2] A. Fan et al., in Proc. ACL, 2018. [3] A. Holtzman et al., in Proc. ICLR, 2020. [4] S. Mudgal et al., in Proc. NeurIPS Workshop, 2023.

[5] T. Saeki et al., in Proc. INTERSPEECH, 2022. [6] N. Li et al., in Proc. AAAI, 2019. [7] R. Kumar et al., in Proc. NIPS, 2023. [8] K. Ito et al., hKps: //keithito.com/LJ-Speech-Dataset/, 2017.

Saruwatari Lab., The University of Tokyo, Japan.

音学シンポジウム2024@Tokyo, Japan.

©Kazuki Yamauchi, June, 2024.