2-Q-36

⼈間からの誤り訂正フィードバックに基づく適応的なEnd-to-End ⽇本語⾳声合成に関する検討
藤井 ⼀貴，齋藤 佑樹，猿渡 洋（東⼤院・情報理⼯）

合成⾳声のアクセント誤りを集合知を⽤いて修正する Human-In-The-Loop(HITL) フレームワーク
n ⾳声合成 (text to speech; TTS) [1]n E2E TTS が抱える問題

n 誤った⾳声を合成した時の修正が困難

n テキストを⼊⼒し，対応する明瞭で⾃然な⾳声を合成する技術
n パラメトリック⾳声合成[2]…テキストから⾳声を予測する問題を複数に分割して解く（パイプライン処理）

n DNN の積み重ねで表現される End-to-End TTS…モデルの解釈性低⾮専⾨家を含む⾳声合成のユーザが修正することは困難

n ⾃然⾔語処理など，専⾨知識が必要となる場⾯がある「箸」han合成⾳声の誤りが引き起こす問題

n End-to-End (E2E) ⾳声合成 [3]n ⽇本語をはじめとするピッチアクセント⾔語…アクセントの違いで⾔葉の意味を区別しているn テキストからの⾳声予測を deep neural network; DNNの推論に置換
n テキストから⾳声を予測する単⼀ DNN を学習

ha＝適切なコミュニケーションをとることが困難となる=⾳声合成システム全体として最適化可能
n 専⾨知識が必須ではなくなり，⾮専⾨家でも容易に⾼品質な⾳声を合成可能

shi「橋」

n 合成⾳声のアクセントが誤ると⾔葉の意味が変化

n E2E TTS に必要となる要素

shin 合成⾳声を⾃在に操作するための要素（操作性）
n 合成⾳声の誤り訂正を容易にするための要素（適応性）

本発表の主題︓合成⾳声の操作性と適応性を兼ね備えたTTSの提案と集合知を⽤いた誤り訂正HITLフレームワークの実験的評価

操作性の⾼いE2E TTS [4]（従来⼿法）

操作性と適応性を兼ね備えたE2E TTS（提案⼿法）

n 従来法の概要
n TTSに⾳素と韻律を表す単⼀シーケンスを⼊⼒
n 挿⼊された韻律記号により合成⾳声のアクセントを操作可能

n 提案法の概要

n ⼊⼒テキストの⽂脈を考慮する為，BERT[5] 由来の単語埋め込みを導⼊
n テキストからその韻律を予測する韻律予測器を新たに導⼊
n アクセント訂正にクラウドソーシングによる集合知を活⽤する
Input text(e.g., 東京大学)
Word segmentation
HITLフレームワークの提案(e.g., [東京], [大学])n 従来法の韻律記号と実際のシーケンス
⼊⼒テキスト︓ 続いて，ニュースをお伝えします．
書記素to⾳素変換
ts u z u i t e ny u u s u o o ts u t a e sh i m a s u

テキスト解析より韻律記号を取得
ts u^z u i t e_ny u!u s u o#o ts u t a e sh i m a!s u(n 問題点(Meaning: The University of Tokyo)(Meaning: [Tokyo], [University])

韻律特徴

韻律記号
アクセント⽴ち上がり ^アクセント⽴ち下がり !
（アクセント核）
アクセント句境界#⽂末（⾮疑問形）(⽂末（疑問形）?
ポーズ_n ⾮専⾨家を含むユーザがアクセントの誤りを訂正するには複雑な記号もある
n テキスト解析の結果が誤っていた場合は，⾮専⾨家を含むユーザが解析辞書を更新して誤りの再発防⽌を⾏う必要がある(Japanese text for accent annotation)

FBin Fig. 1

Word embedding (e.g., BERT)
Word embeddingin[Tokyo] , [University]

Text analysis

Phoneme information(e.g., t o u ky o u d a i g a k u)
Phoneme embedding

Positional
encoding

DuplicateⅢ - Correct accents

Variance adaptor

(x6)

(x7)

[t o u ky o u] , [d a i g a k u]Concat & linear combinationn 韻律予測器Mel-spectrogram
decoder

Prosody predictor

FBw/ HITL framework

Prosody embedding

Positionalencoding

n ⾳素埋め込みと単語埋め込みより韻律記号を予測
n ユーザは正しい韻律をフィードバックするだけで簡単に誤り訂正が可能

n HITLフレームワーク

n 誤り訂正に⼈間を取り⼊れることで適応性が向上
n クラウドソーシングを⽤いた⽂章へのアクセントアノテーション

n 作業者の殆どは⾳声合成の⾮専⾨家＝誤り訂正の信頼性を⾼める必要有→⼊⼒されたアクセントで実際に⾳声を合成，聴覚的フィードバックにより信頼性確保

⾳声の⾃然性に関する実験的評価

n 実験条件n 実験結果n TTSモデルに関する実験結果

項⽬

値・設定

使⽤コーパス
使⽤ TTS
サンプリングレート

JSUT コーパス[6]悪FastSpeech2 [7]22,050 Hz
80
WORLD [8]logF0 Root Mean Squared Error (RMSE) [cent]
MOSテスト（TTSモデル）
Preference ABテスト（TTSモデル・HITLフレームワーク）

良

メルスペクトログラム次元
F0分析ツール
客観評価指標主観評価

太字は２⼿法間に有意差有(p<0.05)を⽰す．

n アクセントで条件付けすることの有効性が⽰唆
n 韻律予測器の予測精度の悪さが⽰唆
n 辞書由来のアクセントでスコアが改善＝HITLにより正しいアクセントが得られたら⾃然な⾳声を合成できることが⽰唆
太字はFS2+PP(GT)と同等値(p<0.05)であることを⽰す．

n TTSモデルに関する実験条件…韻律情報で条件付けすることの有効性と韻律予測器の性能調査

n 主観評価結果も，FS2+PPはFS2+PSよりも性能が低くFS2+PP(GT)はFS2+PSと同程度＝韻律予測器の予測誤差が合成⾳声の品質を⼤きく劣化…しかし，正しい韻律があれば⾃然な韻律を持つ⾳声を合成することが可能

n JSUTコーパスのBASIC5000サブセットで学習
n 学習︓4,488⽂ 検証︓512⽂

n ⽐較⼿法n FS2 … 韻律情報で条件付けしない⼿法
n FS2+PS … テキスト解析由来の韻律情報で条件付けした⼿法n FS2+PP … 提案⼿法（韻律予測器由来の韻律情報）
n FS2+PP(GT) … 提案⼿法（テキスト解析由来の韻律情報）

n HITL フレームワークに関する実験結果
太字はFS2+PPより⾼い値であることを⽰す(p<0.05)
悪n HITL フレームワークに関する実験条件…HITLフレームワークで得られるアクセントの品質調査

良n JSUTコーパスの VOICEACTRESS100 サブセットで評価

n 固有名詞や造語などのアクセント推定が困難な⽂章を多く含む＝誤り訂正の妥当性を⽰すのに⼗分なフィードバックを得ることが可能
n 評価⼈数︓15⼈ × 100⽂ = 1500⼈

n 1⽂あたり15個のアクセント列の統合⼿法

n Mode … 各アクセントごとのアクセント⾼低の最頻値
n MACE … 期待値最⼤化法に基づく統合⼿法

n 未知の回答とワーカーの能⼒を交互に推定し，低い能⼒のワーカーの影響を排除して統合

n Best, Median, Worst … アクセント列ごとに⾳声を合成，正解⾳声との logF0 RMSE をとり，それぞれ参考⽂献

n値が最⼩のサンプル（Best）, 中央位置のサンプル（Median）, 最⼤のサンプル（Worst）■■■ TTSモデルに関する実験結果と同様結果

n クラウドワーカー間の能⼒差が⽰唆
n 統合アクセントで合成した⾳声スコア＝辞書由来アクセントで合成した⾳声スコア…HITLは韻律予測器の誤りをうまく訂正可能＝アクセント誤りを容易に訂正可能で品質向上に貢献
n 主観評価結果も同様の傾向を⽰唆

提案⼿法は韻律予測器の予測誤差をうまく補正し，合成⾳声の品質向上に貢献可能
n 今後の⽅針︓フィードバックのインタフェースの検討，韻律列の統合法に関する更なる検討[1] Sagisaka, Proc. ICASSP, 1988.
[2] Zen et al., Speech Communication, 2009.
[3] Wang et al, Proc. INTERSPEECH, 2017.
[4] Kurihara et al., IEICE Transactions on Information and Systems, 2021. [5] Devlin et al., Proc. NAACL-HLT, 2019. [6] Takamichi et al., AST, 2020. [7] Ren et al, Proc. ICLR, 2021.
[8] M. Morise et al., IEICE Transactions on Information and Systems, 2016.
本研究は，JST，ムーンショット型研究開発事業，JPMJMS2011 の⽀援を受けたものです．

Saruwatari-Koyama Lab., The University of Tokyo

ASJ2022@Hokkaido, Japan

2022@Kazuki Fujii September. 15, 2022