SLP研究会 2020/02/13
日本音響学会2020年 秋季講演発表会 1-2-11

サブバンドフィルタリングに基づく
リアルタイム広帯域DNN声質変換の実装と評価☆佐伯高明，齋藤佑樹，高道慎之介，猿渡洋(東大院・情報理工)本発表の概要

2 /16

q 背景
§ 声質変換では，話者再現度だけでなくリアルタイム性・音質が重要§ 従来のリアルタイム声質変換では，狭帯域 (16 kHz) 音声のみ変換可能§ 高音質なフルバンド (48 kHz) リアルタイム声質変換の実現が目的
q 手法§ サブバンド処理により低域 (0-8 kHz) のみをモデル化・変換 [佐伯20]§ 低域変換の際にフィルタ打ち切りを行うことで計算量削減 [Saeki20]§ リアルタイム・オンライン処理のための実装 & F0変換機構
q 評価結果§ 計算効率の評価の結果，1CPUでのリアルタイム動作を確認§ 変換音声の品質評価の結果，Benchmark手法より有意に高い自然性既存のリアルタイム声質変換の課題

3 /16

q 従来のリアルタイム声質変換 [Toda12][Arakawa19]§ 変換された音響特徴量から信号処理に基づくボコーダで波形生成§ 狭帯域 (16 kHz) 音声を遅延50 ms程度で変換可能§ 信号処理に基づくボコーダによるアーティファクト
§ 変換可能な帯域幅が狭く，変換音声が低音質

Narrow-bandsource speech

Analysis

Source feature

Narrow-band
converted speech

Conversion

Synthesis

Converted feature本研究でのアプローチ

4 /16

q 差分スペクトル法に基づく声質変換 [Kobayashi18]§ ボコーダを用いず，波形領域でのフィルタリングにより変換§ 帯域拡張すると品質・計算量面で問題
Ø サブバンドフィルタリングによる解決法を提案 [Saeki20]
Full-bandsource speech

Analysis

Convolution

Full-band
converted speech
⊗DNN

𝐶 (")
Real cepstrum ofsource speech

𝐶 ($)
Real cepstrum ofDifferential filter

𝑓 ($)
Differential filter intime domain

サブバンドフィルタリングによる広帯域声質変換 [佐伯20]

5 /16

q サブバンド処理により，0-8 kHzのみをモデル化・変換 [佐伯20]§ 変動の大きい高域をそのまま使うことで，変換音声の音質を向上§ フィルタをかける波形のサンプル数が減り，計算量を削減
q フィルタのタップ長を短く打ち切ることで，さらに計算量削減 [Saeki20]
8-24 kHz

Pass through0-24 kHz
0-8 kHz0-24 kHzConvolution

⊗DNN

𝑪(𝑿)

𝑪($)

𝒇(%)
Short-tap
truncated filterリアルタイム・オンライン広帯域声質変換

6 /16

q サブバンドフィルタリングによる声質変換はオフライン変換を想定
q リアルタイムフルバンド声質変換のためのオンライン実装

Offline変換 (発話ごとに処理) [佐伯20]

Sub-band analysis
0-8 kHz

Conversion

8-24 kHz
Pass throughSub-band synthesis

Online変換 (フレームごとに処理)

Sub-band analysis
0-8 kHz

Conversion

8-24 kHz
Pass throughSub-band synthesis

提案するシステムの主要部

7 /16

q 分析部: 変換元話者の音声をサブバンド処理し，低域から特徴量抽出q 変換部: DNNでケプストラム変換し，差分フィルタを推定
q 合成部: 変換先話者の音声波形を得る
25 ms window
Processing each frame within 5 ms
5 ms shift
8-24 kHz

Pass through0-8 kHz

Filtering

DNN!(")

!(%)

"($)

⊗その他の部分

8 /16

q F0変換: 入力波形を一定F0比だけPICOLA [森田1986] でピッチシフト
q 特徴量分析時にプリエンファシスを適用

25 ms window
Processing each frame within 5 ms
5 ms shift
F0 transformation. 8-24 kHz

Pass through0-8 kHz

Filtering

DNNPre-emphasis!(")⊗
De-emphasis!(%)"($)

実験的評価評価の概要10 /16

q Proposed methodとBenchmarkを比較§ Benchmark: 差分スペクトル法を広帯域音声に帯域分割なしで適用
q 評価内容§ 計算効率: FLOPSによる計算量概算 & Real-time factor (RTF) 計測§ 変換音声品質: 主観評価実験
Evaluation cases

male-to-male (m2m), female-to-female (f2f)
female-to-male (f2m), male-to-female (m2f)

Datasetf2f: JSUTcorpus [Sonobe17]
Voice Actress corpus [y̲benjo17]
m2m, f2m, m2f: JVS corpus [Takamichi19]

Train / Valid / Test 80 sentences / 10 sentences / 10 sentences
DFT length

Proposed: 512 samples
Benchmark: 2048 samples

DNN architecture

Multi layer perceptron with 2 hidden layers

CPUIntel (R) core (TM) i7-6850K CPU @ 3.60 GHz

計算量の評価

11 /16

q FLOPS: 1秒間に浮動小数点演算が何回行えるかという指標
q 1秒間のフルバンド音声を処理するのにかかる計算量をFLOPS単位で概算
単位はGFLOPS
Analysis
Benchmark

Proposed

Conversion Synthesis

0.21

3.04

16.80

350 %

12 %

6%

0.74

0.37

1.05

OtherTotal

0.30

20.4
12 %

0.30

q 理論上はモバイル端末でもリアルタイム変換が可能
Ø Iphone6 single CPU: 2.8 GFLOPS (理論値)Ø Intel core i7-6850K single CPU: 14.4 GFLOPS (理論値)2.5処理時間の計測

12 /16

q RTFによる評価§ 1フレームごとの処理時間を算出し，波形の長さ (5 ms) で除算§ 全フレームでのRTFの平均値を算出
Analysis
Benchmark

Proposed

Conversion Synthesis

0.02

0.33

2.82

800 %

42 %

8%

0.16

0.14

0.22

OtherTotal

0.06

3.23
18 %

0.06

0.58

1CPUでRTF < 1 を達成し，リアルタイム動作を確認オンライン・オフラインの品質比較

13 /16q Online実装とOffline実装 [佐伯20]の品質を主観評価実験により比較§ 各ケース30人の評価者• 話者性についてのXABテスト，音質についてのABテスト

Speaker similarity
OnlineScore

Offline [佐伯20]m2m0.493

0.507

m2m

f2f

0.487

0.513

f2f

Speech qualityOnlineScore

Offline [佐伯20]

m2m

0.483

0.517

m2m

f2f

0.510

0.490

f2f

オンライン変換 vs. オフライン変換に有意差なく，変換音声の品質は同等

変換音声品質の絶対評価

14 /16q 自然性をmean opinion score (MOS) により評価§ 同性間・異性間変換の各ケースにつき40人の聴取者が評価
Error bar: 95 % confidence interval

提案するreal-time VCのMOSはbenchmarkより有意に高く，3.5程度

デモ

15 /16

Source Target

Intra-gender(f2f)

Cross-gender(m2f)

Narrow
Benchmarkband

Proposedまとめ16 /16

q 研究目的§ 高音質なリアルタイム広帯域DNN声質変換の実現
q 手法§ サブバンド処理により低域 (0-8 kHz) のみをモデル化・変換 [佐伯20]§ 低域変換の際にフィルタ打ち切りを行うことで計算量削減 [Saeki20]§ リアルタイム・オンライン処理のための実装 & F0変換機構
q 評価結果§ 計算量の概算の結果，2.5 GFLOPS程度で広帯域音声を変換可能§ RTF計測の結果，1CPUでのリアルタイム動作を確認§ Online変換でも，offline変換 [佐伯20]と同等品質の変換音声を出力可能§ そのまま帯域拡張したケース (Benchmark) より有意に高い自然性
q 今後の課題§ 実環境での頑健性の検討§ さらなる変換音声品質の改善