深層学習全学横断研究会

Road to Detective Conan
荒川 陸
東京大学大学院情報理工学系研究科

システム情報学専攻 稲見檜山研究室 修士1年
2019/10/16

自己紹介• 荒川 陸 (@rikky0611)• 東大情報理工修士1年• 稲見檜山研究室• 興味• 機械学習を活用した,人間中心のインタラクションシステムの実装.

発表内容は, 2018年10月-2019年3月に東京大学工学部計数工学科シス
テム情報工学コース 猿渡小山研究室で行った卒業研究の内容である.

名探偵コナンといえば表示用

画像: http://www.ytv.co.jp/conan/item/tai.html

名探偵コナンといえば・蝶ネクタイ型変声器
表示用

画像: http://www.ytv.co.jp/conan/item/tai.html

名探偵コナンといえば・蝶ネクタイ型変声器(1) リアルタイムのDNN音声変換(2) 変換音声の品質向上

表示用(3) デバイス化

画像: http://www.ytv.co.jp/conan/item/tai.html

コラボイベント展示
表示用
表示用

合同会社DMM.com との共同開発
出典: https://prtimes.jp/main/html/rd/p/000003399.000002581.html
動画: https://www.youtube.com/watch?v=vFSHxn_G2iQ

名探偵コナンといえば・蝶ネクタイ型変声器(1) リアルタイムのDNN音声変換(2) 変換音声の品質向上

表示用(3) デバイス化

画像: http://www.ytv.co.jp/conan/item/tai.html

(1/3) リアルタイムDNN音声変換

研究テーマ: 音声変換 (VC)
EntertainmentVC
Human Robot Interaction

Speaking Aid•ある話者の発話を別の話者が話したかのように変換.
•言語情報を保持, パラ言語・非言語情報を変換.
•発声器官の物理的制約を超えて, 多様な音声コミュニケーションを可能にするという点で期待.

DNN音声変換
SourceTargetSynthesisAnalysis
Speech Feature

Conversion
DNNSpeech Feature• メルケプストラム係数(MCEP), 基本周波数(F0), 帯域平均化された非周期性指標(BAP)などの音声特徴量の抽出.

• 従来のDNN音声変換は, 分析・変換・合成にオフラインの処理を想定. (ex. Bidirectional Long Short-Term Memory [L. Sun 2015])• リアルタイムDNN音声変換は未確立.

・・・遅延聴覚フィードバック~200 ms [Aubrey J. 1963]

5 ms

Analysis2-tap Trajectory Smoothing[S. Takamichi et al. 2015]

LinearLinearDNN

DNN

Conversion

Window 25 ms
FFT MCEP Analysis
Pitch Extraction
MCEP Conversion
Bap Conversion
log F0 Conversion

Multi-framelog F0PowerFFT MCEP
BAP

Recursive Maximum LikelihoodParameter Generation[K. Tokuda et al. 2000]

WORLD
MCEP+ΔMCEP

Pre-computedVarianceWORLD
MCEPSynthesis

Toda et al.,2012
を踏襲・改良WORLD[M. Morise et al. 2016]

Wave Synthesis

Parameter
Generation

Multiframe

Window

Algorithm
Latency遅延計測のための実験条件
声優統計コーパス

データセット[Y̲Benjo and MagnesiumRibbon, 2017]

学習/評価

90 / 10 発話

サンプリング周波数16 kHz

音声特徴量

F0 / パワー/ MCEP(40次元) /BAP(1次元)DNN

3層のMulti-layer Perceptron
Input-Output Residual 構造 [Y. Saito 2018]

CPU性能(100発話, ~12分, 男性2名)

Intel (R) Core (TM) i7-3770K CPU@ 3.50 GHz遅延評価•アルゴリズム遅延 50 ms•分析部: 10 ms (フレーム分析長: 2フレーム分)•変換部: 10 ms (マルチフレーム: 2フレーム分)•合成部: 30 ms (MLPG: 3フレーム分, WORLDバッファ: 3フレーム分)•CPU処理遅延•合計 Real Time Factor (RTF): 0.50 (<1.0)➡ リアルタイムで動作可能.

デモ動画

動画: https://www.youtube.com/watch?v=P9rGqoYnfCg

(2/3) データ拡張法による変換音声の品質向上

データ拡張法•DNNの汎化性向上のために使われる手法.
•人工的に学習データを水増しする.

• 以下のタスクで有効性が確認されている.
• 音声認識 [T. Ko et al. 2015]• 音響イベント分類 [B. Mcfee et al. 2015]• 音声変換への適用は未調査.

提案するデータ拡張法⑴ Pitch Shift

着想⑵ Time Stretch⑶ Time ShiftWindow

人間は同じ文章でも全く同様の読み上げはしない.
{ピッチ / 話速}• Pitch Shift: 話速を保ったままピッチを変化. [J Salmon 2017]• Time Stretch: ピッチを保ったまま話速を変化. [J Salmon 2017]
WSOLA アルゴリズム [W. Verhelst and M. Roelands, 1993]• Time Shift: FFT分析の開始地点を摂動.

品質評価のための実験条件
声優統計コーパス

データセット[Y̲Benjo and MagnesiumRibbon, 2017]

学習/評価

90 / 10 発話

サンプリング周波数16 kHz

音声特徴量

F0 / パワー/ MCEP(40次元) /BAP(1次元)DNN

3層のMulti-layer Perceptron
Input-Output Residual 構造 [Y. Saito 2018]

CPU性能(100発話, ~12分, 男性2名)

Intel (R) Core (TM) i7-3770K CPU@ 3.50 GHz

データ拡張法の客観評価• 評価データの平均二乗誤差の減少を確認.
• 提案手法間の差異は確認できなかった.

データ拡張法の主観評価
with Data Augmentation

without Data Augmentation

Naturalness

68.6 %

31.4 %

Individuality

66.0 %

34.0 %

0%

25 %

50 %
Preference Score

75 %• 自然性: Preference ABテスト(35人の被験者)• 話者性: XABテスト• 有意な音質改善効果を確認.

100 %サンプル音声

1. 入力話者音声
2. 目標話者音声
3. データ拡張なし (output)
4. データ拡張あり (output)

(3/3) マスク型デバイス

背景1: 雑音混入の防止• 入力音声に雑音が混入.

→ 変換性能の低下.
→ マスク型デバイスを用いて雑音混入の防止を狙う.

背景2: 元音声の封じ込め

表示用

画像: https://gifmagazine.net/post̲images/536635• 元話者の音声が周囲に聞こえてしまう.

→ 変換音声への没入感の低下.
→ マスク型デバイスを用いて元音声の封じ込めを狙う.

背景2: 元音声の封じ込め• 空間を共有する近接場コミュニケーションで重要.
→ 様々な応用事例を検討.

提案法: マスク型デバイス + フィルタ
Amplitude

Frequency [Hz]• マスクによってこもった音声の低周波領域を弱めた音声を入力とするDNNを学習.

実験• 音声の品質と防音効果を評価.
• 音声の品質• 評価データの平均二乗誤差を比較.
• 防音効果• 入力マイクと, 少し離れたところに置いたマイク(聞き手を想定)での音量を比較.

結果• 音声の品質→ マスクによる精度悪化をフィルタで改善.

• 防音効果→ マスクによる防音効果を確認.

雑音下音声変換の主観評価
with Mask

without Mask

Naturalness

55.7 %

44.3 %

Individuality

41.7 %
0%25%

50%Preference Score

58.3 %
75%• 自然性はマスクありの有効性を確認.
• 話者性ではマスクなしの方が評価が良い.
• 今後マスクの形, 素材の探求が必要.

100%

おわりに

名探偵コナンといえば・蝶ネクタイ型変声器(1) リアルタイムのDNN音声変換(2) 変換音声の品質向上

表示用(3) デバイス化

画像: http://www.ytv.co.jp/conan/item/tai.html

Real-Time VC Demo

今後
• 日常的にリアルタイム音声変換を使用することによる知覚体験.
• “自分の声がタレントの声に変わって生活したら, 性格に変化は起こるのか.”• 品質の向上.
• データ収集の簡便化.

アプリケーションアイデアがあったらぜひ議論しましょう！

まとめ提案• リアルタイムDNN音声変換. [1, 2]• 品質改善のためのデータ拡張法. [1, 2]• 近接場コミュニケーションのためのマスク型デバイス. [3]結果• リアルタイムでの動作を確認.
• 有意な品質改善効果を確認.
• 品質を保ちつつ、元音声の封じ込め効果の確認.
参照
1. 荒川 他, “リアルタイムDNN音声変換の実装とデータ拡張法による音質改善法”, 日本音響学会2019年春季研究発表会.
2. Arakawa et al., “Implementation of DNN-based real-time voice conversion and its
improvements by audio data augmentation and mask-shaped device”, The 10th ISCA Speech
Synthesis Workshop.
3. Arakawa et al., “TransVoice: Real-Time Voice Conversion for Augmenting Near-Field SpeechCommunication”, ACM UIST 2019 (to appear).