情報処理学会研究報告
IPSJ SIG Technical Report

モーメントマッチングに基づく
DNN 合成歌声のランダム変調ポストフィルタとニューラルダブルトラッキングへの応用
田丸 浩気1,a)

齋藤 佑樹1

高道 慎之介1,b)

郡山 知樹2

猿渡 洋1

概要：Deep neural network (DNN) を用いて合成された歌声に，発話間のピッチ変動を与える，generative

moment matching network (GMMN) に基づくポストフィルタを提案する．人間の歌唱における発話間
ピッチ変動は，自然性や豊かさにつながるほか，同一曲を 2 回録音してミックスすることにより歌声に厚みを持たせるダブルトラッキング (DT) にも活用されている．しかし，従来の決定論的な DNN 歌声合成
では，一つの楽譜に対して 1 種類の波形しか生成できない．そこで GMMN を用いて，人間の歌声におけるピッチの変調スペクトルの発話間変動をモデル化することにより，DNN で合成された歌声にランダム性を付与するポストフィルタを提案し，さらに，合成歌声のための DT に応用する．主観評価により，提案
手法では，自然性を損なわずに，人間が知覚できる水準で発話間変動が生じること，GMMN を用いた DTの知覚的印象が，従来の信号処理を用いた DT の印象よりも自然な多重録音に近づくことを示す．

Hiroki Tamaru1,a)Yuki Saito1 Shinnosuke Takamichi1,b)Hiroshi Saruwatari1

1. はじめに

Tomoki Koriyama2

数回録音し，音楽制作者がそれらの中から好みのテイクを選ぶことが可能になる．一方，従来の DNN に基づく手法

近年，合成音声の歌声を用いた音楽制作が盛んに行わ

では，合成過程が決定論的なため，一つの楽譜からは一つれている．合成手法としては，素片接続 (Vocaloid [1] なの歌声しか生成されない．発話間変動がないため，前述しど)，hidden Markov model (HMM) [2], [3]，deep neural

た豊かな音楽体験が存在しないほか，ダブルトラッキング

network (DNN) [4], [5] が挙げられる．合成歌声を用いる(double-tracking: DT) [6], [7] (図 2) を行うことも不可能

目的の一つは，ユーザの性別や歌唱技量に関係なく，表現になる．DT は，同一フレーズを複数回歌唱および録音し，豊かな歌声や音楽を制作することである．中でも，DNN

それらをミックスすることにより，発話間変動を活用してに基づく手法は，高品質で表現豊かな歌声を合成する手法

歌声に厚みや豊かさを持たせる手法である．また，1 回分として期待されている．

の録音しか存在しない場合でも，アーティフィシャルダブ

しかし，従来の DNN に基づく手法は，図 1 に示すようルトラッキング (artificial double-tracking: ADT) と呼ばに，発話間変動を欠く．人間は，単一の楽譜を与えられてれる，信号処理的な代替法が存在する．ADT では，1 回のも，歌唱ごとに歌いまわしが異なる．この発話間変動は，録音を主にコーラスのエフェクトによって変調して原音に豊かな音楽体験につながる．例えば，音楽コンサートにおミックスする．ADT は発話間変動を持った複数の録音をいて歌手が口パクではなく生で歌うことにより臨場感を必要としないため，人間の歌声のみならず，合成歌声にももたらすほか，音楽制作において同じフレーズの歌声を複利用できる．しかし，ADT では不自然な音質の変化が生じることが知られている [8]．

1

2

a)
b)

東京大学 大学院情報理工学系研究科システム情報学専攻, 7-3-1
Hongo, Bunkyo-ku, Tokyo, 113-8656, Japan.
東京工業大学 工学院 情報通信系, G2-4, 4259 Nagatsuta-cho,
Midori-ku, Yokohama, 226-8502, Japan.
hiroki tamaru@ipc.i.u-tokyo.ac.jp
shinnosuke takamichi@ipc.i.u-tokyo.ac.jp

c 2012 Information Processing Society of Japan⃝

これらの問題に対処するため，本稿では合成歌声に発話
間変動を付与するポストフィルタを提案する．歌唱の発話
間変動は何らかの複雑な分布に従うと仮定し，複雑な分布のモデル化への有効性が示されている，深層生成モデル1

情報処理学会研究報告
IPSJ SIG Technical Report
Human singing voice

Synthesized singing voice

ずに，人間の知覚できる水準の発話間変動を生成できること，さらに NDT は信号処理的な ADT よりも，自然な DTに知覚的に近いことが示される．

2. 従来手法
HumansingerMusicalscore

Variouswaveforms

Musicalscore

One
waveform

Synthesis

図 1 人間の歌声と合成歌声の比較．

2.1 DNN に基づく歌声合成
DNN に基づく歌声合成 [4] では，楽譜と対応する歌声のFig. 1 Comparison of human and synthesized singing voices.

音声パラメータとの関係が DNN によりモデル化される．
まず，楽譜は言語的・音楽的コンテキストを表現するベク

Double-tracking(DT)

Artificial Doubletracking (ADT)Neural doubletracking (proposed)

Synthesize
once

Synthesize
once

トル系列に変換される．DNN はコンテキスト系列を入力されると歌声の音声パラメータを出力すべく，以下の平均

Sing
twice
Mix

Signalprocessing
Mix

GMMN
postfilter
Mix

Artifacts in voice
due to unnatural
signal processing

Naturally layered voice
due to modeling ofinter-utterance variation

二乗誤差 (mean square error: MSE) を最小化 [4] するよ
うに学習を行う．

LMSE (y, ŷ) = ||y − ŷ||2(1)

ただし y は自然音声の，ŷ は合成音声の音声パラメータ系列
であり，それぞれ T フレームであるとする．本稿では 1 次元

Naturally layered voice

図 2

ダブルトラッキング (DT), アーティフィシャルダブルトラッ
キング (ADT) と提案するニューラルダブルトラッキング(NDT)．この図では，ADT を合成歌声に対して適用しているが，同技術は人間の歌声に対しても適用可能である．

の連続対数基本周波数 (F0 ) 系列 [16] を考えるため，y をス
カラー値の系列 [y(1), · · · , y(t), · · · , y(T )]⊤ と定義する．ただし，y(t) は連続対数 F0 ，⊤ は転置記号である．合成の際は，推定された音声パラメータ ŷ = [ŷ(1), . . . , ŷ(t), . . . , ŷ(T )]⊤を用いて歌声を合成する．合成過程は決定論的であるため，合成される歌声は発話間変動を持たない．

Fig. 2 Double-tracking (DT), artificial double-tracking (ADT),ADT performed on synthesized voice, but it can also be

2.2 ADT
図 2 に，DT と ADT の違いを示す．DT は，同一フレー

performed on natural voice.

ズを複数回歌唱および録音してミックスすることにより，

and proposed neural double-tracking. This figure shows

歌声に厚み・豊かさを持たせる手法である [6], [7]．しかし，を用いる．我々の以前の研究 [9] と同様に，深層生成モデ

同一フレーズを 2 回ほぼ同じように歌う (タイミングや伸ルとして generative moment matching network (GMMN)

ばす長さを合わせる) のは難しく，時間と手間がかかる．

[10], [11] を用いる．このモデルは，複雑なミニマックス問題

ADT は，1 回の録音しか必要としない，DT の信号処理的を解く必要がある generative adversarial network (GAN)

な代替法である．ADT は，ボーカルの信号を 1 台のテー

[12] や，過度な正則化により生成の性能が低い variational

プマシンから出力し，2 台目のテープマシンで変速して再auto-encoder [13] とは異なり，容易な学習と安定した生

生し，1 台目に戻して原音に重ねて録音したのが始まりで成が可能である [14]．提案手法では，合成されたピッチ系

ある [6]．近年では，コーラスエフェクト [8] に代表される

列とノイズベクトルを入力とし，自然音声のピッチの発信号処理的な手法が主に用いられる．コーラスエフェクト

話間変動を表現できるように条件付き GMMN を学習させ

では，波形のコピーに対して，そのピッチを low-frequency

る．ピッチの超分節的構造を捕捉するため，ピッチ系列

oscillator を用いて変調する．すなわち，元のピッチ系列にの変調スペクトル (modulation spectrum: MS) [15] を用

対して時間変動する関数 (主に正弦波) が加算される．そい，GMMN は自然音声の MS の変動をモデル化する．合して，多重録音感 (人間が同一フレーズを 2 回歌唱および成時には，ノイズベクトルを入力すると，GMMN はラン

録音した感じ) を強調するため，変調歌声に微少な時間遅ダムに発話間変動を持った MS を生成する．入力のピッチ延を付与したのち，変調歌声を原音にミックスする．ADT

系列を，ランダムに生成された MS を用いて変調すること

は 1 個の歌声波形のみで行えるので，合成歌声に関してもにより，自然な範囲内で原音と異なった歌声をランダム実行可能である．しかし，ADT は位相の類似した 2 個のに生成することができる．本稿では，さらにこの枠組みを波形を重ねるので，コムフィルタ効果とそれに起因する不ADT に応用したニューラルダブルトラッキング (neural

自然な音質の変化が生じてしまう [8]．

double-tracking: NDT) を提案する．GMMN に基づくポは自然な厚みを持った歌声を生成できる．実験的評価によ3. GMMN に基づくポストフィルタと NDTへの応用

り，提案するポストフィルタは合成歌声の自然性を損なわ

本節では，GMMN に基づくポストフィルタと，合成歌声

ストフィルタは自然な発話間変動を生成するため，NDT

c 2012 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

Generated
pitch contour

ポストフィルタについて説明する．図 3 に，提案するポス

Naturalpitch contour

トフィルタを示す．GMMN [10] は深層生成モデルの一つ

MS
Phase

STFT

であり，GAN [12] よりも安定した学習が可能である．学習STFTの規範は maximum mean discrepancy (MMD) と呼ばれ，二つの分布間の統計量の不一致度を表す．DNN はノイズベ
クトルを入力とし，これがフィルタリングの際の発話間変動の源となる．ポストフィルタの学習段階では，合成された

MS

MS

Conditional
MMD
training
Segment-wise noise
Filtered
ISTFT
pitch contour
図 3

連続 F0 の MS とセグメントごとのノイズを入力されると，
自然音声の連続 F0 の MS の条件付き分布が DNN によりモデル化される．n(τ ) ∼ U [−1, 1) をセグメント τ におけるノイズベクトル，G(·) をポストフィルタの DNN とする．
セグメント τ における DNN の入力は，ジョイントベクトル

提案するポストフィルタ．

[sŷ (τ )⊤ , n(τ )⊤ ]⊤ であり，出力はフィルタリングされた MS:

Fig. 3 Schematic diagram of our post-filter.

のための NDT を提案する．まず，ピッチの超文節的構造を捕捉するため，連続対数 F0 の MS を自然音声と合成音声のそれぞれについて抽出する．次に，自然な発話間変動を持ったピッチ系列がランダムに生成できるよう，GMMN の学習を行う．最後に，合成歌声のパラメータにポストフィ
ルタをかけてボコーディングにより音声を合成し，NDT
はそれと元の音声をミックスして行う．

ŝŷ (τ ) である．すなわち， ŝŷ (τ ) = G([sŷ (τ )⊤ , n(τ )⊤ ]⊤ )である．Ŝ ŷ = [ŝŷ (1), · · · , ŝŷ (τ ), · · · , ŝŷ (T ′ )] とおくと，以下に示す条件付き MMD (conditional MMD: CMMD) [11]を最小化するように学習が行われる．

LCMMD (S ŷ , S y , Ŝ ŷ ) =1{tr(LS ŷ · K S y ,S y )T ′2+ tr(LS ŷ · K Ŝ ŷ ,Ŝ ŷ )− 2 · tr(LS ŷ · K S y ,Ŝ ŷ )}3.1 MS の抽出
MS は，音声パラメータ系列にフーリエ変換を行って得られるパワースペクトルの対数と定義され [15]，系列の時間構造を捕捉するために用いることができる．y の

−1

−1

(4)

LS ŷ = H̃ S ŷ H S ŷ H̃ S ŷ(5)

H̃ S ŷ = H S ŷ + λI T ′(6)

MS である S y は，短時間フーリエ変換 (short-time Fourier

ただし，I T ′ は T ′ -by-T ′ の単位行列，λ は正則化係数でtransform: STFT) を用いて以下のように算出できる．

ある. K Ŝ ŷ ,S y は Ŝ ŷ と S y との間の T ′ -by-T ′ のグラム行

S y = [sy (1), · · · , sy (τ ), · · · , sy (T ′ )]sy (τ ) = [sy (τ, 0), · · · , sy (τ, m), · · · , sy (τ, M )]⊤

(2)
(3)

列である．すなわち，(i, j) 成分は k(ŝŷ (i), sy (j)) (ただしk(·) は二つのベクトルに対する任意のカーネル関数) である．同様に，H S ŷ は S ŷ に関するグラム行列であり，(i, j)

ただし τ はセグメント (1 個のセグメントは 1 個の窓かけ

成分は h(sŷ (i), sŷ (j)) である (ただし h(·) は二つのベクトされた連続 F0 系列に対応) のインデックス，m は変調周ルに対する任意のカーネル関数)．k(·) と h(·) は異なる関

波数インデックスである．sy (τ, m) は変調周波数 m，セグ

数でも構わない．学習後には，このモデルは合成された′

メント τ における MS である．T はセグメントの総数，M

ピッチ系列の MS を入力すると，自然音声の MS の分布

は STFT の窓長の半分である．ŷ の MS である S ŷ も同様(ピッチ系列の発話間変動) を表現することができる．合成に算出される．ゼロパディングに起因する誤差の問題を防段階では，まず DNN 歌声合成の歌声パラメータ生成によぐため，本研究ではゼロ平均連続 F0 系列 [15] を用いる．

り ŷ を合成し，その MS と位相を計算する．次に，学習

ポストフィルタをかけた MS と，元の位相を用い，それら済み GMMN とランダムに生成されたノイズを用いて MSに逆 STFT を行うことによって，新たな F0 系列を得るこをフィルタリングして自然な発話間変動を持たせる．最終とができる．STFT 分析の条件 (窓長や窓関数) は，STFT

的な F0 軌跡はフィルタリングされた MS と元の位相に逆と逆 STFT による完全再構成条件を満たすよう設定する．

STFT を行うことによって生成する．

変調周波数の低い成分 (緩やかに時間変化する構造に対応する) のみをフィルタリングの対象とする．変調周波数の高い成分に変動を与えると，F0 軌跡に高速で不自然な変動が生じてしまうためである．

3.3 NDT への応用
合成歌声に自然な厚みを持たせる NDT を提案する．
DNN 音声合成の歌声パラメータ生成の後，一つの波形を
通常のボコーダ処理により合成する．もう一つの波形は，3.2 GMMN に基づくポストフィルタリング
連続 F0 系列 ŷ をランダムに変調する，GMMN に基づく
c 2012 Information Processing Society of Japan⃝

ポストフィルタで変調された F0 系列を用いて合成する．

NDT 後の歌声は，変調した歌声波形に微少な時間遅延を3

情報処理学会研究報告

付与した後，その歌声波形を元の合成歌声にミックスすることで得られる．

3.4 考察我々の以前の研究 [9] では，テキスト音声合成において，GMMN に基づいて，フレームごとにノイズを与えること
により，スペクトルに発話間変動を持たせる手法を設計しPit ch (MIDI not e num ber)

IPSJ SIG Technical Report
72
71
70
69
68
67
66
65
64
63
620.0
0.0

0.5

1.0

1.5

2.0

2.5

た．しかし，この手法には二つの問題があった．第一に，Tim e [ s]フレームごとにノイズを入力して変動をモデリングする

図 4 最小二乗誤差規範 (MSE) に基づく従来の DNN 歌声合成にと，F0 軌跡に関しては速すぎる不自然な変動が発生するこよるピッチ系列と，ポストフィルタをかけた 4 種類のピッチと，第二に，言語情報はスパースな特徴量であるため，言語情報で条件づけられた GMMN は知覚できる水準の発話
間変動を生じさせることができないことである．本稿の手系列．縦軸は 1 が半音に相当．

Fig. 4 Example of generated pitch contours. We used proposed method to sample four contours. Value of unity
on vertical axis is equal to semitone.

法は，効果的にこれらの問題を解決する．第一の問題は，

F0 軌跡の MS という，低次元で効果的な表現を用いてセグメントごとの時間構造を捕捉すること，また低変調周波

いて MS を算出した．この手法により，ポストフィルタの数成分のみフィルタリングすることで，F0 軌跡の連続性を学習データを増やし，学習の精度を向上することができる．

維持したまま変調を行うことにより解決する．第二の，ス提案手法ではピッチ系列をニューラルネットワークの入パース性の問題は，GMMN をポストフィルタとして用い

出力としているため，NDT を人間の歌声に対して行う，すて，言語情報を用いないことにより解決し，4.2 節に示す

なわち人間が 1 回歌った録音に対して自然な厚みを持たせように，知覚できる水準の発話間変動を生じさせることがる手法にも拡張できることが期待される．

できる．

4. 実験的評価

我々の手法は自然音声の MS の分布を考慮するので，フィルタリングされた歌声の変動も自然な範囲に収まっていると考えられる．図 4 に，MSE に基づく決定論的なピッチ系
列と，それにポストフィルタをかけて生成したピッチ系列の例を示す．提案するポストフィルタは，ランダムかつ連続性を保ったピッチ系列を生成できていることがわかる．
本研究は，1) GMMN を用いて MS をモデル化することにより，自然な発話間変動を生成した，また 2) そのようなシステムを歌声のポストフィルタとして導入した最初の研究である．1 節で述べたように，発話間変動は，複数の歌声から好みのものを選択することを可能にする．提案法では，入力のノイズを固定することにより，ピッチ系列を保存することができるため，数回ランダム生成を行い，好きな歌い方をフレーズごとに選んで，それらを結合して 1 曲にする「良いとこ取り」も可能である．
従来の ADT は，ピッチの自然な変動を考慮せずに原音を決定論的に変調して生成した波形を用いる．一方，NDT
はピッチの自然な変動を考慮して変調を行う点が新しく，

4.4 節に示すように，従来の ADT よりも多重録音感が高くなる．
データ拡張は DNN のモデリング精度を向上させるための強力な手法である．本研究では STFT の際にデータ拡張を用いた．MS の算出には STFT を用いるため，セグメン
ト分析の開始フレーム位置は，MS の値に大きな影響を与える．そのような摂動をカバーするため，とり得るすべてのオフセットを分析開始位置に対して加え，それぞれにつc 2012 Information Processing Society of Japan
⃝

4.1 実験条件
歌声のデータベースとして，HTS [17] の歌声合成デモから 31 曲，JSUT-song コーパス [18] から 26 曲，我々のデータベース (歌唱者は JSUT-song と同じ) から 9 曲を用いた．これらのコーパスから，58 曲を歌声合成の DNN の学習に，HTS のデモから 28 曲をポストフィルタの学習に，

HTS のデモのうち学習に用いなかった 3 曲を評価に用いた．DNN 歌声合成の学習時には，半音上げ，もしくは半音下げのトランスポーズによるデータ拡張 [5] を行った．
サンプリング周波数は 16 kHz とした．音声特徴量の抽出と音声波形合成には WORLD [19] を用いた．フレームシ
フトは 5 ms とした．MSE に基づく音声パラメータの予測に用いた DNN は Feed-Forward 型で，705 次元の入力層，

3 × 256 ユニットの gated linear unit (GLU) [20] からなる
隠れ層，127 ユニットの線形出力層から構成された．ラーニ
ングレートは 0.005，バッチサイズは 500，勾配は AdaGrad[21] とし，50 エポックの学習を行った．705 次元の入力特徴量は 688 次元の言語・音楽特徴量，one-hot の曲コードとone-hot の歌手コード [22] から構成された．出力は，127次元のベクトルで，40 次元のメルケプストラム係数，連続
対数 F0 ，非周期性指標 [23], [24]，それら 42 次元の動的特徴量 (1 次と 2 次) [25]，2 値の有声・無声ラベルからなった．条件付き GMMN に用いた DNN は，Feed-Forward 型
で，11 次元の入力層，3 × 128 ユニットの GLU からなる隠れ層，input-to-output residual net [26] から構成された．
ラーニングレートは 0.005，バッチサイズは 13000，勾配は4

情報処理学会研究報告
IPSJ SIG Technical Report
表 1

発話間変動を知覚したと回答した率

Table 1 Answer rate of perceived inter-utterance diﬀerence

表 3

時間長条件 middle と long に関する，多重録音感の評価スコ
アと p 値

Table 3 Preference scores of double-trackedness and their pProposed MSE

p-valuevalues for the middle and long conditions

0.176 7.45×10−3

0.276

Length condition
表 2

NDT

ADT

p-value

時間長条件 middle と long に関する，歌声の自然性の評価ス

Middle0.724 0.276 < 10−10

コアと p 値

Long

0.736 0.264 < 10−10

Table 2 Preference scores of singing voice naturalness andtheir p-values for the middle and long conditions
Length condition Proposed MSE

p-value

た．ウェルチの t 検定を行って p 値を算出した．
表 1 に結果を示す．MSE 条件では，全く同じ音声が提Middle0.504

0.496 8.58 × 10−1

示されたにもかかわらず，17.6%において違いがあると誤

Long

0.480

0.520 3.72 × 10−1

認された．一方，提案法における差異の知覚率はそれよりも有意に高い．したがって，提案法は知覚できる水準の発AdaGrad とし，10 イテレーションの学習を行った．式 (5)話間変動を生じさせることができていると考えられる．

における LS ŷ の計算では，逆行列の演算が現実的な時間では不可能なため，1024 次元の random Fourier feature [27]を用いて近似を行った．11 次元の入力ベクトルは，MSE

4.3 ポストフィルタをかけた歌声の自然性
ポストフィルタをかけると合成歌声のピッチの自然性がに基づいて合成されたピッチの 1 次 (m = 1) の MS と，一低下しないか調べるため，25 人の参加者に，ポストフィル

様分布 U [−1, 1) から生成された 10 次元のノイズベクトル

タリングされた歌声と，MSE に基づく歌声の対を 10 対聴からなった．学習の安定化のため，ノイズベクトルは各セ

き，より自然な方を選ぶよう求めた．全体的な自然性の評

グメントに対して生成し，学習の間は固定した．正則化係価を容易にするため，時間長条件は，middle および long

数 λ は 0.01 とした．カーネル関数は，ガウシアンとしたとした．

(exp{−||sy (i) − ŝŷ (j)|| /σ })．入力特徴量に関してもガ表 2 に結果を示す．統計的に有意な差は，中・長いずれ

ウシアンカーネルを用いた．σ は，入力に関しては 100.0，の条件にも見られない．これにより，ポストフィルタをか

出力に関しては 1.0 とした．これらの値は実験的に定めた．

けてもピッチの自然性を損なわないことが示唆される．

2

2

自然音声の MS は区間 [0.01, 0.99] に収まるように正規化

48 フレーム (240 ms) のセグメントシフトを用いた．ピッ4.4 NDT の評価
多重録音感を，提案する NDT と従来の ADT について

チ変調の効果を明瞭にするため，ボコーディングの際，ス評価・比較した．それぞれの条件を以下に示す．

ペクトルパラメータ，非周期性指標，有声・無声ラベルは，

NDT: 連続対数 F0 系列を提案法のポストフィルタで変した．STFT には，96 フレーム (480 ms) のハニング窓，

自然音声のものを用いた．
本稿では，(1) 提案ポストフィルタは知覚できる水準の調し，それを用いてボコーダで合成した歌声を MSEに基づく歌声に重ねた．

発話間変動を生じさせるか，(2) 提案ポストフィルタは合ADT: 連続対数 F0 系列を low-frequency oscillator で変成歌声の自然性が低下させないか，(3) NDT は ADT より調し，それを用いてボコーダで合成した歌声を MSE

も自然な多重録音感を再現できるかの 3 点を評価した．評に基づく歌声に重ねた．オシレーションの波形は正弦

価はクラウドソーシングサービスであるランサーズ [28]波，周期は 0.775 Hz，深さは半音の 10%とした．これ上で行った．参加者の判断を容易にするため，曲を short，らのパラメータは [8] を参考に定めた．変調を波形ド

middle，long の 3 種類の時間長に手動で切り分けた．平均

メインでなくボコーダパラメータドメインで行ったのした長さは，それぞれ 3.01 s，4.88 s，10.24 s であった．

は，その方がアーティファクトが発生しにくいと考えられるためである．
通常の ADT の設定 [8] を再現するため，2 種類の手法と4.2 発話間変動の知覚
発話間変動が人間に知覚できるかを調べるため，25 人も，変調した波形は 20 ms 遅らせ，3 dB 音量を下げて原の参加者に，二つの歌声の対を聴いてそれらの間に違いが音にミックスした．25 人の参加者に，これら 2 種類の条件あると感じたか否かの回答を求めた．時間長の短い歌声をで厚みを持たせた音声の対を 10 対聴き，より実際に多重提示した方が細かい違いを記憶しやすいと考えられるた

録音したように聴こえる方を選ぶよう求めた．4.3 節と同め，時間長条件 short の歌声を使用した．各参加者は，ラ様，時間長条件は，middle および long とした．

ンダムにポストフィルタリングされた 2 種類の歌声 10 対

表 3 に結果を示す．中・長いずれの条件でも，NDT の(proposed) と，MSE に基づく完全に同一の音声 2 回から

評価スコアは従来の ADT と比べ，有意に大きい．これになる 10 対 (MSE)，合計 20 対をランダムな順序で聴取しより，従来の信号処理的なアプローチよりも，提案する深c 2012 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report

層生成モデルを用いた手法のほうが，より自然な DT のよ
うな聴覚的印象を出せることが示された．

[11]

5. まとめ[12]

本稿では，歌声の発話間変動を生成する，GMMN に基づくポストフィルタを提案し，また ADT への応用についても述べた．人間は同じ歌を完全に同じように 2 回歌うこ

[13]とはあり得ないが，従来の歌声合成システムでは，最も自然とみなされる歌声 1 個が合成されるのみであった．我々[14]のポストフィルタは，GMMN を用いて，合成音声と自然音
声の MS の統計量を揃えるように学習し，発話間変動をモデル化する．実験評価により，提案するポストフィルタは，[15]

歌声の自然性を損なうことなく，人間に知覚可能な発話間のピッチ変動を生成できることが示された．さらに，ADTにポストフィルタを応用した際の有効性についても議論した．実験評価により，提案する NDT は従来の ADT より[16]

も，知覚的に自然な DT に近い音になることが示された．
今後は，音符の継続長やスペクトルパラメータに関して
発話間変動のモデリングを行い，ピッチのそれと組み合わ[17]

せてより自然な発話間変動を生成することや，人間の歌声[18]の MS を変調できるポストフィルタの設計を検討する．
謝辞： 本研究の一部は，セコム科学技術支援財団の助成[19]を受け実施した．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]
[7]
[8]
[9]

[10]

H. Kenmochi and H. Ohshita, “Vocaloid - commercial
singing synthesizer based on sample concatenation,” inProc. INTERSPEECH, Antwerp, Belgium, Aug. 2007,
pp. 4011–4012.
K. Saino, H. Zen, Y. Nankaku, A. Lee, and K. Tokuda,“An HMM-based singing voice synthesis system,” inProc. ICSLP, Pittsburgh, U.S.A., Sep. 2006, pp. 2274–
2277.
K. Oura, A. Mase, T. Yamada, S. Muto, Y. Nankaku,
and K. Tokuda, “Recent development of the HMM-based
singing voice synthesis system - Sinsy,” in Proc. SSW7,
Kyoto, Japan, Sep. 2010, pp. 211–216.
M. Nishimura, K. Hashimoto, K. Oura, Y. Nankaku, andK. Tokuda, “Singing voice synthesis based on deep neural networks,” in Proc. INTERSPEECH, San Francisco,
U.S.A., Sep. 2016, pp. 2478–2482.
M. Blaauw and J. Bonada, “A neural parametric singing
synthesizer modeling timbre and expression from natural
songs,” Applied Sciences, vol. 7, no. 12, Dec. 2017.
R. Brice, Music Engineering. Elsevier Science, Oct.
2001.
K. Womack, The Beatles Encyclopedia: Everything FabFour. ABC-CLIO, Jun. 2014.
R. Izhaki, Mixing Audio: Concepts, Practices, andTools. Taylor & Francis, Oct. 2017.
S. Takamichi, K. Tomoki, and H. Saruwatari, “Samplingbased speech parameter generation using momentmatching network,” in Proc. INTERSPEECH, Stockholm, Sweden, Aug. 2017, pp. 3961–3965.
Y. Li, K. Swersky, and R. Zemel, “Generative moment
matching networks,” in Proc. ICML, Lille, France, Jul.

c 2012 Information Processing Society of Japan
⃝

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

2015, pp. 1718–1727.
Y. Ren, J. Li, Y. Luo, and J. Zhu, “Conditional generative moment-matching networks,” in Proc. NIPS,
Barcelona, Spain, Dec. 2016, pp. 2928–2936.
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu,
D. WardeFarley, S. Ozair, A. Courville, and Y. Bengio,“Generative adversarial nets,” in Proc. NIPS, Montreal,
Canada, Dec. 2014, pp. 2672–2680.
D. P. Kingma and M. Welling, “Auto-encoding variational bayes,” arXiv, vol. abs/1312.6114, 2013.
Y. Saito, Y. Ijima, K. Nishida, and S. Takamichi, “Nonparallel voice conversion using variational autoencoders
conditioned by phonetic posteriorgrams and d-vectors,”in Proc. ICASSP, Calgary, Canada, Apr. 2018, pp. 5274–
5278.
S. Takamichi, T. Toda, A. W. Black, G. Neubig, S. Sakti,and S. Nakamura, “Postfilters to modify the modulation spectrum for statistical parametric speech synthesis,” IEEE Transactions on Audio, Speech, and Language Processing, vol. 24, no. 4, pp. 755–767, Apr. 2016.
K. Yu and S. Young, “Continuous F0 modeling for HMM
based statistical parametric speech synthesis,” IEEE
Transactions on Audio, Speech, and Language Processing, vol. 19, no. 5, pp. 1071–1079, Jul. 2011.
“HMM-based speech synthesis system (HTS),”
http://hts.sp.nitech.ac.jp/.
“JSUT-song,” https://sites.google.com/site/shinnosuke
takamichi/publication/jsut-song.
M. Morise, F. Yokomori, and K. Ozawa, “WORLD: avocoder-based high-quality speech synthesis system forreal-time applications,” IEICE transactions on information and systems, vol. E99-D, no. 7, pp. 1877–1884,
Jul. 2016.
Y. N. Dauphin, A. Fan, M. Auli, and D. Grangier, “Language modeling with gated convolutional networks,”
arXiv, vol. abs/1612.08083, 2016.
J. Duchi, E. Hazan, and Y. Singer, “Adaptive subgradient methods for online learning and stochastic optimization,” EURASIP Journal on Applied Signal Processing,vol. 12, pp. 2121–2159, Jul. 2011.
N. Hojo, Y. Ijima, and H. Mizuno, “An investigationof DNN-based speech synthesis using speaker codes,”in Proc. INTERSPEECH, San Francisco, U.S.A., Sep.
2016, pp. 2278–2282.
H. Kawahara, J. Estill, and O. Fujimura, “Aperiodicity
extraction and control using mixed mode excitation andgroup delay manipulation for a high quality speech analysis, modification and synthesis system STRAIGHT,” in
MAVEBA, Firentze, Italy, Sep. 2001, pp. 1–6.
Y. Ohtani, T. Toda, H. Saruwatari, and K. Shikano,“Maximum likelihood voice conversion based on GMM
with STRAIGHT mixed excitation,” in Proc. INTERSPEECH, Pittsburgh, U.S.A., Sep. 2006, pp. 2266–2269.
K. Tokuda, T. Yoshimura, T. Masuko, T. Kobayashi, andT. Kitamura, “Speech parameter generation algorithms
for HMM-based speech synthesis,” in Proc. ICASSP, Istanbul, Turkey, Jun. 2000, pp. 1315–1318.
T. Kaneko, S. Takaki, H. Kameoka, and J. Yamagishi, “Generative adversarial network-based postfilter for
STFT spectrograms,” in Proc. INTERSPEECH, Stockholm, Sweden, Aug. 2017, pp. 3389–3393.
A. Rahimi and B. Recht, “Random features for largescale kernel machines,” in Proc. NIPS, Vancouver,
Canada, Dec. 2008, pp. 1177–1184.
“Lancers,” https://www.lancers.jp/.

6