解説：特集
ダイナミクスと機械学習の融合に挑む

深層生成モデルを用いた音声音響信号処理
亀 岡 弘 和＊＊日本電信電話株式会社 神奈川県厚木市森の里若宮 3–1＊Nippon Telegraph and Telephone Corporation, 3–1 Morinosato Wakamiya,
Atsugi, Kanagawa, Japan＊E-mail: hirokazu.kameoka.uh@hco.ntt.co.jp

1.

ている．以下，それぞれの動機と原理を解説する．

深層生成モデル

深層生成モデルとは，深層ニューラルネットワーク(Deep Neural Network; DNN) を用いて表現される生成モデルである．データの生成過程が不明であったり複雑であったりする場合など，データの生成分布を手動で設計するのが容易でない場合において深層生成モデルはその真価を発揮する．
ある生成モデルが対象データの「良い」モデルとなっているかどうかは，学習したモデルからランダム生成したサンプルが実際の対象データらしいものになるかどうか，という観点で判断することができる．たとえば 16 kHz で標本化した音声信号の場合，わずか 1 秒間であっても実に 16,000 次元ものデータになるが，画像や音声などの実世界データをモデル化する上での難しさは，高次元デー
タの要素の同時分布をいかに表現するかという点にある．
深層生成モデルはこれを解決する有効なアプローチとして近年注目を集めている．
深層生成モデルの代表的な例として，自己回帰生成
ネットワーク (Autoregressive Generative Network;
AGN) 1), 2) ，変分自己符号化器 (Variational Autoencoder; VAE) 3), 4) ，敵対的生成ネットワーク (Generative

計測と制御

第 58 巻C 2019 SICE
JL 0003/19/5803–0195 Adversarial Network; GAN) 5) などが現在広く知られ

はじめに

音声情報処理分野における永年の課題とされてきた音
声認識や音声合成の性能は近年の深層学習アプローチの進展により飛躍的な向上を遂げた．周知のとおり深層学習の基礎となるニューラルネットワーク (Neural Network;NN) は，解が唯一であるような問題，学習データが豊富な場合の教師あり学習タスクにおいては高い解決能力をもつことがすでに示されている．しかし，複数の解が存在しうる問題，不完全データによる学習タスクなどのよ
うに，解くための条件や手がかりが不足している問題に対し単純適用した場合の解決能力はいまだ限定的である．
このような，いわゆる不良設定問題に対するアプローチ
として，NN を巧みに用いて複雑な確率分布を表現する
ことを可能にする深層生成モデルの枠組が近年注目されている．本稿では，まず深層生成モデルを概説した上で，音声音響分野における不良設定問題のいくつかの例を題
材に最近の深層生成モデルの応用事例を紹介する．

2.

キーワード：深層生成モデル (deep generative model)，音声音響信号処理(speech and audio signal processing)．

第3号

2019 年 3 月号

2.1 自己回帰生成ネットワーク (AGN)
時系列信号 x = [x1 , . . . , xN ]T の同時分布 p(x) を記述するモデルとしては自己回帰 (Autoregressive; AR) モ
デルが有名である．音声音響分野では特に音声信号のモデルとして音声の符号化，合成，強調など，さまざまな場面で重要な役割を果たしてきたことで広く知られている．AR モデルは，対象の信号が AR 過程

xn =

Q


aq xn−q + n (n = 1, . . . , N )

(1)

q=1

n ∼ N (n |0, σ 2 )(2)に従うと仮定することにより，(1) 式から導かれる x と
 = [1 , . . . , N ]T の関係 Ax =  と，(2) 式から導かれる  の確率分布に関する仮定に基づいて立てられる同時分布 p(x) のモデルである．x<n = [x1 , . . . , xn−1 ]T と
置くと，これは，p(x) を条件付分布 p(xn |x<n ) の積

p(x) =

p(xn |x<n )(3)nに分解した上で，各条件付分布 p(xn |x<n ) を

 


p(xn |x<n ) = N xn aq xn−q , σ 2(4)qと置いたものに相当する．このようにして立てられる p(x)は未知パラメータ a = [a1 , . . . , aQ ]T の尤度関数となっており，所与の信号 x のもとで p(x) が最大となるように a を推定することで x に最も良く当てはまる p(x) を得ることができる．
AR モデルの巧みな点の 1 つは，高次元データの同時分
布 p(x) をトップダウンにモデル化するのではなく，信号の局所的な相関関係に着目してモデル化の対象を 1 次元の分布 p(xn |x<n ) とすることによりボトムアップに同時
分布 p(x) を構築している点にある．一方で AR モデルの限界は，信号の局所的な関係を表わす式が (1) 式のような線形クラスに限定されている点，条件付分布 p(xn |x<n )がガウス分布などの特定の分布クラスに限定されている
点，表現可能な信号が定常過程に限られている点にある．

195

実際の音声は非定常であるため，音声分析への適用の際
は，音声信号を近似的に定常とみなせる短時間フレームに分割した上で各フレームで個別に AR 分析が行われる．
信号を合成する場合は，各フレームで分析した AR パラ
メータを用いて  をパルス列などに置き換えた上で信号x を生成する方式がとられる．
AGN 1) は，(4) 式を，x<n を入力として p(xn |x<n )の分布パラメータまたは分布そのものを出力する NN に置き換えることにより，低次元の条件付分布のモデルをボトムアップに積み上げて高次元の同時分布を構築する
AR モデルのスタイルを踏襲しつつ，AR モデルにおける前述の限界を取り払うことに成功した生成モデルである．
近年，音声音響分野の域を超えて広く知られることとなった WaveNet 2) は AGN の一種であり，きわめて高品質な音声信号を生成できることが示されている．WaveNet では，振幅値 xn を離散値に量子化し，p(xn |x<n ) を各値の離散分布とすることで任意の分布形を記述できるようにしている点，p(xn |x<n ) を出力する NN として拡張型畳
み込みネットワーク (Dilated Convolutional Network)
を用いることにより長期依存関係を捉えられるようになっている点などが特徴である．AR モデルのパラメータ推定と同様，p(x) が未知のネットワークパラメータ θ の尤度関数となるため，所与の学習データ X = {xi }1≤i≤lのもとで平均対数尤度 L(θ) = I1 i log p(xi ) が大きくなるようにパラメータ学習を行うことで X に良く当て
はまる p(x) を得ることができる．
なお，(3) 式のとおり，p(x) は p(xn |x<n ) の積の形になっており，p(xn |x<n ) は x<n が決まらない限り決まらない．このため，学習した p(x) を用いて信号 x を生成する際は，p(xn |x<n ) をもとに xn を 1 サンプルずつ
逐次的に生成する必要がある．原理上この処理は並列化することができないため，効率性の面では問題になる場合がある．
2.2 変分自己符号化器 (VAE)
たとえ高次元のデータであっても，要素間に何らかの相関構造や制約が存在するとき，データサンプルは低次
元の潜在空間に圧縮することができる．このような低次元潜在空間と，元の高次元データを再構成するプロセスを見つけることができれば，これもまた高次元データをモデル化する 1 つの方式になりうる．Tipping ら6) は，主成分分析 (Principal Component Analysis; PCA) の生成モデル的解釈を示し，パラメータの最尤推定が PCAと等価な処理に帰着する生成モデルを示しているが，まさにこれは前述のモデル化の一例とみなすことができる．
x ∈ RN を平均が 0 のデータとし，低次元の潜在変数z ∈ RM (N > M ) のアフィン変換により得られたもの

x = Wz + と仮定し， を分散が σ 2 の正規白色雑音

196

(5)

 ∼ N (|0, σ 2 I)(6)と仮定すると，p(x|z) はp(x|z) = N (x|Wz, σ 2 I)

(7)となる．さらに，z の事前分布 p(z) を標準ガウス分布

p(z) = N (z|0, I)
とすると，p(x) = p(x|z)p(z)dz は(8)p(x) = N (x|0, WWT + σ 2 I)

(9)となる．W は低次元の z から高次元の x を再構成するための変換行列であり，(9) 式は未知パラメータ W, σ 2 の尤度関数となっている．よって，所与のデータ X = {xi }i

のもとで平均対数尤度 L(W, σ 2 ) = I1 i log p(xi ) が最大となるように W, σ 2 を推定することで全データ Xに最も良く当てはまる p(x) を得ることができる．また，
p(z|x) はベイズの定理より

p(z|x) =p(x|z)p(z)p(x)= N (z|M−1 WT x, σ 2 M−1 )(10)と求まる．ただし，M = WT W + σ 2 I である．以上のp(z|x) と p(x|z) は，データ x を低次元ベクトル z に
圧縮する符号化器，z から元データ x を再構成する復号化器とぞれぞれみなせる．
(7), (10) 式から明らかなように PCA 型の生成モデル
では，潜在変数 z とデータ x の関係は線形式で表わされる．しかし空間上に平面的ではなく曲面状に分布する
データに対しては，z と x の関係をより柔軟に記述できるモデルのほうが望ましい．VAE 3), 4) は，上述の生成モ
デルにおいて z と x の関係を NN による非線形関数に置き換えたものとみなせる．たとえば (7) 式の平均と対角分散行列を Wz, σ 2 I と置く代わりにp(x|z) = N (x|μφ (z), diag(vφ (z)))(11)のように，z を入力とするパラメータ φ の NN の出
力 μφ (z), diag(vφ (z)) で表わすことを考える．ただし，diag(y) はベクトル y の要素を対角成分にもつ対角行列を表わすものとする．さて，ここで先述の PCA 型の生成モデルと大きく事情が異なるのは，p(x) を得るための周辺化も，ベイズの定理による p(z|x) の計算も解析的に行うことが困難である点である．そこで，p(z|x) を近似することを目的とする補助分布 q(z|x) を新たに導入
し，q(z|x) と p(z|x) = p(x|z)p(z)/p(x) ができるだけ近くなるように q(z|x) と p(x|z) を求める学習問題を考える．ここでたとえば，q(z|x) の分布の平均と対角分散行列を，(11) 式と同様

計測と制御

第 58 巻

第 3 号 2019 年 3 月号

q(z|x) = N (z|μθ (x), diag(vθ (x)))(12)

モデルとしての性質は仮定した分布に強く依存する．た
とえばガウス分布を仮定した場合の VAE では，復号化のように x を入力とするパラメータ θ の NN の出力器による生成データは実際のデータよりも平滑化されたμθ (x), diag(vθ (x)) で表わし，q(z|x) と p(z|x) のカルものになる傾向がある．
バック・ライブラ (KL) ダイバージェンス
2.3 敵対的生成ネットワーク (GAN)
KL[q(z|x)p(z|x)] = log p(x)AGN と VAE はともに NN により確率分布を表現した生成モデルであり，尤度関数またはその下界を学習規−Ez∼q(z|x) [log p(x|z)] + KL[q(z|x)p(z)]準とする点で共通しているのに対し，GAN 5) はこれら
(13)とは一線を画すタイプの生成モデルである．GAN の目が小さくなるように未知パラメータ φ, θ を求めることが的は，学習データ X = {xi }1≤i≤I ∈ RN が従う未知のできれば，互いに矛盾のない符号化器と復号化器を得る
分布 pdata (x) と同一の分布からのサンプリングを可能にことができる．(13) 式の第二項は符号化器と復号化器にする生成器 G を得ることである．この目的を実現するたよる入力 x の再構成誤差を表わす指標，第三項は符号化
め，識別器 D を用いて生成器 G を学習するアプローチ
器の出力 z の分布と標準ガウス分布 p(z) との乖離度ををとる点が GAN の特徴である．識別器 D は，入力デー
表わす指標となっている．したがって，(13) 式を小さくす
タが生成器 G が生成したサンプルなのか実データサン
ることは，潜在変数 z の各要素ができるだけ無相関にな
プルなのかを正しく識別するよう学習される一方で，生るような自己符号化器を得ることを意味する．ところで， 成器 G は，自身が生成したサンプルを識別器 D にでき
KL[q(z|x)p(z|x)] ≥ 0 であるので，(13) 式より VAE
るだけ実サンプルと誤認識されるように学習される．この学習規準 Ez∼q(z|x) [log p(x|z)] − KL[q(z|x)p(z)] は， のように D と G を「敵対的」に学習することで G を
対数尤度 log p(x) の下界となっている．
実データ分布 pdata (x) に従う乱数生成器とすることがで
ここで 1 点注意が必要なのは，(13) 式の第二項の z ∼きる．これはつぎのように示される．
q(z|x) に関する期待値計算である．log p(x|z) は，μφ (z)まず，生成器 G として，適当な確率分布（一様分布なおよび vφ (z) の具体形によって決まる z の非線形関数とど）p(z) に従う乱数 z ∼ p(z) を入力とするパラメータ
なっており，一般にその期待値を解析的に得るのは難し
φ の NN x̃ = G(z) を考え，識別器として，入力 x がい．したがって，z のサンプリングによるモンテカルロ近実データサンプルかどうかを表わす確率を出力するパラ似を用いて計算する方法が考えられるが，その場合，パメータ θ の NN p = D(x) ∈ [0, 1] を考える．識別器 D
ラメータ φ がサンプリング元の分布の中に含まれるため， の目標は，実データサンプル x ∼ pdata (x) に対し高い
誤差逆伝播法において φ の勾配を評価することができな
確率，生成器 G から生成されたいわば「偽」のデータ
くなる．しかしここで，正規乱数  ∼ N (|0, I) を用い
サンプル G(z) に対して低い確率を返すことであるので，て表わされる z = μφ (x) + vφ (x)   が z ∼ q(z|x) の等損失関数としてたとえばクロスエントロピー規準を用い価表現となっていることを利用すると，実は前述の期待た場合，値計算を  のサンプリングによるモンテカルロ近似で代V(G, D) = −Ex∼pdata (x) log D(x)替することができるのである．ただし， はベクトルの−Ez∼p(z) log(1 − D(G(z))) (14)要素積を表わす．これにより，パラメータ φ を log p(x|z)の中に移し替えることができ，φ の勾配を評価することを小さくすることが学習目標となる．一方で G の目標はが可能になる．この技法を変数変換トリックという．
D に誤認識させることであるので，V(G, D) を大きくす
以上では PCA の発展版という視点からの説明だった
ることが目標となる．仮に D に何の制約もなく無限の表
ため，符号化器も復号化器もガウス分布で与えられる場
現能力が備わっているとすると，V を最小にする D(x)合を想定したが，復号化器 p(x|z) に関してはガウス分
は，V の D(x) に関する変分を 0 と置くことにより布以外の分布を仮定してもさしつかえない．ただし，符pdata (x)号化器に関しては変数変換トリックを適用可能な分布と(15)D̂(x) =
p
(x)
+
p
(x)
（注1）
G
data
7)
する必要がある．なお，Maddison ら は離散分布となる．ただし，pG (x̃) は z ∼ p(z) のとき x̃ = G(z)の符号化器を扱えるようにするための変数変換トリックが従う分布である．この D̂(x) のもとでの V(G, D) は，の方法を提案している．

VAE では，以上のように符号化器と復号化器にガウス
分布などの特定クラスの分布を仮定するが，VAE の生成（注1）変数変換トリックさえ適用可能であれば，(13) 式第三項の KL ダイ

バージェンス項が解析的に記述できなくとも第二項と同様に第三項に関してもモンテカルロ近似を用いて φ の勾配を評価することが可
能である．

計測と制御

第 58 巻第3号

2019 年 3 月号

V(G, D̂)
pdata (x)pdata (x) + pG (x)pG (x)
log
pdata (x) + pG (x)= −Ex∼pdata (x) log−Ex∼pG (x)

197



 pdata (x) + pG (x)= −KL pdata (x) 2 pdata (x) + pG (x)−KL pG (x) + log(4)2= −JS pdata (x)pG (x) + log(4)(16)

なっていた．
音声信号と音響特徴量のペアデータは，ありとあらゆ
る音声データに対して音声分析を行うことで容易かつ無数に用意することが可能なので，ボコーダにおける音声合成部を機械学習方式に置き換えることに考えが至るのは自然なことである．しかし，通常，音響特徴量と な り，V(G, D̂) を G に 関 し て 大 き く す る こ と は ， と音声信号はいわゆる一対多の関係にあるため，音響特徴量から音声信号に変換する問題を一対一対応を想定しpdata (x) と pG (x) との間のイェンセン・シャノン(JS)
た単純な回帰問題として扱うことは難しい．そこで登場
ダイバージェンス JS pdata (x)pG (x) を小さくするこしたのが AGN に基づく前述の WaveNet 2) である．音とを意味することがわかる．このことから，V(G, D) を
声信号を x = [x1 , . . . , xN ]T ，対応する音響特徴量系列
D に関して小さくし，G に関して大きくする GAN のミ
を h = [h1 ; . . . ; hM ]（ただし，; は行列中の改行を表ニマックス学習法は，実データの分布 pdata (x) に従う乱
わす．
）とすると，この方式では x と h のペアデータ
数生成器 G を獲得する方法になっていることが示される．
{xi , hi }1≤i≤I を用い，h で条件付けられた x の分布
GAN は，上記のようなミニマックス最適化により，実
データ分布 pdata (x) を明示的にモデル化することなく
p(x|h) =p(xn |x<n , h)(17)pdata (x) を見つけ出すことができる利点がある反面，学n
習が不安定になることで知られる．しばしばその原因とが大きくなるように p(xn |x<n , h) を出力する NN を学して指摘される問題の 1 つに，同じようなデータサンプル
習することで，時間方向の依存関係を考慮しつつ所与のを生成するよう G が学習されるモード崩壊 (mode collapse) と呼ぶ現象がある．この問題を解決する目的で， 音響特徴量系列 h̃ に適合した音声信号 x̃ を生成する音
声合成器を得ることができる．この方式におけるブレイ
学習規準，正則化法，ネットワーク構造などを工夫する
8)〜12)
クスルーのポイントは，信号サンプルの長期依存関係を試みが盛んに行われている．
考慮することにより従来のフレーム処理が不要になった
3 . 音声音響信号処理問題への応用
こと，特定の分布形を仮定しないことにより音声波形のランダム性をきわめて良く再現できるようになったこと，
本章では各種音声音響信号処理問題に対する最近の深などが挙げられる．近年，WaveNet の成功を皮切りに，
層生成モデルの応用事例を紹介する．
深層生成モデルに基づくボコーダ方式がつぎつぎと提案
3.1 音声分析合成
されており13)〜16) ，今後も動向が注目される．
音声分析合成（ボコーダ）技術は，音声生成過程を模擬したモデルに基づき，音声信号の各短時間フレームに
3.2 ブラインド音源分離 (BSS)
おける声帯の音源特性（基本周波数や非周期性指標など）
音声分析，音源定位，音源分離などのように音声音響信と声道の共振特性などの情報を表現した音響特徴量を抽号処理問題の多くは，観測信号からその原因を推定する
出する音声分析部と，抽出した音響特徴量から音声信号逆問題とみなせる．逆問題を解決する有効なアプローチのを再構成する音声合成部からなる．ボコーダ技術は，音声
1 つは，観測信号の原因となる情報をパラメータとした生
符号化，音声合成，音声変換などにおいてきわめて重要な成モデルを立て，逆問題をその生成モデルのパラメータ
役割を果たしてきた．たとえばテキスト音声合成 (Text推論（機械学習）の問題に落とし込むアプローチである．
すなわち，原因 θ によって観測信号 x が生成される過程
to-Speech; TTS) や声質変換 (Voice Conversion; VC)
を条件付分布 p(x|θ) の形で記述し，θ に関する先験的知
では，テキストや変換元音声から目標音声を予測する回
帰問題となるが，音響特徴量は音声信号をコンパクトに
識 p(θ) を手がかりに θ の事後分布 p(θ|x) ∝ p(x|θ)p(θ)
圧縮した表現であるため，回帰問題の解きやすさの面でから θ を推論するアプローチである．特に，同じ観測信号
は予測対象を直接音声信号波形とするよりも音響特徴量x を与える原因 θ が複数個存在しうる問題では，p(x|θ)とするほうが有利となる．このため，限られた学習デー
を規準にするだけでは θ の解を一意に決めることはでき
タのもとでの TTS や VC では，音響特徴量予測と音声ず，適切な p(θ) をいかにして立てるかが解決の鍵となる．
合成のパイプライン方式がとられることが多い．しかし，一例として，ここではブラインド音源分離 (Blind
従来のボコーダによる合成音は品質に限界があり，合成
Source Separation; BSS) の問題を考える．BSS は，音音とただちに知覚できるものとなっている．一般に音声
源信号と音源からマイクロホンまでの伝達特性がともに信号から音響特徴量への変換は不可逆であり，従来のボ未知のもとで，各マイクロホンの観測信号から音源信号
コーダでは音声信号の再構成は手動設計されたモデルとを復元する問題である．この場合，音源信号が原因 θ にヒューリスティックな仮定に基づいて行われるが，これ相当し，観測信号 x から音源信号 θ を復元することがが合成音声と実際の音声との間にギャップを生む要因と目的となるが，観測信号の分解の仕方は一般に無数に存

198

計測と制御

第 58 巻

第 3 号 2019 年 3 月号

在する．その無数の候補の中から実際の音源信号に対応する解を見つけ出すには，音源信号に関する先験的知識
p(θ) が手がかりとなる．この際，手がかりの 1 つとして
音源信号間の統計的独立性が挙げられるが，これだけでは十分ではない場合がある．
J 個の音源信号の混合信号を I 個のマイクロホンで観測するとき，時不変な混合過程を仮定できる場合，各マイクロホンで観測される信号は時間周波数領域でxi (f, n) =ai,j (f )sj (f, n) + ui (f, n)

(18)

j

と表わされる．ただし，ai,j (f ) ∈ C（f は周波数インデックス）は音源 j からマイクロホン i までの音響経路の周波数応答，xi (f, n)，sj (f, n), ui (f, n) ∈ C はそれぞれマイクロホン i の観測信号，音源 j の音源信号，マイクロホンi に混入する雑音信号の短時間フレーム n における短時間
フーリエ変換 (Short-Time Fourier Transform; STFT)を表わす．aj (f ) = [a1,j (f ), . . . , aI,j (f )]T , A(f ) =[a1 (f ), . . . , aJ (f )], s(f, n) = [s1 (f, n), . . . , sJ (f, n)]T ,u(f, n) = [u1 (f, n), . . . , uI (f, n)]T とすると (18) 式は

x(f, n) =ai (f )si (f, n) + u(f, n)(19)i= A(f )s(f, n) + u(f, n)(20)と書ける．また，u(f, n) = 0 で，音源数 J とマイク数
I が等しく A(f ) が逆行列 A(f )−1 = WH (f ) をもつ
場合，(20) 式は以下のように書ける．

= aj (f )aH
j (f ), Σs (f, n) =diag([v1 (f, n), . . . , vJ (f, n)]T ) である．(24) 式より観測
信号 X = [xi (f, n)]i,f,n の確率分布は
p(X |θ) =NC (x(f, n) |0, Σx (f, n) )(26)
で 与 え ら れ ，Rj (f )f,nとなり，周波数領域 BSS はこれを未知パラメータ V =[vj (f, n)]j,f,n , A = [A(f )]f の尤度関数とした最尤推定問題として定式化される．ただし，(26) 式の対数は周波数 f ごとの項に分解されるため，以上の定式化では，各
f において分離信号のインデックス j にはパーミュテー
ションの任意性が残る．また，音源数がマイクロホン数より多い劣決定条件においては，A(f ) が決まったとしても s(f, n) を一意に決めることができない．よって，解を絞り込むためのさらなる手がかりが必要となる．
たとえば音声は有声音の場合倍音構造やフォルマント
構造を有するように，自然界の音源はパワースペクトロ
グラム（いわゆる声紋）に特徴的な構造をもつものが多い．そこで，上述の問題の手がかりとして音源パワース
ペクトログラム vj (f, n) にモデルを導入する方法が考えられる．たとえば，BSS の代表的アプローチの 1 つとして知られる多チャンネル非負値行列分解 (Multichannel
Non-negative Matrix Factorization; MNMF) 法17)〜20)
では，Vj = [vj (f, n)]f,n が 2 つの非負値行列 Bj , Hj の積

Vj = Bj Hj(27)

でモデル化される．これは，各時間フレームの音源パワースペクトルを，スペクトルテンプレートの重みつき和で表わすことに相当する．このモデルのもとで (26) 式を最大(20) 式や (21) 式の混合過程を基にした BSS の枠組を周にするパラメータを推定することにより，音源のスペクト
波数領域 BSS と呼ぶ．今，sj (f, n) および ui (f, n) が独立に平均が 0 の複素ガウス分布に従う場合を考える． ル構造を手がかりにしながら周波数ごとの音源分離とパーミュテーション整合を同時解決することが可能となる．
sj (f, n) ∼ NC (sj (f, n)|0, vj (f, n))(22)
しかし，(27) 式では実際に表現可能なスペクトログ(23)u(f, n) ∼ NC (u(f, n)|0, Σu (f, n))ラムの範囲は限られるため，音源信号のモデル化には
2
ただし，vj (f, n) = E[|sj (f, n)| ] は音源 j のパワー， 改良の余地が大きく残されている．そこで考えられるのが，深層生成モデルの柔軟な表現能力を活かした Sj =Σu (f, n) = E[u(f, n)u(f, n)H ] は雑音の分散共分散行[sj (f, n)]f,n の確率分布のモデル化である．多チャンネル
列を表わす．(22) 式のように周波数 f と時刻 n に依存
VAE (MVAE) 法21)〜23) は，VAE の復号化器を (22) 式
する分散 vj (f, n) をもつ sj (f, n) を局所ガウス音源モデ
ル (Local Gaussian Model; LGM) と呼ぶ．このとき， の LGM と同形となるように Sj のモデルとして導入した
BSS の枠組である．MVAE 法では，Sj の生成モデルを，(19) 式と (21) 式 のいずれの混合過程を仮定した場合も
観測信号 x(f, n) は下記に従う．
p(S |z , c ) =N (s (f, n)|0, v (f, n)) (28)

WH (f )x(f, n) = s(f, n)

(21)

j

x(f, n) ∼ NC (x(f, n) |0, Σx (f, n) )(24)

ただし，Σx (f, n) は，(19) 式, (21) 式の場合，それぞれ

Σx (f, n) =⎧⎪
vj (f, n)Rj (f ) + Σu (f, n)⎨j⎪⎩ WH (f )−1 Σ (f, n)W(f )−1s

第 58 巻第3号

2019 年 3 月号

j

C j
f,n
vj (f, n) = gj · σθ2 (f, n; zj , cj )

j

(29)

のように音源クラスインデックス cj（注2）を補助入力とし，分散 σ 2θ (zj , cj ) = [σθ2 (f, n; zj , cj )]f,n を出力する
NN を復号化器とした VAE によりモデル化する．ただ（注2）ここで音源クラスインデックスは，たとえば音声の場合は話者 ID，

(25)

計測と制御

j

楽音の場合は楽器の種類などを表わすインデックスを表わす．

199

し，gj はパワースペクトログラムのスケールを表わす変数，σθ2 (f, n; z, c) は復号化器の出力 σ 2θ (z, c) の第 (f, n)
要素を表わす．クラスラベルつきの学習サンプルを用いて事前学習された上記音源モデルは，さまざまなクラスの音源のスペクトログラムを表現可能な生成モデルとなっており，cj が音源クラスを表わすパラメータ，zj がクラス内変動を表わすパラメータとみなせる．(28) 式は LGM となっているため，未知パラメータ A, Z = {zj }j , C = {cj }j ,G = {gj }j の尤度関数は (24) 式と同形の尤度関数に帰着する．これにより MVAE 法の最適化アルゴリズムを導くことができる．MVAE 法は優決定条件と劣決定条件のいずれの場合も MNMF 法を上回る分離性能を達成しており，深層生成モデルによる音源モデル化の効果が示されている21)〜23) ．なお，モノラル音源分離タスクにおいても VAE や GAN を用いた手法が提案されている24), 25) ．
3.3 声質変換 (VC)
入力音声の言語情報（発話文）を保持したまま非言語・パラ言語情報（話者性や発話様式など）のみを変換する技
術を VC といい，話者性変換，発声障がい者支援，非母語
音声の発音自動修正などへの応用が拓かれる技術である．
VC の問題は，変換元の音声の音響特徴量から変換目標の音声の音響特徴量への写像関数を推定する回帰分析の問題として定式化することができる．VC の従来法の中でも混合ガウス分布モデル (Gaussian Mixture Model;
GMM) を用いた手法26), 27) はその有効性と汎用性から広く用いられてきた．また，近年では，DNN を用いた手法や NMF などを用いた事例（Exemplar）ベースの手法の検討もなされている．これらの手法の多くは，時間整合された同一発話内容の音声ペアで構成されるパラレル
データを用いて変換音声の音響特徴量が目標音声の音響
特徴量にできるだけ近くなるように変換関数の学習が行われる．しかし，用途によっては同一発話内容の変換元
音声と目標音声のペアデータを用意することが難しい場
面は多くある．また，仮にそのようなペアデータが用意できる場合でも，高い精度の時間整合が必要となり，これを自動処理で行う際は整合ミスを修正する人手の作業が必要となる．これを問題意識とし，パラレルデータを必要としない非パラレル VC の研究も取り組まれている．
非パラレル VC は不完全データ問題の一例であり，これを解決する目的で深層生成モデルに着目した手法が近年提案されている．
1 つは，VAE に基づくアプローチ28)〜30) である．この方式ではまず，音響特徴量 x とその属性のクラスイン
デックス（話者性変換タスクの場合は話者 ID）c を補助入力として潜在変数 z の条件付分布 qφ (z|x, c) を出力す
る符号化器と，潜在変数 z と属性クラス c を入力として音響特徴量 x の条件付分布 pθ (x|z, c) を出力する復号化器を学習サンプル {xm , cm }M
m=1 を用いて学習する．直感的には，符号化器は入力音声の言語情報を抽出するい200

わば音声認識器としての役割を担い，復号化器は符号化器により抽出された言語情報と補助入力情報（目標属性クラス）をもとに目標音声を合成する音声合成器としての役割を担っていると解釈できる．これにより，学習後，符号化器と復号化器に対し変換元音声の音響特徴量 x と
目標属性クラス c を入力することで，変換元音声の発話
内容を保持したまま属性 c をもった音響特徴量 x̂ を生成することが可能となる．この方式はパラレルデータを必要としない利点がある一方で，生成される音声の特徴
量が過剰平滑化される傾向にある．これは復号化器の条件付分布にガウス分布などのパラメトリックな確率分布形を仮定することに起因し，仮定した分布形が実際の音
響特徴量が従う真の確率分布と一致しないことによる．
2 つ目は，CycleGAN-VC と呼ぶ GAN に基づくアプ
ローチ31) である．CycleGAN 32)〜34) は元々画像のスタイル変換を目的として考案された手法であり，CycleGANVC はこれを VC に応用したものである．この方法では，異なる属性の音声間の変換関数 G, F と，入力が実音声の特徴量か合成音声の特徴量かを識別する識別器 D をそれぞれ NN によりモデル化し，これらを敵対的学習規準，循環無矛盾性規準，恒等変換規準と呼ぶ三種の規準を用いて学習する．敵対的学習規準は識別器 D の損失関数をさし，D はこれが小さくなるように学習されるのに対し，G と F はこれが大きくなるように学習される．
これはすなわち，G と F により変換された音響特徴量
が D に実音声と誤識別されるように促すことを意味する．循環無矛盾性規準は，G または F により変換された音響特徴量をもう一方の変換関数により逆変換した際の復元誤差をさし，これを小さくするように G と F を学習することで，G および F が一対一変換となるよう学習を促進させることができる．また，恒等変換規準は，変換先の属性の音響特徴量を変換関数の入力とした際の変化の大きさを表わす変換誤差をさし，G と F はこれができるだけ小さくなるように学習される．これらの規準が，パラレルデータを用いずとも発話内容を保持した
まま属性のみを変換する関数を得ることを可能にしている．この方法は，敵対的学習規準の導入により，VAE 方式のように音響特徴量の確率分布形を陽に仮定することなく実音声の音響特徴量が従う真の確率分布に近い音響
特徴量を生成することができるという特長をもつ．一方で，この方法は二種の属性間の相互変換に限ったものであるため，多種の属性への変換を行うには，属性のペアの全組み合わせ分の変換関数を学習する必要があり，学習すべきパラメータの数が属性クラス数の二乗のオーダで増大するという問題がある．
3 つ目は，StarGAN-VC と呼ぶ GAN に基づくアプ
ローチ35) で，CycleGAN-VC の利点を継承しつつ，単一の変換器で多種の属性への変換を可能にする方式となっている．CycleGAN と同様 StarGAN 36) も元々は画像の計測と制御

第 58 巻

第 3 号 2019 年 3 月号

スタイル変換の手法であり，StarGAN-VC はこれを VCに応用したものである．この方法では，音響特徴量 x と
目標属性クラスのインデックス c を入力として属性クラス c の音響特徴量 y を出力する変換器 G を NN によりモデル化し，変換器の出力 ŷ = G(x, c) が実音声らしく，かつ属性 c らしくなるように G を学習することが目標となる．そこで，入力音響特徴量が実音声か合成音
声かを識別する識別器 D と，どの属性クラスに属しているらしいかを識別する識別器 C を導入し，各属性の学習データ {xm , cm }M
m=1 を用いて敵対的学習規準，循
環無矛盾性規準，復元誤差規準，属性識別規準からなる
学習規準により D, C, G を学習する方法となっている．
CycleGAN-VC と同様，循環無矛盾性規準と恒等変換規
準を学習規準が，入力音声の発話内容を保持しつつ属性のみを変換する関数 G を得ることを可能にしている．
3.4 テキスト音声合成 (TTS)
TTS では，言語特徴量から音響特徴量を予測する回帰問題において目標値との誤差とともに GAN の目的関数
を学習規準に含めることで高品質な音響特徴量予測を行えるよう改良した枠組が提案されている37) ．また，近年の TTS 研究のトレンドの 1 つとなっているのが，テキス
ト列から音響特徴量系列への変換則を直接学習する Endto-End アプローチである．これは，テキスト列の各テキストがどの時刻の音響特徴量に対応しているかが明示されていない中で系列間の変換則を学習するタスクとなる
ため，不完全データ問題の一種とみなせる．特に最近は，
テキスト列からテキスト列への変換タスクである機械翻訳問題を解決する目的で導入された系列変換 (Sequenceto-Sequence; Seq2Seq) モデル38) を TTS に適用した手法が注目されている39)〜45) ．Seq2Seq モデルは符号化器と復号化器からなり，Seq2Seq モデルを用いた TTS では符号化器はテキスト列 t から潜在情報 h を抽出する役割，
復号化器は潜在情報 h をもとに音響特徴量系列 x を生成する役割を担う．さらに注意 (Attention) 機構46) を導入することで系列間の各要素の対応関係を見つけ出しながら変換則を学習することが可能になる．ここで注意すべきは，テスト時においてはテキスト列 t しか与えられないという点である．このため復号化器は，時刻 n における音響特徴量 xn が，自身がこれまでに生成した音響特徴量系列の履歴 x<n と潜在情報 h をもとに逐次的に決定される仕組みをもっている必要があり，ちょうど (17)式の AGN と同形の深層生成モデルとなる．なお，条件付
分布 p(xn |x<n , h) を記述する NN としては再帰型 NN(Recurrent NN; RNN) や畳み込み NN (Convolutional
NN; CNN) を用いることができる．以上のようなモデルのもとで，復号化器で生成された系列が目標系列とできるだけ一致するように符号化器と復号化器を学習することで，所与のテキスト列 t̃ に対応する音響特徴量系列 x̃を生成するモデルを得ることができる．

計測と制御

第 58 巻第3号

2019 年 3 月号

3.5 音声強調
音声強調は，雑音や残響などで劣化した音声を回復す
ることを目的とするタスクと音声合成の後処理として合成音声の品質を改善することを目的とするタスクに大きく分類され，それぞれのタスクを対象に GAN を適用した手法がいくつか提案されている．前者のものとしては
たとえば時間領域信号強調法47) や時間周波数マスク推定法48) ，後者のものとしては特徴量強調法49) や時間領域信号強調法50) などが提案されている．

4.

おわりに

近年の深層学習の研究の発展により，これまで難しいとされてきた多くの既存タスクにおいて特に性能面で数々のブレイクスルーがもたされたが，深層生成モデルの登場により解決可能なタスクや問題の範囲が大きく拡がってきている．本稿では，深層生成モデルの代表的な例として AGN，VAE，GAN の原理を概説し，音声音響信号処理問題のいくつかの例（音声分析合成，BSS，VC，
TTS，音声強調）を題材に深層生成モデルの最近の応用事例を紹介した．この分野は今なお目まぐるしく発展しており，今後も動向が注目される．（2019 年 2 月 27 日受付）
参 考 文 献

1） A. van den Oord, N. Kalchbrenner, and K. Kavukcuoglu: Pixel
Recurrent Neural Networks, in Proc. ICML (2016)
2） A. van den Oord, et al.: WaveNet: A Generative Model for
Raw Audio, arXiv:1609.03499 [cs.SD] (2016)3） D. P. Kingma and M. Welling: Auto-Encoding Variational
Bayes, in Proc. ICLR (2014)4） D. P. Kingma, D. J. Rezendey, S. Mohamedy, and M. Welling:
Semi-Supervised Learning with Deep Generative Models, inAdv. NIPS, 3581/3589 (2014)5） I. Goodfellow, et al.: Generative Adversarial Nets, in Adv.
NIPS, 2672/2680 (2014)6） M. E. Tipping and C. M. Bishop: Probabilistic Principal Component Analysis, J. R. Statist. Soc. B, 61–3, 611/622 (1999)
7） C. J. Maddison, A. Mnih, and Y. W. Teh: The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables, in Proc. ICLR (2017)8） S. Nowozin, B. Cseke, and R. Tomioka: f-GAN: Training Generative Neural Samplers Using Variational Divergence Minimization, in Adv. NIPS, 271/279 (2016)9） X. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. P. Smolley: Least Squares Generative Adversarial Networks, in Proc.
ICCV, 2794/2802 (2017)10） M. Arjovsky, S. Chintala, and L. Bottou: Wasserstein Generative Adversarial Networks, in Proc. ICML, 214/223 (2017)11） I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and A.
Courville: Improved Training of Wasserstein GANs, in Adv.
NIPS, 5769/5779 (2017)12） A. Radford, L. Metz, and S. Chintala: Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, in Proc. ICLR (2016)13） A. van den Oord, et al.: Parallel WaveNet: Fast High-Fidelity
Speech Synthesis, arXiv:1711.10433 [cs.LG] (2017)14） N. Kalchbrenner, et al.: Eﬃcient Neural Audio Synthesis,
arXiv:1802.08435 [cs.SD] (2018)15） Z. Jin, A. Finkelstein, G. J. Mysore, and J. Lu: FFTNet:201

A Real-Time Speaker-Dependent Neural Vocoder, in Proc.
ICASSP, 2251/2255 (2018)16） R. Prenger, R. Valle, and B. Catanzaro: WaveGlow:
A Flow-Based Generative Network for Speech Synthesis,
arXiv:1811.00002 [cs.SD] (2018)17） A. Ozerov and C. Févotte: Multichannel Nonnegative Matrixfactorization in Convolutive Mixtures for Audio Source Separation, IEEE Trans. ASLP, 18–3, 550/563 (2010)18） H. Kameoka, T. Yoshioka, M. Hamamura, J. Le Roux, and
K. Kashino: Statistical Model of Speech Signals Based on
Composite Autoregressive System with Application to Blind
Source Separation, in Proc. LVA/ICA, 245/253 (2010)19） H. Sawada, H. Kameoka, S. Araki, and N. Ueda: MultiChannel Extensions of Non-Negative Matrix Factorization
with Complex-Valued Data, IEEE Trans. ASLP, 21–5,
971/982 (2013)20） D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and H.
Saruwatari: Determined Blind Source Separation Unifying Independent Vector Analysis and Nonnegative Matrix Factorization, IEEE/ACM Trans. ASLP, 24–9, 1626/1641 (2016)21） H. Kameoka, L. Li, S. Inoue, and S. Makino: Semi-Blind
Source Separation with Multichannel Variational Autoencoder, arXiv:1808.00892 [stat.ML] (2018)22） S. Seki, H. Kameoka, L. Li, T. Toda, and K. Takeda: Generalized Multichannel Variational Autoencoder for Underdetermined Source Separation, arXiv:1810.00223 [stat.ML] (2018)23） L. Li, H. Kameoka, and S. Makino: Fast MVAE: Joint Separation and Classiﬁcation of Mixed Sources Based on Multichannel Variational Autoencoder with Auxiliary Classiﬁer,
arXiv:1812.06391 [cs.LG] (2018)24） Y. Bando, M. Mimura, K. Itoyama, K. Yoshii, and T. Kawahara: Statistical Speech Enhancement Based on Probabilistic
Integration of Variational Autoencoder and Non-Negative Matrix Factorization, in Proc. ICASSP, 716/720 (2018)25） Y. Subakan and P. Smaragdis: Generative Adversarial Source
Separation, in Proc. ICASSP, 26/30 (2018)26） Y. Stylianou, O. Cappé, and E. Moulines: Continuous Probabilistic Transform for Voice Conversion, IEEE Trans. SAP,
6–2, 131/142 (1998)
27） T. Toda, A. W. Black, and K. Tokuda: Voice Conversion
Based on Maximum Likelihood Estimation of Spectral Parameter Trajectory, IEEE Trans. ASLP, 15–8, 2222/2235 (2007)
28） C.-C. Hsu, H.-T. Hwang, Y.-C. Wu, Y. Tsao, and H.-M.
Wang: Voice Conversion from Non-Parallel Corpora Using
Variational Auto-Encoder, in Proc. APSIPA-ASC (2016)29） C.-C. Hsu, H.-T. Hwang, Y.-C. Wu, Y. Tsao, and H.-M. Wang:
Voice Conversion from Unaligned Corpora Using Variational
Autoencoding Wasserstein Generative Adversarial Networks,
in Proc. Interspeech, 3364/3368 (2017)30） H. Kameoka, T. Kaneko, K. Tanaka, and N. Hojo: ACVAEVC: Non-Parallel Many-to-Many Voice Conversion with Auxiliary Classiﬁer Variational Autoencoder, arXiv:1808.05092[stat.ML] (2018)31） T. Kaneko and H. Kameoka: Parallel-Data-Free Voice
Conversion Using Cycle-Consistent Adversarial Networks,
arXiv:1711.11293 [stat.ML] (2017)32） J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros: Unpaired Imageto-Image Translation Using Cycle-Consistent Adversarial Networks, in Proc. ICCV, 2223/2232 (2017)33） T. Kim, M. Cha, H. Kim, J. K. Lee, and J. Kim: Learning to
Discover Cross-Domain Relations with Generative Adversarial
Networks, in Proc. ICML, 1857/1865 (2017)34） Z. Yi, H. Zhang, P. Tan, and M. Gong: DualGAN: Unsupervised Dual Learning for Image-to-Image Translation, in Proc.
ICCV, 2849/2857 (2017)20235） H. Kameoka, T. Kaneko, K. Tanaka, and N. Hojo: StarGANVC: Non-Parallel Many-to-Many Voice Conversion Using Star
Generative Adversarial Networks, in Proc. SLT, 266/273(2018)
36） Y. Choi, M. Choi, M. Kim, J.-W. Ha, S. Kim, and J.
Choo: StarGAN: Uniﬁed Generative Adversarial Networks forMulti-Domain Image-to-Image Translation, arXiv:1711.09020[cs.CV] (2017)37） Y. Saito, S. Takamichi, and H. Saruwatari: Statistical Parametric Speech Synthesis Incorporating Generative Adversarial
NetWorks, IEEE/ACM Trans. ASLP, 26–1, 84/96 (2018)38） I. Sutskever, O. Vinyals, and Q. V. Le: Sequence to Sequence
Learning with Neural Networks, in Adv. NIPS, 3104/3112(2014)
39） Y. Wang, et al.: Tacotron: Towards End-to-End Speech Synthesis, in Proc. Interspeech, 4006/4010 (2017)40） S. Ö. Arık, et al.: Deep Voice: Real-Time Neural Text-toSpeech, in Proc. ICML (2017)41） S. Ö. Arık, et al.: Deep Voice 2: Multi-Speaker Neural Textto-Speech, in Proc. NIPS (2017)42） J. Sotelo, et al.: Char2Wav: End-to-End Speech Synthesis, in
Proc. ICLR (2017)43） H. Tachibana, K. Uenoyama, and S. Aihara: Eﬃciently
Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention, in Proc. ICASSP,
4784/4788 (2018)44） W. Ping, et al.: Deep Voice 3: Scaling Text-to-Speech with
Convolutional Sequence Learning, in Proc. ICLR (2018)45） J. Shen, et al.: Natural TTS Synthesis by Conditioning
WaveNet on Mel Spectrogram Predictions, in Proc. ICASSP,
4779/4783 (2018)46） M.-T. Luong, H. Pham, and C. D. Manning: Eﬀective Approaches to Attention-Based Neural Machine Translation, in
Proc. EMNLP (2015)47） S. Pascual, A. Bonafonte, and J. Serrá: SEGAN: Speech Enhancement Generative Adversarial Network, in Proc. Interspeech, 3642/3646 (2017)48） T. Higuchi, K. Kinoshita, M. Delcroix, and T. Nakatani: Adversarial Training for Data-Driven Speech Enhancement without Parallel Corpus, in Proc. ASRU, 40/47 (2017)49） T. Kaneko, H. Kameoka, N. Hojo, Y. Ijima, K. Hiramatsu, and
K. Kashino: Generative Adversarial Network-Based Postﬁlter
for Statistical Parametric Speech Synthesis, in Proc. ICASSP,
4910/4914 (2017)50） K. Tanaka, T. Kaneko, N. Hojo, and H. Kameoka: Syntheticto-Natural Speech Waveform Conversion Using CycleConsistent Adversarial Networks, in Proc. SLT, 632/639(2018)

［著
かめ

おか

ひろ

亀 岡 弘

者

紹

介］

かず

和君

1978 年生．2002 年東京大学工学部計数工学科卒
業．2007 年同大大学院情報理工学系研究科システ
ム情報学専攻博士課程修了．情報理工学博士．同年
日本電信電話（株）コミュニケーション科学基礎研究所入社．2011 年東京大学大学院情報理工学系研究科システム情報学専攻客員准教授，2016 年国立情報学研究所客員准教授．音声音響信号処理の研究に従事．日本音響学会，電子情報通信学会，情報処理学会，IEEE の会員．

計測と制御

第 58 巻

第 3 号 2019 年 3 月号