525

日本音響学会誌 75 巻 9 号（2019），pp. 525–531

小特集—音環境理解の近年の動向：音響イベント分析及び音響シーン分析—

深層学習に基づく音源分離*
亀 岡 弘 和（日本電信電話株式会社）∗∗
43.60.Fq, Np

1. は じ め に

周波数マスク推定アプローチに大別される。前者

我々人間は日常的に様々な音源の音に接し，そが生成される過程をモデル化し，各音源信号に関れらが混在する音からどのような音が鳴っているするモデルや先験的知識に基づき観測信号から各かを聞き分け，周囲で何が起こっているかを把握

音源信号を予測するアプローチである。一方で後するための手がかりとしている。このような機能者は，観測信号の時間周波数点でどの音源が支配を計算機に備えさせる音環境理解の問題は，混合的であるかを識別することで，同一音源が支配的音を各音源に分解する音源分離，音源の位置を推な時間周波数点の成分のみを通過させる時間周波定する音源定位，直接音と残響音を分離する残響

数マスクを得ることを目的とするアプローチであ除去，音が鳴っている時刻を推定する音声区間推る。以下，それぞれのアプローチの具体的な問題

定などの部分問題からなる。本稿では主に音源分設定の例を示す。

は，各音源信号が混合されることにより観測信号

離の問題に焦点を当て，モノラル信号及びマイク

2.1 音源推定アプローチ

ロホンアレーを用いて観測される多チャンネル信

まず，観測信号がモノラルの場合を考える。音号を対象とした音源分離の問題に対するアプロー

源 j の信号の短時間フレーム n における短時間

チ，特に深層学習を用いた音源分離法についての

フーリエ変換（Short-Time Fourier Transform;

最近の動向について解説する。

STFT）を sj (f, n) ∈ C とすると，J 個の音源の混合信号の STFT x(f, n) は

x(f, n) =sj (f, n)(1)

2. 音源分離問題へのアプローチ
音環境理解を目的とした音源分離の研究は古くから取り組まれており，これまで多くの音源分離手法が提案されているが，近年，深層学習に基づjと表される。ただし，f は周波数のインデックス

く手法の有効性が示され始めている。音源分離のである。ここで，例えば，sj (f, n) が j, f , n に関問題は観測信号を分解する問題であるが，一つのし独立に観測信号に対し分解の仕方は無数に存在する。この点で単純な回帰分析やクラス識別などのように一つの観測データに対して唯一の解が対応するこsj (f, n) ∼ NC (sj (f, n) | 0, vj (f, n))(2)のように平均が 0，分散が vj (f, n) の複素ガウスとを前提としたものとは異なる。そのため深層学分布に従うと仮定すると，x(f, n) は平均が 0，分習に基づく音源分離法は，深層学習の特長を生か散がせるような形に音源分離の問題を定式化する工夫がなされている。
音源分離問題のアプローチは旧来のものも含め（例外はあるものの）音源推定アプローチと時間∗∗∗

Deep learning approach to audio source separation.
Hirokazu Kameoka (NTT Communication Science Laboratories, Nippon Telegraph and Telephone Corporation, Atsugi, 243–0198) e-mail:kameoka.hirokazu@lab.ntt.co.jp

j vj (f, n) の複素ガウス分布

 



x(f, n) ∼ NC x(f, n)  0,
vj (f, n)j(3)に従うことが示される。ただし，分散 vj (f, n)
は，E[|sj (f, n)|2 ] を表すため音源 j のパワース

ペクトログラムに対応する。X = [x(f, n)]f,n ，V = [vj (f, n)]j,f,n と表すと，観測信号 X が与え526

日本音響学会誌 75 巻 9 号（2019）

られた下での V の尤度関数 p(X |V) はp(X |V) =



 



NC x(f, n)  0,
vj (f, n)
j

f,n

(4)
となる。また，x(f, n) と s1 (f, n), . . . , sJ (f, n)の 結 合 ガ ウ ス 性 よ り ，x(f, n) と v1 (f, n), . . . ,vJ (f, n) が与えられた下での sj (f, n) の最小平均二乗誤差推定量 E[sj (f, n)|x(f, n)] はと表される。ただし，ai,j (f )∈C は音源 j からマイクロホン i までの音響経路の周波数応答，xi (f, n)，sj (f, n) はそれぞれマイクロホン i の観測信号，音源 j の音源信号の STFT を表す。aj (f )=[a1,j (f ),. . . , aI,j (f )]T , A(f )=[a1 (f ), . . . , aJ (f )], s(f, n)=[s1 (f, n), . . . , sJ (f, n)]T とすると式 (8) は
x(f, n) =aj (f )sj (f, n)(9)j= A(f )s(f, n)(10)

E[sj (f, n)|x(f, n)] = wj (f, n)x(f, n) (5)と書ける。また，音源数 J とマイク数 I が等しく

vj (f, n)wj (f, n) = j  vj  (f, n)

A(f ) が逆行列 A(f )−1 = WH (f ) を持つ場合，
式 (10) は以下のように書ける。

(6)となる（wj (f, n) をウィーナゲインと呼ぶ）。よって，V を推定することができれば，式 (5) より各音源信号を得ることができる。しかし，尤度関数

p(X |V) は|x(f, n)|2 =

vj (f, n)(7)jのときに最大になるという事実しか音源に関する手がかりを与えてくれず，当然，式 (7) を満たす

V は無数に存在するため，尤度関数 p(X |V) を規準にするだけでは V を一意に決めることができない。従って，通常，各音源のパワースペクトログラ

WH (f )x(f, n) = s(f, n)

ここで，式 (2) と同様，sj (f, n) が独立に平均が0 の複素ガウス分布に従う場合を考える。このとき，式 (9) と式 (11) のいずれの混合過程を仮定した場合も観測信号 x(f, n) は下記に従う。
x(f, n) ∼ NC (x(f, n) |0, Σx (f, n) ) (12)ただし，Σx (f, n) は，式 (9), (11) の場合，

Σx (f, n)=⎧⎨ v (f, n)R (f )
j j
H
−1

⎩W (f )

ムに関して何等かの先験的知識や仮定が必要となる。従来は，音源の特徴を反映したパラメトリッ
クなモデル（非負値行列分解モデルなど）で V を表現した上でそのパラメータの最尤推定又は最大事後確率推定問題に帰着させる手法や，V に関する事前分布 p(V) を仮定又は事前学習した上で Vの最大事後確率推定値を探索する手法などが提案されている。これらの中に特定条件下において有効なものはあるものの，実世界の音源のパワース
ペクトログラムは極めて多様で，V をモデル化す

(11)

j

Σs (f, n)W(f )−1(13)で与えられ，Rj (f ) = aj (f )aH
j (f ), Σs (f, n) =diag([v1 (f, n), . . . , vJ (f, n)]T ) である。式 (12) より観測信号 X = [xi (f, n)]i,f,n の確率分布は
p(X |V, A) =NC (x(f, n) |0, Σx (f, n) )
f,n

(14)
となり，これを未知パラメータ V = [vj (f, n)]j,f,n ,A = [A(f )]f の尤度関数とした最尤推定問題としることこそが音源分離問題の難しさそのものであて多チャンネル音源分離を定式化することができると言える。

る。ただし，式 (14) の対数は周波数 f ごとの項

次に，観測信号がマイクロホンアレーで収音された多チャンネル信号の場合を考える。J 個の音
源信号の混合信号を I 個のマイクロホンで観測すに分解されるため，以上の定式化では，各 f において分離信号のインデックス j にはパーミュテー
ションの任意性が残る。また，音源数がマイクロるとき，時不変な混合過程を仮定できる場合，各マホン数より多い劣決定条件においては A(f ) が決

イクロホンで観測される信号は時間周波数領域でまったとしても s(f, n) を一意に決めることができ

xi (f, n) =jai,j (f )sj (f, n)(8)ない。このため，解を絞り込むためには更なる手がかりが必要である。モノラルの場合と同様，従527

深層学習に基づく音源分離

来音源の特徴を反映したパラメトリックなモデル基づく手法が提案されている [3]。これは，時間周で V を表現した手法や V に関する事前分布 p(V)

波数点の各ペアにおいて同一音源が支配的かどうを仮定した手法が提案されているが，これらの手かを表した巨大な類似度行列を考え，これを用い法で置かれる仮定が成立するのは特定条件のみで，て時間周波数点をクラスタリングする，という方

多様な音源のスペクトログラムを包含するような法である。この手法も，各音源が満たすべき要件

汎用的なパラメトリックモデルや事前分布を手動を反映した特徴量を手動で設計する必要がある点で設計することの難しさは同様である。

で前述の手法と共通している。

2.2 時間周波数マスク推定アプローチ
実世界の音源は，時間周波数領域においてエネ

3. 深層学習に基づく手法

ルギーがスパースに分布するものが多い。例えば以上のようにいずれのアプローチにおいても個々

音声や楽音のように局所的に周期性を有する信号のアルゴリズムの成否は音源のモデルや特徴量のは周波数領域において，基本周波数とその整数倍の選択に依るところが大きかったが，深層学習に基づ

周波数（高調波周波数）にエネルギーが集中する調

く手法は音源の生成モデルや特徴量抽出器をニュー波構造と呼ぶ特徴的な構造を持つ。このため，たとラルネットワーク（Neural Network; NN）に担え複数の音が同時に鳴っていたとしても各時間周

わせた上で NN のパラメータを学習により決定す波数点ではいずれか一つの音源のみのエネルギーることで，NN の関数としての高い表現能力をいが支配的になると仮定することができる。従って，

かしつつ従来の音源モデルや特徴量の手動設計に

各時間周波数点でどの音源が支配的かが分かれば，おけるヒューリスティクスをできるだけ排除する

各音源の成分のみを通過させる時間周波数マスクことを動機としている。音声など実世界の音響信を構成することにより信号を分離することができ

号の特徴は特に時間方向及び周波数方向の依存関る。例えば観測信号が多チャンネル信号の場合，係に強く現れるため，このような依存関係を捉え

各時間周波数点の信号成分のチャネル間位相差なられるような構造を持つ NN を用いることが重要

どを手がかりに支配的な音源を推定することがでである。以下ではまず音声や音響信号のモデルときる [1]。一方でモノラルの場合は音源の空間情報しての有用性が既に知られている幾つかの NN モを手がかりにすることはできないが，画像中の各

デルの例を挙げた上で，これらを用いた音源分離

ピクセルを物体や人物ごとに対応する領域に分割手法の例を紹介する。

する画像セグメンテーションの問題と類似し，各3.1 ニューラルネットワークモデル

時間周波数点周辺のスペクトログラムから得られ音は時系列信号で表され，ほぼ例外なく時間的る情報を手がかりにすることができる。例えば，な相関を持つ。特に音声は発声器官の物理制約（ダ時間周波数点ごとに算出される特徴量をもとに各イナミクス）によってもたらされる局所的な相関

時間周波数点で音声と雑音のどちらが優勢かをサ構造から発話全体にわたる大域的な相関構造まで，

ポートベクトルマシン（Support Vector Machine;

様々な時間スケールの相関構造を有している。こSVM）により識別する手法が提案されている [2]。

のため例えば，入出力系列間の時間依存関係を学

この手法では調波構造をなしているかどうかや各習可能な再帰型 NN（Recurrent Neural Network;

周波数成分の時間変化が同期しているかどうかと験的知識を反映した特徴量を用いることで音声とRNN）は，音源の生成モデルや音の特徴量抽出器として用いることに適した NN の一つである。RNN
は内部状態が時間発展する NN であり，隠れ層の雑音の識別を可能にしている。しかしこれは音声出力を次の時間ステップにおける隠れ層の入力とと雑音のようにスペクトル構造が大きく異なるとする形をとることで，入力値及びその履歴をもと仮定できるからこそ適用可能な方法であり，例えに出力値を逐次予測する能力を持つ NN にするこ

ば音源がいずれも音声の場合，それぞれの話者のとができる。図–1 のように隠れ層を時間ステップ

スペクトル構造の違いを反映したような特徴量をごとに展開すると，例えば x0 と h3 の間に四つの隠手動で設計する必要があり，容易には行かない。

れ層があるのと同等であることが分かることから

その他の例としてはスペクトルクラスタリングに

RNN は深い層の NN と見なすことができる（ただいった音声のスペクトル構造に関する大まかな先528

日本音響学会誌 75 巻 9 号（2019）

し，同じ色の矢印はパラメータが共有される点が異なる）。従ってこの展開された NN の層の深さ
は，出力値の予測において考慮する入力値の履歴の長さに相当する。深い層の NN では誤差逆伝搬（Backpropagation）法による学習プロセスにおい

図–1

再帰型ニューラルネットワーク（RNN）てしばしば勾配消失（Vanishing Gradient）が問題となるが，通常の RNN も例外ではなく勾配消失が問題となる場合が多い。これは各パラメータの勾配が連鎖律により出力層までの層数分の活性化関数の微分の積が乗じられた形になるためであり，微分が 0 の領域又は 0 に近い領域のある活性化関数を用いた場合，層数が増えるほど勾配の絶対値が小さくなり易くなる（勾配法において勾配の絶対値が小さいパラメータはほとんど更新されな

図–2

長短期記憶（LSTM）

い）。この問題を克服するため考案されたのが長短
期記憶ネットワーク（Long Short-Term Memory;モイド関数， は要素ごとの積を表す。LSTM に

LSTM）である [4]。図–2 に示すように，LSTM

おいてメモリの継承が線形的に行われていくのとはメモリセル，忘却ゲート，入力ゲート，出力ゲー

同様，GCNN では線形層の出力 (W ∗ hl + b) がトの 4 層からなる再帰モジュールを採用している。

乗法的に深い層へ継承されていくスタイルをとる

LSTM では，メモリセルを介して情報 ct（メモリことで，勾配消失を起こしにくくしている。

と呼ぶ）を継承していく仕組みがとられており，

3.2 音源推定アプローチ

メモリの継承においては活性化関数を通過させな

音源照合スコア最大化法

いようにすることで勾配消失を起こしにくくしてモノラル信号を対象とした音源推定アプローチといる。

しては，音源照合器（音声の場合は話者照合器）を用

畳み込み NN（Convolutional Neural Network;

いた手法が提案されている [7]。以下，簡単のため

CNN）もまた音源の生成モデルや音の特徴量抽出器として用いることに適した NN である。CNN は

2 音源の場合を考える。もし混合信号に含まれる各

特に画像やコンピュータビジョンの分野で早くから音源の特徴に最も適合しているときのはずである。

その高い効果や能力が知られていたが，近年は時系

また，同時に，分離信号の和は混合信号と一致して列データにおける時間軸を画像における座標軸と同いなければならない。そこで，分離信号が音源 1 又等に見なした利用方法も広まってきており，特に言は音源 2 の特徴に適合しているかどうかをチェッ語モデル [5] や音声波形の生成モデル [6] としてのクする音源照合器 p = ϕj (s) ∈ [0, 1] (j = 1, 2) を高い能力が示されている。CNN では層を深くするNN でモデル化することを考える。この照合器をほど受容野を広くすることができるが，CNN も深各音源の振幅スペクトログラムの学習サンプルをい層のものになると勾配消失が生じ易くなる。しか用いて事前学習した上で，分離信号の振幅スペク

し CNN においても RNN における LSTM のようトログラム s1 , s2 の和が観測信号の振幅スペクトに勾配消失問題を回避する工夫がなされている。そログラム x と等しくなる制約の下，s1 , s2 を入力の一つがゲート付き CNN（Gated CNN; GCNN）

したときの音源照合器のスコアが最大になるようである [5, 6]。通常の CNN における畳み込み層はに s1 , s2 を推定することで，各音源の振幅スペク

hl+1 = φ(W∗hl +b) と表されるが，GCNN の畳み込み層は hl+1 = (W ∗hl +b)sigmoid(V ∗hl +c)と表される [5]。ただし，hl , hl+1 , W, V, b, c は畳み込み層 l の入出力，カーネル，バイアスを表し，φ, sigmoid は任意の非線形活性化関数，シグトログラムを得ることができる。あとは式 (5) を音源の種類が既知ならば，分離信号の最良解は当該用いて分離信号を得ることができる。
この手法では目的関数の中に ϕj (sj  ) という項が含まれるが，ϕj は NN となっているため，目的関数の s1 と s2 に関する勾配を計算することが可529

深層学習に基づく音源分離能である。従って，s1 と s2 を推定には（NN の学

トログラム A では音源 1 にクラスラベル 1，音源

習と同様）勾配法を用いることができる。
多チャンネル信号を対象とした音源推定アプローチ

2 にクラスラベル 2 が付与され，逆にスペクトロ
グラム B では音源 1 にクラスラベル 2，音源 B に，学習されクラスラベル 1 が付与されている場合）

としては，式 (14) において，Vj = [vj (f, n)]f,n をた識別器は当然音源を識別する能力を持ちえない。

NN によりモデル化する方法が提案されている [8–13]。例えば多チャンネル変分自己符号化器（Multichannel Variational Autoencoder; MVAE) 法[8–10] では，Vj = [vj (f, n)]f,n を

このため，学習データを準備する際は，各スペク

多チャンネル変分自己符号化器法

vj (f, n) = gj · σθ2 (f, n; zj , cj )(15)
1のように音源クラスインデックス cj を補助入力とし，σ 2θ (zj , cj ) = [σθ2 (f, n; zj , cj )]f,n を出力する

トログラム間で一貫したラベルを慎重に付与する必要があり，利用場面によっては難点となりえる。
これに対し，前述のスペクトラルクラスタリング法と同様類似度行列の利用に着目した深層クラス
タリング（Deep Clustering; DC）法と呼ぶ方法が提案されている [19]。DC 法は，混合信号のス
ペクトログラムの時間周波数点ごとに埋め込みベ

NN によりモデル化する。ただし，gj はパワースペ
クトログラムのスケールを表す変数，σθ2 (f, n; z, c)
は NN の出力 σ 2θ (z, c) の第 (f, n) 要素を表す。
MVAE 法ではスペクトログラムの要素間の相関

クトルを考え，同一音源が支配的な時間周波数点構造を学習できるようにするため，スペクトログ

トルにクラスタリングを行うことにより各音源のラムをチャネル数が F ，サイズが 1 × N の画像と時間周波数マスクを推定する方法である [19]。

見なし，CNN を用いてスペクトログラム全体をの尤度関数は式 (14) と同形となるので，この尤度

J 個の音源からなる混合信号のスペクトロ
グラムの全要素をベクトル化したものを x =[x1 , . . . , xk , . . . , xK ]T ∈ RK とする。ただし，kは時間周波数点 (f, n) に対応するインデックスを表し，K は時間周波数点の総数 F × N である。ここで，スペクトログラムの各点 k ごとにノルムが 1の D 次元埋め込みベクトル vk = [vk,1 , . . . , vk,D ]を考え，V = [v1 ; . . . ; vK ] ∈ RK×D とする。ただし，; は行列の改行を表す。DC 法では，同一音関数に基づき A, Z, C, G を推定する最適化アル源が支配的な時間周波数点の埋め込みベクトルがゴリズムを導くことができる。なお，（パワース

互いに接近するように非線形写像 V = ϕθ (x) をペクトログラムではないが）パワースペクトルを学習することが目標である。埋め込みベクトルがNN でモデル化するアイディアはモノラル音源分
離にも適用されている [14–17]。
3.3 時間周波数マスク推定アプローチ

スペクトログラムの大域的な構造を手がかりにしモデル化している点が特徴である。
クラスラベルつきの学習サンプルを用いて事前学習された上記音源モデルは，様々なクラスの音源のスペクトログラムを表現可能な生成モデルとなっており，cj が音源クラスを表すパラメータ，zj がクラス内変動を表すパラメータと見なせる。未知パラメータ A, Z = {zj }j , C = {cj }j , G = {gj }j

深層クラスタリング法

NN を用いた時間周波数マスク推定法としては入力スペクトログラムに対し各時間周波数点の音源
ラベルを直接予測する手法（例えば [18]）が主流であったが，この手法では各学習データ間で音源
ラベルが一貫していない場合（例えば，音源 1 との埋め込みベクトルが互いに近接するように時間
周波数点から埋め込みベクトルへの写像を NN を用いて学習することで，テスト時に埋め込みベクて決定される仕組みにするため，非線形写像 ϕθ は

RNN や CNN を用いてモデル化される [19, 20]。
θ はそのパラメータを表す。x の各時間周波数
点 k で支配的な音源ラベルを示した one-hot ベクトル（行ベクトル）を yk ∈ {0, 1}1×J とし，
Y = [y1 ; . . . ; yK ] ∈ {0, 1}K×J とすると，
J(θ) = VVT − YYT 2F(16)

音源 2 からなる混合信号のスペクトログラム A と= VT V2F − 2VT Y2F + YT Y2F

スペクトログラム B を学習データとして，スペクを θ に関してできるだけ小さくすることが DC 法1

ここで音源クラスインデックスは，例えば音声の場合は
話者 ID を表すインデックスを表す。

の学習目標となる。ただし， · 2F はフロベニウ
スノルムを表す。YY T は，k 行 k  列目の要素が530

日本音響学会誌 75 巻 9 号（2019）

時間周波数点 k = (f, n) と k  = (f  , n ) において0 であるような K × K のバイナリ行列で，一種の類似度行列と見なせる。つまり DC 法では，時間

sj (f, n) とし，s1 (f, n), . . . , sJ (f, n) を混合して作られた混合信号を x(f, n) とすると，DANet 法
では，x(f, n) から s1 (f, n), . . . , sJ (f, n) をできるだけ高精度に復元する時間周波数マスク mj (f, n)

周波数点のペアの埋め込みベクトルの内積を要素を得るプロセスを学習することが目標となる。そにした行列がこの類似度行列とできるだけ一致す

こでまず，同一音源が支配的のときに 1，そうでないときにるように ϕθ を決めていることになる。ϕθ の学習
後，入力信号のスペクトログラム x に対し V を算出し，V の各行ベクトルをデータベクトルとしJ (θ) =

|sj (f, n) − mj (f, n)x(f, n)|2

j,f,n

(17)

てクラスタリング（k 平均法など）を行うことで，同一音源が支配的な時間周波数点の集合を得ることができる。これにより，各音源を抽出するためのような規準を考え，これを小さくすることを目標設定する。ここで，時間周波数マスク mj (f, n)の時間周波数マスクを構成することができる。

は埋め込みベクトル vk から

DC 法では学習データとして，各時間周波数点に付与される音源ラベル Y を必要とせず，代わり

mj (f, n) = sigmoidに，各スペクトログラムの時間周波数点のペアごとに支配的な音源が同一かどうかを示す類似度行
T

列 YY を用いる手法となっている。このようなラベルの付与にかかる労力は，全データ間で一貫した音源ラベルを付与する労力に比べて小さく済
むため，実用上のメリットが大きい。なお，音源ク
ラスを直接予測するタイプの手法においても，音源とラベルの全通りの対応付けを考え，その中で最小となる学習ロスを最小化することで，音源ラベルが一貫していなくともクラス識別器を適切に学習できる方法も提案されている [21]。また，DC
法は各音源のスペクトログラムの特徴を捉えようとするのではなく単一音源のスペクトログラムで構造的に共通するパターン（調波構造など）を捉
えようとする手法になっていると考えられ，学習
データに含まれない話者の音声分離も高精度に行えることが実験的に示されている。近年は DC 法の多チャンネル拡張の試みも行われている [22]。
深層アトラクタネットワーク法

DC 法では各時間周波数点から埋め込みベクトルを算出するプロセスと，各点の埋め込みベクトルに対してクラスタリングを行い時間周波数マスクを構成するプロセスは独立しており，写像 ϕθ の学
習規準が時間周波数マスクにより得られる分離信号そのものが最適となるような規準となっていなかった。DC 法の考え方をベースにしつつこの点を改良したのが深層アトラクタネットワーク（Deep

Attractor Network; DANet）法である [23]。
音源 j の学習サンプルのスペクトログラムを

αj,d vk=(f,n),ddk vk,d yk,jwhere αj,d = 
k yk,j(18)のようなプロセスによって算出されるものと仮定する。中間変数の αj,d は，音源 j が支配的とラベル付けされた全時間周波数点における埋め込みベ
クトルの重心に相当する。従って，mj (f, n) は，
ある時間周波数点 k = (f, n) における埋め込みベクトルがその重心と近いほど 1 に近くなり，遠いほど 0 に近くなるものとなっているため，音源 j が支配的な時間周波数点における埋め込みベクトルが重心 αj,d 周辺に集中しているとき mj (f, n) は
音源 j の成分だけを通過させる時間周波数マスクとなることが分かる。以上より DANet 法は，式(18) の関係式により埋め込みベクトルと時間周波数マスクが関連付けられたことで，式 (17) の復元
誤差を直接小さくするように埋め込みベクトルへの写像関数 ϕθ を学習できる方式となっている。

4. お わ り に
本稿では音源分離の問題に焦点を当て，特に深層学習を用いた音源分離法についての最近の動向を紹介した。本分野は近年急速に発展をとげており，今後も動向が注目される。
文

献[ 1 ] O. Yılmaz and S. Rickard, “Blind separation of
speech mixtures via time-frequency masking,” IEEE
Trans. Signal Process., 52, 1830–1847 (2004).
[ 2 ] K. Han and D. Wang, “An SVM based classification approach to speech separation,” Proc. ICASSP
2011, pp. 4632–4635 (2011).

深層学習に基づく音源分離[ 3 ] F. R. Bach and M. I. Jordan, “Learning spectralclustering, with application to speech separation,” J.
Mach. Learn. Res., 7, pp. 1963–2001 (2006).
[ 4 ] S. Hochreiter and J. Schmidhuber, “Long shortterm memory,” Neural Comput., 9, 1735–1780(1997).
[ 5 ] Y. N. Dauphin, A. Fan, M. Auli and D. Grangier,“Language modeling with gated convolutional networks,” Proc. ICML, pp. 933–941 (2017).
[ 6 ] A. van den Oord, S. Dieleman, H. Zen, K.
Simonyan, O. Vinyals, A. Graves, N. Kalchbrenner,
A. Senior and K. Kavukcuoglu, “WaveNet: A generative model for raw audio,” arXiv:1609.03499 (2016).
[ 7 ] E. M. Grais, M. U. Sen and H. Erdogan, “Deepneural networks for single channel source separation,”
Proc. ICASSP 2014, pp. 3734–3738 (2014).
[ 8 ] H. Kameoka, L. Li, S. Inoue and S. Makino,“Semi-blind source separation with multichannel
variational autoencoder,” arXiv:1808.00892 (2018).
[ 9 ] S. Seki, H. Kameoka, L. Li, T. Toda and K.
Takeda, “Generalized multichannel variational autoencoder for underdetermined source separation,”
arXiv:1810.00223 (2018).
[10] L. Li, H. Kameoka and S. Makino, “Fast MVAE:
Joint separation and classification of mixed sources
based on multichannel variational autoencoder with
auxiliary classifier,” arXiv:1812.06391 (2018).
[11] S. Mogami, H. Sumino, D. Kitamura, N. Takamune, S. Takamichi, H. Saruwatari and N. Ono, “Independent deeply learned matrix analysis for multichannel audio source separation,” Proc. EUSIPCO,
pp. 1557–1561 (2018).
[12] K. Sekiguchi, Y. Bando, K. Yoshii and T. Kawahara, “Bayesian multichannel speech enhancementwith a deep speech prior,” Proc. APSIPA-ASC,
pp. 1233–1239 (2018).
[13] S. Leglaive, L. Girin and R. Horaud, “Semisupervised multichannel speech enhancement withvariational autoencoders and non-negative matrix

531
factorization,” arXiv:1811.06713 (2019).
[14] P. Smaragdis and S. Venkataramani, “A neuralnetwork alternative to non-negative audio models,”
Proc. ICASSP 2017, pp. 86–90 (2017).
[15] Y. Bando, M. Mimura, K. Itoyama, K. Yoshii
and T. Kawahara, “Statistical speech enhancement
based on probabilistic integration of variational autoencoder and non-negative matrix factorization,”
Proc. ICASSP 2018, pp. 716–720 (2018).
[16] Y. Subakan and P. Smaragdis, “Generative adversarial source separation,” Proc. ICASSP 2018,
pp. 26–30 (2018).
[17] S. Leglaive, L. Girin and R. Horaud, “A variance modeling framework based on variational autoencoders for speech enhancement,” Proc. MLSP,
pp. 1–6 (2018).
[18] Y. Xu, J. Du, L.-R. Dai and C.-H. Lee, “An experimental study on speech enhancement based on
deep neural networks,” IEEE Signal Process. Lett.,
21, 65–68 (2014).
[19] J. R. Hershey, Z. Chen, J. Le Roux and S. Watanabe, “Deep clustering: Discriminative embeddings
for segmentation and separation,” Proc. ICASSP
2016, pp. 31–35 (2016).
[20] L. Li and H. Kameoka, “Deep clustering withgated convolutional networks,” Proc. ICASSP 2018,
pp. 16–20 (2018).
[21] D. Yu, M. Kolbak, Z. Tan and J. Jensen, “Permutation invariant training of deep models for speakerindependent multi-talker speech separation,” Proc.
ICASSP 2017, pp. 241–245 (2017).
[22] Z. Wang, J. Le Roux and J. R. Hershey, “Multichannel deep clustering: Discriminative spectral andspatial embeddings for speaker-independent speech
separation,” Proc. ICASSP 2018, pp. 1–5 (2018).
[23] Z. Chen, Y. Luo and N. Mesgarani, “Deep attractor network for single-microphone speaker separation,” Proc. ICASSP 2017, pp. 246–250 (2017).