SOUND

令和２年度研究助成 【サウンド技術振興部門】より

多重解像度深層分析に基づくEndto-End音源分離のためのウェーブ
レット基底関数の自動設計
東京大学大学院情報理工学系研究科

中村特任助教友彦

10）

MRDLA）を紹介する 。その拡張について考１．はじめに察し課題を明らかにする。

人間は、複雑な音環境において選択的に音を聴き分けることができる。この能力を計算機で実現する試みが、混合音を各音源信号に分離す

２．多重解像度深層分析
MRDLAは、end‑to‑end音源分離手法の１つ４）る音源分離である。この技術は、音声認識やであるWave‑U‑Net音楽音響信号から自動で譜面を書き起こす自る。Wave‑U‑Netは、繰り返しダウンサンプリ

動採譜、音響イベントを検出する音響イベンングを行うエンコーダと繰り返しアップサンプ

ト検知など音メディアに関する様々なシステリングを行うデコーダからなるU‑Net 構造をムに利用できる。例えば、自動採譜においては、持つ。ダウンサンプリングを繰り返すことによ

いつ、どの楽器の、どの音高が鳴っているかをって、時間領域での信号の長期の依存性を捉え音楽音響信号から認識する必要があるが、楽ることができる。これに対し、筆者は信号処理器や音高毎に分離することでこれらの認識のの観点からこの構造を見直すことで、Wave‑一助となる。また、楽器や音高ごとに分離しU‑Net のダウンサンプリングには２つの問題た音をユーザが自由にリミックスするなど音点があることを発見した。（ⅰ）Wave‑U‑Netで１），２）を加工するシステムにも利用できる。

をベースとする手法であはダウンサンプリングがローパスフィルタを伴

近年、音源分離では深層ニューラルネット

わない間引きによって実装されており、特徴量ワーク（deep neural network; DNN）を用い領域でエイリアシングが生じうる。（ⅱ）また、

３）た手法が有望な結果を示している 。DNNをアンチエイリアシングフィルタを導入したとし用いた手法の中でも、観測音響信号をスペクトても、間引きによって一部の特徴量が欠落すログラムへと変換することなく直接時間領域る。そのため、欠落部分に含まれうる分離に必で処理するend‑to‑endアプローチが盛んに研要な情報はそのままでは次の層に伝播しない。

４）−10）。本稿では、筆者が提案したU‑Net 構造は、エンコーダの間引き前の特徴

end‑to‑end音源分離手法である多重解像度深量をデコーダに渡すスキップコネクションをも層分析（multiresolution deep layered analysis;

ち、デコーダ側で間引きによる欠落部分も含ん究されている

7

SOUND（a）
多重解像度解析、合成（b）MRDLAのDNN〜〜

図１ L 階層の多重解像度解析とMRDLA のDNNネットワーク構造の概要図。g 、h は、それぞれ分析ローパス、ハイパスフィルタ g 、h に対応する合成ローパス、ハイパスフィルタを表す。DS、USはそれぞれダウンサンプリング、アップサンプリングを表す。

だ特徴量が得られる。しかし、デコーダではス

DWTは、ローパスフィルタとハイパスフィル

キップコネクションから得られた特徴量を畳みタからなる２チャネルフィルタバンクとみな込み層と要素毎の非線形関数によって処理する

せ、アンチエイリアシングフィルタを自然にため、間引きによる欠落部分と非欠落部分を区含む。また、ローパスフィルタとハイパスフ別せずに処理してしまう。その結果、欠落部分ィルタを適切に選ぶとDWTは可逆な変換となの情報を補償できるか否かは学習に大いに依存り、DWTの逆変換（逆DWT）を用いて各レベする。

ルでのサブバンド信号から入力信号を再構成でこれらの問題を根本的に解決するため、ダきる。すなわち、DWTは完全再構成性をもつ。

ウンサンプリングに離散ウェーブレット変換

そのため、DWTを用いることで上述の２つの（discrete wavelet transform: DWT）を用いた問題を同時に解決することができる。図１
（b）

10）

新たなダウンサンプリング層が提案された 。に 示 す よ う に、MRDLAのDNNは、Wave‑U‑

当該層は、Wave‑U‑Net のダウンサンプリン

Net にDWT層と、逆DWTをアップサンプリングとアップサンプリングを繰り返す構造が多重グに用いた層（逆DWT層）を導入した構造を解像度解析の構造と類似していることから着想もつ。当該図では省略したが、各畳み込み層のを得たものである。多重解像度解析は、DWT直後に非線形関数が挿入されている。

を用いて、入力信号を半分の時間解像度をもつサブバンド信号に繰り返しダウンサンプリングする信号解析手法である（図１(a)参照）。
8

SOUND

３．ウェーブレット基底関数とDNNの同時学習

どのような影響を及ぼすかを把握するのは難しい。また、DNNのネットワーク構造や音源によっても最適な基底が変わる可能性がある。そDWT層では、ローパス、ハイパスフィルタの周波数応答を決定するウェーブレット基底のため、音源分離のための基底を自動で設計できることが望ましい。

関数を自由に選択することができる。例えば、

そこで、end‑to‑endアプローチの思想に則Haar基 底、 Deslauriers‑Deubuc（DD） 基 底り、ウェーブレット基底関数をDNNと同時にの周波数応答は図２に示す通りである。ウェ学習することを考える。この方針においての課

ーブレット基底関数は多重解像度解析の分析

題は、いかに２節で提起した問題（ⅰ）、（ⅱ）を性能を左右するものであり、筆者はHaarウェ解決しつつウェーブレット基底関数とDNNをーブレットをはじめとする既存の基底を用いた同時に学習するかである。既存の基底はアンチ10），11）。

エイリアシングフィルタを含み、完全再構成性

しかし、これらは必ずしも音源分離のために設も満たすように設計されているため、基底を学計されたものではないため、適切に基底を設計習しない場合は問題とならなかった。一方、例できればさらに性能が向上する可能性がある。

えば乱数で基底を決めた場合は、DWT層の２そのような基底を人手で設計することも考えらつのフィルタがローパス、ハイパスフィルタにれるが、DWT層は非線形なDNNの中に組み込なるとは限らず、完全再構成性も必ずしも満たまれているため、基底の変更が音源分離性能にさない。学習中の基底の値は様々な値を取りう

MRDLAの音源分離性能を報告してきた

るため、アンチエイリアシングフィルタを含み、完全再構成性をもつ条件を満たすような制約を設けつつ学習する必要がある。これらの制
約はウェーブレット設計と密接に関係しているため、柔軟なウェーブレット設計技法（例えば、
12）リフティングスキーム ）が制約の導出に有用であろうと考え現在研究を進めている。
（a）Haar 基底
図２（b）４次のDD基底

DWTのローパス（破線）、ハイパスフィルタ（実線）の周波数応答。

４．まとめ
本 稿 で は、 多 重 解 像 度 解 析 に 着 想 を 得 た
9

SOUND

end‑to‑end DNN音源分離手法であるMRDLA2018 signal separation evaluation cam-を紹介した。また、DWT層のウェーブレット

paign,基底関数をDNNと同時に学習する拡張方法に

Conference on Latent Variable Analysis

ついて議論し、その課題を明らかにした。本稿

and Signal Separation, pp. 293 − 305, July

では１次元の信号に対するウェーブレットを扱

2018.

ったが、ウェーブレット解析は球面や多様体、
13），
14）

グラフに対しても拡張されている

Proceedings of International

４）D. Stoller, S. Ewert, and S. Dixon, Wave‑。一方、U‑Net: A multi‑scale neural network forソーシャルネットワークサービスなどでの交友

end‑to‑end audio source separation,

関係や化合物など、グラフで表現されたデータ
15）

Proceedings of International Society forに対するDNNも活発に研究されている 。これMusic Information Retrieval Conference,らを鑑みると、ウェーブレットとDNNを融合

pp. 334 − 340, Sept. 2018.

する方針は音響信号処理以外の他の分野においても一考する価値があるかもしれない。

Smaragdis,

Proceed-ings of Asilomar Conference on Signals,

１）T. Nakamura, H. Kameoka, K. Yoshii, andTimbre replacement of har-monic and drum components for music
audio signals,

IEEE International Con-Systems, and Computers, pp. 684 − 688,
Oct. 2018.
６）O. Slizovskaia, L. Kim, G. Haro, and E.
Gomez,

End‑to‑end sound source sepa-

ference on Acoustics, Speech and Signal

ration conditioned on instrument labels,

Processing, pp. 7470 − 7474, May 2014.

Proceedings of IEEE International Con-

２）T. Nakamura and H. Kameoka,Har-

monic‑temporal factor decomposition for
unsupervised monaural separation of har-ference on Acoustics, Speech and Signal
Processing, pp. 306 − 310, May 2019.
７）Y. Luo and N. Mesgarani,Conv‑Tas

monic sounds, IEEE/ACM Transactions

Net: Surpassing ideal time‑frequency

on Audio, Speech, and Language Process-magnitude masking for speech separa-ing, 2020.（in press）

tion， IEEE/ACM Transactions on３）F. Stöter, A. Liutkus, and N. Ito, The
10

End‑to‑end source separa-tion with adaptive frontends,

参考文献

M. Goto,５）S. Venkataramani, J. Casebeer, and P.

SOUNDAudio, Speech, and Language Process-tion of DNN‑based time domain audioing，vol. 27, no. 8，pp. 1256 − 1266, Maysource separation inspired by multireso-2019．

lution analysis, Proceedings of Interna-８）F. Lluı s, J. Pons, and X. Serra, End‑to‑end music source separation: Is it pos-tional Congress and Exposition on NoiseControl Engineering, Aug. 2020.

sible in the waveform domain?, Proceed-12）W. Sweldens, The lifting scheme: A cus-ings of INTERSPEECH, pp. 4619 − 4623,

tom‑design construction of biorthogonal

Sept. 2019.

wavelets, Applied and Computational

９）I. Kavalerov, S. Wisdom, H. Erdogan,B. Patton, K. Wilson, J. Le Roux, and J.

Harmonic Analysis, vol. 3, no. 2, pp. 186 −
200, April 1996.

Hershey, Universal sound separation,13）S.T. Ali, J.‑P. Antoine, and J.‑P. Gazeau,

Proceedings of IEEE Workshop on Appli-Wavelets on manifolds, Coherent States,

cations of Signal Processing to Audio andWavelets, and Their Generalizations, pp.

Acoustics, Oct. 2019.

457− 493, Springer, 2014.

10）T. Nakamura and H. Saruwatari, Time‑

14）M. Mehra, Wavelets on arbitrary mani-

domain audio source separation basedfolds, Wavelets Theory and Its Applica-on wave‑u‑net combined with discretetions, pp. 77 − 93, Springer, 2018.

wavelet transform, Proceedings of IEEE15）X. Dong, D. Thanou, L. Toni, M. Bron-

International Conference on Acoustics,stein, and P. Frossard, Graph signal pro-Speech and Signal Processing, pp. 386 −cessing for machine learning: A review

390, May 2020.

and new perspectives, IEEE Signal Pro-11）S. Kozuka, T. Nakamura, and H. Saruwatari, Investigation on wavelet basis func-cessing Magazine, vol. 37, no. 6, pp. 117 −
127, 2020.

11