立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

ウェーブレット解析と深層学習に基づく時間領域音源分離の検討
Time- Domain Audio Source Separation Based on Wavelet Analysis and Deep Learning
2201018

研究代表者

東京大学大学院
情報理工学系研究科特任助教

中村友彦

音源分離における代表的な一気通貫型 DNN[研 究 の 目 的］の 1 つが Wave-U-Net である [2]。この DNN
音は人間や機械にとって主要な外界認識の手はエンコーダ，デコーダからなる U-Net 構造がかりの 1 つである。しかし，我々の身の回りをもつ。エンコーダは，特徴量を畳み込み層，には多様な音が溢れており，多くの場合様々な非線形層，時間方向に間引く層 (デシメーショ

音事象が混ざったまま観測されてしまう。人間ン層) に順に適用する処理を繰り返す。デコーはこのような複雑な音環境の中でもそれぞれのダは，エンコーダのデシメーション層に入力さ音を聴き分ける能力を備えているため，周囲のれた特徴量を参照しながら，特徴量を畳み込み状況，事象を把握できる。この能力を計算機で層と非線形層で処理しつつ繰り返しアップサン実現する試みが音源分離であり，監視・介護シプリングを行う。

ステム，人間の演奏に合わせて自動で伴奏を再U-Net 構造で用いられる繰り返しダウンサ生するシステムなど，人間と協働しつつ周囲のンプリングする構造は，効率的に畳み込み層の音事象の認識を行うシステムの実現には必須で受容野を拡大でき広い範囲のデータの関連性をある。本研究では，混合音から各音源信号を分捉えることに寄与するため，深層学習では広く離する技術である音源分離に取り組む。

用いられている。しかし，信号処理の観点からこの構造を見直ことで，デシメーション層をダウンサンプリングに用いる際に生じる 2 つの問[研究の内容，成果］題を発見した。そこで，本研究ではこれらの問題を解決するための手法について検討を行った。

1．背景学習のための分離対象の音響信号が事前に大量に入手できる場合には，深層ニューラルネッ

2．動機

トワーク (deep neural network : DNN) を用

2. 1

デシメーション層の問題点と信号処理いた音源分離手法が高い性能を示している [1]。

信号処理の立場から見ると，DNN の各層はDNN が導入された当初は，それ以前の音源分フィルタに対応し，特徴量はフィルタで処理さ離手法と同様に時間周波数領域で分離を行う手れる信号とみなせる。この解釈に則れば，デシ法が主流であったが，近年は混合音の時間波形メーション層では，入力特徴量に含まれる高周を直接処理し時間周波数領域を介さず分離する波成分が低周波成分側に混入する現象 (エイリ

一気通貫型 DNN が注目を集めている。

アシング) が起き，それに起因する雑音が重畳― 1 ―立石科学技術振興財団された出力が得られてしまう。特徴量領域でのエイリアシングによる性能低下は音声認識や画像認識で報告されており [3, 4]，音源分離においても性能低下を招く可能性がある。また，デシメーション層は入力特徴量の半分を破棄してしまう。そのため，その部分に含まれていた情報は，より粗い解像度の特徴量を処理する階
層 に は 到 達 し な い。ま た，U-Net 構 造 で は，エンコーダの各階層で間引きされる前の特徴量をデコーダが参照できるようスキップ接続が導g, h はそれぞれ低域，高域通過フィルタを表し，g̃, h̃は対応する合成フィルタを表す。1) より引用

入されているものの，それらの特徴量は並進不図 1 多重解像度解析，合成の概要図

変な畳み込み層と要素毎の非線形層により処理される。並進不変性により，デシメーション層によってどのインデックスの成分が破棄されたのか否かが区別されないまま処理されてしまう。
そのため，デコーダが破棄された成分に含まれる情報を補償できるか否かは学習に強く依存する。

1) より引用

適切に学習ができればこれら 2 つの問題の影

図 2 DWT 層

響を緩和できる可能性があるが，必ずしもそのような学習を実行できる保証はない。これらの

逆 DWT 変換を繰り返し適用することで，原問題はデシメーション層の構造そのものに起因信号を再構成できる，すなわち完全再構成性をするため，本質的な解決にはダウンサンプリンもつ。したがって，DWT の前後で信号の情報グ構造の見直しが必要である。そこで，本研究は保たれる。

では，エイリアシングを低減しつつ情報の欠落を防ぐ構造をもつダウンサンプリング層の構築

3．提案法

を行った。

3. 1

2. 2

DWT 層

上述の通り DWT はアンチエイリアシング

U-Net 構造とウェーブレット解析

所望のダウンサンプリング層の構築のため，フィルタ，完全再構成性の両者を備える。そのU-Net とウェーブレット解析の分野で提案さため，ダウンサンプリング操作として DWTれた多重解像度解析の構造の類似性に着眼したを用いることでデシメーション層に内在する 2(図 1 参照)。多重解像度解析は，離散ウェーブつの問題を同時に解決できる。この考えに基づ

レ ッ ト 変 換 (discrete wavelet transform :き，DWT を 用 い た ダ ウ ン サ ン プ リ ン グ 層DWT) を繰り返し用いて信号を複数の時間解(DWT 層) を提案した (図 2 参照)。

像度のサブバンド信号に分解する手法である

DWT 層での処理は 2 段階に分けられる。ま[5]。DWT は低域，高域通過フィルタからなず，各 チ ャ ネ ル の 特 徴 量 を 信 号 と み な し てる 2 チャネルフィルタバンクであり，信号を半DWT を適用し，各チャネルにつき時間解像度分の時間解像度を持つ低周波，高周波成分に分が半分の 2 つのサブバンド信号を得る。その後，解する。そのため，アンチエイリアシングフィ

全チャネルのサブバンド信号をチャネル方向にルタを備える。また，サブバンド信号に対して結合することで，ダウンサンプルされた特徴量― 2 ―Tateisi Science and Technology Foundation

表1

従来のダウンサンプリング層と DWT 層の比較
アンチエイリア
シングフィルタ

完全再構成性

デシメーション層無し無し

平均プーリング層
squeezing 操作

有り
無し

無し
有り

DWT 層有り有りを得る。
DWT の実装には，リフティングスキームと呼ばれる技法を用いた。この技法により DWTの全過程がインプレース演算で書けるため，推定時の計算量を低減でき，デシメーション層に比べ大きく計算量が増加することはない。また，

1) より引用リ フ テ ィ ン グ ス キ ー ム は 可 逆 で あ る た め，

図3

多重解像度深層分析の DNN

DWT 層の逆過程として逆 DWT を用いたアップサンプリング層 (逆 DWT 層) も定義できた。図 3 に多重解像度深層分析で用いる DNN

る。の構造を示す。ただし，畳み込み層の後の非線3. 2形関数は省略した。

従来のダウンサンプリング層との関係

DWT 層はアンチエイリアシングフィルタ，エンコーダは L 個のダウンサンプリングブ完全再構成性どちらも備えている。一方，従来ロックから成り，各ダウンサンプリングブロッのダウンサンプリング層は，これらの性質のど

ク で 特 徴 量 は 畳 み 込 み 層，Leaky ReLU，ちらも備えていないか，いずれか一方のみを備DWT 層により処理される。最上階層のダウンえているものだけである (表 1 参照)。例えば，サンプリングブロックから出力された特徴量は，ダウンサンプリング層としてよく用いられる平畳み込み層，Leaky ReLU で処理され，デコー

均プーリング層は，隣接する特徴量の平均を 2ダに入力される。デコーダは，L 個のアップサ以上のストライドで計算する。そのため，アンンプリングブロックから成る。各アップサンプチエイリアシングフィルタとして機能する。しリングブロックは，同一階層のダウンサンプリかし，一般に平均のみから入力された特徴量をングブロックの入力と上層のアップサンプリン復元することはできないため，完全再構成性はグブロックの出力をチャネル方向に結合し，畳もたない。

み込み層，Leaky ReLU，逆 DWT 層で処理さまた，正規化フローで用いられる squeezingれる。最後に，畳み込み層，双曲線正接関数を操作は，特徴量を偶数，奇数インデックスの成通して分離音が得られる。また，分離音の和が分に分解しそれらをチャネル方向に結合した特混合音と一致するように，最後の音源の分離音徴量を出力する。この操作は明らかに完全再構は，混合音からそれ以外の分離音を除算するこ

成性を満たすが，間引きいたものをそのまま結とで得る。

合するため，特徴量領域でエイリアシングが起こる。

4．実験的評価

3. 3

4. 1

多重解像度深層分析

実験条件

Wave-U-Net のデシメーション層を DWTアンチエイリアシングフィルタと完全再構成層に置き換えた DNN を構築し，それを用いた性の音源分離性能に対する効果を，楽音分離実音源分離手法 (多重解像度深層分析) を提案し験により評価した。学習，評価データとして，― 3 ―立石科学技術振興財団

MUSDB18 データセットからそれぞれ 100 曲，50 曲を用いた。ただし，学習データのうち 25曲をランダムに選択し検証データとして用いた。
こ の デ ー タ セ ッ ト で は，各 曲 に 対 し bass,drums, other, vocals の 4 つの楽器毎の録音とそれらの混合音が付与されている。サンプリン
グ周波数は 22.05 kHz とし，[2] と同様ステレ

1) より引用

オのまま用いた。

図4

比較手法として Wave-U-Net を用いた。こ

音源分離性能の比較

こで，提案法の DWT 層のウェーブレットして Haar ウェーブレットを用いた。また，アンチエイリアシングフィルタと完全再構成の効果を別々に検証するため，デシメーション層の代わりに表 1 の平均プリーリング，squeezing 操
作 を 用 い た Wave-U-Net の 変 種 (そ れ ぞ れ
Average Pooling, Squeezing) とも比較を行った。
デシメーション層は特徴量のチャネル数を変1) より引用

えないものの，DWT 層はチャネル数を 2 倍に図5するため，Wave-U-Net のデシメーション層

学習，検証ロスの時間発展を単純に DWT 層に置き換えるだけではパラ提案法の方が SDR の中央値，平均値に関しどメータ数が増加してしまう。そこで，公正な比ちらも高いか同程度であった。この結果は，

較 の た め，Wave-U-Net の 各 畳 み 込 み 層 のDWT 層の方がデシメーション層に比べ，音源

チ ャ ネ ル を 倍 に し た 変 種 (Wave-U-Net+)，

分離に適していることを示している。

提案法の各チャネルを半分にした変種(Proposed (small)) も用いた。

Average Pooling, Squeezing はアンチエイリ
アシングフィルタか完全再構成性のいずれかを分離性能の指標として，BSSEval v4 ライブ持つダウンサンプリング層を用いているものの，

ラ リ で 計 算 さ れ る source-to-distortion ratio

いずれも提案法の性能に達しなかった。この結(SDR) を各曲で計算し，曲に関するそれらの果は，アンチエイリアシングフィルタと完全再中央値，平均値を求めた。また，初期値の違い構成性を同時に考慮することの重要性を示してによる性能差を低減するため，5 つのランダムいる。

シードで得られた結果を平均し，指標を算出し

図 5 に，学習，検証ロスの時間発展を示す。

た。他の詳しい実験条件に関しては，1) を参提案法では学習ロスは他の手法に比べ大きいも照されたい。のの，検証ロスは小さくなっていることを発見

4. 2した。この結果は，DWT 層の導入により過学結果と考察

図 4 に各手法での音源分離性能を示す。ここ習が抑制できることを示唆している。

で，[Stoller+2018] は [2] で報告された SDR

本 実 験 で は ウ ェ ー ブ レ ッ ト と し て Haarを 表 す。Wave-U-Net+，Wave-U-Net に 比ウ ェ ー ブ レ ッ ト を 用 い た が，他 の 代 表 的 なべそれぞれ Proposed, Proposed (small) の方

ウェーブレットを用いた場合でも Haar ウェーが半分程度のパラメータ数であるにも関わらず，ブレットと同等の性能が得られることを確認し― 4 ―Tateisi Science and Technology Foundationた。詳細は 2) を参照されたい。多重解像度解析ではウェーブレットの選択により分析性能が2018.
[2]

D. Stoller, S. Ewert, and S. Dixon : “Wave-U-

Net : A multi-scale neural network for end-to-end

大きく変化するものの，DWT 層はウェーブ

audio source separation,” in Proceedings of Inter-

レットの選択に頑健であり，アンチエイリアシ

national Society for Music Information Retrieval

ングフィルタと完全再構成性を導入することがより重要であることが確認できた。

Conference, pp. 334-340, Sep. 2018.
[ 3 ] Y. Gong and C. Poellabauer : “Impact of aliasing
on deep CNN-based end-to-end acoustic models,”in Proceedings of INTERSPEECH, pp. 2698-2702,[今後の研究の方向，課題］

Sep. 2018.
[ 4 ] R. Zhang : “Making convolutional networks

本研究により，ダウンサンプリング層でのアンチエイリアシングフィルタと完全再構成性の
重 要 性 が 確 認 で き た。し か し，こ の 結 果 は
Wave-U-Net 型 の 音 源 分 離 に お い て で あ り，他の DNN 構造における有効性は未調査である。

shift-invariant again,” in Proceedings of International Conference on Macine. Learning, vol. 97, pp.
7324-7334, Jul. 2019.
[ 5 ] S. Mallat : “A theory for multiresolution signal
decomposition : the wavelet representation,” IEEE
Transactions on Pattern Analysis and Machine Intelligence, vol. 11, no. 7, pp. 674-693, Jul. 1989.

また，ダウンサンプリング層は様々なタスクのDNN で頻繁に現れるため，音源分離以外のタ[成果の発表，論文等］

スクにおいてどのような効果があるか検証する

1 ) Tomohiko Nakamura and Hiroshi Saruwatari :ことは重要である。さらに，提案した音源分離“Time-domain Audio Source Separation based on

を前処理として用いたときに，後段のアプリ

Wave-U-Net Combined with Discrete Wavelet

ケーションでどのような影響があるかも検証を行いたい。

Transform,” in Proceedings of the 45th International
Conference on Acoustics, Speech, and Signal Processing, pp. 386-390, May 2020.
2 ) Shihori Kozuka, Tomohiko Nakamura and Hiroshi
Saruwatari : “Investigation on Wavelet Basis Func-[参 考 文 献］

tion of DNN-based Time Domain Audio Source[ 1 ] F. Stöter, A. Liutkus, and N. Ito : “The 2018

Separation Inspired by Multiresolution Analysis,” insignal separation evaluation campaign,” in Proceed-

Proceedings of the 49th International Congress andings of International Conference on Latent Variable

Exposition on Noise Control Engineering, pp. 4013-Analysis and Signal Separation, pp. 293-305, Jul.

4022, Aug. 2020.

― 5 ―