特別研究論文（査読済み）

研

究 題

目

局所時間周波数構造に基づく深層パーミュテーション解決法の実験的評価

提出年月日2021 年

1月

氏

名山地 修平

主査

北村 大地

副査

村上 幸一

副査

雛元 洋一

香川高等専門学校
専攻科
創造工学専攻25 日

Experimental evaluation of deep permutation solver
based on local time-frequency structure
Shuhei Yamaji
Advanced Course in Industrial and Systems Engineering
National Institute of Technology, Kagawa College
Abstract
In this thesis, we deal with audio source separation, which is a technique to separate audio sources from anobserved signal. This technology is useful in situations where multiple speech needs to be separated into theindividual speech sources. It can also be used to separate a target speech signal and the background noise. One ofthe popular source separation methods is frequency-domain independent conponent analysis (FDICA).In FDICA,
the separation is performed with applying independent component analysis to each frequency. However, in FDICA,
the order of the estimated signal in each frequency is not aligned among all frequencies, resulting in the so-called
permutation problem. Thus, FDICA requires a permutation solver as a post-process. In recent years, independentvector analysis and independent low-rank matrix analysis (ILRMA) have been

proposed. These methods

introduce a source model to FDICA to avoid encountering the permutation problem. Although these methods can
avoid the permutation problem to some extent, for the mixture with strong reverberation, they often fail to separate
the sources. On the other hand, it has been confirmed in the previous study that FDICA canseparate very highquality for each frequency. A remaining issue is only the permutation problem.
In this thesis, we propose a new method for solving the permutation problem using deep neural networks(DNNs).The DNN learns the features of the time-frequency structures of audio sources and predicts whether thepermutation error occur. Then, the permutation alignment is performed based on the predicted results of the DNN.
To evaluate the performance of the proposed permutation solver, source separation experiment using two-speech
mixtures with strong reverberation have been conducted. The experimental results show that FDICA with theproposed DNN-based permutation solver can achieve about 4 dB improvement from the state-of-the-art algorithm,ILRMA, in terms of a sources-to-distortion ratio. I also show that the separation accuracy of the proposed DNNbased permutation solver does not change even when the spatial arrangement of the sources (mixture condition)in the test dataset is different from that in the training dataset. Therefore, the proposed method can be used as ageneral permutation solver that does not depend on the locations of each source. In this thesis, I only focus on aspeech source separation problem in two-source mixture case. The extension of the proposed method to three ormore sources is a future work.
Key Words: Independent component analysis, Deep neural network, Permutation problem

（和訳）
本論文は，音源分離技術について取り扱う．音源分離とは，様々な音源が混ざった観測信号から，混ざる前の個々の音源信号を推定する技術である．この技術は，複数人が同時に発話した内容をそれぞれの音声に分けたい場合や，背景雑音と音声を分離したい場合などで役立つ．代表的な音源分離手法の 1
つとして周波数領域独立成分分析（frequency-domain independent conponent analysis: FDICA）がある．これは，周波数毎に独立成分分析を適用することで分離を行う．しかし FDICA にはパーミュテーション問題と呼ばれる分離信号の並び替え問題が付随するため，ポスト処理としてパーミュテーション解決が必要となる．近年では，このパーミュテーション問題を可能な限り回避するような音源分離手法が提案されており，特に独立ベクトル分析（independent vector analysis: IVA）や独立低ランク行列分析が有名である．これらの手法では，パーミュテーション問題をある程度避けながら音源分離が可能であるが，より残響の強い観測信号に対しては，しばしば分離に失敗することが確認されている．一方で，FDICA では，周波数毎の音源分離は非常に高精度で実現できることが先行研究から確認でき，パーミュテーション問題だけが残された課題であることが分かっている．
本論文では，深層ニューラルネットワーク（deep neural networks: DNNs）を用いたパーミュテーション問題の解決法を提案する．提案手法の DNN は，音源信号の複雑な時間周波数構造の特徴を事前に学習し，複数の周波数ビンについてパーミュテーション不整合が生じているか否かを予測する．この DNNの予測結果を用いて，全周波数のパーミュテーション問題を解決する新しいアルゴリズムを提案する．
提案手法のパーミュテーション問題の解決性能を評価するために，高残響下における 2 話者音声の混合信号の音源分離実験を実施した．実験結果より，提案する DNN パーミュテーション解決法と FDICAを組み合わせた音源分離手法は，既存の最先端手法である ILRMA から，信号対歪み比において 4~dBもの改善があることが明らかになった．また，提案手法中のパーミュテーション解決法は，テスト時の観測信号中の各音源の音源到来方向が学習用データのそれと異なるという条件であっても，推定精度が変わらないことを実験的に示した．そのため，各音源の位置関係に依存することのない，一般的なパーミュテーション解決法として提案手法を扱うことができる．本論文は，2 音源の音源分離を対象としているが，3 音源以上への拡張は今後の課題である．