1-6-5時間周波数スイッチングビームフォーマと Gated CNN を用いた
時間周波数マスクの組み合わせによる劣決定音声強調 ∗☆髙橋理希，山岡洸瑛，李莉，牧野昭二，山田武志（筑波大）

1

はじめに

近年では音声認識アプリケーションやロボット聴覚などの発達に伴い，音声強調技術の重要性が増してきている．中でも，ステレオマイクロフォンはスマートフォン等の小型端末に内蔵されているため普及率が高いことから，ステレオマイクロフォンを用いた音声強調手法は高い実用性が期待されている．しかし，ビームフォーマによる音声強調やブラインド音源分離 [1] などのマイクロフォンアレイに基づく手法は，マイクロフォンの数以上の干渉音源が存在する場合 (劣決定条件)，十分な性能が得られないという問題点がある．時
間周波数マスキング [2–4] やマルチチャネル Wiener
フィルタ [5] などの手法は劣決定条件下においても効果的な音声強調が可能であるが，これらの手法は目的音声を歪ませやすいという問題点がある．
そこで我々は，劣決定条件下でも小さな歪みで高い雑音抑圧性能を示すことのできる音声強調手法として，複数のビームフォーマを組み合わせる手法 [6] を提案した．例えば N 個の音源と 2 個のマイクロフォンが存在する時，従来の線形ビームフォーマはいずれか 1 個の干渉音源のみを抑圧する．このとき本手法は，N − 1個の干渉音源それぞれを抑圧する N − 1 個のビームフォーマを構成し，それらの出力を何らかの方法で組み合わせることで，N − 1 個の干渉音源を抑圧することができる．これまでに，複数ビームフォーマの組み合わせ方法として，出力の最小絶対値をとる最小値選択（Minimum Value Selection; MIN）[6] を提案した．各時間周波数点において複数のビームフォーマを切り替えることから，これを時間周波数スイッチング (TimeFrequency-Bin-Wise Switching; TFS) ビームフォーマと呼ぶ．この手法は小さな歪みで高い雑音抑圧性能を示すが，複数の干渉音源が同時に存在する時間周波数点においては，原理的に全ての干渉音源を同時に抑圧することができない．この問題点を改善するため，時間周波数スイッチングビームフォーマの後処理としてDOA (Direction of Arrival) 推定に基づく時間周波数マスキングを用いる手法 [7] を提案し，雑音抑圧性能の向上を確認した．しかし，この手法のマスク推定精度は DOA 推定精度に直結するため，残響時間が長い場合は DOA 推定精度の劣化により正しく時間周波数マスクを推定することが困難になる．
一方，モノラル観測信号を用いた時間周波数マスキン
グでは音源の空間情報を使わないため，マイクロフォンアレイを用いる手法より残響に影響されにくいという特徴を有している．その代表例として深層クラスタリング (Deep Clustering; DC) と呼ばれる時間周波数マスク推定手法 [8] がその極めて高いマスク推定精度で近年注目されている．特に，ゲート付き畳み込みニューラルネットワーク (Gated Convolutional Neural Network;∗Gated CNN) を用いた深層クラスタリング [9] は少量の学習データでも過学習を起こしにくい，並行計算に向いているなどの利点がある．以上より，本稿では時間周波数スイッチングビームフォーマの後処理として，Gated CNN を用いた時間周波数マスクを組み合わせることによる音声強調手法を提案し，その性能評価を行う．

2

時間周波数スイッチングビームフォーマxi (ω, t) を 周波数 ω ，時間フレーム t における i 番目のマイクロフォン観測とする．マイク数が 2 つの場合，線形ビームフォーマは一般に以下の式で与えられる．
y(ω, t)x(ω, t)w(ω)= wH (ω)x(ω, t)==(1)T[x1 (ω, t), x2 (ω, t)]T[w1 (ω), w2 (ω)]

(2)
(3)

ここで y(ω, t) はビームフォーマの出力，w(ω) は構成された空間フィルタ，{·}T は転置，{·}H は複素共役転置を示す．空間フィルタ w(ω) の設計には MaxSNR (Maximum Signal-to-Noise Ratio) ビームフォーマ [10,11] やMVDR (Minimum Variance Distortionless Response)
ビームフォーマ [10, 12] などが提案されている．しかし，一般に M 個のマイクロフォンでは M − 1 個までの干渉音源しか抑圧できない．よって，1 つの線形ビームフォーマによる音声強調は，音源数よりもマイクロフォンの数が少ない場合 (劣決定条件) には十分な音声強調性能が得られない．このような条件下において効果的な音声強調を行うために，複数のビームフォーマを組み合わせることを考える．
簡単のため，目的音源と干渉音源 A, B からなる 3音源（以下 tgt, iA , iB とする）を 2 つのマイクロフォンで観測する場合を考える．この場合，2 つの干渉音源を同時に抑圧するビームフォーマは構成することができないが，1 つの干渉音源を抑圧するビームフォーマは構成することができる．例えば目的音源と干渉音源A のみが観測されたならば，干渉音源 A を抑圧するビームフォーマ A を従来の線形ビームフォーマで構成することができる．同様に干渉音源 B を抑圧するビームフォーマ B も構成することができる．これらのビー
ムフォーマ A, B を用いることで，3 音源からなる観測信号 x を用いて以下の 2 出力 yA ，yB を得る．

yA (ω, t) =wH
A (ω)x(ω, t)(4)yB (ω, t) =wH
B (ω)x(ω, t)(5)

ここで wA ，wB はそれぞれビームフォーマ A，B の空間フィルタである．
次にビームフォーマ出力の組み合わせ方法について述べる．x，yA ，yB における支配的な音源を Table 1

Underdetermined speech enhancement with time-frequency-bin-wise switching beamformer and gated convolutional network-based time-frequency mask. by Riki TAKAHASHI, Kouei YAMAOKA, Li LI, Shoji
MAKINO, Takeshi YAMADA (University of Tsukuba)

日本音響学会講演論文集- 181 -

2019年3月

優れていることが確認されている．よって提案手法では，Gated CNN を用いた時間周波数マスクによる音声強調を後処理として使用する．これにより最終的に得られる強調音声 y は以下の式によって表される．

Table 1: Dominant sound(s) in each signalxtgt
iAiBtgt, iAtgt, iB
iA , iB

yA
tgt
0#iB
tgt
tgt, iBiByB
tgt
iA
0#
tgt, iAtgt
iAtgt, iA , iB

tgt, iB

tgt, iA

#yMIN
tgt
0#
0#
tgt
tgt
iA or iB
tgt, iAor tgt, iBy(ω, t) = m(ω, t)yMIN (ω, t)

ここで，m(ω, t) は目的音源が存在する時間周波数点に対し 1，それ以外の点に 0 を与えるバイナリマスクである．理想バイナリマスクの場合，m(ω, t) は以下となる．
{
1 if |tgt(ω, t)| > 0，m(ω, t) =(8)0 otherwise．

suppressedの 1–3 列に示す．x の各時間周波数点において支配的な音源は 1 列目に示した 7 パターンとなる．ここで目的音源の絶対値振幅が，目的音源と 1 個の干渉音源からなる信号の絶対値振幅よりも小さいと仮定する．これは，音源の統計的独立性を考慮することで妥当な仮定であると言える．例えば，目的音源と干渉音源 A が到来した場合，ビームフォーマ A の出力は目的音源のみ，ビームフォーマ B の出力は目的音源と干渉音源 Aとなる (Table 1 の 5 行目)．このとき，前述の仮定のもとで複数のビームフォーマ出力の最小値を選択すると，目的音源のみを得ることができる (Table 1 の 4 列目)．よって，以下のように複数のビームフォーマ出力の中で時間周波数点毎に最小の絶対値振幅を持つ出力を選択することで，効果的な音声強調を行うことができる．これを時間周波数スイッチングビームフォーマと呼ぶ．
{yA (ω, t) if |yA (ω, t)| ≤ |yB (ω, t)|，(6)yMIN (ω, t) =yB (ω, t) otherwise．

3.1

Deep Clustering

W-DO (W-Disjoint Orthogonality) の仮定に基づいて，深層クラスタリングは同じ音源によって支配される時間周波数点の組を見つけることを目的とする手法
である．
入力信号を時間周波数表現 X = {Xn } ∈ RN ×1 で表す．ここで n は周波数と時間の指標（ω, t）のペアを示し、N は時間周波数点の数 Ω × T である。提案手法では時間周波数スイッチングビームフォーマの後処理として深層クラスタリングを用いるため，入力信号は時間周波数スイッチングビームフォーマによる出力
yMIN (ω, t) となる．次にネットワーク V = gΘ (X) を用
いて各時間周波数点 Xn を D 次元の埋め込み単位ベク
トル Vn = (Vn,1 , . . . , Vn,D )T に写像する．ここで g(·)
はネットワークによる非線形変換を表し、Θ はネットワークパラメータであり，V = {Vn } ∈ RN ×D は埋め込みベクトルが要素の行列である．ネットワークのパラメータ Θ は目的関数
J (V) = ||VVT − YYT ||2F

3= ||VGated CNN を用いた時間周波数マスク

時間周波数スイッチングビームフォーマによる音声強調は小さな歪みで高い雑音抑圧性能を示すが，Table 1の 7 行目については，iA と iB を比較して値の小さいものが出力される．すなわちどちらか一方の干渉音源は抑圧されずに出力されてしまう．我々はこれを改善するために，時間周波数スイッチングビームフォーマによる音声強調の後処理として，DOA 推定に基づく時間周波数マスキングを用いた音声強調手法 [7] を提案した．しかし，この手法は多チャンネル観測信号の空間情報をもとに行う DOA 推定の精度にマスク推定の精度が直結するため，残響時間が長い環境下では DOA推定の精度が劣化し，正しくマスクを推定することが困難になる．
一方，モノラル観測信号を用いた時間周波数マスキングでは音源の空間情報を使わないため，残響に影響されにくい．特に深層学習を用いた手法は残響ありのデータを学習データとして与えれば残響環境下のマスク推定は可能である．その代表例として深層クラスタリングによる時間周波数マスク推定手法 [8] はマスク推定精度が高いことで知られている．またクラスタリングを学習するネットワークモデルとして，少量の学習データでも過学習を起こしにくい点，並行計算に向いている点などから Gated CNN を用いる手法 [9] が日本音響学会講演論文集(7)

T

V||2F − 2||VT Y||2F + ||YT Y||2F .

(9)(10)を最小化するように学習する．ただし，|| · ||2F は二乗フロベニウスノルムであり，Y = {Yn } ∈ RN ×C は各時間周波数点がどの音源に属することを表す C 次元のone-hot ベクトルで構成される行列である．ここで Cは音源数である．
ネットワーク学習後分離を行う際は，混合信号スペクトログラムの割り当てられた埋め込みベクトルに K平均などのアルゴリズムを適用することで，目的音源についてのバイナリマスクを推定することができる．

3.2

Gated CNN

時間周波数点 Xn から埋め込みベクトル Vn への非線形写像を Gated CNN を用いたニューラルネットワー
クでモデル化する．Gated CNN の各層の構造を Fig. 1に示す．Gated CNN の第 (l − 1) 層の出力を Hl−1 とすると，それを入力とする第 l 層の出力 Hl は，Hl = (Hl−1 ∗ Wlf + bfl ) ⊗ σ(Hl−1 ∗ Wlg + bgl ). (11)
ここで {Wlf , bfl , Wlg , bgl } は第ｌ層目の重みとバイアスパラメータ，⊗ は要素単位の乗算，σ はシグモイド関数である．
Gated CNN と通常の CNN との間の主な相違点は，式 (11) の第 2 項である Gated Linear Unit（GLU）が，- 182 -

2019年3月

Table 2: Experimental conditions (Beamformer)
マイクロフォンの数
マイクロフォンの間隔
音源到来方向
残響時間
サンプリング周波数
FFT フレーム長FFT フレームシフト幅
学習区間長
テスト区間長GLU
output of thelayer

output of thelayer

Fig. 1: Architecture of a gated CNN

24 cm
70◦ , 90◦ (tgt), 130◦
120, 300 ms
8 kHz
1024, 4096 samples
256, 1024 samples
5s5s

Table 3: Experimental conditions (Gated CNN)
CNN における活性化関数の代替として使用されることである．GLU は各層で渡される情報を制御する役目を果たす．この仕組みにより，勾配の消失の問題を抱えずにより深い層の学習が可能になり，時系列データの長期依存関係を効率よく学習することができる．

4評価実験

4.1

実験条件

提案手法の有効性を確認するため評価実験を行った．
本実験では，ATR デジタル音声データベースのセット
B に収録されている，全 503 文の音素バランス文の男
性 6 話者，女性 4 話者の計 10 話者分のデータを使用した．データセットの中からランダムに選択された 3 人の異なる話者の発話に対し，Room impulse response(RIR) generator [13] によって生成したインパルス応答を畳み込むことで，ステレオマイクでの観測信号を得た．その他の実験条件を Table 2 に示す．
得られた観測信号をもとに，まず時間周波数スイッチ
ングビームフォーマでの音声強調を行った．複数のビームフォーマを構成するための従来の線形ビームフォー
マとしては MVDR ビームフォーマ [10, 12] を利用した．ビームフォーマの事前情報として目的音源区間と非目的音源区間をそれぞれ 5 秒間与えた．MVDR ビー
ムフォーマにおいては目的音源区間の空間相関行列に対して固有値分解を行い，最大固有値に対応する固有ベクトルを目的音源の伝達関数の推定値として用いた．
また，非目的音源区間からは雑音共分散行列を計算し，事前情報として用いた．
次に時間周波数スイッチングビームフォーマによって得られた強調信号をもとに，Gated CNN を用いた時間周波数マスク推定モデルの学習，及び学習によって得られたモデルによるマスク推定を行った．学習デー
タは 720 パターン，テストデータは 10 パターン生成した．ここで，テストデータの話者は学習データで使用した話者とは異なっている．その他の実験条件を Table 3に示す．なお，生成したネットワークモデルは計 2 つであり，それぞれの学習データは 2 種の残響時間に対応している．
提案手法として，MVDR ビームフォーマを用いた時間周波数スイッチングビームフォーマと Gated CNN を用いた時間周波数マスキングの組み合わせによる音声強調手法を検討した．以下ではこれを TFS+GC と省略する．比較のための従来法として，時間周波数スイッチ
ングビームフォーマを単独で用いた場合，及び [7] の手

日本音響学会講演論文集

埋め込みベクトル次元
チャンネル数
隠れ層
ラーニングレート
最適化手法
エポック数
ミニバッチサイズ
サンプリング周波数
FFT フレーム長FFT フレームシフト幅

20128
50.001
Adam5048 kHz256 samples
128 samples

法を評価した．以下ではそれぞれを TFS，TFS+DOAと省略する．各手法の計算のため，それぞれ干渉音源A，B を抑圧するビームフォーマ A，B を事前に構成した．そのため，目的音源区間と 2 つの非目的音源それぞれの非目的音源区間が必要となる．
評価尺度としては signal-to-distortion ratio (SDR)，
signal-to-interference ratio (SIR), signal-to-artifacts
ratio (SAR) [14] を用いた．実験結果は 10 パターンのテストデータに対する試行結果の平均値で示す．

4.2

結果と考察

残響時間 120 ms，300 ms におけるそれぞれの手法の評価値を Fig. 2 に示す．TFS と提案手法である
TFS+GC を比較すると，120 ms の場合においてはSDR，SIR，SAR 全ての値に向上が確認できる．また
300 ms でも SDR 及び SIR が向上していることが確認できる．これらから，時間周波数スイッチングビーム
フォーマに Gated CNN を用いた時間周波数マスクを組み合わせることは強調性能の向上に有効であることが確認できる．
一方，TFS+DOA と TFS+GC を比較すると，120ms の場合においては TFS+DOA の性能が高いものの，
300 ms の場合では SDR，SAR の値において TFS+GCが上回る結果となった．TFS+DOA は空間情報を用いて時間周波数マスクを推定するため，残響が短い環境下では推定精度が高いが，残響が長い環境下では推定精度が低下することがある．TFS+GC は時間周波数マスクの構成に空間情報を用いないため，学習データを与えることで残響の長い環境下においても対応可能であり，300 ms において TFS+DOA を上回る性能を達成できたと考えられる．このことから，特に残響が長い場合において提案手法は有効であるといえる．また，300 ms において TFS+DOA，TFS+GC ともに SAR- 183 -

2019年3月

本稿では，提案手法の有効性を確認するため，2 マ
イク 3 音源の環境におけるシミュレーション実験を行い，提案手法の性能評価を行った．提案手法は音声強調性能の向上に寄与し，特に残響の長い環境下においては，DOA 推定に基づくマスク推定を行う従来手法と比較して，それを上回る音声強調性能を達成した．
謝辞(a) SDR(b) SIR(c) SAR

Fig. 2: Results of speech enhancement by TFS,
TFS+DOA, and TFS+GC.

本研究は, SECOM 科学技術振興財団, 経産省戦略的基盤技術高度化支援事業の助成を受けた．

参考文献[1] S. Makino et al.,Springer, 2007.

(a)Blind Speech Separation,[2] O. Yilmaz et al., “Blind separation of speech mixtures via time-frequency masking,” IEEE Trans.
Signal Process., vol. 52, no. 7, pp. 1830–1847,2004.
[3] S. Rickard, “The DUET blind source separation
algorithm,” in Blind Speech Separation, pp. 217–241, Springer, 2007.

(b)[4] H. Sawada et al., “Underdetermined convolutive
blind source separation via frequency bin-wiseclustering and permutation alignment,” IEEE
Trans. Audio, Speech, Lang. Process., vol. 19, no.
3, pp. 516–527, 2010.
[5] N. Q. Duong et al., “Under-determined reverberant audio source separation using a full-rank
spatial covariance model,” IEEE Trans. Audio,Speech, Lang. Process., vol. 18, no. 7, pp. 1830–1840, 2010.
(c)

(d)

Fig. 3: Spectrogram of (a) target signal, (b) mixture
signal, (c) TFS-output signal, (d) TFS+GC-output
signal.の値が TFS と比較して下がっているのは，残響の影響で目的音声の含まれている時間周波数点をマスキングによって誤って抑圧してしまったためだと考えられる．
Fig. 3(a) は目的音声のスペクトログラム，Fig. 3(b)は混合信号のスぺクトログラム，Fig. 3(c) は TFS の出力信号のスペクトログラムをそれぞれ表している．
Fig. 3(d) では，時間周波数マスキングが適用された時間周波数点を示している．Fig. 3(a) と Fig. 3(d) を比較すると主に低周波域において，目的音声が支配的な点がマスクによって強調されていることが確認できる．

5まとめ

本稿では，小さな歪みで高い雑音抑圧性能を示す劣決定音声強調手法として，時間周波数スイッチングビー
ムフォーマと Gated CNN を用いた時間周波数マスキングを組み合わせる手法を提案した．提案手法は複数のビームフォーマを組み合わせて用いることで，劣決定条件下でも高性能な音声強調が可能である．さらに，GatedCNN を用いた時間周波数マスキングによる音声強調を後処理として行うことにより，時間周波数スイッ
チングビームフォーマでは抑圧できない干渉音源を抑圧することを可能とする．

日本音響学会講演論文集[6] 山岡洸瑛ほか “複数ビームフォーマの組み合わせによる非線形マイクロフォンアレイ,” 日本音響学会春季研究発表会, pp. 475–478, 2018.
[7] K. Yamaoka et al., “Time-frequency-bin-wise
beamformer selection and masking for speech enhancement in underdetermined noisy scenarios,”in Proc. EUSIPCO, pp. 1582–1586, 2018.
[8] J. R. Hershey et al., “Deep clustering: Discriminative embeddings for segmentation and separation,” in Proc. ICASSP, pp. 31–35, 2016.
[9] L. Li et al., “Deep clustering with gated convolutional networks,” in Proc. ICASSP, pp. 16–20,
2018.
[10] H. L. Van Trees, “Optimum array processing,”
in Johnwiley and sons, 2002.
[11] S. Araki et al., “Blind speech separation in ameeting situation with maximum snr beamformers,” in Proc. ICASSP, vol. 1, pp. I–41, 2007.
[12] O. L. Frost, “An algorithm for linearly constrained adaptive array processing,” Proc. IEEE,
vol. 60, no. 8, pp. 926–935, 1972.
[13] E. A. P. Habets, “Room impulse response (RIR)
generator,” Availabl at: https://www.audiolabserlangen.de/fau/professor/habets/software/rirgenerator, 2008.
[14] E. Vincent et al., “Performance measurementin blind audio source separation,” IEEE Trans.
Audio, Speech, Lang. Process., vol. 14, no. 4, pp.
1462–1469, 2006.

- 184 -

2019年3月