2-P-25
劣決定音源分離のための分離音声のケプストラムスムージング∗☆安齊祐美 (筑波大，NTT 研究所), 荒木章子 (NTT 研究所), 牧野昭二 (筑波大),
中谷智弘 (NTT 研究所), 山田武志 (筑波大), 中村篤 (NTT 研究所), 北脇信彦 (筑波大)1

Sourcesignals
s1

はじめに

2.1

混合系

実環境において，N 人の音声信号 si (i = 1, . . . , N )が M 個のセンサで観測されたとすると，観測信号は∗sN

Fig. 1hjiMixing
process

xj

Separatedsignals
y1..... .....

問題設定

six1
..... .....

2

s2..... .....

ブラインド音源分離（BSS）とは，それぞれのセンサが観測した混合信号の情報のみを用いて，各音源の信号を推定する手法である．今回扱う音声信号における BSS の技術は，ハンズフリーテレビ会議システムなど，多くの応用が期待されている．
本研究では，音源信号のスパース性に基づく BSS，特に [1–4] のような，時間周波数バイナリマスク（BM）を用いる手法について議論する．時間周波数マスクは，音源の数 N がセンサ数 M よりも多い劣決定問題における BSS を実現する場合に広く用いられているためである．しかし，バイナリマスクを用いた場合，分離信号に時間的な不連続が生じ，ミュージカルノイズと呼ばれるノイズが発生することが知られている．
そこで近年，この問題を解決するため，ミュージカルノイズの発生を抑えた音源分離手法が提案された [5]．
この手法では，時間周波数領域のバイナリマスクに時間方向のケプストラムスムージングを行う（Cepstralsmoothing of spectral masks, CSM）．CSM は分離音声のミュージカルノイズの低減に効果的であることが示されている．しかし，[5] では結果の一例しか示されておらず，他のミュージカルノイズ低減手法との性能比較も行われていない．
また CSM では，バイナリマスクをケプストラム領域に変換することで音声特性とそれ以外の成分とを区別しているが，これらの特性はバイナリマスクよりも音声信号の方が正確に反映されると考えられる．
そこで本研究では，バイナリマスクを用いる手法によって得られた分離音声信号にケプストラムスムージングをかける方法（Cepstral smoothing of separatedsignals, CSS）を提案し，CSM や他のミュージカルノイズ低減手法との性能比較を行う [6]．CSS による
もう 1 つの利点として，分離信号に直接スムージングをかけるため，シングルチャネル雑音抑圧手法のようなあらゆる音源分離や雑音抑圧の手法に適用可能であることが挙げられる．

Observed
signals

xM

y2
ykyN

Separatingprocess

劣決定 BSS のブロック図. (N > M )畳み込みによって次のようにモデル化できる．

xj (n) =N ∑L∑hji (l)si (n − l + 1) (j = 1, . . . , M )i=1 l=1(1)
xj はセンサ j による観測信号，hji は音源 i からセン
サ j へのインパルス応答である（Fig. 1）．BSS の目
的は，観測信号 xj の情報のみを用いて分離信号 yi を得ることである．本研究では劣決定問題（N > M ）について議論し，N と M は既知であると仮定する．
今回は時間周波数領域を用いる手法を採用する．これは，時間周波数領域での音声信号は時間領域よりスパースであることや [7]，時間領域での畳み込みは各周波数で積に変形できることを利用するためである．
時間周波数領域の観測信号は次のようにモデル化される．
Xj (f, m) =N∑

Hji (f )Si (f, m) (j = 1, . . . , M )

i=1

(2)
Hji (f ) は音源 i からセンサ j への伝達関数，Si (f, m)と Xj (f, m) はそれぞれ短時間フーリエ変換（STFT）された原信号と観測信号を表す．f は周波数，m は時間フレーム番号である．
2.2

分離処理

分離には時間周波数バイナリマスク（BM）を用いる手法 [4] を採用する．この手法では，信号はスパースである，つまり各時間周波数スロットにおいて原信号のうち 1 つだけが支配的であると仮定する．この仮定を適用すると，観測信号の位相差によって N 個のクラスタが形成される．個々のクラスタは各音源に対応するため，個々のクラスタに属する時間周波数の観測信号を再構成することで，各信号を分離できる．まず k-means 法で観測信号ベクトル X(f, m) =Cepstral Smoothing of Separated Signals for Underdetermined Speech Separation by Yumi Ansai (University of Tsukuba and NTT Communication Science Laboratories, NTT Corporation), Shoko Araki(NTT Communication Science Laboratories, NTT Corporation), Shoji Makino (University of Tsukuba),
Tomohiro Nakatani (NTT Communication Science Laboratories, NTT Corporation), Takeshi Yamada(University of Tsukuba), Atsushi Nakamura (NTT Communication Science Laboratories, NTT Corporation) and Nobuhiko Kitawaki (University of Tsukuba)

日本音響学会講演論文集- 847 -2010年3月

< Cepstral smoothing >M fmk(,)

Binary mask

cepst(,kM fmk(,(,Smoothing)

FFT)

X fm
1lm

M

Transform
to cepstrum

Ml m)

cepst
( ,kY ( f m))k,

Separated signal

Observation

Fig. 2 BM のケプストラムスムージング (CSM) のブロック図(a) BM

分離信号のスペクトログラム

Fig. 3[X1 (f, m), . . . , Xm (f, m)]T をクラスタリングし，次式で表されるマスクを生成する [4]．
{1 X(f, m) ∈ Ck ,Mk (f, m) =(3)Mmin otherwise

X1 f m(,)

Observation

M ( f m)Yk (f, m) = Mk (f, m)Xj (f, m)(4)

最後にこの分離信号 Yk (f, m) に逆 STFT とオーバーラップアドを適用し，時間領域の分離信号 yk を得る．
しかし，BM を使用すると分離信号に時間的な不連続が生じ，ミュージカルノイズが発生する．

Y ( f ,m)k

本章では BM のケプストラムスムージング（CSM）[5] について概説する．Fig. 2 は CSM のブロック図を示している．
ケプストラム領域のマスクは次式により得られる．

Mkcepst (l, m) = DF T −1 {ln(Mk (f, m))|f =0,...,F −1 }(5)l はケプストラム係数，DF T {·} は離散フーリエ変換を意味し，F は変換フレーム長である．Mk (f, m) は(3) と同様で，Mmin = 0.01 とする．この Mkcepst に対して時間方向の再帰的なスムージングを行う．
cepst

cepst

(l, m−1)+(1−βl )Mkcepst (l, m)(6)
式 (6) のケプストラムスムージングにおいて，ミュージカルノイズとして知覚される不要なランダムピー
クと音声特性とを区別するため，ケプストラム係数 lによってスムージング係数 βl を次のように決定する．
if l ∈ {0, . . . , lenv } βenvβl =βpitch if l = lpitch βif l ∈ {(lenv + 1), . . . , F/2}\{lpitch }peak(7)cepst
低次の係数 l ∈ {0, . . . , lenv } では Mk(l, m) がMk (f, m) のスペクトル包絡を表すため，βenv を非常に小さな値にして包絡を保持する．同様に，Mk (f, m)のピッチ周波数を表す l = lpitch における係数 βpitchも比較的小さな値とする．それ以外の係数は Mk (f, m)の微細構造を表し，不要なランダムピークを含んでいMk(l, m) = βl M k

日本音響学会講演論文集

Transform
to cepstrumY ( f m)kYl m Smoothing
FFTY lm

cepst( ,k,Smoothed separated signal)

cepst
( ,k)

< Cepstral smoothing >Fig. 4 分離信号のケプストラムスムージング (CSS)のブロック図
る可能性が非常に高いため，大きな値を持つ βpeak (>βpitch ) により強いスムージングをかける．
時間フレーム m に対し，lpitch は以下の式を満たすケプストラム係数として選ばれる．

lpitch = argmax{Mkcepst (l, m)|llow ≤ l ≤ lhigh } (8)
l

従来手法

3,k

Binary mask

Separated signal

ここで k は音源番号，Ck は音源 k のクラスタを表す．
Mmin には 0 のような非常に小さい値 (≥ 0) が入る．
この BM を観測信号の 1 つに適用して分離音声を生成する．

(b) CSM範囲 {llow , lhigh } は音声のピッチ周波数の存在し得る
70〜500Hz に対応するように決定する．
l > F/2 の範囲では，DFT における対称性の仮定
cepstから M k(l, m) を決定する．そして DFT と指数関数により時間周波数領域に変換し，スムージングされたマスク M k (f, m) を生成する．
cepst(l, m)|l=0,...,F −1 })(9)
このスムージングされたマスクを使用し，(4) から分離信号を得る．
Fig. 3 は BM と CSM で得られた分離信号のスペクトログラムを示している．BM の場合 (Fig. 3 (a))，
孤立のランダムピークが目立ち，多くのミュージカルノイズが発生する．一方 CSM では (Fig. 3 (b))，孤立のランダムピークはスムージングされており，CSMがミュージカルノイズ低減に効果的であることが確認できる．
M k (f, m) = exp(DFT{M k4

提案手法

CSM では BM をケプストラム領域でスムージングしている．しかし，マスクのケプストラム表現が，(7)が仮定している音声のスペクトル包絡やピッチ周波数の情報を反映できているのかは定かではない．BM- 848 -Table 1 文献 [5] に基づくパラメータ
fs = 8kHz
lenv = 16
βenv = 0F = 512
llow = 32
βpitch = 0.4
Mmin = 0.01 lhigh = 228 βpeak = 0.8

2010年3月

445 cmβl の値の組み合わせ

Table 2CSM
CSS

Microphone (120cm height, omni-directional)
Loudspeaker (120cm height)

βpitchβpeak

original
0.4
0.8

case 10.4
0.6

case 20.2
0.8

case 30.2
0.6

βpitch
βpeak

––

0.4
0.8

0.4
0.5

0.40.4• Reverberation time: about 160ms• Room height: 250cm

210m
c553280120cepst

Fig. 5(l, m−1)+(1−βl )Ykcepst (l, m)(11)βl の条件は (7) と同様であるが，lpitch を求める式は次のように変更する．
lpitch = argmax{Ykcepst (l, m)|llow ≤ l ≤ lhigh } (12)
l

実験と評価

5.1

実験 1：BM，CSM との比較提案する CSS の性能を評価し，CSM との比較を行う．CSM で用いるパラメータ βl は，[5] で示されている値 (Table 1 を参照) に加え，その他の値でも実験を行った．CSS の βl については，複数の値で実験を行い，今回はその中から 3 組を採用する．これらの βl の組み合わせを Table 2 に示す．βenv はスペクトル包絡を保持するためにどの組み合わせでも 0 とし，スムージングの強さに特に関係している βpitch とβpeak を変更した．

5.2

実験 2：その他のミュージカルノイズ低減手法との比較[5] において，CSM の性能と他のミュージカルノイズ低減手法との性能比較は行われていなかった．そこ

日本音響学会講演論文集

実験条件

Table 3 5 段階絶対品質尺度
musical noise はほとんど気にならないmusical noise はあまり気にならないmusical noise がやや気になるmusical noise がかなり気になるmusical noise が非常に気になる• 原音付加（AO）：BM による分離信号に小音量の観測信号 X1 (f, m) を付加• 画像処理によるマスクの再構成（MRI）：画像処理的な発想に基づき，分離信号のスペクトル
Yk (f, m) とその周囲の時間周波数スロットを用いてスムージング
Y k (f, m) = 21 Yk (f, m)+ 41 {Yk (f − 1, m) + Yk (f + 1, m)+ Yk (f, m − 1) + Yk (f, m + 1)}
(13)

cepst

5°

45

で本研究では，BM や CSM，そして CSS の性能を以下の 3 つの手法と比較する．

(l, m) = βl Y k

l > F/2 の範囲では DFT の対称性の仮定からcepst
cepst
Y k (l, m) を決定する．Y k (l, m) に DFT と指数関数を適用して時間周波数領域に変換し，最後に逆 STFT とオーバーラップアドによりスムージングされた時間領域の分離信号 yk を得る．

4cmm
c081256cm

Ykcepst (l, m) = DF T −1 {ln(Yk (f, m))|f =0,...,F −1 }(10)
Ykcepst に時間方向の再帰的なスムージングをかける．
Yk

Mic.3

4cm
Mic.2

50 cm

5432
1°°

door

は 1 と 0 といった 2 値であり，目的音声の存在を推定しているに過ぎない．そこで CSM を参考に，分離信号のケプストラムスムージング（CSS）を提案する．
この手法は，分離信号のケプストラム表現が持つ音声特性はマスクから得る特性よりも信頼性があるという前提に基づいている．
Fig. 4 は提案する CSS のブロック図を示している．
CSM との相違点は，CSS は BM で得られる分離信号にケプストラムスムージングを適用していることである．
(4) で得られる分離信号 Yk (f, m) を，次式によりケプストラム領域に変換する．

Mic.1
4cm°

• 人の知覚に基づくスペクトル減算法 [8] : 臨界帯域幅を用いた知覚特性に基づき BM を変更
5.3

実験条件

観測データは，音声信号と実験室 (Fig. 5) で録音したインパルス応答との畳み込みにより生成する．実験室の残響時間は約 160msec である．センサ数 M = 3，音源数 N = 4 である．使用した音声データは男女それぞれ 4 発話の計 8 発話で，音声の組み合わせは 8 通りある．
評価には客観評価と主観評価を用いる．客観評価
値には [9] で提案された 4 つの歪み尺度を使用する．

• Signal to Distortion Ratio (SDR): 以下 3 つの総合的な歪み• Source Image to Spatial distortion Ratio (ISR):線形歪み• Source to Interference Ratio (SIR): 目的音声以外の音声による歪み• Sources to Artifacts Ratio (SAR): 非線形歪み
主観評価値には，11 人の聴取者による Mean Opinion
Score (MOS) を使用する．MOS はミュージカルノイズの多さに着目したリスニングテストにより 5 段階
絶対品質尺度 (Table 3) で評価する．

- 849 -

2010年3月

[dB]

1614121086420-2

5432

CSS と CSM の計算量は同じである．

BMCSM(original)
CSM(case1)
CSM(case2)
CSM(case3)
CSS(case1)
CSS(case2)
CSS(case3)

6

劣決定 BSS において，分離信号をケプストラム領域でスムージングする手法を提案し，その性能を評価した．CSM と比較して，提案法である CSS は音声の歪みが小さく，ミュージカルノイズの低減も可能であることがわかった．これにより，ミュージカルノイズ低減における CSS の有効性が示された．

1SDR

ISR

SIR

SAR

MOS

(a) 実験 1 の結果
[dB]

5

16
1412
10
8
6
4
20-2-44321SDR

ISR

SIR

SAR

BM
CSM(original)
AO
MRI
Perceptual_SS
CSS(case1)
CSS(case2)
CSS(case3)

謝辞 本研究を進めるにあたり，詳細な議論にご協力くださいました，NTT コミュニケーション科学基礎研究所の木下慶介氏に感謝致します．

MOS(b) 実験 2 の結果
Fig. 65.4

参考文献

比較結果

結果

Fig. 6(a) は CSM と CSS の性能比較を示している．比較のため，ケプストラムスムージングを行わない BM の性能も評価した．CSM，CSS 共に SIR の値
は BM と同程度であるが，ISR や SAR の値は BM よりも低い．これらの歪みについては次節で考察する．
CSM と CSS を比較すると，適切な βl を選ぶことで
CSS の ISR や SAR が CSM より良い値となることがわかった．これは CSM より CSS の方が正確に音声特性を保持していることを意味する．また，CSS のMOS 値は CSM の値と同等であることもわかる．
Fig. 6(b) は，ケプストラムスムージング手法（CSMや CSS）と 5.2 節で述べたミュージカルノイズ低減手法との比較結果を示している．CSM や CSS の ISRと SAR は他手法より低いが，一方でミュージカルノイズの多さに着目した MOS 値は CSM や CSS の方が高く，他手法よりミュージカルノイズ低減に効果的であることを意味する．
5.5

考察

前節で述べたように，ケプストラムスムージング手法（CSM や CSS）はミュージカルノイズ低減に効果的である．しかし，ISR や SAR の結果から，ケプストラムスムージング手法ではミュージカルノイズとは異なる歪みが生じることがわかった．ケプストラ
ムスムージングではミュージカルノイズだけでなく目的音声の成分も取り除いてしまうことがあり，それによる歪みが生じていた．また，ケプストラムスムージング後は残響のような歪みが加わっているようにも感じられた．これらの歪みが ISR や SAR として評価されている．
実験により，CSS は CSM よりも ISR や SAR の値が良く，MOS 値も同程度の結果であることが分かった．CSS による分離信号を聞いても，CSM より目的音声の抑圧や残響感は少ない．これにより，分離信号のスペクトルへのケプストラムスムージングは CSMよりも効果的に音声特性を保持できることが示された．
それに加えて，Fig. 2 と 4 を見てわかるように，

日本音響学会講演論文集

おわりに- 850 -[1] O. Yilmaz and S. Richard, “Blind separation ofspeech mixtures via time-frequency masking,”
IEEE Trans. Signal Processing, vol. 52, no. 7,
pp. 1830-1847, July, 2004.
[2] N. Roman and D. Wang, “Binaural sound segregation for multisource reverberant environments,” Proc. ICASSP 2004, vol. II, pp. 373376, May 2004.
[3] S. Rickard and O. Yilmaz, “On the W-Disjoint
orthogonality of speech,” Proc. ICASSP 2002,
vol. 1, pp. 529-532, May 2002.
[4] S. Araki, H. Sawada, R. Mukai, and S. Makino,“Underdetermined blind sparse source separation for arbitrarily arranged multiple sensors,”
Signal Processing, vol. 77, no. 8, pp. 1833-1847,
Aug. 2007.
[5] N. Madhu, C. Breithaupt, and R. Martin,“Temporal smoothing of spectral masks in thecepstral domain for speech separation,” in Proc.
ICASSP 2008, pp. 45-48, Mar. 2008.
[6] Y. Ansai, S. Araki, S. Makino, T. Nakatani, T.
Yamada, A. Nakamura and N. Kitawaki, “Cepstral smoothing of separated signals for underdetermined speech separation,” in ISCAS 2010
（to appear）.
[7] P. Bofill and M. Zibulevsky, “Blind separataionof more sources than mixtures using sparsity of
their short-time-Fourier transform,” Proc. ICA
2000, pp. 87-92, June 2000.
[8] N. Virag, “Single channel speech enhancement
based on masking properties of the human auditory system,” IEEE Trans. Speech Audio Processing, vol. 7, no. 2, pp. 126-137, Mar. 1999.
[9] E. Vincent, H. Sawada, P. Bofill, S. Makino,and J. P. Rosca, “First stereo audio source separation evaluation campaign: data, algorithms
and results,” in Proc. ICA 2007, pp. 552-559,
Sept. 2007.

2010年3月