2-10-6複素対数補間によるヴァーチャル観測に基づく劣決定条件での音声強調∗☆片平拓希 (筑波大), 小野順貴 (NII),
宮部滋樹, 山田武志, 牧野昭二 (筑波大)

1

はじめに

マイクロホンアレーを用いた音声のアレー信号処理
は、複数のセンサ (マイクロホン) を用いて観測された音響信号から、様々な処理や推定を行うものである[1]。マイクロホンアレー信号処理は、音源の位置を推定する音源定位、複数の音源が混合された観測信号を分離する音源分離などのように、目的に応じて様々な方法が検討されており、特に線形アレー信号処理は確立された枠組である。線形アレー信号処理の例として、ブラインド音源分離の代表的手法として知られる独立成分分析 (ICA: Independent Component Analysis) [2]、音源定位の手法である MUSIC(MUltiple SIgnal Classification) [3] などがある。しかし、これらの線形アレー信号処理は、対象とする音源の数がマイクロホン素子数 (観測チャネル数) に対して小さい条件では高い性能を発揮するものの、素子数に比べて音源数が大きい、いわゆる劣決定条件では、性能が大幅に劣化してしまう。そのため、多数の音源を扱う場合、大規模なアレーや多チャネル A/D 変換器が必要となってしまう。劣決定条件のための線形アレー信号処理の拡張として、クロネッカー積 [4] やカーネル関
数 [5] を用いて観測信号を非線形に高次元写像することにより、観測信号を擬似的に多素子化する手法が提案されている。しかし、これらの手法における写像は信号の性質を大幅に変えてしまうため、音声強調に用いると出力の歪が大きくなるという問題がある。
本研究では、実際にはマイクロホンが存在しない位置における観測信号を、実際の観測信号の非線形補間により擬似的に生成し、ヴァーチャルな観測信号として扱うことにより、処理出力に大きな歪を生じない擬似的多素子化を試みる。この擬似的多素子化を SN比最大化ビームフォーマ [6, 7] に導入し、その性能を検証することにより、提案するヴァーチャル観測の有用性を検討する。

2問題設定

本稿では、信号を時間周波数領域で表すものとし、観測信号を以下のようにモデル化する。

[x(ω, t)=≈]T
x1 (ω, t), · · · , xM (ω, t)N∑ai (ω)si (ω, t)

i=1[ai (ω)∗=ͳെߙߙ

a1,i (ω), · · · , aM,i (ω)

(1)
]T(2)

‫ݔ‬ଵ

‫ݒ‬ZĞĂůDŝĐƌŽƉŚŽŶĞ

Fig. 1‫ݔ‬ଶsŝƌƚƵĂůDŝĐƌŽƉŚŽŶĞ

ZĞĂůDŝĐƌŽƉŚŽŶĞ

Arrangement of virtual observations

ここで、ω は周波数、t は時間フレーム番号、M は観測チャネル数、N は音源数である。また、si は i 番目の音源信号、xj は j 番目のマイクロホン素子における観測信号、aj,i は i 番目の音源から j 番目の素子への伝達関数を表す。
適応ビームフォーマを用いた音声強調では、観測信号 x (ω, t) 中の非目的音を抑圧し、目的信号のみを強調した信号 y (ω, t) を得るための時間周波数領域マルチチャネルフィルタ w (ω) を設計する。

y (ω, t) = w (ω) x (ω, t)(3)

理想的には、目的音源のインデックスを iT としたときに、すべての ai (i ̸= iT ) と直交してw (ω) ai (ω) = 0, ∀i ̸= iT(4)となる w (ω) を構成することができれば、

y (ω, t)=w (ω)N∑ai (ω) si (ω, t)

i=1= w (ω) aiT (ω) siT (ω, t)(5)となり目的信号のみを取り出すことができる。しかし、観測信号ベクトルの次元数が音源数より小さい
場合、このような w (ω) は一般には存在しえず、ビームフォーマの性能は大幅に劣化する。そのため、多数の音源の混合した音声をビームフォーマで扱う場合、多チャネルの観測信号が必要となる。

3複素対数補間によるヴァーチャル多素子化

3.1

ヴァーチャル観測値の定式化

本節ではヴァーチャル観測値の具体的な定式化について述べる。ここでは、実際にはマイクを配置していない場所に新たにマイクを配置した場合に、どのような信号が観測されるかを実際に観測された信号から擬似的に生成し、いわばヴァーチャルな観測値を求Speech Enhancement in Underdetermined Condition Based on Virtual Observations Derived from Complex Logarithmic Interpolation. by Hiroki KATAHIRA (University of Tsukuba), Nobutaka ONO (National Institute of Informatics), Shigeki MIYABE, Takeshi YAMADA, Shoji MAKINO (University ofTsukuba)

日本音響学会講演論文集- 741 -2013年3月

める。ここではまず、最も簡単な場合として、空間上に 2 つのマイクロホン素子が配置された条件を考える。ここで、2 素子を結んだ直線上の任意の位置での観測値を、実際の 2 素子の観測信号から、関数 f を用いた以下の様な補間でヴァーチャルに合成することを考える (Fig. 1)。

v(x1 , x2 , α) =f −1 {(1 − α) f (x1 ) + αf (x2 )}(6)

ここで、f は補間を行うドメインを決定する関数、αはヴァーチャル観測の位置を表すパラメータである。
本稿では、0 < α < 1 に限定し、内挿の場合のみを考える。ここでの目的は、後段で適用する線形アレー信号処理に対して、線形独立な観測信号を擬似的に増やすことであるため、f は非線形関数である必要がある。(線形関数では線形従属な観測信号しか得られない。) この非線形関数 f の選択が、本提案法で最も重要となる。
そこで、適切な補間関数の選択について考える。こ
こでは、最も単純な場合として、単一の平面波のみが到来する場合を考える。この場合、x1 , x2 の間には到来時間差に由来する位相差のみが生じ、これはマイクロホン間の距離に線形であるから、2 素子間をα : (1 − α) で内分する点での位相は次式で表せる。

∠v = (1 − α) ∠x1 + α∠x2(7)これを式 (6) で表したような非線形な補間として表すためには、位相が複素数 z に対する複素対数

logz = log |z| + j∠z(8)の虚部として定義されることに注意すれば、

f (x)f−1(x)=logx(9)=exp(x)(10)のように、f (x) に複素対数関数を選べばよいことがわかる。このとき、複素対数の実部にあたる振幅についても、対数領域で補間することになるが、この妥当性について考える。平面波の場合には、距離減衰がなく振幅は一定であるため、対数領域の補間を考えても問題は生じない。一方、球面波の場合には、正確な振幅の補間は音源方向に依存し、ある 2 点の観測信号のみから、その間における振幅を単一の関数で正確に補間することはできないことがわかる。しかしここでは、f (x) が連続で微分可能となる性質のよさや式の単純さから、f (x) として複素対数関数を選び、振幅に対しても位相と同じく、対数領域で統一的に補間を行うことを考え、モデル化誤差等の影響等は実験で検証することとした。このとき、全体の補間式は以下のようになる。

また実際には、複数の波面が混合して観測される場合においても、音声のスパース性により多くの時間周波数において 1 つの音源信号のみが支配的であると考えることができることから、これらの補間は妥当であると考えることができる。つまり本手法は、スパース性が成り立っていれば近似的に有効な補間を導入して観測信号を多素子化するアプローチと位置づけることができると考えられる。

3.2

位相の線形補間本手法では、式 (11) のように、観測信号の複素対数について線形補間を行なっている。しかし、その虚部である位相には ±2nπ の任意性があるため、その線形補間についても同様に任意性が発生することに注意する必要がある。ここでは、空間的エイリアシングが発生せず、2 つの観測信号の位相差が π を超えない、つまり|∠x1 − ∠x2 | ≤ π(12)のように仮定して、位相の線形補間を行う。

3.3

SN 比最大化ビームフォーマ

本研究ではヴァーチャル多素子化の有効性を検証するため、従来の線形アレー信号処理の一つである SN比最大化ビームフォーマにこれを適用した。そこでまず、従来の SN 比最大化ビームフォーマについてまとめる。
SN 比最大化ビームフォーマは、観測信号中の目的音声区間と非目的音声区間それぞれの共分散行列を事前情報として与え、目的音声を強調する手法である。事前情報としてステアリングベクトルなどの方向情報を明示的に与える必要がなく、音源位置が未知の場合においても適応できるといった利点がある。
SN 比最大化ビームフォーマは、出力信号中の目的信号と非目的信号のパワー比を最大化するように指向特性を形成する。ここでパワー比 λ (ω) はλ(ω) =w(ω)RT (ω)wH (ω)w(ω)RI (ω)wH (ω)のように表される。なお、RT は目的信号区間、RIは非目的信号区間それぞれの共分散行列であり、RT (ω) =RI (ω) =1 ∑xT (ω, t)xH
T (ω, t) (14)|ΘT |t∈ΘT
1 ∑xI (ω, t)xH(15)I (ω, t)|ΘI |t∈ΘIと表される。ここで、ΘT は目的信号区間、ΘI は非目的信号区間のそれぞれ時間フレームの集合である。
このパワー比 λ (ω) を最大化する w (ω) は、以下の一般化固有値問題の最大固有値に対応する固有ベクトルに相当する。

w(ω)RT (ω) = λ(ω)w(ω)RI (ω)
v(x1 , x2 , α) = exp{(1 − α) log|x1 | + αlog|x2 |+j ((1 − α) ∠x1 + α∠x2 )}日本音響学会講演論文集

(11)

(13)

(16)

しかし一般化固有値問題にはノルムに関する不定性があるので、スケールを決定するために次のように- 742 -

2013年3月

ビームフォーマを補正する [7]。

w(ω) ← bk (ω)w (ω)

Table 1 Experimental conditions
素子数
2
音源数
3混合音パターン数
10 パターン
音源到来方向(正面: 0◦ , 時計回り)−40◦ , 20◦ , 50◦
素子間隔
2.15 cm
残響時間
130 ms
サンプリング周波数8 kHz
フレーム長1024 samples
シフト長
1/4 フレーム
音声長
20 sec
目的音区間長5 sec
非目的音区間長5 sec
正則化項の係数ε = 10−14 , 10−12
10−10 , 10−8 , 10−6 , 0(17)ただし、bk (ω) は1∑x(ω, t)xH (ω, t)
T t=1
TRx (ω) =(18)として以下のように定義される b (ω) の任意の k 次元目の要素である。なお、T は全観測区間の時間フレーム数である。

b(ω) =w(ω)Rx (ω)w(ω)Rx (ω)wH (ω)(19)

SN 比最大化ビームフォーマは線形アレー信号処理の枠組であり、扱う音源の数が観測チャネル数より大きい場合において、その性能は大幅に低下する。そこで本稿では、次節で述べるように、ヴァーチャル観測値を導入し、観測チャネル数を擬似的に増やすことにより、音源数の多い劣決定条件における SN 比最大化ビームフォーマの性能の改善を図る。
3.4

これを

SN 比最大化ビームフォーマの拡張

前節で述べた SN 比最大化ビームフォーマの、ヴァーチャル観測値を用いた拡張について述べる。ここでは、Nv 個のヴァーチャル観測を素子間に等間隔に配置する条件を考え、n 番目のヴァーチャル観測値を次式のように表す。
)(n(20)
vn = v x1 , x2 ,Nv + 1
また、ヴァーチャル観測を挿入して擬似的に多素子化した観測値を次のように表す。
[]Tϕ(x) = x1 , v1 , · · · , vNv , x2
(21)
ヴァーチャル観測を含む観測値の目的信号区間、非目的信号区間それぞれの共分散行列は∑b T (ω) = 1
R
ϕ(xT (ω, t))ϕ(xT (ω, t))H (22)|ΘT |t∈ΘT∑b I (ω) = 1
R
ϕ(xI (ω, t))ϕ(xI (ω, t))H|ΘI |(23)t∈ΘIのように表される。これらの共分散行列を用いて一般化固有値問題

b T (ω) = λ(ω)w(ω)
b I (ω)bbw(ω)
RR(24)

における最大固有値に対応する固有ベクトルを求める
bことで拡張 SN 比最大化ビームフォーマ w(ω)
を得る。
b (ω)
また、式 (17)–(19) と同様に、次式で表される bbの任意の k 番目の要素 bk (ω) を用いて一般化固有値問題のスケールを決定しビームフォーマを補正する。

bb (ω)w(ω)←bbk (ω)w(25)

b x (ω)w (ω)
Rb x (ω)w
bb H (ω)
w(ω)
R(26)

∑H
b x (ω) = 1Rϕ(x(ω, t))ϕ (x(ω, t))
T t=1(27)bb(ω)=bH(28)のように、観測信号に適用し強調音声を得る。
なお、一般化固有値問題 (24) においては、ランク落ちによる数値誤差の発生が予想される。ここでは、
b I に単位行正則化項として、非目的音共分散行列 R
列 E の正数 ε 倍を加算することで次式のように補正する。

bI ← Rb I + εER4(29)実験

ヴァーチャル観測を導入した SN 比最大化ビーム
フォーマの性能を検証するため、混合音声に対する分離性能の比較実験を行った。比較手法として、従来のヴァーチャル観測を導入しない SN 比最大化ビーム
フォーマを用いた。

4.1

実験条件

Table 1 に実験条件を示す。各音源にインパルス応答を畳み込んだものを混合する形で、シミュレーションによって混合音声を作成した。音源には男女の発話音声を用いた。また、目的音声、非目的音声のみが存在する、それぞれ 5 秒間の時間区間を用いて共分散行列を求め、SN 比最大化ビームフォーマを作成した。分離性能の評価には客観評価値を用いた。評価値は音声の組み合わせについて平均を取ったものである。評価値としては、信号対歪比 (SDR: Signalto-Distortion Ratio)、信号対干渉比 (SIR: Signal-toInterference Ratio) [8] を用いた。これらの評価値は、数値が高い方が高い性能を表す。
4.2T

日本音響学会講演論文集byb(ω, t) = w(ω)ϕ(x(ω,t))

結果と考察

Fig. 2 には、ヴァーチャル観測チャネル数を 0 – 9で変化させたときの、SDR および SIR の変化を示す。

- 743 -

2013年3月

䢶䢰䢷䢳䢳䢢䢶䢢䢳䢲䢵䢰䢷䢻ε䢿䢳䢲䢯䢸䢴䢰䢷䢯䢺ε䢿䢳䢲䢴

䢯䢳䢲ε䢿䢳䢲

䢳䢰䢷ε䢿䢳䢲䢯䢺
ε䢿䢳䢲䢯䢳䢲

䢹ε䢿䢳䢲䢯䢳䢴

䢸ε䢿䢳䢲䢯䢳䢶
ε䢿䢲䢯䢳䢶

ε䢿䢳䢲ε䢿䢲䢲䢰䢷䢲䢢䢲䢳

Fig. 2䢷䢴䢵䢶䢷䢸䣐䣷䣯䣤䣧䣴䢢䣱䣨䢢䣘䣫䣴䣶䣷䣣䣮䢢䣕䣫䣩䣰䣣䣮䣵䢹䢺䢶䢢䢲䢻䢳䢴䢵
䢶䢷䢸䣐䣷䣯䣤䣧䣴䢢䣱䣨䢢䣘䣫䣴䣶䣷䣣䣮䢢䣕䣫䣩䣰䣣䣮䣵䢹䢺䢻

Evaluation values for maximum SNR beamformers with virtual observation signalsSpectrograms of separated signal: without virtual signal (left), with virtual signals (right)

また、分離音声のスペクトログラムの例を Fig. 3 に示す。共分散行列の正則化をしない条件 (ε = 0) においては、多素子化するとともに SDR が低下しているのに対し、ε = 10−6 の条件においては、全体的に改善が見られ、正則化により信号の歪を抑えることができると言える。SIR に関しては ε を小さく設定した方が高い値を示している。これは、正則化によりランク落ち誤差が抑えられる反面、ビームフォーマの学習に誤差が生じ、非目的音の抑圧性能に影響が出ているものと考えられる。ただ、ヴァーチャル観測チャ
ネル数 4 の条件で、ヴァーチャル観測値なしの条件に比べて 5 dB 程度上昇しており、SIR についても改善が見られる。また、ヴァーチャル観測なしの状態から 1 チャネル加えた場合での SDR,SIR の上昇は顕著であり、特に SIR においては、約 4 dB と大幅な改善が見られる。このことから、提案手法による拡張 SN比最大化ビームフォーマは、非目的音成分の抑圧という点で特に高い性能を示すと言える。

5ε䢿䢳䢲䢯䢸䢺ε䢿䢳䢲䢯䢳䢴䢳

Fig. 3䣕䣋䣔䢢䣝䣦䣄䣟䣕䣆䣔䢢䣝䣦䣄䣟䢵まとめ

本稿では、ヴァーチャル観測値により、観測信号を仮想的に多素子化し、SN 比最大化ビームフォーマにこれを導入して、劣決定条件における音声強調の性能改善を図った。ヴァーチャル観測値の導入により、分離性能の改善が見られ、SN 比最大化ビームフォーマへのヴァーチャル観測の導入の有用性が確認できた。
今後は、他の補間関数を用いたヴァーチャル観測値を導入し、本稿の複素対数補間との性能比較を行う予定

日本音響学会講演論文集である。また、他の線形アレー信号処理にヴァーチャル観測を導入し、その効果を検証する予定である。

参考文献[1] 浅野 太, “音のアレイ信号処理 ―音源の定位・追跡と分離―,” コロナ社, 2011.
[2] 澤田他, “音源分離技術の最新動向,” 信学誌, 91(4),292–296, 2008.
[3] R. O. Schmidt, “Multiple emitter location andsignal parameter estimation,” IEEE Trans. Antennas and Propagation, 34(3), 1986.
[4] Chevarier et al., IEEE Trans. Signal Process., 53(4), 1254–1271, 2005.
[5] S. Miyabe, et al., “Kernel-based nonlinear independent component analysis for underdetermined blind source separation,” Proc. ICASSP,1641–1644, 2008.
[6] H. L. Van Trees, ed., “Optinum Array Processing,” Wiley, 2002.
[7] 荒木他，“話者分類と SN 比最大化ビームフォー
マに基づく会議音声強調,” 音講論 (春)，571–572,2007．
[8] E. Vincent, et al., “Performance measurementin blind audio source separation,” IEEE Trans.
ASLP, 14(6), 1462–1469, 2006.

- 744 -2013年3月