3-4-3
複数ビームフォーマの組み合わせによる非線形マイクロフォンアレイ ∗☆山岡洸瑛（筑波大），小野順貴（首都大），牧野昭二，山田武志（筑波大）

1

Interferer B

はじめに

十分な数のマイクロフォンが使用できる時，ビーム
フォーマによる音声強調やブラインド音源分離 [1] は効果的な音声強調を達成する．音声強調を事前に適用することで音声認識性能が向上することが報告されており（例えば [2]），そういった音声アプリケー
ションの前処理として音声強調は重要なタスクである．ところが，マイクロフォンアレイに基づく音声強
調性能はマイクロフォンの数 M に依存する．一般に1 個の目的音源と N − 1 個の干渉音源が存在する時，音源数 N と同数以上のマイクロフォンが必要となる（M ≥ N ）．一方で近年普及している IC レコーダなどの小型機器は高々 2 個のマイクロフォンを持つことが多く，そういった小型機器でも効果的に音声強調を達成する手法の開発が求められている．従来の時間周波数マスキング [3, 4] やマルチチャネル Wiener
フィルタ [5]，潜在変数を用いた観測信号の統計的モ
デリング [6, 7] などの手法は劣決定条件下（M < N ）においても音声強調が可能である．しかし，これらの手法はミュージカルノイズのような人工ノイズを生じさせやすく，後段のアプリケーションに好ましくない．
本稿では，線形信号処理の拡張として，複数のビー
ムフォーマを組み合わせることにより少ない歪みで高い音声強調性能を示す非線形音声強調手法を提案す
る．N 個の音源と 2 個のマイクロフォンが存在する
時，従来の線形ビームフォーマはただ 1 つの干渉音
源のみを抑圧し，残りの干渉音源は抑圧されない．しかし，N − 1 個の干渉音源それぞれを抑圧するようなN − 1 個のビームフォーマが構成できれば，それらを組み合わせることで音声強調性能を向上させることができる．[8] においては，オーディオズームのための異なる指向性を有する複数ビームフォーマの組み合わせが提案された．一方で，我々は同一の目的音源を強調し，異なる干渉音源を抑圧する複数のビームフォー
マを組み合わせる．本稿では，複数ビームフォーマの組み合わせ方法として，複数ビームフォーマ出力の積の累乗根をとる複素値相乗平均（complex-valued
geometric mean; CGM）と，出力の最小絶対値をとる最小値選択（minimum value selection; MIN）の 2
つの方法を提案する．複素値相乗平均は，観測信号がW-disjoint orthogonality (W-DO) を満たす場合，すなわち単一の時間周波数スロットにおいては，ただ 1
つの音源のみが存在する場合に干渉音源を抑圧することができる．最小値選択は，上記に加え，単一の時間周波数スロットに 1 つの目的音源と 1 つの干渉音∗

Interferer A

TargetFig. 1: Combination of two beamformers with a spatial null for each interferer源が存在する場合にも干渉音源を抑圧することができる．なお，複数のヌルビームフォーマの最小値選択
による雑音抑圧は [9] で既に提案されているが，我々は maximum signal-to-noise ratio (MaxSNR) ビーム
フォーマ [10,11] や minimum variance distortionlessresponse (MVDR) ビームフォーマ [10, 12] などの適応ビームフォーマを複数組み合わせ，最小値選択を行う手法を検討する．本稿では，本手法の性能を調査するために実験を行い，有効性を確認した．

2

従来の線形ビームフォーマ

多くの音声強調手法において，マイクロフォン観測
は短時間フーリエ変換により時間周波数領域で表される．ここで，xi (ω, t) を 周波数 ω ，t 番目の時間フ
レームにおける i 番目のマイクロフォン観測とする．
簡単のため 2 マイクの場合を考えると，線形ビー
ムフォーマは一般に以下の式で与えられる．

y(ω, t)x(ω, t)==wH (ω)x(ω, t)[x1 (ω, t), x2 (ω, t)]

(1)
T

(2)

ここで y(ω, t) はビームフォーマの出力，w(ω) は構成
された空間フィルタ，{·}T は転置，{·}H は複素共役転置を示す．w(ω) の設計には MaxSNR ビームフォー
マ [10, 11] や MVDR ビームフォーマ [10, 12] などが提案されている．しかし，一般に M 個のマイクロフォンでは M − 1 個の干渉音源のみ抑圧が可能であり，線形音声強調は，音源数よりもマイクロフォンの数が少ない場合には（劣決定条件），性能が劣化する．

3

複数ビームフォーマを用いた非線形音声
強調

簡単のため，目的音源と干渉音源 A, B からなる
3 音源（以下 tgt, iA , iB とする）を 2 つのマイクロフォンで抑圧することを考える．この状況下では，2つの干渉音源を同時に抑圧する空間フィルタは構成できない．ここで，もし目的音源と干渉音源 A のみ

Nonlinear microphone array with combination of multiple beamformers. by Kouei YAMAOKA (University of Tsukuba), Nobutaka ONO (Tokyo Metropolitan University), Shoji MAKINO, Takeshi YAMADA(University of Tsukuba)

日本音響学会講演論文集- 475 -

2018年3月

が観測されたならば，干渉音源 A を抑圧するビーム
フォーマ A を従来のビームフォーマを用いて構成することができる．同様に干渉音源 B を抑圧するビー
ムフォーマ B も構成することができる．これらのビー
ムフォーマを用いることで，3 音源からなる観測信号
x を用いて以下の 2 出力 yA ，yB を得る．

yA (ω, t)yB (ω, t)=wH
A (ω)x(ω, t)

(3)

=

wH
B (ω)x(ω, t)(4)

ここで wA ，wB はそれぞれビームフォーマ A，B の空間フィルタである．
x，yA ，yB における支配的な音源を表 1 の 1–3 列に示した．x の全ての時間周波数スロットにおいて支配的な音源は 1 列目に示した 7 パターンとなる．ここで音源が存在しないケースは自明であるため考慮しない．yA 及び yB の列に着目すれば，目的音源のみが支配的である場合，2 つのビームフォーマは共に目的音を出力する（2 行目参照）．干渉音源 A のみが支配的な場合，ビームフォーマ A は抑圧された信号を出力するが，ビームフォーマ B は干渉音源 A に対する制約を持たないため，何らかの影響が及ぼされた干渉音 A を出力する．目的音源と干渉音源 A が支配的な場合，ビームフォーマ A は目的音を出力するが，ビームフォーマ B は両方を出力する．
提案手法では，yA と yB の両方を組み合わせることで音声強調を行う．ここで重要な問題は，これらのビームフォーマをどのように組み合わせるか，である．W-DO の仮定下において，各時間周波数で支配的な音は目的音源，干渉音源 A，B のいずれかである．組み合わせ方法の要件は，1) 目的音源のみが支配的な場合，組み合わせも目的音を出力，2) 干渉音
源 A もしくは B が支配的な場合，それぞれの干渉
音源を抑圧しなければならない，という 2 点である．
本稿では，複素値相乗平均と最小値選択の 2 つの方法を，上記要件を満たす手法として提案する．

3.1

複数ビームフォーマの出力の複素値相乗平均

干渉音源 A (B) が到来した時，ビームフォーマ A(B) の出力が 0 もしくはごく小さな値であれば，複素値相乗平均の以下の式は組み合わせ方法の要件を
満たす．
√
(5)
yCGM (ω, t) = yA (ω, t)yB (ω, t).
上式は複素値をもつ複数ビームフォーマ出力の相乗平均を計算する．ただし，複素数の平方根は一般に 2個あるが，ここでは yA ，yB の位相に近い値，すわな
ち，|∠yA − ∠yCGM |2 + |∠yB − ∠yCGM |2 が小さくなる位相の根を用いる．
目的音源のみが支配的であれば，出力は目的音と目的音の相乗平均であるから，目的音そのものとなる．
干渉音源 A のみが支配的な時間周波数スロットでは，
0 もしくはごく小さな値と干渉音源 A の積を計算す
ることになるため，その出力も 0 に近い値になる，す日本音響学会講演論文集

Table 1: Dominant sound(s) in each signal
x

yA

yB

yCGM

yMIN

tgt
iA
iB
tgt, iA
tgt, iB
iA , i B

tgt
0*
iB
tgt
tgt, iB
iB

tgt
iA
0*
tgt, iA
tgt
iA

tgt
0*
0*
tgt, iA
tgt, iB
iA , i B

tgt, iA , iB

tgt, iB

tgt, iA

tgt, iA , iB

tgt
0*
0*
tgt
tgt
iA or iB
tgt, iAor tgt, iB*

suppressed

なわち抑圧されることが期待される．干渉音源 B に対しても同様に考えられるため，複素値相乗平均では，両方の干渉音源が抑圧されることが期待できる．
しかし，表 1 の 4 列目にあるように，目的音源と干渉音源 A が同時に支配的な時間周波数スロットにおいては，目的音源と，目的音源と干渉音源 A の積が計算されるため抑圧されない．従って本手法は，従来の時間周波数マスキングなどと同様に，W-DO が成り立つ時間周波数スロットのみ抑圧することができる．従来法との違いは，ビームフォーマを用いているため歪みが少なくなると期待されることである．

3.2

複数ビームフォーマの出力の最小値選択

干渉音源 A (B) が到来した時，ビームフォーマ A(B) の出力はビームフォーマ B (A) よりも小さくなる．従って以下の式は組み合わせの要件を満たす．
{
yA (ω, t) if |yA (ω, t)| ≤ |yB (ω, t)|(6)
yMIN (ω, t) =yB (ω, t) otherwise
上式のように最小値選択では振幅が小さい出力を選択する．ここで目的音源の振幅が，目的音源と 1 つの干渉信号からなる信号の振幅よりも小さいと仮定する．これは，音源の統計的独立性を考慮することで有効な仮定であると考えられる．この仮定により，目的音源と 1 つの干渉音源からなる時間周波数スロッ
トにおいても干渉音源を抑圧することができると期待される（表 1 の 5,6 行目参照）．しかし，干渉音
源 A，B が同時に存在する時間周波数スロットでは，出力として干渉音 B もしくは A のどちらかを選択する必要がある（7 行目参照）．その出力は干渉音源
A，B の混合よりも小さくなるが，片方の音源は依然として抑圧されない．
最小値選択と時間周波数マスキングは似た点がある．時間周波数マスキングは，各時間周波数スロットの信号が目的音源かどうかを決定するマスクを作成する．従って，W-DO の仮定が必要となる．一方で最小値選択は，どちらのビームフォーマがより良く干渉音源を抑圧するかを選択する．最小値選択の利点
は，目的音源と 1 つの干渉音源が存在する時間周波
数スロットでも，すなわち W-DO が成り立たなくと- 476 -

2018年3月

も抑圧が可能な点である．加えて，複素値相乗平均と同様にビームフォーマに基づいているため，歪みが少なくなると期待される．

4

評価実験

4.1

実験条件

提案手法の有効性を確認するため評価実験を行った．データベースとして community-based Signal Separation Evaluation Campaign (SiSEC) のunderdetermined-speech and music mixtures task で提供されている dev1 の 3 話者のデータセットを利用した．データセットにはそれぞれ男性 3 名，女性
3 名の混合音が含まれており，各話者を目的音源として計 6 通りの音声強調を行い，その平均を結果として示す．その他の実験条件は表 2 に示す．
実 験 で は ，MaxSNR ビ ー ム フォー マ [10, 11]，
MVDR ビームフォーマ [10,12] を従来のビームフォー
マとして利用した．ビームフォーマの事前情報として目的音源区間と非目的音区間を与えた．MVDR ビー
ムフォーマにおいては目的音源区間の空間相関行列に対して固有値分解を行い，最大固有値に対応する
固有ベクトルを伝達関数の推定値として用いた．
比較のための従来法として，それぞれのビーム
フォー マ を 単 体 で 用 い た 劣 決 定 音 声 強 調 で あ る
MaxSNR SOL 及び MVDR SOL，また，2 チャネ
ルの時間周波数マスキングとして degenerate unmixing estimations technique (DUET) [4] を用いた．また，以前提案したヴァーチャルマイクロホン [13] を用いた MaxSNR ビームフォーマも評価した．この手法では，実マイクロホンとヴァーチャルマイクロホンの両方を用いることで，劣決定条件を回避することができる．ヴァーチャルマイクロホン合成のパラメータとして α = 0.5，β = 2 を用いた．提案手法として，“ビームフォーマ” “CGM or MIN” と呼ぶ 4 種類を評価した．ここで “ビームフォーマ” は MaxSNR かMVDR である（例えば MaxSNR CGM）．複素値相乗平均と最小値選択の計算のため，それぞれ干渉音
源 A，B を抑圧するビームフォーマ A，B を事前に構成した．そのため，目的音源区間と 2 つの干渉音源区間が必要となる．
本手法の有効性の調査のため，表 1 の 1 列目に示す 7 パターンの区間を用意した．ここで，全ての音源は音声であるためスパースである．従って各時間周
波数スロットにおいては，複数の音源からなる区間であっても常に同時に存在するとは限らない．評価尺度としては signal-to-distortion ratio (SDR)，signalto-interference ratio (SIR) [14] を用いた．

4.2

結果と考察

SDR と SIR を図 2 に示した．従来法である DUET
は時間周波数マスクにより音源分離を行うため歪みが生じやすく，SDR が低くなっている．一方で提案

日本音響学会講演論文集

Table 2: Experimental conditions
Number of microphones
Distance between microphones
Direction of arrivals
Reverberation time
Sampling rate
FFT frame length
FFT frame shift
Training period
Test period

2
5 cm−50◦ and ±10◦130 ms
8 kHz
1024 samples
256 samples
5s
35 s (5 s × 7)

手法は歪みが少なく，高い性能を示している．
複素値相乗平均と最小値選択の SIR を比べると，常に最小値選択の方が高くなっている．これは図 3に示す指向性から考察できる．図 3(a)，(b) は事前構成されたビームフォーマ A，B の指向性の例である．複素値相乗平均により組み合わせられた指向性の例は図 3(c) に示される．ビームフォーマ A は干渉音源 B の方向に対する制約を持たないため，その方向のゲインは多少増加する可能性がある．例えば
yA に含まれる干渉音源 A のゲインが −25 dB，yB
では 5 dB である時，複素値相乗平均の計算後は約(−25 + 5)/2 = −10 dB となる．この時ビームフォー
マ A は干渉音源 A を抑圧しているが，複素値相乗
平均では抑圧できていない．すわなち，複素値相乗平均では深いヌルを作ることができない．一方で最小値選択ではビームフォーマ A を選択することで抑圧が可能である．
MaxSNR ビームフォーマと MVDR ビームフォー
マを比べると，MVDR が多くの場合に高い性能を示している．特に SDR において MVDR MIN が最高性能を示している．また，興味深いことに SIR では
僅差で MaxSNR MIN が最高性能を示している．これはそれぞれのビームフォーマの性質，及び最小値選択の性質から考察できる．MaxSNR ビームフォーマ
は signal-to-noise ratio (SNR) を最大化し，目的音
源方向に対する制約は持たない．従って干渉音源を良く抑圧しやすく，SIR が高くなる．しかし一方で，
2 つのビームフォーマの出力において目的音の位相もしくはゲインが異なる可能性がある．これは本手法において無視できない問題である．図 4 に，例として MVDR MIN で選択されたビームフォーマを示す．
これにより，各時間周波数スロット毎に 2 つのビー
ムフォーマが頻繁に切り替わる事がわかる．従って，
2 つのビームフォーマ出力の位相もしくはゲインが異なる場合，時間周波数マスキングのように，ビーム
フォーマの切り替えによって歪みが生じてしまう．一方で MVDR ビームフォーマは目的音源方向に対する制約をもち，2 つのビームフォーマ出力の位相とゲインが一致する．従って切り替えによる歪みは生じな
い．これが MVDR MIN が高い SDR を示す理由である．

- 477 -

2018年3月

Target and interferer B Target, interferers A and B

16

Target and interferer A

Target and interferer B Target, interferers A and B

MaxSNR_SOL
MVDR_SOLDUETMaxSNR_VM
MaxSNR_CGM
MVDR_CGM
MaxSNR_MIN
MVDR_MIN

Target and interferer A

MaxSNR_SOL
MVDR_SOLDUETMaxSNR_VM
MaxSNR_CGM
MVDR_CGM
MaxSNR_MIN
MVDR_MIN

12

14

10

SIR [dB]

SDR [dB]

12

8
6
4

10
8
6
4

2

0

MaxSNR_SOL
MVDR_SOLDUETMaxSNR_VM
MaxSNR_CGM
MVDR_CGM
MaxSNR_MIN
MVDR_MINMaxSNR_SOL
MVDR_SOLDUETMaxSNR_VM
MaxSNR_CGM
MVDR_CGM
MaxSNR_MIN
MVDR_MINMaxSNR_SOL
MVDR_SOLDUETMaxSNR_VM
MaxSNR_CGM
MVDR_CGM
MaxSNR_MIN
MVDR_MIN

2MaxSNR_SOL
MVDR_SOLDUETMaxSNR_VM
MaxSNR_CGM
MVDR_CGM
MaxSNR_MIN
MVDR_MIN

0

Fig. 2: Results for each test period (left: SDR, right: SIR)(a) Beamformer A(b) Beamformer B(c) CGM

Fig. 3: Directivity patterns obtained by MaxSNR beamformer[2] T. Higuchi, N. Ito, S. Araki, T. Yoshioka, M. Delcroix,
and T. Nakatani, “Online MVDR beamformer basedon complex Gaussian mixture model with spatial priorfor noise robust ASR,” IEEE/ACM Trans. on Audio,
Speech, and Language Processing, vol. 25, no. 4, pp. 780–
793, April 2017.
[3] O. Yılmaz and S. Rickard, “Blind separation of speech
mixtures via time-frequency masking,” IEEE Trans. on
Signal Processing, vol. 52, no. 7, pp. 1830–1847, 2004.

Fig. 4: Selected beamformer in MVDR MIN foreach test period. Green: beamformer A, blue:
beamformer B

5まとめ

本稿では，2 つのマイクロフォンを用いた非線形音
声強調手法を提案した．本手法は，複数の事前構成されたビームフォーマを組み合わせることで，歪みの少ない音声強調を達成する．我々は組み合わせ方法として，複素値相乗平均と最小値選択を提案した．前者はW-DO が成り立つ場合に干渉音源を抑圧でき，後者は加えて目的音源と 1 つの干渉音源が存在する場合にも干渉音源を抑圧することができる．
提案手法の有効性を確認するため評価実験を行い，少ない歪で音声強調性能を向上させることを確認した．特に最小値選択により MVDR ビームフォーマを組み合わせたときに最高性能を示した．
謝辞
本研究は JSPS 科研費 16H01735, SECOM 科学
技術振興財団, Tsukuba-DAAD Joint Research Program の助成を受けた．また，本研究に関して多くの助言をいただいた FAU Erlangen-Nürnberg の Michael
Burger 氏，Walter Kellermann 教授に謝意を表する．

参考文献[1] S. Makino, T.-W. Lee, and H. Sawada, Blind Speech
Separation, Springer, 2007.

日本音響学会講演論文集[4] S. Rickard, “The DUET blind source separation algorithm,” in Blind Speech Separation, S. Makino, T.-W.
Lee, and H. Sawada, Eds., pp. 217–241. Springer, 2007.
[5] N. Q. K. Duong, E. Vincent, and R. Gribonval, “Underdetermined reverberant audio source separation using afull-rank spatial covariance model,” IEEE Trans. on
Audio, Speech, and Language Processing, vol. 18, no. 7,
pp. 1830–1840, 2010.
[6] Y. Izumi, N. Ono, and S. Sagayama, “Sparseness-based
2ch BSS using the EM algorithm in reverberant environment,” Proc. WASPAA, pp. 147–150, 2007.
[7] H. Sawada, S. Araki, and S. Makino, “Underdetermined convolutive blind source separation via frequency
bin-wise clustering and permutation alignment,” IEEE
Trans. on Audio, Speech, and Language Processing, vol.
19, no. 3, pp. 516–527, 2011.
[8] N. Q. K. Duong, P. Berthet, S. Zabre, M. Kerdranvat,
A. Ozerov, and L. Chevallier, “Audio zoom for smartphones based on multiple adaptive beamformers,” Proc.
LVA/ICA, pp. 121–130, Feb. 2017.
[9] T. Ogawa, S. Takada, K. Akagiri, and T. Kobayashi,“Speech enhancement using a square microphone arrayin the presence of directional and diﬀuse noise,” IEICE
Trans. Fundamentals, vol. E93-EA, no. 5, pp. 926–935,
May 2010.
[10] H. L. Van Trees, Optimum Array Processing,Wiley & Sons, 2002.

John[11] S. Araki, H. Sawada, and S. Makino, “Blind speech
separation in a meeting situation with maximum SNR
beamformers,” Proc. ICASSP, vol. I, pp. 41–45, 2007.
[12] O. L. Frost III, “An algorithm for linearly constrained
adaptive array processing,” Proc. IEEE, vol. 60, no. 8,
pp. 926–935, 1972.
[13] H. Katahira, N. Ono, S. Miyabe, T. Yamada, and
S. Makino, “Nonlinear speech enhancement by virtualincrease of channels and maximum SNR beamformer,”
EURASIP Journal on Advances in Signal Processing,vol. 2016, no. 1, pp. 1–8, Jan. 2016.
[14] E. Vincent, R. Gribonval, and C. Févotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. on Audio, Speech, and Language Processing, vol.
14, no. 4, pp. 1462–1469, 2006.

- 478 -

2018年3月