1-P4-6
伝達関数ゲイン基底 NMF による分散配置非同期録音における目的音強調の検討∗☆千葉大将 (筑波大), 小野順貴 (NII/総研大),宮部滋樹, 山田武志, 牧野昭二 (筑波大), 高橋 祐 (ヤマハ)1

はじめに携帯電話やボイスレコーダなどの非同期録音機器を分散配置する非同期分散型マイクロホン
アレーはマイク数や配置等の構成が柔軟であるため、高い SN 比での収音が期待できる。しかし、非同期機器間のサンプリング周波数のずれにより、ディジタル信号処理時に各機器間の位相差が時間とともに変化するため、非同期録音では従来のマイクロホンアレー信号処理は性能が劣化してしまう。そのため、非同期録音において従来のマイクロホンアレー信号処理を適用することを目的とした非同期録音に対する同期補正 [1][2] が研究されているが、同期時の誤差にアレー信号処理の性能が左右される。そこで、同期誤差に頑健なマイクロホンアレー信号処理手法として、振幅情報のみを用いた SN 比最大化ビームフォーマによる目的音強調 [3] のような各音源の位相情報に依存しない振幅ベースの手法が提案されている。
本稿では、分散配置の容易さを活かし、各音源の近くにマイクロフォンを配置できる場合には観測信号間のゲイン比が音源毎に明確に異なることを利用し、伝達関数のゲインを基底とする非負値行列因子分解 (NMF: Non-negative MatrixFactorization)[4] による時間周波数マスキングが非同期録音において頑健な目的音強調手法であることを検証する。評価では、非同期分散型マイクロホンアレーを利用した会議録音を想定した録音データを用いて、ある特定の話者のみが発話している単一音源区間より伝達関数ゲイン基底を学習した教師あり NMF[5] による目的音強調性能を確認する。

2

伝達関数ゲイン基底 NMF を用いた時間周波数マスキング問題設定

2.1

本稿では信号を時間周波数領域での複素振幅として表現する。また、i 行 j 列に Xij を成分として持つ I × J の行列 X を X = [xij ]ij ∈ CI×J∗ܵଵ‫ܣ‬ଵଵܹଵܺଵ‫ܣ‬ெଵܻଵ‫ڭ‬‫ڭ‬ܵ௄

Fig. 1‫ܣ‬ଵ௄‫ܣ‬ெ௄ܹ௄ܺெܻ௄

Mixture model for speech enhancement.と表すこととする。
Fig 1 に混合モデルを示す。非同期分散型マイクロホンアレーによる多チャネルの観測信号を、X(ω) ≈ A(ω)S(ω)

(1)
M ×N

(2)

A = [Amk ]mk ∈ CM ×K(3)

S = [Skn ]kn ∈ C(4)

X = [Xmn ]mn ∈ C

K×Nと表す。ここで、ω は周波数ビン番号、N は時間フレーム数、M はマイクロホン素子数、K は音源数であり、音源 k における n 番目の時間フレームの音源を Skn (ω)、マイク m における n 番目の時間フレームの観測信号を Xmn (ω)、m 番目のマイクロホン素子と K 番目の音源間の伝達関数を Amk (ω) とする。時間周波数領域での目的音強調では、音源 k を目的音として収録したマイク m における観測信号 Xmn (ω) より音源 k を強調する時間周波数領域マスク Wkn (ω) を用いて、Ykn (ω) = Wkn (ω, k)Xmn (ω)(5)として目的信号を強調した信号 Ykn (ω) を得る。
ここで、0 ≤ Mk (ω) ≤ 1 であり、本稿ではマイク m で観測する信号は音源 k = m が目的信号であると仮定する。以降の議論は本節同様に周波数独立のモデル化と処理を議論し、全ての処理は周波数ビン毎に行うため、周波数を表す記号 ωは省略する。

Speech enhancement by non-negative matrix factorization based on transfer function gain forasynchronous distributed recording. by Hironobu CHIBA (University of Tsukuba), Nobutaka
ONO (National Institute of Informatics / The Graduate University for Advanced Studies),
Shigeki MIYABE, Takeshi YAMADA, Shoji MAKINO (University of Tsukuba), Yu TAKAHASHI(Yamaha)

日本音響学会講演論文集- 757 -

2014年3月

&KDQQHO

7LPHIUDPH

6RXUFH

Fig. 2 In channel-time domain representationof observed signals for each frequency bin.
2.2

チャネル時間領域における伝達関数ゲイン
基底 NMF式 (1) のように複素数の積和で表される時間周波数領域の観測信号を、次式のように振幅スペクトル領域の関和で近似し、Fig 2 のような伝達関数ゲインを基底とした NMF により、X̄ ≈ ĀS̄
X̄ = [|Xmn |]mn ∈ CĀ = [Amk ]mk ∈ C
S̄ = [Skn ]kn ∈ C

M ×N

M ×K

K×N(6)

として与える。ここで、パラメタ α は非目的信号の伝達関数ゲインの初期値であり、α ≪ 1 となる任意の正の実数である。

(7)

2.3

(8)

前節の伝達関数ゲイン基底 NMF は、基底として各話者ごとの伝達関数ゲインを用いていることから、ある話者のみが発話している単一音源区間において伝達関数ゲイン基底を学習することでより最適解に近い解を得ることができると考えられる。伝達関数ゲイン基底の学習は、まず各音源ごとに伝達関数ゲイン基底ベクトルを学習する。
すなわち、音源 k のみの単一音源区間において、式 (10)、(11) の更新式による伝達関数ゲイン基
底 NMF を行い、音源 k におけるランク１の伝達関数ゲイン基底行列 ak = [amk ]mk ∈ CM ×1 を得る。そして音源 k ごとに得られた伝達関数ゲイン基底行列を結合することで、伝達関数ゲイ()ン基底行列 Ā = ā1 · · · āK を学習する。目的音強調区間では、基底行列の初期値として学習した基底行列 Ā を与え、アクティベーション行列のみ式 (10) で更新する。

(9)

として各パラメタを推定することを考える。ここで Āmn ≥ 0 は m 番目のマイクロホン素子と k 番目の音源間の伝達関数ゲインの推定値、S̄kn ≥ 0は n 番目の時間フレームにおける第 k 音源の振幅の推定値を表す。本稿では β-divergence 規準
NMF[6] による以下の乗法型更新式、(∑S̄kn ← S̄kn

(∑
Āmk

← Āmk∑Āmk S̄kn )β−2 Āmk
∑ ∑ k
β−1 Ā
mkk Āmk S̄kn )m(m X̄mn (∑Āmk S̄kn )β−2 S̄kn
∑ ∑ kβ−1 S̄knn(k Āmk S̄kn )n X̄mn ()ψ(β)(10))ψ(β)(11)を更新することで局所的最小解を得る。ここで、
1 (2−β) β ≥ 1(12)ψ(β) =
11≤β≤2
 1(β−1) β ≤ 2であり、β = 0 の場合は板倉斎藤ダイバージェンス規準、β = 1 の場合は I ダイバージェンス規準、β = 2 の場合はフロベニウスノルム規準での更新式となる。また、式 (10)、(11) の更新ごとに基底を、

Ā
∑ mkĀmk(m)∑←Āmk S̄kn

Āmk ←S̄knm

日本音響学会講演論文集として正規化する。
以上の NMF アルゴリズムにより伝達関数ゲインを表す基底行列が周波数ビンごとに得られるが、周波数領域 ICA などの従来の音源分離手法と同様に、それぞれの周波数ビンにおいて分離信号の各周波数成分が異なる順番で現れるというパーミュテーション問題が発生する。ここで、本稿で扱う分散型マイクロホンアレー配置では、各マイクにおける非目的信号の伝達関数ゲインの値は目的信号の伝達関数ゲインよりもはるかに小さいと仮定できるため、基底行列の初期値設定によってパーミュテーション問題の発生を抑制する。具体的には、k 番目の音源を目的信号とするマイク番号を m = k とし、基底行列 Ā の初期値を、{
1 (m = k)Āmk =(15)α (m ̸= k)

2.4

ウィーナーフィルタによる時間周波数領域マスキング

時間周波数領域でのウィーナーフィルタによる目的音 k を強調するマスク Wkn は信号 k の推定()2
パワー値 Āmk S̄kn より、()2
Āmk S̄kn
Wkn = ∑ ()2k Āmk S̄kn

(13)
(14)

伝達関数ゲイン基底の学習(16)として求めることができる。

- 758 -

2014年3月



Table 1 Recording environment.
マイクロホンSHURE SM57
Power amp.
YAMAHA XM4080
AD/DA
Steinberg UR824
机
0.6 m×1.7 m×0.7 m
マイク-話者間距離0.6m
話者
日本人男性４人
気温18.4 ℃
湿度37 %

DŝĐ ϭDĂůĞϭDŝĐ ϰDĂůĞϰDŝĐ ϮDŝĐ ϯ

DĂůĞϯDĂůĞϮ

Fig. 3 Arrangement of microphones using onevaluation.

3

評価実験

3.1

実験条件

実際の会議録音を想定した録音データにより提案手法の性能を評価した。提案手法が非同期録音で発生するような機器間のサンプリング周波数の違いによる位相差ずれに頑健な手法であることを示すために、同期録音データ及び非同期録音データで評価を行った。録音データは、Fig.
3 のようなマイク・話者配置とし、同期された分散型マイクロホンアレーにより話者ごとに Table
1 のような環境で録音した。録音後、マイク毎にTable 2 に示すサンプリング周波数でリサンプリングを行って人工的に非同期録音データを生成した。
実験条件を Table 3 に示す。評価尺度は SDR(Signal to Distortion Ratio) と SIR (Source toInterference Ratio) を用いた [7]。SDR は出力音の歪み、SIR は非目的信号の抑圧率を評価する尺度となっており、値が大きいほど目的音強調の性能が良いことを示す。評価値は、未処理 (Noprocessing)、板倉斎藤ダイバージェンス規準の教師あり伝達関数ゲイン NMF (SNMF-ISdiv)、I ダ
イバージェンス規準の教師あり伝達関数ゲインNMF (SNMF-Idiv)、フロベニウスノルム規準の教師あり伝達関数ゲイン NMF (SNMF-Fnorm)
における各観測信号ごとに算出する。

3.2

評価結果

同期録音の SDR を Fig. 4 に、非同期録音のSDR を Fig. 5 に示す。また、同期録音の SIRを Fig. 6 に、非同期録音の SIR を Fig. 7 に示す。未処理の No processing と比較して、教師ありの伝達関数ゲイン基底 NMF では各観測信

日本音響学会講演論文集

Table 2 Setting artificial sampling frequency
mismatches for each microphones in asynchronous recording.
Mic 1 16,000 Hz
Mic 2 16,001 Hz
Mic 3 16,002 Hz
Mic 4 16,003 Hz
Table 3 Experimental condition.
マイクロホン素子数4
音源数
416 kHzサンプリング周波数
フレーム長4096 samples
1
シフト長
2 フレーム90 sec
音声長
基底行列の学習区間
0 - 10 sec
70 - 80 sec
目的音強調区間β ダイバージェンス β = 0.0, 1.0, 2.0
α = 0.25
基底行列初期値 α
NMF 更新回数200 回号において SDR、SIR ともに大きく向上している。また、同期録音と非同期録音の結果を比較したところ、対応する各値に差が見られないことから、提案手法が機器間の位相差ずれに頑健であり、非同期分散型マイクロホンアレーにおける目的音強調に適した手法であることが確認できた。なお、実験条件は同じではないが、[1] では SDR が 5 dB 程度の音声に対して位相情報を用いたアレイ信号処理（独立ベクトル分析）で音源分離を行った結果を行った結果、同期の場合は20 dB 程度分離できる場合でも、サンプリング周波数が最大で ±1.5Hz ほどずれただけで 0 dB 付近まで低下することが示されている。

4まとめ

本稿では、非同期録音に頑健な目的音強調として複数マイクロホン素子間の伝達関数ゲイン- 759 -

2014年3月

1RSURFHVVLQJ610),6GLY610),GLY610))QRUP㻟㻜6,5>G%@
6,5>G%@

6'5>G%@

1RSURFHVVLQJ610),6GLY610),GLY610))QRUP㻟㻡㻞㻡㻞㻜㻝㻡㻝㻜

㻡

㻜

0DOH

0DOH

0DOH

㻹㼍㼘㼑㻌㻝
0DOH

0DOH

Fig. 4 SDR values of proposal method on asynchronous recording.

㻹㼍㼘㼑㻌㻠0DOH



1RSURFHVVLQJ610),6GLY610),GLY610))QRUP


6,5>G%@㻹㼍㼘㼑㻌㻟
0DOH

Fig. 6 SIR values of proposal method on a synchronous recording.

1RSURFHVVLQJ610),6GLY610),GLY610))QRUP㻹㼍㼘㼑㻌㻞
0DOHSource
Sourcenamename

Source name6'5>G%@㻮㼍㼟㼑㼘㼕㼚㼑㻺㻹㻲㻙㻵㻿㼐㼕㼢㻿㻺㻹㻲㻙㻵㻿㼐㼕㼢㻺㻹㻲㻙㻵㼐㼕㼢㻿㻺㻹㻲㻙㻵㼐㼕㼢

0DOH

0DOH

0DOH

0DOH

0DOH

0DOH

0DOH

0DOH

Source name

6RXUFHQDPH

Fig. 5 SDR values of proposal method on an
asynchronous recording.の差に基づく NMF を用いた時間周波数マスキングの性能を評価した。評価の結果、教師あり
伝達関数ゲイン NMF によって時間周波数マスキングは元の信号よりも SDR、SIR が大きく向上しており、位相ずれに頑健で非同期録音に対して使用可能な目的音強調手法であることを確認した。

参考文献[1] 宮部 他, “非整数サンプルシフトのフレーム分析を用いた非同期録音の同期化, ” 音講論(秋) , pp. 593-596, 2013.

Fig. 7 SIR values of proposal method on anasynchronous recording.
803-804, 2010.
[5] P. Smaragdis et al., “Supervised and semisupervised separation of sounds from singlechannel mixtures,” in Proc.ICA 2007, pp.
414-421, 2007.
[6] R. Kompass, “A generalized divergencemeasure for nonnegative matrix factorization,” Neural Computation,19(3), pp. 780791, 2007.
[7] E. Vincent et al., “Performance measurement in blind audio source separation,”
IEEE Trans. ASLP, 14(6), 1462-1469, 2006.

[2] R. Sakanashi et al., “Speech enhancementwith ad-hoc microphone array using single source activity, ” in Proc. APSIPA2013,OS.21-SLA.7.5, 6 pages, Oct. 2013.
[3] 加古 他, “非同期分散マイクアレーのための振幅スペクトルビームフォーマの提案,” 音講論 (春) , pp. 829-830, 2013.
[4] 戸上 他, “音源のチャンネル間振幅差を基底ベクトルとする音源分離,” 音講論 (春) , pp.

日本音響学会講演論文集- 760 -

2014年3月