391

日本音響学会誌 70 巻 7 号（2014），pp. 391–396

小特集—マイクロホンアレイの新しい技術展開—

非同期分散マイクロホンアレイに基づく音響信号処理*
小 野 順 貴（国立情報学研究所/総合研究大学院大学）∗∗・宮 部 滋 樹，牧 野 昭 二（筑波大学）∗∗∗43.60.−c

1. は じ め にた録音機器によりマイクロホンアレイ信号処理が可能になれば，その利便性は大きく，適用範囲をマイクロホンアレイは，複数のマイクロホンに格段に広げることができる。こうした別々の録音より音場の空間的な情報を取得し，単一マイクロ機器による多チャンネル録音に基づくアレイ信号

ホンでは困難な，音源定位，音源強調，音源分離処理の枠組みは，近年，非同期分散マイクロホンなどを行う枠組みである。一般には，用いられるアレイ，アドホックマイクロホンアレイ1 などと呼マイクロホンの数が多いほど得られる空間情報がばれ，国内外で近年関心が高まりつつある [1]。

多くなるため，制御できる指向性の自由度が増加

本稿では，非同期分散マイクロホンアレイの新し，また，マイクロホンを広範囲に配置することしい展開について，関連研究と共に著者らの取りができるほどカバーできる範囲が広がり，定位や組みを紹介する。なお，本稿では特に，非同期マ分離の性能向上が期待できる。

イクロホンアレイにおけるチャンネル非同期の影

しかしながら，マイクロホンアレイ信号処理に響，音源分離や音源強調，並びにその応用についておいては，厳密な同期録音が必要不可欠であるこ中心に紹介する。著者らの別の解説論文 [2, 3] や，とが大きな制約条件となる。これは，マイクロホ同じ本小特集の中臺先生の解説論文と併せて参照

ンアレイ信号処理では，各マイクロホンで録音さいただきたい。

れる信号間の微小な時間差（例えば，経路長 3.4 cm2. チャンネル非同期がアレイ信号処理に与える影響に対して 100 µs）が音源の空間情報の主要な手がかりとなっているためである。よって従来は，各チャンネルを正確に同期させるために，すべての一般に非同期分散マイクロホンアレイにおいてチャンネルは多チャンネル A/D 変換機に接続さは，通常マイクロホン位置は未知であり，各録音チャれ，同一クロックによりサンプリングされる必要ンネルは同期していない。いわゆるビームフォーがあり，これがマイクロホンアレイの多素子化やミングや音源定位を行うためには，マイクロホン分散配置などに対して大きなコストを生じる主要位置の推定も必要となるが，SN 比最大化ビーム因の一つとなっていた。

フォーマ [4] や独立成分分析 [5] など，音源強調，一方，我々の身の周りには，録音機能を持つ機器

音源分離手法の中には，マイクロホンの位置情報が多数存在している。音を録音することが目的でを必要としない手法もある。そこでここでは主に，あるボイスレコーダや，通話を目的としたスマーチャンネル非同期の影響について考える。

トフォンにとどまらず，ラップトップ PC やタブ

非同期の主な要因には，1) 録音を開始する時刻

レット端末の多くも録音機能を有しているし，動が同一でないこと，2) サンプリング周波数が同一画撮影機能を持つディジタルカメラやビデオカメでないこと，の二つがある。前者は定常的な時間ラも録音機器として用いることができる。こうし軸シフトを，後者は時間軸の伸縮をもたらし（図–1∗Acoustic signal processing based on asynchronousand distributed microphone array.
∗∗Nobutaka Ono (NII, Tokyo, 101–8430/SOKENDAI)
e-mail: onono@nii.ac.jp∗∗∗
Shigeki Miyabe and Shoji Makino (Tsukuba University, Tsukuba, 305–8573)

参照），信号処理には異なる影響を及ぼす。定常的な時間シフトについては，信号間の相互相関が最大となるように信号をシフトすることで十分な場
1

録音機器同士の通信を前提とする場合には，ワイヤレス
アコースティックセンサネットワークとも呼ばれる。

392

日本音響学会誌 70 巻 7 号（2014）

0.2 sin 30◦ /340.0 × 16,000  4.7(2)で，約 4.7 サンプルに相当する。つまり，31.25 ppmという微小なサンプリング周波数のずれが引き起こす時間差は，10 秒間に音源が正面から 30 度方向に移動したのと区別がつかないことになる。当然のことながら，このままでは，チャンネル間の時間差からは音源位置情報が得られない。また，多くの線形アレイ信号処理においては，音源からマイクロホンまでの伝達関数は線形時不変であることが仮定されているため，こうしたチャンネル間図–1 サンプリング周波数ミスマッチの影響(a) 連続波形，(b) 離散波形の時間差のドリフトは，音源分離などにも深刻な破綻を引き起こす [6, 7]。

合も多い。音源からマイクまでの伝達関数は，SN比最大化ビームフォーマにおいては学習区間の信号から，独立成分分析においてはブラインドに推3. サンプリング周波数ミスマッチのブラインド補償に基づくブラインド音源分離定されるため，たとえ信号間に小さな一定のシフサンプリング周波数ミスマッチの問題に対するト誤差が残っていても，あまり問題にならないた

一つの解決法は，ミスマッチ度合いを推定し，補償めである。しかしながら，サンプリング周波数のした後に，従来のアレイ信号処理を適用することミスマッチは重大な問題となる。

である。前述のように，サンプリング周波数ミス

いま，録音機器 1, 録音機器 2 のサンプリング周波数を f1 ，f2 で表すと，音源から到来する信号を 2 回観測できれば，それらの間隔の比率からサンプリング周波数ミスマッ

f2ε=−1f1(1)チが推定できる [8] し，観測信号のみからの，サンプリング周波数ミスマッチのブラインド推定とが，録音機器間の相対的なサンプリング周波数ミスマッチを表す無次元量となる。ε は，10 ppm（ppmは parts per milion で 10マッチは離散波形の伸縮を引き起こすため，同一−6補償も検討されつつある [7, 9]。
前述のように，サンプリング周波数ミスマッチを表す）の数倍程度にはチャンネル間の時間差のドリフトはを引き起こ収まることが多い。しかし，こうしたわずかなミし，これはすべての音源の位置を疑似的に移動さスマッチがアレイ信号処理に与える影響は大きい。

せるような効果を生じる。逆に言えば，音源が移例えば，録音機器 1，2 のサンプリング周波数を動しないことを仮定できる場合には，チャンネル16,000 Hz，16,000.5 Hz とし，これらを 20 cm だ
け離した配置で，正面方向の音源信号を 10 秒間間時間差ができるだけ定常になるように（音源位録音を行ったとしよう。また，簡単のため，同時プリング周波数ミスマッチを補償するアプローチに録音を開始したと考える。このときサンプリンが考えられる。我々は近年，STFT（Short-Time

グ周波数ミスマッチは，31.25 ppm であり，直感Fourier Transfrom）領域において，定常な確率モ的には十分小さいように思われる。しかしながら

デルに基づく最尤法により，サンプリング周波数10 秒間の音響信号は，録音機器 1 では 160,000 サンプル，録音機器 2 では 160,005 サンプルに相当する。すなわち，正面方向から到来する音波は 1,2 に同時に届くが，サンプリング周波数ミスマッ
チにより，10 秒間の録音信号の最後では 5 サンプ

ミスマッチを推定し，補償する手法を提案していさのデータに対するサンプリング周波数の補正精ルずれることになる。

度を平均二乗誤差（RMSE）で評価した実験結果の一方，30 度方向から到来する音波に対する到来時間差は，置ができるだけ動かないように）することで，サンる。ここでは手法の詳細は文献 [10–14] を参照いただくこととし，幾つかの実験結果を紹介する。
まず，複数話者の混合音声を録音した，複数の長例 [11, 12] を図–2 に示す。最も短い 3 秒の観測信号でも RMSE は元のサンプリング周波数ミスマッ

393

非同期分散マイクロホンアレイに基づく音響信号処理分かる。また，サンプリング周波数ミスマッチをブラインドに推定して補償する提案手法は，正しい ε を与えた場合とほとんど性能差がなく，提案手法の最尤推定は性能限界に近い高い精度でサンプリング周波数ミスマッチ ε を推定できているということを示している。
以上より，非同期チャンネルの録音であっても，音源が動かないと仮定できる場合には，こうした図–2 推定されたサンプリング周波数ミスマッチ ε の平均二乗誤差 [11]手法によりブラインドにチャンネルを同期化し，ブラインド音源分離が適用できると考えられる。また，我々は，符号化録音に対しても，本手法が破綻せず動作することを実験により確認している [17]。

4. 伝達関数ゲイン基底 NMF を用いた非同期録音に対する教師あり音源分離
非同期分散マイクロホンアレイでは，アレイ素子として別々の録音機器を用いることができるた
め，関心のある個々の音源の近くにマイクロホンを配置することができる場合も多い。こうした場
合には，チャンネル間の時間差だけでなく，チャンネル間の振幅比も，音源を区別する重要な手が
図–3 サンプリング周波数ミスマッチ補償のブラインド音
源分離による性能評価 [11, 12]

かりとなる。そこで我々は，STFT 領域での振幅情報のみを用い，非同期録音に頑健な音源分離手法についても検討している。

チ ε の 10 分の 1 以下に収束し，データが増えるに通常，マイクロホンアレイにおける混合過程は，つれて急速に小さくなる。この実験より，観測信

STFT 領域上での複素スペクトルに対する線形混号の定常性を仮定した手法の有効性が確認できる。

合として次に，サンプリング周波数のミスマッチを提案手法により補償することで，音源分離の性能が回復すX(τ, ω) = A(ω)S(τ, ω)(3)ることを確かめるための分離精度評価を行った例をのように表現される。ここで，X(τ, ω)，S(τ, ω)示す。分離フィルタの学習は，与えられた観測信号は多チャンネル観測信号の STFT 表現，A(ω) は全体を使って補助関数型独立ベクトル分析 [15] に混合行列を表す。しかしながら前述のように，サより行った。分離性能評価には BSS Toolbox [16]ンプリング周波数ミスマッチの影響により，チャを用い，評価尺度としては SDR（Signal to Dis-ンネル間の時間差がドリフトし，みかけ上の混合tortion Ratio）を用いた。
実験結果を図–3 に示す。まず未処理の分離性能過程が時間と共に変化するような場合には，このが非常に低い値を示していることから，この条件でここでは代わりに，振幅スペクトルに対して近はサンプリング周波数ミスマッチの補償をしなけ似的に線形混合が成立すると仮定する。すなわち，れば音源分離ができない厳しい条件であるということが分かる。次に，ε の正しい値を与えた位相補ような線形時不変の混合モデルは成り立たない。

X̄(τ, ω)  Ā(ω)S̄(τ, ω)(4)

償はサンプリング周波数ミスマッチがない場合よ

ただし，X̄(τ, ω)，S̄(τ, ω) は，X(τ, ω)，S(τ, ω)

りも SDR が 2 dB 程度低いだけであり，BSS のたの要素ごとに絶対値をとったベクトル (振幅スペ

めのサンプリング周波数ミスマッチ補償に STFT

クトルベクトル)，Ā(ω) は，各音源から各マイク領域における位相補償が有効であるということがロホンまでの伝達関数のゲインを要素とする混合

394

日本音響学会誌 70 巻 7 号（2014）

図–5 同期録音に対する伝達関数ゲイン基底 NMF の音源
分離性能 [20]図–4

評価実験におけるマイク配置 [20]表–1 非同期録音を模擬するために設定したサンプリング周波数

Mic 1
Mic 2
Mic 3
Mic 4

16,000 Hz
16,001 Hz
16,002 Hz
16,003 Hz

行列となる。
このような振幅領域での混合モデルを用いたビームフォーマ [18] も提案されている。また，これら

図–6 非同期録音に対する伝達関数ゲイン基底 NMF の音
源分離性能 [20]がすべて要素が非負の行列であることに着目すると，非負値行列分解（Non-negative Matrix Fac-音データを生成したものを対象とした。分離性能torization; NMF）の適用も考えられる [19]。ただし，時間周波数領域での NMF と異なり，時間チャンネル領域での NMF の場合には，優決定で評価には前述の BSS Toolbox [16] を用い，評価尺度としては SDR を用いた。また，評価は，未処理（No processing）のほか，教師あり伝達関数ゲインいことが多い。そのような場合には，NMF の低NMF を板倉斎藤ダイバージェンス規準（SNMFISdiv），I ダイバージェンス規準（SNMF-Idiv），
フロベニウスノルム規準（SNMF-Fnorm）で適用

ランク近似としての拘束力が弱く，観測行列をブしたものに対して行った。

あったとしても，チャンネル数（観測行列の行数）と音源数（基底数）がそれほど大きくは変わらなラインドに分解することは難しい。よって我々は同期録音の SDR を 図–5 に，非同期録音の SDR

まず，各音源に対する単一音源観測が教師信号とを図–6 に示す。未処理の場合と比較して，教師あして得られることを仮定し，あらかじめ Ā(ω) をりの伝達関数ゲイン基底 NMF では各観測信号に学習した後，観測信号 X̄(τ, ω) に対して，S̄(τ, ω)

おいて SDR が大きく向上している。また，同期のみを更新していく，教師あり NMF の適用を非録音と非同期録音の結果にほとんど差が見られな同期録音に対して検討している。以下では，実際いことから，この手法が非同期録音に頑健であり，の会議録音を想定した非同期録音データにより，アドホックマイクロホンアレイにおける目的音強教師あり NMF による音源分離の性能を評価した調に適した手法であることが確認できる。現状は

例 [20] を示す。

教師信号を必要とする手法であるが，より適用をまず，分離性能を定量評価するために，図–4 のようなマイク・話者配置で話者ごとに同期録音を行い，その後，話者ごとの録音を足し合わせて混合した後，マイクごとに表–1 に示すサンプリング周波数でリサンプリングを行って人工的に非同期録容易にするためには今後はブラインド化の検討が必要と思われる。

5. 非同期分散マイクロホンアレイの応用例
非同期分散マイクロホンアレイは，特別な機器

395

非同期分散マイクロホンアレイに基づく音響信号処理

図–7 アドホックマイクロホンアレイによる交通量モニタ
リング

図–8

予備収録を行った筑波大学キャンパス内の道路

図–9

各走行方向に対する極大値と真の通過時刻 [23]を必要とせず，身の回りにある汎用的な録音機器を用いることができ，また，配線を考慮することなくシステムを構築できる柔軟性が大きく，様々な応用可能性があると考えられる。モバイル端末の録音を用いた会議議事録の自動作成などは典型的なシナリオの一つであるし，危険な異常音の位置推定 [21] などにも応用可能と思われる。
ここでは音による監視システムの一つとして，交通量モニタリングへの応用を紹介しよう。道路の交通量を把握することは渋滞緩和や道路整備などのために重要であり，定点観測のためには，ループ型センサのほか，超音波センサ，赤外線センサ，かな変動により，車両通過時刻に対応しないピー画像処理などが用いられている [22] が，これらのクが現れるなどの問題が生じる。よって我々は，設置や維持にかかるコストは少なくない。カメラ

1) ウィーナフィルタによる雑音抑圧，2) パワーの平滑化，3) 閾値処理によるピーク検出，を試みた。

によって撮影された動画に対して画像処理を行う手法も試みられているが，動画はデータが膨大にまた，車両の走行車線推定も試みた2 。車線になる他，暗いところでは精度がでない問題がある。

よって両側のマイクロホンからの距離が異なるこ

これに対し図–7 のように，道路の両端に録音機器とから，チャネル間で時間差が生じると考えられを設置するだけアドホックマイクロホンアレイをる。ただしこの時間差を検出するためには，チャ構成し，音響信号から道路の交通量を推定するこンネルが同期している必要がある。ここでは，録とができるようになれば，設置のコストも大幅に音の最初と最後に，道路の中央付近でから同期用削減でき，昼夜問わず交通量のモニタリングが容の音響信号を発し，これを用いて録音時刻のオフ易になることが期待できる。

セットとサンプリング周波数ミスマッチを補償しここでは図–8 に示すように，筑波大学近辺の 2て同期させ [8]，その後，各チャンネルのパワーの車線道路において，道路の両側のほぼ同じ位置に極大値の時間差を検出した。また，走行音の録音設置した IC レコーダにより車両の走行音を観測と共に車両の走行を動画として撮影し，録画後にし，通過車両数の推定を試みた我々の実験例 [23]

人手で車両の走行方向と通過時刻のラベリングをを紹介する。

行い，比較を行った。走行車両に対するパワーの車両がほぼ定速走行している場合には，車両が極大値と真の通過時刻の比較の例を図–9 に，またマイクロホンに一番接近した時刻で録音信号のパ各走行方向の真の交通車両数と推定交通車両数をワーが極大になり，パワーのピーク検出により通表–2 に示す。この結果から，パワー検出に基づく過車両数が推定できることが期待される。しかしながら実際には，周囲の雑音の影響や，走行音の細2

2 車線道路ではこれにより，車両の走行方向が推定できる。

396
表–2

日本音響学会誌 70 巻 7 号（2014）
各走行方向の真の交通車両数と推定交通車両数 [23]右真の交通車両数
推定交通車両数
真の通過時刻と一致した推定交通車両数

左26 3827 40
22 35

単純な手法でも，比較的高い精度で走行車両の進行方向の推定ができていることが分かる。
今後は，ビームフォーミングや音源分離手法と組み合わせることで，精度向上と共に，走行車両が多く，混雑している道路への適用可能性を検証していく予定である。

6. お わ り に
本稿では，非同期分散マイクロホンアレイという新しいマイクロホンアレイを用いた音響信号処理について紹介した。引用した文献と併せて参照していただくことで，本稿が読者の一助となれば幸いである。
謝

辞本研究の一部は，科学研究費補助金基盤研究（B）（課題番号 25280069）の助成を受けて行ったものである。また，4 章の内容は，筑波大学大学院の千葉大将氏，山田武志准教授，ヤマハ株式会社の高橋祐氏との共同研究，5 章の内容は，筑波大学大学院の豊田卓矢氏との共同研究として行ったものであり，図–7 に示したイラストは，アトリエ・サルバドールの益冨恵子氏に描いていただいたものである。あわせてここに謝意を表する。
文献[ 1 ] A. Bertrand, “Applications and trends in wirelessacoustic sensor networks: A signal processing perspective,” Proc. Symp. Communications and Vehicular Technology (SCVT ) (2011).
[ 2 ] 小野順貴, Trung-Kien Le, 宮部滋樹, 牧野昭二, “アドホックマイクロホンアレイ—複数のモバイル録音機器で行う音響信号処理—,” 信学会 Fundam. Rev., 7, 336–347(2014).
[ 3 ] https://www.jstage.jst.go.jp/article/essfr/
7/4/7 336/ pdf[ 4 ] H.L. Van Trees, Ed., Optimum Array Processing(John Wiley & Sons, New York, 2002).
[ 5 ] A. Hyvärinen, J. Karhunen and E. Oja, Indepen-dent Component Analysis (John Wiley & Sons, NewYork, 2001).
[ 6 ] E. Robledo-Arnuncio, T.S. Wada and B.-H.
Juang, “On dealing with sampling rate mismatchesin blind source separation and acoustic echo cancellation,” Proc. WASPAA, pp. 34–37 (2007).
[ 7 ] Z. Liu, “Sound source separation with distributed
microphone arrays in the presence of clock synchronization errors,” Proc. IWAENC (2008).
[ 8 ] R. Sakanashi, N. Ono, S. Miyabe, T. Yamada andS. Makino, “Speech enhancement with ad-hoc microphone array using single source activity,” Proc. APSIPA, Oct. (2013).
[ 9 ] S. Markovich-Golan, S. Gannot and I. Cohen,“Blind sampling rate oﬀset estimation and compensation in wireless acoustic sensor networks with application to beamforming,” Proc. IWAENC (2012).
[10] 宮部滋樹, 小野順貴, 牧野昭二, “非同期録音信号の線形位相補償によるブラインド同期と音源分離への応用,”
音講論集, pp. 689–690 (2012.9).
[11] 宮部滋樹, 小野順貴, 牧野昭二, “非同期録音ブライン
ド同期のための線形位相補償の効率的最尤解探索,” 音講論集, pp. 733–734 (2013.3).
[12] S. Miyabe, N. Ono and S. Makino, “Blind compensation of inter-channel sampling frequency mismatch with maximum likelihood estimation in STFT
domain,” Proc. ICASSP, pp. 674–678 (2013).
[13] 宮部滋樹, 小野順貴, 牧野昭二, “非整数サンプルシフトのフレーム分析を用いた非同期録音の同期化,” 音講論集, pp. 593–596 (2013.9).
[14] S. Miyabe, N. Ono and S. Makino, “Optimizing
frame analysis with non-integer shift for samplingmismatch compensation of long recording,” Proc.
WASPAA (2013).
[15] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary functiontechnique,” Proc. WASPAA, pp. 189–192 (2011).
[16] E. Vincent, C. Fevotte and R. Gribonval, “Performance measurement in blind audio source separation,” IEEE Trans. Acoust. Speech Signal Process.,
14, 1462–1469 (2006).
[17] 宮部滋樹, 小野順貴, 牧野昭二, 高橋 祐, “非同期マ
イクロホンアレーの符号化録音におけるビットレートと同期性能の関係,” 音講論集, pp. 725–726 (2014.3).
[18] 加古達也, 小林和則, 大室 仲, “非同期分散マイクア
レーのための振幅スペクトルビームフォーマの提案,” 音講論集, pp. 829–830 (2013.3).
[19] 戸上真人, 川口洋平, 小窪浩明, 大淵康成, “音源のチャンネル間振幅差を基底ベクトルとする音源分離,” 音講論集, pp. 803–804 (2010.3).
[20] 千葉大将, 小野順貴, 宮部滋樹, 山田武志, 牧野昭二,高橋 祐, “伝達関数ゲイン基底 NMF による分散配置非同期録音における目的音強調の検討,” 音講論集, pp. 757–760 (2014.3).
[21] http://www.shotspotter.com/（参照 2014-05-27）.
[22] 飯田恭敬, 北村隆一, 交通工学（オーム社, 東京, 2008）.
[23] 豊田卓矢, 宮部滋樹, 山田武志, 小野順貴, 牧野昭二,“分散型マイクロホンアレイを用いた交通量モニタリン
グ,” 2014 信学総大, p. 151 (2014.3).