1P2-P04
柔軟索状ロボットにおける独立低ランク行列分析と統計的音声強調に基づく高品質ブラインド音源分離の開発
Development of High Quality Blind Source Separation Based on Independent Low-Rank Matrix
Analysis and Statistical Speech Enhancement for Flexible Hose-Shaped Robot○学

三井 祥幹（東大）
猿渡洋（東大）北村 大地（総研大）石村大（筑波大）高草木 萌（筑波大）
山岡 洸瑛（筑波大）

溝口聡（東大）越智 景子（NII）
小野 順貴（NII/総研大）前成美（筑波大）松井裕太郎（筑波大）
牧野 昭二（筑波大）

Yoshiki MITSUI, The University of Tokyo, yoshiki mitsui@ipc.i.u-tokyo.ac.jp
Satoshi MIZOGUCHI, The University of Tokyo
Hiroshi SARUWATARI, The University of Tokyo
Keiko OCHI, National Institute of Information
Daichi KITAMURA, SOKENDAI
Nobutaka ONO, National Institute of Information/SOKENDAI
Masaru ISHIMURA, University of Tsukuba
Narumi MAE, University of Tsukuba
Moe TAKAKUSAKI, University of Tsukuba
Yutaro MATSUI, University of Tsukuba
Kouei YAMAOKA, University of Tsukuba
Shoji MAKINO, University of Tsukuba
In this paper, we propose a novel blind source separation method for the hose-shaped rescue
robot based on independent low-rank matrix analysis and statistical speech enhancement. The
rescue robot is aimed to detect victims speech in a disaster area, wearing multiple microphones
around the body. Diﬀerent from the common microphone array, the positions of microphones
are unknown, and the conventional beamformer cannot be utilized. In addition, the vibrationnoise (ego-noise) is generated when the robot moves, yielding the serious contamination in theobserved signals. Therefore, it is important to eliminate the ego-noise in this system. This paper
describes our newly developed software and hardware system of blind source separation for therobot noise reduction. Also, we report objective and subjective evaluation results showing thatthe proposed system outperforms the conventional methods in the source separation accuracy
and perceptual sound quality via experiments with actual sounds observed in the rescue robot.
Key Words: Rescue robot, Flexible hose-shaped robot, Ego noise, Blind source separation
1

はじめに

日本は世界でも有数の地震大国であり，特に近年では，瓦礫などの内部に進入して探索をすることが可能な災害救助支援ロボットの開発が盛んに進められている．このようなロボットを実現するため，現在我々は，複数バイブレータの振動により前進する柔軟索状ロボットの開発を行っている．本ロボットには一定の間隔ごとにマイクロホンが複数個取り付けられており，これらのマイクロホン群を使って被災者の声を検出することが想定されている．
しかし，バイブレータの振動や地面との摩擦音などが観測信号中に雑音（これをエゴノイズと呼ぶ）として混入するため，目的音声成分の復元が大変困難であるという問題があった．このため，観測された信号から雑音を抑圧し，目的音を強調する技術が必要とされている．ここでは，ロボットの形状が時々刻々と変化するため，通常のマイクロホンアレイで利用される空間的雑音識別・抑圧手法の導入は困難であり，新たなる信号処理アルゴリズムの導入が急務である．
本研究では上記の問題点に鑑み，マイクロホン位置を明示的に与えない状態でも目的音を抽出することの出来る音響センシング技術の研究開発を行っている．一般に，このような課題は，ブラインド音源分離問題と呼ばれており，様々なアルゴリズムが提案されている [1, 2] ものの，過酷な環境において高精度な音源抽出を達成することは大変困難であることが知られている．本稿では，近年提案された高速ブラインド音源分離手法である独立低ランク行列分析（independent low-rank matrix analysis: ILRMA）[3] およびノイズキャンセラ・統計的ポストフィルタ等を組み合わせることによって，観測信号から目的音を高精度に強調するシステムを提案する．また，提案システムの有効性を客観評価指標や主観評価実験結果により示す．

No. 17-2 Proceedings of the 2017 JSME Conference on Robotics and Mechatronics, Fukushima, Japan, May 10-13, 2017
1P2-P04(1)ジカルノイズの抑圧を図る．全体的な信号処理の流れを図 3 に示す．

3.3 ILRMAILRMA [3] は近年提案された優決定条件における高速多チャ
ネルブラインド音源分離手法であり，線形時不変な空間分離フィルタを推定することによって音源分離を実現する．ILRMA では，ランク 1 空間モデル [4]・音源間の統計的独立性・各音源スペクトログラムの低ランク性（nonnegative matrix factorization(NMF) に基づくモデル）を仮定し，空間フィルタと音源 NMFモデルを同時に推定している．
音源数および観測チャネル数を，それぞれ N, M とおく．また，時間周波数領域における複素多チャネル音源信号，観測信号および分離信号をそれぞれ

Fig.1 Overview of hose-shaped rescue robot.

Mic.

30

Mic.

Vibrator
Two microphonesm

(1)

T

(2)

T

(3)

xij = (xij,1 , xij,2 , . . . , xij,M )yij = (yij,1 , yij,2 , . . . , yij,N )Section0m

sij = (sij,1 , sij,2 , . . . , sij,N )Tとおく．ここで，i = 1, . . . , I は周波数ビン，j = 1, . . . , J は時間フレーム，n = 1, . . . , N は音源，m = 1, . . . , M は観測チャネ
ルのインデクスをそれぞれ表し，T は行列またはベクトルの転置を表す．短時間フーリエ変換の窓長が各音源から各マイクまでのインパルス応答長より十分長い場合，ランク 1 空間モデルが成立
し，観測信号を次式で表すことができる．

300mm

Fig.2 Position of microphones and vibrators.

xij = Ai sij

2

柔軟索状ロボットの概要とその音響的課題

柔軟索状ロボットは災害救助を支援する目的で開発されており，図 1 に示す通り約 50 mm 径の細いホース状ロボットである．
ロボットには複数のバイブレータが搭載されており，これらを振動させると，表面に巻きつけられた特殊な繊毛の効果によってロボットは前進する．
瓦礫内部の状態を把握するため，ロボット本体には複数マイクロホン・画像センサ・ガスセンサなど各種センサが取り付けられている．しかし，マイクロホンによる音響センシングにおいては，遠隔被災者の声が非常に小さく，かつバイブレータの振動や地面との摩擦音がエゴノイズとして観測信号に混入するため，何らかの信号処理により雑音を抑圧して目的被災者音声を強調する必要がある．加えて，ロボットに取り付けられているマイクロホンは，ロボット本体の形状変化により位置関係が時間的に変化するため，従来のアレイ信号処理による音源強調手法を利用することは困難であった．

3提案システムの概要

3.1 索状ロボットにおけるマイクロホン配置
今回開発した索状ロボットは，図 2 に示すように 8 個のマイクロホンが 2 個ずつロボットの節部に配置されている．マイクロホン同士の間隔は 600 mm である．各節において，2 個のマイクロホンはそれぞれ反対方向を向けて配置されており，索状ロボットのねじれに関わらずいずれか一方のマイクロホンが上向きとなるため，目的音成分に関するマイクロホン群全体としての SN 比を向上できる．
3.2 信号処理の方針
本稿では，オペレータが強調したい目的音を切り出すことが可能である状況を想定し，5 秒程度のごく短い信号をバッチ処理によって強調するためのシステムを提案する．この状況想定により，以下を仮定することができる：(1) マイクロホンでの録音中に，空間伝達系の大きな変動がない．(2) エゴノイズのパワーは概ね定常である．(3) 目的音が存在せず雑音のみの区間が存在する．
仮定 (1) より，ブラインド音源分離手法である ILRMA を利用した目的音の抽出が可能となる．また，ILRMA で捉えきれなかった細かな伝達系の変動を，ノイズキャンセラにより補償する．
これらの処理後，仮定 (2)(3) より，統計的ポストフィルタを利用して更に雑音を抑圧できる．ここで，ポストフィルタの非線形処理に起因してミュージカルノイズが発生するため，ポストフィルタのゲイン関数に対して平滑化処理を施すことにより，ミュー(4)

ここで，Ai = (ai,1 , . . . , ai,N ) は i 番目の周波数ビンにおける混合行列であり，ai,n は各音源のステアリングベクトルである．
M = N かつ Ai がフルランクである場合，分離行列 Wi =(wi,1 , . . . , wi,M )H = A−1が存在し，分離信号はi

yij = Wi xij(5)と書ける．ここで，H は行列またはベクトルの共役転置を表す．
基底共有潜在変数を用いない ILRMA の目的関数は次式で表される [3]．
[∑ ∑ |yij,n |2∑− 2 log | det Wi |QILRMA =l til,n vlj,nni,j]∑∑+logtil,n vlj,n(6)nl

ここで，til,n および vlj,n はそれぞれ NMF の基底行列 Tn およびアクティベーション行列 Vn の非負要素であり，l = 1, . . . , L はNMF の基底インデクスを表す．本問題において，分離行列 Wiの更新式は以下で与えられる．
∑rij,n =til,n vlj,n(7)l1∑ 1xij xH
Vi,n =ijJ j rij,nwi,n ← (Wi Vi,n )−1 en()−1Hwi,n ← wi,n wi,nVi,n wi,n(8)
(9)
(10)

ここで，en は n 番目の要素のみが 1 である単位ベクトルを表す．
また，NMF 変数 til,n , vil,n の更新式は以下で与えられる．
v(∑)−2u∑
u j |yij,n |2 vlj,n′′l′ til ,n vl j,nttil,n ← til,n(11)(∑)−1∑′′j vlj,nl′ til ,n vl j,nv(∑)−2u∑2u′′i |yij,n | til,nl′ til ,n vl j,nt(12)vlj,n ← vlj,n(∑)−1∑′′i til,nl′ til ,n vl j,nILRMA では，式 (7) から (10) で与えられる空間分離行列 Wiの更新と式 (11), (12) で与えられる音源 NMF 変数の更新を交互に行う．

No. 17-2 Proceedings of the 2017 JSME Conference on Robotics and Mechatronics, Fukushima, Japan, May 10-13, 2017
1P2-P04(2)3.4 ノイズキャンセラ
ノイズキャンセラは，目的音を収録するためのマイクロホンの他に，雑音のみを収録するためのリファレンスマイクロホンを用意し，平均二乗誤差最小化アルゴリズムを利用して雑音抑圧を行う手法である．ILRMA では線形時不変な空間伝達系を仮定したが，索状ロボットは常に振動・変形するため，空間伝達系は時間的に細かく変動しており，ノイズキャンセラによってこれを補償できる．本システムにおいては，ILRMA の出力を「目的音成分が含まれるチャネル」と「それ以外のチャネルの総和（雑音成分）」に分けることによって，雑音成分をリファレンス信号としてノイズキャンセラを適用する．詳細なアルゴリズムは文献 [5]などを参照されたい．
3.5 ポストフィルタ
ロボットにおける録音信号は入力 SN 比が非常に低く，上述の2 手法のみでは雑音を十分に取り除くことができない．ここで，エゴノイズが定常かつパワーが推定可能である場合は，統計的ポストフィルタを利用した更なる雑音抑圧が可能である．以下にその詳細を述べる．
3.5.1 MOSIEMOSIE [6] はベイズ型ポストフィルタの一種であり，シングルチャネルの信号に対し目的音の強調を行う．MOSIE では，時間周波数領域における振幅の事前分布として周波数ビンごとに個別なカイ分布を仮定する．カイ分布の確率密度関数は次式で与えられる．
()ρi)(ρiρi222ρi −1
χ
(13)
χexp−p(χ) =Γ(ρi ) E[χ2 ]E[χ2 ]
ここで，χ ∈ R≥0 は目的音振幅スペクトルを表す確率変数，ρiはカイ分布の形状母数であり，E[·] は期待値を表す．ρi は分布のスパース性を制御する形状母数パラメタであり，雑音成分の振幅スペクトル Nij が推定可能な場合，empirical な意味で最適な ρiを次のように推定できる [7]．

ρi = {µ22 (Xij ) + µ22 (Nij ) − 2µ2 (Xij )µ2 (Nij )}· {µ4 (Xij ) − µ4 (Nij ) − µ22 (Xij )− 2µ2 (Xij )µ2 (Nij ) + 3µ22 (Nij )}−1(14)

ここで，Xij はノイズキャンセラから出力された振幅スペクトログラムを表す．また，µk (·) は j 番目の周波数ビンに関する k 次∑ k)/J で与えられる．本研のモーメントを表し，µk (αij ) = ( j αij
究では，前述の仮定より，目的音が存在しない雑音のみの区間が存在することから，i 番目の周波数ビンにおける雑音の振幅スペクトルをノイズキャンセラ出力の無音区間における平均パワーの平方根（定数）として与えた．
上記の準備の下，MOSIE のゲイン関数 Gij は以下の式で定められる．
() 1
2βXijξijββΓ(+ρ)Φ
1−−ρ,1;−ii2µ2 (Nij ) ρi +ξij 2)(Gij = 2Xij
ξij
Γ(ρi )Φ 1 − ρi , 1; − µ2 (Nij ) ρi +ξij√·µ2 (Nij )ξij·2
ρi + ξij
Xij(15)

ここで，β はドメインパラメタ，Γ(·) はガンマ関数，Φ(e, f ; g) =1 F1 (e; f ; g) は第 1 種合流型超幾何関数を表す．ξij は事前 SN 比であり，decision-directed 法を利用して以下の式により推定される．
[]
22G2i(j−1) Xij
Xij
ξij = κ+ (1 − κ) max− 1, 0(16)µ2 (Nij )µ2 (Nij )ここで，κ は忘却係数である．最終的に，目的音成分の振幅スペクトルはゲイン関数 Gij とノイズキャンセラの出力振幅スペク
トル Xij の積 Gij Xij として推定される．ただし，低域（概ね300 Hz 以下）と高域（概ね 5000 Hz 以上）の帯域には目的音成分がほとんど存在しないため，Gij = 0 を代入してカットした．

target

ILRMA

input+

Noise
Canceller

Postﬁlter

outputreference

Fig.3 Signal flow of our proposed method.
3.5.2 ゲイン平滑化
MOSIE を利用して求めたゲイン関数は目的音をよく表現しているが，過度な時変性を許容するため，ミュージカルノイズを発生させやすいという問題点がある．この問題は，ゲイン関数 Gijを平滑化することによって緩和可能であることが知られているため，まずゲイン関数 Gij に対して median フィルタを適用し，更に文献 [8] で提案されているゲイン平滑化手法を適用することによって，ミュージカルノイズを抑制し目的音の推定品質を高める．
3.6 システムの実装と動作時間
本システムは全て MATLAB で実装されており，Intel Xeon
E3-1505M (2.8 GHz) を搭載したノート PC を利用して処理時間を実測したところ，5 秒間の信号に対し約 55 秒の処理時間を必要とした．この処理時間のうち，約 52.5 秒が ILRMA による音源分離に要した時間であり，ノイズキャンセラおよびポストフィルタは合計して約 3 秒間程度の処理となっている．

4評価実験

4.1 実験条件
本システムによる雑音抑圧の品質を評価するため，擬似的な観測信号を作成して実験を行った．目的音声信号は，瓦礫中を模した環境で事前に測定した 3 通りの姿勢における各マイクロホンのインパルス応答をドライソースに畳み込むことで作成し，雑音信号はロボットのバイブレータを実際に動作させて録音した．目的
音と雑音の入力 SN 比を −25 dB から 0 dB まで 5 dB 刻みで変化させ，これら 2 種類の信号を時間領域で加算し，擬似的な観測信号とした．評価指標としては，音源分離の総合的性能を測定できる signal-to-distortion ratio（SDR），および雑音抑圧量を測定できる signal-to-interference ratio（SIR）を採用した [9]．評
価は疑似観測信号に対して ILRMA を適用した信号（ILRMA）
・更にノイズキャンセラを適用した信号（NC）
・更にポストフィル
タを適用した信号（PF）のほか，処理を行わない疑似観測信号（Raw）および補助関数法による独立ベクトル分析 [10] を適用した信号（AuxIVA）の 5 手法について行った．
上述の客観評価指標の測定に加え，入力 SN 比 −25 dB の疑似観測信号を処理して得られる音声強調信号に関して，7 名による主観評価実験を行った．ここでは，被験者に対し，前述の 5 種類の処理音からランダムに選択された 2 種類ずつを対比較聴取させ，より音声が明瞭に聞こえるものを選択させた．
4.2 実験結果
図 4 は，今回提案したアルゴリズムによって強調された音声のSDR および SIR を示す．入力 SN 比が十分に低い状況においては，どの姿勢の場合においても処理を経るにつれて SDR・SIR が改善する様子を読み取ることができる．ロボットの姿勢により，入力 SN 比が高い状況において処理を通じ SDR が悪化している場合もみられるが，これはノイズキャンセラおよびポストフィル
タの非線形処理から生じる歪みに起因していると考えられる．また，図 5 は，姿勢 (b) において入力 SN 比を −20 dB とした場合における Raw・ILRMA・NC・PF のスペクトログラムを表す．
処理を経るにつれて，音声スペクトログラムがより明瞭になっていくことが分かる．
図 6 は，主観評価により得られたスコアを表す．本図より，処理を重ねるにつれて被験者の評価スコアが概ね向上する傾向を読み取ることができる．これにより，提案する音源分離システムがオペレータにとってより聞き取り易い高品質な処理音を生成していることが示された．

No. 17-2 Proceedings of the 2017 JSME Conference on Robotics and Mechatronics, Fukushima, Japan, May 10-13, 2017
1P2-P04(3)

(a)

(a)

(b)

(c)

(d)

(b)

(c)

Fig.4 SDR and SIR scores, where posture of flexible
robot is diﬀerent: (a) shallow, (b) middle, and (c)deep inside of building.
5Subjective score

Fig.5 Example of the spectrograms. Each spectrogram
represents processing result of (a) Raw, (b) ILRMA, (c) NC, and (d) PF.

おわりに

本稿では，柔軟索状ロボットにおける雑音抑圧システムについて述べた．開発したシステムにおける信号処理は，ILRMA，ノイズキャンセラ，ポストフィルタの 3 段階の処理を経ており，客観評価指標および主観評価実験を通じ，処理を経るにつれて雑音抑圧の効果がみられることを示した．

謝辞[1] S. Araki, R. Mukai, S. Makino, T. Nishikawa, and H.
Saruwatari, “The fundamental limitation of frequency
domain blind source separation for convolutive mixturesof speech,” IEEE Trans. SAP, vol. 11, no. 2, pp. 109–116,
2003.
[2] T. Kim, H. T. Attias, S.-Y. Lee and T.-W. Lee, “Blindsource separation exploiting higher-order frequency dependencies,” IEEE Trans. ASLP, vol. 15, no. 1, pp. 70–79, 2007.
[3] D. Kitamura, N. Ono, H. Sawada, H. Kameoka andH. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix factorization,” IEEE/ACM Trans. ASLP, vol. 24,
no. 9, pp. 1626–1641, 2016.
[4] N.Q.K. Duong, E. Vincent and R. Gribonval, “Underdetermined reverberant audio source separation using afull-rank spatial covariance model,” IEEE Trans. ASLP,
vol. 18, no. 7, pp. 1830–1840, 2010.
[5] M. Ishimura, S. Makino, T. Yamada, N. Ono and
H. Saruwatari, “Noise reduction using independent vec-Raw

AuxIVA ILRMANCPFFig.6 Results of subjective evaluation. Error bar denotes
95% confidence interval.
tor analysis and noise cancellation for a hose-shaped rescue robot,” in Proc. IEEE International Workshop on
Acoustic Signal Enhancement, 2016, pp. 1–5.

本研究は，総合科学技術・イノベーション会議による革新的研究開発推進プログラム（ImPACT）の助成を受けた．

参考文献

1.5
10.5
0-0.5
-1-1.5[6] C. Breithaupt and R. Martin, “Analysis of the decisiondirected SNR estimator for speech enhancement with respect to low-SNR and transient conditions,” IEEE Trans.
ASLP, vol. 19, no. 2, pp. 277–289, 2011.
[7] Y. Murota, D. Kitamura, H. Saruwatari, S. Nakamura,Y. Takahashi and K. Kondo, “Music signal separation
based on Bayesian spectral amplitude estimator with automatic target prior adaptation,” in Proc. IEEE International Conference on Acoustics, Speech and Signal Processing, 2014, pp. 7540–7544.
[8] T. Esch and P. Vary, “Eﬃcient musical noise suppression
for speech enhancement systems,” in Proc. IEEE International Conference on Acoustics, Speech, and Signal
Processing, 2009, pp. 4409–4412.
[9] E. Vincent, R. Gribonval and C. Fevotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.
[10] N. Ono, “Stable and fast update rules for independentvector analysis based on auxiliary function technique,”in Proc. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011, pp. 189–192.

No. 17-2 Proceedings of the 2017 JSME Conference on Robotics and Mechatronics, Fukushima, Japan, May 10-13, 2017
1P2-P04(4)