一般社団法人 人工知能学会
Japanese Society for
Artificial Intelligence

人工知能学会研究会資料
JSAI Technical Report
SIG-Challenge-046-03 (11/09)

部分共有アーキテクチャを用いた深層学習ベースの音源同定の検討
Sound Source Identification based on Deep Learning with Partially-Shared Architecture

森戸隆之 ∗1 ，杉山治 ∗2 ，小島諒介 ∗1 ，中臺一博 ∗1,3
Takayuki MORITO∗1 , Osamu SUGIYAMA∗2 , Ryosuke KOJIMA∗1 , Kazuhiro NAKADAI∗1,3

東京工業大学 ∗1 ，京都大学 ∗2 ，(株) ホンダ・リサーチ・インスティチュート・ジャパン ∗3
Tokyo Institute of Technology∗1 , Kyoto University∗2 , Honda Research Institute Japan Co., Ltd.∗3morito@cyb.mei.titech.ac.jp, sugiyama@kuhp.kyoto-u.ac.jp,kojima@cyb.mei.titech.ac.jp, nakadai@jp.honda-ri.com
Abstractと区間検出を行い，音源分離手法である Geometric High-

災害地における要救助者の捜索を音源同定でorder Decorrelation-based Source Separation (GHDSS)[Nakajima 10] を用いて SN 比の低い多チャネル音から信実現するために，Partially Shared Deep Neu-

号成分のモノラル音を分離し，この分離音の種類を Con-ral Network (PS-DNN) およびこの拡張版であvolutional Neural Network (CNN) [Lawrence 97] で識別る Partially Shared Convolutional Neural Net-する手法 [Uemura 15] を提案した．しかし，この手法でwork (PS-CNN) を提案し，これで音源同定器を学習する手法を提案する．通常の深層学習にはは音源分離が識別器の最適化とは独立しているため，多大量のデータにラベルを付与する作業が必要でで識別に有用な情報までもが失われる可能性がある．明あるが，提案手法は音源同定器の学習にラベル示的にノイズ抑圧等の処理を行わず，大規模な DNN を用が付与されていないデータを有効に利用するこ

いて原信号から直接識別する手法 [Hannun 14] も提案さとで，ラベルが付与されたデータのみで学習しれているが，大規模な DNN の学習には大量の学習データた場合と比べて高い同定精度が得られることをが必要である．実環境音を収録して学習データセットを検証した．

構築する場合，何の音がどの区間で鳴っているのかを示

チャネル音からの音源分離という大幅な低次元化の過程

すラベルデータを付与する作業（アノテーション）を人力1で行う必要があるり，データ量が多くなれば膨大な工数が序論発生する．

地震等の災害現場では，寸断された道路や散乱した瓦礫

本稿では，全収録音の一部しかアノテーションされてが要救助者の捜索活動の大きな妨げとなる．クアドロコ

いないデータセットを用いて音源同定器を効率的に学習プタを始めとする Unmanned Aerial Vehicle (UAV) で捜する手法を提案し，これを実際に DNN，および CNN に索すれば移動の問題は解消されるが，要救助者が瓦礫に適用してその有効性を検証する．一般的な深層学習は学埋もれている場合，カメラやレンジファインダ等の視覚習に教師データ，つまり入力とそれに対応する望ましい出的なセンサでの探知は困難である．このため，我々はセン力の組み合わせが必要であるため，アノテーションされサとしてマイクロホンアレイを用い，災害現場で発生すていないデータは学習に使用できない．提案手法はラベる音の種類と発生位置を同定することで要救助者を探知ルデータに加え，信号処理的な音源分離手法で自動生成する方法を研究している．

できる分離音を学習データとして用いることで，音源同クアドロコプタにマイクロホンアレイを搭載する場合，定器の学習を効率的に行いつつ未アノテーションデータ

風切り音やプロペラが発する雑音によって Signal-to-Noiseを有効に利用することができる．

(SN) 比が低下する．このような低 SN 比環境下で音源同定を行う手法として，我々はこれまでに多チャネル音2響信号を元にした音源定位手法である MUltiple SIgnal

本節では，Multi-Task Learning (MTL) [Caruana 97] のClassification based on incremental Generalized Singular

一種である Partially Shared Deep Neural Network (PS-Value Decomposition (iGSVD-MUSIC) [Ohata 14] を用いてマイクロホンアレイの収録音から同定対象の音の定位

DNN) およびこれを CNN に拡張した Partially Shared
Convolutional Neural Network (PS-CNN) の構造につい12

部分共有型ニューラルネットワーク

図 3: A convolution-pooling layer in PS-CNN
非共有部分の出力はもう一方のサブネットワークの上層

図 1: Partially Shared Deep Neural Networkには影響を与えず，パラメータは一種類の教師データのみを用いて学習される．これは，音源同定と音源分離にはそれぞれに固有の処理も必要であるという予想に基づいている．この構造により，音源同定と音源分離に共通する処理を二種類の教師データを用いて効果的に学習しつつ，音源分離に固有の処理が音源同定の学習に悪影響を与えることを抑制することが期待される．

2.2

Partially Shared Convolutional NeuralNetwork

PS-CNN は，CNN の畳み込み層に PS-DNN の構造を取

図 2: A hidden layer of PS-DNNり入れたものである．なお，本稿では CNN で音響信号をて述べ，多チャネル音響信号を元に音源同定を行う方法

扱う際，1 チャネル分の音響特徴量ベクトルを時間方向にを説明する．

並べた 2 次元の配列を 1 枚の画像とみなす．つまり，一般

2.1的なカラー画像認識を行う CNN の入力は画素値を表す 2

Partially Shared Deep Neural Network

次元配列を RGB の 3 チャネル分並べたものであるが，本PS-DNN の構造を図 1 に示す．PS-DNN は二つのサブネッ

稿で扱う CNN の入力は上述の 2 次元配列をマイク数分並トワークから成るニューラルネットワークであり，本稿でべたものである．1は片方はラベルデータを出力する音源同定器，もう片方PS-CNN の畳み込み・プーリング層の構造を Fig. 3 に示す．PS-DNN では各層の出力ベクトルの要素を共有部

は分離音を出力する音源分離器である．サブネットワー
ク間で入力層と隠れ層の一部が共有されており，共有され分と非共有部分に分けたのに対し，PS-CNN ではチャネルた隠れ層は二種類の教師データを用いて学習される．

を共有チャネルと非共有チャネルに分ける．つまり，一般入力層と最初の隠れ層の間は全結合であるが，隠れ層的な CNN では一つのフィルタは前の層の全てのチャネル間は全結合ではなく，y i1 , y i2 , y i3 を図 2 における第 i 層のを入力とするのに対し，PS-CNN では各サブネットワーク上側，中央の共有部分，下側の隠れ層の出力とすると，第に固有のチャネルおよび共有チャネルのみを入力とする．

i+1i+1i + 1 層の出力 y i+1は次の式 (1) で計算される．
1 , y2 , y3 i 
 i+1 W i11 W i120y1y1
 i 
 i+1 i
W 220   y2 
 y 2  = σ  0y i+13

0
W i32

i

W i33

y i3b1
 i +  b2 

この構造により，PS-DNN と同様に二種類の教師データを有効に利用しつつ，CNN の構造を取り入れることができる．プーリング層は一般的な CNN と同様にチャネルごとにプーリングを行う．出力層の前の全結合層の構造は

PS-DNN と同様である．
第 i 層の出力の，一つ目のサブネットワークに固有のチャ(1)

ネルの数を Ki,1 ，共有チャネルの数を Ki,2 ，二つ目のサブbi3ネットワークに固有のチャネル数を Ki,3 とする．第 i 層の出(i,1)(i,Ki,3 ), · · · , X3(i,1)

(i,1)

(i,1)

= [x1,1,1 , · · · , x1,V,H ]，ここで W ijk は y ik から y i+1への重み行列，bij はバイアj

力を [X 1スベクトル，σ(·) は要素ごとの活性化関数である．

第 i + 1 層の第 j チャネルの出力のサイズを V × H ，出力共有された隠れ層の出力は上層の全ネットワークに影響を与える．この構造は，音源同定と音源分離はある程度共通の処理で行えるという予想に基づいている．一方，

13]，X 1

1 CNN で音響信号を扱う別の方法として，音響特徴量ベクトルの次元数をチャネル数とし，音響特徴量ベクトルの要素をマイク数，フレーム数分並べた 2 次元配列を 1 枚の画像とみなす方法も考えられる．この方法の検討は今後の課題とする．

(i+1,j)(i+1,j)(i+1,j), · · · , cv,h , · · · , cV,H ] とすると，(i+1,j)cv,hは第 j チャネルが一つ目のサブネットワークに固有のチャネルである場合は式 2 で，共有チャネルである場
を C (i+1,j) = [c1,1合は式 3 で，二つ目のサブネットワークに固有のチャネルである場合は式 4 で求められる．
(i+1,j)cv,h=σKi,1 m n∑ ∑∑

(

(i,k)

wk,s,t x1,v+s,h+t

k=1 s=1 t=1+Ki,2 m n∑ ∑∑

図 4: The layout of the microphones and the sound(i,k)

wk,s,t x2,v+s,h+t

sourcek=1 s=1 t=1(i,j)+b(i+1,j)cv,h=σ()Ki,2 m n∑ ∑∑(2)(i,k)

wk,s,t x2,v+s,h+t

k=1 s=1 t=1(i,j)+b(i+1,j)cv,h=σ()Ki,2 m n∑ ∑∑(3)(i,k)

wk,s,t x2,v+s,h+t

k=1 s=1 t=1+Ki,3 m n∑ ∑∑(i,k)

wk,s,t x3,v+s,h+t

k=1 s=1 t=1(i,j)

+b)

(4)
図 5: UAV (Parrot Bebop Drone)

ここで m, n はフィルタサイズ，wk,s,t は重み，b(i,j)

はバイアス，σ(·) は活性化関数である．

33.1

評価実験

音響信号の合成実験に使用した多チャネル音響信号は数値シミュレーションで合成した．まず，コーパスの収録音を元にマイクロホ提案手法の有効性を示すため，各手法で音源同定器を構ンアレイと音源の位置関係が図に示す通りであるときの成し，同定精度を比較した．同定精度はフレームごとの正8 チャネルの音を合成した．その後，図 5 に示すクアドロコプタで実際に収録したノイズを適当な重みを付けて足解率とした．各ネットワークは Python のライブラリである TensorFlow version 0.8.0 [Abadi 15] で実装した．

し合わせることで，一定の SN 比の多チャネル音響信号を音源同定器は 4 つの手法で構成し，それぞれ DNN, PS-生成した．なお，本実験で使用したデータセットは場面認

DNN, CNN, PS-CNN と表記する．DNN, CNN はそれ識のベンチマーク用のものであるため，収録されているぞれ典型的なフルコネクテッド，畳み込みニューラルネッ

音は既に様々なノイズを含んでいるが，SN 比を計算するトワークで構成した音源同定器で，PS-DNN と PS-CNN
は第 2 節で述べた学習手法で構成した音源同定器である．

際は純信号として扱った．
本稿で使用した SN 比の計算式を式 5 に示す．SN 比はDNN, CNN では学習用データセットの内アノテーション済みのものしか学習に使用しないが，PS-DNN, PS-CNN

0 dB に統一した．

では未アノテーションデータも音源分離器の学習に使用する．

SN R = 20 log(Sp /Np )(5)

学習・評価用の音源として，DCASE2016 [Mesaros 16]の Acoustic scene classification に収録されている 15 種類

ここで Sp , Np はそれぞれ信号成分の最大振幅，雑音成分

合計 35100 秒分の音データを用いた．5 分割交差検証を行の最大振幅である．SN 比は信号のエネルギの比率で計算うために合計 1170 個の Wave ファイルを 5 つのグループされることもあるが，このような計算方法では有音区間に分け，3.1-3.2 に示す手順で合計約 465 万個のデータベの定め方によって求められる SN 比が大きく変化する場合クトルを生成した．

があるため，本稿では最大振幅で定義した．

14

表 1: Dimensions for the DNN
Hidden layer Units

12000

21000

3400

表 4: Dimensions for the PS-CNN
Hidden
layer
1234
5Type
Conv
Pool
Conv
Pool
Full

Identify
40408080400

Channels
Shared Separate
4040
40404080
4080
0800

Size
20×20
10×10
10×10
5×51×1

表 2: Dimensions for the PS-DNN
Hiddenlayer
1233.2

Identify
1500
800
400Units
Shared1500
4000

表 5: Accuracy of Sound Source Identification

Separate
1500
800
800

100%

Avg.
S.E.
Avg.
S.E.
Avg.
S.E.
Avg.
S.E.

75%
50%

音響特徴量の算出

各学習器への入力としてメルフィルタバンク特徴量を使用25%した．各音のサンプリングレートは 16 kHz に統一し，フDNN
55.88
0.675654.07
0.659951.63
0.578647.84
0.6477

PS-DNN56.27
0.574254.57
0.658451.91
0.652548.04
0.6526CNN
55.79
0.534854.36
0.505551.95
0.533248.35
0.5566

PS-CNN
56.75
0.527555.09
0.326852.71
0.535748.74
0.5898レーム幅 512 sample (32 ms)，フレームシフト 120 sam-ple (7.5 ms) でフレーム化し，窓関数として複素窓を掛け全ての場合で 5 × 5 とし，zero padding を使用した．プーて短時間フーリエ変換で複素スペクトルを求めた．これ

リング層では 2 × 2 の範囲で最大値プーリングを行った．の絶対値から，下限周波数 63 Hz, 上限周波数 8 kHz, 次全ての場合でバッチサイズは 100 とし，学習は 10 epoch

元数 20 のメルフィルタバンク特徴量を算出した．以上の行った．

処理は，ロボット聴覚ソフトウェア Honda Research In-

3.4

stitute Japan Audition for Robots with Kyoro University

実験結果を表 5 および図 6-9 に示す．識別精度はフレーム(HARK) [Nakadai 10] で実装した．

ごとの識別正解率とし，5 分割交差検証の平均値 (Avg.)

各学習器への入力は，20 次元の音響特徴量を 8 チャネと標本標準誤差 (S.E.) を求めた．5 分割されたデータセッ

ル各 20 フレーム分並べた，合計 3200 次元のベクトルである．また，PS-DNN, PS-CNN の音源分離側の出力は，多チャネル音の合成に使用したモノラル音から同様に算トの内 4 つを学習に用い，その 4 つの内の所定の数についてはラベルデータを使用しないことで，アノテーション率が 100%, 75%, 50%, 25%の場合の実験を行った．

出した 400 次元のベクトルである．

3.3

実験結果

表 5 より，識別精度はアノテーション率に依らず DNN

学習器の条件< PS-DNN，また CNN < PS-CNN となった．いくつかの場合で両側 t 検定の検定の p 値が p > 0.05 で有意な差

各学習器の層構成を表 1-4 に示す．全ての場合で入力は 3.2があった．

で述べた 3200 次元のベクトルである．音源同定器の出力層識別精度に大きな差が出なかったのは，実験で用いた音は 15 次元のソフトマックス層であり，PS-DNN, PS-CNNの音源分離側の出力層は 400 次元の全結合層である．各パラメータは 0 に近い正の値で初期化し，pre-training を行わずに Adam で学習した．隠れ層に対しては Dropoutを使用し，drop rate は畳み込み層で 0.2，プーリング層で 0，その他の層で 0.4 とした．畳み込み層のフィルタは

表 3: Dimensions for the CNN
Hidden layer Type Channels
Size1

Conv

4020×202

Pool

4010×103Conv

8010×104Pool80

5×55Full4001×1

図 6: Trained with 100% annotated data15

図 7: Trained with 75% annotated data

図 9: Trained with 25% annotated data
比環境下での音源同定器の学習手法について述べた．多チャネル音響信号を入力とする音源同定器に，音源分離の処理を積極的に学習させる手法を提案した．提案手法
は一般的な DNN, CNN と比べて若干高い同定精度を実現した．今後は，別のデータセットを用いた提案手法の有効性の検証を行う予定である．

謝辞
本研究は JSPS 科研費 24220006, 16H02884, 16K00294
および，JST ImPACT タフロボティクスチャレンジの助成を受けた．
図 8: Trained with 50% annotated data

参考文献

源分離の教師データに雑音が始めから含まれてしまって[Abadi 15] Abadi, M., et al.: TensorFlow: LargeScale Machine Learning on Heterogeneous Systems,
http://tensorflow.org/ (2015)

いたことが一因であろう．本稿で提案した手法は，低 SN
比環境下で音源同定を行うニューラルネットワークは雑音抑圧の処理を学習しているという推測の下，音源同定器に雑音抑圧の処理を効率的に学習させることを意図してい[Caruana 97] Caruana, R., et al.: Multitask learning,Machine Learning, vol.28, no. 1, pp. 41-75 (1997)

る．しかし，本実験で用いたコーパスである DCASE2016の Acoustic scene classification 用のデータセットは，音を収録した場所（公園，レストラン，電車等）の識別を行[Mesaros 16] Mesaros, A., et al.: TUT database forうベンチマークデータセットであり，収録されている音はデータとして用いたため，学習された音源分離器はクア

acoustic scene classification and sound event detection, 24th Acoustic Scene Classification Workshop
2016 European Signal Processing Conference (EU-ドロコプタ由来の音以外を除去せず，むしろその他の雑音SIPCO) (2016)

様々な雑音を元々含んでいる．実験ではこの収録音を教師を積極的に残していたと考えられる．残りの雑音の抑圧
は識別器側の共有されていない部分のみを用いて学習す[Hannun 14] Hannun, A., et al.: Deepspeech: Scaling

ることになるため，識別精度が大きく向上しなかったと

up end-to-end speech recognition, arXiv preprint
arXiv:1412.5567 (2014)

考えている．

4[Lawrence 97] Lawrence, S., et al.: Face recognition:
A convolutional neural-network approach, IEEE結論

本稿では，マイクロホンアレイを搭載したクアドロコプ

Transactions on Neural Networks, vol. 8, no. 1, pp.
98-113 (1997)

タによる災害地での要救助者の捜索を目的とした，低 SN16

[Nakadai 10] Nakadai, K., et al.: Design and Implementation of Robot Audition System “HARK”, Advanced Robotics, vol. 24, pp. 739-761 (2010)[Nakajima 10] Nakajima, H., et al.: Correlation matrix
estimation by an optimally controlled recursive average method and its application to blind source
separation, Acoustical Science and Technology, vol.
31, no. 3, pp. 205212 (2010)[Ohata 14] Ohata, T., et al.: Inprovement in outdoor
sound source detection using a quadrotor-embedded
microphone array, IEEE/RSJ International Conference on Intelligent Robots and Systems (2014).
[Uemura 15] Uemura, S., et al.: Outdoor acoustic event
identification using sound source separation anddeep learning with a quadrotor-embedded microphone array, The 6th International Conference on
Advanced Mechatronics (2015)17