1-Q-3
畳み込みニューラルネットワークを用いた空間特徴抽出に基づく
音響シーン識別の検討 ∗☆高橋玄, 山田武志, 牧野昭二 (筑波大)1

はじめに人間の行動や周囲の状況を自動認識しようとする

2

提案手法

2.1

提案手法の処理の流れ取り組みがなされている．例えば，高齢者の見守り

Fig. 1 は提案手法の処理の流れである．提案手法でや動画への自動タグ付け，ライフログの収集などの応は，DCASE 2017 に従いステレオ入力を想定してい用システムが考えられている．これらのシステムをる．また，入力信号の時間長は 10 s である．

実現する要素技術の一つとして，環境音認識が注目

まず左右チャネルそれぞれに対して 128 次元の対されている．環境音認識は大きく二つに分けられる．

数メルフィルタバンク出力を計算する．ここでフレー

一つは音響イベント検出，もう一つは音響シーン識

ム分析におけるフレーム長とフレームシフト長はそれ別である．音響イベント検出は「いつ，何の音がしたぞれ 40 ms と 20 ms である．次に，この特徴量時系か」を検出するものであり，音の種類としてはドアの列を 10 フレームからなるブロックに分割して CNN

開閉音，咳をする音，転倒音などの短い単発的な音がに入力し，音響シーンごとに各ブロックの出力確率多い．一方，音響シーン識別は数秒から数十秒程度のの対数和を求めることにより識別を行う．ここで，10長い音から録音された場所や状況を識別するものでフレーム毎に分割するのは，時間的に大きく離れたあり，音の種類としてはバスの中，オフィス，家など特徴量は識別精度の改善にさほど寄与しないことががある．本研究では音響シーン識別に焦点を当てる．

報告されていることによる [4]．

近年，音響シーン識別の研究が盛んに行われている．
例えば環境音認識を対象とする DCASE 2017（De-

次節では，CNN を用いた空間特徴抽出について述
べる．

tection and Classification of Acoustic Scenes andEvents 2017）Challenge が開催され，そこでは音響

2.2

CNN を用いた空間特徴抽出

シーン識別のタスクが用意された [1]．DCASE 2017

音響シーン識別では空間の情報を用いることが重では畳み込みニューラルネットワーク（Convolutional

要である．例えばモノラルチャネルからステレオチャNeural Networks; CNN）を用いた手法がいくつか提ネルに変えるだけで識別精度の改善に繋がる．しか案されたが（例えば [2][3])，中でも [3] では空間特徴し，従来音響シーン識別において，CNN は時間・周を抽出することにより高い識別精度を達成した．こ波数領域に対して適用されることが多かった．そこの手法は，ステレオ入力信号に対して前処理を施し，で提案手法では，時間・周波数領域に加えて，更に時左チャネル，右チャネルに加えて中央チャネル（左右間・空間領域，周波数・空間領域に対しても CNN をチャネル加算），サイドチャネル（左右チャネル減算）適用し，空間情報を含んだ特徴マップを抽出する．

等のそれぞれに対して独立に CNN を適用して識別をFig. 1 の上部，中部，下部はそれぞれ時間・周波数領域，時間・空間領域，周波数・空間領域に対する行う．
それに対して本稿では，前処理ではなく，CNN をCNN の適用に対応している．また，青い四角は CNN用いて空間特徴を抽出する手法を提案する．これにを適用する際のフィルタを表している．例えば，時より，識別に適した空間特徴を学習により獲得するこ

間・周波数領域に対する CNN では時間・周波数スペとが可能となる．提案手法では，空間特徴を抽出する

クトログラムを 1 枚の特徴マップとみなし，空間（スために，時間・周波数領域に加えて時間・空間（左右テレオ）を CNN のチャネルとみなしている．そのたチャネル）領域と周波数・空間領域に対して CNN をめ，CNN のチャネル数は 2 になる．一方で，時間・適用する．DCASE 2017 Challenge[1] における音響

空間領域に対する CNN では周波数を CNN のチャネシーン識別のタスクを用いて提案手法における空間ルとみなすので，チャネル数はメルフィルタバンク出

特徴抽出の有効性を評価する．

力の次元である 128 になる．時間・空間領域や周波数・空間領域に対する CNN の適用は，特徴マップ中のステレオチャネル間の空間情報を抽出することに∗Acoustic scene classification based on spatial feature extraction using convolutional neural networks. byGen TAKAHASHI, Takeshi YAMADA, Shoji MAKINO (University of Tsukuba)

日本音響学会講演論文集- 67 -2018年3月

&ƌĞƋƵĞŶĐǇ^ƉĂĐĞ;^ƚĞƌĞŽͿ

EE^ŽĨƚŵĂǆdŝŵĞ
&ƌĞƋƵĞŶĐǇ>ŽŐĂƌŝƚŚŵŝĐ
ƐƵŵ^ƉĂĐĞ

>ĞĨƚ&ĞĂƚƵƌĞ
ĞǆƚƌĂĐƚŝŽŶZŝŐŚƚ

EE&EdŝŵĞƌŐŵĂǆ^ƉĂĐĞ dŝŵĞEEZĞƐƵůƚ

&ƌĞƋƵĞŶĐǇ

Fig. 1

Process flow of the proposed method.

ϭͲĐŽŶǀ͘ŵŽĚĞů

ͲĐŽŶǀ͘ŵŽĚĞů/ŶƉƵƚĨĞĂƚƵƌĞ/ŶƉƵƚĨĞĂƚƵƌĞ⋯ŚĂŶŶĞůϭŚĂŶŶĞůŽŶǀ͘ ŵŽĚĞůŚĂŶŶĞůϭ⋯ŚĂŶŶĞůŽŶǀ͘ŵŽĚĞů

ŽŶǀ͘ŵŽĚĞůŽŶǀ͘ŵŽĚĞůŽŶĐĂƚĞŶĂƚĞŽŶĐĂƚĞŶĂƚĞ

&E;256, 1024, 15Ϳ&E;Ϯϱϲ ͕ϭϬϮϰ͕ϭϱͿFig. 2

Overview of the CNN of the proposedmethod.

ŽŶǀ͘ŵŽĚĞůŽŶǀ͘ďůŽĐŬŽŶǀ͘ďůŽĐŬ;݊ ŽƌϭĐŚ͕ϯϮĐŚͿĞƌŽͲƉĂĚĚŝŶŐ;ϭǆϭͿDĂǆͲƉŽŽůŝŶŐ;ϮǆϮŽƌϮǆϭͿŽŶǀ͘;ϯǆϯͿŽŶǀ͘ďůŽĐŬ;ϯϮĐŚ͕ϲϰĐŚͿĂƚĐŚŶŽƌŵĂůŝǌĂƚŝŽŶDĂǆͲƉŽŽůŝŶŐ;ϮǆϮŽƌϮǆϭͿĐƚŝǀĂƚŝŽŶ;ZĞ>hͿŽŶǀ͘ďůŽĐŬ;ϲϰĐŚ͕ϭϮϴĐŚͿĞƌŽͲƉĂĚĚŝŶŐ;ϭǆϭͿDĂǆͲƉŽŽůŝŶŐ;ϮǆϮŽƌϮǆϭͿŽŶǀ͘;ϯǆϯͿŽŶǀ͘ďůŽĐŬ;ϭϮϴĐŚ͕ϮϱϲĐŚͿĂƚĐŚŶŽƌŵĂůŝǌĂƚŝŽŶ

'ůŽďĂůĂǀĞƌĂŐĞƉŽŽůŝŶŐĐƚŝǀĂƚŝŽŶ;ZĞ>hͿFig. 3

Conv. model and conv. block.

相当している．

2.3

ネットワーク構造出することができる．一方で，CNN 内のパラメータ提案手法では，文献 [3] の手法をもとに 8 層の畳数が 1-conv. model と比べて約 n 倍になる．

み込み層を持つ CNN を用いる．Fig. 2 は提案手法で次 に Conv. model の 説 明 を す る ．Fig. 3 は用いる CNN の概要を示している．まず，図の左側

Conv. model とその中で使われている Conv. blockの 1-conv. model について説明する．1-conv. modelを 表 し て い る ．Conv. model は 畳 み 込 み を 行 う

では，n チャネルの特徴マップを入力とし，1 × 1 ×Conv. block と Max プ ー リ ン グ を 繰 り 返 し 行 う．

256 の特徴マップを出力するような Conv. model をConv. block の括弧の中のコンマで区切られた 2 つの適用する．Conv. model に関しては後述する．次に数字は左が畳み込み層の入力チャネル数で，右が出力Conv. model の出力を連結し，256 次元の特徴量とすチャネル数である．最初の Conv. block の入力チャネる．最後に 1024 次元，15 次元の全結合ネットワーク

ル数は，1-conv. model の場合は n，n-conv. model（Fully Connected Neural Network; FCN）を適用し，の場合は 1 となる．また，プーリング層の括弧の中出力確率を求める．次に n-conv. model について説明の数字はプーリングを行う際のウィンドウサイズでする．n-conv. model では，チャネルごとに独立に，1ある．ここで，プーリング層におけるウィンドウサチャネルの特徴マップを入力とし，1 × 1 × 256 の特イズは時間・周波数領域の場合は 2 × 2 である．一徴マップを出力するような Conv. model を適用する．

方，時間・空間領域，周波数・空間領域の場合，空間このため，各 Conv. model の出力を連結した特徴量

方向の次元は 2 次元しかなく，プーリングをするとの次元は 256 × n となる．以降は 1-conv. model と同1 次元になってしまうので，プーリング層のウィン様である．n-conv. model は CNN の適用の際にチャドウサイズは 2 × 1 とする．最後のプーリング層でネルを独立に入力するため，チャネルごとの特徴を抽は特徴マップ全体に対して Average プーリングを行

日本音響学会講演論文集- 68 -

2018年3月

Table 1

Overview of the development dataset.

# of scenes# of sound data

Table 2

Condition of the acoustic features and theCNN.

154680（=15 scenes × 312 data）

data length

10 s# of channels

2 (left and right)

128th-orderfeaturelog mel filter bank outputs

frame length

40 ms
20 ms
10 frames (without overlap)

sampling frequency

44.1 kHz

frame shift length

quantization bits

24 bitaudio block size

time-frequency,う．よって，Average プーリングを行ったあとの特time-space,domain

frequency-space

徴マップの次元は 1 × 1 × 256（チャネル数）となる．
最後に Conv. block の説明をする．Conv. block で

combination of 3 domains# of conv. layers

はまず，入力となる特徴量に対して幅 1 のゼロパディ

optimization method

ングを行う．次にサイズが 3 × 3 のフィルタを用いてepoch8
Adam20

畳み込みを行う．その後，バッチ正規化 [5] を行い，最後に活性化関数として ReLU 関数を適用する．これを 2 回繰り返したものが Conv. block である．

Table 3Classification

本稿ではそれぞれの領域に対して 1-conv. model とmethods.

n-conv. model を用いて識別を行い，比較検討する．

domainaccuracies
modelofproposed

1-conv.

݊-conv.

time-frequency domain

81.95

80.01

3

提案手法の有効性の評価

time-space domain

78.81

80.84

3.1

実験条件

frequency-space domain

82.20

83.55

combination of 3 domains

81.69

84.14

本章では，DCASE 2017 Challenge の開発用データセットを用いて，提案手法における空間特徴抽出の有効性を評価する．Table 1 は開発用データセットの概本実験では，要を示している．音響シーンは 15 種類である（Table• 時間・周波数領域のみの場合

4 参照）．各音響シーンには 312 個の音響データがあり，それぞれ 10 s のステレオ信号である．サンプリ• 時間・空間領域のみの場合

ング周波数は 44.1 kHz，量子化ビットは 24 ビットで• 周波数・空間領域のみの場合ある．

Table 2 は特徴量と CNN の条件を示している．特• 上記 3 つを組み合わせた場合

徴量は 128 次元の対数メルフィルタバンク出力で，フレーム分析におけるフレーム長とフレームシフト長の 4 通りのそれぞれに対して，1-conv. model と n-はそれぞれ 40 ms と 20 ms である．フレーム長とフconv. model の 2 通りのモデルを適用して識別を行う．

レームシフト長に関しては DCASE 2017 Challengeのベースラインで用いられているものと同じである．
特徴量時系列を分割する際のブロックサイズは 10 フレームである．識別器の学習における最適化手法には

Adam[6] を用い，学習時のエポック数は 20 とした．
識別器の評価は 4-fold クロスバリデーション（データオープン，音響シーンクローズド）による識別精度の平均で行った．4-fold クロスバリデーションにおけるデータの分割方法は DCASE 2017 Challenge で指定されたものと同様である．なお，提案手法の実装には Chainer[7] を用いた．

日本音響学会講演論文集

3.2

実験結果

Table 3 は領域・モデルの各組における識別精度を示している． 表の行は CNN を適用した領域で，列は CNN のモデルである．3 種類の領域ごとの識別精度を比較すると，周波数・空間領域（3 行目）を用いたときに識別精度が最も高い．これは周波数・空間領域に対して CNN を適用することによって，時間・周波数領域（1 行目）を用いたときよりもよい空間特徴を抽出できていることを意味している．一方で，同じように空間を含む時間・空間領域（2 行目）における識別精度では大きな改善は得られなかった．次に- 69 -2018年3月

Table 4Classification accuracies for each sound scene of proposed methods.

GRPDLQ
WLPHIUHTXHQF\WLPHVSDFH
IUHTXHQF\VSDFHFRPELQDWLRQPRGHOFRQY QFRQY FRQY QFRQY FRQY QFRQY FRQY QFRQY
EXV       FDIËUHVWDXUDQW       FDU       FLW\BFHQWHU       
IRUHVWBSDWK       JURFHU\BVWRUH       
KRPH
       
EHDFK       OLEUDU\       
PHWURBVWDWLRQ       
RIILFH       UHVLGHQWLDOBDUHD       WUDLQ       WUDP       SDUN       

モデルごとの識別精度を比較すると，空間を含む領間・周波数領域を用いたときよりも識別精度が向上す

域では改善が見られたが，時間・周波数領域では改ることを確認した．更に，それぞれの領域を組み合わ善しなかった．これは時間・周波数領域でチャネルせることで，時間・周波数領域のみを用いた場合と比ごとに独立に CNN を適用すると，計算の過程で空間較して 2.19%の改善を確認した．の情報が失われてしまうためだと考えられる．最も識別精度がよかったのは 3 種類の領域を組み合わせ，n-conv. model を適用したときで，時間・周波数領域に 1-conv. model を適用したときと比較すると 2.19%

参考文献[1] A. Mesaros,B. Elizalde,改善した．また，DCASE 2017 Challenge のベースラ

入力特徴量とし，隠れ層が 2 層 50 ユニットの FCNである．

E. Vincent,B. Rajsetup: Tasks, datasets and baseline system,”
DCASE 2017 Challenge.
[2] S. Mun, S. Park, D. Han and H. Ko, “Generative adversarial network based acoustic scene

最後に，Table 4 は領域・モデルの各組における音響シーン別の識別精度である．オレンジ色のセルは

A. Shah,

A. Diment,

and T. Virtanen, “DCASE 2017 Challenge

インの識別精度と比較すると，9.34%改善した．なお，
ベースラインは 40 次元のメルフィルタバンク出力をT. Heittola,training set augmentation and selection using

各シーンにおける識別精度が最も高かった領域・モSVM hyper-plane”, DCASE 2017 Challenge.
[3] Y. Han and J. Park, “Convolutional neural net-

デルの組のセルである．時間・周波数領域と周波数・

works with binaural representations and back-

空間領域の列を比べると，オレンジ色のセルが周波

ground subtraction for acoustic scene classifica-

数・空間領域の方が多い．特に grocery store や homeなどでは大きく識別精度が改善されているのが分か

tion,” DCASE 2017 Challenge.
[4] G. Takahashi,
T. Yamada,

N. Onoandる．また，領域を組み合わせた場合は grocery store,S. Makino, “Performance evaluation of acoustic

home, residential area, train, park のように識別精

scene classification using DNN-GMM and frame-

度の低かったシーンが改善されている．一方で cafe

concatenated acoustic features,” Proc. APSIPA/ restaurant などでは大きく識別精度が下がっていた
ので，どのようなシーンで識別精度が下がるのかを

2017, Paper ID 219, December 2017.
[5] S. Ioﬀe and C. Szegedy, “Batch normalization:

調査し，それらを改善していくことが必要である．

Accelerating deep network training by reducing
internal covariate shift,” ArXiv e-prints, Febru-4

おわりに
本稿では CNN を用いた空間特徴量抽出手法を提案

ary 2015.
[6] D. P. Kingma, J. L. Ba, “Adam: A method forstochastic optimization,” In Proceedings of In-

した．DCASE 2017 Challenge の開発用データセッ

ternational Conference on Learning Representa-

トを用いて実験を行い，提案手法における空間特徴抽出の有効性を評価した．周波数・空間領域に対して n-conv. model の CNN を適用することにより，時日本音響学会講演論文集

tions, 2015.
[7] https://chainer.org/- 70 -2018年3月