1-Q-2
音響イベント検出における BLSTM-CTC を用いた
弱ラベル学習の検討 ∗☆松吉大輝 (筑波大), 小松達也 (NEC), 近藤玲史 (NEC), 山田武志 (筑波大), 牧野昭二 (筑波大)はじめに

1

防犯監視システムや音環境理解による動画の自動タグ付けシステムにおいて, 音響イベント検出 (SED:

Sound Event Detection) は重要な役割を担う. SED
は防犯監視システムにおいては異常音の検出, 音環境理解による動画の自動タグ付けシステムでは, タグ付けする音の検出に使用される. SED のタスクは音響信号データ内で発生しているイベント音の種類, 開始時刻, 終了時刻を推定することである. 例として Fig. 1
ではイベント音（電話の音）が入っている音響信号データを SED システムに入力したとき, 電話の音がいつからいつまで発生しているかを表すラベルを出力していることを示している.

Fig. 1SED の概要

Fig. 2

RNN の例

従来, SED 手法として主に NMF(Non-negativeMatrixFactorization) を 用 い る 手 法 [1][2] とNN(Neural Network)[3] を用いる手法が提案されている. NMF を用いる手法は線形処理のため, 少量の学習データで推定モデルを学習することができる.
しかし, 推定モデルの表現力が十分でないため, 複雑なタスクにおいて高精度に検出を行うことは困難である. 一方, NN を用いる手法は非線形処理のため表現力が高く, 複雑なタスクに対応可能である. しかし, 推定モデルの学習にはイベントの種類, 開始時刻,フレームごとに並べた NN である. Fig. 2 の RNN に終了時刻の正解ラベルが必要となり, 大量の音響信号

おいて, ある時間フレーム t = n の入力と t = n − 1

データに対し人手でラベル付けすることは極めて困の隠れ層の情報を用いて t = n の隠れ層を決定し, そ難である.の隠れ層から出力を決定する. これらの処理を次式に

本稿では, NN を用いた SED 手法における学習デー

示す.

タのラベル付けのコスト削減を目的とし, BLSTM-ht = f (W1 xt + Wr ht−1 + b1 ),(1)

yt = g(W2 ht + b2 )(2)

CTC を用いた弱ラベル学習を提案し, その有効性を示す.

2

従来の NN を用いた SED 手法

2.1

RNN を用いた SED

この処理によって, 前フレームとの相関の情報を加味した出力をすることができる.

SED の推定対象はイベント音の種類, 開始時刻, 終

2.2

了時刻であり, 時間情報を含んでいるため, 時系列デー
タに対応した RNN(Recurrent Neural Network) がよく用いられる. RNN は入力層, 隠れ層, 出力層を時間∗

BLSTM を用いた SED

2.1 節で述べたシンプルなモデルの RNN では, 直前のフレームの影響力が大きく, 長い時系列データに対して, 長時間離れたフレームとの相関の情報がWeakly-Labeled Learning Using BLSTM-CTC for Sound Event Detection. by Taiki Matsuyoshi (University of Tsukuba), Tatsuya Komatsu, Reishi Kondo (NEC), Takeshi Yamada, Shoji Makino (University ofTsukuba)

日本音響学会講演論文集- 63 -2018年3月

Fig. 3

学習の流れ

利用できない. そこで長い時系列データに対応可能になるよう, RNN にメモリセルなどの機能を追加した LSTM(Long Short-Term Memory)[4] が提案されている. これにさらに時間的に前向きの隠れ層の情報だけでなく, 後ろ向きの隠れ層の情報も利用する

BLSTM(Bi-directional LSTM) を用いた手法 [5] が提案され, 高い推定性能を示している. 本研究ではBLSTM を用いた SED 手法に注目する.
2.3

Fig. 4BLSTM を用いた SED の課題

BLSTM を用いた SED の推定モデルを学習するた

3.2

めには大量の正解ラベルを用意する必要がある. このような正解ラベルを作成するためには, １つ１つの音響信号データに対し人手による音響信号データの聴取, 波形の確認などをすることで, イベントの種類, 開始時刻, 終了時刻をラベル付けする必要がある.

NN では, 高い推定精度を出すためには学習に有効な大量のデータ（数百〜数千個）が必要になるが, これに対応する正解ラベルを作成するのは極めて困難と言える.
そこで本研究では正解ラベルの作成のコストを小さくするために, 発生しているイベントの種類のみのラベルで学習することを目的とする. ここで, 従来の強ラベル学習の流れ

強ラベル付き学習データを用いた初期学習

強ラベル付き学習データを用いた初期学習の処理
フローを Fig. 4 に示す. まず音響信号データに対し,時間フレームごとに特徴抽出し, それを BLSTM の入力とする. BLSTM 内の隠れ層に入力の特徴の情報を伝播し, 各フレームごとにイベントの存在確率を出力する. 以上の処理によってフレーム数と同じ大きさのイベント存在確率列が得られる. そのイベント存在確率列から, 閾値計算を行うことでラベルを推定する. 推定されたラベルと正解ラベル (強ラベル) を比較し, その誤差を小さくするように BLSTM の内部パラメータを更新していく.

イベントの種類, 開始終了時刻を含んだラベルを強ラ3.3

ベルとし, 発生しているイベントの種類のみのラベル

3.3.1

を弱ラベルとする.

弱ラベル付き学習データを用いた追加学習

Connectionist Temporal Classification

2.3 節で述べた弱ラベルでの学習を行うために, 音声認識の分野で弱ラベル学習において成果を上げて3提案手法

3.1

BLSTM を用いた SED における学習の流れという手法を利用する. CTC は, 入力と出力の系列提案手法では Fig. 3 に示すように, まず少量の強長の異なる時に用いられる損失関数であり, RNN のラベル付きの学習データで BLSTM を学習し, その出力に適用可能である. CTC の処理について Fig. 5BLSTM を大量の弱ラベル付きの学習データで追加を用いて説明する. 横軸は時間を示し, 縦軸は状態のいる CTC(Connectionist Temporal Classification)[7]学習する. 弱ラベル学習前後の BLSTM での推定精遷移を示す. 状態は「Event1 未発生」と「Event1 発度を比較することで, 弱ラベル学習による推定性能の生」の 2 種類とし, ある時間フレームにおいて, 3.2 節向上を確認することができる.

で述べた BLSTM で出力される Event1 の発生確率が低い場合「Event1 未発生」の状態になり, 高い場合は日本音響学会講演論文集- 64 -

2018年3月

Fig. 5

CTC の処理「Event 発生」の状態になる. Fig. 5 ではイベントが未発生, 発生, 未発生の順になっており, 音響データ内で Event1 が 1 回発生している確率が高いことを示している. 正解として与えられた弱ラベルが示す種類のイベントが音響データ内で 1 回発生する確率が高いとき小さい損失を算出し, 発生する確率が低いときに大Fig. 6

きい損失を算出することで BLSTM の内部パラメー

弱ラベル学習の流れ

タを更新する. Fig .5 では, Event1 が 1 回発生していTable 1 実験条件 (NN)る確率が高いため, 弱ラベルが示す種類が Event1 のとき, 小さい損失となる. 以上のような CTC の処理

Learning rate

0.0005を利用することで, 弱ラベルによる BLSTM の内部パ

Gradient clipping norm

5

ラメータの学習を行うことができる.

Batch size

5Epochinitial leaning：30

3.3.2

BLSTM-CTC の学習の流れ

additional learning：5

提案手法の処理フローを Fig. 6 に示す. まず学習

Hidden layer size

100時について述べる. 3.2 節で述べた強ラベルを用いた

BLSTM の学習と同様, 時間フレームごとに抽出した（ii）強ラベル付き学習データに加え, BLSTM-CTC特徴量を BLSTM の入力とし, イベントの発生確率により弱ラベル付き学習データ 80 個を用いて追列を出力する. そのイベント発生確率列を CTC の加学習を行った BLSTM入力とし, 弱ラベルを用いて損失計算をし, BLSTMの内部パラメータを更新する. 推定時は学習済みのの SED の性能比較を行った. 評価データには, 学習

BLSTM の出力であるイベント発生確率列を閾値計算

データ同様, 5 秒の背景雑音に対しイベントデータをし, 推定したラベルを出力する.

重畳することで, 40 個の評価データを生成した.
評価尺度は時間フレーム単位での Recall と Preci-4

提案手法の有効性の検証

4.1

実験の概要

sion とする. Recall は実際にイベント音が存在しているもののうち、イベント音があると推定した割合,

Precision はイベント音があると推定したデータのう

CTC を用いた弱ラベル学習の効果検証をするため

ち実際にイベント音が存在しているものの割合である.の実験を行った. イベントの種類は clear throat の1 つのみとし, イベント開始時間, 終了時間の推定を4.2

実験結果と考察行う. 実験条件を Table1,2 に示す. イベントデータ

実験結果を Fig. 7,8 に示す. これにより, CTC にには DCASE2016[6] の Task2 のデータセット収録のよる弱ラベルを用いた追加学習によって Recall におclear throat を用い, 5 秒の背景雑音に対し 1 秒からいてほぼ同等の精度を示し, Precision において 5.5%

3 秒程度のイベントデータを重畳することで 85 個のの精度の向上を示し, 弱ラベルによる追加学習の効果学習データを生成した. そのうち 5 個を強ラベル, 80が確認できる. Precision が向上したことから, 誤推定個を弱ラベルの正解ラベルとし,してしまう割合を削減できたことがわかる. 今後は推（i）強ラベル付き学習データ 5 個のみで学習した

BLSTM

日本音響学会講演論文集

定したラベルに対し, 事後処理を適用することによるRecall の精度向上及び, 複数種類のイベント推定など- 65 -

2018年3月

Table 2 実験条件 (音響データ)
Sampling rate

44,100Hz

SNR

6dB

feature39 Mel-filter bank

Frame size

25msevent nameclear throat

train data of initial learning

5train data of additional learning80

test data

20

length of data

5sFig. 8

実験結果・Precision

Detection and Classification of Acoustic Scenes
and Events 2016.
[3] E. Cakir, T. Heittola, H. Huttunen, and T. Virtanen,

Polyphonic sound event detection using

multi label deep neural networks, IEEE IJCNN,
pp. 1-7, 2015.
[4] S. Hochreiter and J. Schmidhuber,term memory,
Fig. 7

Long short-Neural Computation, No. 9,

Vol. 8 pp. 1735-1780, 1997.

実験結果・Recall[5] T. Hayashi, S. Watanabe, T. Toda, T. Hori, J.のより難しいタスクを用いて提案手法による有効性

Roux, K. Takeda,の評価を行う予定である.

Hybrid System For PolyPhonic Sound Event Detection, Detection and Classification of Acoustic

おわりに

5

Bidirectional LSTM-HMM

Scenes and Events 2016.

本稿では, 強ラベル付きデータのラベル付けのコス[6] DCASE2016, http://www.cs.tut.fi/sgn/arg/dcase2016/.

ト削減を行うことを目的とし, BLSTM を用いた SED
手法において CTC を利用することで, 弱ラベル学習[7] A. Graves, S. Fernandez, F. Gomez, J. Schmid-を行う手法を提案した. 提案手法により, 弱ラベルのhuber,学習データを用いた追加学習によって, Precsion におLabelling Unsegmented Sequence Data with Re-

いて 5.5%の性能向上を得られ, CTC を用いた弱ラベ

current Neural Networks,IDSIA, 2006.

Y. Wang, F. Metze,

A First Attempt at

ル学習が有効であることを確認した.

[8]

Polyphonic Sound Event Detection Using Con-

参考文献

nectionist Temporal Classification,
IEEE.

Sound event detection in multisource

environments using source separation,

Work-[9] J. Schluter, Learning to Pinpoint Singing Voice

shop on machine listening in Multisource Envi-

From Weakly Labeled Examples, Proceedings ofronments, pp. 36-40, 2011.
[2]

the 17th ISMIR Conference, pp. 44-50, August
2016.

T. Komatsu, T. Toizumi, R. Kondo, Y.
Senda,In Proc.

ICASSP, New Orleans, LA; U.S.A., March 2017.

[1] T. Heittola, A. Mesaros, T. Virtanen, and A.
Eronen,Connectionist Temporal Classification:

Accouctic Event Detection Method Us-[10] Chainer, http://chainer.org/.

ing Semi-supervised Non-negative Matrix Factorization with a Mixture of Local Dictionaries,

日本音響学会講演論文集[11] Theano, http://deeplearning.net/software/theano/.

- 66 -

2018年3月