1-9-6
mIBP に基づくベイジアン半教師付き音響イベントダイアライゼーション∗◎大石康智 (NTT), 持橋大地, 松井知子 (統数研), 中野允裕,亀岡弘和, 泉谷知範, 柏野邦夫 (NTT)1

はじめに膨大な音や映像のメディアデータが身の回りにあふれる中，これらのデータを自在に検索して活用する
ためには，付随するテキストデータに頼るだけではなく，それぞれの中身を表す情報を，音や映像自体から自動的に引き出す技術が必要不可欠である。音響
信号から，人に認識されうる音の事象，例えば，話声や歌声などの音声をはじめ，動物の鳴き声，楽器音，環境音，効果音などを時間的に書き起こす音響イベ
ントダイアライゼーションもその一つの技術であり(Fig. 1)，現在盛んに研究が行われている [1–4]。
本研究では，音響イベントダイアライゼーションにおける 2 つの課題に取り組む。1 つ目の課題は音響イベントの重なりが十分に考慮されなかった点である。
多くの研究では，複数の重なった音響イベント（例えば，音楽+音声や雑音+音声）を一つの音響カテゴリとみなし，そこから抽出されたメル周波数ケプストラム係数 (MFCC) などの音響特徴量の分布をガウ
ス混合モデル (GMM) や隠れマルコフモデル (HMM)で学習して，これらの音響カテゴリを検出した [5–7]。
音環境によっては様々な音響イベントが複雑に重ね合わさっているため，音響カテゴリの数だけモデルを学習しなければならず，コストがかかる。文献 [8, 9] では，あらかじめ音響信号を複数のトラックに音源分離し，トラックごとに音響特徴量を抽出してイベントを検出した。ただし，音環境に合わせてトラック数を手動で調整する必要がある。
2 つ目の課題は，数千時間の書き起こしデータを用いる音声認識に比べ，音響イベントの音響的特徴を学習するためのラベル付データベースが少ない点である。さらに，新しい未知の音響イベントを検出した
い場合，新たなラベル付データが必要となる。このようなデータスパースネスや未知の音響イベント検出問題に対処するために，教師なし，または半教師あり学習の枠組みを導入することは有望である [10–12]。
これらの課題に取り組むために，我々は文献 [13] において，非負値行列因子分解 (NMF) をベースとし，2 つのノンパラメトリックベイズ法を内包する，音響イベントダイアライゼーションのための生成モデルを提案した。これは，音響イベントが複数の音響要素（音声における音素，楽器における単音など）から構成されると想定し，NMF が教師なしでこれらの要素の重ね合わせを表現する。そして，ノンパラメトリッ
クベイズ法により，モデルは潜在的に無限のパラメー∗

Fig. 1 音響イベントダイアライゼーション
タを持ち，入力信号に応じて自律的に必要な分のパラメータを用いて，各音響要素を表現するように振る舞う（モデル選択問題が回避される）。評価実験より，音響要素の音響的特徴と，それらの各時刻におけるアクティベーション（on か oﬀ か）を，スライスサンプリングによって推論可能であることを確認した。
本稿では，ベイズロジスティック回帰を利用して，音響要素の各時刻におけるアクティベーションから，その時刻に音響イベントラベルを付与するモデルへと拡張する。これは，あらかじめ一部の時刻にイベントラベルを付与し，大半の時刻にはラベルが付与されない状況の下で，半教師あり学習によって，時刻全体にラベル付けを行う枠組みである。すべてのモデルパラメータはギブスサンプラーによって推論される。
実際の Podcast 音源を利用した評価実験では，提案モデルがベースライン手法よりも性能良く，イベントラベルを付与できることを示す。

2

非負値行列因子分解に基づく
音響イベントダイアライゼーション

音響イベントの重なりを表現するために，可変基底型 NMF[14] を利用する。これは各音響要素の基底スペクトルが時間的に遷移するように拡張した NMFである。音響要素の音色を特徴付けるため，振幅スペクトログラムをメルフィルタバンク処理して得られた出力値行列 Y = (Yω,t )Ω×T ∈ R≥0,Ω×T に NMF を適用する。ここで，ω = 1, . . . , Ω はメルフィルタのインデックス，t = 1, . . . , T は分析フレームのインデックス，d = 1, . . . , D は音響要素のインデックスを表す。このとき，各音響要素の基底スペクトルは時刻 tにある一つの状態 Zd,t ∈ N を取ると見なし，∑(Z )Yω,t = d Cω,t,d , Cω,t,d ∼ Poisson(Hω,dd,t Ud,t ) (1)と表現する。これは Fig. 2 に示す集合で構成される(k)生成モデルである。まず，H d = (Hω,d )Ω×Kd は音響
要素 d における Kd 個の基底スペクトルを表現する。
U = (Ud,t )D×T は，音響要素の on/oﬀ を表現する 2値系列からなるアクティベーション集合を表現する。

Bayesian Semi-supervised Audio Event Diarization based on Markov Indian Buﬀet Process. by OHISHI,
Yasunori (NTT), MOCHIHASHI, Daichi, MATSUI, Tomoko (The Institute of Statistical Mathematics),
NAKANO, Masahiro, KAMEOKA, Hirokazu, IZUMITANI, Tomonori, KASHINO, Kunio (NTT)

日本音響学会講演論文集- 19 -2013年3月

このとき，音響信号の音量はすべて基底スペクトルに含まれて表現される。そして，C d = (Cω,t,d )Ω×T
は音響要素 d のメルフィルタバンク出力値に相当し，(k)Cω,t,d は Hω,d , Ud,t , Zd,t をパラメータとするポアソン分布から生成される。最終的に音響信号はこれらの音響要素の和で表現される。各音響イベントはこれらの音響要素の組合せで表現されることを想定する。
文献 [13] では，U と Z の事前分布として，ノンパラメトリックベイズ法である Markov Indian Buffet Process (mIBP) と Chinese Restaurant Process(CRP) を導入した。これにより，生成モデルは潜在的に無限のパラメータを持ち，入力信号に応じて自律的に必要な分のパラメータを用いて，音響要素を表現するように振る舞う。結果として，モデル化の際の音響要素数の調整から解放されることが確認できた。
本稿では，各音響要素のアクティベーションから，ベイズロジスティック回帰に基づく半教師あり学習の下で，音響イベントラベルを生成する。これらの導入方法を順番に説明する。

2.1

mIBP から生成されるアクティベーション行列

mIBP を U の事前分布に導入することで，次の 2つの特性を満たす [15]。(1) 行数（音響要素数）は任意に大きいサイズを想定する。(2) 各列（フレーム）の on/oﬀ は音響要素の継続時間（発音時間）を表現するよう，一次マルコフ連鎖に従って生成される。
具体的には，各音響要素ごとに状態遷移行列[]
1 − ad ad
(d)
W
=(2)
1 − bd bdを用意する。つまり，0 → 0 の遷移確率は 1 − ad ，
0 → 1 は ad ，1 → 0 は 1 − bd ，1 → 1 は bd とし，これらの状態遷移によって，0 と 1 からなる音響要素 dのアクティベーション系列が生成される。すべての音響要素のアクティベーション系列からなる行列 U はp(U |a, b) =D∏

00c01

10c11(1 − ad )cd add (1 − bd )cd bdd(3)

d=1に従う。ここで，a = {a1 , . . . , aD }, b = {b1 , . . . , bD }01 10 11とし，c00
d , cd , cd , cd はそれぞれの遷移回数を表す。
さらに，ad と bd の事前分布をこれらの共役性から，(0) (1)ad ∼ Beta(θa /D, 1), bd ∼ Beta(θb , θb ) とする。
そして，式 (3) を D → ∞ としてモデルの複雑度を無限に拡張するために，stick breaking construction[16]を適用する。ここで，a を a(1) > a(2) > . . . > a(D)のように順序付けると，D → ∞ における a(d) の生∏d
成過程は ν(d) ∼ Beta(θa , 1), a(d) = d′ =1 ν(d′ ) に従う。一方，d 番目に大きい a(d) に対応する変数を b(d)(0)(1)とすると，b(d) ∼ Beta(θb , θb ) となる。mIBP では
頻繁にアクティベートされる音響要素ほど，小さいインデックス d に割り当てられる。

日本音響学会講演論文集- 20 -

Fig. 2 音響要素を構成する基底スペクトル集合，その状態系列集合，アクティベーション集合
2.2

CRP から生成される時変なスペクトル特性

音響要素のスペクトルの時間変化を表現するために，基底スペクトルの状態数は固定でなく，音響信号から自動的に決定されることが望ましい。中野らは可変基底型 NMF にディリクレ過程を導入した無限状態スペクトルモデルを提案し，音楽音響信号を楽器の単音ごとに分解できることを示した [14]。この枠組みを音響イベントダイアライゼーションに適用する。
音響要素 d の状態系列 Zd,1 , . . . , Zd,T はそれぞれ，1, . . . , Kd の中の離散的な値をとる。状態数を Kd → ∞として，Z d,\t = {Zd,1 , . . . , Zd,t−1 , Zd,t+1 , . . . , Zd,T }が与えられたときの Zd,t の条件付き確率は(d)p(Zd,t =k|Z d,\t , θβ )(k)nd,\t(d)(T − 1 + θβ )=(d)θβ (T − 1 + θ(d) )β(k)(nd,\t > 0)(4)
(k = K\t,+ + 1)(k)と書ける。ここで，nd,\t は Zd,t′ = k (Zd,t′ ∈ Z d,\t )を満たす t′ の個数を表す。また，K\t,+ は nd,\t > 0となるクラスの個数である。これが CRP と呼ばれ，ディリクレ過程の一構成法を与える。この過程は，各時刻に用いられる状態が，他の時刻に多く用いられている状態ほど使われやすくなる性質がある。また，新しい状態が用いられやすくなるか否かは正のパラ(d)メータ θβ によって調整される。
(k)

2.3

ロジスティック回帰に基づくマルチラベリング

ベイズロジスティック回帰 [17] を利用して，アクティベーション行列から音響イベントラベルを生成する。ここでは，教師あり学習の下でトピックモデルを構成する sLDA[18] を参考にする。フレーム t における音響要素のアクティベーションをまとめて U t =[U1,t , U2,t , . . . , UD,t ]T と表現すると，音響イベント lのラベル X l = {Xl,1 , Xl,2 , . . . , Xl,T } (Xl,t ∈ {0, 1})の尤度関数は，p(X l |U , wl ) =T∏

Texp(wTl U t Xl,t )σ(−w l U t ) (5)t=1

2013年3月

Fig. 3 音響イベントダイアライゼーションモデルのグラフィカル表現と書ける。ここで，wl = [wl,1 , wl,2 , . . . , wl,D ]T は重みベクトルであり，σ(·) はシグモイド関数 σ(a) =1/(1 + exp(−a)) を表す。さらに，単純な等方ガウ
ス事前分布 wl |αl ∼ N (0, αl−1 I D ) と共役超事前分布(0) (1)(0) (1)αl ∼ Gamma(θα , θα ) を導入する。θα , θα は超パラメータであり，I D は D × D の単位行列を表す。
音響イベントダイアライゼーションモデルのグラフィカル表現を Fig. 3 に示す。これは音響特徴行列 Yとラベル行列 X を共に生成するモデルといえる。ここで，基底スペクトル集合 H の事前分布として，ガ(k)(ω,d) (ω,d)
ンマ分布 Hω,d ∼ Gamma(θφ , θψ ) を利用する。

少量のフレームを手がかりとして U 全体を推論するため，半教師あり学習の枠組みと言える。その他のパラメータは，その事後確率に基づくギブスサンプリングによって推論されるが，方法の詳細は割愛する。

4評価実験

英語学習用 Podcast の音響信号（計 35 分のうち，はじめの 5 分間）を用いて，提案法の性能を評価する。音響信号は 16kHz サンプリングで 16 ビット量子化されたものである。Fig. 4 の上図は，100ms ごとに手動でラベル付けされた音響イベントラベルを示す。
(ω,d) (ω,d)(0) (1) (0) (1) (0) (1) (d)また，θα , θα , θa , θa , θb , θb , θβ , θφ , θψ
黒色が音響イベントの on を，白色が oﬀ を表す。こはすべて超パラメータである。の音響信号は “音楽”，“効果音”，“電話のベル音”，5
名の “音声” からなる 8 種類の音響イベントを含む。
3 パラメータの推論
音響信号は，フレームシフト長 100ms，フレーム長100ms，ハニング窓を用いてフレームに分割され，短mIBP は，スライスサンプリングと動的計画法を組
時間フーリエ変換によって振幅スペクトログラムに合せることでモデルパラメータを効率的に推論できる変換される。各フレームの振幅スペクトルをフィルタが [15]，本稿では，計算コストを小さくするよう，打バンク処理して得られる出力値 (24 個の値) を音響特ち切り stick breaking construction の下で（D を大き徴量行列とする(Y は 24×3000 の行列である)。
な値に固定して），パラメータを推論する。紙面の都合
Fig.
4に示すように，ラベル付与データとして3種上，U の推論方法のみ記述する。U の各行は互いに独類，(1)50 秒，(2)100 秒，(3)150 秒を用意した。そし立と想定し，Forward-ﬁltering backward-sampling アて，後半の150 秒に対して, 提案法の性能を評価する。
ルゴリズム [19] を利用して，行ごとに Ud,1 , . . . , Ud,T評価尺度として，イベントラベルの予測分布を利用を推論する。まず，t = 1, . . . , T に対して，する。U t とラベル付与データが与えられた下で，フ(:)
p(Ud,t |Y:,1:t , C:,1:t,d , Zd,: , H:,d , X:,1:t )レーム t の音響イベントラベル Xl,t の予測分布は，(:) ∏( /√)∝ p(Y:,t , C:,t,d |Ud,t , Zd,: , H:,d ) l p(Xl,t |Ud,t , U \d,t , wl )2 /8 ,p(Xl,t = 1|U t , X lN , U N ) ≃ σ µl,t1 + πσl,t∑Ud,t−1 p(Ud,t |Ud,t−1 )2µl,t = wTσl,t= UTlMAP U t ,t Σl U t ,(:)∑p(Ud,t−1 |Y:,1:t−1 , C:,1:t−1,d , Zd,: , H:,d , X:,1:t−1 )tN−1Σl = αl I D + t=t1 Xl,t (1 − Xl,t )U t U T(6)tを再帰的に計算する。ここで，Xl,t の尤度関数はラベと近似する。ここで，ラベルが付与されたフレームをルが付与されるフレームに対してだけ計算される。
t1 , . . . , tN とし，これらのフレームの音響要素のアク(:)
次に，p(Ud,T |Y:,1:T , C:,1:T,d , Zd,: , H:,d , X:,1:T ) から
ティベーションを U N = {U t1 , U t2 , . . . , U tN }，音響
Ud,T をサンプリングする。そして t = T − 1, . . . , 1 にイベント l のラベルを X lN = {Xl,t1 , Xl,t2 , . . . , Xl,tN }対して，Ud,t+1 が与えられた下で，とする。上式では，シグモイド関数とガウス分布の(:)
たたみ込み積分を近似するために，プロビット関数p(Ud,t |Ud,t+1 , Y:,1:t , C:,1:t,d , Zd,: , H:,d , X:,1:t )を利用した。wlMAP は MAP（最大事後確率）解を表(:)∝ p(Ud,t |Y:,1:t , C:,1:t,d , Zd,: , H:,d , X:,1:T )p(Ud,t+1 |Ud,t )し，実際はラベルが付与されたフレームを利用して推論される [17]。式 (6) の p(Xl,1501 = 1|·), p(Xl,1502 =に従って，Ud,t を後方から順番にサンプリングすれば1|·), . . . , p(Xl,3000 = 1|·) と正解ラベルとを比較する
Ud,1 , . . . , Ud,T が求まる。これはラベルが付与される

日本音響学会講演論文集- 21 -2013年3月Table 1 ラベル付与データの長さに対する性能比較
ラベル付与データの長さ

50 秒

100 秒

150 秒

音楽効果音
音声

0.542
0.298
0.647
0.605
0.437
0.560

0.735
0.382
0.766
0.647
0.466
0.935

0.769
0.683
0.769
0.744
0.813
0.962

0.514

0.655

0.790

女性 A
女性 B
女性 C
男性 B

平均 AUC

Table 2 提案法とベースライン法 (GMM) の比較
提案法 ベースライン法 (GMM)
平均 AUC

Fig. 4 手動で付与したイベントラベル（上図），アクティベーション行列（中図），ラベル推定結果（下図）ことで計算される ROC 曲線の下側面積 (AUC) を評価尺度とする。パラメータの初期値を脚注に示す1 。
Fig. 4 は，行列 U とラベル付与データ (3) を利用したときのラベル推定結果を示す。X̂l,t = I(p(Xl,t =1|·) > 0.5) の基準に基づいて，各フレームに音響イベントラベルを付与するか否かを判定した。ここで，I(A) はインジケータ関数であり，条件 A が真であれば 1 を，偽であれば 0 を返す関数である。アクティ
ベーション行列のロジスティック回帰によって推定されるラベル付結果が，正解ラベルと全体的に近い結果が得られたことがわかる。また，女性話者の区別が難しいこともわかる。Tab. 1 では，ラベル付与データの長さに対するラベル付性能を評価する。“電話のベル音” と “男性 A の音声” は評価データに含まれていないため，これらは評価しない。データの長さが増えるにつれて，各イベントのラベル付性能を表す AUCの値が向上することがわかる。
Tab. 2 はベースライン手法と提案法の性能を比較する。どちらもラベル付与データ (3) を使用した結果である。ベースライン手法では，ラベル付与区間の音響特徴量（24 個のメルフィルタバンク出力値）の分布を GMM で学習し，評価データの各フレームに対して各音響イベントラベルの事後確率を計算する。そして，5 点移動平均フィルタを利用して，事後確率を平滑化し，平均 AUC の値を計算した。提案法はベースライン手法と同等以上の性能が得られることがわ
1 音響要素の打ち切り数は D = 100 とした。C, H, U の初期値は GaP-NMF[20] を利用して決定する。推定された H1:Ω,dは d 番目の音響要素の初期基底スペクトルとする（初期状態数は Kd = 1 とする）。一方，U は，その中央値よりも大きい要
素は 1，平均値よりも小さい要素は 0 に二値化して初期値とする。超パラメータの推論も可能であるが，本稿では簡単のため
(0)
(1)
(d)
(ω,d)
(ω,d)
θa = 1, θb = 10, θb = 1, θβ = 1, θφ= 1, θψ= 1 (d =(0)(1)

1, . . . , D, ω = 1, . . . , Ω), θα = 1, θα = 1000 に固定した。各
パラメータの更新回数は 1000 回とした。

日本音響学会講演論文集- 22 -

0.790

0.734

かった。ただし注目すべきは，(1) や (2) のようにラベル付与データが少ない場合，GMM は効果的にその特徴量の分布を学習できない。しかしながら，提案法は，たとえ少量のラベルデータであったとしても，ラベル付けされていない区間を活用することによって，全体のイベントラベルを推定できると考えられる。

5

まとめと今後の展開

音響信号の中で複雑に重ね合わさった様々な音響イベントを時間的に書き起こすために，これまで提案した無限生成モデルにベイズロジスティック回帰を導入して，音響イベントのマルチラベリング方法を提案した。アクティベーション行列を更にスパースにする工夫を施すこと，大規模データベースを利用して提案法の妥当性を評価すること，パラメータ推論における計算コストを削減することが今後の課題である。

参考文献[1] A. Temko et al., Pattern Recogn. Lett., vol.30,no.14, pp. 1281–1288, 2009.
[2] T. Butko et al., in Proc. ICASSP 2011.
[3] 佐々木ほか, 情処研報, 2011–SLP87–6, 2011.
[4] 井本ほか, 音講論集, 2-Q-32，pp. 975–976, 2012.
[5] K. Sumi et al., in Proc. INTERSPEECH 2009.
[6] A. Mesaros et al., in Proc. EUSIPCO 2010.
[7] A. Misra, in Proc. INTERSPEECH 2012.
[8] T. Heittola et al., in Proc. CHiME 2011.
[9] M. Espi et al., in Proc. ICASSP 2012.
[10] Z. Zhang et al., in Proc. ICASSP 2012.
[11] B. Byun et al., in Proc. INTERSPEECH 2012.
[12] S. Chaudhuri et al., in Proc. INTERSPEECH 2012.
[13] 大石ほか, 音講論集, 1-P-22，pp. 775–778, 2012.
[14] M. Nakano et al., in Proc. ICASSP 2011.
[15] J. V. Gael et al., in Proc. NIPS 2008.
[16] Y. W. Teh et al., in Proc. NIPS 2007.
[17] D. Spiegelhalter et al., Networks, vol. 20, pp. 579–605, 1990.
[18] D. M. Blei et al., in Proc. NIPS 2007.
[19] S. L. Scott, JASA, vol.97, pp. 337–351, 2002.
[20] M. Hoﬀman et al., in Proc. ICML 2010.

2013年3月