DNN の全出力確率系列 Posteriorgram を用いた STD の検索精度の向上
Improvement of Search Accuracy of Spoken Term Detection Using
Posteriorgram of Deep Neural Network
感性情報学講座 0312012042
指導教員：伊藤慶明
1

はじめに大容量記憶デバイスの普及により，大量の音声や動画データを扱うことが増えている．
これらの音声データを利用し，検索語（クエリ）が話されている区間を検索する「音声中の検索語検出」(STD：Spoken Term Detection)の研究が盛んに行われている．従来の STD システムでは音声認識システムを用いて音声ドキュメントをサブワード系列に変換し，サブワード系列に変換したクエリと認識結果のサブワード系列とを連続 DP 照合により検索語の発話区間を特定する．局所距離にはサブワード間音響距離やサブワード系列を構成す
る HMM 中の状態に対し定義した状態間距離を用いる．近年，クエリが音声で与えられる
SQ-STD (Spoken Query STD)の研究も盛んに行われている．SQ-STD の一般的手法として入力音声を音声認識システムによりサブワード系列に変換し，テキストクエリと同様の STDシステムで検索を行う．音声信号をサブワード系列に変換し，サブワード間あるいは状態間の音響距離を用いてもフレームレベルの情報は失われる．一方，GMM (Gaussian MixtureModel)や DNN(Deep Neural Network)の出力確率はフレームレベルで得られるため，これを用いることでより高精度な検索が可能と考えられる．
本稿では音声クエリをサブワード系列に変換し，その状態系列同士で照合することにより順位を一旦求め，上位候補に対してのみDNN の出力確率系列である Posteriorgram1)系列間で照合し，その結果も併用することで検索精度の向上を図る．

2 提案手法2.1 提案手法の概要
DNN は通常，HMM の状態 N 個の出力確率が得られる．フレームレベルで得られる N 個

小原真人
小嶋和徳の出力確率からなる系列を Posteriorgram という．提案手法では，音声クエリと音声ドキュメントの 2 つの Posteriorgram を連続 DP 照合することにより検索精度の向上を図る．検索
語とすべての音声ドキュメントとのフレームレベルでの多次元(ex. N=3000)の連続 DP 照合は実用的な計算時間ではない．このため 2.2 で述べる従来手法の STD 手法で求めた上位の候補に対し適用することで実用的な検索時間で検索精度の向上を図る．

2.2 サブワード系列状態間距離を使用した STD システム 2)
従来のサブワードベースの STD システムでは音声クエリ，音声ドキュメントともにサブワード変換し，各サブワードを状態系列に変換した後，状態レベルで連続 DP 照合を行う．
照合の際の局所距離には本稿では各状態のGMM の統計量から求めた状態間音響距離を用いる．

2.3 Posteriorgram を用いた連続 DP 照合
音声クエリ，音声ドキュメントのフレームレベルの特徴量を DNN に入力するとそれぞれの Posteriorgram が得られる．この 2 つのPosteriorgram 間 で 連 続 DP 照 合 を 行 う ．
Posteriorgram 中のフレーム間局所距離は式(1)を用いて算出する．𝑃𝑖 ，𝑄𝑗 はそれぞれ音声クエ
リ，音声ドキュメントの Posteriorgram の𝑖番目，𝑗番目のフレームを示す．𝑃𝑖 (𝑘)，𝑄𝑗 (𝑘)はそれぞれの𝑖，𝑗フレームにおける Posteriorgram の𝑘番目の状態出力確率を示している．DNN の出力確率は合計すると 1 となるため cos 類似度は𝑃𝑖 ，𝑄𝑗 の内積となる．cos 類似度を距離とするため−logを掛ける．
𝑑𝑖𝑚

𝐷(𝑃𝑖 , 𝑄𝑗 ) = −log⁡( ∑ 𝑃𝑖 (𝑘)𝑄𝑗 (𝑘))

(1)

𝑖=0

式 (1) で 求 め た フ レ ー ム 間 距 離 を 用 い て フレームレベルでの照合を行う．従来手法の状態レベルでの CDP 距離と Posteriorgram の CDP距離を統合し，再度順位付けを行う．統合は式(2)により行う．α は補正係数，𝐷𝑠 は状態間照合の CDP 距離，𝐷𝑝 は Posteriorgram の CDP距離を示す．
𝐷new = (1 − 𝛼)𝐷𝑠 + 𝛼𝐷𝑝 ⁡⁡ ⁡⁡ (2)3 評価実験
3.1 実験条件
音響モデル，言語モデルの学習には CSJ の全 2,702 講演から Core の 177 講演を除いた2,525 講演のうち，偶数講演(1,255 講演，約 287時間)を使用した．音響モデルは 3 状態のtriphone 系列で構成し，状態共有により 3,009状態とし，混合数は 32 とした． DNN に入力する際の特徴量はフィルタバンク 120 次元とその前後 5 フレーム分を追加した 1,320 次元とした．DNN の学習条件を Table 1 に示す 3)．
表 1 DNN の学習条件
入力層 1320
隠れ層 2048
出力層 3009

ノード数
隠れ層
学習係数
モメンタム

50.004
0.9

RBM ミニバッチサイズ256

エポック数10

学習係数0.007(前エポックより認識率が下がった場合半減)

ミニバッチ
サイズ256DNN

3.2 テストセット
評価用のテストセットに NTCIR-10 Formalrun を使用した．検索対象ドキュメントは
SDPWS 104 講演(約 28.6 時間)，クエリ数 100である．今回使用する音声クエリとして男女各 5 名，計 10 名の学生に発話してもらい録音
し た ． 評 価 指 標 に は MAP(Mean AveragePrecision)を用いた．

3.3 実験結果
以下の表の統合の際の α を 0.5 とした実験結果を Table 2 に示す．音声ドキュメント全体に対して Posteriorgram で連続 DP 照合すると(K=All)，MAP は 75.02 と従来の状態間照合の59.95 より高い結果が得られ，フレームレベルでの照合の有効性が確認できた．一方，検索時間は 1 クエリ当たり約 44 分( 2629 秒)要してしまう． K=1,000 で計算時間は約 80 秒要するが+ 11.52 point 向上した．さらに従来の状態間照合と Posteriorgram を統合すると MAP
は Posteriorgram 単体に比べ K=1,000 では+1.52point (MAP 72.98)と向上しており，提案手法の有効性を確認できた．
表 2 Posteriorgram 単体と状態間照合を統合したときの MAP と時間
Posteriorgram

統合

Timeupup
(sec)
MAP
MAP
(point)(point)

状態間照合

0.00

0.2

K=1062.06 +2.45 62.40 +2.79

0.9

K=100

67.16 +7.21 68.37 +8.42

8.0

K=1,000

71.47 +11.52 72.98 +13.04

79.8

K=10,000

74.26 +14.31 75.80 +15.85

770.9

K=All75.02 +15.07 76.49 +16.55 2629.1

459.950.00 59.95

おわりに提案手法を適用することにより，K=10 のとき従来法より 0.7 秒の計算時間増加で 2.79
point の MAP が向上し，提案手法の有効性を確認できた．K=1,000 のとき Posteriorgram の導入により MAP が 11.52 point 向上し，統合によりさらに 1.52 point の MAP が向上した．
一方，K=1,000 の場合約 80 秒，K=All の場合2,629 秒要するため検索時間の削減が今後の最重要課題と考える．
参考文献
1) Yaodong Zhang et al，Unsupervised Spoken
Keyword Spotting via Segmental DTW on
Gaussian Posteriorgrams，ASRU 2009，398403, (2009)2) 高橋仁基 他，音声中の検索語検出における事前検索・HMM 状態系列照合・リランキングの適用，情報処理学会研究報告,
SLP, (2013)3) 紺野良太 他，音声中の検索語検出におけるフレームレベル状態系列間照合方式，
信学技報, vol. 115, no. 146, (2015)