音声中の検索語検出における LSTM ネットワークによるDNN の全出力確率の再推定
Re-estimation of Posteriorgram of Deep Neural Network byLong Short Term Memory in Spoken Term Detection
感性情報学講座 0312017301 川村 朋輝
指導教員：伊藤慶明 小嶋和徳
上述したように，Posteriorgram 照合では高精度

1. はじめにな検索が可能であるが，多次元の事後確率ベクト

音声を含む大量のデータ中から特定のシーンルの内積を求めるため，計算時間を要する問題がを検索する音声中の検索語検出（STD：Spoken

あった．

Term Detection）やクエリを音声で入力する SQ-

2.2 クエリ最尤系列照合 3)

STD（Spoken Query STD）の研究が活発である．
後述する先行手法

音声クエリの各フレームの事後確率ベクトル

では，音声データを 0.01のうち最大確率を示す状態番号をそのフレーム秒毎に DNN（Deep Neural Network）に入力して得の最尤状態番号とし，最尤状態番号の系列（最尤られる事後確率ベクトルを特徴量系列とし，その系列）を保持する．この方式では，Posteriorgram

音声クエリと音声データの Posteriorgram を照合

照合での内積計算が省略され，状態番号の参照のすることで高い検索精度が得られた．一方照合時みになるため，検索は高速となったが，検索精度の局所距離を得るために多次元（約 3000 次元）の低下が問題となった．

1)2)の事後確率ベクトル同士の内積計算を行う必要があり，検索に時間を要する問題があった．

3. 提案手法

最尤系列照合 3)では，事後確率ベクトルの次元0.01 秒毎のフレームレベルで正解の状態番号圧縮によって内積計算を省略し，検索時間の削減

系列を見ると，1 つの状態に数フレームが対応しを実現したが，検索精度の低下が問題となった．ているが，DNN から得られた最尤系列では，1 フPosteriorgram からフレーム毎に得られる最尤レームのみ出現する状態番号や誤った状態番号系列に不整合が見られたため，本論文では数フレが数フレーム継続する場合が生じた．

ーム分の時系列情報を用いて，Posteriorgram を再そこで前後フレームの時系列情報を用いなが推定することによって，正確な最尤系列に変換すら，Posteriorgram の再推定を行なうことで，正しることで，検索時間を最尤系列と同レベルに維持

い最尤系列への修正を行い，検索精度向上を図る．

しながら，検索精度の向上を図る．

再推定には，LSTM（Long Short Term Memory）を用いる．LSTM は過去に入力された情報を長期

2. 先行手法
2.1 Posteriorgram 照合を用いた SQ-STD的に保持することで，時系列データの予測が可能
1)なネットワークモデルである．提案手法では，前音声認識では一般的に，音声データを 1 フレー

後フレームを含む数フレームの事後確率ベクト

ム毎に特徴量に変換し，DNN に入力すると，ルを時系列データ として再推定を行うため ，HMM（Hidden Markov Model）で定義された N 個

LSTM が適切と考える．ネットワークのモデル構の状態の事後確率ベクトルが得られる．

造やデータの入力方式の実験を行いながら調整

Posteriorgram はフレーム毎の事後確率ベクトルし，適切なネットワークの構築を図る．

を時系列順に並べた行列である．Posteriorgram 照

本論文では，再推定に用いるフレーム数を追加合を用いた SQ-STD では，音声データと音声クエすることで，時系列情報量を増加させ，検索精度

リ の 両 方 の Posteriorgram を 求 め ， 連 続 DPの向上を図る．DNN から得られた Posteriorgram（Dynamic Programming）照合を行い，検索結果の内、1 フレーム毎に事後確率ベクトル（3,009 ノを求める．

ード）を LSTM の入力とする「単一フレーム入力方式」と，前後 2 フレームの計 5 フレーム分の事後確率ベクトル（3,009×5 ノード）を LSTM の入だった．検索精度は最大で 1.17point の向上し，力する「前後 2 フレーム入力方式」
で Posteriorgram提案手法の有効性を確認出来た．再推定を含む 1の再推定を行う．

クエリ当たりの検索時間は最大でも 0.09s の増加で，影響はないと考える．

4. 評価実験
表 2 実験結果
MAPUp(%)(point)4.1 実験条件
LSTM の学習には，事前実験により性能が良かった CSJ の全講演 2,702 講演の中の 1,270 講演，Time(s)

先行手法

65.05

0.00

2.54

する DNN の入力特徴量は，FBANK120 次元とそ

単一フレーム65.80+0.752.57の前後 5 フレーム分を追加した 1,320 次元とし

前後 2 フレーム

66.22+1.17

2.63

約 218 時間を使用した．事後確率ベクトルを出力た．出力次元数は状態共有した triphone 系列に対応付けた 3,009 次元とした．LSTM の学習条件は5. おわりに

表 1 に示す．

本論文では，LSTM での Posteriorgram の再推定によるクエリ最尤系列高精度化手法を提案し，検表 1.再推定 LSTM の学習条件

入力層

単一フレーム前後
2 フレーム

フレーム数

15

ノード数

3,009

15,045

3,009

2,048

中間層
出力層
エポック数

5

学習法

Adam

ミニバッチ

256

学習率

0.001

時間の大きな増加は無く，検索精度も各入力方式でそれぞれ 0.75point と 1.17point 向上し，提案手法の有効性が確認できた．
今後は，更なる入力方式の探求や LSTM のパラメータの調整，過去の情報に加え，未来の情報も加味することが可能な Bi-directional LSTM 等の調査と構築をし，更なる検索精度向上を目指し

3,009
10

索精度の向上を図った．先行手法 3)と比べ，検索ていきたい．

参考文献
1)

小原真人 他：DNN の全出力確率系列
Posteriorgram を用いた STD の検索精度の向上，岩手県立大学ソフトウェア情報学部卒

4.2 テストセット
評価用のテストセットとして，クエリは業論文（2016）
2)

Yaodong Zhang et al，Unsupervised Spoken

NTCIR-12 Formal run-Single term の 113 個を使用

Keyword Spotting via Segmental DTW on

し，検索対象データは SDPWS98 講演（約 28 時

Gaussian Posteriorgrams，間）を使用した．音声クエリは男女各 5 名，計 10

ASRU 2009，398-403，(2009)

名の学生に発話してもらい，録音したものを使用

3)

小原真人 他：音声中の検索語検出におけるした．評価指標は MAP（Mean Average Precision）

深層学習を用いた検索精度向上および検索を用い，話者 10 人の平均とした．

時間削減方式，岩手県立大学博士前期課程

4.3 実験結果（ソフトウェア情報学）論文（2018）

LSTM での Posteriorgram の再推定によるクエリ最尤系列照合の実験結果を表 2 に示す．
Time は再推定時間を含めた 1 クエリ当たりの検索時間を表す．先行手法は文献 3)の結果を表し，検索精度は 65.05%，検索時間は 2.54 秒だった．
単一フレーム，前後 2 フレームは再推定によるクエリ最尤系列照合の実験結果を示し，検索精度，時間はそれぞれ 65.80%と 2.57s，66.22%と 2.63s

4)

紺野良太 他：音声中の検索語検出におけるフレームレベル状態系列間照合方式,信学技報，val.115，no.146（2015）