音声中の音声検索語検出の検索精度向上 -DNN の平均事後確率ベクトル圧縮方式へのＢＬＳＴＭの導入および統合An Improvement of Retrieval Accuracy in Spoken Query - Spoken Term Detection-Introduction and Integration of BLSTM into DNN Average Posterior Probability Vector伊藤慶明講座 0312017008 新井 陸也
指導教員：伊藤慶明 小嶋和徳
1. はじめに
近年，動画配信サービスの多様化や記憶媒体

そこで本研究では，BLSTM を導入することにより，先行研究 2)からの検索精度向上を図る．の大容量化に伴い，音声データを含む大量のデ2. 先行手法

ータの中から特定シーンを検索する音声中の検2.1. Posteriorgram 照合 1)

索語検出（STD：Spoken Term Detection）の研究

音声認識システムでは一般的に，音声データが活発化している．その中でも，スマートフォの 1 フレーム毎の特徴量を，DNN に入力すると，ンの普及によって，音声でクエリ（検索語）をHMM（Hidden Markov Model）で定義された N 個入力する音声中の音声検索語検出（SQ-STD：の状態の事後確率が得られる．これを N 次元のSpoken Query STD）の研究が活発化した．

事後確率ベクトルと呼ぶ．この事後確率ベクト

従来手法として DNN（Deep Neural Network）

ルを時系列順に並べた行列を Posteriorgram と呼に，メルフィルタバンク等の音声特徴量を入力

ぶ．Posteriorgram 照合では音声データ，音声クし，出力として得られる事後確率ベクトルをフエリ共に Posteriorgram を求め，CDP（Continuousレーム毎に並べたものを Posteriorgram と呼び，Dynamic Programing）を用いて照合を行い, 検索

音声データと音声クエリの Posteriorgram 照合 1)

結果を求める．前述したように，高精度な検索をすることで高い検索精度を得た．一方，が可能であるが，検索に 50.43 秒の計算時間とメPosteriorgram 照合では局所距離を求めるのに事モリ量が 30 時間程の音声データに 100GB 以上必後確率ベクトル 3,193 次元同士の内積計算を行う要となる．

ため，検索時間を要した．また，30 時間程の音声データは Posteriorgram を用いることで 100GB以上のメモリ量を必要とする．
この問題に対し，事後確率ベクトルの代わりに最尤の状態系列を音声データの Posteriorgramの距離化により，内積計算を省略した最尤系列
照合 1)が提案され，検索時間が削減できた．一方，情報量が減少したため，検索精度が低下した ．最尤系列で減少した情報量を補完 するため，音声データの事後確率ベクトルを最尤状態番号毎に平均を取った行列を構築する平均事後確率ベクトル圧縮方式 2)が提案され，検索精度の低下を軽減した．
近 年 ， Bidirectional Long Short Term Memory（BLSTM）を用いることで検索精度が従来のDNN よりも向上することが確認されている．３）

2.2. 音声クエリ最尤系列照合 1)
音声クエリの各フレームの事後確率ベクトルの内，最大確率を示す状態番号をそのフレームの最尤状態番号とし，最尤状態番号のフレーム毎の系列（クエリ最尤系列）を作成する．このクエリ最尤系列を元に，音声データの事後確率を事前に局所距離化しておく．CDP 照合ではこの局所距離を参照するだけで，Posteriorgram 照合での内積計算が省略され，検索時間の高速化が実現されたが，検索精度低下が問題点である．
2.3. 平均事後確率ベクトル圧縮方式２)
まず音声データの最尤系列を作成し，次に最尤系列の状態番号毎に事後確率ベクトルの平均を取る．この時全講演で 1 つの平均事後確率ベクトル行列とすることもできるが，講演毎，発話毎に事後確率ベクトル行列の作成が可能であ表 1.DNN の学習条件
DNN

入力

1,320 次元

中間層

隠れ層 5

出力

3,193 次元75

MAP[％]

モデル

80706568.37

BLSTM

入力

1,320 次元中間層

256 ユニットを 5 層

出力3,009 次元表 3.テストセット

66.0964.06DNNモデル

78.45
75.42 75.06
72.3970.58

60

表 2.BLSTM の学習条件

NTCIR-1072.68

76.29
73.58
70.87

BLSTM

統合

Poste

図 1.平均事後確率ベクトル圧縮方式結果(棒グラフは左から NTCIR-10,12,平均)
4.3. 実験結果
BLSTM を用いた統合実験結果を図 1 に示す．
棒グラフは左から NTCIR-10，NTCIR12，平均を

NTCIR-12示す．Poste は DNN を用いた Posteriorgram 照合

SDPWS 104 講演
音声データ （約29 時間，40,746 発話）

SDPWS 98 講演（約 27.5 時間，37,782 発話）の結果である．DNN，BLSTM，統合は平均事後

音声クエリ 100 クエリ(10 人）

113 クエリ（10 人）

確率ベクトル圧縮方式の講演毎の結果を示す．

る．この手法により，減少した情報量が補完さ

BLSTM の統合によって検索精度の向上に成功しれ，検索精度の低下が軽減された．

た．その際の検索時間は以下の結果となった．

3. 提案手法

Posteriorgram 照合の 50.43 秒に比べ，48.43 秒短本研究では，音声認識において従来よりも高い 2.00 秒に抑えた．メモリ使用量についてはい認識精度を得ている BLSTM を SQ-STD に導入

Posteriorgram 照合の 117.67GB に比べ，110.25GBすることで，検索時間の短縮とメモリ使用量の少ない 7.42GB に抑えた．

減少をしたまま，検索精度の向上を図る．

5. おわりに

DNN と BLSTM の結果を線形和統合すること

本論文では，BLSTM を用いて音声中の音声検でも，それぞれの結果を補完することができる

索語検出の検索精度向上を図った．従来の DNNと考え，統合による検索精度の向上を図る．

を用いた Posteriorgram 照合と比較し，BLSTM の

4. 評価実験導入により検索精度では提案手法を用いた平均

4.1. 実験条件

事後確率ベクトル圧縮方式で 75.42%(4.84point 向DNN の学習には CSJ，（日本語話し言葉コー上)，検索時間は 2.0 秒(48.43 秒短縮)メモリ使用パス）の 2,702 講演から評価用の 177 講演を除い量 7.42GB(110.25GB 減少)により，提案手法におた 2,525 講演，約 560 時間を使用した．BLSTM

ける平均事後確率ベクトル圧縮方式の有効性をでの学習には CSJ の 2,702 講演，約 600 時間を使確認できた．今後は，検索時間とメモリ使用量用した．入力層 1 層，中間層 5 層，出力層 1 層でを抑えたまま Posteriorgram 照合の検索精度を上構成し，ユニット数 256，30Epoch を 5 層で構成回ることを課題とする．

した．出力層の出力は triphone の状態に対応させ参考文献

3,009 次元を事後確率ベクトルとした．DNN の1)

学習条件を表 1 に，BLSTM を表 2 に示す．
4.2. テストセット

2)

評価実験に使用したテストセットを表 3 に示す．
音声クエリには，NTCIR-10 では男女各 5 人，計10 人の発話を録音したものを使用し，NTCIR-12
ではオーガナイザから提供されたものを用いた．
評価指標は MAP（Mean Average Precision）を用いた．

伊藤慶明他:音声中の検索語検出における音声クエ
リ・音声ドキュメントのフレームレベル最ゆう系

3)

列化照合方式，電子情報通信学会論文誌（2020）
Takashi Yokota et al:Reduction of Posteriorgram ofSpeech Data by Compressing Maximum likelihood state
sequence in Query-by-example ， APSIPA ASC ，（2020）
西野将弘他:音声中の検索語検出における状態数の異なる複数の深層学習モデルを用いた検索精度の向上，情報処理学会第 82 回全国大会（2020）