音声中の検索語検出における最尤系列ヒストグラム照合による検索速度の向上
Introduction of Histogram Matching in Maximum Likelihood
State Sequence Method to Improve Search Speed in Spoken Term Detection
0312016104 千葉 景悟
指導教員：伊藤慶明 小嶋和徳
2.2. クエリ最尤系列化照合 2)

1. はじめに

音声クエリの Posteriorgram 中の各フレームの事

近年，大容量の音声データ中から特定シーンや単語を検索する音声中の検索語検出(STD：
Spoken Term Detection），そのクエリを音声として入力するSQ-STD(Spoken Query STD)の研究が盛んに行われている．

後確率ベクトルにおいて，最大確率を示す状態番号をそのフレームに保持し，Posteriorgram 中のフレーム毎の最尤の状態番号系列(最尤系列)を得る．この手法では，Posteriorgram 照合で必要な 3,193 次元同士の内積計算を行わず，音声データ中の事後確率値を事前に距離としてお先行研究のクエリ最尤系列化照合 では，音2)

き，音声クエリの最尤の状態番号からこの局所声データを 0.01 秒毎に DNN(Deep Neural

距離を参照するだけとなるため，検索時間向上Network)に入力して得られる，3,193 次元の事後を実現できた．一方，SDPWS104 講演の約 28.6確率ベクトルを次元圧縮し，内積計算を省略し時間の検索に約 2.54 秒要した．

た結果，検索精度は低下したが，検索時間を2.3. ヒストグラム照合 3)

Posteriorgram 照合 1)の 36.83 秒から 2.54 秒まで大容量の音響データから高速に探索する手法削減したが，実用的な STD システムとしては，として，柏野らによって時系列アクティブ探索

さらなる検索速度向上が求められる．

法 3)が提案された．時系列アクティブ探索法と本論文ではこの検索速度向上を目的として，は，まず検索したい音響セグメントをフレーム最尤系列ヒストグラム照合法を提案する．音声毎に特徴抽出を行う．特徴ベクトルを予め定めクエリの最尤系列から作成したヒストグラムをたクラスタに分類し，各クラスタに属する特徴用いて高速な照合を行い，その検索結果の少数ベクトルの出現回数をカウントすることで，音の上位候補に対して，より詳細な照合を行うこ

響セグメントのヒストグラム(特徴ヒストグラとで，検索精度を維持しながら，検索速度の向ム)を作成する．

上を図る．

ヒストグラムの窓長を音響セグメントの長さとして，同様の処理を音声データの先頭から行

2. 先行手法い，特徴ヒストグラムを作成する．この特徴ヒ1)

ストグラムから類似度を計算し，窓をフレーム

音声認識では一般的に，音声データを 1 フレシフトすることで，音声クエリが話されている

2.1.Posteriorgram 照合ーム毎に特徴量に変換し，連続 DP（DynamicPrograming）などの照合を行う．

区間を特定する．
類似度の計算には双方の特徴ヒストグラムかPosteriorgram とは，音声データを 1 フレームら求められる重なり率（実際には重なり数のカ毎に DNN に入力して得られる 3,193 次元の事後ウントだけで、計算負荷はかからない）を用い確率ベクトルを時系列順に並べた行列である．

るため，局所距離計算を行わずに高速な探索が音声クエリと音声データから Posteriorgram を可能である．一方，時系列の順序を考慮しない作成し， CDP 照合を行う．局所距離は事後確率ベクトル同士の内積計算により求める．

ため検索精度の低下は避けられない．

3. 提案手法

表1

上位 100，1,000，10,000 件における検索精度と時間

前述の通りクエリ最尤系列化照合では，さらなる検索速度向上が望ましいため，前段で高速り上位候補（P@N）に対しては検索精度を維持

クエリ最尤(QML)
ヒストグラム照合
上位 100+QML
上位 1,000 件+QML
上位 4,000 件+QML
上位 10,000 件+QML

したまま，検索速度の向上を図る．

表2

な探索が可能なヒストグラム照合を行い，後段で詳細な探索が可能な連続 DP 照合を行う，最尤系列ヒストグラム照合を提案する．これによ使用する特徴ヒストグラムは，音声クエリとMAP(%)

検索時間(sec)73.89
32.30
55.75
68.02
71.72
73.06

2.54
0.10
0.12
0.31
0.84
2.03

上位 100，1,000，10,000 件におけるP@N の結果

音声データの両方から最尤系列の状態番号を取得し，最尤系列ヒストグラムを作成する．
最尤系列ヒストグラムを音声データの発話ごとにヒストグラム照合を行い，重なり率の高い順から上位候補とする．
ヒストグラム照合の検索時間は後述する評価
データでは 0.10 秒と高速だが，検索精度である
MAP は 32.29%と低いため単体では使用できな
い．検索時間を 1 秒以内と想定すれば，上位候補をより詳細に照合し，リランキングできる．
そこで，ヒストグラム照合で特定した上位候補に対しクエリ最尤系列化照合，あるいはPosteriorgram 照合を行い，詳細な探索を行うことでヒストグラム照合と比べ，高速かつより高精度な検索を実現する．

4. 実験結果
4.1. 評価データ
評価用のデータセットは SDPWS104 講演（約28.6 時間，40,746 発話）を用いた．クエリはNTCIR-10 の Formal run で提供された 100 個を用いた．評価指標には MAP(Mean AveragePrecision)と P@N を用いる．P@N とは上位 N 件での Precision の平均であり，検索精度が高ければ検索システムの有用性を評価できる．
4.2. 実験結果
ヒストグラム照合の上位 100 件，1,000 件，4,000 件，10,000 件の発話に対して，クエリ最尤系列化照合を適用した場合の MAP と検索時間を表 1 に示す．検索時間にはヒストグラム照合の検索時間の 0.10 秒も含めた．
上位 100 件，1,000 件にクエリ最尤系列照合（QML）を適用すると，クエリ最尤系列照合の2.54 秒と比べ，検索時間はそれぞれ 0.12 秒，0.31 秒となるが，MAP は 5.87point 以上低下した．一方，上位 10,000 件では検索時間が，2 秒

クエリ最尤(QML)
上位 100+QML
上位 1,000 件+QML
上位 4,000 件+QML
上位 10,000 件+QML

P@1(%)
84.50
82.00
83.50
83.90
84.30

P@3(%)
79.90
73.60
77.77
78.77
79.13

P@10(%)
57.97
47.11
54.97
56.88
57.30

以上となる．
P@1，P@3，P@10 の結果を表 2 に示す．上位 4,000 件にクエリ最尤系列化照合を適用すると，P@1 での検索精度は 83.90%とクエリ最尤系列化照合に比べ 0.60point の低下に抑えることができた．
最上位候補である P@1 をユーザは最初に閲覧すると想定されるため，1 秒以内に出た 1 位の検索結果を閲覧している間に，クエリ最尤系列化照合等の詳細な探索で検索可能であるため，実用上有効と考える．

5. おわりに
本論文では，ヒストグラム照合の上位検索候補に対して詳細な探索する手法を提案し，P@Nでの検索精度を維持しつつ，検索速度の向上を実現した．特に上位 4,000 件の結果は，検索速度を 1 秒以内に削減しつつ，P@1 でクエリ最尤系列化照合単体と比べ 0.6point の低下に抑えることができ，実用上の有効性を確認できた．

参考文献
1) 小原真人 他:DNN の全出力確率系列 Posteriorgramを用いた STD の検索精度の向上，岩手県立大学ソフトウェア情報学部卒業論文(2016)2) 小原真人 他;音声中の検索語検出における深層学習を用いた検索精度向上および検索時間削減方式，岩手県立大学博士前期課程(ソフトウェア情報学)論文(2018)3) 柏野邦夫 他;ヒストグラム特徴を用いた音響信号の高速探索法―時系列アクティブ探索法―，電子情報通信学会論文誌 VOL．J82-D-Ⅱ 1999-9(1999)