2 つの深層学習モデルを用いた最尤系列ヒストグラム照合による音声中の音声検索語検出の精度向上
Histogram Matching in Maximum Likelihood State Sequence Method Using
Two Deep Learning Models to Improve Accuracy in Spoken Term Detection
0312018019 氏家 涼
指導教員：伊藤慶明 小嶋和徳 眞田尚久
1. はじめにつのクエリを検索するのに 36.83 秒と時間を要す

近年，大容量の音声データ中から，特定シーンを単語で検索する機能が求められ，音声データ内

る．
2.2. クエリ最尤系列化照合１)の特定の検索語(クエリ)を検出する Spoken Term

音声クエリの Posteriorgram 中の各フレームのDetection(STD)，そのクエリを音声で入力する

事後確率ベクトルで，最も高い確率の状態番号をSpoken Query-STD(SQ-STD)の研究が行われていそのフレームの最尤状態番号とする．音声ククエ

る．

リの全フレームに最尤状態番号を確定し，この系クエリ最尤系列化照合 1)では，事後確率ベクト列をクエリ最尤系列と呼ぶ．音声データ中の事後ルの次元圧縮により，検索精度は低下したが，検確率値を予め距離化すると，連続 DP 照合の際，索時間を Posteriorgram 照合に比べ大幅に削その距離を参照するだけでよい．これにより，局減した．実用的な STD システムには更なる検索所距離の内積計算を省略でき，検索時間が前述の速度の向上が求められる．

通り削減できた．

1)

千葉らは，上記の最尤系列を基に作成したヒス

2.3. 最尤系列ヒストグラム照合２)

トグラムを用いた最尤系列ヒストグラム照合に

最尤系列ヒストグラム照合では 2 段階の照合より，精度を維持し，検索時間を 1 秒以内に削減を行う．高速な検索が可能なヒストグラム照合にした 2)．音声クエリ・データの最上位の状態番号より荒い検索を行った後，クエリ最尤系列化照合のみでなく，2 位以降も用いる上位複数件ヒストで詳細な検索を行う．予め音声データを最尤系列

グラム照合では，最尤系列ヒストグラム照合より化しておき，音声クエリが与えられると同様に最も高精度の検索を実現した ．

尤系列化し，横軸が状態番号で縦軸が各状態番号３)

本論文では，これまで単一の深層学習モデルをの出現度数の最尤系列ヒストグラムを作成する．

用いたヒストグラム照合を，DNN・BLSTM の 2

次にクエリのフレーム長を窓長として音声デーつのモデルから得られた Posteriorgram 及びそのタの最尤系列も同様にヒストグラムを作成する．

上位複数の状態番号を用い，検索精度の向上を狙

音声クエリと発話毎の音声データの最尤系列ヒう，DNN・BLSTM 併用ヒストグラム照合方式をストグラムを用いてヒストグラム照合を行い，重提案し，双方の誤りを補い合う．

なり度数の高い順から上位候補発話とする．ヒス

2. 先行手法

トグラム照合単体では高速だが，精度は低いため，
１)

上位候補発話に対しクエリ最尤系列化照合を行

音声特徴量を 1 フレーム毎に DNN 等のネットうことで高精度な検索を実現するとともに 2 段

2.1. Posteriorgram 照合

ワークに入力して得られる約 3,000 次元の事後確階照合により高速化も実現する．

率ベクトルを時系列順に並べた行列を

2.4. 上位複数件ヒストグラム照合３)

Posteriorgram と呼ぶ．音声クエリ・データそれぞ上位複数件ヒストグラム照合では，最尤系列ヒス

れの Posteriorgram を作成し，連続 DP(Dynamic

トグラムの作成の際に確率値の高い 2 位以降のProgramming)照合を行う．局所距離は音声クエ状態番号の上位複数件を取得する．音声クエリ・リ・データの事後確率ベクトル間の内積計算で求データ各々に対して上位複数件の状態番号を用める．Posteriorgram 照合は，高い精度を示すが，いてヒストグラムを作成し，ヒストグラム照合を

局所距離を求めるのに約 3,000 次元同士の内積計行い，最尤系列ヒストグラム照合よりも高精度の算を行うため，約 29 時間の音声データ中から 1検索を実現した．

表 1 テストセット

図 1 DNN・BLSTM 併用ヒストグラム照合のイメージ

3. 提案手法
本論文では，検索精度の向上を図るため DNN・
BLSTM の 2 つのモデルから出力された事後確率ベクトルを用いヒストグラム照合を行う DNN・

図 2 先行研究との MAP/P@1 比較

BLSTM 併用ヒストグラム照合を提案する．

（左：NTCIR-10，右：NTCIR-12）

2 つのモデルから得られた音声クエリ・データ
それぞれの最尤及び複数上位の系列からヒストグラムを作成すると，4 通りの組み合わせの重なり度数が得られ，これらを足し合わせた累積度数を 1 つの重なり度数としたヒストグラム照合を行う．その後，先行手法と同様に得られた上位候補発話に対してクエリ最尤系列化照合で再照合を行い，検索精度の向上を図る．

4. 実験結果
4.1. テストセット
評価用のテストセットを表 1 に示す．NTCIR10 の音声クエリは男女各 5 名，計 10 名の発話
100 クエリを使用し，NTCIR-12 ではオーガナイ
ザから提供された 10 名の発話 113 クエリを使用した．評価指標には MAP(Mean Average Precision)と P@N を用いる．P@N とは上位 N 件でのPrecision の平均であり，P@1 の精度が高い程検索システムの有用性を評価できる．
4.2. 実験結果
まずヒストグラム照合について評価を行う．音
声クエリの上位件数を増やすと精度が低下した
ため，音声クエリは最尤状態番号のみを用い，データの上位件数を増加させて実験を行った．以降，
Q1 は音声クエリの最尤状態番号のみを用いたこと示し，Dn は音声データの上位 n 位までの状態番号を用いたことを示す．

図 3 先行研究との検索時間比較
は MAP が 0.38pt，P@1 が 0.10pt 向上し，NTCIR12 では MAP が 0.28pt，P@1 が 0.18pt 向上した．
扱うデータ数の増加により，検索時間も増加したが，NTCIR-10 では 0.38 秒，NTCIR-12 では 0.35秒と，当初の目標である 1 クエリ辺りの検索時間を 1 秒以内に抑えつつ，検索精度の向上を果たしたため，提案手法の有効性が示された．

5. おわりに
本論文では，DNN と BLSTM の 2 つの深層学習モデルから得られた最尤系列ヒストグラムを併用する DNN・BLSTM 併用ヒストグラム照合を提案し，NTCIR-10，NTCIR-12 両データセットにおいて精度の向上が確認できた．今後はスキップ幅や時系列を考慮した窓長のヒストグラム照合で実験を行い，精度の向上を目指す．

参考文献
1)

併用ヒストグラム照合では，Q1-D1～Q1-D5 のほとんどが先行手法の BLSTM のヒストグラム照2)合と比べ MAP・P@1 が向上した．
先行研究と同条件である，Q1-D3 の上位候補発
話上位 1,000 件に対して再照合を行った比較実験の結果を図 2 と図 3 にそれぞれ示す．再照合の結果，検索時間の増加はあったものの，NTCIR-10 で3)

小原真人 他;音声中の検索語検出における深層学習を用いた検索精度向上および検索時間削減方式，岩手県立大学博士前期課程(ソフトウェア情報学)論文(2018)
千葉景悟 ;音声中の音声検索語検出における最尤系列ヒストグラム照合による検索速度の向上， 岩手県立大学ソフトウェア情報学部卒業論文(2020)
高橋蓮 ; 音声中の音声検索語検出における最尤系列ヒストグラム照合の精度向上， 岩
手県立大学ソフトウェア情報学部卒業論文(2021)