音声中の音声検索語検出における最尤系列ヒストグラム照合の精度向上
Introduction Histogram Matching in Maximum Likelihood
State Sequence Method to Improve accuracy in Spoken Term Detection
0312017094 高橋蓮
指導教員：伊藤慶明 小嶋和徳 眞田尚久
はじめに

1.

算に多大な時間が必要なため約 28.6 時間の音声

近年，大容量の音声データ中から特定シーンやデータ中から，1 つのクエリを検索するのに検索

単 語 を 検 索 す る 音 声 中 の 検 索 語 検 出 (STD ：時間は 36.83 秒要する．

Spoken Term Detection)，および検索語(クエリ)を2.2.クエリ最尤系列化照合 1)

音声として入力する SQ-STD(Spoken Query-STD)の研究が盛んに行われている．

音声クエリの Posteriorgram 中の各フレームの事後確率ベクトルにおいて，最大確率を示す状態

先行研究のクエリ最尤系列化照合 では，0.01

番号をそのフレームの最尤状態番号系列(最尤系秒毎に音声特徴量を DNN(Deep Neural Network)列)と呼ぶ．音声データ中の事後確率値を事前にに入力して得られる，3,193 次元の事後確率ベク距離としておき，連続 DP 照合時には音声クエリトルを次元圧縮し，内積計算を省略した結果，検の最尤の状態番号からこの局所距離を参照する

索精度は低下したが，検索時間を Posteriorgram 照

だ け と な る た め ， Posteriorgram 照 合 で 必 要 な

合 の 36.83 秒から 2.54 秒まで削減した．一方，3,193 次元の事後確率ベクトル同士の内積計算を実用的な STD システムとしては更なる検索速度行わず，前述の検索タスクにおいて，検索時間を向上が求められ，先行研究では音声クエリの最尤約 2.54 秒に削減できた．

系列から作成したヒストグラムを用いてヒスト

2.3.最尤系列ヒストグラム照合 2)

1)

1)

グラム照合により高速な照合を行い，その検索結

最尤系列ヒストグラム照合は 2 つの工程で検果の少数の上位候補に対して，より詳細な照合を索を行う．前段で高速な探索が可能な最尤ヒスト行うことで，検索精度を維持しながら，検索速度グラム照合を行い，後段で連続 DP 照合による詳を 1 秒以内に削減した．

細な探索を行う．音声データは予め最尤状態番号

本論文では，音声クエリ・音声データの各フレを取得しておく．音声クエリが与えられると最尤ームの最尤状態番号だけではなく，2 番目,3 番目系列の状態番号を取得し，横軸が状態番号で縦軸に高い確率を示す状態番号を用いることで，正しが最尤系列の中の各状態番号の度数の最尤系列

い状態番号を含むヒストグラムを構成でき，検索ヒストグラムを作成する．次に音声データの最尤精度の向上が見込まれるため，上位複数件の状態系列ヒストグラムを同様に作成する．
最尤系列ヒストグラムを音声データの発話毎番号を用いたヒストグラム照合方式を提案する．

2.

先行手法

2.1.Posteriorgram 照合 1)
音声特徴量を 1 フレーム毎に前述した DNN に入力すると 3,193 次元の事後確率ベクトルが得らにヒストグラム照合を行い，重なり度数の高い順から上位候補とする．ヒストグラム照合単体では0.10 秒と高速だが，検索精度を示す MAP は32.40％と低いため，ヒストグラム照合で特定した上位候補に対しクエリ最尤系列化照合で詳細れ，それを時系列順に並べた行列を Posteriorgramな探索を行うことでヒストグラム照合単体と比と呼ぶ．Posteriorgram を作成し，連続 DP(CDP)照べ，高速かつより高精度な検索を実現する．

合を行う．局所距離は事後確率ベクトル同士の内3.

提案手法

積計算により求める．Posteriorgram 照合では高精検索精度の向上を図るため，前段で音声クエリ度な検索が可能な一方，3,193 次元同士の内積計および音声データのそれぞれについて上位複数

件の状態番号から成るヒストグラムを構成した

MAP は上位 100 件で 8.60point，上位 1,000 件で上でヒストグラム照合を行い，後段で詳細な探索3.25point，上位 4,000 件で 1.32point，上位 10,000を行う，上位複数件ヒストグラム照合を提案する．

件で 0.43point 向上しすべての上位候補で精度向音声クエリの各フレームにおいて，確率値が高上を確認できた．P@1 の結果を図 3 に示す．P@1

い 1 位,2 位,3 位…の状態番号を抽出する．音声デの検索精度は上位 100 件で 1.50point，上位 4,000ータについてもクエリ同様，上位複数件の状態番

件で 0.20point 精度向上し，上位 4,000 件とクエリ号を抽出する．本論文では音声クエリ・音声デー最尤を比較すると 0.40point の差で検索時間をタのヒストグラムを構成する際，最も検索精度が2.54 秒から 0.52 秒に短縮した．
表 1 最尤と上位複数件のヒストグラム照合の比較高くなる上位件数を調査するため，最上位，上位

検索時間(s)

MAP(%)

2 位，上位 3 位をヒストグラム化し比較実験を行

最尤ヒストグラム照合

32.40

0.10った．先行研究と同様ヒストグラム照合の結果上Q1-D２ヒストグラム照合

40.48(+8.08)

0.12

位 100 件，1,000 件，4,000 件，10,000 件に対し，

Q2-D2 ヒストグラム照合

38.30(+5.90)

0.13

Q1-D3 ヒストグラム照合

44.37(+11.97)

0.15

クエリ最尤系列化照合を行うことで先行研究で

Q2-D3 ヒストグラム照合

41.39(+8.99)

0.17ある最尤系列ヒストグラム照合と比較し，検索精

Q3-D3 ヒストグラム照合

39.15(+6.75)

0.17

度の向上を実現する．

図 1 上位２件までのヒストグラム照合のイメージ

4.

実験結果

図 2 上位 100，1,000，10,000 件における検索精度と時間

4.1.評価データ
評価用のデータセット SDPWS 104 講演(約 28.6
時間，40,746 発話)を用いた．クエリは NTCIR-10の Formal run で提供された 100 個を用いた．評価指標には MAP(Mean Average Precision)と P@N 探索法を用いた．P@N とは上位 N 件での Precisionの平均であり，平均適合率を表す指標となる．
P@1 は最上位候補の正解率であり，ユーザが検索の際に確認するのは 1 位の検索結果であるた
め，P@1 は重要な評価指標である．
4.2.実験結果
最尤ヒストグラム照合と上位複数件ヒストグ
ラム照合の比較を表 1 に示す．以降，Qｍ，Dn は各々，音声クエリ，音声データの m, n 位までのヒストグラムを表す．
Q1-D3 は MAP が最も高く，最尤と比べ MAP が約 12.0point 向上し検索時間は 0.15 秒だった．
Q1-D3 ヒストグラム照合の上位 100 件，1,000件，4,000 件，10,000 件の発話に対して，クエリ最尤系列化照合を適用した場合の MAP と検索時間を図 2 に示す．再検索すると，先行研究と比べ

図 3 上位 100，1,000，10,000 件における P@1 の結果

5.

おわりに
本論文では, 上位 3 件の状態番号を利用したヒストグラム照合を提案し, その上位検索候補に対して詳細な探索すると, 検索速度の増加を抑えつつ, 検索精度の向上を実現した．先行研究と比べ MAP では上位候補すべてで検索精度向上を確認でき，P@1 では，検索時間を 1 秒以内に抑えつつ，上位 100 件と上位 4,000 件で検索精度の向上が確認でき実用上の有効性を確認できた.

参考文献
1) 小原真人 他;音声中の検索語検出における深層学習を用
いた検索精度向上および検索時間削減方式，岩手県立大学
博士前期課程(ソフトウェア情報学)論文(2018)2) 千葉景悟 他;音声中の音声検索語検出における最尤系列
ヒストグラム照合による検索速度の向上, 岩手県立大学
ソフトウェア情報学部卒業論文(2019)