最尤⾳素系列 Suffix Array 化による⾳声中の検索語検出の⾼速化
Acceleration of Spoken Query - Spoken Term Detection
by Maximum Likelihood Phoneme Sequence turned into Suffix Array0312019073 佐々⽊ 涼介
指導教員：伊藤慶明 ⼩嶋和徳 真⽥尚久
1. はじめに近年, 記憶媒体の⼤容量化に伴い, ⾳声データを含む⼤量のデータから特定のシーンを検索する, ⾳声中の検索語検出(STD：Spoken TermDetection)と, クエリ(検索語)を⾳声で与える SQSTD(Spoken Query-STD)の研究が活発化している. 現在の STD 分野において, 精度向上を⽬的とした研究は多いが, 計算速度向上を⽬的とした研究は少ない.
SQ-STD を実現する⽅法として Posteriorgram照合⽅式が代表出来である. 深層学習モデルに⾳声特徴量を⼊⼒し, 出⼒として得られるサブワードの状態に対応した次元数(43 次元)の事後確率ベクトルをフレーム毎に並べた⾏列をPosteriorgram と呼び, ⾳声データ, クエリ双⽅のPosteriorgram を照合することで⾼い検索精度が得られた.
先⾏研究のクエリ最尤系列化照合 1)では. 先述した Posteriorgram をフレーム毎に最も事後確率値の⾼い状態番号で次元圧縮し(最尤系列), 内積計算を省略した結果, 検索精度は低下したが, 検索時間を Posteriorgram 照合の 2.57 秒から 1.26秒まで削減した. ⼀⽅, 実⽤的な STD システムとしては更なる検索速度が求められるため, 千葉らは, 最尤系列を基に作成したヒストグラムを⽤いた最尤系列ヒストグラム照合 2)により, 精度を維持し, 検索時間を 0.1 秒以内に削減した.
本論⽂では, 検索時間 0.01 秒以内を⽬指し,テキスト検索⼿法として⾼速な Suffix Array(接尾辞配列)3)のアルゴリズムを最尤系列に適⽤し,⾳声データの最尤系列から得られた Suffix Arrayと⾳声クエリの最尤系列を⽤いて照合する最尤系列 Suffix Array 照合⽅式を提案する.

態番号をそのフレームの最尤状態番号系列(最尤系列)と呼ぶ. ⾳声データ中の事後確率値を事前に距離化しておき, 連続 DP 照合時には⾳声クエリの最尤の状態番号からこの局所距離を参照するだけとなるため, Posteriorgram 照合で必要な43 次元の事後確率ベクトル同⼠の内積計算を⾏わず, 前述の検索タスクにおいて, 検索時間を約1.26 秒に削減した.
2.2. 最尤系列ヒストグラム照合 2)
最尤系列ヒストグラム照合は２つの⼯程で検索を⾏う. 前段で⾼速な探索が可能な最尤系列ヒストグラム照合を⾏い, 後段で連続 DP照合による詳細な探索を⾏う.
前段において, ⾳声データは予め最尤系列化されており, ⾳声クエリが与えられるとクエリを最尤系列化し, 横軸を状態番号, 縦軸を最尤系列に含まれる各状態番号の出現度数とするヒストグラムを⾳声データと⾳声クエリで同様に作成する.
作成したヒストグラムを基に⾳声データの発話毎に照合⾏い, 度数の重なりが⼤きい順に上位発話候補とする. ヒストグラム照合単体では 0.036 秒と⾼速だが, 検索精度を⽰す
MAP は 22.21%と低いため, ヒストグラム照合により絞り込まれた上位発話候補に対しクエリ最尤系列化照合を⾏うことで⾼精度な検索を実現するとともに, ２段階照合により⾼速化を実現した(0.017 秒, 71.37%).

3. 提案⼿法
3.1. ESPnet4)
本研究では, 先⾏研究において⾼い検索精度が得られた End-to-End ⾳声認識ツールの ESPnetを使⽤し, ESPnet 内の CTC から得たPosteriorgram を⽤いる.

2. 先⾏⼿法
2.1. クエリ最尤系列化照合 1)
⾳声クエリの Posteriorgram 中の各フレームの事後確率ベクトルにおいて, 最⼤確率を⽰す状

3.2. 最尤系列 Suffix Array 照合
先述したヒストグラム照合は時系列情報を考慮していない照合⼿法のため, 単体での精度は低

く, 再照合に必要な発話候補も増加する. これに対して提案⽅式は, Suffix Array 化した最尤系列を辞書順にソートし, ⾳声クエリ最尤系列の先頭が⼀致する Suffix を⼆分探索する. ⼀致した
Suffix に対して DP 照合を⾏い, 閾値を超えた場合, 探索を打ち切る. これにより, 時系列情報を有する⾼速, ⾼精度な検索が期待できる.
3.3. ⾳素距離⾏列(p-dist)
提案する最尤系列 Suffix Array 照合は先頭が⼀致する Suffix に対してのみ DP 照合を⾏うため, 多少の⾔い間違えや誤認識に対応できず, 検索精度が下がる恐れがあるため, Posteriorgram から算出した⾳素同⼠の距離を参照し, 先頭の距離が閾値以下の Suffix に対して DP マッチングを⾏う.
3.4. Fdd ⽅式
⾳声データや⾳声クエリは同⼀な発話でも話者や環境によって同じ最尤状態番号が不規則に連続してしまう場合があり, 時系列情報のノイズとして検索結果に⼤きく影響する. これに対して, 最尤状態番号が連続したフレームの事後確率ベクトルを平均し, 圧縮する Fdd(Frame deduplication)を⾏うことで, 計算コスト削減と, 精度向上が期待できる.

4. 評価実験
4.1. 実験条件
CTC の学習データには CSJ(⽇本語話し⾔葉コーパス)の 2,702 講演を使⽤し, ⼊⼒特徴量はFBANK83 次元, 出⼒は monophone43 次元に対応させたものを⽤いた.
4.2. テストセット
評価実験には表１に⽰す通り NTCIR10 をテストセットに⽤いている. 評価指標にはMAP(Mean Average Precision)を⽤いた.
表１. テストセット
N10N12

対象

SDPWS104 講演

SDPWS98 講演

データ(約 29 時間, 40,746 発話)(約 27 時間, 37,782 発話)

クエリ

100 クエリ113 クエリ4.3. 実験結果
提案⼿法を⽤いた N10 の実⾏結果を表 2 に,クエリ最尤系列化照合での再照合の結果を表 3に⽰した. Baseline は N10 を使⽤した際のヒストグラム照合の結果を⽰す.

照合結果は p-dist (Fdd)が Baseline と⽐べて検索精度が最も⾼くなり, 単体で 43.71pt 向上し65.92%, 検索時間が 75%削減でき 0.009 秒となった
表 2. 実験結果
MAP(%)

検索時間(秒)ヒストグラム照合

22.210.036

Suffix Array 照合

10.210.015

Suffix Array 照合(Fdd)

51.68

0.006

表３. 再照合結果(上位 4000 件)
MAP(%)

検索時間(合算)

ヒストグラム照合

71.370.051

Suffix Array 照合

63.470.031Suffix Array 照合(Fdd)

75.37

0.022

5. おわりに
本論⽂では, Suffix Array 化した最尤系列を⽤いて, ⾳声中の検索語検出の精度向上および⾼速化を図った. N10 における先⾏研究の結果と⽐較し, 提案⼿法の p-dist(Fdd) が従来⼿法に対して検索精度, 検索速度ともに⼤きく向上しいた.
これにより, 提案⼿法の有効性を確認することができた.

参考⽂献
1)

岩崎瑛太郎他，“⾳声中の検索語検出における深層学習の事後確率を⽤いたクエリの最尤系列化⽅式”，⽇本⾳響学会春季講演論⽂集，2018.

2)

千葉景悟 “⾳声中の検索語検出における最尤系
列ヒストグラム照合による検索速度の向上”, 岩
⼿県⽴⼤学 ソフトウェア情報学部卒業論⽂,2020.

3)

Kouichi Katsurada, Shinta Sawada, Shigeki Teshima,
Yurie Iribe and Tsuneo Nitta:”Evaluation of FastSpoken Term Detection Using a Suffix Array“,interspeech, 2011, pp.909-912.

4)

Shinji Watanabe et al, “ESPnet: End-to-End Speech
Processing Toolkit” in Interspeech, 2018, pp22072211.