事前距離計算による音声中の検索語検出の検索時間削減
Reduction of Search Time for Spoken Term Detection
by pre-calculation of distance0312021313 三上 凌
指導教員：伊藤慶明 小嶋和徳 眞田尚久
音声特徴量を 1 フレーム毎に深層学習モデル

1. はじめにに入力して得られる事後確率ベクトルを時系列

近年記憶媒体の大容量化が進み，音声データ順に並べたものを Posteriorgram と呼ぶ．

を含む大量のデータ中から特定のシーンを検索

皆川らによって提案されたフレームレベル状する研究である音声中の検索語検出(STD：態系列照合 1)では， 音声データを BLSTM-Spoken Term Detection)の研究が活発化していHMM モデルへ入力し，Posteriorgram を作成する．

る．また，この Posteriorgram に対して負の対数

従来の STD では予め音声データを音声認識をとることで距離行列として扱う．テキストクシステムで自動認識を行い，その認識結果であエリが入力されると，クエリはサブワード系列るサブワード系列とクエリのサブワード系列でに変換され，その後サブワード系列は音声認識文字列照合を行う手法が一般的であった．まシステムの出力ラベルと対応するサブワード番

た，DNN や BLSTM などの深層学習モデルに号系列に置き換えられる．このサブワード番号

Filterbank 等の音声特徴量を入力し，出力とし系列を用いて Posteriorgram を参照し，CDP 照合て得られる事後確率ベクトルをフレーム毎に並を行う．

べて作成される Posteriorgram を用いて，より吉田らによって提案された End-to-End 深層学

詳細な検索を可能とするモデルも提案されてい習モデルを用いたフレームレベル状態系列照合る．フレームレベル状態系列照合方式 1)は深層

2)学習モデルから得られた Posteriorgram からク

高い End-to-End 音声認識モデルを利用してエリに対応する事後確率のみを抽出し，負の対Posteriorgram を作成し，フレームレベル状態系数を計算することで距離行列を作成し，照合を列照合を行う．End-to-End 音声認識ツールとし行う手法である．またその後，End-to-End 深層て ESPnet を利用し，CTC/Attention モデルの学習モデルにより得られた Posteriorgram を用

CTC の出力を用いて Posteriorgram を作成する．

いたフレームレベル状態系列照合 が提案さ

音声認識モデルの認識精度と STD の検索精度にれ，さらなる検索精度の向上が報告されていは強い相関があり，認識精度の高い音声認識モる．この手法は NTCIR Workshop10 で発表されデルを STD に用いることで検索精度が向上す

た STD で最も高い精度を得た．

る．

2)

本研究では，全種類の音素トライグラムを用いてクエリ入力前にフレームレベル状態系列照では，従来の音声認識システムより認識精度が2.2. blank cut(b-cut)
CTC では入力と出力の系列長の差を吸収する合の距離計算を行う事前距離計算手法を提案すための blank と呼ばれるラベルが存在する．

る．フレームレベル状態系列照合において最もblank はどの出力にも当てはまらないため，時間のかかる処理が CDP であるため，大幅なPosteriorgram 中で blank の事後確率が最も高く検索時間の削減が見込まれる．検索時間を削減

なるフレームは検索の妨げとなり，検索精度がすることで，さらなる大規模音声データでの高低下することが考えられる．このフレームを削速な検索を目標とする．

除する手法を blank cut と呼ぶ．

2. 先行研究3. 提案方式

2.1. フレームレベル状態系列照合

フレームレベル状態系列照合では CDP 照合が最も時間のかかる処理である．そのため，クエリ入力前に CDP 照合を行う事前距離計算が可能となれば，検索時間が大幅に削減できる．

MAP が低下した原因としては，クエリの距離を音素トライグラムごとに加算しているため，フレームレベル状態系列照合の事前距離計算

フレームレベル状態系列照合と比べ，時系列情を実現する方法として，全てのクエリの組み合報が失われたと考えられる．つまり，音声デーわせで距離を計算し，保持しておく方法が考えタ中でクエリが話されていない場合でも，クエられる．しかし，これではクエリの文字列長のリと同じトライグラムが多く現れた場合，距離上限を設定する必要があることに加え，クエリが小さくなるため精度が低下する．の文字列長が増加するに連れ，保持する距離の表 1.実験結果

組み合わせが膨大になり，使用メモリ量の観点フレームレベルから予め距離を計算し，保持しておくことが困

状態系列照合難になる．

提案手法

MAP(%)

84.77

77.08

そこで，本研究ではクエリを音素トライグラ

検索時間(秒)0.29

0.0007

ムで分割し，それぞれの距離を総和することで使用メモリ量0.3312.96

クエリの距離を近似し，検索を行う．これによ(GB)り，保持しておく距離の組み合わせを全種類の表 2.b-cut での実験結果

音素トライグラムに限定でき，事前距離計算がフレームレベル可能となる．

提案手法

状態系列照合4. 評価実験

MAP(%)

91.74

84.01

検索時間(秒)0.22

0.00054.1. 実験条件

使用メモリ量

0.33

12.96

先行研究との比較のため，音声データの認識(GB)には ESPnet を使用し，Posteriorgram の作成にはCTC/Attention モデルの CTC の出力を用いた．

5. おわりに学習データには CSJ(日本語話し言葉コーパス)の本研究では，全種類の音素トライグラムを用2,702 講演(約 600 時間)を使用し，入力特徴量はいたフレームレベル状態系列照合の事前距離計

FBANK 83 次元，出力は monophone 43 次元に対算によって，検索時間削減を図った．事前距離応させたものを用いた．

計算によって MAP が約 7.7pt 低下し，使用メモ

4.2. テストセット

リ量が約 12.63GB 増加したが，検索時間が評価用のテストセットは NTCIR-10 Formal run99%以上削減され，提案手法の有効性を確認でを使用した．検索対象の音声データはきた．しかし，検索速度を活かして，さらなるSDPWS104 講演(約 29 時間，40,746 発話)，クエ大規模音声データに対して検索を行う場合，使リは NTCIR-10 で提供された 100 種類を用い用メモリ量がネックとなることが考えられる．

た．評価指標は MAP(Mean Average Precision)をよって今後は検索精度の向上に加え，使用メモ用いた．

リ量の削減を行う．

4.3. 実験結果
先行研究である End-to-End 深層学習モデルを2)用いたフレームレベル状態系列照合方式 と提参考文献
1)

案手法の実験結果を表 1 に，0cut での実験結果

索精度向上のためのフレームレベル照合方を表 2 に示す．どちらの手法でも b-cut による精度向上が確認できた．先行研究で最も MAP が皆川玲緒：音声中の検索語検出における検式，情報処理学会第 84 回全国大会(2022)2)吉田透也：End-to-End 深層学習モデルを用高い手法である monophone b-cut と提案手法の b-

いたフレームレベル状態系列照合による音cut を比べると MAP は 91.74%から 84.01%とな

声中の検索語検出の検索精度向上，岩手県

り 7.73pt 減少した．検索時間は 0.22 秒から

立大学ソフトウェア情報学部卒業論文

0.0005 秒となり 99%以上削減された．使用メモ(2022)

リ量は 0.33GB から 12.96GB となり 12.63GB 増加した．