End-to-End 深層学習モデルを用いたフレームレベル状態系列照合による音声中の検索語検出の検索精度向上
Improving Retrieval Accuracy in Spoken Query - Spoken Term Detection by Frame Level
State Sequence Matching Using End-to-End Speech Recognition Network0312018164 吉田 透也
指導教員：伊藤慶明 小嶋和徳 眞田尚久
は BLSTM から得た音声データの Posteriorgram を

1. はじめに使用したフレームレベル状態系列照合で高い精

近年記憶媒体の大容量化が進み，音声データを度を得た．

含む大量のデータ中から特定のシーンを検索するために音声中の検索語検出(STD: Spoken Term

3. 提案手法
先行研究 1)では，音声ドキュメントの BLSTM

Detection)の研究が活発化している．
BLSTMから得た Posteriorgram とクエリのサブワード番(bidirectional Long Short-term memory)などの深層号系列を用いてフレームレベル状態系列照合を学習モデルに Filterbank 等の音声特徴量を入力し，行った．本研究では，音声認識において従来より出力として得られる事後確率ベクトルをフレーも高い認識精度が得られる End-to-End 深層学習

ム毎に並べたものを Posteriorgram と呼ぶ．

モデルを利用することで，音声中の検索語検出のフレームレベル状態系列照合 1) はクエリ(検索精度向上を図る．

DNN(DeepNeuralNetwork) や語)のサブワード番号系列と音声ドキュメントの本研究では End-to-End 音声認識ツールとしてPosteriorgram 間 で フ レ ー ム レ ベ ル 照 合 を 行 う

ESPnet3)を利用し，照合を行う際には ESPnet 内のSTD の手法である．皆川らは 1)，BLSTM から得CTC から得た Posteriorgram を用いる．CTC からた Posteriorgram を用いたフレームレベル状態系

得た Posteriorgram に b-cut の適用とクエリの引き列照合を提案し，NTCIR Workshop102)で発表され延ばしを行い，検索精度の向上を図る．以下，Eた最も高い精度を超える結果を得た．

SPnet，b-cut，クエリの引き延ばしについて説明

近年，音声認識にも End-to-End 深層学習モデ
ルが利用されるようになり，従来の音声認識と比する．
3.1. ESPnet

較して認識精度が向上することが確認されていEnd-to-End ネットワークを利用した音声認識る 3)．そこで本研究では，検索精度の向上を狙い，ツール．共有エンコーダと CTC と Attention のデEnd-to-End 音声認識ツールである ESPnet のネッコーダ部分で構成されている．
提案手法では CTC

トワーク中に存在する Posteriorgram を利用するで出力される事後確率を Posteriorgram として使方法を提案する．音声ドキュメントの用する．

Posteriorgram に blank が最尤となるフレームの事

3.2. blank cut(b-cut)

3)

後確率ベクトルを削除する blank cut(以下 b-cut)

本研究では，CTC から得られる Posteriorgramと，クエリの引き延ばしを提案手法に導入し，検を照合に使用するが，CTC は入力と出力の系列索精度向上の実現を図る．

長が異なるものの調整を行うため，一致しないblank ラベルを出力する特徴がある．blank 同士の2. フレームレベル状態系列照合
音声データ Posteriorgram を事前に抽出し，各照合は意味がなく精度の低下につながると考えたため，Posteriorgram から blank が最尤となるフ

事後確率を事前に局所距離化して保持しておく．

レームの事後確率ベクトルの削除を行う．

テキストクエリが与えられると，そのクエリをサ3.3. クエリの引き延ばしブワード系列に変換後，サブワード番号に置き換

1 つの音素等サブワードは数フレームにわたえ，クエリのサブワード番号系列を得る．クエリって発話される．図 1 のようにクエリの 1 つのサのサブワード番号系列を元に，連続 DP 照合を行ブワードを 1 フレームと同等に扱う場合，連続う際には参照するだけとなる．皆川の先行研究で

DP を行う際にクエリが存在する正解のパスは局所距離を 5 回加算する必要があり，局所距離を 3回加算するだけのパスと比較して累積距離が大きくなる可能性があり，この場合正しい照合が行われない．そのため，クエリのサブワードを適切に引き延ばすことで音声データとの系列長を合わせての照合が可能となる．

図 2. N10 での実験結果
図 1. クエリ引き延ばし前の連続 DP(Q: クエリ，D: 音声ドキュメント)4. 評価実験
4.1. 実験条件
BLSTM，CTC の学習データには CSJ(日本語話し 言 葉 コ ー パ ス ) の 2,702 講 演 を 使 用 し た ．
BLSTM の入力特徴量は FBANK120 次元とし，出力層は triphone の 3,009 状態と対応させた．CTCの入力特徴量は FBANK 83 次元とし，出力はsyllable 264 次元，および monophone 43 次元に対応させたものを用いた．

図 3. N12 での実験結果
では，検索精度が 2.21pt 向上し 86.24%，検索時間が 88%の削減でき 0.37 秒となった．3,009 次元の Posteriorgram を扱う Baseline と比べて，提案手法で用いる Posteriorgram の次元数が syllable は4.2. テストセット
評価実験には表 1 に示す通り NTCIR10(以下N10)と NTCIR12(以下 N12)の 2 種のテストセットを使用した．評価指標には MAP(Mean AveragePrecision)を用いた．

表 1：テストセット

264 次元，monophone が 43 次元であり，局所距離行列の作成時間が抑えられたため検索時間が削減できたと考える．また，b-cut を適用した場合は，Posteriorgram のフレーム数が syllable で 56%，monophone で 25%削減されたことで照合時間が抑えられたためと考える．

5. おわりに
本論文では，End-to-End 深層学習モデルを用いたフレームレベル状態系列照合によって音声中の検索語検出の検索精度向上を図った．BLSTM

4.3. 実験結果
提案手法を用いた N10，N12 の実験結果を図 2を用いたフレームレベル状態系列照合と比較し，と図 3 にそれぞれ示した．Baseline はテストセッ

提案手法の monophone b-cut が N10・N12 両テス

2)

トに N10 を使用した際，学会等 の発表を含め最トセットにおいて，検索精度の向上と検索時間の良の MAP が算出されている BLSTM を用いた結削減となり，提案手法の有効性を確認することが1)

果 を示す．各照合方式では，クエリの引き延ばできた．

しのフレーム数を 1 つずつ増やして実験を行い，最も高い MAP が得られた結果を各図に示した．
図中，括弧内はクエリの引き延ばしのフレーム数

参考文献1)のためのフレームレベル照合方式(2022.3)を示す．
N10 では，monophone b-cut が Baseline と比べて検索精度が最も高くなり 2.36pt 向上し 91.63%，
検索時間が 88%の削減でき 0.47 秒となった．N12(to appear)皆川玲緒，音声中の検索語検出における検索精度向上

2)

Tomoyosi Akiba et al, Overview of the NTCIR-10 SpokenDoc-2 Task,
in Proceedings of the 10th NTCIR Conference (2013)3)

Shinji Watanabe et al, ESPnet: End-to-End Speech Processing Toolkit,
in Interspeech 2018 (2018)