End-to-End 音声認識ネットワークを用いた音声中の検索語検出の検索精度向上
Improving of Retrieval Accuracy in Spoken Query - Spoken Term Detection
by Using End-to-End Speech Recognition Network0312016002 赤平 楓芽
指導教員：伊藤慶明 小嶋和徳に Posteriorgram を 求 め ， 連 続 DP （ Dynamic

1. はじめにPrograming）照合を行い,検索結果を求める．先

記憶媒体の大容量化と共に，音声データを含むに述べたように，高精度な検索が可能であるが，大量のデータ中から特定シーンを検索する音声フレーム毎に多次元の内積計算が必要なため計中の検索語検出（STD：Spoken Term Detection）算時間を要する．と，音声でクエリ（検索語）を入力する SQ -STD

2.2. クエリ最尤系列照合 2)（Spoken Query STD）の研究が活発化している．

音声クエリの各フレームの事後確率ベクトル

DNN（Deep Neural Network）に，Filterbank（Melの内，最大確率を示す状態番号をそのフレームの- Filter bank）等の音声特徴量を入力し，出力とし最尤状態番号とし，最尤状態番号のフレーム毎のて得られる事後確率ベクトルをフレーム毎に並系列（クエリ最尤系列）を作成する．このクエリべたものを Posteriorgram と呼び，音声データと最尤系列を元に，音声データの事後確率を事前に音声クエリの Posteriorgram を照合することで高局所距離化して，連続 DP 照合では参照するだけい検索精度を得た ．一方，Posteriorgram 照合でとなる．この手法により，Posteriorgram 照合でのは局所距離を求めるのに 3,193 次元同士の内積計内積計算が省略され，状態番号を用いた局所距離算を行うため，検索時間を要した．の参照のみとなり，検索時間が高速になったが，

1)

この問題に対し，事後確率ベクトルを最尤の状検索精度の低下が問題点となった．

態系列として，内積計算を省略する最尤系列照合が提案された 2)．この手法により，検索時間が削3. 提案手法

減できたが，情報量の減少により精度が低下した．

本研究では，音声認識において従来よりも高い

近年，音声認識にも End-to-End ネットワーク

認識精度を得ている End-to-End ネットワークをが適用されるようになり，認識精度が従来の音声利用することで，音声中の検索語検出においても３)認識よりも向上することが確認されている ．そこで本研究では，End-to-End 音声認識ツールである ESPnet3) の ネ ッ ト ワ ー ク 中 に 存 在 す る
Posteriorgram を利用し，先行実験 4)からの検索精度の向上を図る．

精度向上が可能と考え，更なる精度向上を図る．
本研究では，End-to-End 音声認識ツールとして ESPnet3)を利用した．
HMM-DNN ハイブリット型の Kaldi や juliusなどの音声認識ツールでは言語モデルや音響モデルに個別のパラメーター等の学習・調整が必要

2. 先行手法
2.1. Posteriorgram 照合

で，認識結果に至るまでの手順が多い．
1)

一方，ESPnet を用いた音声認識では，パラメ音声認識システムでは一般的に，音声データをーター調整などを一つのネットワークのみで学1 フレーム毎に特徴量へ変換し，これらの特徴量習し，音声認識が可能になった．本研究では，を DNN の入力とすることで，HMM（HiddenHybridCTC / Attention と呼ばれるネットワーク

Markov Model）で定義された N 個の状態の事後構成を用いた 3)． ESPnet では従来の音声認識方確率が得られ，これを N 次元の事後確率ベクト式より高い認識精度が得られるため，本研究ではルと呼ぶ．このフレーム毎の事後確率ベクトルをESPnet に特徴量を入力し得られた事後確率，す時系列順に並べた行列を Posteriorgram と呼ぶ．

なわち ESPnet の Posteriorgram を用いて SQ-Posteriorgram 照合では音声データ，音声クエリ共STD を行うことで，検索精度向上を図る．

バッチサイズ8

事後確率ベクトル

3,214706565.9960

17.455Baseline

表 2.テストセット
NTCIR-12SDPWS104 講演

SDPWS98 講演（約 28 時間，40,746 発話）（約 28 時間，37,782 発話）

音声クエリ 100 クエリ(10 人）

162 クエリ（10 人）

音声データ80の使用ネットワーク中の共有エンコーダは，12層，ユニット数 2048，隠れユニット数 320 で構成した．この共有エンコーダの出力層の出力3,214 次元を事後確率ベクトルとした．ESPnet の学習条件を表 1 に示す．
4.2. テストセット
評価実験に使用したテストセットを表 2 に示
す．音声クエリには，NTCIR-10 では男女各 5 人，計 10 人の発話を録音したものを使用し，NTCIR12 ではオーガナイザから提供されたものを用いた．評価指標は MAP（Mean Average Precision）を用い，話者 10 人の平均とした．
4.3. 実験結果
ESPnet を用いた学習モデルによる実験結果を図 1，2 に示す．実験結果は NTCIR-10，NTCIR12 での結果の平均を用いた．Baseline4)は Kaldi を用いた結果，ESPnet は提案手法の結果を示す．
Posteriorgram 照合では，検索精度は Baseline の65.99% か ら 提 案 手 法 に よ り 70.02% と な り ，4.03point 向上した．検索時間は，Baseline の 57.2秒から 17.4 秒と 39.8 秒の減少となった．
クエリ最尤照合では，検索精度は Baseline の64.82% か ら 提 案 手 法 に よ り 76.50% と な り ，11.68point 向上し最も高い精度が得られた．検索時間は，Baseline の 1.78 秒から 1.22 秒と 0.56 秒削減できた．
クエリ最尤照合は検索精度低下が問題となったが，提案手法を用いたクエリ最尤照合がPosteriorgram 照合よりも高い精度が得られた理150ESPnet

2.076.5

1.564.82

1.22

1.0Baseline

ESPnet60500.5

図 2.クエリ最尤照合結果（NTCIR-10,12 での平均）

ESPnet での学習には CSJ（日本語話し言葉コー

特徴量 3 次元を加えた 83 次元を使用した．ESPnet

1.78704.1. 実験条件

力特徴量には，Filterbank 特徴量 80 次元にピッチ30（NTCIR-10,12 での平均）

4. 評価実験パス）の 2,525 講演，約 568 時間を使用した．入45

図 1.Posteriorgram 照合結果

MAP[%]NTCIR-1070.02

検索時間[s]Pytorch22

MAP[%]

学習ライブラリ
エポック数6057.2

検索時間[s]75

表 1.ESPnet の学習条件

由に，最尤状態番号以外の状態番号が散在しており，Posteriorgram 照合の際に散在している状態番号で 3,214 次元同士の内積計算をしたため，適切なパスが得られず Posteriorgram 照合の MAP がク
エリ最尤系列照合の MAP より低下したと考える．
検索時間の短縮に関しては，ESPnet で利用されている HybridCTC / Attention ネットワーク構造中の共有エンコーダにおいて，入力された特徴量が複数個圧縮され，ESPnet で利用する特徴量へ変換する事によって，従来のフレームレベル照合よりもデータ数が減少したためと考える．

5. おわりに
本論文では，End-to-End ネットワークを用いて音声中の検索語検出の検索精度向上を図った．従来の Posteriorgram 照合と比較し，検索精度では提案手法を用いたクエリ最尤照合で76.5%(10.51point 向上)，検索時間は 1.22 秒(55.98秒削減)により，提案手法におけるクエリ最尤照合の有効性を確認できた．今後は，検索時に 30GBのメモリ容量を要するため，メモリ容量の削減を目指す．

参考文献
1)

2)

3)
4)

小原真人 他：DNN の全出力確率系列 Posteriorgram を用いた STD の検索精度の向上，岩手県立大学ソフトウ
ェア情報学部卒業論文（2016）
小原真人他：音声中の検索語検出における深層学習を用いた検索精度向上および検索時間削減方式，岩手県立大学博士前期課程（ソフトウェア情報学）論文（2018）
Shinji Watanabe et al, ESPnet: End-to-End Speech
Processing Toolkit, in Interspeech 2018, pp2207-2211.（2018）岩崎瑛太郎 他：音声中の検索語検出におけるクエリの最尤系列化方式を用いた検索精度の向上，岩手県立大学博士前期課程（ソフトウェア情報学）論文（2019）