音声中の音声検索語検出のための平均事後確率ベクトル圧縮方式における圧縮単位変更による精度向上
Improving of Retrieval Accuracy for Spoken Query - Spoken Term Detectionin the Average Posterior Probability Vector Method
by Changing the Compression Unit
0312019309 皆川 玲緒
指導教員：伊藤慶明 小嶋和徳 眞田尚久
1. はじめに

2. 先行研究

記憶媒体の大容量化と共に，音声データを含む

2.1. Posteriorgram 照合 1)

大量のデータ中から特定のシーンや単語を検索

音声認識システムでは一般的に，音声データをする音声中の検索語検出（STD：Spoken Term

1 フレーム毎に特徴量に変換し，DNN に入力すDetection），および音声でクエリ（検索語）を入力

ると HMM（Hidden Markov Model）で定義された

する SQ-STD（Spoken Query STD）の研究が活発

N 個の状態の事後確率ベクトルが得られ，フレーに行われている．

ム毎の事後確率ベクトルを時間順に並べた行列

SQ-STD を実現する方式として Posteriorgram照合が代表的である．Posteriorgram 照合1)

を Posteriorgram と呼ぶ．Posteriorgram 照合では，では，音声データ，音声クエリの両方の Posteriorgram をDNN（Deep Neural Network）に音声特徴量を入力求め，連続 DP（Dynamic Programming）照合を行し，出力として得られる事後確率ベクトルをフレい，検索結果を求める．

ーム毎に並べたものを Posteriorgram と呼び，音2.2. 音声クエリ（音声データ）最尤系列照合 2)

声データと音声クエリの Posteriorgram を照合す

音声クエリの各フレームの事後確率ベクトルることで高い精度が得られた．一方，照合時の局の内，最大確率を示す状態番号をそのフレームの所距離を得るために多次元（約 3,000 次元）の事最尤状態番号とし，最尤状態番号のフレーム毎の後確率ベクトル同士の内積計算を行うため、検索系列（クエリ最尤系列）を保持し，Posteriorgramに時間を要する問題があった．

は事前に局所距離化しておくことで，最尤系列照合

2)

では事後確率ベクトルの次元

Posteriorgram 照合での内積計算が省略され，局所圧縮によって内積計算を省略し，検索時間の削減

距離の参照のみとなるため，検索は高速になったを実現したが検索精度の低下が問題となった．

が，検索精度の低下が問題となった．

3)

平均事後確率ベクトル圧縮方式 では，音声デ

2.3. 平均事後確率ベクトル圧縮方式 3)

ータの Posteriorgram 中の事後確率ベクトルを各平均事後確率ベクトル圧縮方式では，事前に音最尤状態ごとに平均し行列に事前に圧縮するこ声データの Posteriorgram から最尤系列の中で同とにより，検索時間，メモリ使用量の削減と共にじ最尤状態番号を持つフレームの事後確率ベク

検索精度の低下を抑えることを実現した．平均事トルについて，状態毎に平均ベクトルを求め，各後確率ベクトル行列を圧縮する単位は全講演，講フレームの事後確率をこの平均事後確率ベクト

演毎，発話毎と分けて作成することができる．

ルに置き換える．これにより Posteriorgram を状

平均事後確率ベクトル圧縮方式において本論態毎の平均事後確率ベクトルに圧縮することが文では，講演を分割した数発話単位で圧縮するこできる．この平均事後確率ベクトルを事前に距離とにより，実用的なメモリ使用量での検索を実現化しておくことで照合時に距離行列を参照する

する．

のみとなるため，検索時間を 2 秒程度に抑えたままメモリ使用量の削減を実現している．

表 1.テストセット

3. 提案手法
本研究では，平均事後確率ベクトル圧縮方式で圧縮単位を全講演とした場合メモリ使用量は小音声データ

NTCIR-12

SDPWS104 講演

SDPWS98 講演（約 29 時間，40,746 発話） （約 27.5 時間，37,782 発話）

さいが検索精度が最も低く，圧縮単位を発話毎とした場合は検索精度が高いがメモリ使用量が大NTCIR-10

音声クエリ 100 クエリ（10 人） 113 クエリ（10 人）きくなったため，講演を分割した数発話単位で圧縮する分割講演毎を提案する．これにより，圧縮単位が発話毎の場合よりもメモリ使用量を削減でき，圧縮単位が講演毎の場合よりも精度の高い，実用的な検索を実現する．

4. 評価実験
4.1. 実験条件
最尤系列を求めるためのモデルは ESPnet を用いた，これらの学習には CSJ（日本語話し言葉コ

図 1. 平均事後確率ベクトル圧縮方式のーパス）2,525 講演，約 560 時間を用いた．入力
特徴量には Filterbank 特徴量を用いた．
4.2. テストセット

圧縮単位ごとの検索精度とメモリ使用量量が 8GB のパソコンであれば問題なく動かすことができるため，実用上有効と考える．

評価用のテストセットを表 1 に示す．音声クエ
リは，NTCIR-10 では男女各 5 人，計 10 人の発話

5. おわりにを録音したものを使用し，NTCIR-12 ではオーガ

本論文では，平均事後確率ベクトル圧縮方式でナイザから提供されたものを用いた．評価指標は講演を分割した数発話を圧縮単位とするにより，MAP（Mean Average Precision）を用いた．

精度向上を図った．先行手法である平均事後確率

4.3. 実験結果

ベクトル圧縮方式の圧縮単位を講演毎とした場

ESPnet を用いた学習モデルによる実験結果を
図 1 に示す．先行手法である平均事後確率ベクトル圧縮方式の圧縮単位を全講演，講演毎，発話毎とした場合と提案手法である講演を 2,5,10,20 個とした場合と 10 発話毎に分割した場合について
NTCIR-10 と NTCIR-12 の MAP とメモリ使用量を示す．
NTCIR-10 では，検索精度は圧縮単位が講演毎合と比べ，NTCIR-10 ではメモリ使用量は 2.26GB増 加 し た が ， 検 索 精 度 は 76.50% か ら 79.34%（2.84point 向上），NTCIR-12 ではメモリ使用量は 2.99GB 増加したが，検索精度は 74.56%から76.40%（1.84point 向上）となった．圧縮単位が発話毎の場合よりも検索精度は低下してしまうが，メモリ使用量を 1/2 以下に抑えることでき，実用上の有効性を確認できた．の場合 MAP76.50%だったが，提案手法の圧縮単位が講演を 20 分割で MAP79.34%（2.84point 向参考文献上），メモリ使用量は，0.59GB から 2.85GB とな

1)り，2.26GB 増加した．

用いた STD の検索精度の向上，岩手県立大学ソフト

NTCIR-12 では，検索精度は圧縮単位が講演毎の場合 MAP74.56%だったが，提案手法の圧縮単小原真人 他：DNN の全出力確率系列 Posteriorgram を

ウェア情報学部卒業論文（2016）2)

小原真人 他：音声中の検索語検出における深層学習

位が 10 発話毎で MAP76.40%（1.84point 向上），を用いた検索精度向上および検索時間削減方式，岩手

メモリ使用量は，0.54GB から 3.53GB となり，県立大学博士前期課程（ソフトウェア情報学）論文2.99GB 増加した．

（2018）

それぞれ圧縮単位が発話毎の場合よりも検索精度は低下したが，メモリ使用量を 1/2 以下に抑えることができ，一般的に普及しているメモリ容3)Takashi Yokota et al:Reduction of Posteriorgram of Speech
Data by Compressing Maximum likelihood state sequencein Query-by-example , APSIPA ASC，（2020）