音声中の音声検索語検出における異なる二種の深層学習モデルを用いた検索精度・検索時間・メモリ量の改善
Improving Retrieval Accuracy, Retrieval Time, and Amount of Memory
Using Two Different Deep Learning Models
for Spoken-Query Spoken Term Detection
0312019006

有賀智広

指導教員：伊藤慶明 小嶋和徳 眞田尚久

松原雅文

Posteriorgram 照合では音声データと音声クエリ

1． はじめにの Posteriorgram 同士を用いて CDP（Continuous

記憶媒体の大容量化により、音声データを含むDynamic Programming）照合を行い，検索を行う．

大量のデータの中から特定のシーンや単語を検CDP 照合に使用する局所距離は，音声クエリと索する音声中の検索語検出(STD：Spoken Term

音声データ双方の事後確率ベクトル同士の内積Detection)，および音声でクエリ(検索語)を入力す計算を行い，その負の対数をとることで求められる SQ-STD(Spoken Query STD)の研究が盛んに行る．高精度の検索が可能であるが，メモリ使用量われている．

が大きく，長い検索時間を要する．

SQ-STD の代表手法として,Posteriorgran 照合方
1)

2.2

スコア統合方式

式 が挙げられる．Posteriorgram とは，DNN に音1 つのモデルによる照合を行うと，各発話に対声特徴量を入力し，出力として得られる事後確率してスコアが得られる．スコア統合方式では、複ベクトルをフレーム毎に並べたものである．音声数のモデルで得られた各発話毎の照合スコアをデ ー タ の Posteriorgram と 音 声 ク エ リ の線形和で統合する．

Posteriorgram を照合することで，高い検索精度が2 種のモデルの照合スコアの統合に用いる計得られた．しかし，Posteriorgram 照合方式は，音算式を（1）に表す．ある発話に対して得られた声データの Posteriorgram を保持するためメモリ2 つのモデルの照合スコアを𝐷₁,𝐷₂として統合ス

使用量が大きく，局所距離に対する計算コストがコア𝐷𝑛𝑒𝑤 を求める．線形和をとる際の重みはαで高いため長い検索時間を要する．

表し、0≤α≤1 とする．
𝐷𝑛𝑒𝑤 = α𝐷1 + (1 − α)𝐷2

先行研究では複数の深層学習モデルを SQSTD に用いて，発話毎の検索結果をスコアとして

2.3

(1)

検索時間・メモリ使用量削減手法

統合するスコア統合方式 2)により，検索精度の向検索時間，メモリ使用量の削減のために，最尤上を実現した．しかし，スコア統合方式において，状態番号が blank に対応するフレームの事後確率

2 種のモデル組み合わせで最も精度が良くなるベクトルを削除し，Posteriorgram を作成し、照合組み合わせは不明である．そこで，2 種のモデルを行う blank cut 方式，最尤状態番号が連続した組み合わせで精度を分析することにより，最良のフレームの事後確率ベクトルを平均し，圧縮する2 種のモデル組み合わせを検討する．

ことで得られた事後確率ベクトルを用いて再度Posteriorgram を作成して照合を行う FDD 方式を2． 先行手法
2.1用いた.

Posteriorgram 照合方式 1)

音声認識システムでは一般的に，音声データを3． 提案手法

1 フレーム毎に特徴量へ変換し，これらの特徴量

本研究では，スコア統合において精度がより高を DNN の入力とすることで，HMM（Hiddenくなる組み合わせの検討を行うため，単体照合精Markov Model）で定義された各状態の事後確率が得られる．この状態数分のベクトルを事後確率ベ

度上位 10 種類と，精度は高くないが異なる深層クトルと呼ぶ．この事後確率ベクトルを時系列順

学習 モ デ ルで ある BLSTM （Bidirectional Longに 並 べ た 行 列 を Posteriorgram と 呼 ぶ ．

Short Term Memory）を用いてスコア統合を行った．これにより、高精度のスコア統合結果が得らな値ではないため，検索精度が 1.14pt 向上し，検れる．ここで，高精度を実現しても，膨大な検索索時間が 0.05 秒短縮している検索精度が最良の時間・メモリ使用量では実装は不可能であるため，精度を重視しつつも検索時間・メモリ使用量のバランスを考慮したモデル組み合わせを検討する．

ESPnet2 の Transformer の Posteriorgram 照合に 0cutと FDD を適用したモデルと ESPnet の monophoneを出力とした Posteriorgram 照合に 0cut と FDD を適用したモデルを５：５の統合割合で組み合わせたものが最もバランスの取れた統合モデルとな

4． 評価実験
4.1

実験条件

った。
先行研究 2）と比較した場合 MAP が 6.29pt 向上

本実験では，ESPnet，ESPnet2，BLSTM の 3 つしているが，メモリ量が 8.68GB 増加してしまっの深層学習モデルを用いた．ESPnet, BLSTM の学た．これに関しては，精度重視だっため検索精度

習データには CSJ（日本語話し言葉コーパス）のは高いがメモリ使用量の大きい Posteriorgram 照2702 講演（約 600 時間）, ESPnet2 には CSJ987 講合を用いたからである．

演（約 291 時間）を用いた．入力特徴量にはFilterbank 特徴量を用い た． BLSTM の出力はtriphone 3009 状態，ESPnet の出力は character 3245状態，syllable 264 状態 monophone 43 状態，
ESPnet2の出力は character 3262 状態にそれぞれ対応させた．
4.2 テストセット
評 価 用 の テ ス ト セ ッ ト に は NTCIR-10 のFormal run を用いた．音声クエリに男女各 5 名，計 10 名の発話を録音した 100 クエリを，検索対象の音声データには SDPWS104 講演（約 29 時間，40,746 発話）を用いた．また，評価指標にはMAP(Mean Average Precision)，検索時間，メモリ使用量を用いた．

図 1．スコア統合結果

5． おわりに
本論文では，精度を重視した 2 種のスコア統合

4.3 実験結果を行った．先行手法である FDD 方式を適用させスコア統合方式において，統合割合は 0.1 刻
みで実験を行い，最も MAP が高くなった統合割合の結果を基に評価を行った．

たモデル同士や，monophone と character といっ

単体照合 MAP 上位 10 種類と BLSTM の照合

ア統合で最もバランスのとれたモデル組み合わ

スコアを用いたスコア統合のうち，MAP が 90 をた出力が異なるモデル同士を組み合わせた際に精度がより向上する傾向が得られた．2 種のスコせを提案した．

超えるモデル組み合わせかつ精度，検索時間，メ

今後は，NTCIR-12 でも実験を行うと共に，モリ使用量それぞれが最良のモデル組み合わせ

Posteriorgram 照合以外の手法も考慮したスコア結果を図１に示す.

統合を行いたい．

精度が最良のモデル組み合わせは，MAP が検索精度最良のモデル組み合わせと比べ 0.25pt，メ

参考文献

モリ使用量最良のモデル組み合わせに比べ

1) 小 原 真 人 他 ： DNN の 全 出 力 確 率 系 列

1.39pt 高いが，検索時間が他２つと比較し，4 秒

Posteriorgram を用いた STD の検索精度の向以上増加し，メモリ使用量は他 2 つと比較し，上，岩手県立大学ソフトウェア情報学部卒業

58GB 以上増加した結果となっているため最良の論文（2016）

組み合わせではない．そこで，検索時間が最良の

2) 西野将弘他,“複数の深層学習モデルを用いたモデル組み合わせとメモリ使用量が最良のモデ

音声中の検索語検出方式の高精度・高速・低ル組み合わせを比較したとき，使用メモリ量ではメ モ リ 化 ” ,2020 年 度 博 士 前 期 課 程 論

0.01GB 高くなるものの，0.01GB は気にするよう

文,2020.