遠野物語のキーワード検出における処理時間を考慮した性能評価
Performance Evaluation of Keyword Detection in Tono Monogatari
Considering Processing Time0312018118 西田 文哉
指導教員：伊藤慶明 小嶋和徳 眞田尚久 松原雅文
1.

はじめに

2.2. 状態間照合 3)

岩手県遠野市で語り継がれている遠野物語に方言音声を音声認識した結果と，キーワードは方言が多く，県外の人間には理解が難しい．

をそれぞれ triphone の状態番号系列に自動変換し内容理解を支援するために，訛りや方言（以降，て状態レベルで連続 DP 照合を行う方式を状態間方言音声）を含む音声に対して自動音声認識シ照合と呼ぶ．

ステムを用いても高い精度の音声認識は困難で2.3. フレームレベル状態系列照合 4)ある．そこで飯田らは，遠野物語の語り部が物各フレームの音声特徴量を BLSTM に入力した語の中で理解に深く関係する単語（以降，キー結果，出力される事後確率ベクトルよりフレーワード）を話した直後に，キーワードについて

ムレベルの最尤の triphone の状態を抽出し，状態標準語の解説をモニタに表示して，視聴をサポ系列とする．キーワードを triphone の状態系列にートするシステムの実現を目指した 1) ．システ

自動変換し，フレームレベルにするため各状態ムの実現には高い検出精度とリアルタイム性がを複数個積み重ねる．これら 2 つのフレームレ必要となるが，飯田らが提案した検出精度の高ベルの状態系列に対し，連続 DP 照合を行う．こい方式では，キーワード検出を行う上で必要なの方式をフレームレベル状態系列照合と呼ぶ．

音声認識部に時間を要し，リアルタイム処理が2.4. スコア統合方式 5)困難である．そこで本研究では，音声認識の途各発話に対し照合した結果，距離が得られる．

中の出力をキーワード検出に用 いる方式と，その距離をスコアとして，複数のモデルから得BLSTM の音声認識モデルを用いる方式で精度をられたスコアを正規化した上である統合割合で向上させながらリアルタイム処理の実現を図る．

線形統合し，それをスコアとする．これをスコ2.

先行手法

ア統合方式と呼ぶ．

キーワード検出は STD（Spoken Term detection）

提案手法

3.の技術が応用可能である．STD で使用されるク

遠野物語のキーワード検出の先行研究 6)ではエリがキーワード検出のキーワードに相当し，Hybrid CTC/Attention 型の ESPnet7) で高い検出精

音声データは方言音声に相当する．クエリは音度が得られた．本研究では ESPnet と BLSTM の声で与えられる音声クエリと，文字で与えられ深層学習モデルを用い，以下 2 つの方式を提るテキストクエリがある．本章は，STD で用い案・導入することで処理時間の削減と精度の向られる照合方式のうち，本研究で用いた上を図る．

Posteriorgram 照合，状態間照合，フレームレベ

第一の提案方式は Posteriorgram 状態間照合方

ル状態系列照合についてキーワード検出として式（以降，P 状態間）である．前述のとおり，説明した後，精度向上を実現するためにスコア

ESPnet の Hybrid CTC/Attention の認識結果を用い統合方式について説明する．

た状態間照合では高い検出精度が得られる一方，2.1. Posteriorgram 照合

Attention の処理に時間を要する．そこで処理時

2)

音響モデルの DNN に方言音声を入力すると，間が短い CTC から得られる Posteriorgram を以下HMM（Hidden Markov Model）で定義された N 個

3 つのステップにより状態番号系列に自動変換し，の状態の事後確率が得られる．この事後確率を状態間照合を行う．

時系列順に並べたものを．Posteriorgram と呼ぶ．

①

Posteriorgram の各フレームにおいて最尤

Posteriorgram 照合（以降，P 照合）では方言音声のノード（syllable）を抽出し，syllable とと音声キーワードの Posteriorgram 同士を用いたblank の系列に自動変換

連続 DP（Dynamic Programming）照合により検索を行う．

②③

syllable と blank の系列から blank を削除

スコア統合した結果を図 2 に示す． P 状態間し，連続する同じ syllable を 1 つにし，と BLSTM_STD を統合した結果，単体で最も精triphone 系列に自動変換

度の高い BLSTM_STD と比べて 2.74pt 精度が向triphone 系列を状態番号系列に自動変換

この方式により，ESPnet の音声認識の終了を待たずに照合を行い，処理時間の削減を図る．
第二の提案方式は BLSTM を用いたフレームレ
ベル状態系列照合（以降，BLSTM_STD）である．BLSTM_STD は短い処理時間で高い検出精度が期待できるため本研究で導入するとともに，上記 2 つの提案方式をスコア統合することでリ

図 1 各照合方式の性能アルタイムかつ高い検出精度を目指す．

4.

評価実験

4.1.

実験条件

BLSTM，ESPnet の学習には CSJ 2,702 講演を用いた．BLSTM の入力特徴量は FBANK 120 次元とし，出力層は triphone 3,009 状態と対応させた．ESPnet の入力特徴量は FBANK 83 次元とし，出力は syllable 264 状態と対応させた．
4.2.

評価データと評価方法

評価データは，遠野物語 3 話を方言音声とし，

図 2 各照合方式のスコア統合の性能

P 照合には音声キーワードを，状態間照合，P 状上し，P 照合と BLSTM_STD との統合と比べ態間，BLSTM_STD にはテキストキーワードを，0.72pt 精度が向上した．最も精度が高くなった 3

内容理解に影響するものを物語ごとに 9～19 個種統合では， BLSTM_STD と比べて 7.57pt 精度

用 い た ． 検 出 精 度 の 評 価 指 標 は MAP （ Meanが上昇し 91.69％となり，処理時間も 0.58 秒でリ

Average Precision）を用いた．処理時間の評価は，アルタイム処理も可能となった．以上のことか

方言音声を入力した時から照合終了までの時間

ら遠野物語のキーワード検出における，提案方を方言音声の合計時間で割ったリアルタイムフ式の有効性を確認できた．

ァクタで評価した．即ち，1 秒の入力音声に対し，5.

終わりに1 秒以内の処理時間であればリアルタイム処理で

本研究では，P 状態間と，BLSTM_STD を用いきるとする．スコア統合において，単体でリアた照合，それらのスコア統合を提案し評価試験

ルタイム処理可能な照合方式を 2～3 種組み合わを行った．P 照合と P 状態間と BLSTM_STD の 3

せ，検出精度を評価する．処理時間は並列処理

種統合は 91.69%の MAP となり，処理時間も 1 秒した場合と逐次処理した場合の 2 つを評価する．

以内に収まり，リアルタイムなキーワード検出処理時間は統合の処理時間を含めたものである．

における P 状態間と BLSTM_STD，およびそれ4.3.

実験結果

単体での性能を図 1 に示す．先行研究で精度らの統合方式の有効性を確認できた．

参考文献の高かった状態間照合は 1 秒の入力音声に対し1)て約 2 倍の処理時間要し，P 照合は処理時間が2)

1.54 秒短いが，検出精度が 5.26pt 減少し 72.12%になった．提案方式の P 状態間は照合精度が3)

4.42pt 向上し 81.80％，処理時間も 1.54 秒短縮で4)

き 0.45 秒となった．BLSTM_STD は照合精度が6.74pt 向上し 84.12％，処理時間も 1.85 秒短縮で

5)
6)

き 0.12 秒，最も高い性能となった．
7)

飯田英仁 他：遠野物語方言音声の収録，日本音響学会（2018）
小原真人：岩手県立大学ソフトウェア情報学部卒業論
文（2016）
紺野良太 他：STD におけるフレームレベル状態系列間照合による検索精度向上，日本音響学会（2015）
皆川玲緒，音声中の検索語検出における検索精度向上のためのフレームレベル照合方式(2022.3 to appear)金子大祐 他： 2018 年度博士前期課程論文（2018）飯田英仁 他,：遠野物語における複数言語の音声認識モデルを用いたキーワード検出精度向上, 情報処理学会 第 82 回全国大会（2020）
S. W. e. al：ESPnet: End-to-End Speech Proccessing Toolkit，Interspeech 2018，pp2207-2211, （2018）