音声クエリでの複数検索結果を用いた音声中の検索語検出
Spoken Term Detection Using Multiple Recognition Results of Spoken Query
感性情報学講座 0312011021 大島聡史
指導教員：伊藤慶明 小嶋和徳 石亀昌明
1. はじめにインターネット上の動画データや講義音声の普及により音声が含まれているマルチメディアデー
タは増加の一途をたどっている．この中から目的の動画や場面を簡単に検索する機能として，音声中の検索語検出(STD: Spoken Term Detection)が有効と考えられており，現在 STD の研究が盛んに行われている．NTCIR-10， NTCIR-11 では STD に関する評価が行われた． NTCIR-11 では新たに音声で話された検索語(音声クエリ)を音声ドキュメ
ント中から検出を行う SQ-STD(Spoken QuerySTD)に関するタスクが設定され，その評価が行われた．
SQ-STD とは音声で話された検索語に対してSTD を行うタスクである．音声クエリは一旦，音声認識システムを用いてテキスト形式(基本的には単語列/音素系列)に変換する．
その際に認識誤りの発生が避けられず，正しい単語列(音素系列)が得られるとは限らない．また，音声クエリでは既知語，未知語の判定は容易にはできないため，既知語のための単語認識の結果と，未知語のためのサブワード認識結果のいずれかを用いるのが良いか判断できない．そのためテキスト形式でクエリが与えられた場合に比べ検索精度の低下が想定され，その対策が不可欠である．
そこで，本研究では音声クエリに対してGMM-HMM (Gaussian Mixture Hidden MarkovModel)の単語およびサブワード認識，DNN(DeepNeural Network)の単語および音節認識を使用する．
これにより既知語，未知語，どちらでも対応できると考える．さらに認識辞書，言語モデルが我々のものと全く異なる Google 音声認識も利用し，計5 つの認識システムを使用する．それらを個々に用いて検索した結果を統合することにより未知語，既知語両者の検索精度の向上を目指す．
2. 提案方式
2.1. 単体の検 索方 式
検索対象となる音声ドキュメントは発話毎にポーズで分割され，分割された発話区間毎に，サブワード音響モデルと単語/音節の言語モデルを用いて単語/音節認識を行う．得られた単語/音節認識
結果はサブワード系列にして保持しておく．音声
クエリが与えられると各々の音声認識システムを使いテキスト(単語，音節)に変換した後，サブワード系列に変換をする．保持していた音声ドキュ

メントのサブワード系列と，音声クエリのサブワード系列を連続 DP で照合する．サブワード間の局所距離にはサブワード間音響距離を用いる．
全発話区間にとの連続 DP 照合を行った後，累積距離が小さい順に類似度が高いとし，候補区間としてユーザへ提示する．
2.2. 複数 検 索結 果の統 合 方式
NTCIR ではクエリが一つの発話に含まれているかで正解判定が行われた．各発話におけるクエリとの最小距離がその発話に対する距離となり音声ドキュメントの全ての発話に対して距離が付与される．
同じ音声クエリであっても認識システムによって正確に認識できる場合と誤認識となる場合がある．また，音声クエリは既知語，未知語の判断が難しいためクエリ毎に適切な認識システムを用意することは困難である．そこで，様々なタイプの認識・検索システムを用意し，各々のシステム単体での検索結果を複数用い，それら複数の検索結果を統合する方式を提案する．
本研究では 2 つの検索結果を統合する方式を用いる．2 つの検索システムで得られた 2 つの累積距離の統合は式(1)により行う．ここでは 1 つの音声クエリに対し，単語をベースとするシステムによる認識・検索とサブワードをベースとするシステムによる認識・検索を別々に行い，両者の検索結果を統合する．クエリに対しての照合した距離が各々のシステムから発話区間毎に出力される．
1 番目の発話区間の単語認識・検索結果に対する距離 distance(word,1)と，音節認識・検索結果に対する候補距離distance(sub,1)に対してそれぞれα と(1-α)の重みを乗じ，線形和を取ることで 1 番目の発話区間に対する統合距離 D(1)が求められる．これを全ての区間に行い，統合距離の小さい順に検索結果として出力する．
𝐷(𝑖) = 𝛼 × 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒(𝑤𝑜𝑟𝑑, 𝑖) + (1 − 𝛼)(1)× 𝑑𝑖𝑠𝑡𝑎𝑛𝑐𝑒(𝑠𝑢𝑏, 𝑖)
3. 評価実験
3.1. テストセット
評価には，NTCIR-10，NTCIR-11 で用いられたテストセットを使用した．対象音声ドキュメントには SDPWS を用いた．音声クエリは NTCIR-10
Formal run 100 クエリ，NTCIR-11 Formal run 203 ク
エリを用いた．式(1)の中の α は文献[1]で 0.4~0.6

表 1 各認識システム単体での結果(NTCIR-11)
音声ドキュメ
クエリの認識MAP
ントの認識
DNN 単語49.05
DNN 単語DNN 音節46.53
Google45.05
DNN 単語43.94
DNN 音節DNN 音節41.03
Google39.19
表 2 複数認識システムを統合時の結果(NTCIR-11)
音声ドキュメン
クエリの認識MAP
トの認識
DNN 単語+DNN 音節 51.49
DNN 単語DNN 単語+Google
54.59
DNN 音節+Google
52.86
DNN 単語+DNN 音節 45.61
DNN 音節DNN 単語+Google
47.65
DNN 音節+Google
46.12
表 3 3 種のシステムを統合(NTCIR-11)
統合元
クエリのクエリの認識
認識
DNN音節
Google

クエリの認識

MAP

DNN単語

55.61

表 4 各認識システム単体での結果(NTCIR-10)
音声ドキュメン
クエリの認識MAP
トの認識
DNN 単語51.32
DNN 単語DNN 音節52.62
Google48.56
DNN 単語48.10
DNN 音節DNN 音節51.98
Google47.82
表 5 認識システム統合時の結果(NTCIR-10)
音声ドキュメン
クエリの認識MAP
トの認識
DNN 単語+DNN 音節 54.19
DNN 単語DNN 単語+Google
57.04
DNN 音節+Google
56.37
DNN 単語+DNN 音節 52.40
DNN 音節DNN 単語+Google55.18
DNN 音節+Google55.90
表6 各認識システム3統合の結果(NTCIR-10)
統合元クエリのクエリの認識
認識
DNN音節
DNN単語クエリの認識

MAP

Google56.97

で高い精度が得られることが多いと示されたため

本論文では一律 1 対 1，即ち α=0.5 とした．
3.2. 実験結果
10種の認識・検索システム単体の中でNTCIR-11に対し検索精度が高い(GMM-HMM を除く)6 種の検索精度を表 1 に示す．表 1 より音声ドキュメン
トの認識が DNN 単語/音節どちらであっても，音声クエリの認識では DNN 単語，DNN 音節，
Google音声認識という順に高い検索精度を示した．
NTCIR-11 のクエリは 203 個中 198 個が既知語(Google に対しては不明)であるため，DNN 音節認識に比べDNN 単語認識が有利になったと考える．
2 つの検索システムを統合した場合の結果を表 2に示す．表 2 から単体の検索システムより，統合することによりが全ての場合において検索精度が向上し，SQ-STD において複数認識結果を統合する提案手法の有効性を確認できた．単体で最も検索精度が良かったのは音声ドキュメントと音声クエリともに DNN 単語で認識・検索したときで，49.05%の MAP であったが，この結果に音声ドキ
ュメントを DNN 単語，音声クエリを Google 音声認識で認識・検索したものを統合すると，MAP が54.59%となり 5.54 ポイント向上した．3 種のシステムを統合した場合を表 3 に示す．このときのMAP は 55.61 となり，単体で最も良い結果と比べ6.59 ポイント上昇した．
NTCIR-10 での 6 種の認識・検索システム単体での検索精度を表 4 に示す．音声ドキュメントの認識が DNN 単語/音節どちらであっても，音声クエリの認識では DNN 音節，DNN 単語，Google 音声認識という順に高い検索精度を示した．
NTCIR-11 に比べ検索語 100 個中，未知語が 53 個と多くなったため，音節認識が有利になったと考える Google 音声認識での検索精度が低い理由としては音声クエリの認識の際に結果がない場合があるためと考える(そのクエリに対しては AP=0 とした)．2 つの検索システムを統合した場合を表 5に示す．どの検索システムを統合した場合でも単体に比べ統合時の検索精度が高くなった．単体で最も検索精度が高い結果は MAP=52.62%あったが，2 種のシステムを統合した場合で最も検索精度が高い結果はMAP=57.04%となり4.42 ポイント向上した．3 種のシステムを統合した場合を表 6 に示す．このときの MAP は 56.97%となり，単体で最も良い結果と比べ 4.35 ポイント上昇したが，2 統合の最も良い結果よりも検索精度は低下し，重みα の最適化が必要だと考える．
4. おわりに
本論文では，STD における音声クエリタスクに対し，複数の認識・検索結果の統合手法を提案した．評価実験の結果，複数のシステムを用いることにより検索精度が向上することを確認でき，本提案手法の有効性を検証できた．
参考文献[1] 伊藤慶明ら，“サブワードを用いた音声文書検索における複数サブワードの統合:サブワード毎の検索語検索性能期待値の利用”,電気情報通信学会技術研究報告, 107巻116号, pp.13-18, 2007.