検索結果の一位候補区間を用いた検索精度の向上
Improvement of Search Accuracy using Top Candidates
in Search Results for Spoken Term Detection
感性情報学講座 0312013038 金子大祐
指導教員：伊藤慶明 小嶋和徳
1. はじめに一位候補区間中のクエリと一致したサブワード
系列は音声認識システムの誤り傾向を含んだ補助クエリとし，再び STD を行う．結果として得られた一位候補検索結果と先に検索したクエリ検索結果を統合することで検索精度の向上を図る．
クエリ検索結果と一位候補検索結果を統合する
際，音声ドキュメント群中の i 番目の発話におけるそれぞれの CDP 距離を Di ，Di とし，式(1)により統合を行う．

インターネット上の動画データや大容量 HDDの普及により，音声が含まれているマルチメディアデータは増加している．この中から目的の動画や場面を簡単に検索する機能として，音声中の検索語検出(Spoken Term Detection : STD)が有効とされており，STD の研究が盛んに行われている．
STD システムは，音声認識システムを用いて音声ドキュメントを予め認識しておき，認識結果とク エ リ （ 検 索 語 ） を CDP(Continue Dynamici =DPrograming)照合することでクエリが出現している
α×D
i + 1−α ×Di(1)
発話区間を特定する手法である．クエリが単語認
識辞書 に登録されている単語であれば 単語認識結果を，登録されていない単語であればサブワー それぞれの CDP 距離に対しαと 1 − α の値を乗じi を求ド認識結果で検索するのが一般である．音声ドキ て和を取ることで統合後の CDP 距離Dめる．全ての発話区間に対しDを求め，Dュメントを音声認識システでテキストに変換する
際，誤認識は避けられず，誤認識により検索精度 の小さい順を最終検索結果として出力する．なお，
式(1)でαは統合割合を示し，値が大きいほどクエは低下してしまう．
リ検索結果を重視し，小さいほど一位候補検索結STD には NTCIR と呼ばれる評価用のデータセット[1]が存在する．NTCIR では一位候補区間の 果を重視した統合が行われる．
正解率は約 90%であり信頼性が高い．しかし正解
2.2. CDP 距離の上位 N 件までを統合する手法であった一位候補のサブワード系列を見ると，ク一位候補検索結果を用いて統合する際，2.1 のエリのサブワード系列と完全一致しているとは限手法では全ての発話区間において統合距離Dらない．一位候補区間中でも誤認識が起きており，他の正解発話区間でも同じ傾向で誤認識が起きて を求めている．一位候補区間中に発生した誤認識いる可能性が考えられる．誤認識の傾向は音声認 の傾向を含む発話区間は上位候補に集まりやすく，識システムに依存するため，同じ言葉では同じよ 下位候補には異なる傾向の誤認識が集まりやすいと仮定した．この仮定に基づき，一位候検索結果うな誤認識になりやすいと考える．
そこで本論文では，同じ単語であれば同じよう の下位候補を統合しても正解発話区間を有利にすに誤認識が発生している可能性が高いと仮定し， ることは難しいと考える．
そのため統合件数に閾値を設け，一位候補検索
STD によって得られた一位候補区間を新たにクエ結果の上位N 件の候補のみを統合し，有利に調整リとして検索した結果を用いる手法を提案する．
できる発話区間を限定することで，検索精度の向元々の検索結果（クエリ検索結果）と，一位候補区間を新たにクエリとした検索結果（一位候補検 上を図る．
索結果）を統合し，誤認識により下位の候補に来
3. 評価実験てしまった正解発話区間を有利に調整することで，3.1.
実験条件
検索精度向上を図る．
音声認識システムにおける音響モデル・言語モ
デルの学習には日本語話し言葉コーパス(Corpus
2. 提案方式
of Spontaneous Japanese : CSJ)の 2,525 講演のうち，2.1. STD の一位候補区間を用いた統合手法
偶数講演（1,255
講演，約 287 時間）を用いた．
STD ではクエリと各発話区間の距離（CDP 距離）が算出され，CDP 距離が小さいほどクエリと発話 そ れ ら の 音 声 デ ー タ を GMM-HMM(Gaussian区間が一致していることを示している．それらの Mixture model - Hidden Markov Model)によって学習距離を昇順に並べ替えた際の一番目の発話区間が した音響モデル・言語モデルを用いた．音声ドキ
ュメントの認識には，単語認識(word)・音節認識
STD の一位候補区間となる．
(syll)の二種類を使用した．

評価には NTCIR10 のデータセット[1]を使用した．検索対象の音声ドキュメントには SDPWS
104 講演(28.6 時間)を，クエリには Dry run(32 クエリ)及び Formal run(100 クエリ)を用いた．認識手法二種類とデータセット二種類の組み合わせをdry_syll， dry_word， formal_syll， formal_word とした計四種類のテストセットを用いた．評価指標には MAP(Mean Average Precision)を用いた．

認でき，2.1 に比べて 2.2 の手法の頑健性が確認できた．統合件数では，上位 10 件から 3,000 件の中で件数を変えて実験したところ，上位 100 件の際に四つのテストセットの全てで MAP が最大になり，上位 100 件の内に正解発話区間が多く含まれている可能性が高いことが確認できた．

3.2. 実験結果
統合式中のαを 0.1~1.0 で 0.1 刻みずつ変更し，統合によって MAP の変化を調査した．3.1 で述べた四つのテストセットに対して，一位候補区間を用いた統合手法の検索精度を図 1 に示す．縦軸はMAP を，横軸は統合割合である式(1)中のαを示す．
α=1.0 のときは統合を行っていないクエリ検索結果のみを示す．図 1 の各テストセットの中で最もMAP が向上した統合割合とそのときの MAP 向上率を表 1 に示す．表の通り三つのテストセットでMAP の向上を確認できた．

図 1 : STD の一位候補区間を用いて統合した結果

表 1 : 2.1 の手法による MAP 向上効果のまとめ
αMAP 向上効果(%)
テストセットdry_syll
0.9 +0.24 (59.18%→59.42%)
dry_word
1.0 +0.00 (60.40%→60.40%)
formal_syll
0.6 +0.95 (53.71%→54.66%)
formal_word
0.6 +0.48 (50.45%→50.93%)
次に，2.2 で述べた一位候補区間の検索結果の上位 N 件を統合する手法の検索精度を図 2 に示す．
上位 10 件から 3000 件の間で実験を行った結果のうち，本論文では一番 MAP が高かった上位 100件のデータを載せる．図 2 の各テストセットの中で最も MAP が向上した統合割合とそのときのMAP 向上率を表 2 に示す．
図 2 : CDP 距離順位の上位 100 件を統合した結果
表 2 : 2.2 の手法による MAP 向上効果のまとめα
テストセットMAP 向上効果(%)
dry_syll
0.7 +0.53 (59.18%→59.71%)
dry_word
0.7 +0.11 (60.40%→60.51%)
formal_syll
0.6 +1.13 (53.71%→54.84%)
formal_word
0.6 +0.84 (50.45%→51.29%)
表 2 より，2.1 の手法では MAP が減少していた
dry_word の結果が，2.2 の手法では向上していることが確認できた．四つのテストセットの平均では，2.1 の手法で+0.42 ポイント，2.2 の手法で+0.65 ポイントと，2.2 の手法では 2.1 の手法に比べて MAP が向上しており，2.2 の提案手法の有効性が確認できた．
統合割合であるαについても，図 1 で 2.1 の手法
では 0.6~1.0 だったが，図 2 の 2.2 の手法では0.6~0.7 とテストセット間で差が小さいことが確

4. 終わりに
本論文では，STD の検索結果の一位候補区間をクエリとし新たに STD を行い，得られた二つの検索結果を統合する手法を提案した．四つのテス
トセットの内の一つで統合後の MAP が下がってしまったが，一位候補区間の STD 結果におけるCDP 距離順位の上位 N 件の発話区間のみを統合する手法により，いずれのテストセットでも MAPが向上することが確認でき， 2.2 の提案手法の有効性を示すことができた．
今後は最適な統合件数と統合割合の自動推定について考案・検証していく．

参考文献
1) Tomoyosi Akiba et al., Overview of the NTCIR- 10
SpokenDoc-2 Task, Proceedings of the 10th NTCIR
Conference, pp. 573-587 (2013).