音声中の検索語検出における複数音素事前検索結果を用いた高速検索手法
Fast Spoken Term Detection using pre-retrieval results of multiple phones.
感性情報学講座 0312010062 熊谷真純
指導教員：伊藤慶明 小嶋和徳 石亀昌明

1. はじめに
近年，大量の音声データの中からキーワードを検索する機能が求められ，音声中の検索語検出(Spoken Term Detection : STD) に関する研究が盛んに行われるようになった．検索語が，辞書に登録されている既知語ならば単語認識結果を用いて検索を行えば良いが，未知語は単語認識では誤認識となるため，検索語が未知語である場合は正しい検索は困難である．そのため，サブワード認識結果を用いて検索語のサブワード系列と照合する方式が一般的となってきている．STD
では未知語の検索が重要であり，様々なサブワード認識結果を用いて未知語の検索性能の改善を行っている 1)．本提案方式も未知語を検索するためのサブワード認識に基づく STD システムをベースとしている．
我々がベースとする STD システムでは，音声ドキュメント群を予めサブワードで音声認識しておき，サブワード系列の検索対象データと検索語 を 連 続 動 的 計 画 法 ( 連 続 DP: ContinuousDynamic Programming)等で照合を行う．連続DP による音声ドキュメント全体との照合方法では，検索時間は検索対象の音声ドキュメント群のデータ量に比例して増加してしまう．そこで，本論文では，事前検索結果を用いて，検索対象の音声ドキュメント群の中から検索語が発話されている可能性が高い発話区間を限定し，連続 DP によるスコアリングを行う方式を提案する．
先行研究「音声中の検索語検出における複数音節事前検索結果を用いた高速検索手法 2)」では，音節 2-gram を用いて検証が行われた．本論文では，音節 2-gram 以外で実現可能な音素・音節N-gram を用いて事前検索方式の評価を行い，適切な音素・音節 N-gram 事前方式を提案する．

2. 提案手法
2.1. 事前検索結果を用いた高速検索手法
音声ドキュメント中，検索語が発話されている区間には，検索語を構成する音節・音素列が存在する．
「イワテ」が検索語として与えられた場合，「イワテ」が発話されている区間では，「イワ」，「ワテ」，「iwat」，「wate」の検索語を構成する 2つの音節 2-gram および，2 つの音素 4-gram があると想定できる．そこで，全ての音節 2-gram，音素 4-gram 等で検索を事前に行っておきその検索結果(事前検索結果)を保持しておく．検索語が与えられると，検索語を事前検索と同じ N-gram列に分割し各々の N-gram 列の事前検索結果を参照する．これにより，連続 DP による最終的なリスコアリングを行う候補数を限定し，検索の高速化を実現する．
2.2. 音節 2-gram から音素 N-gram への拡張提案手法では，音素 N-gram の全ての組み合わせに対して事前検索結果を作成する必要がある．
事前検索結果に必要なデータ量は，組み合わせ数×4Byte(発話 ID)×事前検索結果保持件数となり，表 1 に示す．事前検索結果保持件数は，比較的大規模な CSJ2702 講演を検索対象として用いる場合，全ての音声ドキュメントに対して連続DP 照合した場合に同等の検索精度を得るために必要な件数で，25000 件 2)とする．

表 1 事前検索結果保持データ量

音素音節

3-gram1.9GB

4-gram

38.9GB

5-gram

975.5GB

2-gram

6.3GB

3. 評価実験
3.1. 評価用データ
実験では評価用セット 3)CSJ2702 講演，604時間分と，50 個の検索語を用いた．評価値にはMAP(Mean Average Precision)を用いた．
3.2. 検索精度と検索時間
実験の結果を図 1 に示す．図 1 の 0~1.2 秒までの拡大図を図 2 に示す．縦軸は検索精度(MAP)，
横軸は 1 検索語あたりの検索時間(秒)を示す．先行研究の音節 2-gram と音素 2~5gram とで比較を行った．全ての音声ドキュメントを連続 DP で検索した場合は検索精度 61.7％，1 検索語あたりの検索時間は 9.1 秒である．提案方式による検索精度と検索時間の削減について以下にまとめる．

3.4. 音節 2-gram と音素 4-gram の和と積の評価
3.3 より，音素 5-gram は実用上の課題がある
ため，次いで性能が高い音節 2-gram と音素4-gram の事前検索結果の和と積を用いた実験を行った．結果を図 3 に示す．図 1 と同様，縦軸は検索精度(MAP)，横軸は 1 検索語あたりの検索時間(秒)を示す．

図1

MAP と検索時間

図3

図2

図 1 の拡大図

図 2 において，短い検索時間でかつ高い検索精度を得られるグラフの左上が，良い性能であることを表す．音節 2-gram と比較し，音素 3-gram
では性能が低下し，音素 4-gram，5-gram と性能が高くなった．詳細な性能比較を以下にまとめる．
 検索時間 1 秒のときの検索精度は，全照合に比べ，音素 3-gram で約 1.6 ポイント低下，音素 4-gram で約 0.1 ポイント低下，音素5-gram で低下無し．
 検索精度 61.7%のときの検索時間は，全照合に比べ，音素 3-gram で約 6.9 秒削減，音素4-gram で約 7.8 秒削減，音素 5-gram で約8.5 秒削減．
 検索時間 0.2 秒のときの検索精度は，音節2-gram に比べ，音素 3-gram で約 10 ポイン
ト低下，音素 4-gram で約 5 ポイント向上，音素 5-gram で約 6 ポイント向上．
 検索精度 60%のときの検索時間は，音節2-gram に比べて，音素 3-gram で約 0.6 秒増加，音素 4-gram で約 0.3 秒削減，音素5-gram で約 0.4 秒削減．
3.3. 音素 5-gram の問題
3.2 において，音素 5-gram は，検索精度の低下を 0.5 ポイントに抑えながら大幅な検索時間の短縮を実現した．しかし，2.2 より音素 5-gramは 585GB のデータ量が必要となり，実用上課題がある．

MAP と検索時間

図 3 において，音素 4-gram と比較し，和を用いた場合は性能低下，積を用いた場合は性能が向上した．和は候補区間が多く検索時間が長くなり，性能が低下，積は信頼度の高い候補区間が得られたため，性能が向上したと考える．

4. おわりに
本論文では，あらゆる組み合わせの音素
N-gram 列で事前に音声ドキュメントの検索を行っておき，その事前検索結果を利用することでSTD の精度を維持しつつ高速な検索を実現する手法を提案した．音素 4-gram に関して，検索精度の低下を抑えながら大幅な検索時間の短縮を実現した．また，音節 2-gram との事前検索結果の積を用いることで性能が向上した．
今後は音素 5-gram に関して類似音素リストを用いた検索での検証を行う．また，適切な音素N-gram について検証を行う．
参考文献
1) 岩田耕平ら,"語彙フリー音声文書検索手法における新しいサブワードモデルとサブワー
ド音響距離の有効性の検証"，情報通信学会
論文誌, Vol.48, No.5, pp.1990-2000, 2007.
2) 斉藤裕之,”音声中の検索語検出における複数音節事前検索結果を用いた高速検索手法”，
博士前期課程論文，2013.3
3) Tomoyosi Akiba et al, Overview of the IRfor Spoken Document Task in NTCIRWorkshop, NTCIR-9 Meeting, 2011.