再認識方式による候補区間の再判定と検索性能最適化
Re-judge Candidate Sections by Re-recognition and Retrieval Performance Optimization
感性情報学講座 0312008062 紺野和磨
指導教員：伊藤慶明 小嶋和徳 石亀昌明
1.

はじめに

近年マルチメディアコンテンツの増加や大容量ハードディスクレコーダの普及に伴い，大量のマルチメディアデータを保存することが可能となり，保存したデータから特定の部分のみを検索する技術に対するニーズが高まってきている．本研究はマルチメディアデータ内の音声情報を用いた検索の実現を目指すもので，音声検索の精度を向上させるための再認識方式と検索性能の最適化方式を提案する．再認識方式では，一旦出力された順位付き（スコアリング済）候補区間に対し，検索語が含まれているかを確認するために記述文法によるサブワード認識を再度行い，候補区間のリスコアリングを行う．検索性能の最適化では正解として受理された候補区間をシステムの利用者に提供する際に提供数を閾値によって最適にコントロールすることで，検索性能の最適化を行うものである．本研究では，両方式により検索性能とユーザビリティの向上を図る．

図 1 記述文法のイメージ

図 2 分割検索語を加えた記述文法のイメージ

3.2 提案方式
3.2.1 再認識方式による照合 2）2.

音声検索の流れ音声ドキュメントに対しサブワード認識を行った結果を検索対象のサブワード列の DB（データベース）とし，検索語のサブワード列と DB 中のサブワード列同士を照合することで検索を行う．本
論文はこのサブワード列同士の照合の高精度化を目的とする．
3.

照合方式

3.1 従来方式 1）
CDP（Continuous Dynamic Programming）によるワードスポッティングを行い，類似度が高い順に候補区間を出力する．サブワード列同士の照合にサブワード間音響距離を用いることにより，サブワード認識誤りが存在しても，サブワード同士の類似性を考慮した照合が可能となり，認識誤りに対して頑強な検索が実現できる．

サブワード間音響距離は音響モデルの複数の混合分布の一部を用いて構成されるため，音響的特徴を十分に利用しているとはいえない．一方，サブワード認識は音響モデルの全ての混合分布を利用しているため，3.1 で得られた候補区間に対して，検索語が含まれているかを確認するため記述文法によるサブワード認識を再度行い照合する．3.1 で得られた区間では，検索語の先頭と末尾の音素が欠落することがあるため，確実に検索語を含んだ区間を再認識処理するために区間の前後に数百ミリ秒から数秒のマージンを付与して音声区間を切り出す．切り出した音声区間に対して図 1 の記述文法に基きサブワード認識を行う．記述文法は，全ての音素を任意回ループする音素系列を含む文法（図 1 上部）と検索語の前後に音素系列を含む文法（図 1 下部）を並列で定義し記述文法に基づき再認識を行う．検索語を含む文法（図 1 下部）で認識された候補区間を受理し，検索語が音素系列のみの文法（図 1 上部）で認識された候補区間は棄却する．しかし，予備実験よりこの文法では検索語と部分的に一致している言葉が含まれる区間も正解区間として受理する傾向があった．

3.2.2 検索語の分割検索語を分割した分割検索語を記述文法に加える方式を提案する．これにより，検索語と部分的に一致している音声区間を正しく棄却し検索性能の向上を図る．分割検索語を取り入れた記述文法
は図 1 の記述文法に，分割検索語の前後にすべての音素系列を含む文法を加え並列で定義したものである（図 2）．この記述文法を使用することで，
図 1 の記述文法で誤って正解として受理された候補区間を棄却することが可能となる一方で，正解として受理すべき候補区間も棄却することがある．
これはサブワード認識の際に，発話区間の一部分に欠落や挿入誤りが生じるために起こると考えられる．そこで，一つの分割検索語を 3 音素単位とし，中心音素が子音となるように分割をする．このとき，子音は母音，q，N を除いた種類として，分割検索語が重複しないように分割する．検索語「h i k a r i g a o k a」を例として挙げると，「i k a /i g a / o k a」と分割される．検索語を断続的に分割することで，連続的に分割するよりも語彙的な制限が緩和され欠落や挿入に対応した分割となり，誤棄却を防ぐことができる．
3.2.3 検索性能の最適化
再認識処理を行い受理された候補区間の提供数を閾値によって最適にコントロールすることで，検索性能の最適化を行う．利用者が受理された候補区間の中から正解である候補区間を選択しやすくするためである．最適化のための閾値は CDP の際に算出される累積距離を用いる．累積距離は候補区間と検索語の音素系列の類似性を表しているため，検索性能に大きく関係しているためである．
算出方法は，検索語ごとに 0 から累積距離の閾値を大きくしていき，候補区間を増加させながら F値を算出する．ある閾値に対して全ての検索語のF 値を平均し，その F 値が最大となる閾値を求める．
4.

評価実験

4.1 評価用データ
日本語話し言葉コーパス中のコアと呼ばれる講
演音声 177 件，約 44 時間分の音声データを評価実験に用いた．検索語は NTCIR3）で用いられたフォーマルラン用の検索語 50 個を評価用の検索語とした．
音響モデルは Triphone と 4 種統合（Triphone，Demiphone，SPS， Syllable を統合）したものを用いた．

表 1 候補区間の順位を閾値に用いた際の方式別検索性能
F 値（%）

音響モデル

CDP 方式

再認識方式

分割検索語方式

Triphone

60.85

62.82

63.81

4 種統合

63.83

65.04

65.35

表 2 累積距離を閾値に用いた際の方式別検索性能
F 値（%）

音響モデル

CDP 方式

再認識方式

分割検索語方式

Triphone

63.90

64.67

65.92

4 種統合

65.50

65.77

67.71

4.2 結果と考察
表 1 に最適化方式に用いる閾値の比較として候補区間の順位を閾値として用いた結果，表 2 に累積距離を閾値に用いた結果をそれぞれ示す．表 2
では各音響モデルともに再認識方式に比べ，分割検索語方式を用いることで約 1~2%の精度向上を確認することができ，分割検索語方式を取り入れることで検索語と部分一致している候補区間を正しく棄却することができたと推察できる．また表 2の各音響モデルともに全ての方式において表 1 の結果よりも上回る数値となることから累積距離を閾値として用いることの有効性を確認できる．
5.

おわりに

本論文は，分割検索語を取り入れた再認識方式と検索性能最適化方式の提案を行った．実験の結果，提案方式は従来の再認識方式に比べ精度向上し有効性を確認できた．検索語の分割は分割数を削減したため，検索語との部分一致音声を完全に排除しておらず，また最適化に用いる閾値は検索語全て同値であるため今後の課題としたい．
6.

参考文献

1）岩田耕平他：語彙フリー音声検索におけるサブワードモデルと応用システムの検討，日本音響学会研究発表会講演論文集，pp31-32（2005）
2）大竹隆之他：スポッティング区間の再認識に基づく音声検索性能の向上，日本音響学会講演論文集，pp-23-24（2006）
3）Tomoyosi Akiba et at.：Overview of the IR for
Spoken Documents Task in NTCIR-9 Workshop，
NTCIR Workshop 9 Meeting（2011）