音声中の検索語検出におけるスコア優先方式を用いた統合方式
An Integration by Prioritizing a Better Score Candidate
for Spoken Term Detection
感性情報学講座 0312013015 岩﨑瑛太郎
指導教員：伊藤慶明 小嶋和徳
1. はじめに
近年，記憶媒体大容量化により，大量のデータ（動画等）を扱えるようになった．その中から特定の場面を検索する機能が求められており，音声中の検索語検出(STD: Spoken-Term Detection) の研究が盛んに行われている．
STD とは，検索語（クエリ） が発話されている区間を検索対象となる大量の音声データの中から特定するタスクである．音声データを音素等の系列に変換し，クエリと照合を行い発話される区間を特定する．近年，クエリが音声で与えられる
SQ-STD (Spoken Query STD) の研究も盛んに行われている．STD の場合クエリが辞書に登録されている既知語ならば単語認識を用い，登録されていない未知語であればサブワード（音節）の認識結果を用いる方式が，一般的に性能が良いとされている．SQ-STD の場合，音声認識システムを用いて音声クエリを音節や単語等のテキスト形式に変換する．音声認識システムを用いてクエリを変換しているため誤認識が避けられず，テキスト形式でクエリが与えられた場合に比べ検索精度が低下する，そのため音声クエリにおける精度向上が重要である．
先行研究 1)は，音声クエリと音声ドキュメントを認識する際に単語認識，音節認識それぞれの検索結果を統合する方式を提案し，未知語･既知語両者に対して検索精度の向上を実現した．この方式では常に一定の割合で検索結果の統合を行うため，一方の検索結果が著しく悪い場合に，その影響を受け検索精度が低下する可能性がある．
そこで本論文では，統合の際に照合結果を比較し，類似度が高い照合結果を重視し統合を行うことで検索精度の向上を図る．提案方式は既知語，未知語の判定をせずに既知語･未知語両者に対しての効果を期待するものである．

2. 提案方式
2.1 SQ-STD システムの概要
SQ-STD システムは音声ドキュメントの中で音声クエリが発話されている区間を特定し，ユーザーに提示することを目的としている．音声ドキュ
メント，音声クエリそれぞれを一旦音声認識システムで認識し，クエリのトライフォン系列と認識結果の各発話のトライフォン系列の距離を連続動的計画法(CDP: Continuous Dynamic Programming)で照合を行い，発話区間ごとに CDP 距離を求める．音声ドキュメントのすべての発話に対してCDP 距離を求める．CDP 距離が小さいほどクエリと発話区間の類似度が高いため，CDP 距離が小さい順に検索結果として出力する． CDP 照合時のトライフォン間局所距離にはトライフォン間の音響距離 2)を用いる．

2.2 従来の統合方式
音声クエリは認識システムによって正確に認識できる場合と誤認識となる場合がある．既知語は単語認識，未知語は音節認識を用いるのが一般的だが，音声クエリは誤認識があるため，既知語，未知語の判断が難しく，クエリごとに適切な認識システムを用いることは困難である．従来手法 1)では音声クエリ，音声ドキュメントを単語認識，音節認識併用し，それぞれを用いて検索を行い得られた結果を以下の方式で統合することで検索精度を向上させた．この方法では単語認識結果に対しての検索（単語ベースの検索）と音節認識結果に対しての検索（音節ベースの検索）を別々に行い，それぞれの CDP 距離を得る．ある音声クエ
リに対して単語ベースの検索の CDP 距離を𝐷1 ，音節ベースの検索の CDP 距離を𝐷2 とし，発話区間ごとに式(1)により新しい統合距離を求める．
𝐷1 に𝛼，𝐷2 に(1−𝛼)を乗じ，線形和をとることでその発話区間に対する統合距離𝐷𝑛𝑒𝑤 を求める．
これを全発話区間に対して行い，統合距離の小さい順に検索結果として出力する．重み𝛼は開発セットで決定し，一定とする．
𝐷𝑛𝑒𝑤 = 𝛼𝐷1 + (1 − 𝛼)𝐷2(1)2.3 スコア優先方式
2.2 で述べた統合式では統合の重みを固定しているため，重みの大きい検索結果の影響が大きく，あるクエリに対し，重みの小さい結果の方が，精度が高い場合には検索精度が低下する可能性がある．そこで統合の際，発話区間ごとに CDP 距離を比較し，類似度が高い結果を重視するスコア優先方式を提案する．
統合は単語ベースの結果と，音節ベースの結果を用いる．今回提案するスコア優先方式では，式(2)に示すように，統合の際 2 つの結果の CDP 距離を比較し，類似度が高い結果の CDP 距離を重視する．但し𝛼は統合の際の重みを示し，𝛼 > (1 − 𝛼)とし，𝛼を乗じる距離を重視する．すべての発話区間に対し行い，統合距離𝐷𝑛𝑒𝑤 を求め，統合距離の小さい順に検索結果として出力する．
𝛼𝐷1 + (1 − 𝛼)𝐷2 ,𝐷1 ≤ 𝐷2(1 − 𝛼)𝐷1 + 𝛼𝐷2 ,𝐷1 > 𝐷2

𝐷𝑛𝑒𝑤 = {(2)3. 評価実験
3.1 実験条件
音響モデル，言語モデルの学習には日本語話し
言葉コーパス(CSJ : Corpus of Spontaneous Japanese)の全 2,702 講演から，評価用に用いられる 177 講演を除いた 2,525 講演のうち，偶数講演(1,255 講演，約 287 時間)を使用した．音響モデルは 3 状態のトライフォン系列で構成し，状態共有により3,009 状態とし，混合数は 32 とした．

3.3 実験結果
3.2 の評価セットに対する実験結果を図 1 に示す．𝛼を 0.5~1.0 の間で設定を行い，従来手法の重みが固定されている方式と比較を行った．スコア
優先方式の𝛼=0.9 を用いて統合した結果（図 1 枠線部）と統合前(MAP 55.58%)を比較し+4.3 ポイント(MAP 59.88%)と向上した．従来の統合方式に
お い て 最 も 検 索 精 度 が 高 い 𝛼 =0.7 の 結 果 (MAP57.63%)と比較しても+2.25 ポイントと向上し，本手法の有効性を確認できた．
本実験では𝛼=0.9 の結果が最も高い MAP が得られたが，音声クエリによって最も高い MAP の得られる𝛼に違いが見受けられた．クエリ毎の𝛼の最適化は今後の課題とする．

3.2 評価セット
評価には国立情報学研究所が主催する情報検索のワークショップ(NTCIR Workshop)で使用された評価セットを使用した．検索対象音声ドキュメントには，SDPWS（音声ドキュメント処理ワークショップのコーパス）98 講演（37,782 発話，約 27.5時間）を使用した．音声クエリとして NTCIR-12
で使用された評価セット Formal run 109 個のテキストクエリを男性 5 人，女性 5 人の計 10 人名の学生に発話してもらい録音した．音声認識システムには，DNN( Deep Neural Network )を用いた単語認
識と DNN を用いた音節認識を使用した．音声認
識の各認識単位別の検索精度を表 1 に示す．評価指標には MAP(Mean Average Precision)を用いた．
列（縦軸）が音声クエリの検索システム，行（横軸）が音声ドキュメントの検索システムを表す．
例えば，音声クエリを音節認識，音声ドキュメン
トを単語認識した結果を用いた検索（左下）ではMAP が 54.57%であることを表す．
表 1 認識単位別検索結果
音声ドキュメント
MAP(%)
単語認識
音節認識
単語55.58
50.41
音 ク 認識エ
声
リ 音節
54.57
49.85
認識
今回の実験では表 1 の中で精度が最も高い音声
クエリ・音声ドキュメント共に単語認識した結果を検索して得られた 55.58%をベースラインに設定した．統合には音声クエリ・音声ドキュメントが共に単語認識の結果と共に音節認識の結果（網掛け部）を用いた．

図1

重みを固定した方式(従来)とスコア優先方式(提案)を用いた統合結果

4. 終わりに
本論文では，SQ-STD における検索結果の統合手法として統合の際 CDP 距離を比較し，類似度が高い結果を重視し統合するスコア優先方式を提案した．評価実験の結果，スコア優先方式を用いることで単体よりも+4.3 ポイント高い検索精度を得られ，従来の統合方式と比較しても+2.25 ポイ
ント高い検索精度が得ることができ，本提案手法の有効性を確認できた．今回は統合の重み𝛼=0.9の結果が最適であったが，今後は𝛼の詳細な決定方法について考察・検証していく．

参考文献
1) 大島聡史，“音声クエリでの複数検索結果を用いた音声中の検索語検出”，岩手県立大学
ソフトウェア情報学部卒業論文，2015-03.
2) 岩田耕平他, 語彙フリー音声文書検索手法 における新しいサブワードモデルとサブワード音響距離の有効性の検証，情報処理学会論文
誌 48(5)，2007．