音声中の検索語検出におけるクエリ特徴を考慮したリスコアリング手法
A rescoring method in consideration of query characteristic for Spoken Term Detection
感性情報学講座 0312012080
指導教員：伊藤慶明
1. はじめにTED(Technology Entertainment Design)をはじめとする利用可能な講義ビデオ等の増加に伴い，大量の音声データから特定の部分を検索する機能が求められ，音声中の検索語検出(STD : Spoken-Term Detection)の研究が盛んに行われている．
STD システムは，音声認識システムを用いて音声ドキュメントを予め認識しておき，認識結果とクエリ(検索語)に対して検索，あるいは照合を行う．一般的に音声認識システムは，単語単位とサブワード単位(音節など)の 2 つを併用する．クエリが単語認識辞書に登録されている単語列(IV : In Vocabulary)であれば単語認 識結 果 を検索 し， 登 録され てい な い単語列
(OOV : Out of Vocabulary) であればサブワード認識結果に対してクエリのサブワード列との照合が行われる．
クエリは新語や人名等の固有名詞が多く，OOV となることが多い．そのため，OOV の検索精度向上は重要課題であり，これを目的とした研究も多く，先行
研究 1) 2)では，複数のサブワード認識結果に対する検索結果を統合することにより，検索精度の向上が実現された．しかしこれらは IV と OOV のクエリを区別せずに統合していた．
一方，クエリが IV/OOV で適切な検索手法を選択すれば，より検索精度が向上すると一般的には考えられている．そこで本論文では，クエリが IV/OOV それぞれの場合で適切な検索手法(単語認識結果とサブワードの一種である音節認識結果に対する検索)を用いた統合手法及び，IV/OOV 別に最良の重みを求め統合する手法を検討し精度向上を図る．

2. 提案手法
2.1. IV/OOV 別の認識単位選択手法

清水嘉乃
小嶋和徳

精度が最大となったものとする．

=+ 1−(1)2.3. IV/OOV 別の重みを用いた統合手法
本手法では，2.2.の手法のように全クエリで一定の重み を用いるのではなく，クエリが IV の場合は単語認識結果，OOV であれば音節認識結果に対する検索を重視すべく，IV/OOV 別に最良の重み とを学習により求める．学習用のクエリを IV/OOV に分け，2.2.と同様，0.0 ≤，≤ 1.0の 0.1 刻みの式(1)でを求め統合した際に検索精度が最大となる とる．評価用の IV クエリに対しては ，OOV クエリにを用いて統合を行う.
対しては

3. 評価実験
3.1. 評価用データ
評価には表 1 に示す NTCIR-10 の評価セットを使用する．音声ドキュメントは学会講演 SDPWS と検索語
Formal-run 用と Dry-run 用の 2 つのセットを用いる．
評価指標には MAP(Mean Average Precision)を用いた．
表 1 評価用データセット
検索対象

SDPWS 104 講演

クエリ

NTCIR-10
Formal-run
Dry-run100 クエリ
32 クエリIV 47 クエリ
IV 22 クエリ
OOV53 クエリ

OOV10 クエリ

3.2. 実験結果
音声認識の各認識単位別の検索精度を表 2 に示す．

音声認識システムは，認識単位により STD システ
ムの検索精度が異なる．一般的には，クエリが IV であれば単語単位の認識結果，OOV であればサブワード単位の認識結果を使用して照合を行う手法が良いと考えられている．そこで，クエリが IV であれば単語単位の認識結果のみを用い，OOV であればサブワード認識単位のみを用いるという選択手法について検証を行う．

Dry-run2.2. 一定の重みを用いた統合手法
検索結果の統合には式(1)を用いる．先行研究 1)2)では複数のサブワード認識結果との統合を行っているが，本手法ではクエリが IV の場合は単語認識に対する検索結果が最も精度が高いという考えから，単語認識結果との CDP 距離 と音節認識結果との CDP 距離 に対してそれぞれ重み と 1 − を乗じた線形和をとる
ことで統合 CDP 距離を求め，昇順にソートした結果を最終的な検索結果とする．
評価に用いる重み は，0.0 ≤ ≤ 1.0の 0.1 刻みで式(1)に適用し学習用の検索結果を統合した際に検索

IV クエリでは，単語認識の方が音節認識よりも，Formal-run で+5.54pt (60.98%→66.52%) ，Dry-runで +4.05pt (64.73% → 68.78%) MAP が 高 か っ た ．
OOV クエリでは，音節認識の方が単語認識 よりも，Formal-run で+4.13pt (41.86%→45.99%) ，Dry-runで +8.65pt (47.28%→55.93%) MAP が高かった．
以上の結果から，IV クエリに対しては単語認識結果のみ，OOV クエリに対しては音節認識結果のみを使用し て全 ク エリに 対す る 検索精 度を 求 めると，Formal-run で 55.64%，Dry-run で 62.06%となった．
IV/OOV に対して一定の重みを用いた統合手法の検Formalrun

表 2 認識単位別検索結果
単語音節
IV 単語単位単位
OOV 音節
IV
66.52
60.98
55.64
OOV
41.86
45.99
IV
68.78
64.73
62.06
OOV
47.28
55.93

索精度を図 1 に示す Formal-run では = 0.5のとき最も精度が高くなり 58.04%であった．Dry-run では =0.7のとき最も精度が高くなり 69.38%であった．

Formal-run の最良の重みを Dry-run に適用し，Dryrun の最良の重みを Formal-run に適用した結果を表 2中の網掛けで示す．一定の重みを用いた統合手法よりも，Formal-run では+0.33pt (57.39%→57.72%) MAP が向上した．Dry-run では-0.63pt (66.80%→66.27%) MAPが低下した．

学習FormalrunDryrun
図 1 一定の重みを用いた統合結果
上記の学習結果を利用して を設定し，認識単位選択手法の結果と比較する．Dry-run で学習した重みα =0.7を Formal-run に用いると+1.75pt (55.64%→57.39%)
MAP が向 上 した． Formal-run で学習 し たα = 0.5をDry-run に用いると+4.74pt (62.06%→66.80%) MAP が向上し，本手法の有用性を検証できた．
IV/OOV 別の重みを用いた統合手法の検索精度を図2，図 3 に示す．図 2 より，IV クエリのみで学習した
Formal-run の最良の重みα = 0.8を Dry-run の IV クエリの検索結果統合に適用し，Dry-run の最良の重み
α = 0.6を Formal-run の IV クエリの検索結果統合に適用する．同様に図 3 より，OOV クエリのみで学習した Formal-run の最良の重みα= 0.5を Dry-run のOOV クエリの検索結果統合に適用し，Dry-run の最良の重みα= 0.3を Formal-run の OOV クエリの検索結果統合に適用する．

表 3 提案手法別検索精度
Formal手法-run= 0.5
2.2
2.3
0.8
0.5
= 0.7
2.2
57.39
2.3
0.6
0.3
57.72

Dry-run
66.80
66.27

3.3. 考察
IV/OOV 別の重みを用いた統合手法において，クエリが IV の場合は単語認識，OOV の場合は音節認識結果に対する検索結果が良いと一般的に考えられているが，今回の実験では明確な傾向が見られなかった．これは，これまでの考え方を変える結果であり，適切な統合手法を考える上では重要な知見と考える．
OOV クエリについて調査すると，単語認識結果に対する検索の精度が音節認識結果に対する検索の精度を上回っているものが Formal-run で全体の 42%，Dryrun で全体の 50%存在していた．これらのクエリが，OOV の重みを単語側に引き寄せたと考える．

4. おわりに
本論文では，単語認識結果と音節認識結果に対する検索結果の統合手法を提案した．IV/OOV で一定の重みを用いた統合手法では，単体よりも高い検索精度が得られることを確認できたが，IV/OOV 別の重みを用いた統合手法においては，上記手法からの検索精度向上が見られないことを確認した．これまで，IV のク
エリは単語認識，OOV クエリはサブワード認識が良いという考え方が一般的だったが，今回の実験ではこの考えが適切ではないという知見が得られた．今後は検索精度低下を引き起こした原因の解明，及びIV/OOV に対し，適切な統合手法を考案・検証していく．

参考文献
図 2 IV クエリの検索精度

図 3 OOV クエリの検索精度

1)岩田耕平他:サブワードを用いた音声文書検索における複数サブワードの統合:サブワード毎の検索語検
索性能期待値の利用，電気情報通信学会技術研 究報
告，107 巻, 116 号, PP.13-18, 2007.
2)小野寺悠二他:複数のサブワード・言語モデルを 用
いた音声中の検索語検出の高精度化，第 4 回音声ドキ
ュメント処理ワークショップ講演論文集，2010.