複数のサブワード音響モデルと複数の検索結果を用いた音声中の検索語検出の精度向上
An Improvement for Spoken Term Detection using
Plural Acoustic Models and Search Subwords Results
感 性 情 報 学 講 座 0312007065 斉 藤 裕 之
指導教員：伊藤慶明 小嶋和徳 石亀昌明
1. はじめに
近年記録媒体の大容量化に伴い大量の音声データから目的区間を検索する機能が求められている.このため，音声中の検索語検出(Spoken Term Detection：以下 STD)に関する研究が盛んに行われるようになった．STD では未知語の検索語へ対応するためサブワード認
識結果を用いる方法が代表的である．しかし，既知語と比べ未知語では認識精度が大きく劣るため，本研究では未知語の検索語に対するSTD の精度向上目指す
先行研究 1)2)では，複数の言語モデル(以下LM)を用いて複数のサブワード検索結果を生成し，それらを統合することで検索性能が上昇することが確認された．本研究では音響モデル（以下 AM）を JNAS に限らず JNAS，CSJ 各々から作成した複数の AM を併用し複数の検索結果を統合することで検索性能の向上を図る．
2. サブワードモデル単体の検索性能
2.1. サブワード認識結果を用いる STD 方式
サブワード検索は，認識結果からサブワード系列の DB を事前に作成する．検索語が未知語の場合検索語のサブワード系列と音声ドキュメントのサブワード DB とを連続 DP 法により照合し,候補発話区間を特定する．
2.2. サブワードモデル単体の検索性能
本稿では，サブワードモデルとしてmonophone と triphone を用い，学習データとして新聞記事読み上げ音声コーパス(JNAS)と 日 本 語 話 し 言 葉 コ ー パ ス (CSJ) を 用 い てAM と LM を構築する．
AM と LM の各組み合わせによるサブワード単体の検索性能を表 1 に示す．上は AM，LM を同一コーパスから，下は別コーパスから学習時の精度である．
評価用データ検索語は簡易評価用セット 3)の簡易評価版を，評価指標には Mean AveragePrecision(MAP)を用いた．表中の SW とはサブワードを指す．
表 1 より CSJ を学習に用いることによって精度が上昇する傾向があった．CSJmonoAM
のみ精度が低下したが，これは monophone の音素数が 43 と尐なく，CSJ により過学習となったと推察する．
表 1：サブワードモデル単体の検索性能

SW

AM

LM

MAP(%)

monophonetriphonemonophonetriphone

JNAS
JNAS
CSJ
CSJ

JNAS
JNAS
CSJ
CSJ

55.04
57.03
51.31
70.08

monophonetriphonemonophonetriphone

JNAS
JNAS
CSJ
CSJ

CSJ
CSJ
JNAS
JNAS

56.13
66.93
52.04
64.16

3. 複数検索結果の統合
3.1. 複数検索結果の統合
検索結果の統合には(1)式を用いる 2)．サブワード s の AM，LM 学習用コーパスに a,l を用いた際のある発話区間 u の距離を d(s,a,l,u)とする．但し，本稿では s は monophone とtriphone，a,l は JNAS と CSJ とする．N は統合する検索結果数である．
各サブワードの検索結果における候補発話区間 u に対して重み weighti を乗じた線形和をとることで統合距離 D(u)を求め候補発話区間を決定する．
N

D(u )   weight i  d ( s, a, l , u )(1)i 1

4. 評価実験・考察
4.1. 実験条件
実験では簡易評価用セット 3)49 講演，13 時

間分と，50 個の検索語を用いた．なお，評価用データは音響モデル・言語モデルの学習用とは異なるデータである．
4.2.
評価実験
4.2.1. 2 種の検索結果統合
表 1 で示した単体検索結果から 2 種を統合した．(1)式の重みは均等に 0.5 を与えた．
表 3 には高精度となった上位 4 通りの組み合わせを，表 4 には先行研究 2)の精度（AMに JNAS を学習した物のみを用い,LM を変更した結果を統合した）を示す．
表 2：2 種検索結果統合後の検索性能

結果 1(SW:AM:LM)

結果 2(SW:AM:LM)

MAP
(%)

mono:JNAS:JNAS
mono:JNAS:CSJ
tri :JNAS:CSJ
tri : CSJ :JNAS

tri:CSJ:CSJ
tri:CSJ:CSJ
tri:CSJ:CSJ
tri:CSJ:CSJ

73.23
73.17
72.53
72.41

表 3：先行研究の検索性能

結果 1(SW:AM:LM)

4.2.2. 3 種の検索結果統合
3 種の検索結果を統合した結果を表 5 に示
す．単体での精度上位 3 種と，2 種の統合で元も高い精度となった mono:JNAS:JNAS とtri:CSJ:CSJ に , 単 体 で 高 精 度 だ っ た
tri:JNAS:CSJ を追加して統合した精度を求めた．(1)式の重みは均一に 0.33 とした．表中では JNAS を J，CSJ を C と表記する．
今回実験した二通りとも，2 種の検索性能の最良値 73.17 を上回っており，1.07%の精度改善となった．上位 3 種を統合した方が高い精度となっており，単体の検索精度が高いモデルを用いた方が精度向上への寄与が大きいと考える．
表 4：3 種検索結果統合後の検索性能

結果 1

結果 2

結果 3

tri:C:C
tri:C:C

tri:J:C
tri:J:Ctri :C:J
mono:J:J

MAP(SW:AM:LM) (SW:AM:LM) (SW:AM:LM)
(%)
74.30
73.95

おわりに
本稿では，複数の音響モデル，言語モデルを用いて得られた複数の検索結果を統合する方式を提案し，実験を通して提案方式によりSTD の精度向上を確認できた．
本稿で用いたサブワードは monophone とtriphone のみであるため，今後 1/2 音素，1/3音素並びに SPS などのサブワードを用いることで更なる精度改善と，重みの動的決定法を今後の課題とする．
5.

結果 2(SW:AM:LM)

MAP
(%)

mono:JNAS :JNAS mono:JNAS:CSJ
tri :JNAS :JNAS
tri :JNAS:CSJ

57.48
66.78

表 3 と単体の性能(表 1)を比較すると，検索結果を統合することにより単体時よりも精度が向上し，単体時最良値から最大 3.15%精度が改善した．表 3 の全ての組み合わせに用いられている CSJTriphone 導入の効果は大きいと判断できる．
monoJNAS：JNAS と triCSJ：CSJ を統合した結果が最も高い精度となった．異なるコーパスを学習，異なるサブワードモデルの結果を統合したことで，多様な結果が相補的に働いたためと推察する．また JNAS は学習データ量が CSJ より尐ないため，JNASTriphoneの AM，LM の学習(特に LM の学習)が十分に行えなかった点が要因でと考える．
表 4 と比較すると,単体時の最高値から最大で 6.45%の精度改善となった．この結果から，本提案方式が精度改善に有効であったと評価できる．

参考文献
1)岩田耕平他，サブワードを用いた音声文書検索における複数サブワードの統合:サブワード毎の検索語検索性能期待値の利用,電気情報通信学会技術研究報告, 107 巻 116 号, pp.13-18, 2007.
2) 小野寺悠二他，複数のサブワード・言語モデルを用いた音声中の検索語検出の高精度化， 第 4 回音声ドキュメント処理ワークショップ講演論文集，2010
2)伊藤慶明他,音声中の検索語検出のためのテストコレクション構築-中間報告-，情報処理学会研究報告,Vol.2009-SLP-78 No.4, 2009.
4)名取賢他，“任意語彙発話音声検索のための複数の認識モデルを利用した音節遷移ネットワークの構築 ”，日本 音響学会 秋季研究 発表会講 演論文集 ，
1-R-27，pp.205--206，2009.9