音声中の検索語検出におけるモデル間距離の改善
Improvement of Distance Between Subword Models for Spoken Term Detection
感性情報学講座 0312008110 千葉俊輝
指導教員:伊藤慶明 小嶋和徳 石亀昌明
1. はじめに
近年，大量の音声データの中から特定のキーワードを検索する機能が求められ, 音声中の検索語検出 (Spoken Term Detection:STD) に関する研究が盛んに行われるようになった.
STD では音声認識システムを使って，単語単位での検索を行うのが一般的であるが，未知語は検索できない問題がある.未知語の検索語でも検索できるようにするため，サブワード認識結果を利用した STD 方式が用いられているが, 既知語と比べ未知語では検索精度が劣る.
先行研究では 1) 4) サブワードベースの STD 方式においてクエリのサブワード系列と音声データのサブワード系列を照合する際にサブワード間の距離としてサブワード間音響距離を用いているが,その算出法を改善することで STD の精度を向上させた.
本研究ではサブワード間距離に複数のサブワード間音響距離を統合した新しいサブワード間距離と Confusion matrix に基づく新しいサブワード間距離を提案し, さらにこれらのサブワード間距離を統合することでSTDの精度向上を図る.
2. サブワード認識に基づく STD 方式
検索対象である音声ドキュメントにサブワード認識を行い，発話ごとにサブワードモデル系列が得られ，これらをサブワードモデル系列データベース(DB) に事前に保存しておく.検索語はタイピ
ング入力 (テキストクエリ) や，音声入力などが考えられるが，本研究ではテキストクエリのみを想定する.テキストクエリから変換したサブワードモデル系列とサブワードモデル DB 中のサブワード系列間で連続 DP 法を用いて照合を行い，発話区間毎に累積距離が最小となる区間を求める.
連続 DP 法の局所距離にはサブワード間音響距離を用いる.
3. 提案するモデル間距離算出法
3.1 新しいサブワード間音響距離
3.1.1 従来のサブワード間音響距離
連続 DP 法の局所距離としてこれまで主として以下の三種類のサブワード間音響距離が提案された.
(1) 同一状態間最小距離：同一状態間を照合(2) 全状態間最小距離：各状態と全状態間を照合(3) 隣接状態間最小距離：各状態と隣接状態間を照合
3.1.2 サブワード間音響距離の統合(1) ～ (3) の二つのサブワード間距離を統合することで互いを考慮し, 適切なサブワード間距離を推定する. 統合には各距離に対して重みを乗じて線形和をとる.重みは合計 1 となるように設定する.
3.2 Confusion matrix に基づくサブワード間距離
Confusion matrix (以下 CM) は各音素がどの音素に誤りやすいかを確率で表した行列である.評
価データと異なるコーパスのサブワード認識結果を用い, 各音素が他の音素に間違えた回数と音素の出現回数を求め, 確率を算出する.例えば音素Aの出現回数を,をに間違えた回数をとするとをに誤る確率はとなる. 図 1 にサブワード認識結果から CM 中の確率算出イメージを示す.

aiueo
出現
回数
音素 A
aaaaaiiiiia52102i15105u113010e
121140o
5110131012151820

音素 B
aiueoaiueo

確率0.08 (1/12)
0.07 (1/15)
0.06 (1/18)
0.25 (5/20)
0.20 (2/10)
0.07 (1/15)
0.11 (2/18)
0.05 (1/20)

図 1: サブワード認識結果からの確率算出
3.2.1 確率から距離算出法
連続 DP 法では距離を扱うため, 確率から距離に変換する必要がある. CM 中の確率が高いサブワード間は誤りやすいため, そのサブワード間距離を小さく，確率の低いサブワード間距離を大きくする必要がある.
本研究では確率が高いサブワード間と確率が低いサブワード間の差を明確にするため Sigmoidfunction (式 1) を用いて CM distance (以下CMD) を求める.Sigmoid function は係数 の値が大きくなるほど 0 に近づき, 値が小さくなるほど 1 に近づく特徴を持つ.

( )

(1)

3.3 モデル間距離統合
サブワード間音響距離と CMD はそれぞれ，サブワードの音響的な類似性とサブワード間の相違性を表しており，両者を統合したサブワード間距離が有効と考える. 統合には各距離に対して重みを乗じて線形和をとる.重みは合計 1 に設定する.
4. 評価実験
4.1 比較評価用データ
実験では評価用セット 3)177 講演，44時間分と，50 個の検索語を用いた.評価用データは音響モデ
ル・言語モデルの学習とは異なるデータである.
音響・言語モデルには monophone，SPS を用いた.
評価値には MAP を用いた.
4.2 結果と考察
4.2.1 サブワード間音響距離統合の評価
統合モデルは 3.11 で述べた(2)全状態と(3)隣接状態を統合した.その結果を表 1 に示す.隣接状態間距離と比べ, 提案した統合サブワード間距
離の検索精度が 0.4% 向上した. 異なる二つのモデル間距離を統合することで互いを考慮し, 適切なサブワード間距離を推定したと考える.
表 1: 統合サブワード間距離を用いた検索精度
音響モデル
SPS

モデル間距離(1)同一状態間最小距離(2)全状態間最小距離(3)隣接状態間最小距離
統合サブワード間距離

MAP(%)
73.13
74.18
74.39
74.89

4.2.2 CM に基づくサブワード間距離の評価
結果を表 2 に示す.従来のサブワード間音響距
離, CMD, Edit distance を局所距離に用いた比較実験を行った.
monophone の結果ではサブワード間音響距離と比べ CMD の検索精度が1.3 % 向上した.表中のCMD の数は学習データ量を表し，データ量を177
講演から2500 講演に増やすことで精度が7.85 %向上した.
SPS の結果ではサブワード間音響距離と比べCMD の検索精度が約2.3 % 劣った.サブワード数が増加したため学習データ量が不足し，十分な推定が行えなかったためと考える.
SPS についてもより多くの学習データ量を確保できれば精度が向上すると考える.
表 2: CMD を用いた検索精度
音響モデル
monophone(サブワード数 42)
SPS(サブワード数 536)

モデル間距離Edit distance
CMD 177 講演
CMD 2500 講演
サブワード間音響距離
Edit distanceCMD 2500 講演
サブワード間音響距離

MAP(%)
31.20
30.02
37.87
36.57
66.98
70.86
73.13

4.2.3 二つのサブワード間距離の統合の評価
サブワード間音響距離と CMD を統合したサブワードモデル間距離を用いた実験結果を表 3 に示す.
サブワード間音響距離と比べ CMD 統合モデル
間距離の検索精度が monophone で約4%, SPS で約0.4% 向上し, 提案方式の有効性を確認できた.
表 3: 統合モデル間距離を用いた検索精度
音響モデル

混合数
24monophone

81632SPS

2モデル間距離

MAP(%)

サブワード間音響距離
CMD 統合モデル間距離
サブワード間音響距離
CMD 統合モデル間距離
サブワード間音響距離
CMD 統合モデル間距離
サブワード間音響距離
CMD 統合モデル間距離
サブワード間音響距離
CMD 統合モデル間距離
サブワード間音響距離
CMD 統合モデル間距離

36.57
40.58
38.13
40.99
39.81
41.50
39.02
41.50
39.68
41.49
73.13
73.56

5. おわりに
本稿では，音声中の検索語検出精度向上のために複数のサブワード間音響距離を統合したサブワード間距離と Confusion matrix から得られるサブワード間距離及びそれらを統合したサブワード間距離を提案した.評価実験の結果, 検索精度を向上でき，本手法の有用性が確認できた.
今後は Confusion matrix で用いるデータ量，データの偏りを適正化することで更なる精度向上を行う.
参考文献
1)岩田耕平他:”サブワードモデル導入による語彙フリー高精度音声文書検索システム”，岩手県立大学ソフトウェア情報学部博士前期課程論文，(2007).
2)小川厚徳他:”混合重み係数を考慮した分布間距離尺度による音響モデルの分布数削減”，日本音響学会講演論文集，(2004).
3)Tomoyosi Akiba et al: ”Overviewof the IR for
Spoken Documents Task in NTCIR-9 Workshop”，
NTCIR Workshop 9 Meeting, (2011).
4)谷藤史祟他:”音声中の検索語検出における適切なモデル間距離の検討”，日本音響学会2011
年春季研究発表会論文集2-P-58, pp.239-240,(2011).
5)Toshiki Chiba et al:”An STD system for OOVquery terms using various subword units”，
NTCIR Workshop 9 Meeting, (2011)