音声中の検索語検出における適切なサブワードモデル数の検討
A Consideration of the Appropriate Number of
Subword Models for Spoken Term Detection
感性情報学講座

0312006126

中野拓也

指導教員：伊藤慶明 小嶋和徳 石亀昌明
1. はじめに
近年，大量のビデオデータの中から見たい場面を検索する機能が求められており，ビデオデー
タ中に含まれる音声データを利用した検索方式が有望と考えられる．音声認識システムでは，音響モデルに triphone が最も一般的に用いられ，高い認識性能が得られている．triphone が検索語検出においても有効と予想されたが，demiphone[1]（後述）や SPS[2]の方が検索性能においては優れていた．しかし，この要因については明確にされていない．
monophone はモデル数が尐なく，識別能力が低かったと考えられる．一方 triphone は，識別力は高い反面，検索語検出に向かないのはdemiphone に比べ，モデル数が多すぎたためと考えた．そこで本研究では，サブワードに含まれるモデル数が，検索語検出精度に大きな影響を与える要因と仮定し，モデル数の多い triphone のモデル数を集約し，適切に設定することで検索精度の向上を図る．この仮定の検証を通して検索精度の高いサブワードモデルの構成方法や新しいサブワードモデルの構築にも繋がると考える．

2. サブワードモデルの認識・検索性能
サブワードとは音素等，単語よりも細かな単位を指す．本研究ではサブワードモデルとして，音素環境独立モデルの monophone，音素環境依存型の triphone，triphone を時間的に 2 つに分割した demiphone モデルを用いて認識・検索性能の比較を行う．

2.1. サブワードによる認識・検索性能
３つのサブワードモデルを用いた認識・検索精度を表 1 で示す．音声認識においてはdemiphone に比べ， triphone の精度が高いが，音声中の検索語検出では demiphone の検索精度が高くなり，その要因は明らかとなっていない．

表 1 サブワードモデルによる精度
サブワード（モデル数）

認識精度
(%)

検索精度
(%)

monophone
（43）

29.16

38.23

triphone（7946）

39.16

46.86

demiphone（1331）

38.58

65.51

3. 適切なサブワードモデル数の検討
前述した仮定より，モデル数が最も多い
triphone のモデル数を demiphone のモデル数付
近に集約することで検索精度の向上を図る．この検証のために triphone のモデル数をクラスタリングによって集約し，検索に適したモデル数を検討する．

3.1. triphone のモデル数集約による検索方式
3.1.1. 代表音素への変換表作成
音声データとその音素 triphone 系列が付された学習用データ（JNAS）において，出現数が上位 N 位以上の音素を代表音素と定義する．サブワードモデル間の音響的な類似度を判定する尺度として，サブワード間音響距離[1]を用い，各音素を代表音素と比較することで triphone の約8000 のモデルを N 個の代表音素にクラスタリングし，対応付ける．この結果より 8000 のtriphone モデルから N 個の代表音素への変換表を作成する．
3.1.2. 学習データの代表音素表記化
学習用データに付与された音素系列（ラベル）を変換表に従って，代表音素系列に置き換える．
3.1.3. 代表音素の音響モデルの学習
ラベルに従って学習用の音声データを学習し，代表音素の音響モデルと言語モデルを作成する．

4. 評価実験
4.1. 評価用データ
CSJ 中の「コア」と呼ばれる講演音声 49 件，約 13 時間の音声データを評価実験に用いた．

4.2. クエリ
評価用データ中で複数回発音されている専門的な単語 50 件[3]をマニュアルで抽出し，評価用クエリとした．

4.3. 結果と考察
4.3.1.

モデル数を 1331 に設定した triphone の検索性能実験の結果を表 2 で示す．モデル数をdemiphone と同じ 1331 にした triphone は通常の triphone よりも検索精度が向上し，モデル数が検索精度に影響を与える要因であると確認できた．しかし，demiphone の検索性能には達しておらず，モデル数以外にも検索精度に影響を与える要因があることが推察できる．
表2
モデルtriphone
demiphone

4.3.2. 検索に適したモデル数の検討
実験の結果を図１に示す．モデル数 1000 の時に最も精度が高くなった．この時に適切に類似した音素をまとめることができたと考える．

51.44 51.63

MAP(%)

3.1.4. 音声データベースの代表音素による認識
代表音素の音響モデルと言語モデル，Juliusを用いて検索対象の音声データベースをサブワード認識し，その結果である代表音素系列を保存しておく．
3.1.5. 検索
検索時はテキストで検索キーワード（テキストクエリ）を与える．テキストクエリは自動的に通常の triphone のモデル系列に変換され，代表音素への変換表に基づいて代表音素系列に変換される．クエリの代表音素系列と類似する区間をデータベースから以下の方式で検出し，その結果を距離の小さい順にユーザに対して提示する．
クエリの代表音素系列とデータベースの代表音素系列との照合は，連続 DP 法によって行い，発話区間毎に類似度を算出する．照合時の局所距離として，任意の２つの代表音素間の距離を統計的に事前に算出しておき，サブワード間音響距離して用意しておく．

モデル数

MAP(%)

7,94646.86

1,33151.63

1,33165.51

50.47

46.86

7946 1500 1331 1150 1000

850

Model Amount
図１

モデル数毎の検索精度の比較

5. おわりに本研究では，既存の triphone のモデル数を検索精度の最も高い demiphone のモデル数付近にクラスタリング・集約することで，検索語検出における適切なサブワードモデル数の検討を行った．これにより検索精度を向上させることができ，モデル数が精度に影響を与える要因であると確認できた．また，モデル数 1000 の時に適切に類似した音素をまとめることができていた．
今回，demiphone の検索性能には達しなかったため，今後は他の検索精度に影響を与える要因の検証，学習量を増やしても同様の結果が得られるかを確認する．

参考文献1)

岩手耕平 他（岩手県立大学）：“語彙フリー音声文書検索手法における新しいサブワードモデルとサブワード音響距離の有効性の検証”，情報処理学会論文誌 Vol.48,
No.5, pp.1990-2000, 2007.

2)

検索精度の比較52.70 53.02

Tanaka K. and Kojima H. A between-word distancecalculation in a symbol domain and its application to speech
recognition. Proc. of International Conference on Neural
Information Precessing（ICONIP-97）, PP.1107-1111, 1997.

3)

岩田耕平 他（岩手県立大学）：“サブワードモデル導入による語彙フリー・高精度音声文書検索システム”，修士論文，2006．