音声中の検索語検出における事前検索・HMM
状態系列照合の適用
音声中の検索語検出における事前検索・Applying Pre-retrieval and HMM State Level Matching to Spoken Term Detection

感性情報学講座 0312010107
指導教員：伊藤慶明 小嶋和徳
1.

はじめに

2. 提 案 方 式
2.1. 提案方式概要
検索対象の音声ドキュメントを，ポーズにより発話毎にセグメンテーションし，発話毎にサブワード認識を行う．認識結果のサブワード系列をサブワード認識結果として予め保持しておく．認識結果に対し，存在し得るすべての音節バイグラム(音節の 2 つ組) について，HMM (Hidden MarkovModel) 間の音響距離を用いて連続 DP で照合を行う．クエリがテキストで与えられると，変換規則に則り自動で音節バイグラムに変換し，事前に照合しておいた検索結果から上位 K 件の検索結果を照合対象 IPU 群として抽出する（① 音節バイグラムによる事前検索）．この IPU 群について
従来の HMM 系列間ではなく，状態系列間で照合を行い（② HMM 状態系列間照合），類似度が高い順にユーザへ候補区間 (IPU)を提示する．
照合対象の絞込み

クエリ

事前処理

自動変換

（テキスト）

ユーザ
クエリのクエリの音節バイ サブワード
グラム群
系列

出力
検索結果
D(B43) = 0.00
D(B67) = 0.50
D(B92) = 1.87

音節バイグラム
事前検索抽出

…

近年，大容量記憶デバイスが普及し，撮りためた大量の音声データの中から特定のキーワードを検索する機能が求められている．この機能の実現に対し，音声中の検索語検出 (STD：Spoken
Term Detection) が有効であると考えられ，STDに関する研究が盛んに行われるようになり，STD方式についての評価が行われている．STD とは，音声ドキュメント中で 1 単語以上の検索語（クエリ）が発話されている位置を特定するタスクである．STD は一般的にはサブワード認識結果を用いて，クエリのサブワード系列と照合する方式が用いられる．
サブワード認識に基づく STD システムでは，音声ドキュメント群を予めサブワードで音声認識し，サブワード系列の検索対象データとしておく．テキストでクエリが与えられると，クエリの音節（音素）系列をサブワード系列に変換し，サブワード系列の検索対象データと連続動的計画法 (連続 DP：Continuous Dynamic Programming)等で照合を行う．連続 DP で照合を行う際，我々は検索精度を向上させるため，サブワード間の音響的な距離を導入している 3)．
検索精度の向上を目指すため，本稿ではサブワードを構成している状態系列での照合方式を導入する．状態系列での照合を行った場合，例えばtriphone は一般に 3 状態で構成されているため，参照側・入力側とも 3 倍の系列同士の照合となり，triphone 間の照合に比べ 9 倍の計算時間を要することになる．従来手法と変わらない速さで，かつ検索精度の低下を抑えつつ検索を行うために，我々は既に音節バイグラム事前検索結果を利用したシステムの提案を行った 4)．これは事前にすべての音節バイグラムで音声ドキュメントを検索しておき，クエリが与えられるとそのクエリを音節バイグラムに分解し，各音節バイグラムについて上位 K 件の事前結果 (発話，IPU：Inter PortalUnit) を抽出し，その IPU にのみ連続 DP 照合を行い，高速な検索を実現した．この音節バイグラ
ム事前検索方式を適用することで検索時間の増大を抑制する．

髙橋仁基
石亀昌明

事前検索
結果
2

連続DP
連続
状態系列間照合

図1

サブワード認識
サブワード認識

1

照合

照合対象
発話群
発話群

音声ドキュメント

認識結果

連続DP
連続
HMM間音響距離照合

全種類の音節バイグラム

提案方式 概要図

2.2. 音節バイ
音節バイグラム事前検索方式
バイグラム事前検索方式
2.2.1. 音節バイ
音節バイグラムによる事前検索の作成
バイグラムによる事前検索の作成
検索対象の音声ドキュメントに対し，事前にtriphone 等のサブワードを用いて音節認識を行っておく．その認識結果に対して，存在し得る音節バイグラム (66,700 種) 全てを用いて連続 DP による照合を行っておく．本稿では照合を行う際の局所距離には，triphone HMM 間の音響距離を用いる．各音節バイグラムについては，上位 K 件を保持させ，事前検索結果全体として，66,700 × K件が保持される．

2.2.2.

クエリの音節バイグラムの抽出

クエリが与えられると，クエリ中の音節列から音節バイグラムを，1 音節ずつシフトさせながら抽出し，クエリの音節バイグラム群を作成する．

2.2.3.

照合対象の IPU 群の抽出

2.2.2 で抽出したクエリの各音節バイグラムに対し，図 1 に示したように 2.2.1 で作成した事前検索結果の上位 K 件の候補 IPU 群を照合対象 IPU群として抽出する．今回はクエリの各音節バイグラムの候補 IPU 群の論理和をとった．

2.3.

HMM 状態系列間による照合方式

2.2.3 で抽出した検索対象 IPU 群に対し，サブワード間ではなく HMM の状態系列間で連続 DPによる照合を行う．
従来，2 つのサブワード HMM 間の音響距離を用いて照合を行なっていた．提案方式では，HMMを構成している状態系列での照合を行う．
我々のサブワード HMM は全て 3 状態で構成されており，状態共有により N 状態とした時，全ての状態間の距離行列 (N × N) を予め作成しておく．状態間距離は以下の手順で求める．Dim 次
元の特徴量として，µsmd，σ2smd は状態 s，分布 m

の d 番目の特徴量の平均，分散を表すものとする．
① 状態 s の Ms 個の分布中 m 混合目の分布と，状態 t の Mt 個の分布中 n 混合目の分布をそれぞれ取り出す② 以下の式を用いて，①の 2 つの分布間のバタチャリヤ距離を計算する
BD ( s m , t n )22
 ( µ smd − µ tnd ) 2+ σ tnd(σ smd)2 
1=+log
22224 d =1  σ smd+ σ tnd
4σ smdσ tnd
Dim∑③ 全ての組み合わせ (Ms × Mt) の中から距離が最小のものを，状態 s と状態 t の距離とする

クエリ

従来方式
提案方式

認識結果

図2

HMM 間照合と HMM 状態系列間照合

状態間距離行列 (3,009 状態 × 3,009 状態) はメモリ上に保持し，連続 DP を行う際には局所距離としてこの行列を参照するのみである．サブワード系列との音声ドキュメントは予め状態番号系列に変換しておく．クエリが与えられるとそのサブワード系列を状態系列に展開して連続 DP による照合を行う．

3. 評 価 実 験
3.1. 評価用データ
評価には以下の表 1 に示すように 4 つの評価セッ ト を用 い， 評 価値 には MAP (Mean AveragePrecision)を用いた．
表1事前検索方式・状態系列照合適応結果
NTCIR-9 (MAP [%])Top K

FormalDry

All CDP
状態系列

77.38

68.16

6,00077.28

5,00077.28

4,000Time

NTCIR-10 (MAP [%])Time

Formal

Dry

3.22

54.56

64.20

3.14

67.04

1.24

54.52

64.17

1.45

66.71

1.09

54.53

64.14

1.29

76.60

66.09

0.92

54.53

64.13

1.11

3,000

76.50

64.35

0.74

54.52

64.12

0.89

2,00075.64

62.51

0.53

54.53

64.00

0.64

1,00074.85

58.08

0.28

53.77

63.71

0.35

All CDPHMM 系列

71.54

63.76

0.38

48.27

54.78

0.37

[sec.][sec.]

評価実験より，4 つのテストセットで K = 6,000であれば，All CDP と比べ，検索精度の低下がほぼ無く検索時間を削減できた．また NTCIR-9 Dryrun を除き K = 1,000 において，HMM 系列照合と比較しても検索精度，検索時間の両面で優った．
K = 3,000 のとき，NTCIR-9 Dry run を除き性能低下は 1 ポイント以下に抑えながら計算時間を 1秒以内で検索可能であることが分かる．この時の検索精度は HMM 系列間照合と比べ，5.0〜9.3 ポイント良くなっており，状態系列照合と事前検索結果を適用することの有効性が確認できた．

4.

おわりに

本論文では音声ドキュメントを予め音節認識した結果から事前検索を行い，クエリが与えられると事前検索結果の上位 K 件を照合対象として絞り込んで，HMM 状態系列での照合を行うことで，速度を低下させることなく STD の高精度化を実現する方式を提案した．
状態系列での照合により計算時間が約 9 倍となるが 4.4〜9.4 ポイントの精度向上，速度低下がない時は NTCIR-9 Dry run を除いて 3.3〜8.9 ポイントの精度向上を実現した．
今後は，NTCIR-9 Dry run の精度に対して，事前検索を適用した場合の精度低下の原因の追求と対策を検討していきたい．また，他のサブワードでの本提案方式の有効性を検証していきたい．

評価用データセット

検索対象
音声データ

CSJ177 講演(約 44 時間)SDPWS (104 講演)(約 28.6 時間)

発話件数53,892 発話

40,746 発話

クエリ

NTCIR-9Spoken Doc Task
Formal run 50 クエリ
Dry run 50 クエリ

NTCIR-10
Spoken Doc Task
Formal run 100 クエリ
Dry run 32 クエリ

3.2.

表2

実験結果

状態間で照合すると計算時間を要するため，事前検索結果を利用して発話数を絞った上で照合を行うことにより，検索時間を削減する．クエリの各音節バイグラムに対し，事前検索の上位 K件に絞った上で HMM 状態系列間の照合を行った結果を表 2 に示す．
表中，All CDP は音声ドキュメント全体に対し連続 DP 照合を行ったもので精度の上限を示している．

参考文献
1) Tomoyosi Akiba, Hiromitsu Nishizaki, Kiyoaki Aikawa,
Tatsuya Kawahara and Tomoko Matsui, "Overview of theIR for Spoken Document Task in NTCIR-9 Workshop",
Proceedings of NTCIR-9 Workshop Meeting, pp.223-235(2011.12.06-09)
2) Tomoyosi Akiba, et al., "Overview of the NTCIR-10
Spoken Doc-2 Task", Proceedings of the NTCIR-10
Conference, 2013.
3) 岩田耕平，伊藤慶明，小嶋和徳，石亀昌明，田中和世，李時旭，“語彙フリー音声文書検索手法における新しいサブワードモデルとサブワード音響距離の有効性の 検 証 ” ， 情 報 通 信 学 会 論 文 誌 ， Vol.48, No.5,pp.1990-2000, (2007).
4) 斉藤裕之，伊藤慶明，小嶋和徳，石亀昌明，田中和世，
李時旭，“N-音節事前検索結果を用いた音声中の検索
語検出における上位候補の高速検索”，日本音響学会
秋季研究発表会，3-1-2, 4 pages (2012.09).