発声のバリエーションを考慮した検索語の拡張方式
Take Account of A Variation of The Utterance by Expansion Method of Query
感性情報学講座

0312010136 橋本拓観

指導教員： 伊藤慶明

1.

はじめにいるところを効率的に検索する機能が求められ，音声中の検索語検出 (Spoken Term Detection:STD)に関する研究が盛んに行われるようになった．STD
では検索語になりやすい未知語に対応することができるサブワード認識結果を用いることが多いが，サブワード認識結果を用いた検索は単語認識結果を用いた検索に比べて精度が低くなる．また，STD は検索対象の音声ドキュメントの量に比例して検索時間が増加するため，本論文では転置インデックスによる絞り込みを行い検索時間を削減する．この時，転置インデックスでの絞り込みの影響で転置インデッ

石亀昌明

3.

提案手法：発声のバリエーションを考慮した検索語の拡張方式

3.1.

検索語の前後の音素を考慮

近年ハードディスクの大容量化に伴い大量のマルチメディアデータから特定のキーワードが話されて小嶋和徳

本論文のサブワードを用いた STD システムではTriphone を使用している．Triphone は音素の前後関係を考慮したモデルである．我々の従来の STD
では検索語の前後の音素は無音として処理している．
発話区間の検索語部分の前後が無音であるとは限らないため検索語と照合したときにその検索語が話された区間の Triphone の系列と完全一致しているとは限らない．検索語の前後にありえる音素を全て想定する．図 1 左側のように検索語の前にありえる音
素は日本語の特性上「無音」，「母音」，「ん」，検索語の後ろには全音素が想定される．

クスを使用しない場合に比べて検索精度が低くなる．
本論文では 2 つの手法で発話バリエーションを考慮することによりサブワード認識結果を用いた STDの検索精度向上を目指し，以下の 2 つの方式を提案する．まず第一に検索語と発話区間の一致率を高めるために検索語の前後の音素を考慮する方式を提案する．第二に発話区間の誤認識により正しく検索が

図 1 検索語「イワテ」の前後の音素を考慮できない場合に対して，誤認識しやすいトライグラ
ムを含む発話区間も検索することで転置インデック
スによる検索精度の低下の緩和する方式を提案する．

図 1 上側の発話区間内のオイワテのように検索語の音素列がある発話区間は前後が無音でなくても一2.

音素トライグラム転置インデックスによる絞り込み

転置インデックス 1)2) では事前に認識された音声致する．また，図 1 下側の発話区間内のヒワテのよ
うに前の音素が「無音」，「母音」，「ん」ではなく検索語と一致しないため，以下の 2 つの処理方式を用いた．

ドキュメントの音素トライグラムとその音素トライグラムが出現する発話区間を保持しておく．検索語

1. 従来と同様に処理⇒検索語の前後は無音とするが与えられると検索語を音素トライグラム系列に変2. 一致の場合と同様に処理⇒検索語の前後は発話区間と検索語が最も類似する音素とする換し，それらの音素トライグラムが出現する発話区間を転置インデックスから抽出する．検索語の音素トライグラムを 1 つ以上含む発話区間のみを候補と3.2.

誤認識しやすい音素トライグラムの追加して検索語と詳細な照合を行う．全発話区間に対し転置インデックスを用いた場合，検索語の音素トて照合を行う場合に比べて候補を限定することで検ライグラムが出現する発話区間のみを照合する特性索時間の削減が可能になる．

上，発話区間が誤認識されると検索語があるはずの発話区間に検索語の音素トライグラムがなくなり照合対象にならない場合がある．本論文では，誤認識に対応した音素トライグラムが出現する発話区間もライグラムを追加することで NTCIR-9 Dry run は照合対象とすることで転置インデックスによる検索1.55 ポイント，NTCIR-9 Formal run は 1.62 ポイン
ト，NTCIR-10 Dry run は 0.33 ポイント，NTCIR-の低下の緩和を目指す．検索対象データの誤認識を調べた結果，以下の処理を行うことで誤認識した場合に出現しうる音素トライグラムを含む発話区間も検索対象とする．

1. 長母音が短母音，短母音が長母音に誤認識⇒長母音を短母音，短母音を長母音にして追加

10 Formal run は 0.6 ポイント MAP が上昇した．
NTCIR-9 いずれのテストセットでも転置インデッ
クスにより低下した MAP が誤認識しやすいトライグラムの追加で向上することを確認できた．
表 1 発声のバリエーションを考慮した検索語

2. 促音の小さい「ッ」がなくなる誤認識⇒促音を検索語削除して追加

3. ヤ行の拗音がそれぞれ「ヤ」，「ユ」，「ヨ」に誤認
識⇒それぞれを「ヤ」，「ユ」，「ヨ」にして追加

MAP(%)
従来最小無音NTCIR-9 Dry run

68.00

68.12

68.26

NTCIR-9 Formal run
NTCIR-10 Dry run

74.15
62.62

75.14
63.53

74.90
64.64

NTCIR-10 Formal run53.23

53.92

53.81

4. 母音の「u」が「a」に誤認識⇒「u」を「a」にして追加

4.

評価実験

4.1.

実験条件

CSJ2702 講演中のコア 177 講演，約 44 時間分の音声データを評価実験に用いた．検索語には NTCIR9，10 の Dry run50 件と Formal run50 件の計 4 つのテストセットを用いた．
4.2.

結果と考察

検索語の前後を考慮した場合の実験結果を表 1 に

図 2 転置インデックスの追加トライグラム示す．表中，「従来」は検索語の前後を無音とした従来の検索方式，「最小」は検索語の前後を考慮し発話区間と不一致の場合に検索語の前後に最も類似している音素を当てはめる方式，「無音」は検索語の5.

おわりに前後を考慮するが発話区間と不一致の場合に検索語

本論文では，発声のバリエーションを考慮した検の前後に無音を当てはめる方式を表す．従来の方式

索語の拡張方式を提案した．実験の結果，検索語のに対して NTCIR-9 Dry run の無音では 0.26 ポイ前後の音素を考慮することで検索精度の向上が見らント，NTCIR-9 Formal run の最小では 0.99 ポイれた．また，誤認識しやすいトライグラムの追加によ

ント，NTCIR-10 Dry run の無音では 2.02 ポイン

り転置インデックスの検索精度の低下を抑えられた．

ト，NTCIR-10 Formal run の最小では 0.69 ポイン

今後の課題として，検索語の前後の音素を考慮し

ト MAP が上昇した．いずれのテストセットでも従た場合の MAP の上昇率にテストセットよって差が来よりも検索語の前後を考慮した場合の MAP の向あるので原因を調査する．

上を確認できた．
転置インデクスの発話区間絞り込みの実験結果を
図 2 に示す．図中，検索性能は棒グラフ，1 検索語

参考文献

あたりの検索時間は折れ線グラフで表し，各検索語

1）鎌田圭祐: 音声中の検索語検出におけるサブワー
ド N-gram を用いた高速抽出法，岩手県立大学と音声ドキュメントの全区間を照合した場合（全照ソフトウェア情報学部卒業論文 (2013-3).

合），転置インデックス，誤認識しやすいトライグラ2）鎌田圭祐他: 音声中の検索語検出における音素トムの追加の 3 つのケースを示した．誤認識しやすい

ライグラム照合による高速抽出法，研究報告音声

トライグラムの追加では 3.2 で挙げた例の全てを使

言語情報処理 (SLP) 2012-SLP-94，pp1-6 (2012-

用した．転置インデックスに対して誤認識しやすいト12-13).