音声クエリにおける誤認識・未知語に対するクエリ合成方式の提案
A proposal of a query composition method for misrecognition and out-of-vocabulary of a voice query
感性情報学講座 0312007148 本舘 修史
担当教員 : 伊藤 慶明 石亀 昌明 小嶋 和徳
1. はじめに
近年，音声データ中における特定のキーワードが発話されている区間を検索する技術(STD:Spoken Term Detection)の研究が盛んに行われるようになった．
STD には音声ドキュメントの連続単語認識結果から得られる単語列と検索語(クエリ)を比較する単語列照合方式，サブワード認識結果からサブワード系列で比較するサブワード系列照合方式[1]，それらをネットワーク化した方式[2]，連続単語認識結果の読み系列読で比較を行う読み系列照合方式[3]等がある．単語列照合方式は音声認識で使用される辞書に未登録の単語(未知語)は検索できない．サブワード列照合方式は未知語に対応できるが，サブワード認識を行う必要があり，負荷が大きい．読み系列照合はサブワード認識を行うことなく，未知語に対応できるメリットがある．以上の理由から我々は，読み系列手法を用いた STD 方式の研究を進めている．
スマートフォンや携帯端末でユーザがクエリを入力する際は，音声による簡易な入力方式が望ましい．クエリがテキストで与えられればそのクエリが音声ドキュメント認識時の未知語であるか判定できるが，音声で与えられた場合，未知語は辞書内の異なる単語に誤認識するため未知語かどうか判定することが難しい．
従来，我々は音声クエリ認識を孤立単語認識で行っていた．未知語を孤立単語認識すると，クエリが長くなるに従ってかけ離れた単語に誤認識する傾向がある．
一般にクエリは固有名詞が多く，未知語になる傾向が高く[3]，音声クエリが未知語の場合にも頑強に対応できることが重要と言える．
そこで本研究では，以下 2 つの方式を提案する．
・音声クエリに対して連続単語認識の導入
・連続単語認識結果とサブワード認識結果を利用したクエリの合成方式

連続単語認識であれば，複合語のような長い単語に対して部分的に正解単語を取得でき，孤立単語認識と比べて有効と考える．さらに未知語音声クエリの連続単語認識結果に存在する誤認識部をサブワード認識結果に置き換える(合成クエリ)ことでテキストクエリ(正しい音素系列)に近づけることを図る．
2. 本研究の概要
図 1 に従来手法と本研究のシステム概要を示す.従来，我々は(1)音声ドキュメントに対して連続単語認識しておき，(2)音声クエリが与えられると孤立単語認識を行い，(3)それぞれの読み系列同士で照合を行なってきた.未知語のクエリに対し孤立単語認識を行うと類似したものがなければ図のように異なる出力となってしまう．

図1

システム概要図

連続単語認識を用いれば未知語を含んでいても，クエリが複合語であれば部分的に正解している可能性がある．サブワード認識は 7割程度の音素正解率であり，(4)誤認識した部分をサブワード認識結果に置き換えれば性能向上が期待できる．以上から，音声クエリに対しての連続単語認識結果とサブワード認識結果を用いることで，テキストクエリに近いクエリを合成できると考えた．一方，誤認識部分を自動で特定するのが困難なことから，音声クエリの連続単語認識結果をユーザに提示し，ユーザに誤認識部を指定してもらうこととした．指定された誤認識部をサブワード認識で補うことで新たなクエリを合成し，STD に用いる．

ブワード認識結果と同じになったものは 220個中 136 個存在し，残りの 84 個がサブワード認識結果とは異なる合成クエリである．合成クエリが生成された 84 個に対しては 53.1%と3. 評価実験高い検索精度が得られた．残りの 136 個のク3.1. 実験概要
エリに対しも若干の精度向上が見られた．ク
音声認識には CD に添付された IPA60k のシエリ全体が誤認識した場合は，サブワード認
ステム辞書と julius 用いた．音声ドキュメン
識結果と同一の検索精度になる．
トに対して連続単語認識を行った．音声クエ期待した合成クエリが生成されなかった理リに対しては前述の辞書を用いた孤立単語認
由として，サブワード認識と連続単語認識に識とサブワード認識及び連続単語認識を行い， 同じ音響モデルを使用しているため，誤認識それぞれの認識結果から読み系列照合によるする部分も似通る点が考えられる．学習デー
STD を行った．
タが異なる音響モデルを利用することで更な3.2. 実験条件る性能向上が期待できると考える．また，136
検索対象には，簡易評価用セット[4] 49 講
個のクエリ中に短い複合語が多く存在したこ
演，約 13 時間分の音声データを用いた．クエとから，クエリが短い場合，音素単位で誤認リには評価用データ中で発話されている 1 以
識部を指定する方向も有効と考える．
上の単語 50 種，及びその 50 種中の複合語 22
表 2 合成クエリを用いた検索精度種を用いた．10 名分の発話データを採取し，MAP(%)
音声クエリ 500 個，そのうち複合語 220 個，総クエリ数
本研究
先行研究[3]
その合成クエリはマニュアルで 220 個用意し220
42.040.4た．
136
34.7
34.2
3.3. 実験結果と考察
合成
84
53.1
49.1
3.3.1 連続単語認識を用いた検索精度
表 1 には音声クエリの認識結果を単体で用4. おわりにいた場合の検索性能を示す．音声クエリを連
本研究では，音声クエリ認識の際に連続単続単語認識することで，辞書内に存在する単語認識の導入と，その連続単語認識の結果の語(既知語)と未知語の両条件で孤立単語認識
誤認識部をサブワード認識に置き換えたクエよりも検索性能が向上した．特に未知語条件
リの合成方式を提案し，未知語に対しての検での精度向上が大きい．これは，連続単語認索性能の向上を図った．実験の結果，未知語識の正解の単語が含まれていない認識結果で条件下での検索性能を向上させることができ，も正解と音響的特徴が類似した単語の組み合本提案方式の有効性が確認した．
わせでクエリを表現できることが要因である
適切な合成クエリを生成しにくい短いクエと推察できる．
リの場合，音素単位での誤認識部の指定，認表1
音声クエリ認識方法別の検索精度
識手法別に音響モデルの変更等は，精度改善に向けての今後課題とする．
MAP(%)
辞書の条件
音声クエリ
音声クエリ 音声ドキュメント
認識手法
50 クエリ 22 クエリ
認識時
認識時

既知語
孤立単語
認識
未知語
既知語
連続単語
認識
未知語
―
サブワード
認識―

既知語
未知語
既知語
未知語
既知語
未知語

66.9

70.7

9.4

5.8

72.1

71.1

30.7

33.3

52.7

59.2

35.9

38.3

3.3.2 クエリの合成方式の検索精度
表 2 に音声クエリの認識結果を組み合わせた先行研究[3]と合成クエリを用いた検索精度を示す．連続単語認識した結果で正解部が含まれてない，もしくは正解部がサブワード認
識結果内に存在したことで，合成クエリがサ

参考文献
1）岩田耕平他, 語彙フリー音声文書検索手法
における新しいサブワードモデルとサブワード
音響距離の有効性の検証，情報処理学会論文誌
48(5)，2007．
2）栗城吾央他, Web 上の語彙を利用した音声クエ リ 拡 張 に よ る 検 索 語 検 出 ， NLC2009-20 ，2009-9．
3）西崎博光他，Spoken Term Detection のためのテストコレクション構築とベースライン評価，
vol.2010-SLP-81，N0.13，8pages，2010.5．
4）堀 貴明他，コンフュージョンネットワー
クを用いたオープン語彙発話検索法とその評価，
SP-2007，p.p.43-48，2007．