音声クエリに対する音声中の検索語検出の精度向上‐複数検索結果の統合割合調整方式‐
Accuracy Improvement of Spoken Query - Spoken Term Detection:Integration Rate Adjustment Method of Multiple Search Results
感性情報学講座 0312012140 廣田達郎
指導教員：伊藤慶明 小嶋和徳
1. はじめにとする．まず，SQ と SD をそれぞれ音声認識
インターネット上の動画データや講義音声の システムで認識し，認識結果をそれぞれサブワ普及により，音声が含まれているマルチメディ ード系列に変換し保持する．続いて，SQ の認
アデータは増加している．この中から目的の動 識結果と SD の認識結果を発話区間毎に CDP画や場面を簡単に検索する機能として，音声中 で照合し，発話区間毎に累積距離(CDP 距離)をの検索語検出(STD: Spoken Term Detection)が有 求める．最後に，検索結果として発話区間を効とされており，現在その研究が盛んに行われ CDP 距離が小さい順に出力する．CDP とは長ている．NTCIR では音声ドキュメント(以降 い時系列中から非線形な照合によりクエリと類SD: Spoken Document)の中から音声で話された 似する区間を自動的に見出す手法である．照合検索語(音声クエリ<以降 SQ: Spoken Query>)の 時の局所距離にはサブワード間音響距離を用い検出を行う SQ-STD に関するタスクが設定され， る．
その評価が行われている．
SQ は一度，音声認識システムを用いてテキ 2.2. 複数検索結果統合
同じ SQ であっても認識システムによって正スト形式(基本的には単語列/サブワード系列)に変換する．その際認識誤りを避けることはでき 確に認識できる場合と誤認識となる場合がある．
ず，正しい単語列(サブワード系列)が得られる また，SQ は既知語/未知語の判断が難しいため，とは限らない．また，SQ では既知語/未知語の クエリ毎に適切な認識システムを自動で判断し判定が難しいため，既知語の認識に適した単語 て用いることは困難である．そこで，SQ と SD
認識と，未知語の認識に適したサブワード認識 を複数の認識システムで認識し，得られた複数のうち，どちらを用いれば良いか判断できない． の認識結果を個々に用いて検索した結果を統合
以上の理由から，クエリがテキスト形式で与え することで検索精度の向上を図る．
SQ と SD の認識に単語認識を用いた単語ベられた場合に比べ検索精度の低下が想定され，ースの検索結果と，サブワード認識を用いたサ対策が必要不可欠である．
先行研究[1]では，SQ と SD の認識に単語認 ブワードベースの検索結果を統合する際，SD識を用いた単語ベースの検索結果と，サブワー の i 番目の発話におけるそれぞれの CDP 距離
ド認識を用いたサブワードベースの検索結果を distance(𝑤𝑜𝑟𝑑, 𝑖)，distance(𝑠𝑢𝑏, 𝑖)を式(1)によ統合することで，未知語/既知語両者の検索精 り統合する．それぞれの CDP 距離に対し𝛼と度を向上させる方式が提案された．この方式に (1 − 𝛼)の 重 み を 乗 じ て 和 を 取 る こ と で 統 合おける統合は常に一定の割合で行うため，一方 CDP 距離D(𝑖)を求める．全ての発話に対しこのの検索結果が著しく悪い場合に，その影響を大 処理を行い，統合 CDP 距離が小さい順に検索結果として出力する．𝛼は統合割合を示し，値きく受け検索精度が低下する可能性がある．
そこで，本論文では検索結果の妥当性は SQ が大きいほど単語認識の結果を重視し，小さいの認識結果と SD の認識結果を照合した際の最 ほどサブワード認識の結果を重視した統合が行高類似度と相関するという仮説を立て，最高類 われる．
似度が高い検索結果が重視されるよう統合割合
D(𝑖) = 𝛼 × distance(𝑤𝑜𝑟𝑑, 𝑖)を調整する方式を提案する．入力される SQ に(1)+(1 − 𝛼) × distance(𝑠𝑢𝑏, 𝑖)
応じて統合割合を調整することで，検索精度向上を目指す．
2.3. 統合割合調整方式
単語ベースの検索結果とサブワードベースの
2. 提案方式
検索結果を統合する場合は，クエリが既知語で2.1. SQ-STD の概要
あれば単語ベースの検索結果が，未知語であれ
このシステムは膨大な SD の中から SQ が含ばサブワードベースの検索結果が重視されるよ
まれる発話区間をユーザに提示することを目的
う αを 調整 する と良 いと考 え られ るが ，SQ-ΔAP

STD はクエリが音声のためその判断が難しい．
表 2 検索システム毎の検索精度
認識誤りにより SQ の認識結果と SD 中のクMAP(%)
検索システムエリの認識結果に差が出ると，その差が大きい
53.97
単語ベース単体ほど検索結果の妥当性は低くなると考えられる．
48.55
音節ベース
その差は検索結果の最小 CDP 距離が表す．
56.69
従来方式
統合
そこで本論文では，検索結果の妥当性は最小57.33
提案方式
CDP 距離と相関するという仮説を立て，単語ベースの検索結果の最小 CDP 距離と音節ベー3.2. 実験結果
スの検索結果の最小 CDP 距離を比較し，その単語ベースの検索結果と音節ベースの検索結値が小さい方の検索結果が重視されるよう果の AP の差(∆AP)と最小 CDP 距離の差(∆D)のαを調整する方式を提案する．αの調整パター
相関図を図 1 に示す．差はそれぞれ単語ベース
ンは，最小 CDP 距離が単語ベースの検索結果－音節ベースで求めている．相関係数は-0.38の方が低い場合の𝛼𝑤 と，サブワードベースのとなり，提案方式の提案理由となった仮説の妥
検索結果の方が低い場合の𝛼𝑠 の 2 種類を設ける．
当性が確認できた．
従来の統合方式における最適な統合割合
3. 評価実験
αと，提案方式における最適な統合割合𝛼𝑤 ，𝛼𝑠3.1. テストセットを求める．αW，αS をそれぞれ 0.0~1.0 で調整し，評価には NTCIR のテストセットを使用した．
奇数/偶数クエリそれぞれで MAP(検索精度)が検索対象 SD には NTCIR-11 Formal run SDPWS最高となる統合割合を求めた．結果を表 1 に示
98 講演を，SQ には NTCIR-12 Single-Term 143
す．従来の統合方式では，奇数クエリ・偶数ククエリを用いた．SQ のデータは男性 3 人，女エリ共にα＝0.7 で MAP が最高となり，提案方性 2 人の計 5 人分を用意した．最適な𝛼𝑤 ，𝛼𝑠式では，奇数クエリ・偶数クエリ共に𝛼𝑤 ＝0.7，を求める実験では，オープンな評価とするため
𝛼𝑠 ＝0.3 で MAP が最高となった．奇数クエリクエリを奇数と偶数のセットに分けクロスバリと偶数クエリで最適な統合割合に差が無いこと
デーションを行った．音声認識システムには，から，システムの頑健性が確認できた．
先 行 研 究 と 同 じ く DNN-HMM(Deep Neural
単語ベース，音節ベース，従来の統合，提案Network - Hidden Markov Model)を用いた単語認方式を用いた統合の計４種類の検索システムの識と音節認識(サブワード認識の一種)を使用しMAP を表 2 に示す．単体では単語ベースがた．
53.97%と高かった．単体の MAP と２つの統合
100方式の MAP を比較すると，従来の統合方式は8056.69%で 2.72 ポイント向上に対し，提案方式60を用いた統合は 57.33%で 3.36 ポイント向上し40た．提案方式を用いることで統合による MAP20向上効果が相対的に 23.53%(2.72→3.36)向上しており，提案方式の有効性が確認できた．
0-2-1 -20 0
124. 終わりに-40
本論文では，SQ-STD の複数検索結果統合に-60おける，入力される SQ に応じた統合割合の調-80整方式を提案した．クエリが既知語か未知語かの判断が難しいため，検索結果の妥当性が最小-100
ΔD
CDP 距離と相関するという仮説の元に，各検図 1 検索結果２種の AP の差と索結果の最小 CDP 距離を比較する方法で統合
最小 CDP 距離の差の相関図
割合を調整した．評価実験の結果，提案方式を用いることで検索精度が安定して向上すること
表 1 検索精度が最高となった統合割合が確認でき，その有効性が検証できた．
クエリ
従来方式
提案方式
セット
α𝛼𝑤𝛼𝑠
参考文献
[1]. 大島聡史，“音声クエリでの複数検索結果
0.6, 0.7
0.7
0.3
奇数を用いた音声中の検索語検出”，岩手県立大学
0.7
0.7
0.3, 0.4
偶数
ソフトウェア情報学部卒業論文，2015-03.