Shift CDP の類似区間検出を利用した音声中の検索語検出精度の向上
An Improvement of Search Accuracy of Spoken Term Detection using Similar
Sections by Shift CDP
感性情報学講座 0312014013 新井 貴之
指導教員：伊藤慶明 小嶋和徳
1. はじめに
近年，動画共有サイトの普及や大容量記憶デバイスの普及に伴い，音声データを含むマルチメディアデータを扱う機会が増加している．これらの成していく．この URP に対し CDP を行い，累積距離が事前に定めた閾値以下となった区間を類似区間として抽出する．その結果を連結・結合して最終的な類似区間として出力する．

データの中から特定の場面を検索する機能とし2.2. 誤りやすい音素の推定：音声認識システムて，STD (Spoken Term Detection: 音声中の検索語

音声認識器は学習データや学習条件により，認検出)の研究が行われている．STD は，音声認識識精度が異なるため，認識器ごとに誤認識しやす器を用いて検索対象の音声ドキュメントを予めい音素が存在する．その誤認識しやすい音素を予認識しておき，その認識結果とクエリ(検索語)をめ推定し，STD の際に利用する．

CDP(Continue Dynamic Programing: 連続 DP)照合

まず事前に用意した書き起こし文が存在するすることでクエリが出現している発話区間を特

音声データを予め認識器で認識しておき，そのデ定する手法である．しかし，検索対象の音声ドキータの書き起こし文と認識結果を比較する．そのュメントを認識器でテキストに変換する際，誤認際，書き起こし文と異なった認識結果，つまり誤識を避けられず，検索精度が低下してしまう．

認識が行われた音素を調べ，どの音素がどの音素本研究では，予め認識器が誤認識を起こしやすに誤認識されたかの総数を求める．その後，書きい音素の収集・推定を行う．その後，誤認識が起起こし文に出現した音素 x の出現総数を Nx，音こりやすいと推定された音素がクエリに出現し素 x が音素 y に誤認識された総数を Nxy，音素 xたとき，その音素を書き換え，新たにクエリ(変形が音素 y に誤認識される確率(誤り確率)を Pxy とクエリ)を作成する．元のクエリと変形クエリでし，式(1)により誤り確率を計算し，誤りやすい音STD を行い，検索結果を統合することで，認識器素を求める．の誤認識を考慮した STD を行う．また，誤認識

𝑃𝑥𝑦 = 𝑁𝑥𝑦 / 𝑁𝑥が起こりやすい音素を収集する際，二つの時系列

2.3. 誤りやすい音素の推定：Shift CDP

データから類似する区間を検出する Shift CDP を利用する．Shift CDP の類似区間内の音素は音響的に類似しているという性質を利用し，類似区間内で誤認識された音素の間違えやすさを大きくすることで，より誤認識が起こりやすい音素の収集・推定を図る．

2. 提案手法
2.1. Shift CDP の概要
Shift CDP は二つの時系列データから類似する区間を検出するアルゴリズムである 1)．Shift CDP
は時系列データを固定長フレーム数 NCDP からなる URP (Unit Reference Pattern: 単位標準パターン)で区切る．その際，Nshift フレームずつ時系列データの先頭から後尾までシフトさせ URP を構(1)

より誤りやすい音素の推定を行うために，ShiftCDP の類似区間を利用する．Shift CDP の類似区
間内は，音響的に類似していることを表す．そのため，類似区間外での誤認識に比べ，類似区間内での誤認識は，音響的に類似しているのにも関わらず誤認識が行われたことになる．つまり，より誤りやすい音素であることが予測される．そのことを考慮し，重みをつけることでより誤りやすい音素の推定を図る．
Shift CDP を利用した誤りやすい音素の推定手法の概要図を図 1 に示す.まず Shift CDP を用いて事前に用意した書き起こし文が存在する音声データの類似区間を求めておき，2.2.と同様の方法で誤認識の総数を求める．その際，類似区間内で誤認識が行われた回数を各音素で保持しておく．

その後，重みをβ，音素 x が音素 y に類似区間内で誤認識された総数を Sxy とし，式(2)により誤り確率を計算し，誤りやすい音素を求める．
𝑃𝑥𝑦 = { 𝑁𝑥𝑦 + (β × 𝑆𝑥𝑦 ) } / 𝑁𝑥(2)3.2.実験結果
今回の実験で求めた誤りやすい音素の順位を表 1 で示す．表 1 の上位 1~5 件それぞれの音素を利用してクエリの書き換えを行い，STD を行った．その中で最も MAP が高くなった上位 2 件の音素を利用した STD 結果を表 2 に示す．
表 2 の示す通り，重みα=0．
8 の時 MAP が Shift
CDP 適応前，適応後ともに一番高くなった．クエ
リの書き換えが行われたクエリのみでの MAP を見ると，Shift CDP 適応前の MAP が 0.22 ポイン
ト上昇したのに対して，Shift CDP 適応後の MAP

図 1: Shift CDP を利用した推定手法の概要図
2.4. CDP 距離の統合は 0．47 ポイント上昇した．結果として，Shift CDPを誤りやすい音素に適用することで適用前に比べて 0．25 ポイントの上昇がみられた．

2.2 や 2.3 で求めた誤りやすい音素上位 N 件の音素がクエリに出現したとき，その音素を書き換え，変形クエリを作成する．

表 1：誤りやすい音素上位 5 件[Shift CDP 適用前]

[Shift CDP 適用後]

「a:」→「a」「a:」→「a」

元のクエリと変形クエリでそれぞれ STD を行「ny」→「n」「e:」→「e」

い検索対象の各発話の CDP 距離を求める．その「e:」→「e」「ny」→「n」「i:」→「i」「i:」→「i」「by」→「ry」「o:」→「o」

後，検索対象群中の i 番目の発話における元のク
エリの CDP 距離を Dorg(i)，変形クエリの CDP 距離を Dchg(i)，重みをα，統合後の CDP 距離をDnew(i)とし，式(3)により統合を行う．
𝐷𝑛𝑒𝑤 (𝑖) =表 2：提案手法による MAP の結果(α=0.8)
Base line

提案手法

Shift CDP

全(100q)

72.02

72.03

それぞれの CDP 距離に対しαと(1.0 – α)を乗

適応前

変(7q)

86.22

86.44

じて和を取ることで統合後の CDP 距離を求める．

Shift CDP

全(100q)

72.02

72.11

なお，式(3)のαは統合割合を示す．

適応後変(21q)

80.56

81.03

𝛼 × 𝐷𝑜𝑟𝑔 (𝑖) + (1.0 − 𝛼) × 𝐷𝑐ℎ𝑔 (𝑖)(3)

3. 評価実験
3.1. 実験条件
音声認識器での音響モデル・言語モデルの学習には CSJ (Corpus of Spontaneous Japanese: 日本語話し言葉コーパス)の 2,525 講演のうちの偶数講
演(1,255 講演，約 287 時間)を用いた．それらの音声データを DNN-HMM によって学習した．誤りやすい音素の収集・推定のためのデータは評価用の CSJ177 講演から無作為選んだ 50 講演を利用した．類似区間内での重みβ=10，誤りやすい音素の上位 N 件は 1≦N≦5(N は整数)，統合割合のαは 0.0≦α≦1.0(αは 0.1 刻み)で行った．ShiftCDP での類似区間検出は，URP60 フレーム，Nshift4. 終わりに
本論文では， Shift CDP の類似区間を利用し認
識器の誤りやすい音素を求め，その音素をクエリの書き換えに用いて STD を行い，その結果を統合する手法を提案した．評価実験の結果，クエリの書き換えを行うことで MAP の上昇を確認できた．さらに，Shift CDP 適用前の誤りやすい音素よりも Shift CDP 適応後の誤りやすい音素を利用した方がより MAP が上昇することが確認でき，提案手法の有効性を示すことができた．
今後は，より最適な誤りやすい音素の推定手法を考察・検証していく．

参考文献

15 フレーム，閾値 1.0 で行った．STD の評価には

1) 伊藤慶明, 類似区間の検索法 Shift CDP の性能評

NTCIR10 Formal run(100 クエリ )，検索対象は価と講演音声への適用, 電子情報通信学会論文誌

SDPWS104 講演(約 28.6 時間)を用いた．評価指標

SP2001-35, 2001-6は MAP(Mean Average Precision)を用いた．