遠野物語方言音声のキーワード検索におけるキーワード検出方法の検討
A Consideration of Keyword Detection for Dialect Voice of Tono Old Tales
感性情報学講座 0312015005 阿﨑 賢史
指導教員：伊藤慶明 小嶋和徳
を用いる．サブワード間の照合ではサブワードを1. はじめに状態に展開し，局所距離にサブワード間音響距離

音声を含む大量の動画データから特定のキーを用いる．Posteriorgram 照合ではフレームレベル

ワ ー ド を 検 索 す る 音 声 中 の 検 索 語 検 出 (STD:で局所距離に事後確率ベクトルの内積を用いる．

Spoken Term Detection)の研究が活発に行われてCDP 距離が小さい順に検索結果として出力する．

おり，またキーワードが音声で与えられる SQSTD(Spoken Query STD)の研究も盛んである．

2.2．複数検索の統合手法

方言や訛りのある音声は標準語音声と比べ，自方言音声は音声の書き起こしが困難であるた

動認識が困難である．先行研究¹⁾では，遠野物語

め，音声認識システムに方言音声の学習は不可能の語り部が語る際に重要なキーワードが話されである．本研究では，標準語で学習した音声認識た時に解説をモニタに表示するシステムの実現

システムを方言音声に強制的に適用し，音声デーを目指した．システムの実現には，より高い検出タ，音声 KW をテキスト化する．音声 KW は誤精度が求められ，そのため検索方法の検討が重要認識する場合があり，検索精度が下がる可能性がな課題となっている．先行研究では方言音声を音ある．先行研究では音声を聞いて作成したテキス節や音素などのサブワードで認識しておき，テキト KW は，音声 KW より高い検索精度が得られストキーワードと音声キーワードの精度比較をた¹⁾．本論文では音声 KW の検索結果にテキスト行い，方言の検索に有効なサブワードの検証を行KW の検索結果を組み合わせ，統合することで検っ た ． 音 声 キ ー ワ ー ド に は DNN(Deep Neural

索精度の向上を図る．

Network)の出力確率の系列である Posteriorgram

2.1 で述べた通り音声データ，音声 KW はそれを用い，照合検索することができる．サブワード

ぞれ 2 種類の音素系列が得られ，Posteriorgram をと Posteriorgram を統合することで，精度向上が加えると様々な検索方式が構成できる．テキスト期待できる．

KW の場合は音声データが 2 種類の音素系列がしかしキーワード毎に最良な検索手法を用意あり、2 種類の検索方式が構成できる．統合は以することが難しい．そこで本論文では，各々の従下 3 パターンで 2 つの検索結果を用いて行う．

来の検索手法で検索を行い，複数の検索結果を統合することにより検索精度の向上を図る．方言音
声の検索に有効な検索手法を検討する．以後キーワードを KW と表現する．

2. 提案手法
2.1．検索方式
遠野物語の音声データを単語および音節を単位とする音声認識システムにより自動認識し，2

表 1 統合の組み合わせパターン
パターン

手法Ａ

手法Ｂ

1

音声 KW

テキスト KW

2

テキスト KW

テキスト KW

3パターン 2

音声 KW統合は式(1)を用いる．α は補正係数，𝐷𝐴 は検索方式 A，𝐷𝐵 は検索方式 B，の CDP 距離を示す．
𝑫𝒏𝒆𝒘 = 𝜶𝑫𝑨 + (𝟏 − 𝜶)𝑫𝑩(1)種類の音素列に変換する．さらに音声 KW を与え ら れ た 際 を 考 慮 し ， DNN を 用 い て ，

3. 評価実験

Posteriorgram 系列にも変換する．KW はテキスト

3.1 実験条件

KW と音声 KW を用意する．音声 KW は音声デ音響モデル，言語モデルの学習には CSJ の全ータと同様に 3 種類に変換する．検索手法の組み

2,702 講演から Core の 177 講演を除いた 2,525 講

合わせとしては表 2 の 7 種類となる．照合には連演のうち偶数講演(1,255 講演，約 287 時間)を使続計画法(CDP: Continuous Dynamic Programming)用した．
音響モデルは 3 状態の triphone で構成し，状態共有により 3,009 状態とし，混合数は 32 と3.3 実験結果した．DNN の入力層は 1,320 ノードである．入力単体の検索精度を表 3 に示す(音声データ：音特徴量はフィルタバンク 120 次元とその前後 5 フ

声データの認識・処理方法，KW：KW の認識・レーム分を追加した 1,320 次元とした．隠れ層は処理方法)．音声データが音節でテキスト KW の5 層の各 2048 ノード，出力層は triphne の状態に検索精度が 70.53%と最も高かった．この単体で対応させ，3,009 ノードとした．の検索精度を以後ベースラインとする．

3.2 評価データ抽出し，統合を行った．上記のベースラインを越

表 3 の単体の結果を全ての組み合わせで２つ
検索対象音声データを表 2 に示す．KW は物語えた結果を表 4 に示す．最下段に示すテキストの理解を促進させために重要な KW が選定され

KW 同士の統合が 72.05%と最も高くなり，ベーた．音声 KW は男女 5 名ずつ(県内が 4 名，県外スラインから 1.52pt の向上だった．次いで音声デが 6 名)に語り部の KW の発音を似せて発音してータが単語，テキスト KW と Posteriorgram とのも ら っ た ． 評 価 指 標 に は MAP(Mean Average

統合が高かった．

Precision)を用いた． 表中，Posteriorgram を Pos と記載する．

表 4 で最も高かった(単語・Text)と(音声・Text)の統合結果と他の結果との統合を行った結果を
表 5 に示す．最も高い精度は(単語・単語)の結果

表 2 各物語のキーワード数と正解数
物語名abc
収録時間
5:31
4:25
6:59
発話区間数
8691
115
キーワード数
101119
平均正解数
3.60
3.73
2.53をさらに統合したもので 72.53%となり，ベースラインから 2.0pt 向上だった．
表 3 で Posteriorgram の単体の検索精度が他よりも低い精度であったが，表 4，5 ではPosteriorgram を用いた場合，比較的高い検索精度が得られた．この原因の分析と Posteriorgram の

表 3 検索精度比較
音声データ
KW
単語(音声)
単語
音節(音声)
Text
単語(音声)
音節
音節(音声)Text
Pos(Posteriorgram)Pos(音声)利用方法については今後の課題とする．
MAP[%]
44.83
44.91
66.77
41.39
44.43
70.53
43.67

4. おわりに
本論文では方言音声の検索手法としてテキス
ト KW と音声 KW を用いて様々な検索を行い，その結果を統合することにより検索精度向上を図った．実験の結果，提案する統合方式の有効性を確認した．今後 Posteriorgram を利用した検索・統合方法を検討し，さらなる検索精度の向上を目

表 4 統合検索精度比較
手法 A
手法 B
KW
データ
KW
データ
音節音節
単語
音節
単語
単語
Text
Pos
Pos単語音節
Text

指す．
MAP[%]
70.58
70.62
70.77
70.81
72.05

表 5 統合検索精度(テキスト KW2 種類統合後)
統合検索手法
検索手法
MAP[%]KW
手法 A 手法 B データ
音節
71.51
音節
単語
音節
単語
71.76
音節
72.15
・・単語
単語
72.53
Text
Text
Pos
Pos
71.46

参考文献
1)

飯田英仁他，“遠野物語方言音声の収録とその理解システムの検討”，日本音響学会，秋季研究発表会(2018)2)

大島聡史，“音声キーワードでの複数検索結果を用いた音声中の検索語検出”，岩手県立大学ソフトウェア情報学部卒業論文，201503

3)

Yaodong Zhang et al, Unsupervised Spoken
Keyword Spotting via Segmental DTW on
Gaussian Posteriorgrams, ASRU 2009, 398403,(2009)