音声中の音声検索語検出におけるPosteriorgram 連結・加算方式の性能評価
Performance Evaluation of Posteriorgram Concatenation and Addition
Method in Spoken Query-Spoken Term Detection
0312019308 畠山 和望
指導教員：伊藤慶明 小嶋和徳に 並 べ た 行 列 を Posteriorgram と 呼 ぶ ．

1. はじめに

Posteriorgram 照合では音声データと音声クエリ記憶媒体の大容量化と共に，音声データを含むの Posteriorgram 同士を用いて CDP（Continuous

大量のデータ中から特定のシーンを検索する音Dynamic Programming）照合を行い，検索を行う．

声中の検索語検出（STD：Spoken Term Detection）

CDP 照合に使用する局所距離は，音声クエリとと，音声でクエリ（検索語）を入力して STD を音声データの事後確率ベクトル同士の内積計算行う SQ -STD（Spoken Query-STD）の研究が活発を行い，その負の対数をとることで求められる．

化している．

高精度な検索が可能であるが，検索時間がかかる．

SQ-STD を実現する方法として Posteriorgram

2.2. スコア統合方式 2)照合方式が代表的である ．DNN（Deep Neural

1 つのモデルによる照合を行うと，各発話に対Network）に音声特徴量を入力し，出力として得してスコアが得られる．複数のモデルで得られたられる事後確率ベクトルをフレーム毎に並べた発話毎のスコアの線形和統合を行う．

も の を Posteriorgram と 呼 び ， 音 声 ク エ リ の2 つのモデルを用いた場合の統合距離の計算

Posteriorgram と音声データの Posteriorgram を照式を(1)に示す．ある発話に対して 2 つのモデル

1)合することで高い検索精度が得られた ．
先行研究では複数の深層学習モデルを STD に用いて，モデル毎に得られる各発話の検索結果（スコア）を統合するスコア統合方式

2)により,か ら 得 ら れ た ス コ ア を 𝐷1 , 𝐷2 と し て 統 合 距 離𝐷𝑛𝑒𝑤 を求める．線形和をとる際の統合割合は重み𝛼で表し，0 ≤ 𝛼 ≤ 1とする．
𝐷𝑛𝑒𝑤 = 𝛼𝐷1 + (1 − 𝛼)𝐷2(1)

検索精度の向上を実現した．一方，Posteriorgram
照合では，モデル毎の音声データを対象とすると

3. 提案手法

メモリ使用量が 100GB に及び，一般的なマシン

本研究では，深層学習モデルとして先行研究にでは並列処理できず，モデルの数だけ照合を順次おいて高い検索精度が得られた DNN と BLSTM，行うことになる．例えば, 2 つのモデルを統合すCTC と Attention を使用する．

る場合は 2 倍の検索時間が必要となる．

第一の提案方式は Posteriorgram 連結方式であ

本研究では，異なるモデルの Posteriorgram をる．各モデルの Posteriorgram を状態番号方向に連結，加算して得られた Posteriorgram による照連結し，2 倍の次元数での Posteriorgram 照合を行合実験を行い，前述のスコア統合方式と比較し，う．1 つの Posteriorgram で扱う事後確率の次元数性能を評価することで適切な方式を検討する．

を増やすことで情報量を増加させ，検索精度の向上を図る．一方，内積計算に約 2 倍の計算コスト

2. 先行手法
2.1. Posteriorgram 照合を要するため，計算時間の増加が予想される．
1)

第二の提案方式は Posteriorgram 加算方式であ

音声認識システムでは一般的に，音声データをる．2 つのモデルの各 Posteriorgram の事後確率値

1 フレーム毎に特徴量へ変換し，これらの特徴量に𝛼倍，1 − 𝛼倍の補正値を乗じ，各モデルの影響を DNN の入力とすることで，HMM（Hidden度を調整する ．モデル毎に得られる補正後のMarkov Model）で定義された各状態の事後確率がPosteriorgram の事後確率ベクトルを加算し，1 つ得られる．この状態数分のベクトルを事後確率ベの Posteriorgram とし，Posteriorgram 照合を行う．

クトルと呼ぶ．この事後確率ベクトルを時系列順

これにより，計算時間の増加なく，複数モデルの特徴を用いた検索が実行できると考える．複数モ
デルの照合を並列で行えない前述のケースと比べ，一度の照合で済む．

4. 評価実験
4.1. 実験条件
DNN の学習データには CSJ（日本語話し言葉コーパス）の 2,525 講演のうちの偶数講演(1,255講演, 約 287 時間)を，BLSTM，CTC，Attention では CSJ 2,702 講演を使用した．DNN と BLSTM の図 1. NTCIR-10 での実験結果

入力特徴量は FBANK 120 次元とし，出力層はtriphone 3,009 状態と対応させた．CTC と Attentionの入力特徴量は FBANK 83 次元とし，出力はcharacter 3,245 状態と対応させた．
4.2. テストセット
評価用のテストセットは，NTCIR-10 と NTCIR12 の Formal run を用いた．NTCIR-10 では音声クエリに男女各 5 人，計 10 人の発話を録音した 100
クエリを，検索対象の音声データには SDPWS
104 講演（約 29 時間，40,746 発話）を用いた．

図 2. NTCIR-12 での実験結果

NTCIR-12 では音声クエリに Formal run で提供さ合わせることで特徴を詳細化したため，及び，前れた 113 クエリを，音声データには SDPWS 98 講

後の繋がりを考慮しない出力を行う CTC のデメ演（約 27.5 時間，37,782 発話）を用いた．評価指リットを Attention により補ったためと考える．

標は MAP（Mean Average Precision）を用いた．

以上のことから，Posteriorgram 加算方式の有効性

4.3. 実験結果を確認できた．

スコア統合方式，Posteriorgram 加算方式では，統合/加算割合を 0.1 刻みで実験を行い，最も高い5. おわりにMAP が得られた割合の結果を求め，評価を行う．

本研究では，2 つのモデルの Posteriorgram を連

NTCIR-10，12 における，単体で最も高精度の結，加算する方式の性能を評価し，適切な方式をモデル，スコア統合方式， Posteriorgram 連結方検討した．CTC と Attention による加算方式にお式，Posteriorgram 加算方式の実験結果を図 1，図いて，従来のスコア統合方式と比較し，NTCIR-102 に示す．ここで，スコア統合，加算方式は最もでは検索精度を 4.63pt 向上し，検索時間を 5.22高い MAP が得られた割合の結果を示す．

秒削減し，NTCIR-12 でも検索精度を 1.46pt 向上

NTCIR-10 において，CTC と Attention を用いたし，検索時間を 3.46 秒削減できたことから，加算方式で，単体で最も高精度のモデルである

Posteriorgram 加算方式の有効性を確認できた．

BLSTM に比べて検索精度を 0.8pt 向上し，検索時間を 22.56 秒削減できた．NTCIR-12 において

参考文献

も，CTC に比べて検索精度を 2.61pt 向上し，検1)

索時間を 1.79 秒削減できた．

を用いた STD の検索精度の向上，岩手県立大学

CTC と Attention を用いた統合方式と比べると，
NTCIR-10 では検索精度を 4.63pt 向上し，検索時

小原真人：DNN の全出力確率系列 Posteriorgram
ソフトウェア情報学部卒業論文（2016）2)

金子大祐 他：最尤系列化を用いた音声中の検索間を 5.22 秒削減できた．NTCIR-12 でも検索精度

語検出における複数の機械学習モデルによる検を 1.46pt 向上し，検索時間を 3.46 秒削減できた．

索精度の改善, 2018 年度博士前期課程論文（2018）

スコア統合に比べて検索時間が削減したのは，加3)

赤平楓芽：End-to-End 音声認識ネットワークを用算方式では照合回数が 1 度で済むためであるといた音声中の検索語検出の検索精度向上, 岩手考える．検索精度の向上は，事後確率を足し

県立大学ソフトウェア情報学部卒業論文（2020）