Bottleneck 特徴量および CRNN モデルの導入による音声中の音声検索語検出における性能評価
Performance Evaluation of Spoken Query-Spoken Term Detection
by Adopting Bottleneck Features and CRNN Model0312018157 山賀 光
指導教員：伊藤慶明 小嶋和徳と呼び，これらを時系列順に並べた行列を

1. はじめに

Posteriorgram と呼ぶ．Posteriorgram 照合では，音近年，記憶媒体の大容量化に伴い，音声データ声データ，音声クエリ双方の Posteriorgram を用を含む大量のデータから特定のシーンを検索語いて連続 DP（Dynamic Programming）照合を行い，で検索する音声中の検索語検出（STD：Spoken

検索結果を求める．連続 DP 照合に使用する局所

Term Detection）と，クエリ（検索語）を音声とし距離は，音声データ，音声クエリ双方の事後確率て与えて STD を行う SQ-STD（Spoken Query-STD）

ベクトルの内積を算出し，その負の対数をとるこの研究が活発化している．とで求める．前述したように，高精度な検索が可

SQ-STD の代表的な手法に Posteriorgram 照合方式 が挙げられる．後述するように，DNN（Deep1)能である一方，メモリ使用量が多いことや，検索に長い時間を要する．

Neural Network）に音声特徴量を入力すると約検索時間とメモリ量の削減のため，先行研究で3,000 次元の事後確率ベクトルが得られ，これをは最尤系列照合方式 1)が提案された．本方式は，フレーム毎に並べたものが Posteriorgram であり，音声クエリまたは音声データの各フレームの事

音声データ，音声クエリ双方の Posteriorgram を後確率ベクトル約 3,000 次元の内，最大確率を示照合することで高い検索精度が得られる．一方，す状態と見なし，その状態番号の 1 次元に圧縮しPosteriorgram 照 合 で は ， 音 声 デ ー タ のて連続 DP 照合を行うものである．本手法を音声

Posteriorgram を保持するためメモリ使用量が多クエリに適用したものが音声クエリ最尤系列照く，局所距離に対する計算コストが高いため長い合 1)であり，検索時間の高速化が実現された．音検索時間を要する．

声データに適用したものが音声データ最尤系列

先 行 研 究 で は ， 深 層 学 習 モ デ ル に BLSTM照合 1)であり，検索時間の高速化に加え，大きな（Bidirectional Long Short -Term Memory）を使用

音声データを圧縮できるためメモリ使用量の大した際に高い検索精度が得られた．本研究ではま幅な削減が実現された．一方，情報量削減によりず，検索精度を維持しつつ検索時間とメモリ量の検索精度が低下した．

削減のため，BLSTM の Bottleneck 特徴量を用いた照合方式を提案し，Posteriorgram 照合方式や後3. 提案手法

述する他の先行手法と比較，性能評価を行う．次3.1. Bottleneck 特徴量に，BLSTM の検索精度を向上させるため，CRNN

深層学習において，中間層の中に Bottleneck 層（Convolutional Recurrent Neural Network）の導入と呼ばれる層を作成し，そこから得られた特徴量方式を提案し，各種照合方式との比較，性能評価を Bottleneck 特徴量 2)と呼ぶ．
Bottleneck 層では，を行う．

他の中間層よりもノード数を少なくすることで情報量を絞り込み，有用な特徴量を抽出する役割

2. 先行手法を 果 た す ． 本 研 究 で は ， BLSTM か ら 得 た

音声認識システムでは一般に，音声データを 1

Bottleneck 特徴量を用いて照合を行い，前述の各フレーム毎の特徴量に変換し，これらの特徴量を種照合方式と比較する．この際，Bottleneck 特徴DNN に入力することで，HMM（Hidden Markov

量は従来のように事後確率ベクトルではなく，単Model）で定義された各状態の事後確率が得られなる特徴量ベクトルとなるため，連続 DP 照合時る．この状態数分のベクトルを事後確率ベクトルの局所距離はコサイン類似度を求め，その後 1 から引くことで求める．BLSTM の中間層は 256 ユ

表 1

NTCIR-10 での実験結果

表 2NTCIR-12 での実験結果

ニットを 5 層配置し，Bottleneck 特徴量を抽出す
る際は 256 ユニットを 4 層，Bottleneck 層として32 ユニットを 1 層配置した．
3.2. Convolutional Recurrent Neural Network
CRNN は，CNN（Convolutional Neural Network）と RNN（Recurrent Neural Network）を組み合わせたモデル構成である 3)．CNN 部では局所的特徴を抽出し，後の RNN 部で大域的特徴を抽出することで，それぞれ単体で使用した場合よりも検索精度の向上を狙う．本研究では，先行手法に則りRNN 部に BLSTM を使用した．CRNN の構成は，畳み込み層と最大プーリング層をそれぞれ 2 層ずつ配置し，その後同様の BLSTM 層を 3 層配置した．

4. 評価実験

これは，CNN 部において局所的な関係を学習

4.1. 実験条件

し，RNN 部において時間的な依存関係を学習す

深層学習モデルの学習データには，CSJ（日本語話し言葉コーパス）の 2,702 講演（約 600 時間）を使用した．入力する音声特徴量は FBANK 120次元とし，出力層は triphone3,009 状態と対応させることで，双方の長所を利用することができたためであると考える．

5. おわりに本研究では，Bottleneck 特徴量を用いた照合と，た．
4.2. テストセット

CRNN モデルから得られた出力を用いた照合を評 価 用 の テ ス ト セ ッ ト に は ， NTCIR-10 と提案し，先行手法との性能評価実験を行った．

NTCIR-12 の Formal run を用いた．NTCIR-10 でCRNN を用いた際，従来の BLSTM を用いた際とは，音声クエリに男女各 5 人，計 10 人の発話を比較して検索精度を NTCIR-10 では 0.83pt 向上，録音した 100 クエリを，検索対象の音声データにNTCIR-12 では 1.17pt 改善でき，CRNN モデルのSDPWS104 講演（約 29 時間，40,746 発話）を用有効性を確認できた．

いた．NTCIR-12 では，音声クエリに Formal run

今後は，CRNN モデルの構成を変更する他、で提供された 10 人の 113 クエリを，音声データ

CRNN から得られた Bottleneck 特徴量を用いて照に SDPWS98 講演（約 27.5 時間，37,782 発話）を合を行いたい．

用 い た ． 評 価 指 標 に は ， MAP （ Mean AveragePrecision）を用いた．
4.3. 実験結果

参考文献
1)

音声クエリ・音声ドキュメントのフレーム

NTCIR-10 を用いた実験結果を表 1 に，NTCIR-レベル最ゆう系列化照合方式，電子情報通12 を用いた実験結果を表 2 に示す．

信学会論文誌 (2020)

Bottleneck 特徴量を使用した際の検索精度は，
NTCIR-10，NTCIR-12 ともに最尤系列照合と同レ

伊藤慶明他：音声中の検索語検出における

2)

Atsunori Ogawa et al：Robust Example Searchベルであるが，検索時間が最尤系列照合より 3 秒

Using Bottleneck Features for Example-based程度要した．メモリ使用量は 100GB 以上削減すSpeech Enhancement，INTERSPEECH (2016)

ることができ，実用可能な範囲に抑えた．

3)

Haikang Yan et al ： CRNN-CTC BASEDCRNN モ デ ル を 用 い た 際 の 検 索 精 度 は ，MANDARIN

NTCIR-10，NTCIR-12 ともに従来の BLSTM を用ICASSP (2020)

いた Posteriorgram 照合よりも向上できた．

KEYWORDS

SPOTTING,