⾳声の破損により失った⽂字情報を復元する⾳声認識

2020/10/23
東 佑樹、Sakriani Sakti、中村 哲 @ NAIST, 知能コミュニケーション研究室

目次

1. 研究背景及びその目的
2. 提案手法(1):BERTによる後処理
3. 提案手法(2):VQ-VAEによる前処理
4. 結論

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

2

音声認識とはn 音声認識音声信号を文字情報に変換する技術
l応用事例: スマートスピーカー、文字起こし

n 音声認識のモデル
l隠れマルコフモデル(HMM)ベース
lニューラルネットワーク(DNN)ベース
l性能はモデルの構成やデータセットに依存

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

3

騒音環境下での音声認識の課題
性能の劣化
n データセットに存在しない雑音により性能が劣化
l データセットに雑音の情報が含まれていれば、性能が改善する可能性がある
l 実環境における雑音の種類は事前に予測不能

ノイズ削減技術の限界
n 多くの研究ではノイズ削減にフォーカスl 雑音が非常に大きい場合、 元の音声がかき消され復元不能に

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

4

関連研究
n Looking Enhances Listening: Recovering
Missing Speech Using Images [Srinivasanet al. (2020)]
画像を用いてマスクされた音声に対応する文字情報を復元l画像データが追加で必要
lマスクする箇所は名詞に限定

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

5

研究の目的
音声認識+復元モデル
破損した音声今日X

暑い

今日 は暑い です

復元した文字情報です

以下の情報を使用せず破損した音声の復元を目指す• 追加データ(画像等)• 破損した位置
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

6目次

1. 研究背景及びその目的
2. 提案手法(1):BERTによる後処理
3. 提案手法(2):VQ-VAEによる前処理
4. 結論

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

7提案手法 (1): BERTによる後処理
音声認識

今日 とても 暑い です
今日 [MASK] 暑い です

BERT

今日 は 暑い です

破損した音声今日X

暑いです

BERTを用いて音声認識の誤りを訂正
アーキテクチャ• 音声認識：Attention機構付きのEncoder-Decoderモデル• 破損位置の推定、[MASK]への置換• BERT：マスク箇所の復元
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

8

破損位置の推定
n 手法A：Attention matrixを使用 (Attention based)
ノイズの位置に対応する単語をAttention matrixから推定

入力音声

Attention matrix

今日[MASK]
晴れです
<eos>

n 手法B：正解テキストを参照 (Reference based)
認識誤りの箇所を正解テキストの単語数分[MASK]に置換ØBERT による音声認識誤りの復元能力のみを検証するため例:

ASR output:
Reference:
Masked result:

今日 は とても 暑い です
今日 は 晴れです
今日 は [MASK]です
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

9

BERT (Bidirectional Encoder Representations from Transformers)
モデルの概略 (Masked Language Modelとして):

今日 は 晴れ ですn 埋め込み層(マスクされた) 文字情報 -> Hidden vectorn Transformerによる層
Hidden vector -> Hidden vector -> ... -> Hidden vectorn マスクされた単語の予測
Hidden vector -> 出力テキスト

今日 は [MASK] です[Devlin et al.]
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/2310

実験設定(1)n データセット：LJSpeechl 総収録時間: 23:55:17
l 総データ数: 13100
l 話者数: 1※破損させる比率: 1音声の5% (ホワイトノイズ に置換)

n 音声認識：Attention機構付きEncoder-Decoderモデル
l 語彙数: 30k (BERTの語彙数と同一)
l 認識単位: Wordpiece (BERTで使用されているサブワード単位)

n 破損位置の推定
l 手法A：Attention basedl 手法B：Reference basedn BERTl モデル：pretrained BERT-Base (Transformer Block × 12, Hidden size: 768)

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/2311

実験結果(1)後処理

入力

出力例

WER(%)

even so severe a critic as mister wakefield states that a stranger to(Answer)
the sceneeven so severe a critic as mister wakefield states that its stranger toClean
16.798the scene .
even so ##rre ##ls as mister wakefield ' s states that its stranger toMissing29.412the scene .
even so [MASK] [MASK] as mister wakefield ' s states that its strange
マスク
Missing30.288(Attention based)r to the scene .
even so far strange as mister wakefield ' s states that its stranger to t
マスク+BERT
Missing
27.722(Attention based)
he scene .
even so [MASK] [MASK] [MASK] as mister wakefield states that [MAS 22.455
マスク
Missing(Reference based)
K] stranger to the scene
マスク+BERT
Missing even so far a , as mister wakefield states that a stranger to the scene 16.932(Reference based)※Clean：元のデータセットの音声

Missing：一部をホワイトノイズに置き換えた音声
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

12実験結果(1)n Attention basedにより認識精度が僅かに向上
l マスクしたテキストのWERは破損した音声によるWERと同程度Ø 認識誤り箇所からの誤り単語の推定はうまく機能している
Ø 推定箇所は置換誤りにのみ対応
l ホワイトノイズ の位置情報が必要

n Reference basedではWERが大きく減少
l 3種類の認識誤りに対処しているため(挿入 / 削除 / 置換)l BERTによる単語の復元は主に高頻度のトークン(a、the、コンマ、ピリオド等)に限定

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

13

目次

1. 研究背景及びその目的
2. 提案手法(1):BERTによる後処理
3. 提案手法(2):VQ-VAEによる前処理
4. 結論

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

14提案手法(2): VQ-VAEによる前処理
VQ-VAE

破損した音声今日X

暑いASR

今日 は 暑い です

再構成した音声です

VQ-VAEを用いて音声を復元
アーキテクチャ• 音声認識：Attention機構付きのEncoder-Decoderモデル• VQ-VAE：破損した音声の再構成
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

15Conditional VQ-VAE (Vector Quantized Variational Autoencoders)モデルの概略:n エンコーダ
入力音声 -> Hidden vector

n デコーダ
コードブックID + Hidden vector (話者情報) -> 再構成音声

n コードブック
Hidden vector (Encoder) -> コードブックID

n Speaker embedding
Speaker ID -> Hidden Vector[Andros et al.]
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

16

実験設定(2)n データセット: LJSpeech (提案手法(1)と同一)
n 音声認識：Attention機構付きEncoder-Decoderモデル (提案手法(1)と同一)
n Conditional VQ-VAE
設定1 (Clean -> Clean):l 入力音声：Cleanl 出力の正解データ：Clean

設定2 (Clean+Missing -> clean):l 入力音声：Clean + Missing ×5
l 出力音声：Clean

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

17実験結果(2)
学習データ

入力(Answer)
Clean
Missing

Clean

Reconstructed Speech(clean -> clean)
Reconstructed Speech(missing -> clean)
Clean

Clean +Missing
Reconstructed
Reconstructed Speech
Speech(clean -> clean) (clean -> clean)
Reconstructed Speech(missing -> clean)

出力例

WER

even so severe a critic as mister wakefield states that a stranger to thesceneeven so severe a critic as mister wakefield states that its stranger to the 16.798
scene .
even so ##rre ##ls as mister wakefield ' s states that its stranger to the29.412
scene .
even so severe a critic as a rec ##al field states that its stranger to the22.844
scene ,
even so powerless para ##ed as mis ##ess lin field states , that a
33.731stranger to the scene ,even so severe a credit as mister wakefield states , that a stranger to the 13.697
scene .
even so short credit as mister wakefield states , that a stranger to the30.933
scene .
even so severe credit as mister wakefield states that a stranger to the16.216
scene .
even so severe a printed as mister wakefield states , that of a stranger to 24.070
the scene .
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

18

実験結果(2)n 再構成した音声(Clean+Missing -> Clean) のWERはMissingのWERより改善
l VQ-VAEによるノイズの削減がうまく機能している
l 音声認識の学習データがCleanのみの場合、WERは悪化
Ø 再構成した音声の歪みがモデルによって未知の信号として処理された可能性

n 音声認識の学習データに再構成した音声(Clean -> Clean)を追加すると、CleanのWER が改善
l 学習の設定がマルチコンディション学習に類似
l このような学習設定が音声認識の頑健性の向上に寄与した可能性

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/2319

目次

1. 研究背景及びその目的
2. 提案手法(1):BERTによる後処理
3. 提案手法(2):VQ-VAEによる前処理
4. 結論

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/2320

結論
n 研究の目的：追加の情報を使用せず音声認識の精度を改善
n 提案手法1：BERTによる後処理
l BERTでは主にどのデータセットにおいても高頻度で出現するトークンが復元できた
l Attention basedによる誤り箇所の推定は、置換誤りのみに対応
l 今後の課題：3種類の認識誤り位置の推定、言語情報以外のデータをBERT による推定に利用

n 提案手法2：VQ-VAEによる前処理
lVQ-VAEにより入力音声から欠落した情報を復元できた
lVQ-VAEによる再構成音声を音声認識の学習データに加えることで、頑健性が向上

n 今後の課題
l ノイズの箇所、割合、パワーの変化による誤認識の変化を十分に検証していないØ ノイズの条件(種類、位置、割合、パワー)の変化による誤認識の傾向の変化等について検証

東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

21

付録

Attention機構付きEncoder-Decoderモデル
モデルの概略:n エンコーダ (RNN)
入力特徴 (melspectrogram) -> Hidden statesn デコーダ (RNN)
Hidden states (エンコーダ) + Attention-> Hidden states (デコーダ) -> 文字情報

n Attention

Attention matrix

エンコーダ、デコーダの各状態との対応関係[Andros et al.]
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

23

実験結果(2)：音声波形の画像化

元の音声再構成した音声 (0% noise)

破損した音声再構成した音声 (5% noise)
東 佑樹、Sakriani Sakti、中村 哲@NAIST, 知能コミュニケーション研究室
2020/10/23

24