第 6 回 東北地区音響学研究会 (2023 年 11 月 25 日) 資料番号 6-5

大規模事前学習モデルに基づく音声認識による日本語単語了解度推定法の検討 ∗◎服部真稀, 近藤和弘 (山形大院・理工学研)1

はじめに規模事前学習モデルともいう. 音声認識においては事前学習モデルに小数のラベル付き音声でファイン雑音や残響などによる劣化音声に対する人間の聞チューニングするだけで高性能なモデルを実現でき

き取り能力は了解度 (intelligibility) で測定されるが,ることが利点の１つであり, 例えば音声サンプルの少その主観評価試験は非常にコストがかかる. その為,ない言語や方言の音声認識の実装で有効である. SIP

人間の心理値である主観評価値を音声の物理量からモデルの実装に際しても, 集まりにくいとされる了解推定する客観評価手法がこれまで研究されてきた. 音度試験のデータセットを有効活用でき, SIP タスクに

声了解度推定 (Speech intelligibility prediction; SIP)おけるデータ不足の解消が期待できる. 本研究ではタスクの実現において, 劣化音声の評価の際にリファ

wav2vec 2.0 [3] と HuBERT [4] の 2 つのアーキテク

レンス信号としてクリーン音声を必要とする侵入型チャを使って実験をした. 以下に各モデルの大まかな(intrusive) の手法に比べて, 劣化音声の入力のみで了

事前学習の仕組みと推論時の流れを紹介する.

解度を推定する非侵入型 (non-intrusive) の手法は実2.1用的であるが推定難易度は高い. また, 主観的な了解

wav2vec 2.0

度データは集まりにくく, モデルの構築のコストが大２つのアーキテクチャで大まかな流れは共通であきいという課題もある. 我々はこれまでに音声認識り, CNN モジュールで生の音声波形から音声の潜在(Automatic Speech Recognition; ASR) の SIP モデ表現を学習し, Transformer モジュールで潜在表現をルとしての利用を検討してきた. 音声認識は音声のコンテクスト表現として学習する. 違いとしては量入力だけで機能し, かつ音声とその転記のみでモデル子化モジュールと全体のネットワークの End-to-Endを構築できるので従来の SIP の問題点の解消できる.

学習にある. 図１に示すように, wav2vec 2.0 では音

しかし, この SIP の推定能力は音声認識の認識精度や声の潜在表現は量子化モジュールを通じて符号化ベ音声表現力に依存する. 例えば Hybrid 型 ASR によクトルに変換される. 全体では各フレームの類似度をる先行研究 [1] では, 主観評価に対して比較的高い相測る対照学習が行われている. これによって実現され関係数が見られたものの誤差は大きくなった. また,た wav2vec 2.0 の事前学習モデルは前述の通り, スク

話者や雑音条件ごとに適応学習が必要であり, 単一のラッチから学習した従来の音声認識モデルに比べてモデルの汎化性能はあまり無いとされる. そこで本研

少数のデータセットで高い性能が実現される. また,

究ではより高精度で汎用的な音声認識として事前学

XLSR-53 や XLS-R [5] のような多言語での学習の有習モデルに基づく最新の音声認識モデルを利用した効性が示されており, マルチリンガルにおいて共通の了解度推定を試みた. 主観評価, 先行研究との比較か事前学習モデルを利用することが出来るとされる. 一ら将来の汎用的な了解度推定モデルとしての検討を方で量子化モジュールの安定性や妥当性については行う.

議論されており, 実際に筆者も学習や出力が安定しないことを確認して例がある.

2大規模事前学習モデル
2.2
DNN の以降, 様々な機械学習手法が登場したが,HuBERT では wav2vec 2.0 における量子化モジュー

近年の急速な進展と応用を実現しているのが Trans-

ルは予め MFCC などの特徴量で学習された k-means

former [2] である. 音声分野においてもその傾向は見で構成されている. 符号化ベクトルに対して, k-meansられる. 特に自己教師あり学習で行う Transformer のの出力は擬似ラベルと呼ばれる. HuBERT の全体の音声表現学習によって, 汎用的な音声処理タスクに有学習は 2 段階に分かれており, 1 段階は初期学習とし効なエンコーダモデルを実現できるようになった. こて擬似ラベルと潜在表現によるマスク予測学習によっのエンコーダは事前学習モデルと呼ばれ, 自己教師あて Transformer のネットワークを学習する. 2 段階り学習 (Self Supervised Learning; SSL) は大量の音以降の反復学習では, 学習済み Transformer の出力を声データで学習させることが重要であることから, 大∗HuBERTk-means に通すことで得られる疑似ラベル系列を教

Estimation of Japanese word intelligibility by speech recognition based on a large-scale pre-training model.
by HATTORI, Masaki, KONDO, Kazuhiro (Yamagata University)1

第 6 回 東北地区音響学研究会 (2023 年 11 月 25 日) 資料番号 6-5
師ラベルとして同様の学習を複数回行い, 疑似ラベルを更新する. HuBERT は k-means の導入によって学Table 1

JDRT speech dataset (Kaga2006)

習目標が明確になり, 純粋な識別基準によって学習をItems

Condition行うことから, 学習の安定性や推論の速さで利点があ

Speaker

4 males & 4 females

る. wav2vec 2.0 に対しては同等以上の音声認識性能

Word60 pairs, total 120 wordsがあるとされている.

AudioNoise

1 ch/16 bit/ 16kHz
Clean Speech, Speech-Shaped NoiseWhite Noise, Bubble Noise

SNR

10, 0, -10, -15 [dB]

Total12480

実験条件

4

実験の流れである音声認識モデルの作成, モデルでの JDRT 模擬, モデルの評価を順に解説する.

Fig. 1wav2vec 2.0 and HuBERT based self-4.1supervised learning and inferenceモデル

wav2vec 2.0 または HuBERT の各事前学習モデル
を JDRT 音声でファインチューニングすることで, 言3わば”JDRT 用の音声認識モデル”を作成している. 2

主観評価試験 JDRTつのモデルアーキテクチャに対してそれぞれ 2 つのJDRT は単語対の先頭子音の聞き分け能力の診断に学習条件で学習する為, 合計 4 つのモデルを作成した.

よって了解度を測定する主観評価試験方法である [6].

利用した事前学習モデルは wav2vec 2.0 の日本語ファ

試験は先頭音素のみが異なる単語対で二者択一の試インチューニングモデル [7] と HuBERT の日本語事聴試験を繰り返し, その正解率を了解度とする. 単語前学習モデル [8] である.wav2vec 2.0 には [8] のようは子音属性によって 6 つに分類され, 各特徴につき 10に日本語での自己教師あり学習による事前学習モデ

ペア, 合計 120 単語から構成される. 以下は 6 つの子

ルは現時点では存在しない為, 英語の自己教師あり学

音属性とそれらの特徴である.

習による事前学習モデルを日本語でファインチューニングしたものを本研究で使うことにする. 次に学• Voicing: 有声音と無声音の分類 (ザイ：サイ)

習条件を Table 2 に示す. 学習データは音素のラベ• Nasality: 鼻音と口音の分類 (マン：バン)ルが付与された JDRT 音声であり, CTC デコーダの出力音素列の正解を目標に学習する. 学習に使用し• Sustention: 継続性の有無 (ハシ：カシ)

た JDRT のクリーン音声 (clean*) には 7 パターンの• Sibilation: 波形の不規則性の分類 (ジャム：ガム)

話速変換による Data Augmentation が適用されてい• Graveness: 抑音と鋭音の分類 (ワク：ラク)る. Sox コマンドの speed オプションによって話速を• Compactness: エネルギーの集中 (ヤク：ワク)

させた. Noisy のデータセットでは Kaga2006 の条件{0.85, 0.90, 0.95, 1.00, 1.05, 1.10, 1.15} 倍速で変化に加えてピンクノイズとブラウンノイズを含めた 5 種

正解率 S は式 (1) によって算出し, R, W, T はそ類の雑音で加算した. 当初 JDRT 音声のみでの学習

れぞれ正答数, 誤答数, 総試験回数である. S は 100%を試みたが, データの偏りなどから学習や ASR の出から-100%の値をとり, ランダムな回答は理想的には力が安定せず, 親密度別単語了解度試験用音声データ0%に収束する.

セット FW07 [9] を混ぜて学習させることで安定性をR−W
× 100[%](1)
T
Kaga2006 は JDRT の主観評価試験データセット得た. 学習データとテストデータ (Kaga2006) はデー

S=タ自体の重複はないが, 雑音種, SNR, 発話内容においてオーバーラップしていることになる.

であり, JDRT 単語が収録された音声と了解度のスコ

4.2アから成る. 本研究ではモデル構築での学習データ

JDRT 模擬作成した音声認識モデルに Kaga2006 の音声を入力と評価の際に, Kaga2006 を使用した. 音声の条件をし JDRT を模擬する. 本来の人間の回答としては単

Table 1 に示す.

2

第 6 回 東北地区音響学研究会 (2023 年 11 月 25 日) 資料番号 6-5
事前学習モデルの特徴表現の汎用性と効果的なファイ

Table 2 Training Condition

ンチューニングの結果によるものだと考えられる.

Table 4 は音素誤り率の結果である. CSJ のスコ
EpochsTrain dataset

アは３つの評価セット (eval1, 2, 3) の平均値である.

wav2vec 2.0

10・clean* JDRT(6720)

JDRT は認識単語と雑音のドメイン適応が取れておHuBERT

20・clean FW07(6400)

wav2vec 2.0

15・clean*/noisy JDRT(25920)

り, 更に学習によって向上が見られる. CSJ の評価

HuBERT

20・clean/noisy FW07(134400)

Modelsclean
noisy

セットでは高い精度とは言えず, 雑音で調整されたモデルによって値は増加した. しかし, 単語だけを学習したモデルである点, 言語モデルを使っていない点を語を選択することになるが, 音声認識の回答としては考慮する必要がある. 今後の検討としては音声認識と各音素の確率, またはその最大化による最終的なトー了解度推定を同時に推論するようなマルチタスクモクン列である. 実験全体を通じて音声認識から明確なデルの実装によって改善が見込めると考えている.

トークン列が得られたことから, そのトークン列の冒頭音素の正誤を判定した. 各音声に対する正誤を集計

Table 3

し, 雑音種, SNR, 子音特徴の条件の組み合わせによand objective evaluation
ModelsLCC

り C 式１に基づいて 90 サンプルの CRR を算出する.

4.3

Correlation and error between subjective

wav2vec 2.0

評価

モデルの出力から算出される CRR と Kaga2006 で同様の条件で算出される CRR の相関・誤差を取る

HuBERT

ことで提案モデルの SIP としての評価を行う. 相関

GMM-HMM

RCC

RMSE
36.15

claen

0.81

0.89

noisy

0.95

0.95

15.42

claen

0.86

0.93

26.47

noisy

0.97

0.95

8.41

multi

0.97

0.93

14.14

係数としてピアソンの積率相関 (Linear Correlation

Coeﬃcient; LCC) と, スピアマンの順位相関 (RankCorrelation Coeﬃcient; RCC) の 2 つ, 誤差として二Table 4PER for each evaluation dataset
CSJJDRT
Modelseval Kaga2006

乗平均平方誤差 (Root Mean Squared Error; RMSE)を用いた. また, 現時点でのモデルの汎用的な ASR の性能評価として CSJ コーパス [10] の eval 評価セット

wav2vec 2.0

claen

0.420.39に対する音素誤り率 (Phoneme error rate; PER) をnoisy

0.49

0.14測定した. なお, 評価セットは単語では無く文章認識

claen

0.39

0.29

noisy

0.43

0.07

HuBERT

タスクである.

5

結果と考察

6Table 3 に 4 つのモデルから推定した了解度と主観おわりに本研究では音声認識を用いた音声了解度の客観評評価との相関, 誤差を示す. また, 先行研究 [1] であ価指標の検討として, wav2vec 2.0 や HuBERT など

る GMM-HMM の結果との比較をする. wav2vec 2.0の自己教師あり学習に基づく大規模事前学習モデルと HuBERT で共に clean に対して noisy のスコアが用いて音素認識モデルを構築し, 単語や試験設定を限上回った. GMM-HMM で行われた雑音のマルチコ

定した了解度推定を行った. 構築した音声認識モデル

ンディション学習は本研究の noisy と同等の学習状の出力と人間の了解度において高い相関が得られ, 加況と考えられるが, wav2vec は同等の精度が得られ,算雑音でのファインチューニングによってその精度はHuBERT に関しては大きく上回る結果となった. こ向上した. 事前学習モデルと少数のデータセットで了

れらの結果は良い推定モデルを構築出来たと評価出

解度推定モデルを構築出来ることは利点である. しか来る一方で, 人間の雑音に対する反応を表現したのでし, 機械学習では学習データに依存することは避けらはなく, 単なる機械学習のロバストネスな結果である

れない為, 学習や検証において今後の更なる調査が必可能性もある. 今後は雑音に対するクロスバリデー要である. また, 今後の検討としては音声認識モデル

ションや未知雑音, 非定常雑音に対する反応などを評の潜在表現と利用することである. 音声認識による音価する必要がある. 先行研究での適応学習時に見られ声表現と了解度に関連を見つけることが出来ると, 単た雑音学習による原音声認識率の低下や, 顕著な話者

語や試験など学習状況に依存しない理想的な了解度

依存性は wav2vec 2.0 や HuBERT では無く, 大規模推定の実現につながると考えている.

3

第 6 回 東北地区音響学研究会 (2023 年 11 月 25 日) 資料番号 6-5

参考文献[1] T. Yusuke et al.

Estimation of speech in-telligibility using speech recognition systems.
IEICE TRANSACTIONS on Information andSystems, Vol. 93, No. 12, pp. 3368–3376, 2010.
[2] A. Vaswani et al. Attention Is All You Need.
In NIPS2017, 2017.
[3] Alexei Baevski et al. wav2vec 2.0: A frameworkfor self-supervised learning of speech representations, 2020.
[4] Wei-Ning Hsu et al. Hubert: Self-supervised
speech representation learning by masked prediction of hidden units, 2021.
[5] Q. Xu et al.

Simple and eﬀective zero-shotcross-lingual phoneme recognition, 2021.
[6] K. Kondo et al. On a two-to-one selection based
japanese speech intelligibility test. Acoust. Sci.
& Tech., Vol. 63, No. 4, pp. 196–204, 2007.
[7] Jonatas Grosman. Fine-tuned XLSR-53 large
model for speech recognition in Japanese.
https://huggingface.co/jonatasgrosman/wav2vec2-large-xlsr-53-japanese, 2021.
[8] rinna
base.

Co.,

Ltd.

japanese-hubert-

https://huggingface.co/rinna/japanese-hubert-base, 4 2023.
[9] S. Amano et al.

NTT-Tohoku University

familiarity-controlled word lists 2007. Speech
Resources Consortium, National Institute ofInformatics, 12 2007.
[10] K. Maekawa. Corpus of spontaneous japanese:
Its design and evaluation. In ISCA & IEEEWorkshop on Spontaneous Speech Processing
and Recognition, 2003.

4