2-0-29
学習済みモデル学習用コード推論デモ公開中（） ◎中田宣,佐伯高明,齋藤佑樹,高道慎之介,猿渡洋(東大院・情報理工)制発指票：自己教師あり学習（SSL）モデルを用いた音声情報処理の経験
●自己教師あり学習（SSL）モデル
。画像、言語のみならず、音声においても有効。大量の音声データを用いて事前学習。幅広い音声処理タスクに対して有効。使用する隠れ層の数やSSLモデルの種類により所望タスクにおける性能が変化
●先行研究
Canonical Corelation Analysisを用いたSSLモデルの解析[1] 。各隠れ層の重み付き和を用いてタスク事の適切な層を調査[2] 。SSLモデル特徴量を用いた話者表現を調査[3] ●本研究。SSLモデル特徴量に音声合成に必要な音響的特徴がどの程度含まれているかを理解するために，再合成音声品質を調査。様々な音声ドメインに対して、複数のSSLモデルの異なる隠れ層から再合成した音声を比較所望のタスクに対して適したSSLモデルを選択するためにSSLモデル特徴量の理解が必要脚注外部(日中し[追求]—グFeature extractor |Melspectrogram extractor HuBERT OR wav2vec 2.0 WavLM HiFi-GAN Generator HiFi-GAN[4]を用いてSSLモデル特徴量から音声を再合成
評価用データセット
自身体験血結果(他の結果はず満を参照)便用する成心車に関する車価wav2vec 2.0-baseモデルに関して第3,6,9,12層を比較客観評価結果------ laughterscape SSLEデルの種類に関する事例wav2vec 2.0, HuBERT, WavLMの3種類のSSLモデルを比較baseモデルでは第3層、largeモデルでは第6層特徴量を使用客観評価結果jnv    ------ laughterscape主観評価結果一人当たり20サンプルを評価評価者数60人● hubert-large, wavIm-largeがmelより高いMOS値●話者類似度に関しては、メルスペクトログラムより劣る
今後のす定

[2] S. Chen et al..JSTSP. 2021 [3] K. Fujita et al., Proc. ICASSP, 2023   [5] H. Zen et al., Proc. Interspeech, 2019   [7] K. Ito et al., 2017
( 554) ●メルスペクトログラムを使用したモデルの高い汎化性能を確認●より入力に近い隠れ層において高い再構成性能●自然性と比べ、話者性ではmelとの乖離が大きい客観評価音が出来●  Mel-cepstrum distortion (MCD) ●  Log FO RMSE ● X-vector cosine similarity主観評価●  Naturalness mean opinion score (MOS) ● Speaker similarity MOSサンレセデル近年盛んに使用されている● wav2vec 2.0[13] ● HuBERT[14] ● WavLM[2]のbaseモデル（12層） largeモデル（24層）から得た特徴量から音声を再合成全15モデルを学習主観評価結果一人当たり20サンプルを評価評価者数60人使用したデータセット学習用データセット[8] J. Kominek et al., Proc. SSW, 2004   [10] D. Xin et al., 2023 [12] G. Hu et al.. IEEE.  2023 [14] Hsu, W.  et al., IEEE TASLP,  2021 , Saruwatari-Takamichi Lab., The University of Tokyo, Japan. [4] J. Kong et al., Proc. NeurIPS, 2020  [6] J. Yamagishi et al., CSTR, 2019 6 ©Wataru Nakata, Sep. 2023.日本音響学会第150回(2023年秋季)研究発表会13I Baevski A, et al., Proc, NeurIPS, 2023 NSHOT   AVATAR SYMBIOTIC SOCIETY OR 2-0-29
ニューラルペータの長教的歌山◎中田宣,佐伯高明,齋藤佑樹,高道慎之介,猿渡洋(東大院・情報理工)物発酵素：SSLモデル特徴量の理解が次のられている●自己教師あり学習（SSL）モデル。大量の音声データを用いて事前学習。幅広い音声情報処理に対して有効。使用する隠れ層や事前学習規範により所望タスクにおける性能が変化●先行研究o  Canonical Corelation Analysisを用いたSSLモデルの解析[1] 。角隠れ層の重み付き和を用いてタスク事の適切な層を調査[2] ●本研究オープンソースです❤所望のタスクに対して適したSSLモデル選択するためにSSLモデル特徴量の理解が必要。テキスト音声合成、音声変換で重要となる再合成音声の品質を調査。様々な音声ドメインに対する再合成音声を比較基礎もしたら使用したデータセット便用したポコータHiFi-GAN Generator
自動車学習用データセット
評価用データセット客観評価● Mel-cepstrum distortion ●  Log FO RMSE ● X-vector cosine similarity主観評価● Naturalness MOS ● Speaker similarity MOSザックレゼデル全15モデルを学習命名規則{SSLモデルの種類}-{SSLモデルのサイズ}-{隱れ層数例: wav2vec2-base-16 wav2vec2のbaseモデル第6層出力で学習HiFi-GAN[3]を用いてSSL特徴量から音声を再合成高い山の地はする成し産世フになる台政府市の必ずに各観評曲結果(a) Mel-cepstrum distortion [dB]  (b) Log-F0 RMSE [cent]王観評価結果●メルスペクトログラムを使用したモデルの高い汎化性能を確認●より入力に近い隠れ層において高い再構成性能
● hubert-large-l6, wavlm-large-l6がmelより高い自然性●話者類似度に関しては、melより劣る[1] A. Pasad et al., Proc. ASRU, 2021 [2] S. Chen et al., arXiv, 2021 [11] G. Hu et al., IEEE,  2023 [3] J. Kong et al., arXiv, 2020 [5] J. Yamagishi et al., CSTR, 2019    [7] J. Kominek et al., Proc. SSW, 2004  [9]D. Xin et al., 2023 [6] K. Ito et al., 2017 [10] D. Xin et al., arXiv, 2023 [4] H. Zen et al., arXiv, 2019 [8] S. Takamichi et al., arXiv, 2020 , Saruwatari-Takamichi Lab., The University of Tokyo, Japan. 6 ©Wataru Nakata, Sep. 2023.日本音響学会第150回(2023年秋季)研究発表会