音声分析
機械学習によりAcoustic Unit (AU) を得ることをAcoustic Unit Discovery; AUD という。典型的なAUDでは教師なし学習を用い、音声信号に繰り返し現れる単位(= AU)を抽出できるようモデルを学習する。学習方法やモデルによりAUがもつ特性は異なる(例: 音素に似た話者独立な特徴量、話者性を持つフォルマント的な特徴量)。AUは音声合成(unit-to-speech, speech resynthesis)や言語モデル(例: GSLM)に利用される。用途によりAUに求められる特性は異なる。
以下は具体的な手法の一例である。
教師なし学習 再構成ベース: VQ-VAE-WaveNet 自己教師あり学習ベース: CPC, wav2vec 2.0, HuBERT
ASRモデル