大規模音声認識モデルに基づく韻律・言語情報を考慮した音声感情認識

本研究では、大規模音声認識モデルであるWhisperに基づく音声感情認識手法を提案する。近年盛んに研究が行われている、事前学習済み音声エンコーダに基づく音声感情認識手法では、言語的な情報を十分に考慮することができなかった。そこで多量のデータ・複数の音声言語処理タスクで事前学習されたWhisperのデコーダを用いることで、言語情報も考慮した感情認識手法の実現を目指した。また、音声認識や性別認識といったサブタスクのトークンを含めた単一系列をデコーダで生成するマルチタスク学習手法を提案した。