本研究では、大規模音声認識モデルであるWhisperに基づく音声感情認識手法を提案する。近年盛んに研究が行われている、事前学習済み音声エンコーダに基づく音声感情認識手法では、言語的な情報を十分に考慮することができなかった。そこで多量のデータ・複数の音声言語処理タスクで事前学習されたWhisperのデコーダを用いることで、言語情報も考慮した感情認識手法の実現を目指した。また、音声認識や性別認識といったサブタスクのトークンを含めた単一系列をデコーダで生成するマルチタスク学習手法を提案した。

音声感情認識（SpeechEmotionRecognition;SER）は、音声から人間の感情を識別する技術であり、メンタルヘルスケアやカスタマーサービス等において重要な役割を果たすため近年盛んに研究が行われている[1,2,3]。SERタスクは、カテゴリカルな分類とディメンショナルな分類に大別される[4]。カテゴリカルな感情分類は、発話を「喜び」「悲しみ」等の感情カテゴリに分類する、多クラス分類タスクである。一方、ディメンショナルな感情分類は、感情状態を感情価（Valence）、覚醒度（Arousal）、支配性（Dominance）といった複数の次元で表し、それぞれの数値を推定する回帰タスクである。本研究ではカテゴリカルな感情分類に焦点を当てる。近年、多くの音声処理タスクにおいて、Transformerエンコーダ[5]に基づく事前学習済みの音声処理モデル（音声エンコーダ）の活用が検討されている。SERにおいても、wav2vec2.0[6]やHuBERT[7]などの自己教師あり学習（Self-supervisedLearning;SSL）モデルに、感情認識結果を得るための小規模なデコーダを連結した手法が、従来手法を上回る精度を達成している[8,9,10]。wav2vec2.0などのSSLモデルは、大量のデータを用いた事前学習によって声の高さや音色などの韻律に関する豊富な知識を獲得しており、その知識がSER等の下流タスクに役立てられていると考えられる。一方で、SSLモデルの持つ言語に関する知識は限定的であり、単語の意味や単語同士の関連（文脈）などの言語情報を十分考慮できない。そのため、SSLモデルに基づくSERは、韻律情報だけでは解くことが難しいケースの認識精度が低いことが知られている[10]。音声エンコーダとして、大規模な音声認識（Au-tomaticSpeechRecognition;ASR）モデルWhisper[11]のエンコーダを用いたSER手法も提案されており、SSLモデルに基づく手法と同等以上の精度を達成することが示されている[12,13,14,15]。多言語ASRや音声翻訳といった複数の音声言語処理タスクで教師あり学習されたWhisperは、SSLモデルと比べて豊富な言語知識を持つと考えられる。またエンコーダ・デコーダ型のTransformerモデルであるWhisperのデコーダは、単語の意味や文脈等を考慮してテキストを生成する、一種の言語モデルとしての機能を有する[16,17]。そのため、WhisperデコーダをSERに利用することでより多くの言語情報を考慮した感情認識を行える可能性がある。しかし、Whisperに基づく既存手法[12,13,14,15]はいずれもWhisperエンコーダと小規模なデコーダで構成されており、Whisperデコーダの利用は検討されていない。他のアプローチとして、韻律と言語情報の両方を考慮するため、音声とテキストを入力として用いるマルチモーダルSER1）が存在する[18,19,20,21]。しかしこれらのモデルは、モダリティごとのエンコーダや外部のASRモデルなど多くのモデルを結合するため構成が複雑であり、SERタスクで全体を最適1）音声とテキストに基づく感情認識手法はマルチモーダルSERと呼ばれ、画像や生体信号等を含めた複数のモダリティを扱うマルチモーダル感情認識と区別される。."Happy"ASRGRSERReallygood.

FClayerSimpledecoderAveragepoolingNxMLPNxNxMLPWhisperdecoderCross-AttentionMLPWhisperencoderSelf-AttentionSelf-AttentionSelf-Attention