音声言語モデルに基づくパーソナライズド音声感情認識のための効果的なIn-ContextLeningの検討

音声感情認識（SpeechEmotionRecognition:SER）は，人間とコンピュータ，あるいは人間同士のコミュニケーションを理解するために重要な役割を担っている．例えば，コンタクトセンタにおける顧客の満足度推定[1]や，同情や共感のできる音声対話システムへの応用[2]が期待されている．しかし，感情の表出傾向は文化や環境，個人の特性によって大きく異なるため，SERは一般化が難しい[3]．未知話者へのSER性能を向上させるため，対象話者の登録発話を推論時に条件づけることでSERモデルをその話者にパーソナライズする方法がある[4,5]．登録発話とは，事前に録音された対象話者の感情状態を表す発話のことであり，モデルはこの発話を手掛かりにSERをパーソナライズする．ここで，登録発話の数や感情の種類を柔軟に調整するために，大規模言語モデル（LargeLanguageModel:LLM）を音声入力が可能となるように拡張した音声言語モデル（SpeechLanguageModel:SLM）におけるin-contextlearning（ICL）[6]を活用したパーソナライゼーション手法が提案されている[7]．この手法では，ICLに用いる登録発話とそのラベルの数が増加するほど性能が向上し，動的なパーソナライゼーションが可能となった．しかし，ここで示された結果は全感情の平均精度のみであり，登録発話の選択方法のバリエーションも限定されたものであった．ICLの活用に関して，LLMでは，事例の選択や提示順によって性能が大きく変動することが報告されている[8,9]．また，音声言語モデルにおけるICLを音声認識タスクに活用した場合，事例に用いる音声サンプルの選択が性能に影響することが報告されている[10]．そのため，ICLをSERタスクのパーソナライゼーションに活用する場合にも，登録発話の特徴によって性能やその効果に影響を与える可能性がある．これらの特徴を明らかにすることで，SLMに基づくパーソナライズドSERにおいて効果的なICLを実施できるようになると考える．そこで本稿では，SLMに基づくパーソナライズドSERにおいて，より効果的なICLを実施するために必要な要素を明らかにすることを目的とする．ICLに基づいてSERをパーソナライズする場合の特有の課題として，登録発話における感情の種類の選択方法が挙げられる．例えば，複数の登録発話において感情の重複がある場合とない場合で性能が変化するのかといったことである．また，ICLで共通した課題である，例に用いる音声サンプルやその提示順が与える影響や，各感情や各話者に対するパーソナライズ効果についても詳細な分析を行う．本稿で明らかになった，SLMに基づくパーソナライズドSERに対する効果的なICLの特徴とその効果を以下に示す．•登録発話の感情の種類の選択では，目的発話と同じ種類の感情が含まれており，感情の種類の被りがないほど性能が向上する．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).shotABCDE全て怒り全て嫌悪全て恐怖全て喜び全て悲しみ全て驚き全て平静066.466.466.466.466.466.466.466.466.466.466.4169.869.869.269.269.569.670.469.970.270.369.0