手話話者の感情認識には，理論的課題と実践的課題が存在する．すなわち，文法的顔表情と情動的顔表情の重なり，およびモデル学習に用いるデータの不足である．本稿はこれら2つの課題に対しクロスリンガルな設定で取り組む．具体的には，我々が新しく構築した日本手話話者の感情認識ベンチマークであるeJSLsoloと，字幕付きの大規模英国手話データセットBOBSLを用いる．実験により，(1)音声言語側のテキスト感情認識が手話側のデータ不足を緩和し得ること，(2)時間区間選択が性能に大きく影響すること，(3)ジェスチャー特徴量の導入が手話話者の感情認識を向上させることを示す．既存の音声言語LLMより強いベースラインも提示する．

感情認識は，自然言語処理における中核的トピックの一つであり[1]，より自然で共感的なシステムの実現に資する[2,3]．そのようなシステムは社会的少数派にとっても多数派と同等か，あるいはそれ以上に重要であろうが，少数派は取り残されている状況にある．近年，手話言語処理[4,5,6]にも注目が集まっているが，手話話者の感情認識はこれまでほとんど検討されていない．我々の知る限り，関連して存在するデータセットは，米国手話（ASL）のEmoSign[7]のみである．そこで我々は，感情認識のための日本手話コーパスeJSL1）を構築した．eJSLは独話形式のeJSLsoloと対話形式のeJSLdialogを含み，どちらも2名の手話話者による台本の演技として収録した．eJSLsoloでは，78の発話を各7つの異なる感情状態で表出してもらい，計1,092本のビデオクリップを収録した．eJSLdialogでは，各4発話からなる480対話について，発話毎に1つ指定された感情状態で表出しても1）https://dataverse.harvard.edu/dataverse/eJSLらい，計1,920本のビデオクリップを収録した（但しdialogで用いた感情状態は4つのみ）．手話話者の感情表現は，顔表情が文法情報と感情情報の双方を担うために，音声言語話者のそれよりも複雑になる[8,9].例えば，眉の動きは疑問文[10]または驚き[11]を表現しうる．非手話話者データで学習した感情認識モデルではこのような多義性を解消することは困難である．この課題に対処するため，本稿では次の3つの仮説を検証する．すなわち，(1)音声言語におけるテキスト感情認識は，手話感情認識におけるデータ不足を緩和し得る，(2)文法表現の影響を受けにくい時間区間を選択することは性能に大きく影響する，(3)ジェスチャー特徴量の導入が手話話者の感情認識を向上させる．eJSLsoloを用いた実験により，いずれの仮説も支持された．