発話内容に基づく目標印象を付与する話し顔生成

面談や接客，商談など様々な対話場面で，話者の印象が対人評価や対話の進行に影響する．これまでにオンライン面接や会議を対象に，非言語情報の可視化・フィードバック・コーチングを行う会話支援システムが提案されている[1,2,3,4,5,6]．一方で，相手に与えたい印象に合わせた支援は限定されている．このため，会話支援システムが話者の発話映像を変換し，「好感が持てる」といった目標とする印象を与えられる発話動画を作成・提示する支援は，コミュニケーション学習の観点から有用だと考えられる．例えば，利用者がロールプレイ等で話した動画を入力として，システムが目標印象を与えるように顔表情を変換した「手本動画」を生成し，利用者はその手本を参照しながら発話練習を反復する，といった利用形態が考えられる．発話の印象は，顔表情に加えて発話内容にも依存して形成される．したがって，「好感が持てる」話し顔の場合でも，入力発話がポジティブな内容（例：「今日は楽しかった」）かネガティブな内容（例：「次は君と夕食を共にしたくない」）かによって，適切な出力表情は異なり得る．このため，目標とする印象を表現するには，入力発話の意味を考慮する必要がある[7,8,9]．しかし，従来の入力音声に基づいた話し顔生成では，口唇運動と音声の同期を主な目的としてMFCC[10]等の音響特徴や音声埋め込みを用いることが多く，発話内容を考慮することはできない[11,12,13,14,15]．本研究では，目標とする印象を付与することを目指して，発話内容を考慮した話し顔生成を提案する．なお，本研究の基本的な枠組みおよび主要結果はICASSP2024で発表済みであり，本稿はその内容を日本語で再整理し，目標印象を付与する話し顔生成タスクとしての位置づけを明確化する（[16]）．本稿の貢献は以下の3点である．•入力発話の人物同一性・発話内容を保持しつつ，目標とする印象（好感が持てる／配慮がある）を付与する発話動画生成タスクを提案する．•データ量が乏しい制約の下で，教師あり学習によって顔表情特徴量を変換することで発話映像を生成する枠組みを提示する．•音声認識結果から得た言語特徴を考慮することで，同一印象でも発話内容によって適切な表情が変化する手法を実現する．