3Dアバターに適用可能な音声駆動型リアルタイム表情生成システム

近年，3Dアバターを介したコミュニケーションが普及している．一方で，音声に同期したリアルタイムな表情生成には，遅延や表情の不自然さといった課題が残されている．本研究では，音声のみから表情動作の制御値を逐次推定し，限られた計算資源下でもリアルタイム動作するFacialMotionGeneratorを提案する．異なる音声特徴量と軽量なCross-Attentionモデルを用いた設計により，NVIDIAのAudio2Face-3Dと比較して単一話者データでMAE（平均絶対誤差）を0.147→0.111に低減し，推論時間を0.62ms/frameへ高速化した．