イベントカメラを用いたマルチモーダル対話コーパスの構築と分析

対話における音声活動予測や感情認識などのタスクでは，発話に先行・随伴する微細な表情変化や身体動作が重要な手掛かりとなる．しかし，既存の対話コーパスで主に用いられているRGBカメラは時間分解能に制約があり，これらの高速な変化を十分に記録することが難しい．本研究では，高時間分解能および高ダイナミックレンジを特徴とするイベントカメラに着目し，雑談対話を対象として音声，RGB映像，イベントストリームを同期収録したマルチモーダル対話コーパスを構築した．本コーパスは25名・26セッション・総対話時間約3.5時間から構成される．構築したコーパスの有用性を検証するため，対話データを用いた事例解析を行った結果，音声活動に先行する微細な調音動作が捉えられていることが確認された．