イベントカメラを用いたマルチモーダル対話コーパスの構築と分析

対話システム研究では言語情報の処理が主要な研究対象となってきた．しかし実際の対話では，発話の重なりや言い淀み，省略表現が頻繁に生じ，言語情報のみでは話者の意図を理解することは困難である．これらの現象を理解するには表情や身体動作，韻律情報などの非言語情報が不可欠である．特に雑談のような社会的対話では，情報伝達よりも関係性の構築や維持が重視され，表情や視線，韻律といった非言語的手がかりが相手の感情状態や発話意図の理解に大きく寄与する[1]．このような背景から，音声・映像など複数のモダリティを統合的に扱うマルチモーダル対話システムに関する研究が重要性を増している[2,3]．マルチモーダル対話研究の推進には，複数のモダリティを同期的に記録し，各モダリティの寄与を分析可能なコーパスの構築が不可欠である．しかし，従来のマルチモーダル対話コーパスで用いられるRGBカメラは30fps程度のフレームレートに制限され，発話開始の予兆となる口唇の微動など，フレーム間で生じる微細な変化を捉えることが困難である．そこで本研究では，マイクロ秒単位の高時間分解能と高ダイナミックレンジを有するイベントカメラを導入したマルチモーダル対話コーパスの構築に取り組む．イベントカメラは輝度変化を非同期的に検出するため，従来のカメラでは捉えきれなかった対話中の瞬間的な非言語現象の観測が可能になると期待される．しかし，イベントカメラを用いた対話コーパスはほとんど存在しない[4]．本研究によるコーパスの構築により，音声活動の検出・予測，ターンテイキングや聞き手反応の詳細な時間構造の解明，数十ミリ秒で生起・消失する微細な表情変化による感情認識の精緻化など，対話ダイナミクスの理解に向けた新たな研究展開が期待される．本論文では，マルチチャネル音声，RGB映像，イベントストリームを同期させたコーパス構築について報告する．26セッション・約3.5時間のデータを収集し，音声波形とイベント発生パターンの定量的・定性的分析により，本コーパスが微細な非言語現象の解析に有用であることを確認した．