会議発話間の関係性推定におけるマルチモーダル情報活用方法の初期検討

会議において、相手が自分の発言を支持しているかどうかを知ることは、会議を円滑に進める上で重要である。本研究では、対面会議において、発話と応答のペアに対し、応答が発話を支持するものかどうかをマルチモーダル情報を用いて推定することを検討する。発話および応答の書き起こしテキスト・音声・顔動画を入力とするTransformerEncoderに基づくモデルを利用し、各モーダルの効果を検証した。複数人会議コーパスAMIを用いた実験では、テキストモーダルが最もF1値に影響を与えることが示唆された。