ホワイトボードを用いた数学協調作業の対話構造解析に向けて

数学を用いる協調作業対話では、参加者はホワイトボードのような視覚的作業空間を共有しながら、音声言語によってコミュニケーションを行う。このような状況におけるマルチモーダル相互作用を理解する上では、参照関係を含む対話構造解析が重要である。これは例えば、不十分に特定された表現（例えば「これ」や「それ」といった代名詞）とボード上に書かれた対応する数学記号や方程式との間の参照関係などを含む。この課題に対処するため、またVisuallyGroundedDialogueの研究から着想を得て、本研究では数学協調作業におけるマルチモーダル参照解析に焦点を当てる。数学表現が説明の過程で段階的に書き加えられ、かつ発話から同時に参照される状況として、数学教育動画を用いる。発話をホワイトボード上の視覚的数学要素へ明示的に接続する画像ベースのアノテーションスキーマを提案し、複数の粒度レベルで参照構造を捉える。本研究ではこうしたホワイトボードを用いた対話構造解析のための基盤を提供し、数学協調作業対話における曖昧性と参照解決の将来的なモデリングを支援することを目的とする。