数学を用いる協調作業対話では、参加者はホワイトボードのような視覚的作業空間を共有しながら、音声言語によってコミュニケーションを行う。このような状況におけるマルチモーダル相互作用を理解する上では、参照関係を含む対話構造解析が重要である。これは例えば、不十分に特定された表現（例えば「これ」や「それ」といった代名詞）とボード上に書かれた対応する数学記号や方程式との間の参照関係などを含む。この課題に対処するため、またVisuallyGroundedDialogueの研究から着想を得て、本研究では数学協調作業におけるマルチモーダル参照解析に焦点を当てる。数学表現が説明の過程で段階的に書き加えられ、かつ発話から同時に参照される状況として、数学教育動画を用いる。発話をホワイトボード上の視覚的数学要素へ明示的に接続する画像ベースのアノテーションスキーマを提案し、複数の粒度レベルで参照構造を捉える。本研究ではこうしたホワイトボードを用いた対話構造解析のための基盤を提供し、数学協調作業対話における曖昧性と参照解決の将来的なモデリングを支援することを目的とする。

数学の問題解決対話では、参加者はホワイトボード上の手書き記号や方程式といった視覚的作業空間を共有し、音声言語によってコミュニケーションを行う。このようなマルチモーダル相互作用を理解する上で重要な課題は、対話発話、特に「これ」や「それ」といった曖昧な代名詞と、それに対応する視覚的な数学要素との間の参照関係を解決することにある。これらの関係を含む対話構造の解析を行うことは、人間の問題解決行動を理解するうえで不可欠であり、数学コンテンツと相互作用する知的マルチモーダルシステムの開発にとっても重要である。VisuallyGroundedDialogueに関する先行研究[1,2]では、言語と自然画像の対応付けが検討されてきた。ただしこれをホワイトボード上の数学協調作業の文脈に適用した場合、いくつかの固有の課題が浮かび上がる。数学における参照は、抽象的な記号表現を対象とすることが多く、その意味は視覚的外観だけでなく、数学的構造や談話文脈にも依存する。既存の枠組みは、数学協調作業におけるこのような動的で多段階の参照を扱うことが難しい。本研究では、こうした数学協調作業の問題解決における曖昧性と参照解決、またの将来的な対話構造解析を支えるため、タスク定義とアノテーションガイドラインを作成する。本研究ではアノテーション対象となる題材として、数学教育動画を利用する。こうした動画は講義形式であり、対面の相互対話より構造化されているが、代名詞の使用や視覚に基づく言及といった数学協調作業における中核的な参照現象を含む。本研究では、発話を視覚的数学要素に接続する画像ベースのアノテーションスキーマを設計し、粒度の異なる複数レベル（数式、スパン、項）で参照関係を捉える。本研究は、数学の問題解決対話におけるマルチモーダル参照解決の枠組みを提案し、対話構造におけるギャップを埋めることを目指す。