ホワイトボードを用いた数学協調作業の対話構造解析に向けて

数学の問題解決対話では、参加者はホワイトボード上の手書き記号や方程式といった視覚的作業空間を共有し、音声言語によってコミュニケーションを行う。このようなマルチモーダル相互作用を理解する上で重要な課題は、対話発話、特に「これ」や「それ」といった曖昧な代名詞と、それに対応する視覚的な数学要素との間の参照関係を解決することにある。これらの関係を含む対話構造の解析を行うことは、人間の問題解決行動を理解するうえで不可欠であり、数学コンテンツと相互作用する知的マルチモーダルシステムの開発にとっても重要である。VisuallyGroundedDialogueに関する先行研究[1,2]では、言語と自然画像の対応付けが検討されてきた。ただしこれをホワイトボード上の数学協調作業の文脈に適用した場合、いくつかの固有の課題が浮かび上がる。数学における参照は、抽象的な記号表現を対象とすることが多く、その意味は視覚的外観だけでなく、数学的構造や談話文脈にも依存する。既存の枠組みは、数学協調作業におけるこのような動的で多段階の参照を扱うことが難しい。本研究では、こうした数学協調作業の問題解決における曖昧性と参照解決、またの将来的な対話構造解析を支えるため、タスク定義とアノテーションガイドラインを作成する。本研究ではアノテーション対象となる題材として、数学教育動画を利用する。こうした動画は講義形式であり、対面の相互対話より構造化されているが、代名詞の使用や視覚に基づく言及といった数学協調作業における中核的な参照現象を含む。本研究では、発話を視覚的数学要素に接続する画像ベースのアノテーションスキーマを設計し、粒度の異なる複数レベル（数式、スパン、項）で参照関係を捉える。本研究は、数学の問題解決対話におけるマルチモーダル参照解決の枠組みを提案し、対話構造におけるギャップを埋めることを目指す。