# 共同作業を行う対話における共通基盤構築過程の記録と分析

共通基盤を構築可能な対話システムを実現するためには，対話において共通基盤が 構築される過程を明らかにすることが重要である.しかしながら, 既存研究では対話の結果得られる最終的な成果物のみを共通基盤と関連付けて分析しており, 共通基盤が構築される過程は明らかにされていない。本研究では, 共同作業を行う対話 において，共通基盤構築の過程を明らかにすることを目指し，デー夕収集手法を提案する。具体的には，課題の中間結果をその時点における共通基盤に相当するもの として，自動的に記録するデータ収集手法を提案する。提案手法を用いて 984 対話 を収集し, 共通基盤構築の過程を定量的に調查した結果，共通基盤の構築過程にい くつかのパタンが見られた。また，共感や同意，ポジティブな表現を通じて自身の 理解を伝える発話が出現している場合, 共通基盤が構築されている傾向にあると考 えられる。 さらに，対話中の共通基盤構築の度合いを対話や課題の内容から推定す る実験を行い，双方の内容が推定に有用なことを示した。

キーワード：対話システム，コーパス構築，共通基盤，共同作業
## Recording and Analyzing the Process of Building Common Ground in Dialogues in a Collaborative Task

\author{
Кон Mitsuda $^{\dagger}$, Ryuichiro Higashinaka ${ }^{\dagger}$, Yuhei Oga $^{\dagger}$ and Sen Yoshida ${ }^{\dagger, \dagger \dagger \dagger}$
}

To develop a dialogue system that can build common ground with users, the process of building common ground through dialogue needs to be clarified. However, the studies on the process of building common ground have not been well conducted; much work has focused on the final task results as common ground in which users perform a collaborative task. In this study, to clarify the process of building common ground in the dialogue where workers collaboratively perform a given task, we propose a data collection method for automatically recording the process of building common ground through a dialogue by using the intermediate result of a task. We analyzed 984 dialogues, and the result of investigating the process of building common ground suggests that several typical patterns can exist in that process and that common ground tends to be built if each worker's understanding is conveyed through the

affirmation of a counterpart's utterances. In addition, toward dialogue systems that can build common ground with users, we conducted an automatic estimation of the degree of built common ground and found that its degree can be estimated with a dialogue and intermediate task result.

Key Words: Dialogue System, Data Collection, Common Ground, Collaborative Task

## 1 はじめに

対話において，対話の参加者の間で共有される知識や信念の情報を共通基盤（または相互信念）と呼ぶ (Clark and Schaefer 1989; Traum 1994; Kopp and Kramer 2021). 複雑な内容を伴う対話は，その内容の理解を積み上げていく必要があるため, ユーザとの高度な対話（例えば,教育，議論，交涉などを目的とする対話）が可能なシステムを実現するためには，対話を通じてユーザとともに共通基盤を構築していき，それに基いて対話を行うモデルを確立することが望ましい．対話をモデル化する上で，共通基盤は重要な概念の一つとされてきたが，共通基盤が構築される過程を分析した研究は少なく, その過程は明らかではない (中野 2019).

共通基盤を扱った従来の研究では，話者が対話を通じて共同作業を行う課題を設定し，対話や課題に関する情報を記録，分析するというアプローチが取られてきた (Benotti and Blackburn 2021; Chandu et al. 2021). 課題の達成には作業者間で共通基盤を構築する必要があることから, 課題の最終的な結果を共通基盤と関連付けて分析することで，対話と共通基盤の関係性が分析されている (Anderson et al. 1991; Foster et al. 2008; He et al. 2017). そのため, 対話を通じてどのように共通基盤が構築されるかという過程そのものに関する研究は，いくつかの例外を除き行われてきていない。例外として, Udagawa and Aizawa (2019) は, 共通基盤の構築過程を分析するために，課題に関するオブジェクト，および，対話中に出現する参照表現を人手で結び付けたデータを作成し，参照表現からオブジェクトを推定する研究を行った。また, Bara et al. (2021)は, 仮想空間上で話者が対話を通じて共同作業を行う課題において，対話相手の信念や行動についてどの程度理解しているかを問う質問をリアルタイムに話者に回答させることで，対話中の共通基盤を記録している。これらの研究では，対話中の共通基盤を手作業で記録する必要があり, 高いコストがかかる，また，分析可能な情報は，あらかじめ定義された参照表現や質問の内容に限定される.

本論文では, 共同作業を行う対話を対象とし, 課題の中間結果を構築中の共通基盤に相当するものとして自動的に記録することで，共通基盤構築の過程を分析する手法を提案する．課題の中間結果をその時点における共通基盤に相当するものとして記録することで，共通基盤が記録された対話を低いコストで収集でき，対話の各段階における各話者の信念やその共通部分である共通基盤を分析することが可能になる。このために，2 名の作業者がテキストチャットを
用いて，ランダムに配置されたオブジェクトを共通のレイアウトに配置する課題, 共同図形配置課題（図 1）を設定した。本課題において，2 名の作業者が作成したレイアウトを各作業者の信念とみなし，それらの類似度を利用することで，対話を通じて構築される共通基盤を定量化することが可能である。

共同図形配置課題を用いて 984 対話を収集し，共通基盤構築の過程を調査した結果，共通基盤の構築過程にいくつかのパタンが見られ，また，対話相手の発話を肯定したり，話者自信の理解を相手に伝えたりする表現が出現している場合，共通基盤が構築できている傾向にあると考えられる，さらに，共通基盤を構築可能な対話システムの実現に向けて，対話の各段階における共通基盤構築の度合いを推定する実験を実施した結果，対話とレイアウトの双方の情報が推定に有用であることが明らかになった.

本論文の貢献は以下の 3 点である.

（1）対話中の共通基盤を自動的に記録する手法を提案した。提案手法を利用することで，人手によるアノテーションやアンケートへの回答を経ることなく共通基盤が構築される過程を記録することが可能となる。また，提案する共同図形配置課題の対話を 984 対話収集した共同図形配置コーパスを構築した。

（2）共通基盤構築の過程を初めて定量的に明らかにした。具体的には，共通基盤構築の過程が複数の典型的なクラスタに分けることができ，また，対話中に肯定的な評価や共感を示す発話が出現している場合，共通基盤が構築できている傾向にあると考えられる.

（3）共通基盤を構築可能な対話システムの実現に向けて，共通基盤構築の度合いを対話と課題の内容から推定する実験を行い，その双方の内容が推定に有用であることを示した.本研究で提案する共同図形配置課題は，共通基盤を記録することを目的として設計されており， その対話の内容は一般的な対話と比較して限定的である。しかしながら, 我々の知る限り, 共通基盤構築の過程を定量化した試みは本研究が初めてである。共通基盤の構築過程は，相互理

図 1 本研究で提案する共同図形配置課題. 各作業者は自身の図形配置しか参照することができず，相手の図形配置は参照することはできない.
解を必要とするあらゆる対話に現れうるため, 本研究の知見は共通基盤を扱う対話システムの研究一般において有用だと考えている.

## 2 関連研究

共通基盤の研究はこれまで，主に話者間で共通基盤構築を必要とする特定の課題を対象に，人対人の対話を分析することで扱われてきた (Benotti and Blackburn 2021; Chandu et al. 2021).共通基盤構築の成否は課題の最終結果に基づいて定義され, 課題達成に成功した場合, 対話を通じて共通基盤が適切に構築されたとみなされる。初期の研究では, 具体的な課題として, 地図を用いて経路の伝達やオブジェクトの操作を行う課題 (Anderson et al. 1991; Carletta et al. 1991; Bard et al. 2000; Denis and Striegnitz 2012) や, 二次元平面上に配置されたパズルを解く課題 (Clark and Wilkes-Gibbs 1986; Foster et al. 2008; Spanger et al. 2009; Tokunaga et al. 2012) が提案されてきた. また, 共通基盤は, 対話研究における基盤化のモデルの中でも扱われてきた.代表的なものとして, 対話を通じた基盤化の過程をグラフ (Clark and Schaefer 1989) やオートマトン (Traum 1994)として表現するモデルが存在する. これらは本研究と同様対話の基盤化の過程に着目しており, 先行研究とみなせる. 本研究は共通基盤の構築度合いの定量化しており,従来のモデルと組み合わせることで, これらのモデルの検証につながる可能性がある.

近年は，共通基盤を対象とした研究において，与えられた環境の中で話者が特定のオブジェクトを見つけたり，作成したりするという課題が数多く提案されている．話者に与える環境として，例えば，テキスト (He et al. 2017; Lewis et al. 2017; Gero et al. 2020), 画像 (Liu et al. 2012; de Vries et al. 2017; Kim et al. 2019; Udagawa and Aizawa 2019), 仮想空間 (Polyak and Davier 2017; Ilinykh et al. 2019; Hahn et al. 2020; Jayannavar et al. 2020), 現実空間 (Liu et al. 2016)を扱う課題が提案されている。 また，人対システムの対話ではあるものの，もう一つの主要な研究分野として, 実空間でロボットを操作することを目的として, 入力されたユーザ発話を現実空間のオブジェクトに関連付ける研究 (Moratz and Tenbrink 2006; Hough and Schlangen 2017; Chai et al. 2017; Van Waveren et al. 2019) も取り組まれている. これらの研究では, 主に対話と課題の最終結果に基づいて, 対話と共通基盤の関係が分析されている. なぜならば, これらの研究は, 対話を通じて課題を成功させるために, どのような対話現象が生じているかを明らかにしたり, その対話現象に基づき課題を自動的に達成するシステムを構築することを目的としているからである. しかしながら, 先行研究の枠組みでは共通基盤構築の過程を記録することはできないため, 共通基盤が構築される過程の分析が難しいという問題がある.

我々の研究は共通基盤構築の過程を記録することを試みるものであり, 同様の目的で設計された課題である OneCommon (Udagawa and Aizawa 2019, 2020), および, MindCraft (Bara et al. 2021) との関連が深い. OneCommon (Udagawa and Aizawa 2019)は, 複数の点（ドット）がラ

ンダムな位置，大きさ，色で配置された二次元平面の画像が与えられた状況で，二名の作業者が共通の点を選択する課題である。二名の作業者には，二次元平面に関して，作業者間でわずかに異なる領域が与えられ，テキストチャットを通じて共通のドットを 1 つ選択する。作業者間で選択されたドットが同じであれば，課題は成功となる。このとき，作業者間で参照表現等の多様な言語表現を利用しつつ共通のドットを探す過程は, 共通基盤の構築過程とみなすことができる。そのため，ドットへの参照表現が人手でアノテーションされている (Udagawa and Aizawa 2020). また, MindCraft (Bara et al. 2021) は, ビデオゲームの Minecraft ${ }^{1}$ において, 二名の話者（プレイヤ）がそれぞれ異なる知識とスキルを与えられた状況で，協力して特定の才ブジェクトを作成する課題である。課題を進める間，75秒ごとにプレイヤが共通基盤に関する所定の質問（例えば，「あなたの相手は今，何を作っていると思いますか？」という質問）に回答することで，共通基盤が構築される過程を記録している．我々の研究はこれらの研究と類似するものの，共通基盤を自動的に記録することが可能であるという点において異なる．共通基盤を自動的に記録することで，データ収集のコストを削減することができ，かつ，共通基盤に関する情報が対話の各時点について得られるため, 収集されたデー夕と対話を紐づけることで，共通基盤の構築過程を扱う研究の可能性を大きく広げると考えられる.

## 3 共同図形配置コーパスの構築

本節では，まず，共通基盤構築の過程を記録するための課題として必要な要件を述べる，次に, 要件に基づき設定した共同図形配置課題の定義を述べた後, 本研究で実施した対話デー夕収集について述べる。

## 3.1 課題設定のための要件

特定の課題を通じて共通基盤構築の過程を記録するため，まず，課題の要件を設定した。この要件の設定には, OneCommon (Udagawa and Aizawa 2019) で述べられている課題の要件を参考にした。具体的には, OneCommonでは要件として，課題の中に continuous な（連続性のある）要素，および， partially-observableな（部分的可観測性のある）要素を含めている. continuous な要素とは，課題に関して，離散的な情報（例えば，有限の候補からなるラベル集合）ではなく，画像のような連続的な情報が含まれることを意味する。連続的な情報は離散的な情報と異なり，その情報を対話の中で端的に表現することが難しいため，作業者には複数の発話を通じて情報をやり取りする必要が生じる。また, partially-observableな要素とは，課題の初期状態において，作業者間で課題に関する部分的な情報のみが共有されることを意味する。このような

状況では，作業者は対話を通じて自身の情報を相手に共有する必要が生じる.

OneCommon で提案されている要件に加え, 本研究で扱う課題には新たに二つの要件を追加した. 第一の要件は, 課題が達成されるまでに, 作業者が一回の操作ではなく, 複数回の操作を行う必要があるというものである。本要件を導入することで, 操作結果, すなわち, 課題の結果が複数段階に分割され，課題の中間結果をその時点における共通基盤に相当するものとして記録することが可能になる。第二の要件は，構築される共通基盤を定量化するために，課題の中間結果はその進渉が定量化可能であるというものである。本要件を導入することで，対話の各段階における共通基盤を定量的に扱うことが可能になる.

## 3.2 共同図形配置課題

図 1 に，テキストチャットを通じて，同じ図形の集合を共通のレイアウトに配置する課題（共同図形配置課題）の概要を示す。作業者には初期配置として，作業者ごとに図形がランダムに配置されているレイアウトが与えられる。このレイアウトは, 各作業者の課題に関する信念とみなされる。作業者はテキストチャットを通じて, 最終的なレイアウトの目標を議論しながら,一つずつ順に図形を共通の位置に配置していくことで，共通基盤となる共通のレイアウトを作成する。このとき，課題の制限として，作業者は自身のレイアウトしか見ることができない。そのため，相手のレイアウトを想像しながら，自身の図形を配置する必要がある.

図 2 に，共同図形配置課題の対話を収集するためのインタフェース（二名の作業者 $\mathrm{A}$ と $\mathrm{B}$ それぞれに提示される画面)を示す.インタフェースは作業の開始と終了のボタン，カウント

図 2 共同図形配置課題の対話を収集するためのインターフェース. 図には 1 名の作業者に提示されるインターフェイスを示している，各作業者は，共通のチャット画面，および，自身の図形配置画面を見ることができるが，相手の図形配置画面を見ることはできない.

ダウンタイマ, 図形配置画面, チャット画面 (メッセージ入力ボックスとメッセージ送信ボタンを含む）から構成されている。作業開始時，図形配置画面には作業者ごとにランダムに配置された図形が表示されている。作業者は図形配置画面の中で，マウスを利用して図形を操作することで共通のレイアウトを作成する。図形の操作としては平行移動のみが許容されており，図形の削除，回転，拡大，縮小はできない，このとき，インタフェースは作業者が図形を移動する際の全てのマウス操作（ドラッグ\&ドロップ）を，座標，夕イムスタンプと共に操作ログとして自動的に記録する。作業者は対話中にいつでもレイアウトを操作可能であり，インタフェースはその操作結果とタイムスタンプを全て記録する。作業者は自身の図形配置画面しか見ることができないが，チャット画面については作業者間で共通の内容のものを見ることができる．作業が進み，チャットを通じて作業者の間で配置が同一になったと作業者が判断した場合，作業者は終了ボタンを押し課題を終了する。または，課題開始から 10 分が経過したとき，課題は終了となる.

図 3 に，共同図形配置課題で配置の対象となる二種類の図形集合（単純図形と建物図形）を示す. 図中の左側は単純図形を表し，右側は建物図形を表す。単純図形は 10 個の基本図形（例えば，四角形や円形）から構成されており，建物図形は 10 個の建物アイコン（例えば，バーや警察）から構成されている，単純図形には Microsoft PowerPoint ${ }^{2}$ に登録されている図形を利用し，建物図形には建物を端的に表す白黒のアイコンセット3を利用した。建物図形は単純図形と異なり，作業者が図形に関する前提知識を利用することができる（例えば，前提知識に基づき配置方針を伝える発話として，「安心してバーに行けるよう，近くに警察を配置しよう」という発話が考えられる），単純図形と建物図形という二種類の異なる性質の図形を配置対象のオブジェクトとすることで，収集対象の対話が特定の種別のオブジェクトのみを扱う対話にならないよう配慮している。これらの図形集合を用いて，図形配置画面に表示する図形の個数を 5 個または 7 個とし，重複ありでランダムな大きさ，位置に設定することで初期配置を作成した 4 .

図 3 共同図形配置課題で使用する図形セット 2 種類, 単純図形（左）と建物図形（右）


## 3.3 対話データ収集

作業者のペアが共同図形配置課題を行う対話を大規模に収集し，コーパスを構築した．以降，本コーパスを共同図形配置コーパスと呼ぶ．対話の収集実験には，287名の作業者が参加した.作業者はクラウドソーシングを専門とする会社を通じて募集され，実験への参加条件として，日本語を母国語としており，かつ，簡単な PC 操作に慣れている作業者という条件を設定した.募集の際には，作業者の属性（年齢，性別，職業等）が偏らないよう努めた．実験に参加した 287 名の作業者の中で，初対面の作業者 2 名をランダムに組み合わせることでぺアを作成し，その結果, 213 組が課題を実施した. このとき, 各作業者ぺアは 4 回ずつ課題を実施した（単純図形 5 個, 単純図形 7 個, 建物図形 5 個, 建物図形 7 個の計 4 回). 作業者への教示として, 実験の目的，タスク概要，図形の種別，理想的なレイアウトの配置方針（できるだけ相手の意見を聞き，かつ，工夫を凝らすようなレイアウ卜を作成するようするというもの）を与えた. さらに，図形の操作は対話を行いながら実施するよう作業者に指示した。また, 実験参加にあたって，身体的負担を考慮し，いつでも実験の継続を中止することが可能である旨を伝えた上で作業を実施させた。データ収集にあたっては, 監督者が教示に基づいて実際の作業前に各作業者にインストラクションを行い，対話ごとに作業者とコミュニケーションを取るようにした。そのため，タスクを理解していないケースはほとんど存在しないと考えている。これを裏付けるものとして, 各対話の内容を人手で確認することで, 作業の品質に問題がないことを確認した.

表 1 に，共同図形配置コーパスとして収集されたデータの統計情報を示す. 213 組の作業者ペアが課題を実施することで，合計 984 の対話が収集された ${ }^{5}$. 表の通り，各対話には平均 28.8 発話が含まれており, 平均 65.4 回の図形操作が含まれていた。図形集合間の比較として, 建物図形は単純図形に比べ, 対話あたりの発話数が多く, 一方で操作数が少ない傾向が確認できる.

表 1 共同図形配置コーパスの統計量


これは，建物に関する前提知識を使用することができる建物図形の方が，単純図形よりも最終的なレイアウトを議論しやすく, 効率的に図形を配置できたためと考えられる。なお， 288 組が平均 521 秒と 10 分以内に課題を完了し，その他のぺアは最長 10 分，すなわち時間切れまで作業を行っていた。

表 2 に，収集された対話の例を示す。この例は，図 2 のインタフェースの説明において示し

表 2 共同図形配置課題で収集された対話の例.この対話は図 2 に示すセッションで収集されたものである。

たレイアウト（図形集合が単純図形であり，図形個数が 5 個のもの）を対象に特定の作業者ぺア二名（A と B）によって収集された対話である。最終的なレイアウトのアイデアは， $U_{14}$ までに作業者間で合意されており，各図形は $U_{15}$ 以降，お互いが指示を出し合うことで順に配置されている， $U_{7}$ から $U_{14}$ までの発話において，相談を通じて図形のレイアウト方針が決定したり，また， $U_{24}$ や $U_{29}$ の発話において，作業者が配置を指示したり，自身の配置を伝えたりしており，対話を通じて共通基盤が構築されている様子が確認できる.

## 4 共通基盤構築過程の分析

収集した共同図形配置コーパスに基づき，共通基盤構築の過程を分析した。まず，各対話において, 二名の作業者が作成した最終的な二つのレイアウトが一致しているかを人手で確認した。次に，レイアウトの類似度に基づいて，課題の中間結果を共通基盤として定量化した。最後に，定量化した共通基盤の系列に対して時系列分析を適用し，共通基盤構築における典型的な流れを調査した。

## 4.1 最終図形配置パタン

収集したデータを人手で確認した結果，多くの作業者ペアが課題を達成したと判断しているにも関わらず，一部のレイアウトのぺアは同一になっていないことが明らかになった。共通基盤を定量化するためには，どのようなレイアウトのペアを一致とみなすか，すなわち，レイアウトのぺアがどのような状態になっていれば共通基盤が構築できたとみなすかを明らかにする必要がある。そのため, まず, 最終的なレイアウトペアの一致, 不一致のパタンを明らかにした。

図 4 に，最終的なレイアウトのぺアにおける一致, 不一致のパタン（最終図形配置パタン）を示す. 最終図形配置パタンを作成するために，最終的なレイアウトのぺアをランダムに 50 組選択し, 著者らが手作業で類似するぺアをまとめることでパタンを作成した。その結果, 最終図形配置パタンは大きく 3 つのパタン（成功，中間，失敗）に分類され，詳細には 7 つのパタン（パタン 1-7）に分類された. パタン 3 の同図形混同は，大きさの異なる同一の図形（例えば，大きさの異なる二つの三角形や警察署の図形）の配置のみが異なるものを指す。このとき，パタン 1-2（完全一致, 原点ずれ）において課題が成功, パタン 3-6（同種図形混同, 異種図形混同, 対称ずれ, 縮尺ずれ）において部分的に成功, パタン7（完全不一致）において失敗しているものとみなすこととした. 完全一致に加え, 原点ずれも課題が成功したとみなした理由は, 作業者への教示として，図形全体を絶対座標において同じ位置に配置するよう指示しなかったためである。また, 教示では, 図形全体の配置を合わせるという課題において, 対称ずれ（鏡像）が成功とみなされないことは自明と考えたため，対称ずれを避ける指示は行っていない。なお，アノテーションの一致率を確認するため, 著者と同組織に所属する作業者二名がランダムサンプ
成功(2パタン)

2. 原点ずれ（図形全体の位置が異なるもの)

中間(4パタン)

5. 対称ずれ（図形が対称的に異なるもの)

失敗(1パタン)

7. 完全不一致（図形の

位置が全く異なるもの)

図 4 最終図形配置パタン

リングした 50 件のレイアウトペアについてアノテーションを行ったところ, 単純一致で $74 \%$, Cohen's kappa で 0.68 となり，妥当な分類になっていることを確認した.

表 3 に, 著者らとは異なる作業者（同組織に所属する専門のアノテー夕）が共同図形配置コー パスに含まれる全 984 件のレイアウトペアに最終図形配置パタンをアノテーションした結果を示す.この表から, 成功率（完全一致または原点ずれ）は $25 \%(=19 \%+7 \%)$ となることが確認できる。図形集合については, 単純図形よりも建物図形の方が成功率が高い. これは, 建物図形で図形に関する前提知識を利用することで共通基盤の構築が容易になったためと考えられる。一方, 図形数については, 各パタンの出現頻度は 5 個と 7 個でほぼ同じ傾向となり, 図形数が増えたとしても課題の難易度は大きく変化しないことが確認できる。複雑な図形は複数の類似の図形（例. 直角三角形と正三角形, 四角形と平行四辺形など）を含むため, 一致しにくい傾向があった，興味深い点として，図形が全く一致しないもの（完全不一致）が単純図形で $27 \%$, 建物図形で $13 \%$ または $15 \%$ 存在しており，共通基盤が構築される過程のみならず，共通基盤の構築に失敗する過程をも分析可能なコーパスになっていることが確認できる.

## 4.2 共通基盤の定量化

最終図形配置パタンに基づき，対話中の共通基盤を定量化する尺度として図形配置間距離を導入する.このとき, パタン 1-2（完全一致, 原点ずれ）において課題が成功, パタン 3-6（同種図形混同, 異種図形混同, 対称ずれ, 縮尺ずれ）において部分的に成功と定義していることから, 成功で図形配置間距離の値が最も小さくなるよう尺度を設計した。この指標は, レイアウトペアに含まれる任意の二図形間の距離の和であり，次式で示される。

図形配置間距離 $\left(L_{A}, L_{B}\right)=\frac{1}{2} \sum_{i \in \text { Figures }} \sum_{j \in \text { Figures }}\left.\|\vec{a}_{i, j}-\vec{b}_{i, j}\right.\|$

表 3 最終図形配置パタンの頻度

図 5 図形配置間距離の計算に用いる, レイアウト $L_{A}$ と $L_{B}$ の間で定義される二図形間の距離

$L_{A}, L_{B}$ は作業者 $\mathrm{A}, \mathrm{B}$ が作成したレイアウト, Figures は一つのレイアウトに含まれる全図形の集合， $a_{i, j}$ および $b_{i, j}$ は， $L_{A}$ および $L_{B}$ に含まれる二つの図形, $i$ と $j$ (例えば，図 5 の図形 1 と図形 2）を結ぶベクトルを表す。図 5 に，二図形間の距離 $\left(\left.\|\vec{a}_{i, j}-\vec{b}_{i, j}\right.\|\right)$ の例を示す.これらのべクトルの差の距離をレイアウトに含まれる全ての図形の組み合わせに対して足し合わせたものが図形配置間距離であり，図形配置間距離の值が小さいほど，共通基盤の構築が進んでいることを表す。この図形配置間距離に基づいて，対話内の各タイムステップにおける共通基盤が構築されている度合いを定量的に評価することができる。対話のある時点において図形配置間距離を計算する際には，その時点に最も近いタイムスタンプの $L_{A}$ および $L_{B}$ （各作業者がその時点までに行った全操作を反映したレイアウト）を利用する。なお，本尺度の他に，ユー ザ間で同一の図形間の距離（例えば，作業者 $\mathrm{A}$ の図形 1 と作業者 $\mathrm{B}$ の図形 1 の距離）を足し合わせるという尺度を検討したが，原点ずれの場合において距離が小さくならないという問題があったため，採用しなかった。

図 6 に，対話中の図形配置間距離（共通基盤構築の度合い）の遷移を示す。横軸は対話の進行度を表しており，1回の発話，または，同じ図形を複数回連続して動かす操作を1タイムステップとした6．各ステップにおける図形配置間距離をプロットする際には，線形補完を用いて，全


図 6 対話における図形配置間距離（共通基盤構築の度合い）の遷移、ステップ数は対話の進行度を表しており，0 は対話の開始時点, 50 は対話の終了時点を表す.

ての対話のタイムステップ数を 50 に正規化した。課題終了時（タイムステップが 50 の時点）の図形配置間距離は成功，中間，失敗の順に高くなっており，我々の定義通りに共通基盤が構築されている度合いを定量化できることが確認できる。また, 図形配置間距離の変化と発話を目視で確認したところ，発話単位でずれが生じていることはなかった. このことにより，ずれは本研究におけるスコアの計算結果に影響は与えないと考えている.

定義した図形配置間距離に基づいて，共通基盤構築の典型的な過程を明らかにするために， k-means に基づく時系列クラスタリング手法である k-Shape (Paparrizos and Gravano 2015)を使用して図形配置間距離の系列をクラスタリングした。具体的には，共同図形配置コーパスに含まれる全 984 対話（すなわち，984 個の図形配置間距離の系列）に対して, k-Shape を適用することで，図形配置間距離の系列における典型的なクラスタを調査した.

図 7 に，図形配置間距離に対して時系列クラスタリングを適用した結果を示す。各クラスタの図において，X 軸はタイムステップ，Y 軸は $\mathrm{z}$ 正規化した図形配置間距離を表す。クラスタ数は 5 に設定されており, 理由として，クラスタ数を 6 以上にした場合, 類似のクラスタが出現し, また, 4 以下にした場合, 複数の特徴が混じり合ったようなクラスタが構成されたためである。各クラス夕 $(\mathrm{C} 1-5)$ の対話数の比率は, それぞれ $29 \%, 28 \%, 24 \%, 12 \%, 7 \%$ あっった.

各クラスタの傾向を明らかにするために, クラスタごとに 10 対話をサンプリングし, 著者らで傾向を分析した。クラスタ 1 は, 対話を通じて一貫して図形配置間距離が減少しており, 共通基盤が終始滞りなく構築されている対話のクラスタである. クラスタ 1 に含まれる対話として，例えば，対話の序盤で目標が決定され，目標に従って図形を順に配置していくことで図形配置間距離が順調に低下している対話が見られた. クラスタ 2-4 は, 対話の中盤まで図形配置間距離が減少しておらず，共通基盤構築が停滞する期間を含む対話のクラスタである。特徴は共通基盤の構築が進み始めるタイムステップが異なっている点であり, それぞれタイムステッ

プがおよそ $15 ， 25 ， 35$ の時点から進み始めている。またその他の特徴として，クラスタ 4 において，作業者が図形をグルーピングし，グループごとに図形の配置を合わせる対話が含まれていた．作業者が図形をグルーピングし，グループごとに作業を行ったことで，終盤まで図形配置間距離が減少しなかったと考えられる。クラスタ 5 は最終図形配置パタンの完全不一致に相当しており，共通基盤がうまく構築されていない対話のクラスタである. クラスタ 5 に含まれる対話としては，例えば，位置の確認を怠った対話や，最終的なレイアウトの目標の認識に齯䶣がある対話（具体的には「斜めに配置」という目標を一方の作業者は「右下がり」と理解し,他方の作業者は「左下がり」と理解して作業を進めた対話）が見られた.

表 4 に，共同図形配置課題の成否と，図 7 で示した共通基盤構築過程クラスタリング結果との対応関係を示す。表中の各数値は，各クラスタにおける課題の成否（成功，中間，失敗）の割合を表す（列方向に値を足すと $100 \%$ となる），クラスタ 1-3では，成功と中間の割合が多く，共通基盤の構築に成功した対話が含まれていることが確認できる. クラスタ 1 とクラスタ 2 を比較すると，クラス夕 2 の方が成功の比率が多く，課題に成功するために必ずしもクラスタ 1 のような共通基盤構築の過程を経る必要はない（図形配置間距離が停滞する期間があってもよ

図 7 共通基盤の構築過程をクラスタリングした結果 (C1-C5)

表 4 共同図形配置課題の成否（成功，中間，失敗）と, 図 7 で示した共通基盤構築過程クラスタリング結果 $(\mathrm{C} 1-\mathrm{C} 5)$ との対応関係

い）と考えられる。一方，クラスタ 4,5 には，失敗に対応する完全不一致が多く含まれており，共通基盤の構築に失敗した対話が含まれていることが確認できる。これらの結果から，成功の対話では，比較的早い段階から共通基盤が構築され始め，対話が終わる頃には十分な共通基盤が構築されている傾向があると考えられる。失敗の対話では，対話の後半から共通基盤が構築され始め課題終了までに十分な水準に達しなかったり，対話全体を通して共通基盤を構築できないという傾向があると考えられる。

## 4.3 共通基盤構築過程と対話の分析

定義した最終図形配置パタン，および，図形配置間距離に基づき，共通基盤の構築に成功した対話と失敗した対話に出現する言語表現や対話の特徴を調查し，どのような言語表現や特徴を持った対話を実現することが共通基盤構築において重要なのかを調査した。これらの言語現象や対話の特徴は，ユーザと共通基盤を構築可能な対話システムを構築するための有用な知見となると考えられる。

調查方法として，まず，言語表現を調査するために，収集された対話を先に述べた 3 種類の課題の成否 (成功, 中間, 失敗) に基づいて分け, それぞれの対話において頻繁に出現する言語表現と対話行為を調査した。また，対話の特徴を調査するために，それぞれの対話における対話行為の遷移を隠れマルコフモデル (Hidden Markov Model; HMM) を用いてモデル化し, 対話の大局的な構造や，どの遷移が特に共通基盤の構築に有効であるかを図形配置間距離に基づき調查した。

表 5 に，対話の中で統計的に有意な上位 10 個の言語表現を示す. 各表現は述語相当表現（動詞はまた形容詞を含む文節) を表しており，表現の抽出には，日本語形態素解析器 JTAG (Fuchi

表 5 課題の成否で分類した各対話において統計的に有意に出現する上位 10 個の言語表現. “**”は $p<.01$, “*”は $p<.05$ を表す.
and Takagi 1998)を使用した。検定手法としてフィッシャーの正確確率検定を利用し， $p$ 値を用いて昇順に表現をランキングすることで，三種類の対話のいずれかの対話において有意に出現頻度が高い表現を列挙した。この表から，成功では，「良いと」などの肯定的な評価や，「しましょう」，「できました」などの図形操作に関する表現が多く出現していることが分かる。また，中間では，「いいですね」のような肯定的な表現が出現しているものの，「しました」，「置きました」などの図形操作を示す表現がより多く見られる。一方，失敗では，肯定的な評価や図形操作に関する表現は見られず，「どうしますか」や「眺めている」など，意図が曖昧な表現が多く見られた。これらの結果から，対話において自身の理解や行動を伝えるための評価表現，共感, 具体的指示が出現している場合，共通基盤が構築できている傾向にあると考えられる.

表 6 に，課題の成否で分類した各対話において統計的に有意に出現する上位 5 つ対話行為を示す. 対話行為として, Meguro et al. (2011)が提案したラベルセットを利用し, 各発話に対して自動的にラベルを付与することで検定を行った．推定精度は $45 \%$, 人手のアノテータ間の単純一致は $59 \%$ と報告されており (Higashinaka et al. 2014), 得られる推定結果は妥当と考えられる。ラベルセットには， 33 種類（例：自己開示：話者の好みや感情の開示, 情報提供：客観的情報の伝達，共感・同意：共感的な発話や賞賛）の対話行為が定義されている．ラベルの推定には Higashinaka et al. (2014) において学習されたサポートベクトルマシンに基づく分類器を利用した。また，表 5 と同様に，フィッシャーの正確確率検定を利用した。この表から，成功では，ポジティブな評価を表す自己開示，感謝，共感など，相手を肯定する表現が多く出現していることが確認できる。成功と同様に，中間でも共感を示す表現が多く出現しており，また,評価に関する質問が多く出現している。失敗では，情報提供や挨拶など，成功や中間とは異なる対話行為が多く見受けられる。評価に関連する表現も出現するが，その内容はネガティブなものである。これらの結果から，表 5 に示した言語表現の結果同様，対話において肯定的な評価や話者の理解を伝える共感，同意を示す発話が出現している場合，共通基盤が構築できている傾向にあると考えられる。

上記で述べた言語表現の調査では, 述語や対話行為などの言語現象のみに焦点を当ててきた.

表 6 課題の成否で分類した各対話において統計的に有意に出現する上位 5 の対話行為. “**” は $p<.01$, “*”は $p<.05$ を表す.

さらなる調査として，言語現象（以降，対話行為を対象とする）と図形配置間距離の双方の遷移を組み合わせて分析することで，対話の大局的な構造と共通基盤構築の関係性や，どのような対話行為が共通基盤構築に大きく寄与するかを定量的に明らかにできる可能性がある。このために，対話行為の遷移をモデル化する手法として，状態数が未知の系列における構造を学習する手法である HMM を利用し，対話のモデル化を行った (Rabiner and Juang 1986). 実装として，HMM の学習と推論が可能なライブラリである HMMlearn 7 を使用した. HMM の学習方法は， Meguro et al. (2014) に準じ，具体的には，エルゴード HMM（遷移先の次の状態から前の状態にも戻ることができる HMM）における半数の状態集合から特定の話者（例えば話者 A） の対話行為のみを出力し, 残りの半数の状態集合から他方の話者（例えば話者 B）の対話行為を出力するよう初期化し, 学習を行った. このとき, 状態数は 1 ～ 10 とし, 各状態数において 10 個の HMM を学習することで，計 100 個の HMM を作成した。作成した HMM から，最適な HMM を Minimum Description Length (MDL) 基準で選択することで，対話の最終的なモデルを決定した。

図 8 に，成功における対話，および，失敗における対話に含まれる対話行為の系列から学習された HMM を示す。なお, 中間は成功と同様の HMM が構築されたため省略している。各状態において, 'A'と 'B'は二名の話者を表しており，また，該当話者による対話行為のうち観測確率の高いもの（観測確率が 0.1 以上のもの）が列挙されている. 状態間のエッジに付与されている 'p'は遷移確率を表し, 辺の太さに相当する。また, 'd’'は遷移における図形配置間距離の差の平均を表しており，下記の式で定義される，隣接する二つの状態に含まれる各対話行為のペアにおける図形配置間距離の差を出現確率で重み付けして計算した値である.

$
d\left(s_{i}, s_{j}\right)=\sum_{o_{k} \in s_{i}} \sum_{o_{l} \in s_{j}} p\left(o_{k} \mid s_{i}\right) p\left(o_{l} \mid s_{j}\right) f\left(o_{k}, o_{l}\right)
$

$s_{i}$ は HMM モデルの状態 $i, o_{k}$ は各状態における観測である対話行為, $p\left(o_{k} \mid s_{i}\right)$ は状態 $s_{i}$ における対話行為 $o_{k}$ の観測確率を表す。また, $f\left(o_{k}, o_{l}\right)$ は共同図形配置コーパス全体において, 対話行為が $o_{k}$ と分類された発話の直後に, 対話行為 $o_{l}$ の発話が出現したときの, 図形配置間距離の平均変化量を表す。すなわち, あるエッジの 'd'（図形配置間距離の差）が小さい値（負の値） である程，そのエッジで遷移する二つの状態の間で共通基盤の構築が進んでいることを示す.

二つの HMM から，これらの対話の構造は全く異なるものであり，失敗の対話よりも成功の対話の方が複雑な構造を持つという傾向が確認できる。二つの HMM の間で共通する構造として，挨拶に関する状態のペア（両 HMM の状態 1 と状態 2 )，および，情報・共感に関する状態のペア（両 HMM の状態 3 と状態 4）が見られる。 すなわち，基本的にはどちらの対話もお互いによる挨拶から始まり，その後，互いの情報提供に進むと考えられる。また，二つの HMM の


対話の結果が成功の場合のHMMモデル

図 8 対話行為の系列から学習された HMM モデル. 左側は課題の結果が成功の対話, 右側は課題の結果が失敗の対話に対応する。 'A'と 'B' は二名の話者を表し，エッジ上の ' $\mathrm{p}$ ' は遷移確率，'d'は図形配置間距離の差分（平均值）を表している。エッジは遷移確率 'p’が高いほど太くなっている。また, 図形配置間距離の差分 ' $\mathrm{d}$ ' の値が小さい値（負の値）である程, 共通基盤の構築が進んでいることを表す.

間で異なる構造として, 共感・同意やポジティブな評価の自己開示に関する状態のペア（成功の場合の HMM における状態 5 と状態 6）は, 成功の対話のみに見られ, 失敗の対話には見られない.エッジ上の' $\mathrm{d}$ ’の値（共通基盤構築の進渉を表すもの）に着目すると, この共感・同意やポジティブな評価の自己開示のペアの間のエッジが最も小さい值 $(-0.15)$ になっており, 特

に共通基盤の構築が進んでいるとみなせる.

ここまで述べてきた三種類の分析（頻出する述語の分析，頻出する対話行為の分析，対話行為と図形配置間距離を用いたモデル化）の結果をまとめる。共同図形配置課題において共通基盤の構築に成功した対話では，共感や同意の発話，および，評価に関する自己開示の発話が多く出現する傾向が見られた。これらの発話を通じて，作業者が自身の理解を伝えたり，相手の発話や配置に対する肯定的な評価を伝えたりする言語表現が見られた．特に，共感や同意の発話を伝える際に，図形配置間距離が最も低下する（共通基盤の構築が進む）傾向があることから，これらの発話を行っている場合，共通基盤が構築できている傾向にあると考えられる。

## 5 図形配置間距離の推定

ユーザと共通基盤を構築可能な対話システムの実現の第一歩として，作業者の間で構築された共通基盤の程度を自動で推定する問題に取り組む. ユーザと共同作業を行うことができる対話システムは，過去の対話，および，自身の課題の状況に基づいて，ユーザとの間でどの程度共通基盤が構築できているかを把握しながら課題を遂行することが望ましい.したがって本研究では, 最も基本的な問題として, 対話と一方の作業者のレイアウトのみを入力とし, 図形配置間距離で表される共通基盤構築の度合いを推定する問題に取り組む. 具体的には, 対話中のあるタイムステップ $i$ において, 対話文脈が $\mathrm{U}_{1} \sim \mathrm{U}_{i}$ の発話, $\mathrm{U}_{i}$ の話者が作業者 $\mathrm{A}$ （もう一方の作業者は B）であるとする。このとき，対話文脈 $\mathrm{U}_{1} \sim \mathrm{U}_{i}$, および， $\mathrm{A}$ のレイアウト $\mathrm{L}_{A, i}$ が与えられたとき，夕イムステップ $i$ における図形配置間距離 $i_{i}$ を，B のレイアウト $L_{B}$ に関する情報なしに推定するというものである。なお, 入力として対話はタイムステップ $i$ までの全ての発話を利用するが，画像についてはタイムステップ $i$ の画像のみを利用する。

## 5.1 モデルとデータセットの作成

図 9 に, 対話と一方の作業者のレイアウトのみから図形配置間距離を推定するモデルを示す.本研究では，テキストおよび画像に関する事前学習済みモデルに基づいて，対話とレイアウトの両方を考慮して目的の出力を得るモデルを採用した (Soleymani et al. 2019). 事前学習済みモデルとして, 多様な問題に汎用的に適用できることを期待し, 対話からの特徴量抽出には BERT (Bidirectional Encoder Representations from Transformers) (Devlin et al. 2019)を利用し，レイアウトからの特徵量抽出には ResNet (Residual Network) (He et al. 2016)を使用した. Soleymani et al. (2019) が提案したモデル同様, 対話とレイアウトについて, 事前学習済みモデルから得られた特徴量を結合し, 結合層を通じて混合べクトルを作成し, 再度結合層に入力することで,最終的に図形配置間距離（共通基盤構築の度合い）を示すスカラー值を出力するようにした.

実験設定として，収集した全 984 対話を $8: 1: 1$ (それぞれ，学習セット，開発セット，テス

図 9 対話と一方の作業者のレイアウトのみから図形配置間距離を推定するモデル (Dialogue+Layout). レイアウトは，話者 $\mathrm{X}$ が $\mathrm{U}_{i}$ を発話した時点のものである，FC は完全連結層を表す。

トセット）に分割した。このとき，同じ作業者ぺアが実施した対話がいずれかのセットのみに含まれるようデータを分割した，入出力を作成する際の手順を述べる，入力については，一つ目の入力として, 対話の先頭の発話 $U_{1}$ からある発話 $U_{i}$ までの文脈を取得する（図 9 左上の対話に対応).二つ目の入力として, $\mathrm{U}_{i}$ が発話された時点での $\mathrm{U}_{i}$ の話者のレイアウトを取得する (図 9 左下の配置画像に対応). 出力については, $\mathrm{U}_{i}$ が発話された時点での図形配置間距離を計算する（図9右の図形配置間距離に対応）。このとき, 図形配置間距離は min-max 正規化を用いて０から１の値に正規化した。学習済みモデルとして， huggingface/transformerにおける，日本語用の BERT-base のモデルを利用し8，また， torchvision における ResNet-18 のモデルを利用した9. モデルを学習する際には損失関数として平均二乗誤差 (MSE) を利用し, 最適化器として Adam (Kingma and Ba 2015) を用いて，学習率を $2 \mathrm{e}-5$ に設定して学習を実施した。

モデルが利用する対話とレイアウトの情報の有効性を調査するために, 5 種類のモデル (ConstBaseline, Mean-Baseline, Dialogue, Layout, Dialogue+Layout) を用意した. Const-Baseline は,一定値（学習セットにおける図形配置間距離の平均値）を出力するべースラインである. MeanBaseline は, 学習セットにおいて正規化した各ステップにおける平均値を出力するべースラインである．Dialogue，および， Layout は，対話またはレイアウトの一方のみを入力とするモデルである. Dialogue+Layout は，図 9 で示した対話とレイアウトの両方の情報を考慮したモデルである.

## 5.2 評価結果

表 7 に, 対話とレイアウトから推定した図形配置間距離の MSEを示す. Steel-Dwassの多重比


表 7 与えられた対話とレイアウトから推定された図形配置間距離と真の図形配置間距離の平均二乗誤差 (MSE)，添え字は，Steel-Dwass の多重比較において，添字が付与されているスコアが添字のモデルのスコアより有意に良い $(p<.05)$ ことを示す.

較 (Dwass 1960) において, Dialogue+Layout の MSEが有意に最も小さく $(p<.05)$, 対話とレイアウトの双方を考慮したモデルの有効性が確認できた. Dialogue+Layout に比べ, Dialogue, および，Layoutの性能が低くなっている。これは，対話の内容とレイアウトの双方の情報に基づいて推定を行うことで，対話やレイアウト等の単一の情報のみで推定を行うよりも，共通基盤の構築が進んだか否かをより正確に推定できることを示す。この結果から，共通基盤が構築された程度を推定しながらユーザと共同図形配置課題を行う対話システムを構築するにあたって, 本研究で収集した共通基盤の構築過程（対話とレイアウトの情報）が有用であると考えられる。また, Layout は Mean-Baseline よりも有意に性能が低く, レイアウトの情報のみから図形配置間距離の推定を行うことは難しいことが確認できる。なお, データセットを異なるランダムシードで再度分割し実験を行ったところ, 同様の結果が得られることを確認した。

以降，誤り分析として，推定が適切または適切でない対話の特徵，および，その要因を考察する。これらの対話に共通する特徴を調査するにあたって, Dialogue+Layout における MSEが最大となった対話，および，最小となった対話を計 10 対話ずつ（図中の 4 対話を含む）を抽出し，著者らが人手で対話と各作業者のレイアウトを確認した。

図 10 に，図形配置間距離の推定値と真の値を対話ごとにプロットした図を示す。また, 図 11 に，図 10 に対応する各対話を示す。各プロット上の番号はコーパス中の対話の IDを示す. 図 10 と図 11 において, 左の 2 対話はモデル (Dialogue+Layout) の推定値と真の値の MSE が最小のもの（推定が適切に行えたもの）を表し，右の 2 対話は MSEが最大のもの（推定が適切に行えなかったもの）を表す.

各対話について概略を述べると，MSEが最小となった一つ目の対話 “73-2”では，具体的な図形配置を指示する表現とそれを承認する表現が少ない。そのため, 図形配置間距離が十分に低下しないという過程をモデルが正しく推定できていたと考えられる．MSEが最小となった二つ目の対話 “137-1”では，具体的な指示とその承認が頻出している。 すなわち，図形が規則的に配置されていく過程を対話とレイアウトに基づきモデルが正しく推定できたと考えられる.

図 10 図形配置間距離の推定値と真の値の対話ごとのプロット. 左の 2 対話はモデル (Dialogue+Layout) の推定値と真の値の MSE が最小のもの（推定が適切に行えたもの）を表し，右の 2 対話は MSE が最大のもの（推定が適切に行えなかったもの）を表す.

MSEが最小の2対話

$137-1$

A05: 平行四辺形を胴体に見立てて、鳥のように配置するのはどうでしょうか

B06: いいですね

A07: ありがとうございます！右上頂点に丸を置くと、頭のようにみえないですか?

B08: 見えます

B09: 三角がくちばしとかですか？ A10:〈ちばしか、頭と反対側につけて尾羽にしてもいいかな、とおもっていました

B15: むしろ平行をくちばしにすると、 アヒルみたいに見えてきます

図 11 図 10 に対応する各対話の抜䊀

対話例に示した“73-2”と“137-1” の発話を比較すると, “137-1”の対話の方が各発話の内容が具体的であることが確認できる。MSE が最大となった対話は, 図 7 で示した図形配置間距離のクラスタリング結果におけるクラスタ 4 に見られるような, 図形をグルーピングし作業を行う対話であった，具体的には，MSEが最大となった一つ目の対話 “125-3”では，図形をグループ （目，鼻，口など）に分け，個々のグループでレイアウトを合わせるものの，最後までグループ間のレイアウトに䶡踣が生じており，その䶡龆を推定することができていなかったと考えられる（具体的には，右目と左目の図形全体が入れ替わっていた）ＭSEが最大となった二つ目の対話 “131-4” では，同様にグループ分けを行ってグループ内のレイアウトを決定し，最後にグループ間のレイアウト（発話 “B19” で言及されている空港等の位置）を合わせていた。そのため, “131-4” 同様に, これらのグループごとの基盤化の過程を捉えることができず，推定が正しく行えなかったと考えられる。
以上の図形配置間距離の推定, および, その誤り分析の結果から, 傾向として, 図形配置間距離の推定が適切な対話では，作業者が図形を一つずつ順に最終位置に移動させている過程が見られ，推定が適切でない対話では，作業者が図形をグルーピングし，グループごとに作業を行っている過程が見られた。図形の位置を一つずつ順に確定させる対話では，対話において理解を示す肯定的な評価や共感の評価が出現したり，レイアウトにおいて図形の配置が規則的（例えば，一直線の配置や隣接した配置）になることで，モデルが図形配置間距離の低下を適切に推定できたと考えられる。一方で, 作業者が図形をグルーピングしながら作業を行う対話では, グループ内のレイアウトを一致させた後にグループ間のレイアウトを合わせる複雑な基盤化の過程が見られた。その結果，モデルが基盤化の過程を捉えることができず，図形配置間距離の推定が適切に行えなかったと考えられる，今後の課題として，図形単体のみならず，複数の図形をグループ化した集合を対象として，言語と共に共通基盤を扱う枠組みを検討する必要があると考えられる。

## 6 おわりに

本研究では, 共同作業を行う対話における共通基盤の構築過程を明らかにするために, 二名の作業者が対話を通じて共通のレイアウトに図形を配置する共同図形配置課題を提案した。共同図形配置課題において, 二名の作業者のレイアウトにおける図形配置の共通部分をその時点の共通基盤に相当するものとし，対話中の共通基盤が構築される過程を自動的に記録する。コー パスとして，共同図形配置課題を行った対話を 984 対話収集した。収集したデー夕を調査した結果，課題の結果として7つの最終図形配置パタンを発見した. この最終図形配置パタンに基づいて，共通基盤を定量化する方法として図形配置間距離を導入した。この図形配置間距離の遷移に対して時系列クラスタリングを行った結果，共通基盤の構築過程にいくつかのパタンが見られた. また, 課題達成につながる言語現象を対話と図形配置間距離の観点から分析した. その結果, 肯定的な評価や共感が対話中に出現している場合, 共通基盤が構築できている傾向にあると考えられる。また，対話とレイアウトの情報を入力として図形配置間距離を推定する問題に取り組み，対話とレイアウトの双方の情報が推定に有用であることを確認した.

今後は, 共通基盤を扱う上で対話システムが相手の信念を推定できることが重要であるため,対話から次のレイアウト変更の操作を予想する問題に取り組む．最終的には，レイアウト変更や図形配置間距離の推定器を対話システムに組み込むことで，ユーザと共に共同図形配置課題を達成可能なシステムを確立したい，そのためには，ユーザと共に OneCommon を達成するシステムが参考になると考えられる (Fried et al. 2021). このとき， 5 節で述べたグループ化された図形を適切に扱えるよう，言語とグループ化された図形を紐付けて扱う手法を確立することも重要な課題である (齋藤他 2022). 図形の配置画像を入力とし, 図形配置間距離を推定する

モデル (Layout) が手掛かりとする情報の考察も行いたい.

本研究では, 図形配置間距離が課題の成功, 中間, 失敗を反映できていることで正当性を確認したが，本数値と共通基盤に関する心象との相関を確認することで，さらなる検証が可能と考えている。本研究では, 対話内容の分析にフィッシャーの正確確率検定を利用したが, 今後は線形回帰・分類等で特徴量の重みの分析も行いたい. 本研究と関連の深い研究として共通基盤を扱った Bara et al. (2021) と本研究を比較すると, 本論文で述べた課題は実際的ではないと考えられる。今後, より実際の共同作業に近い課題に取り組むことも重要である。また，本研究ではテキストを介した対話のみを対象にしたが，音声や映像といったマルチモーダルな情報を介する対話における共通基盤の構築過程を明らかにすることも重要な課題である (Furuya et al. 2022).

本研究で扱った課題は, 対話を通じて話者の理解を一致させるという一般的な過程を含んでおり，明らかになった共通基盤構築の過程は他の課題にも適用できると考えている。具体的には，作業者が対話を通じ共同で課題を達成する状況，かつ，作業者が課題を独立に行い，その課題の状態の定量化が可能なもの（例えば，グラフィカルな要素を含むもの）であれば，作業者間での課題の状態の一致度を定義することができるため, 本論文のデータ収集手法, および,分析手法が適用できると考えられる。今後, 他の課題でも同様の調査を実施し, 本研究で得られた知見の一般性を検証していきたい.

## 謝 辞

本論文の一部は, The 13th Language Resources and Evaluation Conference (LREC2022) で発表したものです (Mitsuda et al. 2022).

## 参考文献

Anderson, A. H., Bader, M., Bard, E. G., Boyle, E., Doherty, G., Garrod, S., Isard, S., Kowtko, J., McAllister, J., Miller, J., Sotillo, C., Thompson, H. S., and Weinert, R. (1991). "The HCRC Map Task Corpus." Computational Linguistics, 34 (4), pp. 351-366.

Bara, C.-P., CH-Wang, S., and Chai, J. (2021). "MindCraft: Theory of Mind Modeling for Situated Dialogue in Collaborative Tasks." In Proceedings of EMNLP, pp. 1112-1125.

Bard, E. G., Anderson, A. H., Sotillo, C., Doherty-Sneddon, M. A. G., and Newlands, A. (2000). "Controlling the Intelligibility of Referring Expressions in Dialogue." Journal of Memory and Language, 42, pp. 1-22.

Benotti, L. and Blackburn, P. (2021). "Grounding as a Collaborative Process." In Proceedings of $E A C L$, pp. 515-531.

Carletta, J., Isard, A., Isard, S., Kowtko, J. C., Doherty-Sneddon, G., and Anderson, A. H. (1991). "The Reliability of Dialogue Structure Coding Scheme." Language and Speech, 23 (1), pp. 13-32.

Chai, J. Y., Fang, R., Liu, C., and She, L. (2017). "Collaborative Language Grounding Toward Situated Human-Robot Dialogue." AI Magazine, 37 (4), pp. 32-45.

Chandu, K. R., Bisk, Y., and Black, A. W. (2021). "Grounding 'Grounding' in NLP." In Findings of $A C L-I J C N L P$, pp. 4283-4305.

Clark, H. H. and Schaefer, E. F. (1989). "Contributing to Discourse." Cognitive Science, 13 (2), pp. 259-294.

Clark, H. H. and Wilkes-Gibbs, D. (1986). "Referring as a Collaborative Process." Cognition, 22 (1), pp. 1-39.

de Vries, H., Strub, F., Chandar, S., Pietquin, O., Larochelle, H., and Courville, A. C. (2017). "GuessWhat?! Visual Object Discovery through Multi-modal Dialogue." In Proceedings of CVPR, pp. 5503-5512.

Denis, A. and Striegnitz, K. (2012). "A Collaborative Puzzle Game to Study Situated Dialog." In Proceedings of AAAI, pp. 37-40.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Dwass, M. (1960). "Some k-Sample Rank-order Tests." Contributions to Probability and Statistics, pp. 198-202.

Foster, M. E., Bard, E. G., Guhe, M., Hill, R. L., Oberlander, J., and Knoll, A. (2008). "The Roles of Haptic-ostensive Referring Expressions in Cooperative, Task-based Human-robot Dialogue." In Proceedings of HRI, pp. 295-302.

Fried, D., Chiu, J., and Klein, D. (2021). "Reference-Centric Models for Grounded Collaborative Dialogue." In Proceedings of EMNLP, pp. 2130-2147.

Fuchi, T. and Takagi, S. (1998). "Japanese Morphological Analyzer using Word Co-occurrence -JTAG-." In Proceedings of COLING, pp. 409-413.

Furuya, Y., Saito, K., Ogura, K., Mitsuda, K., Higashinaka, R., and Takashio, K. (2022). "Dialogue Corpus Construction Considering Modality and Social Relationships in Building Common Ground." In Proceedings of LREC, pp. 4088-4095.

Gero, K. I., Ashktorab, Z., Dugan, C., Pan, Q., Johnson, J., Geyer, W., Ruiz, M., Miller, S.,

Millen, D. R., Campbell, M., Kumaravel, S., and Zhang, W. (2020). "Mental Models of AI Agents in a Cooperative Game Setting." In Proceedings of CHI, pp. 1-12.

Hahn, M., Krantz, J., Batra, D., Parikh, D., Rehg, J. M., Lee, S., and Anderson, P. (2020).

"Where Are You? Localization from Embodied Dialog." In Proceedings of EMNLP, pp. 806-822.

He, H., Balakrishnan, A., Eric, M., and Liang, P. (2017). "Learning Symmetric Collaborative Dialogue Agents with Dynamic Knowledge Graph Embeddings." In Proceedings of $A C L$, pp. 1766-1776.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of CVPR, pp. 770-778.

Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi, N., Sugiyama, H., Hirano, T., Makino, T., and Matsuo, Y. (2014). "Towards an Open Domain Conversational System Fully Based on Natural Language Processing." In Proceedings of COLING, pp. 928-939.

Hough, J. and Schlangen, D. (2017). "It's Not What You Do, It's How You Do It: Grounding Uncertainty for a Simple Robot." In Proceedings of HRI, pp. 1-10.

Ilinykh, N., Zarrieß, S., and Schlangen, D. (2019). "Meet Up! A Corpus of Joint Activity Dialogues in a Visual Environment." In Proceedings of SEMDIAL, pp. 1-10.

Jayannavar, P., Narayan-Chen, A., and Hockenmaier, J. (2020). "Learning to Execute Instructions in a Minecraft Dialogue." In Proceedings of ACL, pp. 2589-2602.

Kim, J.-H., Kitaev, N., Chen, X., Rohrbach, M., Zhang, B.-T., Tian, Y., Batra, D., and Parikh, D. (2019). "CoDraw: Collaborative Drawing as a Testbed for Grounded Goal-driven Communication." In Proceedings of ACL, pp. 6495-6513.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of ICLR, pp. 1-15.

Kopp, S. and Kramer, N. (2021). "Revisiting Human-Agent Communication: The Importance of Joint Co-construction and Understanding Mental States." Frontiers in Psychology, 12.

Lewis, M., Yarats, D., Dauphin, Y. N., Parikh, D., and Batra, D. (2017). "Deal or no Deal? End-to-End Learning for Negotiation Dialogues." In Proceedings of EMNLP, pp. 2443-2453.

Liu, C., Fang, R., and Chai, J. Y. (2012). "Towards Mediating Shared Perceptual Basis in Situated Dialogue." In Proceedings of SIGDIAL, pp. 140-149.

Liu, K., Tree, J. E. F., and Walker, M. (2016). "Coordinating Communication in the Wild: The Artwalk Dialogue Corpus of Pedestrian Navigation and Mobile Referential Communication." In Proceedings of LREC, pp. 3159-3166.

Meguro, T., Higashinaka, R., Minami, Y., and Dohsaka, K. (2011). "Evaluation of Listening-
oriented Dialogue Control Rules based on the Analysis of HMMs." In Proceedings of Interspeech, pp. 809-812.

Meguro, T., Minami, Y., Higashinaka, R., and Dohsaka, K. (2014). "Learning to Control Listening-Oriented Dialogue Using Partially Observable Markov Decision Processes." ACM Transactions on Speech and Language Processing, 10 (4). Article No. 15, pp. 1-20.

Mitsuda, K., Higashinaka, R., Oga, Y., and Yoshida, S. (2022). "Dialogue Collection for Recording the Process of Building Common Ground in a Collaborative Task." In Proceedings of LREC, pp. 5749-5758.

Moratz, R. and Tenbrink, T. (2006). "Spatial Reference in Linguistic Human-Robot Interaction: Iterative, Empirically Supported Development of a Model of Projective Relations." Spatial Cognition 8 Computation, 6 (1), pp. 63-107.

中野幹生 (2019). 対話システムにおける基盤化処理. 言語・音声理解と対話処理研究会 SIG-

SLUD-B901-01, pp. 1-4. [M. Nakano (2019). Grounding in Dialogue Systems. JSAI Technical Report, SIGSLUD-B901-01, pp. 1-4.].

Paparrizos, J. and Gravano, L. (2015). "k-Shape: Efficient and Accurate Clustering of Time Series." In Proceedings of SIGMOD, pp. 1855-1870.

Polyak, S. and Davier, A. V. (2017). "Analyzing Game-Based Collaborative Problem Solving with Computational Psychometrics." In Proceedings of SIGKDD, pp. 1-14.

Rabiner, L. and Juang, B. (1986). "An Introduction to Hidden Markov Models." IEEE ASSP Magazine, 3 (1), pp. 4-16.

齋藤結, 光田航, 東中竜一郎, 南泰浩 (2022). 対話での共通基盤構築過程における名付けの分析.言語処理学会第 28 回年次大会発表論文集, pp. 38-42. [Y. Saito et al. (2022). Taiwa deno Kyotsu Kiban Kouchiku Katei ni okeru Nazuke no Bunseki. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 38-42.].

Soleymani, M., Stefanov, K., Kang, S.-H., Ondras, J., and Gratch, J. (2019). "Multimodal Analysis and Estimation of Intimate Self-disclosure." In Proceedings of ICMI, pp. 59-68.

Spanger, P., Yasuhara, M., Iida, R., and Tokunaga, T. (2009). "Using Extra Linguistic Information for Generating Demonstrative Pronouns in a Situated Collaboration Task." In Proceedings of preCogsci, pp. 1-8.

Tokunaga, T., Iida, R., Terai, A., and Kuriyama, N. (2012). "The REX Corpora: A Collection of Multimodal Corpora of Referring Expressions in Collaborative Problem Solving Dialogues." In Proceedings of LREC, pp. 422-429.

Traum, D. R. (1994). "A Computational Theory of Grounding in Natural Language Conversation." Tech. rep., Rochester Univ NY Dept of Computer Science.

Udagawa, T. and Aizawa, A. (2019). "A Natural Language Corpus of Common Grounding under Continuous and Partially-Observable Context." In Proceedings of AAAI, pp. 7120-7127.

Udagawa, T. and Aizawa, A. (2020). "An Annotated Corpus of Reference Resolution for Interpreting Common Grounding." In Proceedings of AAAI, pp. 9081-9089.

Van Waveren, S., Carter, E. J., and Leite, I. (2019). "Take One For the Team: The Effects of Error Severity in Collaborative Tasks with Social Robots." In Proceedings of IVA, pp. 151-158.

## 略歴

光田航：2013 年東京工業大学情報工学科卒業. 2015 年同大学大学院情報理工学研究科修士課程修了. 2021 年筑波大学大学院システム情報工学研究科博士課程修了. 2015 年から 2023 年まで日本電信電話株式会社研究員. 2023 年より rinna 株式会社 Applied Scientist. 自然言語処理, 対話システムの研究開発に従事. 言語処理学会会員. 博士 (工学).

東中竜一郎：2001 年慶應義塾大学大学院政策・メディア研究科修士課程, 2008 年博士課程修了. 2001 年日本電信電話株式会社入社. 2020 年より, 名古屋大学大学院情報学研究科教授. NTT 人間情報研究所客員上席特別研究員. 慶應義塾大学環境情報学部特別招聘教授. 2004 年から 2006 年まで英国シェフィールド大学客員研究員. 質問応答システム・対話システムの研究に従事. 人工知能学会, 言語処理学会, 情報処理学会, 電子情報通学会各会員. 博士 (学術).

大賀悠平: 2020 年千葉大学情報画像学科卒業. 2022 年筑波大学大学院システ么情報工学研究科修士課程修了. 2022 年日本電信電話株式会社入社. 自然言語処理, 文書画像処理に関する研究開発に従事.

吉田仙：1995 年東北大学大学院情報科学研究科博士前期課程修了. 1995 年から 2022 年まで日本電信電話株式会社, 2003 年から 2007 年まで西日本電信電話株式会社. 2022 年より株式会社三菱ケミカルホールディングス（現：三菱ケミカルグループ株式会社)，現在，自然言語処理の応用業務に従事．情報処理学会, 人工知能学会各会員.

(2022 年 12 月 23 日受付)

(2023 年 4 月 8 日再受付)

(2023 年 5 月 11 日採録)