協調作業対話で用いられる参照表現の収集と分析
安原 正晃

飯田 龍

Philipp Spanger

徳永 健伸

東京工業大学 大学院情報理工学研究科{yasuhara,philipp,ryu-i,take}@cl.cs.titech.ac.jp

1

はじめに

参照表現とは，指示対象を他の物体と混同せずに区別して指し示す表現であり，参照表現を理解し，生成できるようにすることは，人間とコンピュータが自然なコミュニケーションを行う上で重要な課題である．
特に，Dale と Reiter が参照表現生成のために Incremental Algorithm を提案して以降 [1]，このアルゴリズムは参照表現生成のベースラインとなり，以後種々の拡張がおこなわれている [2]．また，生成された参照表
現を評価するために Aberdeen 大学では，TUNA プロ
ジェクト [3] の一貫として，TUNA コーパスが構築され，以後，様々な研究に用いられている [5]．しかし，
TUNA コーパスは文脈情報を捨象し，状況変化のない場合を想定しているため，より現実に即したコーパスを構築し，分析する必要がある．そこで本研究は，協調作業対話における参照表現のコーパスを構築し，分析を行う．
以下，2 節では，人間同士の協調作業で用いられる参照表現のコーパスを構築した方法について説明し，3 節でそのコーパスについて分析を行う．そして，4 節で協調作業特有の参照表現について詳しく分析し，5 節でまとめとする．

2コーパスの構築

2.1

実験設定

協調作業における参照表現を収集するために，2 人1 組のペアにタングラムパズルを作業課題として与え，協力して解く様子を記録した．タングラムパズルとは，7 つのピースを用いて，問題として提示された形を作るパズルであり，三角形 5 つ (大 2 つ，中 1 つ，小 2 つ)と四角形 2 つ (正方形，平行四辺形) の 7 つのピースを使用する．言語情報のみを用いた参照表現を収集するため，作業中のインタラクションは言語のみに限定した．被験者として認知科学を専門をする日本人大学院
生 12 人を集め，6 組に分けて実験を行った．
作業過程の様子を正確に記録するため，コンピュータ上で動作するタングラムシミュレータを実装した．タングラムシミュレータは，ディスプレイを見ながら，マ

図 1: タングラムシミュレータの画面
ウスの簡単な操作でピースの移動，回転，反転ができる．ディスプレイに提示する画像は，目標図形を映す
領域 (図 1 左側) とピースを操作する作業領域 (図 1 右側) の 2 つの領域に分かれている．
実験に際し，ペアの 2 人に対して「指示者」と「作業者」という異なる役割を与えた．指示者は，提示された目標図形を見ながら，その形を形成するピースの配置を考え，ピースの操作指示を作業者に与える．一方，作業者はその指示に従って，実際にマウスでピースを操作する．目標図形は指示者のみに提示し，操作用マウスは作業者のみにしか与えない．このような非対称な役割を与えたのは，言語表現でのやりとりを促し，できるだけ多くの参照表現を収集するためである．
我々のタングラムシミュレータでは，TUNA コーパ
スとは違い，オブジェクト (ピース) を全て同色にし，固有属性をサイズと形状のみにしている．これは，空間関係や直示的な表現など使用を促すためである．
2 人の被験者は図 2 のように隣同士でそれぞれのディスプレイの前に座る．作業者側は操作用のマウスがあるが，ディスプレイの目標図形を映す領域が隠されている．一方，指示者は操作用のマウスを持たないが，目標図形を見ることができる．2 人は作業領域をそれぞれのディスプレイ上に共有し，対話のみでやり取りする．言語情報以外の情報をやり取りできないよう，2 人の間に衝立を設置した．
各被験者のペアは 4 つの課題を解く．最初の 2 つの課題を解いた後，役割を交代して，残り 2 つの課題を－ 622 －類 1,509 個の参照表現を得た．さらに，各参照表現に発話の開始と終了のタイムスタンプを付与し，コーパスを構築した．

3

コーパスの解析

指示者と作業者それぞれから集められた表現の数を
表 1 に示す． (両者が同じ表現を用いることもあるため，異なりの合計は単なる足し合わせとはならない．)
非対称な実験設定により，参照表現の多くは指示者によるものである．
図 2: 実験環境

表 1: 収集した参照表現の数解く．また，課題に取り組む前に作業者は簡単な操作練習をおこなう．各課題のピースの初期配置はランダムに行い，1 つの課題について 15 分の時間制限を設定した．指示者が考え込んで対話が停滞しないよう，ヒントを 5 分ごとに計 2 回与えた．ヒントは 7 つのピースのうち 1 つの正解位置を目標図形内に提示した．15分の時間切れ，あるいは課題を解き終わった場合はその時点で終了とした．各課題ごとに，被験者の発話音声，ピースの位置，マウス操作を記録し，24 対話分約4 時間のデータを得た．

2.2

アノテーション

記録した対話音声はテキストに書き起こし，発話ごとにタイムスタンプを付与した．さらに，書き起こしテキスト中の参照表現に対し，汎用アノテーションツー
ル SLAT [6] を用いてアノテーションを行った．指示対象として，1 つあるいは複数のピースを指す場合，ピースの一部分を指す場合，場所を指す場合などが存在したが，今回は 1 つあるいは複数のピースを指す表現のみを扱う．
アノテーションは著者のうちの 2 人で行い，まず 4対話を個別に行い，以下のアノテーション基準を決定した．

• ピースを指す参照表現にその指示物を表すタグを付与• 情報の落ちない最小単位にタグを付与• 指示物が特定のピースに明確に定まっていない表
現は参照表現を示すタグのみ付与• 誤った表現はコメントと共にタグを付与• 独り言などに出現する表現は排除
以上の基準で 24 対話をアノテーションし，不一致が起きた箇所は話し合いにより解決した．その結果，503 種

指示者
作業者
合計

異なり
470
51503

延べ1,287222
1,509

参照表現が指す指示物の数を見ると複数 (2 個以上)の指示物を指す表現が 215 個 (全体の 15 ％) あり，残りは指示物の数が 0 または 1 つの表現である．指示物が 0 の表現とは，指示物が明確に 1 つのピースに定まっていない表現であり，話し手がオブジェクトのタイプ(例. 大きい三角) のみ示し，インスタンスの選択 (例. 2つの大きい三角のうちどちらを選ぶか) を聞き手に任せている場合である．今回は，指示物の数が 0 または 1つの表現に絞り分析を進める．
指示物の数が 0 または 1 つの表現は 1,294 個あり，以下のような統語的あるいは意味的特徴が用いられていた − 1) 指示詞 (連体詞，代名詞) ，2) オブジェクトの属性，3) 空間関係，4) オブジェクトに対する動作への言及，5) その他．それぞれの特徴の使用数を表 2 に使用例とともに示す (1 つの表現が複数の特徴を含むため，表現の数は単なる足し合わせにはならない) ．
表 2 より，オブジェクトの属性，特に形状 (約 45%)やサイズ (約 20%) が顕著に使用される傾向がわかる．
また，指示詞，特に指示代名詞 (約 40%) が突出して使用頻度が高い．しかしながら，この種の特徴を用いた参照表現はかなり一般的で協調作業対話以外の状況でも出現する．
一方，オブジェクトの操作に言及する表現は協調作
業対話に特有であると考えられる．このような表現は85 個 (約 6%) あった．Foster らも類似の課題において，話者が直接オブジェクトを操作すること自体も参照表現とみなすことができると主張し，そのような表現として “haptic-ostensive expression” という概念を提案している [4]．我々がここで注目するオブジェクトの操作に言及する表現は，言語表現に物理的な操作が必ず伴－ 623 －

うことを要求していない．両者は部分的に重複する概念ではあるが，完全に一致するものではない．

1) 時間副詞と操作を示す動詞の組合せ
2) 時間副詞のみで操作を示す動詞を省略
3) 操作を示す動詞のみ
合計

表 2: 収集した参照表現で用いられた特徴
特徴異なり
1) 指示詞
118
連体詞
100
代名詞
192) 属性
303
サイズ
165
形状271
向き63) 空間関係
129
投影的表現
125
位相的表現
2重なり24) 動作への言及
785) その他
29残り15同類
14延べ745
1965516412676056148
144
2285301515

表 3: 動作に言及する表現の分類

例
あの 右側の三角形
これちっちゃい 三角形
大きい 三角形
下向いてる 三角形
左の 大きい三角形
大きい 離れてる やつその 下にある 三角形
右上に どけた 三角形
残りの 大きい三角形
それと 同じ形 の異なり
5219778

延べ5522885とで判断できる．動詞の省略されているものは作業の様子を観察することで区別した．使用された時間副詞の割合としては，約 4 割が「さっき」，約 4 割が直前の操作を指す「今」，約 2 割が現在の操作を指す「今」であった．
操作に言及する表現のうち 9 割が時間副詞を伴うものであり，この点を生成アルゴリズムでは考慮する必要がある．また，「さっき」と直前の操作を指す「今」はどちらも直前の過去を指す表現であり使い分けを考慮する必要がある．

16「さっき」「今」

オブジェクト操作に言及する表現

84

100～

90～100

80～90

70～80

60～70

50～60

40～50

30～40

20～30

10～20

00～10

我々の実験で被験者が用いたさまざまな表現のうち，オブジェクトの操作に言及する表現についてさらに分析を進める．オブジェクトの操作に言及する表現は，時間副詞やオブジェクトの操作を表わす動詞の連体形により構成されることが多い (例. 今動かした三角形) ．この種の表現は協調作業に特有の表現であると考えられる．その分量は，全体の 6%と大きくないが，協調作業における参照表現を理解する上では重要であると考えられる．
オブジェクトの操作に言及する表現はペアによってその使用量は異なるが，すべてのペアで使用していることを確認した．したがって，この状況設定では基本的な表現であるいえる．また，この表現を，その構成要素によりさらに以下の 3 つのカテゴリに分類する −1) 時間副詞と操作を示す動詞 (移動する，回転する，反転する等) の組合せ (65%) ，2) 時間副詞のみで操作を示す動詞を省略 (約 26%) ，3) 時間副詞がなく操作を示
す動詞のみ (約 9%) ．なお，時間副詞は，対話の先行文脈の指示対象を指す場合もあるが，作業の様子を観察し，実際に物理的な行為 (ピースの移動等) を指しているもののみに絞って数えた．
オブジェクトの操作に言及する表現で使用される時間副詞は，ほとんどが「今」と「さっき」であった．
「今」は直前の操作を指す場合 (今〜したもの) と現在実行中の操作を指す場合 (今〜しているもの) があったが，これは動詞が存在するものは動詞のアスペクトを見るこ

12

頻度

4

時間 (秒)

図 3: 経過時間と「さっき」，「今」の使用頻度の関係
図 3 は，「さっき」や直前の行為を指す「今」がどれくらい前の操作を言及するのに使われるかを示すものである．横軸は，これら時間副詞を伴う参照表現の開始時刻とその表現中で使われている操作の終了時刻の差を 10 秒区切りで示したものである．縦軸は参照表現の延べ頻度である．図 3 からわかるとおり，10 秒前までの動作の言及には「今」が圧倒的に使用される傾向があり，「今」の使用はその後次第に減少する．
「さっき」
は 10〜20 秒前への言及で多く使用され，その後もしばらくの間使用され続ける．
「今」は 70〜80 秒前への言及でも使用されているが，この例では，指示者が考え込んでしまい，約 50 秒にわたってインタラクションが交わされていないことがわかった．また，80 秒前以降

－ 624 －

の「さっき」でも指示者が長く考え込んだり，操作ミスによる時間のロスがあることを確認した．このような場合は，実時間と認知的な体感時間に差が生じ，時間副詞の使用傾向に影響している可能性が考えられる．

16「さっき」「今」

頻度

128400123456789 10 11

操作数

パスと異なり，対話者の動作に関する情報を発話データと時間同期して採取している点が大きな特徴である．
このために，これらの付随情報を利用した参照表現理解・生成のための基礎データとして有用であると考えられる．
構築したコーパスに含まれる参照表現を分類し，その中でも特に「さっき動かした三角形」のように，オブジェクトに対する操作に言及した参照表現を中心に分析を進めた．これらの表現は，従来の参照表現研究
では見過ごされてきた種類のもので，協調作業対話に特徴的であると考えられる．過去の操作への言及を含む表現では「さっき」や「今」といった時間副詞がよく用いられるが，これらの時間副詞は，参照表現中で言及している操作からの経過時間やその間の別の操作の数によって使い分けられていることが明らかになった．今後は，他の種類の参照表現についても分析を進めると同時に，今回得られた知見を，生成アルゴリズムに組み込むことを予定している．

図 4: 操作数と「さっき」，「今」の使用頻度の関係
この点を考慮し，参照表現の発話とその中で言及された操作との間に発生した操作数を横軸にとったグラ
フを図 4 に示す．時間副詞の使用傾向は，時間副詞と言及する操作の間の絶対時間だけでなく，その間におこなった操作数にも影響を受けると考えられる．ここでは，基本的なマウス操作 (移動，回転，反転等) を 1つの操作と考えている．おおよその傾向は図 3 と同様である．直前の操作 (1 つ前の操作) について言及する
場合には，「今」が圧倒的に使用される傾向がある．これに対して，別の操作を挟んだ 2，3 つ前の操作に言及する場合には，「さっき」が多く使用されている．その後も，「さっき」が好まれる傾向があり，「今」はあまり使用されない．6 つ前の操作に言及するのに「今」が多用されたり，11 つ前の操作を言及するのに「今」が使用されているが，これらの例では操作ミスや指示者の指示がないにもかかわらず，操作者が自発的に操作した例が多く含まれていたり，1 つの操作のために複数のマウス操作を行っていたことがわかった．これらの影響を排除するためには，一連の操作を 1 つとして数えたり，操作ミスを除外して数える必要がある．

5まとめ

本稿では，協調作業対話における参照表現の理解・生成のための基礎データとして，参照表現コーパスを作成し，その分析をおこなった．2 名で協力してタングラムパズルを解く課題を被験者に与え，その時の対話をタングラムのピースに対する操作，各ピースの位置情報を発話データとともに採取した．コーパスは 24 対話分，約 4 時間のサイズである．従来の参照表現コー

参考文献[1] Robert. Dale and Ehud Reiter: Computational interpretation of the gricean maxims in the generationof referring expressions, Cognitive Science, Vol. 19,
No. 2, pp. 233–263(1995)[2] Kees van Deemter: Generating referring expressions:
Boolean extensions of the incremental algorithm,Computational Linguistics, Vol. 28, No. 1, pp. 37–52(2002)[3] Kees van Deemter: TUNA: Towards a UNiﬁed Algorithm for the Generation of Referring
Expressions, Technical report, Aberdeen University. www.csd.abdn.ac.uk/research/tuna/pubs/TUNAﬁnal-report.pdf (2007)[4] Mary Ellen Foster, Ellen Gurman Bard, Markus Guhe,
Robin L. Hill, Jon Oberlander, and Alois Knoll: The
roles of haptic-ostensive referring expressions in cooperative, task-based human-robot dialogue, In Proceedings of 3rd Human-Robot Interaction, pp. 295–302(2008)[5] 黒沢 崇浩, Philipp Spanger, 徳永 健伸: 参照表現の生成における属性選択, 言語処理学会第 14 年次大会, pp. 685–688 (2008)[6] 野口 正樹, 三好 健太, 徳永 健伸, 飯田 龍, 小町 守,
乾 健太郎: 汎用アノテーションツール SLAT, 言語処理学会第 14 年次大会, pp. 269–272 (2008)－ 625 －