言語処理学会 第22回年次大会 発表論文集 (2016年3月)

Kyutech コーパス：意思決定タスクを対象とした複数人対話コーパス ∗嶋田和孝 † 山村 崇 † 河原真太郎 † Giuseppe Carenini‡ Raymond Ng‡†‡
九州工業大学
The University of British Columbia

shimada@pluto.ai.kyutech.ac.jp
この度あなた方には，商業施設「UBCモール」内のレストラン街において，「定食和屋（わや）」閉店後，次に出店させる店舗を，UBCモールの経営者の立場で，決定していただきたいと思います．

はじめに

1

対話理解は，自然言語処理の研究の重要なタスクの一つである．従来の対話研究は，何らかの案内システ
ムや予約システムなどの人とシステム間の対話に関す

店名

台湾ヌードル

つけ麺

メニュー例

牛ヌードル：880円
ジャージャー麺：980円

つけ麺：700円
餃子：200円

麻婆豆腐：720円
中華丼：900円

予算800円〜1,200円

700円〜1,000円

900円〜1,500円

座席数253025

営業時間

11:00〜23:00

11:00〜23:00

11:00〜23:00

はたまらない別店舗の口コミたり，公開されている [2, 6]．

や ICSI コーパス [3] などが存在する．これらのコーパアノテーションがされている．一方で，日本語においてはこのような対話要約に自由に利用できるコーパス（＋100円）が有名．

・スープのにおいがダメだった ・つけ麺屋だが，普通のラーメ ・あともう少し安ければと思う（30代男性）

ンも美味しい（30代男性）

・種類も豊富で家族連れも多い

たい（30代女性）（30代男性）（20代女性）UBC モールは，A 県 U 市の中心部付近にあるショッピングモール（複合商業施設）で，スーパーマーケットと60 の専門店，ゲームセンター，映画館，7 つのレストランなどから成ります．
主なターゲット：
所在地の U 市と隣接する X 市の住民です．休日などにカップルや家族連れが長時間滞在する時間消費型の施設としてのみならず，U 市内に古くからある商店街の衰退に伴い，日用品の買い物を含む多くの役割を担っています．
立地・交通機関など：
UBC モールには十分な無料駐車場の他に，U 市内の各所から UBC モール向けのバスもあります．

郊外型のショッピングモールではないため，UBC モールの周りには規模は大きくありませんが，いくつかのオフィスビルなども存在します．
Ｕ市内には他にもスーパーマーケットやディスカウントストアなどの単体の商業施設がありますが，ショッピングモールは UBC モールのみです．
来客者に関する情報：

営業時間は店舗によって異なります．最も大きな施設であるスーパーマーケットは 10 時から 23 時まで 開いています．
以下のグラフは，UBC モール全体への時間別平均来客数（平日と土日祝）および平日の時間別の男女比率を表しています．
土・日・祝日の男女比は，男性：女性＝４：６で，時間帯での男女比の大きなばらつきはありません．

本論文では，複数人による意思決定タスクを対象と平日：男性（％）

平日：女性（％）

平日：人数

土日祝：人数1600
1400
1200人 1000800
数 600400200
0

したコーパス（Kyutech コーパス）について述べる．対話コーパスのタスク設定や書き起こし方針，要約研究のためのトピックアノテーションおよび正解要約の作

1011121314151617181920212223

時間

成方法について説明する．作成されたコーパスは Web
ページ上に順次公開する 1 ．

図 1: 議論の際に利用した資料の一部抜粋．

Kyutech コーパス
本節では，Kyutech コーパスのタスク設定と書き起こしテキストの作成方針について述べる．

2.1（30代男性）・美味しい．何度も食べに行き ・あっさりしていて美味しい【UBC モールに関する情報】

は存在しない．

2

気．

・ここでしか食べられない味が ・シメの雑炊まで食べればお腹 ・手頃な予算で食べられる（20ある（20代男性）いっぱいになる（40代男性）代女性）

それに応じて様々な対話に関するコーパスが作成されスでは，各発話のトピックタグや正解要約など様々な四川ぞ知る台湾ヌードルの老舗．日 ショッピングモールには初出
華料理チェーン店．手頃な値段
本のラーメンとは違う独特な店．バラエティのあるメニュー で本格的な中華を味わえると有スープは癖があるが好きな人に と麺を食べた後のシメの雑炊
名．老若男女，幅広い客層に人概要る対話に関する研究が盛んに行われるようになった．

ある．英語を対象とした研究では，AMI コーパス [1]

中華料理

20年前から県内にある，知る人 全国で有名なつけ麺屋．県内の 全国で300店舗以上を有する中るものが多かった．一方で，近年，雑談や複数人によ対話理解の研究のタスクの一つとして，対話要約がふうじん

めに，出店候補店のレストラン情報，閉店するレストランの情報と閉店理由，レストラン街の既存店の情報，ショッピングモールの立地や来客者の時間帯・性別分

対話環境とタスク布，ショッピングモールのある都市の人口などの統計

本コーパスでは，4 名の参加者による複数人対話を情報，さらに隣接する市町村の情報などが書かれた 10対象としている．4 名の参加者は，ある都市のショッページほどの資料が準備されている．資料の一部を図

ピングモールの経営者であるという設定のもと，そのの閉店後に出店させるレストランを 3 つの候補の中か1 に示す．参加者は，この資料を 10 分間黙読し，次に20 分間の議論ののち，出店レストランを 1 つ決定する．現在 4 つのシナリオを用意しており，16 名の学生ら 1 つ選ぶというタスクについて議論する．議論のたから 4 名を選び，9 つの対話データを収録している 2 ．

∗ The Kyutech corpus: a multi-party conversation corpus on adecision-making task
1 http://www.pluto.ai.kyutech.ac.jp/ shimada/˜resources.html

2 あるタスクに対する 4 名を選ぶ場合は，過去の組み合わせと 2名以上が被らないように配慮し，さらに同じシナリオを議論しないようにした．

ショッピングモールのレストラン街にあるレストラン― 1097 ―Copyright(C) 2016 The Association for Natural Language Processing.
All Rights Reserved.

ID Begin
D 00:00:24.490D 00:00:26.585
C 00:00:29.985
A 00:00:31.815
B 00:00:35.045
D 00:00:38.405
C 00:01:02.650
D 00:01:08.300

EndUtterance
00:00:25.530 現時点で+00:00:27.615 どこがいいと思う(Q)/
00:00:31.195 私はつけ麺/
00:00:33.965 自分も同じくつけ麺ふうじんがいいかな/
00:00:38.185 僕は中華料理かなと考えてました/
00:00:40.665 自分も中華料理かなっていう/
00:01:06.880 なんで中華料理が良いと(D 思ったか)思ったのか/
00:01:08.950 んー/

図 3: 書き起こしの例．
下のルールに基づいて，発話単位のアノテーションを行った 5 ．+ はその転記単位が次の転記単位と繋がる（1 つの発話内）であることを意味し，/ は 1 つの発話の終わりを意味する．

Step1: まず，すべての転記単位の末尾を + とする．
Step2: 次の転記単位まで 1 秒以上の空白があり，以下の条件のどちらかにマッチした場合は + を / に
図 2: 対話環境．
タグ(F) タグ(D) タグ(Q) タグ(%) タグ(?) タグ(L) タグ
<笑>

変更する．

説明

条件 1: 「動詞（もしくは助動詞）＋接続詞」のフィラー．
言いよどみ・言い直し．
疑問文：文末の表記やイントネーションから疑問文であると判断される場合．
上記では判断が難しい疑問文．
聞き取りに自信がない箇所．
ささやき声や独り言のような小さな声．
発話中もしくは単独の笑い．

形で終わる
条件 2: 次の発話が「接続詞」，「フィラー」，「副詞」のいずれかで始まる

Step3: Step2 で発話の終わりと認定されないが，作業者が 1 つの発話の終わりであると感じる部分は +を ∗ に変更する．

表 1: 書き起こしの際に利用されるタグ．

図 3 に実際のコーパスの例を示す．各行のアルファ
ベットは話者 ID を意味する．例えば，「現時点で」と参加者はテーブルを囲む形で座り，議論をする．議「どこが良いと思う」は発話認定ルールによって + と論の様子は，4 人それぞれを KINGJIM MR3603 で撮判断され，音声でのイントネーションから疑問文であ影し，さらに通常のビデオカメラでも撮影する．図 2

る (Q) と認定されていることを表している．9 つの対にその様子を示す．対話収録後には，最終的な選定結話データに書き起こしを行った結果，転記単位での発果への満足度や誰が決定に貢献したと思うかなどのア話数は 4511 となった．

ンケートも取っている．

2.2

アノテーション

3

書き起こしのルール

KINGJIM MR360 で録画された画像と音声からELAN4 を利用して書き起こしテキストを作成する．
書き起こしの際は，日本語話し言葉コーパス（CSJ）の書き起こし基準 [4] を参考にする．具体的には 0.2
秒以上のポーズを転記単位の区切りとし，フィラーなどのタグ付けを行う．表 1 に現在使用しているタグの一覧を示す．

CSJ コーパスの転記単位で書き起こすと 1 つの発話が複数に分割されることが多く生じる．そこで，各書き起こしデータの行（1 つの転記単位）に対して，以本研究の最終的な目的の一つは対話の要約生成である．対話の要約には様々な手法が考えられるが，第 1段階として，各発話のトピックを推定するということが考えられる．そこで，Kyutech コーパスでは転記単位に対してトピックセグメンテーション（トピックのアノテーション）を行う．また，最終的な要約システムの評価のために正解要約を作成する．

3.1

トピックセグメンテーション

本節では議論をトピック毎に分割（トピックセグメンテーション）するための各転記単位へのアノテーション作業について述べる．まず，トピックアノテーショ

3 http://www.kingjim.co.jp/sp/mr360/
4 https://tla.mpi.nl/tools/tla-tools/elan/

5 ただし，転記単位の末尾のみを対象とする．

― 1098 ―Copyright(C) 2016 The Association for Natural Language Processing.
All Rights Reserved.

タグ
CandX
CandY
CandZ
Cands
ClosedExist1
Exist2
Exist3
Exist4
Exist5
Exist6
ExistsClEx
Mall
OtherMall
Location
Area
PeoplePrice
Menu
Atomos
Time
Seat
Sell
AccessMeeting
ChatVague

説明タグ以外に新たにタグを作成することも許可したが，候補店 1 に関するのトピック
候補店 2 に関するのトピック
候補店 3 に関するのトピック
候補店 1〜3 の複数に関するトピック
閉店したレストランについてのトピック
既存店 1 に関するトピック
既存店 2 に関するトピック
既存店 3 に関するトピック
既存店 4 に関するトピック
既存店 5 に関するトピック
既存店 6 に関するトピック
既存店 1〜6 の複数に関するトピック
既存店および閉店したレストランの両方に関するトピック
UBC モール全体についてのトピック
他の場所にあるショッピングモールに関するトピック
モール内でのレストラン同士の位置関係に関するトピック
地域や都市についてのトピック
ターゲットにする顧客についてのトピック
価格に関するトピック
メニューに関するトピック
雰囲気に関するトピック
営業時間などに関するトピック
座席数や回転率などに関するトピック
売り上げに関するトピック
交通手段などモールへのアクセスに関するトピック話を進めるための議事提案や最終決定部に関連するトピック
レストラン選択には直接関係ない雑談
前後の文脈からも何を言っているか分からない場合

このアノテータによる作業では新しいタグは生まれな

表 2: トピックセグメンテーションに利用されるタグ．

ンの前段階として，考えられるトピックタグの洗い出しを行う必要がある．今回は著者らを含む 4 名がそれぞれ Kyutech コーパスの中の別々の対話データに対して，その対話でどのようなトピックが存在するかを調査した．この作業を 2 回繰り返し，表 2 に示す 28 個のトピックを選定した．
次にこのトピックタグに基づき，この研究に関係していない者も含め 6 名で実際の書き起こしデータにトピックのアノテーションをした．各転記単位について，必ず 1 つのタグ（必須タグ）を付けることを条件とし，1 つでは足りないと思う場合には，追加でもう 1 つまでタグ（追加タグ）を付けることができるよ
うにした．アノテータは 2.1 節で説明した議論のための資料にも目を通しつつ，発話の前後の流れなどを踏まえてタグ付けを行った．アノテーションは 1 対話に対して 2 名で独立に行った．事前に用意したトピックかった．アノテーション終了後，2 名のアノテータの付けたタグについて，その一致率を計算した．具体的には，それぞれのアノテータが付けた 2 つ以内のタグのうち，少なくとも 1 つは一致している率をここでは一致率（すなわち部分一致率）とした．その結果，2名のアノテータ間の部分一致率は 0.879 という高い値であった．

2 名のアノテータによるアノテーション処理の後，著者のうち 3 名 6 で，アノテータによるタグをチェックした．ここでは必須タグ以外の追加タグを 2 つまで許すこととし，著者ら 3 名の合議によって，各転記単位のタグを決定した．この際に，アノテータの勘違いや誤記なども議論を通して修正した．この処理によって，全 4511 個のデータについて，3 つ以内のトピックタグを付与した．この 3 つの最終的なトピックタグが少なくとも 2 名のアノテータの付けたタグのうち 1 つ以上を含んでいる率は 0.965 となり，アノテータの意
向を十分に考慮したトピックラベルが得られた．実際のアノテーション結果を図 4 に示す．現在の Kyutech
コーパスでは，必須タグを 1 つのトピックだとみなした場合，およそ 10 転記単位で 1 つのトピックが構成されている．

3.2

正解要約

本節では，正解要約を作成する手順について述べる．
正解要約は句読点などを含め 250 字以上・500 文字以内という制限を設けた．
正解要約作成は AMI コーパスのガイドライン（Abstractive Hand Summaries Guidelines (Scenario)）に準拠した 7 ．このガイドラインに従って，要約生成は 3.1節の処理の直後に，同じアノテータによって行われる．
アノテータには「対話の内容を知らない人が読んだ場合でも，議論の内容を理解できるような要約を作成する」ことを依頼した．3.1 節での結果（トピックセグメンテーション）を意識はしても良いが，正解要約がそれと完全に一致する必要はないとして，要約を作成した．
ある対話に対して，あるアノテータが作成した正解要約を図 5 に示す．これらのアノテータが作成した要約とは別に，3.1 節のトピックアノテーションと同様に，2 名のアノテータの要約の総意を取った要約を著者らが作成することで，1 つの対話に対して合計 3 つ
6 この 3 名中 2 名は，タグ選定には関わったが，前段の 2 名によるアノテーション作業には関わっていない．
7 http://groups.inf.ed.ac.uk/ami/corpus/guidelines.shtml― 1099 ―Copyright(C) 2016 The Association for Natural Language Processing.
All Rights Reserved.

アノテータ１
アノテータ2
最終タグ
必須タグ 追加タグ 必須タグ 追加タグ 必須タグ 追加タグ 追加タグ

発話

D Closed

Sell

ClosedClosedSell

今回の定食はあれですよね、(D ふさいけんだった)不採算だった/

A Closed

Sell

Sell

ClosedSell

不採算だったから潰されるってことは採算取れないと+

A Closed

Sell

ClosedD ClosedSell

D Closed

Sell

A Exist4

Sell

Exist4

D Exist4

Sell

A Exist4

Sell

A Closed

A Exist4

D Exist4

Sell

Sell

D Exist4

ClosedSell

ClosedSell

Sell

Exist4

Exist4

Sell

Meeting

Exist4

Sell

Exist4PeopleExist4

Menu

PeoplePeoplePeoplePeopleD People

PeoplePeoplePeoplePeoplePeoplePeopleExist4
Exist4
Exist4
Exist4
Exist4
Exist4People<笑>/って考えたら、採算取れる店って何なんだろうっつったら、ファミリープレートが一番売り上げが良い訳で+(L んー)/

Sell

PeoplePeople

駄目みたいな空気が凄いあるからさあ/

SellExist4

Meeting

<笑>/

Sell

Menu

PeopleC Exist4

Sell

そうそう/

Sell

Exist4

C Exist4
A Exist4

ClosedPeoplePeopleA Exist4

Sell

Sell

Menu

C Exist4
C Exist4

Closedファミリープレートが+なんで良いんだろうね(Q)/Menu

PeopleMenu

PeoplePeopleMenu

PeopleMenu

PeopleMenu

PeopleMenu

PeopleMall

メニュー、色んな店とか(? かな)/プラス+

家族連れが+

多いって書いてあったんで、多分色んな種類あるとこに(?)+
んー/(?)家族があって/集まるんじゃないんすかね/
あー/

休日はなんか消費が少なく長時間滞在、消費型って書いてありましたね、カップルや家族連れ/

図 4: 2 名のアノテータのアノテーション結果と最終タグの例．
既存店の中で最も売り上げが良いファミリープレートを例とし、主に３つの候補店の値段、客層、メニューの参考文献とや値段が安くても売り上げを出している店舗があるため、優先順位は低いとされた。
また客層については、[1] Jean Carletta. Unleashing the killer corpus: experiences increating the multi-everything AMI meeting corpus. Language Resources and Evaluation, Vol. 41, No. 2, pp. 181–190, 2007.
[2] 東中竜一郎, 船越孝太郎, 荒木雅弘, 塚原裕史, 小林優佳,
水上雅博. Project Next NLP 対話タスク：雑談対話デー
タの収集と対話破綻アノテーションおよびその類型化.
言語処理学会 第 21 回年次大会ワークショップ「自然言語処理におけるエラー分析」, 2015.
[3] Adam Janin, Don Baron, Jane Edwards, Dan Ellis, DavidGelbart, Nelson Morgan, Barbara Peskin, Thilo Pfau, Elizabeth Shriberg, Andreas Stolcke, and Chuck Wooters. TheICSI meeting corpus. In Proceedings of the IEEE ICASSP,
2003.
[4] 国立国語研究所. 日本語話し言葉コーパスの構築法. No.
124. 2006.
[5] Yashar Mehdad, Giuseppe Carenini, and Raymond T. Ng.
Abstractive summarization of spoken and written conversations based on phrasal queries. In Proceedings of the 52nd
Annual Meeting of the Association for Computational Linguistics, pp. 1220–1230, 2014.
[6] Fumio Nihei, Yukiko I. Nakano, Yuki Hayashi, HungHsuan Hung, and Shogo Okada. Predicting influential
statements in group discussions using speech and head motion information. In Proceedings of the 16th International
Conference on Multimodal Interaction, ICMI ’14, pp. 136–143, 2014.
[7] Tatsuro Oya, Yashar Mehdad, Giuseppe Carenini, and Raymond Ng. A template-based abstractive meeting summarization: Leveraging summary and source text relationships. In Proceedings of INLG 2014, 2014.
[8] 山村崇, 嶋田和孝. 語彙的連鎖とトピックモデルに基づくテキストセグメンテーション. 言語処理学会第 22 回年次大会 (NLP2016), 2016.

多さについて議論がなされた。値段については既存店の中に値段が安くも売り上げが少ない店舗があるこショッピングモールの主な客層が家族連れや女性客を多いことから、それらの客層に受けの良い店舗が優先するとされた。
その結果、ラーメンかいぶつは３つの候補店のうち値段はもっとも安いが、メニューが少なくショッピングモールの主な客層である女性客に受けが悪いと判断され、棄却された。最終的には既存店に女性向けの店舗がないことを考慮し、メニューの多さよりも女性客に受けが良いかという点を優先した。
その結果、つけ麺ふうじんとボノパスタを比べたとき、つけ麺ふうじんはメニューの豊富さではボノパスタに優っているが、ボノパスタはつけ麺ふうじんよりも女性受けが良いと判断され、ボノパスタが採択された。
（433字）

図 5: 正解要約の例．の正解要約を用意する．

4

おわりに
本論文では，複数人による意思決定タスクを対象とした Kyutech コーパスについて説明した．現在，9 対話について書き起こしおよびアノテーション作業が終了している．1 つの対話に対するアノテーションに掛かる時間は 2 時間半程度 8 であった．
今後はこの Kyutech コーパスを対象に対話要約の研究を進めていく．トピックセグメンテーションの結果を用い [8]，生成型要約 [5, 7] により議論内容の要約を生成する予定である．また，抜粋型要約の正解データ（転記単位での重要度付与）の作成なども今後の課題となる．さらに対話データを収集し，コーパス自体の規模を大きくすることも今後の課題である．
謝辞：本研究は科研費 26730176 の助成を受けたものです．
8 アノテータによる作業の時間．内訳はトピックセグメンテーショ
ンに 2 時間弱で，残りが要約作成．そのあと，1 対話に 2 時間程度の時間をかけて著者 3 名の合議が行われた．

― 1100 ―Copyright(C) 2016 The Association for Natural Language Processing.
All Rights Reserved.