言語処理学会 第25回年次大会 発表論文集 (2019年3月)

Dialogue Act 情報を付与したメールコーパス
上田 良寛

谷口 友紀 三浦 康秀 大熊 智子
富士ゼロックス株式会社{ueda.yoshihiro, Taniguchi.Tomoki, yasuhide.miura,ohkuma.tomoko}@fujixerox.co.jp

1

はじめに

メールはビジネスにおける主要なコミュニケーションツールであり、メールデータの中には様々な知識が蓄積されている [1]。ただその知識は整理されて存在するのではなく、メッセージのやりとりの連鎖であるスレッド内に分散されている。個々のメールメッセージはそれぞれ役割、例えば、「依頼」、「質問」、「回答」、「情報提供」などを持っており、役割を通してメッセージに分散されている知識を結びつけることができる。
ここでいう「役割」は、一般には Dialogue Act と呼ばれており、Speech Act を対話に発展させたものである。ISO でも標準化がすすめられている [2, 3]。
メールコミュニケーションの分析に Dialogue Act は有力なツールとなると考えている。そのような研究には、メールに Dialogue Act 情報が付与されたコーパスが不可欠である。DailyDialog [4] は Dialogue Act 情報が付与されているものの、英語学習者用にサンプル対話 (口頭での会話) を集めたもので目的にそぐわない。QA に特化した Dialogue Act と言える Intent が付与された MSDialog [5] は、サポートフォーラム (QA掲示板) のコーパスである。メールに対してアノテーションを付与したものとして、W3C コーパス [6] があるが、ここで付与されている情報は Speech Act であり、対話に適した Dialogue Act と異なる。Cohen らの研究 [7] もメールを対象にしており、“email speechact” という分類体系を使っているが、応用は個別のメールの分類にとどまっている。
このため我々は、オフィスメールに対して、Dialogue
Act 情報を付与したコーパスを作成することにした。
本稿では、まずビジネスにおけるメールの利用状況調査に関して報告し、データセット構築に関して説明し、得られたデータセットの分析を行う。また、機械学習の学習データとして利用した場合の評価を行う。

2

メールの利用状況調査

オフィスにおけるコミュニケーションの実態を知るため、ネットアンケートを行った。1000 名の回答を得、そのうちの 475 名がオフィスワーカーであった。
主要なコミュニケーションツールについて質問した(重複回答を許す) 結果、メールが 443 名で、電話の396 名を抑えトップになっていることがわかった。また、別の質問でメールの使用状況を問うたところ、343名が「常に使う」、113 名が「時々使う」と答えた。

メールを常にまたは時々使う 456 名のうち、376 名(82.5%) がメールでの依頼があると答えている。依頼された業務を行う上で、他の人に必要な知識を問い合わせ、有益なメールを転送してもらった人が 302名 (66.2%)、直接メール返信でもらった人が 316 名(69.3%) いた。 一方、自分の過去メールから探したという人が 393 名 (86.2%) であった。
この結果は多くの知識がメールを媒介して交換され、蓄積されていることを示している。

3

コーパスの作成

3.1

メールの収集ある企業で働くオフィスワーカー 11 名に同意を得てメールの収集を行なった。これまでに収集したメール
メッセージ 7600 通のうち、スレッド (ある話題に関して、利用者間で取り交わされた一連のメッセージの集合) に属するメッセージ数の平均値は 2.41、中央値は2 であった。メッセージあたりの平均文字数は 1057、中央値は 402 であった。メッセージ当たりの情報量が多い一方で、一連のスレッド中のメッセージ数 (ターン数) が少ないというメール固有の特徴が見てとれる。

3.2

Dialogue Act アノテーション

このようにして集めたメールメッセージに対して、
Dialogue Act 情報のアノーテーションを行った。アノテーションする内容は Dialogue Act Type だけであるが、この際に、その判断を行なったメッセージの断片20 文字程度を「エビデンス」として残してもらった。
日本語学を学んだアノテーター 3 名に、最初は同じものに対してアノテーションしてもらい、共通点と差異を見て、マニュアルを精緻化していった。

Dialogue Act 分類 ここで用いる Dialogue Act
Type は ISO 分類 [2] から絞った。図 1 は、ISO 分類の上に我々の分類範囲を示し、その上に白抜き文字で名前をつけたものである。ISO 分類との違いを表 1 に示す。
このアノテーションは、前の投稿を参照する必要がある。例えば、Answer とそれ以外の Inform は、前の投稿が Question であるかによって決まる。同意 (「それでいきましょう」) は、前の投稿が Request またはSuggest の場合は Commissive (= そのように進めます)、前の投稿が Commissive で何らかの価値提供の― 542 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

General-purpose functions

Action-discussion functions

Information-transfer functions

Information-seeking
functions

Information-providing
functions

ChoiceQuestion

Set
Question

DeclineSuggestion

InformDirectives
RequestCommissive

InformQuestion
Propositional
Question

Commissives

AcceptSuggestion

Offer

Suggestion

RequestSuggestion
Check Question
Check-Question

AnswerAgreement Disagreement

Instruct

PromiseAnswer
Disconfirm

Confirm

DeclineRequestCorrection

AcceptRequestDeclineOffer

AcceptOffer

図 1: メールコーパスで用いる Dialogue Act Type (白抜き文字) (背景は ISO の分類)
表 1: Dialogue Act Type の分類 (ISO 分類との差異)
ISO 分類
Directives
Commissives
Information-providing functions
Information-seeking functions

我々の分類との対応
受け手の行動を影響を与えるもの。大きく話し手が行って欲しい依頼 Request と、受け手の利益に繋がる提案 Suggestion に分ける
話し手が行う行動に関する言明。自分から発する約束だけでなく、Request/Suggestionに対する受諾/拒絶を含み、全体をそのまま Commissive とする情報を提供する。Question に対する回答である Answer と、それ以外の Inform に分ける情報を求める。答えを求める Question と、話し手が答えを持っていてその確認を求める Check-Question に分ける

申し出の場合は Request (= そのように進めてください)、 Commissive だが自分がやることの宣言・約束の場合は Inform (= 賛同します) となる。

Dialogue Act を与える単位 Bunt[2] は文よりさらに小さく Dialogue Act の単位を切っているのに対して、我々は、メッセージ単位を基本として Dialogue
Act Type を付与することにした。
一つのメッセージが複数の Dialogue Act を含む場合があるが、それらに主となるものと補助的なものの関係がある場合には、主となる Dialogue Act Type を選択するようにした。例えば、現在の仕様を確認しながら要求を出している場合、Check-Question はつけず、Request だけ記載する。
途中で話題やトーンが変わった時のように、複数のDialogue Act Type がそれぞれ重要である場合、次の２つの対応策が考えられる。1) メッセージ全体に複数のDialogue Act を与える、2) メッセージ本文を Dialogue
Act の切れ目で分割し、それぞれに Dialogue Act を与える。本稿の分析では (1) の方法を用いている。

4の分布)、本来期待される応答がどの程度充足されるか (期待と充足) を示す。また、主要な Dialogue Actに対して、その特徴を示すパターンを分析する。

4.1

Dialogue Act 分布

Dialogue Act Type 別出現頻度を図 2 に示す。メールでは圧倒的に Inform が多く、Request、Commissiveが続く。
Suggestion

252

Request

1578

Question

554

Inform3750

Commissive

834

Check-question

47Answer

451
0500

1000

1500

2000

2500

3000

35004000

図 2: Dialogue Act Type 別出現頻度

Dialogue Act 分析

ここでは、付与された Dialogue Act Type の割合(Dialogue Act 分布)、ある Dialogue Act Type の応答としてどのような Dialogue Act Type が来るか (応答メールと通常の会話の違いを見るため、
DailyDialog[4] の 10 種類のトピックのうち Work (仕― 543 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

事上の会話) のみを抽出して比較する。DailyDialogの Dialogue Act の分類 4 つに揃えて図 3 に示す。

commissive(Commissive)
directive(Request + Suggestion)
inform(Inform + Answer)
question(Question + Check-Question)
00.2

Ours

DailyDialogue

0.40.6

図 3: Dialogue Act Type 割合の DailyDialog との比較

DailyDialog は、question が多く inform が少ないことがわかる。DailyDialog の発話あたりの語数は 14.6で一連の会話あたりのターン数は 7.9 となっており [4]、3.1 で示したメールより短い単位でターンが切り替わりやりとりが継続する傾向があることがわかる。このため質問がしやすいと考えられる。また、メールメッセージは複数文で構成されるため、例えば Request で状況を確認するための質問などは独立して Questionを与えず、Request の一部にしている我々のアノテーション方法もこの差をうむ一因であろう。

4.2

応答の分布/期待される応答とその充足会話のやりとりで、ある Dialogue Act Type のメッセージがあったときに、それに応答するメッセージにどのような Dialogue Act Type が来るのかを調べた(図 4)。

であることが望ましい。そのような応答に期待される
Dialogue Act Type を赤枠で示す。
Question, Check-question に対しては Answer が多く、これは期待通りである。一方、Request、Suggestion に対しては Commissive (「承知しました」、「〜します」など) が、Commissive に対しては Request(「それでお願いします」など) が多く、 それぞれ期待に合っているが、それ以上に End (= 会話がそこで終わる場合) が多い。
その理由は、メール以外で (直接対面で) 返したり、返さなくとも依頼事項を実施することで事足りることが多いためという可能性がある。Suggestion に対してRequest が低いのは、Suggestion が個別のメッセージであるのに対して、Request では全員への依頼も多いからと考えられる。Commissive が低いのも同様に、全体に対しての実行宣言で、返す必要がない場合が多いと考えられる。

4.3

ぞれぞれの Dialogue Act Type ごとにその DialogueAct を特徴付ける表現のパターンを調べた。アノテー
ション時に「エビデンス」となる部分を抜き出していたが、それをさらに一般化し、「パターン」という項目を設けた。パターンの抽出にあたっては、終助詞の排除、常体/敬体の差の吸収 (全体をどちらかに吸収するのでなくそのパターンで多い方に統一) を行った。
結 果 の 一 部 を 表 2 に 示 す。Question, CheckQuestion は文型から疑問形であることがほとんどであり、ここでの分析の対象から外した。
それぞれの上位はその Dialogue Act の役割にあったパターンが抽出されていることがわかる。「〜(さ)せてください/(さ) せていただきます」が Request とCommissive に現れているが、Request の場合は、「変更させてください (=変更しますので合わせてください)」など暗に依頼を示すものであった。
少ないパターンにもこのような特徴的な表現が見られる。Request で「ありがとう」が８件あったが、Commissive に対して「それで進めてください」の意であった。Commissive の「お願いします」(8 件) は「参加でお願いします (=参加します)」のような表現で意志を表している。このように表層上の表現では判断できないものも多い。

5
図 4: 応答の分布 (赤枠は期待される応答)
縦軸は元 Dialogue Act Type、横軸はその応答のDialogue Act Type である。ただし、Inform はどのような場面でも応答となりうるため、応答 Dialogue Act
Type から除いた。会話の最初と最後を示す Start とEnd を加えた。
ある Dialogue Act が発せられた時に、その応答に期待される Dialogue Act がある。例えば質問 (Question, Check-Question) に対する応答は回答 Answer

テキストパターン

Dialogue Act の自動分類作成したコーパスは、Dialogue Act の分類モデルを訓練するための教師データとしての活用が期待される。そこで、機械学習モデルによる Dialogue Act の分類性能を評価した。
モデル 談話の構造素性を用いた談話分類手法で用いられる Conditional Random Field (CRF) モデルとLogistic Regression (LR) モデルを評価対象に選定した [8]。メールによる会話は談話の一種であり、メールによって伝達されるメッセージの構造は、談話構造と類似する。そのため、これらの手法により高い分類性― 544 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 2: Dialogue Act を特徴付けるテキストパターン
Request〜お願いします/できますか〜ください

個数627361

Suggestion〜 (の/する) ほうがよい〜 (し) ましょう

〜いただけないでしょうか/〜
いただけますか〜いただけると〜〜 (さ) せてください/〜 (さ)せていただきます180〜がいい/〜もいい

28

67
64

いかがでしょう/どうでしょう〜可能でしょうか26
9能が期待される。[8] と同様に分類対象のメッセージに含まれる「本文」と「件名」からそれぞれ作成したn-gram と、その付帯情報値 (会話の深さ、文数、単語数、文字数) に加えて、親メッセージの付帯情報を素性として選んだ。さらに、これらの付帯情報を標準化した素性を追加した。
実験設定 [8] に従い、平均 F1 値を評価指標とした。
平均 F1 値はスレッド毎に算出した F1 値の平均で定義される。Dialogue Act コーパスを 8:1:1 の割合で分割して、訓練・開発・テストデータを作成した。訓練データでモデルを学習させ、開発データで正則化パラメータを探索した。CRF には L1 正則化を、LR にはL2 正則化を適用した。
評価結果と考察 テストデータにおける分類した際の平均 F1 値とラベルごとのデータ数の関係を図 5 に示す。データ量が多い Inform や Request で分類性能が高いことがわかる。また、Question で 27.8pt、Answerで 33.8pt と CRF が LR を大きく上回った。メッセー
ジの系列情報を考慮することが、Dialogue Act を分類する上で重要であることがわかる。
0.8
LR

3000

0otstiocheckqueestioanswsugg

図 5: Dialogue Act の分類性能とデータ量の関係：LRと CRF は左軸、データ量は右軸で表す。

6

個数346
104

承りました/承知しました
大丈夫です/OK です/問題ありません

62
30

62

・オフィスでは対面での情報交換も多いため、必ずしもメールで期待される応答が得られる訳ではない。(4.2)
・それぞれの Dialogue Act Type に特有のテキストパターンはあるものの、Dialogue Act が暗黙的に示されているものも多い。(4.3)
・このコーパスを学習に用い、Dialogue Act Type の予測に応用可能である。(5)
今後、Dialogue Act Type の予測から、メールの推薦 [1] に対するユーザーの要求を捉えることに発展させたい。

参考文献[1] 谷口友紀, 上田良寛, 谷口元樹, 三沢翔太郎, 三浦康秀,大熊智子. メールデータを活用した社内情報の推薦シス
テム. 言語処理学会, 2018.
[2] Harry Bunt, Jan Alexandersson, Jean Carletta, JaeWoong Choe, Alex Chengyu Fang, Koiti Hasida, Kiyong Lee, Volha Petukhova, Andrei Popescu-Belis,
Laurent Romary, Claudia Soria, and David Traum.
Towards an iso standard for dialogue act annotation.
In Proceedings of LREC, pp. 2548–2555, 2010.

[5] Chen Qu, Liu Yang, W. Bruce Croft, Johanne R.
Trippas, Yongfeng Zhang, and Minghui Qiu. Analyzing and characterizing user intent in informationseeking conversations. In Proceedings of SIGIR, pp.
989–992, 2018.

hers

5000n

1000

0.1

n

1500

0.2

er

2000

0.3

informcomm
issivequesti on

2500

0.4

データ数

データ数

0.5

request

平均F1値

3500

CRF

0.6

Commissive〜 (し) ます〜 (さ) せてください/〜 (さ)せていただきます
了解しました/了解です[3] Harry Bunt, Jan Alexandersson, Jae-Woong Choe,
Alex Chengyu Fang, Koiti Hasida, Volha Petukhova,
Andrei Popescu-Belis, and David Traum. Iso 246172: A semantically-based standard for dialogue annotation. In Proceedings of LREC, pp. 430–437, 2012.
[4] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang
Cao, and Shuzi Niu. Dailydialog: A manually labelled multi-turn dialogue dataset. In Proceedings ofIJCNLP, pp. 986–995, 2017.

4000

0.7

個数4432

おわりにDialogue Act 情報を加えたメールコーパスを作成し、分析の結果以下のような知見を得た。
・口頭での会話に比べ Inform=情報提供が多く、Question=質問は少ない。(4.1)[6] Jan Ulrich, Gabriel Murray, and Giuseppe Carenini.
A publicly available annotated corpus for supervised
email summarization. In AAAI08 EMAIL Workshop,
pp. 77–82, 2008.
[7] William W. Cohen, Vitor R. Carvalho, and Tom M.
Mitchell. Learning to classify email into “speechacts”. In Proceedings of EMNLP, 2004.
[8] Amy X. Zhang, Bryan Culbertson, and Praveen Paritosh. Characterizing online communities using coarse
discourse structures. In Proceedings of ICWSM, pp.
357–366, 2017.

― 545 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.