言語処理学会 第26回年次大会 発表論文集 (2020年3月)

雑談要約技術に向けた取り組み
東中竜一郎

光田航

増村亮

斉藤いつみ

青野裕司

NTT メディアインテリジェンス研究所
1

はじめに人間の会話のうち，約 6 割は雑談に分類される [10]．
対面で，電話で，チャットアプリなどで多くの雑談がなされている．雑談のデータが多くなってくると，過去のやり取りを把握することが困難になってくる．そんな時，雑談の要約が実現できれば，大幅な時間の節約になるだろう．また，自分のやり取りだけではなく，第三者同士のやり取りの要約ができれば，途中から会話に参加することも容易になると考えられる．

対話数
ターン数
対話に含まれる発話数
対話における話者 A の発話数
対話における話者 B の発話数
対話に含まれる文字数
対話における話者 A の文字数
対話における話者 B の文字数

ショート ミドル
2400
510
9.09
20.97
5.28
10.11
3.82
10.86
125.22 320.94
73.75
150.4351.47
167.52

ロング15
32.41
16.95
15.46
498.26259.68238.58

表 1: ショート，ミドル，ロングデータセットの統計量

本稿では，雑談，特に，人間同士のテキストチャットデータセット構築にあたり，要約のもととなる雑談の自動要約に向けた取り組みについて述べる．要約ののデータとして，Higashinaka らが収集したもの [5]

研究は一般に抜粋型要約と生成型要約に分けられるがを用いた．これらは二者間のテキストチャットであり，[11]，本稿では生成型要約に着目する．これは，対話型コンテンツは生成型要約の方が好まれることによる[8]．対話に対する生成型要約の研究は複数ある [9, 4]．
しかし，いずれもミーティング等の対話に対してのものであり，雑談を扱ったものは見られない．
本稿では，幅広い話題で内容も多様な雑談を対象とした自動要約手法について検討する．具体的には，雑談要約のデータセットを構築し，ベースライン手法や人手要約の精度を評価することで，雑談の要約がどの程度可能であり，何が難しいのかを考察する．

全部で 3,680 対話からなる．要約は三種類の長さの対2話について行うことにした．それぞれ，5 ターン，10ターン，15 ターンである．ここで，ターンとは話者が切り替わるまでの一連の発話列のことを指す．
我々は 3,680 対話のうち，15 ターン以上の長さを持つものから，2,400 対話を選択した．そして，これらの対話の始めの 5 ターン，10 ターン，15 ターンの発話を抽出した．これらの長さの対話を含むデータをそれぞれショート，ミドル，ロングデータセットと呼ぶ．
統計量を表 1に示す．対話において最初に発話した話者を A とし，もう一方の話者を B としている．話者

雑談要約データセットの構築

雑談の要約データセットを構築するにあたり，どのような要約が望まれるかを検討する必要がある．我々は，対話において誰が何を話したかを第三者がすぐに理解できる要約をよい要約と考えた．その上で，自分が何を話していたか，対話相手が何を話していたかを把握できるようにすることが重要と考え，特定の話者に着目した要約を作成することにした．加えて，二人の間でどういうやり取りがあったかを把握することも重要と考え，特定の話者だけでなく，やり取りに着目したB の発話数や文字数が若干話者 A のそれよりも短いのは，奇数ターンからなる対話には 1 ターン分，話者A の発話が多くなるからである．
ショート，ミドル，ロングデータセットについて，クラウドソーシングによって人手で要約を作成した．
ワーカーはランダムに対話テキストを割り当てられ，25 文字以上，50 文字以内で 3 つの要約を作成した．3
つの要約とは，話者 A に着目した要約，話者 B に着目した要約，やり取りに着目した要約である．教示は以下の通りであった．

要約も作成することにした．まとめると，以下の二種類の要約を作成することにした．

話者 A/B に着目した要約: 対話において，話者 A/Bが何を話して，どう相手に反応したかを把握でき• 話者に着目した要約• やり取りに着目した要約る要約を作成する．
やり取りに着目した要約: 対話において，話者の二人― 1519 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

発 話ID
U1
U2
U3U4U5

話 者ID
AA
B
A
B

U6U7U8U9U10U11U12U13A
B
A
B
B
A
B
B

発話
先程は私の趣味について話しましたが、あなたの趣味を教えて下さい。
母の影響で、最近は海外旅行にはまってます。
すごいですね。
この間、スペインとポルトガルに行ってきました。
何日間行かれたのですか?
8 日間ですよ。
すてきですね。
ツアーで行ったんで、弾丸ツアーでした。
忙しかったのですね。
そうですね。
でも、いろんな都市を回れたんでよかったです。

最初の 5 ターンに対する要約 (U1–U6)
話者 A に着目し自分の趣味を話した後に、B さんの趣味の海た要約
外旅行の期間を訪ねた。
話者 B に着目し趣味が海外旅行で最近スペインとポルトガルた要約に行ったと伝えた。
やり取りに着目A さんが B さんに趣味を聞き、海外旅行にはした要約
まっていて先日もスペイン、ポルトガルに行ってきたとのこと。
最初の 10 ターンに対する要約 (U1–U13)
話者 A に着目しスペインとポルトガルに行った B さんの日程
た要約と内容を聞いている
話者 B に着目し趣味の海外旅行で、先日スペイン、ポルトガ
た要約
ル 旅行に行った。8 日間の弾丸ツアーだったが楽しかった。
やり取りに着目
お互いの趣味を話し、B さんは海外旅行が好した要約
きで、最近スペインとポルトガルに行った。

話者 A に着目した要約
話者 B に着目した要約やり取りに着目した要約

ショート
34.73
33.84
37.43

ミドル
37.38
38.23
39.07

ロング
38.27
37.84
39.47

表 2: ショート，ミドル，ロングデータセットについて作成された要約の平均文字数．

評価実験

3

雑談要約データセットをもとに，雑談を要約するというタスクの妥当性を検証する．具体的には，ベースライン手法を実装し，客観評価および主観評価によって，現状どの程度の要約が実現できるのか，何が難しいのかを把握する．

3.1

ベースライン手法

ベースライン手法として，Seq2Seq のモデルを用いたものと近年言語生成にも利用される BERT [3] を用いたものの二種類を用意した．話者に着目した要約については，入力形式の違いにより，以下の 5 つのベースライン手法 (a)–(e) を準備した．

(a) Seq2Seq-attn (tgt): ア テ ン ション 付 き のSeq2Seq モデル [1]．実装には OpenNMT1 をデ

図 1: 雑談の要約例．話者 A と話者 B のテキストチャッフォルト設定で用いた．入力は，対話テキスト

トについて，最初の 5 ターンおよび 10 ターンについに含まれる，着目している話者（ターゲット話て人手で要約したもの．

者）の発話のそれぞれを SentencePiece [6] で分割し，空白区切りで連結したものである．出力が何を話し合ったかを把握できる要約を作成する．

側についても，SentencePiece で分割した．

各ワーカーは与えられた対話の最初の 5 ターン，次(b) Seq2Seq-attn (both): (a) と基本的には同じだの 5 ターン，さらに次の 5 ターンを順に見ながら，そが，入力は，対話テキストに含まれる両方の話者れぞれの長さの対話について要約を作成した．各ワーの発話のそれぞれを SentencePiece で分割し，空カーは 36 対話について 3 つずつ要約を作成したので，白区切りで連結したものである．話者 ID などは一人につき 108 の要約を作成した．対話は各ワーカー入力トークン列に含めていない．にランダムに割り振られ，同じ対話について複数の(c) BERT-U(tgt): 入出力は (a) と同じだが，En-ワーカーが要約を作成した．つまり，本データはマル
チレファレンス（各対話に対する平均要約数は 5.27）

coder と Decoder に BERT のモデルを用いたもの [2]．実装には OpenNMT-APE2 をデフォルトのデータセットである．今回 1,054 名のワーカーに作設定で用いた．事前学習された BERT のモデル業を依頼したため，作成された要約の総数は 113,832

は，bert-base-multilingual-cased のものをである．

用いた．

図 1にテキストチャットの例と人手で作成された要約の例（5 ターンに対するものと 10 ターンに対するもの）を示す．表 2に，ショート，ミドル，ロングデータセットについて作成された要約の平均文字数を示す．

(d) BERT-U(both): 入 出 力 は (b) と 同 じ だ が ，BERT を用いたもの．
(e) BERT-U(both)+U(tgt): 入力として，両方の25 文字以上，50 文字以下という制約で作成したが，全話者の発話列のあとに，セパレータ（[SEP]）を
1 https://github.com/OpenNMT/OpenNMT-py

体的に 30 文字から 40 文字の要約が作成された．

2 https://github.com/deep-spin/OpenNMT-APE― 1520 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ベースライン手法

ショート
話者 A に着目
話者 B に着目
R-1
R-2
R-L
R-1
R-2
R-L

ミドル
話者 A に着目
話者 B に着目
R-1
R-2
R-L
R-1
R-2
R-L

(a) Seq2Seq-attn (tgt)0.239 0.048 0.200 0.250 0.043 0.200 0.213 0.025 0.161 0.224 0.035 0.182(b) Seq2Seq-attn (both)0.258 0.040 0.204 0.233 0.046 0.185 0.243 0.039 0.195 0.223 0.029 0.175(c) BERT-U(tgt)0.416 0.186 0.360 0.423 0.197 0.370 0.346 0.119 0.282 0.321 0.103 0.257(d) BERT-U(both)0.416 0.186 0.354 0.425 0.194 0.360 0.322 0.096 0.264 0.319 0.096 0.255(e) BERT-U(both)+U(tgt) 0.429 0.200 0.365 0.457 0.232 0.397 0.307 0.092 0.256 0.317 0.096 0.256(*) 人手要約
0.420 0.170 0.350 0.440 0.190 0.370 0.370 0.120 0.290 0.360 0.120 0.280

表 3: ショートおよびミドルデータセットに対するベースライン手法による話者に着目した要約の評価結果．

ベースライン手法(f) Seq2Seq-attn (both)(g) BERT-U(both)(h) BERT-U(both)+U(A)+U(B)(*) 人手要約

R-1
0.300
0.390
0.400
0.400

ショート
R-2

0.064
0.148
0.150
0.140

R-L
0.228
0.313
0.316
0.310

R-1
0.226
0.314
0.316
0.340

ミドル
R-2

0.045
0.091
0.095
0.100

R-L
0.180
0.251
0.257
0.260

表 4: ショートおよびミドルデータセットに対するベースライン手法によるやり取りに着目した要約の評価結果．
入れ，そのあとに，ターゲット話者の発話列を追どちらの表にも人手要約の ROUGE の値を含めて加したもの．対話全体の流れと，ターゲット話者いる．この値は，複数ある要約のうち，一つの要約をの発話内容の両方を考慮できる可能性がある．

システム出力，その他を正解要約と見なして ROUGE

やり取りに着目した要約については，以下の 3 つのベースライン手法 (f)–(h) を準備した．て行い，その平均を取った値である．これを見ると，ミドルについては，人手要約までには若干の伸びしろがあるものの，ショートについては (e) や (h) のスコア(f ) Seq2Seq-attn (both): (b) と同じ．

はすでに人手要約を超えている．人手要約よりもベー(g) BERT-U(both): (d) と同じ．
(h) BERT-U(both)+U(A)+U(B): (d) と同じだ
が，入力として，両方の話者の発話列のあとに，3.2を計算するということを複数の要約のそれぞれについスライン手法の ROUGE が高い理由については，次節で考察する．
主観評価結果セパレータを入れ，そのあとに，話者 A，そして，3.3

話者 B の発話列を追加したもの．

主観評価を大規模に実施することはコストが高いため，予備実験的に，ショートデータセットに対する，話者客観評価結果

表 3および表 4に，ベースライン手法を ROUGE（R-1, R-2, R-L) [7] で評価した結果について示す．学習は，雑談要約データセットを，対話が重複しないよう18:1:1 の比率で分け，18 を学習，1 を開発，残りの 1を評価に用いた．評価は，ショートとミドルのデータ

A に着目した要約の結果について，人手による主観評価を行った．評価者数は 4 名である．評価者は要約結果の流暢性と妥当性（以下）を，7 段階のリッカート尺度（7 が一番よく，1 が一番悪い）で評価した．
流暢性 要約文を単体の文章として読んだ際に，日本語の文章として読みやすいかどうか．

セットを対象に行った．ロングは対話が長く，入力がBERT の制限である 512 トークンを超えることが多妥当性 対話テキストの要約文として妥当かどうか．要かったため，今回は評価の対象としなかった．

約文として妥当とは，対話内容（誰が何を発言し，話者，および，やり取りのどちらに着目した要約にどう反応したか）を十分把握できることを言う．

ついても，Seq2Seq-attn のモデルよりも，BERT のモデルの方が精度が高いことが分かる．また，BERTを用いたものの中でも，(c) や (e)，(h) の ROUGE の値が高いことから，話者それぞれの発話系列を考慮することが重要であることが示唆される．

表 5に主観評価の結果（4 名の評価者の平均）を示
す．表から，表 3とは異なる傾向が見て取れる．つまり，人手要約の方が，流暢性と妥当性のどちらについても大幅に高い．このことから，ROUGE では雑談要約の評価を適切にできていないと考えられる．

― 1521 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ベースライン手法(a) Seq2Seq-attn (tgt)(b) Seq2Seq-attn (both)(c) BERT-U(tgt)(d) BERT-U(both)(e) BERT-U(both)+U(tgt)(*) 人手要約

流暢性 妥当性

4.98
6.07
4.58
4.89
4.91
5.57

1.01
1.03
4.14
3.77
4.41
5.55

発話 ID
U1U2
U3U4U5U6U7
U8

話者 IDAB
B
AA
B
B
A

U9
U10

A
A

表 5: ショートデータセットの話者 A に着目した要約の主観評価結果．

Maximum Likelihood に基づく生成モデルは平均的な要約を生成するため，それなりに正解とマッチしROUGE が高くなっていると考えられる．一方，人間の要約は，よりバリエーションがあり，ROUGE は低くなるものの，流暢かつ適切に対話内容を捉えたものになっていると考えられる．雑談要約では，ROUGE以外の尺度による評価が必要ということが示唆される．

3.4

出力結果の例

発話こんにちは。
こんにちは。
音楽は聞かれますか?
はい。
結構聞きます。
どんなものを聞かれるのでしょう?
私はパンクやテクノが多いです。
最近勉強したりすることも多いので、イージーリスニング系が多いです。
あと、クラシックとか。
変わった所で、サウンドホライズンも聞きます。

正解（人手）： A さんに好きな音楽について尋ね、自身はパンクやテクノを好む。
Seq2Seq-attn (tgt): A さんにお酒を飲むか聞かれたので、あまり行っていないが、A さんはどうか尋ねた。
Seq2Seq-attn (both): A さんに趣味を尋ね、ビーズアクセサリー作りと聞き、自分も好きだと答え、A さんの答えた。
BERT-U(tgt): 音楽はパンクやテクノが多いが自分はパンクやテクノが多い
BERT-U(both): 音楽はパンクやテクノが多いので、イージーリスニング系が多い。
BERT-U(both)+U(tgt): A さんに音楽を聴くか尋ね、自分はパンクやテクノが多いと答えた。

図 2: ショートデータセットに対するベースラインモ

図 2に，ショートデータセットに対するベースライン手

デルによる話者 B に着目した要約の出力例．

法の話者 B に着目した要約の出力例を示す．Seq2Seqalign and translate. In Proc. ICLR, 2015.

attn (tgt) では，学習データの影響か，お酒についての要約となってしまっている．また，一般的で具体性のな
い dull summary になっている．Seq2Seq-attn (both)は全く関係のないビーズアクセサリについて言及している．BERT に基づく手法は，対話の内容を比較的踏まえている．ただ，BERT-U(tgt) は，同じ内容を繰り返しており，BERT-U(both) は内容に誤りがある（イージーリスニング系が多いのは A であり B ではない）．ここでは，BERT-U(both)+U(tgt) のみが適切な要約を出力できている．

4

おわりに

本稿では，雑談要約技術に向けた取り組みとして，話者，および，やりとりに着目した要約を新たに設定した．そして，雑談要約データセットの構築とベースラ
イン手法，および，人手要約の評価について述べた．
ベースライン手法の BERT の ROUGE スコアは高かったが，人手による主観評価では人手要約との差は依然大きく，流暢性・妥当性において改善の余地があることが確認できた．今後は，主観評価値が高くなるような要約アルゴリズムの検討を行いたい．また，雑談要約に適切な評価尺度についても検討したい．

参考文献[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to[2] Gonçalo M Correia and André FT Martins. A simple andeﬀective approach to automatic post-editing with transferlearning. In Proc. ACL, 2019.
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc.
NAACL, 2019.
[4] Chih-Wen Goo and Yun-Nung Chen. Abstractive dialogue summarization with sentence-gated modeling optimized by dialogue acts. In Proc. SLT, 2018.
[5] Ryuichiro Higashinaka, Kenji Imamura, Toyomi Meguro,
Chiaki Miyazaki, Nozomi Kobayashi, Hiroaki Sugiyama,Toru Hirano, Toshiro Makino, and Yoshihiro Matsuo. Towards an open-domain conversational system fully basedon natural language processing. In Proc. COLING, pp.
928–939, 2014.
[6] Taku Kudo and John Richardson. SentencePiece: Asimple and language independent subword tokenizer anddetokenizer for neural text processing. In Proc. EMNLP,
2018.
[7] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text summarization branches
out, pp. 74–81, 2004.
[8] Gabriel Murray, Giuseppe Carenini, and Raymond Ng.
Generating and validating abstracts of meeting conversations: A user study. In Proc. INLG, pp. 105–113, 2010.
[9] Tatsuro Oya, Yashar Mehdad, Giuseppe Carenini, andRaymond Ng. A template-based abstractive meetingsummarization: Leveraging summary and source text relationships. In Proc. INLG, pp. 45–53, 2014.
[10] 小磯花絵, 石本祐一, 菊池英明, 坊農真弓, 坂井田渡部 涼子, 田中弥生, 伝康晴. 大規模日常会話コーパスの構築に向けた取り組み—会話収録法を中心に—. SIG-SLUD, Vol. 5, No. 01,pp. 37–42, 2015.
[11] 奥村学, 難波英嗣. テキスト自動要約. オーム社.

― 1522 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.