言語処理学会 第20回年次大会 発表論文集 (2014年3月)

非言語情報と重要文の選定に基づく
複数人自由対話要約手法の改善
徳永 陽

嶋田 和孝

九州工業大学 情報工学部 知能情報工学科{y tokunaga,shimada}@pluto.ai.kyutech.ac.jp

1

はじめに

重要文抽出

自動要約に関する研究の多くは，新聞記事や論文のスコアによる分類

対話文

ような，書き手が 1 人で，かつ文体が書き言葉である要約生成

要約文

機械学習による分類ものが多かった [1]．自動要約に関する研究が進むにつ

図 1: 要約手法の全体像．

れて，テキストだけでなく，複数人の発話で構成される対話文を対象とした研究も行われるようになってきた．岩崎ら [2] は，コールセンターにおける対話データの要約として，対話データから営業日報を自動生成するための重要文抽出手法を提案している．
しかし，雑談のような複数人による自由対話では，発話の自由度が高く，ルールや規則性が少ないため，コールセンターや会議のような話の内容や構成がある程度形式化されている対話の要約より難しいと考え

先行研究

2

まず，基本となる嶋田らの手法について説明する．
スコアによる分類器と機械学習による分類器を用いて抽出した重要文と，その重要文と関連が強い発話を組み合わせることで要約文を生成している．

2.1

重要文抽出

られる．このような自由対話を要約するには，自由対スコアによる分類器では，対話の要点となる重要文

話特有の特徴を捉えた重要文の抽出が必要になってくを高い適合率で抽出することを目的とし，展望台シスる．例えば，日本語はよく先行詞を省略して話すこと

テム [4] などを用いて各発話をスコアリングし，このが多いため，照応関係を正確に把握することが重要でスコアを基に上位 10 ％以内の発話 (以下，スコアベーある．また，会議などではあまり見られない笑いなどス文) の抽出を行っている．

が起こることも自由対話特有の特徴だといえる．笑い

また，機械学習による分類器は，発話単体や発話間が起こったり，場が盛り上がっている状況は，話者がに関する特徴など計 19 の素性を用いて，重要文を抽話している内容に興味を持っていると考えられ，比較出している．これらの素性は，大きく 4 つの素性群に的重要な発話が多くなると考えられる．

分類される．

嶋田ら [3] は，複数人の自由対話を構成する各発話の重要性や発話同士の関係性を考慮し，発話の抜粋による自動要約手法を提案している．図 1 は，嶋田らの要約手法の全体像であり，要約は二つの段階を経て生成される．重要文抽出部では，要約に必要な文を高い精度で抽出することが重要であり，要約生成部では，それらの文意を崩さず，読みやすい文を生成することが必要である．
本論文では，先行研究が触れていない非言語情報を重要文抽出の素性に追加することで，抽出精度の改善

素性群 A： 発話単体の特徴に関する素性(発話の長さ，高頻度単語の有無など)
素性群 B： 発話間の特徴に関する素性(直前の発話が疑問文か，発話者の連続性など)
素性群 C： 照応性に関する素性(指示表現，接続表現の有無など)素性群 D： キーワード評価値に関する素性(展望台システムにおける 3 つの評価値)
素性の詳細については，文献 [3] を参照してほしい．

2.2

要約生成を目指す．また，先行研究の要約生成手法の問題点を先行研究では，スコアベース文を主軸に対話の流れ挙げ，その解決方法を提案し，有効性を検証する．

を意識した要約を生成するために，以下の方法を提案している．

― 642 ―

Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved.

要文抽出の精度向上を試みる．

1. D アメーバピグは、SNSに入れていいんすかね？
2. B ま、一応いいんじゃない？

徳久ら [5] は，発話行為や修辞構造の分類を行い，こ機械学習

3. C ま、入れていいんじゃない。

れらを分析した結果，主観的な発話やユーモラスな発

4. A アメーバピグって最近なんかなかった？事件みたいな。
5. B ないんじゃない特に。あったっけ？あれ？事件？
6. C は、ま、ないかなー。

話，相手の発話を補完するような発話は，盛り上がり前後文

時に頻出すると述べている．また，須見ら [6] は，笑い7. A あのほら、小学生とか中学生が、なんかこう。
8. A 何だろう。十一から三十五歳の、男女の、こうアカウントを盗んで。

は盛り上がりに強い影響を与えると考え，笑いを検出

9. C あーあーあー、なんかありましたね。

する手法について述べている．ここで，笑いが起こっ

10. C なんか解読されたんですよね。
11. B へぇー。ているときや盛り上がっているときは，話者は意味の

12. C パスワードを。
13. B mixiは、なんじゃろうね。なんか始めがmixiだったから。

ある発話をしていると仮定し，盛り上がりと笑いにつ

スコアベース文14. C あー確かに。

いての非言語情報を新たに素性群 E として追加する．

15. B そうそうそうそう。
16. C ま、SNSは最初そうですね。

追加する素性は，盛り上がりに関する素性 1 個と笑

17. B 逆にmixiしかやってない人もいるんじゃね。そうやって。

いに関する素性 10 個の計 11 個で，これらは大きく 5

18. D あー、そう。

つに分類される．以下で詳しく説明する．

図 2: 先行研究の要約．

まず，スコアベース文を要約文として抽出する．しかし，スコアに基づく処理で抽出されるのが対話文全体の 10 ％の抽出であるため，要約としては不十分である．そこで，スコアベース文の前後文も要約として抽E1 ： 盛り上がり度
E2 ： 笑いの有無
E3 ： 笑いと発話のタイミング
E4 ： 笑いの要因 (internal, external)
E5 ： external な笑いからの距離

出する．前後文の有無が，話者が頻繁に変わり，対話の流れが連続的である自由対話において，要約の読みやすさや内容の理解に大きく影響するとしている．また，対話の流れをより自然にするために，スコアベース文間に機械学習分類器の信頼度が最も高い 1 文を要約として追加する．
図 2 がその抽出例である．枠に囲まれている発話がスコアベース文，その前後の下線付き発話が前後文，盛り上がり度 (E1 ) は，発話毎に二人のアノテータが 5 段階で評価した平均値を利用する [7]．笑いについては，発話中の笑いの有無 (E2 ) だけでなく，笑いと発話のタイミングで分類し，詳細化することで発話中の笑い情報が有効か確認できると考える．そこで，発話と笑いが起こったタイミングについて以下の 4 パ
ターンに分類した情報を E3 とする．
• 発話中に笑いが発生し，終了する．
• 発話前に笑いが発生し，発話中に笑いが終了する．
• 発話中に笑いが発生し，発話後に笑いが終了する．
• 笑い発生中に発話が始まり，終わる．

それらの間にある下線付き発話が機械学習分類器の信頼度によって抽出された発話である．

問題点と解決方法

3

先行研究の重要文抽出と要約生成の手法には，それまた，嶋田ら [7] は，笑いを外部からの発話 (行動) に対ぞれに問題点がある．一つ目は，機械学習による分類

して発生する笑い (external) と自発的な笑い (internal)器の素性群 A〜D において，会議のような形式的なに分類し，external な笑いの周辺には，笑いを引き起対話では見られないが，発話の自由度の高い自由対話こした原因となる発話が存在するとしている．起こっで見られる非言語情報や場の状況について一切触れらた笑いを external と internal に分類した情報 (E4 ) をれていない点である．二つ目は，要約を生成する際，用いることで，笑いと発話の関係をより詳しく分類で対話の流れを考慮するために無条件で追加したスコア

きる．さらに，起こった笑いが external の場合，周辺ベース文の前後文に，明らかに要約に不適切な相槌なには笑いを引き起こした発話があるため，その直前３どが含まれている点である．

発話以内の発話に対し，external な笑いを含む発話か

本論文は，先行研究に挙げられた二つの問題に対して，それぞれの解決方法について提案する．

らの距離 (E5 ) を素性として割り振る．

3.2

信頼度を用いた要約の生成

非言語情報を追加した機械学習分類器

先行研究の手法では，スコアによる分類器によって先行研究で触れられていない自由対話特有の特徴と抽出された発話の前後の文に，要約として不適切な文して，非言語情報や場の状況などが考えられる．これ(例えば図 2 中の 9 番目の発話「あーあーあー。…」のような相槌) が多く含まれてしまうという問題があった．

3.1

らを機械学習の分類器の素性として追加することで重― 643 ―Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved.

閾値0.70: 文A の信頼度: 前文の信頼度

信頼度
0.830.75

表 1: 重要文抽出実験結果．
組み合わせパターン(1) 素性群 ABCD(ベースライン)(2) ベースライン＋ E1(3) ベースライン＋ E2(4) ベースライン＋ E3(5) ベースライン＋ E1 ， E2(6) ベースライン＋ E4(7) ベースライン＋ E5(8) ベースライン＋素性群 E

事例(a): スコアベース文

0.91: 後文の信頼度

0.08: 文B の信頼度

0.67 事例(b): 文C の信頼度

0.33: 要約決定済み文 0.87

図 3: 信頼度に基づく要約文選択の例．

F値
0.790
0.792
0.788
0.787
0.790
0.789
0.786
0.788

明した手法に対し，スコアベース文の各前後文を抽出(全 1295 発話) とし，正解データには，対話データの各発話に，正例文，負例文の評価をタグ付けしたものする際に，発話ごとの機械学習による分類器の出力をを使用した．

本論文では，この問題を解決するため，2.2 節で説信頼度として用いて選定する手法を提案する．これは，次に，重要文の抽出精度実験で用いた 8 対話のうち相槌などの要約に不適切な発話は，機械学習による分の 3 対話に対して，先行研究，提案手法，機械学習分類器の出力の信頼度が低くなりやすいためである．選類器の抽出結果のみを用いた手法の 3 つを用いて生成定の具体的な流れは以下のようになる．

した要約について評価実験を行った．

手順 1： スコアベース文の前後の文について，その文の信頼度が閾値以上であれば，その文を選択する．

4.1

重要文抽出実験

先行研究で用いられた素性群に，盛り上がりや笑い情報の素性群 E を加えて，重要文抽出の精度を確認

手順 2： 前後の文の信頼度が閾値以下であれば，スコする実験を行った．実装には，データマイニングツー

アベース文とすでに要約文として抽出された文のル Weka1 の学習器 SVM[8] を用いて機械学習による間で信頼度が (その値が閾値以上かどうかにかか分類器の抽出精度実験を行った．

わらず) 最大の文を選択する．

結果を表 1 に示す．表 1 から今回追加した素性では，

図 3 に例を示す．図 3 の (a) は手順 1 の例であり，もとの素性群 A〜D を用いた時の F 値と僅かな値の(b) が手順 2 の例である．この例では，スコアベース差しか見られなかった．これは，今回の実験データで文の前の文 (S2 ) は手順 1 の条件を満たす．従って，そは，笑い含む発話が全体の 25 ％弱しかないため，素れ以前により高い信頼度を持つ文 (S1 ) が存在しても，性として十分に機能しなかったものと考えられる．

スコアベース文に近い S2 が優先される．一方で，ス

4.2生成した要約の評価実験

コアベース文の後ろの文 (S4 ) の信頼度は閾値よりも評価対象は，先行研究の手法 (2.2 節) と信頼度を用低いため，手順 2 が適用される．この場合は，その値いた提案手法 (3.2 節)，さらに機械学習による分類器が閾値以上かどうかにかかわらず，最大の信頼度を持によって抽出された重要文の信頼度上位 n 発話のみをつ文 (ここでは S5 ) が選択されることになる．

要約文とした 3 つの要約を対象とした．n の値は先行

ここで，閾値以下の文であっても必ず文を選択する研究や提案手法で得られる要約文数と同一にした．のは，スコアベース文間の発話を残すことが要約文と評価実験は，要約として抽出された個々の発話に対しての読みやすさや発話の流れ理解するのに貢献する

する抽出精度による検証と生成された要約文全体に関傾向が強いためである．このように信頼度を有効利用する検証の 2 つを行う．

することで，先行研究と比較してより適切な要約文が選定可能になる．

4

それぞれの対話文には，各発話毎に要約として適切な発話は正例文，不適切な発話は負例文と評価されたタグ付けが行われている．これを用いて生成された要実験

約文と正例文の適合率，再現率，F 値を算出する．すはじめに，3.1 節で説明した新たな素性群 E を追加

なわち，この評価尺度では，それぞれの要約手法が生した素性群 A〜E でなる機械学習による分類器を作成成した要約にどの程度正しく正例文が含まれているかし，抽出結果を正解データと比較することで重要文のが評価される．

抽出精度実験を行った．実験対象データは，4 名の話者が特定の話題について自由に話している 8 つの対話

― 644 ―

1 http://www.cs.waikato.ac.nz/ ml/weka/

Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 要約生成結果．
手法
機械学習
提案手法
先行研究

適合率
0.859
0.732
0.628

再現率
0.605
0.509
0.440

表 3: 人手による評価結果
F値
0.709
0.599
0.567

手法
提案手法
機械学習
先行研究

読みやすさ
3.52
3.09
2.66

要約の正しさ
3.47
3.04
2.57

要約文の抽出精度の結果を表 2 に示す．要約文を生話の流れが途切れていたり，原文の文意があまり保た成した際の適合率，再現率，F 値はともに機械学習にれていなかったためだと考えられる．これは，機械学よる手法の要約文がとても高い値を取っている．機械

習のみの手法では要約文生成の際に文間の関係を反映

学習による分類器の重要文抽出の実験結果 (表 1) が精することができないためである．それに比べ，提案手度 8 割弱と高い値を取っており，さらにその上位 n 文法は，精度の高いスコアベース文を主体に要約文を組を抽出しているため，今回のような結果になったと考み立てていくため，対話の流れが自然で，文意も比較えられる．しかし，提案手法は，F 値は機械学習によ的保たれていたため評価が高くなった．

る要約手法に劣るものの，先行研究の手法よりも勝っていることから，要約に不必要な発話を完全ではない

5

おわりに
本研究では，複数人による自由対話を対象とした要が取り除くことができていると考えられる．
ここまでの評価は出力された要約文中の各発話に対約手法について，(1) 非言語情報を機械学習の素性にしてそれが正例文か否かのみの判断であり，対話の構追加することおよび (2) 信頼度と閾値に基づく要約文造や流れ，原文との文意の違いについての評価は含ま選択の 2 点について拡張した．非言語情報は有効に機れていない．すなわち，要約全体としての評価ではない．一方で，要約において重要なのは，原文の文意を能しなかったが，要約文選択手法についてはその有効性が確認された．

保ち，読みやすい文になっていることである．
そこで，要約文全体の評価が必要となる．本論文では，評価方法として「読みやすさ」と「要約の正しさ」を定義し，7 名の被験者に 3 つの手法の出力を 5 段階2で評価してもらい，その平均値に基づいて各手法の有効性を検証した．評価時に被験者に伝えた「読みやすさ」と「要約の正しさ」の定義を以下に示す．
読みやすさ ：生成された要約文のスムーズさ，対話の流れの自然さ
要約の正しさ ：元の対話の文意を保っているか，文脈は正しいか
この二つの項目について，次の手順で評価してもらった．まず，被験者には各手法によって生成された要約文を同時に与え，要約だと伝えずに機械的に生成された文だと説明し，「読みやすさ」の評価をしてもらった．
その後，読んだ文が自由対話の要約文だと伝え，対話の原文を提示し，その内容と比較して，生成された要約文の「要約の正しさ」の評価をしてもらった．
結果を表 3 に示す．
「読みやすさ」と「要約の正しさ」の二つの項目に対して，提案手法が他の手法より高い値を取っている．表 2 の結果では，機械学習の手法と大きな差があるのに対し，表 3 の尺度では提案手法の方が高くなったのは，機械学習による手法は，対参考文献[1] 奥村学，難波英嗣 (2005)， 知の科学 テキスト自動要約 ，オーム社．
[2] 岩崎礼次郎，荒木健治， コールセンターにおける対話データを用いた営業日報の自動生成 ，人工知能学
会ことば工学研究会資料，pp.87-94，2006．
[3] Kazutaka Shimada, Shinpei Toyodome, and Tsutomu Endo， Conversation summarization using
machine learning and scor-ing method ，Proceedings of the 13th Conference of the PacicAssociationfor Computational Linguistics (PACLING2013),2013.
[4] 砂山渡，谷内田正彦， 文章要約のための特徴キーワー
ドの発見による重要文抽出法-展望台システム- ，情報処理学会研究報告，自然言語処理研究会報告，pp.103110，2000．
[5] 徳久良子，寺嶌立太， 雑談における発話のやりとりと盛り上がりの関連 ，人工知能学会論文誌，vol.21，No.2，pp.132-142，2006．
[6] 須見康平，河原達也，緒方淳，後藤真孝， ポッドキャ
ストを対象とした音リアクションイベント検出 ，情報処理学会研究報告，vol.2009-SLP-77，No.24，pp.132142，2009．
[7] 嶋田和孝，楠本章裕，横山貴彦，遠藤勉， 複数人談話における笑いの情報を考慮した盛り上がり判定 ，電子情報通信学会，言語理解とコミュニケーション研究
会 (NLC)，NLC2012-7，pp.25-30，2012.
[8] V.Vapnik， The Nature of Statistical Learning Theory ，Springer-Verlag，1995．

2 1：悪い 〜 5：良い．

― 645 ―

Copyright(C) 2014 The Association for Natural Language Processing.
All Rights Reserved.