言語処理学会 第21回年次大会 発表論文集 (2015年3月)

クラウドソーシングを活用した事態間矛盾の分析と分類
高畠悠 † 森田一 ‡ 河原大輔 ‡ 黒橋禎夫 ‡ 東中竜一郎 § 松尾義博 §†京都大学工学部 ‡ 京都大学大学院情報学研究科{takabatake, morita, dk, kuro}@nlp.ist.i.kyoto-u.ac.jp§
日本電信電話株式会社 NTT メディアインテリジェンス研究所{higashinaka.ryuichiro, matsuo.yoshihiro}@lab.ntt.co.jp

1

はじめに矛盾する事態ペアの収集

2

近年，Siri やしゃべってコンシェルのような，音声対話システムが普及してきた．ユーザはスマートフォンに話しかけることで，天気や交通情報等を得ることができる．このような情報取得型のアプリは日常的に利用されているが，今後は自然な雑談機能もひとつのコンテンツとして期待されている．
現在の雑談機能では，単発の発話を繰り返すだけでなく，対話の記憶を保持し，複数回のやりとりを行うことが可能となっている．しかし，対話の流れの中での発話生成には多くの技術的な課題が残されている．
雑談の対話においては，関連することを発話する必要がある．そのような関連性は大規模なコーパスなどから自動学習することができるが，単に関連することを発話するだけでは次のような対話が生まれてしまう．

U: 旅行が好きだが，まだパリに行ったことがない．
S: エッフェル塔に登ったことはありますか？
ここでは，ユーザ発話 (U) 中の「パリ」の関連語である「エッフェル塔」を手がかりにシステム発話 (S) が生成されているが，「パリに行ったことがない」と「エッフェル塔に登ったことがある」ことは矛盾する内容であるため，このようなシステムの発話は極めて不適切である．対話システムにおいて自然な雑談を実現するためには矛盾の扱いが必要となる [8]．
自然言語処理では RTE の中で矛盾を扱った研究などがあるが，矛盾する事態にどのようなものがあるかを体系的に整理した研究は我々の知る限りない．そこで，本研究では，クラウドソーシングを用いて矛盾する事態ペアを収集し，それらを分析することにより事態間矛盾の分類を行う．さらに，収集した事態ペアをクラウドソーシングによって再度，確認・分類するタスクを実施し，今回の分類の妥当性を検討する．

矛盾する事態ペアについて，多くの，バリエーションのあるデータを収集するために，多数の人に安価に短時間で作業をしてもらうことができるクラウドソー
シングを利用した．クラウドソーシングサービスとしては，Yahoo!クラウドソーシング 1 を利用した．
ここでは，将来，雑談対話システムで応用することを考慮して，「グルメ」と「旅行」の二つのドメインをターゲットとした．それぞれのドメインに特徴的な事態を表現する文を人手で作成し，ドメインとその文(課題文) を表示して，それに矛盾する文 (矛盾文) をワーカー（作業者）に書いてもらった．この時，「太陽が西から昇る」のようなそれ自体で矛盾している文や，「雨が降っている」に対して「今日は私の誕生日だ」のような課題文に関係のない文は入力しないように注意を与えた．
課題文を 15 文用意し，課題文 1 文あたり 20 人にそれぞれ矛盾文 5 文を回答してもらった．すなわち，課題文 1 文あたり 100 文の矛盾文を収集した 2 ．例えば，ドメイン「グルメ」で課題文として「中華料理が好きだ」を表示し，「中華料理は嫌いだ」や「和食しか食べたことがない」などの矛盾文を得た．

3

矛盾する事態ペアの分類

3.1

基本的な考え方収集した事態ペアを分類する際に，それらの表現をどういう意味として解釈するかが問題である．例えば，⟨ 東京にいる, 京都にいる ⟩ という事態ペアは，別の時間に起こっていることであれば矛盾ではないが，同時に起きていることだと解釈すれば矛盾していることになる．また，⟨ パスタが美味しい, パスタを食べなかった ⟩ は，「パスタが美味しい」ことを元々知っていたが，1 http://crowdsourcing.yahoo.co.jp/
2 所要経費約 2000 円，所要時間は 2.5 時間程度であった．

― 305 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

て生まれる矛盾もある．そこで，反義や同位語の関係が，⟨ 独身, 妻帯 ⟩ のような二値，⟨ 東京, 京都 ⟩ のよ
うな離散，または ⟨ 高い，安い ⟩ のような連続のいずれの関係にあるかによって矛盾を分類した．
さらに，反義には，⟨ 乗る，降りる ⟩ のように時間的経過関係を表す反義 (経時反義) や，⟨ 売る，買う ⟩のように視点の違いを表す反義 (視点反義) があり [7]，これらに関連して生じる矛盾も分類に加えた．以下にその詳細を示す．

表 1: 事態間矛盾の分類と具体例
同時矛盾
二値⟨ コインの表が出る, コインの裏が出る ⟩⟨ パスタを食べる, パスタを食べない ⟩離散⟨ パスタを食べた, ラーメンを食べた ⟩⟨ 東京にいる, 大阪にいる ⟩⟨ 海外は初めてだ, ２回目の海外だ ⟩連続⟨ 料理の値段が高い, 料理の値段が安い ⟩⟨ 空が晴れる, 雨が降る ⟩⟨ ケーキが美味しい, ケーキがまずい ⟩経時反義⟨ バスに乗る, バスから降りる ⟩⟨ 予約する, キャンセルする ⟩視点反義⟨ ケーキを売る, ケーキを買う ⟩⟨ 銃で撃つ, 撃たれる ⟩推移矛盾
前件否定
後件否定

1-a. 二値 排反の関係にある反義 ⟨ 独身, 妻帯 ⟩ が述語になっている場合や，何かをするとしない ⟨ 入る，入らない ⟩ など，二値しかとらず，常に一方が他方の否定になる事態ペアは相互に矛盾であると考えられる．

⟨ 選挙に立候補しない, 当選する ⟩⟨ パスタを食べていない, 美味しい ⟩⟨ ラーメン屋に行く, ラーメンを食べない ⟩⟨ イタリアンに行く, 蕎麦を注文する ⟩その時は何らかの理由で「食べなかった」という場合は矛盾ではない．しかし，「パスタを食べて，そのパスタが美味しい」という順序の事態ペアについて，一つ目の事態が「パスタを食べなかった」であれば，食べていないパスタを「美味しい」とはいえないため，矛盾する事態ペアとなる．
そこで，ここでは収集した事態ペアの表現を解釈しながら分類するのではなく，表現はあくまでも参考として，事態と事態の間でどのような矛盾のバリエーションがありえるかということを検討した．
さきほどの例からも明らかなように，事態ペアが矛盾するかどうかは，2 つの事態が同時に起こるものと考えるか，時間関係・順序関係を持つものと考えるかで区別する必要がある．前者は，さきほどの ⟨ 東京にいる, 京都にいる ⟩ のような矛盾で，これを同時矛盾と呼ぶことにする．後者の時間関係・順序関係を持つものはさきほどの ⟨ パスタを食べなかった, パスタが美味しい ⟩ のような例で，これは推移矛盾と呼ぶことにする．このように，事態ペアの矛盾を考える上では，まず，同時矛盾と推移矛盾に大きく分類する必要がある．
以下では，同時矛盾と推移矛盾をさらに分類する．
それぞれの分類の具体例を表 1 にまとめる．

3.2

同時矛盾

2 つの事態が同時に起こる場合，それらが矛盾するということは ⟨ ごはんを食べる, ごはんを食べない ⟩，⟨ お腹が一杯だ, 腹八分目だ ⟩ のように反義と強い関係がある．また，これに関係するものとして，⟨ 東京にいる, 京都にいる ⟩ の「東京」と「京都」のように同位語（同じ上位概念の下に位置する概念・語）によっ

1-b. 離散 同位語が項や述語となる ⟨ 東京にいる，京都にいる ⟩，⟨ パスタを食べた，ラーメンを食べた ⟩ のような事態ペアも互いに矛盾する．これらは次の「連続」と区別して離散とよぶ．⟨ 海外は初めてだ，海外は２回目だ ⟩ のように，数に関するものもここに分類する 3 ．
1-c. 連続 ⟨ 高い，安い ⟩ のように連続する状態が考えられる反義 (反意ともよばれる) に関係する事態ペアも矛盾し，これを連続とよぶことにする．⟨
値段が高い，値段が安い ⟩ だけでなく，⟨ 値段が高い，値段が高くない ⟩，⟨ 値段がめちゃくちゃ高い，値段が少し高い ⟩ なども矛盾する事態である．連続する状態は一次元とは限らず，⟨ 快晴だ，雨だ ⟩，⟨ 快晴だ，嵐だ ⟩，⟨ 吹雪だ，雨だ ⟩ など
連続する多様な状態を考えられる場合もある．
1-d. 経時反義 ⟨ 乗る，降りる ⟩ などの経時反義は，⟨バスに乗る，（その後）バスを降りる ⟩ のように，時間が経過すれば事態ペアとして矛盾ではない．
しかし，これを同時に起こる事態と考えれば，⟨バスに乗る，バスを降りる ⟩ は矛盾と考えられる．
1-e. 視点反義 ⟨ 売る，買う ⟩ などの視点反義は，⟨ 私が彼に本を売る，彼が私から本を買う ⟩ のように，視点の異なる描写と考えれば互いに矛盾する事態
ペアではないが，⟨ 私が彼に本を売る，私が彼から本を買う ⟩ のように，同じ項の事態と考えれば矛盾となる．
なお，同時矛盾の事態ペアについて，一方を同義表現にかえたものも矛盾と考える．たとえば，⟨ 美味しい，美味しくない ⟩ は 1-c. 連続であるが，「美味しい」3 ⟨ トヨタが好きだ，日産が好きだ ⟩ のように，同位語が項であれば必ず矛盾するということではない．

― 306 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

をその同義表現「絶品だ」とした ⟨ 絶品だ，美味しくない ⟩ も同様に 1-c. 連続と分類することにする．

3.3

推移矛盾

推移矛盾は，時間関係・順序関係のある 2 つ事態の間の関係として考える．この時，時間・順序が前である事態を前件 (A)，後ろである事態を後件 (B) とよび，この関係を A⇝B と表す．A と B がこのような関係にあるとき，それぞれ次のような場合に A または B を否定するとそのペアが矛盾となる．

2-a. 前件否定 A⇝B で，A が B の前提条件である場合がある．たとえば，⟨ パスポートを持っている，海外旅行に行く ⟩ のように，「海外旅行に行く」ための前提条件として，「パスポートを持っていなければならない」というような関係である．この時，A の否定，すなわち前提条件の否定と B は矛盾する事態となる．今の例では ⟨ パスポートを持っていない，海外旅行に行く ⟩ である．
2-b. 後件否定 A⇝B で，A であれば一般に B であるという場合に，A と，B の否定は矛盾する事態ペアとなる．たとえば，「A：レストランに入る」ならば，一般に「B：何かを注文する」と考えられる．そのため，B を否定した事態ペア ⟨ レストラ
ンに入る，何も注文しない ⟩ は矛盾である．
ここでは時間・順序の前後関係を基準にして A⇝Bと考えたが，これらは次のように整理することもできる．前件否定となる A⇝B については「B ならば (その前提条件として)A」ということが一般にいえる，すなわち「海外旅行に行くなら，パスポートを持っている」といえるもので，その A を否定したものである．
一方，後件否定となる A⇝B については「A ならば B」ということが一般にいえるもので，その B を否定したものである．すなわち，上記の二つの分類は，時間・順序の前後関係に着目すればそれぞれ前件と後件を否定したものであるが，「ならば」という関係に着目すればその帰結を否定したものと整理できる．
推移矛盾については，「一般にいえる」ということをどの程度と考えればよいかが難しい．実世界の事態ペアを考えると，「B ならば (その前提条件として)A」や「A ならば B」の「ならば」が絶対に成り立つということはほとんどない（何らかの状況を考えればそうでなくなる）．一方，この「ならば」が成り立たないことがしばしばあるという程度では，前件否定も後件否定も矛盾とは感じられない．たとえば「温泉に行ったならば浴衣を着る」は容易にそうでないことが考えられるので「温泉に行った」と「浴衣を着ない」は矛盾とは感じられない．

4

多段での矛盾ここまで整理した関係の２段階以上 (多段) の連鎖によって矛盾にたどりつくものもある．例えば，⟨ 晩
ご飯は残り物で作った, 晩ご飯はフルコースだった ⟩は矛盾する事態ペアであるが，これはまず ⟨ 夕食は残り物で作った，夕食は品数が少なかった ⟩ が一般にいえることであり，⟨ 夕食はフルコースだった，夕食は品数が多かった ⟩ も一般にいえる．そして，⟨ 夕食は品数が少なかった，夕食は品数が多かった ⟩ は同時矛
盾の 1-c. 連続となるので，結局 ⟨ 夕食は残り物で作った, 夕食はフルコースだった ⟩ は矛盾と考えられる．

5

事態ペアの矛盾分類実験

我々が整理した事態間矛盾の分類が理解しやすいものであるかどうか，またそれに基づいて具体的な事態ペアの分類が可能であるかどうかを調べるために，再度，クラウドソーシングによる実験を行った．
このタスクでは，本稿で述べた事態間矛盾の分類を示した上で，ワーカーに具体的な事態ペアを見せ，以下の 5 つに分類してもらった．

i. 同時矛盾
ii. 推移矛盾の前件否定
iii. 推移矛盾の後件否定
iv. その他の矛盾
v. 矛盾していないタスクの事態ペアとしては，2 節のクラウドソーシングにより収集した事態ペアからランダムに事態ペア27 個を選択し，1 つの事態ペアにつき 20 人の作業者に回答してもらった 4 ．その結果，各事態ペアに対して最も多い回答をその分類とし，結果を集計したものが表 2 である．
この 27 個について，我々も分類を行い，その結果と，クラウドソーシングによる分類を比較した．その結果 17 個については分類が一致し，不一致であった
もののほとんどは，我々かクラウドソーシングによる分類のいずれかが「iv. その他の矛盾」のものであった．また，分類結果を矛盾 (i〜iv のいずれか) かそうでないか (v) で比較した場合にずれていたのは，我々が「iii. 推移矛盾の後件否定」と考えた ⟨ バースデーケーキを予約した, 誰も食べなかった ⟩ が，クラウドソーシングによって「v. 矛盾していない」となった 1件のみであった．これは 3.3 節で議論した「一般にいえる」をどの程度と考えるかに関する食い違いであると考えられる．

― 307 ―

4 所要経費は約 1000 円，所要時間は約 40 分程度であった．

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

究の分類を利用することによって，より高精度な認識，獲得ができるようになると考えている．

表 2: 事態ペアの矛盾分類の結果
分類
ペア数
同時矛盾

14

推移矛盾の前件否定

04754

本稿では，矛盾した発話をしない雑談対話システムを構築することを将来の目標として，矛盾する事態ペアを体系的に整理した．まず，同時に起こる同時矛盾と，時間・順序関係がある事態の間の推移矛盾を区別し，さらにその詳細な分類を行った．はじめにで示した「パリに行ったことがない」と「エッフェル塔に登った」は前件否定に分類される．
矛盾する事態ペアをコーパスの自動処理とクラウドソーシングを併用して獲得すること，さらに，そのような矛盾事態ペアを知識源として，矛盾する発話をしない対話機構を構築することが今後の課題である．

推移矛盾の後件否定
その他の矛盾矛盾していない

今回の実験を 2 段階のクラウドソーシングによって矛盾事態ペアのデータを収集する実験であると考えた
場合は，2 段階目で「矛盾していない」データをうまく排除できており，クラウドソーシングによる矛盾データの収集可能性を示している．ただし，表 2 のとおり，クラウドソーシングで前件否定と判断されたものはな
く，我々の分類でもなかった．これは，クラウドソー
シングによる矛盾事態ペアの収集では，前件否定，すなわち前提条件の否定のような矛盾データは収集が難しいということを示しているものと考えられる．
今回の事態ペアの矛盾分類実験は，提案する分類の是非を議論するには小規模であり，予備調査的であると考えている．今後，より大規模な実験を通して，分類のよさについても検討を行う予定である．

6

関連研究

関連研究として，矛盾している事態間の自動認識および自動獲得の研究がある．事態間の矛盾認識については，1 節で述べたように，RTE における一つの事態間関係として矛盾関係が扱われている．例えば，
Harabagiu らは，否定表現，反義語および談話関係を用いて，対立・矛盾関係の同定を行っている [3]．また，事態間の矛盾認識技術を利用して，Web 情報などの矛盾を検出するシステムが開発されている．これらのシステムとして，情報分析システム WISDOM[1]，言論マップ [6]，Dispute Finder[2] が挙げられる．
矛盾事態ペアの獲得については，橋本ら [4]，Kloetzer ら [5] の研究がある．橋本らは，活性/不活性という意味的極性のテンプレート (「を破壊する」「を進行させる」のような助詞・用言ペア) を利用して，矛盾や因果関係の事態ペアをコーパスから自動獲得している．実験では，約 70%の精度で 100 万対の矛盾事態ペアを獲得しており，例えば「ガンを破壊する」「ガンを進行させる」のようなものである．その多くは，我々の分類における同時矛盾，特に連続もしくは二値となっている．Kloetzer らは，橋本らの手法を改良し，約 80%の精度で 75 万対の矛盾事態ペアを獲得している．
上記のいずれの研究も事態間の矛盾関係を分類するものではなく，本研究とは目的が異なっている．本研

おわりに参考文献[1] Susumu Akamine, Daisuke Kawahara, YoshikiyoKato, Tetsuji Nakagawa, Kentaro Inui, Sadao Kurohashi, and Yutaka Kidawara. Wisdom: A web information credibility analysis system. In Proceedingsof ACL-IJCNLP2009 Software Demonstrations, pp.
1–4, 2009.
[2] Rob Ennals, Beth Trushkowsky, and John Mark
Agosta. Highlighting disputed claims on the web. In
Proceedings of the 19th international conference onWorld wide web, pp. 341–350. ACM, 2010.
[3] Sanda Harabagiu, Andrew Hickl, and Finley Lacatusu. Negation, contrast and contradiction in text
processing. In Proceedings of AAAI, Vol. 6, pp. 755–762, 2006.
[4] Chikara Hashimoto, Kentaro Torisawa, Stijn
De Saeger, Jong-Hoon Oh, and Jun’ichi Kazama.
Excitatory or inhibitory: A new semantic orientation
extracts contradiction and causality from the web.
In Proceedings of EMNLP2012, pp. 619–630, 2012.
[5] Julien Kloetzer, Stijn De Saeger, Kentaro Torisawa,
Chikara Hashimoto, Jong-Hoon Oh, Motoki Sano,and Kiyonori Ohtake. Two-stage method for largescale acquisition of contradiction pattern pairs usingentailment. In Proceedings of EMNLP2013, pp. 693–703, 2013.
[6] Koji Murakami, Eric Nichols, Suguru Matsuyoshi,Asuka Sumida, Shouko Masuda, Kentaro Inui, andYuji Matumoto. Statement map: Assisting information crediblity analysis by visualizing arguments.
In Proceedings of the 3rd Workshop on Information
Credibility on the web, pp. 43–50. ACM, 2009.
[7] 泉朋子, 柴田知秀, 齋藤邦子, 松尾義博, 黒橋禎夫. 語彙と文脈情報を用いた反義の詳細クラス分類. 情報処理学会研究報告. 自然言語処理研究会報告, Vol. 2013, No. 1,pp. 1–7, 2013.
[8] 東中竜一郎, 船越孝太郎. Project Next NLP 対話タスクにおける雑談対話データの収集と対話破綻アノテー
ション (第 5 回対話システムシンポジウムおよび一般).
言語・音声理解と対話処理研究会, Vol. 72, pp. 45–50,
2014.

― 308 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.