言語処理学会 第21回年次大会 発表論文集 (2015年3月)

日本語 Winograd Schema Challenge の構築と分析†‡†柴田 知秀††‡小浜 翔太郎

黒橋 禎夫

京都大学 ‡ 独立行政法人 科学技術振興機構 CREST{shibata, kohama, kuro}@nlp.ist.i.kyoto-u.ac.jp

1

はじめに問題とペアになっており、以下では、先の問題では誤りであった先行詞 “Debbie” が正例の先行詞となって近年、大規模コーパスから常識的な知識を自動獲得いる。

する研究が進められている。知識のタイプは語・句の[3]、スクリプト・事態間知識 [2, 6] など、様々である。

she got in trou(2) When Debbie splashed Tina, :::ble.

知識獲得の研究において難しいのは評価の問題であ

一般に照応解析では主語が先行詞になりやすいなどのる。例えば、システムが獲得した知識の中からランダ統語的な情報が有効であるが、上記のように一部のみムにサンプリングして精度を算出したとしても、獲得を変えた問題をペアにし、先行詞が異なるようにする

された知識が他の解析・タスクで有用であることやカことにより、統語的な情報が有効にならないようにし、バレッジが十分であることを示すのが難しい。獲得さシステムが常識的な知識を保持しているかどうかだけれた知識を他のタスクに適用することにより有効性をを評価できるように工夫されている。

同義・上位下位関係、固有名クラス [1]、格フレーム示す外的な (extrinsic) 評価を行うことが考えられる

本研究では日本語においても常識的な知識獲得の評が、通常、獲得された知識によって精度の変化が生じ価を行えるように、英語 WSC を日本語に翻訳するこるのは少数であり、知識の有効性を示すのが難しい。とにより日本語 WSC 評価セットを構築した。次に、

そこで、あるタスクに特化した評価セットを用いる

この問題を解くために必要な知識を分類・分析した。

ことが考えられる。例えば、テキスト含意認識ではLevesque が作成したオリジナルの評価セットは 284

RTE 評価セットが整備されている。また、近年、常識的な知識の獲得を評価するものとして、英語では問と少数であるため 1 、本研究では、Rahman らの研Winograd Schema Challenge(以降、WSC と呼ぶ) という評価セットが構築されている [4]。タスクとしてはが 1,322、test が 564 の計 1,886 問である。

照応解析であり、例えば以下の問題では、照応詞 “she”

2

究で構築されたセットを用いる 2 。問題数は trainingに対して、先行詞候補 “Debbie” と “Tina” が与えられ、システムは正しく “Tina” と同定できるかどうかが問われる。

日本語 WSC の構築
英語 WSC を日本語に翻訳することによって、日本語 WSC を構築する。構築された日本語 WSC の例を
表 1 に示す。冒頭にあげた 2 例は表 1 の最初の 2 行の(1) When Debbie splashed Tina, :::she got wet.

ように翻訳されている。
翻訳に際しての注意点として、問題文にマッチする

以降、下線をひいた語は先行詞候補、太字の語は正ような常識的な知識が存在するかを評価できることが例の先行詞、波線をひいた語は照応詞を示す。
この評価セットでは、述語の選択選好などでは先行優先であり、日本語として自然かどうかの優先度は低詞を同定することが困難で、常識的な知識が必要な問いことがあげられる。例えば、以下の 2 問を日本語に題が集められており、上記の問題では、「X さんが Y翻訳する際、1 問目の照応詞 “they” は「彼ら」に、2さんに水をかけると、Y さんが濡れる」という常識的問目の照応詞 “they” は「それら」と訳するのが自然な知識が必要となる。

1 https://www.cs.nyu.edu/davise/papers/WS.html で公開

この評価セットの興味深いところは、類似した問題がペアとなっていることで、先にあげた問題は以下のされている。こちらのデータについては北海道大学のグループによって日本語に翻訳され、上記のページの末尾にて公開されている。
2 http://www.hlt.utdallas.edu/ vince/data/emnlp12/~で公開されている。

― 493 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

デビー が ティナ に水をかけた。

彼女はびしょびしょになった。

::::

デビー が ティナ に水をかけた。

彼女はめんどうをおこしたのだ。

::::

バスの運転手 は 子供 に怒鳴った。

彼女が彼女の車を運転した後のことだ。

::::

バスの運転手 は 子供 に怒鳴った。

彼女が窓ガラスを割ったからだ。

::::

ジンボ は ボバート のところから走って逃げた。 ::彼はひどい臭いがしたからだ。
彼が先に車に着きたかったからだ。
ジンボ は ボバート のところから走って逃げた。 ::男 は隣人の自転車を盗んだ。

彼は一台必要だったからだ。

::

男は 隣人 の自転車を盗んだ。

彼が一台余分に持っていたからだ。

::

メアリー は スーザン の部屋を掃除した。

そして彼女は感謝した。
::::

メアリー は スーザン の部屋を掃除した。

そして彼女は頼みごとをした。
::::

表 1: 日本語 WSC の例 (下線をひいた語は先行詞候補、太字の語は正例の先行詞、波線をひいた語は照応詞を示す)であるが、そうすると、システムはその違いを手がかガ

犬:2469, 愛犬:123, 飼い犬:85, . . . , 猫:13, . . .

りに先行詞を推定することができる。

デ

遠く:67, 外:29, 近く:20, . . .

(3) Chevrolet had to recently recall their cars because ::::
they received complaints about the brakes
in their product.
(4) Chevrolet had to recently recall their cars so
theycould receive a repair in their brakes.
::::

図 1: 動詞「吠える」の 3 番の格フレーム (名詞の後の数字はコーパス中での頻度を示す)
括弧内の数は問題数を示す。また、カテゴリ 1,2,3は複数所属可能とする。
以下では各カテゴリについて詳細に述べる。

そこで、日本語としては不自然ではあるが、いずれも「彼ら」と訳し、先行詞同定の手がかりにならないよ

3.1

うにする。

(5) シボレー は最近 彼らの車 をリコールした。::::
彼ら

1 節では、選択選好で解くのが難しい問題が集めらは自社製品のブレーキに関する苦情を受けたかれていると述べたが、項に「物」や「人」をとりやすらだ。

いのような選択選好よりも広義の選択選好で解ける(6) シボレー は最近 彼らの車 をリコールした。だか
ら彼らは車のブレーキの修理を受けることがで
::::
きた。

3

選択選好る」のガ格の選択選好は「猫」よりも「犬」の方が高いという知識から、先行詞を「犬」と同定することができる。

(7) 猫 は 犬 より賢い。彼らは理由無く吠えるからだ。
::::

日本語 WSC の分析
日本語 WSC の training のうちの 100 問を検討したところ、問題を解くために必要な知識、また、評価セットから除外すべきという観点から以下のように分類できることがわかった。

問題が存在する。例えば、以下の問題では述語「吠え選択選好に関する知識は例えば格フレームから得ることができる。図 1 に、河原らの手法 [3] で Web テキストから自動構築した格フレームを示す。動詞「吠える」の 3 番の格フレームのガ格において、「犬」、「猫」

1. 選択選好 (26)の頻度はそれぞれ 2,469、13 回であり、頻度に大きな

2. 事態間知識 (22)差があることから、「彼ら」の照応先が「犬」である

3. メタ知識 (12)と推定できる。

4. 除外 (不適切, 文化差) (18)
5. 上記以外の難問 (29)

― 494 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

3.2

事態間知識

したがって、直接問題にマッチするような知識では以下の問題では、「ある企業 X が破綻すると別の企業 Y が企業 X を買収する」という事態間知識から、なく、以下の 2 つの知識があれば、問題を解くことができる。

• X が Y に「良いこと」をすると、Y が X に感謝する「彼ら」の先行詞は「モトローラ」と同定することができる。

• 部屋を掃除することは「良いこと」(8) グーグル は モトローラ を買収した。彼らが破綻::::していたからだ。

ここでは、「X が Y に良いことをすると、Y が X に

このような知識は例えば、柴田らが Web コーパスか感謝する」のような汎化した知識をメタ知識と呼ぶこら自動獲得した事態間知識 [6] から得ることができる。とにする。
他の例としては以下がある。

この知識では、事態を述語項構造で表し、一つの知識は「ある事態 E1 が生じた後に、しばしば別の事態 E2が生じる」ということを表す。以下に例を示す。

X:{ 会社,⟨ 主体 ⟩} が 破綻する ⇒ Y:{ 会社 }が X:{ 会社,⟨ 主体 ⟩} を 買収する

(11) ボブ は ジャック にオムレツを作った。彼は作り::方を知っていたからだ。
この問題についても、これを解くための直接的な知識がコーパスから獲得されるとは考えにくく、以下のよ

この事態間知識では項の対応がとれており、この例うなメタ知識が必要となる。

X が V した ⇒ X が V する方法を知っていたでは、最初の事態のガ格と次の事態のヲ格の対応が付いている。この情報を用いることにより、上記の問題の「彼ら」は「破綻」のガ格であるので、「買収」のヲ上記のようなメタ知識を獲得した研究はなく、今後の課題である。

格である「モトローラ」が先行詞であることがわかる。
事態間知識だけでは解けず、問題と事態間知識のマッチングの際に同義知識が必要となる場合もある。以下

除外

3.4の問題を解くには、事態間知識「X が Y に頼む ⇒ Y

もともとの英語の問題で不適切、もしくは、英語をが断る」と同義知識「Y に頼む」=「Y に頼みごとを日本語に翻訳して構築したために不適切となったもの、する」が必要となる。

また、文化差により日本語の評価セットとして不適切なものなど、除外すべきものがある。

(9) ジェームズ は ロバート に頼みごとをした。しか不適切し彼は断った。
::

例えば、以下の問題では、ニコニコマークはもともこのような同義の知識は WordNet や分布類似度 [7] かと “smiley face” であるが、下記の文脈で何を指してら得ることができる。

いるかがわからず、問題として不適切である。

3.3(12) 彼は ニコニコマーク に 雪 を乗せた。::::
それは濡れていたからだ。

メタ知識

例えば以下の問題を考える。

文化差
例えば、以下の問題では、「ゾンビ」に関する知識(10) メアリー は スーザン の部屋を掃除した。そしが必要となるが、日本語のテキストでは出現しにくいて彼女は感謝した。
::::
この問題を解くには、以下のような事態間知識が獲得されれば解くことができるが、このようなことがコーことから、以下の問題は評価セットから除外する。

(13) ゾンビ は 生き残った人たち を 追 い か け た 。
彼らは空腹だったからだ。
::::

パスにある程度の頻度で書かれ、知識として獲得されるとは考えにくい。

X:{⟨ 主体 ⟩} が Y:{⟨ 主体 ⟩} の 部屋を 掃除

3.5する ⇒ Y:{⟨ 主体 ⟩} が X:{⟨ 主体 ⟩} に 感謝する

上記以外の難問

上記には分類できない難問がある。例えば、下記のような問題は多段に推論を行えば解ける可能性があるが、現在の知識・解析では大変難しい問題である。

― 495 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

(14) オーケストラ は 聴衆 のブーイングを受けた。
彼らはロックバンドを期待していたからだ。
::::(15) 男 は 隣人 の自転車を盗んだ。彼が一台余分に::持っていたからだ。
(16) 学究的な 同好会 は メンバー を失った。::::
彼らに十分な資金がなかったからだ。

構築した日本語 WSC の評価セットは公開する予定である。今後の課題としては、日本語 WSC を解くシステムを構築し、現状の知識・解析器の問題点を検討することや、英語 WSC と日本語 WSC の分析を通して英語・日本語における知識獲得の比較などがあげられる。

謝辞
3 節の冒頭で述べたが、カテゴリ 1,2,3 については複数に所属することを許した。例えば、以下の問題は、選択選好に関する知識でも解け、また、「X が退屈する ⇒ X が居眠りする」という事態間知識でも解けると考えられるので、カテゴリ 1 と 2 に属している。

(17) 学生たち は教授の 講義 中に居眠りをした。
それらが退屈だったからだ。
::::::

4

関連研究
Winograd Schema Challenge(WSC)[4] が提唱されて以降、いくつかの研究がこの問題を解き、現在の解析器・知識の問題点などを議論している [5, 9, 8]。

Rahman らは、機械学習を用いて正例先行詞と負例先行詞のランキング問題として解いている [5]。素性として、Chambers らが獲得した事態間知識、Google検索のヒット件数、FrameNet、極性、接続詞などから得られた様々なものを利用している。
杉浦らは事態間知識を大規模コーパスから獲得し、それを英語 WSC に適用し、その解析誤りの分析を行っている [9]。解析誤りの主な要因は、周辺文脈が考慮できていない、推論知識が不足している、別の種類の知識が必要、依存構造解析誤りなどであったと報告されている。
井之上らの手法 [8] では、まず、大規模コーパスからChambers らの方法を用いて、周辺文脈付きの事態間知識を獲得する。そして、問題文と類似している近傍

k 個の事態間知識に基づき、先行詞を同定している。
実験の結果、類似度関数に文脈の類似度を考慮することにより精度が向上したと報告されている。

5

おわりに

本 論 文 で は 英 語 の Winograd Schema Challenge(WSC) を日本語に翻訳することにより、日本語WSC を構築し、次に、日本語 WSC を解くために必要な知識を分析した。分析によれば、必要な知識は、選択選好、事態間知識、メタ知識などに分類できる

本研究は科学技術振興機構 CREST「知識に基づく構造的言語処理の確立と知識インフラの構築」の支援のもとで行われた。また、翻訳は国立情報学研究所 宮尾研究室にて行われた。ここに記して感謝の意を表す。

参考文献[1] Andrew Carlson, Justin Betteridge, Bryan Kisiel,
Burr Settles, Estevam R. Hruschka, and Tom M.
Mitchell. Toward an architecture for never-ending
language learning. In Proceedings of the TwentyFourth Conference on Artificial Intelligence (AAAI2010), 2010.
[2] Nathanael Chambers and Dan Jurafsky. Unsupervised learning of narrative event chains. In Proceedings of ACL-08: HLT, pp. 789–797, 2008.
[3] Daisuke Kawahara and Sadao Kurohashi. Case framecompilation from the web using high-performancecomputing. In Proceedings of LREC-06, 2006.
[4] Hector J. Levesque. The Winograd Schema Challenge. In AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning, 2011.
[5] Altaf Rahman and Vincent Ng. Resolving complex
cases of definite pronouns: The winograd schemachallenge. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 777–789, 2012.
[6] Tomohide Shibata and Sadao Kurohashi. Acquiringstrongly-related events using predicate-argument cooccurring statistics and case frames. In Proceedingsof the 5th International Joint Conference on Natural Language Processing (IJCNLP2011, poster), pp.
1028–1036, 2011.
[7] Tomohide Shibata and Sadao Kurohashi. Predicateargument structure-based textual entailment recognition system exploiting wide-coverage lexical knowledge. Special Issue of ACM TALIP on RITE (Recognizing Inference in TExt), Vol. 11, No. 4, pp. 16:1–16:23, 2012.
[8] 井之上直也, 杉浦純, 乾健太郎. 共参照解析のための事
象間関係知識の文脈化. 言語処理学会第 20 回年次大会
論文集, pp. 717–720, 2014.
[9] 杉浦純, 井之上直也, 乾健太郎. 共参照解析における事
象間関係知識の適用. 言語処理学会第 20 回年次大会論文集, pp. 713–716, 2014.

ことがわかった。

― 496 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.