2020 年 3 月に言語処理学会年次大会で発表した本論文には、設定等の誤りによる実験結果の誤りがありました．
本論文中の数値は以下のものが正しい数値です．
• 条件 Similarity の類似度範囲: 0.5 より小さい → 0.4 から 0.6• BERT-LARGE の解答精度: 39% → 79.5%• 人間の解答精度: 92% → 94%
なお、論文の主張等に変更はございません．心よりお詫び申し上げます．

基本イベントに基づく常識推論データセットの構築
大村 和正
河原 大輔
黒橋 禎夫
京都大学 大学院情報学研究科{omura, dk, kuro}@nlp.ist.i.kyoto-u.ac.jp

はじめに1

お腹が空いたので深層学習の進展にともない，計算機による言語理解

1. コーヒーを飲む

力を鍛える／評価する問題設定を考え，そのデータを2. ご飯を食べる構築する研究が盛んである．

3. 汗をかく従来から計算機による言語理解には，言語に関する

4. 眠くなる知識（語の意味，構文など）と，言語を超えた我々の表 1: 常識推論問題の作問例 (太字は正解選択肢)

世界・社会に関する知識（その基本的なものがいわゆる常識）の両方が必要であると議論されてきた．

b.

ご飯を食べたら，眠くなる

このうち，前者の言語に関する知識の問題は，大規c.

眠いので，コーヒーを飲む

模テキストからの汎用言語モデル BERT [1] などにd.

激しい運動をすると，汗をかくよって相当程度解決した．文脈に応じた語の意味をベクトル表現できるようになり，それをもとにした ﬁne-

これらをベースとして，異なるペアの後件を誤り選択

tuning によって，構文解析，パラフレーズ認識，深い肢とすることで表 1 のような常識推論問題をつくるこ

推論を必要としない質問応答などについては人間に匹とができる．
このようにテキストからの抽出をベースとするため，敵する精度が達成されている．
一方，後者の常識の獲得についてはまだ課題が多い．

スケーラブルであり，ドメインが限定されることもな最大の問題は，常識というもののある種の汎用性を担い．クラウドソーシングについても，作文をするので保する必要があるという点にある．常識の汎用性とは，はなくて確認・フィルタリングを行うだけなので，こ知識として基本的なものであると言い換えることもでこからバイアスが生まれることもない．

きる．さらに，もう一つの問題として，問題をつくる本研究では，提案手法に基づいてテキストから常識際のバイアスをできるだけ排除しなければならないと推論データセットを構築した．実験の結果，バイアスいう問題がある [2]．

が小さなデータセットになっていることを確認した．

本研究では，これらの問題を解決するためにテキス
トを利用する．蓋然性をもつ（＝よく起こり得る）基

2

関連研究

本的なイベントペア表現をテキストから抽出し，これこれまでに構築された常識に関するデータセットをクラウドソーシングで確認することで問題を作るととして，大規模なものでは SWAG [3] と Common-いう方法を提案する．基本的なイベント表現（基本イsenseQA [4] が挙げられる．

ベントと呼ぶ）は，テキストから抽出した述語項構造

SWAG は，与えられた文脈に続く最も適切な動詞句をクラスタリングし，その中の高頻度なものを核とすを問う多肢選択式問題 11 万問からなる常識推論デーる表現と定義する．そして，談話関係解析を用いるこタセットである．常識としての汎用性を担保するため，とにより，蓋然性をもつ基本イベントペアを抽出する．

動画キャプションから問題を作成しており，問題のドこれを蓋然的基本イベントペアと呼ぶ．

メインは物理世界に限定される．各問題は，動画キャ

たとえば，抽出される蓋然的基本イベントペアは次のようなものである．

プションから連続する 2 文を抽出し，その 1 文目から2 文目の主語までを文脈，残りの部分を正解選択肢としている．誤り選択肢の候補は言語モデルから生成す

(1)

a.

お腹が空いたので，ご飯を食べる①

るため，言語モデルの生成バイアスに対処しなければならない．

ウェブテキスト 格フレーム
係り受け 談話関係
解析 解析

CommonsenseQA は，問題文の答えとして最も適切な単語を問う多肢選択式問題 1.2 万問からなる常識問題データセットである．常識データベースである

ConceptNet から部分グラフを抽出し，それを基にクBasic

ラウドソーシングで問題を作成している．この手法は・お腹が空いたので，ご飯を⻝べる
・ご飯を⻝べたら，眠くなる
・眠いので，コーヒーを飲む
・激しい運動をすると，汗をかく

常識推論データセットの構築

蓋然的基本イベントペア⋮

常識推論問題は，表 1 に示すように，文脈と 4 つの選択肢からなり，文脈の後に続く文として最も適切なため，基本イベントに関するものに限定する．また，スケーラビリティの確保とバイアスの低減のために，④・お腹が空いたので
a. コーヒーを飲む
b. ご飯を⻝べる
c. 汗をかくd. 眠くなる

常識推論問題

図 1: 提案手法の概要．
格フレーム

格

項

壊す (1)ガヲデ

私:83，人:65，...
お腹:25,643，体:17,242...
ストレス:297，食べ:174，...

壊す (2)ガヲ
ノ方:42，日本:42，...
雰囲気:8,140，イメージ:3,774...
場:873，部屋:851，...

コーパスからの自動抽出とクラウドソーシングによる確認を組み合わせる．これらの点を考慮し，次の手順⾃動抽出された
蓋然的基本イベントペア候補

クラウドソーシングで行うため，annotation artifacts [2] の問題がある．

これらの問題は，常識としての汎用性を担保する②③に欠ける．また，問題文の作成はクラウドソーシングものを選択肢から選ぶ問題である．

条件

蓋然的イベントペア候補

既存のリソースを利用するため，スケーラビリィティ

3

基本イベントで常識推論問題を生成する (図 1)．
...

1. 高頻度な述語項構造から基本イベントを獲得する．

表 2: 述語「壊す」の格フレーム．数値は頻度を表す．

2. コーパスに談話関係解析を適用し，その結果，蓋然的関係をもつと認識され，かつ基本イベントを核とするイベントペアを抽出する．

本研究では，格フレームから高頻度な述語項構造を抽出し，それらを基に基本イベントを獲得する．まず，格フレームデータから，述語として，能動態のみを対3. 抽出したイベントペアが蓋然的関係をもつかどうかをクラウドソーシングで確認し，蓋然的基本イベントペアを得る．

4. 蓋然的基本イベントペアから正解選択肢を作り，それ以外のイベントペアから良質な誤り選択肢を選択することによって，常識推論問題を生成する．
以下では各ステップの詳細について述べる．

3.1

基本イベントの獲得

象に頻度上位 5,000 件を取得する．取得した各述語に対して，格フレーム，格，格要素をそれぞれ頻度順に見たときに，頻度の累積和がその項目全体の 75%，50%，50%を越えるまで取得する．例えば，格フレームはその述語頻度の 75%をカバーするまで取得する．
この結果，基本イベントを 28,642 件獲得した．獲得された基本イベントは，例えば「{ お腹, 体 } ヲ 壊す」や「{ 雨, 雪 } ガ 降る」といったものであった．

3.2

蓋然的基本イベントペア候補の抽出

本研究における基本イベントは，テキストから抽出

テキストに構文解析と談話関係解析を適用し，まずした述語項構造を用法ごとにクラスタリングし，そ係り受け関係および蓋然的関係をもつイベントペアをの中の高頻度なものを核とする表現とする．述語項構抽出する．蓋然的関係は，イベント間の談話関係が談造をクラスタリングした既存のリソースとして，格フ話標識によって明示されており，「原因・理由」またはレーム1 があり，本研究ではこれを利用する．

「条件」であるものとする．

格フレームにおいては，各述語が用法ごとに複数の本研究では，コーパスとして約 1.8 億文の日本語ウェ格フレームをもつ．各格フレームは複数の格をもち，ブテキストを利用した．テキストからイベントペアを各格は格要素となりうる名詞群からなる．日本語格フ抽出するために，KNP2 を用いた．KNP は係り受けレームの例を表 2 に示す．
1 https://www.gsk.or.jp/catalog/gsk2018-b

2 http://nlp.ist.i.kyoto-u.ac.jp/EN/index.php?KNP

解析と，イベント間の明示的な談話関係の解析を行う• 事象性の薄いもの，ウェブ特有の機能表現を含むツールである．KNP をテキストに適用した結果，約ものを除くため，得られたイベントペアに含まれ2,000 万組の蓋然的イベントペア候補を抽出した．

る基本イベントの頻度を計数し，高頻度の基本イ

続いて，解析結果から信頼性の高い部分を選択し，ベントを含むイベントペアを除く．高頻度の基本

常識としての汎用的な内容を表すイベントペアに絞る

イベントは，「問題が無い」や「情報が満載」とため，以下の条件を満たすイベントペアを選択する．

いったものであった．

以下では，原因や理由を表す 1 つ目のイベントを前件イベント，結果などを表す 2 つ目のイベントを後件イベントと呼ぶ．

Reliable 前件イベントが後件イベントに曖昧性なく係る• 指示代名詞や未知語を含むイベントペアを除く．
後処理の結果，51,841 組の蓋然的基本イベントペア候補を抽出した．

3.3

クラウドソーシングによる確認

1 文中に 3 つ以上の節がある場合，前件・後件イ

蓋然的基本イベントペア候補から，クラウドソーシベント間の係り受け関係が解析誤りである可能性ングを利用して蓋然的関係があるものを選択する．クがある．このようなノイズを除くために，後件イラウドワーカーに，各イベントペアについて次の 2 択

ベントが文末の節で前件イベントとの節間距離がから選んでもらう．

1 であるイベントペアを抽出する．
Basic 前件および後件イベントが両方とも基本イベ

1. A は B の原因・理由である
2. その他の関係，もしくは関係がないントを含む
基本的には，前件・後件イベントが基本イベントを包含するかどうかをチェックするが，後件イベントの項は省略される可能性がある．この問題に対処するため，後件イベントが明示された項をもたない場合は，前件イベントから項を補完してイベントの包含関係を調べる．
例えば，「衝撃で窓が割れる → 取り替える」というイベントペアを考える．この場合，後件イベント「取り替える」に対して，前件イベントに含ここでは，前件イベントを A，後件イベントを B と表現する．
各イベントペアを複数人のワーカーが評価し，過半数以上が一致した評価をそのイベントペアの評価とする．
「A は B の原因・理由である」と評価されたイベントペアを蓋然的基本イベントペアとして採用する．
クラウドソーシングの結果，51,841 組から 34,170組の蓋然的基本イベントペアを獲得した．

3.4

常識推論問題の生成

まれる項「窓」もしくは「衝撃」をもつ基本イベ

蓋然的基本イベントペアから常識推論問題を生成ントが存在するかを調べる．この場合「窓を取りする．各問題の文脈は前件イベント，正解選択肢は後替える」という基本イベントが獲得されているた件イベントとする．誤り選択肢は，他のイベントペア

め，このイベントペアは抽出される．

データ中の後件イベントから自動的に良質なものを選択する．

この条件を適用したところ，約 12 万組のイベントペアが選択された．

先行研究でも述べられているように，誤り選択肢をランダムに選択すると問題が簡単に解けてしまい，常Basic 条件による効果を検証するため，Basic 条件

識の学習に適さない [4]．正解選択肢に対して紛らわを適用せずに抽出した蓋然的イベントペアおよび蓋然しい，良質な誤り選択肢を選択するために，以下の条的基本イベントペアを無作為に 100 組ずつ抽出し，常件で選択を行う．

識的に理解できるかを著者が評価した．その結果，蓋然的イベントペアは 47 組，蓋然的基本イベントペア

Similarity 正解選択肢との類似度が 0.5 より小さい．

は 77 組が常識をもとに理解できると評価された．従っ

選択肢間の類似度は，選択肢をベクトルで表現し，て，Basic 条件は常識レベルのイベント関係を抽出す

そのコサイン類似度で計る．選択肢のベクトル表るのに効果的であることがわかる．

現は，選択肢中に含まれる単語の平均ベクトルと最後に，次ステップであるクラウドソーシングにおする．

いてワーカーが的確に判断できるように，以下の後処

3 つの誤り選択肢は，類似度閾値条件を満たすも理を行う．のの内，正解選択肢との類似度が高い bin，正解

ご飯を食べたら，a. 早めに汚れを落とす
b. 重低音のきいたモードもあるc. 涼しげだd. さっさと歯を磨く

音楽を聴くとa. 気持ちが少しは和らぐ
b. 反動として身体に負担がかかる
c. 魚は獲りにいける
d. さっさと食って逃げるように店をでる

雨がひどかったので，a. 延期になる
b. ２位争いになる
c. ココのラーメンは大好きだ
d. 早く札幌に着く

表 3: 作問結果の例 (太字は正解選択肢)

問題数

学習開発

テスト

27,304

3,278

3,288

表 4: データセットの統計たりがあり，バイアスが小さなデータセットになっていることが分かる．
また，条件 Similarity を除くと解答精度が 1%低下し，条件 Length を除くと解答精度が 2%向上した．
この結果から，条件 Similarity は正解選択肢と酷似選択肢との類似度が中程度の bin，正解選択肢とした誤り選択肢が混入して問題が解けなくなることをの類似度が低い bin から無作為に 1 つずつ選択防ぎ，条件 Length は文長に関するバイアスを軽減しする．ていることが分かる．

Length 正解選択肢に対して単語数の比が 0.5 から 2までの範囲にある．
なお，誤り選択肢の候補が 3 つ以上得られない場合は問題を生成しない．
この結果，34,132 問の常識推論問題が生成された．
表 3 に作問結果の一例を示す．
人間による解答精度を検証するため，生成した問題から無作為に 100 問サンプリングし，各問題に対して5 人のクラウドワーカーから解答を収集した．多数決で決定した解答の精度は 92%であった．
作成した問題を 8 : 1 : 1 に分割し，それぞれ学習データ，開発データ，テストデータとする．作成したデータセットの統計を表 4 に示す．

4計算機による解答実験
計算機による解答精度を検証するため，BERT による常識推論問題の解答実験を行った．BERT は，様々なタスクで高性能を達成した転移学習モデルである．本
研究では，BERT のモデルとして，約 1,800 万文を含む日本語 Wikipedia コーパスで事前学習した BERT-LARGE モデルを用いた．
本実験においては，先行研究 [4] にならい，文脈と選択肢の組を特別な記号で区切って入力する．例えば，文脈が「お腹が空いたら」，選択肢が「ご飯を食べる」である場合，入力は “[CLS] お腹 が ... [SEP] ご飯 を... [SEP]”となる．各 [CLS] トークンの中間層表現を線形層を通してロジットに変換し，最大値をとる選択肢を解答とする．
モデルの性能を Accuracy で評価した結果，BERT-LARGE の解答精度は 39%であった．高性能な転移学習モデルでも人間の常識推論能力との間には大きな隔

5

おわりに
本論文では，コーパスからの自動抽出とクラウドソーシングにおける確認を組み合わせて，バイアスの少ない常識推論問題データセットを構築した．各問題は，基本的なイベント間の蓋然性を問う多肢選択式問題である．人間の解答精度は 92%と非常に高い一方で，計算機の解答精度は最高性能のモデルでも 39%と，常識推論能力に大きな隔たりがあることが判明した．現
在，データセットの規模を拡大し，約 10 万問を含むデータセットを作成中であり，一般公開する予定である．今後は，構築したデータセットで常識を学習し，省略・照応解析や談話関係解析など他のタスクに応用することを検討する．

謝辞
本研究は (公財) 日本漢字能力検定協会の支援を受けた．(公財) 日本漢字能力検定協会からの研究助成に感謝いたします．

参考文献[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and KristinaToutanova. BERT: Pre-training of Deep Bidirectional
Transformers for Language Understanding. In NAACLHLT, 2019.
[2] Suchin Gururangan, Swabha Swayamdipta, Omer Levy,
Roy Schwartz, Samuel R. Bowman, and Noah A. Smith.
Annotation Artifacts in Natural Language Inference Data.
In NAACL-HLT, 2018.
[3] Rowan Zellers, Yonatan Bisk, Roy Schwartz, and Yejin
Choi. SWAG: A Large-Scale Adversarial Dataset forGrounded Commonsense Inference. In Empirical Methods in Natural Language Processing (EMNLP), 2018.
[4] Alon Talmor, Jonathan Herzig, Nicholas Lourie, andJonathan Berant. CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge. In
NAACL-HLT, 2018.