# 基本イベントに基づく常識推論データセットの構築と利用

大村 和正 $\dagger \cdot$ 河原 大輔 ${ }^{\dagger \dagger}$-黒橋 禎夫 ${ }^{\dagger,+\dagger \dagger}$
}

本研究では, 基本イベントに基づく常識推論データセットの構築手法を提案する。具体的には，テキストから「お腹が空いたので，ご飯を食べる」といった蓋然的関係 を持つ基本的なイベント表現の組を自動抽出し, クラウドソーシングによる確認を 行った後, 基本イベント間の蓋然的関係を問う多肢選択式問題を自動生成する。提案手法に従って 10 万問規模の常識推論データセットを構築し, 計算機による解答実験を行った結果, 高性能な汎用言語モデルと人間の間に解答精度の開きがあるこ とを示した。また，提案手法の拡張性の高さを利用して疑似問題を大規模に自動生成し, このデータ拡張による常識推論タスクおよび関連タスクでの効果を検証した.実験の結果，蓋然的関係に関する知識を広範に学習させることで，常識推論タスク および関連タスクにおいて一定の効果があることを示した。これは，蓋然的関係を 推論する能力が自然言語理解において重要であることを示唆している. キーワード：常識推論，基本イベント，蓋然的関係，自然言語理解
## Building a Commonsense Inference Dataset based on Basic Events and its Application

\author{
Kazumasa Omura $^{\dagger}$, Daisuke Kawahara $^{\dagger \dagger}$ and Sadao Kurohashi ${ }^{\dagger, \dagger \dagger \dagger}$
}

We propose a method for building a commonsense inference dataset based on basic events. Specifically, we automatically extract contingent pairs of basic event expressions such as "I'm hungry, so I have a meal" from text, verify by crowdsourcing, and automatically generate commonsense inference problems regarding the contingent relation between basic events. We built a commonsense inference dataset of $100 \mathrm{k}$ problems by the proposed method and conducted experiments to investigate the model performance. The results showed that there is a performance gap between highperformance language models and humans. In addition, we automatically generated large-scale pseudo problems by utilizing the scalability of the proposed method and investigated the effects by the data augmentation on the commonsense inference task and the related tasks. The results demonstrated the effectiveness of learning extensive contingent knowledge for both the commonsense inference task and the related tasks,

which suggests the importance of contingent reasoning.

Key Words: Commonsense Inference, Basic Event, Contingency, Natural Language Understanding

## 1 はじめに

計算機による自然言語理解の実現は，自然言語処理における大きな目標のひとつである。この目標に向けて，計算機の言語理解力を訓練・評価する問題設定を考え，そのデータを構築する研究が盛んに行われている (Wang et al. 2019b, 2019a; Srivastava et al. 2022).このような取り組みの中で，計算機による自然言語理解を実現するためには，言語に関する知識（語句の意味，構文など）と言語を超えた実世界に関する知識の両方が必要であると議論されてきた.

前者の言語に関する知識は, 汎用言語モデル BERT (Devlin et al. 2019)の登場以降，相当学習できるようになった。大規模テキストから文脈に応じた語のべクトル表現を事前に学習し，下流タスクに合わせて fine-tuning することで，言い換え認識や構文解析といった基礎的な解析タスクで人間に匹敵する精度が達成されている。

一方で，後者の実世界に関する知識の獲得については，まだ課題が残る，実世界に関する知識は無数に存在するため, その基本的な部分, すなわち常識に焦点を当てたデータが盛んに構築されている，そこでは，広範な知識の中から常識を獲得するために，どのように常識に焦点を当てるかが課題となる.

これまでに行われた工夫を見ると，例えば， SWAG (Zellers et al. 2018) は動画キャプションをべースとすることで対象を視覚で捉えられる日常的な出来事に限定している．しかし，これでは扱える常識の範囲が制限される。その他の試みとして, ConceptNet (Speer et al. 2017)をベースとする CommonsenseQA (Talmor et al. 2019) がある. ConceptNet がカバーする基本的な語句の間の関係をべースとしているが, ConceptNet 全体を用いても 1.2 万問しか作問できないという拡張性の問題がある.

また, 作問時に含まれるバイアスをできるだけ排除しなければならないという課題もある．前述の試みについて, 例えば, SWAGでは誤り選択肢文を言語モデルで自動生成し, CommonsenseQA では問題文をクラウドソーシングで作成している。このため，これらのデータセットには言語モデルの生成バイアスや Annotation Artifacts ${ }^{1}$ (Gururangan et al. 2018) が含まれうる.

本研究では, これらの問題を解決するために, 人手で構築された言語資源をべースとした作問や人手による作問ではなく生のテキストデータからの作問を試みる。蓋然的関係をを持つ基本

的なイベント表現の組をテキストから自動抽出し，クラウドソーシングで確認を行い，それをベースに常識推論問題を自動生成するという手法を提案する。

基本的なイベント表現（基本イベントと呼ぶ）は「テキストから抽出した述語項構造をクラスタリングし，その中の高頻度なものを核とする表現」と定義する。これをもとに，談話標識を手かがりとして「蓋然的関係を持ち，前件・後件が共に基本イベントである節の組」を自動抽出する。これを蓋然的基本イベントペアと呼ぶ.

例えば，蓋然的基本イベントペアは次のようなものである。

(1) a. お腹が空いたので，ご飯を食べる

b. ご飯を食べたら，すごく眠い

c. 眠いので，コーヒーを飲む

d. 激しい運動をすると，汗をかく

ある蓋然的基本イベントペアの前件を文脈，後件を正解選択肢とし，その他のイベントペアの後件を誤り選択肢とすることで，図 1 のような常識推論問題を自動生成することができる.

提案手法はテキストからの自動抽出をべースとするため，拡張性があり，ドメインを限定しない. クラウドソーシングについても, 確認（フィルタリング）を行うだけなので, 低コストかつ Annotation Artifactsの問題もない. また, 人手で構築された言語資源やクラウドソーシングに強く依存せず，談話標識は様々な言語に普遍的に存在するため, 他言語にも比較的適用しやすいと考えられる。

本研究では，まず，日本語 7 億文を含むウェブコーパスに提案手法を適用し，常識推論問題 10 万問から成るデータセットを構築する。計算機による解答実験を行い，様々なタスクで高い性能を達成している汎用言語モデルでも人間との間に性能の開きがあることを示す.

次に，この性能の開きを改善するため, 提案手法の拡張性の高さを利用したデー夕拡張による常識推論能力の改善に取り組む，具体的には，クラウドソーシングによる確認を省略することで常識推論問題を模した疑似問題を大規模に自動生成し，これを訓練時に組み込むという手法を検証する。

図 1 常識推論問題の作問例. $\checkmark$ 印は正解選択肢である.
最後に，蓋然的関係に関する知識の転移可能性を検証するため，常識推論問題および擬似問題からの転移学習による関連タスクへの効果を定量的に評価する。これらの実験の結果，常識推論問題および擬似問題を通して蓋然的関係を広範に学習することで常識推論夕スクおよび関連タスクにおいて一定の効果があることを示す 3.

## 2 関連研究

常識に焦点を当てた言語資源はこれまでに様々なものが構築されており，それらはデータセットと知識ベースの 2 つに大別される. 本研究で構築する常識推論データセットは前者に分類され，後者の常識知識ベースは ConceptNet (Speer et al. 2017) や ATOMIC (Sap et al. 2019a; Hwang et al. 2021) などがある。本節では，常識推論に関するデータセット並びに常識推論能力の改善に向けたアプローチについて述べる.

## 2.1 常識推論データセット

常識推論能力の訓練・評価に向けたデータセットは主に英語で盛んに構築されており，SWAG や CommonsenseQA などがある. これらのデータセットについて説明する.

SWAG (Situations With Adversarial Generations) (Zellers et al. 2018)は，与えられた文脈に続く最も適切な動詞句を問う多肢選択式問題 11 万問から成る常識推論データセットである。常識としての知識の一般性を保証するために動画キャプションをべースに問題を作成しており， ドメインは視覚で捉えられる日常的な出来事に限定される。各問題は, 動画キャプションから連続する 2 文を抽出し，その 1 文目から 2 文目の主語までを文脈，残りの部分を正解選択肢としている。誤り選択肢文の候補は言語モデルから生成し，分類モデルが簡単に誤りだと見分けられるものを除去することで，より紛らわしい誤り選択肢文を獲得している。しかし， SWAG は BERTによって人間に匹敵する精度で解かれている。これは，言語モデルが生成した誤り選択肢文にバイアスが含まれており，BERTがこれを検知するような学習をしたためだと考えられている (Zellers et al. 2019). これを受けて Zellers らは，より高性能な言語モデルを使用して BERT がバイアスを検知できないデータセット (HellaSwag) を構築した (Zellers et al. 2019). しかし, HellaSwag も同様の問題が指摘されており (Tamborrino et al. 2020), バイアス問題の本質的な解決には至っていない.

CommonsenseQA (Talmor et al. 2019)は，問題文の答えとして最も適切な語句を問う多肢選択式問題 1.2 万問から成る常識推論データセットである。常識知識ベースである ConceptNetから部分グラフを抽出し，それをもとにクラウドソーシングで作問する。部分グラフは 1 つのソー


スコンセプトと，それと同じ関係で結ばれる 3 つのターゲットコンセプトから成る．クラウドワーカーは，ソースコンセプトを含み，ターゲットコンセプトの内 1 つだけが答えとなるような問題文を各ターゲットコンセプトに対して作成する。さらに, 作成した問題に対してクラウドソーシングで誤り選択肢を 2 つ追加することで 5 択問題を作る。この手法は ConceptNet をベースとするため, 拡張性の問題がある。また, Annotation Artifacts (Gururangan et al. 2018) が潜在的に含まれる可能性がある.

これらの他にも, 日常的な出来事の間の因果関係を問う COPA (Choice Of Plausible Alternatives) (Roemmele et al. 2011)，社会常識を問う Social IQA (Social Intelligence QA) (Sap et al. 2019b), 手続き的な知識を問う PIQA (Physical Interaction: Question Answering) (Bisk et al. 2020) など，ある種の常識に焦点を当てたデータセットが多数構築されている．また，常識推論能力を直接問うものではないが，解答に常識が必要となるデータセットとして，Winograd Schema Challenge (WSC) (Levesque 2011) および WSC 形式の問題をクラウドソーシングで大規模に作成して構築された WinoGrande (Sakaguchi et al. 2020) がある.いずれも既存の言語資源や人手（専門家・クラウドソーシング）による作問をべースとしており，前述の問題が考えられる。

上記のデータセットの多くはタスクが 2 択から 5 択までの多肢選択式であるが, 生成タスクとして評価する取り組みも存在し(Lin et al. 2020; 榎本, 嶋田 2022; 鈴木, 新納 2022), 代表的なデータセットとして CommonGen がある. CommonGen は, 画像キャプション, ConceptNet, クラウドソーシングを利用して作成された制約付きの文生成問題 3.5 万問から成る. 具体的には, 物体もしくは動作を表す複数の単語が与えられ, それらの単語を全て用いて日常的な場面を記述した文を生成するというタスクである。例えば, “dog", “frisbee", “catch", “throw"の 4 単語から “A dog leaps to catch a thrown frisbee.” といった文を生成することが正解となる. 生成タスクはより直接的に計算機の推論能力を見ることができる一方で，確立された自動評価指標がなく, 性能を比較しづらいという問題がある。また, 自動評価の信頼性を上げるために, 各問題で複数の解答例を用意することはしばしば現実的でない. 多肢選択式は出力の候補が制限されるものの, 解答精度をもとに性能を客観的に比較しやすいことは利点であると考えられる。

## 2.2 常識推論能力の改善に向けたアプローチ

常識推論能力の改善に向けたアプローチとして自動生成した訓練データを活用するものがあり，擬似問題を自動生成する我々のアプローチもこれに該当する。例えば, Ye et al. (2019) は, Wikipedia と ConceptNet から自動生成した 1,600万問規模の多肢選択式穴埋め問題に対して追加の事前学習を行った. ConceptNet を必要とするものの, 語句レベルの常識推論タスク （CommonsenseQA および WSC）における解答精度の向上が報告されている. Staliūnaitè et al. (2021) は， ウェブテキストから談話標識を手がかりに因果関係を持つ節の組を抽出し，負例を
言語モデルから生成することで, COPA および Balanced COPA (Kavumba et al. 2019) に対するデータ拡張を行った. 日常的な因果関係を推論する能力の改善に焦点を当てており, 関連夕スクへの効果は検証していない.

その他のアプローチとして, 常識推論に向けた既存の言語資源から知識を転移するものがある. 例えば，前述の Social IQA および WinoGrande を中間タスクとして解くことで，COPA および WSC に対する解答精度の向上が報告されている (Sap et al. 2019b; Sakaguchi et al. 2020). また, CosmosQA (Huang et al. 2019) や HellaSwag (Zellers et al. 2019) といった複雑な常識推論を要するデータセットは転移元のタスクとして効果的であることが, Pruksachatkun et al. (2020)によって実験的に示されている. Lourie et al. (2021)は, マルチタスク学習によって常識推論に関する言語資源間の相互作用を検証し, 複数の常識推論データセットを学習する効果を示した，本研究では，基本的な蓋然的関係を推論する能力に焦点を当て, これに関する知識の転移可能性を日本語で検証する.

## 3 提案手法

常識推論問題は図 1 に示すように文脈と 4 つの選択肢から成り, 文脈の後に続く文として最も適切なものを選ぶタスクである。人間はこのような基本的な蓋然的関係の推論を文章読解や対話といった日常の様々な場面で行っており, 自然言語理解において重要な推論能力を問う. これらの問題は常識としての知識の一般性を担保するために, 基本イベントから成り, クラウドソーシングによる確認を経たイベントペアから生成する。また，テキストからの自動抽出をベースとすることで拡張性を担保する。これらを踏まえ, 次の手順で常識推論問題を作成する (図 2).

（1）格フレームから高頻度な述語項構造を「基本イベントの核となる表現（コアイベントと呼ぶ)」として獲得する。

（2）テキストに係り受け解析・談話関係解析を適用し，「蓋然的関係を表す談話標識で接続され，かつコアイベントから成るイベントの組」を自動抽出する.

(3) 抽出されたイベントペアが実際に蓋然的関係があるか否かをクラウドソーシングで確認し，蓋然的基本イベントペアを得る.

（4）ある蓋然的基本イベントペアの前件を文脈，後件を正解選択肢とし，これと中程度に類似するその他のイベントペアの後件を誤り選択肢とすることで，常識推論問題を自動生成する。

以降, 各ステップの詳細について述べる.

蓋然的基本イベントペア常識推論問題

図 2 提案手法の概要図.

## 3.1 コアイベントの獲得

本研究における基本イベントは「テキストから抽出した述語項構造をクラスタリングし, その中の高頻度なもの（コアイベント）を核とする表現」と定義する。述語項構造をクラスタリングした既存の言語資源として格フレーム (Kawahara and Kurohashi 2006; Kawahara et al. 2014) があり，本研究ではこれを利用する.

格フレームデータにおいては，各述語が用法ごとに格フレームを持つ，各格フレームは複数の格を持ち, 各格は格要素となりうる名詞群からなる。 日本語格フレームの例を表 1 左に示す.

本研究では，格フレームから高頻度な述語項構造を抽出し，それらをコアイベントとする。まず，格フレームデータから，能動態の述語を対象に頻度上位 $\alpha$ 件の述語を取得する．取得した各述語に対して，格フレーム，格，格要素をそれぞれ頻度順に見た時に，頻度の累積和がその項目全体の $\beta \% ， \gamma \% ， \delta \%$ 超えるまで取得する．例えば，格フレームはその述語の頻度の $\beta \%$ をカバーするまで取得する。上記の閾値は対象言語に応じて経験的に決定する。

} & \multirow{2}{*}{} & 格フレーム & 格 & 項 \\

表 1 述語「壊す」の格フレーム（左表）と抽出されるコアイベントの例（右表）。表中の数値は，格もしくは格要素の頻度を表す。

日本語格フレームから獲得したコアイベントの例を表 1 右に示す. 例えば，表 1 左において，述語「壊す」の1番目の格フレームは「お腹」もしくは「体」をヲ格の項に取るものが用例の過半数を占めており， $\delta$ を 50 に設定すると「お腹を壊す」と「体を壊す」がコアイベントとして獲得される. 日本語におけるパラメータ $\alpha, \beta, \gamma, \delta$ の詳細な値は 4 節で述べる.

## 3.2 蓋然的基本イベントペアの自動抽出

まず，テキストに係り受け解析と談話関係解析を適用し，蓋然的関係を表す談話標識で接続されるイベントペアを抽出する。イベントは単一の事態を表す単位であり，修飾要素を含む述語項構造に相当する (齋藤他 2018)．また，蓋然的関係は「原因・理由」または「条件」の談話関係とし, これは Penn Discourse Treebank (Prasad et al. 2008, 2019)における談話関係 “CONTINGENCY:Cause”または “CONTINGENCY:Condition”に相当する.

続いて, 解析結果から信頼性の高い部分を選択し, 常識的な内容を表すイベントペアに絞るため，以下の 2 つの条件を共に満たすイベントペアを選択する。本研究では，原因・理由などを表す 1 つ目のイベントを「前件」，結果などを表す 2 つ目のイベントを「後件」と呼ぶ.

Reliable 前件が後件に曖昧性なく係る.
- 1 文中にイベントが 2 つしかない場合, 係り受けの曖昧性は無い.
- 1 文中にイベントが 3 つ以上ある場合，対象言語に合わせた基準を設け，それに従って係り受けの曖昧性が無い部分を抽出する. 日本語における基準は 4.2 節で述べる.

Basic 前件および後件が共に基本イベントである.
- 基本的には前件・後件がコアイベントを包含するか否かを調べるが, 後件の項は代名詞化もしくは省略される可能性が高いため, 後件が明示された項をもたない場合は前件から項を補完してコアイベントの包含関係を調べる.
例えば，イベントペア「台風でガラスが割れる $\rightarrow$ 取り替える」の場合，後件「取り替える」に対して，前件に含まれる項「台風」もしくは「ガラス」を取るコアイベントの有無を調べる。日本語格フレームからはコアイベント「ガラスを取り替える」が獲得されるため，このぺアは Basic 条件を満たすことになる。最後に，次のステップのクラウドソーシングによる確認に向けて，次の後処理を行う．
- 事態性の弱いもの, ウェブ特有の定型表現を含むものを除くため, 抽出されたイベントペアに含まれるコアイベントの頻度を数え，高頻度のコアイベント4を含むイベントペアを除く。

・ 指示代名詞・未知語を含むイベントペアを除く.

・同じ述語項構造の組から成るイベントペアは 1 つを残して重複を除く.

## 3.3 クラウドソーシングによる確認

自動抽出された蓋然的基本イベントペアから，クラウドソーシングを利用して蓋然的関係があるものを選択する。クラウドワーカーは，各イベントペアに対して次の 2 択から評価を選択する.

(1) A は B の原因・理由である

(2) その他の関係，もしくは関係がない

ここでは前件を $\mathrm{A}$ ，後件を B と表現する，Aと B を接続した文の自然さではなく，A と B の間の蓋然的関係を評価してもらうために，談話標識は省略して提示する，各イベントペアを複数人のクラウドワーカーが評価し, 過半数以上が「A は B の原因・理由である」と評価したイベントペアを蓋然的基本イベントペアとして採用する.

## 3.4 常識推論問題の自動生成

蓋然的基本イベントペアから常識推論問題を自動生成する．各問題は，蓋然的基本イベントペアを 1 つ選び（ベースと呼ぶ），その前件を文脈，後件を正解選択肢とする。誤り選択肢は, ベースと中程度に類似する 5 その他のイベントペアの後件から自動的に選択する。正解選択肢と中程度に類似する誤り選択肢を獲得するため，次の条件で選択を行う。

- 後件と正解選択肢の間の類似度は, 文のベクトル表現間のコサイン類似度で測る.
- 文のベクトル表現は, 文に含まれる自立語の単語べクトルの平均とする.


Context Similarity 後件と組を成す前件と文脈の間の類似度が RANGE $_{\text {context }}$ の範囲にある.
- 前件と文脈の類似度は条件 Choice Similarity と同様に計算する。

また, 問題の体裁を整えるため, 正解選択肢に対して単語数の比が $\mathrm{RANGE}_{\text {length }}$ の範囲にある後件に限定する ${ }^{6}$.

誤り選択肢の候補が 3 件以上得られた場合，無作為に 3 件選択することで問題を生成する.誤り選択肢の候補が 3 件以上得られなかった場合，問題を生成しない.

## 4 日本語常識推論データセットの構築

3 節の手法に従って, 日本語を対象に常識推論データセットを構築した.

## 4.1 コアイベントの獲得

コアイベントは，日本語 100 億文を含むウェブコーパスから自動構築された京都大学格フレー $\Delta^{7}$ から獲得した，頻度に関する閥値 $\alpha, \beta, \gamma, \delta$ は，それぞれ $5,000,75,50,50$ に設定した。

この結果, 28,642 個の格フレームから約 1,400 万件のコアイベントを獲得した 8.

コアイベントの例は表 1 右に示している.

## 4.2 蓋然的基本イベントペアの自動抽出

まず，日本語 7.1 億文を含むウェブコーパスから蓋然的関係を持つイベントペアを自動抽出した. 2006 年から 2015 年までクローリングして構築された内製のコーパスの一部を用いている. 抽出には日本語解析器 KNP $^{9}$ (Kurohashi and Nagao 1994) と EventGraph ${ }^{10}$ (齋藤他 2018) を用いた．KNPは係り受け解析と談話標識に基づく節間の明示的な談話関係の解析を行うツー ルであり，EventGraphは KNP の解析結果をイベント単位に整形するツールである．KNP および EventGraph をテキストに適用した結果，約 8,500 万組の蓋然的関係を持つイベントペアを自動抽出した。

次に，係り受けの曖昧性がない基本イベントペアに絞るため, Reliable 条件と Basic 条件を満たすイベントペアを選択した。日本語における Reliable 条件は「文中の末尾 2 節である」と設定した。これは，日本語では基本的に語が左から右に係るため，末尾 2 節の間に係り受けの曖昧性がないためである.

最後に後処理を行い，164,910 組の蓋然的基本イベントペアを抽出した. 表 2 に詳細な統計を


表 2 イベントペアの抽出に関する統計．例えば，項目“+Reliable”の数値は Reliable 条件を満たす蓋然的イベントペアの数を表す.

示す.

Basic 条件の予備調査 Basic 条件による効果を調査するため，表 2 の“+Reliable”および “+Reliable+Basic”に相当するイベントペア集合から無作為に 100 組ずつ抽出し，常識的な内容を表すか否かを著者らが人手で評価した。便宜上，抽出されたイベントペアをそれぞれ “R”および “RB”と表現する。人手評価の結果, “R”は 47 組, “RB”は 76 組が常識的であると評価された。“R”に含まれるイベントペアで，Basic 条件によって除かれるものを次に例示する。

(2)魔力カウンターの乗っていない「魔法都市エンディミオン」に対してサイクロンを発動すると,$\rightarrow$ 破壊できる

(3) すると， $\rightarrow$ 泣きやすい

Basic 条件によって，限定的なドメインでのみ用いられる表現や必須補語が欠けた表現を含むイベントペアが除かれている。この点で，Basic 条件は常識的な内容を表すイベントペアを抽出するのに効果的であると考えられる.

## 4.3 クラウドソーシングによる確認

自動抽出された蓋然的基本イベントペアから，クラウドソーシングを利用して蓋然的関係があるものを選択した. クラウドソーシングサービスは Yahoo!クラウドソーシング11を利用した. クラウドワーカーは 1 タスクあたり 17 組のイベントペアが提示され，それぞれ 3.3 節で述べた 2 択から評価を選択する（図 3). 17 組の内 2 組は注意力を測るためのダミーの設問であり，このイベントペアの評価を間違えたクラウドワーカーの回答は除外される。イベントペア 1 組あたり 4 人のクラウドワーカーが評価し, 過半数以上が「AはB の原因・理由である」と評価したものを蓋然的基本イベントペアとして採用した。

出来事や状態を表す2つの文A・Bを提示します。 AとBの間の関係について以下の選択肢から選んでください。

A. コーヒーを飲む

B. 眠気が覚める

AはBの原因・理由である

その他の関係、もしくは関係が無い

## 磪定して次へ

図 3 イベントペアの蓋然的関係を評価するクラウドソーシングのタスク画面のスクリーンショット.

クラウドソーシングの結果, 164,910 組から 104,266 組の蓋然的基本イベントペアを獲得した. クラウドソーシングによって約 $1 / 3$ のイベントペアが除かれているが, これは Basic 条件の予備実験結果に沿っている。クラウドソーシングにかかった費用は合計 48.4 万円であり， 1 問あたりの作問コストに換算すると 4.7 円であった.

## 4.4 常識推論問題の自動生成

最後に，蓋然的基本イベントペアから常識推論問題を生成した。条件 Choice-Similarityに

り高く設定している。選択肢をべクトル表現に変換する際は，日本語ウェブコーパスから学習した word2vec モデル12を用いた。また，自立語は形態素解析器 Juman++ (Morita et al. 2015; Tolmachev et al. 2018)の辞書に含まれる動詞, 形容詞, 名詞とした. これらのパラメータによって得られる誤り選択肢の候補数の平均値は 3,459, 中央值は 1,355 であった.

この結果，蓋然的基本イベントペア 104,266 組から常識推論問題を 103,907 問生成した. 作問結果の例は, 図 5 および図 6 に計算機による解答結果と共に示している.

人間の解答精度の調査人間の解答精度を調査するため, 生成した常識推論問題から無作為にサンプリングし，クラウドソーシングを利用して解答を収集した。具体的には， 500 問から成る問題セットを 3 セット用意し，各セットに対して異なる時間帯にクラウドソーシングを行うことで，多様なクラウドワーカーの解答を収集した．また，各問題に対して 5 人のクラウドワー


カーから解答を収集した。この結果，クラウドワーカーの平均正解率は $83.8 \%$, 多数決で集約した解答の正解率は $88.9 \%$ であった。 以降，多数決で集約した解答の正解率を人間の性能とみなす.

## 4.5 常識推論データセットの構築

計算機による解答実験に向けて, 生成した問題を $8: 1: 1$ に分割し, それぞれ訓練デー夕, 開発データ，テストデータとした. リークを抑えるため，訓練データの各問題のベースに含まれるコアイベントの組とテスト（開発）データの各問題のベースに含まれるコアイベントの組の間に重複がないように分割を行った ${ }^{13}$. 構築した常識推論データセットの統計を表 3 に示す.

## 4.6 既存の常識推論データセットとの比較

既存の常識推論データセットにあまり含まれていない知識が構築したデータセットに含まれていることを確認する。本研究では, 比較対象としてSWAG (Zellers et al. 2018) および Social IQA (Sap et al. 2019b)を選択した.いずれも同規模かつ句間・節間の蓋然的関係を対象とし,構築したデータセットとの関連性が高いと考えられるためである.

2.1 節で述べたとおり，SWAGは動画キャプションをべースとするため, 手続き的な知識が主な対象であり，文脈から誘発される状態や感情などの知識14はあまり含まれていないことが推測される。これを確認するために，全訓練事例のうち正解選択肢に形容詞句を含む事例の割

Social IQA は与えられた文脈と質問文に対する答えを 3 択から選ぶ問題 3.8 万問から成るデー タセットである. ATOMIC (Sap et al. 2019a)をべースとするため，イベントとそれに関する精神状態（意図，感情など）の間の関係知識も対象としている。一方で，ATOMIC は基本形のイベント間の関係知識が大半を占めるため, 否定条件の知識16に乏しいことが推測される。これを確認するために，全訓練事例のうち正解選択肢に否定表現を含む事例の割合を調査した。こ

表 3 構築した常識推論データセットの統計. 表中の数値は問題数を表す.

コアイベントの組を含む。この問題が訓練デー夕に含まれる場合，「お腹が空いたから，駅でご飯を食べる」のような同じコアイベントの組を含むイベントペアをべースとする問題はテスト（開発）デー夕に含まれないことを表す. 14 「友達と遊ぶ $\rightarrow$ とても楽しい」などが例として挙げられる.

15 英語の句構造解析には Stanza (Qi et al. 2020) を使用した.

16 「すごく眠い $\rightarrow$ やる気が出ない」などが例として挙げられる.
}

の結果, Social IQA は $1.6 \%^{17}$, 構築したデータセットは $11.3 \%$ であった. 以上の結果から, 構築したデータセットは句の品詞や否定のモダリティを限定しない点でより広範な知識を含んでいると考えられる。

## 5 疑似問題の自動生成

提案手法において，ステップ3のクラウドソーシングを省略することで疑似問題の自動生成が可能となる (図 2 赤点線). 本研究では, これを利用して擬似問題を大規模に自動生成し, このデータ拡張による常識推論タスクおよび関連タスクへの効果を検証した. コアイベント獲得時の頻度に関する閾値や誤り選択肢の抽出条件など, 手法のパラメータは常識推論データセットの構築時（4 節）と同じ値に設定した.

## 5.1 疑似問題の生成元となる蓋然的基本イベントペアの自動抽出

3 節の手法に従って, 疑似問題の生成元となる蓋然的基本イベントペアの自動抽出を行った.抽出元のテキストには日本語 33 億文から成るウェブコーパスを利用した. 4.2 節と同じ内製のコーパスの一部を用いているが, 常識推論データセットの構築時に用いた部分との重複はない. この結果, 83.2 万組の蓋然的基本イベントペアが自動抽出された. クラウドソーシングによる確認で約 $1 / 3$ のイベントペアが除かれたことを考慮すると, 約 50 万組のイベントペアは有効であることが期待される。

## 5.2 リークへの対処

提案手法に従って大規模テキストから疑似問題を生成する際の懸念として, Data Contamination の問題がある (Brown et al. 2020). テキスト中に評価データと同じもしくは酷似した文が含まれているために意図せず教師信号を学習し, 性能が過大評価されてしまうというものである.

本研究では, 常識推論データセットのテスト（開発）デー夕に含まれる各問題のべースと酷似するイベントペアをヒューリスティックにもとづいて事前に除去することで，この問題に対処する，具体的には，単語の並びおよびコアイベントの組にもとづくフィルタリングを適用する。単語の並びにもとづくフィルタリングベースと重複する単語の並びの長さが, ベースの単語

数の $75 \%$ 超えるものを除く.

コアイベントの組にもとづくフィルタリングベースに含まれるコアイベントの組と同じコアイベントの組を含むイベントペアを除く.

例えば，図 1 の問題のベースは「お腹が空いたので $\rightarrow$ ご飯を食べる」であり，「お腹が空く $\rightarrow$ ご飯を食べる」というコアイベントの組を含む。これに対し，イベントペア「お腹が空いたから $\rightarrow$ 友達とご飯を食べる」が上記のフィルタリングによって除かれるか否かを考える.これらのイベントペアの間で $\{$ お腹,が, 空いた, ご飯, を, 食べる $\}$ という 6 単語の並びが重複し, この長さはベースの単語数 (7) の $75 \%$ を超える。また, 同じコアイベントの組を含むため, 両方のフィルタリングによって除かれる.

1 点目のフィルタリングは構文的に似ているイベントペアを, 2 点目は内容が似ているイベントペアを除く目的で適用する。上記のフィルタリングを適用した結果, 77.4 万組の蓋然的基本イベントペアが獲得された。これらのイベントペアから疑似問題を自動生成した結果, 77.2 万問が生成された。

疑似問題の品質の予備調査疑似問題の品質を調査するため, 生成された疑似問題から 100 問を無作為にサンプリングし，解答可能であるか否かを著者らが人手で評価した。この結果, 100 問中 71 問が解答可能であると判断された. 自動生成データであることを考慮すると妥当な品質であると考えられる。

## 6 計算機による解答実験

まず，構築した常識推論データセットに対する計算機の性能を検証するため，計算機による解答実験を行った．また，疑似問題による常識推論タスクへの効果を検証した，便宜上，常識推論データセットの訓練データを常識推論問題と呼び, 疑似問題と区別する.

## 6.1 モデル

本研究では, BERT モデル (Devlin et al. 2019) およびXLM-RoBERTa (XLM-R) モデル (Conneau et al. 2020)の性能を検証した. いずれも Transformer (Vaswani et al. 2017) をべースとした深層学習モデルである.

BERT の事前学習モデルは, 日本語 Wikipedia で事前学習した NICT BERT 日本語 Pre-trained モデル（BPEあり)18を用いた. モデルのアーキテクチャは BERT $\mathrm{BASE}_{\mathrm{BE}}$ と同等であり, RoBERTa (Liu et al. 2019)の訓練設定を一部参照しているために比較的性能が高いことが報告されている.

XLM-R の事前学習モデルは, Wikipedia および CC-100 (Wenzek et al. 2020) から成る大規模多言語コーパスで事前学習したXLM-RoBERTaLARGE モデル19を用いた. モデルのアーキテク

較的大きい.


## 6.2 実験設定

常識推論問題および疑似問題で fine-tuning する際は, ソフトマックス関数で正規化した各選択肢のスコアと, 正解を 1 とする one-hot ベクトルとの間の交差エントロピー誤差を最小化するように訓練する，各選択肢のスコアは，文脈と選択肢のペアを特殊トークンで区切って入力し，先頭の特殊トークン ([CLS]) の隠れ状態をスカラーに線形変換することで算出する。擬似問題を訓練に組み込む際は，目的関数 Lを常識推論問題の交差エントロピー誤差と擬似問題の交差エントロピー誤差の重み付き和で定義する。上記は次の式で表される.

$
\begin{aligned}
H & =-\frac{1}{N} \sum_{k} \log \frac{\exp \left(\mathbf{s}_{k j}\right)}{\sum_{i=1}^{4} \exp \left(\mathbf{s}_{k i}\right)} \\
L & =H_{\text {常識推論問題 }}+\lambda \times H_{\text {疑似問題 }}
\end{aligned}
$

$N$ は訓練事例数, $j \in\{1,2,3,4\}$ は正解選択肢のインデックス, $\mathbf{s}_{k i}$ は $k$ 番目の訓練データの $i$ 番目の選択肢のスコア，入は常識推論問題に対する疑似問題の重みを表す。ハイパーパラメータの詳細は付録 A に示している。

推論時は最もスコアの高い選択肢を計算機による解答とみなす.モデルの性能はその正解率で評価した。

比較手法多肢選択式という形式の効果を検証するため, Task-Adaptive Pre-Training (Gururangan et al. 2020) を参考にした事前学習手法と比較した。具体的には，疑似問題の生成元となった 88 万組のイベントペアに対して追加の Masked Language Modeling (MLM) タスクを実行し, その後目的のデータセットで fine-tuning した時のモデルの性能を調査した. 便宜上, これを“AMLM”と表記する。

## 6.3 実験結果

計算機による解答実験の結果を表 4 に示す 20 。常識推論問題だけでは人間の解答精度との間に開きがあり，疑似問題によって BERT は 5.4 ポイント，XLM-R は 2.8 ポイントの改善が見られる。

図 4 は開発データに対するモデルの学習曲線を表す。図中の×印は疑似問題を加えて finetuning した際の正解率を表すが，最小二乗法で外挿された学習曲線の下に位置している。疑似問題は性能の向上に寄与する一方で, 常識推論問題に対する疑似問題の品質の差やモデルの解答精度が飽和していることが見て取れる。


表 4 構築した常識推論データセットのテストデータに対する正解率. 表中の数値は異なる 3 つのシー ド値で fine-tuning した結果の平均と標準偏差である。また, 矢印 $(\rightarrow)$ は多段階の fine-tuning であることを表す。例えば，“AMLM $\rightarrow$ 常識推論問題”は疑似問題の生成元となった 88 万組のイベントペアに対して追加の Masked Language Modeling タスクを実行し，その後，常識推論問題で fine-tuning することを表す.

図 4 構築した常識推論データセットの開発データに対するモデルの学習曲線. XLM-R は訓練事例数が少ない時 $\left(N \in\left.\{10^{3}, 3 \times 10^{3}\right.\}\right)$ に学習が進まなかったため, それらの結果については省略した上で学習曲線を算出している.

## 6.4 定性的分析

計算機の解答結果について定性的分析を行った，図 5 に BERT の正答例と誤答例を示す。誤答例について顕著な傾向は見られなかったが, 文脈と選択肢の間に自立語の重複がある場合にスコアを高く出力する傾向が見られた.

また，図 6 に疑似問題によって BERT が正答するようになった問題例を示す.これらの基本的な蓋然的関係を問う問題に正答するようになったほか，全ての選択肢に低いスコアを付けて消去法的に誤り選択肢を選んでいた問題に対する改善も見られた。疑似問題によって常識推論問題のカバレッジ不足が補われ，予測の確信度が向上したと考えられる。

## 6.5 選択肢のバイアスの検証

意図しないバイアスがデータセットに含まれているために，問題文の一部を与えるだけで問題が解けてしまうという報告がある (Gururangan et al. 2018; Zellers et al. 2019; Tamborrino et al. 2020). 本研究では, 文脈を省略し, 選択肢のみを入力として与えて訓練・評価した時の

 &  \\

図 5 BERT の正答例と誤答例。 $\checkmark$ 印は正解選択肢であり，×印は BERT の誤答選択肢である。また,文末の数字は BERT が出力したスコア $(\in[-15,15])$ を表す.

図 6 疑似問題によって BERT が正答するようになった問題例。、印は正解選択肢であり，×印は訓練時に疑似問題を使用しなかった際の誤答選択肢である.

図 7 構築した常識推論データセットにおける誤り選択肢の頻度の計数結果.

正解率を測ることで，生成した常識推論問題に含まれるバイアスの有無を検証した．検証にあたり，モデルおよびハイパーパラメータは 6.1 節および付録 A と同じものを用いた.

文脈を省略し，選択肢のみを入力として与えた時の計算機の正解率は, BERTが $42.6 \%$, XLM-R が $41.3 \%$ であった，文脈を省略しない場合と比較して十分低い精度であり，選択肢のバイアスが小さいことを示している.

一方で，チャンスレート $(25 \%)$ と比較すると開きがあり，この原因を検証するために誤り選択肢の分布を調査した。図 7 は各蓋然的基本イベントペアの後件が誤り選択肢として使い回される頻度を計数した結果を表すが，誤り選択肢の頻度に差があることが分かる。そこで，後件が誤り選択肢として 5 回以上使い回されないように問題を生成し, そこから 4.5 節に従って構築したデータセットに対して計算機の正解率を同様に検証した. この結果，BERT の正解率が $33.5 \%$, XLM-R の正解率が $33.2 \%$ であった，以上の結果から，誤り選択肢として使い回される頻度が高いために誤りだと識別しやすいものが存在し, これによって解答精度がチャンスレー トより高くなっていると考えられる。

## 6.6 クラウドソーシングによるフィルタリングの検証

4.3 節で述べたとおり, 本研究ではデータセット構築時にクラウドソーシングによるフィルタリングの閥値を 4 人中 2 人以上と設定している。これは，評価が割れたイベントペアもしばしば蓋然的関係があることを予備実験で確認し，再現率を重視したためである。この閥値によるデータセットへの影響を検証するために，閥値を 3 人以上および 4 人以上に設定して構築したデータセットに対する計算機の正解率を調査した。検証にあたり，モデルおよびハイパーパラ

表 5 クラウドソーシングによるフィルタリングの間値を変えて構築した常識推論データセットの統計 （左表）とこれらのデータセットのテストデータに対する正解率（右表). 左表中の数値は問題数,右表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である.

メータは 6.1 節および付録 $\mathrm{A}$ と同じものを用いた.

閾値を変えて構築したデータセットの統計およびこれらのデータセットに対する計算機の正解率を表 5 に示す。閾値を厳しくすると，訓練事例数は減少するものの計算機の正答率は低下しないことが見て取れる。この原因として，訓練データの質が向上すると同時に，評価デー夕に含まれる悩ましい問題が減ることが挙げられる。また，評価データの規模が小さくなることで問われる知識のカバレッジが低下している可能性もある。問題の難易度や多様さをある程度保証する目的で間値を 2 人以上に設定することは妥当であると考えられる.

## 7 蓋然的関係に関する知識の転移学習

蓋然的関係に関する知識の転移可能性を検証するため，常識推論問題および擬似問題からの転移学習による関連タスクへの効果を定量的に評価した。具体的には，常識推論問題および擬似問題で fine-tuning したモデルの重みを初期値として関連タスクでさらに fine-tuning を行い，関連タスクにおける性能を評価した。本研究では，計算機と人間の間に性能の開きがあるタスクの中から蓋然的関係または常識推論との関連性を考慮して, 関連タスクとして談話関係解析，日本語 Winograd Schema Challenge (JWSC) (柴田他 2015), JCommonsenseQA (JCQA) (Kurihara et al. 2022) を選択した. モデルは 6.1 節と同様で，ハイパーパラメータは付録 $\mathrm{A}$ に記載した.

## 7.1 関連タスク

談話関係解析談話関係解析は節間の談話関係を分類するタスクである。本研究が対象とする蓋然的関係に加えて，「目的」や「譲歩」といった多様な談話関係の理解が要求される． $3.2,4.2$節で述べたとおり，常識推論問題および擬似問題は KNP によって「原因・理由」または「条件」の談話関係があると自動解析されたイベントペアをべースとするため，転移学習によって

これらの談話関係を中心に解析精度の改善が期待される。

談話関係解析に向けた日本語のデータセットとして，京都大学ウェブ文書リードコーパス (KWDLC) (岸本他 2020) がある. KWDLC は多様なウェブ文書の冒頭 3 文を収集することで構築されており，その規模は 6,445 文書から成る。これらの文書には，クラウドソーシングを用いて節間に談話関係が注釈付けされている。また,これらの内 500 文書には専門家による注釈も付与されている。本研究では, クラウドワーカーによる注釈のみが付与された節ぺア約 3.7 万組を訓練データに用い，専門家による注釈が付与された節ぺア 2,320 組の分類精度を 5 分割交差検証で評価した。夕スクは「談話関係なし」を含む談話関係の 7 值分類であり，モデルの性能は「談話関係なし」を除いた micro-F で評価した。

JWSC WSC は文中の照応詞が指示する先行詞を 2 つ候補から選択するタスクである (Levesque 2011). タスクそのものは共参照解析であるが，解答に常識推論を要するように問題が設計されている. JWSC ${ }^{21}$ は Rahman and Ng (2012) が作成したWSC を翻訳することで構築されている. 問題例を次に示す.

ライオンはシマウマを食べる。それ（ライオン/シマウマ）は捕食動物だからだ。

この例をはじめとして，JWSC は蓋然的関係を間接的に問う問題が多数含まれる。このため,転移学習によってこのような問題に対する正解率の改善が期待される.

3.2 節の後処理によって問題の生成元となるイベントペアは指示代名詞を含まないため, 常識推論問題および擬似問題を中間タスクとして学習すると照応詞に関する知識が忘却され，JWSC に対する性能が悪化する懸念がある。そこで，文中の照応詞を先行詞の候補の 1 つで置換することでタスクを 2 択問題に変換し, 訓練データ 2,644 文とテストデータ 1,128 文から成るデータセットを生成した。開発デー夕は用意されていないため，訓練データを $8: 2$ に分割することで 5 分割交差検証を行い，モデルの性能を正解率および Area Under the ROC Curve (AUC) で評価した。

JCQA JCQA は CommonsenseQA の日本語版であり，基本的な語句に関する知識を問う 5 択問題約 1.1 万問から成る。問題は ConceptNet から抽出した部分グラフをべースにクラウドソー シングを用いて人手で作成されている（2.1 節を参照）。常識推論問題および擬似問題は基本イベントから成るため, これらを通して基本的な語句の共起関係を事前に学習することで, JCQA に対する正解率の改善が期待される.

タスクは常識推論問題と同じ多肢選択式であるため, 6.2 節と同様に fine-tuning を行った.モデルの性能は正解率で評価した。
^{21}$ https://github.com/ku-nlp/Winograd-Schema-Challenge-Ja
}

## 7.2 実験結果

各関連タスクへの転移学習の実験結果および AMLM との比較について述べる.

談話関係解析表 6 に談話関係解析の実験結果を示す。常識推論問題および疑似問題を中間夕スクとして解くことで，談話関係解析に有効であることが分かる.

談話関係解析の談話関係ごとの性能を表 7 に示す。常識推論問題および疑似問題から転移学習したモデルは「原因・理由」や「目的」の談話関係において改善が見られる。一方で，「条件」 の談話関係においては改善が見られなかった。また，クラウドワーカーと比較すると，「譲歩」

表 6 談話関係解析の実験結果. 評価指標は「談話関係なし」を除いた micro-F で，表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である。また，表 4 と同様に矢印 $(\rightarrow)$ は多段階の fine-tuning であることを表す。なお，AMLM は KWDLC の訓練データではなく擬似問題の生成元となった 88 万組のイベントペアに対して行っている（6.2 節「比較手法」の段落を参照).人間の性能は，専門家とクラウドワーカーの両者による注釈が付与された文書に対して，専門家による注釈を正解，クラウドワーカーによる注釈を予測として算出されている.

} & KWDLC & $76 / 138$ & $32 / 43$ & $18 / 37$ & $0 / 6$ & $2 / 19$ & $54 / 84$ & 46.7 \\

表 7 談話関係解析の談話関係ごとの性能. 表中の左側の数字は対応する談話関係の真陽性の数を，右側の数字は真陽性の数と偽陽性の数の和を表す.

や低頻度の談話関係の適合率に改善の余地がある.

JWSC 表 8 にJWSC のテストデータに対する実験結果を示す。“JWSC”の設定において，一部訓練時に学習が進まない現象 (degenerate run) (Phang et al. 2018; Pruksachatkun et al. 2020) が観測された. この現象は訓練データが小規模である場合によく観測され, 中間タスク転移学習によって軽減できることが報告されているが, 本研究でも同様の結果が確認された.

転移学習による効果については，特に BERTにおいて常識推論問題による性能の向上が見られるが，疑似問題の寄与は小さい。JWSC は蓋然的関係だけでなく「譲歩」の談話関係に関する問題 22 も無視できない程度に含まれるため, 蓋然的関係に関する知識を重点的に学習することはかえって性能を低下させてしまうと考えられる．多様な談話関係を学習することが改善案として挙げられる。

JCommonsenseQA 表 9 に JCQAの開発データに対する実験結果を示す. XLM-Rにおいて，転移学習による正解率の改善が見られる. JCQA は CC-100 で事前学習したモデルの性能が良いことが報告されており (Kurihara et al. 2022), ウェブドメインに適応することが改善に繋がるとみなされている。このため, 構築した問題と JCQA のドメインが合っており, 基本イベントを通して基本的な語句の共起関係を学習する効果が表れたと考えられる。ただし，BERTにおける正解率の改善幅は小さいため, 構築した問題は Wikipediaのみで事前学習したモデル (BERT) をウェブドメインに適応させるには規模が小さく, CC-100で事前学習したモデル (XLM-R)の補助データとして効果的であると推測される。

 &  \\

表 8 JWSC のテストデータに対する実験結果．表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である。†は degenerate run が観測されたことを表す. 参考のため, degenerate run を除いた性能を丸括弧内に記載している。

22 「ジェームズはロバートに頼みごとをした。しかし、彼（ジェームズ/ロバート）は断った。」が例として挙げられる.

 \\

表 $9 \mathrm{JCQA}$ の開発データに対する実験結果．表中の数値は異なる 3 つのシード値で fine-tuning した結果の平均と標準偏差である，参考のため，元論文で報告された性能を丸括弧内に記載している。

AMLM疑似問題の生成元となった 88 万組のイベントペアに対して追加の MLM タスクを実行すると, 常識推論タスクでは改善が見られるが, 関連タスクへの転移学習は概して性能が悪化することが分かる ${ }^{23}$. AMLM では常識推論タスクにのみ有効（特化）した知識を学習していると考えられる。

## 8 おわりに

本研究では，基本イベントに基づく常識推論データセットの構築手法を提案した．各問題は基本的なイベント表現間の蓋然的関係を問う多肢選択式問題である。提案手法を 7.1 億文から成る日本語ウェブコーパスに適用し，常識推論問題 10.4 万問を含む常識推論データセットを構築した。構築したデータセットを用いて高性能な汎用言語モデルの性能を検証した結果，人間の性能との間に開きがあることを確認した。

また，提案手法がテキストからの自動抽出をべースとしていることを利用して大規模な疑似問題を自動生成し，これを訓練時に組み込むことによる常識推論タスクおよび関連タスク（談話関係解析，JWSC，JCommonsenseQA）への効果を検証した．実験の結果，蓋然的関係を広範に学習することで，常識推論タスクおよび関連タスクにおいて一定の効果があることを確認


した. これは, 蓋然的関係を推論する能力が自然言語理解において重要であることを改めて示唆している.

今後の課題として, データセットの高品質化・高難易度化が挙げられる. 例えば, 提案手法は蓋然的基本イベントペアから常識推論問題を自動生成するため, 生成された問題の解答可能性を保証していない. また，クラウドソーシングによるフィルタリングを適用しても， ウェブテキストにありがちな質の悪い文を完全に除くことはできていない.このため, 構築したデー タセットには解答不能な問題や悪文を含む問題が存在する。これを解決するためには, クラウドソーシングなどの人手で問題を修正・選別することが必要であると考えられる．高難易度化については，選択肢をより紛らわしいものに修正するというアプローチに加えて，選択肢間の序列や推論の理由を問うといったタスクの発展も考えられる。この他にも, 蓋然的関係たけでなく多様な談話関係を学習することによる自然言語理解タスクへの効果の検証や文章読解問題の作問支援といった人間の学習への応用なども検討したい.

本研究の限界として, 提案手法は reporting bias (Gordon and Van Durme 2013), 即ち当たり前のことはわざわざ書かないというテキストの性質のために, 対象とする常識のカバレッジが不十分である可能性が無視できない. この問題に対しては, SWAGで用いられた動画キャプションのような意図的に書き起こされたテキストなどを取り入れることで軽減されると考えられる。

## 謝 辞

本研究は (公財) 日本漢字能力検定協会の支援を受けた。 また, 第一著者は京都大学科学技術イノベーション創出フェローシップ (情報・AI分野) およびJSPS 特別研究員奨励費 JP22J15958 の支援を受けた。

## 参考文献

Bisk, Y., Zellers, R., Le bras, R., Gao, J., and Choi, Y. (2020). "PIQA: Reasoning about Physical Commonsense in Natural Language." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 7432-7439.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., et al. (2020). "Language Models are Few-Shot Learners." In Larochelle, H., Ranzato, M., Hadsell, R., Balcan, M., and Lin, H. (Eds.), Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Represen-
tation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

榎本悠, 嶋田和孝 (2022). 生成的自然言語推論のためのデー夕収集とモデル構築. 信学技報, NLC2021-39, 121 巻, pp. 62-67, ONLINE. [H. Enomoto and K. Shimada (2022). Generating the Next Action from Sequence Event Pairs Automatically Acquired from Twitter. IEICE Tech. Rep.].

Gordon, J. and Van Durme, B. (2013). "Reporting Bias and Knowledge Acquisition." In Proceedings of the 2013 Workshop on Automated Knowledge Base Construction, AKBC '13, pp. 25-30.

Gururangan, S., Marasović, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., and Smith, N. A. (2020). "Don't Stop Pretraining: Adapt Language Models to Domains and Tasks." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8342-8360, Online. Association for Computational Linguistics.

Gururangan, S., Swayamdipta, S., Levy, O., Schwartz, R., Bowman, S., and Smith, N. A. (2018). "Annotation Artifacts in Natural Language Inference Data." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 107-112, New Orleans, Louisiana. Association for Computational Linguistics.

Huang, L., Le Bras, R., Bhagavatula, C., and Choi, Y. (2019). "Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 2391-2401, Hong Kong, China. Association for Computational Linguistics.

Hwang, J. D., Bhagavatula, C., Le Bras, R., Da, J., Sakaguchi, K., Bosselut, A., and Choi, Y. (2021). "COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 6384-6392.

Kavumba, P., Inoue, N., Heinzerling, B., Singh, K., Reisert, P., and Inui, K. (2019). "When

Choosing Plausible Alternatives, Clever Hans can be Clever." In Proceedings of the 1st Workshop on Commonsense Inference in Natural Language Processing, pp. 33-42, Hong Kong, China. Association for Computational Linguistics.

Kawahara, D. and Kurohashi, S. (2006). "Case Frame Compilation from the Web using HighPerformance Computing." In Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC'06), Genoa, Italy. European Language Resources Association (ELRA).

Kawahara, D., Peterson, D., Popescu, O., and Palmer, M. (2014). "Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, pp. 58-67, Gothenburg, Sweden. Association for Computational Linguistics.

岸本裕大, 村脇有吾, 河原大輔, 黒橋禎夫 (2020). 日本語談話関係解析：タスク設計・談話標識の自動認識・コーパスアノテーション. 自然言語処理, 27 (4), pp. 889-931. [Y. Kishimoto et al. (2020). Japanese Discourse Relation Analysis: Task Definition, Connective Detection, and Corpus Annotation. Journal of Natural Language Processing, 27(4), pp. 889-931.].

Kurihara, K., Kawahara, D., and Shibata, T. (2022). "JGLUE: Japanese General Language Understanding Evaluation." In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957-2966, Marseille, France. European Language Resources Association.

Kurohashi, S. and Nagao, M. (1994). "KN Parser: Japanese Dependency/Case Structure Analyzer." In Proceedings of the Workshop on Sharable Natural Language, pp. 48-55.

Levesque, H. (2011). "The Winograd Schema Challenge." In AAAI Spring Symposium - Technical Report.

Lin, B. Y., Zhou, W., Shen, M., Zhou, P., Bhagavatula, C., Choi, Y., and Ren, X. (2020). "CommonGen: A Constrained Text Generation Challenge for Generative Commonsense Reasoning." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1823-1840, Online. Association for Computational Linguistics.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." CoRR, abs/1907.11692.

Lourie, N., Le Bras, R., Bhagavatula, C., and Choi, Y. (2021). "UNICORN on RAINBOW: A Universal Commonsense Reasoning Model on a New Multitask Benchmark." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13480-13488.

Morita, H., Kawahara, D., and Kurohashi, S. (2015). "Morphological Analysis for Unsegmented

Languages using Recurrent Neural Network Language Model." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal. Association for Computational Linguistics.

Mosbach, M., Andriushchenko, M., and Klakow, D. (2021). "On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines." In International Conference on Learning Representations.

Omura, K., Kawahara, D., and Kurohashi, S. (2020). "A Method for Building a Commonsense Inference Dataset based on Basic Events." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2450-2460, Online. Association for Computational Linguistics.

Omura, K. and Kurohashi, S. (2022). "Improving Commonsense Contingent Reasoning by Pseudo-data and its Application to the Related Tasks." In Proceedings of the 29th International Conference on Computational Linguistics, pp. 812-823, Gyeongju, Republic of Korea. International Committee on Computational Linguistics.

Phang, J., Févry, T., and Bowman, S. R. (2018). "Sentence Encoders on STILTs: Supplementary Training on Intermediate Labeled-data Tasks." CoRR, abs/1811.01088.

Prasad, R., Dinesh, N., Lee, A., Miltsakaki, E., Robaldo, L., Joshi, A., and Webber, B. (2008). "The Penn Discourse TreeBank 2.0." In Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC'08), Marrakech, Morocco. European Language Resources Association (ELRA).

Prasad, R., Webber, B., Lee, A., and Joshi, A. "The Penn Discourse TreeBank 3.0." https://catalog.ldc.upenn.edu/LDC2019T05.

Pruksachatkun, Y., Phang, J., Liu, H., Htut, P. M., Zhang, X., Pang, R. Y., Vania, C., Kann, K., and Bowman, S. R. (2020). "Intermediate-Task Transfer Learning with Pretrained Language Models: When and Why Does It Work?" In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5231-5247, Online. Association for Computational Linguistics.

Qi, P., Zhang, Y., Zhang, Y., Bolton, J., and Manning, C. D. (2020). "Stanza: A Python Natural Language Processing Toolkit for Many Human Languages." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 101-108, Online. Association for Computational Linguistics.

Rahman, A. and Ng, V. (2012). "Resolving Complex Cases of Definite Pronouns: The Winograd Schema Challenge." In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pp. 777-789,

Jeju Island, Korea. Association for Computational Linguistics.

Roemmele, M., Bejan, C., and Gordon, A. (2011). "Choice of Plausible Alternatives: An Evaluation of Commonsense Causal Reasoning." In AAAI Spring Symposium - Technical Report.齋藤純, 坂口智洋, 柴田知秀, 河原大輔, 黒橋禎夫 (2018). 述語項構造に基づく言語情報の基本単位のデザインと可視化. 言語処理学会第 24 回年次大会発表論文集, pp. 93-96, 岡山. [J. Saito et al. (2018). Jutsugo Ko Kozo ni Motozuku Gengo Joho no Kihon Tan'i no Dezain to Kashika. Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, pp. 93-96.].

Sakaguchi, K., Le Bras, R., Bhagavatula, C., and Choi, Y. (2020). "WinoGrande: An Adversarial Winograd Schema Challenge at Scale." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8732-8740.

Sap, M., Le Bras, R., Allaway, E., Bhagavatula, C., Lourie, N., Rashkin, H., Roof, B., Smith, N. A., and Choi, Y. (2019a). "ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 3027-3035.

Sap, M., Rashkin, H., Chen, D., Le Bras, R., and Choi, Y. (2019b). "Social IQa: Commonsense Reasoning about Social Interactions." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4463-4473, Hong Kong, China. Association for Computational Linguistics.

柴田知秀, 小浜翔太郎, 黒橋禎夫 (2015). 日本語 Winograd Schema Challenge の構築と分析. 言語処理学会第 21 回年次大会発表論文集, pp. 493-496, 京都. [T. Shibata et al. (2015). Nihon Go Winograd Schema Challenge no Kochiku to Bunseki. Proceedings of the 21th Annual Meeting of the Association for Natural Language Processing, pp. 493-496.].

Speer, R., Chin, J., and Havasi, C. (2017). "ConceptNet 5.5: An Open Multilingual Graph of General Knowledge." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 31, pp. 4444-4451.

Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., Abid, A., Fisch, A., Brown, A. R., Santoro, A., Gupta, A., Garriga-Alonso, A., et al. (2022). "Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models." CoRR, abs/2206.04615.

Staliūnaite, I., Gorinski, P. J., and Iacobacci, I. (2021). "Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 13834-13842.

鈴木雅人，新納浩幸 (2022). 日本語 CommonGen の試作と入力単語間の関連性からの考察. 情
報処理学会第 253 回自然言語処理研究会, 20 号, pp. 1-8, 京都. [M. Suzuki and H. Shinnou (2022). Nihon Go CommonGen no Shisaku to Nyuryoku Tango Kan no Kanren Sei kara no Kosatsu. Proceedings of the 253th Meeting of Special Interest Group of Natural Language Processing.].

Talmor, A., Herzig, J., Lourie, N., and Berant, J. (2019). "CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4149-4158, Minneapolis, Minnesota. Association for Computational Linguistics.

Tamborrino, A., Pellicanò, N., Pannier, B., Voitot, P., and Naudin, L. (2020). "Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3878-3887, Online. Association for Computational Linguistics.

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc.

Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. (2019a). "SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems." In Advances in Neural Information Processing Systems, Vol. 32, pp. 3266-3280. Curran Associates, Inc.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. R. (2019b). "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding." In International Conference on Learning Representations.

Wenzek, G., Lachaux, M.-A., Conneau, A., Chaudhary, V., Guzmán, F., Joulin, A., and Grave, E. (2020). "CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4003-4012, Marseille, France. European Language Resources Association.

Ye, Z.-X., Chen, Q., Wang, W., and Ling, Z.-H. (2019). "Align, Mask and Select: A Simple Method for Incorporating Commonsense Knowledge into Language Representation Models."

CoRR, abs/1908.06725.

Zellers, R., Bisk, Y., Schwartz, R., and Choi, Y. (2018). "SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 93-104, Brussels, Belgium. Association for Computational Linguistics.

Zellers, R., Holtzman, A., Bisk, Y., Farhadi, A., and Choi, Y. (2019). "HellaSwag: Can a Machine Really Finish Your Sentence?" In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4791-4800, Florence, Italy. Association for Computational Linguistics.

## 付録

## A ハイパーパラメータ

表 10，11，12，13，14に実験で使用したハイパーパラメータの一覧を示す. XLM-R は学習率を低く設定すると学習が安定したため, BERTの学習率より低く設定した. また, 入力の最大系列長はいずれの実験も 128 に設定した.

表 10 常識推論問題および擬似問題の fine-tuning 時に使用したハイパーパラメータ.

表 11 KWDLC の fine-tuning 時に使用したハイパーパラメータ.

表 12 JWSC の fine-tuning 時に使用したハイパーパラメータ。学習を安定させるため, Mosbach et al. (2021)を参考にエポック数を大きく設定している.

表 13 JCQA の fine-tuning 時に使用したハイパーパラメータ.

表 14 AMLM 実行時に使用したハイパーパラメータ。パラメータ值は Gururangan et al. (2020)を参照した.

## 略歴

大村和正：2019 年京都大学工学部電気電子工学科卒業. 2021 年京都大学大学院情報学研究科修士課程修了. 同年京都大学大学院情報科学研究科博士課程に進学，現在に至る。修士（情報学)。自然言語処理の研究に従事。2022 年度より日本学術振興会特別研究員 (DC2)

河原大輔：1997 年京都大学工学部電気工学第二学科卒業. 1999 年同大学院修士課程修了。2002 年同大学院博士課程単位取得認定退学. 東京大学大学院情報理工学系研究科学術研究支援員, 独立行政法人情報通信研究機構主任研究員, 京都大学大学院情報学研究科准教授を経て, 2020 年より早稲田大学基幹理工学部情報通信学科教授. 自然言語処理, 知識処理の研究に従事. 博士 (情報学).

黒橋禎夫：1994 年京都大学大学院工学研究科博士課程修了. 博士 (工学). 2006 年 4 月より京都大学大学院情報学研究科教授. 2023 年 4 月より同特定教授および国立情報学研究所長を併任. 自然言語処理, 知識情報処理の研究に従事. JST さきがけ「社会システムデザイン」研究総括 $(2016 \sim 2022)$, 文部科学官（2020～2022）等を歴任．言語処理学会 10 周年記念論文賞，同 20 周年記念論文賞, 第 8 回船井情報科学振興賞，2009 IBM Faculty Award，文部科学大臣表彰科学技術賞等を受賞.

(2023 年 4 月 27 日受付)

(2023 年 8 月 9 日再受付)

(2023 年 9 月 21 日採録)