\label{section:introduction}計算機による自然言語理解の実現は，自然言語処理における大きな目標のひとつである．この目標に向けて，計算機の言語理解力を訓練・評価する問題設定を考え，そのデータを構築する研究が盛んに行われている\cite{Wang_et_al_2019_GLUE,Wang_et_al_2019_SuperGLUE,Srivastava_et_al_2022}．このような取り組みの中で，計算機による自然言語理解を実現するためには，言語に関する知識（語句の意味，構文など）と言語を超えた実世界に関する知識の両方が必要であると議論されてきた．前者の言語に関する知識は，汎用言語モデルBERT\cite{Devlin_et_al_2019}の登場以降，相当学習できるようになった．大規模テキストから文脈に応じた語のベクトル表現を事前に学習し，下流タスクに合わせてfine-tuningすることで，言い換え認識や構文解析といった基礎的な解析タスクで人間に匹敵する精度が達成されている．一方で，後者の実世界に関する知識の獲得については，まだ課題が残る．実世界に関する知識は無数に存在するため，その基本的な部分，すなわち常識に焦点を当てたデータが盛んに構築されている．そこでは，広範な知識の中から常識を獲得するために，どのように常識に焦点を当てるかが課題となる．これまでに行われた工夫を見ると，例えば，SWAG\cite{Zellers_et_al_2018}は動画キャプションをベースとすることで対象を視覚で捉えられる日常的な出来事に限定している．しかし，これでは扱える常識の範囲が制限される．その他の試みとして，ConceptNet\cite{Speer_et_al_2017}をベースとするCommonsenseQA\cite{Talmor_et_al_2019}がある．ConceptNetがカバーする基本的な語句の間の関係をベースとしているが，ConceptNet全体を用いても1.2万問しか作問できないという拡張性の問題がある．また，作問時に含まれるバイアスをできるだけ排除しなければならないという課題もある．前述の試みについて，例えば，SWAGでは誤り選択肢文を言語モデルで自動生成し，CommonsenseQAでは問題文をクラウドソーシングで作成している．このため，これらのデータセットには言語モデルの生成バイアスやAnnotationArtifacts\footnote{クラウドワーカーの作文に含まれる語彙や文体などのパターンのことを指す．}\cite{Gururangan_et_al_2018}が含まれうる．本研究では，これらの問題を解決するために，人手で構築された言語資源をベースとした作問や人手による作問ではなく生のテキストデータからの作問を試みる．蓋然的関係\footnote{ある程度続けて起こりうる/真である事態間に成立する関係．PennDiscourseTreebank\cite{Prasad_et_al_2008,Prasad_et_al_2019}における談話関係``Contingency''に相当する日本語の用語として定義する．}を持つ基本的なイベント表現の組をテキストから自動抽出し，クラウドソーシングで確認を行い，それをベースに常識推論問題を自動生成するという手法を提案する．基本的なイベント表現（\textbf{基本イベント}と呼ぶ）は「テキストから抽出した述語項構造をクラスタリングし，その中の高頻度なものを核とする表現」と定義する．これをもとに，談話標識を手かがりとして「蓋然的関係を持ち，前件・後件が共に基本イベントである節の組」を自動抽出する．これを\textbf{蓋然的基本イベントペア}と呼ぶ．例えば，蓋然的基本イベントペアは次のようなものである．\ex.\a.お腹が空いたので，ご飯を食べる\b.ご飯を食べたら，すごく眠い\c.眠いので，コーヒーを飲む\d.激しい運動をすると，汗をかくある蓋然的基本イベントペアの前件を文脈，後件を正解選択肢とし，その他のイベントペアの後件を誤り選択肢とすることで，図\ref{figure:example}のような常識推論問題を自動生成することができる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{30-4ia4f1.pdf}\end{center}\caption{常識推論問題の作問例．$\checkmark$印は正解選択肢である．}\label{figure:example}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%提案手法はテキストからの自動抽出をベースとするため，拡張性があり，ドメインを限定しない．クラウドソーシングについても，確認（フィルタリング）を行うだけなので，低コストかつAnnotationArtifactsの問題もない．また，人手で構築された言語資源やクラウドソーシングに強く依存せず，談話標識は様々な言語に普遍的に存在するため，他言語にも比較的適用しやすいと考えられる．本研究では，まず，日本語7億文を含むウェブコーパスに提案手法を適用し，常識推論問題10万問から成るデータセットを構築する．計算機による解答実験を行い，様々なタスクで高い性能を達成している汎用言語モデルでも人間との間に性能の開きがあることを示す．次に，この性能の開きを改善するため，提案手法の拡張性の高さを利用したデータ拡張による常識推論能力の改善に取り組む．具体的には，クラウドソーシングによる確認を省略することで常識推論問題を模した疑似問題を大規模に自動生成し，これを訓練時に組み込むという手法を検証する．最後に，蓋然的関係に関する知識の転移可能性を検証するため，常識推論問題および擬似問題からの転移学習による関連タスクへの効果を定量的に評価する．これらの実験の結果，常識推論問題および擬似問題を通して蓋然的関係を広範に学習することで常識推論タスクおよび関連タスクにおいて一定の効果があることを示す\footnote{構築した常識推論データセットおよび疑似問題は\url{https://nlp.ist.i.kyoto-u.ac.jp/?KUCI}にて公開している．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%