本稿では、「Transformerに基づく事前学習済み言語モデルは節埋め込みの意味論において重要な情報をエンコードしているか？」という問いに答えるために、節選択性に応じた述語分類と意味タグ付与という2つのタスクを設計し、事前学習済みBERTに対するプロービングを実施した。実験の結果、BERTの出力する埋め込みベクトルを用いた節選択性の予測が一定程度可能であることが明らかになったが、よりミクロな視点からの調査が課題として残っている。

本稿では、「Transformerに基づく事前学習済み言語モデルは節埋め込みの意味論において重要な情報をエンコードしているか？」という問いに答えるために、節選択性に応じた述語分類と意味タグ付与という2つのタスクを設計し、事前学習済みBERTに対するプロービングを実施した。節埋め込みの意味論は、英語のknowや日本語の「知る」のように、目的語位置に節を取ることのできる述語を主対象とした形式意味論の領域である。この領域で特によく議論される節タイプとして、that節に代表される平叙節と、wh節に代表される疑問節とがある。節埋め込み述語はそれが取ることのできる節のタイプにより大きく以下の三つに分類される[1]。Responsive平叙節と疑問節の両方（例:know）Anti-rogative平叙節のみ（例:believe）Rogative疑問節のみ（例:wonder）このように、目的語位置に取ることのできる節のタイプが述語によって異なることを本稿では節選択性と呼ぶ。異なる言語の述語であっても意味が類似していれば取りうる節タイプが一致する傾向にある[2,etc.]ことや、節選択制が推論と強く関連する[3,etc.]ことから、節選択性は意味論の問題として盛んに議論されている[4,5,6,etc.]。ニューラルネットワークをはじめとする機械学習モデルが節選択性の知識をエンコードしているならば、節埋め込みの意味論に資する知見あるいは仮説をそのモデルから得られるかもしれない。また、ニューラルネットワークの持つ知識を解明するプロービングについては既に多くの研究がある[7]が、節選択性に関する調査は著者の知る限りで存在しない。本研究はこのような背景から冒頭の問いを立て、一つのケーススタディとして事前学習済みBERTの英語モデルを用いたプロービングを実施した。具体的なタスクとしては、節選択性に応じた述語分類と、節選択性を反映する形に拡張された意味タグ付与という二つを設計した。前者については2節、後者については3節にて、それぞれの実験設定と結果を述べる。