節埋め込みの意味論に動機づけられたプロービング

本稿では、「Transformerに基づく事前学習済み言語モデルは節埋め込みの意味論において重要な情報をエンコードしているか？」という問いに答えるために、節選択性に応じた述語分類と意味タグ付与という2つのタスクを設計し、事前学習済みBERTに対するプロービングを実施した。実験の結果、BERTの出力する埋め込みベクトルを用いた節選択性の予測が一定程度可能であることが明らかになったが、よりミクロな視点からの調査が課題として残っている。