事前学習済み言語モデルによるエンティティの概念化

事前学習済みマスク言語モデルは，事実知識に関する穴埋め問題に正答できるなど，エンティティを含むテキストをある程度うまく処理することができる．果たしてこの挙動は言語モデルがエンティティを人間同様に「知っている」証拠となりうるのだろうか？本研究では，言語モデルがエンティティを概念化できているか，すなわち異なる文脈や表層をもって言及される同一のエンティティを同一の事物として認識できているかどうかについて，その内部表現が十分に密で他と分離されたクラスタを成しているかという視点で検証を行った．BERTを対象とした実験の結果，約7割のエンティティについて，その埋込表現が他の概念と完全に分離したクラスタを形成していること（すなわち内部表現の意味での概念化に成功していること）が確認できた．1）