事前学習済みマスク言語モデルは，事実知識に関する穴埋め問題に正答できるなど，エンティティを含むテキストをある程度うまく処理することができる．果たしてこの挙動は言語モデルがエンティティを人間同様に「知っている」証拠となりうるのだろうか？本研究では，言語モデルがエンティティを概念化できているか，すなわち異なる文脈や表層をもって言及される同一のエンティティを同一の事物として認識できているかどうかについて，その内部表現が十分に密で他と分離されたクラスタを成しているかという視点で検証を行った．BERTを対象とした実験の結果，約7割のエンティティについて，その埋込表現が他の概念と完全に分離したクラスタを形成していること（すなわち内部表現の意味での概念化に成功していること）が確認できた．1）

近年登場した事前学習済みマスク言語モデル[1,2]は，実世界の事物であるエンティティを含むテキストをうまく処理できているように見える．例えばBERT[1]は“HillaryClintonwasbornin[MASK].”という入力に対して，“Chicago”という実世界の事実と整合した出力を返すことができる[3,4]．しかし，このように言語モデルがエンティティを含む個別のテキストをある程度の精度で「処理できる」という事実は，モデルがエンティティを人間同様に「知っている」証拠となりうるのだろうか．本稿では，マスク言語モデルがどの程度エンティティについて「知って」いるかについてある程度明らかにすることを試みる．もしモデルのエンティティに対する理解を正確に把握する手段が手に入れば，モデルの解釈性が上がり，さらに高品質な言語モデル1）ソースコードはhttps://github.com/cl-tohoku/Geo-Ent-in-LMsにて公開している．⼊⼒⽂脈化単語埋め込みからエンティティの概念化を測定BarackObamawasborn…wassworn…BarackHusseinObamawaselected…HillaryClintonwasborn…Clintonpresidedover…DonaldTrumpgraduatedfrom...Trumplostthe2020presidential...ClintonObama0.851.0Trump0.8事前学習済み⾔語モデルの実現に繋がり得るだろう．我々は検証の第一歩として概念化という考え方を採用する．エンティティを「知っている」人間は，同一のエンティティが異なる周辺文脈で言及されたときでも，あるいは同一のエンティティを指し示すために異なるメンション（文字列）が用いられたときでも，それらを同一のものだと正しく認識できる．例えば“BarackObamawasborninHawaii.”と“BarackHusseinObamawaselected...”に登場する人名を同じ人物（同じ概念）であると認識できる．すなわちエンティティを概念化できている．はたしてマスク言語モデルは人間同様の概念化をおこなえているのだろうか？この問いに答えるため，本研究では，同一のエンティティに対する内部表現が十分に密な（他と分離された）クラスタを成しているかという視点での検証をおこなう．言い換えれば，マスク言語モデルがエンティティをどの程度概念化しているかという問いに，埋め込み空間の配置を通じて答えることを試みる．本論文の貢献をまとめると以下の通り：•事前学習済みマスク言語モデルがエンティティを概念化できているかについて，同一の事物に対応するエンティティが埋め込み空間で他の埋め込みと混ざり合っていないかという観点で定量的に評価する方法を提案した．•BERTを対象とした検証の結果，エンティティ.の周辺文脈やメンションが多様である場合でも，約7割のエンティティは他の概念と区別できていたことがわかった．