事前学習済み言語モデルによるエンティティの概念化

近年登場した事前学習済みマスク言語モデル[1,2]は，実世界の事物であるエンティティを含むテキストをうまく処理できているように見える．例えばBERT[1]は“HillaryClintonwasbornin[MASK].”という入力に対して，“Chicago”という実世界の事実と整合した出力を返すことができる[3,4]．しかし，このように言語モデルがエンティティを含む個別のテキストをある程度の精度で「処理できる」という事実は，モデルがエンティティを人間同様に「知っている」証拠となりうるのだろうか．本稿では，マスク言語モデルがどの程度エンティティについて「知って」いるかについてある程度明らかにすることを試みる．もしモデルのエンティティに対する理解を正確に把握する手段が手に入れば，モデルの解釈性が上がり，さらに高品質な言語モデル1）ソースコードはhttps://github.com/cl-tohoku/Geo-Ent-in-LMsにて公開している．⼊⼒⽂脈化単語埋め込みからエンティティの概念化を測定BarackObamawasborn…wassworn…BarackHusseinObamawaselected…HillaryClintonwasborn…Clintonpresidedover…DonaldTrumpgraduatedfrom...Trumplostthe2020presidential...ClintonObama0.851.0Trump0.8事前学習済み⾔語モデルの実現に繋がり得るだろう．我々は検証の第一歩として概念化という考え方を採用する．エンティティを「知っている」人間は，同一のエンティティが異なる周辺文脈で言及されたときでも，あるいは同一のエンティティを指し示すために異なるメンション（文字列）が用いられたときでも，それらを同一のものだと正しく認識できる．例えば“BarackObamawasborninHawaii.”と“BarackHusseinObamawaselected...”に登場する人名を同じ人物（同じ概念）であると認識できる．すなわちエンティティを概念化できている．はたしてマスク言語モデルは人間同様の概念化をおこなえているのだろうか？この問いに答えるため，本研究では，同一のエンティティに対する内部表現が十分に密な（他と分離された）クラスタを成しているかという視点での検証をおこなう．言い換えれば，マスク言語モデルがエンティティをどの程度概念化しているかという問いに，埋め込み空間の配置を通じて答えることを試みる．本論文の貢献をまとめると以下の通り：•事前学習済みマスク言語モデルがエンティティを概念化できているかについて，同一の事物に対応するエンティティが埋め込み空間で他の埋め込みと混ざり合っていないかという観点で定量的に評価する方法を提案した．•BERTを対象とした検証の結果，エンティティ.の周辺文脈やメンションが多様である場合でも，約7割のエンティティは他の概念と区別できていたことがわかった．