# 静的および動的な埋め込みに基づくエンティティの曖昧性解消

大葉大輔 1,2 山田育矢 ${ }^{2,3}$ 吉永直樹 4 豊田正史 ${ }^{4}$
1 東京大学 ${ }^{2}$ Studio Ousia ${ }^{3}$ RIKEN ${ }^{4}$ 東京大学生産技術研究所
oba@tkl.iis.u-tokyo.ac.jp ikuya@ousia.jp \{ynaga,toyoda\}@iis.u-tokyo.ac.jp

## 概要

エンティティの曖昧性解消タスクでは，各エンティティを埋め込み表現としてパラメタ化した上で曖昧性解消モデルの学習を行うことが有効である (Yamada et al. 2021) が，パラメタ化対象外のエンティティの曖昧性解消は行えない。本稿では，エンティティの説明文やエンティティを含む文からエンティティの埋め込み表現を動的に推定し，学習済み曖昧性解消モデルを拡張する手法を提案する．実験では，評価データに出現する候補エンティティ全てをパラメタ化した上で訓練された既存モデルらと同等またはそれ以上の性能が得られることを示した。

## 1 はじめに

入力テキストに含まれるエンティティのメンションを知識ベース (KB) のエントリに分類する Entity Disambiguation (ED) は，文書分類や質問応答等の言語処理タスクや，テキストからの KB 構築等の情報抽出タスクにおける重要な前処理の一つである [1].近年，ED モデルのパラメタとして分類候補のエンティティ集合に埋め込み表現を与えた上で， Wikipedia のハイパーリンクを正解データとする大量の学習データを用いた訓練を行うことで EDを高精度に解けるようになった $[2,3,4,5,6,7]$. しかし，埋め込み表現は訓練時にパラメタ化の対象となる一部のエンティティに対してのみ学習されるため，その他エンティティ (未知エンティティ）のメンションは曖昧性を解消できない，実際，多くの既存システムは，評価時の正解候補エンティティすべてをパラメタ化した上で訓練および評価を行っている。

対して，エンティティの説明文とエンティティを言及する文のエンコード結果を近づける学習により zero-shot で ED を解く方法 $[8,9]$ は未知エンティティの曖昧性解消を可能とする。しかし，埋め込み表現に基づいた上述の方法より性能が低い上 [10],各メンションについて，その候補エンティティの数

図 1 提案手法の概要. エンティティの説明文 (Description) やエンティティを言及する文 (Sentence with hyperlink) からその埋め込み表現を推定し, ED モデルのエンティティ埋め込み表現行列 (Entity Embeddings) を補完する。

だけエンコーダの順伝搬計算を必要とする.

本稿では，訓練時にパラメタ化されたエンティティの静的な埋め込み表現と，テキストから推定した動的な埋め込み表現を相補的に用いることを提案 (§3) し，静的なエンティティ表現に基づくED モデル [7] (§2)を拡張する（図 1). 具体的には，まず高頻度エンティティに限定した形で ED モデルを構築し, Wikipediaのハイパーリンクを正解とするデー 夕を用いて訓練を行う (§3.1). 次にエンティティの埋め込み表現を動的に推定する 2 種類のエンコーダを訓練する (§ 3.2). そして低頻度エンティティの埋め込み表現を推定し，ED モデルのパラメタ（エンティティの埋め込み表現行列）を拡張する (§3.2). これにより学習時にパラメタ化されない未知エンティティを含む評価データでも，精度の高い静的なエンティティ表現に基づく EDを適用出来る.

代表的な評価データ (AIDA-CoNLL, MSNBC, AQUAINT, ACE2004, WNED-CWEB, WNED-WIKI)用いた実験では，提案手法により，正解候補エンティティが既知な状態で訓練を行う既存手法と同等またはそれ以上の性能が得られることを示す (§4).

## 2 事前知識

本節では，我々が基盤とする Yamada ら [7] の Global Model（以降 $\mathbf{Y}_{\mathbf{G}}$ )を説明する． $\mathbf{Y}_{\mathbf{G}}$ は BERT $_{\text {LARGE }}$ [11]を基盤とする現在の最高精度のモデルである. テキストの単語とエンティティのトークン列を入力に取り (§2.1), 各エンティティトークンに対応する BERT の出力を基に曖昧性解消を行う (§2.2). 以降，単語とエンティティの語彙セットを $V_{w}, V_{e}$ ，埋め込み表現の次元を $H$ とする.

## 2.1 入力表現

$\mathbf{Y}_{\mathbf{G}}$ では，入力テキストの単語トークン列とその内のエンティティに対応するトークン列を結合し, 単語トークン列の先頭と末尾に特殊トークンの [CLS] と [SEP] を挿入する.この時，各トークンは以下 3 種の埋め込み表現の和により表現される:

Token embedding： 各単語およびエンティティに対応. 表現行列は $\mathbf{A} \in \mathbb{R}^{\left|V_{w}\right| \times H}$ および $\mathbf{B} \in \mathbb{R}^{\left|V_{e}\right| \times H}$.

Type embedding: トークンの種類（単語かエンティティか) に対応. $\mathbf{C}_{w} \in \mathbb{R}^{H}$ および $\mathbf{C}_{e} \in \mathbb{R}^{H}$.

Position embedding: 入力系列中の単語トークンの位置に対応. 位置 $i$ にある単語およびエンティティの位置埋め込みは, $\mathbf{D}_{i} \in \mathbb{R}^{H}$ および $\mathbf{E}_{i} \in \mathbb{R}^{H}$ とする. 複数トークンで構成されるエンティティについては対応する位置埋め込みを平均する。

## 2.2 曖昧性解消

$\mathbf{Y}_{\mathrm{G}}$ は Masked Language Model (MLM) [11] の要領でエンティティの曖昧性解消を行う. より具体的には，メンションに該当する入力エンティティトー クンを [MASK] に置き換え，対応する BERT の出力 $\mathbf{h}_{e} \in \mathbb{R}^{H}$ からエンティティの推定を行う:

$
\begin{aligned}
\mathbf{m}_{e} & =\text { layernorm }\left(\operatorname{gelu}\left(\mathbf{W}_{f} \mathbf{h}_{e}+\mathbf{b}_{f}\right)\right) \\
\hat{\mathbf{y}} & =\operatorname{softmax}\left(\mathbf{B m}_{e}+\mathbf{b}_{o}\right)
\end{aligned}
$

$\mathbf{W}_{f} \in \mathbb{R}^{H \times H}, \mathbf{b}_{o}, \mathbf{b}_{f} \in \mathbb{R}^{H}$ はパラメタであり, gelu は活性化関数 [12], layernorm は層正則化 [13] を表す.

訓練エンティティトークンを一定確率で [MASK] に置換し，対応する推定結果 $\hat{\mathbf{y}}$ の対数尤度を最大化させる最適化を行う. Wikipedia のハイパーリンクを正解ラベルと見なした訓練データを使用する。

推論 $\mathbf{Y}_{\mathrm{G}}$ は推論を逐次的に行う．まず全エンティティトークンをマスクし, 各 [MASK] に対応するエンティティを推定する (式 2). 次に $\hat{\mathbf{y}}$ の最大確率が最も高い [MASK] を，その推定結果のエンティティトークンに置き換えて新しい入力を得る.この処理を全 [MASK] が曖昧性解消されるまで繰り返す。

## 2.3 問題点

$\mathbf{Y}_{\mathrm{G}}$ は多くの評価データ (§ 4.1) で最高精度を達成している [7] が， $V_{e}$ 外のエンティティは学習時に埋め込み表現としてパラメタ化されないため曖昧性解消が行えない. 全てのエンティティを $V_{e}$ に含める場合，訓練時の計算量が大幅に増加するだけでなく特に低頻度エンティティに関するデータの過踈性が問題になる. また，こうした制約から $\mathbf{Y}_{G}$ を含む先行研究の多く $[2,3,4,5,6,7]$ は訓練の段階で評価データに出現する全メンションのリンク先候補エンティティの集合を $V_{e}$ に定め, エンティティの埋也込み行列 $\mathbf{B} \in \mathbb{R}^{\left|V_{e}\right| \times H}$ を学習し評価に使用している. しかし, 訓練の段階で評価データに現れる全メンションを知っている設定は非現実的である.

## 3 提案

前節の問題点を踏まえ，訓練時のパラメタ化対象外のエンティティの埋め込み表現を動的に推定することを提案する. まず前節で導入した $\mathbf{Y}_{G}$ を基盤に, Wikipedia で頻出する一定数のエンティティ $V_{e}^{\prime}$ にのみ静的な埋め込み表現を与え, その $V_{e}^{\prime}$ に閉じた ED モデルの訓練を行う (\$ 3.1). 次にその他エンティティ $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込み表現を別途推定し(§ 3.2), 訓練済みモデルの静的な埋め込み表現行列を拡張する (§3.2). これにより, 頻出エンティティに関しては高い性能への寄与が報告されている静的な埋め込み表現を保証しつつ，他のエンティティが出現する評価データについても同じ ED モデルで曖昧性解消が行える。

## 3.1 高頻度エンティティに限定した訓練

実装後に拡張可能な形式で $\mathbf{Y}_{\mathrm{G}}$ の再定義 $\left(\mathbf{Y}_{\mathrm{G}}^{\prime}\right)$ を行う. エンティティ埋め込み行列 $\mathbf{B}$ のみを補完するため，項 $\mathbf{b}_{o}$ (式 2)を取り除く.また高頻度エンティティ $V_{e}^{\prime}$ のみで表現行列 $\mathbf{B}^{\prime} \in \mathbb{R}^{\left|V_{e}^{\prime}\right| \times H}$ を構成する:

$
\hat{\mathbf{y}}=\operatorname{softmax}\left(\mathbf{B}^{\prime} \mathbf{m}_{e}\right)
$

訓練 $\mathbf{Y}_{\mathrm{G}}$ と同じくWikipediaのハイパーリンクを正解データとして，エンティティトークンを $30 \%$ の確率で [MASK] に置換し，[MASK] に対応する推定結果 $\hat{\mathbf{y}}$ (式 3) の対数尤度を最大化させる最適化を行う.

## 3.2 エンティティ表現の推定エンコーダ

異なる言語資源に基づく 2 つのエンコーダを用いてエンティティの埋め込み表現を動的に推定する。 エンコーダは訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}$ (§3.1)を基盤とする:

Description-based Encoder エンティティ $e_{i}$ の説明文を § 2.1 と同じ方法で $\mathbf{Y}_{\mathrm{G}}^{\prime}$ の入力表現とし, [CLS] に対応する BERT の出力表現 $\mathbf{h}_{\mathrm{CLS}}$ からエンティティ $e_{i}$ の埋め込み表現を推定する:

$
\hat{\mathbf{e}}_{\mathrm{DESC}_{i}}=\mathbf{W}_{\mathrm{DESC}} \mathbf{h}_{\mathrm{CLS}}+\mathbf{b}_{\mathrm{DESC}}
$

$\mathbf{W}_{\text {DESC }} \in \mathbb{R}^{H \times H}$ および $\mathbf{b}_{\text {DESC }} \in \mathbb{R}^{H}$ は学習パラメタ.

Hyperlink-based Encoder エンティティのハイパーリンクを含む文集合を用いて埋め込み表現を推定する。まず， $e_{i}$ のハイパーリンクを含む文を [SEP]を挟んで連結したものを 82.1 における単語トークン列とする。次に，エンティティトークン列のうち $e_{i}$ に該当するものを [MASK] に置換し，各 [MASK] に対応する BERT の出力 $\left[\mathbf{h}_{\text {MASK }_{1}} \ldots \mathbf{h}_{\text {MASK }_{\mathrm{N}}}\right]$ の平均から埋め込み表現を推定する:

$
\begin{aligned}
\overline{\mathbf{h}}_{\mathrm{MASK}} & =\frac{1}{N} \sum_{j}^{N} \mathbf{h}_{\mathrm{MASK}_{j}} \\
\hat{\mathbf{e}}_{\mathrm{HL}_{i}} & =\mathbf{W}_{\mathrm{HL}} \overline{\mathbf{h}}_{\mathrm{MASK}}+\mathbf{b}_{\mathrm{HL}}
\end{aligned}
$

$\mathbf{W}_{\text {HL }} \in \mathbb{R}^{H \times H}$ および $\mathbf{b}_{\mathrm{HL}} \in \mathbb{R}^{H}$ は学習パラメタ.

訓練訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}(\S 3.1)$ におけるエンティティ埋め込み表現行列 B' を教師信号とし，エンティティ $e_{i}$ に該当するインデックスの埋め込み表現と, エンコーダが推定した埋め込み表現 $\hat{\mathbf{e}}_{i}$ の平均二乗誤差を最小化する. 埋め込み表現行列 $\mathbf{B}^{\prime}$ のみ固定し, 高頻度エンティティ $V_{e}^{\prime}$ に関する Wikipedia エントリから抽出した説明文 (概要) およびそれらのハイパー リンクを含む文を学習データに用いて訓練する。

推定表現のアンサンブル最終的に，上記の異なるエンコーダから推定された埋め込み表現を平均化することで一つのエンティティ埋め込み表現とする.これにより，2つの異なる言語資源に含まれる情報を利用できるようにする。

エンティティ表現の推定と補完高頻度エンティティ集合に含まれないエンティティ集合 $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込み表現を上記エンコーダで推定し, 訓練済み $\mathbf{Y}_{\mathrm{G}}^{\prime}$ (§ 3.1)の埋め込み表現行列 $\mathbf{B}^{\prime}$ (式 3)を補完する $\left(\mathbf{B}^{\prime \prime \prime} \in \mathbb{R}^{\left|V_{e}^{\prime}+V_{e}^{\prime \prime}\right| \times H}\right) . \mathbf{Y}_{\mathrm{G}}^{\prime}$ は追加のエンティティ集合に対しても同様の推論が行える:

$
\hat{\mathbf{y}}=\operatorname{softmax}\left(\mathbf{B}^{\prime \prime \prime} \mathbf{m}_{e}\right)
$

表 1 AIDA-CoNLL における In-KB Mico-F1. 最も性能が良い $2 つの$ 数値に太字，下線の順で印をつけた。

## 4 実験

Yamada ら [7] の $\mathbf{Y}_{\mathrm{G}}$ (§2) に提案手法を実装し, 評価データ中の全候補エンティティの埋め込み表現をパラメタに持った上で訓練された既存システム $[3,4,5,6,7]$ と同等の性能が得られるか確認する.

## 4.1 実験設定

実装まず， BERT $_{\text {BASE }}$ [11]を基に，Wikipedia 上の頻出エンティティ $\left|V_{e}^{\prime}\right|=1 \mathrm{M}$ に限定した $\mathbf{Y}_{\mathrm{G}}$ の再定義 ( $\mathbf{Y}_{\mathrm{G}^{\prime}}{ }^{\prime}$ および訓練 (§3.1) を行う. 評価データで使用される約 $270 \mathrm{~K}$ 件の正解候補エンティティうち, $V_{e}^{\prime}$ のカバレッジは $55.9 \%$, 既存システムは $100 \%$ である。次に，訓練済み $\mathbf{Y}_{\mathrm{G}^{\prime}}$ と Wikipediaを用いて提案エンコーダを訓練した後, 未知エンティティ $V_{e}^{\prime \prime} \notin V_{e}^{\prime}$ の埋め込みを推定し $\mathbf{Y}_{\mathrm{G}^{\prime}}$ を拡張する (§3.2).

評価データ Ganea \& Hofmann (2017) [3] の設定に倣い, AIDA-CoNLL [14], MSNBC, AQUAINT, ACE2004, WNED-CWEB, WNED-WIKI [15] を用いる.また，メンション表層に対する各エンティティへの被リンク事前確率 [3] に基づいて, 正解候補エンティティ集合を各メンションに割り当てる(KB+YAGO) [14]. 式 7 における推論の際には，候補エンティティ集合に対応するインデックスの埋め込み表現行列のみを用いて内積計算および softmax を実行する. AIDA-CoNLLでは異なる候補エンティティ集合 PPRforNER [16] を使用した評価も行う.

評価指標 micro-F1 值を報告する。

Fine-Tuning AIDA-CoNLLでは，提案手法により拡張した $\mathbf{Y}_{\mathrm{G}}^{\prime}$ を付属訓練セットを用いて Fine-tuning した評価も行う. Yamada ら [7] と同様にエンティティの埋め込み表現行列を固定，またエンティティトークンを $90 \%$ の確率でマスクして, 出力 $\hat{\mathbf{y}}$ (式 7) の対数尤度を最大化させる. その他ハイパーパラメタの探索空間は Devlin ら [11] と同じものを用いた.
表 2 AIDA-CoNLL 以外のデータにおける Micro-F1 值. 最も性能が良い 2 つの数値に太字，下線の順で印をつけた，

表 3 エンティティの動的な埋め込み表現を部分的に用いた時の AIDA-CoNLL における Micro-F1 値の変化.

表 4 未知エンティティメンションに関する Precision. また, 未知エンティティの hyperlink-based emb. を推定する際に使用出来たハイパーリンク文の数 (\# sentences) によってメンションを分類し各々で precisionを算出した. Baseline は被リンク事前確率 [3] 最大のエンティティを選択する。

## 4.2 実験結果

AIDA-CoNLL およびその他評価データにおける実験結果を表 1 , 表 2 に示す. 提案モデルは WIKIおよび ACE2004において最高性能であり，他の評価デー タでは Yamada ら [7]を除く全システムに優った.総合して，提案モデルの基盤である Yamada ら [7] のモデルが最も優れていたが，提案モデルは MSNBC を除く全評価データで $1 \mathrm{pt}$. 以内に迫った.

比較システム $[3,4,5,6,7]$ と異なり, 提案モデルは評価データの約 $60 \%$ の候補エンティティについてしか訓練を行なえていない。加えて，Yamada ら [7] は，提案モデルが基盤とする $\mathrm{BERT}_{\text {base }}$ よりも大きな $\mathrm{BERT}_{\text {large }}$ を基盤としている (§2). 提案手法がこれらシステムと同等またはそれ以上の性能を得たことは，エンティティの埋め込み表現の推定および補完が一定の水準で達成されていることを示す.

## 4.3 考察

推定表現のアンサンブルの影響動的な埋め込み表現の平均化 (§ 3.2) の影響を観るため，いずれかのエンコーダで推定された埋め込み表現のみを用いて $\mathbf{Y}_{\mathrm{G}}[7]$ の拡張を行い，AIDA-CoNLL で評価し
た (表 3). 僅かではあるが，いずれの場合も一貫して性能が低下しており，埋め込み表現の平均化により異なる性質を補い合っていることが推測される.

未知エンティティの曖昧性解消性能訓練対象外のエンティティをどの程度曖昧性解消できているのか確認するために，全評価データ (§ 4.1)の中で，未知エンティティ $\notin V_{e}^{\prime}$ をラベルに持つメンションについて precisionを計算した (表 4). 動的なエンティティ埋め込み表現の種類に関わらず約 8 割の未知エンティティが正しく曖昧性解消されていた。一方， その中でも Hyperlink-based な埋め込み表現が最も効果的であるという傾向は，既知エンティティを含めた結果の傾向（表 3）に反していることから，同埋め込み表現は既知エンティティ $V_{e}^{\prime}$ の正しい曖昧性解消を惑わせる影響もあることを示唆している。

エンコードに使用する文の数の影響 Hyperlinkbased emb. の質と，そのエンコードに使用できるエンティティを言及する文の数の関係を分析するため，その文の数に基づいて未知エンティティおよびそれらをラベルに持つメンションを大まかに分類し，それぞれで precision を計算した (表 4)，表より， エンティティを言及する文が 3 文以上利用できる場合はそこからエンコードされた埋め込みは全ての埋め込みの中で最も質のよい表現であった. 反対に, 2 文以下の場合はエンティティの頻度に依存しない説明文の利用が最も効果的であった. 今後，エンティティの頻度に応じて両埋め込み表現に重みをつけてアンサンブルするといった改善が考えられる。

## 5 おわりに

本稿では，未知エンティティの埋め込み表現を動的に推定し, 静的な埋め込み表現に基づく曖昧性解消モデルを拡張する方法を提案した (§3). 実験 (§4) では，提案手法を用いて拡張したモデルが，評価データで使用される全エンティティの埋め込みをパラメタ化して訓練しているモデルらと同等またはそれ以上の性能を得られることを示した。また，提案手法による未知エンティティの曖昧性解消への有効性と，動的な埋め込みの品質改善の余地を示した。

## 参考文献

[1] Johannes Welbl, Pontus Stenetorp, and Sebastian Riedel. Constructing datasets for multi-hop reading comprehension across documents. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 287-302, 2018.

[2] Ikuya Yamada, Hiroyuki Shindo, Hideaki Takeda, and Yoshiyasu Takefuji. Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation. In Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 250-259, 2016.

[3] Octavian-Eugen Ganea and Thomas Hofmann. Deep Joint Entity Disambiguation with Local Neural Attention. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2619-2629, 2017.

[4] Phong Le and Ivan Titov. Improving Entity Linking by Modeling Latent Relations between Mentions. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1595-1604, 2018.

[5] Samuel Broscheit. Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking. In Proceedings of the 23rd Conference on Computational Natural Language Learning, pp. 677-685, 2019.

[6] Thibault Févry, Nicholas FitzGerald, Livio Baldini Soares, and Tom Kwiatkowski. Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking. In Automated Knowledge Base Construction, 2020.

[7] Ikuya Yamada, Koki Washio, Hiroyuki Shindo, and Yuji Matsumoto. Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entities. arXiv preprint arXiv:1909.00426, 2021.

[8] Lajanugen Logeswaran, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Jacob Devlin, and Honglak Lee. Zero-Shot Entity Linking by Reading Entity Descriptions. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3449-3460, 72019.

[9] Ledell Wu, Fabio Petroni, Martin Josifoski, Se- bastian Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6397-6407, 2020.

[10] Nicola De Cao, Gautier Izacard, Sebastian Riedel, and Fabio Petroni. Autoregressive Entity Retrieval. In International Conference on Learning Representations, 2021.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, 2019.

[12] Dan Hendrycks and Kevin Gimpel. Gaussian Error Linear Units (GELUs). arXiv preprint arXiv:1606.08415v3, 2016.

[13] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer Normalization. arXiv preprint arXiv:1607.06450v1, 2016.

[14] Johannes Hoffart, Mohamed Amir Yosef, Ilaria Bordino, Hagen Fürstenau, Manfred Pinkal, Marc Spaniol, Bilyana Taneva, Stefan Thater, and Gerhard Weikum. Robust Disambiguation of Named Entities in Text. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp. 782-792, 2011.

[15] Zhaochen Guo and Denilson Barbosa. Robust Named Entity Disambiguation with Random Walks. Semantic Web, Vol. 9, No. 4, pp. 459-479, 2018.

[16] Maria Pershina, Yifan He, and Ralph Grishman. Personalized Page Rank for Named Entity Disambiguation. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, p. 238-243, 2015.