# 知識グラフ埋め込み学習における損失関数の統一的解釈

上垣外 英剛＊
東京工業大学
kamigaito@lr.pi.titech.ac.jp
}

林克彦*
群馬大学
khayashi0201@gmail.com

## 1 はじめに

知識グラフとはエンティティ間の関係を記述したグラフであり，対話や質問応答などに利用される。 しかし，知識グラフを作成するには，膨大なエンティティの組み合わせとその関係を考慮する必要があり，人手・半自動で完全なグラフを構築することは困難である。そのため，自動でエンティティ間のリンク予測を行うことは重要な課題である.

現在，エンティティ間のリンク予測は主に知識グラフの埋め込み表現に基づいたスコアリング法 [1] を用いて行われている。この方法では，各リンクに対するスコアをエンティティ及び関係の埋め込み表現によって計算するが，埋め込み表現の学習は様々な損失関数を用いて行われている。特に，表現学習において一般的に使用されていることもあり，ソフトマックス関数に対する交差エントロピー（SCE; Softmax Cross Entropy）を用いる方法 [2] や，その近似法の一つである負例サンプリング（NS; Negative Sampling）による方法 [3] が主流である.近年，これらの損失関数と既存のスコアリング方法との組み合わせを適切に選択することにより，リンク予測の性能が大きく変化することが文献 [4] で経験的に示されている. その一方で，SCE 損失と $\mathrm{NS}$ 損失に対する理論的な関係性はあまり探求されていない。そのため，これらの異なる損失関数を用いた際の結果を比較することが公平であるのか否か，またどのような条件であればそれが可能であるか，などの議論を困難にしている。 さらに，スコアリング手法と損失関数の関係が明らかでないことは，予測精度を向上させる上で様々な組み合わせを試行して, 経験的に良好な組み合わせを導く必要があり，ハイパーパラメータを探索するための計算量を膨大なものとしている。

本稿では，これらの問題を解決するために， Bregman 距離（Bregman Divergence）[5]を用いて * 共同責任著者 $\mathrm{SCE}$ 損失と NS 損失の統一的な解釈を試みた。この解釈の下で，どのような条件において両損失関数での最適解が同一になり得るかを理論的に確認し，両関数の背後に存在する距離の違いが学習結果にどのような影響を及ぼすかを実験的に検証した。

## 2 Bregman 距離と SCE 損失

知識グラフにおけるエンティティ $e_{i}$ と $e_{j}$ の関係 $r_{k}$ によるリンクを $\left(e_{i}, r_{k}, e_{j}\right)$ と表記する. 与えられたクエリ $\left(e_{i}, r_{k}, ?\right)$ や $\left(?, r_{k}, e_{j}\right)$ に対して，リンク予測モデルは?に対応するエンティティを予測する. このようなクエリを入力 $x$ ，予測するべきエンティティを $y$ とするとき，モデルパラメータ $\theta$ に基づくスコア関数 $f_{\theta}(x, y)$ の下， $x$ から $y$ が予測される確率 $p_{\theta}(y \mid x)$ は，ソフトマックス関数を用いて次のように定義される:

$
p_{\theta}(y \mid x)=\frac{\exp \left(f_{\theta}(x, y)\right)}{\sum_{y^{\prime} \in Y} \exp \left(f_{\theta}\left(x, y^{\prime}\right)\right)} .
$

$Y$ は予測候補となる全エンティティを表す。

次に Bregman 距離についての説明を行う. 入力 $x$ とその出力ラベル $y$ のペアを $(x, y)$ として書く. 観測データを $D=\left.\{\left(x_{1}, y_{1}\right), \cdots,\left(x_{|D|}, y_{|D|}\right)\right.\}$ とし, これは分布 $p_{d}(x, y)$ に従うとする. $\Psi(z)$ を微分可能な関数とすると, 分布 $f$ と $g$ の間の Bregman 距離は以下のように定義される:

$
d_{\Psi(z)}(f, g)=\Psi(f)-\Psi(g)-\Delta \Psi(g)^{T}(f-g) .
$

$\Psi(z)$ を変えることによって，様々な距離を表現することが可能となる. 本稿では，文献 [6] と同様に，観測データ全体における距離の最小化を考えるため， $f$ を固定した上で， $d_{\Psi}(f, g)$ の期待值を

$
\begin{aligned}
& B_{\Psi(z)}(f, g) \\
& =\sum_{(x, y) \in D}\left[-\Psi(g)+\Delta \Psi(g)^{T} g-\Delta \Psi(g)^{T} f\right] p_{d}(x, y)
\end{aligned}
$

として定義する. 文献 [6] より， $\Psi(z)$ が厳密に凸で微分可能なとき1) に $B_{\Psi(z)}(f, g)=0$ が満たされてい

1）なお，本稿で扱う $\Psi(z)$ は全てこの性質を満たす.

れば， $f$ と $g$ は等価である. 本稿では，分布と損失関数の間における関係性を調べるため，B $B_{\Psi(z)}$ の最小化を考える。

後述する NS との比較のために，式 (3)を用いて，我々はまず SCE 損失関数の導出を行う. 式 (3) において $f$ に $p_{d}(\mathbf{y} \mid x) を^{2)}, g$ に $p_{\theta}(\mathbf{y} \mid x)$ を入力し, ベクトルの次元数を表す関数 lenを用いて， $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ とした際に, SCE 損失関数は次のように導出される.

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
= & -\sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|} p_{d}\left(y_{i} \mid x\right) \log p_{\theta}\left(y_{i} \mid x\right)\right] p_{d}(x, y) \\
= & -\frac{1}{|D|} \sum_{(x, y) \in D} \log p_{\theta}(y \mid x) .
\end{aligned}
$

この導出から $B_{\Psi(z)}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right)$ が 0 となる最小化を通じて $p_{\theta}(y \mid x)$ が $p_{d}(y \mid x)$ に等しくなることが分かる. 本稿では以降，このように式 (3) が 0 となる際の $p_{\theta}(y \mid x)$ を目的分布と呼ぶ.

## 3 NS の解釈、SCE との関係性

Bregman 距離を使って NS の性質について議論する. 分布 $p_{d}(x, y)$ に従う観測データ $D$ の各サンプル $(x, y) \in D$ に対して, $\mathrm{NS}$ では既知の雑音分布 $p_{n}$ から $v$ 個の雑音サンプルを抽出し, 分布 $G(y \mid x ; \theta)=\exp \left(-f_{\theta}(x, y)\right)$ に対するモデルパラメー タ $\theta$ の推定を考える。まず， $(x, y)$ が観測データから抽出されたサンプルであれば，二値クラスラベル $C=1$ とし, 雑音分布 $p_{n}$ から抽出されたサンプルであれば， $C=0$ とすると，クラスラベル $C$ に対する事後確率は以下のように定義できる.

$
\begin{aligned}
& p(C=1, y \mid x ; \theta)=\frac{1}{1+\exp \left(-f_{\theta}(x, y)\right)}=\frac{1}{1+G(y \mid x ; \theta)} \\
& p(C=0, y \mid x ; \theta)=1-p(C=1, y \mid x ; \theta)=\frac{G(y \mid x ; \theta)}{1+G(y \mid x ; \theta)}
\end{aligned}
$

さらに, NS の目的関数 $\ell^{N S}(\theta)$ は以下のように定義できる.

$
\begin{aligned}
\ell^{N S}(\theta)= & -\frac{1}{|D|} \sum_{(x, y) \in D}[\log (P(C=1, y \mid x ; \theta)) \\
& \left.+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right] .
\end{aligned}
$

ここで Bregman 距離を使って目的関数 $\ell^{N S}(\theta)$ について以下の性質を導くことができる。

2）本項では，ラベル $y$ に対する確率を $p(y)$ ，全てのラベル $\mathbf{y}$ に対する確率値のべクトルを $p(\mathbf{y})$ のように記述する。命題 $1 \Psi(z)=z \log (z)-(1+z) \log (1+z)$ とすることで，式(3)から $\ell^{N S}(\theta)$ を導くことができ, $\ell^{N S}(\theta)=0$ のとき，次の式が成立する:

$
G(y \mid x ; \theta)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

命題 $2 P_{\theta}(y \mid x)$ に対して, $e^{N S}(\theta)$ の目的分布は:

$
\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}}
$

証明命題 1,2 の証明は付録に記す

上記の結果に対して，例えば， $p_{n}(y \mid x)=p_{d}(y)$ とすれば，式 (8) は自己相互情報量から定数 $\log v$ を減じた形となる.これは文献 [7] の結論と同様であり,我々の結論はその一般化となっている.

## 3.1 様々な雑音分布

$\mathrm{SCE}$ 損失の目的分布とは異なり，式 (9) は雑音分布 $p_{n}(y \mid x)$ の影響を受ける．よって，特定の雑音分布 $p_{n}(y \mid x)$ を考えることで, 式 (9) のより詳細な分析を行う。また，そこから $\mathrm{SCE}$ との関係性も導く。

## 3.1.1 一様雑音分布

知識グラフ埋め込みの学習において最もよく使われている離散の一様雑音分布 $u\{1,|Y|\}$ を考える。 $p_{n}(y \mid x)$ が一様のとき，以下の性質を導出できる.

命題 3 式 (9) は $p_{d}(y \mid x)$ となる.

証明 $p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}=\sum_{y_{i} \in Y} p_{d}\left(y_{i} \mid x\right)=1$ であり，式(9) は $p_{d}(y \mid x)$ となる.

この結論は $P_{n}(y \mid x)$ が一様であるとき, $\ell^{N S}$ の目的分布が SCE 損失と一致することを示している.

## 3.1.2 自己敵対雑音分布

Sun ら [8] は自己敵対負例サンプリング（SANS） を提案している. SANS は $p_{\theta}(y \mid x)$ を雑音分布として利用するので，式 (9) は次のように書ける:

$
\frac{p_{d}(y \mid x)}{p_{\hat{\theta}}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{\hat{\theta}}\left(y_{i} \mid x\right)}} .
$

ここで $\hat{\theta}$ は最後に更新された結果に基づくパラメー タである. 式 (10) を解析的に理解することは難しいが， $p_{\theta}(y \mid x)$ の特殊な場合について考えることで
分析を進める. 学習前, パラメータ $\theta$ はランダムに初期化されるため, $p_{\theta}(y \mid x)$ は $u\{1,|Y|\}$ に従う. その際，式 (10) は $p_{d}(y \mid x)$ となる。逆に， $p_{\hat{\theta}}(y \mid x)$ を $p_{d}(y \mid x)$ に設定すると, 式 (10) は $u\{1,|Y|\}$ となる. このように, 式 (10) では, $p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ となるとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x), \quad p_{\hat{\theta}}(y \mid x) \rightarrow u\{1,|Y|\}$ となるとき, $p_{\theta}(y \mid x) \rightarrow p_{d}(y \mid x)$ と収束する.

実際のミニバッチ学習において, $\theta$ は各バッチデータに対して逐次的に更新が行われるため, SANS の目的分布は $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の間での均衡に基づいて決定されていると考えられる. この考えに基づいて, $p_{d}(y \mid x)$ と $u\{1,|Y|\}$ の重み付き和を SANS の目的分布と仮定する. SANS では $p_{\hat{\theta}}(y \mid x)$ を以下のように定式化している:

$
p_{\hat{\theta}}(y \mid x)=\frac{\exp \left(\alpha f_{\theta}(x, y)\right)}{\sum_{y} \exp \left(\alpha f_{\theta}(x, y)\right)}
$

$\alpha$ は温度パラメータであり, これも上記の均衡を調整する役割がある。従って, $p_{\theta}(y \mid x)$ に対する SANS の目的分布を以下として表す:

$
p_{\theta}(y \mid x) \approx(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}
$

$\lambda$ は $p_{\theta}(y \mid x)$ を $p_{d}(y \mid x)$ または $u\{1,|Y|\}$ のどちらに近づけるかを決定するハイパーパラメータである.

式 (12) の結果を用いて同様の目的分布を持つ SCE 損失を確認する. $q(y \mid x)=(1-\lambda) p_{d}(y \mid x)+\lambda u\{1,|Y|\}$ と $\Psi(\mathbf{z})=\sum_{i=1}^{l e n(\mathbf{z})} z_{i} \log z_{i}$ と置き, 式 (5) から式 (6)への変換に基づいて，新しい SCE 損失の形式

$
\begin{aligned}
& B_{\Psi(\mathbf{z})}\left(p_{d}(\mathbf{y} \mid x), p_{\theta}(\mathbf{y} \mid x)\right) \\
&=- \sum_{(x, y) \in D}\left[\sum_{i=1}^{|Y|}(1-\lambda) p_{d}\left(y_{i} \mid x_{t}\right) \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right. \\
&\left.+\sum_{i=1}^{|Y|} \lambda u\{1,|Y|\} \log p_{\theta}\left(y_{i} \mid x_{t}\right)\right] p_{d}(x, y) \\
&=-\frac{1}{|D|} \sum_{(x, y) \in D}\left[(1-\lambda) \log p_{\theta}(y \mid x)\right. \\
&\left.+\sum_{i=1}^{|Y|} \frac{\lambda}{|Y|} \log p_{\theta}\left(y_{i} \mid x\right)\right]
\end{aligned}
$

が導出される.この形式は SCE 損失に対するラべルスムージング [9] と等価であり, SANS がラベルスムージングと同様の効果を持つことがわかる.

## 4 SCE と NS 損失の統一的解釈

3）なお，w / LS はラベルスムージングを，w/ Uni は雑音として離散一様分布を使用したことをそれぞれ表す。表 1 各損失関数間の関係 3 ).

各損失関数の関係を表 1 に示す.この表から読み取れるように，一様雑音分布の下での NS 損失と $\mathrm{SCE}$ 損失の目的分布が等価なものであることが分かる.また，自己敵対雑音分布を用いた際の NS 損失とラベルスムージングを用いた際の SCE 損失の目的分布が極めて類似していることも分かる. これらの知見は $\mathrm{NS}$ 損失と SCE 損失に基づく手法を公平に比較する際に重要である。ななせならば，対象とするデータセットに疎なエンティティが含まれている場合，ラベルスムージングを用いた SCE 損失と SANS 損失では，モデルによる性能改善が存在しなくとも，スムージングにより性能が改善する可能性があるためである.このことから，目的分布の観点に基づいて NS 損失に基づくモデルと SCE 損失に基づくモデルを公平に比較するためには，NS 損失で一様雑音分布が使用されている場合には，SCE 損失をそのまま使用し, NS 損失で一様雑音分布が使用されている場合には，SCE 損失でラベルスムージングを使用することが必要である.

$\mathrm{NS}$ 損失と SCE 損失における $\Psi(z)$ を比較することは目的分布に着目することと同等以上に重要である.これは $\Psi(z)$ が損失における距離を決定し，その距離がモデルのデータセットに対する振る舞いを決定する上で重要な役割を果たすためである.

図 1 に表 1 で示されている NS 損失と SCE 損失のそれぞれにおける $\Psi$ を用いて式 (2) の距離を計算し, 確率 $p$ のそれぞれの値と確率 0.5 との距離を示した。この図から読み取れるように，SCE 損失の方が NS 損失よりも大きな距離を示すことが分かる.
表 2 それぞれのモデルと損失関数の組み合わせを用いた場合の FB15k-237 と WN18RR での実験結果.

なお，文献 [10] では，二値ラベルにおける Bregman 距離の上界は $\Psi(z)=z \log (z)$ とした際であることが示されており，我々の観測はこの結果に沿っている. SCE 損失と NS 損失が分布間に与える距離の違いは，モデルの差異に起因する問題を生じさせる原因となりうる．SCEを用いた場合には，自由度が高く表現力が高いモデルを訓練データに適合させることに寄与する一方，事前分布や制約に基づく表現力が低いモデルでは学習を妨げる可能性がある。また，NS を用いた場合に，自由度が高く表現力が高いモデルでは過少適合を起こす可能性がある一方，事前分布や制約により表現力が制限されるモデルでは, 訓練事例への過度な適合を回避し, 学習の進行に寄与する可能性がある. これらの問題は対象とするモデルやデータによって振る舞いが決定されるため，現在主流となっている設定に基づいて影響を実験的に検証する。

## 5 実験

本節では SCE 損失と NS 損失の性質を検証するための実験を行う．データセットには FB15k-237 [11] とWN18RR [12]を使用し，評価には MRR，Hits@3 を用いる。比較対象のモデルとして TuckER [13], RESCAL [1], ComplEx [14], RotatE [8] を選択し，実装は LibKGE $[15]^{4)}$ のものを利用した。これらのモ


デルのハイパーパラメータは RESCAL，ComplEx については先行研究 [4] で最高精度を達成した設定を， TuckER，RotatE については元の論文の設定を使用した. SANS を適用する際には RotatE 以外のモデルでは LibKGE の初期值である 1.0 を使用し，RotatE では元の論文で SANS が使用されているため，その設定に従った．ラベルスムージングを適用する際には，RotatE 以外のモデルでは LibKGE の初期値である 0.3 を使用したが，RotatE では比較対象である SANS の值がチューニングされているため，公平性のために開発データを用いて $\{0.3,0.1,0.01\}$ から值を選択した。他の詳細な設定は付録に記載した。

表 2 に実験結果を示す. SCE w/ LS で性能向上する時に，多くの場合で SANS でも性能が向上している.この結果からいずれのデータセットでも疎なエンティティが問題となっていることが分かる. またこの結果は $\mathrm{SCE}$ w/ LS と SANS が対応しているという我々の解釈に沿うものである。なお，RotatEではこの関係が成立していないが，後述するようにこの結果は SCE が訓練データに適合できていないためであると考えられる。訓練データに適合していないのであれば出力が既に平滑化されており, SCEw/ LS の効果が抑制されるからである.

スコアリング法と損失関数の組み合わせの点からは, TuckER, RESCAL, ComplEx といった表現力が高い手法では SCE と比較して NS の結果が高くないことから，SCE の過剰適合ではなく，むしろ NS の過少適合が問題であると考えられる。さらに，モデル上の制約が多い RotatE では NS でより高い性能を発揮していることから，我々が予想したように自由度が高いモデルでは SCE が有用で，制約に基づくモデルでは NS が有用であることが分かる.

## 6 まとめ

本稿では Bregman 距離を用いて知識グラフの埋め込み学習における $\mathrm{SCE}$ 損失と $\mathrm{NS}$ 損失の二つの関数を統一的に解釈した. その結果, 目的分布の点からは SCE と一様雑音分布に基づくNS が等価であり, またSCE でラベルスムージングを用いた場合と自己敵対的雑音に基づく NS が類似していることを示した. さらに，SCE はNSよりも大きな距離を持つことを明らかにし，実験により SCE は表現力の高いスコアリング法と相性が良く，NS は制約をもつ自由度の低いスコアリング法との相性が良いことを示した.

## 参考文献

[1] Antoine Bordes, Jason Weston, Ronan Collobert, and Yoshua Bengio. Learning structured embeddings of knowledge bases. In Proceedings of the Twenty-Fifth AAAI Conference on Artificial Intelligence, AAAI'11, p. 301-306. AAAI Press, 2011.

[2] Rudolf Kadlec, Ondrej Bajgar, and Jan Kleindienst. Knowledge base completion: Baselines strike back. In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 69-74, Vancouver, Canada, August 2017. Association for Computational Linguistics.

[3] Antoine Bordes, Nicolas Usunier, Alberto GarciaDuran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multirelational data. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26, pp. 2787-2795. Curran Associates, Inc., 2013.

[4] Daniel Ruffinelli, Samuel Broscheit, and Rainer Gemulla. You can teach an old dog new tricks! on training knowledge graph embeddings. In International Conference on Learning Representations, 2020.

[5] L.M. Bregman. The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming. USSR Computational Mathematics and Mathematical Physics, Vol. 7, No. 3, pp. 200 - 217, 1967.

[6] Michael U. Gutmann and Jun-ichiro Hirayama. Bregman divergence as general framework to estimate unnormalized statistical models. In Proceedings of the Twenty-Seventh Conference on Uncertainty in Artificial Intelligence, UAI' 11, p. 283-290, Arlington, Virginia, USA, 2011. AUAI Press.

[7] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27, pp. 2177-2185. Curran Associates, Inc., 2014.

[8] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and
Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space. CoRR, Vol. abs/1902.10197, , 2019.

[9] Rafael Müller, Simon Kornblith, and Geoffrey E Hinton. When does label smoothing help? In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32, pp. 4694-4703. Curran Associates, Inc., 2019 .

[10] A. Painsky and G. W. Wornell. Bregman divergence bounds and universality properties of the logarithmic loss. IEEE Transactions on Information Theory, Vol. 66, No. 3, pp. 1658-1673, 2020.

[11] Kristina Toutanova and Danqi Chen. Observed versus latent features for knowledge base and text inference. In Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality, pp. 57-66, Beijing, China, July 2015. Association for Computational Linguistics.

[12] Tim Dettmers, Minervini Pasquale, Stenetorp Pontus, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Proceedings of the 32th AAAI Conference on Artificial Intelligence, pp. 1811-1818, February 2018.

[13] Ivana Balazevic, Carl Allen, and Timothy Hospedales. TuckER: Tensor factorization for knowledge graph completion. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp.5185-5194, Hong Kong, China, November 2019. Association for Computational Linguistics.

[14] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction. In ICML, pp. 2071-2080, 2016.

[15] Samuel Broscheit, Daniel Ruffinelli, Adrian Kochsiek, Patrick Betz, and Rainer Gemulla. LibKGE - A knowledge graph embedding library for reproducible research. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 165-174, 2020.

## A 付録

## A. 1 命題 1, 2 の証明

$\ell^{N S}$ は以下のように定式化できる:

$
\begin{aligned}
\ell^{N S}(\theta) & =-\frac{1}{|D|} \sum_{(x, y) \in D}\left(\log (P(C=1, y \mid x ; \theta))+\sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log (P(C=1, y \mid x ; \theta))-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(P\left(C=0, y_{i} \mid x ; \theta\right)\right) \\
& =-\frac{1}{|D|} \sum_{(x, y) \in D} \log \left(\frac{1}{1+G(y \mid x ; \theta)}\right)-\frac{1}{|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(\frac{G\left(y_{i} \mid x_{t} ; \theta\right)}{1+G\left(y_{i} \mid x_{t} ; \theta\right)}\right) \\
& =\frac{1}{|D|} \sum_{(x, y) \in D} \log (1+G(y \mid x ; \theta))+\frac{v}{v|D|} \sum_{(x, y) \in D} \sum_{i=1, y_{i} \sim p_{n}}^{v} \log \left(1+\frac{1}{G\left(y_{i} \mid x ; \theta\right)}\right) \\
& =\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+G(y \mid x ; \theta)) p_{d}(x)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{G(y \mid x ; \theta)}\right) p_{d}(x)
\end{aligned}
$

ここで $u=(x, y), f(u)=\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}, g(u)=G(y \mid x ; \theta), \quad p_{d}(x)=\frac{1}{p_{d}(y \mid x)} p_{d}(x, y)$ と置くと, 式 (14) を以下のように書き換えることができる:

$
\begin{aligned}
\ell^{N C E}(\theta)= & \left(\sum_{(x, y) \in D} p_{d}(y \mid x) \log (1+g(u)) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)+\sum_{(x, y) \in D} v p_{n}(y \mid x) \log \left(1+\frac{1}{g(u)}\right) \frac{1}{p_{d}(y \mid x)} p_{d}(x, y)\right) \\
= & \sum_{(x, y) \in D}\left[\log (1+g(u))+\log \left(1+\frac{1}{g(u)}\right) f(u)\right] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[\log (1+g(u))-\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y) \\
= & \sum_{(x, y) \in D}[-g(u) \log (1+g(u))+(1+g(u)) \log (1+g(u))+\log (g(u)) g(u)+\log (1+g(u)) g(u) \\
& -\log (g(u)) f(u)+\log (1+g(u)) f(u)] p_{d}(x, y)
\end{aligned}
$

$\Psi(g(u))=g(u) \log (g(u))-(1+g(u)) \log (1+g(u))$ と $\Psi^{\prime}(g(u))=\log (g(u))-\log (1+g(u))$ に基づいて，式 (15)をさらに変形できる:

$
\ell^{N C E}(\theta)=\sum_{(x, y) \in D}\left[-\Psi(g(u))+\Psi^{\prime}(g(u)) g(u)-\Psi^{\prime}(g(u)) f(u)\right] p_{d}(x, y)=B_{\Psi}(g(u), f(u)) .
$

式(16) から, $g(u)=f(u)$ で $\ell^{N S}(\theta)$ が最小化されるとき, $G(y \mid x ; \theta)$ は $\frac{v p_{n}(y \mid x)}{p_{d}(y \mid x)}$ となる. そして, $\exp \left(f_{\theta}(x, y)\right)$ は

$
\exp \left(f_{\theta}(x, y)\right)=\frac{p_{d}(y \mid x)}{v p_{n}(y \mid x)}
$

となる. よって，ソフトマックス関数の定義から， $p_{\theta}(y \mid x)$ の目的分布は以下となる:

$
p_{\theta}(y \mid x)=\frac{p_{d}(y \mid x)}{p_{n}(y \mid x) \sum_{y_{i} \in Y} \frac{p_{d}\left(y_{i} \mid x\right)}{p_{n}\left(y_{i} \mid x\right)}} .
$

## A. 2 使用したハイパーパラメータ

表 3 に使用したハイパーパラメータの一覧を示す. . Dim はエンティティ埋め込みの次元数を，LS はラベルスムージングを AS は敵対雑音サンプリングの温度パラメータをそれぞれ表す. 各モデルは両方向のクエリに対応できるようエンティティの埋め込みのみを共有した逆側モデルも学習し, 最大エポック数を 800 とした. また, 開発データにて 5 エポック毎に MRRを計算し, その最高値が 10 回更新されなかった際に学習を打ち切った.

表 3 使用したハイパーパラメータの一覧