# 時系列構造化ニューラルトピックモデル

宮本 望 ${ }^{1}$ 磯沼 大 $^{1}$ *高瀬 翔 2 森 純一郎 ${ }^{1,3}$ 坂田 一郎 1
1 東京大学 2 東京工業大学 3 理研 AIP
\{nmiyamoto, isonuma, isakata\}@ipr-ctr.t.u-tokyo.ac.jp
sho.takase@linecorp.com mori@mi.u-tokyo.ac.jp

## 概要

本研究ではトピック間の依存関係を捉えつつ、その時系列的発展を扱うことができる時系列構造化ニューラルトピックモデルを提案する。本モデルは、トピックの依存関係を self-attention 機構に基づいてモデル化することで、トピックの分化・統合過程を捉える。さらに、アテンションの重みが文書間の引用関係を反映するように、引用正則化項を導入する。本モデルは Perplexity や Coherence において、既存の時系列トピックモデル [1] を上回ることを確認した。また、実際の論文群を用いて、本モデルがトピックの遷移過程を捉えられることを検証した。

## 1 はじめに

文書のトピックとその比率を推定するトピックモデルは、Latent Dirichlet Allocation (LDA [2])をはじめ、自然言語処理において広く利用されている。 その一種である時系列トピックモデル $[1,3]$ は、トピックの時系列上の変遷を追うことで、時間経過に伴うトピック中の単語変化の可視化を可能にした。

しかし、既存の時系列トピックモデルは、トピックの時系列変化を各トピックで独立に扱っており、新規トピックの形成に対し過去のトピックがどう寄与したのか、トピック間の依存関係を捉えることはできない (図 1(a))。特に論文など、引用関係により依存関係にある文書のモデル化において、各トピックが独立して変化し、前の時刻のトピックにのみ依存しているという前提は適切ではない。

そこで本研究では、トピック間の依存関係を捉えながらその時系列発展を扱うことができるトピックモデルとして、時系列構造化ニューラルトピックモデルを提案する（図 1(b)）。具体的には、トピックの依存関係を self-attention 機構 [4] に基づきモデル化することで、新規トピックがどの既存トピックに基


図 1 (a) 時系列トピックモデルと (b) 提案モデルの比較。

づき生まれたかを明らかにする。さらに、文書の引用関係を反映するようにアテンションの重みを正則化する引用正則化項を導入し、アテンションの重みをトピックの分化・統合過程として解釈できるようにした。これにより、複数時刻に跨った学術トピックの分化・統合など複雑な過程を定量的に捉えることが可能になる。

評価実験では、従来モデルの ETM [5] や D-ETM [1] と比較して、Perplexity と Coherence において、提案モデルがその性能を上回ることを確認した。さらに、提案モデルが学術トピックの分化・統合過程を捉えられていることを定性的に確認した。

## 2 事前準備

まず、本研究の基礎となる時系列トピックモデルとして、Dynamic Embedded Topic Model (D-ETM [1]) を解説する。D-ETM はトピックの時系列変化をモデル化することで、時系列文書の解析を行う。具体的には、単語の意味空間におけるトピックごとの埋め込み表現（トピック埋め込み）とトピック比率の平均を変化させることで、トピックの時間変化を捉

## える。D-ETM の生成プロセスを以下に示す。

1. 時刻 $t \in\{1, \ldots, T\}$ について：

$k$ 番目のトピック埋め込みのサンプル:

$\boldsymbol{\alpha}_{k}^{(t)} \sim \mathcal{N}\left(\boldsymbol{\alpha}_{k}^{(t-1)}, \sigma^{2} \boldsymbol{I}\right)$

トピック比率の平均のサンプル:

$\boldsymbol{\eta}_{t} \sim \mathcal{N}\left(\boldsymbol{\eta}_{t-1}, \delta^{2} I\right)$

2. 各文書 $d \in\{1, \ldots, D\}$ について:

トピック比率のサンプル: $\boldsymbol{\theta}_{d} \sim \mathscr{L} \mathcal{N}\left(\boldsymbol{\eta}_{t_{d}}, \gamma^{2} \boldsymbol{I}\right)$

3. 文書 $d$ 中の各単語 $n \in\left.\{1, \ldots, N_{d}\right.\}$ について:

トピックの割り当て: $z_{d, n} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{d}\right)$

単語のサンプル: $w_{d, n} \sim \operatorname{Cat}\left(\boldsymbol{\beta}_{z_{d, n}}^{\left(t_{d}\right)}\right)$

ただし、Cat($\cdot$) はカテゴリカル分布、 $\mathscr{L} N(\cdot, \cdot)$ はロジット正規分布を指す。 $\sigma$ と $\delta \gamma$ はハイパーパラメータである。単語分布 $\boldsymbol{\beta}_{k}^{(t)}$ は以下の式で計算される。

$
\boldsymbol{\beta}_{k}^{(t)}=\operatorname{softmax}\left(\boldsymbol{\rho}^{\top} \boldsymbol{\alpha}_{k}^{(t)}\right)
$

$\rho \in \mathbb{R}^{L \times V}$ は $L$ 次元の単語埋め込み行列であり、 $\rho_{v} \in \mathbb{R}^{L}$ は $v$ 番目の単語埋め込みに対応する。

D-ETM では、変分推論 [6] で $\boldsymbol{\alpha}$ と $\boldsymbol{\eta}$ と $\boldsymbol{\theta}$ の事後分布を推定する。特に、トピック埋め达み $\alpha$ については、以下の平均場近似を用いる。

$
\begin{array}{r}
q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)=\mathcal{N}\left(\boldsymbol{\mu}_{k}^{(t)}, \boldsymbol{\sigma}_{k}^{(t)}\right) \\
q(\boldsymbol{\alpha})=\prod_{k} \prod_{t} q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)
\end{array}
$

ただし、 $\boldsymbol{\alpha}_{k}^{(t)}$ は平均 $\boldsymbol{\mu}_{k}^{(t)}$ と分散 $\boldsymbol{\sigma}_{k}^{(t)}$ のガウス分布に従いサンプルされる。

この平均場近似は、事後分布において各トピックが独立であることを仮定しており、トピック間の依存関係を推定することができない。一方、本研究では、 self-attention 機構によりトピック埋め込みを推定する構造化変分推論を導入し、トピック間の依存関係をモデル化する。

## 3 提案モデル

本章では、提案モデルである時系列構造化ニュー ラルトピックモデルについて述べる。生成プロセスは D-ETM と同一である。

## 3.1 トピック埋め込みの推論

D-ETM とは異なり、提案モデルは構造化変分推論によりトピック埋め込みを推論する。 self-attention

図 2 self-attentionによるトピック埋め込みの素の作成。

機構を利用して、過去の全てのトピック埋め込みからトピック埋め込みを計算する。

$
\begin{array}{r}
\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\operatorname{self}-\operatorname{attention}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right)=\mathcal{N}\left(f_{\mu}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t)}\right), f_{\sigma}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t)}\right)\right)
\end{array}
$

変数 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ はトピック埋め込みの素であり、 $f_{\mu}$ と $f_{\sigma}$ は $\tilde{\boldsymbol{\alpha}}_{k}^{(t+1)}$ を変分ガウス分布に変換する関数である。

self-attention の計算式 (9)を計算するため、時刻 $t-1$ 以前の全てのトピック埋め込みの素 $\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}$ からキー $\boldsymbol{K}_{1: K}^{(1: t-1)} \in \mathbb{R}^{K(t-1) \times L}$ 及びバリュー $\boldsymbol{V}_{1: K}^{(1: t-1)} \in \mathbb{R}^{K(t-1) \times L}$ を計算する。また、時刻 $t-1$ の $k$ 番目のトピック埋め込み $\tilde{\alpha}_{k}^{(t)}$ からクエリ $\boldsymbol{q}_{k}^{(t-1)} \in \mathbb{R}^{L}$ を計算する。

$
\begin{array}{r}
\boldsymbol{K}_{1: K}^{(1: t-1)}=f_{k}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
\boldsymbol{V}_{1: K}^{(1: t-1)}=f_{v}\left(\tilde{\boldsymbol{\alpha}}_{1: K}^{(1: t-1)}\right) \\
\boldsymbol{q}_{k}^{(t-1)}=f_{q}\left(\tilde{\boldsymbol{\alpha}}_{k}^{(t-1)}\right)
\end{array}
$

ただし、 $f_{q}, f_{k}, f_{v}$ は多層パーセプトロンである。このとき、時刻 $t$ のトピック $k$ に対するアテンションの重み $\boldsymbol{a}_{k}^{(t)} \in \mathbb{R}^{K(t-1)}$ は、以下の式で表される。

$
\boldsymbol{a}_{k}^{(t)}=\operatorname{softmax}\left(\boldsymbol{q}_{k}^{(t-1)} \boldsymbol{K}_{1: K}^{(1: t-1) \top}\right)
$

$\boldsymbol{a}_{k}^{(t)}$ は時刻 $t$ 以前の各トピックに依存している確率を表しているとみなせる。これを重みとして利用し、 $\boldsymbol{V}^{(1: t-1)}$ の重み和を計算することで、 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ を求める。一連の過程を図 2 に示す。

$
\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\boldsymbol{a}_{1: K}^{(1: t-1)} \boldsymbol{V}_{1: K}^{(1: t-1)}
$

$\tilde{\boldsymbol{\alpha}}_{k}^{(t)}$ は、残差接続 [7] を経て正規化される。残差接続を行うことで、勾配爆発や勾配消失を防ぐことが可能になる。また、事前分布では $\boldsymbol{\alpha}_{k}^{(t)}$ は $\boldsymbol{\alpha}_{k}^{(t-1)}$ を平均とする正規分布により生成されると仮定しているため、時刻 $t$ のトピック $k$ は時刻 $t-1$ のトピック $k$ に比較的類似したものが推定される。

self-attention の導入の経緯 self-attention 機構の代わりに、トピック間の依存関係を表す学習可能な重み $\boldsymbol{w} \in \mathbb{R}^{K}$ を用いて、 $\tilde{\boldsymbol{\alpha}}_{k}^{(t)}=\boldsymbol{w}^{\top} \tilde{\boldsymbol{\alpha}}_{1: K}^{(t-1)}$ としてパラメータ化する方法も本研究では検討した。しかし、

この方法では 1 時刻間のトピック間の依存関係しかモデル化できず、学術論文で多く見られる複数時刻に跨るトピック間の依存関係のモデル化には不適当である。一方、self-attention 機構は任意の数のトピックを入力として用いることが可能であり、かつ各時刻を通じて $f_{q}, f_{k}, f_{v}$ のパラメータが共有されるため、パラメータ数はトピック数に依らず一定である。よって、 self-attention 機構は複数時刻に跨るトピック間の依存関係のモデル化により適当であることから、本研究では self-attention 機構を採用した。

## 3.2 全体の推論と ELBO

提案モデルによる文書の尤度は以下のように与えられる。

$
\begin{aligned}
& p\left(\boldsymbol{w}_{1: D} \mid \sigma, \delta, \gamma\right) \\
& =\int\left.\{\prod_{d} \prod_{n}\left(\boldsymbol{\beta}^{\left(t_{d}\right)} \cdot \boldsymbol{\theta}_{d}\right)_{w_{d, n}} p\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}\right)\right.\} \\
& \quad\left.\{\prod_{t} \prod_{k} p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right) p\left(\boldsymbol{\alpha}_{k}^{t} \mid \boldsymbol{\alpha}_{k}^{t-1}\right)\right.\} d \boldsymbol{\theta} d \boldsymbol{\eta} d \boldsymbol{\alpha}
\end{aligned}
$

ここで、事後分布 $p\left(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha} \mid \boldsymbol{w}_{1: D}\right)$ の近似事後分布として $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ を導入する。D-ETM と同様に、 $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ は以下のように計算される。

$
\begin{aligned}
q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})= & \prod_{d} q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}, \boldsymbol{w}_{d}\right) \times \prod_{t} q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right) \\
& \times \prod_{t} \prod_{k} q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right)
\end{aligned}
$

ただし、 $\boldsymbol{w}_{d}$ は文書 $d$ の Bag-of-Words 表現を、 $\tilde{w}_{t}$ は正規化された時刻 $t$ における全文書の Bag-of-Words 表現を表す。文書の対数尤度に対する変分下限は以下の式で求められる。

$
\begin{aligned}
& L_{d o c}=\sum_{d} \mathrm{E}_{q\left(\boldsymbol{\theta}_{d}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\boldsymbol{w}_{d}^{\top} \log \left(\boldsymbol{\beta}^{\left(t_{d}\right)} \cdot \boldsymbol{\theta}_{d}\right)\right] \\
& \quad-\sum_{d} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}, \boldsymbol{w}_{d}\right) \| p\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{t_{d}}\right)\right] \\
& \quad-\sum_{t} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right) \| p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right)\right] \\
& \quad-\sum_{t} \sum_{k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right) \| p\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{k}^{(t-1)}\right)\right]
\end{aligned}
$

## 4 引用正則化項ありの提案モデル

3 章で述べた提案モデルは、トピック間のアテンションの重みを解釈することが困難である。理想的には、アテンションはトピック間の潜在的な依存関係を表し、それは文書間の引用関係として顕在化されるべきである。そこで、アテンションの重みを引用関係に対応するように正則化を行うことで、アテンションの解釈可能性を担保する。また、引用正則化項によりテキストと引用を同時にモデル化することで、トピックの質的な向上が期待される。

アテンションの重みの正則化にあたり、トピック比率 $\boldsymbol{\theta}$ 、アテンションの重み $\boldsymbol{a}$ 、文書比率 $\phi$ に基づいて文書間の引用をモデル化する。文書のぺア $(i, j) \in\{1, \ldots, D\} \times\{1, \ldots, D\}$ 間の引用は以下のようにモデル化される。

1. 引用トピックの割り当て: $z_{i} \sim \operatorname{Cat}\left(\boldsymbol{\theta}_{i}\right)$

2. 被引用トピックの割り当て: $z_{j} \sim \operatorname{Cat}\left(\boldsymbol{a}_{z_{i}}^{\left(t_{i}\right)}\right)$

3. 被引用文書のサンプル: $d_{j} \sim \operatorname{Cat}\left(\boldsymbol{\phi}_{z_{j}}\right)$

ただし、 $\boldsymbol{a}_{k}^{\left(t_{i}\right)} \in \mathbb{R}^{K\left(t_{i}-1\right)}$ はアテンションの重みであり、過去の全トピック $z_{j} \in\{1, \ldots, K\} \times\left.\{1, \ldots, t_{i}-1\right.\}$ に依存する確率の分布を指す。文書比率 $\boldsymbol{\phi}_{k} \in \mathbb{R}^{D}$ は、あるトピックが割り当てられた被引用文書の確率分布を示しており、以下の式で表される。

$
\phi_{z_{j}}^{\left(d_{j}\right)}=\frac{\theta_{d_{j}}^{\left(z_{j}\right)}}{\sum_{d_{j}} \theta_{d_{j}}^{\left(z_{j}\right)}}
$

この仮定のもと、引用 $c_{i, j} \in\{0,1\}$ の尤度は以下のように与えられる。

$
\begin{aligned}
& p\left(c_{i, j}=1 \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right) \\
& =\sum_{k}^{K} \sum_{k^{\prime}}^{K} p\left(d_{j} \mid \boldsymbol{\phi}_{k^{\prime}}\right) p\left(z_{j}=k^{\prime} \mid \boldsymbol{a}_{k}^{\left(t_{i}\right)}\right) p\left(z_{i}=k \mid \boldsymbol{\theta}_{i}\right)
\end{aligned}
$

ただし、 $c_{i, j}=1$ は文書 $d_{i}$ が文書 $d_{j}$ を引用することを示す。文書と引用の対数尤度に対する変分下限は以下の式で表される。

$
L=L_{d o c}+\sum_{i}^{D} \sum_{j}^{D} \operatorname{BCE}\left(p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right), c_{i, j}\right)
$

ただし、 $L_{d o c}$ は式 (18)により定義され、BCE は二値の交差エントロピーである。詳細な変分下限の導出は付録 A. 1 に記す。

## 5 実験

## 5.1 実験設定

本実験では、The Semantic Scholar Open Research Corpus (S2ORC [8]) $)^{1}$ をもとに構築した $A C L$ 及び CS のデータセットを用いる。 $A C L$ データセットは ACL 系列の国際会議で発表された論文群であり、CSデー

表 1 各モデルの評価結果。Perplexity は低いほど良く、Coherence と Diversity は高いほど良い。

タセットは、研究分野に “Computer Science”を含む論文群である。各データセットの詳細な情報を、付録 A. 2 に記載した。データセットに関する具体的な数値を表 2 にまとめる。ベースラインには、ETM [5] 及び D-ETM [1]を用いる。提案モデルに対する引用データ制約の効果を測定するため、提案モデルに対する引用正則化項の有無による結果も比較する。詳細な実験設定は付録 A. 3 に記載する。

## 5.2 実験結果

トピックモデルの性能を以下の 3 つの基準で定量的に評価した。

Perplexity まず、生成モデルとしての汎化能力を評価するため、Perplexity [9]を用いた。両データセットにおいて、提案モデルは、従来モデルを上回ることを示した（表 1）。また、引用正則化項ありの提案モデルは、引用正則化項なしの提案モデルを上回ることから、引用情報がトピックモデルの汎化能力に寄与することが確認された。

Coherence トピックの解釈可能性を評価するため、トピックの Coherence を平均自己相互情報量 [10] で測定した。具体的には、トピック $k$ の頻出語上位 10 個の単語中の各 2 単語について、正規化自己相互情報量報を計算した。各モデルの全トピックの平均 Coherence を表 1 に示す。引用正則化項ありの提案モデルが従来モデルを上回った他、引用正則化項なしのトピックモデルも D-ETM と競合し、十分にトピックが解釈可能であることが確認された。

Diversity トピックの多様性を評価するため、全トピックの頻出語上位 25 語において重複していな

図 $3 A C L$ データセットにおけるトピック遷移の例。各トピックの頻出語上位 5 つを示す。Attention の重みが 0.05 以上であれば太線、 0.02 以上 0.05 未満であれば細線でトピック間の依存関係を表現した。

い単語の割合を算出し、トピック間の Diversityを測定する。各モデルにおける Diversity の平均値を表 1 に示す。両モデルは従来モデルと遜色なく、十分にトピックの多様性が担保されることを確認した。

## 5.3 トピック遷移の可視化

$A C L$ データセットを用いて、提案モデルがトピックの遷移を捉えられているか確認した。図 3 にその例を示す。上段のトピックは「グラフ」、中段のトピックは「ニューラルネットワーク」、下段のトピックは「ソーシャルメディア」を表している。トピックの頻出語を確認することで、そのトピックにおける頻出単語の変遷を追うことができる一方、アテンションの重みを確認することでトピックの分化や統合過程を追うことができる。

## 6 おわりに

本研究では、トピック間の依存関係を self-attention 機構でモデル化したトピックモデルを提案した。評価実験の結果、提案モデルは複数の指標について従来モデルの性能を上回った。また、文書間の引用関係を考慮した正則化を加えることで、さらなる性能の向上が示唆された。また、トピック遷移を追うことで、提案モデルが実際の学術文献のトピックの動向調査に利用できることを確認した。

## 謝辞

本研究は、NEDO JPNP20006、JST ACT-X JPMJAX1904 及び JST CREST JPMJCR21D1 の支援を受けたものである。

## 参考文献

[1] Adji B Dieng, Francisco JR Ruiz, and David M Blei. The dynamic embedded topic model. arXiv preprint arXiv:1907.05545, 2019.

[2] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research, Vol. 3, No. Jan, pp. 993-1022, 2003.

[3] David M. Blei and John D. Lafferty. Dynamic topic models. In Proceedings of the 23rd International Conference on Machine Learning, ICML '06, p. 113-120, New York, NY, USA, 2006. Association for Computing Machinery.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, 2017

[5] Adji B. Dieng, Francisco J. R. Ruiz, and David M. Blei. Topic modeling in embedding spaces. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 439-453, 2020.

[6] David M Blei, Alp Kucukelbir, and Jon D McAuliffe. Variational inference: A review for statisticians. Journal of the American statistical Association, Vol. 112, No. 518, pp. 859-877, 2017.

[7] Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014

[8] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4969-4983, Online, July 2020. Association for Computational Linguistics.

[9] Michal Rosen-Zvi, Thomas Griffiths, Mark Steyvers, and Padhraic Smyth. The author-topic model for authors and documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, UAI '04, p. 487-494, Arlington, Virginia, USA, 2004. AUAI Press.

[10] David Mimno, Hanna Wallach, Edmund Talley, Miriam Leenders, and Andrew McCallum. Optimizing semantic coherence in topic models. In Proceedings of the 2011 conference on empirical methods in natural language processing, pp. 262-272, 2011.

[11] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. CoRR, Vol. arXiv:1412.6980v9, , 2014.

[12] Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.

[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, Vol. 26, , 2013.

## A 付録

## A. 1 引用正則化項ありの提案モデルの変分下限の導出

この章では、式 (24) の導出を行う。文書と引用の尤度は以下の式で計算される。

$
\begin{aligned}
& p\left(\boldsymbol{w}_{1: D}, c_{1,1}, \ldots, c_{D, D} \mid \sigma, \delta, \gamma\right) \\
& =\int\left.\{\prod_{i} \prod_{n}\left(\boldsymbol{\beta}^{\left(t_{i}\right)} \cdot \boldsymbol{\theta}_{i}\right)_{w_{i, n}} p\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{t_{i}}\right)\right.\} \\
& \quad\left.\{\prod_{i} p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right)\right.\} \\
& \quad\left.\{\prod_{t} p\left(\prod_{k} \mid \boldsymbol{\eta}_{t}\right) p\left(\boldsymbol{\alpha}_{k}^{t} \mid \boldsymbol{\alpha}_{k}^{t-1}\right)\right.\} d \boldsymbol{\theta} d \boldsymbol{\eta} d \boldsymbol{\alpha}
\end{aligned}
$

近似事後分布 $q(\boldsymbol{\theta}, \boldsymbol{\eta}, \boldsymbol{\alpha})$ は、式 (17) のように計算される。よって、文書と引用の対数尤度に対する変分下限は以下のように表される。

$
\begin{aligned}
L & =\sum_{i} \mathrm{E}_{q\left(\boldsymbol{\theta}_{i}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\boldsymbol{w}_{i}^{\top} \log \left(\boldsymbol{\beta}^{\left(t_{i}\right)} \cdot \boldsymbol{\theta}_{i}\right)\right] \\
& +\sum_{i} \sum_{j} \mathrm{E}_{q\left(\boldsymbol{\theta}_{i}\right) q\left(\boldsymbol{\eta}_{t}\right) q\left(\boldsymbol{\alpha}_{k}^{(t)}\right)}\left[\log p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right)\right] \\
& -\sum_{i} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{\boldsymbol{t}_{i}}, \boldsymbol{w}_{i}\right) \| p\left(\boldsymbol{\theta}_{i} \mid \boldsymbol{\eta}_{t_{i}}\right)\right] \\
& -\sum_{t} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}, \tilde{\boldsymbol{w}}_{t}\right) \| p\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{t-1}\right)\right] \\
& -\sum_{t} \sum_{k} \mathrm{D}_{\mathrm{KL}}\left[q\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{1: K}^{(1: t-1)}\right) \| p\left(\boldsymbol{\alpha}_{k}^{(t)} \mid \boldsymbol{\alpha}_{k}^{(t-1)}\right)\right] \\
= & L_{d o c}+\sum_{i}^{D} \sum_{j}^{D} \operatorname{BCE}\left(p\left(c_{i, j} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}\right), c_{i, j}\right)
\end{aligned}
$

## A. 2 実験に用いたデータセット

本節では、各データセットの作成手順について説明する。S2ORC は、136,595,995 の論文群を保有しており、各論文は論文 ID、出版年、要約、被引用論文 ID、ACL ID、研究分野などを保持する。 $A C L$ データセットについては、2006 年から 2019 年までの ACL ID が “None” でない論文を抽出する。CS データセットについては、2006 年から 2019 年までの研究分野が “Computer Science” である論文を抽出し、被引用論文数の多い上位 40,000 本を抽出する。

得られた論文群は、3:1:1 の比率でランダムに訓練用、検証用、評価用文書データセットに分類する。訓練用文書データセットに対して、出現数が 10 未満の語彙、 $70 \%$ 以上の論文に共通して出現する語彙、数字を除去して得られた文書を Bag-of-Words として保持する。各時刻において十分な量の文書を確保するため、 2 年分の文書群をまとめて一つの時刻の文書群とする。例えば、2006 年と 2007 年の文書群をまとめて、それらを時刻 $t=0$ とする。

## A. 3 実装詳細

各モデルのハイパーパラメータは、 $A C L$ の検証データセットの Perplexity に基づいてチューニングされている。全ての実験でトピック数 $K$ は 20 と設定し、トピック埋め込みの推論以外のパラメータは D-ETM の実装2)に従って設定した。勾配降下法は Adam [11]を用いて、バッチサイズ 512 でモデルを学習させる。学習率については、提案モデルと ETM については $6.0 \times 10^{-4} 、$ D-ETM については $8.0 \times 10^{-4}$ である。より良い実験結果を得るため、各モデルについて学習率の減衰を適用し、ロスが収束するまで学習を継続させている。

DSNTM 内部の self-attention 機構の $f_{q}, f_{k}, f_{v}$ 及びトピック埋め込みの変分パラメータ構築の $f_{\mu}, f_{\sigma}$ は、全てに次元数が 300 の隠れ層の MLPを利用する。また、残差接続後の正規化は、レイヤー正規化 [12]を指す。

各モデルとも、変文推論の事後分布の分散のパラメータは $\delta^{2}=\sigma^{2}=0.005$ で、 $\gamma^{2}=1$ とした。単語埋め込みについては、skip-gram [13] の埋め込み表現を利用しており、その次元数は 300 である。

トピック比率 $\boldsymbol{\theta}$ の推論 $q\left(\boldsymbol{\theta}_{d} \mid \boldsymbol{\eta}_{\boldsymbol{t}_{d}}, \boldsymbol{w}_{d}\right)$ は、ReLU 活性化と 800 次元の隠れ層を持つ 2 層の MLP、その後に $\theta_{d}$ の平均 $f_{\mu}$ と分散 $f_{\sigma}$ が続く構成である。卜ピック比率の平均 $\boldsymbol{\eta}$ の推論 $q\left(\boldsymbol{\eta}_{t} \mid \boldsymbol{\eta}_{1: t-1}, \tilde{\boldsymbol{w}}_{t}\right)$ を構築するため、bag-of-words 表現 $\tilde{w}_{t}$ を 400 次元の低次元空間に線形写像し、それを、400 次元の 3 層の隠れ層を持つ LSTM の入力として利用する。LSTM の出力は、直前のトピック比率の平均 $\boldsymbol{\eta}_{t-1}$ と結合され、その結果を $K$ 次元空間に線形写像し、 $\boldsymbol{\eta}_{t}$ の平均と分散を得る。

2) https://github.com/adjidieng/DETM