時系列構造化ニューラルトピックモデル

本研究ではトピック間の依存関係を捉えつつ、その時系列的発展を扱うことができる時系列構造化ニューラルトピックモデルを提案する。本モデルは、トピックの依存関係をself-attention機構に基づいてモデル化することで、トピックの分化・統合過程を捉える。さらに、アテンションの重みが文書間の引用関係を反映するように、引用正則化項を導入する。本モデルはPerplexityやCoherenceにおいて、既存の時系列トピックモデル[1]を上回ることを確認した。また、実際の論文群を用いて、本モデルがトピックの遷移過程を捉えられることを検証した。