本研究ではトピック間の依存関係を捉えつつ、その時系列的発展を扱うことができる時系列構造化ニューラルトピックモデルを提案する。本モデルは、トピックの依存関係をself-attention機構に基づいてモデル化することで、トピックの分化・統合過程を捉える。さらに、アテンションの重みが文書間の引用関係を反映するように、引用正則化項を導入する。本モデルはPerplexityやCoherenceにおいて、既存の時系列トピックモデル[1]を上回ることを確認した。また、実際の論文群を用いて、本モデルがトピックの遷移過程を捉えられることを検証した。

文書のトピックとその比率を推定するトピックモデルは、LatentDirichletAllocation(LDA[2])をはじめ、自然言語処理において広く利用されている。その一種である時系列トピックモデル[1,3]は、トピックの時系列上の変遷を追うことで、時間経過に伴うトピック中の単語変化の可視化を可能にした。しかし、既存の時系列トピックモデルは、トピックの時系列変化を各トピックで独立に扱っており、新規トピックの形成に対し過去のトピックがどう寄与したのか、トピック間の依存関係を捉えることはできない（図1(a)）。特に論文など、引用関係により依存関係にある文書のモデル化において、各トピックが独立して変化し、前の時刻のトピックにのみ依存しているという前提は適切ではない。そこで本研究では、トピック間の依存関係を捉えながらその時系列発展を扱うことができるトピックモデルとして、時系列構造化ニューラルトピックモデルを提案する（図1(b)）。具体的には、トピックの依存関係をself-attention機構[4]に基づきモデル化することで、新規トピックがどの既存トピックに基∗現在の所属はLINE株式会社．づき生まれたかを明らかにする。さらに、文書の引用関係を反映するようにアテンションの重みを正則化する引用正則化項を導入し、アテンションの重みをトピックの分化・統合過程として解釈できるようにした。これにより、複数時刻に跨った学術トピックの分化・統合など複雑な過程を定量的に捉えることが可能になる。評価実験では、従来モデルのETM[5]やD-ETM[1]と比較して、PerplexityとCoherenceにおいて、提案モデルがその性能を上回ることを確認した。さらに、提案モデルが学術トピックの分化・統合過程を捉えられていることを定性的に確認した。