階層的トピックモデルは、多様なトピックを木構造で整理するために活用されてきた。しかし既存手法では、木が深くなるにつれて各トピックの平均確率が指数的に小さくなり、似通ったトピックが多数推定されてしまう。本研究ではこの課題に対し、スケール不変木構造棒折り過程を用いた階層的トピックモデル(ihLDA)を提案する。提案手法はトピック生成時にその親を考慮することで、トピック平均確率の減衰を抑え、深い木構造の推定を可能にする。また、提案手法は木構造棒折り過程の階層化でもある。提案手法が、ニューラルモデルを含む既存手法より2つの指標で優れることを実験的に確認した。

トピックモデルは文章の要約、注釈、分類のために幅広く用いられているが[1,2,3,4]、大規模コーパスから数千ものトピックを推定できるモデルが登場したことで[5,6,7,8]、大量のトピックを解釈する必要性が高まった。階層的トピックモデルは、トピックの階層的構造もコーパスから学習することで、トピックの整理と解釈を助けるものである[9,10,11,12,13,14,15]。しかし既存手法では、用いられる確率が小さく、似通ったトピック–単語分布を持つ多数のトピックが推定される。これは確率的モデルだけでなく、近年のニューラルモデルにおいても共通の現象である。トピックの平均確率が減衰する原因は、階層モデルで用いられる棒折り過程[16]が、各トピックの平均確率を木が深くなるにつれ指数的に小さくすることにある。既存手法では推定される木構造を一定の深さで打ち切るなどのヒューリスティックに基づき、トピックの減衰を防いできた。これに対し本研究は、スケール不変な木構造棒折り過程と、それに基づく無限階層トピックモデル(ihLDA)を提案し、以下の3点を実現する。1.トピック生成時にその親を考慮し、トピック平均確率の減衰を抑えた深い木構造の推定