スケール不変な木構造棒折り過程に基づく無限階層トピックモデル

トピックモデルは文章の要約、注釈、分類のために幅広く用いられているが[1,2,3,4]、大規模コーパスから数千ものトピックを推定できるモデルが登場したことで[5,6,7,8]、大量のトピックを解釈する必要性が高まった。階層的トピックモデルは、トピックの階層的構造もコーパスから学習することで、トピックの整理と解釈を助けるものである[9,10,11,12,13,14,15]。しかし既存手法では、用いられる確率が小さく、似通ったトピック–単語分布を持つ多数のトピックが推定される。これは確率的モデルだけでなく、近年のニューラルモデルにおいても共通の現象である。トピックの平均確率が減衰する原因は、階層モデルで用いられる棒折り過程[16]が、各トピックの平均確率を木が深くなるにつれ指数的に小さくすることにある。既存手法では推定される木構造を一定の深さで打ち切るなどのヒューリスティックに基づき、トピックの減衰を防いできた。これに対し本研究は、スケール不変な木構造棒折り過程と、それに基づく無限階層トピックモデル(ihLDA)を提案し、以下の3点を実現する。1.トピック生成時にその親を考慮し、トピック平均確率の減衰を抑えた深い木構造の推定