文書の分散表現を用いたトピック分析手法の提案

デジタル化が進み，ニュース，Webページ，論文，書籍など様々な形のテキストデータを利用できるようになりつつある．テキストデータを整理，理解するための1つの方法は，人間が実際にテキストを読んで意味解釈を行うことである．しかし，オンライン上のテキストデータは爆発的に増えているため，全てのデータを人手で意味解釈することは不可能である．テキストデータの例として，多数のニュース記事(文書)の集合を考えよう．それぞれのニュース記事には，政治，経済，スポーツ，科学など記事のテーマがあるだろう．トピック分析の目的は，テキストデータから記事のテーマを自動的に発見し，ニュース記事をテーマが似たいくつかのグループに分類することである．トピック分析を行う代表的手法として，トピックモデル(LatentDirichletAllocation，LDA)[1]が挙げられる．LDAは，1)トピックはいくつかの単語の組み合わせによって決まる，2)文書はいくつかのトピックが組み合わさったものである，という仮定のもとで，多量のテキストデータからトピック群を抽出する統計モデルである．トピックモデルは，テキストデータの分析で広く使われており，バイオインフォマティクス[2]，科学計量学(scientometrics)[3]，政治学[4]などに応用されている．TwitterやRedditなどのソーシャルメディアから得られるテキストデータの分析は，東日本大震災[5][6][7]やCovid-19[8]などの災害，あるいは，選挙[9]やCovid-19ワクチン[10][11]などの社会的課題に対する人々の認識を把握することへの一助となることが期待されている．その一方で，ソーシャルメディアデータの特徴として，1)文書(ツイートやコメント)の単語数が少ない，2)誤字脱字などにより出現頻度の少ない単語が多数現れる，という2点が挙げられる．そのため，このようなデータにLDAを適用すると，人間にとって解釈困難なトピックが得られてしまう．前者の問題(文書の短さ)に対応するため，AuthorTopicModel[12]やTwitterLDA[13]などLDAを拡張したモデルが提案されている．しかしながら，ソーシャルメディアデータからトピック抽出を行うことは依然として困難な状況にある．本研究では，文書の分散表現(文書の埋め込み)に基づくトピック分析手法を提案する．そして，20NewsgroupとAG’scorpusの2つのデータセットを用いて提案手法の性能評価を行い，既存手法であるLDAと比較を行った．