文書埋め込みとクラスタリングを組み合わせたトピック分析手法の提案

インターネットをはじめとする情報技術の発展により，ニュース記事やソーシャルメディア投稿，学術論文など，多種多様なテキストデータが日々生成されている．これらのデータは，社会やビジネス，学術研究において重要な情報源となる一方，その膨大な量から人手による分析は現実的ではなく，自動化された分析技術の必要性が高まっている．こうした背景のもとで，トピック分析はテキストデータの大規模な解析を可能にする手法として注目されている．トピック分析とは，文書群を内容によってグループに分類する技術であり、大規模テキストデータの分析に有用である．代表的な手法としてLDA(LatentDirichletAllocation)[1]が挙げられる．LDAは単語の出現頻度分布に基づき，トピック分析を行う統計的手法であり，政治学，文献計量学など幅広い分野に応用されてきた．特に，ソーシャルメディアから得られるテキストデータの分析は，東日本大震災[2,3]など災害時における情報拡散の動向や選挙[4]や新型コロナワクチン[5]などの社会的課題に対する人々の認識を把握するための有力な手段となっている．しかし，ソーシャルメディアデータには投稿が短文であること，誤字やスラングなどの口語的表現が多いなどの難しさがある．実際に，LDAは，短い文書のデータセット[6]やソーシャルメディアデータ[7]のトピックを分類することが難しいことが指摘されている．本研究では，文書の埋め込み表現とクラスタリングを組み合わせたトピック分析手法を提案する．そして，ニュース記事,短文のニュースタイトル,ソーシャルメディアデータなど4つのデータセットを用い，提案手法の性能を評価し，既存手法と比較を行った．